Přechod z Nibbleblogu na Bludit

pro 05 2017

Poslední dobou mě začal vadit CMS Nibbleblog běžící na mém blogu. Za asi největší nedostatek považuji neschopnost odebrat existující tagy. Jakmile tag jednou vytvoříte, už se ho nezbavíte a na blogu zůstane vidět, i když k němu nejsou přiřazeny žádné příspěvky. Protože jsem toho zatím až tak moc nenapsal, začal jsem hledat, jak by se dal Nibbleblog vylepšit nebo úplně nahradit. A právě při tom hledání jsem zjistil, že Nibbleblog už nikdo aktivně nevyvíjí. Jeho autor Diego Najar ho asi před rokem opustil a vydává maximálně občasné aktualizace bezpečnosti. To je informace, která by podle mě měla být jak na domovské stránce www.nibbleblog.com tak na jeho GitHubu. Kdybych to věděl, vůbec bych Nibbleblog neinstaloval!

Při hledání nového CMS jsem ale narazil. Buď musíte nasadit obří řešení jako Wordpress a Joomla, které vyžaduje vlastní SQL databázi, a nebo jsou k dispozici samé ultra jednoduché systémy generující články přímo z terminálu - hezké, ale ne vždy praktické. Nejpodobnější Nibbleblogu byl nakonec Diegův nový počin Bludit. Stejně jako Nibbleblog i Bludit běží z jediné složky a nepotřebuje žádnou databázi nebo složité nastavování - jen rozbalíte, nastavíte přihlašování a už šlape. Výhodou je také, že veškerou konfiguraci ukládá přehledně do JSON souborů.

V Bluditu chyběla čeština, tak jsem ji Diegovi hned dodal. V master větvi na GitHubu ji tak už najdete, jinak bude pravděpodobně dostupná až v následující verzi.

Z administrace Bluditu jsem nadšený, podle mě je mnohem přehlednější než byla v Nibbleblogu. Výchozí editor podporuje společně HTML i markdown syntaxi. Pluginů je dostupných více a je i větší pravděpodobnost, že nějaké přibudou. Grafické šablony jsou pro mne ale zklamání. Téměř všechny mi přijdou neuvěřitelně ošklivé a žádná úplně nesedí na původní styl blogu. Naštestí je vytvoření nové šablony velmi jednoduché, vzhled celého webu jde klidně nacpat do jediného PHP souboru. Rozhodl jsem se proto, že postupně zkonvertuji původní šablonu Echo pro Nibbleblog do Bluditu. Pracovní verze šablony je veřejně dostupná na GitHubu.

Přetrvávajícím neduhem z Nibbleblogu je timeout přihlášení během psaní článku. Uložení stránky po příliš dlouhé době tak snadno vymázne všechno, co jste zatím napsali. Asi se na to při úpravách šablony také podívám.

Emaily na vlastní doméně - díl 2: naše řešení

lis 21 2017

Po zjištění z minulého dílu jsme se v Triton IT rozhodli nasadit vlastní mail server. Z běžně používaných řešení je ale pouze Microsoft Exchange Server dostupný jako kompetní balík všeho, co je potřeba. MS Exchange Server samozřejmě představuje nemalou investici a funguje jen na zařízeních s operačním systémem Windows Server. Vzhledem k našim požadavkům na nízkou cenu nezbývá, než ho přeskočit a podívat se na celé téma podrobněji.

Pro úspěšný běh vlastního mail serveru na internetu je potřeba jen následující tři kusy software:

  • MTA: Mail Transfer Agent vyměňuje emaily po internetu. Funguje jako server i klient nad protokolem SMTP. Příkladem MTA jsou programy sendmail, postfix a exim4. V podstatě má jen dva úkoly:
    • jako klient se připojí k jinému MTA a doručí mu email.
    • jako server čeká, až mu někdo (např. jiný MTA) doručí email. Pak se rozhodne, jestli ho někam uloží, nebo ho jde poslat dál.
  • MDA: Mail Delivery Agent umožňuje uživatelům stahovat emaily ze serveru. Konkrétně povoluje klientským programům (MUA) se připojit prostřednictvím protokolů IMAP nebo POP3 ke schránkám uživatelů. Teoreticky také může schránky a uživatele spravovat, to je něco, co ale umí i někteří MTA a obecně není jasně dáno, kdo to má mít starost.
  • MUA: Mail User Agent je program, s kterým pracuje uživatel. MUA má zpravidla hezké grafické rozhraní s přehledem emailů ve schránce, ukládá si kontakty, umožňuje snadno přikládat přílohy, atd. Mezi MUA patří MS Outlook, Thunderbird, ale i GMail.com a Seznam.cz.

Když si oddělíme databázi našich uživatelů a samotné úložiště schránek, jde to celé nakreslit asi takto:

Náčrt propojení programů a služeb v mail serveru

Při návrhu se největším úskalím ukázalo být vyzvedávání emailů pomocí MUA z MDA. Přestože komunikace přes protokoly POP3 a IMAP je naprosto přímočará a jasně definovaná, některé MUA se rozhodly zavést si vlastní dodatečná pravidla k formátu uživatelských jmen a šifrování. Konkrétně:

  • MS Outlook nefunguje, dokuď nemá uživatelská jména pro komunikaci s MDA jen v alfanumerickém tvaru, tj. bez symbolu @ (nelze použít email jako přihlašovací jméno).
  • GMail protestuje, pokud TLS komunikace není realizována pomocí certifikátu od některé z mezinárodních certifikačních autorit. Certifikát od Let's encrypt v době našeho testování (2016) bohužel nebyl podporován.

Finální řešení

Po dlouhém výzkumu metodou pokus-omyl jsme došli k následujícímu rozvržení:

  • MTA = postfix
  • MDA = dovecot
  • MUA = co má kdo rád, za mě jednoznačně GMail
  • Schránka = složka na serveru, kompletně v režii postfix a dovecot
  • Databáze emailových účtů = MySQL databáze

Tím jsme dosáhli následujících nákladů:

  • 110 Kč / měsíc ... Virtuální server, na kterém už stejně provozujeme weby
  • 259 Kč / rok ... Certum Commercial SSL certifikát
  • 130 Kč / rok / doména ... Náklady na CZ doménu placené registrátorovi

Jakých výhod jsme tímto řešením dosáhli?

  • Libovolný počet domén, schránek, aliasů bez poplatků navíc.
  • Možnost napojit oblíbenou schránku na webu nebo program úplně podle vlastní preference zaměstnance.
  • Při používání GMailu dále:
    • Snadné spojení více firemních i soukromých schránek do jediného účtu
    • Automatické ukládání kontaktů a jejich sdílení do Android zařízení
  • Téměř bezúdržbový běh
  • Při použítí POP3 k vyzvedávání schránky - téměř nulové nároky místo při zálohování, zodpovědnost za uložené emaily lze přesunout na jinou (i placenou) službu.

V příštím díle se podíváme na běžné problémy, se kterými se setkáte po nasazení vlastního mail serveru. A že jich není málo.

Cassandra repair implicitně nespouští compact

zář 25 2017

Naše cesta k nasazení Cassandry byla poměrně rychlá: šli jsme rovnou do produkce a problémy se učili řešit až za běhu. Za rok, co ji provozujeme, jsme potkali už téměř všechny běžné scénáře:

  • přeplnění tombstone
  • oživení tombstone kvuli nespuštění repair do konce gc_grace_period
  • nekontrolovatelné spínání stop-the-world garbage collection
  • neopravitelné rozpojení tabulky mezi datacentry
  • smazání části databáze špatně napsanou čistící funkcí a následná obnova ze snapshotu ...

Poslední dobou jsem ale zaznamenal plynulý nárůst zátěže na serverech s Cassandrou. Nárůst, který jsem si nedovedl vysvětlit.

Nejdříve jsem jej chtěl přisuzovat zvyšujícímu se objemu přenosu. Přece jen každý měsíc přidáváme nové stroje na těžbu a zpracování dat, logicky by se měla zvednout i zátěž na databázi. Svědomitě jsem proto pravidelně pouštěl repair, hlídal četnost GC a dodržoval postupy, které jsme našli v literatuře. A právě tady byl problém.

Bohužel jsme šáhli po stejných zdrojích jako Maki Watanabe. Důvod nárustu se ukázal být úplně prostý - nodetool repair implicitně nespouští tzv. major compaction. Právě nodetool compact jsem přestal manuálně spouštět ve chvíli, kdy jsem se naučil používat nodetool repair.

Repair není tak efektivní v odstraňování tombstone a my často zapisujeme, mažeme a provádíme změny struktury naší databáze. To také vedlo k vyšší zátěži.

Zátěž na apollo.webmedea.com před kompakcí.

Vývoj zátěže CPU na apollo.webmedea.com od nasazení serveru.

Zátěž na apollo.webmedea.com po vynucené kompakci.

Zátěž CPU po vynucené kompakci.

Všechno špatné je ale k něčemu dobré, máme poučení, že nemáme číst zastaralou literaturu. Známe teď také další problémový scénář :)

Veletrh For Arch 2017

zář 23 2017

Včera jsem navštívil veletrh For Arch. Moje první kroky vedly k velkému stánku našeho milovaného klienta. Opět jsem si s nimi příjemně popovídal, pořešil několik pracovních záležitostí a občerstvil se u jejich baru :)

Potom jsem si procházel zbytek veletrhu. S WebMedeou jsem si připadal tak trochu jako terminátor s infravizí. Proč? Stačilo zadat název od libovolného stánku do mobilu a hned jsem ve WebMedea viděl, kde se firma propaguje, do jakého propagačního kanálu investuje a zhruba kolik, kde jsou její slabá místa a prostor pro zlepšení.

Zastavil jsem se u několika stánků, s majiteli si chvíli pokecal a dozvěděl se řadu zajímavých informací. Tak například automatických kotlích na štěpku nebo luxusních vířivých vanách. Odcházel jsem s dobrou náladou a pár zajímavými vizitkami.

Emaily na vlastní doméně - díl 1: externí poskytovatelé

zář 09 2017

Jako jedna z prvních věcí, které jsme řešili při zakládání Triton IT, byla schopnost odesílat a přijímat emaily na vlastních doménách. Malicherný problém, který lze většinou vyřešit v ceně domény nebo hostingu. U Tritonu se ale problém ukázal být mnohem větší. Naše definice pohodlného ovládání se také postupně vyvíjela, neboť že vám něco není pohodlné většinou zjistíte až po vyzkoušení. Po mnoha pokusech a změnách jsme zakotvili na následujících požadavcích:

  • Co nejnižší cena.
  • Libovolný počet schránek a domén bez zvýšení nákladů na provoz.
  • Možnost používat libovolného klienta podle preference zaměstnance -  tj. Gmail, Seznam, MS Outlook, Thunderbird (pro PGP šifrování), atd.
  • Vytváření aliasů (emailových adres, které jsou jen přezdívkou pro jednu nebo více dalších adres).
  • Sdílení kontaktů mezi emailovým klientem a telefonem.

Externí řešení k dispozici

Protože jsme se hned nechtěli pouštět do budování vlastního serveru, hledali jsme nejprve externí řešení. V následující tabulce je seznam toho, co jsme buď vyzkoušeli, nebo to zvažovali:

Služba Cena Výhody Nevýhody
Google for business / GSuites 4 Eur / měsíc / schránka Synchronizace kontaktů s Androidem, větší Google Drive v ceně, GMail + jeho mobilní aplikace Drahé, nejde dělat aliasy pro jiné domény, tj. domény na kterých není placená schránka.
Jiné zahraniční nabídky 2 až 5 Eur / měsíc / schránka Obecně nejde dělat aliasy pro jiné domény než ty, na kterých se platí alespoň jedna schránka.
Seznam Zdarma Jediné řešení úplně zdarma. Vynucuje používání Seznam web klienta nebo jejich mobilní aplikace. Tím pádem nelze používat s GMail apod.
Active24 59 Kč / měsíc / 5 schránek / doména + 9 Kč / měsíc / další schránka Pohodlná administrace společně s doménou a případným web hostingem. Aliasy jiných domén za příplatek.
Wedos V ceně Webhostingu, tj. 30 Kč / měsíc. Místo počtu schránek je limitem úložný prostor, pohodlná administrace společně s doménou a web hostingem. Nelze vytvářet aliasy pro jiné domény, to by vyžadovalo zakoupit k nim webhosting.

V uvedených cenách nejsou náklady na doménu, které jsou různé podle prodejce. Ceny naposled aktualizovány 2016.

Účtování za každou doménu a nízká flexibilita aliasů pro nás byly kamenem úrazu. Nezbývalo nám nic jiného než postavit alespoň částečně vlastní řešení, a na to se podíváme příště.