- Server 1: historie a záměr
- Server 2: koncept UPS
- Server 3: realizace UPS
- Server 4: komponenty UPS
- Server 5: návrh HW pro server
- Server 6: Konstrukce a chlazení
- Server 7: software
- Server 8: zkušenosti
- Server 9: upgrade a zašifrování RAID pole
- Server 10: automatické odemknutí zašifrovaného pole
- Server 11: přechod na RAID6
- Server 12: UPS baterie umřela
- Server 13: upgrade CPU
- Síť
- NAS a zálohovací server
- Server 14: Výměna disku za pochodu
- Server 15: využití zahálejícího výkonu
- Server 16: výměna chladiče a poučná zkušenost
- Server 17: Virtualizace serveru
- Server 18: Racková skříň a montáž
- Server 19: Spuštění rackového serveru
- Server 20: konečně SAS řadič a další výzva
- Server 21: Zálohy reloaded
- Server 22: Výměna základní desky
- Server 23: Rack
Po instalaci SAS řadiče a SAS backplane jsem zjistila, že celou sestavu nejsem schopná na desce Aorus B450M s procesorem Ryzen 9 5900x spustit. Musela jsem se tehdy vrátit k původnímu CPU 5 2600, na kterém to jelo i s řadičem. Vydedukovala jsem, že za problém může buďto limit B450 platformy obecně, nebo konkrétní implementace desky od Gigabyte. A rozhodla jsem se, že pořídím novou základovku.
Dost dlouho jsem vybírala – omezená těsnou rackovou skříní jsem mohla uvažovat jen o mikro-ATX deskách a tím pádem jsem z výběru musela úplně vyloučit chipset X570. Na B550 už se něco sehnat nechalo. Vybírala jsem hlavně podle provedení VRM, a v užším výběru mi vypadla nějaká deska od Gigabyte a pak Asus B550M TUF Gaming Plus. Rozhodla jsem se vyzkoušet Asus.
Výměna desky proběhla bez problémů, srovnám-li to s tím frustrujícím cvičením při pokusech oživit konfiguraci po instalaci SAS na staré desce, byla to úplná pohoda. Prostě jsem stroj rozebrala, vše osadila včetně serverového dvanáctijádra, spustila. Deska si dávala s postem dost načas, ale povedlo se jí to napoprvé. Flashla jsem jí nejnovější Bios 3405, i když už i na té originální verzi Biosu 3002 Ryzen 9 5900x fungoval.
Nastavení v Biosu bylo samozřejmě krušné, najít parametr pro virtualizaci, a dokonce ani XMP profily se mi bez pomoci Google nepodařilo. Nastavila jsem si tam ještě trochu agresivnější profily pro ventilátory a vypnula gaming LED hitparádu, nic jiného jsem neměnila. Krátký Memtest, bez problémů.
Stroj mi pak nastartoval bez potíží, ale samozřejmě s jiným názvem síťového adaptéru na základní desce. To jsem změnila v /etc/network, ale zapomněla jsem na virtuální síť KVM. Po pokusu o spuštění virtuálních strojů, které tuto síťovku používají, mi virsh nahlásil chybu, a po opravě mi zajímavě rozbil networking – celý hypervizor ztratil konektivitu na obou rozhraních, ale virtuální stroje na DMZ síťovce zůstaly pěkně online. Pro jistotu jsem to celé restartovala, poté už vše v pořádku.
Stroj teď jede v plné parádě, a ve zkušebním provozu pod silnějším dohledem 🙂
Srovnání s provozem B450 / 5 2600
Během těch pár týdnech provozu s provizorní konfigurací na staré desce a starým CPU jsem si všimla, že linux nedokázal plně alokovat RAM – většinu však použil pro cache hypervizora, a pak mírně swapowal. Na zdravé konfiguraci dojde skutečně k relativně rychlému naplnění povoleného InnoDB bufferu Mysql serveru a k alokaci vyhrazené paměti virtuálním strojům – jak je ostatně vidět na screenshotu níže (můj VM s databází má velmi velkoryse alokovanou paměť).
Do provizorního provozu spadla i jedna událost mdadm pole, které mi jednoho pěkného dne poslalo mail, že přišlo o disk. Skutečně – ze systému zmizel jeden konkrétní disk. Vyndala jsem jej ze serveru, zkontrolovala jsem na jiném stroji, kde se bez problémů ukázal, a ani jeho smart data nenaznačovala žádný problém. Takže jsem jej zkusila vrátit do serveru – a disk ožil. Po jeho opětovnému přidání do pole se začalo pole synchronizovat. A tentokrát to hodně bolelo – operace běžely hrozně pomalu, asi 20MBs, což by nevadilo, jenže současně se drasticky zpomalily read operace z pole, takže třeba načítání stránky webu trvalo vteřiny. Po několika hodinách, až resync doběhl, se použitelnost serveru vrátila do obvyklých hodnot.
Nevím sice, co výpadek disku způsobilo, ale i tak jsem si jej zapsala jako prvního kandidáta na výměnu za nový 1TB, kterými po čase vybavím celé pole.
Po výměně základní desky a pár dnech provozu takhle rekonstruovaného stroje jsem se k výměně disku konečně dostala. Tentokrát běžel resync 10x rychleji (na limitu mdadm recovery speed kolem 200MB/s, hotovo za 35 minut), a ačkoliv mému vycvičenému oku mírné zpomalení služeb serveru neuniklo, nikdo zvenčí jistě nic nezaznamenal. Takže se na té staré desce se SAS řadičem něco hodně hádalo, a hodně se mi ulevilo, že tohle mám snad už za sebou.
Na závěr ještě jedna záhada, týkající se activity LEDky na šachtě disku nového backplane. LEDky některých disků nesvítí, ale blikají při aktivitě. Některé sviti trvale, a při aktivitě blikají. Tak prý některé řadiče odlišují disky připojené přes SAS a přes SATA. No, moje disky jsou všechny SATA. Některé řadiče pak prý trvale svítícími LEDkami odlišují disky, které jsou členy pole. To u mě taky neplatí, řadič v IT mode by neměl mít ponětí o roli disků. To je ale záhada, která si zaslouží pokrčení ramenou a následné mávnutí rukou. U mě ale sloty tří disků nesvítily vůbec, tzn. nebylo možné sledovat aktivitu daného disku. Disky ovšem v poli řádně a správně pracují.
Jeden z těchto disků byl i ten Verbatim, který mi pole vykoplo, jak popisuji výše. Jeho náhrada si ale ve stejném slotu bliká o sto šest, takže jsem pojala podezření, že disky byly tou událostí stále nějak zvláštně načaté. Tohle se ale nepotvrdilo, po výměně dalšího staršího kusu za 1TB disk kontrolka nového disku ani neblikne…