Re: UEFI op servers, of niet?
Hoi Dennis, en anderen natuurlijk,
Op 22-08-2023 om 12:22 schreef Dennis van Dok:
On 22-08-2023 11:54, Paul van der Vlis wrote:
Hallo Dennis en anderen,
Op 22-08-2023 om 10:45 schreef Dennis van Dok:
On 15-08-2023 12:13, Paul van der Vlis wrote:
We zijn (bij Nikhef, plusminus 500 systemen) al een paar jaar
helemaal over op EFI boot aangezien de nieuwere systemen legacy
helemaal niet meer ondersteunen.
Daar heb ik nog geen last van bij servers, bij welke fabrikanten zie
je dat?
IIRC Dell en Lenovo, in combinatie met ondersteuning voor PXE boot en
grote NVMe drives.
Hebben ze dan helemaal geen "legacy" meer? Of wordt dat steeds beperkter?
Welke systemen doen dit? Wij moeten altijd zelf onze firmware bijhouden.
Ik ken dit eigenlijk alleen van kleinere systemen om eerlijk te zijn,
bijvoorbeeld van Dell. Maar qua 19" systemen gebruik ik Supermicro en
dat doet nog niet mee. Dit is wat ik bedoel:
https://packages.debian.org/bullseye/fwupd
https://fwupd.org/
Ik ga daar nog wel eens naar kijken want het lijkt me toch wel handig om
te automatiseren (als dat kan). En natuurlijk altijd met de Bewuste
Keuze™ welke updates je doorvoert!
Het punt is dat het nogal automatisch gaat, ik heb het nog niet helemaal
onder controle. Dit komt ook omdat de hardware die ikzelf gebruik het
niet ondersteund.
Ik gebruik in de praktijk geen software van de fabrikant, het is
allemaal Debian.
DELL heeft racadm en dat werkt nog vrij aardig standalone, maar we
stappen meer en meer over op redfish.
Dat kende ik nog niet, ik vond hier wel wat informatie:
https://en.wikipedia.org/wiki/Redfish_(specification)
Maar helemaal duidelijk is het me nog niet wat het doet.
Ik gebruik IPMI en serial-over-lan:
https://en.wikipedia.org/wiki/Intelligent_Platform_Management_Interface
Maar daar staat: "The successor to the IPMI is Redfish" Dus wellicht
moet ik er wel naar gaan kijken.
Zijn er OSS tools voor om bijvoorbeeld het bootproces en de bios remote
te bekijken? Dat is eigenlijk het enige waar ik het voor gebruik.
Oh ja, ook om te checken of er een voeding is.
Ik heb altijd met software RAID gewerkt en zie niet veel voordelen aan
hardware RAID. Er zijn wel voordelen, maar ook nadelen.
Voordelen van software RAID vind ik:
- Het is heel generiek, een disk past zo in een andere machine zonder
dat die ook zo'n kaart nodig heeft.
Doe je dat dan vaak, schijven uitwisselen tussen apparaten?
Nee, maar het is toch wel belangrijk als nood-scenario, en om te
migreren naar nieuwe hardware.
Er zou maar een moederbord kapot gaan, dat is me weleens gebeurd. Ik zet
er dan een andere machine neer, en zet de disks over. Ik heb reserve
machines (oudere machines die het nog doen).
- De RAID kaart kan kapot gaan, je moet eigenlijk een spare hebben.
Dit is nou een van de componenten die ik zelden tot nooit heb zien falen.
Toch is mij altijd geleerd dat je zo'n kaart op voorraad moet hebben,
anders kun je je disks niet meer lezen, ook niet met een andere machine.
Wellicht hebben jullie vele machines met dezelfde RAID kaarten, dan
speelt dat minder.
- Tools zijn vaak closed source, en complex.
We configgen die meuk direct vanuit het BIOS (of laten dat vooraf doen
door de leverancier) of anders is het Megaraid storcli (ja, beetje
ingewikkeld wel).
Je moet het toch monitoren, je wilt weten dat er een disk kapot is. En
ik wil met opensource software werken. Dat geheel maakt het wel lastig.
- Volgens mij moet je bij hardware RAID rebooten als je een disk wilt
vervangen. (En misschien zelfs wachten tijdens het rebuilden.)
Al onze storage systemen doen hot-swapping dus misschien moet je een
ander merk uitkiezen?
Misschien is het inderdaad simpel. Ik heb ooit ergens een disk
verwisseld waar het toch een gedoe was. Maar weinig ervaring met
hardware raid eigenlijk.
- Je zit directer op de disk, er zit geen kaart tussen
En wat is daarvan nou het specifieke voordeel?
Ik stel het me zo voor dat als je bijvoorbeeld SMART tools gebruikt, je
niet direct bij de disk kunt.
- Reuze veel mogelijkheden
Ben ook benieuwd!
https://raid.wiki.kernel.org/index.php/A_guide_to_mdadm
Kun jij bijvoorbeeld disks vervangen door grotere, de partities en het
filesystemen vergroten, terwijl alles gewoon doordraait? Ik wel.
Nadelen van software RAID vind ik:
- Niet geschikt voor systemen met heel veel disks (in elk geval was
dat vroeger zo).
Ik weet dat we ook wel eens een wat grotere software raid setup hebben
gedraaid (in de speeltuin) en dat werkte ook prima.
Het had te maken met het feit dat het meer dataverkeer gaf op de PCI
bus, want elke disk moest apart worden aangestuurd. En bij hardware RAID
moest alleen de RAID kaart worden aangestuurd. Maar dit kan ondertussen
alweer anders zijn.
Voor zover ik weet is het een niet echt sneller dan het ander, maar
misschien vergis ik me daarin.
Nee, dat zal ook niet het argument zijn. Er zijn trouwens behoorlijke
kwaliteitsverschillen in hardware raid.
Ik heb nooit zo goed begrepen waarom hardware raid nu zoveel beter was.
De EFI partitie moet leesbaar zijn voor de firmware. Met hardware
RAID is dat volgens mij geen probleem, maar het komt me voor dat de
BIOS niet snapt wat een software raid partitie is.
Dat snappen ze inderdaad niet, maar ze kunnen het volgens mij wel
gewoon lezen en booten. Dat doen ze dan van de individule disk, niet
van de RAID.
Ja, legacy boot van een bootsector zal wel gaan denk ik.
UEFI met een EFI partitie ook, begrijp ik. Zelfs op LVM.
Nu heb ik het wel over RAID1, het bios heeft geen weet van RAID of LVM,
maar kan gewoon bij de data op de eerste disk.
En misschien is een moderne grub ook al software raid aware?
Ja, grub2 kan mdadm en ook LVM.
Hmm, ik zie dat mdadm tegenwoordig ook met sommige varianten van
fakeraid kan omgaan, namelijk met RST (Intel) en DDF (SNIA). "Fakeraid"
klinkt natuurlijk helemaal fout. Maar of het dat ook is als mdadm
gebruikt wordt, dat weet ik niet. Het zou kunnen dat je dan betere
support hebt van het bios voor booten dan zonder fakeraid. En ik heb
gelezen dat het mogelijk is om de disks in een ander systeem te kunnen
gebruiken, ook als dat geen fakeraid heeft (met een speciaal commando).
Het zal wel niks zijn, maar ik wou het toch even noemen.
Als ze erop schrijven (ik weet niet zeker of ze dat weleens doen),
zullen ze ook op de disk schrijven en niet op de RAID.
Dat zouden ze nooit moeten doen!
Ik weet niet of er toch situaties zijn.
Misschien is een los klein SSD'tje dan een idee? Een andere
mogelijkheid is om op één schijf de EFI partitie te maken en op de
andere dezelfde ruimte te benutten als swap ofzo. Dan houd je de
geometrie op de resterende ruimte over voor software raid 1.
Mijn punt is dat dit een single point of failure is. Bij software RAID
kan ik met IPMI in het bios de bootdisk wijzigen, en dan boot hij
weer. Of fysiek de disks wisselen.
De vraag is of je gaat voor data security (dus hoe belangrijk vind je
het dat je geen data verliest) of voor uptime (hoe belangrijk is het om
beschikbaar te zijn). Voor beide kun je plannen maar het prijskaartje
wordt natuurlijk ook steeds hoger.
Beide zijn belangrijk, ook omdat ik geen failover systeem heb wat het
maar even overneemt o.i.d.
Ik heb al eens een server-SSD van anderhalf jaar oud zien uitvallen, had
helemaal geen druk leven gehad...
Groet,
Paul
--
Paul van der Vlis Linux systeembeheer Groningen
https://vandervlis.nl/
Reply to: