Veeam Hardened Repository část 1 - jak bezpečné úložiště funguje

Managed Hardened Repository

• Výběr bezpečného úložiště záloh pro Veeam

Veeam Hardened Repository

• Hardened Repository

Linux Hardened Repository je speciální typ úložiště záloh ve Veeam Backup & Replication, které podporuje neměnnost (Immutability). Toto úložiště se objevilo ve Veeam Backup & Replication 11 a bylo podstatně vylepšeno ve verzi 12. Podporuje obecný Linux server, takže je možno zvolit hardware (fyzický server s lokálními disky) i Linux distribuci podle svého.

Veeam Hardened Repository ISO

• [RELEASE] Managed Hardened Repository ISO by Veeam
• VBR 12 - Preparing Hardened Repository Using Veeam ISO

V druhé polovině roku 2024 přišel Veeam se spravovaným (Managed) Veeam Hardened Repository, které se instaluje z připraveného VHR ISO. První veřejná verze 0.1.15 byla Community Preview, verze 0.1.17 dostala experimentální podporu. Na začátku roku 2025 vyšla poslední verze VHR ISO 2.0.0.8, stále s experimentální podporou.

Veeam instalace je postavena na operačním systému Rocky Linux. Systém je hardenovaný podle DISA STIG a automaticky aktualizovaný společností Veeam. Využívá se souborový systém XFS, který podporuje Fast Clone (Block Cloning - reflink) a Immutability. Umožňuje nasadit bezpečné úložiště bez znalosti Linux OS.

Veeam Infrastructure Appliance 13

• VBR 13 - Preparing Hardened Repository with Veeam Infrastructure Appliance

Velmi krátce před zveřejněním tohoto článku vyšla Veeam Software Appliance 13 (obsahující VBR 13.0.0). Spolu s Veeam Infrastructure Appliance 13, kterou lze použít jako Hardened Repository (lze přidat pouze do VBR 13). To je oficiální doporučená verze určená pro budoucí instalace spravovaného Veeam Hardened Repository.

Zatím jde o Early Release a není k dispozici upgrade či migrace z VBR 12. S verzí VBR 13.0.1 by měla přijít Windows instalace, možnost upgradu z V12 a také možnost převést Hardened Repository instalované z VBR ISO 2.0 na Veeam Infrastructure Appliance 13.

Veeam Appliance využívá Veeam JeOS (Just Enough Operating System). Jde o minimalistickou distribuci Linuxu, která je spravovaná společností Veeam. Dodává se jako bootovací ISO a je předem zabezpečena podle security best practices. Je postavena na Rocky Linux. Jde o evoluci VHR ISO.

Porovnání VHR ISO 2.0 a JeOS 13.0

Princip fungování Hardened Repository, dosažení neměnnosti a využité technologie, je stále stejný, ať nainstalujeme z VHR ISO 2.0 nebo využijeme novou Veeam Infrastructure Appliance 13. Rozdíl je ve vylepšené správě, konfiguraci a instalaci. Nově je k dispozici webové rozhraní Veeam Host Management, které umožňuje správu Appliance přes prohlížeč.

Bezpečnostní novinkou je Certificate-based authentication při přidání spravovaného serveru do zálohovací infrastruktury. Na Appliance jsou předinstalované Veeam komponenty (Veeam Deployment Kit), které se využijí pro připojení z VBR serveru. Nemusíme povolovat SSH přístup ani vytvářet single-use credentials. Autentizace se provede pomocí certifikátů. Při uživatelském přihlášení na Appliance se využívá Multi-Factor Authentication (MFA).

Server pro Hardened Repository

Pro bezpečný provoz potřebujeme fyzický server s lokálními disky. Obecně může jít o libovolný HW s dostatečným výkonem a diskovým prostorem, ale měl by být na Red Hat compatibility list. Můžeme se také podívat do Veeam Ready programu na testovaná řešení pro Hardened Repository.

Server musíme dostatečně zabezpečit, aby se útočník nemohl dostat na nižší vrstvu. Pokud by se dostal do systému jako root, tak může neměnnost zrušit. Pokud by se dostal ke správě disků (třeba pomocí HPE iLO či Dell DRAC), tak je může smazat.

Vlastnosti Managed Hardened Repository

• operační systém - Rocky Linux, hardenovaný podle DISA STIG, spravováno/aktualizováno Veeamem
• Immutability - založena na souborovém systému XFS a využití atributu Immutable flag
• přenos dat mezi Veeam Proxy a úložištěm probíhá přes TLS 1.3 v rámci proprietárního Veeam protokolu skrze jeden TCP/IP port na Veeam Data Mover
• můžeme použít Veeam deduplikaci, kompresi a šifrování
• data se ukládají na blokové úložiště, musí jít o lokální disky nebo DAS, podmínka je HW RAID řadič s write-back cache, pro data je doporučen RAID 6/60, jeden disk se použije pro systém (RAID 1), z ostatních se vytváří se LVM svazek
• vestavěná detekce změn systémového času (časový posun)
• používá Forward Incremental Backup Chain
• používají se jednorázové přihlašovací údaje (Single-use credentials), které se neukládají do Veeam konfigurace, Veeam Infrastructure Appliance 13 využívá Certificate-based authentication (a předinstalované Veeam komponenty)
• vypnutý SSH přístup a nemáme přístup na root účet
• podpora Fast Clone, šetří místo a čas při vytváření syntetických plných záloh
• musíme dobře zabezpečit vzdálený přístup na HPE iLO, Intel BMC apod. protože přes tuto vzdálenou správu (IPMI) je možné zničit data na disku

Jak funguje Immutability na Hardened Repository

• Veeam Backup & Replication - Immutable Repository a bezpečné zálohy
• Understanding Immutable Backups and Their Role in Cyber Resilience
• Protect against Ransomware with Immutable Backups
• VBR 12 How Immutability Works
• VBR 13 How Immutability Works

Immutability (neměnnost)

Immutability zajišťuje, že data (zálohy) nemohou být změněna ani smazána zadanou dobu (Immutability Period) po jejich vytvoření. Jde o princip Write Once Read Many (WORM), kdy můžeme data jedinkrát zapsat a neomezeně číst. Díky Immutable Backups zajistíme bezpečnost, integritu a compliance zálohovaných dat.

Ve Veeam Hardened Repository se nastavuje neměnnost na úrovni operačního systému pomocí vlastností souborového systému.

Backup Repository

Immutability se nastavuje na celé úložiště (Repository) v jeho vlastnostech. Je tedy stejná pro všechny zálohovací úlohy, které ukládají zálohy na dané Repository. Zadáváme počet dní immutability period, minimum je 7 dní.

Retention Policy (zásady uchovávání)

Každý úspěšný běh zálohovací úlohy (provedení zálohy) vytváří Restore Point (bod obnovy). Pro zálohovací úlohu nastavujeme Retention Policy, která určuje, jak dlouho se zálohy uchovávají. Minimálně se vždy uchovávají 3 Restore Point.

Doporučuje se nastavit Immutability Period kratší nebo rovnu Retention Policy. Pokud je Immutability delší, tak se soubory neodstraní při vypršení Retention, ale až když nejsou chráněny neměnností.

Backup Chain (řetězec záloh)

Pro Hardened Repository se používá pouze Forward Incremental Backup Chain (se zapnutým aktivním nebo syntetickým Full Backup, jinak by šlo o Forever Forward Incremental). Nemůžeme využít Reverse Incremental. Když se na záložní soubory nastaví neměnnost, tak nemohou být sloučeny nebo smazány před jejím vypršením.

Forward Incremental

• první proběhne aktivní plná záloha (VBK)
• dále probíhají přírůstkové zálohy (VIB)
• pravidelně je naplánováno provedení syntetické nebo aktivní plné zálohy (VBK), které rozdělí Backup Chain na kratší série
• po přidání nového bodu obnovy se kontroluje Retention Policy dané úlohy, pokud celý Backup Chain překračuje retenci, tak se celý odstraní (musí zůstat minimálně aktuální řetězec)

Záleží tedy jak často provádíme plnou zálohu a jaká je retence. Pokud třeba děláme Full Backup jednou týdně a chceme udržovat 7 dní, tak se bude uchovávat 7 až 14 dní.

Aktivní řetězec záloh a Immutability

Veeam Backup & Replication nastavuje neměnnost na celý Backup Chain se všemi jeho Restore Points (RP). Backup Chain má smysl pouze, když je k dispozici celý (VIB bez VBK je nepoužitelný). Proto se u Forward Incremental uchovávají některé RP delší dobu, než je nastaveno retencí. Stejným způsobem se aplikuje Immutability, aby nemohlo dojít ke smazání části Backup Chain a ten by byl nepoužitelný.

Aktivní řetězec záloh má datum neměnnosti stejné podle vytvoření posledního bodu obnovy. Když se vytvoří nový Restore Point, tak se mu nastaví Immutability podle periody zadané na úložišti. Zároveň se automaticky prodlouží na všech souborech v aktivním řetězci. Pokud existuje neaktivní řetězec, tak u něj se neměnnost neprodlužuje.

Immutability se nastavuje na soubory se zálohovanými daty (VBK, VIB, apod). Nenastavuje se na backup metadata file (VBM), protože se aktualizuje při každém běhu úlohy. Immutability flag se nastaví na soubor, když je aktuální relace zálohování dokončena. Pokud se používá GFS, tak se pro plné zálohy s GFS nastaví immutability jako nejdelší z obou období (tedy často podle GFS).

Veeam Plug-ins for Enterprise Applications

• Veeam Backup Repositories - Hardened Repository

Speciální případ je zálohování pomocí Veeam Plug-inů (Enterprise Application Backups), kde se Immutability chová trochu jinak. Jde například o zálohování Oracle Database pomocí Veeam Plug-in for Oracle RMAN.

• obdobně se neměnnost nastavuje na soubory VAB a VASM, nikoliv VACM
• Immutability se nastavuje až po uplynutí 24 hodin od vytvoření souboru
• doba neměnnosti se pro aktivní řetězec záloh neprodlužuje

Níže je příklad stavu k 8. 10. 16 hodin. Záloha předchozího dne má nastavenu neměnnost, ale dnešní ještě ne.

[veeamsvc@backupstorage ora-cluster.oksystem.local Oracle backup _backupStorage_]$ ls -l -a
total 23601748
drwxr-xr-x.  2 veeamsvc veeamsvc        4096 Oct  8 03:46  .
drwx------. 11 veeamsvc veeamsvc        4096 Oct  6 12:52  ..
-rw-r--r--.  1 veeamsvc veeamsvc 18367512576 Oct  7 03:45  0e0b5488-78c1-4355-b3ea-9e07e2a4f28f.vab
-rw-r--r--.  1 veeamsvc veeamsvc       26243 Oct  7 03:45  0e0b5488-78c1-4355-b3ea-9e07e2a4f28f.vasm
-rw-r--r--.  1 veeamsvc veeamsvc  5800280064 Oct  8 03:45  cc6a23a7-73ec-44d3-b861-0dbebae5c648.vab
-rw-r--r--.  1 veeamsvc veeamsvc       22575 Oct  8 03:46  cc6a23a7-73ec-44d3-b861-0dbebae5c648.vasm
-rw-r--r--.  1 veeamsvc veeamsvc       20156 Oct  8 03:46 'ora-cluster.oksystem.local Oracle backup _backupStorage_.vacm'
-rw-r--r--.  1 root     root             307 Oct  7 13:59  .veeam.1.lock

[veeamsvc@backupstorage ora-cluster.oksystem.local Oracle backup _backupStorage_]$ lsattr -a
---------------------- ./.
---------------------- ./..
----i----------------- ./0e0b5488-78c1-4355-b3ea-9e07e2a4f28f.vab
----i----------------- ./0e0b5488-78c1-4355-b3ea-9e07e2a4f28f.vasm
----i----------------- ./.veeam.1.lock
---------------------- ./cc6a23a7-73ec-44d3-b861-0dbebae5c648.vab
---------------------- ./cc6a23a7-73ec-44d3-b861-0dbebae5c648.vasm
---------------------- ./ora-cluster.oksystem.local Oracle backup _backupStorage_.vacm

Příklad nastavení a prodlužování Immutability

• Retention Policy 7 dní
• Full Backup v pondělí
• Immutability Period 7 dní

Následující obrázek schematicky znázorňuje existující Restore Points na úložišti k určitému dni (poslední s černým textem).

• zelené FB znázorňuje Full Backup, na počátku aktivní, později vzniklý spojením předchozí plné zálohy (FB) s následnými přírůstkovými (IB)
• modré IB znázorňuje Incremental Backup
• v řádku je vždy jeden Backup Chain a vpravo je uvedeno datum neměnnosti, které se pro aktivní řetězec postupně aktualizuje

Pozn.: Mazání starších Restore Points (celého Backup Chain, který je mimo retenci) probíhá buď v rámci běhu zálohovací úlohy nebo pomocí Background Retention.

Změna Immutability Period

Pokud zvýšíme Immutability Period v nastavení Repository, tak se při dalším běhu úlohy aplikuje na celý aktivní řetězec. Pokud hodnotu snížíme, tak na všech existujících souborech zůstane původní hodnota a pro nové inkrementální zálohy se použije snížená hodnota.

Prodloužení neměnnosti pro existující soubory záloh

Můžeme využít Powershell cmdlet a prodloužit datum Immutability (zkrátit nelze).

Set-VBRImmutabilityLockExpirationDate -RestorePoint $restorePoint -ExpirationDate "2025-12-14 10:00:00Z"

Hardened Repository Server

Veeam služby běžící na VHR

• Veeam Data Mover - Transport Service (veeamtransport) - je spuštěna jako non-root uživatel, komunikuje se zálohovacím serverem, používá port 6162
• Veeam Immutability Service (veeamimmureposvc) - běží s root oprávněním, ale je lokální a nemá žádný síťový přístup, každých 20 minut kontroluje atributy neměnnosti, vypočítává dobu neměnnosti pro soubory a nastavuje nebo odebírá Immutable atribut, provádí také detekci časového posunu
• Veeam Installer Service for Linux (veeamdeploymentsvc) - řeší nasazení a aktualizace

Veeam uživatelé v systému

Veeam Hardened Repository ISO

• vhradmin - účet pro správu serveru, může se přihlásit pouze přes (fyzickou nebo virtuální) konzoli serveru (ne přes SSH), má přístup do Veeam Hardened Repository Configurator
• veeamsvc - non-root účet s vybranými root-equivalent oprávněními, generuje se mu heslo při povolení SSH, může se vzdáleně přihlásit do systému (nebo přes konzoli), využívá jej Veeam Backup & Replication pro nasazení a správu Hardened Repository, Granular sudo Permissions Required for Hardened Repository

Veeam Infrastructure Appliance 13

• veeamadmin - účet pro správu serveru (Host Administrator), může se přihlásit do Veeam Host Management Console (Web UI nebo TUI - konzole serveru)
• veeamso - účet Security Officer, slouží ke schvalování citlivých (destruktivních) operací, přístup přes Veeam Host Management Console (Web UI)

Atributy souborů pro řízení Immutability

Pro zajištění neměnnosti se vyžívají vlastnosti souborového systému XFS. Na soubory záloh se nastavuje

• Immutability attribute (flag) i, můžeme jej vypsat pomocí lsattr -a, nastavuje se pomocí chattr +i
• Extended attribute (xattr) user.immutable.until, metadata s informací o časovém období neměnnosti, můžeme vypsat pomocí getfattr * -n user.immutable.until nebo getfattr * -d

Důležitý je Immutability attribute. Pokud je nastaven na souboru, tak jej nemůžeme smazat (soubor nesmaže ani uživatel root, ten ale může atribut odstranit pomocí chattr -i). Immutability Service atribut nastavuje a po vypršení období (musí skončit časové období v atributu user.immutable.until i v souboru .lock) jej odebírá, takže následně lze soubor smazat (například pomocí Retention Policy).

Soubor .lock

Pro každou zálohovací úlohu se také vytváří soubor .veeam.N.lock, který obsahuje informace o časovém období neměnnosti jednotlivých souborů. Při každém běhu zálohovací úlohy se vytvoří nový soubor a starý se smaže. N je číslice, která se pokaždé zvyšuje. Údaj o čase neměnnosti je tedy uložen dvakrát a Veeam využívá informace ze souboru .veeam.N.lock.

Když proběhne inkrementální záloha, tak se zvětšuje čas neměnnosti pro všechny soubory aktivního řetězce. Upraví se data v .lock souboru, ale metadata user.immutable.until v souborovém systému se nemění (zůstává původní datum).