Veeam Backup & Replication

Pozn.: Popis v článku vychází z Veeam Backup & Replication 12.2, licencováno pomocí Veeam Universal License (VUL), tedy obdoba Enterprise Plus.

V tomto úvodním díle se podíváme na různé možnosti dosažení Immutability (neměnnosti) s Veeam Backup & Replication. Hlavně z teoretického či obecného hlediska. V dalších částech se budeme věnovat praktickým testům různých možností.

Ochrana záloh a související termíny

Zálohy slouží k ochraně důležitých dat před neúmyslným smazáním či poškozením, havárií, útokem, zásahem malwaru (Ransomware) či jinou škodlivou činností. Zdrojová data jsou chráněna tím, že jejich kopie jsou uchovávány v záloze a lze je obnovit.

V zálohách se nacházejí hlavní data společnosti. Útočníci se dnes proto zaměřují právě na zálohy. Nemusí hledat citlivá data po celé síti, ale naleznou je na jednom místě. Je tedy zásadní mít přístup k zálohám dobře zabezpečený, obsah záloh šifrovaný (aby útočníci data nezískali) a zabránit možnosti změny dat (pokud dojde k zašifrování dat na serverech, aby byla k dispozici spolehlivá záloha).

Pozn.: Důležité také je mít jistotu, že je záloha spolehlivá a lze data obnovit. Proto bychom měli provádět pravidelné testy obnovy.

Pravidlo 3-2-1-1-0

What is the 3-2-1 backup rule?

Pro zálohování se již 20 let využívá pravidlo 3-2-1. To znamená uchovávat minimálně 3 kopie dat (produkce, záloha, kopie zálohy), používat 2 nezávislá zálohovací média (kopie na různých zařízeních) a uchovávat 1 zálohu mimo lokalitu (Off-site).

Veeam nedávno toto pravidlo rozšířil na 3-2-1-1-0. Doplněná 1 a 0 znamená uchovávat 1 kopii dat Offline (vypnutou), air-gapped (fyzicky izolovanou/odpojenou od sítě) nebo immutable (neměnnou) a při kontrole obnovení pomocí SureBackup dosáhnout 0 chyb.

Hardening

Termín Hardening v počítačové bezpečnosti znamená zabezpečení systému zmenšením útočné plochy (attack surface). To zahrnuje snížení funkcí systému (nepotřebných služeb), odstranění nepotřebného softwaru a uživatelů, změnu výchozích hesel, řízení přístupu (oprávnění a silná autentizace) a zabezpečení síťové komunikace.

Veeam Backup Repository vs. Storage System

Protože řešíme ukládání dat, tak bychom si měli specifikovat dva základní termíny. Trochu matoucí je, že termín Storage i Repository se do češtiny překládá jako úložiště.

Storage System znamená úložný systém (řešení pro ukládání dat) nebo úložiště, specifickým příkladem je diskové pole (ale tento termín se používá stále méně). Jde o zařízení nebo software, které slouží ke spolehlivému a bezpečnému ukládání a správě dat. Poskytuje úložný prostor pro data, nemá žádné znalosti související se zálohami. Poskytuje škálovatelný a organizovaný způsob ukládání dat, aby k nim bylo možné snadno přistupovat, vyhledávat je a zpracovávat.

Backup Repository znamená úložiště záloh. Je to logická entita v rámci Veeam Backup & Replication, která představuje cílové umístění pro zálohy. Může být konfigurováno na různých typech fyzického nebo cloudového úložiště (Storage). Přidává vrstvu správy a organizace specifickou pro zálohy nad samotným úložným prostorem. Obsahuje metadata a informace o struktuře záloh. Může mít specifická nastavení jako komprese, deduplikace nebo šifrování.

Různé typy úložiště (Storage) mohou sloužit jako Backup Repository.

Direct Attached Storage (DAS) - virtuální nebo fyzické servery využívající lokální disky (DAS) či SAN - Windows server, Linux server, Hardened Repository
Network Attached Storage (NAS) - sdílené síťové složky (souborový server nebo NAS) - SMB/CIFS share, NFS share
Object Storage - cloudová služba nebo lokální objektové úložiště
Deduplicating Storage Appliance - podporované fyzické zařízení

Object Storage - objektové úložiště

Pozn.: Více informací se nachází v novém článku Co je objektové úložiště (Object Storage)?.

Objektové úložiště je systém pro ukládání a správu dat, který zachází s informacemi jako s objekty namísto tradičních souborů či bloků. Každý objekt obsahuje unikátní ID a metadata popisující jeho obsah a vlastnosti. Může ukládat různé typy dat efektivně a bezpečně. Je vhodné pro velké objemy nestrukturovaných dat. Může mít různou implementaci a rozhraní (API). Nemusí být kompatibilní s jinými systémy.

Objektová úložiště jsou hlavním typem úložišť, které podporují Immutability (neměnnost). Jejich podmnožinou jsou S3 kompatibilní úložiště.

Amazon S3 (Simple Storage Service)

Patrně nejrozšířenější objektové úložiště je cloudová služba Amazon Simple Storage Service (Amazon S3) od Amazon Web Services (AWS). Má dobrou škálovatelnost, dostupnost dat, trvanlivost (durability), zabezpečení a výkon. Poskytuje správu verzí, životní cyklus, globální dostupnost a různá API (včetně REST API).

S3 Compatible Storage - S3 kompatibilní úložiště

Díky rozšíření Amazon S3 se jeho API stalo de facto standardem pro Object Storage API. Proto řada výrobců úložišť a softwaru implementuje API kompatibilní s Amazon S3. Tato úložiště se označují se jako S3 kompatibilní (S3 Compatible Storage) nebo S3 Object Storage. To přináší jednotné rozhraní pro operace s úložištěm a kompatibilitu mezi různými systémy. Mohou se využívat existující nástroje a knihovny pro S3, což je celý rozsáhlý ekosystém.

Veeam Backup & Replication podporuje vybrané typy objektových úložišť.

největší skupina využívá S3 API
- obecné S3 Compatible
- specifické Amazon S3, Google Cloud Storage (nepodporuje Immutability), IBM Cloud Object Storage, Wasabi Cloud Storage
Microsoft Azure Storage
Veeam Data Cloud Vault

Immutability - neměnnost

Immutability (neměnnost) je vlastnost (stav dat), kdy uložená data nemohou být změněna ani smazána po jejich vytvoření. Jejich čtení není omezeno. Díky Immutable Backups zajistíme bezpečnost, integritu a compliance zálohovaných dat. Podobný termín, který se používá již velmi dlouho, je WORM (Write Once, Read Many). Popis u Veeam What is WORM (Write Once, Read Many)?

V případě záloh používáme dočasnou neměnnost a nastavujeme období neměnnosti (Immutability Period). Tedy dobu, po jakou nelze data změnit. Po vypršení této doby mohou být data smazána (často automaticky s koncem retence) a již nejsou chráněna.

Pro zálohovací úlohu nastavujeme Retention Policy, která určuje, jak dlouho se zálohy uchovávají. Doporučuje se nastavit Immutability Period kratší nebo rovnu Retention Policy.

Nastavení Immutability ovlivňuje (znemožňuje) různé Veeam funkce a může komplikovat správu úložiště. Záleží na typu úložiště, ale obecně není možno měnit (konsolidovat) chráněné soubory, a tedy využít třeba Reverse Incremental. Zálohy nemůžeme přesouvat mezi úložišti, tedy i v případě Scale-Out Backup Repositories přesuny mezi extenty (Rebalancing), do Capacity Tier apod.

Immutable Storage - neměnné úložiště

Technologicky můžeme neměnnost implementovat buď na úrovni diskového pole (úložiště) či cloudového úložiště (což je v podstatě to samé) nebo softwarově pomocí speciálního souborového systému. Disková pole také často umožňují vytvořit immutable volume snapshot (snímek pouze pro čtení).

Veeam podporuje následující úložiště záloh (Backup Repositories) s funkcí neměnnosti (Immutability)

Veeam Hardened Repository
Object Storage Repository (objektové úložiště) - primárně S3 kompatibilní s funkcí S3 Object Lock, využívá Veeam deduplikaci a kompresi
- lokální úložiště výrobců ObjectFirst, Scality, Pure Storage, NetApp, HPE a další
- cloudové služby Amazon (S3 bucket), Microsoft (Azure Container), Wasabi a další poskytovatelé
Deduplicating Storage Appliances (deduplikační úložná zařízení) - úložiště s vlastní deduplikací a kompresí, HPE StoreOnce využívá Dual Authorization, ostatní (Dell Data Domain, ExaGrid, Fujitsu CS800, Quantum DXi, Infinidat InfiniGuard) využívají časové zámky nebo Secure Snapshot

Veeam podporuje neměnnost na všech úrovních Performance Tier, Capacity Tier a Archive Tier. Označuje to jako přístup neměnnosti od začátku do konce (immutability from start to finish). Má k tomu pěkný obrázek (jen myslím, že chybí zámeček u IBM Object Storage).

Immutability a Backup Repository

Ve Veeam Backup & Replication se Immutability nastavuje na úrovni celého Repository (úložiště). Když přidáváme úložiště (Storage) jako Repository do zálohovací infrastruktury, tak pro objektové úložiště nebo deduplikační appliance zatrhneme Make recent backups immutable for (Hardened Repository má funkci automaticky zapnutou) a zadáme počet dní.

Immutability si řídí Veeam, takže na úložišti pouze aktivujeme potřebné funkce, ale nezapínáme neměnnost. Na S3 úložištích musíme aktivovat Object Lock a verzování, když vytváříme kbelík (bucket).

Dokumentace uvádí, že pro Object Storage můžeme ve VBR Console (GUI) nastavit 7 až 90 dní. Pro delší období je možno využít PowerShell cmdlety Set-VBRAmazonS3CompatibleRepository a Set-VBRAzureBlobRepository. Pro Hardened Repository můžeme nastavit celý podporovaný interval 7 až 9999 dní neměnnosti.

Veeam Backup & Replication - New Object Storage Repo - Immutability

Immutability a Backup Chain

Veeam Backup & Replication nastavuje neměnnost na celý Backup Chain se všemi jeho body obnovy. Jaký Backup Mode (zálohovací metodu) můžeme použít záleží na typu Repository. Podle toho se vytváří odpovídající Backup Chain.

Pro S3 objektové úložiště můžeme použít pouze Forever Forward Incremental. Pro Hardened Repository to může být jen Forward Incremental (se zapnutým aktivním nebo syntetickým Full Backup, jinak by šlo o Forever Forward Incremental). Nikde nemůžeme využít Reverse Incremental. Když se na záložní soubory nastaví neměnnost, tak nemohou být sloučeny nebo smazány před jejím vypršením.

Retention Policy nastavuje počet bodů obnovy nebo dní, které chceme uchovat. Po překročení je nejstarší Restore Point odstraněn. V případě Forward Incremental potřebujeme mít celý Backup Chain, abychom mohli data obnovit. Proto jsou některé Restore Point uchovány delší dobu. Až když se celý Backup Chain dostane mimo Retention Policy, tak je odstraněn. Do toho vstupuje Immutability Period, která chrání celý Backup Chain a doba se prodlužuje o všechny záložní soubory v aktivním řetězci.

Immutability se nastavuje na soubory se zálohovanými daty (VBK, VIB, apod). Nenastavuje se na backup metadata file (VBM).

Immutability a Object Storage

Objektové úložiště nepracuje se soubory, ale s objekty. Veeam rozdělí soubory záloh na bloky určité velikosti (defaultně 1 MB) a ty nahrává jako objekty (ještě se komprimují). Neměnnost se nastavuje na každý objekt.

Během přírůstkové zálohy se nahrávají pouze nová nebo změněná data jako nové objekty. U existujících dat se pouze aktualizuje datum neměnnosti. Aby se ušetřily I/O operace, tak přidává několik dní k datu vypršení platnosti neměnnosti. Označuje se Block Generation.

Veeam Hardened Repository

Linux Hardened Repository je speciální typ úložiště záloh ve Veeam Backup & Replication. Je to cesta, jak dosáhnout Immutability bez nutnosti kupovat nové úložiště (diskové pole) či využívat cloudovou službu. Podporuje obecný Linux server, takže je možno zvolit hardware i Linux distribuci podle svého.

Toto úložiště se objevilo ve Veeam Backup & Replication 11 a bylo podstatně vylepšeno ve verzi 12. Využívá se Veeam deduplikace a komprese. Server nemůže obsahovat jiné Veeam role (až na VMware Backup Proxy v Network mode). Ve verzi 11 nešlo použít třeba pro zálohy enterprise aplikací, transakčních logů a další. Ve verzi 12 můžeme použít pro uložení snad všech typů záloh.

Hardware pro Hardened Repository

Pro Hardened Repository můžeme využít standardní fyzický server s lokálními disky nebo prostorem na stávajícím diskovém poli připojeném přes SAN. Veeam doporučuje použití interních disků, protože odpadne možnost, že útočník napadne diskové pole. Server musí být dostatečné výkonný, redundantní a zabezpečený.

Pro zabezpečení je doporučeno vypnout vzdálenou správu (IPMI - Intelligent Platform Management Interface), jako HPE iLO či Dell DRAC, a přístup přes SSH. Důležitý je také správný čas (spolehlivé NTP) a jeho zabezpečení.

Můžeme využít také virtuální server (VM), i když fyzický server nabídne výrazně vyšší bezpečnost (viz. zamyšlení v poslední kapitole).

Operační systém pro Hardened Repository

Na server instalujeme určitou distribuci Linuxu (Ubuntu, Red Hat, SUSE atd.), takže jsou potřeba základní znalosti toho OS. Veeam v dokumentaci uvádí postup na instalaci a konfiguraci Ubuntu Linux Server nebo Red Hat Enterprise Linux Server. Vlastní použití úložiště je jednoduché (stejné jako pro jiná Repository) a provádí se z Veeam Backup & Replication.

Využívá se souborový systém XFS, který podporuje Block Cloning - reflink (Fast Clone) a Immutability. Pro nasazení Repository se používají single use credentials (jednorázová pověření), která se neukládají na Veeam serveru. Pro běh nejsou potřeba oprávnění root (kompromitace Veeam Serveru neohrozí data). Doporučuje se vypnout SSH, které je potřeba pro nasazení a updaty Veeam Data Mover.

Jak Immutability funguje

How Immutability Works

Na serveru běží dvě Veeam služby:

Veeam Data Mover - Transport Service (veeamtransport) - je spuštěna jako non-root uživatel, komunikuje se zálohovacím serverem, používá port 6162
Veeam Immutability Service (veeamimmureposvc) - běží s root oprávněním, ale je lokální a nemá žádný síťový přístup, každých 20 minut kontroluje atributy neměnnosti, vypočítává dobu neměnnosti pro soubory a nastavuje nebo odebírá Immutable atribut, provádí také detekci časového posunu

Pozn.: Nasazení a aktualizace je pomocí Veeam Installer Service for Linux (veeamdeploymentsvc).

Pro zajištění neměnnosti se vyžívají vlastnosti souborového systému XFS. Na soubory záloh se nastavuje

Immutability attribute (flag) i, můžeme jej vypsat pomocí lsattr -a
rozšířený atribut xattr s časovým obdobím pro neměnnost, můžeme vypsat pomocí getfattr * -n user.immutable.until

Pro každou zálohovací úlohu (dokumentace uvádí pro každý soubor zálohy) se také vytváří soubor .veeam.N.lock, který obsahuje informace o časovém období neměnnosti jednotlivých souborů. Údaj o retenci je tedy uložen dvakrát a Veeam využívá informace ze souboru .veeam.N.lock.

Immutability Period může být 7 až 9999 dní. Immutability flag se nastaví na soubor, když je aktuální relace zálohování dokončena. Pokud je Immutability Period delší než Job retention, tak se zálohy neodstraní před vypršením Immutability. Pokud se používá GFS, tak se pro plné zálohy s GFS nastaví immutability jako nejdelší z obou období (tedy často podle GFS).

Veeam Backup & Replication - New Backup Repository - Immutability

Managed Hardened Repository

Veeam se snaží použití Hardened Repository ještě zjednodušit a pracuje na Managed Hardened Repository. Jde o připravené ISO založené na Rocky Linux, zatím v Community Preview. Zvládne jej použít i člověk bez znalosti Linux OS. Systém je optimalizovaný pro Hardened Repository a nabízí omezené funkce. Aktualizace zajišťuje Veeam.

Oficiální zpráva Managed Hardened Repository Preview Now Available! a příspěvek na fóru [PREVIEW] Managed Hardened Repository ISO by Veeam.

Moje zamyšlení nad spolehlivostí Immutability

Immutability by měla ochránit data před změnou nebo smazáním. Nejvíce se dnes snažíme chránit před útočníky, ale tato ochrana by neměla dovolit ani správci systému data smazat.

Prvně se samozřejmě musíme snažit zabezpečit Veeam Backup & Replication Server a celou zálohovací infrastrukturu. Pokud jej útočník kompromituje, tak má možnost zapisovat (a číst) všude, kde Veeam. Dalším krokem je zajistit, aby útočník nemohl smazat či zašifrovat data na Repository.

Hardened Repository

Při využití Hardened Repository umožňuje souborový systém XFS nastavit immutable atribut. Soubory s tímto nastavením nemůže nikdo smazat, upravit, přepsat, přesunout nebo přejmenovat. Nicméně uživatel root může tento atribut odstranit a pak se souborem manipulovat. Proto je důležité pečlivě zabezpečit root účet nebo ho nepoužívat.

Existují další možnosti mazání chráněných dat. Pokud je Hardened Repository VM, správce virtualizace může mazat jeho disky. U svazků na standardním diskovém poli to může udělat správce úložiště. Lokální disky na serveru lze smazat pomocí nástrojů pro správu (od výrobce a dalších).

Vždy existuje riziko, že útočník získá správcovský přístup a data smaže. Je nutné tyto možnosti minimalizovat. Další otázka jsou zranitelnosti různých softwarů.

Object Storage

Druhou kategorií jsou objektová úložiště a různé speciální appliances. Pokud se pro nějaká data nastaví Immutability, tak by ani správce systému neměl mít možnost toto změnit. Pro taková úložiště máme nějaký účet správce, ale i ten je omezený a nemáme přístup na super správce. Zůstává tak otázka potenciálních bugů a zranitelností. Případně, zda je nějaká možnost provést reset do továrního nastavení.

Cloud Storage Services

Podobné je to u cloudových služeb. Slyšel jsem varování, že pokud nastavíme Immutability v Azure pomocí zamčené politiky s časovou retencí, tak není možné zrušit (smazat data) před vypršením času. Věřím, že Microsoft musí mít možnost data smazat nebo zrušit. Otázkou je, zda nám dovolí ukončit takové předplatné. Pokud by například firma zkrachovala a přestala platit, asi by Microsoft neměl zájem uchovávat jejich data.