Data recovery in modern infrastructure: how one admin set up backups

, — . , , 1951 . , , . 

, , , , .

, . , — . — . , , , .

Linux. , . , . , , : , . , , , — . 

: . HighLoad++, .

1,

- Linux — . , : Ansible, Puppet, Chef . . 

« , !» — . . , , . . 

.

. , , . , . 

: . . , , : - . .

: , . 

, . . : ? : — , — . 

.

2,

, . — — . 

, , . 

— . , . . 

, , . . 

: . 

. , , , . , . 

, — . : 

1. . 

2. . 

3. , . 

, . : ?

, . , , , . , .

, , . . 

: , . , , , (, ). 

:

1. . :

   1. ;

   2. ;

   3. .

2. , . :

   1. ;

   2. , (- ).

, .

, . , , . 

, . , , . : , ? 

, , , . .

, , : — . 

3, , , ( , ) 

: , . , . 

. , , , : , , . : - . 

. — . .

:

• , «-»; 

• .

:

• , , , ;

• .

, - . , , . 

, , , — , .

, — .

4, devel

. : . devel-, . -, . 

, devel — , . , , - . 

, , , . . 

— : , — . 

: 

1. .

2. , , :

   • ;

   • ;

   • , , .

3. .

, , , - . 

? : . . . , ( Puppet!), .

5,  

. . . , , (), — . 

. pipe: — . , . , . , , «» («» — ). 

, , . , . , , , , — .

:

• ;

• ;

• .

: . ? -- , , ? , :

• , ( , -- )

• -- ,

, () ( - , , ).

, , . : , — , . . 

6,

, , . . , . 

. 

, . , , , ?

, , , . , , — , . 

. — , .

:

• ;

• ;

• , .

— . — . , . , . 

. , . . . 

, . . 

, , , , : - . 

? 

7,

. - — . - , . 

№ 1

: «» . , . «», . 

№ 2

. , : , , — . , . , . . . 

№ 3

. , , . , (//) . 

, , , , . , , , , . 

№ 4

: , . , . , . 

, : — .

8, Bareos 

, , . « !», - . : , .

:

• ( );

• AMANDA;

• Bacula;

• , - , .

: Bacula, —  Bareos ( Bacula). . 

, . , . 

№ 1

virtual changer (VC). - , .

, . SOMETHING-full, — SOMETHING-incremental. , , , , . . 

- , VC . -, . Virtual changer , , , . 

№ 2

«». , , , , . .

, read ahead. , , , . 

№ 3

Bareos . — , , : , — , , , , , — . 

, . , , , .

— : , . . 

№ 4

Bareos . . , :

• , Maximum Volume Jobs Concurrent Jobs, — ; 

• , block size file size, , - ; 

• , , Max Full Interval;

• , , Max Wait Time;

• Spool Attributes Spool Data , , , . 

, . , , , . 

№ 5

, . , . :

• Full: ( );

• Incremental: Full ( ).

, , . :   , — . 

, - , . copy job (migration, ), , , — , . 

№ 6

, . ., Bareos- . , , . 

, :

• ;

• pipe.

Bareos File daemon -> Storage daemon, , . , fileset Bareos. , .

№ 7

, Bareos Bacula, , , , , , . , , , . 

№ 8 

Bareos: bareos-dbcheck . DB backend: MySQL, PostgreSQL. , .

№ 9 

: Elasticsearch, InfluxDB, Prometheus — . , . 

, :

, . 

, , , . 

- . 

, , read ahead. read ahead . 

, , -. 

, . , - , . 

:

:

, :

. , — , . — . — , . , . .

, , — . , . !

, . - — . . //, , , . — ( ) . , !

. Bareos , - , . . — !

, Bareos. : — , .