[{"data":1,"prerenderedAt":2109},["ShallowReactive",2],{"tag-posts-btrfs":3},[4,1320],{"id":5,"title":6,"author":7,"body":8,"category":1276,"categorySlug":1277,"date":1278,"description":14,"excerpt":1279,"extension":1305,"location":1306,"meta":1307,"navigation":1035,"path":1308,"published":1035,"seo":1309,"slug":1310,"stem":1311,"tags":1312,"timeToRead":1049,"__hash__":1319},"posts\u002Fposts\u002FWoodstock\u002F2021-01-12_woodstock_brtfs.md","Woodstock Backup - Utilisation de Btrfs et son remplacement","Ulrich Vandenhekke",{"type":9,"value":10,"toc":1262},"minimark",[11,15,18,21,50,60,63,66,69,72,77,82,85,88,96,99,193,196,450,453,456,460,463,466,469,480,483,486,489,492,503,506,509,512,516,519,528,543,546,550,559,570,573,577,580,583,586,589,639,642,646,649,653,656,659,694,697,852,855,858,865,868,872,875,878,881,884,893,1227,1234,1242,1245,1248,1252,1258],[12,13,14],"p",{},"Bonjour à tous,",[12,16,17],{},"La version 1 de mon programme de sauvegarde Woodstock Backup utlise Btrfs et Rsync pour effectuer une sauvegarde. Je\nl'utilise depuis quelques mois pour sauvegarder mes differentes machines (7 machines).",[12,19,20],{},"Voici un premier compte-rendu de l'utilisation de la première version de cet outil dont je suis l'auteur:",[22,23,24,28,38],"ul",{},[25,26,27],"li",{},"Lors de mon utilisation la sauvegarde fonctionne très bien, et cela c'est cool :). Je suis aux alentours de 200 snapshots.",[25,29,30,31,34,35,37],{},"J'ai eu un problème d'espace disque. Lors du déplacement de plusieurs énormes fichiers sur un serveur. La taille de\nl'espace de stockage à augmenté énormément.",[32,33],"br",{},"En effet rsync ne permet pas de détecter les déplacements de fichiers et btrfs ne permet pas de dédupliquer à la volée\nles données.",[32,36],{},"Les fichiers ont donc été considérés comme étant nouveau.",[25,39,40,41,43,44,46,47,49],{},"L'espace disque étant tombé à zéro, j'ai voulu supprimer la dernière snapshot pour tester un déplacement de fichiers\ndans btrfs (à la main).",[32,42],{},"La suppression de la snapshot a commencé à prendre énormément de temps, puis la machine est devenue inaccessible.",[32,45],{},"En me connectant en direct sur la machine (KVM), j'ai découvert que la suppression du dernier volume Btrfs remplissait\nla mémore. Les 8Go octets de mémoire ont été remplis. Et le noyaux linux a utilisé OOM Killer pour détruire tous les\nprocessus.",[32,48],{},"Bref la machine n'était plus dans un état lui permettant de faire les sauvegardes.",[12,51,52,53,59],{},"On parle déjà de problème avec btrfs et la suppression de snapshot (",[54,55,56],"a",{"href":56,"rel":57},"https:\u002F\u002Fwww.spinics.net\u002Flists\u002Flinux-btrfs\u002Fmsg52088.html",[58],"nofollow",").\nOn trouve aussi pas mal d'article si les problèmes de btrfs quand il n'y a plus d'espace.",[12,61,62],{},"Cela me fait penser que btrfs ne me permettrait pas de gérer mes sauvegardes sur le long terme (tant sur le nombre de snapshots\nque cela allait créér que sur la déduplication).",[12,64,65],{},"Cela m'amène à la conclusion suivante, il faut que je repense la gestion du pool et de la déduplication. C'est d'ailleurs\nce que font beaucoup de logiciel de sauvegarde (UrBackup proposer Btrfs et une version interne ; BackupPC gère son pool interne,\nBorg gère son pool interne ...)",[12,67,68],{},"Je vais donc repenser la manière dont je gère la déduplication dans l'application de sauvegarde. Si je réécris la manière\ndont est géré le stockage, je ne pourrais plus me baser sur rsync pour la sauvegarde. Il faudra donc que je développe mon\npropre outil pour générer la sauvegarde.",[12,70,71],{},"Par contre cela à l'avantage de ne plus être dépendant d'un système de fichier.",[73,74,76],"h2",{"id":75},"le-pool","Le pool",[78,79,81],"h3",{"id":80},"diviser-pour-réigner","Diviser pour réigner",[12,83,84],{},"Nous allons donc commencer par construire ce qui doit être le pool des données. Permettant de faire la déduplication.",[12,86,87],{},"Afin de faire de la déduplication, nous allons découper les fichiers en plusieurs morceaux. Cela permettra de faire des\nsauvegardes de gros fichiers dont seule une partie change:",[22,89,90,93],{},[25,91,92],{},"Comme les images de machine virtuelle par exemple",[25,94,95],{},"Comme les fichiers de logs par exemple",[12,97,98],{},"Quelle est la bonne taille pour un morceau de fichier. Si on découpe le fichier de taille trop petite alors le découpage ne\nsert à rien. J'ai donc pris un échantillon de tous les fichiers que j'ai sur mes différentes machines pour déterminer la taille\nde cet échantillon.",[100,101,106],"pre",{"className":102,"code":103,"language":104,"meta":105,"style":105},"language-bash shiki shiki-themes one-dark-pro","find . -type f -print0 | \\\nxargs -0 ls -l | \\\nawk '{ n=int(log($5)\u002Flog(2)); if (n\u003C10) { n=10; } size[n]++ } END { for (i in size) printf(\"%d %d\\n\", 2^i, size[i]) }' | \\\nsort -n | \\\nawk 'function human(x) { x[1]\u002F=1024; if (x[1]>=1024) { x[2]++; human(x) } } { a[1]=$1; a[2]=0; human(a); printf(\"%3d%s: %6d\\n\", a[1],substr(\"kMGTEPYZ\",a[2]+1,1),$2) }'\n","bash","",[107,108,109,140,159,172,185],"code",{"__ignoreMap":105},[110,111,114,118,122,126,129,132,136],"span",{"class":112,"line":113},"line",1,[110,115,117],{"class":116},"sVbv2","find",[110,119,121],{"class":120},"subq3"," .",[110,123,125],{"class":124},"sVC51"," -type",[110,127,128],{"class":120}," f",[110,130,131],{"class":124}," -print0",[110,133,135],{"class":134},"sn6KH"," | ",[110,137,139],{"class":138},"sjrmR","\\\n",[110,141,143,146,149,152,155,157],{"class":112,"line":142},2,[110,144,145],{"class":116},"xargs",[110,147,148],{"class":124}," -0",[110,150,151],{"class":120}," ls",[110,153,154],{"class":124}," -l",[110,156,135],{"class":134},[110,158,139],{"class":138},[110,160,162,165,168,170],{"class":112,"line":161},3,[110,163,164],{"class":116},"awk",[110,166,167],{"class":120}," '{ n=int(log($5)\u002Flog(2)); if (n\u003C10) { n=10; } size[n]++ } END { for (i in size) printf(\"%d %d\\n\", 2^i, size[i]) }'",[110,169,135],{"class":134},[110,171,139],{"class":138},[110,173,175,178,181,183],{"class":112,"line":174},4,[110,176,177],{"class":116},"sort",[110,179,180],{"class":124}," -n",[110,182,135],{"class":134},[110,184,139],{"class":138},[110,186,188,190],{"class":112,"line":187},5,[110,189,164],{"class":116},[110,191,192],{"class":120}," 'function human(x) { x[1]\u002F=1024; if (x[1]>=1024) { x[2]++; human(x) } } { a[1]=$1; a[2]=0; human(a); printf(\"%3d%s: %6d\\n\", a[1],substr(\"kMGTEPYZ\",a[2]+1,1),$2) }'\n",[12,194,195],{},"Voici le resultat de ce test d'échantillon.",[197,198,199,215],"table",{},[200,201,202],"thead",{},[203,204,205,209,212],"tr",{},[206,207,208],"th",{},"File size",[206,210,211],{},"Number",[206,213,214],{},"Repartition",[216,217,218,230,241,252,263,274,285,296,307,318,329,340,351,362,373,384,395,406,417,428,439],"tbody",{},[203,219,220,224,227],{},[221,222,223],"td",{},"1k",[221,225,226],{},"29126558",[221,228,229],{},"37,36 %",[203,231,232,235,238],{},[221,233,234],{},"2k",[221,236,237],{},"8649088",[221,239,240],{},"48,45 %",[203,242,243,246,249],{},[221,244,245],{},"4k",[221,247,248],{},"7915884",[221,250,251],{},"58,60 %",[203,253,254,257,260],{},[221,255,256],{},"8k",[221,258,259],{},"6394302",[221,261,262],{},"66,81 %",[203,264,265,268,271],{},[221,266,267],{},"16k",[221,269,270],{},"4839627",[221,272,273],{},"73,01 %",[203,275,276,279,282],{},[221,277,278],{},"32k",[221,280,281],{},"3606949",[221,283,284],{},"77,64 %",[203,286,287,290,293],{},[221,288,289],{},"64k",[221,291,292],{},"3477900",[221,294,295],{},"82,10 %",[203,297,298,301,304],{},[221,299,300],{},"128k",[221,302,303],{},"5158625",[221,305,306],{},"88,72 %",[203,308,309,312,315],{},[221,310,311],{},"256k",[221,313,314],{},"3601985",[221,316,317],{},"93,34 %",[203,319,320,323,326],{},[221,321,322],{},"512k",[221,324,325],{},"971108",[221,327,328],{},"94,58 %",[203,330,331,334,337],{},[221,332,333],{},"1M",[221,335,336],{},"875574",[221,338,339],{},"95,71 %",[203,341,342,345,348],{},[221,343,344],{},"2M",[221,346,347],{},"1698194",[221,349,350],{},"97,88 %",[203,352,353,356,359],{},[221,354,355],{},"4M",[221,357,358],{},"1046430",[221,360,361],{},"99,23 %",[203,363,364,367,370],{},[221,365,366],{},"8M",[221,368,369],{},"309027",[221,371,372],{},"99,62 %",[203,374,375,378,381],{},[221,376,377],{},"16M",[221,379,380],{},"105271",[221,382,383],{},"99,76 %",[203,385,386,389,392],{},[221,387,388],{},"32M",[221,390,391],{},"65211",[221,393,394],{},"99,84 %",[203,396,397,400,403],{},[221,398,399],{},"64M",[221,401,402],{},"50832",[221,404,405],{},"99,91 %",[203,407,408,411,414],{},[221,409,410],{},"128M",[221,412,413],{},"33947",[221,415,416],{},"99,95 %",[203,418,419,422,425],{},[221,420,421],{},"256M",[221,423,424],{},"21338",[221,426,427],{},"99,98 %",[203,429,430,433,436],{},[221,431,432],{},"512M",[221,434,435],{},"8066",[221,437,438],{},"99,99 %",[203,440,441,444,447],{},[221,442,443],{},"> 1G",[221,445,446],{},"10068",[221,448,449],{},"100,00 %",[12,451,452],{},"La conclusion que l'on peut tirer de cela est que si on prend un chunk de 4Mo, alors 99% des fichiers ne seront pas découpés. Dans\nle lot rentrerons la plupart des fichiers textes, des photos, ... . Tous des fichiers qui s'ils ne sont pas des copies, sont normalement\nunique.",[12,454,455],{},"Dans une première version, je pense que cette taille ne sera pas paramétrable, mais il faudra la rendre dynamiquement paramétrable dans le\nfutur (si le type des fichiers d'autres personnes a pour conséquence une répartition différente).",[73,457,459],{"id":458},"la-table-de-hashage","La table de hashage",[12,461,462],{},"Ces différents morceaux de fichiers (chunk) doivent ensuite pouvoir être identifiés facilement sans pour autant relire le contenu du fichier à\nchaque fois.",[12,464,465],{},"L'idée est d'utiliser une table de hashage où avec une clé on peut retrouver le contenu d'un morceau de fichier.",[12,467,468],{},"Il faut pouvoir, à partir de la clé:",[22,470,471,474,477],{},[25,472,473],{},"savoir si le morceau de fichier existe,",[25,475,476],{},"lire le contenu du morceau de fichier,",[25,478,479],{},"écrire le contenu du morceau de fichier.",[12,481,482],{},"Quelle clé peut-on utiliser ?",[12,484,485],{},"Après quelque recherches je vais partir sur un SHA-256. Quels sont les avantages et les inconvénients d'une telle clé ?",[12,487,488],{},"L'avantage est qu'il est possible, quand on connait le hash de faire le lien direct avec le morceau de fichier associé. La clé est\nfacile à générer et le lien entre la clé et le chunk est facile à connaître.",[12,490,491],{},"Le plus gros inconvénient est le risque de collision. Le but d'une fonction de hash est de calculer un nombre \"court\" qui permet\nde representer un texte beaucoup plus long. Ce type de fonction de hashage est généralement utilisé pour:",[22,493,494,497,500],{},[25,495,496],{},"quand elle est coupler à une clé public\u002Fprivé, signer un document,",[25,498,499],{},"verifier l'intégrité d'un document (en cas d'erreur transfert réseau),",[25,501,502],{},"envoyer séparement permet de vérifier que le fichier n'a pas été corrompu.",[12,504,505],{},"Ce qui est le propre d'une fonction de hash est sa non réversibilité. En effet s'il était possible de retrouver facilement à partir d'un\nhash le texte contenu associé, les algo de compression n'utiliseraient que ca ;).\nMais la plus grosse conséquence de tout cela est que deux textes (de contenus et de longueurs différentes) peuvent arriver au même hash.",[12,507,508],{},"Pour un logiciel de sauvegarde, cela pose alors un gros problème. Si parcequ'il possède le même hash qu'un autre fichier, on ne sauvegarde\npas un document, la restauration ne sera pas faite à l'identique et cela engendrera de la perte de fichier.",[12,510,511],{},"Je me suis donc renseigné sur ce qui se faisait ailleurs.",[78,513,515],{"id":514},"borg","Borg",[12,517,518],{},"Je trouve borg intéressant dans son fonctionnement, ses performances, ainsi que son stockage interne. Ce qui est dommage, c'est que dans\nmon cas, je n'ai pas une vue centralisée des machines dont j'organise la sauvegarde.",[12,520,521,522,527],{},"Dans la partie ",[54,523,526],{"href":524,"rel":525},"https:\u002F\u002Fborgbackup.readthedocs.io\u002Fen\u002Fstable\u002Finternals.html",[58],"Internals"," on retrouve la structure interne du pool de Borg.",[12,529,530,531,536,537,542],{},"Borg utilise ",[54,532,535],{"href":533,"rel":534},"https:\u002F\u002Fborgbackup.readthedocs.io\u002Fen\u002Fstable\u002Finternals\u002Fdata-structures.html#hashindex",[58],"HashIndex",", qui si j'ai bien compris\ncalcule un hash sur un contenu dont la taille peut varier. Des utilisateurs se sont déjà posés la question du ",[54,538,541],{"href":539,"rel":540},"https:\u002F\u002Fgithub.com\u002Fborgbackup\u002Fborg\u002Fissues\u002F170",[58],"risque de collision",".",[12,544,545],{},"La réponse faite par l'équipe de Borg a été de rejeter la demande. L'explication qui est faite est que la probabilité qu'une telle\ncollision arrive est faible sur un hash de 256. Très faible.",[78,547,549],{"id":548},"urbackup","UrBackup",[12,551,552,553,558],{},"Même chose pour UrBackup. Dans le ",[54,554,557],{"href":555,"rel":556},"https:\u002F\u002Fwww.urbackup.org\u002Fadministration_manual.html",[58],"manuel d'administration, partie 6.3",",\non retrouve l'information suivante:",[560,561,562],"blockquote",{},[12,563,564,565,569],{},"UrBackup uses SHA512 to hash the files before file deduplication. In comparison ZFS uses SHA256 for block deduplication.\nThe choice of SHA512 is safer. The Wikipedia page for “Birthday attack” has a probability table for SHA512. According to\nit one needs 1.6 ",[566,567,568],"em",{},"1068 different files (of same size) to reach a probability of 10-18 of a collision. It also states\nthat 10-18 is the best case uncorrectable bit error rate of a typical hard disk. To have 1.6"," 1068 different files of\n1KB you need 1.4551915 * 1056 EB of hard disk space. So it is ridiculously more likely that the hard disk returns bad\ndata or the data gets corrupted in RAM, rather than UrBackup linking the wrong files to each other.",[12,571,572],{},"Bref, on y explique sur la probabilité de collision pour un SHA512 est plus faible que celle utilisé pour la déduplication\ndans ZFS. On y explique également qu'elle est ridicule par rapport au risque de panne d'un disque dur.",[78,574,576],{"id":575},"backuppc","BackupPC",[12,578,579],{},"BackupPC utilise un MD5 pour gérer son les clés de son pool. En cas de collision (ce qui est beaucoup plus probable avec un MD5 qu'avec\nun SHA-256) une extension est ajoutée à la fin du fichier.",[12,581,582],{},"Cela necessite alors de ré-envoyer le fichier sur le réseau pour comparer, mais permet de s'assurer qu'en cas de collision on ait une\nsolution de repli.",[12,584,585],{},"Un MD5 fait 4 octets contrairement à un SHA-256 qui en fait 32.",[12,587,588],{},"Du coup, est-ce qu'avec un md5, j'ai beaucoup de collision sur mon instance BackupPC ? Pour un pool qui contient 3 464 397 fichiers, j'ai\n0 collision.",[100,590,592],{"className":102,"code":591,"language":104,"meta":105,"style":105},"> find . -type f | wc -l\n3464397\n> find . -type f | awk 'length($0) > 40' | wc -l\n0\n",[107,593,594,610,615,634],{"__ignoreMap":105},[110,595,596,599,601,604,607],{"class":112,"line":113},[110,597,598],{"class":134},"> find ",[110,600,542],{"class":138},[110,602,603],{"class":134}," -type f | ",[110,605,606],{"class":116},"wc",[110,608,609],{"class":124}," -l\n",[110,611,612],{"class":112,"line":142},[110,613,614],{"class":116},"3464397\n",[110,616,617,619,621,623,625,628,630,632],{"class":112,"line":161},[110,618,598],{"class":134},[110,620,542],{"class":138},[110,622,603],{"class":134},[110,624,164],{"class":116},[110,626,627],{"class":120}," 'length($0) > 40'",[110,629,135],{"class":134},[110,631,606],{"class":116},[110,633,609],{"class":124},[110,635,636],{"class":112,"line":174},[110,637,638],{"class":116},"0\n",[12,640,641],{},"Ce qui est plutôt rassurant sur le risque de collision sur un SHA-256",[78,643,645],{"id":644},"woodstock-backup","Woodstock Backup",[12,647,648],{},"Pour mon propre logiciel, je vais partir sur un SHA-256. Je vais partir du principe qu'il n'y a pas de collision (et je ferais un test\npour vérifier cela).\nDans une version future il pourrait être intéressant d'ajouter une extension au fichier dans le cas où il y a une collision, et laisser\nla possibilité à l'utilisateur de demander à retransférer le fichier pour être sûr qu'il n'y a pas de collision.",[73,650,652],{"id":651},"structure-du-pool","Structure du pool",[12,654,655],{},"Maintenant que l'on connaît la taille des différents morceau de fichier ainsi que la clé qui nous servira à les classer. Nous allons\nmaintenant voir comment les organiser dans notre système de fichier.",[12,657,658],{},"Derrière le stockage j'ai les idées suivantes:",[22,660,661,668,671,688,691],{},[25,662,663,664,667],{},"Si on stocke tout les chunks (morceau de fichier) dans un seul dossier, nous pourrions au plus avoir ",[107,665,666],{},"1.3 x 10^154"," fichiers. Mais\ncela dépendra plus du nombre de fichier (chunk) que du nombre du nombre de possibilités.",[25,669,670],{},"Un système de fichier est en lui-même déjà une table de correspondance où la clé est le nom du fichier.",[25,672,673,674],{},"Il y a une limite sur le nombre de fichiers par dossier:\n",[22,675,676,679,682,685],{},[25,677,678],{},"FAT32: 65 536 (donc non utilisable)",[25,680,681],{},"NTFS: à priori pas de limit.",[25,683,684],{},"EXT2: ~1.3 x 10^20 (mais problème de perf au delà de 10 000) - (donc je déconseille son utilisation).",[25,686,687],{},"EXT4: pas de limit de nombre de fichier par dossier",[25,689,690],{},"J'aimerai à terme (un jour peut-être) pouvoir proposer l'utilisation d'un stockage objet (exemple S3, minio, ...) afin de pouvoir\nutiliser ce stockage depuis plusieurs serveurs. Il n'y a pas de limite du nombre de fichier dans un bucket S3.",[25,692,693],{},"Sur une structure à deux niveaux (et 255 possibilité par niveau), on peut espérer que les 3,5 millions de fichiers seront répartis\nce qui ferait un peu plus d'une 50 de fichier par dossier. (le nombre de fichier par dossier dépend du nombre de fichier et de leurs\ntaille).",[12,695,696],{},"Voici la structure que j'imagine utiliser pour le stockage des chunks.",[100,698,700],{"className":102,"code":699,"language":104,"meta":105,"style":105}," pool\n   ├── aa\n   │    ├── aa\n   │    │    ├── aa\n   │    │    │    ├── REFCNT\n   │    │    │    │     ├── sha256 cnt\n   │    │    │    │     ├── sha256 cnt\n   │    │    │    │     └── sha256 cnt\n   │    │    │    ├── LOCK\n   │    │    │    │     └── host backupNumber\n   │    │    │    └── aaaaaacdefghih-sha256.zlib\n",[107,701,702,707,715,725,736,749,769,786,804,818,837],{"__ignoreMap":105},[110,703,704],{"class":112,"line":113},[110,705,706],{"class":116}," pool\n",[110,708,709,712],{"class":112,"line":142},[110,710,711],{"class":116},"   ├──",[110,713,714],{"class":120}," aa\n",[110,716,717,720,723],{"class":112,"line":161},[110,718,719],{"class":116},"   │",[110,721,722],{"class":120},"    ├──",[110,724,714],{"class":120},[110,726,727,729,732,734],{"class":112,"line":174},[110,728,719],{"class":116},[110,730,731],{"class":120},"    │",[110,733,722],{"class":120},[110,735,714],{"class":120},[110,737,738,740,742,744,746],{"class":112,"line":187},[110,739,719],{"class":116},[110,741,731],{"class":120},[110,743,731],{"class":120},[110,745,722],{"class":120},[110,747,748],{"class":120}," REFCNT\n",[110,750,752,754,756,758,760,763,766],{"class":112,"line":751},6,[110,753,719],{"class":116},[110,755,731],{"class":120},[110,757,731],{"class":120},[110,759,731],{"class":120},[110,761,762],{"class":120},"     ├──",[110,764,765],{"class":120}," sha256",[110,767,768],{"class":120}," cnt\n",[110,770,772,774,776,778,780,782,784],{"class":112,"line":771},7,[110,773,719],{"class":116},[110,775,731],{"class":120},[110,777,731],{"class":120},[110,779,731],{"class":120},[110,781,762],{"class":120},[110,783,765],{"class":120},[110,785,768],{"class":120},[110,787,789,791,793,795,797,800,802],{"class":112,"line":788},8,[110,790,719],{"class":116},[110,792,731],{"class":120},[110,794,731],{"class":120},[110,796,731],{"class":120},[110,798,799],{"class":120},"     └──",[110,801,765],{"class":120},[110,803,768],{"class":120},[110,805,807,809,811,813,815],{"class":112,"line":806},9,[110,808,719],{"class":116},[110,810,731],{"class":120},[110,812,731],{"class":120},[110,814,722],{"class":120},[110,816,817],{"class":120}," LOCK\n",[110,819,821,823,825,827,829,831,834],{"class":112,"line":820},10,[110,822,719],{"class":116},[110,824,731],{"class":120},[110,826,731],{"class":120},[110,828,731],{"class":120},[110,830,799],{"class":120},[110,832,833],{"class":120}," host",[110,835,836],{"class":120}," backupNumber\n",[110,838,840,842,844,846,849],{"class":112,"line":839},11,[110,841,719],{"class":116},[110,843,731],{"class":120},[110,845,731],{"class":120},[110,847,848],{"class":120},"    └──",[110,850,851],{"class":120}," aaaaaacdefghih-sha256.zlib\n",[12,853,854],{},"Pour les 3 premiers niveaux, nous allons avoir une structure de dossier qui est constituée des 3 premiers octets du SHA-256. Ce qui permet\nde réduire le nombre de fichiers par dossier, mais aussi de limiter le nombre de LOCK lors de la création du pool.",[12,856,857],{},"Ensuite dans chaque dossier, nous aurons un fichier de LOCK qui sera créé lors de l'ajout d'un nouveau morceau de fichier. Il sera également\nutilisé lors de la lecture.",[12,859,860,861,864],{},"Un fichier ",[107,862,863],{},"REFCNT"," sera utilisé pour compter le nombre de référence. Cela permettra de supprimer les morceaux quand ces derniers ne seront\nplus utilisés.",[12,866,867],{},"Enfin les morceaux de fichiers sont stockés dans des fichiers dont le nom contient le hash. Ces fichiers peuvent être compressés pour réduire\nl'espace utilisé.",[73,869,871],{"id":870},"structure-des-fichiers-de-sauvegardes","Structure des fichiers de sauvegardes",[12,873,874],{},"Une fois les morceaux de fichiers déposés dans le pool, il nous faut un fichier permettant de référencer l'ensemble des fichiers qui composent\nla sauvegarde.",[12,876,877],{},"Il y aura un fichier par sauvegarde.",[12,879,880],{},"Ces fichiers de sauvegarde seront stockés dans les dossiers des différents serveurs sauvegardés. Ce fichier contient l'ensemble des fichiers\nd'une sauvegarde et pour chaque fichier, le hash de l'enssemble des morceaux de fichiers.",[12,882,883],{},"Ce fichier doit avoir un format lisible facilement et rapidement par un programme. Ce fichier sera dans un format binaire (pour que le fichier\nsoit lisible rapidement et qu'il ne prenne pas trop de place).",[12,885,886,887,892],{},"Afin de simplifier la mise en place de ce fichier, nous allons utiliser ",[54,888,891],{"href":889,"rel":890},"https:\u002F\u002Fdevelopers.google.com\u002Fprotocol-buffers",[58],"protocol-buffers",". Ce\ndernier permet d'avoir un format de fichier compatible quel que soit le language de l'application. Voici un premier jet de format de fichier qui\nsera utilisé pour stocker chaque fichier d'une sauvegarde.",[100,894,898],{"className":895,"code":896,"language":897,"meta":105,"style":105},"language-protobuf shiki shiki-themes one-dark-pro","message FileManifest {\n  message FileManifestStat {\n    int32 ownerId = 1;\n    int32 groupId = 2;\n    int64 size = 3;\n    int64 lastRead = 4;\n    int64 lastModified = 5;\n    int64 created = 6;\n    int32 mode = 7;\n  }\n\n  message FileManifestAcl {\n    string user = 1;\n    string group = 2;\n    int32 mask = 3;\n    int32 other = 4;\n  }\n\n  bytes path = 1;\n  FileManifestStat stats = 2;\n  map\u003Cstring, bytes> xattr = 5;\n  repeated FileManifestAcl acl = 6;\n  repeated bytes chunks = 3;\n  bytes sha256 = 4;\n}\n","protobuf",[107,899,900,913,923,941,955,970,984,998,1012,1026,1031,1037,1047,1062,1076,1090,1104,1109,1114,1129,1144,1174,1191,1208,1221],{"__ignoreMap":105},[110,901,902,906,910],{"class":112,"line":113},[110,903,905],{"class":904},"seHd6","message",[110,907,909],{"class":908},"sU0A5"," FileManifest",[110,911,912],{"class":134}," {\n",[110,914,915,918,921],{"class":112,"line":142},[110,916,917],{"class":904},"  message",[110,919,920],{"class":908}," FileManifestStat",[110,922,912],{"class":134},[110,924,925,928,932,935,938],{"class":112,"line":161},[110,926,927],{"class":904},"    int32",[110,929,931],{"class":930},"sVyAn"," ownerId",[110,933,934],{"class":138}," =",[110,936,937],{"class":124}," 1",[110,939,940],{"class":134},";\n",[110,942,943,945,948,950,953],{"class":112,"line":174},[110,944,927],{"class":904},[110,946,947],{"class":930}," groupId",[110,949,934],{"class":138},[110,951,952],{"class":124}," 2",[110,954,940],{"class":134},[110,956,957,960,963,965,968],{"class":112,"line":187},[110,958,959],{"class":904},"    int64",[110,961,962],{"class":930}," size",[110,964,934],{"class":138},[110,966,967],{"class":124}," 3",[110,969,940],{"class":134},[110,971,972,974,977,979,982],{"class":112,"line":751},[110,973,959],{"class":904},[110,975,976],{"class":930}," lastRead",[110,978,934],{"class":138},[110,980,981],{"class":124}," 4",[110,983,940],{"class":134},[110,985,986,988,991,993,996],{"class":112,"line":771},[110,987,959],{"class":904},[110,989,990],{"class":930}," lastModified",[110,992,934],{"class":138},[110,994,995],{"class":124}," 5",[110,997,940],{"class":134},[110,999,1000,1002,1005,1007,1010],{"class":112,"line":788},[110,1001,959],{"class":904},[110,1003,1004],{"class":930}," created",[110,1006,934],{"class":138},[110,1008,1009],{"class":124}," 6",[110,1011,940],{"class":134},[110,1013,1014,1016,1019,1021,1024],{"class":112,"line":806},[110,1015,927],{"class":904},[110,1017,1018],{"class":930}," mode",[110,1020,934],{"class":138},[110,1022,1023],{"class":124}," 7",[110,1025,940],{"class":134},[110,1027,1028],{"class":112,"line":820},[110,1029,1030],{"class":134},"  }\n",[110,1032,1033],{"class":112,"line":839},[110,1034,1036],{"emptyLinePlaceholder":1035},true,"\n",[110,1038,1040,1042,1045],{"class":112,"line":1039},12,[110,1041,917],{"class":904},[110,1043,1044],{"class":908}," FileManifestAcl",[110,1046,912],{"class":134},[110,1048,1050,1053,1056,1058,1060],{"class":112,"line":1049},13,[110,1051,1052],{"class":904},"    string",[110,1054,1055],{"class":930}," user",[110,1057,934],{"class":138},[110,1059,937],{"class":124},[110,1061,940],{"class":134},[110,1063,1065,1067,1070,1072,1074],{"class":112,"line":1064},14,[110,1066,1052],{"class":904},[110,1068,1069],{"class":930}," group",[110,1071,934],{"class":138},[110,1073,952],{"class":124},[110,1075,940],{"class":134},[110,1077,1079,1081,1084,1086,1088],{"class":112,"line":1078},15,[110,1080,927],{"class":904},[110,1082,1083],{"class":930}," mask",[110,1085,934],{"class":138},[110,1087,967],{"class":124},[110,1089,940],{"class":134},[110,1091,1093,1095,1098,1100,1102],{"class":112,"line":1092},16,[110,1094,927],{"class":904},[110,1096,1097],{"class":930}," other",[110,1099,934],{"class":138},[110,1101,981],{"class":124},[110,1103,940],{"class":134},[110,1105,1107],{"class":112,"line":1106},17,[110,1108,1030],{"class":134},[110,1110,1112],{"class":112,"line":1111},18,[110,1113,1036],{"emptyLinePlaceholder":1035},[110,1115,1117,1120,1123,1125,1127],{"class":112,"line":1116},19,[110,1118,1119],{"class":904},"  bytes",[110,1121,1122],{"class":930}," path",[110,1124,934],{"class":138},[110,1126,937],{"class":124},[110,1128,940],{"class":134},[110,1130,1132,1135,1138,1140,1142],{"class":112,"line":1131},20,[110,1133,1134],{"class":904},"  FileManifestStat",[110,1136,1137],{"class":930}," stats",[110,1139,934],{"class":138},[110,1141,952],{"class":124},[110,1143,940],{"class":134},[110,1145,1147,1150,1153,1156,1159,1162,1165,1168,1170,1172],{"class":112,"line":1146},21,[110,1148,1149],{"class":904},"  map",[110,1151,1152],{"class":134},"\u003C",[110,1154,1155],{"class":904},"string",[110,1157,1158],{"class":134},", ",[110,1160,1161],{"class":904},"bytes",[110,1163,1164],{"class":134},"> ",[110,1166,1167],{"class":930},"xattr",[110,1169,934],{"class":138},[110,1171,995],{"class":124},[110,1173,940],{"class":134},[110,1175,1177,1180,1182,1185,1187,1189],{"class":112,"line":1176},22,[110,1178,1179],{"class":904},"  repeated",[110,1181,1044],{"class":904},[110,1183,1184],{"class":930}," acl",[110,1186,934],{"class":138},[110,1188,1009],{"class":124},[110,1190,940],{"class":134},[110,1192,1194,1196,1199,1202,1204,1206],{"class":112,"line":1193},23,[110,1195,1179],{"class":904},[110,1197,1198],{"class":904}," bytes",[110,1200,1201],{"class":930}," chunks",[110,1203,934],{"class":138},[110,1205,967],{"class":124},[110,1207,940],{"class":134},[110,1209,1211,1213,1215,1217,1219],{"class":112,"line":1210},24,[110,1212,1119],{"class":904},[110,1214,765],{"class":930},[110,1216,934],{"class":138},[110,1218,981],{"class":124},[110,1220,940],{"class":134},[110,1222,1224],{"class":112,"line":1223},25,[110,1225,1226],{"class":134},"}\n",[12,1228,1229,1230,1233],{},"Le fichier sera constitué d'une liste de ",[107,1231,1232],{},"FileManifest",". Ce fichier est de la forme :",[100,1235,1240],{"className":1236,"code":1238,"language":1239},[1237],"language-text","int32 FileManifest int32 FileManifest int32 FileManifest int32 FileManifest int32 FileManifest int32 FileManifest int32 FileManifest\nint32 FileManifest int32 FileManifest int32 FileManifest int32 FileManifest int32 FileManifest int32 FileManifest int32 FileManifest\n(vous avez compris le principe)\n","text",[107,1241,1238],{"__ignoreMap":105},[12,1243,1244],{},"où chaque int32 est la taille de chaque FileManifest.",[12,1246,1247],{},"Lors de la sauvegarde, le serveur repartira de la sauvegarde précédente et écrira toute modification dans un journal. Le journal\nindiquera, les fichiers ajoutés, supprimés, et modifiés. Une fois la sauvegarde terminée, le journal sera fusionné dans le fichier de\nsauvegarde (et le comptage de référence sera mis à jour).",[73,1249,1251],{"id":1250},"conclusion","Conclusion",[12,1253,1254,1255,542],{},"Maintenant que j'ai une idée de la forme du nouveau de format de stockage, il ne me reste plus qu'à développer le pool de stockage.\nSi vous avez des retours à me faire sur le format de stockage alors n'hésitez pas à me contacter. Vous pouvez le faire par exemple sur\n",[54,1256,1257],{"href":644},"https:\u002F\u002Fgithub.com\u002Fphoenix741\u002Fwoodstock-backup",[1259,1260,1261],"style",{},"html pre.shiki code .sVbv2, html code.shiki .sVbv2{--shiki-default:#61AFEF}html pre.shiki code .subq3, html code.shiki .subq3{--shiki-default:#98C379}html pre.shiki code .sVC51, html code.shiki .sVC51{--shiki-default:#D19A66}html pre.shiki code .sn6KH, html code.shiki .sn6KH{--shiki-default:#ABB2BF}html pre.shiki code .sjrmR, html code.shiki .sjrmR{--shiki-default:#56B6C2}html .default .shiki span {color: var(--shiki-default);background: var(--shiki-default-bg);font-style: var(--shiki-default-font-style);font-weight: var(--shiki-default-font-weight);text-decoration: var(--shiki-default-text-decoration);}html .shiki span {color: var(--shiki-default);background: var(--shiki-default-bg);font-style: var(--shiki-default-font-style);font-weight: var(--shiki-default-font-weight);text-decoration: var(--shiki-default-text-decoration);}html pre.shiki code .seHd6, html code.shiki .seHd6{--shiki-default:#C678DD}html pre.shiki code .sU0A5, html code.shiki .sU0A5{--shiki-default:#E5C07B}html pre.shiki code .sVyAn, html code.shiki .sVyAn{--shiki-default:#E06C75}",{"title":105,"searchDepth":142,"depth":142,"links":1263},[1264,1267,1273,1274,1275],{"id":75,"depth":142,"text":76,"children":1265},[1266],{"id":80,"depth":161,"text":81},{"id":458,"depth":142,"text":459,"children":1268},[1269,1270,1271,1272],{"id":514,"depth":161,"text":515},{"id":548,"depth":161,"text":549},{"id":575,"depth":161,"text":576},{"id":644,"depth":161,"text":645},{"id":651,"depth":142,"text":652},{"id":870,"depth":142,"text":871},{"id":1250,"depth":142,"text":1251},"Woodstock","woodstock","2021-01-12",{"type":9,"value":1280},[1281,1283,1285,1287],[12,1282,14],{},[12,1284,17],{},[12,1286,20],{},[22,1288,1289,1291,1297],{},[25,1290,27],{},[25,1292,30,1293,34,1295,37],{},[32,1294],{},[32,1296],{},[25,1298,40,1299,43,1301,46,1303,49],{},[32,1300],{},[32,1302],{},[32,1304],{},"md","Lille, France",{"planet":1035},"\u002Fpost\u002Fwoodstock_brtfs",{"title":6,"description":14},"woodstock_brtfs","posts\u002FWoodstock\u002F2021-01-12_woodstock_brtfs",[1313,1314,1315,1316,1317,1318,1277],"backup","sauvegarde","btrfs","rsync","javascript","nodejs","f12bC0YlcreB0kEuvkJiJsi0nYRb0O3yavG9pPjrXUM",{"id":1321,"title":1322,"author":7,"body":1323,"category":1276,"categorySlug":1277,"date":2073,"description":14,"excerpt":2074,"extension":1305,"location":1306,"meta":2103,"navigation":1035,"path":2104,"published":1035,"seo":2105,"slug":1277,"stem":2106,"tags":2107,"timeToRead":1039,"__hash__":2108},"posts\u002Fposts\u002FWoodstock\u002F2020-09-20_woodstock.md","Woodstock Backup v1.0.0",{"type":9,"value":1324,"toc":2058},[1325,1327,1338,1343,1347,1357,1366,1369,1372,1377,1385,1391,1397,1435,1438,1442,1445,1471,1474,1480,1482,1489,1495,1498,1501,1504,1507,1513,1516,1527,1530,1533,1535,1542,1548,1551,1554,1559,1567,1570,1576,1580,1587,1592,1595,1604,1606,1609,1612,1615,1619,1622,1682,1686,1700,1704,1711,1714,1727,1736,1739,1750,1754,1757,1779,1782,1786,1831,1834,1838,1846,1855,1858,1920,1923,2016,2019,2022,2025],[12,1326,14],{},[12,1328,1329,1330,1334,1335,542],{},"Un projet ",[54,1331,1333],{"href":1332},"\u002Fpost\u002F2020-07-27-fin-passprotect\u002F","s'en va"," et un autre commence.\nJe suis heureux de vous présenter ce nouveau projet: ",[1336,1337,645],"strong",{},[1339,1340,1342],"h1",{"id":1341},"genèse-du-projet","Genèse du projet",[73,1344,1346],{"id":1345},"mes-problèmes","Mes problèmes",[12,1348,1349,1350,1356],{},"Pour faire des sauvegardes, j'utilisais jusqu'ici ",[1336,1351,1352],{},[54,1353,576],{"href":1354,"rel":1355},"https:\u002F\u002Fbackuppc.github.io\u002Fbackuppc\u002F",[58],". C'est un très bon logiciel pour effectuer des sauvegardes de plusieurs machines sur une instance centralisée.",[12,1358,1359,1361,1362,1365],{},[1336,1360,576],{}," est écrit en ",[566,1363,1364],{},"Perl"," avec des partie en C. En effet il se base sur un fork de rsync qui permet d'enregistrer le résultat des sauvegardes dans un format qui lui est propre. Malgré qu'il fonctionne très bien j'ai eu plusieurs problèmes avec récemment.",[12,1367,1368],{},"Il permet de faire des sauvegardes lancées depuis un serveur centralisé. Ce dernier vérifie régulièrement si les différents PC à sauvegarder sont présents sur le réseau et s'y connecte pour faire les sauvegardes sur la base d'un calendrier.",[12,1370,1371],{},"Le serveur a besoin de pouvoir se connecter sur tous les clients (incovénient que je suis prêt à accepter) mais les clients n'ont du coup pas besoin de devoir se connecter au serveur (avec le risque qu'un client compromis, compromette le serveur).",[12,1373,1374,1376],{},[1336,1375,576],{}," est également capable de décider de l'heure de la sauvegarde en fonction de la date de la dernière sauvegarde ainsi que de la présence du PC sur le réseau. Ainsi si un PC est toujours présent, il peut être sauvegardé tout en préservant les heures où la personne a besoin de toute la puissance de son PC, sauf si la sauvegarde date de trop.",[12,1378,1379,1380,1384],{},"Je vous invite fortement à aller à l'adresse ",[54,1381,1354],{"href":1382,"rel":1383},"https:\u002F\u002Fbackuppc.github.io\u002Fbackuppc\u002Finfo.html",[58]," pour en savoir plus sur BackupPC.",[12,1386,1387],{},[1388,1389],"img",{"alt":576,"src":1390},"\u002FWoodstock\u002Fbackuppc.png",[12,1392,1393,1394,1396],{},"Voici les quelques problèmes que j'ai eu récemment avec les dernières versions de ",[1336,1395,576],{}," :",[22,1398,1399,1408],{},[25,1400,1401,1402,1404,1405,1407],{},"Lors du passage de la version v3 à la version v4, et alors que le pool de sauvegarde était stocké sur un partage NFS, je me suis mis à perdre des fichiers: Impossible de restaurer des fichiers.",[32,1403],{},"Après quelques recherches j'ai découvert que BackupPC v4 n'était pas compatible avec NFS, et j'ai dû basculer toute mon installation sur un disque iSCSI sur mon NAS.",[32,1406],{},"J'ai alors perdu mon historique de sauvegarde (je n'avais alors pas assez de place pour faire faire mes sauvegardes dans un coin et des expérimentations\u002Fmigrations de l'autre).",[25,1409,1410,1411,1413,1415,1416,1418,1419,1421,1422,1424,1425,1427,1428,1430,542],{},"Une fois les sauvegardes effectuées je souhaite pouvoir copier le résultat sur un disque dur USB (qui contient donc alors la dernière version). Cette archive est alors déposée régulièrement hors site afin de minimiser le risque de perte de données.",[32,1412],{},[1336,1414,576],{}," permet de le faire nativement en exportant des archives au format TAR sur ce disque dur USB (moyennant une pré-étape pour monter le disque, et une post-étape pour le démonter).",[32,1417],{},"Cela me pose problème, en effet je veux pouvoir facilement accéder au contenu de l'archive (donc sans ouvrir le tar), et cette dernière est également très longue à créer.\nDe plus il m'est déjà arrivé d'ouvrir un tar et de me rendre compte que l'archive était corrompue (tronquée) soit par manque de place soit car l'archivage n'avait pas fonctionné correctement mais sans avertissement.",[32,1420],{},"Je m'emploie donc à créer un script qui à l'aide d'un connecteur Fuse BackupPC me permet de synchroniser les dernières versions des sauvegardes avec rsync vers le disque dur USB.",[32,1423],{},"Malheureusement le script FUSE n'est pas très maintenu, et pose problème avec des fichiers de plusieurs centaines de gigaoctets, ou avec les permissions de fichiers sauvegardés avec des machines Windows. J'ai donc adapté le script Fuse à mes problèmes pour régler uniquement le problème de droits.",[32,1426],{},"La modification n'est pas super propre: je squeeze les droits si l'utilisateur à un uid particulier.",[32,1429],{},[54,1431,1434],{"href":1432,"rel":1433},"https:\u002F\u002Fgist.github.com\u002Fphoenix741\u002F99a5076569b01ba5a116cec24a798d5f",[58],"Vous pouvez retrouver ma modification ici",[12,1436,1437],{},"Le fait est que même si la solution continue de tourner actuellement et fonctionne bien, j'ai perdu une partie de la confiance que j'ai en ce produit.",[73,1439,1441],{"id":1440},"etudes-des-autres-solutions","Etudes des autres solutions",[12,1443,1444],{},"Quelques critères:",[22,1446,1447,1453,1456,1459,1462,1465,1468],{},[25,1448,1449,1450,542],{},"Déjà un premier critère est que la solution doit être ",[566,1451,1452],{},"Open Source",[25,1454,1455],{},"Je ne veux pas de client lourd pour visualiser mes sauvegardes (seul un client léger pour y accéder de n'importe où).",[25,1457,1458],{},"Je veux pouvoir facilement créer des archives sur des disques durs USB à plat (sans format spécial comme zip, tar, ...)",[25,1460,1461],{},"Je dois pouvoir sauvegarder des machines sous Windows ou sous Linux.",[25,1463,1464],{},"Je suis prêt à installer un client lourd sur le client qui est sauvegardé.",[25,1466,1467],{},"Je dois sauvegarder 6 machines (1 serveur dédié, 2 Vieux PC portable, 2 Vieux PC Fixe, 1 Vieux NAS) sans que les utilisateurs (ma femme, moi) n'aient à y penser.",[25,1469,1470],{},"Si le logiciel est facilement contrôlable par API et via une IHM simple d'utilisation, c'est un grand plus.",[12,1472,1473],{},"J'ai regardé plusieurs solutions et voici les deux solutions qui m'ont tapé dans l'oeil (et ça fait mal) en plus de BackupPC que j'utilse déjà.",[12,1475,1476,1477,1479],{},"Je précise que mes tests sont alors limités car je n'ai pas assez d'espace de stockage pour avoir à la fois le pool de ",[1336,1478,576],{}," de environ 2To et le pool d'un autre gestionnaire de sauvegarde en même temps.",[78,1481,549],{"id":548},[12,1483,1484,1485,542],{},"J'ai alors installé ",[54,1486,549],{"href":1487,"rel":1488},"https:\u002F\u002Fwww.urbackup.org\u002F",[58],[12,1490,1491,1492,1494],{},"J'ai apprécié l'utiliser en utilisant le stockage ",[566,1493,1315],{},". Il permet aussi d'utiliser un système de stockage qui lui est propre.",[12,1496,1497],{},"Je n'ai pas trouvé de méthode pour effectuer de l'archivage sur disque dur USB des dernières sauvegardes uniquement (et pas l'ensemble du pool) pour stockage off-site. Ce point pourrait être resolvable en utilisant justement le stockage Btrfs et en écrivant mes propres scripts.",[12,1499,1500],{},"Sous Windows, il permet aussi de créer des Snapshots (équivalent LVM) pour permettre de faire des sauvegardes de fichier en lecture.",[12,1502,1503],{},"Il aussi capable de faire des images disque des machines Windows.",[12,1505,1506],{},"UrBackup utilise un client à installer sur chaque ordinateur à sauvegarder. Cela ne pose pas de problème et peut permettre d'optimiser la vitesse de sauvegarde par rapport à un simple rsync, et d'avoir un format de stockage propre pour optimiser la taille occupé.",[12,1508,1509,1510,1512],{},"Bref, sur le papier ",[1336,1511,549],{}," a tout pour plaire.",[12,1514,1515],{},"Pourquoi ne pas l'utiliser ? Bonne question :).",[12,1517,1518,1519,1522,1523,1526],{},"La migration de mon historique de sauvegarde de BackupPC vers UrBackup n'était pas possible facilement. Il aurait fallu pour cela qu'en plus de générer la structure ",[566,1520,1521],{},"Btrfs"," qui va bien créer la structure dans la base ",[566,1524,1525],{},"Sqlite",", ce que je n'ai pas forcément trouvé pratique.",[12,1528,1529],{},"Il me semble aussi que je ne trouvais pas l'interface très pratique (entre autres pour la restauration de fichiers).",[12,1531,1532],{},"Je n'ai pas plus de raisons que cela de ne pas l'utiliser, donc si vous cherchez un logiciel pour faire des sauvegardes n'hésitez pas à le tester.",[78,1534,515],{"id":514},[12,1536,1537,1538,542],{},"J'ai aimé utiliser également ",[54,1539,515],{"href":1540,"rel":1541},"https:\u002F\u002Fborgbackup.readthedocs.io\u002F",[58],[12,1543,1544,1545,1547],{},"Surtout la possibilité de pouvoir chiffrer les sauvegardes, ainsi que les performances de ",[1336,1546,515],{}," mêmes.",[12,1549,1550],{},"Malheureusement, je souhaite pouvoir facilement déchiffrer le contenu depuis le serveur principal pour archiver plusieurs sauvegardes de plusieurs machines en même temps.",[12,1552,1553],{},"Je souhaite également pouvoir sauvegarder toute sortes d'ordinateurs. Certains appartenant au réseau local, d'autres se trouvant être des dédiés sur Internet. Des PC sous Linux mais aussi un PC sous Windows.",[12,1555,1556,1558],{},[1336,1557,515],{}," m'aurait alors posé quelques soucis sous Windows.",[12,1560,1561,1562],{},"Je ne souhaite pas que mes serveurs dédiés aient accès à mon réseau local pour faire les sauvegardes, ni aient accès aux serveurs de backup directement au risque de compromettre la sécurité. ",[54,1563,1566],{"href":1564,"rel":1565},"https:\u002F\u002Fborgbackup.readthedocs.io\u002Fen\u002Fstable\u002Ffaq.html#how-can-i-protect-against-a-hacked-backup-client",[58],"Il faut alors paramétrer le serveur de backup pour gérer cela au niveau de ssh",[12,1568,1569],{},"Il n'est pas possible non plus de mutualiser les sauvegardes dans un seul repo, ce qui au delà des problèmes de sécurité, pose également des problèmes de lock.",[12,1571,1572,1573,1575],{},"Je pense que ",[1336,1574,515],{}," est par contre un très bon logiciel pour faire une sauvegarde de son PC perso quand on ne s'occupe que de soi et qu'on a qu'un seul PC.",[78,1577,1579],{"id":1578},"autres-tests","Autres tests",[12,1581,1582,1583,1586],{},"J'ai également testé rapidement ",[1336,1584,1585],{},"Burp"," pour lequel je jette un oeil également régulièrement, mais l'IHM non intégré était alors très lente lors de mes tests, et la ligne de commande me rendait la restauration de fichiers complexe lors du peu de fois que je l'ai utilisé.",[12,1588,1589,1590,542],{},"Il est alors difficile de trouver un concurrent qui me convienne pour remplacer ",[1336,1591,576],{},[12,1593,1594],{},"Si vous pensez que je me suis trompé sur les tests que j'ai fait ci-dessus, ou que vous voyez un autre logiciel de sauvegardes qui pourrait me convenir, n'hésitez pas à m'envoyer un mail.",[12,1596,1597,1598,542],{},"A l'heure actuelle j'ai décidé d'écrire mon propre système de sauvegarde que j'ai nommé ",[1336,1599,1600],{},[54,1601,645],{"href":1602,"rel":1603},"https:\u002F\u002Fwoodstock.shadoware.org\u002F",[58],[1339,1605,645],{"id":644},[12,1607,1608],{},"A défaut de tourner en rond et de ne pas être complètement satisfait, j'ai décidé de développer ma propre solution. Ainsi si je n'ai pas toutes les fonctionnalités que je désire, je n'ai qu'à m'en prendre à moi-même et les développer.",[12,1610,1611],{},"Il n'est pas facile de choisir un nom pour un logiciel.",[12,1613,1614],{},"Lors du développement de cette application de sauvegarde, je regardais un épisode d'une série dont l'histoire se passait à Woodstock, d'où le nom :).",[73,1616,1618],{"id":1617},"les-fonctionnalités","Les fonctionnalités",[12,1620,1621],{},"Quels sont les fonctionnalités à l'heure actuelle :",[22,1623,1624,1627,1630,1633,1636,1646,1651,1668,1679],{},[25,1625,1626],{},"Faire des sauvegardes de façon régulière (par exemple une fois par jour) et lors de la dispo de l'ordinateur.",[25,1628,1629],{},"Pour chaque sauvegarde il est possible d'éxecuter des étapes en amont et en aval, voir de faire plusieurs sauvegardes de plusieurs dossiers.",[25,1631,1632],{},"On peut lister les sauvegardes pour chaque hôte.",[25,1634,1635],{},"On peut télécharger les fichiers un par un ou en téléchargeant un fichier Zip.",[25,1637,1638,1639,1641,1642,1645],{},"Les sauvegardes sont stockées sur un système de fichier ",[566,1640,1521],{}," ce qui permet de bénéficier du système de ",[566,1643,1644],{},"Snapshot"," pour la déduplication, et de pouvoir accéder (à des fins d'archivage) directement aux sauvegardes sans contrainte.",[25,1647,1648,1650],{},[566,1649,1521],{}," permet également de compresser les sauvegardes (avec les bonnes options au montage).",[25,1652,1653,1654,1657,1658,542],{},"Comme ",[566,1655,1656],{},"RSync"," est utilisé, il est installé sur tous les clients (même windows), ce qui facilite son utilisation",[1659,1660,1661],"sup",{},[54,1662,1667],{"href":1663,"ariaDescribedBy":1664,"dataFootnoteRef":105,"id":1666},"#user-content-fn-1",[1665],"footnote-label","user-content-fnref-1","1",[25,1669,1670,1671],{},"L'application possède une interface moderne (à mon goût)",[1659,1672,1673],{},[54,1674,1678],{"href":1675,"ariaDescribedBy":1676,"dataFootnoteRef":105,"id":1677},"#user-content-fn-2",[1665],"user-content-fnref-2","2",[25,1680,1681],{},"L'application est contrôlable via une API Rest et via une API GraphQL.",[73,1683,1685],{"id":1684},"quelques-captures-décran","Quelques captures d'écran",[12,1687,1688,1692,1696],{},[1388,1689],{"alt":1690,"src":1691},"Dashboard","\u002FWoodstock\u002Fdashboard.png",[1388,1693],{"alt":1694,"src":1695},"Hosts","\u002FWoodstock\u002Fhosts.png",[1388,1697],{"alt":1698,"src":1699},"RunningTask","\u002FWoodstock\u002Frunning_tasks_0.png",[73,1701,1703],{"id":1702},"comment-linstaller","Comment l'installer ?",[12,1705,1706,1707,1710],{},"J'ai écrit un site Internet pour présenter Woodstock: ",[54,1708,1602],{"href":1602,"rel":1709},[58]," et porter la documentation.",[12,1712,1713],{},"Vous pouvez retrouver les liens de téléchargement depuis le repository de code sources :",[22,1715,1716,1722],{},[25,1717,1718],{},[54,1719,1720],{"href":1720,"rel":1721},"https:\u002F\u002Fgogs.shadoware.org\u002FShadowareOrg\u002Fwoodstock-backup",[58],[25,1723,1724],{},[54,1725,1257],{"href":1257,"rel":1726},[58],[12,1728,1729,1730,1735],{},"L'installation se fait très simplement, j'ai écrit un peu de ",[54,1731,1734],{"href":1732,"rel":1733},"https:\u002F\u002Fwoodstock.shadoware.org\u002Fdoc\u002Finstallation.html",[58],"documentation"," pour expliquer cela.",[12,1737,1738],{},"Il est possible d'effectuer une installation via:",[22,1740,1741,1744,1747],{},[25,1742,1743],{},"les sources",[25,1745,1746],{},"un paquet debian\u002Fubuntu",[25,1748,1749],{},"l'image docker (c'est l'installation que j'utilise moi-même)",[73,1751,1753],{"id":1752},"par-rapport-à-mon-besoin","Par rapport à mon besoin",[12,1755,1756],{},"Reprenons mes critères :",[22,1758,1759,1764,1767,1770,1773,1776],{},[25,1760,1761,1763],{},[566,1762,1452],{},": Check",[25,1765,1766],{},"Client léger: Check",[25,1768,1769],{},"Archivage sur disque dur USB à plat: Partiel (Btrfs me permet de le faire manuellement à l'aide d'un script maison)",[25,1771,1772],{},"Compatible Windows\u002FLinux: Check (via rsync)",[25,1774,1775],{},"Sauvegarde sans y penser (automatique): Check",[25,1777,1778],{},"API ou IHM simple d'utilisation: Milk Check. L'API est là. Il est simple d'utilisation pour moi, mais peut encore être amélioré",[12,1780,1781],{},"Donc pour l'instant il répond à mes besoins mais reste améliorable.",[73,1783,1785],{"id":1784},"roadmap","Roadmap",[22,1787,1788,1791,1794],{},[25,1789,1790],{},"Avoir un outil d'archivage automatique intégré.",[25,1792,1793],{},"Les suppressions automatiques de sauvegardes sont à prévoir également.",[25,1795,1796,1797],{},"Peut-être remplacer Btrfs par autre chose, car actuellement",[22,1798,1799,1802,1808,1811,1814],{},[25,1800,1801],{},"Sans Btrfs, le logiciel ne peut pas fonctionner, donc cela limite les OS du serveur de sauvegarde.",[25,1803,1804,1805,1807],{},"Il y aurait des problèmes de performances avec ",[566,1806,1521],{}," en cas de trop grand nombre de snapshots et de l'utilisation des qgroups. Pour l'instant je n'ai ce genre de problème que lors de la suppression de sauvegarde.",[25,1809,1810],{},"Il n'est pas possible de faire de la déduplication inter-machines simplement.",[25,1812,1813],{},"L'utilisation d'un système de fichier unique empêche l'utilisation de plusieurs serveurs de backups, synchronisés. (Je me dis que sur les grosses infrastructures, il peut-être intéressant de scaler horizontalement)",[25,1815,1816,1817],{},"Par contre, si je remplace Btrfs par autre chose, les questions sont alors",[22,1818,1819,1822,1825,1828],{},[25,1820,1821],{},"par quoi ?",[25,1823,1824],{},"Comment fais-je pour Rsync ?",[25,1826,1827],{},"Dois-je le remplacer aussi ?",[25,1829,1830],{},"Avoir mon propre client de sauvegarde (comme UrBackup) ?",[12,1832,1833],{},"Si vous avez des éléments de réponses, ou des idées là aussi, n'hésitez pas non plus à m'envoyer un mail.\nSi vous aussi n'êtes pas satisfaits de votre solution de sauvegardes, contactez-moi pour me dire ce qu'il vous faudrait, voir même pour contribuer.",[73,1835,1837],{"id":1836},"quelques-chiffres","Quelques chiffres",[12,1839,1840,1841,1843,1844,542],{},"À l'heure actuelle, je suis passé à ",[1336,1842,645],{}," pour mes sauvegardes en ayant migré toutes mes sauvegardes depuis ",[1336,1845,576],{},[12,1847,1848,1849,1851,1852,1854],{},"Je peux donc faire quelques comparaisons rapides (",[1336,1850,645],{}," méritant encore quelques évolutions pour atteindre le niveau de ",[1336,1853,576],{}," dans certains domaines).",[12,1856,1857],{},"Je possède 6 machines dont l'espace est répartit comme suite :",[197,1859,1860,1870],{},[200,1861,1862],{},[203,1863,1864,1867],{},[206,1865,1866],{},"Machine",[206,1868,1869],{},"Stockage",[216,1871,1872,1880,1888,1896,1904,1912],{},[203,1873,1874,1877],{},[221,1875,1876],{},"pc-windows",[221,1878,1879],{},"260.8 Gb ",[203,1881,1882,1885],{},[221,1883,1884],{},"pc-portable-1",[221,1886,1887],{},"148.1 Gb",[203,1889,1890,1893],{},[221,1891,1892],{},"pc-portable-2",[221,1894,1895],{},"41.0 Gb",[203,1897,1898,1901],{},[221,1899,1900],{},"pc-linux",[221,1902,1903],{},"153.3 Gb",[203,1905,1906,1909],{},[221,1907,1908],{},"nas",[221,1910,1911],{},"1.4 Tb",[203,1913,1914,1917],{},[221,1915,1916],{},"server-ovh",[221,1918,1919],{},"189.6 Gb",[12,1921,1922],{},"Certains fichiers (comme les photos de vacances, ...) peuvent être sur plusieurs machines (nas + pc fixe).",[197,1924,1925,1936],{},[200,1926,1927],{},[203,1928,1929,1932,1934],{},[206,1930,1931],{},"Comparaison",[206,1933,576],{},[206,1935,1276],{},[216,1937,1938,1952,1963,1973,1984,1994,2005],{},[203,1939,1940,1943,1946],{},[221,1941,1942],{},"Pool de sauvegarde",[221,1944,1945],{},"le stockage optimisé 1,88 To",[221,1947,1948,1949,1951],{}," Le stockage ",[566,1950,1315],{}," avec compression prend 2,1 To",[203,1953,1954,1957,1960],{},[221,1955,1956],{},"Compression pc-windows",[221,1958,1959],{},"357 Go non compressé",[221,1961,1962],{},"326 Go non compressé",[203,1964,1965,1967,1970],{},[221,1966],{},[221,1968,1969],{},"246 Go compressé",[221,1971,1972],{},"245 Go compressé",[203,1974,1975,1978,1981],{},[221,1976,1977],{},"Compression pc-portable-1",[221,1979,1980],{},"74 Go non compressé",[221,1982,1983],{},"79 Go non compressé",[203,1985,1986,1988,1991],{},[221,1987],{},[221,1989,1990],{},"70 Go compressé",[221,1992,1993],{},"75 Go compressé",[203,1995,1996,1999,2002],{},[221,1997,1998],{},"Temps de sauvegarde incrémental NAS",[221,2000,2001],{}," 21 minutes en moyenne",[221,2003,2004],{},"15 minutes en moyenne",[203,2006,2007,2010,2013],{},[221,2008,2009],{},"Temps de sauvegarde incrémental pc-linux",[221,2011,2012],{},"30 minutes en moyenne",[221,2014,2015],{},"7 minutes en moyenne",[12,2017,2018],{},"J'ai l'impression que la notion de compress-force n'est pas prise en compte, et que la compression n'est pas des plus efficaces.",[12,2020,2021],{},"Pour la taille du pool de sauvegarde cela ne m'étonne pas vu que la déduplication n'est pas cross-machine.",[12,2023,2024],{},"Pour le temps de sauvegarde c'est une bonne surprise mais là aussi, je pense que c'est normal vu que rsync ne doit pas faire de déduplication à\nson niveau.",[2026,2027,2030,2035],"section",{"className":2028,"dataFootnotes":105},[2029],"footnotes",[73,2031,2034],{"className":2032,"id":1665},[2033],"sr-only","Footnotes",[2036,2037,2038,2049],"ol",{},[25,2039,2041,2042],{"id":2040},"user-content-fn-1","A voir si je conserve ce mode de fonctionnement pour le futur. J'envisage de peut-être prendre un client lourd. ",[54,2043,2048],{"href":2044,"ariaLabel":2045,"className":2046,"dataFootnoteBackref":105},"#user-content-fnref-1","Back to reference 1",[2047],"data-footnote-backref","↩",[25,2050,2052,2053],{"id":2051},"user-content-fn-2","Mais si un UI\u002FUX souhaite améliorer l'interface, je suis preneur. ",[54,2054,2048],{"href":2055,"ariaLabel":2056,"className":2057,"dataFootnoteBackref":105},"#user-content-fnref-2","Back to reference 2",[2047],{"title":105,"searchDepth":142,"depth":142,"links":2059},[2060,2061,2066,2067,2068,2069,2070,2071,2072],{"id":1345,"depth":142,"text":1346},{"id":1440,"depth":142,"text":1441,"children":2062},[2063,2064,2065],{"id":548,"depth":161,"text":549},{"id":514,"depth":161,"text":515},{"id":1578,"depth":161,"text":1579},{"id":1617,"depth":142,"text":1618},{"id":1684,"depth":142,"text":1685},{"id":1702,"depth":142,"text":1703},{"id":1752,"depth":142,"text":1753},{"id":1784,"depth":142,"text":1785},{"id":1836,"depth":142,"text":1837},{"id":1665,"depth":142,"text":2034},"2020-09-20",{"type":9,"value":2075},[2076,2078,2084,2086,2088,2095,2101],[12,2077,14],{},[12,2079,1329,2080,1334,2082,542],{},[54,2081,1333],{"href":1332},[1336,2083,645],{},[1339,2085,1342],{"id":1341},[73,2087,1346],{"id":1345},[12,2089,1349,2090,1356],{},[1336,2091,2092],{},[54,2093,576],{"href":1354,"rel":2094},[58],[12,2096,2097,1361,2099,1365],{},[1336,2098,576],{},[566,2100,1364],{},[12,2102,1368],{},{"planet":1035},"\u002Fpost\u002Fwoodstock",{"title":1322,"description":14},"posts\u002FWoodstock\u002F2020-09-20_woodstock",[1313,1314,1315,1316,1317,1318,1277],"3u7RFr1fMKcgbLywQbn4HX3gySdxxhd7EFlJL3Est34",1777849586448]