Komentarze do wpisu 'Backupeer v0.01' http://jarmark.org/post/backupeer_v001/ Targowisko informacji, porad i pomysłów. Fri, 21 Nov 2008 23:29:43 +0000 http://wordpress.org/?v=2.0.3 Autor: Jarmark.org » http://jarmark.org/post/backupeer_v001/#comment-3148 Wed, 06 Feb 2008 13:55:30 +0000 http://jarmark.org/post/backupeer_v001/#comment-3148 [...] Amazon spiskuje? Od udostępnienia publicznie mojego narzędzia do backupów mineło już parę miesięcy. Backupeer w tym czasie dziarsko backupował dane z webankiety bez najmniejszych problemów, dzień w dzień rozsyłając backupy zgodnie z receptą do kilku różnych źródeł (w tym do S3 Amazona). Tak było do początku lutego… Począwszy do 1-go zaczęły występować problemy z przesyłaniem danych do S3. Zamiast więc danych na Amazonie otrzymywałem komunikat ‘connection reset by peer’ w logach. Co dziwniejsze szybkie śledztwo wykazało, że dotyczy to tylko większych plików. Od kilku więc dni Backupeer zapaczowany na tą okoliczność próbuje przepchnąć dane do Amazona aż do skutku - i się działa, ale czasem za 30 próbą. Przyczyn ten sytuacji przyznam nie rozumiem - z techcznicznego punktu widzenia wszystko powinno być ok. Przyszła mi do głowy nieco spiskowa teoria :) Amazon ma swoje Data Centers m.in w Europie i właśnie te położone w UE wyróżniają się wyższymi cenami. Zastanawiam się więc czy nie jest to delikatna sugestia ze strony Amazona abym się domyślił, że korzystając z Data Center w UE będzie wszystko po staremu…. Na szczęście jestem mało domyślny :) [] Spodobało się? Podziel się z innymi: These icons link to social bookmarking sites where readers can share and discover new web pages. [...] […] Amazon spiskuje? Od udostępnienia publicznie mojego narzędzia do backupów mineło już parę miesięcy. Backupeer w tym czasie dziarsko backupował dane z webankiety bez najmniejszych problemów, dzień w dzień rozsyłając backupy zgodnie z receptą do kilku różnych źródeł (w tym do S3 Amazona). Tak było do początku lutego… Począwszy do 1-go zaczęły występować problemy z przesyłaniem danych do S3. Zamiast więc danych na Amazonie otrzymywałem komunikat ‘connection reset by peer’ w logach. Co dziwniejsze szybkie śledztwo wykazało, że dotyczy to tylko większych plików. Od kilku więc dni Backupeer zapaczowany na tą okoliczność próbuje przepchnąć dane do Amazona aż do skutku - i się działa, ale czasem za 30 próbą. Przyczyn ten sytuacji przyznam nie rozumiem - z techcznicznego punktu widzenia wszystko powinno być ok. Przyszła mi do głowy nieco spiskowa teoria :) Amazon ma swoje Data Centers m.in w Europie i właśnie te położone w UE wyróżniają się wyższymi cenami. Zastanawiam się więc czy nie jest to delikatna sugestia ze strony Amazona abym się domyślił, że korzystając z Data Center w UE będzie wszystko po staremu…. Na szczęście jestem mało domyślny :) [] Spodobało się? Podziel się z innymi: These icons link to social bookmarking sites where readers can share and discover new web pages. […]

]]> Autor: kodz http://jarmark.org/post/backupeer_v001/#comment-2889 Sat, 24 Nov 2007 18:55:49 +0000 http://jarmark.org/post/backupeer_v001/#comment-2889 Daniel, wspanialy backuper!!!!?!?! Daniel, wspanialy backuper!!!!?!?!

]]> Autor: Paweł J. Sawicki http://jarmark.org/post/backupeer_v001/#comment-2848 Mon, 19 Nov 2007 15:27:22 +0000 http://jarmark.org/post/backupeer_v001/#comment-2848 @daniel No jest dobry, nawet bardzo :) @daniel

No jest dobry, nawet bardzo :)

]]> Autor: daniel http://jarmark.org/post/backupeer_v001/#comment-2847 Mon, 19 Nov 2007 13:11:53 +0000 http://jarmark.org/post/backupeer_v001/#comment-2847 @zawadaa && @Paweł ej noo moglibyście choć powiedzieć, że ten Backupeer nie jest taki zły :))))))))))))) Dzięki za ciekawą dyskusję w temacie - jak są jeszcze jakieś niuanse wrzucajcie :) @zawadaa && @Paweł
ej noo moglibyście choć powiedzieć, że ten Backupeer nie jest taki zły :)))))))))))))
Dzięki za ciekawą dyskusję w temacie - jak są jeszcze jakieś niuanse wrzucajcie :)

]]> Autor: Paweł J. Sawicki http://jarmark.org/post/backupeer_v001/#comment-2845 Mon, 19 Nov 2007 12:13:08 +0000 http://jarmark.org/post/backupeer_v001/#comment-2845 // Stawia sie wezwany do tablicy :) @zawadaa ad. ad. 4) OK, zwracam honor - wspiera natywnie... ale: "The implementation does not encrypt file metadata such as file path names, permissions, and ownership." Lekki problem moze byc np. w momencie gdy zrobimy backup folderu z sesjami, ktos sie dobierze do kopii zapasowej i odczyta np. nazwe katalogu zawierajacego dane dla danego odwiedzajacego... tyle, ze to bardziej wydumka i szukanie dziury w calym chyba :) W sumie jak juz szyfruja, to mogliby wszystko. To, ze wtedy director musi trzymac wiecej informacji z mapowaniem wlacznie (bo kopie byly by pewnie przez jakis guid wtedy identyfikowane) to raczej maly problem IMO. Jak sam napisales to nowa funkcjonalnosc... Skoro mam np. przerzucac dane na jakis niezaufany serwer to wole jednak powierzyc moje dane sprawdzonemu gpg :) Zeby nie bylo :) Osobiscie uzywam baculi i bardzo dobrze mi sie sprawdza. Potrafi zrobic kopie nawet po jakims nedznym dsl-u, a dwa skrypty na krzyz i mamy przerzucanie woluminow na S3... jak dla mnie wiecej nie potrzeba. Zobacze jeszcze jak to dokladnie wyglada z tym szyfrowaniem, bo moze rzeczywiscie bedzie wystarczajace. // Stawia sie wezwany do tablicy :)

@zawadaa

ad. ad. 4)

OK, zwracam honor - wspiera natywnie… ale:

“The implementation does not encrypt file metadata such as file path names, permissions, and ownership.”

Lekki problem moze byc np. w momencie gdy zrobimy backup folderu z sesjami, ktos sie dobierze do kopii zapasowej i odczyta np. nazwe katalogu zawierajacego dane dla danego odwiedzajacego… tyle, ze to bardziej wydumka i szukanie dziury w calym chyba :) W sumie jak juz szyfruja, to mogliby wszystko. To, ze wtedy director musi trzymac wiecej informacji z mapowaniem wlacznie (bo kopie byly by pewnie przez jakis guid wtedy identyfikowane) to raczej maly problem IMO.

Jak sam napisales to nowa funkcjonalnosc… Skoro mam np. przerzucac dane na jakis niezaufany serwer to wole jednak powierzyc moje dane sprawdzonemu gpg :)

Zeby nie bylo :) Osobiscie uzywam baculi i bardzo dobrze mi sie sprawdza. Potrafi zrobic kopie nawet po jakims nedznym dsl-u, a dwa skrypty na krzyz i mamy przerzucanie woluminow na S3… jak dla mnie wiecej nie potrzeba. Zobacze jeszcze jak to dokladnie wyglada z tym szyfrowaniem, bo moze rzeczywiscie bedzie wystarczajace.

]]> Autor: zawadaa http://jarmark.org/post/backupeer_v001/#comment-2821 Fri, 16 Nov 2007 22:11:02 +0000 http://jarmark.org/post/backupeer_v001/#comment-2821 @daniel ad1) oczywiście w przypadku baculi musisz postawić temp Directora ad2) coś za coś ;-) ad3) po prostu (czyli choćby tak jak robi to rdiff-backup - też ciekawy ale taki "malusi") to nie (znaczy nie, że jest to trudne/zaawansowane dla admina)- ale odzyskać/znaleźć plik co to ktoś nie do końca wie jak się zwał to... miodzio :-) ad4) oj - nie doczytałeś albo masz stare dane ;-) bacula od wersji 2.2.0 wspiera szyfrowanie (nie tylko szyfrowanie transmisji). Pomiędzy (transmisja) oczywiście też (na wypadek "zdalnych" backupów, ale też szyfrowanie wolumenów. Czyli: ktoś Ci ukradnie dysk z backupami i zyskał... dysk - na odszyfrowanie danych straci duuużo czasu ;-) ad4) ten argument oczywiście nie podlega dyskusji - Bacula to _system_ backupów - nie zabawka. Każdy potrzebuje czegoś innego bo i potrzeby są różne. :-) @daniel
ad1) oczywiście w przypadku baculi musisz postawić temp Directora
ad2) coś za coś ;-)
ad3) po prostu (czyli choćby tak jak robi to rdiff-backup - też ciekawy ale taki “malusi”) to nie (znaczy nie, że jest to trudne/zaawansowane dla admina)- ale odzyskać/znaleźć plik co to ktoś nie do końca wie jak się zwał to… miodzio :-)
ad4) oj - nie doczytałeś albo masz stare dane ;-) bacula od wersji 2.2.0 wspiera szyfrowanie (nie tylko szyfrowanie transmisji). Pomiędzy (transmisja) oczywiście też (na wypadek “zdalnych” backupów, ale też szyfrowanie wolumenów. Czyli: ktoś Ci ukradnie dysk z backupami i zyskał… dysk - na odszyfrowanie danych straci duuużo czasu ;-)
ad4) ten argument oczywiście nie podlega dyskusji - Bacula to _system_ backupów - nie zabawka. Każdy potrzebuje czegoś innego bo i potrzeby są różne. :-)

]]> Autor: daniel http://jarmark.org/post/backupeer_v001/#comment-2818 Fri, 16 Nov 2007 21:06:48 +0000 http://jarmark.org/post/backupeer_v001/#comment-2818 @zawadaa Bacula była jednym z mocnych liderów, odpadła m.in dlatego, że: *) system backupów mialbyć "self contained" - mial nie zalezec od zewnetrznych serwerow, zeby w wypadku awarii maszyny z "nadzorca" backup dalej byl wykonywany *) Bacula jest mimo wszystko skomplikowana (director, storage daemon, file daemon, woluminy, urzadzenia, schedule - duzo tego); *) nie bardzo można liczyć na proste odtworzenie - nie mozesz sobie po prostu skopiowac/sciagnac pliku z sieci i na nim dzialac; nawet uruchomienie GUI to duzo wieksza "zabawa" *) szyfrowanie w wypadku Baculi jest natywnie wspierane pomiedzy klientem a demonem skladujacym dane; ten drugi (ktory tak naprawde trzyma calosc danych) jest uwazany za "zaufany" i w srodku nic nie jest zaszyfrowane; zeby zrobic kopie na zewnatrz trzeba woluminy oddzielnie zaszyfrowac i przeslac w zdalne miejsce *) jednym z wymagań była prostota - nie potrzebne jest mi więc narzedzie ktore pozwala postawic z backupu setke maszyn w ciagu godziny Aby oddać sprawiedliwośc powyższe argumenty są kompilacją moich uwag i uwag zgłoszonych przez Pawła (administratora webankiety) @zawadaa
Bacula była jednym z mocnych liderów, odpadła m.in dlatego, że:
*) system backupów mialbyć “self contained” - mial nie zalezec od zewnetrznych serwerow, zeby w wypadku awarii maszyny z “nadzorca” backup dalej byl wykonywany
*) Bacula jest mimo wszystko skomplikowana (director, storage daemon, file daemon, woluminy, urzadzenia, schedule - duzo tego);
*) nie bardzo można liczyć na proste odtworzenie - nie mozesz sobie po prostu skopiowac/sciagnac pliku z sieci i na nim dzialac; nawet uruchomienie GUI to duzo wieksza “zabawa”
*) szyfrowanie w wypadku Baculi jest natywnie wspierane pomiedzy klientem a demonem skladujacym dane; ten drugi (ktory tak naprawde trzyma calosc danych) jest uwazany za “zaufany” i w srodku nic nie jest zaszyfrowane; zeby zrobic kopie na zewnatrz trzeba woluminy oddzielnie zaszyfrowac i przeslac w zdalne miejsce
*) jednym z wymagań była prostota - nie potrzebne jest mi więc narzedzie ktore pozwala postawic z backupu setke maszyn w ciagu godziny

Aby oddać sprawiedliwośc powyższe argumenty są kompilacją moich uwag i uwag zgłoszonych przez Pawła (administratora webankiety)

]]> Autor: zawadaa http://jarmark.org/post/backupeer_v001/#comment-2817 Fri, 16 Nov 2007 14:09:26 +0000 http://jarmark.org/post/backupeer_v001/#comment-2817 A nie łatwiej wykorzystać bardzo sympatyczny system backupów jakim jest Bacula (bacula.org). Tym można dokonać kopii farmy serwerów (bardzo skalowalne ustrojstwo) na różne miejsca składowania kopii bezp. Szyfrować i kompresować w locie (przy składowaniu na nowe napędy LTO-4 już nie ma takiej potrzeby). Poprzez mechanizm run-before można zrobić dump bazy i zgrać tylko ten dump. konfiguracja jest naprawdę prosta. Jest też sympatyczne narzędzie okienkowe - BAT. IMHO świetna sprawa. Polecam. A nie łatwiej wykorzystać bardzo sympatyczny system backupów jakim jest Bacula (bacula.org). Tym można dokonać kopii farmy serwerów (bardzo skalowalne ustrojstwo) na różne miejsca składowania kopii bezp. Szyfrować i kompresować w locie (przy składowaniu na nowe napędy LTO-4 już nie ma takiej potrzeby). Poprzez mechanizm run-before można zrobić dump bazy i zgrać tylko ten dump. konfiguracja jest naprawdę prosta. Jest też sympatyczne narzędzie okienkowe - BAT. IMHO świetna sprawa. Polecam.

]]> Autor: daniel http://jarmark.org/post/backupeer_v001/#comment-2799 Wed, 14 Nov 2007 12:25:36 +0000 http://jarmark.org/post/backupeer_v001/#comment-2799 @ Radarek Moim zdaniem brakuje troche kody zeby zrobić gema - chodzi o prostotę korzystania. Głowną potrzebną rozbudową jest IMHO to aby recepta byl bardziej podobna do Rakefile\'a czy recepet capistrano i uruchamiana np tak: $> backupeer recepta W wolnej chwili postaram się to dodać - wówczas istotnie przed gemizacją nie będzie już przeszkód. @identor Dzieki za informacje, zabrakło \'p\' w nazwie gema :) juz poparwione. Odzyskanie informacji wymaga jej odszyfrowania i rozpakowania, przykladowa recepta korzysta z kluczy (*przykladowych*) które są w test/fixtures/keys, najprościej jest zaimprtować klucz prywatny $> gpg ---import test/fixtures/keys/private.key a pozniej po prostu rozszyfrować: $> gpg -r Backupeer -o OUTFILE.bz2 ---decrypt INFILE.bz2.gpg @ Radarek
Moim zdaniem brakuje troche kody zeby zrobić gema - chodzi o prostotę korzystania. Głowną potrzebną rozbudową jest IMHO to aby recepta byl bardziej podobna do Rakefile\’a czy recepet capistrano i uruchamiana np tak:

$> backupeer recepta

W wolnej chwili postaram się to dodać - wówczas istotnie przed gemizacją nie będzie już przeszkód.

@identor
Dzieki za informacje, zabrakło \’p\’ w nazwie gema :) juz poparwione.
Odzyskanie informacji wymaga jej odszyfrowania i rozpakowania, przykladowa recepta korzysta z kluczy (*przykladowych*) które są w test/fixtures/keys, najprościej jest zaimprtować klucz prywatny

$> gpg —import test/fixtures/keys/private.key

a pozniej po prostu rozszyfrować:

$> gpg -r Backupeer -o OUTFILE.bz2 —decrypt INFILE.bz2.gpg

]]> Autor: identor http://jarmark.org/post/backupeer_v001/#comment-2796 Wed, 14 Nov 2007 03:26:49 +0000 http://jarmark.org/post/backupeer_v001/#comment-2796 sorry_ale_spacja_mi_nie_dziala: co_z_restorem_z_takiego_backupu?_jak_go_zrobic? pozdrawiam! sorry_ale_spacja_mi_nie_dziala:

co_z_restorem_z_takiego_backupu?_jak_go_zrobic?

pozdrawiam!

]]>