secure-copy – filkopierare med SHA256 checksumning av filer

Secure-Copy ( https://github.com/blaufish/secure-copy ) är ett litet projekt jag påböjat för att kunna göra säkrare kopieringar av filer från en katalog till en annan.

Tanken är att efter kopiering vill kunna göra ”sha256sum -c” för att verifiera att alla filer är korrekt kopierade, utan att behöva göra sha26sum som ett separat projekt.

Projektet är ju lite av en privat lekstuga, så jag har lagt in benchmarking styrd setup av hur jag buffrar i minnet. Och jag kör läsning i en egen tråd, SHA256 i en egen tråd, skrivning till filer i en egen tråd, för att komma bort ifrån fenomenet att jag får en piple-line stall bara för att något längs pipen tillfälligt är segt. Trådningen är vagt insprirerad av Actor-modellen, men inte riktigt följd hela vägen ut.

Sen så skall det erkännas att jag fortfarande inte riktigt har den prestandan på’t som jag vill ha, lite oklar på var flaskhalsarna ligger.

java -jar secure-copy-0.0.1-SNAPSHOT.jar G:\ F:\drive_data3

Index G:\…
Entries: 540 Dirs: 540 Files: 30975 Size: 1 TB
Benchmarking on G:\media\2014\Q4\2014-10-10 Göteborgselektronikerna Kulturnatta\bmpcc\bmpcc_1_2014-10-05_1306_C0000.mov:
1024 1.4s
4096 0.6s
16384 0.5s
65536 0.4s
262144 0.5s
1048576 0.8s
4194304 0.8s
Selected blocksize: 65536
Queue depth: up to [1268] of [65536] blocks (79 MB)
464 MB of 974 GB, 0,0% (33 MB/s)… Estimated time left: 8,3 hours

Annonser

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s