Busca o elimina ficheros duplicados con rclone

Con el tiempo tendemos a ir almacenando muchas cosas en la nube, hacemos copias de nuestros datos, fotos, documentos, etc. muchas de ellas a veces pueden ser copiadas dos o tres veces sin darnos cuenta.

Para solucionar esto, rclone tiene un opción, dedupe que permite la búsqueda de ficheros duplicados para borrarlos o renombrarlos de una forma interactiva o automática, con el consiguiente ahorro de espacio en disco.

Para ejecutarlo de forma interactiva por cada fichero duplicado que encuentra

rclone dedupe gdrive:/carpeta

2019/08/22 16:24:37 Google drive root 'carpeta': Looking for duplicates using interactive mode.
one.txt: Found 4 duplicates - deleting identical copies
one.txt: Deleting 2/3 identical duplicates (md5sum "1eedaa9fe86fd4b8632e2ac549403b36")
one.txt: 2 duplicates remain
  1:      6048320 bytes, 2019/08/22 16:23:37.798000000, md5sum 1eedaa9fe86fd4b8632e2ac549403b36
  2:       564374 bytes, 2019/08/22 16:23:37.731000000, md5sum 7594e7dc9fc28f727c42ee3e0749de81
s) Skip and do nothing
k) Keep just one (choose which in next step)
r) Rename all to be different (by changing file.jpg to file-1.jpg)
s/k/r> k
Enter the number of the file to keep> 1
one.txt: Deleted 1 extra copies
two.txt: Found 3 duplicates - deleting identical copies
two.txt: 3 duplicates remain
  1:       564374 bytes, 2019/08/22 16:24:06.118000000, md5sum 7594e7dc9fc28f727c42ee3e0749de81
  2:      6048320 bytes, 2019/08/22 16:24:52.185000000, md5sum 1eedaa9fe86fd4b8632e2ac549403b36
  3:      1744073 bytes, 2019/08/22 16:24:59.104000000, md5sum 851957f7fb6f0bc4ce76be966d336802
s) Skip and do nothing
k) Keep just one (choose which in next step)
r) Rename all to be different (by changing file.jpg to file-1.jpg)
s/k/r> r
two-1.txt: renamed from: two.txt
two-2.txt: renamed from: two.txt
two-3.txt: renamed from: two.txt

Podemos agregar diferentes opciones para ejecutarlo de forma automática

--dedupe-mode interactive - interactivo como el anterior.
--dedupe-mode skip - elimina archivos idénticos y luego omite todo lo que queda.
--dedupe-mode first : elimina los archivos idénticos y luego conserva el primero.
--dedupe-mode newest : elimina archivos idénticos y luego conserva el más nuevo.
--dedupe-mode oldest : elimina los archivos idénticos y luego conserva el más antiguo.
--dedupe-mode largest - elimina archivos idénticos y luego mantiene el más grande.
--dedupe-mode rename : elimina archivos idénticos y luego cambia el nombre del resto para que sea diferente.

Para eliminar los ficheros idénticos y conservando el mas antiguo

rclone dedupe gdrive_md: --dedupe-mode oldest

Espero que te haya gustado, pasa un buen día… 🐧