NAS’ınızın Dolmasını Önleyin: Yinelenen Dosyaları Kaldırma Rehberi

İster dahili bir sabit sürücü, ister harici bir sürücü ya da bir NAS olsun, zamanla yinelenen dosyaların oluşması neredeyse kaçınılmazdır. Bu durum bireysel kullanıcılar için geçerlidir; çok kullanıcılı ortamlarda ise çok daha belirgindir. Zaman içinde bu yinelenen dosyalar giderek çoğalır, depolama alanını boşa harcar, yedeklemeleri yavaşlatır ve verilerinizi risk altına sokabilir. Gerçekten bu kadar ciddi mi? Birkaç basit örneğe göz atalım. 1. Bir fotoğrafçı, çekimden sonra fotoğrafları fotoğraf makinesinin hafıza kartından NAS’a kopyalar ancak kartı biçimlendirmeyi unutur. Bir sonraki çekimin ardından hafıza kartının tamamını yeniden NAS’a kopyalar. Dosyaların yinelendiğini fark etsin ya da daha önce neleri aktardığını hatırlamasın, sonuçta aynı sürücüde yinelenen kopyalar oluşur ve bu durum yedeklemelere pek bir katkı sağlamaz. 2. Pazarlama departmanındaki bir fuar koordinatörü, stant için hazırlanan ana görseli A klasörüne kaydeder. Aynı departmandaki bir tasarımcı da işini kolaylaştırmak için aynı görselin bir kopyasını B klasörüne kaydeder. Daha sonra dosyaları harici bir tasarım ajansına teslim ederken ajansın erişebilmesi için aynı dosyayı saklamak üzere bir klasör daha oluştururlar. Sonuçta sabit sürücüde aynı dosyanın üç kopyası bulunur. Bir hafta sonra deneyimli MIS ekibinin kurduğu 3-2-1-1-0 yedekleme stratejisi devreye girer ve bu yinelenen dosyalar birkaç kez daha yedeklenir. Yukarıdaki her iki senaryo da oldukça yaygındır. Çok fazla yinelenen dosya, depolama alanını ve zamanı boşa harcamanın yanı sıra sürüm yönetimini de zorlaştırabilir. Zamanla hangi dosyaların aynı olduğunu ayırt etmek güçleşebilir; bu da yanlışlıkla silmelere yol açarak geride geçerli hiçbir kopya kalmamasına neden olabilir. Bu nedenle dosyalarınızı düzenli olarak temizlemek, hem zamandan hem de depolama alanından tasarruf etmenizi sağlayan iyi bir alışkanlıktır. Ancak dosyaları tek tek gözden geçirmek çok zaman alabileceğinden bu iş için üçüncü taraf araçlar kullanmak en iyisidir.

İki veya Daha Fazla Dosyanın Aynı İçeriğe Sahip Olduğunu Nasıl Anlarsınız?

Kavramlar doğru adlandırılmazsa açıklamalar anlamsız kalır. Devam etmeden önce görevi netleştirelim: NAS’taki birebir aynı dosya ve fotoğrafları arıyoruz. Bazı uygulamalar “benzer fotoğrafları bulma” işlevine odaklanır ancak bu tamamen farklı bir görevdir ve başka bir zaman ele alabiliriz. Birebir aynı fotoğrafları belirlemeye gelince, fotoğraflar sabit sürücüde dosya olarak bulunduğundan içeriği aynı olan dosyalar özünde aynı görüntüdür. Bu da görevin temel amacını basitleştirmemizi sağlar: Yalnızca yinelenen dosyaları bulmak. Bu işlem genellikle “yinelenenleri kaldırma” (deduplication) olarak adlandırılır. Asıl zorluk şu: Bu dosyaları nasıl bulup karşılaştırırsınız? Çoğu araç aynı temel algoritma ve mantığı izler ve bu genellikle şu şekilde işler: 1. Önce Dosya Boyutlarını Karşılaştırın İçeriği aynı olan dosyaların boyutu da her zaman aynıdır. Bu nedenle bu araçlar işe sürücüdeki aynı boyuttaki dosyaları ayıklayarak başlar. Ancak aynı boyuttaki dosyaların içeriği her zaman aynı değildir. Örneğin bölünmüş arşiv dosyalarının çoğu sabit boyutlu parçalara ayrılır; aynı sayıda karakter içeren metin dosyalarının boyutu da aynı olur. Bu nedenle dosyaların aynı olup olmadığını yalnızca dosya boyutuna bakarak belirlemek sadece ilk adımdır.

2. Ardından Dosyaların “Parmak İzlerini” Karşılaştırın Dijital dosyalar ikili biçimde saklandığından, matematiksel algoritmalar kullanılarak her dosyanın içeriğinden “karma değeri” (hash) adı verilen benzersiz bir onaltılık dize üretilebilir. Farklı algoritmalar farklı karma değerleri üretir. Daha fazla hesaplama gerektiren algoritmalar (SHA-512 gibi) daha güvenilirdir ancak daha fazla zaman alır; daha az hesaplama gerektirenler (MD5 gibi) ise daha hızlıdır ancak daha az güvenilirdir. Dosyalar farklı olduğu sürece bu karma değerlerinin normal koşullarda aynı olma olasılığı son derece düşüktür. Bunun daha teknik adı “çakışma”dır (collision); algoritmalar arasındaki tek fark, ne kadar kolay taklit edilebildikleridir. Karma değerini her dosyanın benzersiz parmak izi olarak düşünebiliriz. İki dosyanın parmak izleri aynıysa dosyalar da aynıdır.

Karma karşılaştırmaları bu kadar güvenilirse neden önce dosya boyutlarını kontrol etmek gerekir? Bu, zamandan ve kaynaklardan tasarruf sağlar. Karma değerlerini karşılaştırmak yoğun hesaplama gerektirir; oysa aynı boyuttaki dosyaları belirlemek modern bilgisayarlar için neredeyse hiç çaba gerektirmez. Karma karşılaştırmasından önce dosya sayısını boyuta göre daraltmak süreci çok daha verimli hâle getirir.

Karşılaştırmayı Doğrudan NAS Ortamında Yapmak Çok Daha Hızlıdır.

Windows ve macOS’taki pek çok masaüstü uygulaması bu işi yapabilir. Ancak dosyalar zaten bir NAS’taysa işlemi doğrudan NAS’ın kendisinde çalıştırmak önemli ölçüde zaman kazandırabilir. Bunun iki temel nedeni vardır: 1. Ağ Aktarım Süresi Karma değerlerini hesaplamak her dosyanın tüm içeriğinin okunmasını gerektirir. NAS’taki dosyaları yerel bir bilgisayardan sık sık okumak verimsizdir. 2. Yerel Araç Desteği NAS aygıtları genellikle basit, yerleşik yinelenenleri kaldırma araçlarıyla gelmese de (QNAP HBS, yedekleme görevleri için yinelenenleri kaldırma özelliği sunar; bu konuyu gelecekteki bir yazıda ele alacağız) bu işi yapabilen çok çeşitli Linux yardımcı programları mevcuttur. QNAP NAS’ta önce SSH’yi etkinleştirin ve komut satırına uzaktan oturum açın. Ardından jdupes yardımcı programını QPKG aracılığıyla yükleyin. Ancak jdupes resmî bir QNAP yardımcı programı değildir; güvenlik konusunda endişeleriniz varsa bu işlemleri bir Docker ortamında gerçekleştirmeniz önerilir. Komut satırı seçenekleri açısından jdupes oldukça basittir. Örneğin geçerli dizinde, tüm alt dizinler dâhil olmak üzere yinelenen dosyaları bulmak için şu komutu kullanın: jdupes -r .

“-r” seçeneği özyinelemeli (recursive) anlamına gelir; “.” ise aramanın geçerli dizinden başlayacağını belirtir. Komut çalıştırıldığında yardımcı program dosya içeriklerini taramaya başlar; gereken süre dosyaların sayısına ve boyutuna bağlıdır. Bu araç NAS içindeki sürücülerden sık sık okuma yaptığından, katı hâl sürücüsünde (SSD) çalıştırmak çok daha hızlı olacaktır. Karşılaştırma tamamlandığında yardımcı program, aşağıda gösterildiği gibi tüm yinelenen dosyaları listeler ve gruplar hâlinde düzenler:

Farklı adlara veya yollara sahip pek çok dosyanın özünde aynı olduğunu fark edeceksiniz. Yinelenen dosyaları belirledikten sonraki adım, onları silmektir. Önceki komuta “d” ekleyin, örneğin: Jdupes -rd . Yardımcı program sonuçları görüntülerken kullanıcıdan hangi dosyanın tutulacağını seçmesini ister; geri kalanlar silinir. Bu yöntem az sayıda dosya için iyi çalışır ancak çok sayıda dosyayla (örneğin binlerce yinelenen dosya grubuyla) uğraşırken her birini tek tek onaylamak pratik değildir. Bu durumda komuta şu şekilde “N” ekleyebilirsiniz: Jdupes -rdN . “N”, “Sorma, bulunan ilk eşleşen dosyayı tut” anlamına gelir ve diğer tüm dosyalar otomatik olarak silinir. Bu komutu çalıştırdıktan sonra hedef dizinde her bir aynı dosyanın yalnızca bir kopyası kalır; böylece yinelenenler etkili bir şekilde kaldırılmış olur.

Yukarıdaki görselde başında “+” bulunan dosyalar tutulurken başında “-” bulunanlar silinir.

Bu yazı için yaptığımız testte orijinal dizinin toplam boyutu 282 GB idi ve dizinde 32.381 dosya bulunuyordu. Yinelenenler kaldırıldıktan sonra toplam boyut %8–17 oranında azaldı. Dizin, TS-464’teki bir SSD üzerinde bulunuyordu ve tüm işlem yaklaşık 30 saniye sürdü. İşlemin ardından yalnızca hatırı sayılır miktarda alan kazanılmakla kalmadı, yedekleme süreleri de çok daha kısaldı. Bu noktada bazı kullanıcılar şunu merak edebilir: “Belirli bir dizindeki dosyaları korumak istersem ne olacak?” ya da “Önemli dizinlerdeki dosyalar silinmemeli, değil mi?” Örneğin C:\Important dizinindeki dosyaları korumak için şu komutu kullanabilirsiniz: jdupes -rdN -X “path:Important” . Yolunda “Important” geçen dosyalar silme işleminin dışında tutulur.

Alan Kazanmak İyi Yönetim Alışkanlıklarıyla Başlar

Yinelenen dosyaları temizlemek yalnızca birkaç gigabaytlık disk alanı açmakla ilgili değildir; bir tür dijital sadeleşme olarak da görülebilir. jdupes gibi yüksek performanslı araçlar sayesinde bir zamanlar günler süren manuel karşılaştırmalar otomasyonla dakikalar içinde tamamlanabilir. Bu da NAS depolama verimliliğini önemli ölçüde artırır, yedekleme sürecini kolaylaştırır ve 3-2-1-1-0 yedekleme stratejisi kapsamındaki her verinin benzersiz ve değerli kalmasını sağlar. Düzenli temizlik alışkanlığı edinip doğru araçları kullanarak NAS’ınızın gerçek anlamda “yüksek performanslı bir veri merkezi” olarak çalışmasını ve depolama alanının her bitinin en verimli şekilde kullanılmasını sağlayabilirsiniz.

 

Yapay Zekâ Beyanı: Bu makaledeki bazı görseller ve metinler, yapay zekâ (YZ) desteğiyle oluşturulmuş veya iyileştirilmiş ve insan editörler tarafından gözden geçirilmiştir.