@orbitalbaris · 6 gün önce
İki yıllık tez ölçümlerimi neredeyse kaybediyordum: araştırma verisini saklamak için kurduğum düzen
Yüksek lisansımı Ankara'da yaparken uydu alt sistemlerinde kullanılan bir elektronik kartın titreşim ve sıcaklık testlerini ölçüyordum. İki yıl boyunca laboratuvarda topladığım ham veriler, işleme betikleri ve grafikler dizüstü bilgisayarımda duruyordu. Tez savunmasına üç ay kala bilgisayarın diski bir sabah açılmadı. Servis verilerin büyük kısmını kurtardı ama son iki ayın işlenmiş sonuçları gitmişti. Şans eseri ham ölçümlerin bir kopyası laboratuvardaki test bilgisayarında kalmıştı ve analizleri yeniden çalıştırarak iki haftada toparladım.
O iki hafta bana çok şey öğretti, bugün iş yerinde de aynı alışkanlıkları sürdürüyorum. Bu yüzden lisansüstüne yeni başlayanlara anlattığım düzeni yazmak istedim. Çok basit, ama ben öğrenciyken kimse anlatmamıştı.
1. Ham veri dokunulmaz. Ölçümden çıkan dosyalar ayrı bir klasöre gidiyor ve o klasöre bir daha yazılmıyor, yalnızca okunuyor. Temizleme ve işleme her zaman kopya üzerinde yapılıyor.
2. Her veri klasörünün içinde kısa bir açıklama dosyası var: hangi tarihte, hangi cihazla, hangi ayarlarla ölçüldü, sensör nereye bağlıydı. Altı ay sonra kendi notlarınızı anlamamak çok kolay.
3. Dosya adları tarih, deney ve deneme numarası ile başlıyor. son_son_gercekten_son gibi adlara yer yok.
4. Kodlar sürüm kontrolünde duruyor, her önemli analiz adımından sonra kayıt atılıyor. Büyük veri dosyaları sürüm kontrolüne girmiyor, onların yeri ayrı.
5. Yedekte bilinen 3-2-1 kuralını izliyorum: üç kopya, iki farklı ortam, biri fiziksel olarak başka bir yerde. Benim için bu dizüstü, üniversitenin verdiği bulut alanı ve evde duran harici disk demek.
6. Ayda bir kez yedekten rastgele bir klasörü geri yükleyip açılıp açılmadığını deniyorum. Yedeğin varlığı değil, geri dönebilmek önemli.
Bu düzen ilk hafta zaman alıyor gibi görünüyor ama sonra fark etmiyorsunuz bile. Danışmanınız sizden bir grafiği farklı eksenle yeniden istediğinde de iki dakikada yeniden üretebiliyorsunuz. Sizin laboratuvarınızda veri yönetimi nasıl yürüyor, üniversitenin bu konuda bir politikası var mı?
O iki hafta bana çok şey öğretti, bugün iş yerinde de aynı alışkanlıkları sürdürüyorum. Bu yüzden lisansüstüne yeni başlayanlara anlattığım düzeni yazmak istedim. Çok basit, ama ben öğrenciyken kimse anlatmamıştı.
1. Ham veri dokunulmaz. Ölçümden çıkan dosyalar ayrı bir klasöre gidiyor ve o klasöre bir daha yazılmıyor, yalnızca okunuyor. Temizleme ve işleme her zaman kopya üzerinde yapılıyor.
2. Her veri klasörünün içinde kısa bir açıklama dosyası var: hangi tarihte, hangi cihazla, hangi ayarlarla ölçüldü, sensör nereye bağlıydı. Altı ay sonra kendi notlarınızı anlamamak çok kolay.
3. Dosya adları tarih, deney ve deneme numarası ile başlıyor. son_son_gercekten_son gibi adlara yer yok.
4. Kodlar sürüm kontrolünde duruyor, her önemli analiz adımından sonra kayıt atılıyor. Büyük veri dosyaları sürüm kontrolüne girmiyor, onların yeri ayrı.
5. Yedekte bilinen 3-2-1 kuralını izliyorum: üç kopya, iki farklı ortam, biri fiziksel olarak başka bir yerde. Benim için bu dizüstü, üniversitenin verdiği bulut alanı ve evde duran harici disk demek.
6. Ayda bir kez yedekten rastgele bir klasörü geri yükleyip açılıp açılmadığını deniyorum. Yedeğin varlığı değil, geri dönebilmek önemli.
Bu düzen ilk hafta zaman alıyor gibi görünüyor ama sonra fark etmiyorsunuz bile. Danışmanınız sizden bir grafiği farklı eksenle yeniden istediğinde de iki dakikada yeniden üretebiliyorsunuz. Sizin laboratuvarınızda veri yönetimi nasıl yürüyor, üniversitenin bu konuda bir politikası var mı?
4 3 yorum
