@quadri · 4 gün önce
veri temizliği işin yüzde sekseni derler, gerçekten öyle mi
Bu cümle o kadar tekrarlanıyor ki klişe oldu. Üç yıldır bu işi yapıyorum ve kendi zamanımı kabaca ölçtüm. Sonuç beklediğimden farklı çıktı.
Bende dağılım şöyle: sorunun ne olduğunu anlamak ve doğru soruyu kurmak yaklaşık yüzde otuz. Veriyi bulmak ve erişim almak yüzde on beş. Temizlik ve dönüştürme yüzde otuz. Analiz yüzde on. Anlatma ve ikna yüzde on beş.
Yani temizlik büyük ama yüzde seksen değil. Asıl gözden kaçan kalem, doğru soruyu kurmak ve sonucu anlatmak.
Temizlik tarafında en çok vakit alan işler:
Aynı şeyin farklı yazımları. Müşteri adı, şehir, kategori alanlarında aynı değer onlarca farklı şekilde yazılmış oluyor.
Tarih formatları. Farklı sistemlerden gelen tarihler farklı formatta ve bazıları metin olarak saklanmış.
Eksik değerler. Boş mu, sıfır mı, bilinmiyor mu? Üçü farklı şey ve genelde aynı şekilde kaydedilmiş.
Mükerrer kayıtlar. Aynı işlem iki kez girilmiş veya aynı müşteri iki kayıtla var.
Birim karışıklığı. Bazı satırlarda tutar kuruş, bazılarında lira.
Zaman dilimi. Sunucu bir dilimde, kullanıcı başka dilimde, rapor üçüncü bir dilimde.
İşi hızlandıran alışkanlıklar:
Her temizlik adımını kod olarak yazmak. Elle düzeltilen veri bir daha üretilemiyor.
Kontrol sorgularını baştan yazmak. Satır sayısı, toplam tutar, boş oran. Her çalıştırmada bunları kontrol etmek sessiz hataları yakalıyor.
Kaynağa gidip düzeltmek. Aynı hatayı her ay temizlemek yerine, veriyi üreten yerde düzeltmek. Bu genelde teknik değil organizasyonel bir iş ve zor ama kalıcı.
Bende dağılım şöyle: sorunun ne olduğunu anlamak ve doğru soruyu kurmak yaklaşık yüzde otuz. Veriyi bulmak ve erişim almak yüzde on beş. Temizlik ve dönüştürme yüzde otuz. Analiz yüzde on. Anlatma ve ikna yüzde on beş.
Yani temizlik büyük ama yüzde seksen değil. Asıl gözden kaçan kalem, doğru soruyu kurmak ve sonucu anlatmak.
Temizlik tarafında en çok vakit alan işler:
Aynı şeyin farklı yazımları. Müşteri adı, şehir, kategori alanlarında aynı değer onlarca farklı şekilde yazılmış oluyor.
Tarih formatları. Farklı sistemlerden gelen tarihler farklı formatta ve bazıları metin olarak saklanmış.
Eksik değerler. Boş mu, sıfır mı, bilinmiyor mu? Üçü farklı şey ve genelde aynı şekilde kaydedilmiş.
Mükerrer kayıtlar. Aynı işlem iki kez girilmiş veya aynı müşteri iki kayıtla var.
Birim karışıklığı. Bazı satırlarda tutar kuruş, bazılarında lira.
Zaman dilimi. Sunucu bir dilimde, kullanıcı başka dilimde, rapor üçüncü bir dilimde.
İşi hızlandıran alışkanlıklar:
Her temizlik adımını kod olarak yazmak. Elle düzeltilen veri bir daha üretilemiyor.
Kontrol sorgularını baştan yazmak. Satır sayısı, toplam tutar, boş oran. Her çalıştırmada bunları kontrol etmek sessiz hataları yakalıyor.
Kaynağa gidip düzeltmek. Aynı hatayı her ay temizlemek yerine, veriyi üreten yerde düzeltmek. Bu genelde teknik değil organizasyonel bir iş ve zor ama kalıcı.
0 3 yorum