BÜYÜK VERİ NEDİR VE ANALİSTİ NE İŞ YAPAR?
Büyük Veri Analisti Ne İş Yapar?
Büyük veri Analisti günümüzde her geçen gün önem kazanan neredeyse her sektörde ihtiyaç duyulan bir pozisyondur. Büyük veri Analistinin görevi, Verilerin analizi sonucu şirketlerin geleceğe yönelik planlamalar yapmasını sağlayan, Ham bilgilerin (anlaşılması güç bilgilerin) herkes tarafından anlaşılabilen bilgilere dönüşmesini sağlayan kişilerdir.
BÜYÜK VERİ NEDİR?
Geleneksel yöntemlerle (manuel yöntemlerle) işlenemeyecek kadar büyük, karmaşık ve hızlı üretilen veri kümelerine Büyük Veri denir.
Büyük Verinin Özellikleri
- Bu veriler genellikle Gigabayt Petabayt boyutlarında olur.
- Anlık veri çekilen sektörlerde milisaniyeler içinde milyonlarca veri üretilir.
- Birden çok türde biçimde olabilir. (Metin, ses, resim, video, GPS, sensör verileri)
Büyük Veri 5V ile tanımlanır:
Volume (Hacim)
Banka işlemleri, sosyal medya, sensörler, IoT cihazları gibi kaynaklardan devasa veri akışı.
Velocity (Hız)
Veri saniyede milyarlarca işlem hızında üretildiği için anlık işleme gerekir (örneğin kredi kartı fraud
tespiti).
Variety (Çeşitlilik)
Excel tablosundan tweet’e, görüntüden GPS konumuna kadar çok farklı veri türleri içerir.
Veracity (Güvenilirlik - doğruluk sorunu)
Veri her zaman güvenilir değildir; eksik, çelişkili, kirli, manipüle edilmiş olabilir.
Value (Değer)
Büyük veri sadece toplamak değildir, Veriden bilgi değeri çıkarmaktır.
Asıl Görevleri
Veri Toplama ve Erişim
- SQL
- API
- Python
- Veri depoları (Data Lake, Hadoop, Spark)
Veri Temizleme ve Düzenleme
- Hatalı, eksik, çelişkili veri ayıklama
- Formatlama
- (Bu aşama genelde işin %70’idir!)
Keşifsel Analiz (EDA)
- İstatistiksel özetleme
- Dağılım inceleme
- Korelasyon belirleme
Görselleştirme
- Power BI
- Tableau
- Python Matplotlib / Seaborn
İş İçgörüsü Üretme
- “Harcamalar arttı, müşteri memnuniyeti düştü”
- “X bölgede yağış azalışı %40; kuraklık riski yüksek”
- “Bankada şu müşteri segmenti daha riskli”
Raporlama ve Sunum
- Yönetici ve ekiplerle iletişim
- Dashboard oluşturma