Data Preprocessing Veri bilimi projelerinde sahip olunan veriler düzensiz halde bulunabilir, bozuk kayıtlar içerebilir ya da uygulayacağınız analize uygun halde bulunmayabilirler. Dahası daha iyi sonuçlar elde edebilmek üzere çeşitli filtrelerden geçirmek, anomalilerden işin başında kurtulmak istenilebilir. Bu ve benzeri bir…
Log-Transform skewed data Çarpıklık (skewness) sürekli ya da diğer bir deyiş ile kategorik olmayan veri setlerinde veri dağılımında simetrinin bozuk olma durumuna verilen isimdir denilebilir. Diğer bir deyiş ile asimetri ölçütüdür. Özetle gerçekte veri setlerinin dağılımının normal dağılım (normal distribution)…
Öğrenme metotları istisnalar dışında girdileri (input features) numerik olarak beklerler. Bu da numerik olmayan özellikleri (features, attributes, columns) numerik hale getirmemizi gerektirir. One-hot encoding bu amaçla kullanılan veri ön işleme adımlarından biridir. Bu aşamada hangi verinin kategorik olduğunun farkında olmak…
Principle Component Analysis (PCA) Temel Bileşenler Analizi boyut azaltma (dimentionality reduction) amacı ile kullanılan veri ön işleme yöntemlerinden biridir. Sıkça kullanılan feature extraction yöntemlerindendir. Fikrin ya da yöntemin ortaya çıkma sebebini anlamak için aşağıdaki grafiği inceleyelim: Görsele baktığınızda iki boyutlu…
Outlier Detection Aykırı değerler (outliers) veriler üzerindeki diğer gözlemlerden ya da örneklerden aşırı sapan, ölçümde deneysel hatalar ya da farklılık belirtebilen değerlerdir. Genel duruma uyum göstermezler. Farklı ancak kısmen benzer anlamlara gelen anomali (anomaly) ve aykırı değer (outlier) kavramları birbirleri…
Feature Scaling and Normalization Sıklıkla eş anlamlı olarak kullanılsalar da normalizasyon (normalization) bir veri öz niteliğinin (feature) dağılımına müdahale ederek normal dağılıma çevirmek iken ölçeklendirme (scaling) veri aralığını güncellemek anlamına gelmektedir. Bir çok makine öğrenmesi yöntemi, kümeleme analizi ya da…
Bir makine öğrenmesi modeli için öncelikle çözülmesi gereken bir probleme, probleme ait veriye, ve veriyi işleyebilir hale getirecek araçlara sahip olmamız gerekir. Buna uygun olarak ilk uygulamamızı aşağıdaki veri setini pandas ile yükleyerek hızlı bir şekilde başlayalım. Şimdi bilgisayarınızda yeni…
Data Cleaning Veri temizleme (Data Cleaning) veri setinde var olan ve uygulanacak makine öğrenmesi modelinin performansını olumsuz yönde etkileyecek problemlerin ortadan kaldırılmasını amaçlayan veri ön işleme adımlarının bütünüdür. Çoğunlukla çalışma yapılan alanla ilgili bilgi (domain knowledge) gerektirir. Veri temizleme yöntemleri…
Data Balancing Sınıflandırma problemlerine ait veri setlerinde hedef değerin (target, label) kategorik dağılımında yüksek oranda dengesizlik olduğunda bazı öğrenme algoritmalarının performansında düşüş gözlenebiliyor. Bu gibi durumlarda ilk tercih olmasa da veri dengeleme yolu tercih edilebilir. Veri dengelemek için iki temel…
Feature Selection Methods Makine öğrenmesi modellerinin gerek performansını gerekse öğrenme süresini etkileyen diğer bir etken ise öğrenmeye katkı sağlamayan ve hatta kimi durumlarda olumsuz etki eden özniteliklerdir. Bu gibi veri setinde yer bulmuş özniteliklerden performans iyileştirme ya da eğitim süresini…
