Veri Dünyası

* Olasılık ve istatistik ile başlayıp, makine öğrenmesi sonrasında SVM (support vector machine) ile devam eden süreç deep learning e nasıl vardı? Kısaca açıklayalım. Nereden başladık Olasılık teorisi ile başlayan karar verme süreçlerinde bilimden yararlanma süreci, verinin özetlenmesi için belli parametrelerin çıkarılması ile devam etti. Ortalama değer ve varyans gibi, eldeki verinin örneklem karakteristikleri, olasılık teorisinden alınan olasılık dağılım fonksiyonları ile birlikte hipotezlerin testi için kullanıldı. Bugün bazılarımızın A/B testi olarak bildikleri test de dahil olmak üzere bir çok karar alma sürecinde halen kullanılan teknikler ortaya çıktı. Tahminleme Karar almanın temeli tahmine dayanmaktadır. Tahmin etmek eldeki veriden girdiler ve bu girdilerin çıktı(sı/ları) olarak bir matematiksel model üretmek ve sonrasında bu modelin karar almada kullanılması ile mümkün olmaktadır. İlk modeller basit ve o anki problemlere cevap verdiği için doğal o

İş zekası alanında çokça kullanılan analytics teriminin, BT dünyasında en çok kafa karışıklığına yol açan terimlerden birisi olduğunu düşünüyorum. Kısaca tanımı verip, sonrasında karışıklığın sebebini vereceğim. Tanımla başlayacak olursak, analitiksel düşünce (analytical thinking) ,  bir problemi sebep sonuç ilişkisini gözeterek alt parçalara ayırma, analiz etme ve çözümleme yeteneğidir. Bu işlemin yazılan bir bilgisayar programı tarafından eldeki veri kullanılarak yapılmasına ve sonuç çıkarmaya ise analitik (analytics) denmektedir. Bu tanıma uygun olarak, analytics kelimesi, bilişim dünyasında birkaç sene önceye kadar veri madenciliği ile uğraşanlar tarafından, veri madenciliğinde kullanılan istatistiksel ve makine öğrenmesi yöntemlerini tek kelimede ifade edebilmenin aracıydı. Daha sonraları özellikle Google analytics ürünü ile birlikte web dünyasında temel metrikleri ifade etmek için kullanılmaya başlandı. Bu açıdan bakıldığında, bir web ara yüzünden seçenekler

Sanayi devrimi başladığında üretim ağırlıklı olarak el emeğine dayanmaktaydı. Önce değişik tipteki motorların icat edilmesi, sonrasında bu motorların yardımı ile üretimin maliyetinin büyük oranda düşmesi ile dünyada sosyal, kültürel, siyasi ve ekonomik alanda büyük değişimler meydana geldi. Bu değişimlerin somut halini fabrikalarda gördük. Fabrikaya giren hammadde makinalar yardımı ile ürüne dönüşüyordu. Yirminci yüzyıl boyunca fabrikalardaki bu süreçlerde insan emeği karşılığı ödenen ücretin toplam maliyet içindeki payı otomasyon ile her geçen sene biraz daha azaldı. Artık içeceklerimiz kocaman fabrikalarda otomasyonun verdiği olanaklarla birkaç kişi tarafından üretiliyor. Arabalar robotlar tarafından monte edilip üretim hattında ilerliyorlar.  Bütün bu değişimin benzerinin bilgi çağında da yaşandığını görmekteyiz. 1950 li yıllardan itibaren motorlara benzer şekilde ortaya çıkan bilgisayarlar, bilgi üretimi alanında insan emeğinin her geçen yıl daha da azaldığını gördüğ

Bugün Devveri.com da okuduğum “ data driven kavramı ve II.faz ” yazısı, yazılım ile çözüm üretme anlayışındaki değişimi bir yönü ile ele alıyor. Ben de başka bir yönü ile aynı konuya bakıyorum ve Ayhan Demirci’nin çizdiği resmi biraz daha tamamladığımı düşünüyorum. Ayhan yazıda SAS ile ilgili örnekler verdiği için, ben de benzer şekilde ilerleyeceğim. İş dünyasının problem çözmede kullandığı temel araçlar olan bilgisayarların mimarisi 1990 lı yılların sonlarından itibaren inanılmaz bir değişim geçirdi. Sıradan bilgisayarların bile çok çekirdekli bir mimariye sahip olabilmesi, konvansiyonel programlama ile ulaşılan çözümlerin sonunu getirdi. Sebep basitti, iki çekirdek bir çekirdekten üstündü ve normal programlama dilleri ile üretilen çözümler tek çekirdeği kullanıyordu. Java gibi diller thread ler vasıtası ile paralel programlama  yapmayı sağlayarak diğer çekirdekleri de kullanmaya fırsat tanıyorlardı. Ne var ki çok zor bir programlama şekli olduğu için çok az programc

Web crawling , internet sitelerindeki sayfalarda dolaşılıp, istenen bilgilerin derlendiği bir programlama tekniği olarak özetlenebilir. Öncelikli olarak şunu belirtmek gerekir ki, API si olan bir web sitesine web crawling yapmak iyi bir fikir değildir. API yi kullanmakta hem site sahibi için hem de bu bilgilere erişmek isteyenler için büyük fayda vardır. Bu işin değişik aşamalarında kullanılan bir çok yazılım kütüphanesi ve çözüm bulunmakla birlikte, bu yazıdaki amacımız bu işin teknik altyapısını çok detaya girmeden verebilmektir. Başlangıç aşamasında, veri işlemesi için uygun, internette dolaşma konusunda yetenekli komutlar sunan, değişik sistemlerle entegre çalışabilen bir programlama diline ihtiyaç vardır. Bunun yanında bu işlem sırasında kullanılmak üzere bilgilerin kolayca saklanabildiği ve alınabildiği yüksek performanslı, mümkünse açık kaynak kodlu ücretsiz bir veritabanına da ihtiyaç duyulacaktır. Verilerin son haline getirildikten sonra saklanılacağı bir

Merhaba, Bir çok şirketin sahip olduğu, yine birçoklarının da sahip olmayı istedikleri veriambarı için, gereken insan kaynağı açısından rol ve sorumlulukları belirlemek ve bunların nasıl karşılanacağı önemli bir konudur. Bunun için kısaca bir listelemenin faydalı olacağını düşündüm. 1-       Veri ambarının üzerinde bulunduğu makina (sistem) adminliği a.        İşletim sisteminin çalışması için gereken temel uygulamaların çalışmasının sağlanması. b.       Backup ının alınması c.        Üzerindeki uygulamaların bakım tutumu, yeni uygulama kurulması d.       Yeni disk eklenmesi e.       Servislerin çalışmasının sağlanması 2-       Veri tabanı adminliği a.        Veritabanları kullanıcıları tanımlama, yetkilendirme, yetki sınırlamaları b.       Veritabanı yaratma, schema tanımlama, schema kullanıcıları belirlenmesi, c.        Partion yaratma, ekleme d.       Veritabanlarının hem uygulama olarak, hem de data olarak backup ının alınması. e.       Herhangi bi