Türkiye İstatistik Kurumu (TÜİK), dikkat çeken bir düzenlemeye imza attı. TÜİK, internet üzerinden satışı her geçen gün artan birtakım mamüllerin fiyatını da enflasyon hesaplamasında dikkate alacak.
TÜİK’ten edinilen bilgiye nazaran, internet üzerinden mal ve hizmet satın alımları her geçen gün daha da yaygınlaşırken istatistik ofislerinin kelam konusu güçlü data kaynağını göz gerisi etmemesi değer taşıyor.
İnternet fiyatlarının TÜFE’ye entegre edilmesinin gerekli hale geldiği değerlendirilirken, bu biçimdece istatistik üretiminde bilgi derleme sıklığının daha yüksek ve daha büyük hacimli olması hedefleniyor. Kelam konusu bilgilerin mevcut yapıyı geliştirmek ve yeni değişkenleri elde etmek için büyük bir fırsat sunduğu düşünülüyor.
Otomatik olarak bir web kaynağından data derlemeye bilgi kazıma (web scraping) deniliyor. Bu ekseriyetle bir kazıyıcı (scraper) sayesinde oluyor ve daha gelişmiş istatistiksel tahliller için ham datayı derleyip temizliyor.
Otomatik bilgi kazıma teknolojilerini kullanarak günlük, saatlik ve hatta daha yüksek sıklıkta bilgi yapısıyla optimal bilgi derleme stratejileri elde edilebiliyor. bu biçimdece, ayrıntılı metaveri ayrıntıları derlenerek hesaplamalar geliştirilebiliyor. Bu teknikte genel hedef, web sitesinde yer alan HTML formatındaki bilgiyi tahlil ve hesaplamalar için daha uygun yapılara dönüştürmek.
WEB SİTESİ SEÇİMİ İÇİN KİMİ KRİTERLER ARANIYOR
Bu sistemde, uygun web sitesi seçimi için kimi kriterler de aranıyor. Bunun için sitenin temsiliyet, hacim, içerik kaynağı, sürdürülebilirliği, teknik özellikleri, metaveri ve maksat değişkenleri üzere ögelere bakılıyor.
TÜİK, internetten data kazıma çalışmaları kapsamında 2020 yılında TÜBİTAK ile ortaklaşa TÜİK Büyük Bilgi İleri Analitik Projesi’ni gerçekleştirdi. Bilgi kaynakları olan firmalardan gerekli müsaadeler alınarak, internetten bilgi kazıma fiyat derleme tekniğinin altyapısı hazırlandı.
Proje kararı gelen ham bilgi, TÜİK teknik çalışanı tarafınca tahlil edildi, kusurlar belirlendi ve fiyat derlenebilecek hale getirildi. ondan sonrasında bilginin tablo formatında, fiyat takibi yapılabilir ve data tahliline uygun olması sağlandı.
FİYATLAR YIL BOYUNCA TAKİP EDİLECEK
Beyaz eşya, elektronik eserler, mobilya, birinci el arabalar ve otobüs bileti fiyatları için 2022 yılı prestijiyle internet üzerinden derlenen fiyatlar endeks hesaplamalarında kullanılacak. Aralık ayı temel alınarak takibi kararlaştırılan mamüllerin fiyatı, eser kodu ya da eser barkodu üzerinden yıl boyunca takip edilecek. bu biçimdece tıpkı kalitedeki mamüllerin fiyat gelişimleri endeks hesaplamalarına yansıtılacak. Bu kapsamdaki fiyatların sayısı aylık yaklaşık 20 bin civarında.
Data kazıma yoluyla elde edilen bilgiler günlük olarak takip edilerek fiyat değişim tahlilleri de yapılıyor. Ayrıyeten fiyatı gelen mamüllerin satışının devamlılığı da fiyat derleme devri ortasındaki fiyat sayıları denetim edilerek gözleniyor.
Gelecek periyotta yeni sisteme adapte edilen eser meblağlarının günlük olarak data akışı sağlanacak, tahlilleri yapılacak ve başka bilgi derleme halleri olan barkod ve alan verisiyle birlikte fiyat derleme periyodunun sonunda endeks hesaplamalarında kullanılacak. TÜFE kapsamında derlenen aylık meblağların yaklaşık olarak yüzde 40-45’i barkod ve internetten bilgi kazımayla elde edilmiş olacak ve bu biçimdece bilgi, kaynağında mümkün olan en yanlışsız haliyle derlenecek.
TÜİK, bu kapsamda en az maliyetle en hakikat bilgiyi elde edebilecek. Bu amaç doğrultusunda başka ülke çalışmaları da dikkate alınarak barkod ve internet bilgilerinin kullanmasının yaygınlaştırılması öngörülüyor.
TÜİK’ten edinilen bilgiye nazaran, internet üzerinden mal ve hizmet satın alımları her geçen gün daha da yaygınlaşırken istatistik ofislerinin kelam konusu güçlü data kaynağını göz gerisi etmemesi değer taşıyor.
İnternet fiyatlarının TÜFE’ye entegre edilmesinin gerekli hale geldiği değerlendirilirken, bu biçimdece istatistik üretiminde bilgi derleme sıklığının daha yüksek ve daha büyük hacimli olması hedefleniyor. Kelam konusu bilgilerin mevcut yapıyı geliştirmek ve yeni değişkenleri elde etmek için büyük bir fırsat sunduğu düşünülüyor.
Otomatik olarak bir web kaynağından data derlemeye bilgi kazıma (web scraping) deniliyor. Bu ekseriyetle bir kazıyıcı (scraper) sayesinde oluyor ve daha gelişmiş istatistiksel tahliller için ham datayı derleyip temizliyor.
Otomatik bilgi kazıma teknolojilerini kullanarak günlük, saatlik ve hatta daha yüksek sıklıkta bilgi yapısıyla optimal bilgi derleme stratejileri elde edilebiliyor. bu biçimdece, ayrıntılı metaveri ayrıntıları derlenerek hesaplamalar geliştirilebiliyor. Bu teknikte genel hedef, web sitesinde yer alan HTML formatındaki bilgiyi tahlil ve hesaplamalar için daha uygun yapılara dönüştürmek.
WEB SİTESİ SEÇİMİ İÇİN KİMİ KRİTERLER ARANIYOR
Bu sistemde, uygun web sitesi seçimi için kimi kriterler de aranıyor. Bunun için sitenin temsiliyet, hacim, içerik kaynağı, sürdürülebilirliği, teknik özellikleri, metaveri ve maksat değişkenleri üzere ögelere bakılıyor.
TÜİK, internetten data kazıma çalışmaları kapsamında 2020 yılında TÜBİTAK ile ortaklaşa TÜİK Büyük Bilgi İleri Analitik Projesi’ni gerçekleştirdi. Bilgi kaynakları olan firmalardan gerekli müsaadeler alınarak, internetten bilgi kazıma fiyat derleme tekniğinin altyapısı hazırlandı.
Proje kararı gelen ham bilgi, TÜİK teknik çalışanı tarafınca tahlil edildi, kusurlar belirlendi ve fiyat derlenebilecek hale getirildi. ondan sonrasında bilginin tablo formatında, fiyat takibi yapılabilir ve data tahliline uygun olması sağlandı.
FİYATLAR YIL BOYUNCA TAKİP EDİLECEK
Beyaz eşya, elektronik eserler, mobilya, birinci el arabalar ve otobüs bileti fiyatları için 2022 yılı prestijiyle internet üzerinden derlenen fiyatlar endeks hesaplamalarında kullanılacak. Aralık ayı temel alınarak takibi kararlaştırılan mamüllerin fiyatı, eser kodu ya da eser barkodu üzerinden yıl boyunca takip edilecek. bu biçimdece tıpkı kalitedeki mamüllerin fiyat gelişimleri endeks hesaplamalarına yansıtılacak. Bu kapsamdaki fiyatların sayısı aylık yaklaşık 20 bin civarında.
Data kazıma yoluyla elde edilen bilgiler günlük olarak takip edilerek fiyat değişim tahlilleri de yapılıyor. Ayrıyeten fiyatı gelen mamüllerin satışının devamlılığı da fiyat derleme devri ortasındaki fiyat sayıları denetim edilerek gözleniyor.
Gelecek periyotta yeni sisteme adapte edilen eser meblağlarının günlük olarak data akışı sağlanacak, tahlilleri yapılacak ve başka bilgi derleme halleri olan barkod ve alan verisiyle birlikte fiyat derleme periyodunun sonunda endeks hesaplamalarında kullanılacak. TÜFE kapsamında derlenen aylık meblağların yaklaşık olarak yüzde 40-45’i barkod ve internetten bilgi kazımayla elde edilmiş olacak ve bu biçimdece bilgi, kaynağında mümkün olan en yanlışsız haliyle derlenecek.
TÜİK, bu kapsamda en az maliyetle en hakikat bilgiyi elde edebilecek. Bu amaç doğrultusunda başka ülke çalışmaları da dikkate alınarak barkod ve internet bilgilerinin kullanmasının yaygınlaştırılması öngörülüyor.