BigData nədir?


Bu məqalənin məqsədi qarşıda, turizmdə Big Datanın necə istifadəsindən danışdığımızda məlumatınızın olması üçündür.


Süni zəka, rəqəmsal dəyişimlər, data elmi (data science) və İnternet of things (Nəsnələrin İnterneti) də daxil olmaqla, dövrün bütün sahələrini silkələyiblər. Ənənəvi üsullarla əldə edilən və relyativ məlumat bazalarında saxlanılan məlumatlar klassik baxımdan şərh olunanda, sürətlə dəyişən istehlakçı təlabatı, onların dinamik təhlil edilməsinə mane olurdu. Lakin indi sosial media paylaşımları, tətbiqetmənin proqramlaşdırma interfeysindəki sorğuları (API), internet statistikası, bloglar, veb server qeydləri və məkan (location-GPS) əsaslı qeydlər kimi köklü olmayan məlumat bazaları müəssisələr üçün yeni qərar qəbul etmə mexanizmlərini təmin edir. Mobil telefon məlumatları, biznes resurslu və müştəriyə yönəlik əməliyyatlarda radiotezlikli identifikasiya (RFID) kimi özəl məlumatlar, istifadəçilərin gündəlik fəaliyyəti və digər insanlarla qarşılıqlı əlaqəsi nəticəsində yaranan ətraf mühit məlumatları və dinamik sosial şəbəkələrdə icma məlumatları kimi rəqəmsal izlər, mürəkkəb və geniş Big Data-nın quruluşunu ortaya qoyur.

Big datanın heyrətamiz artımı rəqəmsal dünyaya keçdikdən sonrakı dövrə təsadüf edir. Kompyuterlərin artımı, internet və texnologiya yaşadığımız dünyanı, gördüyümüz işləri dataya çevirir. Data özlüyündə yeni bir kəşf deyil. Kompyuterlərdən, databazalardan (datanın toplandığı serverlər) əvvəl, kağızlar vardı. Bütün əməliyyatlar, qeydlər kağızlarda toplanırdı. Və bütün bunlar da data idi. Kompyuterlər, databazalar datanı yerləşdirmək üçün yeni vasitələrdir və böyük həcmli datanın (big data) toplanmasını əlçatan edir.

Sadəcə bir tıklama və bütün data əlinizin altındadır. Bu gün, 2 gün ərzində, 2000-ci ildən bu günə toplanan datanın eyni miqdarı toplanılır. Və bugün toplanan datanın miqdarı da olduqca sürətli şəkildə artır. Bu ilə qədər, mövcud olan 5 zettabyte data, 50 zettabyte-a qədər artıb. Datada hər şey həndəsi silsilə ilə artır. İnternetdə istənilən addımınız data “istehsal edir”. Smartfonlarınızdakı GPS-lərin boşuna olduğunu düşünmürsünüz, yəqin ki. Rəqəmsal dünyada atdığınız hər addım, arxasıyca data izləri qoyur. “Big data” bütün bu rəqəmsal informasiyaların toplanması və istifadəsidir ki, bununla siz biznes daxil olmaqla istənilən sahədə proqozlar verərək və çoxlu qazanc əldə edə bilərsiniz.

3V

Yuxarıda göstərilən faktlara bir daha diqqət etsəniz, görə bilərsiniz ki, heç birində sizi təəccübləndirə biləcək "petabaytlar" və "zetabaytlar"dan ibarət nümunələr göstərmədim. Səbəb Big Datanın sadəcə böyük miqdarda data olduğu izləminini verməməkdir. Belə ki, hər hansı bir verilənə Big Data deyə bilmək üçün onun 3V (4V, 5V, 7V olaraqda qarşınıza çıxa bilər) konsepsiyasına uyğun gəlməsi tələb olunur. 3V qaydasına görə Big Data ən azından aşağıdakı 3 xüsusiyyəti olmalıdır :

• Volume - Son illərdə Süni intellekt, Cloud və IoT texnologiyalarının inkişafı və geniş yayılması ilə 2013-cü ildə müxtəlif mənbələrdən təxminən 4.4 zettabayt data generasiya olundu. Hətta 2021-ci ildə bu rəqəmin 10 dəfə artacağı gözlənilir. Maraqlı bir sual ortaya çıxır. Bəs bizim sistemlərimiz bu dataları saxlamaq üçün uyğun inkişaf tempi göstərə bilir mi? Cavab, xeyr. Məhz bu məqamda biz ənənəvi üsullardan deyil , Big Data texnologiyalarından danışmalıyıq. Yəni datanın həcminin olması onu Big Data olaraq adlandırmaq üçün əsas kriteriyalardan biridir.

• Velocity - Sizcə, Google saniyədə 40000 axtarış aparılmasına necə imkan yarada bilir? Təbii ki, Big Data texnologiyaları ilə. Big Data prosesleri adətən saniyələr içərisində həyata keçirilir və mütəxəssislər bu prosesləri ümumi ifadə olaraq "Discover and Analyze" adlandırırlar. Yəni Big Data texnologiyaları sürətli formada datanı qəbul etməli, bu data üzərində görə biləcəyi işləri müəyyənləşdirib analiz etməlidir. Əsasən Big Datada proseslər real-time (anında), near real-time, batch(müəyyən bloklar) şəklində aparılır.

• Variety - Datalar artıq müxtəlif növlərdə qarşımıza çıxır və hər keçən gün onları əvvəlcədən təxmin etmək çox uzaq bir ehtimala çevrilməkdədir. Təsəvvür edin ki, uzaqdan idarə olunan bir avtomobilimiz var və o sizə davamlı olaraq datalar göndərir. İşıqforun hansı işığı olduğu, qarşıdakı avtomobillərin sürəti , kənarda olan yol nişanları, GPS və s. bu kimi məlumatları özündə əks etdirən bu dataların üzərində proseslər aparmaq üçün sizə müxtəlif yanaşmalar lazım gələckdir. Burada dataların müxtəlifliyi anlayışı ortaya çıxır.



Bəs Big data necə işləyir?

Vəziyyət haqqında nə qədər çox informasiyaya maliksinizsə, datadan daha çox bilgi əldə edəcəksiniz və edəcəyin proqnozlar da o qədər dəqiq olacaq. Sırf bu səbəbdən də Big Data anlayışı getdikcə aktuallaşmaqdadır. Datanın verilənlərini araşdırmaqla korrelasiyaların (verilənlər arasındakı əlaqə) tapılması, datanın ümumi verilənlərinin xüsusiyyətləri, çatışmayan verilənlər(missing values) birinci mərhələdə (Explaratory data analysis) müəyyən edilir. Növbəti mərhələ toplanmış datanın modelləşdirilməsidir. Modelləşdirmə, riyazi modellərin qurulması ilə (məsələn: Regressiya, SVM, Neyron Şəbəkə) dəqiqliyini ölçə bildiyiniz avtomatik proqnozların verilməsidir. Əgər data çirklidirsə (çatışmayan verilənlərin çox olması, sıra və sütunların düzgün yerləşdirilməməsi, datanın bütün nöqtələrində eyni formatdan istifadə olunmaması) işiniz bir qədər uzanacaq. Data hər şey ola bilər, Şəkillər, mətnlər, videolar, səs yazıları. Bütün bu datanı analiz edərkən machine learning alqoritmlərindən və süni zəka alqoritmlərindən istifadə olunur.

Big Datadan necə istifadə olunur?

Big data ənənəvi yollarla toplanmış və rəqəmsal mənbələrdən əldə edilmiş, şirkətdaxili və şirkətdənkənar məlumatların struktursuz və multistrukturlu (bir neçə struktur formatında) şəklinə deyilir hansı ki, istənilən sektorda ölçüləbilən qərarvermə mexanizmində geniş istifadə olunur. Big data haqqında öyrənmək üçün ilk əvvəl datanın struktursuz və multistrukturlu olmasını müəyyən etmək lazımdır.

Struktursuz data - ənənəvi data tətbiqləri ilə asanlıqla analiz olunan, modelləşdirilə bilən, əsasən tekst ağırlıqlı dataya deyilir. Metadata, Twitter tweetləri və digər sosial media postları struktursuz dataya nümunədir.

Multistrukturlu data - Bir neçə data formatının istifadə olunduğu multistrukturlu data, insanlarla süni zəkanın birgə ortaya çıxardığı işdir. Multistrukturlu data həm tekstlərdən, həm şəkillərdən təşkil oluna bilər.

Şəkil, video, mətnlərdən ibarət küllü miqdarda struktursuz data- Big data sənayenin bütün sferalarına nüfuz edib. Şirkətlər artıq müştərilərin kim olduğunu, hansı müştərilərə hansı xidmətlə yaxınlaşmağı ən incə detalına qədər bilir ki, bununla da xərclər inanılmaz səviyyədə aşağı düşür. Big data - səhiyyədə, xəstəliklərin əvvəlcədən proqnoz verilməsində olduqca geniş tətbiqə malikdir. Bu sondurmu? Təbii ki, deyil. Kriminalistikada, Enerji sektorunda, hətta zəlzələnin baş verməsinin proqnozlaşdırılmasında belə big datadan istifadə olunur.


Mənbələr:

https://www.sas.com/en_us/insights/big-data/what-is-big-data.html#history

https://www.whishworks.com/blog/big-data/understanding-the-3-vs-of-big-data-volume-velocity-and-variety

http://qss.az/big-data-nedir-ne-deyildir

Просмотров: 23Комментариев: 0

Недавние посты

Смотреть все