البيانات الضخمة

البيانات الضخمة

• مصطلح يشير إلى مجموعة بيانات تستعصي لضخامتها أو تعقيدها على التخزين أو المعالجة بإحدى الأدوات أو التطبيقات المعتادة لإدارة البيانات. أو ببساطة لتقريب الأفهام، لا يُمكن التعامل معها على حاسوب عادي بمفرده من خلال قاعدة بيانات بسيطة.
• مع دخول إنترنت الأشياء بشكل تدريجي إلى حياتنا اليومية سيتم تحويل كل ما نقوم به من اختيارات إلى مجموعة بيانات. وعن طريق ربطها ببيانات مشابهة سنتمكن من استخدام الطاقة بكفاءة أعلى وتطوير عقاقير شخصية لأمراضنا وتحسين قدرتنا على الاتصال. ولكنها في الوقت نفسه ستحد من الخصوصية وستعمل تنبؤاتها على زيادة توجيه المجتمع. فلا فوائد دون تكاليف” – صلاح خاشقجي
• مؤخرا نسمع كثيرا عن مصطلح البيانات الضخمة Big Data و سرعة انتشار هذا المجال في سوق العمل.

خصائص البيانات الضخمة

البيانات الضخمة لها ثلاث خصائص كما يلي:

• الحجم( Volume)
  هو حجم البيانات المستخرجة من مصدر ما، وهو ما يحدد قيمة وإمكانيات البيانات لكي تُصنف من ضمن البيانات الضخمة، وبحلول العام 2020 سيحتوى الفضاء الإلكتروني على ما يقرب من 40.000 ميتابايت من البيانات الجاهزة للتحليل وإستخلاص المعلومات.
• التنوع(Variety)
  يُقصد به تنوع البيانات المستخرجة، والتي تُساعد المستخدمين سواء كانوا باحثين أو مُحللين على إختيار البيانات المناسبة لمجال بحثهم وتتضمن بيانات مُهيكلة(Structured Data) في قواعد بيانات وبيانات غير مهيكلة(Un Structured Data) مثل: الصور ومقاطع وتسجيلات الصوت وأشرطة الفيديو والرسائل القصيرة وسجلات المكالمات وبيانات الخرائط (GPS)، وتتطلب وقتاً وجهداً لتهيئتها في شكل مناسب للتجهيز والتحليل.
• السرعة (Velocity)
  يُقصد بها سرعة إنتاج وإستخراج البيانات إرسالها لتغطية الطلب عليها حيث تعتبر السرعة عنصراً حاسماً في اتخاذ القرار بناء على هذه البيانات، وهو الوقت الذي نستغرقه من لحظة وصول هذه البيانات إلى

ما هى أهمية البيانات الضخمة فى عالمنا اليوم وعالم المستقبل؟

• تقدم البيانات الضخمة ميزة تنافسية للمؤسسات اذا أحسنت الأستفادة منها وتحليلها لانها تقدم فهما أعمق لعملائها ومتطلباتهم ويساعد ذلك على اتخاذ القرارات داخل المؤسسه بصوره أكثر فعالية بناء على المعلومات المستخرجة من قواعد بيانات العملاء وبالتالى زيادة الكفاءه والربح وتقليل الفاقد فابستخدام أدوات تحليل البيانات الضخمه أستطاعت وول مارت تحسين نتائج البحث عن منتجاتها عبر الأنترنت بنسبة 10-15% بينما فى تقرير لماكينزى-وهى شركة رائده فى مجال أستشارات الاعمال- ان القطاع الصحى بالولايات المتحدة لو كان يستخدم تقنيات تحليل البيانات الضخمة بفاعليه وكفاءه لكان قد أنتج أكثر من 300 مليون دولار أمريكى كفائض سنوى من ميزانيه الصحة ثلثيها بسبب خفض تكاليف الانفاق بنسبة 8% 4 و بحسب أستطلاع رأى سابق أجرته مؤسسه جارتنر أن 64% من الشركات والمنظمات أستثمرت فى تبنى أستخدام التقنيات الجديده للتعاطى مع البيانات الضخمة فى العام 2013
• ولا تتوقف الأستفاده من البيانات الضخمة على المؤسسات والمشاريع التجارية بل تمتد الى مجالات عديدة منها الطاقه والتعليم والصحة والمشاريع العلمية الضخمة أبرزها مشروع الجينوم البشرى (دراسة كامل المادة الوراثية للبشر) والذى يحتوى على 25 ألف جين التى تحتوى بدورها على 3 مليار زوج من القواعد الكيميائيه المكونه للDNA

أهمية البيانات الضخمة:

• للبيانات الضخمة اهمية عالية فهي تقدم ميزة تنافسية عالية للشركات اذا استطاعت الاستفادة منها ومعالجتها لأنها تقدم فهما أعمق لعملائها ومتطلباتهم ويساعد ذلك على اتخاذ القرارات المناسبة و الملائمة داخل الشركة بطريقة أكثر فعالية و ذلك بناء على المعلومات المستخرجة من قواعد بيانات العملاء وبالتالي زيادة الكفاءة والربح وتقليل الخسائر.
• فباستخدام تقنيات و أدوات تحليل البيانات الضخمة استطاعت وول مارت تحسين نتائج البحث عن منتجاتها عبر الأنترنت بنسبة 10-15% بينما في تقرير لماكينزى-وهى شركة رائدة في مجال استشارات الاعمال- ان القطاع الصحي بالولايات المتحدة لو كان يستخدم تقنيات تحليل البيانات الضخمة بفاعليه وكفاءه لكان قد أنتج أكثر من 300 مليون دولار أمريكى كفائض سنوى من ميزانيه الصحة ثلثيها بسبب خفض تكاليف الانفاق.

تطبيقات البيانات الضخمة

• القطاع الحكومى والبيانات الضخمة (Big Data):عندما يتعلق الأمر بإدارة البيانات، أغلب المنظمات الحكومية تواجه مشكلة وجود كميات هائلة من البيانات في أنظمة الكمبيوتر، ومعظم هذة البيانات غير منظمة أو مُهيكلة (unstructured data) وهذا يعني أنها لا تناسب أي نموذج بيانات معرّف مسبقاً. لفهم الأنماط الموجودة في هذه البيانات يجب أن تطبق المنظمات الحكومية نماذج إحصائية تسعى لإلتقاط ومعالجة كميات هائلة من البيانات غير المهيكلة و تسمى هذه العملية بـالبيانات الضخمة.أغلب المنظمات الحكومية لا تملك عدد كافي من الموظفين أو لا تملك القدرة الحسابية اللازمةلإدارة وتحليل جميع البيانات الخاصة بهم، ومع طبيعة البيانات المتغيرة وارتفاع حجمها أصبحت الإستعانة بأدوات الـبيانات الضخمة من خلال الحوسبة السحابية (Cloud Computing) أمراً ضرورياً. فأصبح بإمكان المختصين بتطوير الخدمات الحكومية رصد مدى رضا المواطنين عن الخدمات المقدَّمة لهم. وعلى ضوء النتائج المحللة يمكن استنتاج ما يلزم عمله للتطوير والتحسين، حيث أصبح مسح آراء الجمهور عن طريق الإستبيانات التقليدية مكلفاً وغير مجدٍ في كثير من الأحيان، وذلك نظراً لتنوع البيانات الديموغرافية وثقافات المتعاملين. إن من أكبر المصادر لتلك البيانات الضخمة هي البيانات المسجلة من خلال عمليات التعداد السكاني والتسجيل في قواعد البيانات الحكومية، حيث يمكن أن تستنتج الحكومات معلومات ثمينة جداً من خلال تحليل تلك البيانات المخزنة
• تحليل البيانات الضخمة(Big Data)وتحسين التعليم:أدى إستخدام أدوات التعلم عبر الإنترنت والبرامج القائمة على التفاعل بصورة متزايدة في مجال التعليم إلى زيادة حجم البيانات، واختلاف نوعية البيانات الكبيرة التي يُمكن جمعها من بيئات التعلم، فهنا نجد بيانات كبيرة عن المتعلمين، وخبرات التعلم لدى المتعلمين، كما نجد بيانات متعمقة داخل بيئات التعلم، وبيانات حول التفاعلات الإجتماعية في بيئات التعلم، وبيانات مُفصلة عن أنشطة التعلم من نصوص ووسائط ومقاطع فيديو وغيرها، كما تختلف هذه البيانات في نوعيتها وعمقها بنسب متفاوتة.يمكن الإستفادة من تحليل هذه الأنواع من البيانات الضخمة في التعليم، لتوفير مجموعة مُتنوعة من الفرص والخيارات بهدف تحسين تعلم الطلاب من خلال التعلم التكيفي أو التعليم القائم على الكفاءة، مما ينتج عنه تعلم أفضل نتيجة لتشخيص أسرع وأكثر تعمقاً في بيانات حقيقية تراكمية لاحتياجات التعلم أو المتاعب التي تواجهه أثناء عملية التعلم، بما في ذلك تقييم المهارات مثل التفكير المنظم، والتعاون، وحل المشاكل في سياق عميق، وتقييم أصيل لمجال وموضوع المعرفة، بالإضافة لتحديد التدخلات المستهدفة لتحسين نجاح الطلاب وخفض التكاليف الإجمالية للطلاب والمؤسسات، واستخدام البيئات القائمة والمعلومات المعقدة في صنع القرارات وتحديدالسياسات، ويمكن أن توفر هذه البيانات أدوات حديثة وفعالة لقياس أداء الطلاب للمهام التعليمية، ويمكن أن تُساعد كذلك في تصميم بيئات تعلم تصميماً مُخصصاً وفق إحتياجات مُحددة للطلاب، ويمكن أن تعطي تحليلاً واضحاً لردود الفعل الفردية والجماعية لمجموعة من القضايا التعليمية وغيرها من المميزات.
• تحليل البيانات الضخمة لتحسين عملية صنع القرار:إن عملية اتخاذ القرارات تُعد محور العملية الإدارية وجوهرها وإن نجاح المؤسسة أوالقطاع الحكومي يتوقف إلى حد كبير على قدرة وكفاءة القيادة الإدارية على إتخاذ القرارات الإدارية المناسبة. إن عملية صنع القرار تبدأ بتجميع البيانات ومُعالجتها واستخلاص المعلومات التي بناء عليها يتم اتخاذ القرار حيث بدأت تعتمد العديد من الشركات الكبيرة والقطاعات الحكومية على سياسة تحليل البيانات الضخمة والمعقدة والتي تحتاج إلى البرمجيات المتخصصة في مجال إدارة البيانات والتحليلات، والتي لا يمكن مُعالجتها باستخدام أداة واحدة فقط أو العمل على تطبيقات مُعالجة بيانات تقليدية، فمن المعروف أن جمع البيانات والمعلومات تُساعد على التوصيف الدقيق للمشكلة وتحليلها للوصول إلى نتائج دقيقة، لذلك كان لابد من إعتماد نظام إداري يشمل تحليل البيانات الضخمة والهائلة جداً. يستخدم القطاع الحكومي والشركات الكبيرة نظام تحليل البيانات الضخمة لتحسين العمليات الداخلية، مثل إدارة المخاطر، إدارة علاقات العملاء، والخدمات اللوجستية. كما يستخدم لتحسين المنتجات والخدمات القائمة، وتطوير الخدمات والمنتجات الجديدة والإستفادة من المعلومات وتقديم العروض المناسبة للعملاء في الوقت المناسب.
• الإستفادة من البيانات الضخمة في المجال العسكرى:البيانات الضخمة تتيح فرصاً عديدة للصناعة العسكرية، وخصوصاً أن تحليل البيانات الضخمة يسمح بالكشف عن دلالات تنفيذية يرتكز عليها صنّاع القرار لتطوير مختلف الشؤون العسكرية، فتساعد البيانات الضخمة على تطوير قدرات الإستخبارات العسكرية من خلال جمع البيانات من مصادر مختلفة وبناء منصة حاسوبية مترابطة تعزّز تبادل المعلومات بين العسكريين.يُشكّل النظام الذي يتمتع بشبكة إتصال كبيرة بين الأشياء أداة مهمة لتوليد شبكة المعلومات في المجال العسكري، فيساعد على جمع وتبادل المعلومات بوتيرة أسرع و على تحليلها بكفاءة وفعالية. لقد عزز إنترنت الأشياء (Internet of Things) النظام العسكري في ساحات المعارك من خلال تبادل المعلومات، وتحديد مواقع العدو على أرض المعركة وغيرها، بحيث بات يُشكل تحليل المعلومات عن العدو بشكل دقيق وبالوقت الفعلي إحدى الخطوات الأساسية في عملية صنع القرار العسكري، إذ تظهر تكنولوجيا البيانات الضخمة قدرة على تحليل هذه المعطيات بشكل صحيح، مايسهل عملية إتخاذ القرار من قبل القادة العسكريين.
• الإستفادة من البيانات الضخمة في المجال الإقتصادي:لقد أصبح بإمكان الشركات والمؤسسات والهيئات اليوم على إختلاف أنواعها تحليل حركة العملاء من شراء وبيع ونحوه بدقة أكبر ليتمكنوا وفقاً لذلك من معرفة السلع الأكثر طلباً أو تلك الراكدة ويقترحوا على عملائهم سلع معينة وفقاً لعمليات الشراء التي تتم. كما أصبح لديهم القدرة على فهم سلوك العملاء بشكل أكثر دقة وتحديد المميزين منهم ومن هم بحاجة لمساعدة أو لتحديد توجهاتهم أو مُراقبة أدائهم. هذا الأمر ليس فقط لمراكز البيع التقليدية بل يشمل المتاجر الإلكترونية على شبكة الإنترنت وعلى نطاق أوسع.فأصبح يتفاجأ مُستخدم شبكات التواصل الإجتماعي أو البريد الإلكتروني في أحيان كثيرة، بظهور إعلانات تجارية لسلع قام مسبقاً بالبحث عنها في تطبيقات أخرى، بل أكثر من ذلك هناك بعض الخوارزميات التي تستخدم بيانات تحديد الموقع على جهاز الهاتف لاقتراح الإعلانات. ومن هنا نجد أن ذلك يحدث نتيجة لتحليل البيانات الضخمة الناتجة من هذه المواقع والإستفادة منها في التسويق وذلك باستخدام كل جزء صغير من البيانات المتاحة عن المستخدمين لمعرفة ميولهم وتفضيلاتهم بغية عرض البضائع بأمثل طريقة ممكنة تجلب لشركات التسوق الإلكتروني أعظم ربح ممكن. ولا تقوم بتحليل البيانات التي تحصل عليها من تصفح المستخدم للإنترنت وحسب، بل قد تتبع زيارته للأسواق الحقيقية من خلال جهاز تحديد المواقع المُثبت بجهازه. ربما يعتقد البعض أن هذا إختراق للخصوصية، لكن في حقيقة الأمر فإن الشركات التي تقوم بذلك قد حصنت نفسها من خلال إتفاقية الشروط التي يوقع عليها المستخدم عند تسجيل الدخول إلى تطبيقات التواصل الإجتماعي كالفيسبوك وتويتر.وقد دخلت عملية التجارة الإلكترونية في السنوات الأخيرة مستوى جديداً من التنافس، بظل الكم الهائل من بيانات المستخدمين التي توفرها شبكات التواصل الإجتماعي واستخدام الإنترنت. أصبح الشاغل الأول لعمالقة التجارة الإلكترونية هو كيفية البقاء في المنافسة. فمن ناحية، تحتاج الشركات للترويج لبضائعها وهذا يتطلب معرفة باحتياجات الزبائن، ومن ناحية أخرى تحتاج لأن تقدم بضائعها بأسعار تنافسية في نفس الوقت تضمن لها هامش ربح كبير.
• الإستفادة من البيانات الضخمةفي المجال الطبى:تحول البشر شيئاً فشيئاً من طب التعامل مع الأمراض إلى طب يسعى للتنبؤ بالأمراض ومنعها، وتقديم العلاج الملائم لكل شخص بمساعدة كم هائل من المعلومات يجمعها هاتفه الذكي، ما يفتح الباب لعصر جديد من الطب تلعب فيه البيانات الصحية الضخمة وتحليلاتها دوراً بارزاً. أصبح بإمكان المستشفيات الحكومية والمراكز الطبية والأطباء الإستفادة من البيانات الضخمة في دراسة سلوكيات المرضى عبر تحليل ملفاتهم الطبية والزيارات التي قاموا بها للعلاج والتقنيات القابلة للإرتداء مما قد يساعدهم على تقديم خدمات طبية أفضل. يتيح تحليل البيانات الضخمة معالجة أوجه القصور في نظم تقديم الرعاية الصحية التي تتزايد تكاليفها بفعل النمو السكاني وارتفاع متوسط الأعمار. كما تستفيد العديد من المستشفيات في مختلف أنحاء العالم من البيانات الضخمة في تقليل وقت الإنتظار في أقسام الطوارئ وتتبع حركة المريض، وزيادة كفاءة الإدارة الطبية. كما تستخدم البيانات الضخمة في صناعة الأدوية وتوزيعها وبيعها. تجمع شركات تصنيع الأدوية والتأمين الصحي البيانات من الدول في أفريقيا وآسيا مثلا لاستخدامها في التنبؤ بظهور أمراض معينة، وزيادة مبيعاتها في مناطق معينة، إذ تعتمد سياسات التسعير وتوزيع الأدوية على نتائج تحليل هذه البيانات.

ومن استخدامات تحليل البيانات الضخمة االتي :

• الاستفادة القصوى من تجربة المستخدم أو العميل الالكترونية، بداية من تعرضه للدعاية واالاعلان
  مرورا بوضعه لطلب شراء إلكتروني وحتى وصول السلعة إليه .يتم ذلك عبر تحليل ردات الفعل من العملاء
  على الحملات الدعائية مثل تعليقاتهم او مدة بقائهم في الصفحة او ضغطهم على روابط معينه، ثم
  طريقة شرائهم إلى اختيارهم لطريقة الشحن وعناوينهم البريدية. بعد ذلك يتم تحليل تعليقات العملاء
  على المنتج في وسائل التواصل االجتماعي .يقوم علماء البيانات بربط البيانات السابقة ومحاولة إيجاد
  عالقات متبادلة او روابط تتيح التنبؤ بإمكانية شراء العميل ”س“ للسلعة ”ص.“
• التنبؤ بالاحداث القادمة عن طريق تحليل البيانات التاريخية وربطها مع القراءات الحالية. مثال شركات
  الطيران حيث يتم التنبؤ بتأخر رحلات الطيران او إمكانية تعرض الطائرة لعطل فني حسب المؤشرات التي
  تنتج من ربط قراءات الطائرة وبيانات الطقس .او البنوك حيث تقوم بالتنبؤ بسرقة بطاقة ائتمانية أو بطاقة
  صراف عن طريق تحليل العمليات السابقة وموقع العميل. فعند تغير سلوك حامل البطاقة او استخدامها
  بعيدا عن موقعه الافتراضي يتم ايقافها فورا.
• دعم القرار االستراتيجي باستخدام البيانات الضخمة وذلك بمقارنة الاحصاءات الرسمية ببيانات
  المستخدمين الفعلية في الفضاء التقني. لنفترض ان وزارة التعليم قررت افتتاح أو اغالق مدرسة بمنطقة
  معينة. هنا يجب على الوزارة الاستعانة ببيانات من خارج الوزارة تتيح لها معرفة التركيز السكاني للطالب
  خارج أوقات الدوام الرسمي. مثال على ذلك الاستعانة ببيانات شركات االتصاالت الخاصة بعدد الهواتف
  المرتبطة في برج اتصاالت في منطقة معينة، ثم تحليل بيانات المستخدمين لمعرفة تركيز الفئة عمرية
  المستهدفة في هذه المنطقة ومقارنتها مع الاحصاءات الرسمية. كذلك الربط مع بيانات برامج اإلسكان
  وحساب المواطن. حيث يتم مقارنة الاحصاءات الرسمية ببيانات المستخدمين المدخلة في البرنامجين وعند
  وجود اختالف او تضارب يتم تحليلها لمعرفة الاسباب أو مواطن الخلل. كذلك يتم توقع عدد الطالب
  المسجلين العام القادم حسب هذه البيانات.
• خالصة القول اننا اليوم نعيش في عالم ينت بالدقيقة الواحد االلف من تيرا غييابايت من البيانات وانها في
  تزايد مضطرد بسبب البرامج التي تنشاء يوميا وكذلك الوسائل التكنولوجية التي اتاحت الاستخدام في اي
  مكان واي وقت اضافة الى تغير الثقافات االجتماعية . كل ذلك يساهم بتوفير عدد غير محدود من
  البيانات الكثير منها مجاني موجود بالشبكات والفضاءات الافتراضية منها غير المهيكل والمهيكل ونصف
  المهيكل . البد من المؤسسات اليوم ان تسعى بخلق اوال ثقافات تستوعب هذه التحويلات وايضا خلق
  ادوات تحليلية تساعدها في االستفادة من كل ذلك والبد من التاكيد على تركيز على تحفيز الفكر
  االبداعي لالبداع بربط هذه البيانات بعالقات تساهم في توقير معلومات ترشد القرارات وتساعد المدراء
  نحو التمايز المؤسسي .بل ان االمم المتحدة ممثلة بالمجلس االقتصادي االجتماعي اشارت في تقريرها
  لعام2017 ان اساس التنمية واالحصائيات )بولغرافيا( البد من ان يستند الى البيانات الضخمة وتحليالتها.