البيانات الضخمة والتنقيب في البيانات

يسمى عالمنا اليوم «عصر البيانات والتكنولوجيا»، ويتحول حجمه للصغر يوما بعد يوم، وإن استخدام التكنولوجيا له تأثير في هذا التحول الذي يدعم الاقتصاد والاقتصاد المعرفي بالتحديد. ولدعم هذا التحول، لا بد من تنظيم سياسات التعليم وفقا لذلك. ففي أوروبا، يتم دعم التعليم من خلال المشاريع البحثية الممولة من الاتحاد الأوربي للتحفيز والتوعية بأهمية عمليات التحول على مستوى التعليم العام والخاص، في الجامعات والمدارس. من مستوى التعليم ما قبل الابتدائي ومرحلة رياض الأطفال وحتى الدراسات العليا. بمناهج دراسية ومن خلال مواد تعليمية متخصصة ومختلفة تناسب كل مرحلة ومستوى تعليمي. مع مراعاة جانب المهارات أثناء تصميم المعرفة وإضافة تطبيقات الأخلاقيات المهنية مع جانب القيم في هذه المواد التعليمية وعدم إهمال الإبداع والموهبة والبعد الأخلاقي، للمحافظة على مكتسبات الهيكل الاقتصادي التنافسي ومواكبة التطور السريع بما يتواءم مع ما يشهده العالم من تغيرات سريعة وخلق عقول وطاقات بشرية مبدعة ومنتجة، قادرة على المشاركة في عمليات الاستثمار في المعرفة مجهزة بالقدرات والمهارات والقيم التي تسمح لها بتحمل مسؤولية ما تكتسبه من علم لخدمة دينها ووطنها ومتابعة مسيرتها المهنية.
الإلمام بتحديات البيانات الضخمة وتطبيقاتها من أعظم التحديات التكنولوجية في التنمية وفي المدن الذكية والطاقة الخضراء. ومن معوقاتها، هيكلة السياسات التي تتغلب على هذه التحديات التي من شأنها أن تتيح الاستقرار وتحافظ على التحول الآمن في مجمل عمليات التحول وذلك بتكامل البيانات والتكنولوجيا. البحث عن وظيفة ما أو مكان عمل جيد، يمثل في الوقت الحاضر تحديا إضافيا حيث أصبح التوظيف جزءا مهما في عمليات التنمية وإدارة الطاقات البشرية. والبيانات المتاحة وتحليل هذه البيانات يرتبط ارتباطا مباشرا بعمليات التنمية والمجتمعات وإدارة الموارد واستراتيجيات الاقتصاد بالإضافة في التعليم. فوجود التناقضات بين العرض والطلب والتوزيع الإقليمي لها يتطلب نوعا معينا ومهارة ومعرفة محددتين. ومع تزايد تطور سياسات البيانات المفتوحة يوميا بعد يوم، هناك فراغ في تنظيم قضايا البيانات المفتوحة من حيث وجودها وجودتها وعلاقة البيانات واستخراج ما تحتويه بالتنقيب فيها وخدمة أساسيات توجهنا للمستقبل. البيانات الضخمة والبيانات المفتوحة، كلمتان تحظيان بالاهتمام في مجالات البحوث والبحوث التطبيقية في أوساط المجتمع الأكاديمي والمهتمين بالتكنولوجيا. إذ تتميز بالحجم والبيانات المفتوحة بالاستخدام. ويشير مصطلح الحجم إلى مجموعة البيانات الضخمة المعقدة للغاية والمحدثة باستمرار. بينما يشير مصطلح الاستخدام الذي يغطي البيانات المتاحة للجمهور ويمكن استخدامها وفقا لرغباتهم أو أهدافهم.
لذا يجب مراعاة أداة قياس جودة البيانات قبل الإتاحة، ثم تطوير مقاييس جودتها وجودة المقاييس. ففي إطار جودة البيانات، تم تحديد تسعة مقاييس، وهي من أهم مقاييس الجودة أثناء تحديد جودة البيانات. مثل التناسق، الاكتمال، الدقة، التفرد، مدى توفرها وسهولة الوصول إليها، قابلية الجمهور لفهمها واستخدامها، ولا تستهلك الوقت للتعامل معها، وأنها ذات قيمة وفائدة عاليتين، وهي منظمة بشكل هرمي متناسق. فتقييم البيانات المفتوحة يتطلب الجودة في إنشائها وفي وجودها بشكل مناسب، إذ يمكننا التعلم الآلي من التحقق من البيانات. البيانات الضخمة هي أحد أهم الاتجاهات التكنولوجية الحديثة التي تعتمد على تحويل كميات هائلة من البيانات إلى مصدر معرفة باستخدام البرمجيات والنماذج بالصور التكنولوجية الخاصة بإدارة البيانات واستخدامها بالسرعة والوقت المناسبين لتحديد أنماط غير ظاهرة، والتي قد تكون مؤشرا مبكرا لتغيير ضروري ومهم.
البيانات الضخمة مصطلح يصف حجم وكمية كبيرة من البيانات، والتنقيب هو الغوص عميقا فيها لاستخراج الأنماط والمعرفة. البيانات الضخمة مفهوم، بينما التنقيب في البيانات أسلوب ووسيلة تقنية. كلاهما يمكن الحصول عليه كمعرفة أساسية في تخصص أكاديمي بمهارات أساسية يتم تطويرها والارتقاء بها من مجرد معرفة ومهارات أساسية إلى احترافية بالشهادات المهنية المعتمدة والمقدمة من جهات تعليمية أكاديمية أو معاهد تدريب مرخصة ومعتمدة. البيانات الضخمة مصدر للمعرفة متى ما تمت إدراتها بالأسلوب العلمي والفني والذي يتطلب مهارات هندسية متنوعة، ومن الضروري التعرف على إدارة البيانات ومراحل تطورها لاستيعاب التحديات التي تواجه البيانات الضخمة واكتشاف أساليب جديدة تستحدث مجموعة من الأدوات لتنظيم وعرض البيانات، لاكتساب المزيد من المعرفة حول تخزين وهيكلة البيانات بشكل خاص ومناجمها بشكل عام.
البيانات الضخمة والتنقيب في البيانات مجالان سريعان في النمو على مستوى البحث العلمي والتطبيقات العملية خلال العقدين الماضيين. كم أنهما يتقاطعان مع بعضهما في مجالي الإحصاء وتعلم الآلة، والذي تطور ليصبح أحد أهم فروع الحوسبة الصناعية الأمر الذي كان له تأثيره باعتبارهما جزءا أساسيا من الحاسبات ونظم المعلومات، لتطوير أداء المنظمات بتطبيقات الحلول التقنية من خوارزميات وبرمجيات على مناجم البيانات وأنظمة المعلومات.
من المناسب اليوم البدء في أن نأخذ في عين الاعتبار المتطلبات الوظيفية الخاصة بالبيانات الضخمة على مستويات جمع وعرض البيانات، تكاملها وتحليلها، دعم واتخاذ القرارات واستخدام الطبقات والمستويات التقنية الخاصة بالتعامل مع البيانات الضخمة سواء كانت بيانات تم تولديها آليا مثل بيانات أجهزة الاستشعار ونقاط البيع أو بواسطة أشخاص مثل بيانات الإنترنت والألعاب الرقمية. مجال الرياضيات والإحصاء له فوائد في عالم اليوم أكثر من أي وقت مضى، إذ أصبح تحليل البيانات باستخدام الخوارزميات يسهل عمليات تحليل معقدة للبيانات المهيكلة أو غير المهيكلة. وتعتبر النمذجة التنبؤية من أهم صور التحليل المتقدم والأكثر شيوعا، وتعتمد على التنقيب في البيانات والتي بدورها تكتشف الأنماط الموجودة في البيانات التي تهدف إلى، إما التصنيف أو التنبؤ للمتغيرات النوعية بناء على معايير وإنتاج صيغ احتمالية في صور معادلات ومصفوفات، وبإضافة مكون البرمجيات لها داخل الحل التقني ينتج لنا روابط هذه المتغيرات المستقلة التي يمكن قراءتها وتكوين المعرفة عن ظاهرة ما أو اتجاه أو احتمالية لفرضية ما.