لا تبدأ أنظمة التعرّف على الكلام عالية الجودة بالخوارزميات وحدها، بل تبدأ بالأصوات البشرية الحقيقية.

فخلف كل نموذج موثوق للتعرّف الآلي على الكلام (ASR)، توجد مجموعة من التسجيلات الصوتية التي تساعد الذكاء الاصطناعي على فهم اللهجات واللغات المختلفة وأنماط النطق وعادات التحدث.

لكن جمع البيانات الصوتية لا يقتصر على تسجيل أشخاص يتحدثون. بل يتطلب عملية منظمة تحترم حقوق المشاركين، وتحمي معلوماتهم الشخصية، وتضمن مطابقة كل تسجيل لمعايير جودة محددة بوضوح.

في Arabica AI Voice، تُعد موافقة المشاركين وجودة البيانات من العناصر الأساسية في تطوير مشاريع جمع البيانات الصوتية.

بدءًا من استقطاب المتحدثين الأصليين للغة، مرورًا بالتحقق من التسجيلات، وصولًا إلى تسليم مجموعات بيانات منظمة، تؤدي كل مرحلة دورًا مهمًا في بناء حلول موثوقة للذكاء الاصطناعي الصوتي.

في هذا المقال، نستعرض كيفية تنفيذ عملية مسؤولة لجمع البيانات الصوتية، بدءًا من أول تواصل مع المشارك وحتى تسليم مجموعة البيانات النهائية.

1. لماذا تُعد الموافقة ضرورية عند جمع البيانات الصوتية؟

تحتوي التسجيلات الصوتية على أكثر من مجرد الكلمات المنطوقة. فقد تكشف عن معلومات شخصية، وعادات التواصل، واللهجات، وخصائص أخرى يمكن أن تساعد على التعرف على هوية المتحدث.

لذلك، تُعد الموافقة المستنيرة شرطًا أساسيًا لجمع البيانات الصوتية بطريقة مسؤولة.

قبل بدء التسجيل، يجب أن يفهم المشاركون بشكل واضح ودقيق طبيعة مشاركتهم وما الذي يوافقون عليه.

ينبغي أن توضح عملية الموافقة الشفافة ما يلي:

  • الجهة المسؤولة عن جمع التسجيلات.
  • السبب وراء جمع البيانات الصوتية.
  • كيفية استخدام التسجيلات.
  • ما إذا كانت البيانات ستُستخدم لتدريب نماذج الذكاء الاصطناعي أو تقييمها.
  • الأشخاص أو الجهات التي يمكنها الوصول إلى التسجيلات.
  • المدة التي سيتم خلالها الاحتفاظ بالبيانات.
  • ما إذا كانت التسجيلات ستتم مشاركتها مع أطراف أخرى.
  • كيفية ممارسة المشاركين لحقوقهم المتعلقة بحماية البيانات الشخصية.

يجب أن تكون الموافقة حرة ومستنيرة ومحددة وموثقة. كما يجب إتاحة الفرصة للمشاركين لطرح أسئلتهم قبل الموافقة على المشاركة.

ومن المهم التأكيد على أن الموافقة على المشاركة في مشروع تسجيل صوتي لا تعني منح إذن غير محدود لاستخدام صوت الشخص لأي غرض مستقبلي.

2. استقطاب المشاركين: اختيار المتحدثين المناسبين

تتمثل المرحلة التشغيلية الأولى في استقطاب مشاركين تتوافق خصائصهم اللغوية والديموغرافية مع متطلبات المشروع.

يكتسب الاستقطاب أهمية خاصة عند إعداد مجموعات البيانات الصوتية باللغة العربية، لأن العربية تُستخدم في العديد من اللهجات والمناطق، ولكل منها مفرداتها وطرق نطقها وتراكيبها اللغوية المميزة.

فعلى سبيل المثال، يتطلب إعداد مجموعة بيانات مخصصة للعربية التونسية اختيار متحدثين يستخدمون اللهجة التونسية بشكل طبيعي، وليس الاعتماد حصريًا على اللغة العربية الفصحى الحديثة.

تحديد معايير الاستقطاب

قبل إطلاق عملية الاستقطاب، يقوم فريق المشروع بتحديد مواصفات المشاركين المطلوبين.

وقد تشمل هذه المعايير، حسب طبيعة المشروع:

  • متحدثين أصليين باللغة أو أشخاصًا يتقنونها بطلاقة.
  • لهجات عربية محددة وخصائص نطق إقليمية.
  • فئات عمرية معينة، عندما تكون هذه المعلومات ضرورية ويتم جمعها بشكل قانوني.
  • تمثيل الجنسين، عندما يكون ذلك مناسبًا لأهداف البحث.
  • مستويات تعليمية أو خلفيات مهنية مختلفة.
  • اختلافات الكلام بين المناطق الحضرية والريفية.
  • متحدثين ثنائيي اللغة، مثل العربية والفرنسية أو العربية والإنجليزية.

تساعد هذه المعايير على إنشاء مجموعة بيانات تمثيلية بدلًا من الاكتفاء بتسجيلات مجموعة محدودة من المتحدثين.

استقطاب المشاركين في شمال إفريقيا

في المشاريع متعددة اللغات المتعلقة بالعربية، يمكن أن تشمل عملية الاستقطاب عدة دول ومناطق.

ومن أمثلة ذلك:

  • تونس: اللهجة التونسية (التونسي).
  • الجزائر: اللهجة الجزائرية (الدارجة).
  • المغرب: اللهجة المغربية (الدارجة).
  • ليبيا: اللهجة الليبية.

يمكن استقطاب المشاركين عبر الشبكات المجتمعية، وشركاء التوظيف المتخصصين، والمجموعات اللغوية، والمنصات المخصصة للمشاركين.

والهدف هو الحصول على تسجيلات صوتية طبيعية من أشخاص يستخدمون اللغة أو اللهجة المستهدفة في حياتهم اليومية.

3. الموافقة المستنيرة: شرح عملية التسجيل

بعد تحديد المشاركين المحتملين، تأتي المرحلة التالية وهي الحصول على موافقتهم المستنيرة.

يجب إتمام هذه المرحلة قبل بدء أي تسجيل يشمله اتفاق الموافقة.

ينبغي تزويد المشاركين بمعلومات واضحة ومفهومة بلغة يستطيعون استيعابها.

ما الذي يجب أن يتضمنه نموذج الموافقة؟

يتضمن نموذج الموافقة المصمم بشكل جيد عادةً العناصر التالية:

  • هدف المشروع: توضيح أسباب جمع التسجيلات والنتائج التي يسعى المشروع إلى تحقيقها.
  • أنشطة التسجيل: تحديد أنواع الكلام المطلوب من المشاركين، مثل قراءة النصوص، أو المحادثات العفوية، أو الحوارات المكتوبة مسبقًا.
  • استخدام البيانات: توضيح ما إذا كانت التسجيلات ستُستخدم لتدريب أنظمة التعرّف الآلي على الكلام (ASR)، أو تركيب الكلام، أو الأبحاث اللغوية، أو التقييم، أو أغراض أخرى محددة.
  • الخصوصية والأمان: شرح كيفية تخزين الملفات الصوتية والمعلومات المرتبطة بها وحمايتها والتحكم في الوصول إليها.
  • مشاركة البيانات: توضيح ما إذا كان من الممكن مشاركة التسجيلات مع العملاء أو شركاء البحث أو المؤسسات الأخرى المصرح لها.
  • مدة الاحتفاظ بالبيانات: تحديد المدة التي سيتم خلالها الاحتفاظ بالتسجيلات والمعلومات المرتبطة بها.
  • حقوق المشاركين: شرح كيفية سحب الموافقة أو ممارسة حقوق حماية البيانات المعمول بها، وفقًا للإطار القانوني والتعاقدي ذي الصلة.

تساعد عملية الموافقة الواضحة على بناء الثقة وضمان جمع البيانات الصوتية بطريقة مسؤولة.

4. تسجيل البيانات الصوتية: التقاط أصوات بشرية طبيعية

بعد الاستقطاب والحصول على الموافقة، يمكن للمشاركين الانتقال إلى مرحلة التسجيل.

الهدف هو جمع تسجيلات صوتية واضحة وتمثيلية تعكس الطريقة التي يتحدث بها الأشخاص في الواقع.

ومع ذلك، يمكن لظروف التسجيل أن تؤثر بشكل كبير في مدى فائدة مجموعة البيانات.

اختيار بيئة التسجيل المناسبة

وفقًا لمتطلبات المشروع، يمكن إجراء التسجيلات في بيئات مختلفة، مثل:

  • استوديوهات التسجيل الاحترافية.
  • المكاتب الهادئة.
  • البيئات المنزلية الخاضعة للتحكم.
  • أنظمة التسجيل المحمولة.

ينبغي أن تساعد بيئة التسجيل على تقليل الضوضاء الخلفية غير المرغوب فيها، والصدى، والتداخل الناتج عن الميكروفون.

معدات التسجيل والمتطلبات التقنية

يجب تحديد المواصفات الصوتية قبل بدء التسجيل.

وتشمل أهم العناصر التي ينبغي أخذها بعين الاعتبار:

  • معدل أخذ العينات الصوتية.
  • عمق البت للصوت.
  • التسجيل الأحادي أو الاستريو.
  • تنسيقات الملفات الصوتية المدعومة، مثل WAV.
  • موضع الميكروفون.
  • مدة التسجيل.
  • مستويات الضوضاء الخلفية المقبولة.
  • تشبع الصوت والتشويه الصوتي.

تعتمد المتطلبات التقنية الدقيقة على تطبيق الذكاء الاصطناعي المستهدف.

فعلى سبيل المثال، قد تحتاج مجموعة بيانات مخصصة لتدريب نظام عالي الجودة للتعرّف على الكلام إلى ظروف تسجيل مختلفة عن تلك المطلوبة لمجموعة بيانات تهدف إلى تقييم التعرّف الصوتي في البيئات المليئة بالضوضاء.

قراءة النصوص والمحادثات العفوية

يمكن أن تعتمد عملية جمع البيانات الصوتية على عدة طرق للتسجيل.

التسجيلات باستخدام النصوص:

يقرأ المشاركون جملًا أو فقرات أو تعليمات محددة مسبقًا. تساعد هذه الطريقة على التحكم في المفردات، وتغطية أنماط النطق، والتراكيب اللغوية.

الكلام العفوي:

يتحدث المشاركون بشكل طبيعي عن موضوعات من الحياة اليومية. وتتيح هذه الطريقة جمع التعبيرات الحوارية، والترددات أثناء الكلام، والمفردات غير الرسمية، وطرق النطق الطبيعية.

التسجيلات الحوارية:

يشارك شخصان أو أكثر في حوار منظم. ويساعد ذلك على تسجيل تبادل أدوار الحديث، والمقاطعات، واختلاف أساليب التواصل.

بالنسبة إلى مشاريع اللغة العربية في شمال إفريقيا، فإن الجمع بين هذه الأساليب يوفر تمثيلًا أكثر شمولًا للتواصل اليومي.

5. تغطية اللهجات والتنوع اللغوي

يُعد التنوع اللغوي أحد أكبر التحديات في جمع البيانات الصوتية باللغة العربية.

تلعب اللغة العربية الفصحى الحديثة دورًا مهمًا في التواصل الرسمي والتعليم والإعلام. ومع ذلك، يتواصل ملايين الناطقين بالعربية بشكل أساسي باستخدام اللهجات المحلية.

لذلك، قد لا تعكس مجموعة البيانات التي تركز حصريًا على العربية الفصحى طريقة الكلام اليومية بشكل كافٍ.

جمع الأنواع الإقليمية المختلفة من اللغة العربية

يمكن أن تتضمن مجموعة بيانات شاملة للكلام في شمال إفريقيا ما يلي:

  • اللهجة التونسية.
  • اللهجة الجزائرية.
  • اللهجة المغربية.
  • اللهجة الليبية.

ينبغي التعامل مع كل لهجة باعتبارها تنوعًا لغويًا مستقلًا، له مفرداته وأنماط نطقه وخصائصه النحوية الخاصة.

تسجيل المزج بين اللغات (Code-Switching)

يمثل الكلام متعدد اللغات عنصرًا مهمًا آخر في عملية جمع البيانات الصوتية.

في تونس والجزائر والمغرب، ينتقل المتحدثون بشكل متكرر بين العربية والفرنسية خلال المحادثة الواحدة.

على سبيل المثال:

« El réunion mta3 ghodwa, nbadlouha wala nkhaliwha ? »

تجمع هذه الجملة بين اللهجة التونسية ومفردات من اللغة الفرنسية.

يُعد تسجيل مثل هذه التعبيرات مفيدًا بشكل خاص لأنظمة التعرّف على الكلام المصممة لفهم المحادثات متعددة اللغات في الحياة اليومية.

لذلك، ينبغي أن تتضمن مجموعة البيانات التمثيلية حالات الانتقال الطبيعي بين اللغات عندما يكون ذلك ضمن النطاق اللغوي للمشروع.

6. تفريغ التسجيلات الصوتية ووضع العلامات التوضيحية

بعد الانتهاء من جمع التسجيلات، تأتي مرحلة تفريغ الصوت إلى نص وإضافة البيانات الوصفية والعلامات التوضيحية.

تحوّل هذه العملية الملفات الصوتية إلى معلومات منظمة يمكن استخدامها لتدريب نماذج الذكاء الاصطناعي والتحقق منها وتقييمها.

التفريغ الصوتي إلى نص

يقصد بالتفريغ الصوتي تحويل الكلام المسجل إلى نص مكتوب.

بالنسبة إلى اللهجات العربية، يتطلب ذلك وضع قواعد واضحة للتفريغ، لأن التعبير الواحد قد يُكتب بطرق مختلفة.

فعلى سبيل المثال، يمكن كتابة اللهجة التونسية باستخدام:

  • الأبجدية العربية.
  • النقل الصوتي بالأحرف اللاتينية.
  • العربيزي (Arabizi).

يجب تحديد طريقة كتابة موحدة قبل بدء عملية إضافة العلامات التوضيحية.

تحديد هوية المتحدثين

في التسجيلات التي تضم عدة متحدثين، ينبغي تخصيص معرّف ثابت لكل متحدث.

وتُعرف هذه العملية باسم تقسيم المتحدثين (Speaker Diarization)، وهي تساعد على تحديد الشخص الذي تحدث والوقت الذي تحدث فيه.

المحاذاة الزمنية

تربط المحاذاة الزمنية الكلمات أو الجمل المنطوقة بمواقعها الزمنية المقابلة داخل التسجيل الصوتي.

وبحسب متطلبات المشروع، يمكن أن تتضمن البيانات التوضيحية:

  • طوابع زمنية على مستوى الكلمات.
  • طوابع زمنية على مستوى الجمل.
  • معرّفات المتحدثين.
  • تحديد اللغة.
  • تحديد اللهجة.
  • مؤشرات الضوضاء الخلفية.
  • الأحداث الصوتية غير الكلامية.

تجعل هذه البيانات التوضيحية مجموعات البيانات أكثر فائدة لمختلف تطبيقات الذكاء الاصطناعي الصوتي.

7. مراقبة الجودة: ضمان موثوقية البيانات الصوتية

لا تمثل عملية جمع التسجيلات سوى جزء من العمل.

قبل تسليم مجموعة البيانات، يجب إخضاعها لمرحلة مراقبة الجودة.

تهدف هذه المرحلة إلى تحديد التسجيلات التي لا تستوفي المتطلبات التقنية أو اللغوية أو معايير إضافة العلامات التوضيحية المحددة للمشروع.

التحقق من جودة الصوت

يمكن فحص الملفات الصوتية للكشف عن المشكلات التالية:

  • الضوضاء الخلفية المفرطة.
  • تشويه الصوت أو تشبعه.
  • انخفاض مستوى صوت التسجيل.
  • وجود مقاطع صوتية مفقودة.
  • تنسيقات ملفات غير صحيحة.
  • فترات صمت غير متوقعة.
  • انقطاعات أثناء التسجيل.

التحقق من جودة التفريغ النصي

يجب أيضًا مراجعة النصوص المفرغة للكشف عن:

  • الكلمات المفقودة.
  • المفردات غير الصحيحة.
  • عدم الاتساق في الكتابة والإملاء.
  • أخطاء في تحديد المتحدثين.
  • أخطاء الطوابع الزمنية.
  • التعرّف الخاطئ على التعبيرات اللهجية.

المراجعة البشرية

يمكن للأدوات الآلية المساعدة في اكتشاف المشكلات التقنية، لكن المراجعة البشرية تظل مهمة عند التعامل مع الكلام باللهجات المحلية.

فالمتحدثون الأصليون أو الأشخاص الذين يتقنون اللهجة بدرجة عالية يستطيعون اكتشاف الأخطاء اللغوية التي قد لا تتمكن الأنظمة الآلية من ملاحظتها.

يمكن أن تتضمن عملية ضمان الجودة إعداد التعليقات التوضيحية الأولية، والمراجعة المستقلة، وحل الاختلافات، ثم إجراء التحقق النهائي.

8. خصوصية البيانات وأمنها وإدارة صلاحيات الوصول

تتضمن عملية جمع البيانات الصوتية مسؤوليات تستمر حتى بعد انتهاء جلسة التسجيل.

يجب التعامل مع الملفات الصوتية والبيانات الوصفية المرتبطة بها وفقًا للمتطلبات المعمول بها في مجال الخصوصية وحماية البيانات.

ينبغي أن تتضمن عملية العمل المسؤولة ما يلي:

  • التخزين الآمن: حماية التسجيلات من الوصول غير المصرح به أو الفقدان أو التعديل.
  • التحكم في الوصول: قصر الوصول على أعضاء فريق المشروع المصرح لهم والشركاء المعتمدين.
  • تقليل البيانات: جمع المعلومات الشخصية الضرورية للمشروع فقط.
  • إخفاء الهوية المباشر أو الاستعاضة عن المعرفات: استخدام معرّفات المشاركين بدلًا من المعلومات التي تكشف هويتهم مباشرة، كلما كان ذلك ممكنًا.
  • إدارة مدة الاحتفاظ: تحديد الفترة التي سيتم خلالها الاحتفاظ بالتسجيلات والمعلومات المرتبطة بها.
  • إجراءات الحذف: وضع آليات للتعامل مع طلبات الحذف أو سحب الموافقة الصحيحة، وفقًا للالتزامات المعمول بها.

لا ينبغي اعتبار التسجيلات الصوتية مجهولة الهوية تلقائيًا لمجرد حذف اسم المشارك منها، إذ يمكن أن يكون الصوت نفسه وسيلة للتعرف على هوية صاحبه.

بالنسبة إلى المشاريع التي تشمل مشاركين أو مؤسسات أوروبية، قد تنطبق متطلبات اللائحة العامة لحماية البيانات (GDPR). كما قد تكون قوانين حماية البيانات المحلية الأخرى ذات صلة، بحسب مكان استقطاب المشاركين ومكان معالجة البيانات.

9. إعداد مجموعة البيانات والتسليم النهائي

بعد الانتهاء من التفريغ النصي وإضافة العلامات التوضيحية ومراقبة الجودة، يتم إعداد مجموعة البيانات لتسليمها.

تعتمد البنية النهائية على المتطلبات التقنية للعميل والتطبيق الذي ستُستخدم فيه البيانات.

يمكن أن تتضمن حزمة البيانات الصوتية العناصر التالية:

الملفات الصوتية

يتم تنظيم التسجيلات الأصلية وفقًا لنظام تسمية الملفات وهيكل المجلدات المتفق عليهما في المشروع.

تشمل التنسيقات الشائعة WAV وغيرها من التنسيقات الصوتية المتفق عليها.

ملفات التفريغ النصي

ملفات نصية تحتوي على المحتوى المنطوق المقابل للتسجيلات الصوتية.

وقد تتضمن البيانات الوصفية المنظمة ما يلي:

  • معرّفات المتحدثين.
  • تصنيفات اللغات.
  • تصنيفات اللهجات.
  • الطوابع الزمنية للكلمات أو الجمل.
  • معلومات التسجيل.
  • نتائج مراقبة الجودة.

توثيق مجموعة البيانات

تساعد الوثائق العملاء على فهم مجموعة البيانات واستخدامها بالشكل الصحيح.

وقد تشمل هذه الوثائق:

  • وصف مجموعة البيانات.
  • منهجية التسجيل.
  • معايير استقطاب المشاركين.
  • معلومات الموافقة والاستخدامات المسموح بها.
  • المواصفات التقنية للملفات الصوتية.
  • قواعد التفريغ النصي.
  • معايير إضافة العلامات التوضيحية.
  • منهجية ضمان الجودة.
  • القيود المعروفة لمجموعة البيانات.

النقل الآمن للبيانات

يمكن تسليم الحزمة النهائية من خلال وسيلة نقل آمنة يتم الاتفاق عليها مع العميل.

يجب تحديد صلاحيات الوصول، وتأكيد عملية التسليم، وتجهيز أي وثائق مطلوبة تتعلق بمعالجة البيانات قبل التسليم النهائي.

الهدف هو توفير مجموعة بيانات منظمة وموثقة وخاضعة للتحقق، وجاهزة للاستخدام ضمن سير العمل الذي حدده العميل.

10. من الأصوات البشرية إلى ذكاء اصطناعي عربي أفضل

إن جمع البيانات الصوتية هو عملية تربط التواصل البشري بتقنيات الذكاء الاصطناعي.

بالنسبة إلى تقنيات الكلام باللغة العربية، تكتسب جودة هذه العملية أهمية خاصة، لأن اللهجات الإقليمية، وطرق النطق، والتعبيرات متعددة اللغات لا تحظى دائمًا بالتمثيل الكافي في مجموعات البيانات التقليدية.

إن إنشاء عملية موثوقة لجمع البيانات الصوتية يتطلب أكثر من مجرد معدات التسجيل.

بل يعتمد على مجموعة من العناصر الأساسية:

  1. تخطيط دقيق لعملية استقطاب المشاركين.
  2. الحصول على موافقة شفافة ومستنيرة.
  3. توفير ظروف تسجيل مناسبة.
  4. ضمان تغطية لغوية تمثيلية.
  5. إجراء تفريغ نصي وإضافة علامات توضيحية بدقة.
  6. تطبيق مراقبة جودة متسقة.
  7. اتباع ممارسات مسؤولة لحماية الخصوصية وأمن البيانات.
  8. تسليم مجموعة بيانات منظمة.

في Arabica AI Voice، يمثل التنوع في الكلام باللغة العربية عنصرًا أساسيًا في تطوير تقنيات صوتية أكثر قدرة على تمثيل الواقع اللغوي.

ومن خلال التركيز على موافقة المشاركين، والتنوع اللغوي، وجودة البيانات، يمكن لمشاريع جمع البيانات الصوتية أن تساهم في تطوير أنظمة ذكاء اصطناعي أكثر قدرة على فهم الطريقة التي يتواصل بها الأشخاص في حياتهم اليومية.