AI - معالجة اللغة الطبيعية

تشير معالجة اللغة الطبيعية (NLP) إلى طريقة الذكاء الاصطناعي للتواصل مع أنظمة ذكية باستخدام لغة طبيعية مثل اللغة الإنجليزية.

تكون معالجة اللغة الطبيعية مطلوبة عندما تريد أن يعمل نظام ذكي مثل الروبوت وفقًا لتعليماتك ، عندما تريد سماع قرار من نظام خبير إكلينيكي قائم على الحوار ، إلخ.

يتضمن مجال البرمجة اللغوية العصبية جعل أجهزة الكمبيوتر تؤدي مهام مفيدة مع اللغات الطبيعية التي يستخدمها البشر. يمكن أن يكون مدخلات ومخرجات نظام البرمجة اللغوية العصبية -

• خطاب
• النص المكتوب

مكونات البرمجة اللغوية العصبية

هناك نوعان من مكونات البرمجة اللغوية العصبية كما هو معطى -

فهم اللغة الطبيعية (NLU)

يتضمن الفهم المهام التالية -

• تعيين المدخلات المعطاة في اللغة الطبيعية إلى تمثيلات مفيدة.
• تحليل الجوانب المختلفة للغة.

توليد اللغة الطبيعية (NLG)

إنها عملية إنتاج عبارات وجمل ذات مغزى في شكل لغة طبيعية من بعض التمثيل الداخلي.

يتضمن -

• تخطيط النص - ويشمل استرداد المحتوى ذي الصلة من قاعدة المعرفة.

• تخطيط الجملة - ويشمل اختيار الكلمات المطلوبة ، وتشكيل عبارات ذات معنى ، وتحديد نغمة الجملة.

• تحقيق النص - هو تعيين خطة الجملة في بنية الجملة.

NLU أصعب من NLG.

صعوبات في NLU

NL لديها شكل وبنية غنية للغاية.

إنه غامض للغاية. يمكن أن تكون هناك مستويات مختلفة من الغموض -

• الغموض المعجمي - إنه على مستوى بدائي للغاية مثل مستوى الكلمة.

• على سبيل المثال ، التعامل مع كلمة "board" كاسم أو فعل؟

• غموض مستوى النحو - يمكن تحليل الجملة بطرق مختلفة.

• على سبيل المثال ، "لقد رفع الخنفساء بغطاء أحمر." - هل استخدم الغطاء لرفع الخنفساء أم أنه رفع خنفساء ذات غطاء أحمر؟

• الغموض المرجعي - الإشارة إلى شيء باستخدام الضمائر. على سبيل المثال ، ذهبت ريما إلى جوري. قالت ، "أنا متعبة". - بالضبط من هو المتعب؟

• يمكن لمدخل واحد أن يعني معاني مختلفة.

• يمكن أن تعني العديد من المدخلات نفس الشيء.

مصطلحات البرمجة اللغوية العصبية

• علم الأصوات - هو دراسة تنظيم الصوت بشكل منهجي.

• علم الصرف - هو دراسة لبناء الكلمات من وحدات بدائية ذات معنى.

• Morpheme - إنها وحدة بدائية للمعنى في اللغة.

• النحو - يشير إلى ترتيب الكلمات لتكوين جملة. كما يتضمن تحديد الدور الهيكلي للكلمات في الجملة والعبارات.

• الدلالات - يهتم بمعنى الكلمات وكيفية دمج الكلمات في عبارات وجمل ذات معنى.

• البراغماتية - تتعامل مع استخدام وفهم الجمل في المواقف المختلفة وكيف يتأثر تفسير الجملة.

• الخطاب - يتعامل مع كيفية تأثير الجملة السابقة مباشرة على تفسير الجملة التالية.

• المعرفة العالمية - وهي تشمل المعرفة العامة حول العالم.

خطوات البرمجة اللغوية العصبية

هناك خمس خطوات عامة -

• التحليل المعجمي - يتضمن تحديد وتحليل بنية الكلمات. معجم اللغة يعني مجموعة الكلمات والعبارات في اللغة. يقسم التحليل المعجمي الجزء الكامل من النص إلى فقرات وجمل وكلمات.

• التحليل النحوي (التحليل) - يتضمن تحليل الكلمات في الجملة من أجل القواعد النحوية وترتيب الكلمات بطريقة توضح العلاقة بين الكلمات. تم رفض الجملة مثل "المدرسة تذهب إلى الصبي" بواسطة محلل لغوي اللغة الإنجليزية.

• التحليل الدلالي - يرسم المعنى الدقيق أو المعنى القاموس من النص. يتم فحص النص للتأكد من جدواه. يتم ذلك عن طريق تعيين الهياكل النحوية والكائنات في مجال المهمة. المحلل الدلالي يتجاهل جملة مثل "الآيس كريم الساخن".

• تكامل الخطاب - يعتمد معنى أي جملة على معنى الجملة التي تسبقها مباشرة. بالإضافة إلى ذلك ، فإنه يجلب أيضًا معنى الجملة التالية على الفور.

• التحليل البراغماتي - خلال هذا ، يتم إعادة تفسير ما قيل وفقًا لما يعنيه بالفعل. إنه ينطوي على اشتقاق تلك الجوانب من اللغة التي تتطلب معرفة العالم الحقيقي.

الجوانب التنفيذية للتحليل النحوي

هناك عدد من الخوارزميات التي طورها الباحثون للتحليل النحوي ، لكننا نأخذ في الاعتبار الطرق البسيطة التالية فقط -

• قواعد خالية من السياق
• محلل من أعلى إلى أسفل

دعونا نراهم بالتفصيل -

قواعد خالية من السياق

إنها القواعد النحوية التي تتكون من قواعد برمز واحد على الجانب الأيسر من قواعد إعادة الكتابة. دعونا ننشئ قواعد نحوية لتحليل جملة -

"الطائر ينقر الحبوب"

المقالات (DET) - أ | و | ال

الأسماء - الطيور | الطيور | الحبوب | بقوليات

العبارة الاسمية (NP) - المادة + الاسم | مقالة + صفة + اسم

= DET N | DET ADJ N

الأفعال - المكاييل | نقر | منقور

عبارة الفعل (VP) - NP V | V NP

الصفات (ADJ) - جميل | صغير | النقيق

تقوم شجرة التحليل بتقسيم الجملة إلى أجزاء منظمة حتى يتمكن الكمبيوتر من فهمها ومعالجتها بسهولة. لكي تقوم خوارزمية الإعراب بإنشاء شجرة التحليل هذه ، يجب إنشاء مجموعة من قواعد إعادة الكتابة ، التي تصف هياكل الشجرة القانونية.

تنص هذه القواعد على أنه يمكن توسيع رمز معين في الشجرة من خلال سلسلة من الرموز الأخرى. وفقًا لقاعدة منطق الترتيب الأول ، إذا كان هناك سلسلتان Noun Phrase (NP) و Verb Phrase (VP) ، فإن السلسلة المدمجة بواسطة NP متبوعة بـ VP هي جملة. قواعد إعادة الكتابة للجملة هي كما يلي -

S → NP نائب الرئيس

NP → DET N | DET ADJ N

VP → V NP

ليكسوكون -

DET → أ | ال

ADJ → جميل | جثم

N → طائر | الطيور | الحبوب | بقوليات

الخامس → بيك | مكاييل | نقر

يمكن إنشاء شجرة التحليل كما هو موضح -

الآن ضع في اعتبارك قواعد إعادة الكتابة أعلاه. نظرًا لأنه يمكن استبدال V بكلتا "peck" أو "pecks" ، يمكن السماح بعبارات مثل "الطائر ينقر الحبيبات" بشكل خاطئ. أي تمت الموافقة على خطأ اتفاق الفاعل والفعل على أنه صحيح.

الجدارة - أبسط أسلوب لقواعد اللغة ، لذلك يستخدم على نطاق واسع.

عيوب -

• ليست دقيقة للغاية. على سبيل المثال ، "الحبوب تنقر على الطائر" ، هي صيغة صحيحة وفقًا للمحلل اللغوي ، ولكن حتى لو لم تكن منطقية ، فإن المحلل يأخذها على أنها جملة صحيحة.

• لإبراز دقة عالية ، يجب إعداد مجموعات متعددة من القواعد. قد يتطلب الأمر مجموعة مختلفة تمامًا من القواعد لتحليل الاختلافات الفردية والجمع والجمل المبنية للمجهول وما إلى ذلك ، مما قد يؤدي إلى إنشاء مجموعة ضخمة من القواعد التي لا يمكن التحكم فيها.

محلل من أعلى إلى أسفل

هنا ، يبدأ المحلل اللغوي بالرمز S ويحاول إعادة كتابته في سلسلة من الرموز الطرفية التي تتطابق مع فئات الكلمات في جملة الإدخال حتى تتكون بالكامل من رموز طرفية.

ثم يتم فحصها مع الجملة المدخلة لمعرفة ما إذا كانت مطابقة. إذا لم يكن الأمر كذلك ، فستبدأ العملية مرة أخرى بمجموعة مختلفة من القواعد. يتكرر هذا حتى يتم العثور على قاعدة محددة تصف بنية الجملة.

الجدارة - إنه سهل التنفيذ.

عيوب -

• إنه غير فعال ، حيث يجب تكرار عملية البحث في حالة حدوث خطأ.
• سرعة بطيئة في العمل.