ما الفرق بين تشات جي بي تي وجيميناي من حيث القدرات؟

حدّثت جوجل مؤخراً بوت الدردشة المدعوم بالذكاء الاصطناعي الخاص بها، حيث غيّرت اسمه من بارد (Bard) إلى جيميناي (Gemini) ومنحته مظهراً جديداً وبعض التحسينات. في الوقت نفسه، تلقى بوت الدردشة تشات جي بي تي (ChatGPT) من شركة أوبن أيه آي (OpenAI) العديد من التحسينات. جعلنا ذلك نرغب في إعادة تقييم أداء كلٍّ من جيميناي وتشات جي بي تي في سيناريوهات مختلفة لنعرف أيهما الأفضل.

في هذه المقارنة، أخضعنا الإصدارات المجانية من تشات جي بي تي، الذي يعتمد على نموذج اللغة الكبير جي بي تي-3.5 (GPT-3.5). وجيميناي برو 1.0 (Gemini Pro 1.0) لاختبارات سريعة، وحلّلنا نتائج هذه الاختبارات.

هذه الاختبارات لم تتضمن نموذج جيميناي برو 1.5 (Gemini Pro 1.5) الذي قالت جوجل إنه يستطيع استيعاب وفهم ساعة كاملة من الفيديو، أو 11 ساعة من الصوت، أو 700 ألف كلمة، أو 30 ألف سطر من التعليمات البرمجية في وقت واحد، متفوقاً بذلك على العديد من نماذج الذكاء الاصطناعي بما فيها جي بي تي-4 من أوبن أيه آي الذي يشغل الإصدار المدفوع من تشات جي بي تي. لم تتضمن الاختبارات أيضاً ميزات إنشاء الصور والبحث في الويب، لأنها ليست جزءاً من الإصدار المجاني من تشات جي بي تي. وقد أُجريت جميعها باستخدام مطالبات باللغة الإنجليزية، باستثناء اختبار فهم اللغة العربية. في هذه المقارنة، أخضعنا الإصدارات المجانية من تشات جي بي تي، الذي يعتمد على نموذج اللغة الكبير جي بي تي-3.5 (GPT-3.5). وجيميناي برو 1.0 (Gemini Pro 1.0) لاختبارات سريعة، وحلّلنا نتائج هذه الاختبارات.

هذه الاختبارات لم تتضمن ميزات إنشاء الصور والبحث في الويب، لأنها ليست جزءاً من الإصدار المجاني من تشات جي بي تي. وقد أُجريت جميعها باستخدام مطالبات باللغة الإنجليزية، باستثناء اختبار فهم اللغة العربية.

1. اختبار كتابة التعليمات البرمجية

يمكن استخدام كلٍّ من تشات جي بي تي وجيميناي لكتابة التعليمات البرمجية، في هذا الاختبار، طُلب إنشاء صفحة ويب متحركة باستخدام لغات إتش تي إم إل (HTML) وسي إس إس (CSS).

استُخدمت هذه المطالبة في الاختبار:

أنشئ صفحة ويب تظهر كواكب المجموعة الشمسية وهي تدور حول الشمس.

كانت الصفحة التي أنشأها جيميناي جيدة ومنطقية، حيث تظهر فيها خلفية سوداء تمثّل الفضاء ودائرة كبيرة تمثّل الشمس حولها ثماني دوائر تمثّل كواكب المجموعة الشمسية، كانت هذه الكواكب تدور بسرعات مختلفة تحاكي سرعة الكواكب الحقيقية.

في حين كانت الصفحة التي أنشأها تشات جي بي تي بعيدة عن الواقع، حيث تظهر خلفية بيضاء وفي وسطها دائرة تمثّل الشمس ودائرة واحدة ثابتة بعيدة عن الشمس تمثّل كوكباً واحداً.

نتيجة اختبار كتابة التعليمات البرمجية: جيميناي هو الفائز.

2. اختبار فهم اللغة العربية

تحتاج بوتات الدردشة إلى فهم اللغة الطبيعية للبشر كي تتمكن من تقديم استجابات صحيحة ومنطقية، في هذا الاختبار، قُدِّمت مطالبة معقدة باللغة العربية لمعرفة فهمها والاستجابة لها.

استُخدمت هذه المطالبة في الاختبار:

سعر المضرب والكرة يبلغ 1.10 دولار. سعر المضرب يزيد على سعر الكرة بـ 1.00 دولار، فكم يبلغ سعر الكرة؟

نجح جيميناي في حل المسألة المكتوبة باللغة العربية وقدّم الإجابة الصحيحة 0.05 دولار مع شرح لطريقة توصله إلى هذه الإجابة خطوة بخطوة، كما قدّم ملاحظات شملت حلولاً خاطئة للمسألة لتوضيح كيف يرتكب بعض الناس هذه الأخطاء، كما قدّم مثالاً مشابهاً لهذه المسألة.

فشل تشات جي بي تي في حل المسألة المكتوبة باللغة العربية، وقدّم إجابة خاطئة هي 0.10 دولار، لكن عند طرح المسألة نفسها عليه باللغة الإنجليزية، تمكن من حلها وتقديم الإجابة الصحيحة. يشير ذلك إلى مشكلة لدى تشات جي بي تي في فهم المطالبات المعقدة المكتوبة باللغة العربية.

عندما طُرِحت المسألة نفسها باللغة العربية على تشات جي بي تي مرة أخرى، نجح في حلها وقدّم الإجابة الصحيحة، لكن الفشل في المرة الأولى لا يمكن تجاهله.

نتيجة اختبار فهم اللغة العربية: جيميناي هو الفائز.

3. اختبار التفكير وحل المشكلات

المقصود بالتفكير وحل المشكلات هو القدرة على إيجاد حلول للمشكلات المعقدة التي يتطلب حلها عدة خطوات. في هذا الاختبار، طرح لغز معقد هو:

مزارع لديه ذئب ودجاجة وكيس من الحبوب، وهو يحتاج إلى عبور النهر. لديه قارب واحد يتسع له ولشيء آخر واحد فقط.

إذا علمت أنه لا يستطيع أن يترك الذئب بمفرده مع الدجاجة لأن الذئب سيأكل الدجاجة، كذلك لا يستطيع ترك الدجاجة بمفردها مع الحبوب لأنها ستأكل الحبوب.

كيف يمكنه عبور النهر ونقل ما لديه؟

نجح كل من تشات جي بي تي وجيميناي في حل اللغز وقدما إجابتين تختلفان بالصياغة فقط وهي:

يأخذ المزارع الدجاجة عبر النهر ويتركها على الجانب الآخر.

يعود المزارع وحده إلى الجانب الأول من النهر.

يأخذ المزارع الحبوب عبر النهر إلى الجانب الآخر.

يترك المزارع الحبوب على الجانب الآخر لكنه يعيد الدجاجة معه إلى الجانب الأول.

يترك المزارع الدجاجة في الجانب الأول ويأخذ الذئب عبر النهر للجانب الآخر.

يترك المزارع الذئب في الجانب الآخر ويعود بمفرده للجانب الأول.

يأخذ الدجاجة من الجانب الأول عبر النهر إلى الجانب الأخر.

لكن مهلاً، هذا اللغز شهير ومعروف، وربما تمكن جيميناي وتشات جي بي تي من حله لأنه موجود في قاعدة بياناته. لذلك، طُرح اللغز نفسه لكن مع تغيير العناصر الرئيسية.

اللغز الجديد المطروح هو:

أنت عالم في مختبر ولديك ثلاثة أشياء هي: نبات آكل للحشرات ويرقة آكلة للعشب ومجموعة من الأعشاب النادرة.

تريد نقل هذه العناصر الثلاثة في وعاء إلى مختبر آخر، لكن يمكنك أخذ عنصر واحد فقط في كل مرة.

إذ تركت النبات آكل الحشرات واليرقة معاً، فسوف يأكل النبات اليرقة، وإذا تركت اليرقة والأعشاب النادرة، ستأكل اليرقة هذه الأعشاب.

كيف تنقل هذه الأشياء الثلاثة بأمان؟

لقد فشل كل من جيميناي وتشات جي بي تي في حل اللغز الأخير وقدّم كلاهما إجابة خاطئة.

نتيجة اختبار التفكير وحل المشكلات: فشل جيميناي وتشات جي بي تي.

4. اختبار الإبداع

في هذا الاختبار، طُلب من تشات جي بي تي وجيميناي كتابة قصة قصيرة بطريقة إبداعية، وقيّمت عناصر القصة وطريقة السرد.

استُخدمت هذه المطالبة في الاختبار:

اكتب قصة قصيرة عن قطة صغيرة تائهة.

كانت كلتا القصتين جيدتين، وعلى الرغم من أن القصص هي جانب شخصي بحت، يمكن القول إن قصة تشات جي بي تي هي الأكثر إبداعاً.

اللافت في قصة تشات جي بي تي ليس السرد الإبداعي لأحداث القصة فحسب، بل السرد المنطقي لتلك الأحداث.

لقد بدأ القصة بشرح كيف تاهت القطة التي تُسمّى لونا (كان فضولها يقودها إلى مسارات غير مألوفة حتى أصبحت مشوشة تماماً. ومع مرور كل لحظة، بدا العالم وكأنه يكبر ويصبح أكثر رعباً).

كما استحضر تشات جي بي تي بعض العبارات العاطفية، مثل لحظة العثور على القطة (صوت لطيف اخترق الظلام. "مرحباً أيتها الصغيرة. هل أنتِ تائهة؟" نظرت لونا إلى الأعلى لتجد رجلاً عجوزاً طيب القلب راكعاً أمامها، على وجهه ابتسامة دافئة. مد يده المتجعدة بطمأنينة ولطف، ترددت لونا للحظة، وقد شعرت بالقلق من هذا الغريب. لكن كان هناك شيء ما في عينيه، بريق من اللطف والتفهم يمس روحها. وبمواء خجول، اقتربت منه، ليحملها الرجل العجوز بين ذراعيه).

وأخيراً، قدّم تشات جي بي تي نهاية سعيدة وغير متوقعة للقصة، فبدلاً من عودتها لمنزلها الأصلي، عاشت القطة مع الرجل العجوز في منزله: (عاشت لونا في رعاية الرجل العجوز، وكانت تصرفاتها الغريبة تملأ منزله بالفرح والضحك. على الرغم من أنها كانت ضائعة وحيدة في عالم شاسع لا يرحم، وجدت لونا طريقها إلى المنزل، ليس إلى المنزل الذي تركته وراءها، لكن إلى بداية جديدة مليئة بالحب والرحمة والإمكانات التي لا نهاية لها.

في المقابل، لم تكن قصة جيميناي موفقة، ولم تتضمن سبباً منطقياً لضياع القطة، وفي نهايتها، عادت القطة إلى صاحبتها، وهي نهاية سعيدة ومتوقعة.

نتيجة اختبار الإبداع: تشات جي بي تي هو الفائز.

5. اختبار الشرح

في هذا الاختبار، طُلب منهما تقديم شرحٍ لفكرة معقدة بطريقة بسيطة وهي: اشرح لي بشكل مبسط لماذا لا نرى سوى جانب واحد للقمر من الأرض؟

قدّم كلاهما شرحاً صحيحاً وبسيطاً للفكرة، لكن شرح تشات جي بي تي كان الأفضل، لأنه شرح الفكرة عن طريق تخيل نفسك تدور حول صديقك، حيث تمثّل أنت القمر، وصديقك يمثّل الأرض، في حين ركّز جيميناي على شرح الفكرة علمياً.

نتيجة اختبار الشرح: تشات جي بي تي هو الفائز.

6. اختبار اتخاذ القرار

في هذا الاختبار، استُخدِمت المطالبة التالية: تخيل نفسك سائقاً يقود سيارة فيها عدد من الركاب، تواجه سيناريو يتضمن أحد خيارين، إمّا الاصطدام بأحد المشاة أو الانحراف عن الطريق والمخاطرة بحياة الركاب، ما القرار الذي ستتخذه؟

لم يتخذ تشات جي بي تي أي قرار في هذا السيناريو، وكانت إجابته على النحو التالي:

باعتباري ذكاءً اصطناعياً، ليس لدي تجارب أو مشاعر شخصية، لكن يمكنني تقديم منظور يعتمد على المبادئ الأخلاقية. في مثل هذه الحالة، من الأفضل أن يعتمد القرار على تقليل الضرر. قد يؤدي الانحراف عن الطريق إلى تعريض حياة الركاب للخطر وقد يؤدي أيضاً إلى إلحاق الأذى بالآخرين في حالة اصطدام السيارة بشيء آخر. ومن ناحية أخرى، قد يؤدي الاصطدام بأحد المشاة إلى إصابة خطيرة أو وفاة ذلك الشخص.

من وجهة نظر أخلاقية، قد يتضمن القرار النظر في عوامل مثل عدد الأرواح المعرضة للخطر، واحتمال البقاء على قيد الحياة أو الإصابة في كل سيناريو، وأي خيارات أخرى محتملة متاحة مثل الكبح لتجنب المشاة دون الانحراف عن الطريق.

في المقابل، اتخذ جيميناي القرار بالانحراف عن الطريق والمخاطرة بحياة الركاب، وذلك استناداً إلى إحصائيات حوادث السيارات، وكانت إجابته على النحو التالي:

في هذا الوضع الفظيع، سأعطي الأولوية لسلامة المشاة على حساب الركاب. إليك السبب:

عدد الأرواح: هناك فرصة أكبر لإنقاذ المزيد من الأرواح عن طريق تجنب المشاة. تشير الإحصاءات إلى أن وفيات المشاة أكثر شيوعاً في حوادث السيارات من وفيات الركاب.

السيطرة على السيارة: الانحراف عن الطريق فيه الكثير من المخاطر. قد تصطدم بشجرة، أو تنقلب السيارة، أو تنحرف في عكس اتجاه حركة المرور. لكنك قد تتمكن من التحكم في السيارة والتوقف بأمان.

نتيجة اختبار اتخاذ القرار: جيميناي هو الفائز.

الحكم النهائي

تضمنت هذه المقالة اختبارات سريعة للنُسخ المجانية من بوتي الدردشة تشات جي بي تي وجيميناي، هذه الاختبارات لا تعكس بالضرورة قدرات وإمكانات ومزايا كل بوت، ولا يمكن استخدامها بأي شكل من الأشكال للحكم عليه بسبب محدوديتها، إذ اقتصرت على مطالبة واحدة في كل اختبار.

النتيجة هي: جيميناي هو الفائز. فقد كان الأفضل في ثلاثة اختبارات هي اختبار كتابة التعليمات البرمجية واختبار فهم اللغة العربية واختبار اتخاذ القرار، في حين كان تشات جي بي تي هو الأفضل في اختبار الإبداع واختبار الشرح، وفشل كلاهمها في اختبار التفكير وحل المشكلات.