Each word's probability at every temperature, for the scores above. The dashed line is the
current temperature. Far to the right every word heads for an even share; far to the left the top
word takes everything.
الفكرة كلّها.
يكتب الـ language model كلمةً واحدة في كلّ مرّة. وللكلمة التالية يعطي كلّ كلمة يعرفها score. ويحوّل
softmax الـ scores إلى احتمالات في خطوتين: ارفع e إلى قوّة كلّ score، ثمّ اقسم كلًّا منها على
المجموع، فيصير مجموعها 100%. إنّه softmax نفسه المستخدم لفئات الصور في صفحة الـ CNN.
ثمّ على النموذج أن يختار كلمة واحدة. Greedy يأخذ دائمًا الكلمة الأعلى. وSampling
يسحب كلمةً عشوائيًّا، وتكون الاحتمالات هي الحظوظ، فقد تنتهي الجملة نفسها نهايةً مختلفة في كلّ مرّة.
وTemperature تقسم كلّ score قبل الـ softmax: دون 1 تصبح الكلمة الأعلى أرجح أكثر، وفوق 1 تنال
الكلمات غير المرجّحة فرصةً حقيقية.
أمور تستحقّ التجربة:
1. اختر Greedy واضغط Write 10 endings: عشر مرّات “mat”، عند أيّ temperature.
الـ temperature لا تغيّر أبدًا الكلمة التي في الأعلى.
2. اختر Sample عند temperature 1. احتمال “mat” هو 51.2%، فنحو 5 من النهايات الـ 10
تقول “mat”، وتتوزّع البقية على الكلمات الأخرى.
3. اخفض الـ temperature إلى 0.2: يصبح احتمال “mat” هو 99.2%، وتكاد كلّ النهايات تكون متطابقة.
ارفعها إلى 5: ينتقل “moon” من 0.6% إلى 8.3%، فيظهر في نحو 1 من كلّ 12 نهاية.
4. اسحب “moon” إلى 3.5، فوق “mat”. الآن صار “moon” الكلمة الأعلى بنسبة
45.9%، ويكتب greedy “The cat sat on the moon” في كلّ مرّة. لا يعرف softmax إلّا الـ scores، لا
ما هو منطقيّ.