Anthropic פרסמה מחקר שבו Claude התבקש לכתוב נתוני אימון שיגרמו למודל מחקר קטן להתנהג בצורה לא תקינה, ועדיין לעבור מערכת ניטור. לפי החברה, אחרי מספיק ניסיונות זה הצליח, בעיקר כי ההתנהגות הוסתרה בתוך סיפורים ומשחקי תפקידים. המטרה היא לבדוק אוטומטית את מערכות הבטיחות לפני שמישהו אחר ינצל את החולשות. החוקרים מדגישים שזה ניסוי על מודל מחקר ולא ממצא על Claude שאתם משתמשים בו.
למה זה חשוב לך: אם אתם מאמנים או מכווננים מודל על הנתונים של העסק, "נתונים תמימים" כמו סיפורים יכולים לשנות את התנהגות המודל בלי שאף אחד ישים לב. כדאי לבדוק את המודל אחרי כל אימון, לא רק את הנתונים.
להעמיק: המדריך המלא ל־Claude בעברית · מה חדש ב־AI השבוע: ההנפקה של Anthropic, Gemini 4 Carbon והמניה שצנחה (30.10)
