מאחורי היכולת לשאול שאלות ולקבל תשובות מתוכן פודקאסטים מסתתר צינור טכני מורכב. בואו נעקוב אחרי המסע של קובץ אודיו — מהרגע שהוא מועלה למערכת ועד שהוא מניב תובנות.
שלב 1: קליטת אודיו ועיבוד מקדים
כשמעלים קובץ אודיו למערכת, השלב הראשון הוא עיבוד מקדים. המערכת מנרמלת את עוצמת הקול, מסירה רעשי רקע, ומזהה מקטעי שתיקה. לפעמים האודיו מגיע בפורמטים שונים ובאיכויות שונות, ושלב זה מוודא שהכל אחיד ומוכן לתמלול.
שלב 2: תמלול ודיאריזציה
התמלול הוא הלב של הצינור. אנחנו משתמשים במודלים מתקדמים שמותאמים במיוחד לעברית. במקביל לתמלול, המערכת מבצעת דיאריזציה — זיהוי מי מדבר בכל רגע נתון. זה קריטי לפודקאסטים שבהם כמה דוברים משתתפים בשיחה.
שלב 3: חלוקה למקטעים (Chunking)
הטקסט המתומלל מחולק למקטעים לוגיים. זה לא פשוט כמו לחתוך כל 500 מילים — המערכת מזהה גבולות נושאים, שומרת על הקשר שלם, ויוצרת מקטעים עם חפיפה קלה כדי שלא יאבד מידע. גודל המקטע האופטימלי תלוי בסוג התוכן, ואנחנו מכילים באופן דינמי.
שלב 4: יצירת Embeddings
כל מקטע עובר דרך מודל embedding שממיר אותו לווקטור מספרי. הווקטור הזה מייצג את המשמעות הסמנטית של הטקסט. מקטעים עם משמעות דומה יקבלו ווקטורים קרובים, גם אם נעשה שימוש במילים שונות.
שלב 5: אחסון והאנדקסיה
הווקטורים נשמרים במסד נתונים וקטורי ייעודי שמאפשר חיפוש מהיר של שכנים קרובים (nearest neighbors). לצד הווקטורים, אנחנו שומרים את הטקסט המקורי, מטא-דאטה (מקור, תאריך, דובר), וחותמות זמן שמקשרות לאודיו המקורי.
שלב 6: חילוץ ידע
מעבר לחיפוש, המערכת מחלצת ידע מובנה מהתמלולים. זה כולל ישויות (שמות, מקומות, ארגונים), נושאים מרכזיים, טענות ועובדות, וקשרים בין מושגים. הידע הזה נאגר ומאפשר ניתוח חוצה-פרקים ופודקאסטים.
שלב 7: שכבת ה-Q&A
כשמגיעה שאלה, מופעל תהליך RAG. השאלה ממופה לווקטור, מאוחזרים המקטעים הרלוונטיים ביותר, והם מועברים יחד עם השאלה למודל שפה שמייצר תשובה מובנית. המערכת גם מוודאת שהתשובה נאמנה למקורות ומסמנת את רמת הוודאות.
ביצועים ואופטימיזציה
הצינור כולו מתוכנן לעבד שעת אודיו תוך דקות ספורות, ולהחזיר תשובות בפחות משנייה. אנחנו ב-ShmaCast ממשיכים לשפר כל שלב — מדיוק התמלול בעברית ועד איכות התשובות שהמערכת מייצרת.