תיאור תפקיד:
פיתוח, תחזוקה ושדרוג (ETL/ELT, Data Pipelines ) עבור מקורות נתונים מגוונים, בסביבות On Premises וענן (AWS, GCP)
יישום ותחזוקה של Data Governance כולל הגדרת מדיניות, בקרות איכות נתונים, ותיעוד תהליכים.
הקמה וניהול של מילון נתונים (Data Catalog) ארגוני – כולל סיווג, תיעוד והנגשת המידע לצוותים.
אופטימיזציה של מסדי נתונים (MS SQL, Graph DB) לשיפור ביצועים, זמני תגובה ויעילות אחסון
תכנון והטמעה של כלי ניטור מתקדמים לזרימות נתונים, ביצועי DB ושמירה על זמינות המערכות.
טיפול בתקלות מורכבות והבטחת זמינות רציפה של המערכות הקריטיות.
שיתוף פעולה עם מהנדסי נתונים, מפתחי AI, DevOps וארכיטקטים לצורך אינטגרציה של מקורות נתונים חדשים.
עבודה על שיפור ושדרוג תשתיות ה Data Warehouse הקיימות.
ניסיון ב PYTHON
דרישות:
ניסיון של 4 שנים כמהנדס נתונים
ניסיון של +3 שנים בפיתוח ותחזוקת Data Pipelines ורכבים.
שליטה ב MS SQL ובכלי אופטימיזציה של שאילתות וביצועי בסיסי נתונים.
הבנה וניסיון ב Data Catalog ומערכות Data Governance
יכולת לפתח כלי ניטור מותאמים ולשלבם בתשתיות קיימות.
ניסיון בכלי ETL/ELT (כגון SSIS, Airflow, Glue )
יכולת עבודה בצוותים רב-תחומיים ובסביבה מרובת ממשקים.
יתרונות
ניסיון בעבודה עם מערכות נתונים עבור יישומי Machine Learning , AI
ניסיון במערכות ממשלתיות או ארגונים גדולים.
היכרות עם עקרונות אבטחת מידע ורגולציה ממשלתית בתחום הנתונים.