תיאור תפקיד:
תכנון, פיתוח ותחזוקה של pipelines מורכבים בDatabricks (PySpark/SQL). יישום פתרונות Data Lakehouse על גבי Azure באמצעות Delta Lake. אינטגרציה עם מערכות ענן (Azure Data Factory, Azure Synapse, Event Hub). ניהול גרסאות קוד ו-Asset Bundles באמצעות Repos ו-Git. הטמעת תהליכי CI/CD באמצעות Azure DevOps או GitHub Actions. שיפור ביצועים, אופטימיזציה של קוד ופתרון תקלות בסביבת Spark. עבודה מול צוותי Data Science ו-BI לשילוב מודלים וויזואליזציות.
דרישות:
תואר במדעי המחשב/הנדסה/ data science / מערכות מידע או תחום רלוונטי אחר - חובה. לפחות 5 שנות ניסיון כמהנדס/ת דאטה עם דגש על אינטגרציית נתונים ופיתוח תהליכי ETL/ELT בענן, כולל ניהול ואופטימיזציה של ביצועים- חובה. ניסיון מוכח בפיתוח בפלטפורמת Databricks של שנתיים לפחות - חובה. ניסיון בפיתוח ב- Python - לפחות שנתיים - חובה. SQL ברמה גבוהה- חובה שליטה במתודולוגיות DWH/DATA LAKE (ארכיטקטורת Data ומידול נתונים) ניסיון ואופטימיזציה של משאבי ענן /FinOps - יתרון
היקף משרה:
משרה מלאה
קוד משרה:
JB-00034
אזור:
מרכז - תל אביב, פתח תקווה, רמת גן וגבעתיים, בקעת אונו וגבעת שמואל, חולון ובת-ים, מודיעין, שוהם
שרון - חדרה וזכרון יעקב, נתניה ועמק חפר, רעננה, כפר סבא והוד השרון, ראש העין, הרצליה ורמת השרון
ירושלים - ירושלים, יהודה ושומרון, בית שמש
דרום - אשדוד
השפלה - ראשון לציון ונס- ציונה, רמלה לוד, רחובות, יבנה
|