תיאור תפקיד:
לארגון פיננסי מוביל דרוש /ה data engineer
דרוש data engineer להשתלבות בעבודת הצוות ופרויקטים בתחום ה AI.
אחריות לקליטה של כמויות גדולות של נתונים חדשים ולאחר מכן להבנה מעמיקה ובחינה של נתונים בשיתוף פעולה הדוק עם data Scientist. עיצוב ופיתוח של תהליכי דאטה קריטיים, מגוונים וגדולים גם בסביבות ענן וגם ב on prem
דרישות:
ניסיון של לפחות 3 שנים כ data engineer
ניסיון של 3 שנים של עבודה עם שפות ;Object-Oriented Programming (OOP)
ניסיון של 3 שנים עם Python
ניסיון מעשי עם Spark עבור Large scale data
הבנה עמוקה בתחום של עיצוב, פיתוח ואופטימיזציה של פתרונות מורכבים שמעבירים או מעבדים כמויות גדולות של נתונים
הבנות של טכניקות של אופטימיזציה ועבודה עם partitions של סוגים שונים של דאטה כמו parquet, Avro, hdf5, delta lake
ניסיון בתפיסה ועבודה עם docker, Linux, CI/CD tools, Kubernetes
ניסיון של כלי data pipelines כמו airflow, Kubeflow
תואר במדעי המחשב. הנדסה.מתמטיקה או סטטיסטיקה - חובה
הבנה של מושגים ותהליכים בתחום Machine Learning
ניסיון מעשי של שנתיים לפחות ב AWS עם services של Athena/Glue/StepFunction/EMR/Redshift/RDS יתרון משמעותי
הכרות עם פתרונות GenAI / prompt engineering יתרון
המשרה מיועדת לנשים ולגברים כאחד