Zum Inhalt springen

KI/ML-Engineer

Offen für KI/ML-Stellen in Deutschland und der EU

Ayush Tiwari

Porträt von Ayush Tiwari unter Kirschblüten

Über mich

Ich habe über zwei Jahre bei Collins Aerospace an Computer Vision und Data Science gearbeitet: Videoqualitätsprüfung für Flugzeugkameras, Aktivitätserkennung in der Kabine und ein Modell, das Netzwerkausfälle vorhersagte, bevor sie eintraten. Dort habe ich gelernt, dass ein Modell, das im Notebook gut abschneidet, nicht automatisch mit einem verrauschten Kamerabild zurechtkommt.

Gerade schließe ich meinen MSc in Artificial Intelligence an der BTU ab, mit einer Abschlussarbeit über parametereffizientes Fine-Tuning von Vision Transformern für Fahrerüberwachung. In eigenen Projekten arbeite ich vor allem an LLM-Systemen und agentischer KI: RAG-Pipelines mit hybridem Retrieval und Agenten, die Tools nutzen. Genauso viel Zeit stecke ich in ehrliche Evals, Observability und reproduzierbare Trainingsläufe.

Aufgewachsen bin ich in Indien, heute lebe ich in Deutschland. Nach Feierabend heißt es: Gym, ein gutes Buch, ein paar Runden Counter-Strike 2 oder ein Zug in eine Ecke Europas, die ich noch nicht kenne.

Projekte

Eigene Projekte mit öffentlichem Code. Jedes Repository enthält die ausführliche Beschreibung, und die Ergebnisse unten stammen daraus.

CS2 RAG Assistant

Beantwortet Fragen zu Waffen, Economy, Maps und Regeln in Counter-Strike 2 aus einer kuratierten Wissensbasis. Der Assistent nennt die verwendeten Passagen als Quellen und gibt keine Antwort, wenn sie die Frage nicht abdecken.

Umsetzung

  • Hybrides Retrieval: Dense Search mit bge-m3 in Qdrant und BM25 laufen parallel und werden per Reciprocal Rank Fusion zusammengeführt.
  • Ein bge-reranker-v2-m3-Cross-Encoder bewertet die zusammengeführten Kandidaten vor der Generierung neu.
  • Qwen2.5-3B-Instruct antwortet nur auf Basis der obersten Passagen, mit [n]-Quellenverweisen. Es läuft als FastAPI-Service mit Streamlit-Chat-UI, gebündelt per Docker Compose.

Ergebnis

Auf einem RAGAS-Set mit 38 Fragen, offline bewertet mit einem lokalen 3B-Judge: Context Precision 0,93, Context Recall 0,82, Answer Relevancy 0,87, Faithfulness 0,75. Der kleine Judge konnte nicht jede Frage bewerten (Context Precision umfasst 15 von 38, Faithfulness 19 von 38).

  • Python
  • Qdrant
  • BM25
  • Cross-encoder reranking
  • FastAPI
  • Streamlit
  • RAGAS
Die Chat-UI des Assistenten mit einer zitierten Antwort zur AWP und den Quellpassagen

Keylume

Die Epomaker TK68 ließ sich nur über die App des Herstellers steuern, mit einer festen Auswahl an Effekten. Ich habe ihr USB-Protokoll entschlüsselt, indem ich beobachtet habe, was diese App sendet, es dokumentiert und einen Ersatz gebaut, der komplett auf dem PC läuft, ohne Account, Cloud oder Telemetrie.

Umsetzung

  • Ein Rust-Workspace aus sechs Crates: Protokolle und Layouts, HID-Transport mit den Timing-Regeln der Firmware, eine generierte Bibliothek mit rund 1.400 Designs, Live-Effekte und ein CLI.
  • Ein einzelner Device-Worker verwaltet die Tastatur. Er fasst Anfragen zusammen, taktet Schreibvorgänge nach den gemessenen Zeiten (etwa 1,1 s nach einer Einstellung, 1,5 s zum Schreiben in den Flash) und stellt einen hängenden Kanal wieder her.
  • Desktop-Shell mit Tauri 2 und einer UI in React und TypeScript. Live-Effekte folgen der Musik (FFT auf dem Systemaudio), der Bildschirmfarbe oder der CPU-Last. Design-Packs werden mit Ed25519 signiert.

Ergebnis

Version 1.0.0 für Windows und Linux veröffentlicht, auf einer echten TK68 getestet. Über 250 Rust- und UI-Tests laufen bei jedem Push gegen einen Firmware-Simulator, CI braucht also keine Tastatur.

  • Rust
  • Tauri 2
  • React
  • TypeScript
  • hidapi
  • Ed25519
Der Startbildschirm von Keylume mit einer Epomaker TK68 in den Farben, in denen sie leuchtet

Parameter-Efficient Fine-Tuning of a Small Language Model (LoRA)

Passt ein kleines Decoder-only-Sprachmodell (SmolLM2-360M) mit eingefrorenem Backbone an die Themenklassifikation auf AG News an. Ich habe es als Vorbereitung auf den PEFT-Teil meiner Abschlussarbeit gebaut.

Umsetzung

  • Selbst implementiertes LoRA auf den Attention-Projektionen q und v; B startet mit Nullen, damit das Training beim vortrainierten Modell beginnt.
  • Linear Probe und volles Fine-Tuning als Baselines unter demselben Protokoll, dazu Placement- und Rank-Ablationen.
  • Hydra-Konfigurationen, Weights-&-Biases-Logging im Offline-Modus und 3,2-MB-Checkpoints, die nur die LoRA-Gewichte und den Head enthalten.

Ergebnis

93,7 % Top-1 auf dem vollständigen AG-News-Testset bei 0,23 % trainierter Gewichte. Volles Fine-Tuning erreichte 93,6 %, eine Linear Probe 90,1 % (20.000 Trainingsbeispiele, eine RTX 4060).

  • PyTorch
  • LoRA
  • Hugging Face
  • Hydra
  • Weights & Biases

Parameter-Efficient Fine-Tuning of a Vision Transformer (LoRA)

Passt einen auf ImageNet vortrainierten ViT-B/16 mit eingefrorenem Backbone an die Rassenklassifikation auf Oxford-IIIT Pets an. Ich habe es als Vorbereitung auf meine Abschlussarbeit gebaut, die LoRA mit anderen parametereffizienten Methoden auf Vision Transformern vergleicht.

Umsetzung

  • LoRA selbst für die fusionierte qkv-Attention-Schicht im ViT-B/16 von timm implementiert, angepasst werden nur q und v.
  • Vergleich mit vollem Fine-Tuning und einer Linear Probe unter demselben Protokoll, danach Sweeps über den Rank und die Projektionen mit Adaptern.
  • Hydra-Konfigurationen für Pets und Flowers-102, Mixed Precision und ein Predict-Skript, das einen 1,2-MB-LoRA-Checkpoint lädt.

Ergebnis

94,9 % Top-1 auf dem Test-Split von Oxford-IIIT Pets bei 0,38 % trainierter Gewichte, gegenüber 93,9 % mit vollem Fine-Tuning und 93,5 % mit einer Linear Probe (gleiches Protokoll, eine RTX 4060).

  • PyTorch
  • timm
  • LoRA
  • Vision Transformer
  • Hydra

Weitere Projekte

Grounded RAG: Ask-My-Docs with Cited Answers

Ask-my-docs-RAG, das jeden Quellenverweis gegen die abgerufenen Chunks prüft und die Antwort verweigert, wenn keine Quelle sie stützt. Es nutzt vorerst Dense Retrieval und hat ein RAGAS-Evaluationsskript mit Qualitätsschwellen, aber noch keine veröffentlichten Ergebnisse.

  • Python
  • Chroma
  • bge-small
  • RAGAS
  • Docker

PDF Summary Tool

Streamlit-App, die Text aus einem hochgeladenen PDF extrahiert, ihn mit DeepSeek R1 über OpenRouter zusammenfasst und die Zusammenfassung zum Download anbietet.

  • Streamlit
  • PyPDF2
  • OpenRouter
  • DeepSeek R1

Real-Time Object Detection on Edge Devices with YOLOv4-Tiny

Objekterkennung in Echtzeit für stromsparende Edge-Geräte: YOLOv4-Tiny-Inferenz nur auf der CPU, mit FPS-Benchmark im Edge-Profil und COCO-Genauigkeit, im Vergleich zu einem Raspberry Pi 4B eingeordnet.

  • Python
  • OpenCV DNN
  • YOLOv4-Tiny
  • Docker

Erfahrung

Collins Aerospace

Bengaluru, Indien

  1. Associate Engineer (Data Science)

    Okt 2021 – Jul 2022

    • Entwickelte ein webbasiertes Aircraft Connection Management System zum Testen der Netzwerkkonnektivität über verschiedene Protokolle.
    • Baute eine ML-Pipeline (Ensemble + Zeitreihen), die Netzwerkausfälle mit 92 % Recall vorhersagte und die Ausfallzeit um 60 % senkte.
    • Lieferte ein Power-BI-Dashboard, das den Verbindungsstatus der Flugzeuge in Echtzeit abbildete.
  2. Graduate Engineer (Computer Vision)Spot Award

    Aug 2020 – Okt 2021

    • Arbeitete an einem Kabinenüberwachungssystem, das Passagierverhalten analysierte: Bildverbesserung, Passagiererkennung, Objekt-Tracking und posenbasierte Bewegungsanalyse.
    • Trainierte CNN-Modelle zur Aktivitätserkennung mit Pose Estimation, um Passagierverhalten anhand bekannter Flugszenarien zu klassifizieren.
    • Lieferte automatisierte Warnungen an das Crew-Display, mit einer an die Flugphase angepassten Empfindlichkeit.
    • Reduzierte den Überwachungsaufwand der Kabinencrew um 40 % durch automatisierte Warnungen und Incident-Reporting-Workflows.
  3. Avionics Intern (Computer Vision)

    Feb 2020 – Jul 2020

    • Entwickelte einen Full-Reference-Videoqualitäts-Analyzer zur Fehlererkennung in gefertigten Flugzeugkameras.
    • Bewertete Testaufnahmen anhand eines Referenzvideos mit 9 Metriken in 4 Parametern: RMSE, Schärfe (Varianz des Laplace-Operators und FFT), Rauschen (SNR/PSNR) und Farbtreue (ΔE94/ΔLUV).
    • Ordnete Videoartefakte über 6 überlappende Regions of Interest konkreten Bildbereichen zu, im Echtzeit- wie im Batch-Betrieb.
    • Erreichte 97 % Korrelation mit dem Industrie-Benchmark Imatest.
    • Integrierte die komplette Prüf-Suite in eine Jenkins-CI/CD-Pipeline (Python, OpenCV, NumPy, scikit-image) und ersetzte damit manuelle Qualitätsprüfungen.

VVDN Technologies

Gurgaon, Indien

  1. Project Intern

    Jun 2019 – Jul 2019

    • Entwickelte die Datenschicht (relationales Schema + CRUD-APIs) für ein Android-Studenteninformationssystem.
    • Optimierte Abfragen mit Indizes und senkte die Ausführungszeit um rund 20 %.

Skills

Ausbildung

M.Sc. Artificial Intelligence

Note: 2,3 (deutsche Skala, Bestnote 1,0)

Abschlussarbeit: Parameter-Efficient Adaptation of Facial Expression Recognition Models for Driver Monitoring.

Relevante Kurse

Image Processing and Computer Vision, Explainable Machine Learning, Learning in Real and Virtual Humans, Virtual Reality and Agents, Cognitive Systems: Behavior Control, Introduction to Computational Neuroscience, Data Warehouse Technologies.

Manipal Institute of Technology (MIT), MAHE · Manipal, Indien

Jul 2016 – Nov 2020

B.Tech Computer & Communication Engineering

Note: 8,09 / 10 (indische Skala, Bestnote 10)Nebenfach · Big Data

Abschlussarbeit: Method of Computing the Video Quality Using Full Reference Algorithms.

Relevante Kurse

Data Structures, Algorithm Analysis and Design, Object Oriented Programming, Operating Systems, Database Systems, Parallel Programming, Data Mining and Predictive Analysis, Machine Learning with Big Data, Graph Analytics for Big Data, Social Network Analytics, Computer Vision.

Abschlusszeugnis

Delhi Public School (DPS) · Lucknow, Indien

Klasse XII (CBSE)

Ergebnis: 93,6 %

Apr 2014 – Mai 2015

Klasse X (CBSE)

Note: 10,0 / 10

Apr 2012 – Mai 2013

Ehrenamt

Sarvajanik Shikshonnayan Sansthan (SSS) · Hardoi, Indien

Mai 2018 – Jun 2018

Ehrenamtlicher Lehrer

Unterrichtete benachteiligte Kinder in Englisch und Computergrundlagen und leitete Workshops über den Wert von Bildung.

Sie haben eine KI/ML-Stelle zu besetzen? Sprechen wir.

Ich suche KI/ML-Engineering-Stellen in Deutschland und der EU. Schreiben Sie mir eine E-Mail oder eine Nachricht auf LinkedIn.