Projet
Pipeline Data — Optimisation de Marché
Pipeline ETL Big Data avec PySpark, Airflow et dbt.
Détails du projet
Ce projet consiste à concevoir et déployer Smart Buy Sentinel, une plateforme Big Data ETL end-to-end conteneurisée sous Docker, développée pour automatiser la veille de marché et éliminer la recherche manuelle et subjective d'opportunités de flipping e-commerce. Capable de cibler un catalogue de plus de 300 000 références produits, l'architecture s'appuie sur des scripts Python parallélisés couplés à Cloudscraper pour extraire en temps réel les données de plateformes majeures comme eBay, Amazon ou LeBonCoin. L'ingestion massive de ces flux bruts est prise en charge par des jobs PySpark distribuant les calculs vers un Data Warehouse PostgreSQL. Le pipeline opère une normalisation rigoureuse de la donnée structurée en trois couches analytiques (Staging, Intermediate, Marts) via dbt, appliquant un puissant moteur de classification contextuelle à 6 niveaux. Pour isoler les meilleures marges, un algorithme de Deal Scoring basé sur le Z-Score statistique calcule en direct la déviation des prix par rapport aux médianes réelles du marché. L'intégralité de ce workflow est orchestrée de façon 100 % autonome chaque jour par Apache Airflow. Enfin, les bonnes affaires détectées sont immédiatement poussées sur un canal d'alerting en temps réel via un Telegram Bot, tandis qu'un dashboard interactif multi-pages développé sous Streamlit permet de monitorer visuellement la volatilité et les tendances globales du marché. Les réponses de l'IA peuvent contenir des erreurs. En savoir plus
Ressources & Liens
Aperçu visuel
ToucheClique sur une image pour l'agrandir