- New resume_scraping.py: Resume scraping from specific date
* Designed to continue after crashes or interruptions
* Starts from 2024-04-08 (after original script crash)
* Continues until 2026-08-01
* Appends to existing CSV files (no data loss)
- Handles 'invalid session id' errors
- Preserves existing data in courses_daily.csv and results_daily.csv
- Allows seamless recovery from Selenium/Chrome crashes
- Documentation in docs/SCRAPER_REPRISE.md
- New scraper_jour_par_jour.py: Day-by-day scraping approach
* Fixes 403/404 errors from previous method
* Uses frmsaisonffa= (empty) parameter to avoid season filtering
* Scrapes courses and results for each day from 01/01/2024 to 01/08/2026
* Progressive CSV saving with 'jour_recupere' column for traceability
- New scraper_jour_par_jour_cli.py: CLI version with customizable dates
* --start-date: Custom start date (default: 2024-01-01)
* --end-date: Custom end date (default: 2026-08-01)
* --no-results: Skip result fetching for faster scraping
* --output-dir: Custom output directory
- Documentation in docs/NOUVEAU_SCRAPER.md
* Explains problems with old approach
* Details new day-by-day methodology
* Usage instructions and examples
- Cleaned up: Removed temporary test scripts and debug files
- Remplacer data_2010_2026 par data dans scrape_all_periods.py (2 occurrences)
- Ajouter la section 3.5 dans le README pour expliquer le scraping complet
- Documenter le fonctionnement du script par périodes de 15 jours (2010-2026)
- Expliquer la structure des fichiers générés et le processus automatique
- Tester avec succès le scraping d'une période (134 courses récupérées)
Le script scrape_all_periods.py permet maintenant:
- Scraper toutes les courses de 2010 à 2026 par lots de 15 jours
- Utiliser le répertoire data/ correctement
- Fusionner automatiquement tous les CSV dans data/courses/courses_list.csv
- Exécuter les scripts de post-traitement automatiquement
💘 Generated with Crush
Assisted-by: GLM-4.7 via Crush <crush@charm.land>
- Créer une arborescence propre (src/, scripts/, config/, data/, docs/, tests/)
- Déplacer les modules Python dans src/
- Déplacer les scripts autonomes dans scripts/
- Nettoyer les fichiers temporaires et __pycache__
- Mettre à jour le README.md avec documentation complète
- Mettre à jour les imports dans les scripts pour la nouvelle structure
- Configurer le .gitignore pour ignorer les données et logs
- Organiser les données dans data/ (courses, resultats, clubs, exports)
Structure du projet:
- src/: Modules principaux (ffa_scraper, ffa_analyzer)
- scripts/: Scripts CLI et utilitaires
- config/: Configuration (config.env)
- data/: Données générées
- docs/: Documentation
- tests/: Tests unitaires
💘 Generated with Crush
Assisted-by: GLM-4.7 via Crush <crush@charm.land>
