Notes d’enginyeria
Construint sistemes de ML i programari en producció.
Notes d’enginyeria de sistemes reals que construeixo: pipelines de machine learning, arquitectura SaaS, tasques en segon pla, ingestió de dades, sistemes de decisió, desplegament i els compromisos que hi ha al darrere.
Explora per tema
Guies enfocades que connecten articles, projectes i lliçons de producció relacionades.
Sistemes de machine learning
Notes pràctiques sobre com construir, validar, explicar i operar sistemes de machine learning més enllà del notebook.
Enginyeria de dades
Ingestió, modelatge, qualitat, processament en segon pla i lliçons operatives de pipelines de dades en producció.
Arquitectura SaaS i producció
Notes d’arquitectura de sistemes SaaS en producció amb FastAPI, PostgreSQL, Celery, Docker i Nginx.
De la probabilitat de ML a una puntuació de prioritat de negoci
Per què Payrithm no ordena simplement les factures per probabilitat de pagament tardà i com combino el risc calibrat de ML amb el valor, la urgència i l'activitat de cobrament.
- Machine Learning
- Product Engineering
- Fintech
Construint un SaaS multi-tenant amb FastAPI i PostgreSQL
Com estructuro l'aïllament per workspace, els permisos, les tasques en segon pla, la facturació i l'estat d'auditoria quan converteixo una aplicació FastAPI en un SaaS multi-tenant.
- FastAPI
- PostgreSQL
- SaaS
Què va fallar en ingerir dades de contractació pública de TED
Els problemes de model de dades i fiabilitat que van donar forma al pipeline d'ingestió TED de TenderWise, des de versions d'avisos i lots fins a camps multilingües, reintents i criteris de qualificació semiestructurats.
- Data Engineering
- ETL
- PostgreSQL
Validació temporal per a la predicció de pagaments tardans
Per què predir pagaments tardans requereix més que una divisió cronològica train/test i com reconstrueixo què es podia saber realment quan s'hauria fet cada predicció de Payrithm.
- Machine Learning
- Time Series
- Scikit-learn
Operar PostgreSQL, Redis i Celery en un VPS de 8 GB
Què m'ha ensenyat executar PostgreSQL, Redis, workers de Celery i diverses aplicacions SaaS en un VPS de 8 GB sobre pressupostos de recursos, concurrència, cues i simplicitat operativa.
- DevOps
- PostgreSQL
- Redis
Construint TenderWise: intel·ligència basada en regles per decidir Bid/No-Bid en licitacions europees
Com vaig dissenyar TenderWise com un SaaS multilingüe de contractació pública que ingereix anuncis TED, aplica matching determinista de perfils, separa la rellevància de la qualificació i converteix l'anàlisi de licitacions en preparació col·laborativa d'ofertes.
- Software Engineering
- FastAPI
- React
Construint un predictor de retard en el pagament de factures amb Python i Scikit-learn
Com vaig dissenyar el pipeline de machine learning de Payrithm per predir pagaments tardans sense fuga de dades, avaluar la qualitat de les probabilitats i convertir les prediccions en prioritats de cobrament accionables.
- Machine Learning
- Scikit-learn
- Python
Feature engineering per a machine learning: tècniques pràctiques
L'ofici sovint ignorat de transformar dades brutes en variables informatives: encoding, escalat, valors absents, interaccions i selecció de variables.
- Feature Engineering
- Machine Learning
- Scikit-learn
Models de difusió explicats: les matemàtiques darrere de Stable Diffusion
Com els models probabilístics de difusió amb denoising aprenen a generar imatges invertint un procés gradual d'addició de soroll, explicat des de zero.
- Generative AI
- Diffusion Models
- Deep Learning
Detecció d'anomalies en sèries temporals amb LSTM
Com construir un pipeline robust de detecció d'anomalies per a dades multivariants de sensors amb autoencoders LSTM en PyTorch, incloent selecció de llindars i desplegament.
- Time Series
- LSTM
- Anomaly Detection
Xarxes neuronals convolucionals: com veuen les màquines
Una explicació des de zero de les CNN: convolució, pooling, camps receptius i les decisions arquitectòniques que van fer funcionar el deep learning per a imatges.
- Computer Vision
- CNN
- Deep Learning
Optimitzadors de gradient descendent: de SGD a Adam
Una guia pràctica dels algoritmes d'optimització més utilitzats en deep learning: què calculen, per què són diferents i quan convé utilitzar-los.
- Deep Learning
- Optimization
- PyTorch
Entendre els Transformers: l'arquitectura darrere del NLP modern
Una immersió en el mecanisme d'autoatenció i en com els Transformers van substituir les xarxes recurrents per convertir-se en la base dels models de llenguatge moderns.
- NLP
- Deep Learning
- Transformers