Analyse par apprentissage automatique d’un portefeuille diversifié neutre au marché
Traduit de l’anglais. Le texte anglais fait foi. Lire en anglais
Le portefeuille
Composition du portefeuille :
- 149 actifs au total, regroupables en 4 secteurs
- Répartition par secteur :
- Produits agricoles et bétail : 53
- Métaux : 23
- Pétrole : 60
- Électricité et gaz : 13
- Chaque actif dispose de deux jeux de données (1 pour l’achat, 1 pour la vente)
- Classe de signal : déséquilibrée (< 0.30) ou équilibrée (>= 0.30)
- Dans tous les secteurs, la plupart des jeux de données sont déséquilibrés.
- Entre les jeux de données de signaux d’achat et de vente également, la distribution du déséquilibre des signaux est homogène
- Dans tous les secteurs, la plupart des jeux de données sont déséquilibrés.
Démarche d’analyse
- Pour chaque jeu de données d’actif, nous avons modélisé 6 algorithmes avec réglage des hyperparamètres, en retenant 0.5 comme seuil par défaut des prédictions positives.
- Types de modèles :
- Extreme Gradient Boosting (XGBoost)
- LightGBM (LGBM)
- CatBoost (CAT)
- Forêts aléatoires (RF, Random Forests)
- Extra Trees (ET)
- Arbre de décision (DT, Decision Tree)
- Métriques :
- Minimisation des faux positifs (FP)
- Minimisation des faux négatifs (FN)
- Nous classons chaque modèle selon une moyenne pondérée
- La minimisation des faux positifs a un poids de 2 unités dans le classement
- La minimisation des faux négatifs a un poids de 1 unité dans le classement
- Chaque jeu de données ayant sa propre distribution de signaux binaires, nous établissons le classement de tous les modèles pour chaque jeu de données à l’aide des deux métriques.
- Pour chaque combinaison secteur-type de signal, nous calculons le rang pondéré moyen sur les jeux de données concernés, puis arrêtons le classement final des modèles.
Observations côté long
Observations générales :
- CAT figure parmi les 3 premiers du classement dans les 4 secteurs
- Produits agricoles et bétail (rang 2)
- Métaux (rang 1)
- Pétrole (rang 3)
- Électricité et gaz (rang 1)
- RF et LGBM figurent parmi les 3 premiers dans 3 secteurs
- RF :
- Produits agricoles et bétail (rang 1)
- Pétrole (rang 2)
- Électricité et gaz (rang 2)
- LGBM
- Produits agricoles et bétail (rang 3)
- Métaux (rang 3)
- Électricité et gaz (rang 3)
- RF :
- XGB et DT tendent à être plus agressifs dans leurs prédictions et minimisent mieux les FN. Toutefois, en raison du poids plus élevé accordé à la minimisation des FP, leur rang pondéré global est moins bon.
- Voir les résultats détaillés dans la diapositive suivante
| Secteur | Modèle | Rang final | Rang moyen pondéré |
|---|---|---|---|
| Produits agricoles et bétail | RF | 1 | 2.9057 |
| CAT | 2 | 3.2925 | |
| LGBM | 3 | 3.5031 | |
| ET | 4 | 3.6101 | |
| XGB | 5 | 3.6258 | |
| DT | 6 | 4.0629 | |
| Métaux | CAT | 1 | 3.0797 |
| ET | 2 | 3.0870 | |
| LGBM | 3 | 3.4855 | |
| XGB | 4 | 3.6377 | |
| RF | 5 | 3.6957 | |
| DT | 6 | 4.0145 | |
| Pétrole | ET | 1 | 3.3079 |
| RF | 2 | 3.3139 | |
| CAT | 3 | 3.3194 | |
| LGBM | 4 | 3.5667 | |
| XGB | 5 | 3.6750 | |
| DT | 6 | 3.7722 | |
| Électricité et gaz | CAT | 1 | 2.7949 |
| RF | 2 | 3.0513 | |
| LGBM | 3 | 3.5000 | |
| ET | 4 | 3.7692 | |
| XGB | 5 | 3.8333 | |
| DT | 6 | 4.0513 |
Allocations longues (résultats détaillés du classement)
| Secteur | Modèle | Rang final | Rang moyen pondéré | Rang FP | Poids du rang FP | Rang FP pondéré | Rang FN | Poids du rang FN | Rang FN pondéré |
|---|---|---|---|---|---|---|---|---|---|
| Produits agricoles et bétail | RF | 1 | 2.9057 | 1.811320755 | 2 | 3.6226 | 5.094339623 | 1 | 5.0943 |
| CAT | 2 | 3.2925 | 2.537735849 | 2 | 5.0755 | 4.801886792 | 1 | 4.8019 | |
| LGBM | 3 | 3.5031 | 3.716981132 | 2 | 7.4340 | 3.075471698 | 1 | 3.0755 | |
| ET | 4 | 3.6101 | 3.773584906 | 2 | 7.5472 | 3.283018868 | 1 | 3.2830 | |
| XGB | 5 | 3.6258 | 3.933962264 | 2 | 7.8679 | 3.009433962 | 1 | 3.0094 | |
| DT | 6 | 4.0629 | 5.226415094 | 2 | 10.4528 | 1.735849057 | 1 | 1.7358 | |
| Métaux | CAT | 1 | 3.0797 | 2.652173913 | 2 | 5.3043 | 3.934782609 | 1 | 3.9348 |
| ET | 2 | 3.0870 | 2.173913043 | 2 | 4.3478 | 4.913043478 | 1 | 4.9130 | |
| LGBM | 3 | 3.4855 | 3.826086957 | 2 | 7.6522 | 2.804347826 | 1 | 2.8043 | |
| XGB | 4 | 3.6377 | 3.956521739 | 2 | 7.9130 | 3 | 1 | 3.0000 | |
| RF | 5 | 3.6957 | 3.130434783 | 2 | 6.2609 | 4.826086957 | 1 | 4.8261 | |
| DT | 6 | 4.0145 | 5.260869565 | 2 | 10.5217 | 1.52173913 | 1 | 1.5217 | |
| Pétrole | ET | 1 | 3.3079 | 2.491525424 | 2 | 4.9831 | 4.940677966 | 1 | 4.9407 |
| RF | 2 | 3.3139 | 2.908333333 | 2 | 5.8167 | 4.125 | 1 | 4.1250 | |
| CAT | 3 | 3.3194 | 2.916666667 | 2 | 5.8333 | 4.125 | 1 | 4.1250 | |
| LGBM | 4 | 3.5667 | 3.858333333 | 2 | 7.7167 | 2.983333333 | 1 | 2.9833 | |
| XGB | 5 | 3.6750 | 4.316666667 | 2 | 8.6333 | 2.391666667 | 1 | 2.3917 | |
| DT | 6 | 3.7722 | 4.45 | 2 | 8.9000 | 2.416666667 | 1 | 2.4167 | |
| Électricité et gaz | CAT | 1 | 2.7949 | 1.538461538 | 2 | 3.0769 | 5.307692308 | 1 | 5.3077 |
| RF | 2 | 3.0513 | 2.153846154 | 2 | 4.3077 | 4.846153846 | 1 | 4.8462 | |
| LGBM | 3 | 3.5000 | 3.461538462 | 2 | 6.9231 | 3.576923077 | 1 | 3.5769 | |
| ET | 4 | 3.7692 | 4.384615385 | 2 | 8.7692 | 2.538461538 | 1 | 2.5385 | |
| XGB | 5 | 3.8333 | 4.230769231 | 2 | 8.4615 | 3.038461538 | 1 | 3.0385 | |
| DT | 6 | 4.0513 | 5.230769231 | 2 | 10.4615 | 1.692307692 | 1 | 1.6923 |
Observations côté short
Observations générales :
- RF et CAT figurent parmi les 3 premiers du classement dans les 4 secteurs
- RF :
- Produits agricoles et bétail (rang 1)
- Métaux (rang 2)
- Pétrole (rang 2)
- Électricité et gaz (rang 2)
- CAT
- Produits agricoles et bétail (rang 3)
- Métaux (rang 3)
- Pétrole (rang 3)
- Électricité et gaz (rang 3)
- RF :
- ET figure parmi les 3 premiers dans 3 secteurs. Nous avons toutefois constaté qu’ET tend à être relativement prudent dans la prédiction de signaux positifs. Cela rejoint notre priorité, la minimisation des faux positifs, mais signifie aussi que ses signaux positifs sont rares, voire insuffisants.
- Produits agricoles et bétail (rang 3)
- Métaux (rang 1)
- Pétrole (rang 1)
- LGBM se classe systématiquement quatrième (juste en dehors des 3 premiers) dans 3 secteurs, et n’obtient le rang 3 qu’en électricité et gaz.
- XGB et DT tendent à être plus agressifs dans leurs prédictions et minimisent mieux les FN. Toutefois, en raison du poids plus élevé accordé à la minimisation des FP, leur rang pondéré global est moins bon.
- Voir les résultats détaillés dans la diapositive suivante
| Secteur | Modèle | Rang final | Rang moyen pondéré |
|---|---|---|---|
| Produits agricoles et bétail | RF | 1 | 2.9937 |
| CAT | 2 | 3.1698 | |
| ET | 3 | 3.3805 | |
| LGBM | 4 | 3.5881 | |
| XGB | 5 | 3.7170 | |
| DT | 6 | 4.1509 | |
| Métaux | ET | 1 | 2.6667 |
| RF | 2 | 2.9855 | |
| CAT | 3 | 3.3478 | |
| LGBM | 4 | 3.6812 | |
| XGB | 5 | 4.0000 | |
| DT | 6 | 4.3188 | |
| Pétrole | ET | 1 | 2.6667 |
| RF | 2 | 2.9889 | |
| CAT | 3 | 3.3611 | |
| LGBM | 4 | 3.6861 | |
| XGB | 5 | 4.0750 | |
| DT | 6 | 4.1667 | |
| Électricité et gaz | RF | 1 | 2.6410 |
| CAT | 2 | 3.2821 | |
| LGBM | 3 | 3.4615 | |
| XGB | 4 | 3.5641 | |
| ET | 5 | 3.9487 | |
| DT | 6 | 4.1026 |
Allocations courtes (résultats détaillés du classement)
| Secteur | Modèle | Rang final | Rang moyen pondéré | Rang FP | Poids du rang FP | Rang FP pondéré | Rang FN | Poids du rang FN | Rang FN pondéré |
|---|---|---|---|---|---|---|---|---|---|
| Produits agricoles et bétail | RF | 1 | 2.9937 | 1.9434 | 2 | 3.8868 | 5.0943 | 1 | 5.0943 |
| CAT | 2 | 3.1698 | 2.4623 | 2 | 4.9245 | 4.5849 | 1 | 4.5849 | |
| ET | 3 | 3.3805 | 3.0472 | 2 | 6.0943 | 4.0472 | 1 | 4.0472 | |
| LGBM | 4 | 3.5881 | 3.9057 | 2 | 7.8113 | 2.9528 | 1 | 2.9528 | |
| XGB | 5 | 3.7170 | 4.1321 | 2 | 8.2642 | 2.8868 | 1 | 2.8868 | |
| DT | 6 | 4.1509 | 5.5094 | 2 | 11.0189 | 1.4340 | 1 | 1.4340 | |
| Métaux | ET | 1 | 2.6667 | 1.0000 | 2 | 2.0000 | 6.0000 | 1 | 6.0000 |
| RF | 2 | 2.9855 | 2.0000 | 2 | 4.0000 | 4.9565 | 1 | 4.9565 | |
| CAT | 3 | 3.3478 | 3.1304 | 2 | 6.2609 | 3.7826 | 1 | 3.7826 | |
| LGBM | 4 | 3.6812 | 3.9130 | 2 | 7.8261 | 3.2174 | 1 | 3.2174 | |
| XGB | 5 | 4.0000 | 5.0000 | 2 | 10.0000 | 2.0000 | 1 | 2.0000 | |
| DT | 6 | 4.3188 | 5.9565 | 2 | 11.9130 | 1.0435 | 1 | 1.0435 | |
| Pétrole | ET | 1 | 2.6667 | 1.0000 | 2 | 2.0000 | 6.0000 | 1 | 6.0000 |
| RF | 2 | 2.9889 | 2.0000 | 2 | 4.0000 | 4.9667 | 1 | 4.9667 | |
| CAT | 3 | 3.3611 | 3.1000 | 2 | 6.2000 | 3.8833 | 1 | 3.8833 | |
| LGBM | 4 | 3.6861 | 4.1833 | 2 | 8.3667 | 2.6917 | 1 | 2.6917 | |
| XGB | 5 | 4.0750 | 5.0833 | 2 | 10.1667 | 2.0583 | 1 | 2.0583 | |
| DT | 6 | 4.1667 | 5.5500 | 2 | 11.1000 | 1.4000 | 1 | 1.4000 | |
| Électricité et gaz | RF | 1 | 2.6410 | 1.3077 | 2 | 2.61538 | 5.30769 | 1 | 5.3077 |
| CAT | 2 | 3.2821 | 2.3077 | 2 | 4.61538 | 5.23077 | 1 | 5.2308 | |
| LGBM | 3 | 3.4615 | 3.5385 | 2 | 7.07692 | 3.30769 | 1 | 3.3077 | |
| XGB | 4 | 3.5641 | 3.7692 | 2 | 7.53846 | 3.15385 | 1 | 3.1538 | |
| ET | 5 | 3.9487 | 4.8462 | 2 | 9.69231 | 2.15385 | 1 | 2.1538 | |
| DT | 6 | 4.1026 | 5.2308 | 2 | 10.4615 | 1.84615 | 1 | 1.8462 |
Conclusions
- Notre classement repose sur deux métriques principales, avec un classement pondéré
- Minimisation des faux positifs (2 unités de rang)
- Minimisation des faux négatifs (1 unité de rang)
- D’après la procédure de classement, aucun algorithme ne surpasse, en règle générale, les autres de manière constante.
- CAT, RF et LGBM tendent toutefois à obtenir de meilleurs résultats que les autres
- XGBoost et DT tendent à être plus agressifs dans leurs prédictions. Cela tend à minimiser les FN, mais rend plus probable une hausse des FP.
- ET s’est révélé trop « prudent » par nature. S’il peut devancer les autres modèles en matière de minimisation des FP, il ne produit pas suffisamment de signaux positifs.