1 - Modélisation par MDP

Pour améliorer les performances de transmission des nœuds dans un réseau LoRaWAN, nous proposons une méthode qui permet de choisir différents SFs en fonction de probabilité qui seront modifiés à chaque tentative de transmission, selon que celle-ci soit un échec ou un acquittement.

L’un des défis est de réduire la durée d’apprentissage nécessaire avant d’obtenir une table de probabilité pour chaque SF qui obtiendrais des résultats satisfaisants dans les simulations, c’est-à-dire avoir lors de la création de la simulation une prédiction des SFs à utiliser pour chacun des nœuds, ce qui permettrait une initialisation du tableau de probabilité qui théoriquement réduirait le temps d’apprentissage nécessaire.

Pour cela nous avons mis en place un processus de décision markovien pour représenter le processus de transmission avec les tentatives de retransmissions en cas d’échec ce processus aura des actions représentant le choix du SF.

Le système de récompense et de pénalité dépendra du SF utilisé lors de la transmission ainsi que, pour le cas des pénalités, du nombre de fois que le SF à été utilisé.

Une fois le MDP mis en place il est possible de le résoudre en utilisant l’algorithme d’apprentissage d’itération par valeur qui nous donnera pour chaque état l’action à prendre pour obtenir la meilleure valeur théorique sur le long terme, il nous est donc possible de récupérer les valeurs des SFs qui sont choisis lors de l’état initial et lors des états d’attente suite aux échecs pour avoir une prédiction des SFs utilisés lors des huit tentatives d’une transmission, une fois la prédiction récupérer pour chacun des nœuds il nous est possible d’utiliser les valeurs pour attribuer une probabilité à chacun des SFs, probabilité qui dépendra de la prédiction, lors de l’initialisation de l’algorithme.