Comment relever les défis avec les métriques de la communauté

Les deux articles précédents de cette série ont examiné la santé de la communauté open source et les mesures utilisées pour la comprendre. Ils ont montré des exemples de la façon dont les communautés open source ont mesuré leur santé grâce à des métriques. Ce dernier article rassemble ces idées et discute des défis de la mise en œuvre de mesures de santé communautaire pour votre propre communauté.

Défis organisationnels

Tout d’abord, vous devez décider quelles mesures vous souhaitez examiner. Cela nécessite de comprendre vos questions sur l’atteinte de vos objectifs en tant que communauté. Les métriques qui vous concernent sont celles qui peuvent répondre à vos questions. Sinon, vous risquez d’être submergé par la quantité de données disponibles.

Deuxièmement, vous devez anticiper la manière dont vous souhaitez réagir aux métriques. Il s’agit de prendre des décisions en fonction de ce que vos données vous montrent. Par exemple, cela inclut la gestion de l’engagement avec les autres membres de la communauté, comme indiqué dans les articles précédents.

Troisièmement, vous devez différencier les bons et les mauvais résultats dans vos mesures. Un piège courant est de comparer votre communauté à d’autres communautés, mais la vérité est que chaque communauté fonctionne et se comporte différemment. Vous ne pouvez même pas nécessairement comparer les métriques au sein d’un même projet. Par exemple, vous ne pourrez peut-être pas comparer le nombre de commits dans les référentiels d’un même projet, car l’un peut écraser des commits tandis que l’autre peut avoir des centaines de micro-commits. Vous pouvez établir une base de référence de l’endroit où vous êtes et avez été, puis voir si vous vous êtes amélioré au fil du temps.

Intimité

Le dernier défi organisationnel dont je veux discuter concerne les informations personnelles identifiables (PII). L’une des valeurs fondamentales et des points forts de l’open source est la transparence du fonctionnement des contributeurs. Cela signifie que tout le monde dispose d’informations sur les personnes engagées, y compris leur nom, leur adresse e-mail et éventuellement d’autres informations. Il existe des considérations éthiques quant à l’utilisation de ces données.

Ces dernières années, des réglementations telles que le Règlement général européen sur la protection des données (RGPD) ont défini des exigences légales sur ce que vous pouvez et ne pouvez pas faire avec les données PII. La question clé est de savoir si vous devez demander l’autorisation de chacun pour traiter ses données. Il s’agit d’une stratégie opt-in. D’autre part, vous pouvez choisir d’utiliser les données et de proposer un processus de désinscription.

Cette distinction est importante. Par exemple, supposons que vous fournissiez des métriques et des tableaux de bord en tant que service à votre communauté. Dans un effort pour améliorer la communauté, vous pouvez faire valoir que les informations (déjà accessibles au public) ont une plus grande valeur pour la communauté une fois qu’elles sont traitées. Dans tous les cas, indiquez clairement quelles données vous utilisez et comment vous les utilisez.

Défis techniques

Où les données de votre communauté sont-elles collectées ? Pour répondre à cette question, tenez compte de tous les lieux et plates-formes dans lesquels votre communauté s’engage. Cela inclut le référentiel de logiciels, qu’il s’agisse de GitLab, GitHub, Bitbucket, Codeberg, ou simplement d’une liste de diffusion et d’un serveur Git. Il peut également inclure des outils de suivi des problèmes, un système de flux de travail de demande de changement comme Gerrit ou un wiki.

Mais ne vous arrêtez pas aux interactions de développement logiciel. Où d’autre la communauté existe-t-elle ? Il peut s’agir de forums, de listes de diffusion, de canaux de messagerie instantanée, de sites de questions-réponses ou de rencontres. Il y a beaucoup d’activités dans les communautés open source qui n’impliquent pas strictement le travail de développement de logiciels mais que vous souhaitez reconnaître dans vos métriques. Ces activités non codantes peuvent être difficiles à suivre automatiquement, mais vous devez y prêter une attention particulière ou risquer d’ignorer des membres importants de la communauté.

Avec toutes ces considérations prises en compte, il est temps d’agir.

1. Récupérer les données

Une fois que vous avez identifié les sources de données, vous devez obtenir les données et les rendre utiles. La collecte de données brutes est presque toujours l’étape la plus simple. Vous avez des journaux et des API pour cela. Une fois configuré, le principal défi (espérons-le occasionnel) est lorsque les API et les formats de journal changent.

2. Enrichissement des données

Une fois que vous avez les données, vous avez probablement besoin de les enrichir.

Tout d’abord, vous devez unifier les données. Cette étape comprend la conversion des données dans un format standard, ce qui n’est pas une mince affaire. Pensez à toutes les différentes façons d’exprimer une date simple. L’ordre de l’année, du mois et du jour varie selon les régions ; les dates peuvent utiliser des points, des barres obliques ou d’autres symboles, ou elles peuvent être exprimées à l’époque Unix. Et ce n’est qu’un horodatage !

Quel que soit le format de vos données brutes, rendez-les cohérents pour l’analyse. Vous souhaitez également déterminer le niveau de détail. Par exemple, lorsque vous consultez un journal Git, vous pouvez uniquement vous intéresser au moment où un commit a été effectué et par qui, ce qui est une information de haut niveau. Là encore, peut-être voulez-vous également savoir quels fichiers ont été touchés ou combien de lignes ont été ajoutées et supprimées. C’est une vue détaillée.

Vous pouvez également vouloir suivre les métadonnées sur les différentes contributions. Cela peut impliquer l’ajout d’informations contextuelles sur la manière dont les données ont été collectées ou les circonstances dans lesquelles elles ont été créées. Par exemple, vous pouvez taguer les contributions faites lors de l’événement Hacktoberfest.

Enfin, normalisez les données dans un format adapté à l’analyse et à la visualisation.

Lorsque vous vous souciez de savoir qui est actif dans votre communauté (et éventuellement pour quelles organisations ils travaillent), vous devez accorder une attention particulière à l’identité. Cela peut être un défi car les contributeurs peuvent utiliser différents noms d’utilisateur et adresses e-mail sur les différentes plateformes. Vous avez besoin d’un mécanisme pour suivre un individu à l’aide de plusieurs identifiants en ligne, tels qu’un outil de suivi des problèmes, une liste de diffusion et un chat.

Vous pouvez également pré-traiter les données et calculer des métriques lors de la phase d’enrichissement des données. Par exemple, les données brutes d’origine peuvent avoir un horodatage indiquant quand un problème a été ouvert et fermé, mais vous voulez vraiment connaître le nombre de jours pendant lesquels le problème a été ouvert. Vous pouvez également avoir des critères de catégorisation pour les contributions, tels que l’identification de la contribution provenant d’un contributeur principal, qui a beaucoup fait dans un projet, combien de contributeurs “volants” se présentent puis partent, etc. Faire ces calculs pendant la phase d’enrichissement facilite la visualisation et l’analyse des données et nécessite moins de surcharge lors des étapes ultérieures.

3. Rendre les données utiles

Maintenant que vos données sont prêtes, vous devez décider comment les rendre utiles. Cela implique de déterminer qui est l’utilisateur de l’information et ce qu’il veut en faire. Cela aide à déterminer comment présenter et visualiser les données. Une chose à retenir est que les données peuvent être intéressantes mais sans impact en elles-mêmes. La meilleure façon d’utiliser les données est d’en faire une partie d’une histoire sur votre communauté.

Vous pouvez utiliser les données de deux manières pour raconter l’histoire de votre communauté :

• Ayez une histoire en tête, puis vérifiez que les données confirment la façon dont vous percevez la communauté. Vous pouvez utiliser les données comme preuve pour corroborer l’histoire. Bien sûr, vous devriez chercher des preuves que votre histoire est Incorrect et essayez de la réfuter, de la même manière que vous formulez une hypothèse scientifique.
• Utilisez les données pour trouver des anomalies et des développements intéressants que vous n’auriez pas observés autrement. Les résultats peuvent vous aider à construire une histoire basée sur les données sur la communauté en offrant une nouvelle perspective qui a peut-être dépassé l’observation occasionnelle.

Résoudre les problèmes avec l’open source

Avant que vous n’abordiez les défis techniques, je veux vous donner la bonne nouvelle dans laquelle vous vous trouvez technologie open source, et d’autres ont déjà résolu bon nombre des défis auxquels vous êtes confrontés. Plusieurs solutions open source s’offrent à vous :

• CHAOSS GrimoireLab : La solution standard de l’industrie et prête pour l’entreprise pour l’analyse de la santé communautaire.
• CHAOSS Augur : un projet de recherche avec un modèle de données bien défini et des fonctionnalités de pointe pour l’analyse de la santé communautaire.
• Apache Kibble : la solution d’Apache Software Foundations pour l’analyse de la santé communautaire.
• CNCF Dev Analytics : Statistiques GitHub de la CNCF pour l’analyse de la santé communautaire.

Pour surmonter les défis organisationnels, appuyez-vous sur le projet CHAOSS, une communauté de pratique autour de la santé communautaire.

La chose importante à retenir est que vous et votre communauté n’êtes pas seuls. Vous faites partie d’une communauté plus large qui ne cesse de croître.

J’ai couvert beaucoup de choses dans les trois derniers articles. Voici ce que j’espère que vous retiendrez :

• Utilisez des métriques pour identifier où votre communauté a besoin d’aide.
• Vérifiez si des actions spécifiques entraînent des changements.
• Suivez les métriques tôt et établissez une base de référence.
• Rassemblez d’abord les métriques simples, puis perfectionnez-les plus tard.
• Présentez les métriques en contexte. Racontez une histoire sur votre communauté.
• Soyez transparent avec votre communauté sur les métriques. Fournir un tableau de bord public et publier des rapports.