Napperon - Évaluation des programmes urbains pour les peuples autochtones
Aperçu :
- Le programme appuie les activités qui permettent aux organisations autochtones de servir leur clientèle et d'offrir aux Autochtones vivant en milieu urbain des programmes et des services efficaces et adaptés à la culture ainsi que du soutien urgent en matière de logement et d'infrastructures aux Autochtones des régions urbaines, rurales et nordiques.
- Cinq volets ont été évalués : capacité organisationnelle; programmes et services; coalitions; recherche et innovation; infrastructure (ajouté en décembre 2020)
Période évaluée :
- 2017-2018 à 2021-2022
Gestion financière :
- 199,6 millions $ par année en moyenne (y compris le financement lié à la COVID‑19)
Domaines d'évaluation :
- pertinence, efficacité et efficience, examinés sous la lorgnette d'Éclairer la voie, un cadre d'évaluation hybride fondé sur les perspectives autochtones
Cadre d'évaluation :
Éclairer la voie : approche hybride qui respecte à la fois la Politique sur les résultats du Secrétariat du Conseil du Trésor du Canada et la recherche exploratoire menée par Johnston Research inc. en partenariat avec SAC, qui met au premier plan les visions du monde autochtones et le mieux-être communautaire. L'approche hybride se concentre sur cinq piliers répartis dans quatre périodes (passé, présent, transition et futur) :
- Esprit : Qualités qui forment le caractère définitif d'une personne, d'une nation ou d'un groupe
- Relations : Liens interpersonnels et spirituels établis pendant le programme et le processus d'évaluation
- Processus : Manière dont les responsables du programme et de l'évaluation gèrent les composantes du programme et appliquent les méthodologies
- Gouvernance : Manière dont les processus correspondent aux cadres législatifs et aux domaines prioritaires du gouvernement du Canada
- Résultats : Réponse aux besoins et aux priorités des peuples autochtones et du gouvernement du Canada
Méthodologie :
- Collecte et analyse de données et mobilisation, selon l'approche de la « trousse d'outils méthodologiques ». S'appuyant sur les principes du cadre Éclairer la voie, la trousse comprend des outils autochtones et occidentaux qui peuvent être appliqués avec souplesse selon le contexte. Les outils ont évolué au fil de l'évaluation afin de refléter fidèlement les conseils et commentaires des organisations partenaires et du comité consultatif technique de 12 membres représentant divers partenaires autochtones de partout au Canada. Parmi les outils utilisés : entrevues, cercles de partage, réflexions artistiques (fondées sur des symboles), repas communautaires, cérémonies et visites de collectivités.
- Les données probantes utilisées ont été tirées de : 2 sondages, 55 entrevues auprès de personnes clés, 7 cercles de partage, 2 groupes de discussion, 4 repas communautaires, 1 activité de réflexion artistique (fondée sur les symboles) et la visite de 6 collectivités. Les collaborateurs comptent des représentants du programme de SAC, des membres de la direction et du personnel d'organisations autochtones recevant des fonds des PUPA, des bénéficiaires de programmes financés par les PUPA et, pour relever les lacunes dans les services, des organisations et des personnes autochtones en milieu urbain qui n'ont pas reçu de fonds des PUPA.
Analyse des données :
- Les méthodes autochtones vont de la collecte à l'interprétation et à la présentation de données. Les approches autochtones de l'analyse des données privilégient souvent l'importance narrative et la réflexion collaborative, plutôt que la codification et la quantification, pour déterminer la force et l'importance des résultats.
- Le cadre d'évaluation Éclairer la voie définit la prise de décisions par consensus comme un moyen de tirer les principales constatations. Conformément à cette approche, l'équipe et les entrepreneurs chargés de l'évaluation ont organisé trois séances de réflexion de trois heures pour relever les thèmes prévalents et trouver un consensus quant aux principales constatations.
- Après cette première étape, une autre séance de réflexion a été organisée avec le comité consultatif technique, qui a fourni des commentaires pour faire la triangulation des résultats et trouver un consensus entre l'équipe d'évaluation de SAC, les entrepreneurs et les partenaires autochtones.
- Les principales constatations de l'évaluation sont celles qui, par consensus, ont été jugées les plus importantes et qui ont mené à la formulation de recommandations et à la définition des prochaines étapes.
Constatations principales :
- Esprit : La souplesse des PUPA permet aux fournisseurs de services autochtones d'intégrer des valeurs et des modes de connaissance autochtones dans leur travail, ce qui constitue un atout important. Toutefois, la persistance des valeurs coloniales signale l'urgence de placer les voix et les savoirs autochtones au cœur de tous les aspects du programme. Le plus grand défi réside dans l'instabilité et la fragmentation du financement, qui amènent les bénéficiaires à se concentrer sur la survie à court terme plutôt que sur la planification à long terme et l'innovation. Il est impératif d'établir une stratégie nationale cohérente pour les Autochtones en milieu urbain afin de favoriser des changements systémiques et d'assurer une assise stable pour l'avenir.
- Relations : L'efficacité des PUPA est étroitement liée à la qualité des relations entre SAC, les bénéficiaires du financement et les organisations autochtones. Même s'il y a eu des progrès dans l'élaboration conjointe des résultats et des indicateurs, les partenaires autochtones ne sont toujours pas suffisamment engagés dans la conception et l'administration du programme. Le dédoublement des efforts entre les ministères fédéraux complique également la collaboration. Il est essentiel d'établir des relations réciproques et des mécanismes de rétroaction efficaces pour promouvoir les efforts de réconciliation et s'assurer que les PUPA répondent aux besoins des Autochtones en milieu urbain.
- Processus : La qualité et l'accessibilité des données sont des préoccupations importantes qui nuisent à la transparence et à l'efficacité du programme. Même si les PUPA sont conçus pour répondre aux besoins des Autochtones en milieu urbain, certains aspects de leur modèle de financement, en particulier le financement fondé sur les distinctions, ne concordent pas tout à fait avec la réalité opérationnelle. Les définitions et l'approche des programmes ne tiennent pas vraiment compte du genre et de la diversité, ce qui fait en sorte qu'ils n'atteignent pas certains groupes marginalisés. De plus, l'insatisfaction à l'égard du cycle de production de rapports, exacerbée par les retards dans le versement des fonds et les capacités limitées, indique que le processus de production des rapports doit être simplifié et adapté à la culture.
- Gouvernance : Les structures de gouvernance des PUPA, dont les volets de financement et les modalités générales, concordent globalement avec les priorités des Autochtones en milieu urbain, mais pourraient mieux refléter ces priorités. Le modèle logique du programme ne reflète pas entièrement les conceptions autochtones de la réussite, et il y a une forte demande pour des évaluations menées par des Autochtones. Même si le programme est conforme aux priorités fédérales et au mandat de SAC, il est essentiel qu'il respecte aussi les valeurs et les préoccupations des Autochtones en milieu urbain en vue d'améliorer son efficacité et sa pertinence.
- Résultats : Les résultats du programme sont difficiles à mesurer en raison du manque de données et de l'absence de cibles, ce qui empêche de prendre des décisions fondées sur des données probantes. Malgré cette difficulté, des rapports anecdotiques suggèrent que le financement des PUPA a un effet positif sur le bien-être des Autochtones en milieu urbain. Néanmoins, ces réussites ne sont pas pleinement représentées ou comprises, puisqu'il n'y a pas de collecte et d'analyse systématiques des données.
- Enjeux transversaux : L'évaluation a démontré que la COVID-19 et les changements climatiques posent des défis importants pour les Autochtones en milieu urbain. Les fonds d'aide liés à la COVID-19 ont temporairement renforcé la résilience, ce qui montre que des organisations bien financées peuvent répondre aux besoins des collectivités avec l'aide du gouvernement du Canada, mais, vu la réduction du financement après la pandémie, il est difficile de maintenir les mêmes efforts. Les changements climatiques pourraient accélérer la migration des Autochtones vers les centres urbains, ce qui intensifierait la pression sur les fournisseurs de services et couperait les membres de groupes marginalisés du soutien familial qu'ils ont dans leur communauté d'origine. Il est donc nécessaire d'assurer un financement continu et de prévoir des stratégies d'adaptation pour faire face à ces défis.
Recommandations et réponse de la direction et plan d'action (RDPA)Note de bas de page 1
Recommandation 1 :
Il est recommandé que SAC prenne des mesures concrètes pour s'assurer que le programme reflète la diversité et l'évolution des priorités, des voix et des modes de connaissance des Autochtones en milieu urbain. Plus précisément, il est recommandé que SAC prenne les mesures suivantes :
- Travailler avec les partenaires autochtones pour revoir le modèle logique et les indicateurs de rendement du programme.
- Mettre sur pied un comité ou un autre mécanisme permanent qui sera représentatif des diverses populations autochtones et qui fournira des conseils quant à l'orientation stratégique du programme.
Action 1 : L'équipe du programme s'emploie déjà à mettre en place un cadre de rendement remanié en collaboration avec des Autochtones, et dirigé par eux, qui présente de nouveaux résultats et indicateurs établis conjointement avec des partenaires autochtones.
Action 2 : Forte du succès de ce processus, l'équipe du programme mettra sur pied un comité d'orientation avec lequel elle travaillera à créer un organe permanent chargé de fournir une orientation stratégique lorsqu'elle souhaitera mettre à jour les autorisations du programme.
Recommandation 2 :
Il est recommandé que SAC privilégie la collecte de données significatives et fiables au sujet des Autochtones en milieu urbain afin d'étayer la prise de décisions relatives à la pertinence des PUPA et de bien comprendre leur incidence. Plus précisément, il est recommandé que les responsables du programme consultent le dirigeant principal des données (DPD), le dirigeant principal des finances, des résultats et de l'exécution et/ou le dirigeant principal de l'information de SAC pour :
- Produire des estimations de la demande actuelle et future à l'égard du programme en vue d'étayer et de justifier les demandes de ressources. Dans la mesure du possible, ces estimations devraient tenir compte de l'évolution et du croisement des facteurs sociodémographiques ainsi que des facteurs d'ordre général tels que les conséquences possibles des changements climatiques sur la migration des Autochtones vers les milieux urbains.
- Définir et mettre en œuvre une approche souple de la production de rapports fondée sur les priorités et les modes de connaissance des Autochtones en milieu urbain qui prévoit des mécanismes pour informer les bénéficiaires du rendement des PUPA.
- Cerner les lacunes dans la quantité et la qualité des données qui empêchent de comprendre les besoins des Autochtones en milieu urbain et l'incidence des PUPA, et établir une stratégie de données pour combler ces lacunes, notamment en participant activement aux efforts de planification des données menés par Statistique Canada et d'autres.
Action 1 : L'équipe du programme travaillera avec le DPD pour proposer des options permettant d'estimer la demande actuelle et future à l'égard du programme.
Action 2 : Conjointement avec le DPD et les experts en gestion des données et du rendement, l'équipe du programme établira un plan pour optimiser l'utilisation des données existantes et cerner les lacunes.
Action 3 : L'équipe du programme établira une stratégie de données pour expliquer comment les activités de collecte de données seront améliorées et comment les lacunes seront comblées, et fournira une rétroaction à Statistique Canada sur les principales activités de collecte de données.
Recommandation 3 :
Il est recommandé que SAC prenne des mesures concrètes pour stabiliser et pérenniser le financement, l'assouplir et le rendre plus facilement accessible afin que les bénéficiaires puissent en tirer le meilleur parti. Plus précisément, il est recommandé que SAC prenne les mesures suivantes :
- Avec le Groupe de travail interministériel des directeurs généraux des PUPA, élaborer et mettre en œuvre un plan d'action concret, et en rendre compte, afin de réaliser le mandat du groupe de « cerner les occasions stratégiques de tirer parti du financement » en vue de soutenir les Autochtones en milieu urbain.
- Former un groupe d'experts comprenant des bénéficiaires du programme afin d'examiner les modalités de celui-ci et de formuler des recommandations pour éliminer les complexités et les rigidités inutiles.
- Simplifier le processus de demande de tous les volets de financement des PUPA, conjointement avec les partenaires et organisations autochtones, et examiner la possibilité de créer un processus de demande unique avec d'autres bailleurs de fonds afin d'éviter que les bénéficiaires aient à utiliser les ressources limitées des PUPA pour trouver d'autres sources de financement éparses.
Action 1 : Avec le Groupe de travail interministériel des directeurs généraux des PUPA, l'équipe du programme s'emploiera à élaborer et à mettre en œuvre un plan d'action concret, et à en rendre compte, afin de cerner les possibilités stratégiques de tirer profit du financement.
Action 2 : L'équipe mettra sur pied un comité d'orientation chargé d'évaluer les modalités du programme, d'éliminer les rigidités inutiles et d'étudier les possibilités de simplification au sein des PUPA et au-delà
Action 3 : Building on the success of this process, the program will establish a guidance committee and work with the guidance committee to develop a permanent body to provide strategic direction when the program seeks updated program authorities.
Diffusion et traduction en langues autochtones
Certaines parties des résultats de l'évaluation et du cadre Éclairer la voie ont été traduites en sept langues autochtones : cri des plaines, michif, inuktitut, mi'kmaq, denesuline, ojibwé et innuinnaqtun. Après la publication du rapport d'évaluation final des PUPA, un rapport communautaire sera transmis aux partenaires et aux membres des collectivités sous une autre forme (vidéo ou présentation virtuelle). Pour rendre ce rapport accessible et intéressant, une voix hors champ en langue autochtone présentera les constatations de l'évaluation et les prochaines étapes ainsi que les incidences positives des recommandations et du plan d'action au sein des collectivités.