Abstract
Cette contribution présente les grands principes et les limites de nos dispositifs d’évaluation dans le domaine de l’enseignement supérieur et de la recherche (ESR), et propose des recommandations pour mieux répondre aux attentes actuelles (autonomie, décentralisation et modèle économique des universités et écoles, orientation et réussite des étudiants, financement de la recherche, lisibilité de l’organisation de l’ESR...).
L’écosystème actuel de l’évaluation dans l’ESR est composé de plusieurs dispositifs complémentaires croisant l’évaluation des individus et celle des entités. On distinguera en particulier l’expertise institutionnelle réalisée par un comité de pairs dans une démarche d’assurance qualité, du diagnostic fin, du contrôle, de l’inspection, ou de l’audit. L’évocation de « l’évaluation » dans l’ESR conduit rapidement à des crispations en raison des termes sensibles liés à notre histoire, notre culture et nos pratiques: sélection/orientation des étudiants, modèle économique (coûts et droits d’inscription), évaluation des chercheurs et des enseignants-chercheurs, efficience, mesure de la « performance » individuelle ou collective. Attentif à ces difficultés, nous traiterons de la place de l’évaluation, de son organisation, de son utilité et de son efficacité : l’évaluation sert-elle l’objectif retenu ? Est-elle acceptée par les communautés évaluées ? Quel est son impact sur les transformations du paysage de l’ESR, par exemple dans le développement de la démarche d’assurance qualité ? Quels sont les grains pertinents de l’évaluation d’une structure ? Quelles pratiques nouvelles peut- on envisager pour communiquer les résultats et faire en sorte que ceux-ci apparaissent parfaitement lisibles à l’ensemble des acteurs et notamment les futurs étudiants ?
Le contexte de l’organisation d’une évaluation est complexe et alterne plusieurs paramètres allant de l’interne à l’externe, du global au local, du qualitatif au quantitatif, du subjectif à l’objectif. La relation entre les évaluateurs (les pairs) et les évalués doit être basée sur la confiance et l’absence de liens d’intérêt. La distance entre l’évaluation et la prise de décision, ainsi que le rôle d’interface et de médiation de l’agence d’évaluation sont essentiels. La collégialité, la subsidiarité, la transparence, la déontologie et l’éthique sont les piliers d’une construction de l’évaluation réussie. À cet égard, celle-ci doit résulter d’une action conjointe des tutelles, des établissements et du Hcéres. Elle doit être conçue dans une triple perspective d’aide au développement des entités évaluées, d’aide à la décision des tutelles, et d’information des publics et usagers de l’enseignement supérieur et de la recherche. L’évaluation ne peut avoir pour seul objectif de sanctionner et de réguler le système, au risque de conduire à des biais d’adaptation des acteurs. Elle doit pouvoir s’appuyer sur un dispositif de confiance et une dynamique positive pour les acteurs.
Nous nous focaliserons sur le périmètre d’intervention (recherche, formation, établissement, coordinations territoriales) du Hcéres, sans nous intéresser ici à son organisation interne. Les dispositifs d’évaluation par les pairs mis en place par cette autorité, conduisent à recueillir des attentes, à préciser les critères retenus (référentiel d’évaluation externe) et à observer la réalité (rapport d’autoévaluation, indicateurs, visite du comité), autant d’étapes essentielles à l’expression d’un jugement (rapport du comité d’experts). Ces modalités s’inscrivent par ailleurs dans le cadre d’une démarche qualité et d’amélioration continue, formalisée à l’échelle européenne (processus de Bologne, ESG, Enqa-Eqar, autoévaluation et trajectoire d’un établissement). L’obligation actuelle d’évaluer toutes les formations et toutes les unités de recherche pose la question de l’efficacité et de l’efficience du système d’évaluation qui, compte tenu de la charge induite par cette « industrialisation » d’un très grand nombre d’expertises, ne permet pas des investigations locales en profondeur susceptibles de meilleures plus-values. La définition du grain d’évaluation pour la formation (diplômes, champs, composantes) et la recherche (unité de recherche) ne devrait pas être figée. Un cadre institutionnel homogène et rigide n’étant plus adapté à des établissements autonomes, il convient de définir avec souplesse un canevas permettant à la diversité des établissements de pouvoir exprimer leurs spécificités et leurs stratégies. Il est donc indispensable, après analyse des retours d’expérience, de réactualiser et de préciser la loi et les décrets.
L’objectif recherché dans cette contribution est une simplification et une évolution des dispositifs actuels d’évaluation en plaçant au centre de la démarche proposée l’établissement comme acteur principal de sa propre évaluation interne puis externe. Nous aborderons la question de la mesure de la performance - sujet sensible représentant en général une attente forte des tutelles ministérielles - et les pressions liées aux enjeux sociétaux. Nous soulignerons néanmoins que la vie scientifique, la créativité et la réussite des étudiants ne peuvent se limiter à des indicateurs ou des classements standardisés et figés. La prise de risque, la détection des « signaux faibles » dans l’innovation sont des enjeux fondamentaux pour progresser. La philosophie globale de l’organisation de l’évaluation doit préserver la dynamique de confiance envers les processus Hcéres, en élaborant une mesure de la performance qui ne soit pas normative, qui puisse être adaptée à la diversité des personnes, des établissements évalués et des écosystèmes concernés, et qui stimule les dynamiques d’établissement. Il s’agit en particulier d’apprécier les leviers utilisés par les établissements pour améliorer l’efficience de leur action et leur performance. L’évolution des approches actuelles d’évaluation vers une mesure de la performance à différents niveaux (institutionnel, formation, recherche et innovation) nécessite de mobiliser dans le processus l’ensemble des acteurs. Autrement dit, il s’agit d’une évolution globale des modes de fonctionnement qui ne peut se résumer à une action isolée du Hcéres pour comparer des entités6. Il convient donc de répondre efficacement aux attentes de l’État pour l’analyse (quantitative et qualitative) et le suivi des acteurs de l’ESR, tout en considérant les limites des dispositifs de mesure et les divers outils émergents d’extraction de données et cela sans négliger l’acceptation par les communautés. Les pistes d’évolution proposées pour la mesure de la performance nécessitent donc une implication non seulement du Hcéres, mais aussi des établissements et de l’État à diverses échelles :
- au niveau « établissement » et dans une démarche qualité, en prévoyant une coloration qui sera assignée par le comité pour chaque référence (ESG) : maitrisé = vert/émergent = orange /non atteint = rouge ;
- au niveau de la formation et de la réussite étudiante, en distinguant les niveaux Licence (et l’enjeu majeur de l’orientation et de la réussite étudiante) et Master-Doctorat (et les enjeux liés à la recherche), et en recourant à un usage de données publiques certifiées par les établissements et mises à jour annuellement (suivi national) ;
- au niveau de la recherche, en distinguant la contribution des laboratoires à une stratégie d’établissement, et des analyses nationales par grands champs disciplinaires (OST 7 , rapports, auditions d’équipes de recherche d’un même périmètre).
Pour préserver le climat actuel de confiance entre le Hcéres et les acteurs de l’ESR français, il est proposé des inflexions progressives des méthodes plutôt qu’une transformation brutale et radicale, porteuse de risques de rejet. Un dialogue permanent avec les acteurs de l’ESR en amont de toute transformation majeure est indispensable. Cette démarche devra être amplifiée et élargie pour faire progresser l’intégration des politiques d’assurance qualité dans les pratiques des équipes de gouvernance.
Dans ce contexte, les dix propositions qui suivent traduisent des orientations à débattre et s’inscrivent dans une démarche d’accompagnement de l’autonomie des établissements et de responsabilisation des acteurs, en s’appuyant sur une démarche qualité :
• accentuation de l’exigence de responsabilité des établissements
• adaptation, simplification, communication
• dialogue renforcé en amont et mieux synchronisé
• amélioration de l’articulation des différentes évaluations du Hcéres • rationalisation du grain de l’évaluation
• suivi régulier de données certifiées publiques
• évolution des calendriers
• objectif « d’accréditation établissement de l’offre de formation »
• harmonisation des dimensions de l’évaluation de la recherche
• mise en place de mesures appréciatives
• objectif d’évaluation externe portée directement par l’établissement