L'évaluation externe

Sommaire :
L'analyse de l'auto-évaluation par le CNÉ : le lien entre l'évaluation interne et l'évaluation externe
La constitution du collège d'experts : un choix décisif pour la réussite de l'expertise externe
La préparation des expertises : une première appréhension de l'établissement
Les expertises sur le terrain : la mise en regard de l'évaluation interne avec l'évaluation externe
Le rapport d'expert : l'illustration d'un travail individuel et d'une dynamique collective

L’analyse de l’auto-évaluation par le CNÉ : le lien entre l’évaluation interne et l’évaluation externe
La première expertise se  fait au CNÉ. Le travail d’analyse du dossier d'évaluation interne (DEI), conduit par l’équipe d’évaluation, est une étape fondamentale qui met en interaction les phases d'auto-évaluation et d’évaluation externe. En effet, si l’analyse du DEI permet en première approche de juger la pertinence des stratégies de l’établissement et la qualité de son management, elle facilite ultérieurement le choix des thèmes d’évaluation.

La méthode d’analyse du DEI est fondée sur des critères de qualité. Traduite par les chargés de mission, en une grille (ou tableau), qui va permettre d’apprécier la réponse de l’établissement aux attentes légitimes de ses usagers et partenaires, elle met en perspective pour chaque référentiel (recherche, offre de formation, pédagogie, vie de l’étudiant et management) d'autres sources d’informations (tels contrat quadriennal, bilan, projet d’établissement, etc.). Le CNÉ peut ainsi identifier de manière objective les potentialités, les difficultés ou points faibles de l’établissement, sa capacité à s’évaluer. Sa présentation globale et transversale qui offre une lecture simplifiée constitue aussi pour l’expert un outil d’analyse qui l’aidera à mener ses investigations et entretiens.

De ce diagnostic dépend le choix des thèmes d’évaluation qui sont arrêtés dans une lettre de mission. Rédigée par l’équipe du CNÉ, elle donne, à partir de la problématique générale, les directives propres à chaque expert tout en soulignant la synergie existant entre les différents domaines d’évaluation.

Validée par le Comité, cette lettre de mission est communiquée à l’établissement ; le CNÉ confirme par cette démarche son attachement au principe de transparence.

La constitution du collège d’experts : un choix décisif pour la réussite de l’expertise externe
Le choix de l’expert est avant tout une action politique qui engage la qualité de la relation entre le CNÉ et l’établissement, entre le CNÉ et l’expert, entre le CNÉ et son équipe d’évaluation. Le recrutement des experts parmi les pairs constitue l’un des fondements du système d’évaluation publique du CNÉ. Les experts sont indépendants dans leur jugement. La mission qu’ils remplissent pour le CNÉ les place en dehors de toute position hiérarchique face à l’établissement.

Le choix initial d’un expert se fait sur différents critères : scientifiques, institutionnel, expériences de l’évaluation en France et à l’étranger, auxquels s’ajoutent des critères déontologiques comme la neutralité de l’expert à l’égard de l’établissement. Pour une plus grande efficacité de l’expertise externe, le CNÉ constitue un groupe d’experts dont les compétences et qualités vont pouvoir agir en complémentarité. Il fait intervenir, suivant le domaine ciblé, des membres de la communauté académique (français et étrangers), des étudiants, des hauts fonctionnaires, des représentants qualifiés des milieux industriels, des organismes du secteur public,…, reconnus et respectés par ceux dont l’activité va être évaluée.

Le CNÉ cherche également à associer des experts étrangers et des étudiants, en cela sa pratique est novatrice, et à respecter la mixité homme/femme. Le recrutement devient définitif à la signature d’un contrat d’engagement qui lie l’expert et le CNÉ représenté par son président ou son délégué général. Ce contrat précise l'objet de sa mission, les règles déontologiques auxquelles les deux parties s'engagent et fixe le montant de l'indemnité d'expertise.

Ces précautions prises pour la constitution du collège d’experts sont essentielles au bon déroulement des expertises, car elles sont une première garantie vers l’objectivité de l’expertise qui doit s’affirmer dans la qualité de la rédaction du rapport final. La composition du collège d'experts est communiquée au chef d'établissement, qui a la possibilité de demander la récusation d'un expert. Cette demande est examinée par l'équipe d'évaluation.

La préparation des expertises : une première appréhension de l’établissement
La qualité de la communication entre le CNÉ et les experts garantit la bonne articulation entre l’évaluation interne et l’évaluation externe. L’expert fait partie d’une équipe constituée pour une opération spécifique, et le travail qu’il accomplit individuellement doit concourir à la qualité de l’ensemble de la procédure d’évaluation externe.

Le CNÉ les prépare à leur mission en leur fournissant une information de qualité sur l’établissement, de même, il s’engage à leur communiquer les outils de diagnostic réalisés par les chargés de mission (grille d’analyse, lettre de mission, proposition d’interlocuteurs à rencontrer sur le terrain).Il leur remet également tous types de documents utiles (chiffres, comptes-rendus, plaquette de présentation, etc.) qui vont leur permettre de connaître l’établissement sous toutes ses dimensions, politique, administrative et de gestion, de formation et de recherche. La bonne connaissance de l’établissement que l’expert acquiert lui donne la possibilité d’appréhender celui-ci dans sa globalité, de se faire une idée précise du domaine qui lui est confié par la lettre de mission.

Au cours d’une première rencontre à caractère "pédagogique", les experts, les membres du Comité et les chargés de mission échangent sur le déroulement de l’évaluation externe et confrontent leurs analyses. Les outils de diagnostic réalisés par le CNÉ favorisent l’approche collective de l’établissement et la répartition des thèmes d’expertise. C’est là que s’amorce une véritable dynamique de groupe.

Les expertises sur le terrain : la mise en regard de l’évaluation interne avec l’évaluation externe
Cette étape est la mise en regard de l’évaluation interne avec la réalité de terrain. L’établissement, qui a reçu du CNÉ la lettre de mission des experts et la proposition des interlocuteurs que ceux-ci souhaitent rencontrer lors de leur visite, en organise le planning. Cette planification représente une lourde charge pour lui et le CNÉ tant que faire se peut s’assure de la pertinence et du nombre d’entretiens (une centaine).

Les expertises qui se déroulent sur trois ou quatre journées sont menées par les experts auprès de représentants de l’établissement sous forme d’entretiens collectifs ou individuels. L’équipe du CNÉ mène une réflexion approfondie, au cas par cas, pour suggérer l’interlocuteur qu’elle estime le plus adapté au thème de l’évaluation. Son profil est défini selon différents critères : par la position qu’il occupe dans l’organigramme de l’établissement, sa responsabilité institutionnelle, sa compétence spécifique, etc. En dépit de ses demandes précises, le CNÉ laisse une certaine souplesse à l’établissement pour organiser les rencontres et respecte le délai raisonnable d’un mois entre l’envoi de la liste des interlocuteurs et l’arrivée de l’équipe d’évaluation.

Les chargés de mission accompagnent les experts lors des entretiens. Les membres du Comité ouvrent et clôturent la procédure, et interviennent systématiquement pour des échanges au niveau politique avec le chef d’établissement. Ils animent les réunions de restitution collective sur le déroulement de l’évaluation.

L’expertise est pour les membres du Comité et les chargés de mission un moment favorable à la rencontre des personnalités extérieures, comme les représentants concernés des collectivités territoriales, ville, département, Région ou encore le recteur d’académie, le directeur du CROUS, etc. Ces contacts permettent au CNÉ de situer l’établissement dans son environnement académique, géographique, social et économique et de recueillir des avis autres que ceux de la communauté universitaire.

Le rapport d’expert : l’illustration d’un travail individuel et d’une dynamique collective

Le rapport d’expertise, qui doit être remis au CNÉ dans un délai de cinq semaines, est l’illustration d’un travail individuel et d’une dynamique collective qui respecte les règles de déontologie du CNÉ. Le rapport final étant élaboré à partir des rapports d’experts, l’expert engage sa responsabilité morale lors de sa propre rédaction. Mais il doit toutefois se sentir libre dans ses diagnostics et ses jugements. En effet, le rapport qu'il remet exclusivement au CNÉ est un rapport confidentiel destiné à l’équipe d’évaluation. Seul le rapport final dont le CNÉ assume la responsabilité est rendu public.

Le rapport d’expertise n’est pas un compte-rendu d’entretiens ni une analyse exhaustive du fonctionnement de l’établissement. Il est un argumentaire fondé sur des faits concrets, objectifs, vérifiés, qui conduit l’expert à la formulation d’appréciations et de recommandations. Le rapport rend compte, dans le périmètre de la lettre de mission, de l’implication de l’établissement dans une démarche qualité. Il met en évidence les lacunes, les réalisations et les progrès de l’établissement depuis son dernier contrat, depuis sa dernière évaluation institutionnelle ou sur une période significative pour lui.

Chaque rapport rédigé est transmis aux membres de l’équipe d’évaluation (CNÉ et collège d’experts) et soumis à la discussion lors d’une seconde réunion, dont l’objet est de dégager, à partir des recommandations des experts, la problématique générale du rapport final, ses lignes directrices et enfin d’élaborer un projet de plan. C’est par cette seconde réunion, interne au CNÉ, que se clôture l’étape d’évaluation externe.