2020年5月、欧州大学協会（EUA）は高等教育の外部質保証、大学ランキング、助成金配分のそれぞれに用いられる指標について分析した報告書「Exploring higher education indicators」を発表した。
報告書によれば、高等教育機関は、教育や機関の業績に関する根拠に基づきデータを駆使した分析を求めており、機関の意思決定や戦略的発展のためにその分析の利用を必要としている。また高等教育のステークホルダーは高等教育の質やその金銭的価値の保証として、高等教育機関の業績データを求めている。そのためのツールとして、大学ランキングや助成金配分の算定式等が利用されているという。一方、外部質保証に対しては、近年、質保証プロセスにおいて有力な指標を導入するよう、質保証機関への期待が増大しているという。
このような中、当報告書は高等教育の業績や効果、質を測る際に使用される指標とその有効性について議論するための材料の提供を目的として発表され、外部質保証、ランキング、助成金配分はそれぞれ異なる目的を持ち、同じような指標であっても定義が異なるといったこと等が確認された。
■調査の概要 – 比較する指標について
当調査では、教育に関する指標を広義に捉え、「学習と教育」という観点に加え、「学習経験や環境」も対象とした。
- 外部質保証：2019年秋時点で欧州高等教育質保証協会（ENQA）に正会員及び準会員として加盟する96の質保証機関に調査票を送付。16か国・24機関※１から得た回答を基に、学習と教育に関する指標をマッピングし、その使用状況についてまとめた。
- 大学ランキング：世界的に有力な8つのランキングが採用する指標について文献調査を行った。なお、対象とするランキングは、教育に関する指標を用いているか否かを選定基準とした。
- 助成金配分：EUAの会員大学に対し、助成金配分のメカニズムや制度上使われている指標に関して調査を行い、27の国・地域における制度※２についてまとめた。会員大学には、助成金配分にあたり採用されている指標のみならず、それぞれの指標の重要度についても回答を求めた。
外部質保証における指標について
調査票に回答した24機関のうち、4機関が外部質保証において指標を用いないと回答した。用いると回答した機関においては、指標を最低基準への適否の確認に使うケースや、評価担当者に参考情報として提供するケースなど様々な目的で使われていることが確認された。また、指標のみが評価結果の根拠となるわけではなく、ピアレビューや訪問調査の構成要素の一部にすぎないことが示された。なお、採用されている指標の回答件数は下表のとおり、職員数、脱落率・履修辞退率（Drop-out rate）、学生数の順に多かった。
質保証機関で採用されている指標と回答件数（N=16）
大学ランキングにおける指標について
当調査により、大学ランキングにおける教育の質と関連する指標の数は限定的であること、また、多くのランキングがアンケート（survey）の結果を指標として使用していることが示された。また、妥当性や影響に異論があるにもかかわらず、高等教育機関の評判を指標として利用することが多いことが特に指摘された。また、機関全体の質を投影するものとして、研究の卓越性に注目する傾向が強いことも指摘された。
国際的な大学ランキングで採用されている指標
助成金配分制度における指標について
助成金配分制度で利用される指標は、数値や統計で高等教育機関の概要を示すものである傾向にあり、学生数に関するものが中心であった。また回答のあった制度のうち3分の2では外部資金の獲得状況を指標として含むものの、指標ごとに独自の定義や解釈を使っていた。さらに、高等教育機関が政府等と取り交わす業績目標等も教育の質を向上させる仕組みととらえられており、助成金配分制度に影響を与えていることが示された。
国などの助成金配分の算定式で採用されている指標（N=27）
教育における業績測定に伴う課題―指標が評価目的に適合するか、評価の文脈を反映するか
- 外部質保証、大学ランキング、助成金配分それぞれの目的に従って適切な指標を選ぶことが重要。例えば、外部質保証の目的は他機関との比較ではなく、各機関の教育提供の質の検証やその向上にある。一方、大学ランキングの目的は実施者の定義に基づく優良な業績をあげている機関の特定を目指した、機関間の比較である。留意すべきは、ランキングで採用する評価基準が高等教育機関の目標に合致していない場合や、大学ランキング情報の受け手が評価基準を理解していない場合があることである。また、助成金配分制度は教育機関の質よりも機関が実施する活動に対して十分な資源を提供することにより、助成する側が望む行動を機関に促すことを目指している。
- 教育の業績を広義に測る場合、教育や学習に特化した指標はなく、「学習環境」や「教育の質を示すと考えられるもの」といった、代替的な指標を使うに過ぎない。また、採用する指標が教育の質を正確に示すとは言えない場合もある。例えば、卒業生の就職率は卒業生の就職状況を示すが、教育を通じて得た技能を活かす業務への就職の有無は考慮されないほか、経済状況にも左右されることが指摘される。
- 提示される情報や数値が、指標に係る文脈を反映していないことが多い。例えば、脱落率・履修辞退率（drop-out rate）を見た場合、学生が興味のあるプログラムを検討するために複数の科目を履修し、不要と判断した科目から履修を取り止める場合には、結果として数値が高くなる。その一方、脱落とみなされない期間に学習を止めてしまう場合には、数値が低くなる。
- 別の例では、外部質保証と助成金配分制度は業績目標や質保証のプロセスの中で機関ごとに特化した評価になる一方、大学ランキングは高等教育機関を分かり易く比較した一覧を作成するため、機関毎の特性を無視して一つのデータセットが使われるため、教育制度に必要な多様性を危機にさらす可能性があることが指摘される。
各指標のマッピングから得られた教訓
- 教育面の業績に関するデータの量は増加しているが、大学ランキングと助成金配分で使われる指標は相対的に安定している。外部質保証では、指標の使用は重要な要素とはなっていない。
- 外部質保証、大学ランキング、助成金配分で採用される指標の種類はそれぞれが異なる目的に使用されるにもかかわらず、同じ項目である。しかし、様々な定義に基づいて指標が使用されるため、それがそれぞれの特性に影響を与える。
- 外部質保証、大学ランキング、助成金配分制度を越えた、高等教育の質を測る普遍的に合意された指標はない。国際的なデータセットはあるが、情報提供が主な目的であり、どのデータが機関の質や業績を示すかといった解釈はなされていない。
- 指標が伝えられることには限界がある。指標は、資格枠組やピアレビュー、業績目標の設定といった質的または記述的なツールを代替できないが、それらと組み合わせて使うことが必要である。指標は、慎重に定めた目的と特定の文脈を踏まえて内容を調整することで評価に役に立ち、提供される教育に透明性と信頼性をもたらす。
- データを分析・理解し、そのデータが何を意味するのかを問うこと。指標は機関の業績の一面を反映するものであるため、それを他の部分や機関全体に一般化すべきではない。指標ごとに何が測定可能か、何を測定すべきかを明らかにし、その目的を達成しうるかどうかを見極めることが重要である。
EUAは目的に合った指標を確保するには定期的なレビューや調整が必要とし、それぞれの文脈においてどの指標が適切に質を反映するかといった議論に、高等教育機関をはじめとして、高等教育セクターにおける様々なステークホルダーが関与すべきとした。
※１：回答した24機関のうち、2機関が機関別評価のみ、4機関がプログラム別評価のみ、18機関が機関別・プログラム別の両方の評価を行っている。なお、16機関が欧州高等教育質保証機関登録簿（EQAR）に登録している。
※２：27制度のうち、11は研究と教育に関する助成金であったが、5の回答者は教育のみに関する助成金であった。
原典：欧州大学協会（EUA）（英語）
