奇怪的Cheers雜誌臺灣EMBA評價調查

           這個週末在書局無意間看到最新期的Cheers雜誌，這其中有一篇臺灣EMBA評價調查的排名，稍微看了一下內容，不看則已，一看就越看越不對勁，怎麼有一個公開發行的雜誌對一份學校排名的調查如此的草率，而且這麼草率的調查分析已經連續執行了十幾年了。原先想說反正此調查知名度不高，就把它當成又一篇無聊的評比看待，但是想想，這個排名的調查，剛好是我上研究方法課一個很好的討論個案，剛好可以教導學生來減少研究方法設計的常見錯誤。

    我先問大家一個問題，如果你要調查企業界對一個EMBA學程的評價，以下哪一個指標最重要呢？

一、就讀意願及推薦報考得票率

二、學校聲譽

三、與產業緊密結合具影響力

四、師資陣容整齊教學能力強

五、任課教師研究能力強在國際期刊論文發表數多

六、課程符合需求與未來潮流

七、與國際交流機會多

八、歷屆學生素質佳

九、主管或同事就讀後推薦

十、所處產業同業間口碑好

十一、就讀地點離工作地點近

    這幾個指標就是Cheers用來衡量臺灣EMBA學程評價指標，雖然這些指標間有相互重疊的地方（例如，第一、九、十一觀念重疊），也有一些不足（例如，讀EMBA一大目的校友人脈深度與廣度），但是坦白說，這十一個指標還算是完整的。問題是這十一個指標的權重絕對不會是一樣的，根據多年在EMBA教課的經驗，大部分學生會說課程、師資、產業口碑、學長姊推薦等項目比較重要，它們的權重會比老師國際論文發表與學校報考人數指標還重要。

    令我非常驚訝的是依據Cheers的統計計算，這份EMBA評價排名，主要是就讀意願及推薦報考得票率的標準分數，與另外十項指標平均的標準分數加總，也就是，單單就讀意願及推薦報考票率一項就占50%的決定分數，另外十項合計占50%，更嚴重的是，因為就讀意願及推薦報考票率的分數變異數比較大，單單這一項就決定了絕大部分的排名順序，其他的十大因素影響排名比重嚴重受限制（尤其是對前五名的順序的影響微乎其微）。因為就讀意願及推薦報考票率主導了整體排名的結果，一些奇怪的總排名因此產生。

例如，2016年的調查，台大在後十個指標加總排名第5名，因為就讀意願及推薦報考票率第1名，把它拉到總排名第一名。同樣的，2017年的調查，台大在後十個指標加總排名第5名，因為就讀意願及推薦報考票率第1名，又把它拉到第一名。今年台大在後十個指標加總平均排名進步到第2名，再加上就讀意願及推薦報考票率第1，當然又是第一，讀者如果仔細看，總排名第二的政大在後十項指標平均分數排第一，而且十個指標中有關產業緊密結合具影響力、師資陣容整齊教學能力強、主管或同事就讀後推薦、歷屆學生素質佳、所處產業同業間口碑好等六項重要項目，政大皆贏台大，但是因為Cheers的特殊統計計算方式，這些重要因素的排名影響力幾乎不存在。為什麼會這樣呢？以下我來一一解釋：

一、高變動（Variance高）因素主宰整合分數高低

用一個很簡單的比喻，有兩位評審，第一位評審的分數高高低低差異很大，例如有給0分的，也有給到100分的，第二位評審給的分數很保守，幾乎皆在75~80分間，如果把兩位評審加總成績決定錄不錄取，那麼第一位評審的成績等於主宰了錄不錄取的決定。有人說那我們把兩位評審的成績，各取標準化的分數不就可以解決這個問題，答案是「不會解決」。取完標準化分數後，第一位評審的標準化分數變異分布還是比較大，第二位評審的標準化分數變異分布還是比較小，把兩位評審的標準化成績加總，主宰總分的還是評審一。

以今年Cheers的調查來看，前十名的學校的就讀意願及推薦報考率標準化成績，最高與最低的差異是2.47（4.47-2.0）、第1與第6名差2.04（4.47-2.43），而後十個指標加總標準化成績最高與最低的差異是 2.03 (1.69- (-0.34))、第1與第6名差1.05（1.69-0.64），明顯的就讀意願及推薦報考票率標準化成績主宰了總成績！去年的資料（2017調查）更是嚴重偏袒就讀意願及推薦報考率標準化成績，前十名的學校的就讀意願及推薦報考率標準化成績，最高與最低的差異是2.60（3.87-1.27）、第1與第6名差1.92（3.87-1.95），而後十個指標加總平均成績最高與最低的差異是 0.8(8.67- 7.87)、第1與第6名差0.18（8.67-8.14）。

在該調查研究方法說明中，Cheers甚至把就讀意願及推薦報考率標準化成績乘以三再與後十個指標加總平均分數合計，這樣的計算方式更是拉大就讀意願及推薦報考率對總排名的絕對影響力，這也是為何台大連續兩年在後十個指標加總排名全國第5名，但因為就讀意願及推薦報考票率第1名，把它拉到總排名第一名的主要原因，有興趣的讀者可以自行看一下他們的報表。今年的研究方法中也寫到「計算方式為將EMBA得票率與10大構面評比平均分數分別標準化後相加，其中得票率之權重3倍於10大構面評比平均分數，據以進行總排名」。如果真的是這樣，那麼就讀意願及推薦報考得票率的權重更是被高估。http://topic.cheers.com.tw/issue/2016/emba/article/article9.aspx

二、學校的就讀意願及推薦報考率主宰總排名成績有何不好？

學校的就讀意願及推薦報考率主宰總排名成績當然不好！如我一開始說的，很少人會把學校的就讀意願及推薦報考率當成是EMBA學程評價指標最重要的一項，它可以是一樣指標，但不應主宰總成績。另外，更嚴重的這個比率很嚴重的受學校地點影響，一位北部企業人士就算認為中部或南部的學校不錯，但是真的會跨區就讀的比率並不高，臺灣主要公司企業大部分又是在北部地區，北部的學校先天上有優勢。有人會說，這也是事實，北部的學校本來就具地利之便，難道要故意不放入計算嗎？我要強調的是，我不是建議完全不計算，但是這個項目不可以主宰總排名成績，如果讓這個項目主宰總成績，那麼任何學校努力的在課程、師資、產業口碑、學長姊推薦等項目的改善，幾乎是徒勞無功的，這是一個合理公平的EMBA評價評比嗎？

        早幾年Cheers自己在標題與表格中會寫他們的研究是「企業經理人最想就讀與最推薦的EMBA」，如果用這個標題，我相信目前的算法是名符其實的，但是這幾年Cheers已經將這個調查的名詞改為「企業經理人EMBA評價調查」，如果是這個標題，那麼它與實際計算的方式與內容是不相符的（不具內容效度Content Validity）。

這份Cheers的EMBA調查還有以下幾個大問題，我一一說明：

一、       樣本問題

這個調查主要針對《天下》雜誌3000大企業，邀請具備3年以上工作經驗之計畫就讀及已就讀EMBA的人士調查，每位填答者皆可選擇1～3所計畫就讀／推薦報考的EMBA進行細項評估。這些受訪者真的可以回答出學校聲譽、與產業緊密結合具影響力、師資陣容整齊教學能力、任課教師研究在國際期刊論文發表數、與國際交流機會多、歷屆學生素質佳等問題嗎？大部分國際知名大學評比，有關學校聲譽是問學術同儕，產業影響力是問業界指標人物（例如、主要公司CEO或人事主管），國際期刊論文發表是透過期刊質量客觀分析來算出分數，把這些問題問那些計畫就讀及已就讀EMBA的人士，在方法的效度（Validity）上有很大的問題。

二、       每年排名的差異變化大

每年排名有差異變化是正常的事，但是如果一年間變化很大，又沒有辦提出合理解釋，這代表研究與衡量方法有嚴重的信度(Reliability)問題，這幾年來除了台大與政大排名變動小之外(因為就讀意願及推薦報考率主宰總排名)，其他學校變化真得很大，例如2017年調查成功大學排名第三，2018調查成大掉到第九名，很難想像這到底發了什麼事？我自己在學術界，我必須幫成大講一句話，我真的不認為成大EMBA過去一年有出了什麼大差錯，仔細看分數細項，2017年的就讀意願及推薦報考率標準化成績排第三，2018年的調查一下掉到第八名，更匪夷所思的是，成大去年在後十個指標加總排名第一名，今年2018竟然掉到第十一名，一年間有這麼大的差異，實在是讓人無法想像，根據我做行銷研究這麼多年的經驗，我認為這樣大結果差異主要是因為樣本的大小的影響，南部的學校因為學生源比較少，填答人數一定比較少，幾十個人就可以決定分數高低，是很危險的事，樣本代表性與統計誤差都會是一個問題。同樣的問題也出在中山大學。

    我知道要做一份完美的EMBA評價排名本身就是一件很困難的事，以臺灣大部分的媒體預算限制，要做出一份信效度皆佳的研究本身就不容易，只是請Cheers雜誌也應該要知道，任何排名對許多人與單位會有不同的正負面的影響，如果這些正負面的影響是錯誤的或是Misleading的，對臺灣EMBA教育的發展絕對是有百害而無一益的。