小中研究室

4つの「ワールドカップ」の予測結果(2018-2019)


2018年から19年にかけて行われた4つの「ワールドカップ」について,得失点またはランキングポイントに基づく定量的勝敗予測を行いました.その概要と予測結果を示します.

FIFAワールドカップ2018

サッカーのFIFAワールドカップ2018は2018年6月14日から7月15日まで, ロシアを開催国として全64試合が行われました.
予測モデル作成のデータベースとして "International football results from 1872 to 2019"の2014大会以降2018年大会直前までの国際Aマッチ3352試合を利用し出場国の実力を推定しました.各試合の開催地を考慮し,全てのホームチームに同一のアドバンテージ(ホームアドバンテージ)が有ると仮定したモデルを用い,その量の推定も同時に行っています.
4年間実力が一定であると仮定するには期間が長いと考え,大会直前の結果を重視するため, 各試合の二乗誤差\(E^2\)には \(0.75^{\Delta Year} \)(\(\Delta Year\) は開 幕までの年数) の重みを乗じました.\(0.75\)は1998年大会から2014 年大会までの6大会の予測精度を最も良くするパラメータとし て試行錯誤的に算出したものです.時間経過に対する重みは 4競技中サッカーのみに対して行いました.
試合結果予測は公式ランキングに基づくものと比較しました. この時点でのFIFAランキングは対戦相手のその時点でのランキ ングを加味した試合ごとの加算方式でした.
グループステー ジでの引き分け(9試合)はいずれの予測でも不正解とみなしました. 全64試合中,提案手法と公式ランキングはそれぞれ39試合,36試合の結果を正しく予測しました. 提案手法の予測正解数は多かったものの,「二つの予測精度は等しい」 という帰無仮説をマクネマー検定で検定したところ, \(p=0.55\) で帰無仮説は棄却されませんでした.詳細を下表に示します.
Ranking
Correct Incorect
Rating Correct 32 7 39
Incorrect 4 21 25
36 28 64
予測の精度差が現れたのは,主に欧州と南米の中堅国間の実 力比較,および開催国(ロシア)でした.開催国は予選が免除 され本大会までの試合数が少なくなりランキングが低下するこ とが原因となり,ランキングの精度を低下させていました.

FIBAワールドカップ2019(男子大会)

バスケットボール,FIBAワールドカップ2019は2019年8月31日から9月15 日まで,中国を開催国として全92 試合が行われました. FIBAワールドカップの前身はFIBA世界選手権で,前回大会は2014年 開催でした.今大会から大会名だけではなく参加国数や予選 方式も全面的に変更され,開催年もオリンピックの中間年から オリンピック前年に変更されています. この結果,今大会直近のFIBA主催の世界大会は3年前(2016 年)のリオ五輪でした.各国の実力変化,および大陸間の試 合数が少ないことを考慮し,以下の試合結果に基づき実力推定 を行いました:リオ五輪(2016 年),各大陸選手権(2017 年),ワー ルドカップ予選(~2019 年),および一次ラウンド途中までの 677 試合.予測対象は一次ラウンド中盤以降の50試合としました. 試合結果予測は公式ランキングに基づくものと比較しました.こ の時点でのFIBAランキングは得失点差や大会の重要度を加味 した試合ごとの加算方式でした.
結果を下表に示します.全50 試合中,提案手法と公式ランキングはそれぞれ38試合,36試 合の結果を正しく予測しました.提案手法の予測正解数は多かった ものの,「二つの予測精度は等しい」という帰無仮説をマクネ マー検定で検定したところ, \(p=0.72\) で帰無仮説は棄却され ませんでした.
Ranking
Correct Incorect
Rating Correct 33 5 38
Incorrect 3 9 12
36 14 50
下図に予測性能を示します.横軸は試合前の予測勝率,縦軸上下 はそれぞれ実際の勝率および勝敗数を示しています.
較正値は(実力上位チームの予測勝率の和)/(実力上位チームの実際の勝利数)で定義される値であり,
  • 1.0以上:実力上位チームを過大評価(予測勝率が大きすぎる)
  • 1.0未満:実力上位チームを過小評価(予測勝率が小さすぎる)
と解釈できます. 較正値が0.952と若干上位を過小評価しているものの,おおむね予測勝率と実勝 率が一致しており,提案手法による定量的な実力評価と一貫し た結果が再現されていたことがわかります.

FIVBワールドカップバレーボール2019(男子大会)

バレーボール,FIVBワールドカップ2019(男子大会)は2019年10月 1日から10月15日まで,日本を開催国として全66試合が行 われた(注:他3競技では「ワールドカップ」は最も権威ある世界一決定戦と見なされているが,バレーボールでは世界選手権,オリンピックに続く3番目の位置づけであることに注意されたい). 予測手法の詳細は以下の拙論文を参照してください. 試合結果予測は公式ランキングに基づくものと比較しました.こ の時点でのFIVBランキングは大会の順位に基づく加算方式でした. 結果を下表に示します.
Ranking
Correct Incorect
Rating Correct 43 6 49
Incorrect 7 10 17
50 16 66
今大会のみでは提案手法の予測精度が低いものの,手法間での差はほとんどありません.
しかし,過去10 年間の世界大会までさかのぼると,公式ランキングでは欧州中堅国が過小評価され,地元開催大会を複数持つ日本が過大評価される傾向にあることを統計的に示すことができます(上記論文参照). 具体的には,男女それぞれ過去8 つの世界大会全1129 試合において,公式ランキングと提案手法で予測の見解が分かれた190 試合のうち,提案手法が正しかったのが112試 合でした.これはマクネマー検定で \(p=0.0167<0.05\) であり,5%水準で「予測精度が等しい」という帰無仮説が棄却されます.
下図に予測性能を示します.横軸は試合前の予測勝率,縦軸上下 はそれぞれ実際の勝率および勝敗数を示しています.
較正値 が\(1.047\) と若干上位を過大評価しているものの,おおむね予測 勝率と実勝率が一致していることがわかります.今大会からオリン ピックの出場権を得られなくなったことが上位チームの選手選 考や士気に影響し,大きな番狂わせ(予測勝率\(0.9\) 以上のチー ムの敗北) が起きた可能性があります.他の大会との選手選考の違いなど,踏み込んだ分析が必要となるでしょう.

ラグビーワールドカップ2019

ラグビーワールドカップ(RWC)2019は2019年9月20日 から11月2日まで,日本を開催国として全45試合(予定されていた48試合中3試合が台風で中止)が行われた. ラグビーの公式ランキングはmargin of victory(MOV, 得失点差など,勝利判定基準となる量の差)を利用したポイント交換方式です. また,2003年大会以降4大会192試合のうち, 大会前のランキング上位チームが勝利した割合は \(0.859=165/192\) であり,ランキングポイント差と得失点差に 強い相関(相関係数 \(0.8711\) )があります(下図).
このように,ラグビーについては公式ランキングが既に実力評価指標として十分 高性能です.
また,ラグビーの国際大会の中でもワールドカップは以下の点で特殊です.
    
  • 一国集中開催.他の主要大会はホーム&アウェイ方式で, 原則中立国での試合は行われない.
  • 短い試合間隔.ワールドカップでは最短中3日. 他の大会は原則週1試合.
これらの特徴を考慮し,ワールドカップ以外のテストマッチの 結果を予測モデル構築に利用しないこととしました.
試合間隔については,競技統括団体であるWorld Rugbyは, 生理学的研究からの知見に基づき,試合後48時間以内は筋肉 が回復していないため強度の高い練習を行うべきではないとい う「48時間ルール」を提唱しています. これらを考慮し,著者は以下の二つのモデルを構築しました.
    
  • モデルA:ランキングポイントのみに基づく予測モデル 
  • モデルB:ランキングポイントと試合間隔に基づく予測モデル. 体力が試合により消耗し,時間の経過とともに回復すると仮定 したモデル.
    • モデルB1:予測正解率を最大化するモデル
    • モデルB2:得失点差との相関を最大化するモデル
詳細は以下のWebページ,および発表原稿を参照としてください. また,インターネット上で試合単位 の予測勝率を公開しているサイトを調査しました.Rugby4Cast はワールドカップ以外のテストマッチでの得失点差も利用し, リッジ回帰などの手法で予測モデルを更新していたそうです(開発者とメールをやり取りしました).ただし,試合間隔は考慮されていません.
それぞれの手法での予測結果を下表に示します.
Method Accuracy LogLoss(worst case) Calibration
Proposed (A) 38/45 0.4983 (4.479) 1.005
Proposed (B1) 38/45 0.4764 (3.836) 0.992
Proposed (B2) 38/45 0.4930 (3.351) 1.001
Rugby4Cast 39/45 0.5122 (3.857) 0.951
予測精度はRugby4Castのみ39/45,それ以外では38/45でした.Rugby4Castは予測精度が高くなったものの,対数損失と較正値では劣っていることから,予測勝率を算出するアルゴリズムに改善の余地があることが分かります. 提案手法では試合間隔を考慮することで対数損失は改善され,特に過去の予測正 解率を最大化するモデル(B1) で対数損失は最小となりました. このときの回復の時定数は0.95[日]であり,48時間ルールとの整合性が高いことを指摘しておきます.
PAGE TOP
Copyright © 小中研究室 All Rights Reserved.