長いのでほんとに興味のある人だけ、どうぞ。
ポジティブな記事ではありません。
私は、体育学研究の論文を読むのは初めてです。
今回紹介する論文は、
- サッカーにおけるゴールキーパーのシュートストップ失敗確率を予測する回帰式の検証（平嶋他、2018、体育学研究、68、315）
少しだけ、先行研究である「サッカーにおけるゴールキーパーのシュートストップ難易度の定量化（平嶋他、2014、体育学研究、体育学研究 59、805）」にも言及します。
論文のリンクはこちら。
日本の研究.comにもまとめられています。（読みやすい）
本論文に対する私の評価は、少しポジティブです。
タイトル通りの研究の方向性と結果については賛同しますが、いろいろな展開が荒かったりして、正直「う～ん？」といった感じです。
この論文の結果については、筑波大学からプレスリリースが出されていますが、それだけに「このクオリティでも許容」というのはちょっと無いでしょう。
こういう論文や発表の様々な質が、研究結果の質を保証していると思うのですが、結果についてのケアレスミス、ほんとに無いですかね？
レフリー（論文の審査員）、ほんとに機能してますか？
サッカーの指標に関する論文を検索して、ちょっと読んだだけの論文で、最初から時間を掛ける気はなかったですが、概要の英文が強烈でビックリしました。
以下、内容は、
- 研究のあらすじ紹介
- 概要の英文についてのダメ出し
- 測定者間信頼性についての疑問
- プレスリリースしたロジックについての疑問
- 回帰式の10の要因選択の説明についての注文
いずれのコメントも本研究の結論を揺るがすものではありませんが、プレスリリースのロジックはヤバイ気がします。
ロジスティック回帰分析の手法自体には今は知識がないので突っ込めませんが、他の箇所のクオリティからして大丈夫なのかしら？という印象です。
研究のあらすじ
まずは研究内容の紹介です。
目的、ゴールキーパーの成績を評価するために、セーブの困難さ（失敗確率）を評価する事。
手法、以前の論文で、2010年W杯のデータを使い、ゴールキーパーのシュートストップ失敗確率を予測する回帰式を構築した。本論文では2014年W杯のデータ使い、回帰式の妥当性を分割表などで定量評価した。
結果、2014年の枠内シュートの結果からは、回帰式が失敗確率をよく計算できている事がわかった。
補足すると、筆者たちは、これらの結果がW杯という世界トップクラスの試合でのシュートストップ失敗確率である事を強く意識しています。今回の結果がどんなカテゴリー、年代にも一般化可能とは結論づけていません。
「回帰式、回帰分析って何？」という人も多いと思いますが、発生したある現象について、その要因を定量的に調べる研究手法です。（ここで詳細な説明なんて出来ないよ…）
例えば、でたらめな説明ですが、「夏場のスポーツ飲料の売上には、気温が大きく、湿度が小さく関係している。気温が x度、湿度 y％なら、売上ｚ億円。気温が A度、湿度 B％なら、売上C億円。誤差はこの程度。」という事が過去のデータから分かります。
IBMの統計計算パッケージを使っているとの事なので、今回の論文の趣旨である回帰式の検証の計算自体はある程度堅いのでしょう。
先行研究の論文と本論文の結論の要は、次の回帰式です。
 |
| 日本の研究.comより。 |
シュートを構成する要因を測定し、上の式に当てはめると、シュートストップ失敗確率が出てきます。
次のグラフは、この回帰式の概形です。
この指数関数を使った式は、ｘが－5以下でほぼ０（0％）、＋5以上でほぼ１（100%）、x=0では0.5（50％）、となります。
回帰式の項（ x_1 やら）には正負の符号がついており、それを見れば、どの項が成功あるいは失敗に寄与しているかが分かります。
さらに各項の係数を見れば、寄与の大きさが分かります。
例えば、回帰式の x_6 や x_10 の係数は大きく、他の選手による軌道の変化があったり、ループシュートであるとセーブの失敗確率が100％に大きく近づく事を意味しています。
（シュート後にボールが選手に接触し、反射すれば、GKが反応することはほぼ不可能。ループシュートについては、その状況の多くがGKとの1対1であるためと思われる。）
想像として、「？mの距離からヘディングで、ちょっと当たりそこねで速度は遅くて？秒でゴールに到達」のように状況を考えれば、予測式から失敗確率を計算する事ができます。
分割表による検証は私もやった事が無いのでよくわかりませんが、これで十分かな？
概要の英文
今回の論文を読んで、私にとってはこれが一番のクリティカルな点。
冒頭の英文概要の第一文。
The present study was verify of reliability and validity the regression equation constructed using the game footage from the 2010 FIFA World Cup.
「verify」を辞書で何度見ても他動詞しかない。
他の英文も文法的に怪しい点はありますが、最初にこの文を読んだ時はちょっと衝撃が強かったです。
これが出版された論文の文章だということが、非常にショックでした。
筆者、共著者（時には指導教官）、レフリー、エディター、出版作業、思いつくだけで五層のフィルターがかかるはずですが、全くチェックが働かないって、どういう事？
私は日本の大学のサッカー界隈の研究者との交流は全く無く、分野内の事情も知りませんが、英語で書いている以上は海外の研究者に情報が伝わる事を意識しているはずで、そこでこういうケアレスミスがそのまま出るとなると、海外・他分野の研究者がこの研究を知ろうとしても、その出鼻をくじかれるでしょう。
測定者間信頼性
測定者間信頼性の議論には疑問があります。
「データを取る人によって値が変わるか？」という測定者間信頼性について、Ⅲ-2の末尾で「2人が測定したデータを使って失敗確率を比較したところ級内相関係数0.91の良い値が得られた」、とあります。
これは無いほうが良いのでは？
級内相関係数は、測定者間の信頼性（再現性）を評価するためのもので、測定値から計算された失敗確率自体の比較に適用する事が妥当とは思えません。
（測定値の級内相関係数を計算すれば測定再現性の評価としては十分で、失敗確率の級内相関係数の計算は蛇足、誤用ではないか？）
両者の測定値から計算された失敗確率については、散布図を見せて、単に相関係数を計算してはどうでしょうか。
失敗確率については、現場の使用者の観点からは、両者の測定値から計算された失敗確率の差が気になると思います。
差の頻度分布を見れば、おそらくガウス分布になるでしょうから典型的な誤差幅が得られます。
「観測者が違うとこれくらいの誤差幅はあります」という事がわかっていると、失敗確率を使用する時の目安になります。
プレスリリースのロジック
ここもなんかすっきりしません。
ロジックの1段階、抜かしていませんか？
冒頭の箇条書き
2. 構築した回帰式は信頼性および妥当性が高く、一般化可能な有用な式であることが検証されました。
3. この回帰式を活用することにより、現場に有用な新たなゴールキーパー評価が可能になりました。
今後の展開
これらの結果から、「シュートストップ失敗確率予測回帰式」を用いて算出される失敗確率の評定者間信頼性、および外的妥当性は高く、世界トップレベルのゴールキーパーのシュートストップ能力を基準として、シュートストップ失敗確率を予測する上で一般化可能な、有用な式であると考えられます。この回帰式を活用することにより、現場に有用な新たなゴールキーパー評価が可能になると期待されます。
回帰式を得るために解析したサンプルが2010年W杯で、その検証に同レベルの2014年W杯のデータを使いました、というのが本論文のスジ。
今後の展開には「世界トップレベルのゴールキーパーのシュートストップ能力を基準として」という限定が書かれている。
この限定を受けて、今後の展開の末尾は、「この回帰式を活用することにより、現場に有用な新たなゴールキーパー評価が可能になると期待されます。」となっている。（「この回帰式を活用」も怪しいかなぁ）
例えば私が考えるに、この限定を取り除いて一般化するために考えられる方法は3つ。
- 下のレベルのデータでこの回帰式を検証する（結果が良ければ、これが最短）。
- サンプル範囲を増やして、下のレベルを含めた広範囲に適用可能な一つの回帰式を改めて求めて、別のデータセットで検証する。
- レベル（カテゴリ？）ごとの回帰式を求めて、検証する。
しかし、プレスリリース冒頭の箇条書きでは、「、、、一般化可能な有用な式であることが検証されました。、、、現場に有用な新たなゴールキーパー評価が可能になりました。」となっていて、今回の式がそのまま下のレベルでも使用可能な印象を与えている。
今回の論文の結果（そもそもの論理展開）では、「W杯限定で一般化可能な回帰式」の範囲を出ない。
回帰式が今回の検証結果だけでそのまま下位のレベルにも一般化可能だというのなら、そもそも2014年W杯のデータを待たずに、国別カテゴリー別年代別の試合のデータセットで検証すればそれで済む話でしょうに。
ロジックの1段階、抜かしていませんか？
プレスリリースというのは研究者にとって大きな業績ですが、このロジックで大丈夫ですかね？
2014年の論文の回帰式の要因の選択
2014年の論文では、最初に、失敗要因を探るために12のカテゴリ変数（例、ヘディングなら０、足でのシュートなら１などの分類）と５の連続変数を測定し、シュートストップ失敗との関係を調べています。
しかし、Ⅲ-3において、「2項ロジスティック回帰分析の結果から、回帰式の要因は10」と唐突に限定され、表３に10の要因の諸数値だけがまとめられ、回帰式が計算されています。
ここは、17の要因の結果をすべて見せて、「閾値がこうなっており10の要因が選ばれました」にして欲しかったところです。
（追記、よく考えてみると、「して欲しかった」ではなく「しなければならない」ですね。私なら、これの説明を入れないなら受理は無い。）
さらに言えば、表3の各柱の変数の説明がありません。（「Wald」って何？）
2項ロジスティック回帰分析や分割表による検証の手法まで説明する必要はもちろん無いですが、表中に変数をまとめたのなら、その名称の説明くらいは必要かと。
詳細に調べればまだ突っ込めそうな気はしますが、そんなに時間を掛ける気は無いのでここまです。
筆者にとって、こういう批判を書かれるのが嫌なのは良く分かりますが、そもそも今回の私のコメントは、共著者やレフリーの段階で指摘されるべきはずで、こういう事を修正した結果、読みやすい理解しやすい良い論文になっていくはずで。
そういう、研究結果を「研磨する作業」が機能していないと大変だなと思います。
繰り返しますが、今回のコメントは、本論文の結果を否定するものではありません。
ただ、良い論文ではありません。
にほんブログ村
20181024、「てにをは」修正。追記ちょっと。
0 件のコメント:
コメントを投稿