月姫こんぺや、本こんぺの前身にあたるKanonSSこんぺ(Kanon SS自動リンクさん主催)は集計方法に、偏差値平均方式ではなく平均点50点方式を採用しています。ここでは、本こんぺで何故平均点50点方式ではなく、偏差値平均方式を採用したのかについて説明します。
まず、平均点50点方式は以下のような集計方法を用いています。
各人のつけた点数を、以下のようにして集計します。 例えば、採点者xが作品Aに対してN点を付けたとする。 その時、作品Aに与えられる点数αは以下のように求められる。 1.採点者xが全作品に付けた点数の平均ave(x)を求める。 2.α=N÷ave(x)×50 このようなαを全採点者×全作品に対して求め、作品別にαの平均A(α)、B(α)……を求める。 このようにして求めた、各作品の平均点の高低によって順位を決定する。 ※基本的には以上となりますが、ここで一つ修正が入ります。 α>100の時、α=100とする。
何故このような方法を採るかと言うと、採点者が必ずしも全ての作品に点数をつけられるとは限らないからです。
例えば、作品毎に全ての採点者の付けた点数を合計して、その点数の大小で順位を決定する方式ですと、採点数の多い作品が不当に高く評価されてしまいます。それを防ぐために、各採点者の点数を平均する方式を求めています。
一方、採点者が全ての作品に点数をつけられないことで、もう一つの問題が発生します。それは、(全体として)基準の甘い採点者に採点された(傾向のある)作品の方が、(全体として)基準の辛い採点者に採点された(傾向のある)作品よりも有利になってしまうことです。
そこで、平均点50点方式ではその修正を行い、ある作品にある採点者がつけた点数そのものではなく、点数の価値を数字化してそれを順位の算出に用いています。
ですが、集計方法に万能なものは存在せず、平均点50点方式には特に以下のような問題点が存在しました(※)。
これらは、上記集計方法で『α>100の時、α=100とする』という修正を行った弊害となります。採点者全員が採点の平均点を5点以上にすれば(また、そのように主催が事前に注意を喚起しておけば)問題は特になくなります。
それでは『α>100の時、α=100とする』という修正をなくせば良いではないか、とも思われるでしょうが、この修正には重要な意味があります。修正のない平均点50点方式では、採点者が特定の作品に、不当に高い点数を付ける事が可能となります。
例えば平均点2点の採点者がある作品に10点を付けた場合、α=10÷2×50=250となり、250点を与えることができます。これは平均点5点の採点者の10点(α=10÷5×50=100)の2.5倍もの影響力を持つことになります。
これを防ぐための修正となります。αの上限が100となっているのは、ある採点者の影響力が他の採点者の影響力の2倍を超えないようにという配慮だと思われます(主催者=CGI製作者ではないのであくまで予想ですが)。
現実に採点の平均点が5点以下の採点者は存在するのであり、またαの上限を100以上にするのも、採点の平均点が低い者に対する逆差別になるとの考えから、本こんぺでは集計方式に平均点50点方式をやめ、偏差値平均方式を採用することにしました
偏差値とは、平たく言えば点数の価値を数字化したものですから、その平均値を算出する偏差値平均方式は平均点50点方式の長所を備えていると言えます。
一方、算出した偏差値α’が100を超えることは極めて希です(例えば、30作品のうち29作品に1点をつけ、1作品だけ10点を入れた場合でも、10点を付けた作品の偏差値は92.6)。
以上の点から、偏差値平均方式の方がより採点者の意図を反映しやすい採点方法と判断し、採用に至りました。
もちろん、この方法にも問題はあります。例えば偏差値50と60の作品の差と、偏差値60と70の作品の差は同質ではありませんが、平均化することでこれらの差の質の違いを無視すると言った問題等があります(そもそも、偏差値はこのような算出方法の為に考え出された評価方式ではありません)。
ですが、長所と短所を検討した結果、主催は偏差値平均方式が現状では最も採点者の意図を反映出来る集計方法と考え、この方式を採用致します。
※後に、平均点50点方式はCGI自体に致命的ミス(100を超えるαを持つ採点者の採点すべてが無効になる)が存在することが判明しました。
(多謝:第二回Kanon SSこんぺ主催春日 姫宮さん & バグ告発及び修正Revinさん)