集計方式解説
採点者全員が全てのSSを読む（採点する）事が困難である事を前提に、読まれなかったことによる影響を少なくするような方式です。
概略
採点は10点満点で行います。
集計は、全てのSSを他作品と1本ずつ比較します。
No.001とNo.002を比較する場合。
まず、全投票IDから、この２本とも採点しているIDを抜き出します。
どちらか片方にだけ投票、あるいはどちらにも投票していないIDはこの比較に使用しません。
そのうえで、どちらに高得点をつけた人が多いかで勝敗を決定。
多い方に3点。同数なら引き分けとし両方に1点を加算します。
これを全ての組み合わせに対して行い、点数で順位を決定します。
サッカーを見てる人などは、理解が簡単でしょう。
総当たりリーグ戦、勝ち点方式です。
特徴
この方式では、各投票者の評価内で、各SSの点数に差が出ている事が順位に反映されます。（その差の大きさは無関係）
全てのSSに「1点」「2点」しかつけない人がいたとして、それを「9点」「10点」に置き換えても、「1点」「10点」に置き換えても順位算出上は全く同じです。
また、「10点のSSにしか投票しない」という行動も順位への影響は全くありません。（悪影響もない）
有効投票条件の最低投票本数設定はありません。
1本でも、点数としてはカウントし感想も有効です。ただし順位への影響力はありません。
2本以上で順位に影響が出ます。（ただし、全て同じ点数にしたら影響なし）
しかし、投票本数が少なければ影響力は小さくなります。
例として、100本のSS投稿があったとします。
その場合比較する組み合わせ数は 4950通りですが、2本にしか投票していないとそのうち1通りの組み合わせの比較にしか使用されません。
影響力は全てに投票した場合の 1/4950 ということになります。
平均点の順番とはかなり差がでる可能性もあります。
例えば5人の投票者がいたとします。
No.001に対する評価が、(9,9,9,9,9）でNo.002に対する評価が(10,10,10,1,1）であれば、平均点では、No.001(9.0)＞No.002（6.4)ですが、新方式では「2対3」でNo.002が上になります。
No.002にNo.001より高得点とつけた人が多いという計算です。
単純に言えば、両方のSSを読んだ人に『どっちがよかったですか』と多数決をとり、それを全組み合わせでやって、総合するという方式です。
（補足）総当たりの勝ち点で同点の場合の扱い
2本のSSが同点の時
その2本の比較の結果（直接対決）によります。
それで引き分けの場合は、同順位とします。
3本以上のSSが同点の時
同点のSSだけで全体と同様の総当たり方式で勝ち点を計算します。
その結果、最高得点をとったSSとそれ以外に分離し、それぞれに再度同点の場合の扱いを適用します。
勝ち点が全て同じになった場合は、投票IDをその同点となったSS全てに投票しているものに限定し、最高点をつけた人数を比較して、もっとも多かったSSとそれ以外に分離し、それぞれに再度同点の場合の扱いを適用します。
ここでも全て同点となった場合は、全て同着とします。
例
No.001〜No.004が全体で同点（3位）となったとします。
まず、この4本の組み合わせを抜き出します（以下のようになったとします）
No.001 −○○▲ 勝ち点7
No.002 ×−○× 勝ち点3
No.003 ××−○ 勝ち点3
No.004 ▲○×− 勝ち点4
No.001が最高得点です。
最高得点は1本ですので、No.001が3位確定です。
（ここで勝ち点4のNo.004が4位確定ではない事に注意）
残った3本に対し、再度同点の場合の扱いを適用し、この3本の組み合わせを抜き出すと以下になります。
No.002 −○× 勝ち点3
No.003 ×−○ 勝ち点3
No.004 ○×− 勝ち点3
3本が同点で並んだので、この3本ともに投票しているIDに限定して比較します。
仮に、そのIDが5本だとして、そのNo.002〜No.004の点数が
(1,5,8)
(4,4,3) （←No.002,003両方に1点加算）
(6,8,9)
(5,9,7)
(6,1,8)
であれば、
No.002 1点
No.003 2点
No.004 3点
となり、最高点のNo.004が4位確定です。
（ここで2点のNo.003が5位確定ではない事に注意）
残りはNo.002とNo.003の2本なので、単純比較により、
No.002 −○
No.003 ×−
No.002が5位確定。No.003が6位確定。
となります。
※おねこんぺの解説より。
２００５年６月、システムへの誤解が分かりました。
解説して頂いている文章を転載します。
偏差値平均方式採用に至った流れ
月姫こんぺや、本こんぺの前身にあたるKanonSSこんぺ（Ｋａｎｏｎ ＳＳ自動リンクさん主催）は集計方法に、偏差値平均方式ではなく平均点50点方式を採用しています。ここでは、本こんぺで何故平均点50点方式ではなく、偏差値平均方式を採用したのかについて説明します。
まず、平均点50点方式は以下のような集計方法を用いています。
各人のつけた点数を、以下のようにして集計します。
例えば、採点者ｘが作品Ａに対してＮ点を付けたとする。
その時、作品Ａに与えられる点数αは以下のように求められる。
１．採点者ｘが全作品に付けた点数の平均ave(ｘ）を求める。
２．α＝Ｎ÷ave（ｘ）×５０
このようなαを全採点者×全作品に対して求め、作品別にαの平均Ａ（α）、Ｂ（α）……を求める。
このようにして求めた、各作品の平均点の高低によって順位を決定する。
※基本的には以上となりますが、ここで一つ修正が入ります。
α＞１００の時、α＝１００とする。
何故このような方法を採るかと言うと、採点者が必ずしも全ての作品に点数をつけられるとは限らないからです。
例えば、作品毎に全ての採点者の付けた点数を合計して、その点数の大小で順位を決定する方式ですと、採点数の多い作品が不当に高く評価されてしまいます。それを防ぐために、各採点者の点数を平均する方式を求めています。
一方、採点者が全ての作品に点数をつけられないことで、もう一つの問題が発生します。それは、（全体として）基準の甘い採点者に採点された（傾向のある）作品の方が、（全体として）基準の辛い採点者に採点された（傾向のある）作品よりも有利になってしまうことです。
そこで、平均点50点方式ではその修正を行い、ある作品にある採点者がつけた点数そのものではなく、点数の価値を数字化してそれを順位の算出に用いています。
ですが、集計方法に万能なものは存在せず、平均点50点方式には特に以下のような問題点が存在しました（※）。
- 平均点が５点以下の人の採点が影響の補正を受け、本人の意識と乖離した集計が行われてしまう。
- 特に、平均点が４．５点以下の人が９点や１０点などの大きな点数を付けた場合に、それらの影響が一律にα＝１００として集計されてしまう。
これらは、上記集計方法で『α＞１００の時、α＝１００とする』という修正を行った弊害となります。採点者全員が採点の平均点を５点以上にすれば（また、そのように主催が事前に注意を喚起しておけば）問題は特になくなります。
それでは『α＞１００の時、α＝１００とする』という修正をなくせば良いではないか、とも思われるでしょうが、この修正には重要な意味があります。修正のない平均点50点方式では、採点者が特定の作品に、不当に高い点数を付ける事が可能となります。
例えば平均点２点の採点者がある作品に１０点を付けた場合、α＝１０÷２×５０＝２５０となり、２５０点を与えることができます。これは平均点５点の採点者の１０点（α＝１０÷５×５０＝１００）の２．５倍もの影響力を持つことになります。
これを防ぐための修正となります。αの上限が１００となっているのは、ある採点者の影響力が他の採点者の影響力の２倍を超えないようにという配慮だと思われます（主催者＝CGI製作者ではないのであくまで予想ですが）。
現実に採点の平均点が５点以下の採点者は存在するのであり、またαの上限を１００以上にするのも、採点の平均点が低い者に対する逆差別になるとの考えから、本こんぺでは集計方式に平均点50点方式をやめ、偏差値平均方式を採用することにしました
偏差値とは、平たく言えば点数の価値を数字化したものですから、その平均値を算出する偏差値平均方式は平均点50点方式の長所を備えていると言えます。
一方、算出した偏差値α’が１００を超えることは極めて希です（例えば、３０作品のうち２９作品に１点をつけ、１作品だけ１０点を入れた場合でも、１０点を付けた作品の偏差値は９２．６）。
以上の点から、偏差値平均方式の方がより採点者の意図を反映しやすい採点方法と判断し、採用に至りました。
もちろん、この方法にも問題はあります。例えば偏差値５０と６０の作品の差と、偏差値６０と７０の作品の差は同質ではありませんが、平均化することでこれらの差の質の違いを無視すると言った問題等があります（そもそも、偏差値はこのような算出方法の為に考え出された評価方式ではありません）。
ですが、長所と短所を検討した結果、主催は偏差値平均方式が現状では最も採点者の意図を反映出来る集計方法と考え、この方式を採用致します。
※後に、平均点50点方式はCGI自体に致命的ミス（１００を超えるαを持つ採点者の採点すべてが無効になる）が存在することが判明しました。
（多謝：第二回Ｋａｎｏｎ ＳＳこんぺ主催春日 姫宮さん ＆ バグ告発及び修正Ｒｅｖｉｎさん）
というように、順位算出やＣＧＩのバグなどに誤認がありました。
しかし、誤りを是正しても激的な変化があるわけではなく、ほぼぶっちぎりだった４位以上の作品に変わりはないでしょう。
当時誰も疑問にしなかったということで、『お祭り』の結果を今更確かめるような野暮なことは無しとさせてください。
もともとシオリー祭りにおいて、順位は副次的な側面の要素でしたので。