精度は信用できる？SantaアルクのTOEIC予測スコア

Santaアルクには「スコア診断テスト」というものがあります。

5分ほどでチャチャっとTOEICスコアの目安が分かるのですごく便利ですよね。

しかし、実際にやってみて、以下のような疑問を持ちませんでしたか？

・思ったよりスコアが高い。嬉しいけど、本当にこのスコアって信用できるの？

・思ったよりスコアが低い…ショックだけど私の実力って本当はこんなもんなのかな？

想像していたスコアと予測スコア（推定点数）があまりにも離れていると疑いたくもなりますよね。

そこで今回は、Santaアルクの予測スコア精度についてお話します。

最初に言っておくと、結論は以下です。

初回のスコア診断テストで得られる予測スコアは参考値と考えるのが良い。

しかし、Santaアルクで学習を進めていくと精度が高まっていく。

この記事では、上の結論を導き出すために集めた情報について紹介していきます。

この記事でわかること

Santaアルクのスコア診断と予測スコア精度に関する口コミ
筆者がスコア診断を実際にやってみた結果

すべて読めば、「Santaアルクの予測スコアをどれくらい信用して良いのか」が分かりますよ。

1. 公式によると予測スコアの精度は95%
2. スコア診断と予測スコアについての口コミ
- 2.1. 精度が悪いという口コミ
- 2.2. 精度が良いという口コミ
3. スコア診断をやってみたら、口コミ通りだった
- 3.1. 初回のスコア診断は実際のスコアから±100点以内だった
- 3.2. 学習を進めると精度が上がった
4. まとめ：学習していく中で予測スコアの精度は高まる

公式によると予測スコアの精度は95%

Santaアルクのスコア診断は、400万人の学習データとAI技術を用いて、

たった5分ほどでTOEICの予測スコアが分かるという診断テストです。

短時間で予測スコアが出るだけあって、最新の技術が使われてるってことですね。

公式では、予測スコアの精度は95%とされています。

スコア診断と予測スコアについての口コミ

予測スコアの精度は95％と言われていますが、実際はどうなんでしょうか？

精度を調べるために、実際にスコア診断を受けた人の口コミを調査しました。

精度が悪いという口コミ

まずは、予測スコアの精度が悪かったという口コミについて紹介していきます。

スタサプの契約期間が終わったので、よくTOEIC無料スコア診断の広告で出てくるアプリ「Santa」を最近使ってみてる。
予測スコアの精度、90%以上って書いてあるけど実際どうなんだろ…
ちなみに私は実際のスコアより40点高く出た🤔
やったことある人いるかな？#toeic pic.twitter.com/dFiW7dzreo
— いち🌼ゆるく楽しく (@ichigo_ichi_a) November 18, 2022

スコア診断を受けたらえらい高い点数が出て「リスニング2問しか出なかったのに、なんでこんな点数になるなんて分かるんだ？」と思いつつテスト本番に臨んだら、200点近く開きがあった。
Google Play Storeのレビュー

最初のレベルチェックで、実際の直近のTOEICのスコアより100点ぐらい低く出ました。「制限時間を過ぎています」というコメントが何度か出たからだと思いますが、時間配分と正確性は人によって違うのでは？いろんなレベルチェックを受けましたが、実力を反映してくれないところから、信頼性を低く評価させていただきます。
Google Play Storeのレビュー

これらの口コミによると、最大で200点くらいは実際のスコアと差がでることがあるみたいですね。

とはいえ、初回のスコア診断では「実際のスコアと±100点くらいの差だった」という意見が多い印象がありました。

また、予測スコアは実際より高いこともあれば、低いこともあるようです。

精度が良いという口コミ

精度が悪いという口コミがいくつかありましたが、

もちろん予測スコアの精度が良いという口コミも多数あったので、そちらも紹介していきます。

TOEIC結果出てました。過去最高得点。Santaの予測スコアと10点しか違わなかったのスゴイ pic.twitter.com/eSCqQuX6ty
— ゆかねえ (@_yukanee) February 14, 2023

TOEIC久しぶりに受けたら900点だった。santaの予測スコアより良かった。L:455, R:445だったから、予測の精度結構高い。 pic.twitter.com/bBON8lqh6e
— mtn (@KA1545) March 3, 2023

以前受けたTOEICの点数と比較してもAIによるスコア予想はかなり正確であると感じています。ただし、注意点としていきなり正確な予想スコアが出るのではなく問題を解くうちに近づいていくため、最初はスコアを意識せず割り切って取り組むと続けやすいと思います。予想スコアが安定すると自分に必要な問題が自動で選択されるため、とても使いやすいです。
Google Play Storeのレビュー

2022.2(Santa使用前)のTOEICスコアは600点台後半だった。
2022.6に受験したTOEICは765点だった。ちなみに同時期にSantaで算出されていた推定スコアは730～790あたりをうろうろしていたので、割と正確だった。
App Storeのレビュー

「精度が良い」とレビューされている口コミによると、初回の診断テストによる予想スコアでも高い精度で出る場合もあるよう（実際のスコアから10点差程度）。

また、初回の診断テストのあとも学習内容によって予測スコアが更新されていくのですが、

学習を進めれば進めるほど、予測スコアの精度が高まっていくとの口コミがありました（最終的に±30点ほどの精度になる模様）。

これは、あるレビューへの公式回答からも読み取れます。

最初のレベルテストは精度が多少下がる可能性があります。 Santaのアルゴリズムは、問題を解くたびに個人の実力を把握し適切な問題を提供します。したがって、最初のレベルテストでたまたま正解となった問題に関して、多少点数が高くなってしまう可能性があります。多くの問題を解けば解くほど、点数予測の精度は上がっていきます。無料機能のみでも学習いただけますので、お試しいただけますと幸いです。
Google Play Storeのレビューに対する、公式（Riiid社）からの回答

この公式回答によると、初回の診断テストでは予測スコアの精度が少し落ちるが、問題を解いていくと精度が上がるようです。

口コミの内容とも一致しているため、問題を解けば精度が上がるというのは間違いないでしょう。