コラム論文を読む

原価予測AIの論文の「誤差10%」は、何を測った?図面13,684枚の前提と、テストの件数によるぶれ

• 公開 2026年10月16日
• 更新 2026年10月17日
• 事実の確認 2026年10月16日
• 著者:ai-dounyuu.com 主宰(見積帳場)(元AIエンジニア(中小企業のAI導入支援)) / 運営者について

図面からの原価予測をAIで試した論文 arXiv:2508.12440(2025年8月、査読前)は、自動車部品の図面13,684枚・24グループで、平均の誤差(MAPE)がおおむね10%と報告しています。ただ、グループ別には3.91%〜18.51%の幅があり、いちばん小さいグループは34枚で、テストは約5枚です。見積帳場の架空データの計算では、本当の誤差が10%でも、テスト5件で測ると4.8〜16.0%の幅で出ました(2026年10月時点)。

全体の流れと費用は製造業の見積の自動化のページにまとめています。

要点

• 原価予測の論文 arXiv:2508.12440 の「誤差おおむね10%」は、自動車部品の図面13,684枚を24グループに分けた平均です。
• グループ別の誤差は3.91〜18.51%で、図面の枚数と誤差の順位相関は0.17でした。枚数が多いほど当たるとは言えません。
• 最小の34枚のグループはテストが約5枚です。架空データでは、本当の誤差10%でもテスト5件だと4.8〜16.0%の幅で出ました。
• 予測する値が原価か販売価格かは本文で明確ではありません。自社で試すなら、テストを70件ほど取れる件数で確かめます。

原価予測AIの論文の「誤差10%」は、何を測った数字ですか?

自動車の足回りの部品の図面13,684枚を24のグループに分け、グループごとに作った予測をテストした誤差です。会社の見積全体を1つの仕組みで当てた数字ではありません。

論文はトルコのボアズィチ大学の研究所と、自動車部品メーカーなど8名の共著です。arXivで2025年8月17日に公開された第1版で、査読はまだ経ていません。誤差の物差しはMAPE(平均絶対誤差率)で、予測と実際の差を実際の値で割った割合の平均です。

論文の条件を、見積に当てはめるときの注意と並べました。読み方を最も左右するのは、予測する値の定義とテストの枚数です。

24グループの誤差は、どれくらいばらついていますか?

いちばん小さい3.91%から大きい18.51%まで、4倍以上の幅があります。「おおむね10%」は24グループを並べたときの真ん中あたりという意味で、どのグループも10%付近に収まるわけではありません。

論文の表4は、グループごとに3つの方法のMAPEを載せ、各行で最も小さい値を太字にしています。見積帳場で太字の値を集計すると、単純平均は10.07%、図面の枚数で重みを付けた平均は10.42%でした。18.51%はXGBoostの値で、同じグループのCatBoostは13.91%です。

枚数と誤差の順位相関は0.17で、枚数が多いグループほど誤差が小さいという関係は見えません。34枚のグループが3.93%、1,707枚のグループが12.02%です。著者も、精度はデータの量だけでは決まらず、形のそろい方や原価のばらつきが効くと書いています。

太字の値は、テストの結果を見てから3つの方法のうち低いものを選んだ値です。実際に使うときは、方法を選ぶ時点でテストの結果は分かりません。私の読みでは、太字だけを並べた平均は少し低めに出ています。

テストが数枚のグループの「3.93%」は、どこまで信じられますか?

テストが約5枚の値は、それだけでは精度の判断に使えません。見積帳場の計算では、本当の誤差が10.0%の予測でも、テスト5件で測ると、5〜95%の範囲で4.8〜16.0%の幅に出ました。

24グループのうち、テストが15枚未満のグループは5つあります(全体が34・37・58・64・91枚)。そのうち3つの誤差が3.91〜4.73%で、表の中で最も小さい値はこの小さなグループに集まっています。

計算は scripts/figs/cost_prediction_paper.py です。平均の誤差がちょうど10.0%になる架空の予測を2,000件作りました。そこからテストの件数ぶんを選び直してMAPEを出すことを、10,000回くり返しています。

ape = np.abs(rng.lognormal(0, s, 2000) - 1)          # 1件ごとの誤差(架空)
ape *= 0.10 / ape.mean()                              # 平均をちょうど10.0%に(sは二分探索で決めた値)
m = ape[rng.integers(0, 2000, (10000, n))].mean(axis=1)   # テストn件のMAPEを1万回
print(np.percentile(m, [5, 95]))

テスト5件で3.93%以下に出る割合は2.0%、15%以上に出る割合は8.4%でした。テスト70件なら幅は8.5〜11.6%まで狭まります。この計算は外れ方を対数正規と置いており、大きな外れが混ざるデータでは幅はもっと広がります。

予測しているのは、原価ですか、販売価格ですか?

論文の本文では、どちらかが明確ではありません。データの節は「物価の変動を補正した過去の1個あたりの製造コスト」と書いています。一方で序論は「直接費と間接費を含む過去の販売価格を使う」としています。

見積で使うときは、この違いで使い道が変わります。原価を予測するなら、材料・加工・段取りの積み上げを点検する道具になります。販売価格を予測するなら、利益や値引き、取引先との交渉の結果まで含めた、過去の値決めの再現になります。

著者は限界として、高い部品ほど低めに予測しがちだと書いています。対象は1個€0.50〜€50.00の部品で、この範囲の外の品物で同じ精度が出るかは確かめられていません。説明の分析(SHAP)も、24グループのうち1グループだけです。

自社の過去見積で試すなら、何件あればよいですか?

論文と同じく15%をテストに回すなら、テストを70件取れる約470件が1つの目安です。見積帳場の計算では、テスト70件ならMAPEのぶれは8.5〜11.6%に収まりました。過去見積が100件だとテストは15件で、6.9〜13.4%の幅になります。

学習に使う件数でも誤差は変わります。架空の過去見積で単価予測の誤差を測った記事では、勾配ブースティングの誤差が100件で12.2%、200件で10.0%でした。

この論文から取り入れたい考え方は2つあります。品物の種類ごとに予測を分けることと、予測の大きな外れを過去の見積の誤りを探す手がかりに使うことです。後者は著者も間接的な利点として挙げています。取り入れないのは、種類の違う品物の誤差を1つの平均で語ることと、予測の金額を人が見ずに出すことです。

私が見積の予測を作るときは、図面の読み取りは入れず、材質・寸法・穴数・公差・数量の列から予測します。予測は積み上げの金額と並べて出し、差が大きい見積を「要確認」にして、値決めは人が行います。積み上げの式は見積単価の計算方法の記事にまとめました。

論文の誤差を自社の見積に当てはめるには?

論文や製品説明の「誤差10%」が自社の見積に当てはまるかを、見積帳場の主宰が一緒に見ます。今の見積の出し方をうかがいながら考えます(無料で相談する)。

何をどう頼むか決まっていなくても大丈夫です。御社のやり方に合わせて、進め方を一緒に考えます。準備は要りません。