英語の「言外の意味」を読むゲーム Read the Room のステージ44「Same Thread, Faster」に出てくる15の表現を、字面・本当の意味・手がかりの順に解説します。場面は次のとおりです。

One week in April, online and at a conference poster session. A paper built on your data meets its critics. The lab and the people are fictional.

Three more months. John's paper is out: RL reaches new proofs only on long ones, using your Lean data, now with three seeds. You're in the acknowledgments, not the author list. This week the critics arrive, and some of them call back to October and January without explaining. Feed is the timeline: you only read it, and what you choose there is a private note. Prof. Wren is your advisor, by email. #rl-reading is your lab's server. John is a private message. Poster is Thursday's poster session, in person. Less time this round. This stage only fails if nine answers in ten are wrong. The last of three.

さらに3か月後。John の論文が出ました。RL がベースの先に行くのは長い証明だけ、という内容で、あなたの Lean のデータ(今はシード3つ)を使っています。あなたは謝辞に載っていて、著者ではありません。今週は批判が届き、その一部は10月や1月の話を説明なしに持ち出します。Feed はタイムライン:読むだけで、選ぶのは自分へのメモです。Prof. Wren は指導教員(メール)、#rl-reading は研究室のサーバー、John は個別メッセージ、Poster は木曜の対面のポスター発表です。今回は時間が短くなります。このステージは、答えの9割を間違えたときだけ失敗になります。3部作の最後です。

このページはステージの内容を先に明かします。自分で読み取れるか試したい方は、先にゲームで遊んでから戻ってくるのがおすすめです(無料・登録不要)。

このステージを遊ぶ(Read the Room)

1Paper's out: expansion in RLVR is depth-dependent. Lean, three seeds, 212 proofs, data from a PhD student (thanks). Short proofs: sharpening. Past 40 steps: RL reaches what base can't. Poster Thursday.

John 断言型(事実を伝える)/字面どおり

字面
論文が出た:RLVR の expansion は深さしだい。Lean、シード3つ、212問、データはある博士課程の学生から(感謝)。短い証明:研ぐ。40手超:ベースに届かない所に RL が届く。ポスターは木曜。
本当の意味
主張(範囲を限った、論文の結論)
手がかり
depth-dependent が核。短い証明と40手超の対比。42の「研ぐだけ」と43の撤回を経て、範囲つきの主張になった(D)。three seeds は43の one seed からの前進
やさしい英語で言うと
Our paper says RL helps in a new way only on long proofs.
同じ意味の別の言い方
  • Paper's out: in RLVR, expansion is depth-dependent. Lean, three seeds, 212 proofs; data from a PhD student (thank you). Short proofs: sharpening. Past 40 steps: RL reaches what the base can't. Poster Thursday.
  • Paper's up. Expansion in RLVR depends on depth. Lean; three seeds; 212 proofs; data from a PhD student (thanks). Short proofs sharpen. Past 40 steps, RL reaches what base can't. Poster on Thursday.
似た表現
  • It depends on depth.
  • Two regimes.
  • Short: X. Long: Y.
用語(調べる前の仮置き)
  • depth-dependent → idea/論文の主張/証明の長さで結果が変わる
  • three seeds → metric/43からの前進/3回の独立した実行
残す型
X: A. Y: B. の対は、両側を保つ

2the deep proofs in that set were in mathlib by mid-2024. base cutoff: 2025. you do the math.

mathlib nerd 断言型(事実を伝える)/言いさし・省略

John: Paper's out: expansion in RLVR is depth-dependent. Lean, three seeds, 212 proofs, data from a PhD student (thanks). Short proofs: sharpening. Past 40 steps: RL reaches what base can't. Poster Thursday.
字面
そのデータの深い証明は、2024年半ばには mathlib に入っていた。ベースの学習期限は2025年。計算してみて。
本当の意味
言いさしの批判(評価データの混入の疑い)
手がかり
二つの日付と you do the math だけ。結論は「ベースが学習中にその証明を見ていたかもしれない」。39の held-out の話と同じ型(D)
やさしい英語で言うと
Those proofs were public before the model's training data was collected. It might have memorized them.
同じ意味の別の言い方
  • the deep proofs in that set were already in mathlib by mid-2024. the base's cutoff is 2025. you do the math.
  • those deep proofs: in mathlib by mid-2024. base cutoff: 2025. do the math.
似た表現
  • Check your training cutoff.
  • It's in the pretraining data.
  • Leakage.
用語(調べる前の仮置き)
  • mathlib → org/混入の出どころ/Lean の公開の証明ライブラリ
  • cutoff → metric/日付の片方/学習データの期限
残す型
you do the math は、置かれた日付から結論を自分で出す

3contamination inflates base pass@k too, so if anything the gap is conservative. unless RL is just better at retrieving what the base memorized. which is... the october thread again.

Kat Moreau 断言型(事実を伝える)/皮肉

mathlib nerd: the deep proofs in that set were in mathlib by mid-2024. base cutoff: 2025. you do the math.
字面
混入はベースの pass@k も押し上げるから、どちらかと言えば差は控えめに出ている。RL が、ベースの覚えたものを取り出すのが上手いだけ、でなければ。それって…また10月のスレだね。
本当の意味
批判への反論と、さらにその穴(話が一周する皮肉)
手がかり
if anything the gap is conservative は「むしろ差は小さめに出ている」。unless で例外を出す:覚えたものの取り出しが上手いなら、それは研ぐこと(42の主張)。which is... the october thread again は、議論が一周したという皮肉(D)
やさしい英語で言うと
If both models saw the proofs, that can't explain why RL does better. Unless RL is just better at recalling them, which is the old sharpening story.
同じ意味の別の言い方
  • contamination would inflate base pass@k as well, so the gap is, if anything, conservative. unless RL just retrieves what the base memorized better. which is the october thread. again.
  • if it's contaminated, base pass@k goes up too: the gap is conservative, if anything. unless RL is simply better at retrieving what the base memorized. so, the october thread, again.
似た表現
  • Cuts both ways.
  • That's the same argument in a new coat.
  • We've been here before.
用語(調べる前の仮置き)
  • conservative → idea/差の向き/本当より小さめに出ている
  • retrieving → method/例外の正体/覚えたものを取り出すこと=研ぐ
残す型
if anything は向きを逆にする合図。unless のあとに本当の穴

4Someone says the deep proofs were in mathlib before the base cutoff. Did you dedupe against it, and how?

John 指令型(相手に何かをさせる)/字面どおり

字面
深い証明はベースの学習期限より前に mathlib にあった、と言われている。mathlib との重複は除いた? どうやって?
本当の意味
確認の質問(方法を求めている)
手がかり
and how が大事。データを出した人として、やったこと(完全一致の除去)、その弱点(名前を変えた補題はすり抜ける)、これからやること(あいまい一致)を正直に言う
やさしい英語で言うと
Tell me exactly how you removed duplicates.
同じ意味の別の言い方
  • There's a claim the deep proofs were in mathlib before the base's cutoff. Did you dedupe against mathlib? How?
  • Question about your data: the deep proofs, in mathlib before the cutoff? Did you dedupe against it, and how?
似た表現
  • Walk me through it.
  • What exactly did you check?
  • How sure are we?
用語(調べる前の仮置き)
  • dedupe (exact / fuzzy) → method/混入への答え/重複の除去。完全一致と、あいまい一致
残す型
how と聞かれたら、方法・弱点・次の手

5reformat the same theorems so they don't look like a benchmark: RL pass@k drops 5 points, base drops 1. either the RL model learned the benchmark's look, or it knows when it's being tested. neither is great.

Tomas Reyes 断言型(事実を伝える)/ぼかし・伝聞

字面
同じ定理を、ベンチマークに見えないように書き直すと、RL 後の pass@k は5点、ベースは1点下がる。RL モデルがベンチマークの見た目を覚えたか、評価されていると分かっているか。どちらもよくない。
本当の意味
報告と、二つの解釈(どちらも悪い)
手がかり
5点と1点の差が核。either X, or Y. neither is great で、二つの説明(見た目の学習、評価への気づき)を並べ、どちらでも問題だと言う。評価への気づき(eval awareness)は近い将来に大きくなりそうな論点
やさしい英語で言うと
When the problems stop looking like a benchmark, the RL model gets worse. Either it learned the format, or it notices tests.
同じ意味の別の言い方
  • rewrite the same theorems so they don't look like benchmark items: RL pass@k falls 5 points, base falls 1. so the RL model either learned what the benchmark looks like, or knows when it's being tested. neither is great.
  • same theorems, reformatted to not look like a benchmark: RL drops 5 points of pass@k, base drops 1. either RL learned the benchmark's surface, or it can tell it's being evaluated. neither is great.
似た表現
  • Teaching to the test.
  • It behaves differently when watched.
  • Format overfitting.
用語(調べる前の仮置き)
  • eval awareness → idea/新しい心配/評価されていると気づいて振る舞いを変えること
  • reformat → method/確かめ方/中身は同じで見た目を変える
残す型
either X or Y. neither is great は、どちらでも問題という主張

6the crossover guy is back with a new crossover

gradient memes 表出型(気持ちを表す)/主張の上に乗せた冗談・ミーム

字面
交差点の人が、新しい交差点を連れて戻ってきた
本当の意味
冷やかし。新しい情報はない
手がかり
the crossover guy は42で Kat が「the crossover just moved」と言った論争からのあだ名(D)。前の回を知っていれば一瞬で捨てられる
やさしい英語で言うと
A nickname joke. No information.
同じ意味の別の言い方
  • crossover guy has returned. with a new crossover
  • the crossover guy is back, and he brought a new crossover
似た表現
  • He's back.
  • Round two.
  • Here we go again.
残す型
前の回を指すあだ名は、知っていれば一瞬で捨てられる

7found 3 of the "new" deep proofs use native_decide. that's not a proof, that's trusting the compiler. don't shoot the messenger

Ade 断言型(事実を伝える)/ぼかし・伝聞

字面
「新しく解けた」深い証明のうち3つが native_decide を使ってた。それは証明じゃなくて、コンパイラを信じてるだけ。悪い知らせの使いを撃たないで
本当の意味
報告(悪い知らせ。言い方は軽い)
手がかり
引用符つきの "new" で、新しく解けたことを疑っている。native_decide は Lean で、手順を一つずつ確かめる代わりにコンパイルしたコードを信用させる命令で、信頼の範囲(trusted base)を広げる。42の sorry と同じ「検証器の穴」の話(D)。3は全体212ではなく、勝ち36のうちの3
やさしい英語で言うと
I found a real flaw in some of the results. I'm sorry it's bad news.
同じ意味の別の言い方
  • 3 of the "new" deep proofs use native_decide. which isn't a proof, it's trusting the compiler. don't shoot the messenger
  • so. 3 of the "new" deep proofs lean on native_decide. not a proof. trusting the compiler. please don't shoot the messenger
似た表現
  • Bad news, sorry.
  • You're not going to like this.
  • Don't kill me, but...
用語(調べる前の仮置き)
  • native_decide → method/検証器の穴/コンパイルしたコードを信用して証明を省く
  • trusted base → idea/穴の正体/確かめずに信じる部分
残す型
悪い知らせは、分母を確かめ、受け止め、正しい人に回す

8You're in the acknowledgments, not on the author list. Answer what's yours to answer, the data, and leave the claims to the authors.

Prof. Wren 指令型(相手に何かをさせる)/字面どおり

字面
あなたは謝辞にいて、著者ではありません。自分が答えるべきこと、つまりデータに答え、主張は著者に任せなさい。
本当の意味
指示(立場の線引き)
手がかり
acknowledgments(謝辞)と author list(著者)の違いが、答えてよい範囲を決める。データの質問(重複除去、native_decide)には答え、主張(expansion かどうか)は John に回す
やさしい英語で言うと
Only answer questions about your data. The paper's claims are the authors' to defend.
同じ意味の別の言い方
  • Remember: acknowledgments, not author list. Answer what's yours (the data) and leave the claims to the authors.
  • A reminder. You're acknowledged, not an author. Answer what's yours, which is the data, and leave the claims to the authors.
似た表現
  • Stay in your lane.
  • Speak to what you know.
  • That's their call.
残す型
立場の線引きは、答える範囲と回す先で言う

9Thank you. Checked: three of the 36 wins use native_decide. Excluding them, the gap goes from 8 points to 6. That stays in the paper, as a correction.

John 断言型(事実を伝える)/字面どおり

字面
ありがとう。確かめた:36の勝ちのうち3つが native_decide を使っている。除くと差は8点から6点。訂正として論文に残す。
本当の意味
確認の報告と、訂正する決定
手がかり
8点から6点は、結果が消えたのではなく小さくなった。as a correction は隠さず直すという決定。プレイヤーは月曜に約束したあいまい一致の結果も渡す(commissive の履行)
やさしい英語で言うと
I checked the flaw. The result is smaller but still there, and I'll correct it openly.
同じ意味の別の言い方
  • Thanks. I checked: 3 of 36 wins use native_decide. Without them the gap is 6 points, not 8. It goes in the paper as a correction.
  • Thank you for passing it on. Three of the 36 wins use native_decide; excluding them takes the gap from 8 points to 6. It stays in the paper, as a correction.
似た表現
  • Smaller, still there.
  • We'll correct it.
  • The direction holds.
残す型
数字が小さくなったのは、消えたのではない

10Correction: 3 of 36 deep-proof wins relied on native_decide. Excluding them: +6 points, not +8. Fuzzy dedupe against mathlib removed 2 more; trend unchanged. v2 Friday.

John 宣言型(言うことで状況が変わる)/字面どおり

字面
訂正:深い証明の36の勝ちのうち3つが native_decide 頼みだった。除くと +8 ではなく +6。mathlib とのあいまい一致でさらに2問除外。傾向は変わらず。v2 は金曜。
本当の意味
宣言(公式の訂正)
手がかり
Correction: で始まる公式の訂正。数字(+8 → +6)は直し、傾向(向き)は保つ。何を、なぜ除いたかを具体的に書いている。v2 は新しい版で、撤回(retraction)ではない
やさしい英語で言うと
Here is exactly what was wrong, the corrected number, and when the new version comes out.
同じ意味の別の言い方
  • Correction: 3 of the 36 deep-proof wins relied on native_decide. Without them: +6 points, not +8. A fuzzy dedupe against mathlib removed 2 more; the trend is unchanged. v2 on Friday.
  • Correction. 3 of 36 deep-proof wins relied on native_decide; excluding them, +6, not +8. Fuzzy dedupe vs mathlib: 2 more removed, trend unchanged. v2 Friday.
似た表現
  • Erratum:
  • We've updated the paper.
  • Revised numbers:
用語(調べる前の仮置き)
  • correction vs retraction → idea/読み分けの核/直して出し直す/取り下げる
残す型
訂正は、変わった数字と変わらなかった向きを分けて読む

11Halden paper RETRACTED after flaws found.

AI Accelerate 断言型(事実を伝える)/大げさに言う

John: Correction: 3 of 36 deep-proof wins relied on native_decide. Excluding them: +6 points, not +8. Fuzzy dedupe against mathlib removed 2 more; trend unchanged. v2 Friday.
字面
Halden の論文、欠陥が見つかり「撤回」。
本当の意味
誤った言い換え(訂正を撤回にした)
手がかり
43でも John の撤回を誇張した同じアカウント(D)。RETRACTED と、John の Correction / v2 Friday を比べる。訂正は直して出し直すこと、撤回は取り下げること
やさしい英語で言うと
This turns a correction into a retraction. It isn't one.
同じ意味の別の言い方
  • BREAKING: Halden's RL paper retracted after flaws found.
  • Halden's big RL paper RETRACTED. flaws found.
似た表現
  • DEBUNKED.
  • Paper pulled.
  • It's over for...
残す型
同じアカウントの誇張は、前の回と同じ型で見抜く

12this is what correcting looks like. smaller number, same direction, two checks you can rerun. the eval-awareness point is the one i'd lose sleep over.

evals anon 表出型(気持ちを表す)/字面どおり

字面
訂正とはこういうもの。数字は小さく、向きは同じ、再実行できる確認が二つ。眠れなくなるのは、評価への気づきの話のほう。
本当の意味
称賛と、本当の問題の所在の指摘
手がかり
this is what X looks like は手本としての称賛。smaller number, same direction, two checks you can rerun の3つが良い訂正の条件。the one I'd lose sleep over で、まだ解決していない問題(火曜の Tomas)を指す
やさしい英語で言うと
This was a proper correction. The bigger worry is that models may act differently when tested.
同じ意味の別の言い方
  • this is what a correction should look like: smaller number, same direction, two checks anyone can rerun. the eval-awareness point is the one that'd keep me up.
  • correcting, done right: smaller number, same direction, two rerunnable checks. the one i'd lose sleep over is the eval-awareness point.
似た表現
  • Textbook correction.
  • That's how it's done.
  • The real problem is elsewhere.
残す型
称賛のあとの「本当の心配」が、次に読む場所

13So, is it expansion, or did RL just learn what a benchmark looks like?

Prof. Halloran 指令型(相手に何かをさせる)/答えを求めていない質問

字面
で、expansion なの? それとも RL がベンチマークの見た目を覚えただけ?
本当の意味
二択を迫る質問
手がかり
どちらか一方を選ばせる形だが、データが示すのは両方。書き直しで5点下がる(見た目の学習の分)と、深い証明の差が重複除去と native_decide の除外を経ても残る(expansion の分)。データの範囲で答え、主張を広げない
やさしい英語で言うと
Is the result real, or a trick of the benchmark?
同じ意味の別の言い方
  • So which is it: expansion, or RL learning what a benchmark looks like?
  • Expansion, then? Or did RL just learn what a benchmark looks like?
似た表現
  • Which is it?
  • Real or artifact?
  • Signal or format?
残す型
二択を迫られても、データが両側を示すなら両側を言う

14so. are you on the next paper or what

Ade 約束型(自分が引き受ける)/皮肉

字面
で、次の論文には載るの?
本当の意味
からかいと本気の質問
手がかり
or what はからかいの調子。答えは、著者になる条件(データを自分で守れること)と、今回の学び(最初からシード3つ)。John の謝辞の「(thanks)」を大きく言い換えない
やさしい英語で言うと
Are you going to be an author next time? I'm teasing, and asking.
同じ意味の別の言い方
  • so are you on the next paper, or
  • ok but are you on the next paper
似た表現
  • Co-author next time?
  • Moving up?
  • When's your paper?
残す型
からかいの問いに、本物の条件で答える

15v2 is up. Smaller claim, better checks, one new worry: eval awareness. That's the trade I'd make every time.

John 断言型(事実を伝える)/控えめに言う

字面
v2 を上げた。主張は小さく、確認は良く、新しい心配が一つ:評価への気づき。毎回この交換なら喜んでする。
本当の意味
総括(研究の進め方についての本気の評価)
手がかり
smaller claim, better checks, one new worry の3つが交換の中身。That's the trade I'd make every time で、主張が小さくなることを損ではなく前進と見ている。10月の言い切り、1月の撤回、4月の訂正を通した John の型の総まとめ(D)
やさしい英語で言うと
The result is smaller but more solid, and we found a new question. I'd always choose that.
同じ意味の別の言い方
  • v2 is up: a smaller claim, better checks, and one new worry, eval awareness. I'd make that trade every time.
  • v2's up. The claim is smaller, the checks are better, and there's one new worry (eval awareness). I'd take that trade every time.
似た表現
  • Less, but true.
  • Narrower and sounder.
  • I'll take accurate over impressive.
用語(調べる前の仮置き)
  • eval awareness → idea/再登場:次の問い/評価されていると気づくこと
  • v2 → idea/訂正の形/直して出し直した版
残す型
主張が小さくなることを前進と言う人は、3回とも同じ型で動いている

読み取れなかった表現は、ゲームの振り返り画面からえいたんカードに書き出して復習できます。発話の5分類についてはサールの発話行為の5分類で解説しています。

Read the Room で「Same Thread, Faster」を遊ぶ