英語の「言外の意味」を読むゲーム Read the Room のステージ42「Sharpens, Doesn't Expand」に出てくる15の表現を、字面・本当の意味・手がかりの順に解説します。場面は次のとおりです。

One week in October, online. A researcher's thread about reinforcement learning and reasoning splits the field. The lab and the people are fictional.

You're a PhD student. Chapter 3 of your thesis is about RL with verifiable rewards for proofs in Lean. On Monday John, a researcher at an AI lab called Halden, posts a thread arguing that this kind of RL mostly sharpens what a model can already do. Feed is the timeline: you only read it, and what you choose there is a private note. Prof. Wren is your advisor, by email. #rl-reading is your lab's reading-group server. John is a private message. Call is Friday's reading group. Your reply goes to the tab you have open. This stage only fails if nine answers in ten are wrong. The first of three.

あなたは博士課程の学生です。博士論文の第3章は、Lean の証明への「検証できる報酬を使う強化学習(RLVR)」です。月曜、AI 研究所 Halden の研究者 John が、この種の RL はモデルがもともとできることを「研ぐ」だけだ、というスレッドを投稿します。Feed はタイムライン:読むだけで、選ぶのは自分へのメモです。Prof. Wren は指導教員(メール)、#rl-reading は研究室の読書会のサーバー、John は個別メッセージ、Call は金曜の読書会です。返信は、開いているタブに送られます。このステージは、答えの9割を間違えたときだけ失敗になります。3部作の1本目です。

このページはステージの内容を先に明かします。自分で読み取れるか試したい方は、先にゲームで遊んでから戻ってくるのがおすすめです(無料・登録不要)。

このステージを遊ぶ(Read the Room)

1RLVR, as practiced, mostly sharpens. Base pass@256 beats the RL'd model's pass@256 on every set we tried; the RL model wins at k=1 by piling probability onto paths the base already samples. Useful. Not new reasoning.

John 断言型(事実を伝える)/字面どおり

字面
現在のやり方の RLVR は、だいたい「研ぐ」だけ。試したどのデータでも、ベースの pass@256 が RL 後のモデルの pass@256 を上回った。RL モデルが k=1 で勝つのは、ベースがすでにサンプルする経路に確率を積み上げるから。役には立つ。新しい推論ではない。
本当の意味
主張(RL は分布を絞るだけで、届く範囲は広げない)
手がかり
pass@k は k 回のうち1回でも解ける率。k=1 はいつもの正答率、k=256 は「そもそも届くか」の目安。as practiced と mostly が留保。Useful. Not new reasoning. の2語文が、譲歩と本主張の組
やさしい英語で言うと
RL helps the model pick answers it could already reach. It doesn't reach new ones.
同じ意味の別の言い方
  • RLVR, as currently practiced, mostly sharpens. On every set we tried, base pass@256 beats the RL'd model's pass@256; the RL model wins at k=1 by piling probability onto paths the base already samples. Useful. Not new reasoning.
  • Our read: RLVR, as practiced, mostly sharpens. Base pass@256 beats the RL'd model at k=256 on every set we tried. The RL model wins at k=1 by piling probability onto paths the base already samples. Useful. Not new reasoning.
似た表現
  • It's reweighting, not discovery.
  • It narrows, it doesn't widen.
  • Same support, sharper peak.
用語(調べる前の仮置き)
  • pass@k → metric/比べる軸/k 回のうち1回でも解ける率
  • sharpens → idea/本命の主張/すでにある答えに確率を集める
  • base → idea/比較相手/RL をする前のモデル
残す型
Useful. Not X. のような短い2語文は、譲歩と本主張の組

2Corollary nobody likes: if your "emergent" behaviour survives a spurious reward, it was the prior talking. Check your base before you write the abstract.

John 断言型(事実を伝える)/皮肉

字面
誰も好まない系:その「創発的」な振る舞いが、でたらめな報酬でも残るなら、しゃべっていたのは事前分布だ。要旨を書く前にベースを確かめよう。
本当の意味
主張(強めの皮肉つき)
手がかり
Corollary nobody likes は「当然の帰結だが、みんな嫌がる」という皮肉な前置き。引用符つきの "emergent" は書き手が疑っている印。spurious reward(正解と関係のない報酬)は原因ではなく、確かめるための道具。the prior talking は「事前学習で身についていたもの」
やさしい英語で言うと
If nonsense rewards give you the same gains, the gains were already in the base model.
同じ意味の別の言い方
  • The corollary nobody likes: if your "emergent" behaviour survives a spurious reward, that was the prior talking. Check your base before writing the abstract.
  • Unpopular corollary: if the "emergent" behaviour survives a spurious reward, it was the prior talking. Check the base before you write the abstract.
似た表現
  • It was in the weights all along.
  • That's the base model, not your method.
  • Your ablation is the random reward.
用語(調べる前の仮置き)
  • spurious reward → method/証拠の出し方/正解と関係のない報酬で回す対照実験
  • the prior → idea/real cause/事前学習で身についていた分布
  • "emergent" → idea/overrated(引用符で疑い)/RL で突然出たように見えるもの
残す型
引用符つきの用語は、書き手がその言葉を認めていない印

3"it's the prior" is unfalsifiable as stated. long runs with KL resets and clip-higher push pass@k past base on held-out puzzles. sharpening at 1k steps, expansion at 3k. the crossover just moved.

Kat Moreau 断言型(事実を伝える)/相手の言葉を引用して突っ込む

John: RLVR, as practiced, mostly sharpens. Base pass@256 beats the RL'd model's pass@256 on every set we tried; the RL model wins at k=1 by piling probability onto paths the base already samples. Useful. Not new reasoning.
字面
「事前分布のせい」は、そのままでは反証できない。KL リセットと clip-higher で長く回すと、held-out のパズルで pass@k がベースを超える。1k ステップでは研ぎ、3k では広がる。交差点が動いただけ。
本当の意味
引用への反論(否定ではなく、条件を動かす)
手がかり
unfalsifiable as stated は「その言い方のままでは検証できない」。KL resets と clip-higher は長く回すための工夫で、論点の中心ではない(noise 寄り)。the crossover just moved:曲線が交差する点が後ろにずれただけ、つまり John は早い時点を見ていた
やさしい英語で言うと
Train longer, with the right tricks, and RL starts finding answers the base can't. It's a question of when.
同じ意味の別の言い方
  • "it's the prior" is unfalsifiable as stated. long runs with KL resets and clip-higher push pass@k past the base on held-out puzzles. sharpening at 1k steps, expansion at 3k. the crossover just moved.
  • "it's the prior" isn't falsifiable as stated. run long, with KL resets and clip-higher, and pass@k passes the base on held-out puzzles. sharpening at 1k steps, expansion by 3k. the crossover moved, that's all.
似た表現
  • You stopped too early.
  • Wait for it.
  • Same curve, later crossing.
用語(調べる前の仮置き)
  • KL reset / clip-higher → method/noise 寄り(長く回す工夫)/学習を長く安定させる技
  • crossover → metric/論点の核/RL 後がベースを追い越す点
  • held-out → metric/公正さの印/学習に使っていない問題
残す型
the X just moved は、否定ではなく条件の移動

4so is your thesis dead or what

Ade 表出型(気持ちを表す)/大げさに言う

字面
で、君の博士論文は死んだの?
本当の意味
からかい(中に本物の心配がある)
手がかり
dead は大げさ。冗談で返してよいが、中身は正確に:主張が正しくても、変わるのは最初の実験で、章そのものではない。どちらにも振れすぎない
やさしい英語で言うと
Are you worried? I'm joking, but I'm also asking.
同じ意味の別の言い方
  • so is your thesis dead, or
  • ok so. is your thesis dead
似た表現
  • RIP your thesis?
  • You okay?
  • Should we hold a funeral?
残す型
からかいの中の本物の問いには、正確に、軽く

5Saw the Halden thread. Before Friday: your read in two sentences, and whether it changes Chapter 3. Don't over-index on a thread; do check whether it applies to you.

Prof. Wren 指令型(相手に何かをさせる)/字面どおり

字面
Halden のスレを見ました。金曜までに:2文であなたの読み、それと第3章が変わるかどうか。スレ一本に重きを置きすぎないこと。ただし、自分に当てはまるかは確かめて。
本当の意味
依頼(2つの依頼と1つの注意)
手がかり
Don't over-index on(重みを置きすぎるな)と do check(でも確かめよ)の組。答えは、両方の見方を1文、自分への影響を1文
やさしい英語で言うと
Summarize it briefly, and tell me if it matters for your chapter. Don't overreact, but don't ignore it.
同じ意味の別の言い方
  • I saw the Halden thread. By Friday, please: your read in two sentences, and whether it changes Chapter 3. Don't over-index on a thread, but check whether it applies to us.
  • Re the Halden thread. Before Friday I'd like your read in two sentences, and whether Chapter 3 changes. Don't over-index on a thread. Do check if it applies to you.
似た表現
  • Keep it in proportion.
  • Don't chase every thread.
  • Read it, don't marry it.
残す型
依頼の中の do と don't を、両方とも満たす

6rl researchers explaining their method works on every base model except the one everybody actually uses

gradient memes 表出型(気持ちを表す)/主張の上に乗せた冗談・ミーム

字面
自分の手法が、みんなが実際に使っている1つを除くすべてのベースモデルで効くと説明する RL 研究者
本当の意味
ミームに包んだ主張(効果はベースモデルしだい、という John の2つ目の投稿の言い換え)
手がかり
核のないミームと違い、前の投稿の論点を指している(D)。笑いの形を捨て、論点を残す
やさしい英語で言うと
Results that hold everywhere except on the most popular base model are suspicious.
同じ意味の別の言い方
  • rl people explaining their method works on every base model, except the one everyone actually uses
  • rl paper: works on every base model we tried. the one everyone uses: not pictured
似た表現
  • Works on my machine.
  • Results may vary.
  • Your mileage may vary.
残す型
ミームが前の投稿を指していたら、論点を残す

7pass@256 at T=1.0 is a strange hill to die on; nobody ships k=256. but if the claim is about the policy's support, it's the only honest place to look.

evals anon 断言型(事実を伝える)/ぼかし・伝聞

字面
T=1.0 での pass@256 は、こだわるには変わった丘。k=256 で出荷する人はいない。でも、主張が方策の support についてなら、見るべき正直な場所はそこだけ。
本当の意味
譲歩つきの擁護(John の測り方を、条件つきで認める)
手がかり
a strange hill to die on は「こだわるには妙な点」という慣用句で、ここは譲歩。but if... で本題。support は方策が少しでも確率を与える答えの範囲で、John の主張(広げない)はまさにその話。T=1.0 は条件で、批判ではない
やさしい英語で言うと
Huge k is unrealistic, but if you want to know what the model can reach at all, that's how you measure it.
同じ意味の別の言い方
  • pass@256 at temperature 1.0 is an odd hill to die on. nobody ships k=256. but if your claim is about the policy's support, that's the only honest place to look.
  • odd hill to die on, pass@256 at T=1.0: nobody ships k=256. if the claim is about the policy's support, though, it's the only honest place to look.
似た表現
  • Fair for what it measures.
  • Unrealistic, but the right test.
  • Wrong metric for products, right one for this.
用語(調べる前の仮置き)
  • support → idea/本命の評価軸/方策が少しでも確率を与える答えの範囲
  • T=1.0 → metric/noise(条件)/サンプリングの温度
残す型
X; but if Y... は but のあとが本題。前半は譲歩

8Theorem proving is where I'd expect the opposite: an exact verifier, and proofs deeper than the base can sample. Run base pass@k on your set first. Cheap, and it tells you which story you're in.

John 断言型(事実を伝える)/字面どおり

字面
定理証明は、むしろ逆になると予想する分野です:検証器が厳密で、証明はベースがサンプルできるより深い。まず自分のデータでベースの pass@k を測ってください。安上がりだし、どちらの話なのかが分かる。
本当の意味
見通し(予想)と、具体的な助言
手がかり
I'd expect は予想で、結果ではない。理由を2つ(厳密な検証器、深い証明)挙げ、測る方法を渡している。which story you're in は「研ぐ話か、広がる話か」
やさしい英語で言うと
My result might not hold for your field. Measure the base model first; it's quick and it settles it.
同じ意味の別の言い方
  • Theorem proving is the case where I'd expect the opposite: the verifier is exact, and proofs go deeper than the base can sample. Run base pass@k on your set first. It's cheap, and it tells you which story you're in.
  • In theorem proving I'd expect the opposite. Exact verifier; proofs deeper than the base can sample. Measure base pass@k on your set first. Cheap, and it tells you which story you're in.
似た表現
  • My guess is...
  • I'd bet on...
  • Measure before you argue.
残す型
I'd expect は予想。測る理由であって、結果ではない

9Fair hit. "Mostly" was carrying a qualifier I didn't state: at our step counts. I'll run the long version and post the result either way.

John 約束型(自分が引き受ける)/控えめに言う

Kat Moreau: "it's the prior" is unfalsifiable as stated. long runs with KL resets and clip-higher push pass@k past base on held-out puzzles. sharpening at 1k steps, expansion at 3k. the crossover just moved.
字面
もっともな一撃。「だいたい」には、書かなかった条件が乗っていた:うちのステップ数では。長いほうを回して、結果はどちらでも投稿する。
本当の意味
部分的な認めと約束
手がかり
Fair hit は相手の指摘を認める言い方。was carrying a qualifier I didn't state で、自分の mostly に条件(短い学習)が隠れていたと言い直す。主張を捨てたのではなく、範囲を狭めた。either way は結果がどうでも公開するという約束
やさしい英語で言うと
You're right that I left out a condition. I'll test the longer version and share the result, good or bad.
同じ意味の別の言い方
  • Fair hit. "Mostly" was doing the work of a qualifier I didn't write down: at our step counts. I'll run the long version and post it, whichever way it goes.
  • Fair hit. The "mostly" was hiding a qualifier I didn't state: at our step counts. Running the long version now; I'll post the result either way.
似た表現
  • Point taken.
  • I should have said...
  • I'll post it whatever it shows.
用語(調べる前の仮置き)
  • step counts → metric/隠れていた条件/学習の長さ
残す型
Fair hit と条件の言い直しは、部分的な撤回。全面ではない

10everyone's arguing about pass@k. the scarier question: what happens to the chain of thought when you optimize hard against a monitor that reads it. you don't get honest models. you get quiet ones.

Sana Idris 断言型(事実を伝える)/皮肉

字面
みんな pass@k で揉めてる。もっと怖い問い:思考の連鎖を読む監視役に逆らう方向で強く最適化したら、思考の連鎖はどうなるか。正直なモデルにはならない。黙るモデルになる。
本当の意味
論点の提起(皮肉な対比つき)
手がかり
optimize against a monitor は、監視役に引っかかると罰を与える形で学習させること。you don't get honest models. you get quiet ones. で、悪い振る舞いが消えるのではなく、書かなくなるだけだと言う。今週の自分の問い(証明への RL)とは別の論点なので、メモして閉じる
やさしい英語で言うと
If you punish models for what their reasoning shows, they learn to stop showing it, not to stop doing it.
同じ意味の別の言い方
  • while everyone argues pass@k: what happens to the chain of thought when you optimize hard against a monitor that reads it? you don't get honest models. you get quiet ones.
  • pass@k discourse is fine. the scarier question is what happens to the chain of thought once you optimize hard against a monitor reading it. not honest models. quiet ones.
似た表現
  • You train it to hide, not to stop.
  • Goodhart's law, for reasoning.
  • The monitor becomes the target.
用語(調べる前の仮置き)
  • CoT monitor → method/今は noise(あとで戻る)/モデルの思考の書き出しを読む監視役
  • optimize against → method/危うさの元/監視に引っかかると罰する形で学習させる
残す型
自分の問いに関係ない論点は、メモして閉じる。ただし、あとで戻ってくることがある

11wait, if your verifier is Lean, isn't reward hacking basically impossible? the proof checks or it doesn't

Ade 指令型(相手に何かをさせる)/答えを求めていない質問

字面
待って、検証器が Lean なら、報酬のハックは基本無理じゃない? 証明は通るか通らないかだし
本当の意味
答えを決めつけた質問(確認を求めている)
手がかり
basically impossible に、ほぼ同意しつつ穴を示すのが正確。Lean の sorry(証明を飛ばす)や新しい公理は、検証器の設定で弾かないと通ってしまう
やさしい英語で言うと
Lean is exact, so cheating should be impossible. Right?
同じ意味の別の言い方
  • hold on. if the verifier is Lean, isn't reward hacking basically impossible? either the proof checks or it doesn't
  • if your verifier is Lean, reward hacking is basically impossible, right? proof checks or it doesn't
似た表現
  • That's airtight, right?
  • Nothing to game there, surely?
  • Can it even cheat?
用語(調べる前の仮置き)
  • sorry → method/検証器の穴/Lean で証明を飛ばす命令
  • reward hacking → idea/危険/報酬だけを満たして中身をごまかすこと
残す型
ほぼ正しい決めつけには、ほぼ同意して穴を言う

12hearing one frontier lab now spends more compute on RL than on pretraining for its next model. if true, "it only sharpens" just became a very expensive sentence.

lab watcher 断言型(事実を伝える)/ぼかし・伝聞

字面
聞いた話では、あるフロンティアの研究所が次のモデルで、事前学習より RL に計算を使っているらしい。本当なら、「研ぐだけ」はとても高くつく一文になった。
本当の意味
噂と、その含意
手がかり
hearing と if true は噂の印で、確かめられていない。a very expensive sentence は、RL が研ぐだけなら、そこに大金を投じる研究所の賭けが外れる、という含意
やさしい英語で言うと
This is a rumour. If it's true, someone with a lot of money disagrees with John.
同じ意味の別の言い方
  • hearing a frontier lab is now spending more compute on RL than pretraining for its next model. if true, "it only sharpens" is a very expensive sentence.
  • word is one frontier lab now spends more on RL compute than on pretraining for the next model. if true, "it only sharpens" just got very expensive.
似た表現
  • Rumour has it...
  • Unconfirmed, but...
  • If this is real...
残す型
hearing / if true は噂の印。含意だけ取って、事実にしない

13So. Does Chapter 3 survive John's thread?

Prof. Wren 指令型(相手に何かをさせる)/字面どおり

字面
では。第3章は John のスレを生き延びますか?
本当の意味
判断を求める質問
手がかり
今週の材料(John の主張、Kat の反論、support の話、John の DM の予想)から、章を残して最初の実験を変える、が答え。John の I'd expect を「効くと言った」に広げない(誰の声か)
やさしい英語で言うと
Does your chapter still make sense after this week?
同じ意味の別の言い方
  • So: does Chapter 3 survive the Halden thread?
  • Right. Does Chapter 3 survive John's thread?
似た表現
  • Where does this leave us?
  • Is the plan still sound?
  • What changes?
残す型
人の言葉を引くときは、予想は予想のまま引く

14wait, John replied to you?? are you two best friends now

Ade 表出型(気持ちを表す)/皮肉

字面
待って、John が返事くれたの?? もう親友じゃん
本当の意味
からかい
手がかり
best friends は大げさなからかい。実際は質問1つへの返事。正確に小さく言い、冗談で返す
やさしい英語で言うと
I'm teasing you about John answering you.
同じ意味の別の言い方
  • hold on, John answered your DM?? are you best friends now
  • John replied?? so you're best friends now, i assume
似た表現
  • Look at you, famous now.
  • Name-dropping already?
  • Too good for us now?
残す型
大げさなからかいには、事実を小さく言って返す

15Long run done. pass@256 crosses base on two of five sets. So: sharpening first, some expansion later, domain-dependent. Less tidy than my first post. Probably truer.

John 断言型(事実を伝える)/控えめに言う

字面
長い学習が終わった。5つのデータのうち2つで、pass@256 がベースを超えた。つまり:最初は研ぎ、のちに少し広がる。分野による。最初の投稿ほどすっきりしない。たぶん、より正しい。
本当の意味
結果の報告と、自分の主張の更新
手がかり
水曜の約束(either way)を守った投稿。two of five と domain-dependent で、どちらの陣営にも寄らない。Less tidy than my first post. Probably truer. は控えめな言い方で、月曜の主張は単純すぎたと認めている
やさしい英語で言うと
I was partly wrong. It depends on the domain. That's messier, but closer to the truth.
同じ意味の別の言い方
  • Long run's done. pass@256 crosses the base on two of five sets. So: sharpening first, some expansion later, and it depends on the domain. Less tidy than my first post. Probably truer.
  • The long run finished. pass@256 crosses base on two of the five sets. Sharpening first; some expansion later; domain-dependent. Less tidy than Monday's post. Probably truer.
似た表現
  • Messier, but more honest.
  • I'll take accurate over neat.
  • Update:
用語(調べる前の仮置き)
  • sharpening / expansion → idea/再登場:順序になった/最初は研ぎ、のちに少し広がる
  • pass@256 → metric/再登場:2/5 で交差/届く範囲の目安
残す型
自分の前の投稿と比べる言い方(less tidy)は、更新の宣言

読み取れなかった表現は、ゲームの振り返り画面からえいたんカードに書き出して復習できます。発話の5分類についてはサールの発話行為の5分類で解説しています。

Read the Room で「Sharpens, Doesn't Expand」を遊ぶ