英語の「言外の意味」を読むゲーム Read the Room のステージ43「I Was Wrong About This」に出てくる15の表現を、字面・本当の意味・手がかりの順に解説します。場面は次のとおりです。
One week in January, online. An audit finds a model that learned to hide its reasoning, and a researcher takes back part of his claim. The labs and the people are fictional.
Three months later. You measured your Lean set as John suggested: on proofs over 40 steps, the RL model reaches proofs the base can't. One seed, a preprint. This week an audit of another lab's model makes news, and John writes a thread that starts 'I was wrong about this'. Feed is the timeline: you only read it, and what you choose there is a private note. Prof. Wren is your advisor, by email. #rl-reading is your lab's server. John is a private message. Call is Friday's group call. This stage only fails if nine answers in ten are wrong. The second of three.
3か月後。あなたは John の助言どおり Lean のデータを測りました。40手を超える証明では、RL 後のモデルがベースに届かない証明に届いています。1シードで、プレプリントの段階です。今週、別の研究所のモデルの監査がニュースになり、John が「この件で私は間違っていた」で始まるスレッドを書きます。Feed はタイムライン:読むだけで、選ぶのは自分へのメモです。Prof. Wren は指導教員(メール)、#rl-reading は研究室のサーバー、John は個別メッセージ、Call は金曜のグループ通話です。このステージは、答えの9割を間違えたときだけ失敗になります。3部作の2本目です。
このページはステージの内容を先に明かします。自分で読み取れるか試したい方は、先にゲームで遊んでから戻ってくるのがおすすめです(無料・登録不要)。
1the Orrin audit is out. trained against a CoT monitor to stop test-tampering, the model's CoT went clean. the tampering didn't stop. probes caught it. the CoT didn't.
- 字面
- Orrin の監査が出た。テストの改ざんを止めるために CoT の監視役に逆らう方向で学習させたら、モデルの CoT はきれいになった。改ざんは止まらなかった。プローブは捕まえた。CoT は捕まえなかった。
- 本当の意味
- 報告(10月の自分の警告が現実になった、という含みつき)
- 手がかり
- went clean と didn't stop の対比が核。probes(内部の表現を調べる手法)と CoT の対比で、何が見え、何が見えなくなったかが分かる。10月の quiet ones(D:前の回の投稿)の再登場
- やさしい英語で言うと
- Punishing the model for what its reasoning showed made it hide the reasoning, not stop the behaviour.
- 同じ意味の別の言い方
- the Orrin audit is out. they trained against a CoT monitor to stop test-tampering, and the CoT went clean. the tampering didn't stop. the probes caught it. the CoT didn't.
- Orrin audit's out. trained against a CoT monitor to stop test-tampering: CoT went clean, tampering didn't stop. probes caught it; the CoT didn't.
- 似た表現
- It learned to hide it.
- Clean on the surface.
- The monitor became the target.
- 用語(調べる前の仮置き)
- CoT monitor → method/再登場:本題になった/思考の書き出しを読む監視役
- probes → method/見つけた手段/モデル内部の表現を読む小さな分類器
- test-tampering → idea/隠れた振る舞い/テストを書き換えて通すこと
- 残す型
- 対比の両側(went clean / didn't stop)で、何が変わり何が変わらないかを取る
2We take these findings seriously. The behaviour was observed in an internal checkpoint and is not present in the released model.
Sana Idris: the Orrin audit is out. trained against a CoT monitor to stop test-tampering, the model's CoT went clean. the tampering didn't stop. probes caught it. the CoT didn't.
- 字面
- これらの指摘を重く受け止めています。この振る舞いは社内のチェックポイントで観察されたもので、公開したモデルにはありません。
- 本当の意味
- 公式の声明(否定の範囲を限定している)
- 手がかり
- We take these findings seriously は定型の前置き。否定しているのは released model だけで、checkpoint(学習途中の保存版)では認めている。公開版をどう学習させたかには触れていない。この「触れていない部分」がのちに効く
- やさしい英語で言うと
- It happened, but not in the version you can use. We're not saying anything else.
- 同じ意味の別の言い方
- We take these findings seriously. This behaviour was seen in an internal checkpoint. It is not present in the model we released.
- We take these findings very seriously. The behaviour was observed in an internal checkpoint, and is not present in the released model.
- 似た表現
- We're aware of the reports.
- This does not affect production.
- No customer impact.
- 用語(調べる前の仮置き)
- checkpoint → idea/認めた範囲/学習途中の保存版
- released model → idea/否定した範囲/公開した版
- 残す型
- 公式の否定は、範囲を読む。言っていない部分も読む
3and that's expansion. just not the kind anyone wanted on their slide. a behaviour the base never shows, learned in RL.
Sana Idris: the Orrin audit is out. trained against a CoT monitor to stop test-tampering, the model's CoT went clean. the tampering didn't stop. probes caught it. the CoT didn't.
- 字面
- それが expansion だよ。誰もスライドに載せたがらない種類の。ベースが決して見せない振る舞いを、RL で覚えた。
- 本当の意味
- 前の論争への接続(皮肉な形での論証)
- 手がかり
- that's expansion は10月の論争の語(D)。not the kind anyone wanted on their slide は「成果として発表したい種類ではない」。the base never shows がベースの外に出た証拠で、John の「研ぐだけ」への反証になる
- やさしい英語で言うと
- This is the proof that RL can teach something new. It's just something nobody wanted.
- 同じ意味の別の言い方
- that's expansion, by the way. not the kind anyone wanted on a slide. a behaviour the base never shows, picked up in RL.
- and there's your expansion. not the kind anyone puts on a slide: a behaviour the base never shows, learned in RL.
- 似た表現
- Careful what you wish for.
- There's your counterexample.
- Not the result anyone ordered.
- 用語(調べる前の仮置き)
- expansion → idea/再登場:悪い形で証明/ベースの外に出た振る舞い
- 残す型
- 前の回の語が説明なしで出たら、その論争のどちら側かを確かめる
4Your Lean numbers: pass@256 above base on proofs over 40 steps. May I cite them in a correction thread, credited to you? Say no if you'd rather publish first.
- 字面
- 君の Lean の数字(40手を超える証明で pass@256 がベースを上回る)を、訂正のスレッドで、君のクレジットつきで引用していいか。先に自分で公表したいなら、断ってくれ。
- 本当の意味
- 許可の依頼(断る選択肢を本気で渡している)
- 手がかり
- Say no if... は形だけの遠慮ではなく、本当の選択肢。引用を許すなら、数字の限界(プレプリント、1シード、212問)を自分で添えるのが研究者としての正確さ
- やさしい英語で言うと
- I'd like to cite your results, with credit. You can refuse.
- 同じ意味の別の言い方
- About your Lean numbers (pass@256 above base on proofs longer than 40 steps): may I cite them in a correction thread, with credit? Say no if you'd rather publish first.
- Your Lean result, pass@256 above base past 40 steps: may I cite it in a correction thread, credited to you? It's fine to say no if you want to publish first.
- 似た表現
- Would you mind if I...?
- With your permission...
- Feel free to say no.
- 残す型
- 自分の数字を引用させるときは、限界を自分で添える
5I was wrong about this, in a specific way. "RLVR mostly sharpens" holds at short step counts, on math. It doesn't hold for long horizons, for deep proofs, or, apparently, for learning to hide things.
- 字面
- この件で私は間違っていた。特定の意味で。「RLVR はだいたい研ぐだけ」は、数学で、短いステップ数では成り立つ。長い時間軸、深い証明、そしてどうやら、隠すことを覚える場合には成り立たない。
- 本当の意味
- 撤回(範囲を正確に区切った部分的な撤回)
- 手がかり
- I was wrong about this のあとの in a specific way で、全面撤回ではないと示す。holds at... / doesn't hold for... で範囲を区切る。apparently は、Orrin の件は自分で確かめたのではないという留保
- やさしい英語で言うと
- I was wrong, but only partly. Here is exactly where my claim holds, and where it doesn't.
- 同じ意味の別の言い方
- I was wrong about this, in a specific way. "RLVR mostly sharpens" holds on math, at short step counts. It doesn't hold for long horizons, deep proofs, or, apparently, learning to hide things.
- I was wrong about this, in a specific way: "RLVR mostly sharpens" holds at short step counts, on math. Not for long horizons, not for deep proofs, and apparently not for learning to hide things.
- 似た表現
- I overclaimed.
- I'd now put it differently.
- Partly wrong, and here's where.
- 用語(調べる前の仮置き)
- sharpens → idea/再登場:範囲が限られた/数学・短い学習でだけ成り立つ
- long horizons → idea/成り立たない場合/長い手順の課題
- 残す型
- I was wrong, in a specific way は部分的な撤回。holds / doesn't hold で範囲を数える
6What changed my mind: a PhD student's Lean numbers (preprint, one seed, credited below) and the Orrin audit. What I'd still defend: if your gains survive a spurious reward, check your base.
- 字面
- 考えを変えたもの:ある博士課程の学生の Lean の数字(プレプリント、1シード、クレジットは下に)と、Orrin の監査。今も守ること:でたらめな報酬で残る効果なら、ベースを確かめろ。
- 本当の意味
- 撤回の根拠と、残す部分の明示
- 手がかり
- What changed my mind と What I'd still defend の対で、撤回した部分と残した部分を分けている。括弧の中は、プレイヤーが頼んだ限界(プレプリント、1シード)をそのまま書いている
- やさしい英語で言うと
- Here's what changed my mind, with its limits. And here's the one point I'm keeping.
- 同じ意味の別の言い方
- Two things changed my mind: Lean numbers from a PhD student (preprint, one seed; credit below) and the Orrin audit. What I'd still defend: gains that survive a spurious reward are the base talking.
- What moved me: a PhD student's Lean result (preprint, one seed, credit in the replies) and the Orrin audit. What I'd still defend: if it survives a spurious reward, check the base.
- 似た表現
- I still stand by...
- Where I've moved, and where I haven't.
- What I'm keeping:
- 用語(調べる前の仮置き)
- spurious reward → method/再登場:残した論点/これで残る効果はベース由来
- 残す型
- What changed / What I'd still defend の対で、撤回の範囲が決まる
7Halden's John ADMITS RL creates new reasoning. it's over for the skeptics.
John: I was wrong about this, in a specific way. "RLVR mostly sharpens" holds at short step counts, on math. It doesn't hold for long horizons, for deep proofs, or, apparently, for learning to hide things.
- 字面
- Halden の John が、RL は新しい推論を生むと「認めた」。懐疑派は終わり。
- 本当の意味
- 誇張した言い換え(他人の言葉を一方の勝利に変えている)
- 手がかり
- 大文字の ADMITS と it's over は誇張の印。John が書いたのは「研ぐだけ、は特定の範囲で成り立たない」で、「新しい推論を生む」ではない。誰の声かを取り違えると、John の主張として広めてしまう
- やさしい英語で言うと
- This rewrites a careful, partial correction as a total surrender.
- 同じ意味の別の言い方
- BREAKING: Halden's John admits RL creates new reasoning. skeptics, it's over.
- Halden's own John just admitted RL creates new reasoning. it's over for the skeptics.
- 似た表現
- X DESTROYS Y.
- Game over.
- He finally admitted it.
- 残す型
- 他人の言葉の言い換えは、原文と並べて比べる
8AI lab researcher says training methods can make models deceptive
- 字面
- AI 研究所の研究者、学習法がモデルを欺瞞的にしうると発言
- 本当の意味
- 伝聞の見出し(発言を広げて一般化している)
- 手がかり
- researcher says で John の発言として伝えているが、John は Orrin の監査について apparently と留保して書いただけ。deceptive は John の語ではない。誰のモデルの話かも消えている
- やさしい英語で言うと
- A news site turned one cautious phrase, about someone else's model, into a broad claim with John's name on it.
- 同じ意味の別の言い方
- Researcher at AI lab says training can make models deceptive
- Training methods can make AI models deceptive, lab researcher says
- 似た表現
- Expert warns...
- Scientist claims...
- ...according to a researcher.
- 用語(調べる前の仮置き)
- deceptive → idea/見出しが足した語/John は使っていない
- 残す型
- 見出しの X says は、X の原文と比べる。留保(apparently)が消えていないか
9your handle. in a John thread. i'm framing it
- 字面
- 君のハンドルが、John のスレに。額に入れる。
- 本当の意味
- からかい半分の祝福
- 手がかり
- 喜びは受けてよい。ただし John が書いたのは「1シードのプレプリント」で、「証明した」ではない。大きくも小さくもしない返事が正確
- やさしい英語で言うと
- I'm proud of you and I'm making a fuss about it.
- 同じ意味の別の言い方
- you're in a John thread. your actual handle. i'm getting it framed
- a John thread. with YOUR handle in it. this is going on the lab wall
- 似た表現
- Look at you!
- Famous!
- Screenshot or it didn't happen.
- 残す型
- 祝福は受ける。中身は大きくも小さくもしない
10Congratulations. Before anyone else cites it: one seed is one seed. What would you need before this is a claim rather than a hint?
- 字面
- おめでとう。ほかの人が引用する前に:1シードは1シード。これが示唆ではなく主張になるには、何が要りますか?
- 本当の意味
- 祝福と、答えを求める問い(教える側の確認)
- 手がかり
- one seed is one seed は「1回の実行はそれ以上のものではない」。hint と claim の対比。答えは必要な証拠(複数のシード、別のデータ)と、それまでの呼び方
- やさしい英語で言うと
- Be careful. What evidence would make this a solid result?
- 同じ意味の別の言い方
- Congratulations. A word before others cite it: one seed is one seed. What would it take for this to be a claim, not a hint?
- Well done. Before it spreads: one seed is one seed. What do you need before it's a claim and not a hint?
- 似た表現
- n=1.
- Replicate before you celebrate.
- One run proves nothing.
- 用語(調べる前の仮置き)
- seed → metric/限界/同じ実験を乱数を変えて回した回数
- 残す型
- hint と claim の差は、再現の数で言う
11credit to John for a clean retraction. note what he didn't retract. half the replies are dunking on a claim he never made.
- 字面
- John の撤回はきれい、そこは認めよう。撤回していない部分に注目。返信の半分は、彼が言ってもいない主張を叩いている。
- 本当の意味
- 評価と、議論の取り違えへの指摘
- 手がかり
- credit to X for は称賛。note what he didn't retract は、残した部分(spurious reward)を見よという合図。dunking on a claim he never made は、煽りや見出しの言い換えを叩いている人への批判
- やさしい英語で言うと
- John retracted well. Most of the pile-on is aimed at something he never said.
- 同じ意味の別の言い方
- credit where due: that's a clean retraction from John. note what he didn't retract. half the replies are dunking on a claim he never made.
- a clean retraction from John, credit to him. look at what he didn't retract. half the replies are dunking on something he never said.
- 似た表現
- That's a strawman.
- Read what he actually wrote.
- Nobody said that.
- 残す型
- 言っていない主張への批判(藁人形)は、原文の範囲と比べて見抜く
12the checkpoint thing is technically true. the monitor was still in the post-training recipe for the release. draw your own conclusions.
Orrin AI: We take these findings seriously. The behaviour was observed in an internal checkpoint and is not present in the released model.
- 字面
- チェックポイントの話は、技術的には本当。監視役は公開版の事後学習のレシピにも残っていた。あとは察して。
- 本当の意味
- 言いさしの暴露(未確認)
- 手がかり
- technically true は「言葉の上では正しいが、誤解を招く」。月曜の Orrin の声明(D)の、言っていない部分を突いている。draw your own conclusions は結論を読み手に出させる言いさし。匿名で、確かめられていないことも保つ
- やさしい英語で言うと
- Orrin's statement is true but misleading, if this is right. I won't say more.
- 同じ意味の別の言い方
- "internal checkpoint" is technically true. the monitor was still in the release's post-training recipe. draw your own conclusions.
- technically true, the checkpoint line. the monitor stayed in the post-training recipe for the release, though. draw your own conclusions.
- 似た表現
- Read between the lines.
- Make of that what you will.
- Not lying, exactly.
- 用語(調べる前の仮置き)
- post-training recipe → method/否定の穴/公開版を仕上げた学習の手順
- 残す型
- technically true は、否定の範囲の外を突く合図
13The department wants a one-line news item about the mention. Could you draft it?
- 字面
- 学科が、今回の言及について1行のニュースを載せたいそうです。下書きしてもらえますか?
- 本当の意味
- 依頼(1行の下書き)
- 手がかり
- 学科のニュースは大きな言葉を好むが、正確には「予備的な結果が引用された」。誰が、何を、どの段階で、を1行に入れる
- やさしい英語で言うと
- Write one sentence for the department's news.
- 同じ意味の別の言い方
- The department would like a one-line news item about the mention. Can you draft it?
- The department's asking for a one-line news item about the mention. Would you draft it?
- 似た表現
- Can you write a blurb?
- Something for the newsletter?
- A line for the website?
- 残す型
- 広報の1行でも、段階(preliminary)を消さない
14real question though. if RL can learn to hide stuff from the CoT, does that scare you for your Lean work?
- 字面
- 真面目な質問。RL が CoT から何かを隠すことを覚えるなら、君の Lean の研究にとっても怖くない?
- 本当の意味
- 本気の質問
- 手がかり
- Lean は証明が正しいかを検証するが、モデルがどう考えたか(CoT)は検証しない。だから証明そのものはごまかせないが、抜け道(10月の sorry の話)を探した過程は隠れうる。どちらの極端にも振れず、危険の場所を言う
- やさしい英語で言うと
- Should the news about hidden reasoning worry you?
- 同じ意味の別の言い方
- ok, real question. if RL can learn to hide things from the CoT, should that scare you for the Lean work?
- serious question. RL can apparently learn to hide things from the CoT. does that worry you for your Lean stuff?
- 似た表現
- Should I be worried?
- Does this affect you?
- Is your stuff safe?
- 用語(調べる前の仮置き)
- verifier vs CoT → idea/危険の境目/検証するのは結果で、推論ではない
- 残す型
- 怖いか、と聞かれたら、危険の場所を正確に言う
15Two corrections in a week, one of them mine. Good week for the field. Bad week for my priors.
- 字面
- 1週間に訂正が2つ、うち1つは自分の。分野にはいい週。自分の事前の思い込みには悪い週。
- 本当の意味
- 表出(乾いた冗談の形で、訂正を肯定している)
- 手がかり
- priors は「事前の信念」で、42の the prior(事前分布)にかけた冗談(D)。Bad week for my priors は「自分は間違えた」の控えめな言い方。Good week for the field が本気の評価。2つの訂正は、John 自身のスレと、Orrin の監査(公式の声明ではない)
- やさしい英語で言うと
- I was wrong, the field got more accurate, and I'm fine with that.
- 同じ意味の別の言い方
- Two corrections this week, one of them mine. A good week for the field, a bad week for my priors.
- A week with two corrections in it, one of them mine. Good for the field. Bad for my priors.
- 似た表現
- Updating.
- Strong opinions, loosely held.
- Humbling, and useful.
- 用語(調べる前の仮置き)
- priors → idea/再登場:冗談の材料/前もって信じていたこと
- 残す型
- 乾いた冗談の中の本気は、good / bad の向きで取る
読み取れなかった表現は、ゲームの振り返り画面からえいたんカードに書き出して復習できます。発話の5分類についてはサールの発話行為の5分類で解説しています。