ライフサイエンス新着論文レビュー

判断の保続は判断の選択尤度を推定する自律的な機構により生じる

赤石れい・坂井克之
(東京大学大学院医学系研究科 認知・言語神経科学分野)
email:坂井克之
DOI: 10.7875/first.author.2013.165

Autonomous mechanism of internal choice estimate underlies decision inertia.
Rei Akaishi, Kazumasa Umeda, Asako Nagase, Katsuyuki Sakai
Neuron, 81, 195-206 (2014)




要 約


 感覚刺激についての判断が過去の判断の履歴に影響されることはよく知られているが,その機構は不明である.この研究では,知覚判断の課題において,あいまいな感覚刺激に対しくだした判断は,はっきりした感覚刺激に対しくだした判断に比べ,つぎの試行においてより高い確率でくり返されることを示した.この現象は,感覚や運動表象の保続であるとする従来の考え方では理解できないものであった.筆者らは,この判断の履歴依存性は,判断の選択尤度を推定する機構によるものであることを明らかにした.すなわち,推定した選択尤度を実際に自身のとった選択と比較し,その誤差にもとづき,つぎの試行における選択尤度を更新するというものである.この予測誤差は後部帯状回の活動に,更新された選択尤度は前頭眼野の活動に反映されること,さらに,後部帯状回と前頭眼野とのあいだのシグナル伝達が選択尤度の更新および維持に関与していることが示された.

はじめに


 われわれが外界の事象に対しカテゴリー的にどれかひとつの判断を選択するとき,過去の選択の履歴によりその判断は左右される1,2).試行のあいだにおける前頭葉および頭頂葉における神経活動のばらつきがこの判断のバイアスに関係していることは示されているものの,どのような機構によりこの内的なバイアス(内部シグナル)を生じたのかは不明であった3,4).この研究は,判断の選択尤度,すなわち,どの判断を選択するかのもっともらしさを予測する自律的な機構により,感覚刺激に対する判断のバイアスが生じることを明らかにした.すなわち,推定した判断の選択尤度を,実際にとった選択と比較し,その誤差にもとづき,つぎの試行における選択尤度を更新するというものである.感覚刺激の提示にはなんの法則性もなく,また,判断の正誤に対し報酬あるいはフィードバックはあたえられていないにもかかわらず,つぎに選択する判断のもっともらしさを推定し,これにもとづき感覚刺激に対する判断にバイアスをかけていたのであった.

1.証拠に乏しい状況でくだした判断はくり返されやすい


 健常人の被験者を対象として行動実験を行った.画面に提示された多数の点がランダムな方向へと動くが,そのうちの何割かは同じ方向へと動く(図1a).被験者はこの動きが右方向であるか左方向であるかを判断しボタンにより回答する.全体の何割の点が同じ方向へと動くか(一致度)を変化させることにより,試行ごとに感覚刺激の強度を調節することができる.バイアスの存在しない状況では,動きの一致度が0%の試行において,被験者が右方向あるいは左方向に点が動いていると判断する確率はそれぞれ50%であるはずである.ところが,直前の試行において弱い感覚刺激が提示された場合には,そのときの判断と同じ判断が,つぎの一致度が0%の試行においてもくり返される傾向がみられた(図1b).さらに,被験者が前の試行においてまちがった判断をくだした場合は,正しい判断をくだした場合より,同じ判断がくり返される傾向が強くなった.この課題では被験者の判断の正誤についてのフィードバックはあたえられていないにもかかわらず,あやまった判断がくり返されたわけである.すなわち,感覚的な証拠に乏しい状況でくだされた判断が繰り返されるという現象であると解釈された.



 この現象は,刺激が提示されてから,できるだけすばやく判断する条件か,遅延時間ののち判断する条件かにかかわらず,また,二者択一の判断か四者択一の判断かにかかわらず観察された.さらに,この判断の保続の現象は,同一の動作のくり返し傾向,感覚への適応現象,また,弱い刺激に対する注意の保続によっては説明のつかないことが,対照実験により明らかとなった.

2.自身のくだした判断を正しいものとしてつぎの判断の尤度を修正する


 行動実験にもとづいた数理モデルの解析を行った.画面の点が右方向に動いていると判断する確率Pは,決定変数DVを用いることにより,
  P = 1/(1 + e-DV) (式1
と表わすことができる.また,提示された感覚刺激の強度をM,動きを検出する感度をσ,このときの判断の選択尤度をCEとすると,このDVは,
  DV = CEnMn (式2
と表わすことができる.ここで,Mは点の動く方向の一致度と動きの方向とで表わされるものとし,左方向での最大の一致度(-51.2)から右方向での最大の一致度(51.2)までの値をとる.CEは-1から1までの値をとり,左方向との判断の選択尤度が100%の場合は-1,右方向との判断の選択尤度が100%の場合は1,いずれともまったく予測できない場合は0とする.添え字のnn番目の試行であることを示す.この選択予測の確率は,
  CEn + 1 = CEn +α(Cn - CEn) (式3
のかたちで試行ごとに更新される.すなわち,n番目の試行において実際にとられた選択Cnと,このときの選択尤度CEnの差に,学習係数αをかけた値だけ,選択尤度が更新される.大事なことは,Cnが左方向との選択に対しては-1,右方向との選択に対しては1と,2つの値いずれかをとるのに対し,CEnは-1から1までどの値もとることである.たとえば,右方向との選択をするだろう確率が60%であったとき(CEn = 0.2,左方向を-1,右方向を1とすることに注意),実際に右方向との判断をくだした場合(Cn = 1),つぎの試行では0.8αだけ選択尤度が右方向との判断,すなわち,1に近づく(図1c).
 この機構にしたがえば,ある試行において弱い感覚刺激に対し判断をくだした場合,決定変数DVは選択尤度CEnに大きく左右されることになる(式2).すなわち,この試行においてとる選択CnCEnと同じ方向になる(CEnが正の値であればCnは1,負の値であればCnは-1となる).とすると,つぎの試行における選択尤度CEn + 1は,α(Cn - CEn) だけCnに近づいた値となる.ここで,また弱い感覚刺激が提示されると,その判断はCEn + 1にもとづきくだされるため,前の試行と同じ方向との判断がくり返されることになる(すなわち,Cn + 1 = Cn).このモデルをおのおのの被験者の行動実験のデータにあてはめたところ,学習係数αの平均は0.39であった.このことは,強い感覚刺激が提示されなければ,試行を重ねるにつれしだいに同じ判断の選択をくり返す確率が高くなることを示唆した.実際の行動実験のデータにおいても,判断の保続の累積による効果が確認された.
 この選択予測の誤差モデルは,選択動作,感覚表象,運動の検出感度に対し過去の判断がバイアスをかけるモデル,あるいは,感覚刺激に対する予測を実際の感覚刺激との差にもとづき試行ごとに更新するモデルに比べ,行動実験のデータに対しより高い一致を示した.すなわち,自身のくだした選択をもとにつぎに自分が選択する判断の選択尤度を更新する機構により,判断の履歴に対する依存性が生じると考えられた.このモデルにもとづいた行動シミュレーションにおいても,同じパターンの判断の履歴依存性が再現された.

3.判断の選択尤度の推定と予測誤差を表象する脳領域


 この選択予測の誤差学習の脳における機構を明らかにするため,同じ課題を行っている被験者に対し機能的磁気共鳴画像(functional magnetic resonance imaging:fMRI)法を用い脳の活動の計測を行った.行動実験のデータに対して選択予測の誤差学習モデルをあてはめ,得られた変数と対応した活動の変化をする脳領域を同定した.その結果,試行ごとに更新された選択尤度の推定値CEn + 1は前頭眼野の活動に,予測誤差Cn - CEnは後部帯状回の活動に反映されることが示された(図2).また,弱い感覚刺激が提示され,かつ,前頭眼野の活動が高ければ,つぎの試行において同じ選択をくり返す確率が高くなることが示された.これは前頭前野がつぎにとるべき行動の予測を反映するとの考えと合致した.一方で,後部帯状回の活動が低いほど,同じ判断をくり返す確率は高かった.これは選択予測の誤差が小さいほど同じ判断がくり返されるというモデルの予測と一致した.サルを用いた実験では後部帯状回領域におけるニューロンの活動が報酬の予測誤差および行動の切り替えに関係することが示されており,報酬のない今回の課題においても同様の機構がはたらいている可能性が示唆された.そのほかにも,判断の困難な状況においてくだした選択がのちの行動に影響する現象として,選択にもとづく選好の変化があるが,このときにも後部帯状回領域の活動が認められている5)




4.選択尤度の更新には前頭眼野と後部帯状回とのあいだのシグナル伝達が関与する


 前頭眼野における選択尤度の推定には後部帯状回に表象されている予測誤差の情報が必要である.また一方で,計算された選択尤度と実際にとられた選択との差分により予測誤差が計算される.つまり,前頭眼野と後部帯状回とのあいだで情報のやりとりをする必要がある.試行のあいだのfMRIデータを解析したところ,前頭眼野と後部帯状回とのあいだでシグナル値の相関が強い場合には,つぎの試行において同じ判断がくり返されることが示された.さらに,前頭眼野に対し単発の磁気刺激をあたえ,誘発されたインパルスの伝達パターンを解析したところ,刺激ののち約20ミリ秒で後部帯状回にインパルスが伝達された.このインパルスの伝達量が大きいほど,つぎの試行において同じ判断がくり返された.これらの結果から,前頭眼野と後部帯状回のあいだのシグナル伝達は,判断の選択尤度の更新および維持に関係していることが示唆された.

5.判断の選択尤度の更新の機構と強化学習との類似性


 この多数の点がランダムな方向に動く刺激を用いた知覚判断の課題は,サルおよびヒトを対象とした多くの研究において用いられてきたが6),弱い感覚刺激のときにくだされた判断が保続する現象について報告はなかった.これまでの研究では,試行ごとに報酬,あるいは,判断の正誤についてのフィードバックが提示されていたことがその理由として考えられた.報酬にもとづく意思決定の行動についてはこれまで多くの研究がなされており,報酬の履歴にもとづく行動の変化は報酬あるいは感覚情報についての予測を取り入れたモデルによりよく説明できることが知られている7).すなわち,刺激に対する報酬の予測Vは,実際に得られた報酬Rにもとづき,
  Vn + 1 = Vn +α(Rn - Vn) (式4
として更新される.一方,報酬あるいは行動についてのフィードバックがあたえられていない今回の課題における行動は,被験者自身の選択にもとづき判断の選択尤度を更新する機構により説明できた.すなわち,
  CEn + 1 = CEn +α(Cn - CEn) (式3
である.実際の判断はこのようにして推定されたCE(すなわち,内部シグナル)と,提示された感覚刺激の情報に対する反応σM(外部シグナル)の和にもとづきくだされる.弱い感覚刺激に対し判断をくだした場合,あるいは,あやまった判断をくだした場合(つまり,σMの関与が小さいとき),この判断はおもにCEにもとづきなされたものと考えることができる.そして,つぎの試行においては同じ判断を選択する尤度がさらに高くなったかたちで判断にバイアスがかかる.数式のかたちとしては報酬にもとづく行動と同じではあるが,実際の制御機構の相違については今後の研究が期待される.
 また,そもそもこのようなしくみはなんの役にたつのかという疑問についても,答えは明らかではない.おのおのの試行においてどの感覚刺激が提示されるかについてはなんの法則性もなく,しかも,自分の選択が正しいというなんの根拠もない確信にもとづいてつぎの判断の選択尤度を推定するという,なんとも妙な機構である.変化する状況のもとでは自身の行動の結果にもとづき判断の基準を変化させていく必要があるが,報酬やフィードバックがなく,また,外部からの感覚の情報があいまいなものであった場合,自身のとった選択しか情報はない.自身の選択が正しいものであると仮定したかのようなかたちでつぎの判断にバイアスがかけられるため,あやまった判断がくり返されることになる.報酬にもとづく行動の制御機構と同じ機構が,自身の選択をも利用すべき情報として取り込むよう自律的にはたらいてしまうのかもしれない.

おわりに


 これまで述べてきたような判断の保続性は,意思決定の研究においてはよく知られてきた現象であるが,だれもが日常的に経験していることでもある.今回の研究においては,この“わかってはいるが,同じ判断をくり返してしまう”という現象の脳を含めた機構について,はじめて科学的な解明を行ったといえる.とくに特筆すべき点は,つぎの2点である.すなわち,この現象は外的な感覚の情報や単純な行動の発現によるものではないこと,つまり,外的に観察できる事象によるのではなく,自律的にはたらく内在的なしくみから生じていることが示唆された.また,従来の研究では,行動の結果として生じる外界の変化がフィードバックとして作用して内的な状態を変え,この内的な状態がのちの行動の選択に影響を及ぼすと考えてきたが,今回の研究では,行動の選択そのものが内的な状態に影響を及ぼし,のちの行動に影響をあたえることが明らかになった.
 認知的不協和や確証バイアス,知覚安定化といった,これまで知られている現象とあわせ,ヒトが能動的に行動を選択するとともに内的な状態を更新し,外的な環境とむきあっているようすが示唆された.

文 献



  1. Corrado, G. S., Sugrue, L. P., Seung, H. S. et al.: Linear-nonlinear-Poisson models of primate choice dynamics. J. Exp. Anal. Behav., 84, 581-617 (2005)[PubMed]

  2. Gold, J. I., Law, C. T., Connolly, P. et al.: The relative influences of priors and sensory evidence on an oculomotor decision variable during perceptual learning. J. Neurophysiol., 100, 2653-2668 (2008)[PubMed]

  3. Carnevale, F., de Lafuente, V., Romo, R. et al.: Internal signal correlates neural populations and biases perceptual decision reports. Proc. Natl. Acad. Sci. USA, 109, 18938-18943 (2012)[PubMed]

  4. Marcos, E., Pani, P., Brunamonti, E. et al.: Neural variability in premotor cortex is modulated by trial history and predicts behavioral performance. Neuron, 78, 249-255 (2013)[PubMed]

  5. Izuma, K., Matsumoto, M., Murayama, K. et al.: Neural correlates of cognitive dissonance and choice-induced preference change. Proc. Natl. Acad. Sci. USA, 107, 22014- 22019 (2010)[PubMed]

  6. Gold, J. I. & Shadlen, M. N.: The neural basis of decision making. Annu. Rev. Neurosci., 30, 535-574 (2007)[PubMed]

  7. Samejima, K. & Doya, K.: Multiple representations of belief states and action values in corticobasal ganglia loops. Ann. NY Acad. Sci., 1104, 213-228 (2007)[PubMed]





著者プロフィール


赤石 れい(Rei Akaishi)
略歴:2011年 東京大学大学院医学系研究科 修了,同 研究員を経て,2012年より英国Oxford大学 研究員.
研究テーマ:脳における意思決定の機構.

坂井 克之(Katsuyuki Sakai)
東京大学大学院医学系研究科 准教授.
研究室URL:http://square.umin.ac.jp/dcntky/

© 2013 赤石れい・坂井克之 Licensed under CC 表示 2.1 日本