JP7218154B2 - 評価方法 - Google Patents

評価方法 Download PDF

Info

Publication number
JP7218154B2
JP7218154B2 JP2018207839A JP2018207839A JP7218154B2 JP 7218154 B2 JP7218154 B2 JP 7218154B2 JP 2018207839 A JP2018207839 A JP 2018207839A JP 2018207839 A JP2018207839 A JP 2018207839A JP 7218154 B2 JP7218154 B2 JP 7218154B2
Authority
JP
Japan
Prior art keywords
brain activity
matrix
subject
stimulus
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018207839A
Other languages
English (en)
Other versions
JP2020074799A (ja
Inventor
陽香 高橋
秀敏 左達
正憲 松浦
淳一 近添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kao Corp
Inter University Research Institute Corp National Institute of Natural Sciences
Original Assignee
Kao Corp
Inter University Research Institute Corp National Institute of Natural Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kao Corp, Inter University Research Institute Corp National Institute of Natural Sciences filed Critical Kao Corp
Priority to JP2018207839A priority Critical patent/JP7218154B2/ja
Publication of JP2020074799A publication Critical patent/JP2020074799A/ja
Application granted granted Critical
Publication of JP7218154B2 publication Critical patent/JP7218154B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、評価方法に関する。
近年、脳科学の視点から消費者の心理や行動を解析し、マーケティングに応用する、ニューロマーケティングが盛んになってきている。このようなニューロマーケティングに用いられる脳科学的手法としては、脳科学的な視点から静止画像等を評価又は分類することが挙げられる。具体的には、このような手法の例としては、下記の特許文献1から4及び非特許文献1を挙げることができる。
特開2014-115913号公報 特開2016-212772号公報 特開2017-129923号公報 国際公開第2016/080341号
Junichi Chikazoe、Daniel H. Lee、Nikolaus Kriegeskorte、Adam K. Anderson 「Population coding of affect across stimuli, modalities and individuals」 Nature Neuroscience、17、1114-1122 (2014)
しかしながら、被験者の、経時的に画像や音声が変化する動画像等(刺激)が提供する情報に対する潜在的な価値又は感覚については、経時的に変化しない静止画像とは異なり、従来の手法では、定量的に精度よく評価するには不十分であった。
そこで、本発明は、経時的に変化する刺激が提供する情報に対する潜在的な価値又は感覚について、定量的に精度よく評価することが可能な評価方法を提供する。
上記課題を解決するために、本発明のある観点は、経時変化を持つ刺激を評価する評価方法であって、複数の前記刺激を外部から付与された被験者の、前記各刺激の付与中における脳活動を計測することと、前記被験者の前記各刺激に対する主観評価を取得することと、前記各脳活動の計測値から脳活動パターンを抽出することと、前記被験者の、前記各脳活動パターン同士の非類似度又は類似度を算出して、脳活動行列を取得することと、前記被験者の、前記各刺激に対する前記主観評価同士の非類似度又は類似度を算出して、主観評価行列を取得することと、算出された前記脳活動行列を、前記主観評価行列と相関性を持つ第1の要素と、前記第1の要素に比べて前記主観評価行列と相関性の低い第2の要素とに分解し、前記脳活動行列から前記第2の要素を差し引いて、残差行列を算出することと、算出した前記残差行列に基づいて、前記各刺激に対応する座標を取得する、ことを含む評価方法に関する。
以上説明したように、本発明によれば、経時的に変化する刺激が提供する情報に対する潜在的な価値又は感覚について、定量的に精度よく評価することができる。
本発明の実施形態に係る評価システム10の概略的構成を示した説明図である。 本発明の実施形態に係るfMRI100の機能構成の一例を示す図である。 本発明の実施形態に係る刺激提示装置300の機能構成の一例を示す図である。 本発明の実施形態に係る処理装置400の機能構成の一例を示す図である。 本発明の実施形態に係る評価方法の概略を説明するための説明図である。 本発明の実施形態に係る評価方法のフローチャート図である。 本発明の実施形態に係る脳活動量700の計測の一例を説明するための説明図である。 本発明の実施形態に係る脳活動パターン702の抽出方法の一例を説明するための説明図である。 本発明の実施形態に係る脳活動非類似度行列800の取得方法の一例を説明するための説明図である。 本発明の実施形態に係る脳活動非類似度行列800に対する前処理の一例を説明するための説明図である。 本発明の実施形態に係る主観評価非類似度行列802の取得方法の一例を説明するための説明図である。 本発明の実施形態に係る脳活動非類似度行列800の分解の一例を説明するための説明図である。 本発明の実施形態に係る残差非類似度行列804の算出方法の一例を説明するための説明図である。 本発明の実施形態に係る評価方法のステップS100からステップS700までの動作の概略図である。 本発明の実施形態に係る評価結果650の表示の一例を説明するための説明図である。 実施例に係る評価結果650a及び比較例に係る評価結果650bの一例を示す説明図である。 本発明の実施形態に係る処理装置400のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
<<本発明の実施形態を創作するに至る背景>>
まずは、本発明の実施形態の詳細を説明する前に、本発明者らが本発明の実施形態を創作するに至る背景について説明する。
日常生活において、消費者は、事業者によって提供される商品やサービスについて、Commercial Message(CM)のような、時間の経過によって変化する動画像や音声等から認識することが多い。従って、上記CMは、消費者の商品等に対する好感や消費意欲がより効果的に喚起されるように作成することが求められる。
先に説明したように、近年、脳科学の視点から消費者の心理や行動を解析し、マーケティングに応用する、ニューロマーケティングが盛んになってきている。そこで、本発明者らは、このようなニューロマーケティングの手法を利用して、脳科学的な視点からCMを評価する手法を検討してきた。詳細には、本発明者らは、複数のCMを視聴する間の消費者(以下の説明では、被験者と呼ぶ)の脳活動を計測し、計測結果に基づいて、各CMが宣伝する商品等(もしくは、各CMが提供する情報等)に対して、被験者が抱く潜在的な価値又は感覚の違いの程度を定量的に評価する手法を検討してきた。さらに、本発明者らは、このような評価手法によって得られた評価結果を、視覚的に出力することにより、容易に評価結果を把握することができるようにしたいとも考えていた。
ところで、CMは、静止画像と異なり、経時的に画像や音声が変化し、ある程度の時間の長さを持っている。従って、被験者は、ある程度の視聴時間が経過した後に、CMが宣伝する商品等を認識するに至る。本発明者らが、このような特徴を持つCMの評価手法について鋭意検討を進める中で、被験者に、CMを複数回視聴させた場合、以下のようなことが問題になることがわかった。
まず、各CMが10秒から数10秒程度の時間を持つため、CMを複数回視聴させた場合には、おのずと試験時間が長くなる。その結果、被験者の集中力が低下しやすくなり、CMを視聴するごとに喚起される脳活動が低下する。従って、各CMの視聴における脳活動を同じ条件下で定量的に評価するためには、各CMがどのような順番で視聴されたかどうかや、どのような間隔(休止時間)で視聴されたかどうかを考慮して、脳活動の計測結果を取扱うことが求められる。しかしながら、従来の研究においては、静止画像等のような、経時的に変化しない、もしくは、変化に乏しい各種の刺激(例えば、視覚的刺激、味覚的刺激等)しか評価対象としてこなかったことから、上述のような取扱については、ほとんど議論がなされていなかった。
加えて、被験者の、CMの視聴ごとに喚起される心的状態は、先行して視聴したCMから、重畳して影響(キャリーオーバ)を受けやすいことから、個々のCMによって喚起された脳活動を定量的に、且つ、別個に計測することが難しい。特に、静止画像等と異なり、ある程度の視聴時間を要するCMの場合には、上述のようなキャリーオーバが顕著に現れることが分かった。上記キャリーオーバの取扱についても、経時的に変化しない、もしくは、変化に乏しい各種の刺激しか評価対象としてこなかった従来研究において、ほとんど議論がなされていなかった。
さらに、評価手法についての検討を進める中、本発明者らは、計測した脳活動は、被験者がCMの宣伝する商品等に対して抱く潜在的な価値又は感覚に起因する要素だけでなく、計測環境、被験者の性別等の属性、CMの視覚的又は聴覚的特徴等に起因する要素も含まれていることを、独自に知得した。そして、本発明者らは、上述の知得に基づいて、定量的に精度よく評価するためには、計測した脳活動のうち、被験者がCMの宣伝する商品等に対して抱く潜在的な価値又は感覚に起因する要素のみを用いて評価を行うことに着眼した。すなわち、本発明者らは、計測した脳活動から、被験者がCMの宣伝する商品等に対して抱く潜在的な価値又は感覚に起因しない要素をノイズとして除去することを独自に着想したのである。
そして、本発明者らは、上述のような知得や着想を一着眼点にして、本開示の実施形態を創作するに至ったのである。すなわち、本発明者らは、経時的に変化する刺激が提供する情報に対する潜在的な価値又は感覚について、定量的に精度よく評価することを可能にする、本開示の実施形態を創作するに至ったのである。以下に、本発明者が創作した本発明の実施形態の詳細を順次説明する。
以下の説明では、本発明を、事業者によって提供される商品やサービス等を宣伝するCMのような、音声を付帯する動画像を評価する、より具体的には、CMが提供する商品等の情報に対する、被験者にとっての潜在的な価値又は感覚の違いを定量的に評価する評価システム及び評価方法に適用した場合を例に説明する。しかしながら、本発明は、上記CMの評価に限定されるものではなく、例えば、被験者に対して与えられる、動画像、嗅覚刺激、音声等の経時変化を持つ刺激(時間の経過によって変化する刺激)に対する、被験者の潜在的な価値又は感覚の違いを定量的に評価する評価システム及び評価方法にも適用することができる。
<<実施形態>>
<評価システム10の概略的な構成>
まずは、図1を参照して、本発明の実施形態に係る評価システム10の概略的な構成について説明する。図1は、本発明の実施形態に係る評価システム10の概略的構成を示した説明図である。
図1に示すように、本実施形態に係る評価システム10は、例えば、fMRI(functional Magnetic Resonance Imaging)(計測部)100と、入力装置200と、刺激提示装置300(図1では、刺激提示装置300に含まれる表示部302及び音声出力部304が図示されている)と、処理装置400とを含むことができる。上記のfMRI100と、入力装置200と、刺激提示装置300と、処理装置400とは、互いに有線又は無線の各種の通信ネットワーク(図示省略)を介して通信するようにしてもよい。以下に、本実施形態に係る評価システム10に含まれる各装置の概略について説明する。
(fMRI100)
fMRI100は、核磁気共鳴を利用して、人の脳の神経活動に関連した脳血流動態応答である核磁気(MR)信号を取得することにより、人の脳活動を計測することができる。より具体的には、本実施形態においては、fMRI100は、複数の刺激(以下の説明において「複数の刺激」とは、複数回、経時変化を持つ刺激を複数回被験者500に与えること。なお、「経時変化を持つ刺激」は、視覚や嗅覚等の異なる種類の刺激の組み合わせであってもよい。)を外部から与えられた被験者500の、各刺激の付与中の脳活動量を計測することができる。なお、本実施形態においては、脳活動の計測方法は、fMRI100によって実施されることに限定されるものではなく、各種の生体情報センサによって実施されてもよい。例えば、本実施形態においては、被験者500の頭部の一部に直接的に装着され、被験者500の脳波等を計測する生体情報センサを用いて、被験者500の脳活動を計測してもよい。さらに、fMRI100は、被験者500の脳活動量の計測値を後述する処理装置400へ送信することができる。なお、fMRI100の詳細構成については、後述する。
(入力装置200)
入力装置200は、被験者500によって操作される装置であり、例えば、入力ボタンであることができる。入力装置200は、被験者500によって操作されることにより、被験者500による刺激に対する主観評価(詳細には、視聴したCMが宣伝する商品等に対する主観評価)の結果を処理装置400に入力することができる。なお、入力装置200は、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等であってもよい。また、入力装置200は、被験者500の音声を検出するマイクロフォンであってもよい。また、本実施形態においては、後述する刺激提示装置300の表示部302に表示された画像を参照して、被験者500は、自身の主観評価の結果を、入力装置200を用いて入力してもよい。
(刺激提示装置300)
刺激提示装置300は、被験者500に対して刺激(例えば、CM)を与えるための装置であり、例えば、被験者500に対して動画像を与えるための表示部302、上記動画像に付帯する音声を被験者500に対して与えるための音声出力部304、及び、これらを制御するための制御部306(図3 参照)等を含む。例えば、被験者500は、刺激提示装置300によって与えられたCMの宣伝する商品等に対して、主観的な評価を行うこととなる。さらに、刺激提示装置300は、後述する処理装置400に対して、どのような刺激を被験者500に与えたのかについての情報や、刺激の付与を開始した時刻や終了した時刻等の、刺激の付与に関する情報を送信することもできる。なお、刺激提示装置300の詳細構成については、後述する。
(処理装置400)
処理装置400は、上述のfMRI100、入力装置200、及び刺激提示装置300から取得した情報を処理するためのコンピュータである。詳細には、処理装置400は、fMRI100から送信された脳活動量の計測値を受信することができ、加えて、入力装置200から送信された被験者500の刺激(CM)に対する主観評価(詳細には、CMの宣伝する商品等に対する主観評価)の結果を受信することができる。さらに、処理装置400は、受信した計測値及び主観評価の結果に基づき、各刺激に対する評価(具体的には、CMが提供する商品等に対する、被験者500にとっての潜在的な価値又は感覚の違いの評価)を行うことができる。なお、処理装置400の詳細構成については後述する。
なお、本実施形態においては、fMRI100、入力装置200、刺激提示装置300、及び処理装置400のうちの2つ、3つ又は全部が一体の装置であってもよく、すなわち、それぞれ単一の装置によって実現されていなくてもよい。また、本実施形態においては、fMRI100、刺激提示装置300、及び処理装置400のそれぞれは、有線又は無線の各種の通信ネットワーク(図示省略)を介して接続され、互いに協働する複数の装置によって実現されてもよい。
<fMRI100の詳細構成>
以上、本実施形態に係る評価システム10の概略的な構成について説明した。次に、本実施形態に係る評価システム10に含まれる各装置の詳細構成について順次説明する。まずは、fMRI100の詳細構成を、図2を参照して説明する。図2は、本実施形態に係るfMRI100の機能構成の一例を示す図である。
先に説明したように、fMRI100は、複数の刺激(例えば、CM)を与えられた被験者500の、各刺激の付与中の脳活動量を計測する装置であり、被験者500の脳活動量の計測値を処理装置400へ送信することができる。詳細には、fMRI100は、図2に示すように、コイル110と、制御ユニット120とを主に有する。以下に、fMRI100の各機能ブロックについて順次説明する。
(コイル110)
コイル110は、例えば、静磁場コイル(図示省略)と、傾斜磁場コイル(図示省略)と、高周波コイル(RF(Radio Frequency)コイル)(図示省略)とを含むことができる。詳細には、上記静磁場コイルは、核磁気共鳴を起こすための静磁場磁石であり、超電導磁石等を使用することができる。また、上記傾斜磁場コイルは、プロトンに位置情報をエンコードするためのもので、より具体的には、X方向傾斜磁場コイル(図示省略)とY方向傾斜磁場コイル(図示省略)とZ方向傾斜磁場コイル(図示省略)とを含むことができる。そして、上記RFコイルは、被測定物(詳細には、被験者500の脳)に吸収させる電磁波の照射と放出信号の検出に用いられ、ラジオ波発生装置(図示省略)から発生するRFパルスを被験者500の脳に照射して、放出された信号を検出することができる。
(制御ユニット120)
制御ユニット120は、コイル110等のfMRI100の各ブロックを制御したりすることができる。詳細には、図2に示すように、制御ユニット120は、入力部130、制御部132、受信部134、処理部136及び出力部138を主に含むことができる。以下に、制御ユニット120の各機能ブロックについて説明する。
~入力部130~
入力部130は、fMRI100へのコマンドの入力を受け付けることができる。より具体的には、当該入力部130は、タッチパネル、ボタン、レバー等により実現される。
~制御部132~
制御部132は、制御ユニット120内に設けられ、上記入力部130によって受け付けたコマンドに従って、上述のコイル110を制御することができる。当該制御部132は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等のハードウェアにより実現される。
~受信部134~
受信部134は、コイル110から放出された信号(詳細には、信号強度)を取得し、取得した信号を後述する処理部136へ出力する。この際、受信部134は、正確な時刻を把握する時計機構(図示省略)を内蔵し、信号に、当該信号を取得した時刻を紐づけて処理部136へ出力してもよい。また、受信部134は、信号に、当該信号を取得した位置(詳細には、被験者500の脳における位置)の情報を紐づけて処理部136へ出力してもよい。
~処理部136~
処理部136は、受信部134から出力された信号の情報を、所定の形式に変換し(デジタル変換等)、後述する出力部138に出力する。
~出力部138~
出力部138は、処理部136から出力された所定の形式の信号情報を、処理装置400へ送信する。
なお、fMRI100に含まれる各機能ブロックは、図2に示される機能ブロックに限定されるものではなく、例えば、他の機能ブロックがさらに含まれていてもよい。
<刺激提示装置300の詳細構成>
以上、fMRI100の詳細構成について説明した。次に、刺激提示装置300の詳細構成を、図3を参照して説明する。図3は、本実施形態に係る刺激提示装置300の機能構成の一例を示す図である。
先に説明したように、刺激提示装置300は、被験者500に対して刺激(例えば、CM)を与えるための装置である。詳細には、刺激提示装置300は、図3に示すように、表示部302と、音声出力部304と、制御部306と、入力部308とを主に有する。以下に、刺激提示装置300の各機能ブロックについて順次説明する。
(表示部302)
表示部302は、後述する制御部306の制御に従って、被験者500に対して、動画像を表示する機能部であり、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD(Liquid Crystal Display))装置、OLED(Organic Light Emitting Diode)ディスプレイ装置等により実現される。本実施形態においては、fMRI100によって脳活動量を測定されている被験者500から、動画像を視聴することができれば、表示部302の位置や構造は限定されるものではない。例えば、本実施形態においては、例えば、鏡の反射等を利用して、上記被験者500から表示部302が表示する動画像を視認できるようにしてもよい。さらに、本実施形態においては、表示部302は、被験者500による刺激に対する主観評価を行うための画像を表示してもよい。
(音声出力部304)
音声出力部304は、後述する制御部306の制御に従って、被験者500に対して、音声を出力する機能部であり、例えば、スピーカや、被験者500の左右の耳に対応する1対のイヤホンスピーカ(ヘッドフォンスピーカ)により実現することができる。
(制御部306)
制御部306は、例えば、CPU等を中心に構成されており、後述する入力部308によって受け付けたコマンドに従って、表示部302及び音声出力部304を制御する。
(入力部308)
入力部308は、刺激提示装置300へのコマンドの入力を受け付けることができる。より具体的には、当該入力部308は、タッチパネル、ボタン、レバー等により実現される。
また、刺激提示装置300に含まれる各機能ブロックは、図3に示される機能ブロックに限定されるものではない。例えば、本実施形態においては、刺激提示装置300は、表示部302及び音声出力部304から出力される動画像や音声の情報を格納する記憶部(図示省略)をさらに含んでいてもよい。
<処理装置400の詳細構成>
以上、刺激提示装置300の詳細構成について説明した。次に、処理装置400の詳細構成を、図4を参照して説明する。図4は、本実施形態に係る処理装置400の機能構成の一例を示す図である。
先に説明したように、処理装置400は、上述のfMRI100や入力装置200から取得した情報を処理するためのコンピュータである。詳細には、処理装置400は、図4に示すように、処理部410と、記憶部450と、表示部460とを主に有する。以下に、処理装置400の各機能ブロックについて順次説明する。
(処理部410)
処理部410は、例えば、CPU等を中心に構成されており、fMRI100や入力装置200から取得した情報を処理することで、刺激(詳細には、CM)に対する評価(詳細には、CMが提供する商品等に対する、被験者500の潜在的な価値又は感覚の違いの評価)を実行することができる。具体的には、処理部410は、図4に示すように、パターン抽出部420、脳活動行列取得部422、主観評価取得部430、主観評価行列取得部432、残差行列取得部440及び座標取得部442を主に有する。以下に、処理部410の各機能ブロックの詳細について説明する。
~パターン抽出部420~
パターン抽出部420は、fMRI100から被験者500の脳活動量の計測値を取得し、取得した脳活動量の計測値から脳活動パターンを抽出することができる。さらに、パターン抽出部420は、抽出した脳活動パターンを後述する脳活動行列取得部422に出力することができる。なお、脳活動パターンの抽出の方法の詳細については、後述する。
~脳活動行列取得部422~
脳活動行列取得部422は、上記パターン抽出部420から出力された、被験者500の各脳活動のパターン同士の非類似度又は類似度を算出して、脳活動行列を取得することができる。そして、脳活動行列取得部422は、取得した脳活動行列を後述する残差行列取得部440に出力することができる。さらに、脳活動行列取得部422は、残差行列取得部440に出力する前に、取得した上記脳活動行列に対して各種の統計処理(前処理)を行うこともできる。なお、脳活動行列の取得の方法の詳細については、後述する。
~主観評価取得部430~
主観評価取得部430は、入力装置200から被験者500の主観評価(詳細には、CMの宣伝する商品等に対する主観評価)の結果を取得し、取得した主観評価の結果を後述する主観評価行列取得部432に出力することができる。
~主観評価行列取得部432~
主観評価行列取得部432は、上記主観評価取得部430から出力された、被験者500の、各刺激に対する主観評価(詳細には、CMの宣伝する商品等に対する主観評価)の結果同士の非類似度又は類似度を算出して、主観評価行列を取得することができる。そして、主観評価行列取得部432は、取得した主観評価行列を後述する残差行列取得部440に出力することができる。さらに、主観評価行列取得部432は、残差行列取得部440に出力する前に、取得した上記主観評価行列に対して各種の統計処理を行うこともできる。なお、主観評価行列の取得の方法の詳細については、後述する。
~残差行列取得部440~
残差行列取得部440は、上述した脳活動行列取得部422から出力された脳活動行列と、上述した主観評価行列取得部432から出力された主観評価行列とに基づき、残差行列を算出することができる。詳細には、残差行列取得部440は、上記脳活動行列を、上記主観評価行列と相関性を持つ第1の要素と、当該第1の要素に比べて主観評価行列と相関性の低い第2の要素とに分解することができる。さらに、残差行列取得部440は、上記脳活動行列から上記第2の要素を差し引くことで、残差行列を算出することができる。また、残差行列取得部440は、算出した残差行列を後述する座標取得部442に出力することもできる。なお、残差行列の取得の方法の詳細については、後述する。
~座標取得部442~
座標取得部442は、上述の残差行列取得部440から出力された残差行列に基づいて、各刺激(CM)に対応する座標を取得することができる。さらに、座標取得部442は、取得した座標を後述する表示部460に出力することができる。なお、座標の取得の方法の詳細については、後述する。
(記憶部450)
記憶部450は、HDD(Hard Disk Drive)等の記憶装置から実現され、上述した処理部410で用いる情報等を格納する。
(表示部460)
表示部460は、上述した座標取得部442から出力された座標に従って仮想空間(2次元又は3次元空間)にプロットされた各刺激(詳細には、CMの代表画面)、又は、各刺激に対応するマーク等を表示することができる。表示部460は、例えば、CRTディスプレイ装置、液晶ディスプレイ装置、OLEDディスプレイ装置等により実現される。
なお、本実施形態においては、処理装置400に含まれる各機能ブロックは、図4に示される機能ブロックに限定されるものではない。
以上、本実施形態に係る評価システム10の概略構成及び当該評価システム10に含まれる各装置の詳細構成について説明した。なお、当該評価システム10の構成は、上記の例には限られず、様々な変形が可能である。
<評価方法>
次に、本発明の実施形態に係る評価方法について、図5から図15を参照して説明する。図5は、本実施形態に係る評価方法の概略を説明するための説明図であり、図6は、本実施形態に係る評価方法のフローチャート図である。図7は、本実施形態に係る脳活動量700の計測を説明するための説明図であり、図8は、本発明の実施形態に係る脳活動パターン702の抽出方法の一例を説明するための説明図である。図9は、本実施形態に係る脳活動非類似度行列800の取得方法の一例を説明するための説明図である。図10は、本実施形態に係る脳活動非類似度行列800に対する前処理の一例を説明するための説明図である。図11は、本実施形態に係る主観評価非類似度行列802の取得方法の一例を説明するための説明図である。また、図12は、本実施形態に係る脳活動非類似度行列800の分解の一例を説明するための説明図であり、図13は、本実施形態に係る残差非類似度行列804の算出方法の一例を説明するための説明図である。さらに、図14は、本実施形態に係る評価方法のステップS100からステップS700までの動作の概略図であり、図15は、本実施形態に係る評価結果650の表示の一例を説明するための説明図である。
先に説明したように、以下の説明においては、事業者によって提供される商品やサービス等を宣伝するCMを評価する、より具体的には、CMが宣伝する商品等に対する、被験者500にとっての潜在的な価値又は感覚の違いを定量的に評価する評価方法について説明する。
本実施形態に係る評価方法においては、動画像(CM)を視聴することとなる被験者500は、1人以上であればよく、例えば、複数人としてもよい。また、上記被験者500は、商品等の消費者であってもよく、CMや商品等のデザイナーやクリエイターといった仕事にたずさわる人であってもよく、もしくは、特にこのような仕事にたずさわる人でなくてもよい。
また、本実施形態においては、各被験者500に対して、異なる2以上のCMを視聴させることが好ましく、異なる3以上のCMを視聴させることがより好ましい。詳細には、本実施形態においては、表示部302及び音声出力部304によって、5秒から30秒程度の1つの商品(もしくは、サービス又はブランド)を宣伝するCMが被験者500に対して提供される。本実施形態においては、CMは、放送局によって番組の前後や途中に流される広告CMであってもよく、店頭に設置されたディスプレイ等で流される店頭CMであってもよく、もしくは、インターネット等を通じて、消費者等に与えられる動画像広告であってもよく、特に限定されるものではない。
より具体的には、本実施形態においては、図5に示すように、被験者500は、異なる複数(例えば、32個)のCM600の視聴を繰り返し行うこととなる。そして、上述のfMRI100は、CM600の視聴中の被験者500の脳活動量を計測する。消費者の日常においては、CM600の視聴中や視聴直後に、CM600で宣伝された商品等の購買を判断することが多い。従って、本実施形態においては、各CM600の視聴中に被験者500の脳活動量を計測することにより、日常において自然な環境下における購買判断時の脳活動パターンを得ることができる。
さらに、図5に示されているように、被験者500は、各CM600の視聴の終了直後、又は、視聴中に、例えば、CM600で宣伝されている商品等に対して感じている評価(主観評価)を行う。例えば、上記主観評価としては、CM600で紹介されている商品の購入意欲を段階的に数値(スケール)等で評価することであってもよい(例えば、5:とても購入したい。4:購入したい。3:どちらでもない。2:あまり購入したくない。1:購入したくない。)。このような場合、被験者500は、段階的数値による評価結果を、入力装置200を用いて入力する。また、本実施形態においては、上記主観評価としては、例えば、CM600で宣伝されている商品の魅力を段階的に数値等で評価することであってもよく、または、医療等で用いられているVisual Analogue Scale(VAS)のように、所定の長さの線分(例えば、線分の右端を「確実に購入する」とし、左端を「確実に購入しない」とする)を被験者500に示し、被験者500自身の購入意欲を当該線分上にプロットしてもらうことで主観評価を行ってもよい。
また、主観評価の上記スケールは、2以上の数値変化があればよく、5~10の数値変化があれば好ましく、100の数値変化があることがより好ましい。例えば、後者の場合、購入しないを0とし、購入意欲が非常に高い場合には100と設定することとなる。
なお、本実施形態においては、被験者500が、複数のCM600の視聴を繰り返し行うことで疲労し、集中力が衰えることから、脳活動量が低下する可能性が高い。従って、本実施形態においては、このような脳活動量の低下を防ぐために、図5に示すように、試験の途中で、休憩を挟むことが好ましい。具体的には、本実施形態においては、図5に示すように、連続的に複数のCM600を被験者500に与える場合には、所定の数のCM600を与えた後に、休憩を挟み、さらに、所定の数のCM600を与えるというように、休憩を挟むことが好ましい。なお、以下の説明においては、所定の数のCM600を被験者500に与える期間を1セッションと呼び、異なるセッションの間においては被験者500に休憩を与えるといった、間欠的に異なるセッションを実施することが好ましい。
そして、図6に示すように、本実施形態に係る評価方法は、ステップS100からステップS900までの複数のステップを主に含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。
(ステップS100)
まずは、各CM600の視聴中において、被験者500の脳活動量をfMRI100により計測する。本実施形態においては、被験者500は、CM600で提示された商品やサービス等に対する購入意欲(評価)を考えながら、CM600を視聴することが好ましい。
先に説明したように、被験者500は、ある程度の視聴時間が経過した後に、CM600が宣伝する商品等を認識するに至る。従って、CMが宣伝する商品等に対する、被験者500にとっての潜在的な価値又は感覚の違いを定量的に評価するためには、被験者500が商品等を認識したタイミング以降に計測されたデータを解析対象にすることが好ましい。そこで、本実施形態においては、図7に示すように、CM600の視聴の開始時から所定の時間経過後(例えば、15秒のCM600の場合には、10~14秒経過後が好ましく、13秒経過後がより好ましい)であって、所定に時間の間(例えば、15秒のCM600の場合には、1~5秒間が好ましく、2秒間がより好ましい)に計測された被験者500の脳活動量700を解析対象とすることが好ましい。
(ステップS200)
次に、評価システム10は、被験者500の各CM600に対する主観評価の結果を取得する。詳細には、本ステップS200においては、被験者500に、上述したように、CM600で宣伝されている商品等の購入意欲を上述のような段階的な数値やスケール等で評価してもらい、その評価数値を取得する。
(ステップS300)
次に、評価システム10は、上述のステップS100で計測した脳活動量700から、脳活動パターン702を抽出する。
詳細には、図8に示すように、被験者500の脳502の全体又は一部を、所定の体積を持つ複数の立方体(例えば、1辺の長さが1~3mmの立方体であることが好ましく、2mmの立方体であることがより好ましい)に仮想的に分割する。なお、以下の説明においては、当該立方体をボクセル(voxel)504と呼ぶ。また、本実施形態においては、複数のボクセル504の大きさは同一であることが好ましい。さらに、複数のボクセル504に仮想的に分割されることになる脳502の領域は、被験者500の脳502の全体であってもよく、脳活動が顕著に現れる脳502の一部であってもよい。例えば、脳活動が顕著に現れる領域としては、神経細胞が密集する灰白質領域を挙げることができる。
そして、当該ステップS300においては、各ボクセル504に対応する脳502の領域から計測された脳活動量700を取得し、X軸をボクセル504、Y軸を脳活動量700としてプロットすることにより、図8の右側に示すような脳活動パターン702を抽出する。具体的には、例えば、予め各ボクセルに数字を付しておき、付された数字の大きさに従って、処理装置400は、各ボクセル504に対応する脳活動量700をプロットする。本実施形態においては、このような、脳活動パターン702の抽出を、CM600ごとに行うこととなる。なお、各ボクセル504の脳活動量700としては、例えば、計測期間において、平滑化された(平均化された)計測値を用いることができる。なお、本実施形態においては、脳502の内側も含めて、細かい単位であるボクセル504ごとに脳活動量700を取得し、脳活動パターン702を抽出している。従って、本実施形態によれば、CM600視聴中の被験者500の脳活動を精度よく表現することができる。
(ステップS400)
次に、処理装置400は、被験者500の、各CM600の脳活動パターン702同士の非類似度を算出して、脳活動非類似度行列800を取得する。
詳細には、処理装置400は、図9に示すように、異なるCM600a、600b同士の脳活動パターン702a、702bの相関係数(-1から+1の間の数値(無次元)となる)を算出し、算出した相関係数を数「1」から差し引くことで、2から0の範囲の数値(無次元)となる非類似度を算出する。さらに、処理装置400は、複数のCM600において、総当たりで脳活動パターン702同士の相関係数の算出し、さらに非類似度の算出を順次行う。
具体的には、CM600aの脳活動パターン702aの脳活動量(変数)をxi(iはボクセル504に付された数字)とし、CM600bの脳活動パターン702bの脳活動量(変数)をyとした場合には、相関係数rは、以下の数式(1)により算出することができる。
Figure 0007218154000001
なお、上記数式(1)においては、Sxyは、xとyの共分散であり、Sは、xの標準偏差、Sは、yの標準偏差、オーバラインのあるx及びyは、x及びyの平均値であるものとする。
さらに、非類似度dは、以下の数式(2)によって算出することができる。
Figure 0007218154000002
そして、上記非類似度dは、CM600a、600b同士の脳活動パターン702a、702b同士の仮想的な距離を示していると考えることができる。このように算出した各非類似度dを、対角線に対して対象となるように配列することにより、図9の右側に示されるような、上記仮想的な距離の情報が含まれる脳活動非類似度行列800を取得することができる。従って、脳活動非類似度行列800は、被験者500が視聴したCM600の数に対応する列数及び行数を持つ。さらに、当該脳活動非類似度行列800は、被験者500ごとに取得することができる。
なお、ステップS400において非類似度dを算出し、算出した複数の非類似度dからなる脳活動非類似度行列800を取得するものとして説明したが、本実施形態においては、これに限定されるものではない。例えば、ステップS400において、相関係数rを算出し、算出した複数の相関係数rからなる脳活動類似度行列(図示省略)を取得してもよい。この場合、処理装置400は、後続のステップにおいて、当該脳活動類似度行列を減算により脳活動非類似度行列800に変換することとなる。
(ステップS500)
本実施形態においては、上述のステップS400において取得された脳活動非類似度行列800に対して、残差非類似度行列804の算出を行う前に前処理を行ってもよい。
先に説明したように、被験者500の、CM600の視聴による脳活動パターン702は、その前に被験者500に対して与えられた先行CM600(先行刺激)による影響を受けやすい。言い換えると、先行CM600の視聴からの、後続CM600(後続刺激)の視聴による脳活動パターン702に対する作用(キャリーオーバ)によって、当該脳活動パターン700には、ノイズ成分が含まれる。さらに、先行CM600の後に連続的に後続CM600が被験者500に与えられる場合と、先行CM600の後に間欠的に後続CM600が被験者500に与えられる場合(例えば、先行CM600と後続CM600とに間に休憩が与えられるような、先行CM600と後続CM600とが属するセッションが異なる場合)とでは、上記キャリーオーバの現れ方が異なることから、ノイズ成分も異なることとなる。そこで、本実施形態においては、このようなキャリーオーバ作用を考慮して、脳活動非類似度行列800に対して、前処理を行うことが好ましい。
詳細には、図10に示すように、先行CM600aの後に連続的に後続CM600bが被験者500に与えられる場合には、脳活動パターン702a、702bとは、キャリーオーバの作用が大きく、互いに類似する傾向を持つ。すなわち、脳活動パターン702a、702bとは、非類似度が低いこととなる。本実施形態においては、このような場合に、脳活動パターン702bには、上記キャリーオーバに起因する第3のノイズ成分が含まれるものと考えることができる。
一方、図10に示すように、先行CM600bの後に間欠的に後続CM600cが被験者500に与えられる場合には、脳活動パターン702b、702cとは、キャリーオーバの作用が小さく、互いに類似しない傾向を持つ。すなわち、脳活動パターン702b、702cとは、非類似度が高いこととなる。本実施形態においては、このような場合に、脳活動パターン702cには、上記キャリーオーバに起因する第4のノイズ成分が含まれるものと考えることができる。
そこで、本実施形態においては、個々のCM600によって喚起された脳活動パターン702を、同じ条件の下で個別に評価するために、上述のキャリーオーバに起因する第3又は第4のノイズ成分を脳活動非類似度行列800から除去する前処理を行うことが好ましい。すなわち、このような前処理を行うことにより、連続的にCM600が与えられた場合と、間欠的にCM600と与えられた場合とであっても、同じ条件下で脳活動量700を定量的に評価することができる。
具体的には、例えば、図10の右側に示す、脳活動非類似度行列800の非類似度が低い傾向がある領域800a(先行CM600aの後に連続的に後続CM600bが被験者500に与えられる場合)における非類似度の平均値を、脳活動非類似度行列800の非類似度が高い傾向がある領域800b(先行CM600bの後に間欠的に後続CM600cが被験者500に与えられる場合)における非類似度から差し引くことにより、脳活動非類似度行列800から第4のノイズを除去する前処理を行うことが好ましい。
もしくは、例えば、図10の右側に示す、脳活動非類似度行列800の非類似度が高い傾向がある領域800b(先行CM600bの後に間欠的に後続CM600cが被験者500に与えられる場合)における非類似度の平均値を、脳活動非類似度行列800の非類似度が低い傾向がある領域800a(先行CM600aの後に連続的に後続CM600bが被験者500に与えられる場合)における非類似度に足し合わせることにより、脳活動非類似度行列800から第3のノイズを除去する前処理を行うことが好ましい。
なお、上述の前処理は、脳活動非類似度行列800の領域800a、800bにおける非類似度の標準化(正規化、又は、規格化)を行っていると考えることもできる。
(ステップS600)
次に、処理装置400は、被験者500の、各CM600の主観評価同士の非類似度を算出して、主観評価非類似度行列802を取得する。
詳細には、処理装置400は、図11に示すように、異なるCM600a、600b同士の主観評価の値の差分を算出し、主観評価における非類似度とする。さらに、処理装置400は、複数のCM600において、総当たりで主観評価の値の差分を主観評価における非類似度として順次算出する。本実施形態においては、算出された複数の非類似度は、各被験者500内で統計的に標準化(正規化、又は、規格化)してもよい。例えば、本実施形態においては、複数の非類似度を、1から0の間の数値を取るように標準化してもよい。
そして、上記非類似度は、CM600a、600b同士の主観評価同士の仮想的な距離を示していると考えることができる。このように算出した各非類似度を、対角線に対して対象となるように配列することにより、図11の右側に示されるような、上記仮想的な距離の情報が含まれる主観評価非類似度行列802を取得することができる。従って、主観評価非類似度行列802は、被験者500が視聴したCM600の数に対応する列数及び行数を持つこととなる。また、当該主観評価非類似度行列802は、被験者500ごとに取得することができる。
なお、ステップS600において非類似度を算出し、算出した複数の非類似度からなる主観評価非類似度行列802を取得するものとして説明したが、本実施形態においては、これに限定されるものではない。本実施形態においては、例えば、ステップS600において、異なるCM600a、600b同士の主観評価の値の差分を算出し、算出した値を標準化する。さらに、標準化した値を数「1」から差し引くことで、1から0の範囲の数値(無次元)となる類似度を算出し、算出した複数の類似度からなる主観評価類似度行列(図示省略)を取得してもよい。この場合においては、後続のステップにおいて、当該主観評価類似度行列を減算により主観評価非類似度行列802に変換することとなる。
(ステップS700)
次に、処理装置400は、上述のステップで算出された脳活動非類似度行列800を、主観評価非類似度行列802と相関性を持つ第1の要素と、第1の要素に比べて主観評価非類似度行列802と相関性の低い第2の要素とに分解する。
詳細には、本実施形態においては、先に説明したように、図12に示すように、脳活動非類似度行列800は、一般線形モデル(重回帰分析)を用いることにより、主観評価非類似度行列802と相関性を持つ、言い換えると、主観評価非類似度行列802で統計的に説明することが可能な第1の要素810aと、第1の要素に比べて主観評価非類似度行列802と相関性の低い、言い換えると、主観評価非類似度行列802で統計的に説明することが難しい第2の要素810bと、残差(ε)とに分解することができる。より具体的には、図12及び下記の式(3)に示すように、予め設定した重み付け値(β、β)を用いることにより、上記第1の要素810aは、主観非類似度行列802と重み付け値βとの積として示すことができ、上記第2の要素810bは、主観評価とは関連していない要素(ノイズ成分)(第1のノイズ成分)と重み付け値βとの積として示すことができる。なお、主観評価非類似度行列802との相関性の高い第1の要素810aは、被験者500がCM600の宣伝する商品等に対して抱く潜在的な価値又は感覚に起因する要素であり、一方、主観評価非類似度行列802との相関性の低い第2の要素810bは、被験者500がCM600の宣伝する商品等に対して抱く潜在的な価値又は感覚に起因しない要素、すなわち、ノイズであると考えることができる。なお、統計的に説明することが可能とは、一般線形モデルによる解析において、主観評価非類似度行列802と数学的に高い相関を持っている変数と判断することができることをいう。
Figure 0007218154000003
なお、式(3)に含まれる重み付け値(β、β)は、既に取得した評価結果等を参照して、予め設定することができる。
また、本実施形態においては、残差εは、例えば、自己相関のない変数成分であるホワイトノイズと考えることができる。また、上述の主観評価とは関連していない要素とは、例えば、脳活動量700の計測値に含まれ得るノイズ成分や、被験者500の年齢、性別等の属性により影響を受ける要素や、CM600の視覚的又は聴覚的特徴により影響を受ける要素等であると考えることができる。
さらに、本実施形態においては、主観評価とは関連していない要素とは、先に説明した、先行するCM600からの、後続するCM600の脳活動パターン700に対するキャリーオーバに起因するノイズ成分であると考えることもできる。
詳細には、図10を参照して先に説明したように、先行CM600aの後に連続的に後続CM600bが被験者500に与えられる場合には、脳活動パターン702a、702bとは、キャリーオーバの作用が大きく、非類似度が低いこととなる。なお、先行CM600aの直後に連続的に後続CM600bが与えられる場合だけでなく、先行CM600aの後に、連続的に複数の後続CM600が与えられた場合、n番目のCM600nの視聴中に得られた脳活動パターン702-nには、1つ前から、複数個(k個)前の視聴したCM600n-kまでの作用に起因した複数のノイズ成分の総和値である第2のノイズ成分が含まれることとなる。
さらに、図10を参照して先に説明したように、先行CM600bの後に間欠的に後続CM600cが被験者500に与えられる場合には、脳活動パターン702b、702cとは、キャリーオーバの作用が小さく、非類似度が高いこととなる。なお、先行CM600bの直後に間欠的に後続CM600cが与えられる場合だけでなく、先行CM600bの後に、間欠的に複数の後続CM600が与えられた場合にも、n番目のCM600nの視聴による脳活動パターン702-nには、1つ前から、複数個(k個)前の視聴したCM600n-kまでの作用に起因した複数のノイズ成分の総和値である第2のノイズ成分が含まれることとなる。
従って、本実施形態においては、主観評価とは関連していない要素とは、1つ前から、複数個(k個)前の視聴したCM600n-kまでの作用に起因した複数のノイズ成分の総和値である第2のノイズ成分であると考えることができる。より詳細には、主観評価とは関連していない要素とは、以下の数式(4)によって示すことができる。
Figure 0007218154000004
なお、式(4)に含まれる重み付け値(α、α、α、・・・、α)は、既に取得した評価結果等を参照して、予め設定することができる。
なお、本実施形態においては、積算するノイズ成分は、既に取得した評価結果等を参照して、予め算出することができる。また、本実施形態においては、積算するノイズ成分は、1個前のCM600からのノイズ成分だけでもよく、1個前のCM600からのノイズ成分から5個前のCM600からのノイズ成分までであることが好ましく、1個前のCM600からのノイズ成分から6個前のCM600からのノイズ成分であることがより好ましい。さらに、本実施形態は、各ノイズ成分は、隣り合う前のCM600の1つ前のCM600からのノイズ成分と、隣り合う前のCM600の2つ前のCM600からのノイズ成分と間での回帰子(Regressor)を作成し、次いで、隣り合う前のCM600の2つ前のCM600からのノイズ成分と、隣り合う前のCM600の3つ前のCM600からのノイズ成分と間で回帰子を作成するというように、隣り合うCM600の関係ごとに各回帰子を作成することにより得ることが好ましい。
本実施形態においては、主観評価とは関連していない要素を、隣り合う、もしくは、複数個のCM600を挟んで隣り合う順番で視聴されたCM600からのノイズ成分の総和値であると考えることにより、各CM600がどのような順番で視聴されたかどうかや、どのような間隔(休止時間)で視聴されたかどうかを考慮した上で、脳活動量700を定量的に評価することができる。
次に、当該ステップS700においては、図13に示すように、上記脳活動非類似度行列800から上記第2の要素810bを差し引くことにより、残差非類似度行列804を算出することができる。より具体的には、図13及び下記の式(5)に示すように、脳活動非類似度行列800から、主観評価とは関連していない要素(第1のノイズ成分)と重み付け値βとの積を差し引くことにより、残差非類似度行列804を算出することができる。
Figure 0007218154000005
本実施形態においては、上述のような差分を算出することにより、計測した脳活動量700のうち、被験者がCMの宣伝する商品等に対して抱く潜在的な価値又は感覚に起因する要素のみを用いて評価を行うことができる。その結果、本実施形態においては、被験者500の、経時的に変化するCM600が宣伝する商品等に対する潜在的な価値又は感覚について、定量的に精度よく評価することができる。
上述したステップS100からステップS700までの動作をまとめて図示したものが、図14である。すなわち、図14は、本実施形態に係る評価方法のステップS100からステップS700までの動作の概略図である。なお、ここでは、各ステップの詳細について既に説明したため、図14の詳細な説明を省略する。
(ステップS800)
次に、処理装置400は、上述したステップS700で算出した残差非類似度行列804に基づいて、各CM600に対応する座標を取得する。詳細には、残差非類似度行列804に対して、非計量多次元尺度構成法を用いて、仮想空間(2次元又は3次元空間)における各CM600の座標を算出する。
先に説明したように、複数の非類似度からなる非類似度行列は、2つのCM600の間の仮想的な距離の情報を含んでおり、上記非計量多次元尺度構成法を用いることにより、非類似度行列である残差非類似度行列804が含む多数の点間(CM600の間)の距離情報から、当該距離情報を再現するように、各点(各CM600)の空間座標を逆算することができる。より具体的には、各CM600の仮の座標を決定し、各CM600の間の距離が、各CM600の非類似度と単調増加関係であると仮定し、当該単調関係をどの程度満たしているかの指標が最小となるように、各CM600の仮の座標の修正を繰りかえることにより、各CM600の座標を算出することができる。なお、本実施形態においては、仮想空間における各CM600の座標を算出する方法は、上述のような方法に限定されるものではなく、各種の変形が可能である。
(ステップS900)
そして、仮想空間(2次元又は3次元仮想空間)に、上述のステップS800で取得した各CM600に対応する座標に基づいて、各CM600に対応する代表画面602、もしくは、点、記号等のマーカをプロットし、複数のCM600の評価結果(詳細には、各CM600が提供する商品等に対する、被験者500の潜在的な価値又は感覚の違い評価結果)として出力する。そのようにして、例えば、図15に示すような評価結果650を得ることができる。本実施形態においては、視覚的に評価結果650を出力していることから、容易に各CM600の評価結果を把握することができる。
また、本実施形態においては、視覚的に各CM600に対応する代表画面602をプロットするだけでなく、例えば、座標を持つ各CM600に対してk平均法(k-means clustering)を行い、各CM600をクラスタ分類することによって評価を行ってもよい。
また、本実施形態においては、上述のステップS800で取得した座標に基づいてプロットすることに限定されるものではなく、残差非類似度行列804が含む多数のCM600間の距離情報に基づいて、棒グラフ等をプロットしてもよく、特に限定されるものではない。
以上のように、本実施形態においては、経時的に変化するCM600が宣伝する商品等に対する、被験者500の潜在的な価値又は感覚について、定量的に精度よく評価することができる。
なお、本実施形態においては、残差非類似度行列804を既に取得している被験者500が、新たに別の異なるCM600の視聴を行った場合には、既に取得した残差非類似度行列804に、新たに視聴したCM600によって得られた値を追加することも可能である。その結果、本実施形態によれば、被験者500が、再び、多くの同じCM600を視聴することを必要としないことから、被験者500の負担の増加を抑えることができ、加えて、評価に係る時間や費用の増加を抑えることができる。
<<実施例>>
以上、本発明の実施形態の詳細について説明した。次に、具体的な実施例を示しながら、本発明の実施形態の実施例についてより具体的に説明する。なお、以下に示す実施例は、本発明の実施形態のあくまでも一例であって、本発明の実施形態が下記の例に限定されるものではない。
以下の説明においては、上述の本発明の実施形態に係る評価方法によって得られる効果について、図16を参照して、具体的に説明する。図16は、実施例に係る評価結果650a及び比較例に係る評価結果650bの一例を示す説明図である。詳細には、図16においては、評価結果650a、650bとして、2次元仮想空間に、各CM600に対応する代表画面602a、602bがプロットされている。なお、図16中の左側が比較例に係る評価結果650bであり、図16中の右側が実施例に係る評価結果650aである。
なお、本実施例は、以下のような条件で実施された。
(被験者)
被験者500としては、健常成人被験者25名(うち女性13名)を被験者として選択した。すべての被験者500には、精神疾患の既往歴はなかった。
(脳活動計測)
実施例においては、3T MRIスキャナー(Skyra;Siemens Erlangen(Germany)社製)を用いて、被験者500の脳活動を計測した。本実施例においては、脳活動の計測の際、被験者500の頭部の動きを最小限に抑えるために、不快感を伴わない程度に、被験者500の頭部を固定した。脳機能画像は、T2*-weighted gradient-echo echo-planar imaging(EPI)を用いて取得した。撮像条件は、繰り返し時間(Repetition Time;TR):2000ms、エコー時間(Echo Time;TE):30ms、フリップ角(Flip Angle;FA):80°、matrix size:100×100、スライス枚数:69、及び、スライス厚:2.0mmで全脳が覆われるように設定し、撮像野(Field oF View;FOV):200mm、面内解像度(in-plane resolution):2.0mm×2.0mm、multiband factor:3(reference line:12)、部分フーリエ(partial fourier):6/8、スライス取得順:interleaved orderの条件で、取得した。脳解剖画像は、T1-weighted three-dimensional(3D) Magnetization-Prepared Rapid-Acquisition Gradient Echo(MP-RAGE)シークエンスにより取得された(TR=2250ms;TE=3.06ms;FA=9度;FOV=256mm;voxel dimensions=1mm×1mm×1mm)。
(刺激)
被験者500に与えられる刺激としては、花王グループの商品の15秒CMを用いた。用いたCM600は、直近3年間(2014年1月~2016年12月)にリリースされたCM(147本)の中から32本を選択した。先行するCM600からの影響を低減するためのコントロール刺激(動画像)としては、動画素材サイト(動画素材.com(http://動画素材.com/))から、複数の多角図形が移動している動画16本を用いた。これらの動画は、動画編集ソフトウェア(Adobe Premiere Pro、 Adobe Systems Inc(San jose、CA)製)を用いて15秒間の動画に編集され、同時に与えられる音声としては、CM600を逆再生した音声を合成したものを使用した。
(提示方法)
視覚刺激(CM600)は、上記MRIスキャナーの後方に設置したLCDモニター(InroomViewingDevice、NordicNeuroLab社製)を用いて呈示された。聴覚刺激は、カナル型イヤホン(OptoACTIVE、Kobatel社製)から呈示され、fMRI撮像中でも被験者500が十分に聞き取れる音量に調節された。刺激の呈示と被験者の反応記録は、刺激呈示ソフト(Presentation、Neurobehavioral Systems、Inc(San Francisco、CA)社製)を用いて行った。
実験は、2ラン実施し、それぞれのランでは、初めに10ボリュームを取得した後、1回20秒間(10ボリューム)の試行が24試行続き、最後に、8ボリュームを取得した((10ボリューム)+(24試行×10ボリューム)+(8ボリューム)=258ボリューム/ラン)。また、それぞれのランは、2条件を含み、CM刺激条件は16試行、コントロール刺激条件は8試行をそれぞれ含む((16試行+8試行)×2ラン=48試行)。条件の呈示順は、疑似ランダムに配置された。1つのランに含まれる刺激とその試行順は全ての被験者に共通であった。そして、実施例においては、ランの実施順による順番効果を排除するために、被験者500間においてカウンターバランスをとった。
それぞれの試行においては、15秒間の動画刺激(CM600)の呈示(8ボリューム)、続いてVASによる2秒間の購入意欲の評価(1ボリューム)、そして、固定された点への2秒間の注視(1ボリューム)を行った。試行中、被験者500は、CM600で紹介された商品をどの程度買ってみたいかを考えながら視聴し、その購入意欲を評価するように指示された。購入意欲の評価では、被験者500は、右手で2ボタンボックス(HHSC-2×2、Current Designs、Inc(Philadelphia、PA)社製)を操作し、VASの水平方向に延伸する線分上の位置を示した。VASの評価スケールは、刺激呈示と同様のモニターに表示され、白い水平のバーを背景にした灰色のバーであり、左端が最小値(買ってみたくない)、右端が最大値(買ってみたい)に設定された。コントロール刺激においては、被験者500は偏りなくランダムにVASにおける位置を示すように指示された。また、全ての被験者500は、VASの操作方法に慣れるために、数試行の練習を行った。
(解析方法)
実施例としては、複数のCM600について、上述の本実施形態に基づいて評価を行った。一方、比較例としては、上述と同一の複数のCM600について、ステップS200、ステップS500、ステップS600及びステップS700を実施しない点を除き、上述の本実施形態に基づいて評価を行った。言い換えると、比較例においては、CM600の視聴中の被験者500の脳活動量700を計測し、計測値から脳活動パターン702を抽出し、脳活動非類似度行列800を取得する。さらに、比較例においては、取得した脳活動非類似度行列800から直接的に、各CM600の座標を算出した。
図16の左側に示される比較例に係る評価結果650bからわかるように、比較例においては、各CM600の仮想2次元空間における座標は、同一のセッションで集合するように分布している。一方、図16の右側に示される評価結果650aからわかるように、実施例においては、各CM600の仮想2次元空間における座標は、セッションが同一か否かであることは関係なく、全体的に混在するように分布している。この結果の違いは、比較例においては、各CM600がどのような順番で視聴されたかどうかや、どのような間隔(休止時間)で視聴されたかどうかを考慮するような処理が行われていないことにより、同一セッションにおける各CM間が類似することによるものと推定される。すなわち、比較例においては、被験者500がCM600の宣伝する商品等に対して抱く潜在的な価値又は感覚に起因する要素以外が含まれている脳活動量を用いて評価している。一方、実施例においては、被験者500がCM600の宣伝する商品等に対して抱く潜在的な価値又は感覚に起因する要素からなる脳活動量を用いて評価している。その結果、実施例によれば、比較例に比べて、経時的に変化するCM600が宣伝する商品等に対する、被験者500の潜在的な価値又は感覚について、定量的に精度よく評価することができる。
<<まとめ>>
以上のように、本発明の実施形態においては、経時的に変化する刺激が提供する情報に対する潜在的な価値又は感覚について、定量的に精度よく評価することができる。
<<ハードウェア構成>>
続いて、図17を参照して、本発明の実施形態に係る処理装置400のハードウェア構成について説明する。図17は、本発明の実施形態に係る処理装置400のハードウェア構成例を示すブロック図である。ただし、処理装置400のハードウェア構成は、図17に示したハードウェア構成のすべてが必須という訳ではなく、不要な構成は適宜に削除されてよい。また、刺激提示装置300のハードウェア構成も、図17に示したハードウェア構成と同様にして実現され得る。ただし、刺激提示装置300のハードウェア構成も、図17に示したハードウェア構成のすべてが必須という訳ではなく、図17に示したハードウェア構成のうち、不要な構成は適宜に削除されてよい。
図17に示すように、処理装置400は、CPU901、ROM903、及びRAM905を含む。また、処理装置400は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925、fMRI100等を含んでもよい。さらに、処理装置400は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、上記した処理部410を構成し得る。CPU901は、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、処理装置400内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。CPU901、ROM903、及びRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、ユーザによって操作される装置であり、上記した入力装置200を構成し得る。本発明の実施形態においては、入力装置915がボタンである場合を主に想定したが、入力装置915は、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等であってもよい。入力装置915は、被験者500の音声を検出するマイクロフォンを含んでもよい。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、処理装置400に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、被験者が入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。被験者は、この入力装置915を操作することによって、処理装置400に対して各種の主観評価の結果を入力することができる。さらに、入力装置915は、被験者500を撮像する撮像装置であってもよい。この場合、当該撮像装置が被験者500の手の動き等を撮像することによって、入力装置として機能し得る。
出力装置917は、視覚的な刺激である動画像や、被験者500による刺激に対する主観評価を行うための画像を表示することが可能な装置で構成され、上記した刺激提示装置300の表示部302を構成し得る。出力装置917は、例えば、CRTディスプレイ装置、LCDディスプレイ装置、OLEDディスプレイ装置、プロジェクタ等の表示装置等であり得る。
ストレージ装置919は、処理装置400の記憶部の一例として構成されたデータ格納用の装置であり、上述した記憶部450を構成し得る。ストレージ装置919は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、処理装置400に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込むこともできる。
接続ポート923は、機器を処理装置400に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート923は、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、処理装置400と外部接続機器929との間で各種のデータが交換され得る。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線又は無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどであり得る。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線又は無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
fMRI100は、被験者の脳活動を計測するために装置であり、上述したfMRI100を構成し得る。
以上、処理装置400のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。
<<補足>>
なお、上述した本発明実施形態の評価方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法により処理されてもよい。
また、上記の本発明の実施形態に係る評価方法の少なくとも一部は、コンピュータを機能させる情報処理プログラムとして、ソフトウェアで構成することが可能であり、ソフトウェアで構成する場合には、これらの方法の少なくとも一部を実現するプログラムをフレキシブルディスクやCD-ROM(Compact Disc Read Only Memory)等の記録媒体に収納し、処理装置400等、もしくは、処理装置400等と接続された他の装置に読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。さらに、上記評価方法の少なくとも一部を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明の技術的範囲はかかる例に限定されない。本発明の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
10 評価システム
100 fMRI
110 コイル
120 制御ユニット
130、308 入力部
132、306 制御部
134 受信部
136、410 処理部
138 出力部
200 入力装置
300 刺激提示装置
302、460 表示部
304 音声出力部
400 処理装置
420 パターン抽出部
422 脳活動行列取得部
430 主観評価取得部
432 主観評価行列取得部
440 残差行列取得部
442 座標取得部
450 記憶部
500 被験者
502 脳
504 ボクセル
600 CM
602、602a、602b 代表画面
650、650a、650b 評価結果
700 脳活動量
702 脳活動パターン
800 脳活動非類似度行列
800a、800b 領域
802 主観評価非類似度行列
804 残差非類似度行列
810a 第1の要素
810b 第2の要素
901 CPU
903 ROM
905 RAM
907 ホストバス
909 ブリッジ
911 外部バス
913 インターフェース
915 入力装置
917 出力装置
919 ストレージ装置
921 ドライブ
923 接続ポート
927 リムーバブル記録媒体
925 通信装置
929 外部接続装置
931 通信ネットワーク

Claims (12)

  1. 経時変化を持つ刺激を評価する評価方法であって、
    複数の前記刺激を外部から付与された被験者の、前記各刺激の付与中における脳活動を計測することと、
    前記被験者の前記各刺激に対する主観評価を取得することと、
    前記各脳活動の計測値から脳活動パターンを抽出することと、
    前記被験者の、前記各脳活動パターン同士の非類似度又は類似度を算出して、脳活動行列を取得することと、
    前記被験者の、前記各刺激に対する前記主観評価同士の非類似度又は類似度を算出して、主観評価行列を取得することと、
    算出された前記脳活動行列を、前記主観評価行列と相関性を持つ第1の要素と、前記第1の要素に比べて前記主観評価行列と相関性の低い第2の要素とに分解し、前記脳活動行列から前記第2の要素を差し引いて、残差行列を算出することと、
    算出した前記残差行列に基づいて、前記各刺激に対応する座標を取得する、
    ことを含む評価方法。
  2. 前記刺激は、前記被験者に対して3以上与えられる、請求項1に記載の評価方法。
  3. 前記残差行列は、前記主観評価とは関連していない要素である第1のノイズ成分に対して、重み付けを行うことにより前記第2の要素を算出して、前記脳活動行列から前記第2の要素を差し引くことによって算出される、請求項1又は2に記載の評価方法。
  4. 前記第1のノイズ成分は、前記被験者に1以上前に先行して印加された1つ又は複数の先行刺激からの、当該先行刺激の後に前記被験者に印加された後続刺激の前記脳活動に対する作用に起因する、1つ又は複数の第2のノイズ成分の総和値を含む、請求項3に記載の評価方法。
  5. 前記被験者に先行して付与された先行刺激からの、当該先行刺激の後に連続的に前記被験者に付与された後続刺激の前記脳活動に対する作用に起因する第3のノイズ成分を、前記先行刺激の前記脳活動パターンと前記後続刺激の前記脳活動パターンの非類似度又は類似度から除去することをさらに含む、請求項1~3のいずれか1項に記載の評価方法。
  6. 前記被験者に先行して付与された先行刺激からの、当該先行刺激の後に間欠的に前記被験者に付与された後続刺激の前記脳活動に対する作用に起因する第4のノイズ成分を、前記先行刺激の前記脳活動パターンと前記後続刺激の前記脳活動パターンの非類似度又は類似度から除去することをさらに含む、請求項1~3のいずれか1項に記載の評価方法。
  7. 前記脳活動の計測値は、前記刺激の付与の開始時から所定の時間の経過後に取得された前記脳活動の計測値である、請求項1~6のいずれか1項に記載の評価方法。
  8. 仮想空間に前記各刺激に対応する前記座標をプロットすることをさらに含む、請求項1~7のいずれか1項に記載の評価方法。
  9. 前記刺激は、動画像、嗅覚刺激、音声によって前記被験者に付与される、請求項1~8のいずれか1項に記載の評価方法。
  10. 前記脳活動の計測値は、前記刺激が付与されている間に、前記刺激によって提示される商品又はサービスに対する評価を思案する前記被験者の脳活動の計測値である、請求項9に記載の評価方法。
  11. 経時変化を持つ刺激を評価する評価システムであって、
    複数の前記刺激を外部から付与された被験者の、前記各刺激の付与中における脳活動を計測する計測部と、
    前記被験者の前記各刺激に対する主観評価を取得する主観評価取得部と、
    前記各脳活動の計測値から脳活動パターンを抽出するパターン抽出部と、
    前記被験者の、前記各脳活動のパターン同士の非類似度又は類似度を算出して、脳活動行列を取得する脳活動行列取得部と、
    前記被験者の、前記各刺激に対する前記主観評価同士の非類似度又は類似度を算出して、主観評価行列を取得する主観評価行列取得部と、
    算出された前記脳活動行列を、前記主観評価行列と相関性を持つ第1の要素と、前記第1の要素に比べて前記主観評価行列と相関性の低い第2の要素とに分解し、前記脳活動行列から前記第2の要素を差し引いて、残差行列を算出する残差行列取得部と、
    算出した前記残差行列に基づいて、前記各刺激に対応する座標を取得する座標取得部と、を備える評価システム。
  12. 経時変化を持つ刺激を評価するプログラムであって、
    複数の前記刺激を外部から付与された被験者の、前記各刺激の付与中における脳活動の計測値から脳活動パターンを抽出する機能と、
    前記被験者の前記各刺激に対する主観評価を取得する機能と、
    前記被験者の、前記各脳活動のパターン同士の非類似度又は類似度を算出して、脳活動行列を取得する機能と、
    前記被験者の、前記各刺激に対する前記主観評価同士の非類似度又は類似度を算出して、主観評価行列を取得する機能と、
    算出された前記脳活動行列を、前記主観評価行列と相関性を持つ第1の要素と、前記第1の要素に比べて前記主観評価行列と相関性の低い第2の要素とに分解し、前記脳活動行列から前記第2の要素を差し引いて、残差行列を算出する機能と、
    算出した前記残差行列に基づいて、前記各刺激に対応する座標を取得する機能と、
    をコンピュータに実現させるためのプログラム。
JP2018207839A 2018-11-05 2018-11-05 評価方法 Active JP7218154B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018207839A JP7218154B2 (ja) 2018-11-05 2018-11-05 評価方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018207839A JP7218154B2 (ja) 2018-11-05 2018-11-05 評価方法

Publications (2)

Publication Number Publication Date
JP2020074799A JP2020074799A (ja) 2020-05-21
JP7218154B2 true JP7218154B2 (ja) 2023-02-06

Family

ID=70723124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018207839A Active JP7218154B2 (ja) 2018-11-05 2018-11-05 評価方法

Country Status (1)

Country Link
JP (1) JP7218154B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150272461A1 (en) 2013-05-01 2015-10-01 Advanced Telecommunications Research Institute International Brain activity analyzing apparatus, brain activity analyzing method and biomarker apparatus
JP2016212772A (ja) 2015-05-13 2016-12-15 株式会社国際電気通信基礎技術研究所 推定システム、推定方法、推定装置
JP2017129923A (ja) 2016-01-18 2017-07-27 国立研究開発法人情報通信研究機構 視聴素材評価方法、視聴素材評価システム、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150272461A1 (en) 2013-05-01 2015-10-01 Advanced Telecommunications Research Institute International Brain activity analyzing apparatus, brain activity analyzing method and biomarker apparatus
JP2016212772A (ja) 2015-05-13 2016-12-15 株式会社国際電気通信基礎技術研究所 推定システム、推定方法、推定装置
JP2017129923A (ja) 2016-01-18 2017-07-27 国立研究開発法人情報通信研究機構 視聴素材評価方法、視聴素材評価システム、及びプログラム

Also Published As

Publication number Publication date
JP2020074799A (ja) 2020-05-21

Similar Documents

Publication Publication Date Title
US11488198B2 (en) Stimulus placement system using subject neuro-response measurements
US11669858B2 (en) Analysis of controlled and automatic attention for introduction of stimulus material
US20220230199A1 (en) Neuro-response stimulus and stimulus attribute resonance estimator
US20200234329A1 (en) Neuro-physiology and neuro-behavioral based stimulus targeting system
US20200163571A1 (en) Personalized stimulus placement in video games
US8635105B2 (en) Consumer experience portrayal effectiveness assessment system
JP5539876B2 (ja) 消費者経験査定装置
Vecchiato et al. Neuroelectrical brain imaging tools for the study of the efficacy of TV advertising stimuli and their application to neuromarketing
US20090036755A1 (en) Entity and relationship assessment and extraction using neuro-response measurements
WO2014092045A1 (ja) 脳情報処理装置、および脳情報処理方法
WO2011119509A1 (en) Spatially constrained biosensory measurements to decode physiological states and user responses induced by marketing media
US9501779B2 (en) Automated thumbnail selection for online video
Abadi et al. Decoding affect in videos employing the MEG brain signal
JP7218154B2 (ja) 評価方法
CN106502409A (zh) 一种利用脑信息的产品情感分析系统和方法
WO2017126474A1 (ja) 素材評価方法、及び素材評価装置
Trabulsi et al. Consumer neuroscience: A method for optimising marketing communication

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190214

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190313

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190314

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230125

R150 Certificate of patent or registration of utility model

Ref document number: 7218154

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150