JPWO2014080509A1 - 感性評価システム - Google Patents

感性評価システム Download PDF

Info

Publication number
JPWO2014080509A1
JPWO2014080509A1 JP2014548405A JP2014548405A JPWO2014080509A1 JP WO2014080509 A1 JPWO2014080509 A1 JP WO2014080509A1 JP 2014548405 A JP2014548405 A JP 2014548405A JP 2014548405 A JP2014548405 A JP 2014548405A JP WO2014080509 A1 JPWO2014080509 A1 JP WO2014080509A1
Authority
JP
Japan
Prior art keywords
information
evaluation system
transmits
experiment
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014548405A
Other languages
English (en)
Other versions
JP5997776B2 (ja
Inventor
和彦 相良
和彦 相良
高行 秋山
高行 秋山
長谷川　清
清 長谷川
敦 牧
敦 牧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Application granted granted Critical
Publication of JP5997776B2 publication Critical patent/JP5997776B2/ja
Publication of JPWO2014080509A1 publication Critical patent/JPWO2014080509A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0203—Market surveys; Market polls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/10—Payment architectures specially adapted for electronic funds transfer [EFT] systems; specially adapted for home banking systems
    • G06Q20/102—Bill distribution or payments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

従来の感性マーケティング手法では、アンケートを利用するために、同時に多数の人数の回答を得られない、また、回答を解析するのに時間がかかり、商品開発のライフサイクルに対応できない。さらに、生体指標を用いないために、集計結果の信憑性が乏しい、という課題があった。そこで、本願では、配信される映像情報を評価する感性評価システムにおいて、クライアントシステムは、情報解析システムに映像情報に関する評価要求を送信し、実験参加者が視聴する前記映像情報を前記各実験参加者が視聴する受信機または端末に送信し、前記端末は、前記実験参加者が前記映像情報を視聴する間に前記実験参加者が装着する計測装置で計測した生体信号をネットワークに送信し、前記情報解析システムは、前記生体信号を解析し、解析結果に基づいて前記映像情報に関するレポートを作成し、作成したレポートを前記クライアントシステムに送信することを特徴とする。

Description

本発明は、生体指標を取り入れた感性評価システムに関する。
現在、消費者のニーズは多様に変化しており、商品の開発を行なう上で、迅速に消費者の好みを反映し、コンテンツを作成する必要がある。この一つの方法としてモニター制度がある。モニター制度は、実験参加者がモニターとして登録し、実験依頼機関から送られるアンケートに回答を記入することにより商品の評価を行う方式である。また、広告や番組を評価する仕組みとして視聴率が知られている。視聴率は、各家庭にモニター装置を設置して、装置の稼働率により視聴率を調査する方式である。この方式では、ある時間帯に何割の人が番組を視聴しているかは分かるが、番組を見ている間に視聴者がどの場面でどのような反応をしめすのか、を調査するのは困難である。
特開2012-14614号公報 特開2000-156243号公報
特許文献１に開示されている感性マーケティング手法では、あるキーワードと関連して複数のコンテンツを選択させることで、ターゲットとなる層の感性パターンを把握する方法が開示されている。しかしながら、この方式では、実験参加者は実験室に集まり、画面に表示される質問に対して回答を入力しなければならない。そのため、同時に多数の人数の回答を得られない。また、回答を解析するのに時間がかかり、商品開発のライフサイクルに対応できない。さらに、アンケート方式では、実験参加者の気分や主観評価に回答が依存する為に、集計結果の信憑性が乏しい。
また、特許文献２に開示されているマルチチャンネル計測装置では、複数の送光点から被検体に光を照射し、被検体中を透過した光を複数の受光点で測定する方式が開示されている。しかしながら、この方式では、実験参加者は実験室に拘束されて、自然な環境での脳活動が計測できない。また、一度に得られるデータには重複が多く、記憶装置に負荷がかかる。
そこで、本発明は、日常に近い環境で多数の実験参加者のデータを同時に取得して解析結果をレポートする感性評価システムを提供することを目的とする。
さらに本発明は、実験参加者が自分ひとりで正しい装着位置にヘッドセットを装着し、生体活動を計測し、この生体指標を感性評価に取り入れる方法を提供することを目的とする。
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
配信される映像情報を評価する感性評価システムにおいて、クライアントシステムは、情報解析システムに映像情報に関する評価要求を送信し、実験参加者が視聴する前記映像情報を前記各実験参加者が視聴する受信機または端末に送信し、前記端末は、前記実験参加者が前記映像情報を視聴する間に前記実験参加者が装着する計測装置で計測した生体信号をネットワークに送信し、前記情報解析システムは、前記生体信号を解析し、解析結果に基づいて前記映像情報に関するレポートを作成し、作成したレポートを前記クライアントシステムに送信する。
また、計測装置は、端末に該計測装置の装着位置を表示するための光源を備える。
本発明の一実施形態によると、実験参加者の装着した計測装置が脳活動データを測定し、複数の計測データを、ネットワークを介して情報解析システムに送信することにより、日常に近い環境での感性情報を同時に多数収集することが可能となる。また、携帯端末を利用して計測装置の位置合せを行なうことにより、実験参加者が身体の正確な位置に計測装置を装着することが可能となる。
本発明である感性評価システムの全体図である。 本発明である情報収集装置のハードウエア構成図である。 本発明であるクライントシステムのハードウエア構成図である。 本発明である情報解析システムのハードウエア構成図である。 本発明である生体計測システムの構成図である。 本発明である携帯端末のハードウエア構成図である。 本発明である装置間のフローを示す図である。 本発明である計測装置の構成図である。 本発明である携帯端末のフローを示す図である。 本発明である携帯端末のフローを示す図である。 本発明である携帯端末の画面を示す図である。 本発明である携帯端末の画面を示す図である。 本発明である装着位置計算処理を示す図である。 本発明である装着位置計算処理を示す図である。 本発明である装着位置計算処理を示す図である。 本発明である装着位置計算処理を示す図である。 本発明である装着位置計算処理を示す図である。 本発明である装着位置計算処理を示す図である。 本発明である情報解析システムの処理を示す図である。 本発明である情報解析システムの処理を示す図である。 本発明である情報解析システムの処理を示す図である。 本発明である情報解析システムの処理を示す図である。 本発明である情報解析システムの処理を示す図である。
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部材には同一の符号を付し、その繰り返しの説明は省略する。
（実施の形態１）
本発明における感性評価システムの基本構成を図１に示す。感性評価システムは、実験参加者集団5、受信機10a〜10c、生体信号計測システム20a〜20c、基地局30a〜30c、通信網40、情報収集装置50、送信機60、クライアントシステム70、情報解析システム80から構成される。生体信号計測システム20は、取得したデータを無線または有線を利用して基地局30へ送信する。
基地局30は、得られたデータを暗号化して情報収集装置50へ送信する。情報収集装置50は、認証サーバ51、受信データ蓄積用データベース52、認証データベース53から構成され、その役割は後ほど説明する。
情報収集装置50は、情報解析システム80と接続される。情報解析システム80は、得られたデータを自動的に分類するデータ自動分類部81、分類されたデータから特徴量を計算する統計処理部82、統計的に解析されたデータをレポートにまとめるレポート生成部83から構成される。
クライアントシステム70は、複数のクラインアントA、B、Cから構成され、一部のクライアントは、作成した広告や番組などを、送信機60を介して、受信機10a〜10cに配信する。そして、生体信号計測システム20に属する実験参加者は、受信機10a〜10cを通して、広告や番組などを視聴することが可能である。ここで、受信機10a〜10cに代えて、実験参加者が保持する携帯端末160に広告や番組などを配信してもよい。
図２は、情報収集装置50のハードウエア構成図である。情報収集装置50は、基地局30からのデータを送受信するインタフェース107、情報解析システム80との間でデータを送受信するインタフェース1100、プロセッサ1080、キャッシュ1090、メモリ1040、データベース1050、1060から構成される。例えば、認証処理プログラム1010はメモリ1040に格納されており、プロセッサ1080により実行されることにより図７に示す認証処理が行なわれる。
図３に、クライアントシステム70のハードウエア構成を示す。クライアントシステム70は、送信機60の制御信号を送受信するインタフェース1170、情報収集装置50とデータを交換するインタフェース1200、プロセッサ1180、キャッシュ1190、メモリ1155、データベース1160から構成される。例えば、レポート収集プログラム1140はメモリ1155に格納されており、プロセッサ1180により実行されることにより、情報解析システム80から受信したレポートをデータベース1160に蓄積する処理が行なわれる。
図４は、情報解析システム80のハードウエア構成図である。情報解析システム80は、情報収集装置50とデータを送受信するインタフェース1260、クライアントシステム70とデータを送受信するインタフェース1290、プロセッサ1270、キャッシュ1280、メモリ1240、データベース1250から構成される。例えば、データ自動分類プログラム1210はメモリ1240に格納されており、プロセッサ1270により実行されることにより、図19に示す分類処理が行なわれる。
図５に、生体計測システム20の構成を示す。生体計測システム20は、実験参加者140が装着する計測装置150と、実験参加者140が使用する携帯端末160から構成される。ここで、実験参加者140は、任意のボランティア集団から、または、クライアントシステム70に登録されている集団から選択する。
始めに、実験参加者140は、頭部にヘッドセットと呼ばれる計測装置150を装着する。この計測装置150は、実験参加者140が、指定された広告や番組を視聴したり、五感を刺激するタスクを与えられたりしたときの脳血液量の変化や神経活動の変化を測定する。また携帯端末160は、カメラ170を有しており、実験参加者140の顔をリアルタイムに表示する。表示された顔には、実験参加者140の頭部に計測装置150を装着する位置を示すマークa、b、c、dが表示される。このマークの決め方は、後ほど説明する。
さらに、計測装置150は、取得した計測データを無線で携帯端末160に送る。この計測データは、携帯端末160で表示したり、保存したりすることが可能である。携帯端末160は、保存した計測データを、実験中、または、実験終了後に、基地局30へ送信する。また、携帯端末160は、送信機60から送られてきた広告や番組などの情報を表示することも可能である。実験参加者140は、携帯端末160の画面を見ながら、広告や番組などの評価を行う。
図６に、携帯端末160のハードウエア構成を示す。携帯端末160は、計測装置150とデータ交換する無線インタフェース1350、基地局30とデータを送受信する無線インタフェース1380、プロセッサ1360、キャッシュ1370、メモリ1330、受信データを格納するデータベース1340から構成される。例えば、表示プログラム1300はメモリ1330に格納されており、プロセッサ1360により実行されることにより図９に示す処理が行なわれる。また、無線インタフェース1350のプロトコルとしては、ＩＥＥＥで規定される無線ＬＡＮ，ＷｉＦｉ，ＵＷＢなどを用いる。無線インタフェース1380のプロトコルは、携帯電話会社で用いられる３Ｇ回線やＬＴＥなどを用いる。無線インタフェース1350と無線インタフェース1380の周波数帯は異なるものとする。
図７に、クライアント70、情報解析システム80、情報収集装置50、携帯端末160間のフローチャートを示す。
始めに、クライアント70は、調査要求メッセージ90aを情報解析システム80に送信する。調査要求メッセージ90aには、調査の内容、調査の規模、実験参加者の人数、調査終了希望日、希望の予算などの情報を含む。調査の内容は、例えば、車の乗り心地を評価して欲しい、などと言ったものである。この要求を受けて、情報解析システム80は、計測装置150を、生体計測システム20に所属して携帯端末160を保有する実験参加者へ貸し出す。情報解析システム80は、参加者候補のリストを保持しており、調査要求メッセージの内容に合致する参加者を選択して、選択した実験参加者に計測装置を発送する処理をシステムが自動で行う。また、実験参加者を識別する参加者ＩＤあるいは実験参加者が保持する携帯端末を識別する携帯端末のＩＤと計測装置とのＩＤとの対応などを記憶しておき、個人ごとの統計解析が行なえるようにする。いづれの実験参加者にいづれの映像信号が配信されるかがわかるよう、映像情報ＩＤも対応づけて記憶する。これらの処理は、図4に示した統計解析システム80のプロセッサ1270で実行される。この後、実験参加者は、携帯端末160を利用して初期設定100を実施する。携帯端末160の初期設定100の処理については図９を用いて後述する。
次に、実験開始時には、情報解析システム80は、評価要求メッセージ90cを携帯端末160に送る。この評価要求メッセージ90cには、例えば、番組情報及びヘットセットの装着位置を含む。例えば、「午前10時からチャンネル１で番組が始まるので、午前11時まで視聴して下さい。その際、ヘッドセットは位置aに装着して下さい」といったメッセージを含む。評価要求メッセージ90cは、図４に示す統計処理プログラムで生成される。また、評価要求メッセージ90cは、計測装置を発送した参加者グループに送信する。複数の調査要求がある場合には、調査内容に合致した参加者グループと携帯端末のＩＤをデータベース1250に登録しておく。そして、調査要求Ａに対しては、参加者グループＡに評価要求Ａを送信する。また、本例では、計測装置150の装着位置は、参加者グループ５をランダムに４グループ(a,b,c,d)に分けて指定する。携帯端末160は、評価要求メッセージを受けると認証要求メッセージ90dを情報収集装置50に送信する。情報収集装置50は、図２に示すメモリ1040に格納される認証処理プログラムを実行し、認証要求メッセージに含まれる端末ＩＤが認証データベース1060に含まれている場合には認証を成功と判定し、認証結果ACK90eを携帯端末160に送信する。この後、実験120を開始する。
実験中は、クライアント70は、広告や番組を配信110する場合もある。これらの広告あるいは番組は受信機10または携帯端末160に配信される。
実験終了後には、携帯端末160は、基地局30を介して測定データ90fを情報収集装置50に送信し、情報収集装置50は複数の基地局30から送られた測定データを測定データ90gとしてまとめ、測定データ90gを情報解析システム80に送信する。情報解析システム80では、データ解析130を行い、出力されたレポート90hをクライアント70に送信する。
最後に、クライアント70は課金処理メッセージ90iを情報解析システム80に送り、引き続き、情報解析システム80は課金情報を含む課金処理メッセージ90jを情報収集装置50に送信する。課金処理メッセージ90iは、図３のクライアントシステム70のメモリ1155に格納される課金処理管理プログラムで生成される。課金処理管理プログラムは、実験参加者の人数、取得したデータサイズ、計算機 (情報解析システムのプロセッサ1270、情報収集装のプロセッサ1080の少なくとも一方）のＣＰＵ占有時間、などから決められた課金情報を生成する。課金情報は、実験参加者に実験に参加したことに対する対価を与えるための情報を含んでもよい。また、課金情報は情報解析システムで生成してもよい。
図８に、計測装置150の構成を示す。計測装置150は、自己位置表示部180と計測回路部190から構成される。計測装置は、生体の一部に光を照らして透過光を測定する近赤外分光装置、または、生体の一部の電気信号を測定する脳波計、またはその両者を含む。
自己位置表示部180は、発光ダイオードなどの光源から構成され、実験参加者140が計測装置150を装着した際に、その装着位置を携帯端末170が認識できるようにするためのものである。
計測回路部190は、頭皮に照射する光源200、戻り光を検出する検出器210、加速度計220、センサー制御部230、利得制御部240、A/D変換部250、無線通信部190、CPU270、クロック275から構成される。クロック275は、デジタル回路の動作タイミングを制御し、測定データにタイムスタンプを付与する。また、計測回路部190は、計測装置固有の装置ID280を記憶し、この装置IDを測定データに付与して送信する。これにより、複数の計測装置150からの混信を防止する。図４に示す情報解析システムは、評価要求に指定した計測装置の装着位置、参加者ＩＤ、装置ＩＤの対応表を保持しており、このテーブルを利用して、データの分類と解析を行なう。尚、実験参加者の神経細胞の活動に伴う電気信号を計測する場合には、差動増幅部やフィルター回路部などをＣＰＵ２７０に接続する。
図９に、携帯端末160を利用した際の初期設定のフローを示す。始めに携帯端末160の表示部は、アプリ登録29aの画面を表示する。実験参加者140は表示部に表示されたボタンを押す。表示部は、入力を受け付けると、登録メッセージ350aを処理部に送信する。処理部は、登録が終了すると終了メッセージACK350bを表示部に送信する。次に、表示部は、個人情報登録300の画面を表示する。実験参加者140は表示部に表示されたボタンを押して個人情報の入力を行う。表示部は、入力を受け付けると登録メッセージ350cを処理部に送信する。処理部は、個人情報登録が終了すると終了メッセージACK350dを表示部に送信する。
次に、表示部は、計測装置装着310の画面を表示する。実験参加者140は画面の指示に従い計測装置150を装着する。引き続き、表示部は、顔撮影320の画面を表示する。実験参加者140は自分の顔をカメラ170に向けて撮影し、画面のボタンを押す。表示部は、カメラの撮影が行われると撮影した画像を含む計算要求メッセージ350eを処理部に送信する。処理部は、装着位置計算330が実行する。装着位置計算330の処理は、実施例２〜４で詳しく説明する。
装着位置計算330が終了すると、図２の画面上で、a、b、c、dの位置が決定され、処理部は、応答確認メッセージACK350fを表示部に送信する。次に、表示部は、装着位置登録340の画面を表示する。実験参加者140は、自分の顔の上に表示されたa、b、c、dの位置を確認してボタンを押す。表示部は、登録メッセージ350gを処理部に送信する。処理部は、登録が終了すると終了メッセージACK350hを表示部に送信する。
図１０は、携帯端末160を利用した際の実験時のフローを示す。始めに表示部は、計測装置装着360の画面を表示する。実験参加者140は指示に従う。次に、表示部は、顔撮影370の画面を表示する。実験参加者140は自分の顔をカメラ170に向けて撮影し、画面のボタンを押す。表示部は、装着位置表示メッセージ400aを処理部に送信し、処理部は、確認メッセージACK400bを表示部に送信する。表示部は、撮影した顔写真の上に、初期設定時に登録した位置a、b、c、dを表示する。次に表示部は、装着位置と計測装置150の位置ずれ調整380の画面を表示する。実験参加者140は指示に従い、指定された装着位置（aまたはbまたはcまたはd）に、計測装置150の自己位置表示部180が一致するように、携帯端末160の画面を見ながら調整を行なう。実験参加者140は、調整が終了すると表示部に表示されたボタンを押す。表示部は、調整成功のメッセージ400cを処理部に送信する。処理部は、応答メッセージACK400dを表示部に送信する。この後、実験参加者140は、測定開始390の指示に従い実験を開始する。また、実験終了時には、測定終了ボタン395を押す。
図１１と図１２は、ヘッドセットの装着位置と計測装置150の装着位置ずれ調整380時に表示されるアプリケーション画面410,420の一例を示す。図１１は、装着位置(d)430と計測装置150の位置(d’)440、すなわち、計測装置150の自己位置表示部180の位置が不一致の場合であり、画面の下部には、位置が不一致である旨のメッセージが表示される。また、不一致の間、警告音を出すことも可能である。
図１２は、装着位置(d)430と計測装置150の位置(d’)440、すなわち、計測装置150の自己位置表示部180の位置が一致した場合で、画面上で位置が重なっている。また、画面の下部には、一致が成功した旨のメッセージが表示される。装着位置(d)430と計測装置150の位置(d’)440が一致したときに、ブザーを鳴らすことも可能である。
（実施の形態２）
本発明の他の実施例を図１３、図１４に示す。本例では、図９に示した携帯端末160の処理部が実行する装着位置計算330の処理を、目を基準にして行なう場合を説明する。
図１３の撮影画像450は、携帯端末160のカメラ170で撮影した実験参加者140の画像である。処理部は、表示部から撮影画像を含む計算要求メッセージ350eを受信すると、撮影画像の両目を結ぶ方向にｘ座標、また、両目の垂直２等分線の方向にｙ座標を定める。また、標準モデル470は、携帯端末160の内部で保有する標準の顔で、両目を基準にＸ軸、両目の中点を原点として頭頂方向をＹ軸とする座標系を定める。Ｙ軸の頭頂方向は、携帯端末160の加速度センサーで決められる。また、装着位置の座標は、あらかじめA(-3,3), B(0,5), C(0,2), D(3,3)などと指定されている。携帯端末160のアプリケーションは、撮影画像450が標準モデル470に重なるように変換460を行なう。変換アルゴリズムとしては、例えば、アフィン変換などが適用可能である。この場合、ｘ座標、ｙ座標ともに、伸縮、回転、並進の６つのパラメータが用いられる。すなわち、撮影画像450と標準モデル470の原点を重ね、６つのパラメータを用いて撮影画像450を回転したり伸縮したりすることにより、撮影画像450と標準モデル470を一致させる。
次に、図１４に示すように、処理部は、先ほど求めた６つのパラメータを用いて、座標の逆変換480を行なう。すなわち、A(-3,3)からa(-2,2)、B(0,5)からb(0,4)、C(0,2)からc(0,1)、D(3,3)からd(2,2)などを計算する。これにより、撮影画像490上に、計測装置150の装着位置a、b、c、dを示すことができる。
（実施の形態３）
本発明の他の実施例を図１５、図１６、図１７に示す。本例では、図９に示した携帯端末160の処理部で実行される装着位置計算330の処理を、顔の輪郭を基準にして行なう場合を説明する。
図１５はその一例であり、始めに実験参加者140は、左右の耳朶に発光ダイオード510,520などの光源を装着する。この時の撮影画像500は、図１５の左の図である。処理部は、座標軸の重ね合せ530を行なう。始めに、処理部は撮影画像500から発光ダイオード510,520の位置を認識し、左右の発光ダイオード510,520の位置を結びｘ軸とし、発光ダイオード510と発光ダイオード520の中点を原点560として、それに垂直な方向をｙ軸とする。次に、発光ダイオード520の位置を座標(p)570とする。また、ｙ軸方向の座標(q)580を楕円近似550で求める。すなわち、座標(q)580＝座標(p)570 x 係数で計算する。ここで、係数の範囲は、１〜２で、楕円近似550した結果が、ちょうど撮影画像540の頭の外周と等距離になるように定める。ここで、座標(p)570と座標(q)580が定まるので、例えば、a、b、c、dの座標は、a(-p/3, q/2), b(0, 4q/5), c(0, 2q/5), d(p/3, q/2)などと定める。
図１６は他の一例であり、始めに実験参加者140は、左右の耳の位置と頭頂に発光ダイオード600, 610, 620などの光源を備えた計測装置590を装着する。この時の撮影画像500は、図１６の左の図である。処理部は、座標軸の重ね合せ530を行なう。始めに、左右の発光ダイオード600,620の位置を結びｘ軸とし、発光ダイオード600と発光ダイオード620の中点を原点560として、それに垂直な方向をｙ軸とする。次に、発光ダイオード620の位置を座標(p)570とする。また、発光ダイオード610の位置を座標(q)580とする。ここで、座標(p)570と座標(q)580が定まるので、例えば、a、b、c、dの座標は、a(-p/3, q/2), b(0, 4q/5), c(0, 2q/5), d(p/3, q/2)などと定める。以上より、撮影画像540上にa、b、c、dの座標が定まったので、実験参加者140は、図９および図１０のフローに従い、初期設定と実験を行う。
図１７は、図１６の発光ダイオード600, 610, 620の位置を基準にして、ヘッドセットの位置を決める方法である。この方法は、脳波の測定で用いられる国際１０−２０法に基づく。処理部は、始めに発光ダイオード600の位置をA2 (-p,0)、発光ダイオード620の位置をA1 (p,0)、発光ダイオード610の位置をCz (0,q)とする。またA1とA2の中点を原点S (0,0)とする。さらに両目の中心を例えばN (0,1)とする。次にNとCzを５等分した点を計算し、N側から1/5の点をFpz、3/5の点をFzとする。また、A1とCzを頭皮に沿って５等分した点を計算し、A1から1/5の点をT3とする。同様にA2から1/5の点をT4とする。次にFpzとT3を５等分した点を計算し、T3から2/5の点をF7とする。同様に、T4から2/5の点をF8とする。この後、FzとF7の中点をF3、FzとF8の中点をF4とする。最後に、F4の座標をa、Fzの座標をb、Fpzの座標をc、F3の座標をdとする。以上の例では、FzとF7の中点をdと定めたが、FzとT3の中点をdと定めることも、もちろん可能である。
（実施の形態４）
本発明の他の実施例を図１８に示す。本例では、図９に示した処理部が十ｓ項する装着位置計算330の処理を、顔認識を利用して行なう場合を説明する。実験参加者140は、携帯端末160のカメラ170を利用して顔を撮影し、携帯端末160は、その撮影画像を基地局30に送り、基地局30は通信網40を介して情報収集装置50に送信する。
情報収集装置50はデータベース670を保持し、データベース670には、ｘ座標とｙ座標とa、b、c、dの位置が重畳された多数の顔写真が登録されている。情報収集装置50は、受信した撮影画像とデータベース670に登録された顔写真の目と鼻の位置から類似度を計算し、最も類似度の高い画像を携帯端末160に送る。これにより携帯端末160の画面上に、装着位置を表示することが可能である。尚、類似度の計算には、テンプレートマッチングや相関法などのパターンマッチングの手法を適用する。
（実施の形態５）
本発明の他の実施例を図１９，２０，２１，２２に示す。本例は、図１の情報解析システム80の処理プロセスの詳細である。
図１９に、データ自動分類部81の処理を示す。データ自動分類部81では、情報収集装置50から、実験時に複数の計測装置150で取得した測定データを含むデータ集団680を受信する。この測定データには装着位置を示すラベル（aまたはｂまたはcまたはd）が付与されており、測定データは取得した順に並べられている。データ自動分類部81では、図１９の右に示すように、ラベルごとに測定データを分類して、グループ化したデータ集団690を生成する。
図２０に、統計処理部82の処理を示す。統計処理部82では、始めに、図２０の左に示すように、各計測装置150で取得した測定データを装着位置（ラベル）ごとに重ね合わせてグラフを作成する。この時、異常値は除去する。次に、重ね合わせた測定データの移動平均を計算して、図２０の右に示すような各装着位置に特徴的な集団パターン700を抽出する。図２０の図は、上から順に、装着位置a,b,c,dの波形に対応する。例えば、図２０右上の図は、装着位置aの代表的な波形である。が、広告または番組の視聴を開始すると徐々に脳血液量が増加し、注意が継続していることがわかる。
図２１は、統計処理部82のもう一つの処理を示す。本例では、統計処理部82は、図２０右の代表波形から装着位置ごとの強度を計算して、ヒストグラムを生成する。ここで強度は、波形の面積、ピーク値、ピークの位置などから計算する。装着位置ごとに、言語に反応する場合や、非言語に反応する場合が対応するので、広告を視聴した際の反応パターン800が取得できる。本例では、図1５の右図に示した位置aとcで反応が強いことがわかる。
図２２に、レポート生成部83の処理を示す。レポート生成部83では、集団パターン700と反応パターン800を意味解析エンジン900に入力する。意味解析エンジン900は、ＤＢ1250に格納される知識データベース950を参照して、波形の形と反応部位の情報から、広告または番組視聴時の解析結果960を出力する。知識データベース950には、位置aに計測装置を置いた場合の複数の集団パターン、位置bに計測装置を置いた場合の複数の集団パターン、位置cに計測装置を置いた場合の複数の集団パターン、及び、位置dに計測装置を置いた場合の複数の集団パターンが、蓄積されている。意味解析エンジン900は、反応パターン800から計測装置の装着位置を同定し、装着位置の集団パターン700と知識データベース950蓄積された集団パターンのうち、同定された装着位置の複数の集団パターンのデータとの比較から類似度を計算する。類似度は、例えば、反応の強さや反応の間隔を用いて比較する。例えば、本例では、図２１よりaの装着位置での反応が強いため、レポート生成部83は、知識データベース950を参照して、知識データベースに格納された装着位置aの複数の集団パターンと計測データとの類似度を算出する。レポート生成部83は、算出した類似度から、計測データから得られた装着位置aの集団パターンは、知識データベースに格納された装着位置aの複数の集団パターンのうち、しだいに注意が継続し、興味度が高まっている状態の時の集団パターンとの類似度が高いことがわかるので、実験参加者は、広告を視聴すると、広告が流れている間にしだいに注意が継続し、興味度が高まっていること、とする。
図２３に、意味解析エンジン900の処理の一例を示す。映像パターンは、シーン１，２，３から構成され、各々にタイムスタンプa1,a2,a3が付与されている。このタイムスタンプは、図１の送信機60が、受信機10または携帯端末に送信した映像信号に記録されている。情報解析システムは、映像信号のシーン、タイムスタンプなどの情報を、送信機60から映像信号を受信する、あるいは、クライアンドシステムから映像信号に関する情報を入手するなど、何らかの方法で入手する。また統計処理部82で抽出されたある装着位置の特徴的な集団パターン700（図２０の解析で得られる集団パターン）はＡ，Ｂ，Ｃの山から構成され、各々にタイムスタンプb1,b2,b3が付与されている。このタイムスタンプは、図８の計測装置150のクロック275で計測データに付与される。
意味解析エンジン900は、映像信号のタイムスタンプa1,a2,a3の時間刻みと該映像信号を視聴した実験参加者の計測データの集団パターンのタイムスタンプb1,b2,b3の時間刻みは異なる場合、時間軸のスケーリングを行い、a1=b1, a2=b2, a3=b3となるような時間軸を形成し、図２３の下部に示す合成図を生成する。この合成図より、シーン１，２，３に対応して、集団パターンの信号強度Ａ，Ｂ，Ｃが強く、シーンとシーンの間は強度が下がることがわかる。映像信号のシーン２の内容が、例えば、特定の女優が使われている広告のである場合、実験参加者は、特定の女優が使われている広告のシーン２に、強く関心があることが判断できる。レポート生成部は、このような解析結果を広告ごとに集め、広告をどのようなコンテンツを集めて作成したときが最も視聴者の反応を引き出すのに効果的か、の評価を加えたレポートを作成し、クライアントシステムに送信する。そして、図１及び図７に示すように、作成したレポートをクライアント70に送信して、感性評価の一連のプロセスを完了する。
実験参加者集団・・・5、受信機・・・10
生体計測システム・・・20
基地局・・・30、通信網・・・40
情報収集装置・・・50、送信機・・・60
サーバ・・・51
データベース・・・52,53,1050,1060,1160,1250,1340
クラインアント・・・71,72,73
クライアントシステム・・・80
機能ブロック・・・81,82,83,230,240,250,260
実験参加者・・・140、計測装置・・・150
携帯端末・・・160、カメラ・・・170
メッセージ・・・90,350,400
クロック・・・275
処理ブロック・・・100,110,120,130,290,300,310,320,
330,340,360,370,380,390,395
自己位置表示部・・・180、計測回路部・・・190
デバイス・・・200,210,220,270
装置ID・・・280、アプリケーション画面・・・410,420
撮影画像・・・450,490,500,540
処理・・・460,480,530,550
標準モデル・・・470
座標・・・560,570,580,630,640,650,660
光源・・・510,520,600,610,620,
ヘッドホン・・・590
データベース・・・670,950
データ集団・・・680,690
集団パターン・・・700、反応パターン・・・800
意味解析エンジン・・・900
レポート出力画面・・・960
メモリ・・・1040,1155,1240,1330
プログラム・・・1010,1020,1030,1110,1120,1130,1140,1150,
1210,1220,1230,1300,1310,1320
インタフェースＩＦ・・・1070,1100,1170,1200,1260,1290,1350,1380
プロセッサ・・・1080,1180,1270,1360
キャッシュ・・・1090,1190,1280,1370

Claims (17)

  1. クライアントシステム、情報解析システム、情報収集装置、計測装置、端末を備えた感性評価システムにおいて、
    前記クライアントシステムは、前記情報解析システムに映像情報に関する評価要求を送信し、実験参加者が視聴する前記映像情報を前記各実験参加者が視聴する受信機または前記端末に送信し、
    前記端末は、前記実験参加者が前記映像情報を視聴する間に前記実験参加者が装着する前記計測装置で計測した生体信号を、前記情報収集装置を介して前記情報解析システムに送信し、
    前記情報解析システムは、前記生体信号を解析し、解析結果に基づいて前記映像情報に関するレポートを作成し、作成したレポートを前記クライアントシステムに送信することを特徴とする感性評価システム。
  2. 前記端末は、前記実験参加者の顔と、該顔の上に前記計測装置を装着すべき装着位置が重畳された画像を表示することを特徴とする請求項１に記載の感性評価システム。
  3. 請求項２に記載の感性評価システムにおいて、
    前記計測装置は自己位置表示部を備え、
    前記端末は、前記実験参加者の顔と、該顔の上に計測装置を装着すべき装着位置が重畳された画像に、さらに、前記自己位置表示部の位置を表示することを特徴とする感性評価システム。
  4. 請求項３に記載の感性評価システムにおいて、
    前記クライアントシステムは、前記受信した解析結果に基づいて、課金情報を前記情報解析システム及び前記情報収集装置に送信することを特徴とする感性評価システム。
  5. 請求項４に記載の感性評価システムにおいて、
    前記課金情報は、前記実験参加者の人数、計測したデータのサイズ、前記情報解析システムのＣＰＵ占有時間、前記情報収集装置のＣＰＵ占有時間のいづれか１以上に基づいて生成されることを特徴とする感性評価システム。
  6. 請求項３に記載の感性評価システムにおいて、
    前記計測装置は、前記生体信号に該計測装置の装置識別子を付与して該生体信号を前記端末に送信することを特徴とする感性評価システム。
  7. 請求項３に記載の感性評価システムにおいて、
    前記計測装置は、
    生体の一部に光を照らして透過光を測定する近赤外分光装置、または、生体の一部の電気信号を測定する脳波計を含むことを特徴とする感性評価システム。
  8. 請求項３に記載の感性評価システムにおいて、
    前記端末は、前記実験参加者の撮影画像を変換して標準モデルと一致させることで変換パラメータを算出し、前記算出した変換パラメータを利用して、前記撮影画像上に前記装着位置の座標を表示することを特徴とする感性評価システム。
  9. 請求項３に記載の感性評価システムにおいて、
    前記端末は、撮影画像上に表示された前記実験参加者に装着された光源の位置を基に、ｘ、ｙ座標軸を設定し、前記座標軸に基づいて装着位置の座標を決定することを特徴とする感性評価システム。
  10. 請求項３に記載の感性評価システムにおいて、
    前記情報解析システムは、座標付きの複数の顔画像を保持するデータベースを備え、
    前記端末は、撮影した実験参加者の画像をデータベースに送信し、前記データベースに格納された座標付きの複数の顔画像の中から、最も類似度の高い顔画像に基づいて、前記計測装置の装着位置の座標を決定することを特徴とする感性評価システム。
  11. 請求項１に記載の感性評価システムにおいて、
    前記情報解析システムは、
    複数の計測装置で測定された測定データを装着位置ラベルごとに分類し、
    分類した装着位置ラベル毎の測定波形データパターンを算出し、
    前記測定波形データパターンに基づいて装着位置ラベル毎の強度パターンを算出し、
    前記測定波形データパターン及び強度パターンに基づいて前記解析結果を抽出することを特徴とする感性評価システム。
  12. 請求項１１に記載の感性評価システムにおいて、
    前記映像信号にはタイムスタンプが付与されており、
    前記計測装置は、前記計測データにタイムスタンプを付与し、
    前記情報解析システムは、前記映像信号に付与された複数のタイムスタンプと前記計測データに付与された複数のタイムスタンプのタイムスタンプ間の時間軸を調整し、調整結果に基づいて、前記解析結果を得ることを特徴とする感性評価システム。
  13. 請求項１２に記載の感性評価システムにおいて、
    前記解析システムは、
    前記計測装置の装着位置毎の生体信号の複数の集団パターンを保持し、
    前記複数の集団パターンと前記測定波形データパターンの類似度の比較し、前記解析結果を算出することを特徴とする感性評価システム。
  14. 請求項１３に記載の感性評価システムにおいて、
    前記計測装置は、
    さらに、複数のセンサー、制御回路、ＣＰＵ，光源、無線通信部を備え、
    前記自己位置表示部は前記端末に該計測装置の装着位置を表示するための光源であることを特徴とする感性評価システム。
  15. 映像信号を視聴する実験参加者の生体信号を計測する計測装置であって、
    前記計測装置は、複数のセンサー、制御回路、ＣＰＵ，光源、無線通信部、自己位置表示部を備え、
    前記自己位置表示部は、前記実験参加者が保持する端末に該計測装置の装着位置を表示するための光源であることを特徴とする計測装置。
  16. 配信される映像情報を評価する感性評価方法において、
    クライアントシステムは、情報解析システムに映像情報に関する評価要求を送信し、実験参加者が視聴する前記映像情報を前記各実験参加者が視聴する受信機または端末に送信し、
    前記端末は、前記実験参加者が前記映像情報を視聴する間に前記実験参加者が装着する計測装置で計測した生体信号を情報収集装置を介して前記情報解析システムに送信し、
    前記情報解析システムは、前記生体信号を解析し、解析結果に基づいて前記映像情報に関するレポートを作成し、作成したレポートを前記クライアントシステムに送信することを特徴とする感性評価方法。
  17. 請求項１６に記載の感性評価方法において、
    前記クライアントシステムは、前記受信した解析結果に基づいて、課金情報を前記情報解析システム及び前記情報収集装置に送信することを特徴とする感性評価方法。
JP2014548405A 2012-11-26 2012-11-26 感性評価システム Expired - Fee Related JP5997776B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/080418 WO2014080509A1 (ja) 2012-11-26 2012-11-26 感性評価システム

Publications (2)

Publication Number Publication Date
JP5997776B2 JP5997776B2 (ja) 2016-09-28
JPWO2014080509A1 true JPWO2014080509A1 (ja) 2017-01-05

Family

ID=50775714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014548405A Expired - Fee Related JP5997776B2 (ja) 2012-11-26 2012-11-26 感性評価システム

Country Status (5)

Country Link
US (1) US20160005058A1 (ja)
EP (1) EP2924645A4 (ja)
JP (1) JP5997776B2 (ja)
CN (1) CN104937631B (ja)
WO (1) WO2014080509A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6354264B2 (ja) * 2014-03-31 2018-07-11 富士通株式会社 認証システム、認証装置、認証方法、及び認証プログラム
US10852323B2 (en) * 2018-12-28 2020-12-01 Rohde & Schwarz Gmbh & Co. Kg Measurement apparatus and method for analyzing a waveform of a signal
JP2021007480A (ja) * 2019-06-28 2021-01-28 トヨタ自動車株式会社 装具データ提供システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3543453B2 (ja) * 1995-12-01 2004-07-14 株式会社日立製作所 光生体計測法を用いた生体入力装置
JP4296620B2 (ja) 1998-11-18 2009-07-15 ソニー株式会社 非水電解液電池
JP4399666B2 (ja) * 2003-09-19 2010-01-20 株式会社日立メディコ 生体信号処理装置
JP4655821B2 (ja) * 2005-08-23 2011-03-23 株式会社日立製作所 脳機能計測用刺激呈示装置
EP2066254B1 (en) * 2006-09-11 2010-09-01 Philips Intellectual Property & Standards GmbH System and method for positioning electrodes on a patient body
US20090253996A1 (en) * 2007-03-02 2009-10-08 Lee Michael J Integrated Sensor Headset
JP2007323659A (ja) * 2007-06-18 2007-12-13 Ricoh Co Ltd 画像データ管理システム、画像データ管理システム動作プログラム
JP4991431B2 (ja) * 2007-07-31 2012-08-01 株式会社日立製作所 脳機能計測による外部環境制御装置
US8327395B2 (en) * 2007-10-02 2012-12-04 The Nielsen Company (Us), Llc System providing actionable insights based on physiological responses from viewers of media
US20110066020A1 (en) * 2008-03-13 2011-03-17 Alexander Svojanovsky Multi-channel eeg electrode system
JP5210733B2 (ja) * 2008-07-07 2013-06-12 株式会社日立メディコ 刺激呈示機能を有する生体光計測装置及び刺激課題呈示方法
JP5092020B2 (ja) * 2008-11-04 2012-12-05 株式会社日立製作所 情報処理システム及び情報処理装置
JP2011065504A (ja) * 2009-09-18 2011-03-31 Tokyo Univ Of Science ユーザの選好関係についての予測モデルを生成する選好予測サーバ及びその方法
US20120245443A1 (en) * 2009-11-27 2012-09-27 Hirokazu Atsumori Biological light measurement device
JP5622193B2 (ja) 2010-07-05 2014-11-12 株式会社電通 感性マーケティング手法
JP5470231B2 (ja) * 2010-12-08 2014-04-16 株式会社日立製作所 生体光計測システム、生体光計測装置及び計測位置検出方法
JP2012120665A (ja) * 2010-12-08 2012-06-28 Terumo Corp 電気刺激装置および電極リード

Also Published As

Publication number Publication date
EP2924645A4 (en) 2016-10-05
JP5997776B2 (ja) 2016-09-28
WO2014080509A1 (ja) 2014-05-30
US20160005058A1 (en) 2016-01-07
EP2924645A1 (en) 2015-09-30
CN104937631B (zh) 2018-07-03
CN104937631A (zh) 2015-09-23

Similar Documents

Publication Publication Date Title
US20200294670A1 (en) System and method for real-time estimation of emotional state of user
US20190174039A1 (en) Bio-sensing and eye-tracking system
US20200134672A1 (en) Autonomous vehicle control using heart rate collection based on video imagery
US20170095192A1 (en) Mental state analysis using web servers
US20130245396A1 (en) Mental state analysis using wearable-camera devices
US11483618B2 (en) Methods and systems for improving user experience
KR20090031772A (ko) 휴대용 사용자 기구의 사용을 모니터링하는 방법, 모니터링시스템, 데이터 수집 방법, 데이터 수집 시스템
Speth et al. Deception detection and remote physiological monitoring: A dataset and baseline experimental results
US20090150919A1 (en) Correlating Media Instance Information With Physiological Responses From Participating Subjects
JP5997776B2 (ja) 感性評価システム
US20200373001A1 (en) System with wearable sensor for detecting eeg response
US20220383896A1 (en) System and method for collecting behavioural data to assist interpersonal interaction
CN104257373A (zh) 基于云技术的人体健康智能监测装置及其监测方法
CN202515671U (zh) 一种非接触式心理扫描分析装置
CN106202976A (zh) 一种学习质量与时间的评估测定方法
CN111317469B (zh) 一种脑电波监测设备、系统及监测方法
CN114004253A (zh) 一种基于脑间互动性的信息流估计方法及系统
CN111858696A (zh) 评估对空中更新的认知反应
CN107609334A (zh) 一种现场观众反应分析系统及方法
CN117079772A (zh) 一种基于社区矫正对象心理评估分析的智慧矫正系统及终端
CN106940720B (zh) 基于健康物联网的多源信息处理方法和系统
CN113517070A (zh) 人员健康档案管理系统
CN111079692A (zh) 用于k12教育阶段基于人脸识别的校园行为分析方法
US11918359B2 (en) System and method for deep analytics and strategic monetization of biomedical sensor data
US20240324964A1 (en) Edge-intelligent Iot-based Wearable Device For Detection of Cravings in Individuals

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160826

R150 Certificate of patent or registration of utility model

Ref document number: 5997776

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees