JP6025037B2 - 音声エージェント装置、及びその制御方法 - Google Patents

音声エージェント装置、及びその制御方法 Download PDF

Info

Publication number
JP6025037B2
JP6025037B2 JP2012235902A JP2012235902A JP6025037B2 JP 6025037 B2 JP6025037 B2 JP 6025037B2 JP 2012235902 A JP2012235902 A JP 2012235902A JP 2012235902 A JP2012235902 A JP 2012235902A JP 6025037 B2 JP6025037 B2 JP 6025037B2
Authority
JP
Japan
Prior art keywords
information
voice
agent device
area
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012235902A
Other languages
English (en)
Other versions
JP2014083658A (ja
Inventor
由理 西川
由理 西川
山田 和範
山田  和範
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2012235902A priority Critical patent/JP6025037B2/ja
Priority to US14/062,937 priority patent/US9324326B2/en
Publication of JP2014083658A publication Critical patent/JP2014083658A/ja
Application granted granted Critical
Publication of JP6025037B2 publication Critical patent/JP6025037B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/04Training, enrolment or model building
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、音声エージェント装置に関する。
背景技術の一例が特許文献1に開示されている。特許文献1のコミュニケーションロボットは、音声を用いて人間との会話を実行する。また、当該コミュニケーションロボットは、特に空間内に存在する複数の人間同士の会話促進及び人間関係の発展を目的とする。
このコミュニケーションロボットは、互いの間の距離が所定の値以内に存在する2人以上の人間を検出すると、互いが近くにいると判定し、人間に近づいて各々を個人識別する。これによって、当該コミュニケーションロボットは、識別された人間が共通して興味を持つ情報を、音声でスピーカから出力したり、テキスト、画像又は映像をディスプレイに表示したりすることで提示する。
特開2007−222968号公報
しかしながら、このようなコミュニケーションロボット等の音声エージェント装置では、複数の人間が会話を行っている空間を適切に把握することが重要である。
本発明は、複数の人間が会話を行っている空間範囲を適切に把握できる音声エージェント装置を提供することを目的とする。
本発明の一態様に係る音声エージェント装置は、音声エージェント装置であって、前記音声エージェント装置が情報提供可能な空間である対話空間内に存在する人間の位置を検出する位置検出部と、収音部で得られた前記対話空間の音声信号から、前記人間の声量を検出する声量検出部と、前記声量が第1声量値である場合、前記人間の発話内容が聞こえうる空間範囲である対話エリアを、前記位置を含む第1範囲に決定し、前記声量が前記第1声量値より小さい第2声量値である場合、前記対話エリアを、前記位置を含み、かつ前記第1範囲より狭い第2範囲に決定する対話エリア決定部と、前記対話エリアに提供情報を提供する情報提供部とを備える。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本発明は、複数の人間が会話を行っている空間範囲を適切に把握できる音声エージェント装置を提供できる。
本発明の実施の形態に係る音声エージェントシステムを示す図である。 本発明の実施の形態に係る音声エージェント装置のブロック図である。 本発明の実施の形態に係る音声エージェント装置による処理のフローチャートである。 本発明の実施の形態に係る音声エージェント装置による対話エリアを決定する処理のフローチャートである。 本発明の実施の形態に係る、信号対雑音比と、マイクと対話エリアとの距離との関係を示すグラフである。 本発明の実施の形態に係る、複数マイクの各SN比と、対話エリアまでの距離との関係を示す図である。 本発明の実施の形態に係る、対話エリアの決定方法を示す概念図である。 本発明の実施の形態に係る声量が小さい場合の対話エリアの一例を示す図である。 本発明の実施の形態に係る声量が大きい場合の対話エリアの一例を示す図である。 本発明の実施の形態に係る環境音が小さい場合の対話エリアの一例を示す図である。 本発明の実施の形態に係る環境音が大きい場合の対話エリアの一例を示す図である。 本発明の実施の形態に係る個人プロフィール情報の一例を示す図である。 本発明の実施の形態に係る人間関係情報の一例を示す図である。 本発明の実施の形態に係る音声エージェント装置による対話内容を選択する処理のフローチャートである。 本発明の実施の形態の変形例に係る音声エージェントシステムを示す図である。
(本発明の基礎となった知見)
本発明者は、従来技術において、以下の問題が生じることを見出した。
上記特許文献1のコミュニケーションロボットは、近くに存在する2人以上の人間を検出すると、人間に近づいて会話を行うことができる。しかしながら、コミュニケーションロボットは、2人以上の人間の間の距離がある所定の値以下である場合にのみ、互いに近くに存在すると判定する。したがって、2人以上の人間が、場を共有しているという意識を持ち、互いに十分に聞こえる声量で会話しているにもかかわらず、人間同士の間に所定の値以上の距離があると、当該コミュニケーションロボットは、当該2人以上の人間が会話を行っていないと判定するという課題があることを本発明者は見出した。
また、特許文献1のコミュニケーションロボットは、複数の人間が共通して興味を持つ情報を提供することができる。しかしながら、複数の人間同士が家族なのか、友人なのか、見知らぬ者同士なのかといった人間関係を理解していない。そのため、当該コミュニケーションロボットは、例えば、互いに近くにいる人間同士の関係性によっては不適切な情報であっても、その情報の提供の可否を判定することはできないという課題があることを本発明者は見出した。
加えて、特許文献1のコミュニケーションロボットが音声により提供する情報が、情報提供対象者以外の人間にも聞こえる可能性がある。例えば、情報提供対象者以外への提供が不適切な場合に、その情報提供を防ぐことができないという課題があることを本発明者見出した。
具体的には、例えば、住宅において、父親と来客とが会話を行っており、父親及び来客から少し離れた位置で、母親と子供とが会話を行っている場合を想定する。この場合、母親と子供との会話に対して、音声エージェント装置が、家庭内のプライベートな情報を含む情報を提供しても問題はない。一方で、この情報が来客に伝わることは好ましくない。
また、例えば、父親と母親との会話に対して提供してもよい情報と、父親と子供との会話に対して提供してもよい情報とは異なる。
上記のような場合に適切に対応するためには、対話空間(例えば、住宅)において、複数の人間が会話を行っている空間範囲(対話エリア)を適切に把握し、当該対話エリアを用いて提供する情報を制御することが重要である。
本発明の一態様に係る音声エージェント装置は、音声エージェント装置であって、前記音声エージェント装置が情報提供可能な空間である対話空間内に存在する人間の位置を検出する位置検出部と、収音部で得られた前記対話空間の音声信号から、前記人間の声量を検出する声量検出部と、前記声量が第1声量値である場合、前記人間の発話内容が聞こえうる空間範囲である対話エリアを、前記位置を含む第1範囲に決定し、前記声量が前記第1声量値より小さい第2声量値である場合、前記対話エリアを、前記位置を含み、かつ前記第1範囲より狭い第2範囲に決定する対話エリア決定部と、前記対話エリアに提供情報を提供する情報提供部とを備える。
この構成によれば、当該音声エージェント装置は、声量を加味して複数の人間が会話を行っている対話エリアを決定できる。これにより、当該音声エージェント装置は、例えば、少し離れた位置にいる複数の人間が、大きな声で会話している場合であっても当該複数の人間が会話していると判定することができる。
例えば、前記音声エージェント装置は、さらに、前記対話エリア内に存在する人間を識別する個人識別部を備え、前記情報提供部は、予め設定された、個人ごとの情報を示すプロフィール情報を記憶する記憶部と、前記対話エリア内に複数の人間が存在する場合、前記個人識別部による識別結果と、前記プロフィール情報とに基づき、当該複数の人間に提供する前記提供情報を選択する情報選択部とを備えてもよい。
この構成によれば、当該音声エージェント装置は、会話を行っている複数の人間に適した情報を提供できる。
また、前記プロフィール情報は、予め設定された、個人ごとに、当該個人に提供可能な情報を示し、前記情報選択部は、前記対話エリア内に複数の人間が存在する場合、前記プロフィール情報に基づき、当該複数の人間の全てに共通に提供可能な情報を判定し、当該提供可能な情報から前記提供情報を選択してもよい。
この構成によれば、当該音声エージェント装置は、例えば、対話エリア内にいる全ての人間各々のプロフィール、プライバシー、及び人間同士の関係性を考慮したうえで、適切な情報を提供できる。
例えば、前記個人識別部は、前記音声信号を用いて、予め登録された人間の声紋を認識することで、前記対話エリア内に存在する人間を識別してもよい。
この構成によれば、当該音声エージェント装置は、音声から対話エリア内にいる人間を識別できる。これにより、当該音声エージェント装置は、個人を認識するための新たな機器を用いることなく、上記機能を実現できる。これにより、当該音声エージェント装置は、低コスト化を実現できる。
例えば、前記音声エージェント装置は、さらに、前記対話空間における環境音を測定する環境音測定部を備え、前記対話エリア決定部は、前記環境音が第1音量である場合、前記対話エリアを第3範囲に決定し、前記環境音が前記第1音量より大きい第2音量である場合、前記対話エリアを前記第3範囲より狭い第4範囲に決定してもよい。
この構成によれば、当該音声エージェント装置は、環境音を加味して対話エリアを決定できるので、より適切に対話エリアを決定できる。
例えば、前記情報提供部は、前記対話空間内に配置されている複数の出力装置のうち、前記対話エリアに最も近い位置に配置されている出力装置を選択し、選択した出力装置に前記提供情報を出力することで、前記対話エリアに前記提供情報を提供する出力選択部を備えてもよい。
この構成によれば、当該音声エージェント装置は、対話空間にいる複数の人間のうち、情報を提示してもよい特定の人間にのみ当該情報を提示できる。
例えば、前記出力選択部は、前記対話エリアが第5範囲である場合、前記提供情報として第3音量の音声情報を出力し、前記対話エリアが第5範囲より広い第6範囲である場合、前記提供情報として、前記第3音量より大きい第4音量の音声情報を出力してもよい。
この構成によれば、当該音声エージェント装置は、対話空間にいる複数の人間のうち、情報を提示してもよい特定の人間にのみ当該情報を提示できる。
例えば、前記情報提供部は、前記対話空間のうち一部の範囲のみに情報を提示可能な出力装置を介して、前記対話空間のうち前記対話エリアに前記提供情報を提供する出力選択部を備えてもよい。
この構成によれば、当該音声エージェント装置は、対話空間にいる複数の人間のうち、情報を提示してもよい特定の人間にのみ当該情報を提示できる。
また、本発明の一態様に係る音声エージェント装置の制御方法は、音声エージェント装置の制御方法であって、前記音声エージェント装置が情報提供可能な空間である対話空間内に存在する人間の位置を検出する位置検出ステップと、収音部で得られた前記対話空間の音声信号から、前記人間の声量を検出する声量検出ステップと、前記声量が第1声量値である場合、前記人間の発話内容が聞こえうる空間範囲である対話エリアを、前記位置を含む第1範囲に決定し、前記声量が前記第1声量値より小さい第2声量値である場合、前記対話エリアを、前記位置を含み、かつ前記第1範囲より狭い第2範囲に決定する対話エリア決定ステップと、前記対話エリアに提供情報を提供する情報提供ステップとを含む。
これによれば、当該制御方法は、声量を加味して複数の人間が会話を行っている対話エリアを決定できる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態)
音声エージェント装置が、特に2名以上が同一空間に存在する場合の、人間のおかれた環境を理解して対話内容を選択する方法、及び、その実現装置について説明する。
以下、音声エージェントシステムの構成、音声エージェント装置の構成、音声エージェント装置による処理の流れ、対話エリアを決定する処理の流れ、プロフィール情報の具体例、対話内容を選択する処理の流れについて順次説明する。
まず、本実施の形態に係る音声エージェント装置を含む音声エージェントシステムの構成を説明する。図1は、本実施の形態に係る音声エージェントシステムのブロック図である。
図1に示す音声エージェントシステムは、音声エージェント装置100と、複数のマイク102A〜102Dと、複数のスピーカ103A〜103Cと、複数のディスプレイ104A及び104Bとを含む。なお、複数のマイク102A〜102Dを特に区別しない場合にはマイク102とも呼ぶ。また、複数のスピーカ103A〜103Cを特に区別しない場合、スピーカ103とも呼ぶ。複数のディスプレイ104A及び104Bを特に区別しない場合、ディスプレイ104とも呼ぶ。また、マイク102、スピーカ103及びディスプレイ104の数はこの数に限定されるものでなく、任意の数でよい。
ここで、マイク102は、対話空間111の音声を取得する収音部の一例である。また、スピーカ103は、対話空間111に配置されており、対話空間111に音声を出力する音声出力部の一例である。ディスプレイ104は、対話空間111に配置されており、テキスト、画像及び映像を表示する表示部の一例である。
音声エージェント装置100(対話エージェント装置、又は音声対話エージェント装置とも呼ばれる)は、対話空間111内の人間と対話を行う。言い換えると、対話空間111は、音声エージェント装置100が情報提供可能な空間(対話可能な空間)である。
音声エージェント装置100は、ユーザの音声を認識し、音声入力によるユーザの指示に応じて、スピーカ103又はディスプレイ104に情報を提示する。より具体的には、音声エージェント装置100は、音声入力によるユーザの指示に従いコンテンツを表示したり、ユーザの質問に回答したりする。なお、音声エージェント装置100は、ユーザからの対話がない場合でも、所定の条件を満たした場合に、自発的にユーザへの問いかけを行なってもよい。
また、ここでは、音声エージェント装置100は、スピーカ103及びディスプレイ104に接続されているが、いずれか一方のみに接続されていてもよい。また、音声エージェント装置100と、スピーカ103及びディスプレイ104との接続は、有線又は無線を用いることができる。また、マイク102、スピーカ103、及びディスプレイ104のうち少なくとも一部が一体化されていてもよい。
この音声エージェントシステムは、住宅又はオフィス等の室内に設置されている。図1に示す例では、3名の人間101A〜101Cが対話空間111内に存在する。3名の人間101A〜101Cのうち、人間101A及び101Bは互いに近くにおり、会話を行っている。また、人間101Cは、人間101A及び101Bとから離れた場所にいる。また、人間101Aが話者であるとする。
音声エージェント装置100は複数のマイク102から得られた音声信号から、人間101Aの発話が聞こえる空間範囲である対話エリア110を決定する。そして、音声エージェント装置100は、対話エリア110内にいる人間が人間101A及び101Bであることを識別する。そして、音声エージェント装置100は、人間101A及び101Bに聞こえるようスピーカ103の音量等を制御して情報提供を行う。
次に、音声エージェント装置100の構成を説明する。図2は、音声エージェント装置100のシステム構成を示すブロック図である。
図2に示すように音声エージェント装置100は、音声取得部201と、位置検出部202と、声量検出部203と、環境音測定部204と、個人識別部205と、対話エリア決定部206と、情報提供部207とを備える。
音声取得部201は、複数のマイク102で取得された複数の音声信号221を取得する。
位置検出部202は、対話空間111に存在する人間の位置座標(位置222)を検出する。具体的には、位置検出部202は、複数の音声信号221に含まれる人間の音声(声量)に基づき、位置222を検出する。なお、位置検出部202は、カメラ又はセンサで取得された情報から、位置222を検出してもよい。なお、音声を用いた場合、他の機器(カメラ等)を用いることなく位置検出を行えるので、より好ましい。また、音声を用いた位置検出を行わない場合には、音声エージェント装置100は、単一のマイク102で取得された音声信号221のみを取得してもよい。
声量検出部203は、音声信号221から、人間の声量223を検出する。
環境音測定部204は、音声信号221から、対話空間111の騒音レベルを示す環境音224を測定する。
個人識別部205は、対話空間111(対話エリア110)に存在する人間を識別する。例えば、個人識別部205は、音声信号221を用いて、予め登録された人間の声紋を認識することで、対話空間111内に存在する人間を識別する。具体的には、個人識別部205は、予め登録された人間の声紋の情報を保持している。また、個人識別部205は、この声紋の情報と、音声信号221に含まれる人間の音声とを比較することで、人間を識別する。なお、個人識別部205は、画像認証又は骨格認証等の他の手段を用いて、人間を認識してもよい。なお、音声(声紋)を用いた場合、他の機器(カメラ等)を用いることなく位置検出を行えるので、より好ましい。
対話エリア決定部206は、対話空間111内に存在する人間101Aの発話内容が聞こえうる空間範囲である対話エリア110を決定する。具体的には、対話エリア決定部206は、位置222を含み、声量223及び環境音224に応じた広さを有する対話エリア110を決定する。
情報提供部207は、対話エリア110に提供情報を提供する。ここで、提供情報とは、音声情報、テキスト情報、画像、及び映像のうち少なくとも一つである。具体的には、情報提供部207は、音声入力によるユーザの指示に応じて、スピーカ103又はディスプレイ104に提供情報を提示する。また、情報提供部207は、音声エージェント装置100が記憶している情報を、提供情報として提供してもよいし、他の機器から取得した情報を提供情報として提供してもよい。
この情報提供部207は、情報選択部208と、記憶部209と、出力選択部210とを備える。
記憶部209は、個人ごとの情報を示すプロフィール情報220を記憶する。
情報選択部208は、対話エリア110に提供する情報を選択する。例えば、情報選択部208は、対話エリア110内に複数の人間が存在する場合、個人識別部205による識別結果と、プロフィール情報220とに基づき、当該複数の人間に提供する提供情報を選択する。
出力選択部210は、対話空間111内に配置されている複数の出力装置(スピーカ103及びディスプレイ104)のうち、対話エリア110に対応する出力装置を選択し、選択した出力装置に提供情報を出力する。ここで対話エリア110に対応する出力装置とは、例えば、対話エリア110に最も近い位置に配置されている出力装置である。
次に、音声エージェント装置100の動作を説明する。図3は、音声エージェント装置100による、人間を検出し、対話内容を変える処理の流れを示すフローチャートである。
まず、位置検出部202は、室内(対話空間111)にいる複数の人間101A〜101Cの位置222を検出する(S101)。次に、声量検出部203は、複数の人間101A〜101Cの声量223を検出する(S102)。次に、対話エリア決定部206は、位置222及び声量223を用いて対話エリア110を決定する(S103)。次に、個人識別部205は、対話空間111にいる複数の人間101A〜101Cの各々の個人を識別する(S104)。なお、ステップS101〜S104の順序は任意でよく、これらの一部が同時に行なわれてもよい。
また、これらステップS101〜S104の処理の一部又は全ては、常時(予め定められた時間間隔で繰り返し)行なわれてもよいし、音声エージェント装置100が情報提供を行う直前等、予め定められた条件を満たす場合に行なわれてもよい。また、ステップS102〜S104の処理は、対話空間111にいる全ての人間に対して行なわれてもよいし、一部の人間に対して行なわれてもよい。例えば、声量検出処理(S102)は、発話者のみに行なわれてもよい。また、個人識別処理(S104)は、発話者を含む対話エリア110に含まれる人間に対してのみ行なわれてもよい。
図4は、図3に示す、声量を検出し、対話エリアを決定する処理(S103及びS104)の具体例を示すフローチャートである。
環境音測定部204は、対話空間111内に設置された複数のマイク102で得られた音声信号221から、2名以上の人間が存在する対話空間111の騒音レベル(環境音224)を定常的に測定している(S121)。また、声量検出部203は、音声信号221から対話空間111内の人間による音声発話を検出する(S122)。人間による音声発話が検出された場合(S122でYes)、声量検出部203は、音声信号221から発話の入力レベルを検出することで、発話者の声量223を検出する(S123)。
次に、対話エリア決定部206は、ステップS121及びS123で検出された環境音224及び声量223を用いて、信号対雑音比を算出する(S124)。ここで、信号対雑音比は、声量223を環境音224で除算した値である。なお、信号対雑音比は、これに限定されず、声量223が大きくなると大きくなり、環境音224が大きくなると小さくなる値であればよい。
次に、対話エリア決定部206は、信号対雑音比を用いて、各マイク102と対話エリア110との距離dを設定する(S125)。そして、対話エリア決定部206は、設定された距離を用いて、対話エリア110を決定する(S126)。
図5は、信号対雑音比と、マイク102と対話エリア110との距離dとの関係を示すグラフである。図5に示す関係から、信号対雑音比が既知であれば、マイクと対話エリアとの間の距離dを求めることができる。なお、図5に示す信号対雑音比と距離dとの関係は一例であり、信号対雑音比が大きいほど距離dが小さくなる関係であればよい。
図6は、図7に示す例における、複数マイク102A〜102Dの信号対雑音比(SN比)と、対話エリアまでの距離dとの関係を示す図である。
図7は、対話エリア110の決定方法を示す概念図である。図7に示すように、対話エリア決定部206は、信号対雑音比からマイク102A〜102Dと対話エリア110との距離d1〜d4を算出する。次に、対話エリア決定部206は、各マイク102を中心とし、距離dを半径とする円を描く。そして、対話エリア決定部206は、対話空間111のうち、描かれた円内を除く空間を対話エリア110として決定する。
なお、ここでは、環境音224が常時測定されている例を述べたが、環境音の測定は音声発話が検出された際等、予め定められた条件を満たす場合に行なわれてもよい。この場合、環境音測定部204は、フィルタ処理等を用いて、音声信号221から環境音224を抽出してもよい。
また、対話エリア110の決定方法は、上記方法に限定されず、他の方法を用いてもよい。例えば、対話エリア110は、位置222を中心とする円であってもよい。そして、当該円の半径は、声量223が大きいほど大きくなり、環境音224が大きいほど小さくなる。つまり、図8A及び図8Bに示すように、対話エリア決定部206は、声量223が第1声量値である場合、対話エリア110を第1範囲に決定し、声量223が第1声量値より小さい第2声量値である場合、対話エリア110を第1範囲より狭い第2範囲に決定する。また、図9A及び図9Bに示すように、対話エリア決定部206は、環境音224が第1音量である場合、対話エリア110を第3範囲に決定し、環境音224が第1音量より大きい第2音量である場合、対話エリア110を第3範囲より狭い第4範囲に決定する。
なお、対話エリア110は、円形である必要はなく任意の形状でよい。また、対話エリア110は、位置222を中心又は重心とするエリアである必要はなく、位置222を含むエリアであってもよい。また、ここでは、環境音224が考慮された処理を説明したが、対話エリア110は、環境音224を考慮せず、声量223のみに基づき、対話エリア110を決定してもよい。
なお、声量223及び環境音224を考慮し、かつ、複数のマイク102からの音声信号221を用いる場合には、上述したように信号対雑音比を用いることで、容易な処理で適切な対話エリア110を決定できる。具体的には、上述した一連の処理のみにより、話者の位置、声量及び環境音を加味した対話エリア110を算出できる。
再度、図3を用いて説明を行なう。
対話エリア110の決定(S103)及び個人識別処理(S104)が行われた後、情報選択部208は、対話エリア110に提供する提供情報を選択する(S105)。具体的には、情報選択部208は、記憶部209に格納されている、個人ごとの情報を示すプロフィール情報220に基づき、提供情報を選択する。また、情報選択部208は、対話エリア110内に複数の人間が存在する場合、個人識別部205による識別結果と、プロフィール情報220とに基づき、当該複数の人間に提供する提供情報を選択する。
ここで、プロフィール情報220は、個人プロフィール情報220Aと、人間関係情報220Bとを含む。
図10は、個人プロフィール情報220Aの具体例を示す図である。この個人プロフィール情報220Aは、情報ごとに設定された、当該情報の公開範囲を示すプライバシー設定情報220Cを含む。この個人プロフィール情報220Aは、個人ごとに設けられている。なお、個人プロフィール情報220Aに含まれる情報のうち一部は、複数の個人に共通の情報として管理されていてもよい。
図11は、人間関係情報220Bの具体例を示す図である。この人間関係情報220Bは、ある人間(例:鈴木太郎)ともう一人の人間(例:鈴木次郎)とがどのような関係か(例:家族)を示す。
これらのプライバシー設定情報220Cと人間関係情報220Bとを用いることで、情報選択部208は、各個人に提供可能な情報を判別することできる。つまり、プロフィール情報220は、予め設定された、個人ごとに、当該個人に提供可能な情報を示す。また、情報選択部208は、対話エリア110内に複数の人間が存在する場合、プロフィール情報220に基づき、当該複数の人間の全てに共通に提供可能な情報を判定し、当該提供可能な情報から提供情報を選択する。
以下、図3に示す提供情報選択処理(S105)の具体例として、話者(例えば、人間101Aが、音声エージェント装置100に、コンテンツの提示を指示した場合の音声エージェント装置100の動作を説明する。
図12は、この場合の、対話内容を選択する処理の流れを示すフローチャートである。
まず、情報提供部207は、音声信号221の解析結果から、コンテンツの提示要求を取得する(S141)。次に、情報選択部208は、個人識別結果に基づき、対話エリア110内にいる人間(例えば、人間101A及び101B)の個人プロフィール情報220Aに含まれる対象コンテンツのプライバシー設定情報220Cを取得する(S142)。また、情報選択部208は、人間関係情報220Bから対話エリア110内にいる人間の人間関係を取得する(S143)。
情報選択部208は、上記ステップS142及びS143で必要な情報が取得できた場合(S144でYes)、コンテンツのプライバシー設定情報220Cで示される公開範囲(以下「コンテンツの公開範囲」)と、対話エリア110内にいる人間の人間関係とを用いて、対話エリア110にいる全ての人間がコンテンツの公開範囲に含まれるか否かを判定する(S145)。対話エリア110にいる全ての人間がコンテンツの公開範囲に含まれる場合(S145でYes)、情報選択部208は、コンテンツの提示を許可し(S146)、出力選択部210は、当該コンテンツを提示する。一方、対話エリア110にいる少なくとも一人の人間がコンテンツの公開範囲に含まれない場合(S145でNo)、情報選択部208は、当該コンテンツの提示を禁止する(S147)。
また、ステップS144において、判定に必要な全ての情報を取得できなかった場合(S144でNo)、情報選択部208は、当該コンテンツの提示を禁止する(S147)。ここで、判定に必要な全ての情報を取得できない場合とは、例えば、対話エリア110内にいる人間のうち少なくとも一人の情報が音声エージェント装置100に登録されておらず、人間関係情報220Bに、当該人間の関係性が含まれていない場合である。
また、ここでは、ユーザの指示に応じてコンテンツを提示する例を述べたが、音声エージェント装置100が自発的に情報を提示する場合も同様の処理を行うことが可能である。この場合、情報選択部208は、対話エリア110に含まれる全ての人間に公開してもよい情報から提供情報を選択する。
再度、図3を用いて説明する。
提供情報が選択された後(S105)、出力選択部210は、情報出力先の出力装置(スピーカ又はディスプレイ)を選択する(S106)。具体的には、出力選択部210は、対話空間111のうち対話エリア110にのみ提供情報が提供されるように、情報出力先の出力装置を選択する。例えば、出力選択部210は、対話エリア110に最も近い位置に配置されている出力装置を選択する。
また、出力選択部210は、対話エリア110の広さに応じて、スピーカ103から発する音声情報の音量を変更する。具体的には、出力選択部210は、対話エリア110が広いほど音声情報の音量を大きくする。つまり、出力選択部210は、対話エリア110が第5範囲である場合、提供情報として第3音量の音声情報を出力し、対話エリア110が第5範囲より広い第6範囲である場合、提供情報として、第3音量より大きい第4音量の音声情報を出力する。
言い換えると、出力選択部210は、対話エリア110内の人間の対話の声量223に応じて、スピーカ103から発する音声情報の音量を変更する。具体的には、出力選択部210は、声量223が大きいほど音量を大きくする。また、出力選択部210は、環境音224に応じて、スピーカ103から発する音声情報の音量を変更する。具体的には、出力選択部210は、環境音224が大きいほど音量を小さくする。また、出力選択部210は、対話エリア110内に存在する人間の個人プロフィール情報220Bに含まれる情報(例えば、年齢)に応じて、音量を変更してもよい。
なお、出力選択部210は、対話エリア110の広さ、対話エリア110内の人間の対話の声量223、環境音224及び個人プロフィール情報220Bの少なくとも一つに応じて、音質(周波数等)を変更してもよい。
最後に、出力選択部210は、選択された出力装置に提供情報を提示する(S107)。
なお、提供情報の選択処理(S105)と情報出力先の選択処理(S106)との順序は逆であってもよいし、一部の処理が同時に行われてもよい。
また、ここでは、音声エージェント装置100が複数の出力装置に接続されている例を述べたが、対話空間111のうち一部の範囲のみに情報を提示可能な単一の出力装置に接続されていてもよい。ここで、対話空間111のうち一部の範囲のみに情報を提示可能な出力装置とは、例えば、指向性スピーカ等である。この場合、出力選択部210は、当該出力装置を介して、対話空間111のうち対話エリア110にのみ提供情報を提供する。
図13は、この場合の音声エージェントシステムのブロック図である。図13に示すように、音声エージェント装置100は、指向性スピーカ等のスピーカ103Dに接続されている。そして、音声エージェント装置100に含まれる出力選択部210は、対話エリア110のみに音声情報が出力されるようにスピーカ103Dを制御する。
以上より、音声エージェント装置100は、例えば、環境音224を継続的に測定しているとともに、室内にいる人間の位置222を継続的に検出している。声量検出部203が室内にいる人間の発話を検出すると、対話エリア決定部206は、話者の位置及び話者の声量を検出し、環境音の信号レベルと話者の声量との比に基づいて話者の発話が聞こえる空間範囲である対話エリア110を決定する。次に、個人識別部205は、対話エリア110内にいる人間の声紋を認識することにより人間を個々に識別する。そして、情報選択部208は、認識された複数の人間の人間関係を取得し、当該人間関係に基づき発話内容を選択することができる。つまり、音声エージェント装置100は、複数人がいる室内において、人間関係によっては不適切な内容の情報を提示することなく、対話を進行することができる。
以上、実施の形態に係る音声エージェント装置について説明したが、本発明は、この実施の形態に限定されるものではない。
また、上記実施の形態に係る音声エージェント装置に含まれる各処理部は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
以上、一つまたは複数の態様に係る音声エージェント装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本発明は、音声エージェント装置に適用できる。
100 音声エージェント装置
101A、101B、101C 人間
102、102A、102B、102C、102D マイク
103、103A、103B、103C、103D スピーカ
104、104A、104B ディスプレイ
110 対話エリア
111 対話空間
201 音声取得部
202 位置検出部
203 声量検出部
204 環境音測定部
205 個人識別部
206 対話エリア決定部
207 情報提供部
208 情報選択部
209 記憶部
210 出力選択部
220 プロフィール情報
220A 個人プロフィール情報
220B 人間関係情報
220C プライバシー設定情報
221 音声信号
222 位置
223 声量
224 環境音

Claims (11)

  1. 音声エージェント装置であって、
    前記音声エージェント装置が情報提供可能な空間である対話空間内に存在する人間の位置を検出する位置検出部と、
    収音部で得られた前記対話空間の音声信号から、前記人間の声量を検出する声量検出部と、
    前記声量が大きいほど、前記人間の発話内容が聞こえうる空間範囲である対話エリアを広く決定する対話エリア決定部と、
    前記対話エリアに提供情報を提供する情報提供部とを備える
    音声エージェント装置。
  2. 前記音声エージェント装置は、さらに、
    前記対話エリア内に存在する人間を識別する個人識別部を備え、
    前記情報提供部は、
    予め設定された、個人ごとの情報を示すプロフィール情報を記憶する記憶部と、
    前記対話エリア内に複数の人間が存在する場合、前記個人識別部による識別結果と、前記プロフィール情報とに基づき、当該複数の人間に提供する前記提供情報を選択する情報選択部とを備える
    請求項1記載の音声エージェント装置。
  3. 前記プロフィール情報は、予め設定された、個人ごとに、当該個人に提供可能な情報を示し、
    前記情報選択部は、前記対話エリア内に複数の人間が存在する場合、前記プロフィール情報に基づき、当該複数の人間の全てに共通に提供可能な情報を判定し、当該提供可能な情報から前記提供情報を選択する
    請求項2記載の音声エージェント装置。
  4. 前記個人識別部は、前記音声信号を用いて、予め登録された人間の声紋を認識することで、前記対話エリア内に存在する人間を識別する
    請求項2又は3記載の音声エージェント装置。
  5. 前記音声エージェント装置は、さらに、
    前記対話空間における環境音を測定する環境音測定部を備え、
    前記対話エリア決定部は、前記環境音が大きいほど、前記対話エリアを狭く決定する
    請求項1〜4のいずれか1項に記載の音声エージェント装置。
  6. 前記情報提供部は、
    前記対話空間内に配置されている複数の出力装置のうち、前記対話エリアに最も近い位置に配置されている出力装置を選択し、選択した出力装置に前記提供情報を出力することで、前記対話エリアに前記提供情報を提供する出力選択部を備える
    請求項1〜5のいずれか1項に記載の音声エージェント装置。
  7. 前記出力選択部は、前記対話エリアが広いほど、前記提供情報として出力する音声情報の音量を大きくする
    請求項6記載の音声エージェント装置。
  8. 前記情報提供部は、
    前記対話空間のうち一部の範囲のみに情報を提示可能な出力装置を介して、前記対話空間のうち前記対話エリアに前記提供情報を提供する出力選択部を備える
    請求項1〜5のいずれか1項に記載の音声エージェント装置。
  9. 音声エージェント装置の制御方法であって、
    前記音声エージェント装置が情報提供可能な空間である対話空間内に存在する人間の位置を検出する位置検出ステップと、
    収音部で得られた前記対話空間の音声信号から、前記人間の声量を検出する声量検出ステップと、
    前記声量が第1声量値である場合、前記人間の発話内容が聞こえうる空間範囲である対話エリアを、前記位置を含む第1範囲に決定し、前記声量が前記第1声量値より小さい第2声量値である場合、前記対話エリアを、前記位置を含み、かつ前記第1範囲より狭い第2範囲に決定する対話エリア決定ステップと、
    前記対話エリアに提供情報を提供する情報提供ステップとを含む
    音声エージェント装置の制御方法。
  10. 請求項9記載の音声エージェント装置の制御方法をコンピュータに実行させるためのプログラム。
  11. 音声エージェント装置に用いられる集積回路であって、
    前記音声エージェント装置が情報提供可能な空間である対話空間内に存在する人間の位置を検出する位置検出部と、
    収音部で得られた前記対話空間の音声信号から、前記人間の声量を検出する声量検出部と、
    前記声量が第1声量値である場合、前記人間の発話内容が聞こえうる空間範囲である対話エリアを、前記位置を含む第1範囲に決定し、前記声量が前記第1声量値より小さい第2声量値である場合、前記対話エリアを、前記位置を含み、かつ前記第1範囲より狭い第2範囲に決定する対話エリア決定部と、
    前記対話エリアに提供情報を提供する情報提供部とを備える
    集積回路。
JP2012235902A 2012-10-25 2012-10-25 音声エージェント装置、及びその制御方法 Expired - Fee Related JP6025037B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012235902A JP6025037B2 (ja) 2012-10-25 2012-10-25 音声エージェント装置、及びその制御方法
US14/062,937 US9324326B2 (en) 2012-10-25 2013-10-25 Voice agent device and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012235902A JP6025037B2 (ja) 2012-10-25 2012-10-25 音声エージェント装置、及びその制御方法

Publications (2)

Publication Number Publication Date
JP2014083658A JP2014083658A (ja) 2014-05-12
JP6025037B2 true JP6025037B2 (ja) 2016-11-16

Family

ID=50548156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012235902A Expired - Fee Related JP6025037B2 (ja) 2012-10-25 2012-10-25 音声エージェント装置、及びその制御方法

Country Status (2)

Country Link
US (1) US9324326B2 (ja)
JP (1) JP6025037B2 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096977B (zh) * 2015-08-24 2017-06-13 北京泽桥传媒科技股份有限公司 一种多媒体播放的控制方法及移动终端
CN106486132A (zh) * 2015-08-26 2017-03-08 天津三星电子有限公司 一种调节显示终端音量的方法及其显示终端
US9571628B1 (en) * 2015-11-13 2017-02-14 International Business Machines Corporation Context and environment aware volume control in telephonic conversation
US11774920B2 (en) 2016-05-04 2023-10-03 Johnson Controls Technology Company Building system with user presentation composition based on building context
US11226598B2 (en) * 2016-05-04 2022-01-18 Johnson Controls Technology Company Building system with user presentation composition based on building context
US10901373B2 (en) 2017-06-15 2021-01-26 Johnson Controls Technology Company Building management system with artificial intelligence for unified agent based control of building subsystems
US11226597B2 (en) 2016-07-11 2022-01-18 Johnson Controls Technology Company Systems and methods for interaction with a building management system
EP3452964A1 (en) 2016-05-04 2019-03-13 Johnson Controls Technology Company Systems and methods for agent interaction with building management system
EP3748558A1 (en) 2016-06-13 2020-12-09 Google LLC Automated telephone call initiating system and method
JP6681800B2 (ja) * 2016-07-15 2020-04-15 株式会社日立製作所 制御装置、制御システム、および制御方法
US11195542B2 (en) 2019-10-31 2021-12-07 Ron Zass Detecting repetitions in audio data
US20180018974A1 (en) * 2016-07-16 2018-01-18 Ron Zass System and method for detecting tantrums
US10185840B2 (en) * 2016-08-30 2019-01-22 Google Llc Conditional disclosure of individual-controlled content in group contexts
JP2018055155A (ja) * 2016-09-26 2018-04-05 トヨタ自動車株式会社 音声対話装置および音声対話方法
JP2018087838A (ja) * 2016-11-28 2018-06-07 三菱電機株式会社 音声認識装置
JP6250852B1 (ja) * 2017-03-16 2017-12-20 ヤフー株式会社 判定プログラム、判定装置及び判定方法
US11081128B2 (en) * 2017-04-26 2021-08-03 Sony Corporation Signal processing apparatus and method, and program
US10176808B1 (en) * 2017-06-20 2019-01-08 Microsoft Technology Licensing, Llc Utilizing spoken cues to influence response rendering for virtual assistants
EP3655826A1 (en) 2017-07-17 2020-05-27 Johnson Controls Technology Company Systems and methods for agent based building simulation for optimal control
JP6942557B2 (ja) * 2017-08-17 2021-09-29 京セラ株式会社 対話型電子機器、コミュニケーションシステム、方法、およびプログラム
US20200410980A1 (en) * 2017-08-17 2020-12-31 Kyocera Corporation Interactive electronic apparatus, communication system, method, and program
JP6971088B2 (ja) * 2017-08-25 2021-11-24 京セラ株式会社 対話型電子機器、コミュニケーションシステム、方法、およびプログラム
CN107657954A (zh) * 2017-10-27 2018-02-02 成都常明信息技术有限公司 一种智能音量语音机器人
JP6560321B2 (ja) * 2017-11-15 2019-08-14 ヤフー株式会社 判定プログラム、判定装置及び判定方法
JP6994922B2 (ja) * 2017-12-07 2022-02-04 清水建設株式会社 会話認識記録システム
CN111344692A (zh) * 2018-01-16 2020-06-26 索尼公司 信息处理装置、信息处理方法和程序
KR101972545B1 (ko) * 2018-02-12 2019-04-26 주식회사 럭스로보 음성 명령을 통한 위치 기반 음성 인식 시스템
JP7107732B2 (ja) * 2018-04-24 2022-07-27 清水建設株式会社 人物関係抽出システム
JP7169921B2 (ja) * 2019-03-27 2022-11-11 本田技研工業株式会社 エージェント装置、エージェントシステム、エージェント装置の制御方法、およびプログラム
CN113424513A (zh) 2019-05-06 2021-09-21 谷歌有限责任公司 自动呼叫系统
JPWO2021039456A1 (ja) * 2019-08-27 2021-03-04
US11303749B1 (en) 2020-10-06 2022-04-12 Google Llc Automatic navigation of an interactive voice response (IVR) tree on behalf of human user(s)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2539672B2 (ja) * 1988-08-26 1996-10-02 日本電信電話株式会社 音声再生方式
US6662137B2 (en) * 2000-12-19 2003-12-09 Hewlett-Packard Development Company, L.P. Device location discovery by sound
US6952672B2 (en) * 2001-04-25 2005-10-04 International Business Machines Corporation Audio source position detection and audio adjustment
JP2005202076A (ja) * 2004-01-14 2005-07-28 Sony Corp 発話制御装置及び方並びにロボット装置
EP1720374B1 (en) * 2004-02-10 2011-10-12 Honda Motor Co., Ltd. Mobile body with superdirectivity speaker
AU2005282632A1 (en) * 2004-09-03 2006-03-16 Panaseca, Inc. Vision center kiosk
JP4599522B2 (ja) * 2006-02-21 2010-12-15 株式会社国際電気通信基礎技術研究所 コミュニケーションロボット
US8229130B2 (en) * 2006-10-17 2012-07-24 Massachusetts Institute Of Technology Distributed acoustic conversation shielding system
JP5075664B2 (ja) * 2008-02-15 2012-11-21 株式会社東芝 音声対話装置及び支援方法
US20110188666A1 (en) * 2008-07-18 2011-08-04 Koninklijke Philips Electronics N.V. Method and system for preventing overhearing of private conversations in public places

Also Published As

Publication number Publication date
US9324326B2 (en) 2016-04-26
JP2014083658A (ja) 2014-05-12
US20140122077A1 (en) 2014-05-01

Similar Documents

Publication Publication Date Title
JP6025037B2 (ja) 音声エージェント装置、及びその制御方法
US10453443B2 (en) Providing an indication of the suitability of speech recognition
EP3520102B1 (en) Context aware hearing optimization engine
CN105074815B (zh) 针对语音识别系统的视觉反馈
US10353495B2 (en) Personalized operation of a mobile device using sensor signatures
US10127906B1 (en) Naming devices via voice commands
CN104111814B (zh) 防止音频信息的非预期分发的方法和系统
US20140172953A1 (en) Response Endpoint Selection
JP4539600B2 (ja) 案内ロボット
KR20150052903A (ko) 생활 패턴을 이용하는 청각 기기 및 외부 기기
US11138987B2 (en) System and method to distinguish sources in a multiple audio source environment
US9772815B1 (en) Personalized operation of a mobile device using acoustic and non-acoustic information
CN106067996A (zh) 语音再现方法、语音对话装置
CN108476072A (zh) 用于声音识别的众包数据库
JP6767322B2 (ja) 出力制御装置、出力制御方法及び出力制御プログラム
EP3412036B1 (fr) Procédé d'aide au suivi d'une conversation pour personne malentendante
CN109756825A (zh) 智能个人助理的位置分类
JP2010079103A (ja) 音声対話装置及びそのプログラム並びに音声対話処理方法
US11551707B2 (en) Speech processing method, information device, and computer program product
WO2019138652A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP6678315B2 (ja) 音声再生方法、音声対話装置及び音声対話プログラム
WO2013190791A1 (ja) 補聴器フィッティング装置、補聴器、及び補聴器フィッティング方法
WO2019187521A1 (ja) 音声情報送信装置、音声情報送信方法、音声情報送信プログラム、音声情報解析システム及び音声情報解析サーバ
US20220084505A1 (en) Communication between devices in close proximity to improve voice control of the devices
US9532155B1 (en) Real time monitoring of acoustic environments using ultrasound

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141003

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160929

R151 Written notification of patent or utility model registration

Ref document number: 6025037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees