JP7107248B2 - 対話システム、対話方法及びプログラム - Google Patents

対話システム、対話方法及びプログラム Download PDF

Info

Publication number
JP7107248B2
JP7107248B2 JP2019032549A JP2019032549A JP7107248B2 JP 7107248 B2 JP7107248 B2 JP 7107248B2 JP 2019032549 A JP2019032549 A JP 2019032549A JP 2019032549 A JP2019032549 A JP 2019032549A JP 7107248 B2 JP7107248 B2 JP 7107248B2
Authority
JP
Japan
Prior art keywords
user
dialogue
model
communication function
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019032549A
Other languages
English (en)
Other versions
JP2020134905A (ja
Inventor
美奈 舩造
智哉 高谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019032549A priority Critical patent/JP7107248B2/ja
Priority to US16/784,853 priority patent/US11210060B2/en
Priority to CN202010111172.1A priority patent/CN111611359B/zh
Publication of JP2020134905A publication Critical patent/JP2020134905A/ja
Application granted granted Critical
Publication of JP7107248B2 publication Critical patent/JP7107248B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Description

本発明は対話システム、対話方法及びプログラムに関し、特に、ユーザと対話を行う対話システム、対話方法及びプログラムに関する。
ユーザと自律的に対話を行う対話システムが知られている。この技術に関連し、特許文献1は、2つのエージェント(ロボット)により、ユーザの発話を対話システムが取得するための条件を満たす範囲に引き込み、ユーザとの対話を長く継続するための対話システムを開示している。
特許文献1にかかる対話システムにおいて、第一のエージェントが第一発話を提示した後で、第二のエージェントが、第一発話に対するユーザの発話を促すための発話を提示する。これにより、ユーザ発話は、第二のエージェントの発話に引きずられて、対話システムが取得するための条件を満たす範囲に引き込まれる。したがって、2つのエージェント(対話モデル)を用いてユーザと対話を行うことによって、ユーザと対話システムとが円滑な対話を行うことができる。
特開2017-207693号公報
ロボットの販促活動等により、ある特定のロボット(対話モデル)に対してユーザが強い愛着を抱くように誘導する必要があることがある。しかしながら、特許文献1は、対話を行うエージェント(ロボット)に対してユーザが愛着を形成することについて、何ら開示していない。したがって、特許文献1にかかる技術を用いても、これらの2つのエージェントのどのエージェントに対して愛着を形成するように制御することは困難である。例えば、第一のエージェントに対してユーザが強い愛着を抱くことが要求されているのに、実際には、ユーザは、第二のエージェントに愛着を抱いてしまうおそれがある。したがって、対話システムにおける特定のロボット(対話モデル)に対してユーザが愛着を形成するように誘導することが望まれる。
本発明は、特定の対話モデルに対してユーザが愛着を形成することが可能な対話システム、対話方法及びプログラムを提供するものである。
本発明にかかる対話システムは、ユーザと少なくとも対話によるコミュニケーションを行う対話システムであって、ユーザと少なくとも対話を行う第1対話モデルと第2対話モデルとを少なくとも有し、前記第1対話モデルは、ユーザとのコミュニケーションを通して、ユーザに対して表出されるコミュニケーション機能が初期状態から向上していくように構成されており、前記第2対話モデルは、前記第1対話モデルの初期状態よりも良好なコミュニケーション機能によりユーザと対話を行って、ユーザに対し、前記第1対話モデルの前記コミュニケーション機能の向上を支援する発話を行うように構成されている。
また、本発明にかかる対話方法は、ユーザと少なくとも対話によるコミュニケーションを行う対話システムを用いて行われる対話方法であって、ユーザとのコミュニケーションを通して、ユーザに対して表出されるコミュニケーション機能が初期状態から向上していく第1対話モデルを実現し、前記第1対話モデルの初期状態よりも良好なコミュニケーション機能によりユーザと対話を行って、ユーザに対し、前記第1対話モデルの前記コミュニケーション機能の向上を支援する発話を行う第2対話モデルを実現する。
また、本発明にかかるプログラムは、ユーザと少なくとも対話によるコミュニケーションを行う対話システムを用いて行われる対話方法を実行するプログラムであって、ユーザとのコミュニケーションを通して、ユーザに対して表出されるコミュニケーション機能が初期状態から向上していく第1対話モデルを実現する機能と、前記第1対話モデルの初期状態よりも良好なコミュニケーション機能によりユーザと対話を行って、ユーザに対し、前記第1対話モデルの前記コミュニケーション機能の向上を支援する発話を行う第2対話モデルを実現する機能とをコンピュータに実現させる。
上記のように構成されていることによって、ユーザは、第2対話モデルの支援を受けることで、第1対話モデルの状態によらないで第1対話モデルを成長させることができる。したがって、ユーザは、より確実に、第1対話モデルがユーザとのコミュニケーションを通じて成長していくような体験をすることができる。これにより、ユーザは、第1対話モデルに対して愛着を形成することが可能となる。
また、好ましくは、前記第2対話モデルは、前記第1対話モデルの状態を取得し、前記状態に応じた支援を行う。
このように構成されていることによって、第2対話モデルは、より適切な支援を行うことが可能となる。したがって、ユーザが第1対話モデルをより確実に成長させることが、可能となる。
また、好ましくは、前記第2対話モデルは、前記第1対話モデルの前記コミュニケーション機能の向上が停滞していると判定された場合に、前記支援を行う。
このように構成されていることによって、第2対話モデルは、適切なタイミングで支援を行うことができる。したがって、ユーザが第1対話モデルをさらに確実に成長させることが、可能となる。
また、好ましくは、前記第2対話モデルは、ユーザに対して、前記第1対話モデルの前記コミュニケーション機能が向上するためにユーザがすべき動作を提示するための発話を行う。
本発明は、このように構成されていることによって、ユーザは、第1対話モデルを成長させるために何をすべきかを、容易に把握することが可能となる。
また、好ましくは、前記第2対話モデルは、文字列を用いて、ユーザに対して前記動作を提示するための発話を行う。
このように構成されていることによって、第2対話モデルは、より確実に、ユーザと対話を行うことができる。したがって、第2対話モデルとユーザとが円滑なコミュニケーションを行うことが可能となる。
また、好ましくは、少なくとも前記第1対話モデルは、ユーザ端末における仮想的なキャラクタとして実現され、前記第1対話モデルの前記向上されたコミュニケーション機能に関する情報を、前記第1対話モデルに対応する実機コミュニケーションロボットに送信する情報送信部をさらに有する。
このように構成されていることによって、ユーザは、自分が育てた仮想的なキャラクタが実体として物理的に具現化された実機コミュニケーションロボットとコミュニケーションを行う、という体験を得ることができる。したがって、ユーザが実機コミュニケーションロボットに対して強い愛着を形成することが、可能となる。
また、好ましくは、前記第2対話モデルの前記コミュニケーション機能の向上度合は、前記第1対話モデルの前記コミュニケーション機能の向上度合よりも小さい。
このように構成されていることによって、ユーザが第2対話モデルに対して愛着を形成することを抑制することができる。したがって、ユーザが第1対話モデルに対して確実に愛着を形成することが、可能となる。
本発明によれば、特定の対話モデルに対してユーザが愛着を形成することが可能な対話システム、対話方法及びプログラムを提供できる。
実施の形態1にかかる対話システムのハードウェア構成を示す図である。 実施の形態1にかかる対話システムによって表示されるキャラクタを例示する図である。 実施の形態1にかかる対話システムが実機コミュニケーションロボット及びユーザ端末に搭載される例を示す図である。 実施の形態1にかかる制御装置の構成を示す機能ブロック図である。 実施の形態1にかかる機能データベースに格納される機能情報を例示する図である。 実施の形態1にかかる学習情報格納部に格納される学習情報を例示する図である。 対話システムによって実行される対話方法を示すフローチャートである。 対話システムによって実行される対話方法を示すフローチャートである。 実施の形態1にかかる支援キャラクタとユーザとの対話を例示する図である。 実施の形態1にかかる情報送信部の処理を説明するための図である。
(実施の形態1)
以下、図面を参照して本発明の実施の形態について説明する。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
図1は、実施の形態1にかかる対話システム1のハードウェア構成を示す図である。対話システム1は、ユーザと音声又は文字列(テキスト)を用いて対話を行う。なお、以下、「発話」は、音声に限られず、文字列によるものも含む。対話システム1は、ユーザからの発話(ユーザ発話)に応じて、ユーザに対して発話(システム発話)を実行することで、ユーザと対話を行う。対話システム1は、例えば、生活支援ロボット及び小型ロボット等のロボット、クラウドシステム、及びスマートフォン又はタブレット端末等のユーザ端末に搭載可能である。以下、実施の形態1では、主に、対話システム1がユーザ端末に搭載された例を示している。
対話システム1は、周囲の音声を収集するマイク2と、音声を発するスピーカ4と、カメラ等の撮像部5と、入力部6と、表示部8と、制御装置10とを有する。マイク2は、主な機能として、ユーザの発話音声を集音する。マイク2は、集音したユーザの発話音声を音声信号に変換し、ユーザからの入力発話(ユーザ発話)として制御装置10へ出力する。スピーカ4は、制御装置10で変換された音声信号を受け取って、出力発話(システム発話)を音声として出力する。
入力部6及び表示部8は、ユーザインタフェースである。入力部6は、例えばタッチパネル又はキーボード等の入力デバイスである。また、表示部8は、例えばディスプレイ等の出力デバイスである。なお、入力部6及び表示部8は、入力デバイスと出力デバイスとが一体となったタッチパネルとして構成されてもよい。つまり、入力部6及び表示部8は、物理的に別個である必要はない。対話が文字列で行われる場合に、入力部6は、ユーザが文字列にてユーザ発話を入力するために使用され得る。また、この場合、表示部8は、対話システム1がシステム発話を表示するために使用され得る。さらに、表示部8は、制御装置10による制御に応じて、対話システム1によって実現されるキャラクタを表示する。詳しくは後述する。
制御装置10は、例えばコンピュータとしての機能を有する。制御装置10は、マイク2、スピーカ4、撮像部5、入力部6及び表示部8と、有線又は無線で接続されている。制御装置10は、音声にて対話が行われる場合に、マイク2によって集音されたユーザ発話を解析して、そのユーザ発話に応じて、ユーザに対するシステム発話を決定して、スピーカ4に出力する。また、制御装置10は、文字列にて対話が行われる場合に、入力部6によって入力された文字列のユーザ発話を解析して、そのユーザ発話に応じて、ユーザに対するシステム発話を決定して実行する。なお、対話は、ユーザ発話及びシステム発話の両方が音声であること、又は、ユーザ発話及びシステム発話の両方が文字列であることに限定されない。ユーザ発話及びシステム発話の一方が音声であり、他方が文字列であってもよい。
制御装置10は、主要なハードウェア構成として、CPU(Central Processing Unit)12と、ROM(Read Only Memory)14と、RAM(Random Access Memory)16と、インタフェース部(IF;Interface)18とを有する。CPU12、ROM14、RAM16及びインタフェース部18は、データバスなどを介して相互に接続されている。
CPU12は、制御処理及び演算処理等を行う演算装置としての機能を有する。ROM14は、CPU12によって実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。RAM16は、処理データ等を一時的に記憶するための機能を有する。インタフェース部18は、有線又は無線を介して外部と信号の入出力を行う。また、インタフェース部18は、ユーザによるデータの入力の操作を受け付け、ユーザに対して情報を表示するための処理を行う。
図2は、実施の形態1にかかる対話システム1によって表示されるキャラクタを例示する図である。表示部8は、育成キャラクタ902及び支援キャラクタ904を表示する。対話システム1は、これらの2つのキャラクタ(対話モデル)である育成キャラクタ902及び支援キャラクタ904によって、ユーザとの対話を実現する。つまり、ユーザは、育成キャラクタ902及び支援キャラクタ904と対話を行う。ここで、育成キャラクタ902は、後述する第1対話モデルに対応し、支援キャラクタ904は、後述する第2対話モデルに対応する。なお、図2の例では、育成キャラクタ902及び支援キャラクタ904は、ユーザ端末上で仮想的に実現される。一方、支援キャラクタ904は、必ずしも表示部8に表示される必要はなく、例えば発話がテキスト形式で表示されるチャット機能として実現されてもよい。さらに、支援キャラクタ904は、音声のみで実現されてもよい。
育成キャラクタ902は、ユーザとのコミュニケーションを通して、ユーザに対して表出されるコミュニケーション機能が初期状態から向上していくように構成されている。つまり、初期段階においては、育成キャラクタ902は、ユーザとほとんどコミュニケーションを行うことができないように設定されている。そして、育成キャラクタ902は、ユーザと対話等のコミュニケーションを行っていくことで、コミュニケーション機能が向上していくので、ユーザにとって、育成キャラクタ902があたかも成長していくように感じられる。
支援キャラクタ904は、育成キャラクタ902の初期状態よりも良好なコミュニケーション機能によりユーザと対話を行って、育成キャラクタ902とユーザとのコミュニケーションを支援するように構成されている。つまり、支援キャラクタ904は、育成キャラクタ902と異なり、当初から円滑なコミュニケーションが可能である。そして、支援キャラクタ904は、ユーザの発話に応じて、ユーザに対して、育成キャラクタ902のコミュニケーション機能が向上するためにユーザがすべき動作を提示するための発話を行う。つまり、支援キャラクタ904は、育成キャラクタ902の初期状態よりも良好なコミュニケーション機能によりユーザと対話を行って、ユーザに対し、育成キャラクタ902のコミュニケーション機能の向上を支援する発話を行う。支援キャラクタ904の存在により、ユーザは、育成キャラクタ902を成長させるために何をすればいいのかを把握することができる。
対話システム1は、育成キャラクタ902及び支援キャラクタ904の発話を音声信号に変換してスピーカ4に出力する。その際に、対話システム1は、育成キャラクタ902及び支援キャラクタ904のどちらが発話しているかを明確にするため、育成キャラクタ902と支援キャラクタ904とで音声のイントネーション及び周波数等の声音を異なるようにしてもよい。あるいは、対話システム1は、育成キャラクタ902及び支援キャラクタ904の発話を、表示部8に吹き出し形式のテキストボックスに文字列で表示させる。その際に、対話システム1は、育成キャラクタ902及び支援キャラクタ904のどちらが発話しているかを明確にするため、発話を行ったキャラクタの近傍にテキストボックスを表示させてもよい。
図3は、実施の形態1にかかる対話システム1が実機コミュニケーションロボット及びユーザ端末に搭載される例を示す図である。この場合、対話システム1は、実機コミュニケーションロボット30と、ユーザ端末40とを有する。実機コミュニケーションロボット30は、図2に示した育成キャラクタ902が物理的に具現化された実体である。また、ユーザ端末40は、図2に示した支援キャラクタ904を実現する。
実機コミュニケーションロボット30は、例えば、生活支援ロボット等の自立移動型ロボットである。ユーザ端末40は、例えば、スマートフォン又はタブレット端末である。実機コミュニケーションロボット30及びユーザ端末40は、共に、図1に示したハードウェア構成を有し得る。さらに、実機コミュニケーションロボット30は、台車部32とロボットアーム34とを有する。台車部32は、実機コミュニケーションロボット30が自律移動を行うための機能を有する。台車部32は、車輪及びモータ等を有し得る。ロボットアーム34は、物を把持してユーザに渡すための機能を有する。ロボットアーム34は、関節及びエンドエフェクタ(ロボットハンド)等を有し得る。また、実機コミュニケーションロボット30及びユーザ端末40は、それぞれのインタフェース部18を用いて、有線又は無線を介して互いに通信を行う。
図4は、実施の形態1にかかる制御装置10の構成を示す機能ブロック図である。制御装置10は、キャラクタデータベース52(キャラクタDB)と、履歴格納部54と、発話データベース56(発話DB)と、発話解析部58と、調停部60と、情報送信部70とを有する。制御装置10は、さらに、第1対話モデル100と、第2対話モデル200とを有する。第1対話モデル100は、連携部102と、第1対話部104と、成長処理部106と、機能データベース108(機能DB)と、学習情報格納部110とを有する。第2対話モデル200は、連携部202と、第2対話部204と、支援処理部206と、支援内容データベース208(支援内容DB)とを有する。
第1対話モデル100及び第2対話モデル200は、ユーザと対話を行う。第1対話モデル100は、図2に示した育成キャラクタ902を実現するように構成されている。第2対話モデル200は、図2に示した支援キャラクタ904を実現するように構成されている。言い換えると、育成キャラクタ902は、第1対話モデル100の機能をユーザに対して表出するための仮想的なキャラクタである。また、支援キャラクタ904は、第2対話モデル200の機能をユーザに対して表出するための仮想的なキャラクタである。したがって、第1対話モデル100は、ユーザとのコミュニケーションを通して、ユーザに対して表出されるコミュニケーション機能が初期状態から向上していくように構成されている。また、第2対話モデル200は、第1対話モデル100の初期状態よりも良好なコミュニケーション機能によりユーザと対話を行って、第1対話モデル100とユーザとのコミュニケーションを支援するように構成されている。
図4に示した各構成要素は、例えば、CPU12がROM14に記憶されたプログラムを実行することによって実現可能である。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、CPU12が必要に応じてインストールするようにしてもよい。なお、各構成要素は、上記のようにソフトウェアによって実現されることに限定されず、何らかの回路素子等のハードウェアによって実現されてもよい。
ここで、対話システム1が図3に例示したように実現される場合、実機コミュニケーションロボット30は、図4に示した構成要素のうち、第2対話モデル200以外の構成要素を有し得る。また、ユーザ端末40は、図4に示した構成要素のうち、第1対話モデル100以外の構成要素を有し得る。さらに、ユーザ端末40は、情報送信部70を有さなくてもよい。つまり、第1対話モデル100は、実機コミュニケーションロボット30の機能を制御し、第2対話モデル200は、ユーザ端末40における支援キャラクタ904に関する機能を制御する。言い換えると、実機コミュニケーションロボット30は、第1対話モデル100の機能をユーザに対して表出するための物理的な装置である。また、ユーザ端末40は、第2対話モデル200の機能をユーザに対して表出するための物理的な装置である。
キャラクタデータベース52は、育成キャラクタ902及び支援キャラクタ904それぞれに関する情報を格納する。例えば、キャラクタデータベース52は、育成キャラクタ902及び支援キャラクタ904それぞれの映像データを格納する。また、キャラクタデータベース52は、育成キャラクタ902及び支援キャラクタ904それぞれの声音の情報(声音情報)を格納してもよい。履歴格納部54は、ユーザと育成キャラクタ902との間でこれまでに実行した対話情報、及びユーザと支援キャラクタ904との間でこれまでに実行した対話情報を含む、参照データを格納する。
発話データベース56は、コーパスとして体系化された個々の用語を、再生可能な発話データを伴って格納する。なお、発話データベース56に格納された情報は、対話システム1に内蔵されていなくてもよく、例えば、外部のサーバ等からネットワーク経由で取得されてもよい。
発話解析部58は、マイク2から取得したユーザ発話を解析してテキスト化し、ユーザの発話内容を認識する。発話解析部58は、具体的には、一般的な音声認識技術を用いてユーザの発話内容を認識する。例えば、発話解析部58は、テキスト化された入力発話に構文解析又は単語分析等を施して、DNN(deep neural network)モデルやロジスティック回帰モデルを用いて発話内容を認識する。
調停部60は、ユーザ発話から、ユーザが育成キャラクタ902に話しかけているのか支援キャラクタ904に話しかけているのかを判定する。調停部60は、ユーザが育成キャラクタ902に話しかけていると判定されたときに、発話権限を第1対話部104に引き渡すための処理を行う。一方、調停部60は、ユーザが支援キャラクタ904に話しかけていると判定されたときに、発話権限を第2対話部204に引き渡すための処理を行う。調停部60は、例えば、発話解析部58の解析結果を用いて、ユーザ発話が、ユーザが何をすればよいのかを尋ねていることを示している場合に、ユーザが支援キャラクタ904に話しかけていると判定する。また、調停部60は、育成キャラクタ902の学習機能による学習が進んでおらず発話できる単語数が少ない場合に、ユーザが育成キャラクタ902に話しかけたときは、発話権限を第2対話部204に引き渡すための処理を行ってもよい。
情報送信部70は、インタフェース部18を制御して、第1対話モデル100(育成キャラクタ902)に関する情報(第1情報)を外部の装置に送信するための処理を行う。情報送信部70の処理については後述する。
第1対話モデル100の連携部102と第2対話モデル200の連携部202とは、互いに通信可能に接続されており、互いに情報をやり取りする。これにより、第2対話モデル200は、第1対話モデル100と連携する。連携部102は、第1情報を連携部202に伝送する。つまり、連携部202は、連携部102から第1情報を取得する、情報取得部として機能する。これにより、第2対話モデル200は、第1対話モデル100(育成キャラクタ902)の状態を把握することができる。特に、連携部202は、第1対話モデル100の機能データベース108及び学習情報格納部110に格納された情報を取得する。なお、連携部202が、第2対話モデル200(支援キャラクタ904)に関する情報(第2情報)を連携部102に伝送し、連携部102が、連携部202から第2情報を取得してもよい。ここで、対話システム1が図3に例示したように実現される場合、連携部102は、第1対話モデル100を有する実機コミュニケーションロボット30のインタフェース部18を用いて、有線又は無線により、ユーザ端末40に、第1情報を送信してもよい。
第1対話部104は、育成キャラクタ902による発話機能を担う。具体的には、第1対話部104は、キャラクタデータベース52を参照して、表示部8に育成キャラクタ902を表示させる。また、第1対話部104は、発話データベース56を参照してユーザ発話に相応しい応答発話文を生成する。そして、第1対話部104は、当該応答発話文を音声としてスピーカ4から発するか、又は、文字として表示部8に表示する。このとき、第1対話部104は、後述する機能データベース108及び学習情報格納部110を参照して、実行可能なコミュニケーション機能を、実行可能なレベルで実現する。したがって、コミュニケーション機能が向上していない初期状態では、第1対話部104は、ユーザが発話内容を十分に理解できない程度に低いレベルの発話を行い得る。また、第1対話部104は、撮像部5を制御して、対話を行っているユーザの顔画像を取得する。
成長処理部106は、後述する機能データベース108を参照して、ユーザに対して表出されるコミュニケーション機能を向上させるための処理を行う。具体的には、成長処理部106は、例えばミニゲームプログラムを実行してユーザとコミュニケーションを行う。そして、成長処理部106は、ユーザがミニゲームをクリアすると、そのミニゲームに対応する、第1対話モデル100に予め備わっている機能を解放し、当該機能を実行可能とする。これにより、第1対話部104は、当該機能を実行できる。このように、第1対話モデル100に予め備わっているが、初期状態では実行できず、その機能が解放されることで初めて実行可能となる機能を、「解放機能」と称する。なお、ミニゲームについては後述する。
また、成長処理部106は、ユーザとの対話等のコミュニケーションを通して、ユーザに関する情報及び単語等を学習する。これにより、第1対話部104は、学習によって得られ蓄積された情報を用いて、ユーザに対してコミュニケーションを行う。このように、データが蓄積されることで性能が向上していく機能を、「学習機能」と称する。なお、学習機能は、ユーザと第1対話モデル100(育成キャラクタ902)とがコミュニケーションを行うごとに徐々に向上していくので、成長処理部106によって実行されてもよい。一方、解放機能は、一旦解放されると機能が徐々に向上する必要はないので、解放された後、第1対話部104によって実現されてもよい。
機能データベース108は、第1対話モデル100によって現在又は将来において実行され得る機能に関する情報(機能情報)を格納する。学習情報格納部110は、学習機能によって蓄積されたデータに関する学習情報を格納する。これらの情報について、以下に説明する。
図5は、実施の形態1にかかる機能データベース108に格納される機能情報を例示する図である。機能データベース108は、上述した解放機能及び学習機能と、これらの機能の現在の実行レベルとを格納する。解放機能は、例えば、ロボット動作機能、天気予報機能、乗換案内機能、及び感情表現機能がある。また、学習機能は、例えば、ユーザ学習機能、単語習得機能、及び空間把握機能がある。なお、第1対話モデル100つまり育成キャラクタ902が、図2に例示するように、ユーザ端末によって仮想的に実現される場合は、空間把握機能はなくてもよい。なお、これらの機能は、ユーザに対して表出される機能であるので、コミュニケーション機能であると言える。
ロボット動作機能は、第1対話モデル100に対応するロボット(育成キャラクタ902又は実機コミュニケーションロボット30)が動作するための機能である。第1対話モデル100が仮想的な育成キャラクタ902に対応する場合、ロボット動作機能は、表示部8に表示されたアニメーションで、育成キャラクタ902を動作させるようにしてもよい。また、第1対話モデル100が実機コミュニケーションロボット30に対応する場合、ロボット動作機能は、台車部32を制御して実機コミュニケーションロボット30を自律移動させてもよいし、ロボットアーム34を動作させてもよい。
天気予報機能は、ユーザ発話(例えば「明日の天気を教えて」)に応じて又は自律的に、天気予報をユーザに提供する機能である。天気予報機能は、例えばインターネットから、天気予報を取得してもよい。天気予報機能は、スピーカ4を制御して音声によって天気予報を出力してもよいし、表示部8を制御して視覚的に天気予報を表示させてもよい。
乗換案内機能は、ユーザ発話(例えば「競技場までの行き方を教えて」)に応じて又は自律的に、目的地までの交通案内を行う機能である。乗換案内機能は、例えばインターネットから、乗換案内を取得してもよい。乗換案内機能は、スピーカ4を制御して音声によって乗換案内を出力してもよいし、表示部8を制御して視覚的に乗換案内を表示させてもよい。
感情表現機能は、音声又は映像によって、第1対話モデル100に対応する育成キャラクタ902の感情を表現する機能である。例えば、感情表現機能は、スピーカ4を制御して音声にて喜びを表現してもよいし、表示部8を制御して笑顔を表示させてもよい。
ユーザ学習機能は、ユーザとのコミュニケーションを通じて、ユーザの属性(顔画像及び名前等)を学習し、学習した内容を踏まえてユーザとコミュニケーションを行う機能である。ユーザ学習機能は、ユーザについて学習した内容を示す情報を、後述する学習情報格納部110に格納する。ユーザ学習機能は、例えば、あるユーザの名前と顔画像とを対応付けて学習した場合に、撮像部5を制御してそのユーザを顔認識し、ユーザの名前を音声で出力してもよい。また、例えば、ユーザ学習機能は、後述する接触回数に応じて、対話における親密さを変更してもよい。例えば、ユーザ学習機能は、接触回数がN(Nは予め定められた2以上の整数;例えば5回)回未満のユーザに対しては敬語で対話し、接触回数がN回以上のユーザに対しては敬語なしで対話するように、第1対話部104を制御してもよい。
また、例えば、ユーザ学習機能は、顔認識等によってユーザを識別できるようになったとき、そのユーザとよく対話する時間帯を学習して、その時間帯にそのユーザに話しかけるように、第1対話部104を制御してもよい。この場合、ユーザ学習機能は、そのユーザが普段の会話タイミングと異なる行動(その時間帯にユーザが話しかけないなど)を取った際に、ユーザに対し、「何かあった?」などと発話するように、第1対話部104を制御してもよい。
単語習得機能は、ユーザ発話を蓄積して、発話に利用する機能である。単語習得機能は、ユーザの音声認識結果を保存しておき、その中から名詞等の単語を、後述する学習情報格納部110に格納する。単語習得機能は、ユーザに対し任意のタイミングで単語の意味(人名、地名、食べ物、あいさつ等)を尋ね、単語と意味とを対応付ける。そして、単語習得機能は、格納された単語を、その後の会話に取り入れるように、第1対話部104を制御する。例えば、ユーザが「豊田」と発話したとき、第1対話モデル100(育成キャラクタ902)が「豊田って何?」と発話し、ユーザが「地名」と答えたら、第1対話モデル100は、後日の対話で「この前豊田に行ったよ」などと発話する。
空間把握機能は、部屋の形状を認識し、部屋ごとにマップを生成する機能である。空間把握機能は、第1対話モデル100(実機コミュニケーションロボット30)の撮像部5及び台車部32を制御して、部屋の内部を自律的に移動し、撮像部5(カメラ又は三次元センサ等)を用いて部屋の形状を取得しながら探索を行い、部屋のマップを生成して、後述する学習情報格納部110に格納する。このとき、空間把握機能は、マップのデータが格納されていない部屋を発見した時に、マップの生成処理を行ってもよい。また、空間把握機能は、マップのデータが格納されている部屋については、マップに従って行動し、格納されていたマップとの差分箇所の更新を行ってもよい。
また、実行レベルは、対応する機能がどの程度実行できるかを示す。解放機能の実行レベルは、「実行可」及び「実行不可」のいずれかであり得る。また、学習機能の実行レベルは、例えば後述する学習情報の蓄積量に応じて定められ得る。つまり、学習機能の実行レベルは、対応する機能に関する学習情報の蓄積量が少ないほど低くなり、蓄積量が多い程高くなり得る。
図5に示す例では、ロボット動作機能は実行可能である(つまり機能が解放されている)が、天気予報機能、乗換案内機能、及び感情表現機能は実行不可である(つまり機能が解放されていない)。また、ユーザ学習機能の実行レベルは「低」であり、単語習得機能及び空間把握機能の実行レベルは「中」である。
図6は、実施の形態1にかかる学習情報格納部110に格納される学習情報を例示する図である。学習情報は、ユーザ情報と、単語情報と、空間情報とを含み得る。ユーザ情報は、ユーザ学習機能によって蓄積される学習情報である。単語情報は、単語習得機能によって蓄積される学習情報である。単語情報は、単語辞書であり得る。空間情報は、空間把握機能によって蓄積される学習情報である。
ユーザ情報は、例えば、ユーザの顔画像と、そのユーザの名前と、そのユーザと第1対話モデル100(育成キャラクタ902)とが接触(対話)した回数である接触回数と、そのユーザと対話したタイミングである対話タイミングとを含む。なお、対話タイミングは、そのユーザと対話した回数が最も多い時間帯であってもよい。また、顔画像については、対応するユーザと対話するごとにそのユーザの顔画像が取得される。このように、対話するごとにそのユーザの顔画像が蓄積されていくので、そのユーザの認識精度が向上していく。
図6に示す例では、顔画像Xについて、ユーザの名前「Xさん」と、接触回数「6回」と、対話タイミング「平日夜7時」とが対応付けられている。また、顔画像Yについて、ユーザの名前「Yさん」と、接触回数「2回」とが対応付けられている。なお、顔画像Yに(Yさん)に関する対話タイミングについては、接触回数が少ないので、格納されていない。また、顔画像Zについては、対応するユーザの名前を第1対話モデル100が取得できなかったので、接触回数「1回」のみが対応付けられている。図6に示す例の場合、第1対話モデル100は、敬語なしでユーザ「Xさん」と対話を行ってもよく、平日夜7時にユーザ「Xさん」に対して対話を行ってもよい。
単語情報は、単語(名詞等)とその意味とを含む。図6に示す例では、単語「リンゴ」と意味「食べ物」とが対応付けられており、単語「豊田」と意味「地名」とが対応付けられており、単語「おはよう」と意味「朝の挨拶」とが対応付けられている。図6に示す例の場合、第1対話モデル100は、任意のユーザに対して「リンゴは好き?」と発話してもよい。また、第1対話モデル100は、朝の時間帯に、任意のユーザに対して「おはよう」と発話してもよい。
空間情報は、部屋の識別情報と、その部屋のマップを表すマップ情報とを含む。ここで、マップ情報とは、各部屋に存在する各物体の各位置(点群)の三次元座標データ(又は二次元座標データ)を示す情報である。マップ情報では、ある三次元座標(X,Y,Z)で示される点に何らかの物体が存在するか否かといったことが示され得る。
第2対話モデル200(図4)について、第2対話部204は、支援キャラクタ904による発話機能を担う。具体的には、第2対話部204は、キャラクタデータベース52を参照して、表示部8に支援キャラクタ904を表示させる。また、第2対話部204は、発話データベース56を参照してユーザ発話に相応しい応答発話文を生成する。そして、第2対話部204は、当該応答発話文を音声としてスピーカ4から発するか、又は、文字として表示部8に表示する。ここで、第2対話部204は、第1対話モデル100(第1対話部104)の初期状態よりも良好なコミュニケーション機能を有している。したがって、第2対話モデル200は、初期状態から、ユーザが発話内容を十分に理解できる程度に高いレベルの発話を行い得る。
支援処理部206は、支援内容データベース208を参照して、上述した第1対話モデル100のコミュニケーション機能の向上を支援する発話を行う。このとき、支援処理部206は、連携部202によって取得された第1対話モデル100の状態(機能情報及び学習情報等)を取得し、状態に応じた支援を行う。詳しくは後述する。
支援内容データベース208は、図5を用いて例示した第1対話モデル100のコミュニケーション機能ごとに、機能の向上を支援するための発話内容と、その発話を発するタイミングの判定基準とを格納する。支援処理部206は、この支援内容データベース208を参照することで、支援すべきタイミングで、ユーザに対して、第1対話モデル100のコミュニケーション機能の向上を支援する発話を行う。詳しくは後述する。
次に、図7及び図8を用いて対話システム1の動作を説明する。図7及び図8は、対話システム1によって実行される対話方法を示すフローチャートである。図7は、第1対話モデル100(育成キャラクタ902)の解放機能を向上させる(つまり解放機能を実行可能とする)ための方法を示す。
まず、支援処理部206は、連携部202によって取得された第1情報を参照して、第1対話モデル100が、ある解放機能Aを解放するための機能解放ゲーム(ミニゲーム)を実行可能な状態であるか否かを判定する(ステップS100)。第1対話モデル100が機能解放ゲームを実行可能な状態である場合(S100のYES)、支援処理部206は、機能解放ゲームをユーザに提案するための発話を出力するための処理を行う(ステップS102)。その後、成長処理部106は、解放機能Aに関する機能解放ゲームを実行する(ステップS104)。その際、支援処理部206又は成長処理部106は、機能解放ゲームの説明を示す発話を出力する。なお、成長処理部106が機能解放ゲームを実行している間、連携部202は、第1対話モデル100の第1情報を取得し続け、支援処理部206は、第1情報に基づいて、第1対話モデル100において機能解放ゲームの進行状況を監視する。
支援処理部206は、機能解放ゲームの進行が停滞しているか否かを判定する(ステップS106)。例えば、支援処理部206は、第1対話モデル100から取得された、ゲームの進行を示す第1情報であるゲーム進行情報を用いて、ゲームの開始からの経過時間を算出する。そして、経過時間が予め定められた一定時間を経過した場合に、支援処理部206は、機能解放ゲームの進行が停滞していると判定してもよい。あるいは、第1対話モデル100又は第2対話モデル200が、ゲームの進行方法が分からない旨のユーザ発話(「どうやってゲームをしたらいいの?」等)を受け付けた場合に、支援処理部206は、機能解放ゲームの進行が停滞していると判定してもよい。
機能解放ゲームの進行が停滞していると判定された場合(S106のYES)、支援処理部206は、機能解放ゲームを進行するためのヒントを、発話によって提示する(ステップS108)。このように、支援処理部206は、コミュニケーション機能の向上が停滞していると判定された場合に、支援を行う。
一方、機能解放ゲームの進行が停滞していないと判定された場合(S106のNO)、支援処理部206は、第1対話モデル100から取得されたゲーム進行情報を用いて、ゲームがクリアされたか否かを判定する(ステップS110)。ゲームがクリアされていない場合(S110のNO)、処理はS106に戻る。一方、ゲームがクリアされた場合(S110のYES)、支援処理部206は、解放機能Aの利用方法をユーザに提示するための発話を出力する(ステップS112)。また、成長処理部106は、解放機能Aを解放し、実行可能とする(ステップS114)。
例えば、ロボット動作機能が実行可能とされる場合、支援処理部206は、例えば、育成キャラクタ902のパーツが分解されている状態が表示されている場合に、ロボット動作機能を解放するためのゲームを実行可能と判定してもよい(S100)。また、ロボット動作機能の機能解放ゲームは、例えば、表示部8に表示された仮想空間上で、ユーザが育成キャラクタ902のパーツを探索するようなゲームであってもよい(S102,S104)。そして、ゲームの進行が停滞していると判定された場合に、支援処理部206は、探索されていないパーツの仮想空間上のありかを示唆する発話(「ロボットのアームはXXにありそうだよ」等)を出力してもよい(S108)。そして、ユーザが育成キャラクタ902の全てのパーツを探索したときに、ゲームがクリアされたと判定してもよい(S110)。
なお、図3に例示するように育成キャラクタ902が実機コミュニケーションロボット30で実現される場合、仮想空間上におけるゲームを行うことによってロボット動作機能を解放することに限られない。実際に実機コミュニケーションロボット30が分解された状態から、ユーザが実機コミュニケーションロボット30を手作業で組み立てることで、ロボット動作機能を解放するようにしてもよい。
また、天気予報機能が実行可能とされる場合、支援処理部206は、例えば、ロボット動作機能が実行可能となっている場合に、天気予報機能を解放するためのゲームを実行可能と判定してもよい(S100)。あるいは、支援処理部206は、例えば、単語情報の蓄積量が予め定められた閾値以上となっている場合に、天気予報機能を解放するためのゲームを実行可能と判定してもよい(S100)。また、天気予報機能の機能解放ゲームは、例えば、表示部8に表示された仮想空間上で、ユーザが、天気を示すアイコン(例えば「晴れ」であれば太陽の絵)と天気を示す文字列とを繋ぐような配線ゲームであってもよい(S102,S104)。そして、ユーザが、天気を示すアイコンと天気を示す文字列とを全て正しく繋いだときに、ゲームがクリアされたと判定してもよい(S110)。
また、乗換案内機能が実行可能とされる場合、支援処理部206は、例えば、ロボット動作機能が実行可能となっている場合に、乗換案内機能を解放するためのゲームを実行可能と判定してもよい(S100)。あるいは、支援処理部206は、例えば、単語情報の蓄積量が予め定められた閾値以上となっている場合に、乗換案内機能を解放するためのゲームを実行可能と判定してもよい(S100)。また、乗換案内機能の機能解放ゲームは、例えば、表示部8に表示された仮想空間上で、ユーザが、乗り物を示す2つの同じアイコン(例えば「バス」の絵)を繋ぐような配線ゲームであってもよい(S102,S104)。そして、ユーザが、全ての乗り物の2つのアイコンを正しく繋いだときに、ゲームがクリアされたと判定してもよい(S110)。
また、感情表現機能が実行可能とされる場合、支援処理部206は、例えば、ロボット動作機能が実行可能となっている場合に、感情表現機能を解放するためのゲームを実行可能と判定してもよい(S100)。あるいは、支援処理部206は、例えば、単語情報の蓄積量が予め定められた閾値以上となっている場合に、感情表現機能を解放するためのゲームを実行可能と判定してもよい(S100)。また、感情表現機能の機能解放ゲームは、例えば、表示部8に表示された仮想空間上で、ユーザが、感情を示すアイコン(例えば「喜び」であれば笑顔の絵)と感情を示す文字列とを繋ぐような配線ゲームであってもよい(S102,S104)。そして、ユーザが、感情を示すアイコンと感情を示す文字列とを全て繋いだときに、ゲームがクリアされたと判定してもよい(S110)。
図8は、第1対話モデル100(育成キャラクタ902)の学習機能を向上させるための方法を示す。まず、支援処理部206は、学習機能の存在をユーザに説明するための発話を行う(ステップS122)。そして、成長処理部106は、上述した学習機能を実行する(ステップS124)。なお、成長処理部106が学習機能を実行している間、連携部202は、第1対話モデル100の第1情報を取得し続け、支援処理部206は、第1情報に基づいて、第1対話モデル100において学習の進行状況を監視する。
支援処理部206は、学習の進行が停滞しているか否かを判定する(ステップS106)。例えば、学習の開始から予め定められた時間が経過したときに学習情報の蓄積量が予め定められた閾値を超えていない場合に、支援処理部206は、学習の進行が停滞していると判定してもよい。あるいは、第1対話モデル100における顔認識が適切になされていない場合に、支援処理部206は、学習の進行が停滞していると判定してもよい。あるいは、第1対話モデル100又は第2対話モデル200が、学習が進行していない旨のユーザ発話(「ロボットの学習が進んでいないみたいだよ」等)を受け付けた場合に、支援処理部206は、学習の進行が停滞していると判定してもよい。
学習の進行が停滞していると判定された場合(S126のYES)、支援処理部206は、学習がスムーズに進行するためのコツを、発話によって提示する(ステップS128)。このように、支援処理部206は、コミュニケーション機能の向上が停滞していると判定された場合に、支援を行う。一方、学習の進行が停滞していないと判定された場合(S126のNO)、ユーザが煩わしく感じることを抑制するため、支援処理部206は、学習がスムーズに進行するためのコツを提示しない。そして、S124~S128の処理が繰り返される。
例えば、ユーザ学習機能が実行される場合、支援処理部206は、例えば、ユーザが撮像部5の前にいるのに顔認識がなされないと判定したときに、学習の進行が停滞していると判定してもよい(S126のYES)。この場合、支援処理部206は、顔認識のコツを説明する発話(「帽子を取ってね」等)を出力してもよい(S128)。また、支援処理部206は、ユーザ情報に登録されているユーザ数が予め定められた閾値よりも少ない場合に、学習の進行が停滞していると判定してもよい(S126のYES)。この場合、支援処理部206は、ユーザ情報に登録されていないユーザに対し、第1対話モデル100(育成キャラクタ902)に積極的に話しかけるように促すための発話を行ってもよい(S128)。また、支援処理部206は、ユーザ情報に登録されているが接触回数が予め定められた閾値よりも少ないユーザが存在する場合に、学習の進行が停滞していると判定してもよい(S126のYES)。この場合、支援処理部206は、そのユーザ(例えばYさん)に対し、第1対話モデル100(育成キャラクタ902)に積極的に話しかけるように促すための発話を行ってもよい(S128)。
また、単語習得機能が実行される場合、支援処理部206は、例えば、単語情報に登録されている単語数が予め定められた閾値よりも少ない場合に、学習の進行が停滞していると判定してもよい(S126のYES)。この場合、支援処理部206は、任意のユーザに対し、第1対話モデル100(育成キャラクタ902)に積極的に話しかけて言葉を教えるように促すための発話を行ってもよい(S128)。
また、空間把握機能が実行される場合、支援処理部206は、例えば、空間情報に蓄積されたデータ量が予め定められた閾値よりも小さい場合に、学習の進行が停滞していると判定してもよい(S126のYES)。この場合、支援処理部206は、任意のユーザに対し、第1対話モデル100(実機コミュニケーションロボット30)の移動を妨げないようにする旨の発話を行ってもよい(S128)。
以上説明したように、実施の形態1にかかる対話システム1において、第1対話モデル100は、ユーザとのコミュニケーションを通して、ユーザに対して表出されるコミュニケーション機能が初期状態から向上していくように構成されている。また、第2対話モデル200は、第1対話モデル100の初期状態よりも良好なコミュニケーション機能によりユーザと対話を行って、ユーザに対し、第1対話モデル100のコミュニケーション機能の向上を支援する発話を行うように構成されている。
第1対話モデル100が上記のように構成されていることで、ユーザは、ある程度苦労して第1対話モデル100を成長させることを体験し得る。この体験により、ユーザは、第1対話モデル100(育成キャラクタ902)を手塩にかけて成長させたと感じ得る。これにより、ユーザは、第1対話モデル100(育成キャラクタ902)に対して愛着を形成し得る。
また、第2対話モデル200が上記のように構成されていることで、コミュニケーション機能が貧弱な状態であっても、ユーザが第1対話モデル100(育成キャラクタ902)を成長させるに際して、ユーザが、何をすればよいか分からない、又は飽きてしまうといったことを抑制することができる。したがって、ユーザがスムーズに第1対話モデル100を成長させる体験を積むことができるので、ユーザは、第1対話モデル100(育成キャラクタ902)に対して、スムーズに愛着を形成することができる。
つまり、ユーザは、第2対話モデル200の支援を受けることで、第1対話モデル100の状態によらないで第1対話モデル100を成長させることができる。したがって、ユーザは、確実に、第1対話モデル100がユーザとの対話を通じて成長していくような体験をすることができる。これにより、ユーザは、第1対話モデル100に対して愛着を形成することが可能となる。
また、上述したように、実施の形態1にかかる第2対話モデル200は、第1対話モデル100の状態を取得し、状態に応じた支援を行うように構成されている。これにより、第2対話モデル200は、より適切な支援を行うことが可能となる。したがって、ユーザが第1対話モデル100をより確実に成長させることが、可能となる。また、上述したように、実施の形態1にかかる第2対話モデル200は、第1対話モデル100のコミュニケーション機能の向上が停滞していると判定された場合に、支援を行うように構成されている。これにより、第2対話モデル200は、適切なタイミングで支援を行うことができる。したがって、ユーザが第1対話モデル100をさらに確実に成長させることが、可能となる。
また、上述したように、実施の形態1にかかる第2対話モデル200は、ユーザに対して、第1対話モデル100のコミュニケーション機能が向上するためにユーザがすべき動作を提示するための発話を行うように構成されている。これにより、ユーザは、第1対話モデル100を成長させるために何をすべきかを、容易に把握することが可能となる。
また、実施の形態1にかかる第2対話モデル200は、第1対話モデル100と異なり、コミュニケーション機能が向上する必要はない。つまり、実施の形態1にかかる第2対話モデル200のコミュニケーション機能の向上度合は、第1対話モデル100のコミュニケーション機能の向上度合よりも小さい。仮に、第2対話モデル200が成長するような構成とすると、ユーザは、第2対話モデル200に対して愛着を形成してしまう可能性がある。したがって、上記のように、第2対話モデル200のコミュニケーション機能の向上度合を第1対話モデル100よりも小さくする(あるいは全く向上させない)ことで、ユーザが第2対話モデル200に対して愛着を形成することを抑制することができる。したがって、ユーザが第1対話モデル100に対して確実に愛着を形成することが、可能となる。
図9は、実施の形態1にかかる支援キャラクタ904とユーザとの対話を例示する図である。図9の例では、表示部8に、パーツが分解された育成キャラクタ902xが表示されている。そして、表示部8は、ユーザアイコン910の近傍の吹き出し910aに、ユーザ発話「何をすればよいですか?」を表示している。その応答として、表示部8は、支援キャラクタ904の近傍の吹き出し904aに、システム発話「パーツ集めゲームをしてロボットを組み立ててあげて」を表示している。この場合、ユーザは、入力部6を操作して、ユーザ発話を入力してもよい。
このように、実施の形態1にかかる第2対話モデル200は、文字列を用いて、ユーザに対してユーザがすべき動作を提示するための発話を行うように構成されている。これにより、第2対話モデル200は、より確実に、ユーザと対話を行うことができる。したがって、第2対話モデル200とユーザとが円滑なコミュニケーションを行うことが可能となる。
図10は、実施の形態1にかかる情報送信部70の処理を説明するための図である。ここでは、対話システム1が、図2に示すように実現されるとする。上述したように、第2対話モデル200の支援によって、第1対話モデル100のコミュニケーション機能は向上し得る。この場合、第1対話モデル100の機能データベース108及び学習情報格納部110には、向上したコミュニケーション機能に関する第1情報が蓄積されている。情報送信部70は、この第1情報を、有線、無線又はネットワーク経由で、実機コミュニケーションロボット30に送信する。これにより、実機コミュニケーションロボット30は、成長した育成キャラクタ902と同じコミュニケーション機能を有することとなる。
したがって、例えば、育成キャラクタ902について乗換案内機能が解放されていた場合は、実機コミュニケーションロボット30は、乗換案内を行うことができる。一方、育成キャラクタ902について天気予報機能が解放されていなかった場合は、実機コミュニケーションロボット30は、天気予報を行わない。また、育成キャラクタ902についてXさんのユーザ情報が顔画像と名前とを対応付けて格納され、単語「こんにちは」が格納されていた場合、実機コミュニケーションロボット30は、Xさんを認識して「Xさんこんにちは」などと発話することができる。このように、実機コミュニケーションロボット30は、第1対話モデル100の向上されたコミュニケーション機能によって、ユーザとコミュニケーションを行う。
ここで、図10に例示するケースが適用されるユーザ体験の一例を説明する。ユーザは自宅で対話システム1が搭載されたユーザ端末を操作し、実機コミュニケーションロボット30はスポーツ競技場等のイベント会場に配置されている。ユーザは、対話システム1が搭載されたユーザ端末を用いて、育成キャラクタ902のコミュニケーション機能を向上させて、育成キャラクタ902を成長させる。その後、ユーザ端末の情報送信部70は、実機コミュニケーションロボット30に第1情報を送信する。この状態で、ユーザ(Xさん)がイベント会場で実機コミュニケーションロボット30に接触したときに、実機コミュニケーションロボット30は、「Xさんこんにちは」と発話する。そして、イベント会場でユーザの行動をサポートする。そして、例えば、イベント会場でスポーツが行われ、ユーザが応援しているチームが勝っているときに、実機コミュニケーションロボット30は、感情表現機能を用いて、喜びの感情表現を表出する。これは、実機コミュニケーションロボット30が、ユーザの表情等からユーザの感情を認識することによって、実行できる。また、第1対話モデル100がユーザの自宅の地名を学習していた場合は、実機コミュニケーションロボット30は、試合が終わったときに、自律的に、乗換案内機能を用いて、帰りの乗換案内を発話する。
このように、情報送信部70は、向上したコミュニケーション機能に関する第1情報を、実機コミュニケーションロボット30に送信するように構成されている。これにより、ユーザは、自分が育てた仮想的なキャラクタが実体として物理的に具現化された実機コミュニケーションロボット30とコミュニケーションを行う、という体験を得ることができる。したがって、ユーザが実機コミュニケーションロボット30に対して強い愛着を形成することが、可能となる。
(変形例)
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおいて、複数の処理の順序は、適宜、変更可能である。また、上述したフローチャートにおいて、複数の処理のうちの1つは、省略されてもよい。
また、上述した実施の形態において、図2において、第1対話モデル100(育成キャラクタ902)及び第2対話モデル200(支援キャラクタ904)の両方がユーザ端末で実現される場合の例を示した。また、図3において、第1対話モデル100(育成キャラクタ902)が実機コミュニケーションロボットで実現され、第2対話モデル200(支援キャラクタ904)がユーザ端末で実現される場合の例を示した。しかしながら、第1対話モデル100及び第2対話モデル200の実現方法は、上記の例に限られない。例えば、第1対話モデル100(育成キャラクタ902)及び第2対話モデル200(支援キャラクタ904)の両方が実機コミュニケーションロボットで実現されてもよい。また、第1対話モデル100(育成キャラクタ902)がユーザ端末で実現され、第2対話モデル200(支援キャラクタ904)が実機コミュニケーションロボットで実現されてもよい。
また、上述した実施の形態においては、対話システム1は、第1対話モデル100及び第2対話モデル200をそれぞれ1つずつ有するとしたが、このような構成に限られない。第1対話モデル100が2つ以上あってもよい。同様に、第2対話モデル200が2つ以上あってもよい。
また、支援キャラクタ904は、常に対話システム1においてユーザに表出されている必要はない。例えば、育成キャラクタ902(第1対話モデル)が十分に成長した(機能が向上した)場合に、対話システム1は、支援キャラクタ904を表出させないようにしてもよい。例えば、機能情報(図5)に登録されている全ての解放機能の実行レベルが「実行可」となり、全ての学習機能の実行レベルが「高」となったときに、対話システム1(例えば支援処理部206)は、これ以上の支援は必要ないと判定してもよい。
また、上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
1・・・対話システム、2・・・マイク、4・・・スピーカ、5・・・撮像部、6・・・入力部、8・・・表示部、10・・・制御装置、30・・・実機コミュニケーションロボット、40・・・ユーザ端末、52・・・キャラクタデータベース、54・・・履歴格納部、56・・・発話データベース、58・・・発話解析部、60・・・調停部、70・・・情報送信部、100・・・第1対話モデル、102・・・連携部、104・・・第1対話部、106・・・成長処理部、108・・・機能データベース、110・・・学習情報格納部、200・・・第2対話モデル、202・・・連携部、204・・・第2対話部、206・・・支援処理部、208・・・支援内容データベース、902・・・育成キャラクタ、904・・・支援キャラクタ

Claims (12)

  1. ユーザと少なくとも対話によるコミュニケーションを行う対話システムであって、
    ユーザと少なくとも対話を行う第1対話モデルと第2対話モデルとを少なくとも有し、
    前記第1対話モデルは、ユーザとのコミュニケーションを通して、前記第1対話モデルに予め備わっている機能を解放し実行可能とすること、又は、ユーザに関する情報及び単語を学習し学習によって得られた情報が蓄積されることで、性能が向上したコミュニケーションをユーザと行うことによって、ユーザに対して表出されるコミュニケーション機能が初期状態から向上していくように構成されており、
    前記第2対話モデルは、前記第1対話モデルの初期状態よりも良好なコミュニケーション機能によりユーザと対話を行って、ユーザに対し、前記第1対話モデルの前記コミュニケーション機能の向上を支援する発話を行い、前記第1対話モデルの状態を取得し、前記状態に応じた支援を行うように構成されている
    対話システム。
  2. 前記第2対話モデルは、前記第1対話モデルの前記コミュニケーション機能の向上が停滞していると判定された場合に、前記支援を行う
    請求項に記載の対話システム。
  3. 前記第2対話モデルは、ユーザに対して、前記第1対話モデルの前記コミュニケーション機能が向上するためにユーザがすべき動作を提示するための発話を行う
    請求項1又は2に記載の対話システム。
  4. 前記第2対話モデルは、文字列を用いて、ユーザに対して前記動作を提示するための発話を行う
    請求項に記載の対話システム。
  5. ユーザと少なくとも対話によるコミュニケーションを行う対話システムであって、
    ユーザと少なくとも対話を行う第1対話モデルと第2対話モデルとを少なくとも有し、
    前記第1対話モデルは、ユーザとのコミュニケーションを通して、前記第1対話モデルに予め備わっている機能を解放し実行可能とすること、又は、ユーザに関する情報及び単語を学習し学習によって得られた情報が蓄積されることで、性能が向上したコミュニケーションをユーザと行うことによって、ユーザに対して表出されるコミュニケーション機能が初期状態から向上していくように構成されており、
    前記第2対話モデルは、前記第1対話モデルの初期状態よりも良好なコミュニケーション機能によりユーザと対話を行って、ユーザに対し、前記第1対話モデルの前記コミュニケーション機能の向上を支援する発話を行い、
    少なくとも前記第1対話モデルは、ユーザ端末における仮想的なキャラクタとして実現され、
    前記第1対話モデルの前記向上されたコミュニケーション機能に関する情報を、前記第1対話モデルに対応する実機コミュニケーションロボットに送信する情報送信部をさらに有する
    話システム。
  6. ユーザと少なくとも対話によるコミュニケーションを行う対話システムであって、
    ユーザと少なくとも対話を行う第1対話モデルと第2対話モデルとを少なくとも有し、
    前記第1対話モデルは、ユーザとのコミュニケーションを通して、前記第1対話モデルに予め備わっている機能を解放し実行可能とすること、又は、ユーザに関する情報及び単語を学習し学習によって得られた情報が蓄積されることで、性能が向上したコミュニケーションをユーザと行うことによって、ユーザに対して表出されるコミュニケーション機能が初期状態から向上していくように構成されており、
    前記第2対話モデルは、前記第1対話モデルの初期状態よりも良好なコミュニケーション機能によりユーザと対話を行って、ユーザに対し、前記第1対話モデルの前記コミュニケーション機能の向上を支援する発話を行い、
    前記第2対話モデルの前記コミュニケーション機能の向上度合は、前記第1対話モデルの前記コミュニケーション機能の向上度合よりも小さい
    話システム。
  7. ユーザと少なくとも対話によるコミュニケーションを行う対話システムを用いて行われる対話方法であって、
    ユーザとのコミュニケーションを通して、予め備わっている機能を解放し実行可能とすること、又は、ユーザに関する情報及び単語を学習し学習によって得られた情報が蓄積されることで、性能が向上したコミュニケーションをユーザと行うことによって、ユーザに対して表出されるコミュニケーション機能が初期状態から向上していく第1対話モデルを実現し、
    前記第1対話モデルの初期状態よりも良好なコミュニケーション機能によりユーザと対話を行って、ユーザに対し、前記第1対話モデルの前記コミュニケーション機能の向上を支援する発話を行い、前記第1対話モデルの状態を取得し、前記状態に応じた支援を行う第2対話モデルを実現する
    対話方法。
  8. ユーザと少なくとも対話によるコミュニケーションを行う対話システムを用いて行われる対話方法であって、
    ユーザとのコミュニケーションを通して、予め備わっている機能を解放し実行可能とすること、又は、ユーザに関する情報及び単語を学習し学習によって得られた情報が蓄積されることで、性能が向上したコミュニケーションをユーザと行うことによって、ユーザに対して表出されるコミュニケーション機能が初期状態から向上していく第1対話モデルを実現し、
    前記第1対話モデルの初期状態よりも良好なコミュニケーション機能によりユーザと対話を行って、ユーザに対し、前記第1対話モデルの前記コミュニケーション機能の向上を支援する発話を行う第2対話モデルを実現し、
    少なくとも前記第1対話モデルは、ユーザ端末における仮想的なキャラクタとして実現され、
    前記第1対話モデルの前記向上されたコミュニケーション機能に関する情報を、前記第1対話モデルに対応する実機コミュニケーションロボットに送信する
    対話方法。
  9. ユーザと少なくとも対話によるコミュニケーションを行う対話システムを用いて行われる対話方法であって、
    ユーザとのコミュニケーションを通して、予め備わっている機能を解放し実行可能とすること、又は、ユーザに関する情報及び単語を学習し学習によって得られた情報が蓄積されることで、性能が向上したコミュニケーションをユーザと行うことによって、ユーザに対して表出されるコミュニケーション機能が初期状態から向上していく第1対話モデルを実現し、
    前記第1対話モデルの初期状態よりも良好なコミュニケーション機能によりユーザと対話を行って、ユーザに対し、前記第1対話モデルの前記コミュニケーション機能の向上を支援する発話を行う第2対話モデルを実現し、
    前記第2対話モデルの前記コミュニケーション機能の向上度合は、前記第1対話モデルの前記コミュニケーション機能の向上度合よりも小さい
    対話方法。
  10. ユーザと少なくとも対話によるコミュニケーションを行う対話システムを用いて行われる対話方法を実行するプログラムであって、
    ユーザとのコミュニケーションを通して、予め備わっている機能を解放し実行可能とすること、又は、ユーザに関する情報及び単語を学習し学習によって得られた情報が蓄積されることで、性能が向上したコミュニケーションをユーザと行うことによって、ユーザに対して表出されるコミュニケーション機能が初期状態から向上していく第1対話モデルを実現する機能と、
    前記第1対話モデルの初期状態よりも良好なコミュニケーション機能によりユーザと対話を行って、ユーザに対し、前記第1対話モデルの前記コミュニケーション機能の向上を支援する発話を行い、前記第1対話モデルの状態を取得し、前記状態に応じた支援を行う第2対話モデルを実現する機能と
    をコンピュータに実現させるプログラム。
  11. ユーザと少なくとも対話によるコミュニケーションを行う対話システムを用いて行われる対話方法を実行するプログラムであって、
    ユーザとのコミュニケーションを通して、予め備わっている機能を解放し実行可能とすること、又は、ユーザに関する情報及び単語を学習し学習によって得られた情報が蓄積されることで、性能が向上したコミュニケーションをユーザと行うことによって、ユーザに対して表出されるコミュニケーション機能が初期状態から向上していく第1対話モデルを実現する機能と、
    前記第1対話モデルの初期状態よりも良好なコミュニケーション機能によりユーザと対話を行って、ユーザに対し、前記第1対話モデルの前記コミュニケーション機能の向上を支援する発話を行う第2対話モデルを実現する機能と、
    ユーザ端末における仮想的なキャラクタとして実現される前記第1対話モデルの前記向上されたコミュニケーション機能に関する情報を、前記第1対話モデルに対応する実機コミュニケーションロボットに送信する機能と
    をコンピュータに実現させるプログラム。
  12. ユーザと少なくとも対話によるコミュニケーションを行う対話システムを用いて行われる対話方法を実行するプログラムであって、
    ユーザとのコミュニケーションを通して、予め備わっている機能を解放し実行可能とすること、又は、ユーザに関する情報及び単語を学習し学習によって得られた情報が蓄積されることで、性能が向上したコミュニケーションをユーザと行うことによって、ユーザに対して表出されるコミュニケーション機能が初期状態から向上していく第1対話モデルを実現する機能と、
    前記第1対話モデルの初期状態よりも良好なコミュニケーション機能によりユーザと対話を行って、ユーザに対し、前記第1対話モデルの前記コミュニケーション機能の向上を支援する発話を行う第2対話モデルを実現する機能と、
    をコンピュータに実現させ、
    前記第2対話モデルの前記コミュニケーション機能の向上度合は、前記第1対話モデルの前記コミュニケーション機能の向上度合よりも小さい
    プログラム。
JP2019032549A 2019-02-26 2019-02-26 対話システム、対話方法及びプログラム Active JP7107248B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019032549A JP7107248B2 (ja) 2019-02-26 2019-02-26 対話システム、対話方法及びプログラム
US16/784,853 US11210060B2 (en) 2019-02-26 2020-02-07 Interaction system, interaction method, and program
CN202010111172.1A CN111611359B (zh) 2019-02-26 2020-02-24 对话系统、对话方法及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019032549A JP7107248B2 (ja) 2019-02-26 2019-02-26 対話システム、対話方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020134905A JP2020134905A (ja) 2020-08-31
JP7107248B2 true JP7107248B2 (ja) 2022-07-27

Family

ID=72142951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019032549A Active JP7107248B2 (ja) 2019-02-26 2019-02-26 対話システム、対話方法及びプログラム

Country Status (3)

Country Link
US (1) US11210060B2 (ja)
JP (1) JP7107248B2 (ja)
CN (1) CN111611359B (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002321177A (ja) 2001-04-23 2002-11-05 Sony Corp 脚式移動ロボット及びその制御方法
JP2007021719A (ja) 2006-08-01 2007-02-01 Sony Corp 学習装置及び学習方法並びにロボット装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150193111A1 (en) * 2013-10-01 2015-07-09 Google Inc. Providing Intent-Based Feedback Information On A Gesture Interface
JP6594646B2 (ja) * 2015-04-10 2019-10-23 ヴイストン株式会社 ロボット及びロボット制御方法並びにロボットシステム
JP6120927B2 (ja) * 2015-09-24 2017-04-26 シャープ株式会社 対話システム、対話を制御する方法、およびコンピュータを対話システムとして機能させるためのプログラム
JP6601625B2 (ja) 2016-05-20 2019-11-06 日本電信電話株式会社 対話方法、対話システム、対話装置、およびプログラム
JP7045020B2 (ja) * 2017-02-28 2022-03-31 国立大学法人東北大学 対話支援装置及び対話装置
US20190332400A1 (en) * 2018-04-30 2019-10-31 Hootsy, Inc. System and method for cross-platform sharing of virtual assistants
CN109063164A (zh) * 2018-08-15 2018-12-21 百卓网络科技有限公司 一种基于深度学习的智能问答方法
JP7063779B2 (ja) * 2018-08-31 2022-05-09 国立大学法人京都大学 音声対話システム、音声対話方法、プログラム、学習モデル生成装置及び学習モデル生成方法
CN109165287A (zh) * 2018-09-10 2019-01-08 蛋壳机器人科技(天津)有限公司 基于机器人的信息自动筛选回复方法
US11016722B2 (en) * 2018-09-24 2021-05-25 Salesforce.Com, Inc. Database systems and methods for conversation-driven dynamic updates

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002321177A (ja) 2001-04-23 2002-11-05 Sony Corp 脚式移動ロボット及びその制御方法
JP2007021719A (ja) 2006-08-01 2007-02-01 Sony Corp 学習装置及び学習方法並びにロボット装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
アヴァロンコード ヴァルキリープロファイル W攻略ブック,電撃DS&Wii 12月号増刊 付録1,アスキー・メディアワークス,2008年12月,Vol.5,p.3-26
過剰梱包 アヴァロンコード,[online],2008年11月10日,[2022年3月24日検索],インターネット <URL: http://luft.blog.shinobi.jp/アヴァロンコード/過剰梱包>

Also Published As

Publication number Publication date
CN111611359B (zh) 2023-07-04
CN111611359A (zh) 2020-09-01
US11210060B2 (en) 2021-12-28
US20200272413A1 (en) 2020-08-27
JP2020134905A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
US11017779B2 (en) System and method for speech understanding via integrated audio and visual based speech recognition
US20220020360A1 (en) System and method for dialogue management
CN111801730B (zh) 用于人工智能驱动的自动伴侣的系统和方法
US11504856B2 (en) System and method for selective animatronic peripheral response for human machine dialogue
US11455986B2 (en) System and method for conversational agent via adaptive caching of dialogue tree
JP3945356B2 (ja) 音声対話装置及びプログラム
US11003860B2 (en) System and method for learning preferences in dialogue personalization
US20220101856A1 (en) System and method for disambiguating a source of sound based on detected lip movement
US10967508B2 (en) System and method for dynamic robot configuration for enhanced digital experiences
US10994421B2 (en) System and method for dynamic robot profile configurations based on user interactions
US20190251966A1 (en) System and method for prediction based preemptive generation of dialogue content
US20190202061A1 (en) System and method for detecting physical proximity between devices
US20220241977A1 (en) System and method for dynamic program configuration
CN114270337A (zh) 用于个性化和多模态的上下文感知的人机对话的系统和方法
JP7107248B2 (ja) 対話システム、対話方法及びプログラム
WO2020004213A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021064948A1 (ja) 対話方法、対話システム、対話装置、およびプログラム
Wickramaratne et al. Attention level approximation of a conversation in human-robot vocal interaction using prosodic features of speech

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220627

R151 Written notification of patent or utility model registration

Ref document number: 7107248

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151