JP6729424B2 - 機器、出力装置、出力方法および出力プログラム - Google Patents

機器、出力装置、出力方法および出力プログラム Download PDF

Info

Publication number
JP6729424B2
JP6729424B2 JP2017014042A JP2017014042A JP6729424B2 JP 6729424 B2 JP6729424 B2 JP 6729424B2 JP 2017014042 A JP2017014042 A JP 2017014042A JP 2017014042 A JP2017014042 A JP 2017014042A JP 6729424 B2 JP6729424 B2 JP 6729424B2
Authority
JP
Japan
Prior art keywords
action
unit
command
utterance
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017014042A
Other languages
English (en)
Other versions
JP2018122366A (ja
Inventor
薫 木下
薫 木下
清水 雅芳
雅芳 清水
真司 神田
真司 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017014042A priority Critical patent/JP6729424B2/ja
Priority to PCT/JP2018/001082 priority patent/WO2018139275A1/ja
Publication of JP2018122366A publication Critical patent/JP2018122366A/ja
Priority to US16/298,158 priority patent/US10916236B2/en
Application granted granted Critical
Publication of JP6729424B2 publication Critical patent/JP6729424B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Description

本件は、機器、出力装置、出力方法および出力プログラムに関する。
発話とアクションとを組み合わせて表現を行うロボットが開発されている。このようなロボットについて、同じフレーズに対して変化の無い画一的なアクションが選択されることを避けるために、乱数を用いて全く同じアクションが行われないような技術が開示されている(例えば、特許文献1参照)。また、動物型ロボットにおいて入力情報の履歴に応じた動作を行う技術が開示されている(例えば、特許文献2参照)。
国際公開WO2012−103030号 特開2010−149276号公報
しかしながら、乱数を用いた技術では、自然なアクションが保証されるわけではない。例えば、「がっくり」というアクションが繰り返される場合、1回目で少し強くうなだれ、2回目で少し緩やかにうなだれた場合、画一的ではないものの不自然なアクションになるおそれがある。また、入力情報の履歴に応じた動作を行う場合、過去情報の蓄積を基に行動が決定されるため、当該行動後の発話との関係で不自然なアクションになるおそれがある。
1つの側面では、本件は、発話内容に応じたアクションが実現される機器、出力装置、出力方法および出力プログラムを提供することを目的とする。
1つの態様では、出力装置は、発話命令とアクション命令とを取得する取得部と、前記発話命令について、前記アクション命令に基づくアクションの後の発話内容を解析する解析部と、前記解析部の解析結果に応じて前記アクション命令を修正する修正部と、前記修正部によって修正された前記アクション命令と、前記発話命令とを出力する出力部と、を備える。
1つの態様では、機器は、発話命令に応じて発話する発話部と、アクション命令に応じてアクションを行うアクション部と、前記発話命令について、前記アクション命令に基づくアクションの後の発話内容を解析する解析部と、前記解析部の解析結果に応じて前記アクション命令を修正する修正部と、前記修正部の修正結果に応じて前記アクション部の制御を行う制御部と、を備える。
発話内容に応じたアクションを実現することができる。
(a)は実施例1に係る機器制御装置が適用される機器を説明するためのブロック図であり、(b)は機器制御装置のハードウェア構成を例示する図である。 (a)は機器制御プログラムの実行によって実現される機能のブロック図であり、(b)はアクション修正部のブロック図であり、(c)はアクションデータベースに格納されているテーブルを例示する図である。 (a)は実施例2に係る機器制御装置に実現される各機能を例示する図であり、(b)はアクション修正部のブロック図であり、(c)は算出されたパラメータ反映値を例示する図である。 (a)はキーワードデータベースに格納されているテーブルを例示する図であり、(b)は感情に係るパラメータの抽出を例示する図である。 (a)は実施例3に係る機器制御装置に実現される各機能を例示する図であり、(b)はアクションデータベースに格納されているテーブルを例示する図である。
以下、図面を参照しつつ、実施例について説明する。
図1(a)は、実施例1に係る機器制御装置100が適用される機器300を説明するためのブロック図である。図1(a)で例示するように、機器300は、機器制御装置100およびロボット200を備える。ロボット200は、発話ロボットであり、音声出力部201、アクション部202などを備える。音声出力部201は、スピーカなどであり、機器制御装置100から送られてくる音声データに応じて発話する。アクション部202は、ロボット200の関節を駆動するモータなどを備え、機器制御装置100から送られてくるモータ制御データに応じて関節角度を実現することでアクションを行う。機器300のユーザは、例えば、ロボット200を用いて発話とアクションとを組み合わせたデモンストレーションを開発する開発者である。
図1(b)は、機器制御装置100のハードウェア構成を例示する図である。図1(b)で例示するように、機器制御装置100は、CPU101、RAM102、記憶装置103、入力機器104、インタフェース105などを備える。これらの各機器は、バスなどによって接続されている。
CPU(Central Processing Unit)101は、中央演算処理装置である。CPU101は、1以上のコアを含む。RAM(Random Access Memory)102は、CPU101が実行するプログラム、CPU101が処理するデータなどを一時的に記憶する揮発性メモリである。記憶装置103は、不揮発性記憶装置である。記憶装置103として、例えば、ROM(Read Only Memory)、フラッシュメモリなどのソリッド・ステート・ドライブ(SSD)、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。入力機器104は、キーボード、マウスなどであり、ユーザが情報を入力するための機器である。インタフェース105は、ロボット200との間で信号を送受信するためのインタフェースである。
CPU101が記憶装置103に記憶されている機器制御プログラムを実行することによって、機器制御装置100内に各機能が実現される。図2(a)は、機器制御プログラムの実行によって実現される機能のブロック図である。なお、各機能は、専用の回路などのハードウェアであってもよい。
図2(a)で例示するように、機器制御装置100内に、スクリプト取得部10、スクリプト解析部20、音声データ出力部30、発話解析部40、アクション特定部50、アクション修正部60、アクションデータ出力部70、モータ制御部80などが実現される。図2(b)で例示するように、アクション修正部60は、アクション選択部61およびアクションデータベース62を含む。
スクリプト取得部10は、例えば、ユーザが入力機器104から入力したスクリプトを取得する。スクリプトには、発話命令とアクション命令とが含まれる。例えば、発話命令は、第1発話内容および第2発話内容を含んでいる。本実施例においては、第1発話内容として「今日は疲れました」が入力され、第1発話内容後の第2発話内容として「明日も大変な見込みです」が入力される。また、本実施例においては、第1発話内容と第2発話内容との間のアクション命令として、「がっくり」が入力される。スクリプト取得部10は、取得したスクリプトをスクリプト解析部20に送る。
スクリプト解析部20は、スクリプト取得部10から受け取ったスクリプトの解析を行う。本実施例においては、スクリプト解析部20は、スクリプト取得部10から受け取ったスクリプトから第1発話内容および第2発話内容を抽出し、音声データ出力部30に送る。音声データ出力部30は、第1発話内容および第2発話内容の音声データを図1の音声出力部201に送る。それにより、ロボット200は、音声出力部201から「今日は疲れました」と発話し、その後に「明日も大変な見込みです」と発話する。
また、スクリプト解析部20は、第1発話内容および第2発話内容を発話解析部40に送る。また、スクリプト解析部20は、スクリプト取得部10から受け取ったスクリプトからアクション命令を抽出し、アクション特定部50に送る。発話解析部40は、第1発話内容および第2発話内容を解析する。例えば、発話解析部40は、キーワードデータベース41を参照することで、第1発話内容から第1キーワードを抽出する。例えば、第1キーワードとして「疲れ」が抽出される。発話解析部40は、第1キーワード、または、第1発話内容にキーワードが無かったことを表す情報をインデックスAとしてアクション修正部60に送る。次に、発話解析部40は、キーワードデータベース41を参照することで、第2発話内容から第2キーワードを抽出する。例えば、第2キーワードとして「明日も」が抽出される。発話解析部40は、第2キーワード、または、第2発話内容にキーワードが無かったことを表す情報をインデックスBとしてアクション修正部60に送る。インデックスAおよびインデックスBは、修正方法としての機能を有する。
アクション特定部50は、アクションデータベース51を参照することで、スクリプト解析部20から受け取ったアクション命令「がっくり」の基本動作を特定する。例えば、アクション特定部50は、うなだれる動作をアクション命令「がっくり」の基本動作として特定する。また、アクション特定部50は、うなだれる動作についてのアクション修正方法を特定する。例えば、うなだれる動作については、首、手、腕等の角度が修正方法として特定される。アクション特定部50は、特定したアクション命令およびアクション修正方法をアクション修正部60に送る。
図2(c)で例示するように、アクションデータベース62には、複数のアクションのそれぞれについて、インデックスAおよびインデックスBに対応して修正例を修正内容として格納している。例えば、アクション命令が「がっくり」である場合、インデックスAおよびインデックスBに対応する首、手、腕等の角度が修正例として格納されている。例えば、インデックスAに「疲れ」が含まれていてインデックスBに「明日も」が含まれていれば、うなだれる動作(関節角度)を大きくすることが考えられる。アクション選択部61は、インデックスAおよびインデックスBに対応するアクション例をアクションデータベース62から選択することで、アクション命令「がっくり」の基本動作を修正する。アクション選択部61は、修正後の動作をアクションデータ出力部70に送る。
アクションデータ出力部70は、修正後の動作に係るデータをモータ制御部80に送る。モータ制御部80は、受け取ったデータに基づいて、図1(a)のアクション部202に備わるモータを制御することで、ロボット200にアクションを行わせる。それにより、ロボット200は、音声出力部201が「今日は疲れました」と発話した後に、アクション部202が修正された「がっくり」の動作を行い、その後に、音声出力部201が「明日も大変な見込みです」と発話する。
本実施例によれば、アクション命令に基づくアクションの後の発話内容に応じて、アクション命令が修正される。修正されたアクション命令に応じて、ロボット200のアクション部202はアクションを行う。アクション前の発話内容だけを解析した場合には、当該アクション後の発話内容との関係によっては当該アクションが不自然になるおそれがある。これに対して、本実施例においては、アクションの後の発話内容の解析結果がアクション命令の修正に反映されるため、発話内容に応じた適切なアクションが行われる。また、アクション前後の発話内容に応じてアクション命令を修正することで、アクションをより適切に修正することができる。なお、本実施例においては、音声データ出力部30が音声データを音声出力部201に送ることでロボット200に発話させ、アクションデータ出力部70が修正後の動作に係るデータをモータ制御部80に送ることでロボット200にアクションを行わせたが、それに限られない。例えば、音声データ出力部30が出力する音声データおよびアクションデータ出力部70が出力する動作に係るデータを、メモリなどの記憶装置に記憶してもよい。
本実施例において、スクリプト取得部10が発話命令とアクション命令とを取得する取得部の一例として機能する。発話解析部40が、前記発話命令について、前記アクション命令に基づくアクションの後の発話内容を解析する解析部の一例として機能する。アクション修正部60が前記解析部の解析結果に応じて前記アクション命令を修正する修正部の一例として機能する。音声データ出力部30およびアクションデータ出力部70が、前記修正部によって修正された前記アクション命令と、前記発話命令とを出力する出力部の一例として機能する。音声出力部201が、発話命令に応じて発話する発話部の一例として機能する。アクション部202が、アクション命令に応じてアクションを行うアクション部の一例として機能する。
図3(a)は、実施例2に係る機器制御装置100aに実現される各機能を例示する図である。機器制御装置100aが実施例1の機器制御装置100と異なる点は、発話解析部40の代わりに発話解析部40aが実現され、アクション特定部50の代わりにアクション特定部50aが実現され、アクション修正部60の代わりにアクション修正部60aが実現される点である。図3(b)で例示するように、アクション修正部60aは、アクションデータベース62、反映値算出部63および修正部64を備える。本実施例においても、第1発話内容として「今日は疲れました」が入力され、第2発話内容として「明日も大変な見込みです」が入力され、アクションとして、「がっくり」が入力された場合について説明する。実施例1と同様の機能については、同一符号を付すことで説明を省略する。
発話解析部40aは、キーワードデータベース41を参照することで、第1発話内容から第1キーワードを抽出する。例えば、第1キーワードとして「疲れ」が抽出される。次に、発話解析部40aは、キーワードデータベース41を参照することで、第2発話内容から第2キーワードを抽出する。例えば、第2キーワードとして「明日も」が抽出される。
アクション特定部50aは、アクションデータベース51を参照することで、スクリプト解析部20から受け取ったアクション命令「がっくり」に対応する感情を特定し、発話解析部40aに送る。例えば、「がっくり」には、喜怒哀楽のうち「哀」が対応付けられているものとする。発話解析部40aは、第1キーワードおよび第2キーワードと、アクション命令「がっくり」に対応する感情「哀」に基づいて、修正量をパラメータとして算出する。
図4(a)は、キーワードデータベース41に格納されているテーブルを例示する図である。図4(a)で例示するように、テーブルでは、各キーワードに対して、喜怒哀楽等の、1以上の感情に係るパラメータが関連付けられている。例えば、「楽し」については「喜」のパラメータ値「15」が関連付けられ、「楽」のパラメータ値「35」が関連付けられている。例えば、「疲れ」については「怒」のパラメータ値「15」が関連付けられ、「哀」のパラメータ値「35」が関連付けられている。例えば、「明日も」については、感情を強めるための係数「×1」がパラメータとして関連付けられている。たとえば、「だけど」については感情を和らげるための係数「×−1」がパラメータとして関連づけられている。
図4(b)で例示するように、発話解析部40aは、「疲れ」について「怒」のパラメータ値「15」および「哀」のパラメータ値「35」を抽出する。また、発話解析部40aは、「明日も」について係数「×1」を抽出し、各パラメータ値に「×1」を係数として乗算し、「怒」のパラメータ値「15」および「哀」のパラメータ値「35」を抽出する。発話解析部40aは、アクション特定部50aから受け取った感情「哀」のパラメータ値「35」と「35」とを抽出し、足し合わせる。発話解析部40aは、得られた数値「70」を修正量として得る。
なお、他の例として、第1発話内容として「今日は疲れたけど」が入力され、第2発話内容として「楽しかったです」が入力された場合、第1キーワードとして「疲れ」が抽出され、第2キーワードとして「楽し」が抽出される。この場合、「疲れ」について「怒」のパラメータ値「15」および「哀」のパラメータ値「35」が抽出され、「楽し」について「喜」のパラメータ値「15」および「楽」のパラメータ値「35」が抽出される。なお、日本語では、後の単語の意味が強くなる傾向にあるため、第2キーワードのパラメータ値に重み付けを行うことで、発話内容に応じた自然なアクションを実現することができる。例えば、第2キーワードのパラメータ値に「1」を加算することで、重み付けを行ってもよい。この場合、「楽し」について「喜」のパラメータ値「16」が抽出され、「楽」のパラメータ値「36」が抽出される。この場合において、アクション特定部50aが感情「楽」を特定していれば、「楽」のパラメータ値「0」と「36」とが足し合わされ、得られた数値「36」が修正量として抽出されることになる。英語では、先の単語の意味が強くなる傾向にあるため、第1キーワードのパラメータ値の重みを大きくしてもよい。このように、言語に応じて、重み付けを行う対象を変更してもよい。
図4(b)の例では、第1発話内容および第2発話内容からそれぞれ1つのキーワードが抽出されているが、それに限られない。例えば、第1発話内容にキーワードが複数含まれている場合には、各キーワードのパラメータ値を抽出し、対応するパラメータ同士を足し合わせてもよい。
アクション特定部50aは、アクションデータベース51を参照することで、スクリプト解析部20から受け取ったアクション命令「がっくり」の基本動作を特定する。例えば、アクション特定部50aは、「がっくり」の基本動作を実現するための、首、手、腕等の関節角度を特定する。また、アクション特定部50aは、アクションデータベース51を参照することで、アクション命令「がっくり」について各関節の修正反映度を取得する。アクション特定部50aは、特定した基本動作および修正反映度をアクション修正部60aに送る。なお、修正反映度は、修正方法としての機能を有する。
反映値算出部63は、アクション特定部50aから受け取った基本動作および修正反映度と、発話解析部40aから受け取った修正値とから、パラメータ反映値を算出する。図3(c)は、算出されたパラメータ反映値を例示する図である。関節1については修正反映度が「0」であるため、修正量に関わらず操作量が修正されない。関節2については修正反映度が「1」であるため、修正量70に「1」が掛け合わされ、得られた修正値「70」が操作量「40」に加算され、修正操作量「110」が算出される。関節3については修正反映度が「2」であるため、修正量70に「2」が掛け合わされ、得られた修正値「140」が操作量「10」に加算され、修正操作量「150」が算出される。関節4については修正反映度が「−3」であるため、修正量70に「−3」が掛け合わされ、得られた修正値「−210」が操作量「0」に加算され、修正操作量「−210」が算出される。修正部64は、修正後の動作をアクションデータ出力部70に送る。
本実施例によれば、アクション命令に基づくアクションの後の発話内容に応じて、アクション命令が修正される。修正されたアクション命令に応じて、ロボット200のアクション部202はアクションを行う。アクション前の発話内容だけを解析した場合には、当該アクション後の発話内容との関係によっては当該アクションが不自然になるおそれがある。これに対して、本実施例においては、アクションの後の発話内容の解析結果がアクション命令の修正に反映されるため、発話内容に応じた適切なアクションが行われる。また、アクション前後の発話内容に応じてアクション命令を修正することで、アクションをより適切に修正することができる。また、基本動作の修正量に感情に係るパラメータを用いるため、感情に応じたアクションの修正が可能となる。また、感情パラメータに重み付けを行うことで、言語に特有な感情表現に応じた修正が可能となる。なお、本実施例においては、音声データ出力部30が音声データを音声出力部201に送ることでロボット200に発話させ、アクションデータ出力部70が修正後の動作に係るデータをモータ制御部80に送ることでロボット200にアクションを行わせたが、それに限られない。例えば、音声データ出力部30が出力する音声データおよびアクションデータ出力部70が出力する動作に係るデータを、メモリなどの記憶装置に記憶してもよい。
上記各例において、スクリプト取得部10が発話命令とアクション命令とを取得する取得部の一例として機能する。発話解析部40aが、前記発話命令について、前記アクション命令に基づくアクションの後の発話内容を解析する解析部の一例として機能する。アクション修正部60aが前記解析部の解析結果に応じて前記アクション命令を修正する修正部の一例として機能する。音声データ出力部30およびアクションデータ出力部70が、前記修正部によって修正された前記アクション命令と、前記発話命令とを出力する出力部の一例として機能する。音声出力部201が、発話命令に応じて発話する発話部の一例として機能する。アクション部202が、アクション命令に応じてアクションを行うアクション部の一例として機能する。
図5(a)は、実施例3に係る機器制御装置100bに実現される各機能を例示する図である。機器制御装置100bが実施例2の機器制御装置100aと異なる点は、発話解析部40aの代わりに発話解析部40bが備わり、アクション特定部50aの代わりにアクション特定部50bが備わり、新たにキーワード解析条件作成部43およびアクションデータベース44が備わっている点である。本実施例においても、第1発話内容として「今日は疲れました」が入力され、第2発話内容として「明日も大変な見込みです」が入力され、アクション命令として、「がっくり」が入力された場合について説明する。実施例2と同様の機能については、同一符号を付すことで説明を省略する。
アクション特定部50bは、アクションデータベース51を参照することで、スクリプト解析部20から受け取ったアクション命令「がっくり」の基本動作を特定する。例えば、アクション特定部50bは、「がっくり」の基本動作を実現するための、首、手、腕等の関節角度を特定する。また、アクション特定部50bは、アクションデータベース51を参照することで、アクション命令「がっくり」について各関節について修正反映度を取得する。また、アクション特定部50bは、特定した基本動作および修正反映度をアクション修正部60aに送る。また、アクション特定部50bは、特定したアクション命令をキーワード解析条件作成部43に送る。
図5(b)は、アクションデータベース44に格納されているテーブルを例示する図である。図5(b)で例示するように、テーブルには、各アクション命令に関連付けて、喜怒哀楽のそれぞれの関連度が格納されている。関連度は、数値が高いほど喜怒哀楽のそれぞれとの関連が高いことを示す。なお、テーブルには、各アクション命令に関連付けて、喜怒哀楽などの基本パラメータ以外の条件を優先する場合の特別情報が他のパラメータとして格納されていてもよい。キーワード解析条件作成部43は、アクションデータベース44を参照し、アクション特定部50aから受け取ったアクション命令に対応する喜怒哀楽の関連度の組み合わせ、または特別情報を取得する。キーワード解析条件作成部43は、喜怒哀楽の関連度の組み合わせまたは特別情報を発話解析部40bに送る。
発話解析部40bは、キーワードデータベース41を参照することで、第1発話内容から第1キーワードを抽出する。例えば、第1キーワードとして「疲れ」が抽出される。次に、発話解析部40bは、キーワードデータベース41を参照することで、第2発話内容から第2キーワードを抽出する。例えば、第2キーワードとして「明日も」が抽出される。
発話解析部40bは、キーワード解析条件作成部43から受け取った喜怒哀楽の組み合わせのうち関連度が閾値以上の項目について、パラメータを抽出する。例えば、アクション命令「がっくり」では、「哀」の関連度が閾値以上に設定されているものとする。図4(a)で説明した例では、発話解析部40b、「疲れ」について「哀」のパラメータ値「35」を抽出する。また、発話解析部40bは、「明日も」について、各パラメータ値に「×1」を係数として乗算し、「哀」のパラメータ値「35」を抽出する。発話解析部40bは、これらの「哀」のパラメータ値「35」と「35」とを抽出し、足し合わせる。発話解析部40bは、得られた数値「70」を修正量として得る。
本実施例によれば、アクション命令に基づくアクションの後の発話内容に応じて、アクション命令が修正される。修正されたアクション命令に応じて、ロボット200のアクション部202はアクションを行う。アクション前の発話内容だけを解析した場合には、当該アクション後の発話内容との関係によっては当該アクションが不自然になるおそれがある。これに対して、本実施例においては、アクションの後の発話内容の解析結果がアクション命令の修正に反映されるため、発話内容に応じた適切なアクションが行われる。また、アクション前後の発話内容に応じてアクション命令を修正することで、アクションをより適切に修正することができる。また、基本動作の修正量に感情に係るパラメータを用いるため、感情に応じたアクションの修正が可能となる。また、感情パラメータに重み付けを行うことで、言語に特有な感情表現に応じた修正が可能となる。なお、本実施例においては、音声データ出力部30が音声データを音声出力部201に送ることでロボット200に発話させ、アクションデータ出力部70が修正後の動作に係るデータをモータ制御部80に送ることでロボット200にアクションを行わせたが、それに限られない。例えば、音声データ出力部30が出力する音声データおよびアクションデータ出力部70が出力する動作に係るデータを、メモリなどの記憶装置に記憶してもよい。
上記各例において、スクリプト取得部10が発話命令とアクション命令とを取得する取得部の一例として機能する。発話解析部40bが、前記発話命令について、前記アクション命令に基づくアクションの後の発話内容を解析する解析部の一例として機能する。アクション修正部60bが前記解析部の解析結果に応じて前記アクション命令を修正する修正部の一例として機能する。音声データ出力部30およびアクションデータ出力部70が、前記修正部によって修正された前記アクション命令と、前記発話命令とを出力する出力部の一例として機能する。音声出力部201が、発話命令に応じて発話する発話部の一例として機能する。アクション部202が、アクション命令に応じてアクションを行うアクション部の一例として機能する。
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
10 スクリプト取得部
20 スクリプト解析部
30 音声データ出力部
40 発話解析部
41 キーワードデータベース
50 アクション特定部
51 アクションデータベース
60 アクション修正部
61 アクション選択部
62 アクションデータベース
63 反映値算出部
64 修正部
70 アクションデータ出力部
80 モータ制御部
100 機器制御装置

Claims (12)

  1. 発話命令とアクション命令とを取得する取得部と、
    前記発話命令について、前記アクション命令に基づくアクションの後の発話内容を解析する解析部と、
    前記解析部の解析結果に応じて前記アクション命令を修正する修正部と、
    前記修正部によって修正された前記アクション命令と、前記発話命令とを出力する出力部と、を備えることを特徴とする出力装置。
  2. 前記解析部は、前記発話命令について、前記アクション命令に基づくアクションの前後の発話内容を解析することを特徴とする請求項1記載の出力装置。
  3. 前記修正部は、アクション命令に対して複数の修正例を格納する格納部と、前記解析結果に応じて前記複数の修正例から前記発話内容に対応する修正例を選択する選択部と、を備えることを特徴とする請求項1または2に記載の出力装置。
  4. 前記修正部は、前記解析部の解析結果に応じた修正量を算出し、当該修正量に応じて前記アクション命令を修正することを特徴とする請求項1または2に記載の出力装置。
  5. 前記アクション命令には、修正反映度が関連付けられており、
    前記修正部は、前記修正量に前記修正反映度を反映させることで前記アクション命令を修正することを特徴とする請求項4記載の出力装置。
  6. 前記修正部は、前記発話命令から1以上の感情に係るパラメータを抽出することで修正量を算出し、当該修正量に応じて前記アクション命令を修正することを特徴とする請求項1または2に記載の出力装置。
  7. 前記解析部は、前記解析結果に応じて前記パラメータに重み付けを行うことで前記修正量を算出することを特徴とする請求項6記載の出力装置。
  8. 前記修正部は、前記アクション命令に応じて、前記1以上の感情に係るパラメータから抽出するパラメータを特定することを特徴とする請求項6または7に記載の出力装置。
  9. 前記解析部は、前記発話命令から、予め格納しておいたキーワードを抽出することを特徴とする請求項1〜8のいずれか一項に記載の出力装置。
  10. 発話命令とアクション命令とを取得部が取得し、
    前記発話命令について、前記アクション命令に基づくアクションの後の発話内容を解析部が解析し、
    前記解析部の解析結果に応じて前記アクション命令を修正部が修正し、
    前記修正部によって修正された前記アクション命令と、前記発話命令とを出力部が出力する、ことを特徴とする出力方法。
  11. コンピュータに、
    発話命令とアクション命令とを取得する処理と、
    前記発話命令について、前記アクション命令に基づくアクションの後の発話内容を解析する処理と、
    前記解析する処理の解析結果に応じて前記アクション命令を修正する処理と、
    前記修正する処理によって修正された前記アクション命令と、前記発話命令とを出力する処理と、を実行させることを特徴とする出力プログラム。
  12. 発話命令に応じて発話する発話部と、
    アクション命令に応じてアクションを行うアクション部と、
    前記発話命令について、前記アクション命令に基づくアクションの後の発話内容を解析する解析部と、
    前記解析部の解析結果に応じて前記アクション命令を修正する修正部と、
    前記修正部の修正結果に応じて前記アクション部の制御を行う制御部と、を備えることを特徴とする機器。
JP2017014042A 2017-01-30 2017-01-30 機器、出力装置、出力方法および出力プログラム Active JP6729424B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017014042A JP6729424B2 (ja) 2017-01-30 2017-01-30 機器、出力装置、出力方法および出力プログラム
PCT/JP2018/001082 WO2018139275A1 (ja) 2017-01-30 2018-01-17 機器、出力装置、出力方法および出力プログラム
US16/298,158 US10916236B2 (en) 2017-01-30 2019-03-11 Output device, output method, and electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017014042A JP6729424B2 (ja) 2017-01-30 2017-01-30 機器、出力装置、出力方法および出力プログラム

Publications (2)

Publication Number Publication Date
JP2018122366A JP2018122366A (ja) 2018-08-09
JP6729424B2 true JP6729424B2 (ja) 2020-07-22

Family

ID=62979278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017014042A Active JP6729424B2 (ja) 2017-01-30 2017-01-30 機器、出力装置、出力方法および出力プログラム

Country Status (3)

Country Link
US (1) US10916236B2 (ja)
JP (1) JP6729424B2 (ja)
WO (1) WO2018139275A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621983B2 (en) * 2018-04-20 2020-04-14 Spotify Ab Systems and methods for enhancing responsiveness to utterances having detectable emotion

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337552B1 (en) 1999-01-20 2002-01-08 Sony Corporation Robot apparatus
JP4465768B2 (ja) * 1999-12-28 2010-05-19 ソニー株式会社 音声合成装置および方法、並びに記録媒体
JP2002304188A (ja) * 2001-04-05 2002-10-18 Sony Corp 単語列出力装置および単語列出力方法、並びにプログラムおよび記録媒体
JP2004268235A (ja) * 2003-03-11 2004-09-30 Sony Corp ロボット装置、その行動制御方法及びプログラム
JP4815940B2 (ja) * 2005-08-17 2011-11-16 日本電気株式会社 ロボット制御システム、ロボット装置、およびロボット制御方法
JP5324956B2 (ja) * 2009-02-16 2013-10-23 株式会社国際電気通信基礎技術研究所 道案内ロボット
US9431027B2 (en) * 2011-01-26 2016-08-30 Honda Motor Co., Ltd. Synchronized gesture and speech production for humanoid robots using random numbers
JP2015138147A (ja) 2014-01-22 2015-07-30 シャープ株式会社 サーバ、対話装置、対話システム、対話方法および対話プログラム
JP6122792B2 (ja) * 2014-02-06 2017-04-26 日本電信電話株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム
JP6495015B2 (ja) * 2015-01-08 2019-04-03 シャープ株式会社 音声対話制御装置、音声対話制御装置の制御方法、および音声対話装置
WO2017200074A1 (ja) * 2016-05-20 2017-11-23 日本電信電話株式会社 対話方法、対話システム、対話装置、及びプログラム
CN107030691B (zh) * 2017-03-24 2020-04-14 华为技术有限公司 一种看护机器人的数据处理方法及装置
US11107472B2 (en) * 2017-03-31 2021-08-31 Intel Corporation Management of human-machine dialogue involving multiple parties

Also Published As

Publication number Publication date
WO2018139275A1 (ja) 2018-08-02
US20190206387A1 (en) 2019-07-04
US10916236B2 (en) 2021-02-09
JP2018122366A (ja) 2018-08-09

Similar Documents

Publication Publication Date Title
EP1091303A3 (en) Method and system for providing alternatives for text derived from stochastic input sources
JP5554304B2 (ja) オートマトン決定化方法、オートマトン決定化装置およびオートマトン決定化プログラム
US11113335B2 (en) Dialogue system and computer program therefor
JP6019604B2 (ja) 音声認識装置、音声認識方法、及びプログラム
JP2006146887A (ja) キャラクタの制御された操作
US9601106B2 (en) Prosody editing apparatus and method
JP2001272995A (ja) 音声認識方法及び装置
CN112599113B (zh) 方言语音合成方法、装置、电子设备和可读存储介质
CN110570879A (zh) 基于情绪识别的智能会话方法、装置及计算机设备
US9099091B2 (en) Method and apparatus of adaptive textual prediction of voice data
US11082369B1 (en) Domain-specific chatbot utterance collection
US10593319B1 (en) Parallelization of instruction steps
KR20210059586A (ko) 텍스트 음성 변환과 함께 멀티태스크 학습을 사용한 감정적 음성 변환 방법 및 장치
JP2019101065A (ja) 音声対話装置、音声対話方法及びプログラム
JP6729424B2 (ja) 機器、出力装置、出力方法および出力プログラム
CN113221681B (zh) 模型训练方法、动作姿态生成方法、装置、设备及介质
JP6082657B2 (ja) ポーズ付与モデル選択装置とポーズ付与装置とそれらの方法とプログラム
JP2020140469A (ja) 学習装置及び学習プログラム並びに文生成装置及び文生成プログラム
JP4586386B2 (ja) 素片接続型音声合成装置及び方法
JP4735958B2 (ja) テキストマイニング装置、テキストマイニング方法およびテキストマイニングプログラム
JP7291099B2 (ja) 音声認識方法及び装置
Dutta et al. Evaluating a neural multi-turn chatbot using BLEU score
KR102153220B1 (ko) 동일성 판단에 기초한 음성 인식 결과 출력 방법 및 이를 이용한 장치
Ramey et al. A social robot as an aloud reader: Putting together recognition and synthesis of voice and gestures for HRI experimentation
KR20100069555A (ko) 음성 인식 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R150 Certificate of patent or registration of utility model

Ref document number: 6729424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150