JP7131077B2 - 会話装置、ロボット、会話装置制御方法及びプログラム - Google Patents

会話装置、ロボット、会話装置制御方法及びプログラム Download PDF

Info

Publication number
JP7131077B2
JP7131077B2 JP2018099332A JP2018099332A JP7131077B2 JP 7131077 B2 JP7131077 B2 JP 7131077B2 JP 2018099332 A JP2018099332 A JP 2018099332A JP 2018099332 A JP2018099332 A JP 2018099332A JP 7131077 B2 JP7131077 B2 JP 7131077B2
Authority
JP
Japan
Prior art keywords
utterance
target user
users
user
conversation device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018099332A
Other languages
English (en)
Other versions
JP2019203998A5 (ja
JP2019203998A (ja
Inventor
利久 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2018099332A priority Critical patent/JP7131077B2/ja
Priority to CN201910401299.4A priority patent/CN110524547B/zh
Priority to US16/414,850 priority patent/US11205424B2/en
Publication of JP2019203998A publication Critical patent/JP2019203998A/ja
Publication of JP2019203998A5 publication Critical patent/JP2019203998A5/ja
Application granted granted Critical
Publication of JP7131077B2 publication Critical patent/JP7131077B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/02Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、会話装置、ロボット、会話装置制御方法及びプログラムに関する。
ユーザ間のコミュニケーションをより促進させることができるようにする技術開発が進められている。例えば、特許文献1には、複数のユーザの間で行われている会話の状態を監視して、会話が停滞した場合に、ユーザに関心のある話題を提供する対話型通信システムが記載されている。
特開2016-6607号公報
特許文献1に記載されている対話型通信システムは、ユーザ間で過去に行われた会話の中に含まれていた語句やユーザが会話に用いている端末の位置情報に合致する話題を提供することによって、複数のユーザ間における対話型の通話を円滑に進めるようにしている。しかし、上述したように、従来の対話型通信システムでは、ユーザの過去の会話内容やユーザの端末の位置情報などに応じた話題を複数のユーザに提供するにすぎないため、複数のユーザ間の会話に参加しているかのような発話を行うことができず、ひいては、ユーザ間の会話を盛り上げるまでには至らなかった。
本発明は、上記問題を解決するためになされたものであり、複数のユーザ間の会話に参加しているかのような発話を行って、ユーザ間の会話を盛り上げることができる会話装置、ロボット、会話装置制御方法及びプログラムを提供することを目的とする。
上記目的を達成するため、本発明に係る第1の態様の会話装置は、発話するための発話手段と、互いに会話をする複数のユーザの各々の嗜好に係る関心情報を取得する特徴取得手段と、前記特徴取得手段で取得された関心情報に基づき、前記複数のユーザのなかから、同調する又は同調しない対象となる対象ユーザを選択する選択手段と、前記選択手段で選択された前記対象ユーザに応じた発話を行うように前記発話手段を制御する発話制御を実行する発話制御手段と、をえ、前記発話制御手段は、前記発話制御の実行中、前記対象ユーザの嗜好に合致する情報をポジティブな表現で発話するように、前記発話手段を制御する、ことを特徴とする。
また、本発明に係る第2の態様の会話装置は、発話するための発話手段と、互いに会話をする複数のユーザの各々の嗜好に係る関心情報を取得する特徴取得手段と、前記特徴取得手段で取得された関心情報に基づき、前記複数のユーザのなかから、同調する又は同調しない対象となる対象ユーザを選択する選択手段と、前記選択手段で選択された前記対象ユーザに応じた発話を行うように前記発話手段を制御する発話制御を実行する発話制御手段と、を備え、前記発話制御手段は、前記発話制御の実行中、前記対象ユーザの嗜好に合致しない情報をネガティブな表現で発話するように、前記発話手段を制御する、ことを特徴とする。
また、本発明に係るロボットは、上記の第1の態様または第2の態様の会話装置を備えたことを特徴とする。
また、本発明に係る第1の態様の会話装置制御方法は、発話するための発話手段を備える会話装置を制御するための会話装置制御方法であって、互いに会話をする複数のユーザの各々の嗜好に係る関心情報を取得する特徴取得ステップと、前記特徴取得ステップで取得された関心情報に基づき、前記複数のユーザのなかから、同調する又は同調しない対象となる対象ユーザを選択する選択ステップと、前記選択ステップで選択された前記対象ユーザに応じた発話を行うように前記発話手段を制御する発話制御ステップと、を含み、前記発話制御ステップは、前記対象ユーザの嗜好に合致する情報をポジティブな表現で発話するように、前記発話手段を制御する、ことを特徴とする。
また、本発明に係る第2の態様の会話装置制御方法は、発話するための発話手段を備える会話装置を制御するための会話装置制御方法であって、互いに会話をする複数のユーザの各々の嗜好に係る関心情報を取得する特徴取得ステップと、前記特徴取得ステップで取得された関心情報に基づき、前記複数のユーザのなかから、同調する又は同調しない対象となる対象ユーザを選択する選択ステップと、前記選択ステップで選択された前記対象ユーザに応じた発話を行うように前記発話手段を制御する発話制御ステップと、を含み、前記発話制御ステップは、前記対象ユーザの嗜好に合致しない情報をネガティブな表現で発話するように、前記発話手段を制御する、ことを特徴とする。
また、本発明に係る第1の態様のプログラムは、発話するための発話手段を備える会話装置のコンピュータを、互いに会話をする複数のユーザの各々の嗜好に係る関心情報を取得する特徴取得手段、前記特徴取得手段で取得された関心情報に基づき、前記複数のユーザのなかから、同調する又は同調しない対象となる対象ユーザを選択する選択手段、前記選択手段で選択された前記対象ユーザに応じた発話を行うように前記発話手段を制御する発話制御を実行する発話制御手段、として機能させ、前記発話制御手段は、前記発話制御の実行中、前記対象ユーザの嗜好に合致する情報をポジティブな表現で発話するように、前記発話手段を制御する、ことを特徴とする。
また、本発明に係る第2の態様のプログラムは、発話するための発話手段を備える会話装置のコンピュータを、互いに会話をする複数のユーザの各々の嗜好に係る関心情報を取得する特徴取得手段、前記特徴取得手段で取得された関心情報に基づき、前記複数のユーザのなかから、同調する又は同調しない対象となる対象ユーザを選択する選択手段、前記選択手段で選択された前記対象ユーザに応じた発話を行うように前記発話手段を制御する発話制御を実行する発話制御手段、として機能させ、前記発話制御手段は、前記発話制御の実行中、前記対象ユーザの嗜好に合致しない情報をネガティブな表現で発話するように、前記発話手段を制御する、ことを特徴とする。
本発明によれば、複数のユーザ間の会話に参加しているかのような発話を行うことができるので、ユーザ間の会話を盛り上げることができる。
本発明の実施形態1に係る会話装置の機能構成を示す図である。 実施形態1に係る会話装置の特徴記憶部に記憶されているデータの一例を示す図である。 実施形態1に係る会話装置の周囲で行われた会話の一例を示す図である。 実施形態1に係る会話装置の周囲で行われた会話の別の例を示す図である。 実施形態1に係る会話装置の特徴取得処理のフローチャートである。 実施形態1に係る会話装置の発話処理のフローチャートである。 実施形態1に係る会話装置がユーザ間の会話に参加しているかのような発話を行っている会話の例を示す図である。 本発明の実施形態2に係る会話装置の機能構成を示す図である。 実施形態2に係る会話装置の装置特徴記憶部に記憶されているデータの一例を示す図である。 変形例1に係る会話装置の対象ユーザ変更処理のフローチャートである。
以下、本発明の実施形態に係る会話装置について、図表を参照して説明する。なお、図中同一又は相当部分には同一符号を付す。
(実施形態1)
本発明の実施形態に係る会話装置は、複数のユーザの特徴を取得して、各ユーザの特徴に基づいて、その複数のユーザの中から同調する対象となる対象ユーザを選択し、その対象のユーザに同調するような発話を行う装置である。ここで、同調とは、選択した対象ユーザの意見に同意することをいい、会話装置は、対象ユーザに同調するような発話を行うことによって、対象ユーザと趣味や、嗜好、考え方、意見等を合わせた発話を行う。本発明の実施形態に係る会話装置は、上述したように、あるユーザに同調した発話を行うことによって、まるで意思や感情を持って複数のユーザの会話に参加しているかのように思わせることができ、それにより、複数のユーザの間の会話を盛り上げることができる。また、ここで、ユーザとは、積極的に会話装置100を使用する意思を持って使用する人だけを指すのではない。積極的な使用意思がなくても、会話装置100の周囲で会話をする人は、会話装置100のユーザである。通常、会話装置100の周囲では複数の人が会話をするので、会話装置100は、複数のユーザによって使用されることになる。
図1に示すように、本発明の実施形態1に係る会話装置100は、機能構成として、制御部10、記憶部20、音声入力部31、画像入力部32、操作入力部33、通信部34、センサ部35、表示部41、音声出力部42、を備える。なお、図1には示されていないが、会話装置100は、例えば、ロボットに搭載されており、このロボットは、周囲を移動するための駆動部を備えることにより、ユーザの近くに移動する機能を有していてもよい。
制御部10は、CPU(Central Processing Unit)等で構成され、記憶部20に記憶されたプログラムを実行することにより、後述する各部(取得部11、特徴取得部12、選択部13、発話制御部14)の機能を実現する。
記憶部20は、ROM(Read Only Memory)、RAM(Random Access Memory)等で構成され、ROMの一部又は全部は電気的に書き換え可能なメモリ(フラッシュメモリ等)で構成されている。記憶部20は、機能的に、特徴記憶部21を含む。ROMには制御部10のCPUが実行するプログラム及びプログラムを実行する上で予め必要なデータが記憶されている。RAMには、プログラム実行中に作成されたり変更されたりするデータが記憶される。
特徴記憶部21には、図2に示すように、ユーザの特徴を示すデータ(特徴データ)が、ユーザID毎に、記憶される。ユーザIDは、ユーザを一意に識別するIDである。特徴記憶部21に記憶される特徴データは、大きく、個人情報と、性格情報と、関心情報とに大別される。
個人情報とは、ユーザIDで示される人の名前(正式な氏名に限定されず、呼び名、あだ名、芸名、通称等でもよい)、その人の声紋のデータ(その人を声で話者認識するために用いられるデータ)、その人の顔画像のデータ(その人を画像で識別するために用いられるデータ)、その人の年齢、性別、使用言語等である。これらは、通常は、ユーザが操作入力部33や通信部34を介して会話装置100の特徴記憶部21に登録するが、制御部10の後述する特徴取得部12が、名前、年齢、性別、使用言語等を周知の音声認識等で分析して取得して、特徴記憶部21に登録してもよい。
また、性格情報とは、特徴取得部12が分析した、その人の性格を示す情報であり、具体的には性格を示す要素(例えば、冷静度、正直度、優しさ度、思いやり度、等)毎に、その要素の度合いを表す情報である。なお、性格情報は、特徴取得部12が分析したその人の性格を示す情報が、分析回数とともに記憶される。分析回数については後述するが、ここでは、データ項目名に記載の性格を示す情報(データ値)を算出する際に使用したユーザの発話文の数(発話回数)が分析回数である。
また、関心情報とは、特徴取得部12が分析した、その人の関心を示す情報であり、具体的には、その人がどのような趣味、嗜好、主義を持っているかを示す情報である。図2では省略しているが、関心情報も性格情報と同様に、各情報(例えば「サッカーリーグ」、「チームA」、「音楽」等)とともに、その情報を抽出する際に使用したユーザの発話文の数(発話回数)を分析回数として記憶してもよい。
なお、性格情報も関心情報も、通常は、特徴取得部12が取得して、特徴記憶部21に登録するが、ユーザが操作入力部33や通信部34を介して性格を示す各要素の度合いや、各ユーザの趣味、嗜好等を特徴記憶部21に登録してもよい。
音声入力部31は、マイクロホンを備え、ユーザが話す音声のデータ(音声データ)を取得する。制御部10は、記憶部20に記憶されたプログラムを実行することにより、音声入力部31が取得した音声データに基づいて、話者の声紋データによる話者認識を行ったり、音声認識による発話文の取得を行ったりすることができる。
画像入力部32は、カメラを備え、周囲の画像のデータ(画像データ)を取得し、画像中に含まれる顔等から人物を特定する人物認識を行うことができる。カメラは全周囲を一度に撮影できる広角レンズを備えており、会話装置100は移動しなくても、周囲の全方位の画像データを取得することができる。
操作入力部33は、スイッチやタッチパネル等を備え、ユーザによって入力される操作内容データ(会話装置100に対する制御コマンド等)を取得する。例えば、ユーザは、ユーザの名前、呼び名、あだ名、芸名、通称等を操作入力部33から、ユーザの名前として入力し、特徴記憶部21に登録することができる。
通信部34は、外部のネットワーク等と通信データを無線で通信するためのアンテナを含む無線モジュールである。例えば、通信部34は、Bluetooth(登録商標)に基づく近距離無線通信を行うための無線モジュールである。通信部34を用いることにより、会話装置100は、外部のサーバから様々な情報を取得することができる。
センサ部35は、会話装置100の加速度を検出する加速度センサを備える。センサ部35は、ユーザが会話装置100を触ったり、持ち上げたりすることによって発生した加速度を検出し、加速度データとして、制御部10に伝える。センサ部35が検出した加速度の値は、特徴取得部12がユーザの性格を分析して取得する際に用いられる。なお、センサ部35は、加速度センサ以外のセンサを備えてもよい。
表示部41は、液晶、有機EL(Electoro-Luminescence)等によるディスプレイを備え、操作入力部33により入力された制御コマンド等を表示する。
音声出力部42は、音声合成手段とスピーカを備え、音声合成により発話を行うことができる。なお、音声出力部42は、音声合成する際に、異なる調子の音声(例えば喜んだ声、悲しい声、事務的な声等)を出力することができる。音声出力部42は、発話手段として機能する。
次に、会話装置100の制御部10の機能的構成について説明する。制御部10は、取得部11、特徴取得部12、選択部13、発話制御部14、の機能を実現し、ユーザの特徴(性格等)に基づいて選択したユーザに同調した発話を行う。また、制御部10は、マルチスレッド機能に対応しており、複数のスレッド(異なる処理の流れ)を並行して実行することができる。
取得部11は、音声入力部31、画像入力部32、操作入力部33、通信部34及びセンサ部35から、音声データ、画像データ、操作内容データ、通信データ及び加速度データを取得する。取得部11は、取得手段として機能する。
特徴取得部12は、特徴記憶部21に記憶されている各ユーザの特徴を取得する。例えば、図2に示す特徴データから、特徴取得部12は、ユーザIDがUser_1のユーザ「花子」の特徴として「冷静度=1、正直度=1」(冷静度も正直度も低い)という性格を取得し、ユーザIDがUser_2のユーザ「太郎」の特徴として「冷静度=10、正直度=8」(冷静度も正直度も高い)という性格を取得する。
また、特徴取得部12は、取得部11が音声入力部31及び画像入力部32から取得した音声データ及び画像データを周知の手法により分析して、会話装置100の周囲にいる人の特徴を取得する。具体的には、特徴取得部12は、音声データや画像データで発話者を識別するとともに、音声データから発話された単語及び表現並びに声の大きさ及び調子(トーン)を分析し、これらに基づいて、発話者の特徴を取得する。そして、特徴取得部12は、分析して取得した特徴を、特徴記憶部21に書き込む。特徴取得部12は、特徴取得手段として機能する。特徴取得部12が分析して取得する「人の特徴」は、性格情報と関心情報とに大別される。
このうち、性格情報はポジティブな性格を示す各性質の度合いを示したパラメータであり、例えば図2では、冷静さの度合いを示す冷静度や正直さの度合いを示す正直度が0から10までの値で示されている。図2では省略されているが、例えば、優しさの度合いを示す優しさ度や思いやりの度合いを示す思いやり度等も性格情報に含まれる。このパラメータ値は、例えば、図3に示すような、会話装置100の周囲で行われているユーザ同士の会話に含まれる発話文を、特徴取得部12が分析した結果に基づいて、取得される。
また、関心情報は、各ユーザの趣味、嗜好、主義を示した情報であり、例えば図2では、ユーザ「花子」の関心情報として「サッカーリーグ、チームA、メロドラマ、バラエティ番組、…」が、ユーザ「太郎」の関心情報として「サッカーリーグ、チームB、音楽、ギター、バンドA、…」が示されている。この関心情報は、例えば、図4に示すような、会話装置100の周囲で行われているユーザ同士の会話に含まれる発話文を、特徴取得部12が分析した結果に基づいて、取得される。図2に示す例では、発話文に含まれるキーワードを抽出しただけの情報になっているが、これに限られない。例えば、関心情報として、「サッカーリーグ<サッカー<スポーツ」、「チームA<サッカーリーグ」、「チームB<サッカーリーグ」、「メロドラマ<テレビ番組」、「ギター<楽器<音楽」のようなシソーラスの情報を含めて記憶してもよい。
選択部13は、特徴取得部12が取得した各ユーザの性格情報に基づき、複数のユーザから、最も望ましい性格を有しているユーザを、同調する対象である対象ユーザとして選択する。上述したように特徴記憶部21に記憶されている性格情報は、ポジティブな性格を示す各性質の度合いを示すパラメータであるので、このパラメータの合計値が最も大きいユーザを対象ユーザとして選択する。なお、ここでは、対象ユーザの選択基準として、「最も望ましい性格を有するユーザ」としたが、これに限定されない。選択部13は、上記とは逆に、最も望ましくない性格を有するユーザを、同調する対象となる対象ユーザとして選択してもよい。この場合、パラメータの合計値が最も小さいユーザを対象ユーザとして選択することになる。
また、選択部13は、特徴記憶部21に記憶されている情報(特徴データ)であれば、性格情報以外の情報に基づいて同調対象となる対象ユーザを選択してもよい。例えば、「20代の女性のうちバラエティ番組に関心を持っている人を同調対象とする」等のように、性別や年齢や趣味、嗜好等に基づいて同調対象となる対象ユーザを選択してもよい。また、選択部13は、性格情報以外の情報と性格情報の両方の情報に基づいて、同調対象となる対象ユーザを選択してもよい。さらに、選択部13は、対象ユーザとして、ランダムにユーザを選択してもよいし、例えば性格情報は無視して、サーバから取得した現在最も話題になっているトピックを関心情報の中に含んでいるユーザを選択してもよい。選択部13は、選択手段として機能する。
発話制御部14は、選択部13が選択した対象ユーザに同調する(そのユーザと意見、趣味等を合わせる)文章を音声出力部42から発話させる制御を行う。発話制御部14は、発話制御手段として機能する。
以上、会話装置100の機能構成について説明した。次に、会話装置100で実行される特徴取得処理及び発話処理について説明する。会話装置100は、ユーザが生活している環境の中(部屋等)に置かれており、ユーザの言動を分析してそれらの人の特徴を取得するとともに、ユーザの特徴に基づいて選択したユーザに同調する発話を行う。ユーザの言動を分析して、各人の特徴を取得する処理が特徴取得処理であり、ユーザの特徴に基づいて選択したユーザに同調する発話を行う処理が発話処理である。特徴取得処理は、会話装置100の電源がオンになっている間は常に行われるようになっていてもよいし、操作入力部33等からの入力によりユーザの指示があった時に行われるようになっていてもよい。また、発話処理は、操作入力部33等からの入力によりユーザの発話指示があった時に行われる。この2つの処理は別スレッドで、同時並行で処理が進められる。したがって、会話装置100は、特徴取得処理を常に行うことによって、リアルタイムでユーザの特徴を取得する(更新する)ことができる。
最初に、特徴取得処理について、図5を参照して説明する。まず、特徴取得部12は、音声入力部31を用いて、ユーザの発話があるか否かを判定する(ステップS101)。ユーザの発話がなければ(ステップS101;No)、ステップS101に戻って、発話が行われるまで待ち続ける。ユーザの発話があるなら(ステップS101;Yes)、特徴取得部12は、音声入力部31から入力した音声データを特徴記憶部21に記憶されている声紋データと照合することによって、発話した人(発話者)を識別する(ステップS102)。なお、この時、特徴取得部12は、画像入力部32から入力した画像データを特徴記憶部21に記憶されている顔画像データと照合することによって、発話者を識別してもよい。
次に、特徴取得部12は、発話された文の内容(発話文の内容)と発話された音声の大きさ及び調子(トーン)を分析し(ステップS103)、発話文中で使われている単語及び表現を、周知の手法により抽出する。そして、特徴取得部12は、ステップS103での分析結果、つまり、発話文中で使われている単語及び表現並びに発話された音声の大きさ及び調子(トーン)等に基づいて、発話者の特徴を取得する(ステップS104)。ステップS103及びステップS104において、特徴取得部12は特徴取得手段として機能する。また、ステップS103及びステップS104は取得ステップとも呼ばれる。なお、この時、特徴取得部12は、画像入力部32から入力した画像データやセンサ部35から入力した加速度データに基づいて、発話者の特徴を取得してもよい。
ステップS104で特徴取得部12が発話者の特徴を取得する方法について補足説明する。ここでは、特徴取得部12が取得する発話者の特徴は性格を表すパラメータであり、性格を表すパラメータは、冷静度、正直度、優しさ度及び思いやり度の4種類であるとする。このうち、冷静度は、発話時の音声の強さ及び発話文中で強い表現(語気の荒い表現、命令口調等。例えば「なにやっているんだ」、「・・・しろ」等)や冷静な表現(落ち着いた表現、丁寧な口調等)が使われているか否かによって値が定まる。冷静度は、発話時の音声が強かったり、発話文中で強い表現が多く使われたりしていれば、低くなり(最小値0)、発話時の音声が弱かったり、発話文中で冷静な表現が多く使われていれば、高くなる(最大値10)。正直度は、発話文中で使われている単語に「だます」「はめる」等、嘘をついたりだましたりする際に使われる単語が含まれていると、低くなり、発話文中に「正直に言った方が良いよ」、「嘘をついてはいけないよ」等、正直者であることを示す文が含まれていると、高くなる。
優しさ度は、発話文中で優しい表現(例えば、丁寧語)が含まれていれば、高くなり、優しくない表現(例えば、命令口調、非丁寧語)が含まれていれば、低くなる。思いやり度は、発話文中に、相手を思いやる表現(例えば、「・・・してあげましょうか」、「・・・をあげますよ」等)が含まれていれば、高くなり、相手に要求するような表現(例えば、「・・・してよ」、「・・・が欲しい」等)が含まれていれば、低くなる。
また、ユーザが会話装置100を使用しているときにセンサ部35で取得した加速度の値が基準値よりも大きければ、会話装置100を触ったり持ったりしたユーザは乱暴な人である可能性が高いため、特徴取得部12は、そのユーザ(会話装置100を触ったり持ったりしたユーザ)の優しさ度を低くする。また、特徴取得部12は、画像データを用いてユーザの特徴を取得してもよい。例えば、周囲のユーザの顔の画像データを画像入力部32で入力して周知の表情認識技術により認識し、優しい表情を認識したらそのユーザの優しさ度を高くし、恐い表情を認識したら優しさ度を低くしてもよい。
以上、特徴取得部12がステップS104で、発話者の特徴を取得する方法について補足説明した。図5に戻り、次に、特徴取得部12は、ステップS104で取得した発話者の特徴に基づいて特徴記憶部21に記憶されている特徴データの内容を更新し(ステップS105)、ステップS101に戻る。
ステップS105における特徴記憶部21に記憶されている特徴データの内容の更新について、補足説明する。ステップS104で特徴取得部12が取得する発話者の特徴は、あくまでもその発話1回限りにおいての特徴であり、発話者の本来の特徴を表していない可能性がある。そこで、特徴記憶部21には、発話者のそれまでの発話から得られた特徴データの平均値が格納されるように、値を更新する。
具体的には、ステップS102で識別した発話者の各パラメータの値(図2の「データ値」)に、それまでのその発話者の発話回数(図2の「分析回数」)を乗算し、その値(積)にステップS104で取得したパラメータの値を加算する。そして、その発話者の発話回数(分析回数)に1を加算し、パラメータ値加算後の値を1加算後の発話回数(分析回数)で割った値を更新後のパラメータ値(データ値)とする。そして、更新後のパラメータ値と、1加算後の発話回数(分析回数)と、をそれぞれ、特徴記憶部21の「データ値」及び「分析回数」に書き込む。このように更新することによって、各パラメータ値(データ値)には、今まで取得した値の平均値が格納されるようになり、発話者の本来の特徴が表される可能性を高めることができる。
もっとも、場合によっては特徴データを平均化せずに、発話1回限りにおけるユーザの特徴を利用したい場合も考えられる。その場合は、発話回数(分析回数)で平均化する処理は行わずに、発話1回限りにおいての特徴データを特徴記憶部21の「データ値」に書き込むようにする。このようにすることにより、そのときどきのユーザの性格や趣味、嗜好に応じて、特徴データが設定されることになる。
また、特徴データを平均化する場合においても、分析回数が大きくなりすぎると(例えば数万回等)特徴データがほとんど変化しなくなってしまう(過去の発話データから得られる特徴データとほぼ同じ値のままになる)。そこで、特徴記憶部21に記憶されている特徴データの内容(データ値及び分析回数)は、定期的(例えば毎朝、毎週、毎月等)にクリアしたり、分析回数を小さくしたりしてもよい。このようにすることにより、急に性格や趣味、嗜好が変化したユーザに対して、素早く特徴データを追従させることができるようになる。
以上説明した特徴取得処理により、特徴記憶部21には、特徴取得部12が分析した、各人の特徴(性格)を示すパラメータが記憶される。次に、発話処理について、図6を参照して説明する。発話処理においては、最初に会話が開始された時、又はユーザ間の会話が途切れた後に再度会話が開始された時に、同調する対象となる対象ユーザを選択する処理を行うために、対象ユーザが選択済みであるか否かを示すフラグ変数SFを導入する。
まず、制御部10は、フラグ変数SFを0に初期化する(ステップS201)。次に、取得部11は、特徴記憶部21に記憶されている全ユーザの関心情報を参照し、当該関心情報に関連する最近の情報を、通信部34を介して、外部のサーバから取得する(ステップS202)。例えば、図2に示す関心情報を例にすると、取得部11は、外部のサーバから、「サッカーリーグ関連のニュース」、「テレビ番組の最新情報」、「音楽や楽器の最新情報」等を取得することになる。
次に、制御部10は、音声入力部31を用いて、周囲の複数のユーザ間で会話が行われているか否かを判定する(ステップS203)。会話が行われていなければ(ステップS203;No)、制御部10は、フラグ変数SFを0に初期化して(ステップS204)、ステップS202に戻る。会話が行われているなら(ステップS203;Yes)、制御部10は、フラグ変数SFが0であるか否かを判定する(ステップS205)。フラグ変数SFが0でなければ(ステップS205;No)、ステップS209に進む。
フラグ変数SFが0なら(ステップS205;Yes)、特徴取得部12は、特徴記憶部21に記憶されている各ユーザの性格情報を読み出す(ステップS206)。ステップS206は、特徴取得ステップとも呼ばれる。
そして、選択部13は、特徴取得部12が読み出した各ユーザの性格情報に基づき、複数のユーザから、同調する対象となる対象ユーザを選択する(ステップS207)。ステップS207において、選択部13は、選択手段として機能する。ステップS207は、選択ステップとも呼ばれる。ステップS207では、例えば、選択部13は、特徴記憶部21に記憶されている各ユーザの性格情報のパラメータの和をユーザ毎に求め、その和が最も大きいユーザを対象ユーザとして選択する。すなわち、選択部13は、複数のユーザの各々の性格を互いに比較した比較結果に基づいて、対象ユーザを選択する。例えば、図2に示す性格情報を例にすると、User_1(花子)の性格情報(パラメータの和は2)よりUser_2(太郎)の性格情報(パラメータの和は18)の方がパラメータの和が大きいので、選択部13は、User_2(太郎)を対象ユーザとして選択する。そして、制御部10は、対象ユーザが選択済みであることを示すために、フラグ変数SFに1をセットする(ステップS208)。
そして、取得部11は、音声入力部31から会話内容を取得する(ステップS209)。次に、制御部10は、ステップS209で取得部11が取得した対象ユーザの会話内容に関する最新情報を、ステップS202で取得部11が取得済みか否かを判定する(ステップS210)。取得済みでなければ(ステップS210;No)、ステップS202に戻る。取得済みなら(ステップS210;Yes)、制御部10は、取得済みの最新情報が、選択部13が選択したユーザの嗜好に合致しているか否かを判定する(ステップS211)。
取得済みの最新情報が、選択部13が選択した対象ユーザの嗜好に合致しているなら(ステップS211;Yes)、発話制御部14は、その最新情報をポジティブな表現で発話するように音声出力部42を制御する(ステップS212)。例えば、発話制御部14は、最新情報を喜んだ声で発話するように音声出力部42を制御する。ステップS208において、発話制御部14は発話制御手段として機能する。ステップS212は、発話制御ステップとも呼ばれる。図2に示す関心情報を例にすると、対象ユーザであるUser_2(太郎)は「サッカーリーグが好き」、「チームBが好き」、「音楽が好き」、「ギターが好き」、「バンドAが好き」等の嗜好を持っているので、例えば「チームBが勝った」という最新情報をステップS202で取得済みなら、「取得済みの最新情報が、対象ユーザの嗜好に合致している」ということになり、発話制御部14は、この最新情報を喜んだ声で発話するように音声出力部42を制御することになる。
一方、取得済みの最新情報が、対象ユーザの嗜好に合致していないなら(ステップS211;No)、発話制御部14は、その最新情報をネガティブな表現で発話するように音声出力部42を制御する(ステップS213)。例えば、発話制御部14は、最新情報を悲しい声で発話するように音声出力部42を制御する。ステップS213も、発話制御ステップとも呼ばれる。例えば「バンドAの公演が中止になった」という最新情報をステップS202で取得済みなら、「取得済みの最新情報が、対象ユーザの嗜好に合致していない」ということになり、発話制御部14は、最新情報を悲しい声で発話するように音声出力部42を制御することになる。
そして、制御部10は、音声入力部31を用いて、周囲のユーザ間での会話が終了したか否かを判定する(ステップS214)。会話が終了していないなら(ステップS214;No)、ステップS209に戻る。会話が終了しているなら(ステップS214;Yes)、発話処理を終了する。
以上説明した発話処理により、会話装置100は、図7に示すように、まるで意思や感情を持って複数のユーザ間の会話に参加しているかのような発話を行うことができ、複数のユーザ間の会話を盛り上げることができる。また、会話装置100は、ポジティブな性格要素のパラメータが高い人を同調する対象となる対象ユーザとして選択するので、会話装置100に同調して欲しいと思ったユーザは、自然とポジティブな性格が表出されるような良い会話を行うようになる。このため、会話装置100は、子供の情緒教育にも役立つ。
(実施形態2)
実施形態1では、選択部13は、特徴取得部12が取得した各ユーザの性格情報に基づき、最も望ましい性格を有しているユーザを同調する対象として選択する処理を行ったが、これに限られない。例えば、会話装置が自身の疑似性格をパラメータとして記憶部20に記憶しておき、自身の疑似性格と類似する性格を有するユーザを選択するようにしてもよい。このような実施形態2に係る会話装置について説明する。
図8に示すように、実施形態2に係る会話装置101は、実施形態1に係る会話装置100に、装置特徴記憶部22が追加された構成になっている。装置特徴記憶部22は、図9に示すように、会話装置101の擬人化された特徴情報(疑似性格等)を記憶する。図9に示す例では、装置IDがRobot_1で示される会話装置101の名前は「ロボ太」、年齢は12歳に設定されており、疑似性格として性格情報のパラメータは「冷静度=8、正直度=6、優しさ度=9、思いやり度=9」に設定されており、疑似的な関心事項として関心情報は「サッカーリーグ、野球、クイズ番組、…」に設定されている。
実施形態2に係る会話装置101の選択部13は、装置特徴記憶部22に記憶されている性格情報と最も類似度の高い性格情報を持つユーザを同調する対象として選択する。最も類似度の高い性格情報を持つユーザを選択する方法としては、例えば、ユーザの性格情報と会話装置101の性格情報とを、それぞれ各性格のパラメータを要素とする同じ次元数のベクトルで表し、各ベクトルのノルムを1に正規化した後に、類似度を求める2つのベクトルの内積を求める方法が挙げられる。例えば、第1要素が冷静度、第2要素が正直度、第3要素が優しさ度、第4要素が思いやり度の4次元ベクトルで特徴を表すこととする。すると例えば、ユーザ「花子」の性格情報は(1,1,1,0)というベクトルで、ユーザ「太郎」の性格情報は(10,8,8,7)というベクトルで、会話装置101の性格情報は(8,6,9,9)というベクトルでそれぞれ表されることになる。
すると、正規化後の(1,1,1,0)と正規化後の(8,6,9,9)の内積の値は、正規化後の(10,8,8,7)と正規化後の(8,6,9,9)の内積の値よりも小さいので、ユーザ「花子」と会話装置101の性格の類似度は、ユーザ「太郎」と会話装置101の性格の類似度よりも小さいことがわかる。したがって、選択部13は、類似度が高いユーザ「太郎」を同調する対象ユーザとして選択する。
実施形態2に係る会話装置101では、会話装置101に設定した疑似性格と類似度の高いユーザが対象ユーザとして選択されるので、選択されるユーザの自由度を向上させることができ、複数のユーザの間の会話をより盛り上げることができる。
なお、上述の実施形態2では、対象ユーザとして、会話装置101に設定した疑似性格と類似度の高いユーザを選択したが、これに限られない。会話装置101は、会話装置101に設定された年齢と同じ年齢のユーザを対象ユーザとして選択したり、会話装置101に設定された擬似的な関心事項と共通の趣味、嗜好を持つユーザを対象ユーザとして選択したりしてもよい。
(変形例1)
上述の実施形態では、選択部13は、ユーザの特徴(性格情報等)に基づいて同調の対象となる対象ユーザを選択するので、対象ユーザが連続して同一ユーザになってしまうことも多いと考えられる。しかし、そうすると、会話装置に同調して欲しいのに同調してくれないユーザが気分を害する可能性が生じる。そこで、対象ユーザが所定の回数連続して同じ人になった場合には、選択部13がそれ以外の人を選択するようにする変形例1について説明する。
変形例1の発話処理は、上述した発話処理(図6)のステップS205でNoと判定された直後(ステップS209の直前であって、ステップS208の後及びステップS214:Noの後)に図10に示す対象ユーザ変更処理を行う。対象ユーザ変更処理では、同じ人が対象ユーザとして選択された状態で会話装置100,101が発話した回数をカウントする変数Cと、同じ人が対象ユーザとして選択された状態で会話装置100,101が発話する回数を制限する変数Limitを導入し、発話処理(図6)の最初(ステップS201の前)で、変数Cには0を代入し、変数Limitには連続発話制限値(例えば5)を代入しておく。なお、会話終了後(ステップS214;Yesの後)に変数Cをクリア(0を代入)してもよい。
対象ユーザ変更処理では、まず、制御部10は、変数Cに1を加算し(ステップS301)、変数Cの値が変数Limitの値より大きくなったか否かを判定する(ステップS302)。
変数Cの値が変数Limitの値以下であれば(ステップS302;No)、対象ユーザ変更処理を終了して、発話処理(図6)のステップS209に進む。変数Cの値が変数Limitの値より大きければ(ステップS302;Yes)、選択部13は今回選択した対象ユーザを変更する(ステップS303)。どのようなユーザに変更するのかについては後述する。そして、制御部10は、変数Cの値を0に初期化して(ステップS304)、対象ユーザ変更処理を終了し、発話処理(図6)のステップS209に進む。
ステップS303で選択部13が対象ユーザをどのようなユーザに変更するのかについては、いくつかの方法が考えられる。1つ目の方法は、次点のユーザに変更する方法である。この方法の場合、選択部13は、今回選択した対象ユーザがもしいなかったとしたら選択していただろうユーザに対象ユーザを変更する。
2つ目の方法は、選択基準を逆にする方法である。上述の実施形態1にこの変形例1を適用する場合、選択部13は特徴記憶部21に記憶されている各ユーザの性格情報のパラメータの和をユーザ毎に求め、その和が最も小さいユーザに対象ユーザを変更する。また、上述の実施形態2にこの変形例1を適用する場合、選択部13は装置特徴記憶部22に記憶されている性格情報と最も類似度の低い性格情報を持つユーザに対象ユーザを変更する。
以上のような変形例1では、同じユーザが同調対象として選択され続けることを防ぐことができるので、選択される対象ユーザのバリエーションが広がり、複数のユーザの間の会話をより盛り上げることができる。
(変形例2)
上述の実施形態では、特徴取得部12は、同一の特徴記憶部21から各ユーザの特徴を取得していた。しかし、これに限られない。例えば1回の会話内のみで各ユーザの特徴を記憶する短期特徴記憶部(図示せず)を記憶部20に備え、発話処理(図6)内では、ステップS209とステップS210の間で短期特徴記憶部から取得した性格情報によって対象ユーザを選択するようにしてもよい。
このような処理を行う変形例2では、会話中に選択ユーザが切り替わる頻度が多くなるので、複数のユーザの間の会話をより盛り上げることができる。
なお、上述の実施形態では、取得部11が音声入力部31や画像入力部32から取得した音声データや画像データを特徴取得部112が分析して、会話装置100,101の周囲にいる人の特徴を取得しているが、これに限られない。特徴取得部12は、音声データや画像データを分析せずに、予め特徴記憶部21に記憶させておいた各ユーザの特徴を取得してもよい。このように、特徴取得部12がユーザの特徴を取得する際に音声データや画像データを用いないのであれば、会話装置100,101は、音声入力部31や画像入力部32を備えなくてもよい。
また、上述の実施形態では、選択部13は、同調対象となる対象ユーザを1人だけ選択したが、複数のユーザを対象ユーザとして選択してもよい。例えば、同じチームのファン同士でユーザをグループに分け、グループを構成する複数のユーザの特徴データに基づいて、同調対象となるグループを構成する複数のユーザを対象ユーザとして選択してもよい。
この場合、例えば、グループを構成する複数のユーザの特徴データの平均値(例えば性格情報のパラメータの和の平均値)に基づいて、平均値が最も大きいグループを構成する複数のユーザを、対象ユーザとして選択してもよいし、グループを構成する複数のユーザの特徴データの最大値(又は最小値)に基づいて、より大きな最大値を有するグループを構成する複数のユーザを、対象ユーザとして選択してもよい。
そして、選択した複数の対象ユーザの嗜好に合致しているか否かの判定においては、複数の対象ユーザの関心情報の中に頻出する(例えば基準出現度(例えば対象ユーザ数の50%)以上出現する)嗜好に合致しているか否かの判定を行うようにしてもよいし、複数の対象ユーザの中で、性格情報のパラメータの和が最も大きいユーザの嗜好に合致しているか否かの判定を行うようにしてもよい。
また、上述の実施形態では、選択部13が同調する対象となる対象ユーザを選択し、発話制御部14が該対象ユーザに同調する発話を行ったが、これに限られない。選択部13が同調しない対象となるユーザを対象ユーザとして選択し、発話制御部14が該対象ユーザに同調しないような発話を行ってもよい。この場合、例えば、発話処理(図6)のステップS207では、ネガティブな性格を持つユーザが同調しない対象ユーザとして選択され、発話処理(図6)のステップS211~S213では、取得済みの最新情報が、対象ユーザの嗜好に合致していない場合にポジティブな表現で発話され、合致している場合にはネガティブな表現で発話されることになる。
なお、上述の各実施形態では、特徴取得部12がユーザの特徴(性格)を取得する際に、音声入力部31で入力した音声データを分析して得られる発話の内容(発話された単語、表現等)、音声の大きさや調子、画像入力部32で入力した画像データを表情認識して得られる顔の表情、センサ部35で取得した加速度、等を用いたが、これに限られない。特徴取得部12は、これらの情報の一部のみ(例えば、発話された単語のみ、発話された単語と音声の大きさのみ、等)を用いてユーザの特徴(性格)を取得してもよい。また、特徴取得部12は、これらの情報に代えて、又はこれらの情報とともに、他の適当なパラメータ(例えば、血液型、生年月日(星座)等)を用いてユーザの特徴(性格)を取得してもよい。
なお、上述の各実施形態では会話装置100,101はセンサ部35を備えているが、特徴取得部12がユーザの特徴を取得する際に加速度データを用いないのであれば、会話装置100,101はセンサ部35を備えなくてよい。また、特徴取得部12がユーザの特徴を取得する際に画像データを用いないのであれば、会話装置100,101は画像入力部32を備えなくてもよい。
また、上述の実施形態及び変形例は適宜組み合わせることができる。例えば、実施形態1の選択部13による対象ユーザ選択方法と実施形態2の選択部13による対象ユーザ選択方法とのいずれかを適宜(例えばランダムに)選択して、対象ユーザを選択してもよい。
また、ロボットが上述の会話装置100,101を備えることにより、該ロボットは、複数のユーザ間の会話に参加しているかのような発話を行うことができるようになる。この場合、例えばロボットの形態をかわいらしいペット形状等にすることにより、ユーザ間の会話をさらに盛り上げることが期待できる。
なお、会話装置100,101の各機能は、通常のPC(Personal Computer)等のコンピュータによっても実施することができる。具体的には、上記実施形態では、会話装置100,101が行う特徴取得処理や発話処理のプログラムが、記憶部20のROMに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)及びMO(Magneto-Optical Disc)、メモリカード、USB(Universal Serial Bus)メモリ等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。また、プログラムをインターネット等の通信ネットワークを介して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
(付記1)
発話するための発話手段と、
複数のユーザの各々の特徴を取得する特徴取得手段と、
前記特徴取得手段で取得された複数のユーザの各々の特徴に基づき、前記複数のユーザから、同調する又は同調しない対象となる対象ユーザを選択する選択手段と、
前記選択手段で選択された前記対象ユーザに応じた発話を行うように前記発話手段を制御する発話制御を実行する発話制御手段と、
を備える会話装置。
(付記2)
前記選択手段は、前記取得された複数のユーザの各々の特徴に基づき、前記複数のユーザから、同調する対象となる対象ユーザを選択し、
前記発話制御手段は、前記発話制御を実行することによって、前記選択された前記対象ユーザに同調するような発話を行うように前記発話手段を制御する、
付記1に記載の会話装置。
(付記3)
前記発話制御手段は、前記複数のユーザ間で会話が行われているときに、前記発話制御を実行する、
付記1又は2に記載の会話装置。
(付記4)
前記特徴取得手段は、前記複数のユーザの各々の特徴として前記複数のユーザの各々の性格情報を取得し、
前記選択手段は、前記特徴取得手段で取得された複数のユーザの各々の性格情報に基づき、前記複数のユーザから前記対象ユーザを選択する、
付記1から3のいずれか1つに記載の会話装置。
(付記5)
前記特徴取得手段は、前記複数のユーザの各々による発話を分析し、分析した発話に応じて、前記複数のユーザの各々の特徴を取得する、
付記1から4のいずれか1つに記載の会話装置。
(付記6)
前記特徴取得手段は、前記複数のユーザの間で会話が行われているときに、前記複数のユーザの各々による発話を分析する、
付記5に記載の会話装置。
(付記7)
前記特徴取得手段は、前記複数のユーザの各々による発話の内容を分析し、分析した発話の内容に応じて、前記複数のユーザの各々の特徴を取得する、
付記5又は6に記載の会話装置。
(付記8)
前記特徴取得手段は、前記複数のユーザの各々の音声の大きさを分析し、分析した音声の大きさに応じて、前記複数のユーザの各々の特徴を取得する、
付記5又は6に記載の会話装置。
(付記9)
当該会話装置の加速度を検出する加速度センサをさらに備え、
前記特徴取得手段は、前記複数のユーザの各々が当該会話装置を使用しているときに前記加速度センサが検出した加速度の値に応じて、前記複数のユーザの各々の特徴を取得する、
付記1から4のいずれか1つに記載の会話装置。
(付記10)
前記複数のユーザの各々の特徴には、前記複数のユーザの各々の嗜好を含む関心情報が含まれ、
前記選択手段により選択された対象ユーザの関心情報に関連する情報を取得する取得手段をさらに備え、
前記発話制御手段は、前記発話制御の実行中、前記取得手段で取得された情報のうち、前記対象ユーザの嗜好に合致する情報をポジティブな表現で発話するように、前記発話手段を制御する、
付記1から9のいずれか1つに記載の会話装置。
(付記11)
前記複数のユーザの各々の特徴には、前記複数のユーザの各々の嗜好を含む関心情報が含まれ、
前記選択手段により選択された対象ユーザの関心情報に関連する情報を取得する取得手段をさらに備え、
前記発話制御手段は、前記発話制御の実行中、前記取得手段で取得された情報のうち、前記対象ユーザの嗜好に合致しない情報をネガティブな表現で発話するように、前記発話手段を制御する、
付記1から9のいずれか1つに記載の会話装置。
(付記12)
前記選択手段は、前記対象ユーザを選択した後において、所定の条件が成立したときに、前記複数のユーザから、それまでに前記対象ユーザとして選択していたユーザとは異なるユーザを前記対象ユーザとして選択する、
付記1から11のいずれか1つに記載の会話装置。
(付記13)
付記1から12のいずれか1つに記載の会話装置を備えたロボット。
(付記14)
発話するための発話手段を備える会話装置を制御するための会話装置制御方法であって、
複数のユーザの各々の特徴を取得する特徴取得ステップと、
前記特徴取得ステップで取得された複数のユーザの各々の特徴に基づき、前記複数のユーザから、同調する又は同調しない対象となる対象ユーザを選択する選択ステップと、
前記選択ステップで選択された前記対象ユーザに応じた発話を行うように前記発話手段を制御する発話制御ステップと、
を含む会話装置制御方法。
(付記15)
発話するための発話手段を備える会話装置のコンピュータに、
複数のユーザの各々の特徴を取得する特徴取得ステップ、
前記特徴取得ステップで取得された複数のユーザの各々の特徴に基づき、前記複数のユーザから、同調する又は同調しない対象となる対象ユーザを選択する選択ステップ、及び、
前記選択ステップで選択された前記対象ユーザに応じた発話を行うように前記発話手段を制御する発話制御ステップ、
を実行させるためのプログラム。
10…制御部、11…取得部、12…特徴取得部、13…選択部、14…発話制御部、20…記憶部、21…特徴記憶部、22…装置特徴記憶部、31…音声入力部、32…画像入力部、33…操作入力部、34…通信部、35…センサ部、41…表示部、42…音声出力部、100,101…会話装置

Claims (10)

  1. 発話するための発話手段と、
    互いに会話をする複数のユーザの各々の嗜好に係る関心情報を取得する特徴取得手段と、
    前記特徴取得手段で取得された関心情報に基づき、前記複数のユーザのなかから、同調する又は同調しない対象となる対象ユーザを選択する選択手段と、
    前記選択手段で選択された前記対象ユーザに応じた発話を行うように前記発話手段を制御する発話制御を実行する発話制御手段と、
    を備え、
    前記発話制御手段は、前記発話制御の実行中、前記対象ユーザの嗜好に合致する情報をポジティブな表現で発話するように、前記発話手段を制御する、
    会話装置。
  2. 発話するための発話手段と、
    互いに会話をする複数のユーザの各々の嗜好に係る関心情報を取得する特徴取得手段と、
    前記特徴取得手段で取得された関心情報に基づき、前記複数のユーザのなかから、同調する又は同調しない対象となる対象ユーザを選択する選択手段と、
    前記選択手段で選択された前記対象ユーザに応じた発話を行うように前記発話手段を制御する発話制御を実行する発話制御手段と、
    を備え、
    前記発話制御手段は、前記発話制御の実行中、前記対象ユーザの嗜好に合致しない情報をネガティブな表現で発話するように、前記発話手段を制御する、
    会話装置。
  3. 前記発話制御手段は、前記複数のユーザ間で会話が行われているときに、前記発話制御を実行する、
    請求項1又は2に記載の会話装置。
  4. 前記選択手段は、前記対象ユーザを選択した後において、所定の条件が成立したときに、前記複数のユーザのなかから、それまでに前記対象ユーザとして選択していたユーザとは異なるユーザを前記対象ユーザとして選択しなおす、
    請求項1から3のいずれか1項に記載の会話装置。
  5. 前記特徴取得手段は、前記複数のユーザによる会話の内容に基づいて前記関心情報を取得する、
    請求項1から4のいずれか1項に記載の会話装置。
  6. 請求項1から5のいずれか1項に記載の会話装置を備えたロボット。
  7. 発話するための発話手段を備える会話装置を制御するための会話装置制御方法であって、
    互いに会話をする複数のユーザの各々の嗜好に係る関心情報を取得する特徴取得ステップと、
    前記特徴取得ステップで取得された関心情報に基づき、前記複数のユーザのなかから、同調する又は同調しない対象となる対象ユーザを選択する選択ステップと、
    前記選択ステップで選択された前記対象ユーザに応じた発話を行うように前記発話手段を制御する発話制御ステップと、
    を含み、
    前記発話制御ステップは、前記対象ユーザの嗜好に合致する情報をポジティブな表現で発話するように、前記発話手段を制御する、
    会話装置制御方法。
  8. 発話するための発話手段を備える会話装置を制御するための会話装置制御方法であって、
    互いに会話をする複数のユーザの各々の嗜好に係る関心情報を取得する特徴取得ステップと、
    前記特徴取得ステップで取得された関心情報に基づき、前記複数のユーザのなかから、同調する又は同調しない対象となる対象ユーザを選択する選択ステップと、
    前記選択ステップで選択された前記対象ユーザに応じた発話を行うように前記発話手段を制御する発話制御ステップと、
    を含み、
    前記発話制御ステップは、前記対象ユーザの嗜好に合致しない情報をネガティブな表現で発話するように、前記発話手段を制御する、
    会話装置制御方法。
  9. 発話するための発話手段を備える会話装置のコンピュータを、
    互いに会話をする複数のユーザの各々の嗜好に係る関心情報を取得する特徴取得手段、
    前記特徴取得手段で取得された関心情報に基づき、前記複数のユーザのなかから、同調する又は同調しない対象となる対象ユーザを選択する選択手段、
    前記選択手段で選択された前記対象ユーザに応じた発話を行うように前記発話手段を制御する発話制御を実行する発話制御手段、
    として機能させ、
    前記発話制御手段は、前記発話制御の実行中、前記対象ユーザの嗜好に合致する情報をポジティブな表現で発話するように、前記発話手段を制御する、
    プログラム。
  10. 発話するための発話手段を備える会話装置のコンピュータを、
    互いに会話をする複数のユーザの各々の嗜好に係る関心情報を取得する特徴取得手段、
    前記特徴取得手段で取得された関心情報に基づき、前記複数のユーザのなかから、同調する又は同調しない対象となる対象ユーザを選択する選択手段、
    前記選択手段で選択された前記対象ユーザに応じた発話を行うように前記発話手段を制御する発話制御を実行する発話制御手段、
    として機能させ、
    前記発話制御手段は、前記発話制御の実行中前記対象ユーザの嗜好に合致しない情報をネガティブな表現で発話するように、前記発話手段を制御する、
    プログラム。
JP2018099332A 2018-05-24 2018-05-24 会話装置、ロボット、会話装置制御方法及びプログラム Active JP7131077B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018099332A JP7131077B2 (ja) 2018-05-24 2018-05-24 会話装置、ロボット、会話装置制御方法及びプログラム
CN201910401299.4A CN110524547B (zh) 2018-05-24 2019-05-14 会话装置、机器人、会话装置控制方法以及存储介质
US16/414,850 US11205424B2 (en) 2018-05-24 2019-05-17 Conversation apparatus, robot, conversation apparatus control method, and non-transitory computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018099332A JP7131077B2 (ja) 2018-05-24 2018-05-24 会話装置、ロボット、会話装置制御方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2019203998A JP2019203998A (ja) 2019-11-28
JP2019203998A5 JP2019203998A5 (ja) 2021-07-26
JP7131077B2 true JP7131077B2 (ja) 2022-09-06

Family

ID=68614846

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018099332A Active JP7131077B2 (ja) 2018-05-24 2018-05-24 会話装置、ロボット、会話装置制御方法及びプログラム

Country Status (3)

Country Link
US (1) US11205424B2 (ja)
JP (1) JP7131077B2 (ja)
CN (1) CN110524547B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651860B (zh) * 2020-12-18 2021-11-05 重庆师范大学 讨论式机器人教学系统、方法及装置
CN113459100B (zh) * 2021-07-05 2023-02-17 上海仙塔智能科技有限公司 基于机器人人格的处理方法、装置、设备以及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005342862A (ja) 2004-06-04 2005-12-15 Nec Corp ロボット
JP2008278981A (ja) 2007-05-09 2008-11-20 Advanced Telecommunication Research Institute International 性格判別装置、性格判別方法、コミュニケーションロボットおよび電子機器
JP2011524551A (ja) 2008-06-17 2011-09-01 ボイスセンス エルティーディー. スピーチ分析による話者の特徴化
JP2016071050A (ja) 2014-09-29 2016-05-09 シャープ株式会社 音声対話装置、音声対話システム、端末、音声対話方法およびコンピュータを音声対話装置として機能させるためのプログラム
JP2017010309A (ja) 2015-06-23 2017-01-12 トヨタ自動車株式会社 意思決定支援装置および意思決定支援方法
WO2017130497A1 (ja) 2016-01-28 2017-08-03 ソニー株式会社 通信システムおよび通信制御方法
JP2018045118A (ja) 2016-09-15 2018-03-22 富士ゼロックス株式会社 対話装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144938A (en) * 1998-05-01 2000-11-07 Sun Microsystems, Inc. Voice user interface with personality
JP2007025140A (ja) * 2005-07-14 2007-02-01 Yaskawa Electric Corp ロボット装置およびロボット装置の情報提示方法
JP2008226400A (ja) * 2007-03-15 2008-09-25 Sony Computer Entertainment Inc オーディオ再生装置およびオーディオ再生方法
JP6432177B2 (ja) 2014-06-20 2018-12-05 カシオ計算機株式会社 対話型通信システム、端末装置およびプログラム
JP6122816B2 (ja) * 2014-08-07 2017-04-26 シャープ株式会社 音声出力装置、ネットワークシステム、音声出力方法、および音声出力プログラム
EP3264258A4 (en) * 2015-02-27 2018-08-15 Sony Corporation Information processing device, information processing method, and program
JP6594646B2 (ja) * 2015-04-10 2019-10-23 ヴイストン株式会社 ロボット及びロボット制御方法並びにロボットシステム
JP6841239B2 (ja) * 2016-01-25 2021-03-10 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2017130496A1 (ja) * 2016-01-25 2017-08-03 ソニー株式会社 通信システムおよび通信制御方法
US10331795B2 (en) * 2016-09-28 2019-06-25 Panasonic Intellectual Property Corporation Of America Method for recognizing speech sound, mobile terminal, and recording medium
US11298080B2 (en) * 2016-11-11 2022-04-12 Sony Mobile Communications Inc. Reproduction terminal and reproduction method
JP7070546B2 (ja) * 2017-03-24 2022-05-18 ソニーグループ株式会社 情報処理装置および情報処理方法
EP3605316A4 (en) * 2017-03-30 2020-04-01 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
WO2018217194A1 (en) * 2017-05-24 2018-11-29 Rovi Guides, Inc. Methods and systems for correcting, based on speech, input generated using automatic speech recognition
US10381005B2 (en) * 2017-11-28 2019-08-13 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for determining user frustration when using voice control
US11037555B2 (en) * 2017-12-08 2021-06-15 Google Llc Signal processing coordination among digital voice assistant computing devices
US10522143B2 (en) * 2018-02-27 2019-12-31 Microsoft Technology Licensing, Llc Empathetic personal virtual digital assistant
KR20190129580A (ko) * 2018-05-11 2019-11-20 삼성전자주식회사 음성 인식 모델을 개인화하는 방법 및 장치
US11152001B2 (en) * 2018-12-20 2021-10-19 Synaptics Incorporated Vision-based presence-aware voice-enabled device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005342862A (ja) 2004-06-04 2005-12-15 Nec Corp ロボット
JP2008278981A (ja) 2007-05-09 2008-11-20 Advanced Telecommunication Research Institute International 性格判別装置、性格判別方法、コミュニケーションロボットおよび電子機器
JP2011524551A (ja) 2008-06-17 2011-09-01 ボイスセンス エルティーディー. スピーチ分析による話者の特徴化
JP2016071050A (ja) 2014-09-29 2016-05-09 シャープ株式会社 音声対話装置、音声対話システム、端末、音声対話方法およびコンピュータを音声対話装置として機能させるためのプログラム
JP2017010309A (ja) 2015-06-23 2017-01-12 トヨタ自動車株式会社 意思決定支援装置および意思決定支援方法
WO2017130497A1 (ja) 2016-01-28 2017-08-03 ソニー株式会社 通信システムおよび通信制御方法
JP2018045118A (ja) 2016-09-15 2018-03-22 富士ゼロックス株式会社 対話装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
松山 洋一,"多人数会話活性化のための自発的行動タイミング検出と発話行動戦略",第67回 言語・音声理解と対話処理研究会資料 (SIG-SLUD-B203) ,日本,社団法人人工知能学会 JSAI(The Japanese Society for Artificial Intelligence),2013年01月25日,pp.17-24

Also Published As

Publication number Publication date
CN110524547B (zh) 2023-04-25
JP2019203998A (ja) 2019-11-28
CN110524547A (zh) 2019-12-03
US11205424B2 (en) 2021-12-21
US20190362723A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
US10832654B2 (en) Recognizing accented speech
US10339166B1 (en) Systems and methods for providing natural responses to commands
US10068573B1 (en) Approaches for voice-activated audio commands
US6526395B1 (en) Application of personality models and interaction with synthetic characters in a computing system
US20220246149A1 (en) Proactive command framework
KR102449875B1 (ko) 음성 신호 번역 방법 및 그에 따른 전자 장치
US20130283168A1 (en) Conversation User Interface
CN109817244B (zh) 口语评测方法、装置、设备和存储介质
US11514916B2 (en) Server that supports speech recognition of device, and operation method of the server
WO2017200076A1 (ja) 対話方法、対話システム、対話装置、およびプログラム
US10600419B1 (en) System command processing
KR20040088368A (ko) 스위칭 상태 공간 모델들을 갖는 변분 추론을 사용하는음성 인식 방법
JP7131077B2 (ja) 会話装置、ロボット、会話装置制御方法及びプログラム
WO2020213468A1 (ja) 情報処理システム、情報処理方法、及びプログラム
JP2021039727A (ja) テキスト処理方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体
KR20210019924A (ko) 음성 인식 결과를 수정하는 시스템 및 방법
JP7268292B2 (ja) コンテンツ改変装置、コンテンツ改変方法及びプログラム
CN115527542A (zh) 车载语音助手的设计方法、装置、终端设备以及存储介质
JP7348818B2 (ja) 対話装置
JP2018181041A (ja) 対話ルール選択装置、対話装置、対話ルール選択方法、対話方法、対話ルール選択プログラム、及び対話プログラム
JP2001282285A5 (ja)
WO2023210340A1 (ja) 学習装置および学習方法
WO2019107144A1 (ja) 情報処理装置、及び情報処理方法
KR20190106011A (ko) 대화 시스템 및 그 방법, 그 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
US20240096329A1 (en) Qa tv-making millions of characters alive

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210513

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220808

R150 Certificate of patent or registration of utility model

Ref document number: 7131077

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150