JP6567610B2 - 音声と仮想動作を同期させる方法、システムとロボット本体 - Google Patents

Description

本発明はロボットインタラクション技術分野に関し、特には音声と仮想動作を同期させる方法、システム及びロボット本体に関するものである。

ロボットは人類と対話するツールとして、応用場面がますます多くなり、例えばある老人、子供は孤独を感じる時に、ロボットと対話、娯楽などのインタラクションができるようになった。従来のマンマシンインタラクション技術は一般的に、一種類のマンマシンインタラクションモードだけを支持でき、例えばユーザに機械的な返事をするしかできなく、せいぜい返事に従って限りのある表情を出すことにすぎない。市販の児童コンパニオンロボットは、設定された四、五種類しかできなく、こられの簡単な表情は出力された音声と同期させる必要はない。

而も、ユーザはロボットの使用体験に対する要求がますます高くなることと共に、ロボットにも、例えば、音声で返事すると同時に、もっと擬人化に相応する表情と動作ができることなど、マルチモードで人類と対話する能力の具備が必要となってきた。同時に二種類以上の出力方法で人類と対話するために、ロボットは何種類の出力方法を同期させる必要がある、例えば、「はい」と言う同時に「うなずく」、「いえ」と言う同時に「首を振る」、怒っている時に目を大きく見開き口を尖らせることなど。そうしてこそ、人類がロボットとのインタラクションから夢中になれる体験を得、向かい合う対象が対話可能であるように感じることができる。

ただし、音声と動作がマッチできなくなると、ユーザのインタラクション体験に甚大な影響をしてしまう。ところが、仮想ロボットが返事する内容に含まれる音声と表情などの仮想動作を同期させるかはかなり複雑な課題であって、ロボット工学、心理学、社会科学など複数の学科に関するものである。それではこの課題の解決が目前に迫っている厄介なものであり、今まで上記課題を比較的よく解決したシステムはまだない。

本発明は音声と仮想動作を同期させる方法、システム及びロボット本体を提供することで、マンマシンインタラクション体験を向上させることを目的とする。

本発明の目的は下記技術様態で実現される：
音声と仮想動作を同期させる方法は、
ユーザのマルチモード情報の取得と、
ユーザのマルチモード情報と生活時間軸によって、少なくとも音声情報と動作情報を含むインタラクション内容の生成と、
音声情報の時間長と動作情報の時間長に対する同期調整を含むことを特徴とする。

好ましくは、音声情報の時間長と動作情報の時間長を同じように調整する前記ステップは具体的に、
音声情報の時間長と動作情報の時間長との差が閾値以下にある場合は、音声情報の時間長が動作情報の時間長より小さいであるなら、動作情報の再生速度を速め、それにより動作情報の時間長を前記音声情報の時間長と同じようにすることを含む。

好ましくは、音声情報の時間長が動作情報の時間長より大きいである場合は、音声情報の再生速度を速める又は／及び動作情報の再生速度を落とし、それにより動作情報の時間長を前記音声情報の時間長に等しいにする。

好ましくは、音声情報の時間長と動作情報の時間長を同じように調整する前記ステップは、具体的に、
音声情報の時間長と動作情報の時間長との差が閾値より大きいである場合は、音声情報の時間長が動作情報の時間長より大きいであるなら、少なくとも二組の動作情報を順序付けて組み合わせ、それにより動作情報の時間長を前記音声情報の時間長に等しいにすることを含む。

好ましくは、音声情報の時間長が動作情報の時間長より小さいである場合は、動作情報における一部の動作を選択して、これらの動作の時間長が前記音声情報の時間長に等しいにする。

好ましくは、またロボットの生活時間軸の生成を含み、生成方法は、
ロボットの自己認識の拡大と、
生活時間軸のパラメータの取得と、
ロボットの自己認識パラメータを生活時間軸のパラメータと整合し、それによりロボットの生活時間軸の生成を含む。

好ましくは、ロボットの自己認識を拡大する前記ステップは具体的に、生活場面をロボットの自己認識と結合して、生活時間軸を基礎とする自己認識曲線を生成することを含む。

好ましくは、ロボットの自己認識パラメータを生活時間軸のパラメータと整合する前記ステップは具体的に、確率アルゴリズムを利用し、時間軸の場面パラメータが変えた後に、生活時間軸にあるロボットの各パラメータが変化する確率を計算し、整合曲線を形成することを含む。

好ましくは、ここにおいて、前記生活時間軸は一日の２４時間を含む時間軸を指し、前記生活時間軸におけるパラメータは少なくともユーザが前記時間軸で行う日常生活行為及び該行為を表すパラメータの値を含む。

音声と仮想動作を同期させるシステムは、
ユーザのマルチモード情報を取得する取得モジュール、
ユーザのマルチモード情報と生活時間軸に基づいて、少なくとも音声情報と動作情報を含むインタラクション内容を生成する人工知能モジュール、
音声情報の時間長と動作情報の時間長を同じように調整する制御モジュールを含む、ことを特徴とする。

好ましくは、前記制御モジュールは具体的に、
音声情報の時間長と動作情報の時間長との差が閾値以下にある場合は、音声情報の時間長が動作情報の時間長より小さいであるなら、動作情報の再生速度を速め、それにより動作情報の時間長を前記音声情報の時間長と同じようにすることを含む。

好ましくは、音声情報の時間長が動作情報の時間長より大きいである場合は、音声情報の再生速度を速める又は／及び動作情報の再生速度を落とし、それにより動作情報の時間長を前記音声情報の時間長と同じようにする。

好ましくは、前記制御モジュールは、具体的に、
音声情報の時間長と動作情報の時間長との差が閾値より大きいである場合は、音声情報の時間長が動作情報の時間長より大きいであるなら、少なくとも二組の動作情報を組み合わせ、それにより、動作情報の時間長を前記音声情報の時間長と同じようにする。

好ましくは、音声情報の時間長が動作情報の時間長より小さいである場合は、動作情報における一部の動作を選択して、これらの動作の時間長が前記音声情報の時間長と同じようにする。

好ましくは、前記システムは、
ロボットの自己認識の拡大と、
生活時間軸のパラメータの取得、
ロボットの自己認識パラメータを生活時間軸のパラメータと整合し、ロボットの生活時間軸を生成することを含む。

好ましくは、前記処理モジュールは具体的に、生活場面をロボットの自己認識と結合して生活時間軸を基礎とする自己認識曲線を生成することに用いる。

好ましくは、前記処理モジュールは確率アルゴリズムを利用し、時間軸の場面パラメータが変えた後に、生活時間軸にあるロボットの各パラメータが変化する確率を計算し、整合曲線を形成することに用いる。

好ましくは、ここにおいて、前記生活時間軸は一日の２４時間を含む時間軸を指し、前記生活時間軸におけるパラメータは少なくともユーザが前記時間軸で行う日常生活行為及び該行為を表すパラメータの値を含む。

本発明はロボットを開示し、上記のいずれかに記載の音声と仮想動作を同期させるシステムを含む。

音声と仮想動作を同期させるシステムであって、マイク、アナログデジタルコンバータ、音声識別プロセッサ、画像取得装置、顔認識プロセッサ、音声合成装置、パワーアンプ、スピーカー、イメージングシステム、インタラクション内容プロセッサ及びメモリを含む。

前記マイク、アナログデジタルコンバータ、音声識別プロセッサとインタラクション内容プロセッサは順次に接続され、前記画像取得装置、顔認識プロセッサとインタラクション内容プロセッサは順次に接続され、前記インタラクション内容プロセッサは前記メモリと接続され、前記インタラクション内容プロセッサ、音声合成装置、パワーアンプ及びスピーカーは順次に接続され、前記イメージングシステムはインタラクション内容プロセッサと接続され、
前記マイクはユーザとロボットが対話する際にユーザの音声信号の取得に用い、前記アナログデジタルコンバータは前記音声信号の音声デジタル情報への転換に用い、前記音声識別プロセッサは前記音声デジタル情報を文字情報に転化する上で前記意図識別プロセッサへの入力に用い、
前記画像取得装置はユーザがいる画像の取得に用い、前記顔認識プロセッサはユーザがいる画像からユーザの表情情報を識別し取得して前記意図識別プロセッサへの入力に用い、
前記インタラクション内容プロセッサは、少なくとも前記文字情報と表情情報を含むユーザのマルチモード情報、及び前記メモリに記憶されている生活時間軸に基づいて、少なくとも音声情報と動作情報を含むインタラクション内容を生成し、音声情報の時間長と動作情報の時間長を同じように調整することに用い、
前記イメージングシステムは前記動作情報によって仮想３Ｄ映像を生成し、前記スピーカーは前記音声情報を同時に再生することを特徴する音声と仮想動作を同期させる方法。

好ましくは、前記インタラクション内容プロセッサにおいて、音声情報の時間長と動作情報の時間長を同じように調整する前記ステップは、具体的に、
音声情報の時間長と動作情報の時間長との差が閾値以下にある場合は、音声情報の時間長が動作情報の時間長より小さいであるなら、動作情報の再生速度を速め、それにより動作情報の時間長を前記音声情報の時間長と同じようにすることを含む。

好ましくは、前記インタラクション内容プロセッサにおいて、音声情報の時間長が動作情報の時間長より大きいである場合は、音声情報の再生速度を速める又は／及び動作情報の再生速度を落とし、それにより動作情報の時間長を前記音声情報の時間長と同じようにする。

好ましくは、前記インタラクション内容プロセッサにおいて、音声情報の時間長と動作情報の時間長を同じように調整する前記ステップは具体的に、
音声情報の時間長と動作情報の時間長との差が閾値より大きいである場合は、音声情報の時間長が動作情報の時間長より大きいであるなら、少なくとも二組の動作情報を順序付けて組み合わせ、それにより動作情報の時間長を前記音声情報の時間長と同じようにすることを含む。

好ましくは、前記インタラクション内容プロセッサにおいて、音声情報の時間長が動作情報の時間長より小さいである場合は、動作情報における一部の動作を選択して、これらの動作の時間長が前記音声情報の時間長と同じようにする。

好ましくは、前記システムはまた人工知能クラウドプロセッサを含み、前記人工知能クラウドプロセッサはロボットの生活時間軸パラメータの生成に用い、具体的に、
ロボットの自己認識の拡大、
前記メモリからユーザの生活時間軸パラメータの取得、
ロボットの自己認識パラメータをユーザの生活時間軸におけるパラメータと整合し、それによるロボットの生活時間軸の生成を含む、ことを特徴とする請求項１２に記載のシステム。

好ましくは、前記人工知能クラウドプロセッサにおいて、ロボットの自己認識を拡大する前記ステップは具体的に、生活場面をロボットの自己認識と結合して生活時間軸を基礎とする自己認識曲線を生成することを含む。

好ましくは、前記人工知能クラウドプロセッサにおいて、ロボットの自己認識パラメータを生活時間軸のパラメータと整合する前記ステップは具体的に、確率アルゴリズムを利用し、時間軸の場面パラメータが変えた後に、生活時間軸にあるロボットの各パラメータが変化する確率を計算し、整合曲線を形成することを含む。

好ましくは、前記音声情報の時間長と動作情報の時間長を同じように調整する動作は、
ロボットが現在生活時間軸に所在する時間位置の取得、
前記音声情報の時間長と動作情報の時間長との差を対比し、ロボットが所在する時間位置に基づいて音声情報の時間長を調整するか、それとも動作情報の時間長を調整するかという判断、
判断結果に基づいて音声情報の時間長と動作情報の時間長を同じように調整することを含む、ことを特徴とする請求項１７に記載のシステム。

従来のマンマシンインタラクション技術は普通一種類のマンマシンインタラクションモードしか支持できなく、或いは限りのある動作や表情の出力だけができ、例えば、市販の児童コンパニオンロボットは、設定された四、五種類しかできない。従来技術より、本発明は、その音声と仮想動作を同期させる方法が、ユーザのマルチモード情報の取得、ユーザのマルチモード情報と生活時間軸に基づいて、少なくとも音声情報と動作情報を含むインタラクション内容の生成、音声情報の時間長と動作情報の時間長に対する同期調整を含むという利点を有する。そうすることでは、ユーザの音声、表情、動作などのマルチモード情報の一種や多種利によって、少なくとも音声情報と動作情報を含むインタラクション内容を生成でき、音声情報と動作情報を同期させるためには、音声情報の時間長と動作情報の時間長を同じように調整し、それでロボットが音声と動作を再生する時に同時にマッチすることが可能になって、ロボットが人類と対話する際に音声表現だけではなく、また動作などさまざまな表現形式も利用可能、ロボットの表現形式をもっと多様化にし、生成したロボットの動作、表情は数種類また十数種類に限られないようになり、動作ライブラリーにある動作グリップを任意に接ぎ合わすことができるため、ロボットはより擬人化に対話でき、ユーザのインタラクション体験も向上した。

図１は本発明実施例１の音声と仮想動作を同期させる方法の流れを示すフロー図である。 図２は本発明実施例２の音声と仮想動作を同期させるシステムを示す図である。 図３は本発明実施例３の音声と仮想動作を同期させるシステムの回路ブロック図である。 図４は本発明実施例３の音声と仮想動作を同期させるシステムの好ましい回路ブロック図である。 図５は本発明実施例３の音声と仮想動作を同期させるシステムをウェアラブルデバイスと結合することを示す図である。 図６は本発明実施例３の音声と仮想動作を同期させるシステムを移動端末と結合することを示す図である。 図７は本発明実施例３の音声と仮想動作を同期させるシステムをロボットと結合する応用場面を示す図である。

フロー図で各操作を順序に処理するように説明したが、その中に多くの操作は並列、合併又は同時に実行できるものである。各操作の順序を改めて配置してもよい。操作を完成した時には処理を中止できるが、図面に含まず追加ステップを有してもよい。該処理は方法、関数、規則、サブルーチン、サブプログラムなどに対応可能である。

コンピュータデバイスはユーザデバイスとネットワークデバイスを含む。ここにおいて、ユーザデバイスやクライアントはコンピュータ、スマートフォン、ＰＤＡなどを含むがそれらには限定されなく、ネットワークデバイスはシングルネットワークサーバー、マルチネットワークサーバーからなるサーバーグループ又はクラウドコンピューティングに基づいて数多いコンピュータやネットワークサーバーで構成されるクラウドを含むがそれらには限定されない。コンピュータデバイスは独立運行で本発明を実現してもよく、ネットワークにアクセスし且つそこにおける他のコンピュータデバイスとのインタラクション操作で本発明を実現してもよい。コンピュータデバイスが位置するネットワークはインターネット、広域ネットワーク、メトロポリタンエリアネットワーク、ローカルエリアネットワーク、ＶＰＮネットワークなどを含むがそれらには限定されない。

ここで、「第一」、「第二」などの専門用語で各ユニットを説明したかもしれないが、これらのユニットは当該専門用語に限られなく、これらの専門用語の使用はただ一つのユニットを別のユニットと区別するためだけである。ここで用いる専門用語「及び／又は」は列挙した一つや複数の関連プロジェクトの任意と全部の組み合わせを含む。一つのユニットがもう一つのユニットに「接続」や「結合」と定義された時には、それが前記もう一つのユニットに直接的接続や結合されてもよいが、中間ユニットに存在してもよい。

ここで使用する専門用語はただ具体的な実施例を説明するためだけであるが例示的実施例を限定しない。テクストで別に明示されたもの以外に、ここで使用した単数形「一つ」、「一項」はまた複数を含むことを図っている。なお理解すべきなのは、ここで使用した「含む」及び／又は「含有する」という専門用語が説明する特徴、整数、ステップ、操作、ユニット及び／又はモジュールの存在を規定するが、一つや更に多い他の特徴、整数、ステップ、操作、ユニット、モジュール及び／又は組み合わせの存在や追加を排除するわけではない。
下記、図面と優れた実施例を結合して本発明についてもっと詳細に説明する。

実施形態１
図１に示すように、本実施例は音声と仮想動作を同期させる方法を開示し、それは、
ユーザのマルチモード情報を取得するステップS101、
ユーザのマルチモード情報と生活時間軸に基づいて、少なくとも音声情報と動作情報を含むインタラクション内容を生成するステップS102、
音声情報の時間長と動作情報の時間長を同じように調整するステップS103を含むことを特徴とする。

本発明の音声と仮想動作を同期させる方法は、ユーザのマルチモード情報の取得、ユーザのマルチモード情報と生活時間軸に基づいて、少なくとも音声情報と動作情報を含むインタラクション内容の生成、音声情報の時間長と動作情報の時間長に対する同期調整を含む。そうすることでは、ユーザの音声、表情、動作などのマルチモード情報の一種や多種類によって、少なくとも音声情報と動作情報を含むインタラクション内容を生成でき、また音声情報と動作情報を同期させるためには、音声情報の時間長と動作情報の時間長を同じように調整し、それによりロボットは音声と動作を再生する際に同時にマッチすることが可能になり、ロボットは音声表現のみならず、また動作などのさまざまな表現形式で対話できるようになり、ロボットの表現方法を多様化にさせ、ロボットはもっと擬人化になる他、ユーザがロボットとのインタラクション体験も向上させた。

人類にとっては、毎日の生活がある程度の規則性を有し、ロボットと人類との対話をもっと擬人化にするためには、一日の２４時間において、ロボットが眠る、運動する、食事をする、ダンスする、本を読む、メイクアップする、眠るなどの動作を持たせる。それにより本発明はロボットがある生活時間軸をロボットのインタラクション内容の生成に添加することで、ロボットがより擬人化に人類と対話でき、ロボットが生活時間軸において人類の生活スタイルを有するようになり、該方法は生成したロボットインタラクション内容の擬人性及びマンマシンインタラクション体験を向上させ、且つインテリジェント性を高めることができる。インタラクション内容は表情、文字、音声や動作などの一種、又は多種類の組み合わせであってもよい。ロボットの生活時間軸は事前に整合・配置したものであり、具体的に言うと、ロボットの生活時間軸は一シリーズのパラメータコレクションであって、このパラメータをシステムに伝送してインタラクション内容を生成する。

本実施例におけるマルチモード情報はユーザの表情情報、音声情報、手振り情報、場面情報、画像情報、ビデオ情報、顔情報、虹彩情報、光感知情報や指紋情報などの一種や多種類としてもよい。

本実施例において、生活時間軸を基礎とすることは具体的に、人類の日常生活時間軸に基づき、人類のスタイルによって、ロボット本体の日常生活時間軸における自己認識数値を整合し、ロボットはこの整合によって動作を行い、即ちロボット本体の一日における行為を得、それでロボットが生活時間軸を基礎として、インタラクション内容を生成して人類と対話することなどの自分の行為をさせるものとなる。ロボットがずーと起きていると、この時間軸における行為によって動作し、ロボットの自己認識もこの時間軸に従って変更されるようになった。生活時間軸と可変パラメータは気持ちの値、疲労値などの自己認識における属性を変更できる他、新たな自己認識情報を自動に添加できる、例えば、ここまでは怒り値がないため、生活時間軸と可変素子に基づく場面はこの前の情報に基づいて人類の自己認識の場面を模擬し、それでロボットの自己認識を添加する。生活時間軸は音声情報だけではなく、動作などの情報も含んでいる。

例えば、ユーザがロボットに「眠いわ」と言うと、ロボットはユーザが眠いであるとこの言葉を理解した後、ロボットの生活時間軸を結合する、例えば、現在の時間が午前９時である場合は、ロボットが主人が起きたばかりであることが分かり、主人に挨拶するべきで、「おはようございます」などの音声で返事する他、また歌を歌い、相応のダンス動作なども追加できる。もしユーザがロボットに「眠いわ」と言うと、ロボットはユーザが眠いであるとこの言葉を理解した後、ロボットの生活時間軸を結合する、例えば、現在の時間が午後９時である場合は、ロボットが主人様の睡眠時間になることが分かり、「おやすみなさい。」などの類似言葉で返事し、相応のお休み、睡眠動作などを追加できる。そういう様態は単純な音声と表情による返事よりもっと人類の生活に近く、動作はもっと擬人化になった。

本実施例においては、前記音声情報の時長と動作情報の時間長を同じように調整するステップは具体的に、
音声情報の時間長と動作情報の時間長との差が閾値以下にある場合は、音声情報の時間長が動作情報の時間長より小さいであるなら、動作情報の再生速度を速め、それにより動作情報の時間長を前記音声情報の時間長と同じようにすることを含む。

音声情報の時間長が動作情報の時間長より大きいである場合は、音声情報の再生速度を速める又は／及び動作情報の再生速度を落とし、それにより動作情報の時間長を前記音声情報の時間長と同じようにする。

そのために、音声情報の時間長と動作情報の時間長との差が閾値以下にある場合は、調節の具体的な意味は音声情報の時間長又は／及び動作情報の時間長を圧縮や延長することを指してもよく、また再生速度を速める又は落とすことを指してもよい。例えば音声情報の再生速度を２にかけ、それとも動作情報の再生時間を０．８にかけるなど。

例えば、音声情報の時間長と動作情報の時間長との閾値は１分で、ロボットがユーザのマルチモード情報に基づいて生成するインタラクション内容においては、音声情報の時間が１分で、動作情報の時間が２分である場合は、動作情報の再生速度を元の二倍まで速めてもよく、それで動作情報が調整された後の再生時間は１分になり、それにより音声情報との同期を実現する。勿論、音声情報の再生速度を本来の０．５倍まで調整してもよく、それにより音声情報は調整された後の再生時間が２分になり、それにより動作情報との同期を実現する。なお、音声情報と動作情報を共に調整してもよい、例えば音声情報の速度を落とすと同時に、動作情報を速め、両者とも１分３０秒まで調節することも、音声と動作との同期を実現できる。

その他、本実施例においては、前記音声情報の時間長と動作情報の時間長を同じように調整するステップは具体的に、
音声情報の時間長と動作情報の時間長との差が閾値より大きいである場合は、音声情報の時間長が動作情報の時間長より大きいであるなら、少なくとも二組の動作情報を順序付けて組み合わせ、それにより動作情報の時間長を前記音声情報の時間長と同じようにする。

音声情報の時間長が動作情報の時間長より小さいである場合は、動作情報における一部の動作を選択して、これらの動作の時間長が前記音声情報の時間長と同じようにする。

そのために、音声情報の時間長と動作情報の時間長との差が閾値より大きいである場合は、調節する意味は一部の動作情報を追加や削除することで、動作情報の時間長と音声情報の時間長との同期調整を実現できる。

例えば、音声情報の時間長と動作情報の時間長との閾値が３０秒である場合は、ロボットはユーザのマルチモード情報に基づいて生成したインタラクション内容において、音声情報の時間長が３分で、動作情報の時間長が１分であるなら、他の動作情報を本来の動作情報に加える必要となり、例えば時間長が２分である動作情報を見つけて、上記二組の動作情報を組み合わせた後に前記音声情報の時間と同じようにマッチした。勿論、もし時間長が２分である動作情報の代わりに、２分半である動作情報を見つけた場合は、選択された動作情報の時間長が２分であるよう、この２分半の動作情報における一部の動作（一部のフレーム）を選択し、そうすると音声情報の時間長と同じようにマッチできるようになった。

本実施例においては、音声情報の時間長によって、音声情報の時間長と最も近い動作情報の選択、更に動作情報の時間長によって最も近い音声情報の選択も可能である。

そうすると、選択時に音声情報の時間長によって選択することは、制御モジュールが音声情報と動作情報の時間長を調整しやすくなり、もっと容易に一致するまで調節でき、且つ調節された再生もより自然で、平滑になった。

その中の一つの実施例によって、音声情報の時間長と動作情報の時間長を同じように調整するステップに続いてはたま、調節された後の音声情報と動作情報を仮想映像に出力して表示することを含む。

そうすると一致するまで調節した後に出力でき、仮想映像での出力が可能であるため、仮想ロボットはもっと擬人化になり、ユーザ体験を向上させた。

その中の一つの実施例によっては、前記ロボットの生活時間軸パラメータを生成する方法は、
ロボットの自己認識の拡大、
生活時間軸パラメータの取得、
ロボットの自己認識パラメータを生活時間軸のパラメータと整合し、ロボットの生活時間軸を生成することを含む。

そうして生活時間軸をロボット本体の自己認識に加えることで、ロボットは擬人化の生活を過ごすようになった。例えば昼食をする認識をロボットに加えること。

その中の一つの実施例によって、前記ロボットの自己認識を拡大するステップは具体的に、生活場面とロボットの自己認識を結合して生活時間軸を基礎とする自己認識曲線を形成することを含む。

そうしては生活時間軸を具体的にロボット本体のパラメータに加えることが可能になった。

その中の一つの実施例によっては、ロボットの自己認識パラメータを生活時間軸のパラメータと整合する前記ステップは具体的に、確率アルゴリズムを利用し、生活時間軸にあるロボットが時間軸の場面パラメータが変えた後、その各パラメータが変化する確率を計算して、整合曲線を形成することを含む。そうするとロボットの自己認識パラメータと生活時間軸のパラメータを具体的に整合することができる。ここにおいて確率アルゴリズムはベイズ確率アルゴリズムであってもよい。

例えば、一日の２４時間において、ロボットが眠る、運動する、食事する、ダンスする、本を読む、食事する、メイクアップする、眠るなどの動作を有するようにさせる。それぞれの動作はロボット本体の自己認識に影響を与え、生活時間軸におけるパラメータをロボット本体の自己認識を結合して整合した後、即ちロボットの自己認識に、気持ち、疲労値、親密度、好感度、対話回数、ロボットの三次元認識、年齢、身長、体重、親密度、ゲーム場面値、ゲーム対象値、場所場面値、場所対象値などを含むようになった。ロボットは、カフェ、ベッドルームなど、自分が位置する場所場面を識別できるようになった。

ロボットは一日の時間軸内に異なる動作をする、例えば、夜に眠る、昼に食事する、昼に運動するなど、生活時間軸におけるこれらの場面は全部、自己認識に影響を及ぼす。これらの数値の変化は確率モデルによる動的整合方法で、これらの動作が時間軸に発生する確率を整合仕上げる。場面識別：この場所場面識別は自己認識における地理場面値を変える可能性はある。

実施形態２
図２に示すように、本発明は、
ユーザのマルチモード情報を取得する取得モジュール２０１、
ユーザのマルチモード情報、及び生活時間軸モジュール２０５で生成される生活時間軸に基づいて、少なくとも音声情報と動作情報を含むインタラクション内容を生成する人工知能モジュール２０２、
音声情報の時間長と動作情報の時間長を同じように調整する制御モジュール２０３を含むことを特徴とする音声と仮想動作を同期させるシステム。

そうすることでは、ユーザの音声、表情、動作などのマルチモード情報の一種や多種類によって、少なくとも音声情報と動作情報を含むインタラクション内容を生成でき、また音声情報と動作情報を同期させるためには、音声情報の時間長と動作情報の時間長を同じように調整し、それによりロボットは音声と動作を再生する際に同時にマッチすることが可能になり、ロボットは音声表現のみならず、また動作などのさまざまな表現形式で対話できるようになり、ロボットの表現方法を多様化にさせ、ロボットはもっと擬人化になる他、ユーザのロボットとのインタラクション体験も向上させた。

人類にとっては、毎日の生活がある程度の規則性を有し、ロボットと人類との対話をもっと擬人化にするためには、一日の２４時間において、ロボットが眠る、運動する、食事する、ダンスする、本を読む、食事する、メイクアップする、眠るなどの動作を持たせる。それにより本発明はロボットがある生活時間軸をロボットのインタラクション内容の生成に添加することで、ロボットはより擬人化に人類と対話でき、ロボットは生活時間軸において人類の生活スタイルを有するようになり、生成したロボットインタラクション内容の擬人性及び人類のインタラクション体験を向上させ、且つインテリジェント性を高めることができる。インタラクション内容は表情、文字、音声や動作などの一種で、又は多種類の組み合わせであってもよい。ロボットの生活時間軸は事前に整合・配置したものであり、具体的に言うと、ロボットの生活時間軸は一シリーズのパラメータコレクションであって、このパラメータをシステムに伝送してインタラクション内容を生成する。

本実施例におけるマルチモード情報はユーザの表情情報、音声情報、手振り情報、場面情報、画像情報、ビデオ情報、顔情報、虹彩情報、光感知情報や指紋情報などの一種や多種類としてもよい。

本実施例において、生活時間軸を基礎とすることは具体的に、人類の日常生活時間軸に基づき、人類のスタイルによって、ロボット本体の日常生活時間軸における自己認識数値を整合し、ロボットはこの整合によって動作を行い、即ちロボット本体の一日における行為を得、それでロボットが生活時間軸を基礎として、インタラクション内容を生成して人類と対話することなどの自分の行為をさせるものとなる。ロボットがずーと起きていると、この時間軸における行為によって動作し、ロボットの自己認識もこの時間軸に従って変更されるようになった。生活時間軸と可変パラメータは気持ちの値、疲労値などの自己認識における属性を変更できる他、新たな自己認識情報を自動に添加できる、例えば、ここまでは怒り値がないため、生活時間軸と可変素子に基づく場面はこの前の情報に基づいて人類の自己認識の場面を模擬し、それでロボットの自己認識を添加する。生活時間軸は音声情報だけではなく、動作などの情報も含んでいる。

例えば、ユーザがロボットに「眠いわ」と言うと、ロボットはユーザが眠いであるとこの言葉を理解した後、ロボットの生活時間軸を結合する、例えば、現在の時間が午前９時である場合は、ロボットが主人が起きたばかりであることが分かり、主人に挨拶するべきで、「おはようございます」などの音声で返事する他、また歌を歌い、相応のダンス動作なども追加できる。もしユーザがロボットに「眠いわ」と言うと、ロボットはユーザが眠いであるとこの言葉を理解した後、ロボットの生活時間軸を結合する、例えば、現在の時間が午後９時である場合は、ロボットが主人様の睡眠時間になることが分かり、「おやすみなさい。」などの類似言葉で返事し、相応のお休み、睡眠動作などを追加できる。そういう様態は単純な音声と表情による返事よりもっと人類の生活に近く、動作はもっと擬人化になった。

本実施例において、前記制御モジュールは具体的に、
音声情報の時間長と動作情報の時間長との差が閾値以下にある場合は、音声情報の時間長が動作情報の時間長より小さいであるなら、動作情報の再生速度を速め、それにより動作情報の時間長を前記音声情報の時間長と同じようにする。

音声情報の時間長が動作情報の時間長より大きいである場合は、音声情報の再生速度を速める又は／及び動作情報の再生速度を落とし、それにより動作情報の時間長を前記音声情報の時間長と同じようにする。

そのために、音声情報の時間長と動作情報の時間長との差が閾値以下にある場合は、調節の具体的な意味は音声情報の時間長又は／及び動作情報の時間長を圧縮や延長することを指してもよく、また再生速度を速める又は落とすことを指してもよい。例えば音声情報の再生速度を２にかけ、それとも動作情報の再生時間を０．８にかけるなど。

例えば、音声情報の時間長と動作情報の時間長との閾値は１分で、ロボットがユーザのマルチモード情報に基づいて生成するインタラクション内容においては、音声情報の時間が１分で、動作情報の時間が２分である場合は、動作情報の再生速度を元の二倍まで速めてもよく、それで動作情報が調整された後の再生時間は１分になり、それにより音声情報との同期を実現する。勿論、音声情報の再生速度を本来の０．５倍まで調整してもよく、それにより音声情報は調整された後の再生時間が２分になり、それにより動作情報との同期を実現する。なお、音声情報と動作情報を共に調整してもよい、例えば音声情報の速度を落とすと同時に、動作情報を速め、両者とも１分３０秒まで調整することも、音声と動作との同期を実現できる。

その他、本実施例において、前記制御モジュールは具体的に、
音声情報の時間長と動作情報の時間長との差が閾値より大きいである場合は、音声情報の時間長が動作情報の時間長より大きいであるなら、少なくとも二組の動作情報を組み合わせ、それにより動作情報の時間長を前記音声情報の時間長と同じようにすることに用いる。

音声情報の時間長が動作情報の時間長より小さいである場合は、動作情報における一部の動作を選択して、これらの動作の時間長が前記音声情報の時間長と同じようにする。

そのために、音声情報の時間長と動作情報の時間長との差が閾値より大きいである場合は、調節する意味は一部の動作情報を追加や削除することで、動作情報の時間長と音声情報の時間長との同期調整を実現できる。

例えば、音声情報の時間長と動作情報の時間長との閾値が３０秒である場合は、ロボットはユーザのマルチモード情報に基づいて生成したインタラクション内容において、音声情報の時間長が３分で、動作情報の時間長が１分であるなら、他の動作情報を本来の動作情報に加えることが必要となり、例えば時間長が２分である動作情報を見つけて、上記二組の動作情報を組み合わせた後に前記音声情報の時間と同じようにマッチした。勿論、もし時間長が２分である動作情報の代わりに、２分半である動作情報を見つけた場合は、選択された動作情報の時間長が２分であるよう、この２分半の動作情報における一部の動作（一部のフレーム）を選択し、そうすると音声情報の時間長と同じようにマッチできるようになった。

本実施例において、人工知能モジュールは具体的に、音声情報の時間長によって、音声情報の時間長と最も近い動作情報の選択、更に動作情報の時間長によって最も近い音声情報の選択に用いる。

そうすると、選択時に音声情報の時間長によって選択することは、制御モジュールが音声情報と動作情報の時間長を調整しやすくなり、もっと容易に一致するまで調節でき、且つ調節された再生もより自然で、平滑になった。

その中の一つの実施例によって、前記システムはまた、調整された後の音声情報と動作情報を仮想映像に出力して表示する出力モジュール２０４を含む。

そうすると一致するまで調整した後に出力でき、仮想映像での出力が可能であるため、仮想ロボットがもっと擬人化になり、ユーザ体験を向上させた。

その中の一つの実施例によって、前記システムは時間軸を基礎とする人工知能クラウドプロセッサモジュールを含み、
ロボットの自己認識の拡大と、
生活時間軸パラメータの取得と、
ロボットの自己認識パラメータを生活時間軸のパラメータと整合し、ロボットの生活時間軸を生成する。

そうして生活時間軸をロボット本体の自己認識に加えることで、ロボットは擬人化の生活を過ごすようになった。例えば昼食をする認識をロボットに加えること。

その中の一つの実施例によって、前記システムは時間軸を基礎とする人工知能クラウドプロセッサモジュールは、生活場面とロボットの自己認識を結合して生活時間軸を基礎とする自己認識曲線を形成することに用いる。そうしては生活時間軸を具体的にロボット本体のパラメータに加えることが可能になった。

その中の一つの実施例によって、時間軸を基礎とする人工知能クラウド処理モジュールは具体的に、確率アルゴリズムを利用し、時間軸の場面パラメータが変えた後、生活時間軸にあるロボットの各パラメータが変化する確率を計算して、整合曲線を形成することを含む。そうするとロボットの自己認識パラメータと生活時間軸のパラメータを具体的に整合することができる。ここにおいて確率アルゴリズムはベイズ確率アルゴリズムであってもよい。

例えば、一日の２４時間において、ロボットが眠る、運動する、食事する、ダンスする、本を読む、食事する、メイクアップする、眠るなどの動作を有するようにさせる。それぞれの動作はロボット本体の自己認識に影響を与え、生活時間軸におけるパラメータをロボット本体の自己認識を結合して整合した後、即ちロボットの自己認識に、気持ち、疲労値、親密度、好感度、対話回数、ロボットの三次元認識、年齢、身長、体重、親密度、ゲーム場面値、ゲーム対象値、場所場面値、場所対象値などを含むようになった。ロボットは、カフェ、ベッドルームなど、自分が位置する場所場面を識別できるようになった。

ロボットは一日の時間軸内に異なる動作をする、例えば、夜に眠る、昼に食事する、昼に運動するなど、生活時間軸におけるこれらの場面は全部、自己認識に影響を及ぼす。これらの数値の変化は確率モデルによる動的整合方法で、これらの動作が時間軸に発生する確率を整合仕上げる。場面識別：この場所場面識別は自己認識における地理場面値を変える可能性はある。

本発明は、上記のいずれかに記載の音声と仮想動作を同期させるシステムを含むロボットを開示する。

実施形態３
図３に示すように、本実施例は音声と仮想動作を同期させるシステム３００を開示し、マイク３０１、アナログデジタルコンバータ３０２、音声識別プロセッサ３０３、画像取得装置３０４、顔認識プロセッサ３０５、インタラクション内容プロセッサ３０６、音声合成装置３０７、パワーアンプ３０８、スピーカー３０９、イメージングシステム３１０及びメモリ３１１を含む。

前記マイク３０１、アナログデジタルコンバータ３０２、音声識別プロセッサ３０３と意図識別プロセッサ３０６は順次に接続され、前記画像取得装置３０４、顔認識プロセッサ３０５と意図識別プロセッサ３０６は順次に接続され、前記インタラクション内容プロセッサ３０６はメモリ３１１と接続され、前記インタラクション内容プロセッサ３０６、前記音声合成装置３０７、パワーアンプ３０８とスピーカー３０９は順次に接続され、前記イメージングシステム３１０はインタラクション内容プロセッサ３０６と接続される。

前記マイク３０１はユーザとロボットが対話する際にユーザの音声信号の取得に用い、前記アナログデジタルコンバータ３０２は前記音声信号の音声デジタル情報への転換に用い、前記音声識別プロセッサ３０３は前記音声デジタル情報を文字情報に転化する上で前記インタラクション内容プロセッサ３０６への入力に用いる。

前記画像取得装置３０４はユーザがいる画像の取得に用い、前記顔認識プロセッサ３０５はユーザがいる画像からユーザの表情情報を識別し取得して前記インタラクション内容プロセッサ３０６への入力に用いる。画像取得装置３０４はビデオカメラ、カメラなどであってもよく、ユーザの表情情報のみならず、またユーザがいる環境、ユーザの動作情報なども識別でき、これらの情報はインタラクション内容プロセッサ３０６への入力としてもよく、それにより生成したインタラクション内容がもっとユーザの現在の需要に合う。

前記インタラクション内容プロセッサ３０６は、少なくとも前記文字情報と表情情報を含むユーザのマルチモード情報、及び前記メモリ３１１に記憶されている生活時間軸に基づいて、少なくとも音声情報と動作情報を含むインタラクション内容を生成し、音声情報の時間長と動作情報の時間長を同じように調整することに用いる。ここにおいて、まずはユーザのマルチモード情報と生活時間軸に基づいてインタラクション内容の音声情報を生成し、それによってメモリ３１１の動作ライブラリから適切な動作グリップを選択し、適切な遷移動作を追加して完全の動作情報を生成する。ここにおいて、生活時間軸は一日の２４時間を含む時間軸を指し、前記生活時間軸におけるパラメータは少なくともユーザが前記時間軸で行う日常生活行為及び該行為を表すパラメータの値を含む。

ここにおいて、インタラクション内容プロセッサ３０６においては、前記音声情報の時間長と動作情報の時間長を同じように調整するステップは具体的に、音声情報の時間長と動作情報の時間長との差が閾値以下にある場合は、音声情報の時間長が動作情報の時間長より小さいであるなら、動作情報の再生速度を速め、それにより動作情報の時間長を前記音声情報の時間長と同じようにし、音声情報の時間長が動作情報の時間長より大きいである場合は、音声情報の再生速度を速める又は／及び動作情報の再生速度を落とし、それにより動作情報の時間長を前記音声情報の時間長と同じようにする。

そのために、音声情報の時間長と動作情報の時間長との差が閾値以下にある場合は、調節の具体的な意味は音声情報の時間長又は／及び動作情報の時間長を圧縮や延長することを指してもよく、また再生速度を速める又は落とすことを指してもよい。例えば音声情報の再生速度を２にかけ、それとも動作情報の再生時間を０．８にかけるなど。

例えば、音声情報の時間長と動作情報の時間長との閾値は１分で、ロボットがユーザのマルチモード情報に基づいて生成するインタラクション内容においては、音声情報の時間が１分で、動作情報の時間が２分である場合は、動作情報の再生速度を元の二倍まで速めてもよく、それで動作情報が調整された後の再生時間は１分になり、それにより音声情報との同期を実現する。勿論、音声情報の再生速度を本来の０．５倍まで落としてもよく、それにより音声情報は調整された後の再生時間が２分になり、それにより動作情報との同期を実現する。なお、音声情報と動作情報を共に調整してもよい、例えば音声情報の速度を落とすと同時に、動作情報を速め、両者とも１分３０秒まで調整することも、音声と動作との同期を実現できる。

ここにおいて、インタラクション内容プロセッサ３０６においては、音声情報の時間長と動作情報の時間長を同じように調整するステップは具体的に、音声情報の時間長と動作情報の時間長との差が閾値より大きいである場合は、音声情報の時間長が動作情報の時間長より大きいであるなら、少なくとも二組の動作情報を順序付けて組み合わせ、それにより動作情報の時間長を前記音声情報の時間長と同じようにし、音声情報の時間長が動作情報の時間長より小さいである場合は、動作情報における一部の動作を選択して、これらの動作の時間長が前記音声情報の時間と同じようにする。

それにより、音声情報の時間長と動作情報の時間長との差が閾値より大きいである場合は、調節する意味は一部の動作情報を追加や削除することで、動作情報の時間長と音声情報の時間長との同期調整を実現できる。

例えば、音声情報の時間長と動作情報の時間長との閾値が３０秒である場合は、ロボットはユーザのマルチモード情報に基づいて生成したインタラクション内容において、音声情報の時間長が３分で、動作情報の時間長が１分であるなら、他の動作情報を本来の動作情報に加えることが必要となり、例えば時間長が２分である動作情報を見つけて、上記二組の動作情報を組み合わせた後に前記音声情報の時間と同じようにマッチした。勿論、もし時間長が２分である動作情報の代わりに、２分半である動作情報を見つけた場合は、選択された動作情報の時間長が２分であるよう、この２分半の動作情報における一部の動作（一部のフレーム）を選択し、そうすると音声情報の時間長と同じようにマッチできるようになった。

イメージングシステム３１０は前記動作情報に基づいて仮想３Ｄ映像を生成し、スピーカー３０９は前記音声信号を同時に再生する。ここにおいて、イメージングシステム３１０は普通のディスプレイとしてもよく、ホログラフィック投影装置としてもよくて、それにより表示したロボットの立体感と真実性を増加し、ユーザの体験を高める。

メモリ３１１はインタラクション内容プロセッサ３０６が操作する時に用いるデータの記憶に用いることも可能である。選択できるのは、インタラクション内容プロセッサ３０６はCPU（中央処理装置）、ASIC（Application Specific Integrated Circuit、特定用途向け集積回路）、FPGA（Field Programmable Gate Array、フィールドプログラマブルゲートアレイ）やCPLD（Complex Programmable Logic Device、コンプレックスプログラマブルロジックデバイス）としてもよい。

本実施例の音声と仮想動作を同期させるシステム３００によっては、ユーザのマルチモード情報を取得でき、ユーザのマルチモード情報と生活時間軸に基づいて、少なくとも音声情報と動作情報を含むインタラクション内容の生成、音声情報の時間長と動作情報の時間長を同じように調整する。そうすることでは、ユーザの音声、表情、動作などのマルチモード情報の一種や多種類によって、少なくとも音声情報と動作情報を含むインタラクション内容を生成でき、また音声情報と動作情報を同期させるためには、音声情報の時間長と動作情報の時間長を同じように調整し、それによりロボットは音声と動作を再生する際に同時にマッチすることが可能になり、ロボットは音声表現のみならず、また動作などのさまざまな表現形式で対話できるようになり、ロボットの表現方法を多様化にさせ、ロボットはもっと擬人化になる他、ユーザがロボットとのインタラクション体験も向上させた。

例えば、ユーザがロボットに「眠いわ」と言うと、ロボットはユーザが眠いであるとこの言葉を理解した後、ロボットの生活時間軸を結合する、例えば、現在の時間が午前９時である場合は、ロボットが主人が起きたばかりであることが分かり、主人に挨拶するべきで、「おはようございます」などの音声で返事する他、また歌を歌い、相応のダンス動作なども追加できる。もしユーザがロボットに「眠いわ」と言うと、ロボットはユーザが眠いであるとこの言葉を理解した後、ロボットの生活時間軸を結合する、例えば、現在の時間が午後９時である場合は、ロボットが主人様の睡眠時間になることが分かり、「おやすみなさい。」などの類似言葉で返事し、相応のお休み、睡眠動作などを追加できる。そういう様態は単純な音声と表情による返事よりもっと人類の生活に近く、動作はもっと擬人化になった。

図４に示すように、本実施例に開示した音声と仮想動作を同期させるシステム３００はまたユーザのいくつかの生理信号を取得し、信号プリプロセッサ３１４で前記生理信号を前処理した後に生理パラメータを得、且つ前記生理パラメータをインタラクション内容プロセッサ３０６に送信することに用いる複数のセンサー３１３を含む。相応的には、インタラクション内容プロセッサ３０６は前記文字情報、表情情報と生理パラメータに基づいてインタラクション内容を生成し、前記インタラクション内容を前記イメージングシステム３１０に送信し、且つ前記インタラクション内容にある音声情報をスピーカー３０９に送信する。

音声と仮想動作を同期させるシステム３００におけるセンサー３１３は光センサー、虹彩認識センサー、指紋取得センサー、温度センサー、心拍数センサーなどを含むがそれらには限定されなく、ユーザの光感知情報、虹彩情報、指紋情報、体温情報、心拍数情報などにおける一種や多種類の生理信号を含むマルチモード情報を豊富にする。

下記はマイク３０１、画像取得装置３０４、センサー３１３が取得・出力する情報をマルチモード情報と総称する。

図５に示すように、一部のセンサー３１３は音声と仮想動作を同期させるシステム３００と一体に集積され、一部のセンター３１３はウェアラブルデバイス４００に集積されることが可能である、例えば温度センサー、心拍数センサーをスマートリストバンドに集積し、無線通信装置によって取得した情報を音声と仮想動作を同期させるシステム３００におけるインタラクション内容プロセッサ３０６に送信する。図５はただ音声と仮想動作を同期させるシステム３００における無線通信装置とインタラクション内容プロセッサ３０６との接続関係を表示するだけで、音声と仮想動作を同期させるシステム３００における他の接続関係は図３と図４に参照すればよい。

システム３００はまた人工知能クラウドプロセッサを含み、前記人工知能クラウドプロセッサはロボットの生活時間軸パラメータの生成に用い、具体的にはロボットの自己認識の拡大、前記メモリからユーザの生活時間軸パラメータの取得、ロボットの自己認識パラメータをユーザの生活時間軸におけるパラメータと整合し、それによるロボットの生活時間軸の生成を含む。ここにおいて、ロボットの自己認識を拡大する前記ステップは具体的に、生活場面をロボットの自己認識と結合して生活時間軸を基礎とする自己認識曲線の生成を含む。ロボットの自己認識パラメータを生活時間軸におけるパラメータと整合するステップは具体的に、確率アルゴリズムを利用し、時間軸の場面パラメータが変えた後、生活時間軸にあるロボットの各パラメータが変化する確率を計算して整合曲線を形成することを含む。そうするとロボットの自己認識パラメータと生活時間軸のパラメータを具体的に整合することができる。ここにおいて確率アルゴリズムはベイズ確率アルゴリズムであってもよい。

例えば、一日の２４時間において、ロボットが眠る、運動する、食事する、ダンスする、本を読む、食事する、メイクアップする、眠るなどの動作を有するようにさせる。それぞれの動作はロボット本体の自己認識に影響を与え、生活時間軸におけるパラメータをロボット本体の自己認識を結合して整合した後、即ちロボットの自己認識に、気持ち、疲労値、親密度、好感度、対話回数、ロボットの三次元認識、年齢、身長、体重、親密度、ゲーム場面値、ゲーム対象値、場所場面値、場所対象値などを含むようになった。ロボットは、カフェ、ベッドルームなど、自分が位置する場所場面を識別できるようになった。

本実施例のシステムはまたロボットの生活時間軸を利用してロボットの音声と動作の同期をガイドできる。具体的には、音声情報の時間長と動作情報の時間長を同じように調節するステップは具体的に、ロボットの現在生活時間軸にある時間位置を取得すること、前記音声情報の時間長と動作情報の時間長との差を比較し、ロボットがある時間位置に基づいて音声情報の時間長を調整するか、それとも動作情報の時間長を調整するかを判断すること、判断結果によって音声情報の時間長と動作情報の時間長を同じように調整することを含む。例えば、マンマシンインタラクションはロボットが休憩中又は起きたばかり時点に発生し、且つ動作時間＞言語の長さであると、言語の長さを延長し、それはロボットが怠惰な状態にあるため、比較的に遅い動作と音声とも人類が日常生活における表現をよりよく整合できるようになった。

音声情報と動作情報の時間長を調整する際には、ロボットが現在時間軸にある時間位置の他、ロボットの現在の気持ち（長時間運転−人類の疲労に対応する）、ロボット現在の状態（残った電気量−人類の飢餓に対応する）などを考えるべきである。

ロボットは一日の時間軸内に異なる動作をする、例えば、夜に眠る、昼に食事する、昼に運動するなど、生活時間軸におけるこれらの場面は全部、自己認識に影響を及ぼす。これらの数値の変化は確率モデルによる動的整合方法で、これらの動作が時間軸に発生する確率を整合仕上げる。場面識別：この場所場面識別は自己認識における地理場面値を変える可能性はある。

本実施例に開示したシステム３００はまた無線通信装置３１４を含み、図６に示すように、無線通信装置３１４はインタラクション内容プロセッサ３０６と接続され、インタラクション内容プロセッサ３０６はまたインタラクション内容の移動端末５００への送信に用い、移動端末５００は動作情報に基づいて仮想３Ｄ映像を生成し、移動端末５００のスピーカーで音声情報を同時に再生する。図6はただ音声と仮想動作を同期させるシステム３００における無線通信装置とインタラクション内容プロセッサ３１１との接続関係を表示するだけで、音声と仮想動作を同期させるシステム３００における他の接続関係は図３と図４に参照すればよい。

本実施例が開示したロボットの音声と仮想動作を同期させるシステム３００は、さまざまな面でロボットのユーザと対話する形式を豊富にすることが可能で、ロボットがもっと擬人化に人類と対話でき、該システムは生成したロボットのインタラクション内容の擬人性及びマンマシンインタラクション体験を向上させ、インテリジェント性を高めることが期待される。

図７に示すように、音声と仮想動作を同期させるシステム３００はまたロボット６００の内部に集積されてもよく、ロボット６００に備えられた音声取得装置６１２、ビデオカメラ６１１、各種類のセンサー（図４に表示されない）、ＧＰＳナビゲーション装置（図４に表示されない）などによってユーザのマルチモード情報を取得し、且つインタラクション内容プロセッサ３０６に送信できる、例えば、ユーザがロボットをある場所に連れる時に、ＧＰＳナビゲーション装置でユーザがいる位置情報が得られ、そうして生活時間軸と結合することで可変パラメータを得、且つロボット本体の自己認識を拡大し、自己認識パラメータと可変パラメータにおける応用場面パラメータを整合して、擬人化の影響を生じる。

インタラクション内容プロセッサ３０６はメモリー３１１に記憶されたプログラムの読み取りに用い、ユーザのマルチモード情報の取得、ユーザのマルチモード情報と生活時間軸に基づいて、少なくとも音声情報と動作情報を含むインタラクション内容の生成、音声情報の時間長と動作情報の時間長の同期調整、及び時間長が同様に調整された音声情報と動作情報を出力するプロセスを実行する。インタラクション内容プロセッサ３０６から出力された音声情報はロボット６００の音声システム６１３で再生され、ロボット６００のホストコントローラによってインタラクション内容プロセッサ３０６から出力された動作情報をロボットのそれぞれの関節の制御信号に転化し、ロボットのそれぞれの関節６１４の運動を制御し、それによりロボット６００を音声と同期する動作をさせる、例えば、ロボット６００のヘッドの内側における関節によってヘッドの横向け揺れ、前後の振り、及びうなずく動作を制御し、ロボットの運動を制御する具体的な方法は従来技術であるため、本文で詳細に説明しない。インタラクション内容プロセッサ３０６で処理されたデータを無線通信装置３１４を経由して無線媒質で伝送し、更に、無線通信装置３１４はデータを受信してからそれをインタラクション内容プロセッサ３０６に転送し、ロボット６００は無線通信装置３１４によってインターネットにアクセスできる他、またインターネットによってユーザのさまざまなデータを取得やアップロードでき、また無線通信装置３１４でユーザの移動端末にアクセスでき、ロボットとの対話やロボットに対するさまざまな設定を実現できる。

音声と仮想動作を同期させるシステムも電子デバイス端末をキャリアとしてソフトウェアプログラムを経由して実現でき、スマートフォンをキャリアとすることで例示し、情報取得装置はスマートフォンに既存している音声取得装置、ビデオカメラ、各種類のセンサー、ＧＰＳナビゲーション装置などを再利用してユーザのマルチモード情報を取得し、且つスマートフォンに内蔵したプロセッサに送信した後、プロセッサはメモリーに記憶されたプログラムを読み取り、ユーザのマルチモード情報と可変パラメータに基づいて、少なくとも音声情報と動作情報を含むインタラクション内容を生成するプロセスと、音声情報の時間長と動作情報の時間長を同じように調整するプロセスと、時間長が同様に調整された音声情報と動作情報を出力するプロセスとを実行する。スマートフォンのスクリーンで仮想ロボットの動作を表示し、スピーカーで音声を同時に再生する。スマートフォンの無線通信モジュールによって外部のデバイスやネットワークと接続され、データインタラクションを完成する。

本実施例の音声と仮想動作を同期させるシステムは、ユーザの音声、表情、動作などのマルチモード情報の一種や多種利によって、少なくとも音声情報と動作情報を含むインタラクション内容を生成でき、音声情報と動作情報を同期させるためには、音声情報の時間長と動作情報の時間長を同じように調整し、それでロボットが音声と動作を再生する時に同時にマッチすることが可能になって、ロボットが人類と対話する際に音声表現だけではなく、また動作などのさまざまな表現形式も利用可能、ロボットの表現形式をもっと多様化にし、ロボットはより擬人化に対話でき、ユーザのインタラクション体験も向上した。

上記内容は具体的な好ましい実施様態を結合した上で本発明に対する更に詳細な説明であるが、本発明の具体的な実施例はこれらの説明に限定されるわけではない。当業者にとっては、本発明の精神から脱逸しない前提で、上記実施様態にさまざまな変更・改良を加えることが可能であって、本発明の保護範囲に属するべきである。

Claims (9)

1. 音声と仮想動作を同期させるシステムであって、マイク、アナログデジタルコンバータ、音声識別プロセッサ、画像取得装置、意図識別プロセッサ、顔認識プロセッサ、音声合成装置、パワーアンプ、スピーカー、イメージングシステム、インタラクション内容プロセッサ及びメモリを含み、
   前記マイク、前記アナログデジタルコンバータ、前記音声識別プロセッサと前記インタラクション内容プロセッサは順次に接続され、前記画像取得装置、前記顔認識プロセッサと前記インタラクション内容プロセッサは順次に接続され、前記インタラクション内容プロセッサは前記メモリと接続され、前記インタラクション内容プロセッサ、前記音声合成装置、前記パワーアンプ及び前記スピーカーは順次に接続され、前記イメージングシステムは前記インタラクション内容プロセッサと接続され、
   前記マイクはユーザとロボットが対話する際にユーザの音声信号の取得に用い、前記アナログデジタルコンバータは前記音声信号の音声デジタル情報への転換に用い、前記音声識別プロセッサは前記音声デジタル情報を文字情報に転化する上で前記意図識別プロセッサへの入力に用い、
   前記画像取得装置はユーザがいる画像の取得に用い、前記顔認識プロセッサはユーザがいる画像から、ユーザの表情情報を識別し取得して前記インタラクション内容プロセッサへの入力に用い、
   前記インタラクション内容プロセッサは、少なくとも前記文字情報と前記表情情報を含むユーザのマルチモード情報、及び前記メモリに記憶されている生活時間軸に基づいて、少なくとも音声情報と動作情報を含むインタラクション内容を生成し、音声情報の時間長と動作情報の時間長を同じように調整することに用い、
   前記イメージングシステムは前記動作情報によって仮想３Ｄ映像を生成し、前記スピーカーは前記音声情報を同時に再生し、
   ここで、前記マルチモード情報は、音声情報、手振り情報、場面情報、画像情報、ビデオ情報、顔情報、虹彩情報、光感知情報や指紋情報の一種または多種類であり、
   ここで、前記インタラクション内容の生成は、前記音声情報を生成し、かつ生成した前記音声情報の時間長によって、前記音声情報の時間長と最も近い動作情報を選択する、或いは、前記動作情報を生成し、かつ生成した前記動作情報の時間長によって、前記動作情報の時間長と最も近い音声情報を選択することを含み、
   ここで、前記音声情報の時間長と前記動作情報の時間長に対する同期調整は、ロボットの現在の気分値及び／又はロボットの現在の状態値によって、前記音声情報と前記動作情報の時間長を確定し、かつ確定した前記時間長に従って、前記音声情報の時間長と前記動作情報の時間長を同様に調整することを含み、
   前記インタラクション内容プロセッサはまた、前記ロボットの生活時間軸と可変パラメータによって、前記ロボットの自己認識に関する属性を変更し、前記ロボットの前記生活時間軸、前記可変パラメータにおける場面パラメータ、及びこの前の情報に基づいて模擬した人類の自己認識場面によって、前記ロボットの自己認識に新しい属性を追加するのに用い、前記ロボットの前記生活時間軸には前記音声情報と前記動作情報を含む、
   ことを特徴する音声と仮想動作を同期させるシステム。
2. 前記インタラクション内容プロセッサにおいて、音声情報の時間長と動作情報の時間長を同じように調整するステップは、具体的に、
   音声情報の時間長と動作情報の時間長との差が閾値以下にある場合は、音声情報の時間長が動作情報の時間長より小さいであるなら、動作情報の再生速度を速め、それにより動作情報の時間長を前記音声情報の時間長と同じようにすることを含む
   ことを特徴とする請求項１に記載のシステム。
3. 前記インタラクション内容プロセッサにおいて、音声情報の時間長が動作情報の時間長より大きいである場合は、音声情報の再生速度を速める又は／及び動作情報の再生速度を落とし、それにより動作情報の時間長を前記音声情報の時間長と同じようにする
   ことを特徴とする請求項２に記載のシステム。
4. 前記インタラクション内容プロセッサにおいて、音声情報の時間長と動作情報の時間長を同じように調整するステップは、具体的に、
   音声情報の時間長と動作情報の時間長との差が閾値より大きいである場合、音声情報の時間長が動作情報の時間長より大きいであるなら、少なくとも二組の動作情報を順序付けて組み合わせ、それにより動作情報の時間長を前記音声情報の時間長と同じようにすることを含む
   ことを特徴とする請求項１に記載のシステム。
5. 前記インタラクション内容プロセッサにおいて、音声情報の時間長が動作情報の時間長より小さいである場合は、動作情報における一部の動作を選択して、これらの動作の時間長が前記音声情報の時間と同じようにする
   ことを特徴とする請求項４に記載のシステム。
6. 前記システムはまた、ロボットの生活時間軸パラメータの生成に用いた人工知能クラウドプロセッサを含み、具体的には、
   ロボットの自己認識の拡大と、
   前記メモリからユーザの生活時間軸パラメータの取得と、
   ロボットの自己認識パラメータをユーザの生活時間軸におけるパラメータに整合し、それによるロボットの生活時間軸の生成を含む
   ことを特徴とする請求項１に記載のシステム。
7. 前記人工知能クラウドプロセッサにおいて、前記ロボットの自己認識を拡大するステップは、具体的に、
   生活場面をロボットの自己認識と結合して、生活時間軸を基礎とする自己認識曲線を生成することを含む
   ことを特徴とする請求項６に記載のシステム。
8. 前記人工知能クラウドプロセッサにおいて、ロボットの自己認識パラメータを生活時間軸におけるパラメータに整合するステップは、具体的に、
   確率アルゴリズムで、生活時間軸におけるロボットは時間軸の場面パラメータが変えた後、その各パラメータが変化する確率を計算して、それにより整合曲線の形成を含む
   ことを特徴とする請求項６に記載のシステム。
9. 音声情報の時間長と動作情報の時間長を同じように調整する動作は、
   ロボットが現在、生活時間軸に所在する時間位置の取得と、
   前記音声情報と動作情報との時間差を対比し、ロボットが所在する時間位置によって、音声情報の時間長を調整するか、それとも動作情報の時間長を調整するかという判断の実行と、
   判断結果に基づいて、音声情報の時間長と動作情報の時間長を同じように調整する
   ことを含む
   ことを特徴とする請求項６に記載のシステム。

Images