WO2017061149A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】音声認識処理が行われた状況をユーザに直感的に把握させることが可能な技術が提供されることが望まれる。 【解決手段】集音に基づく音情報に対する音声認識処理に関するパラメータを取得する情報取得部と、前記音情報に対する音声認識処理結果を前記パラメータに応じて特定された表示態様により表示するための表示情報を出力する出力部と、を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法およびプログラム

　本開示は、情報処理装置、情報処理方法およびプログラムに関する。

　近年、マイクによって集音された音情報に対して音声認識処理を行うことによって音情報から音声認識処理結果を得る技術が存在する（例えば、特許文献１参照）。例えば、音声認識処理によって得られた音声認識処理結果は、所定の表示態様によって表示装置によって表示される。

特開２０１３－２５６０５号公報

　しかし、ユーザは音声認識処理結果を視認するだけでは、音声認識処理がどのような状況で行われたかを直感的に把握するのが困難である。そこで、音声認識処理が行われた状況をユーザに直感的に把握させることが可能な技術が提供されることが望まれる。

　本開示によれば、集音に基づく音情報に対する音声認識処理に関するパラメータを取得する情報取得部と、前記音情報に対する音声認識処理結果を前記パラメータに応じて特定された表示態様により表示するための表示情報を出力する出力部と、を備える、情報処理装置が提供される。

　本開示によれば、集音に基づく音情報に対する音声認識処理に関するパラメータを取得することと、プロセッサにより、前記音情報に対する音声認識処理結果を前記パラメータに応じて特定された表示態様により表示するための表示情報を出力することと、を含む、情報処理方法が提供される。

　本開示によれば、コンピュータを、コンピュータを、集音に基づく音情報に対する音声認識処理に関するパラメータを取得する情報取得部と、前記音情報に対する音声認識処理結果を前記パラメータに応じて特定された表示態様により表示するための表示情報を出力する出力部と、を備える情報処理装置として機能させるためのプログラムが提供される。

　以上説明したように本開示によれば、音声認識処理が行われた状況をユーザに直感的に把握させることが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る通信システムの構成例を示す図である。 本実施形態に係る情報処理システムの機能構成例を示すブロック図である。 情報処理システムの概要を説明するための図である。 音情報に含まれるユーザの発話音量が音声認識処理に関するパラメータとして利用される場合、かつ、テキストのサイズがパラメータに応じて特定される表示態様として利用される場合を説明するための図である。 音情報に含まれるノイズ量がパラメータとして利用される場合、かつ、テキストのひび割れ度合いがパラメータに応じて特定される表示態様として利用される場合を説明するための図である。 音情報に含まれるノイズ量がパラメータとして利用される場合、かつ、テキストのかすれ度合いがパラメータに応じて特定される表示態様として利用される場合を説明するための図である。 音情報に含まれるノイズ量がパラメータとして利用される場合、かつ、テキストに付加されるオブジェクトの種類がパラメータに応じて特定される表示態様として利用される場合を説明するための図である。 ノイズ方向がパラメータとして利用される場合、かつ、テキストのかすれ度合いがパラメータに応じて特定される表示態様として利用される場合を説明するための図である。 ノイズ方向がパラメータとして利用される場合、かつ、テキストのかすれ度合いがパラメータに応じて特定される表示態様として利用される場合を説明するための図である。 音情報に含まれるノイズの種類がパラメータとして利用される場合、かつ、テキストに付加されるオブジェクトの種類がパラメータに応じて特定される表示態様として利用される場合を説明するための図である。 音情報に含まれるノイズの種類がパラメータとして利用される場合、かつ、テキストに付加されるオブジェクトの種類がパラメータに応じて特定される表示態様として利用される場合を説明するための図である。 音情報に含まれるノイズの種類がパラメータとして利用される場合、かつ、テキストに付加されるオブジェクトの種類がパラメータに応じて特定される表示態様として利用される場合を説明するための図である。 集音部によって集音された音情報に基づく所定のデータをパラメータとして利用した場合に特定されるテキストの表示態様の例を示す図である。 画像入力部によって入力された入力画像に対する解析により得られた結果をパラメータとして利用した場合に特定されるテキストの表示態様の例を示す図である 生体情報入力部によって入力された生体情報に対する解析により得られた結果をパラメータとして利用した場合に特定されるテキストの表示態様の例を示す図である。 ユーザによる変更操作に基づいて表示態様が変更される例を示す図である。 情報処理システムの動作例を示すフローチャートである。 表示情報を送信する情報処理システムが有する機能を説明するための図である。 表示情報を受信する情報処理システムが有する機能を説明するための図である。 ユーザの集中度が閾値を上回る場合に送信される表示情報の例を示す図である。 ユーザがチャット画面を視認していない場合に送信される表示情報の例を示す図である。 情報処理システムをユーザが利用する場合に送信される表示情報の例を示す図である ユーザの行動情報が走っていることを示す場合にテキストに付加されるオブジェクトの例を示す図である。 ユーザの環境情報が周囲に人がいることを示す場合にテキストに付加されるオブジェクトの例を示す図である。 ユーザの行動情報が自動車運転中であることを示す場合にテキストに付加されるオブジェクトの例を示す図である。 本実施形態に係る情報処理システムのハードウェア構成例を示すブロック図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

　なお、説明は以下の順序で行うものとする。
　１．本開示の実施形態
　　１．１．システム構成例
　　１．２．機能構成例
　　１．３．情報処理システムの機能詳細
　　１．４．種々の変形例
　　１．５．ハードウェア構成例
　２．むすび

　＜１．本開示の一実施形態＞
　［１．１．システム構成例］
　まず、図面を参照しながら本開示の一実施形態に係る通信システムの構成例について説明する。図１は、本開示の一実施形態に係る通信システムの構成例を示す図である。図１に示したように、本実施形態に係る通信システムは、情報処理システム１０－１および情報処理システム１０－２を備える。情報処理システム１０－１および情報処理システム１０－２それぞれは、画像入力部１１０、操作入力部１１５、生体情報入力部１１８、集音部１２０、表示部１３０、音出力部１３５および情報処理装置（以下、「制御部」とも言う。）１４０を有している。

　情報処理システム１０－１における情報処理装置１４０と情報処理システム１０－２における情報処理装置１４０とは、ネットワーク９３１を介して通信を行うことが可能である。また、情報処理システム１０において、画像入力部１１０、集音部１２０および音出力部１３５は、表示部１３０の枠に設けられているが、画像入力部１１０、集音部１２０および音出力部１３５が設けられる位置は限定されない。画像入力部１１０、集音部１２０および音出力部１３５は、表示部１３０の枠以外に設けられていてもよいし、表示部１３０とは異なる位置（例えば、操作入力部１１５など）に設けられており、集音部１２０によって集音された音情報が情報処理装置１４０に送信されてもよい。

　なお、図１に示した例では、情報処理装置１４０は、ゲーム機であるが、情報処理装置１４０の形態はゲーム機に限定されない。例えば、情報処理装置１４０は、スマートフォンであってもよいし、携帯電話であってもよいし、タブレット端末であってもよいし、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）であってもよい。なお、以下の説明において、音声（ｖｏｉｃｅまたはｓｐｅｅｃｈ）と音（ｓｏｕｎｄ）とは区別して用いられる。

　以上、本実施形態に係る通信システムの構成例について説明した。

　［１．２．機能構成例］
　続いて、本実施形態に係る情報処理システム１０の機能構成例について説明する。図２は、本実施形態に係る情報処理システム１０の機能構成例を示すブロック図である。図２に示したように、情報処理システム１０は、画像入力部１１０と、操作入力部１１５と、生体情報入力部１１８と、集音部１２０と、通信部１２５と、表示部１３０と、音出力部１３５と、制御部１４０とを備える。

　画像入力部１１０は、画像を入力する機能を有する。例えば、画像入力部１１０はカメラを含んでおり、カメラによって撮像された画像を入力する。画像入力部１１０に含まれるカメラの数は１以上であれば特に限定されない。そして、画像入力部１１０に含まれる１以上のカメラそれぞれが設けられる位置も特に限定されない。また、１以上のカメラには、単眼カメラが含まれてもよいし、ステレオカメラが含まれてもよい。

　操作入力部１１５は、ユーザの操作を入力する機能を有する。例えば、操作入力部１１５は、ゲーム機のコントローラを含んでよい。また、操作入力部１１５はユーザの操作を入力する機能を有していればよいため、タッチパネルを含んでもよい。タッチパネルが採用する方式は特に限定されず、静電容量方式であってもよいし、抵抗膜方式であってもよいし、赤外線方式であってもよいし、超音波方式であってもよい。また、操作入力部１１５は、カメラを含んでもよい。

　生体情報入力部１１８は、ユーザの生体情報を入力する機能を有する。例えば、生体情報入力部１１８は、圧力センサを含んでいれば、圧力センサによってユーザによるコントローラの把持圧力を生体情報として入力することが可能である。また、生体情報入力部１１８は、心拍センサを含んでいれば、心拍センサによってユーザの心拍を生体情報として入力することが可能である。また、生体情報入力部１１８は、発汗センサを含んでいれば、発汗センサによってユーザの発汗を生体情報として入力することが可能である。なお、本実施形態では、生体情報入力部１１８がゲーム機のコントローラに設けられている場合を主に説明するが、生体情報入力部１１８は、ウェアラブルデバイスに設けられていてもよい。

　集音部１２０は、集音によって音情報を得る機能を有する。集音部１２０は、図１を参照しながら説明したように、表示部１３０の枠に設けられていてよいが、表示部１３０の枠以外に設けられていてもよいし、表示部１３０とは異なる位置（例えば、操作入力部１１５など）に設けられていてもよい。集音部１２０に含まれるマイクロフォンの数は１以上であれば特に限定されない。また、集音部１２０に含まれる１以上のマイクロフォンそれぞれが設けられる位置も特に限定されない。

　ただし、集音部１２０が、複数のマイクロフォンを含んでいれば、複数のマイクロフォンそれぞれによる集音によって得られた音情報に基づいて音の到来方向が推定され得る。あるいは、集音部１２０が指向性を有するマイクロフォンを含んでいれば、指向性を有するマイクロフォンによる集音によって得られた音情報に基づいて音の到来方向が推定され得る。

　制御部１４０は、情報処理システム１０の各部の制御を実行する。図２に示したように、制御部１４０は、情報取得部１４１と、音声認識部１４２と、表示態様特定部１４３と、出力部１４４とを備える。これらの各機能ブロックについての詳細は、後に説明する。なお、制御部１４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ；中央演算処理装置）などで構成されていてよい。情報処理装置１４０がＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。

　通信部１２５は、他の情報処理システム１０との間で通信を行う機能を有する。例えば、通信部１２５は、通信インターフェースにより構成される。例えば、通信部１２５は、ネットワーク９３１を介して、他の情報処理システム１０との間で通信を行うことが可能である。

　表示部１３０は、画面を表示する機能を有する。例えば、表示部１８０は、液晶ディスプレイであってもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであってもよいし、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）であってもよい。しかし、表示部１８０は、画面を表示する機能を有すれば、他の形態のディスプレイであってもよい。

　音出力部１３５は、音情報を出力する機能を有する。例えば、音出力部１３５は、スピーカであってもよいし、ヘッドホンであってもよいし、イヤホンであってもよい。しかし、音出力部１３５は、音情報を出力する機能を有すれば、他の形態の音出力装置であってもよい。

　以上、本実施形態に係る情報処理システム１０の機能構成例について説明した。

　［１．３．情報処理システムの機能詳細］
　続いて、情報処理システム１０の機能詳細について説明する。図３は、情報処理システム１０の概要を説明するための図である。図３を参照すると、制御部１４０によって再生された映像が表示される映像表示画面１３１が表示部１３０に存在する。ここでは、制御部１４０がゲーム機である場合を想定しているため、映像表示画面１３１に表示される映像は、ゲームアプリケーションに含まれる映像であってよい。

　また、図３を参照すると、情報処理システム１０－１のユーザＵ１が情報処理システム１０－２のユーザとの間でチャットを行うためのチャットアプリケーションが制御部１４０によって実行され、表示部１３０によってその実行画面がチャット画面１３４として表示されている。図３を参照すると、情報処理システム１０－２のユーザ「Ｊｏｈｎ」の発話を含む音情報に対する音声認識処理結果「Ｈｅｌｌｏ」が、情報処理システム１０－１のチャット画面１３４に表示されている。音声認識処理結果は、音情報に対して音声認識処理が施されることによって得られる１文字データまたは複数の文字が並べられた文字列データであってよい。以下では、音声認識処理結果の例として「テキスト」を利用して説明する。

　一方、情報処理システム１０－１の集音部１２０によって集音された音情報に対する音声認識処理結果の例として、テキストが表示される発話画面１３３も表示部１３０に存在している。発話画面１３３には、音声認識処理を開始するための音声認識処理開始ボタン１３２が表示されている。また、発話画面１３３には、情報処理システム１０－１の集音部１２０によって集音された音情報に対する音声認識処理結果の例として、テキストＴｘ－１０「Ｈｅｌｌｏ」が表示されている。

　例えば、テキストＴｘ－１０は、チャット画面１３４に追加されてよい。また、テキストＴｘ－１０は、情報処理システム１０－２における制御部１４０に送信され、情報処理システム１０－２におけるチャット画面に表示されてよい。ここで、ユーザＵ１はテキストＴｘ－１０を視認するだけでは、音声認識処理がどのような状況で行われたかを直感的に把握するのは困難である。そこで、音声認識処理が行われた状況をユーザＵ１に直感的に把握させることが可能な技術が提供されることが望まれる。

　具体的には、本開示の実施形態においては、ユーザＵ１が音声認識処理開始ボタン１３２を選択するための操作（以下、「認識開始操作」とも言う。）を行うと、認識開始操作が操作入力部１１５によって入力され、ユーザＵ１は発話を開始する。そして、集音部１２０によって音情報が集音されると、情報取得部１４１は、集音部１２０によって集音された音情報を取得する。なお、本実施形態においては、集音部１２０によって集音された信号を音情報と言うが、音情報は、集音部１２０によって集音された信号に対して何らかの信号処理が施されて得られた信号であってもよい。

　そして、音声認識部１４２によって音声認識処理が実行されることによってテキストＴｘ－１０が得られると、表示態様特定部１４３は、音情報に対する音声認識処理に関するパラメータに応じてテキストＴｘ－１０の表示態様を特定する。かかるパラメータの詳細については後に説明する。出力部１４４は、特定された表示態様によりテキストＴｘ－１０を表示するための表示情報を出力する。表示情報は、テキストと表示態様を示す表示態様情報とを含んでよい。また、表示情報の出力先は限定されないが、表示情報が表示部１３０に出力されると、表示部１３０は、表示情報に基づいて、かかる表示態様によりテキストＴｘ－１０を発話画面１３３に表示することが可能となる。

　このようにして、本開示の実施形態においては、音声認識処理に関するパラメータに応じてテキストＴｘ－１０の表示態様が特定され、かかる表示態様によりテキストＴｘ－１０を表示するための表示情報が出力される。かかる構成によれば、テキストＴｘ－１０の表示態様によって、音声認識処理が行われた状況をユーザＵ１に直感的に把握させることが可能となる。以下では、表示態様の特定が単語ごとにされる場合を例として説明するが、表示態様の特定の単位は、特に限定されない。例えば、表示態様の特定は、句ごとにされてもよいし、文ごとにされてもよい。

　また、音声認識処理に関するパラメータは特に限定されないが、例えば、集音部１２０によって集音された音情報に含まれるユーザＵ１の発話情報を含んでよい。さらに、パラメータに応じて特定される表示態様も特に限定されないが、テキストＴｘ－１０のサイズ、形状、彩度、フォント、かすれ度合い、ひび割れ度合い、テキストＴｘ－１０に付加されるアニメーションの種類、テキストＴｘ－１０に付加されるオブジェクトの種類の少なくともいずれか一つを含んでよい。

　以下、かかるパラメータの例およびパラメータに応じて特定される表示態様の例について説明する。図４は、音情報に含まれるユーザ（図３に示したユーザＵ１）の発話音量が音声認識処理に関するパラメータとして利用される場合、かつ、テキスト（図３に示したテキストＴｘ－１０）のサイズがパラメータに応じて特定される表示態様として利用される場合を説明するための図である。図４を参照すると、ユーザの発話音量とその発話音量に応じて特定されるテキスト「Ｈｅｌｌｏ」のサイズとが横軸に沿って示されている。

　図４に示すように、表示態様特定部１４３は、発話音量が所定の下限音量から所定の上限音量までの範囲においては、発話音量が大きくなるに従ってテキスト「Ｈｅｌｌｏ」のサイズを大きくしてよい。そうすれば、音声認識処理が行われた状況の例として発話音量をユーザに直感的に把握させることが可能となる。一方、表示態様特定部１４３は、発話音量が所定の下限音量を下回る場合には、テキスト「Ｈｅｌｌｏ」のサイズを固定値にしてよい。また、表示態様特定部１４３は、発話音量が所定の上限音量を上回る場合には、テキスト「Ｈｅｌｌｏ」のサイズを固定値にしてよい。

　また、パラメータは、集音部１２０によって集音された音情報に含まれるユーザの発話に対応するノイズに関する情報を含んでもよい。ノイズに関する情報は特に限定されないが、ノイズの種類、ノイズの音量（以下、「ノイズ量」とも言う。）、および、ノイズの音源から集音部１２０への方向（以下、「ノイズ方向」とも言う。）のうち少なくともいずれか一つを含んでもよい。図５は、音情報に含まれるノイズ量がパラメータとして利用される場合、かつ、テキスト（図３に示したテキストＴｘ－１０）のひび割れ度合いがパラメータに応じて特定される表示態様として利用される場合を説明するための図である。

　図５を参照すると、ノイズ量とそのノイズ量に応じて特定されるテキスト「Ｈｅｌｌｏ」のひび割れ度合いとが横軸に沿って示されている。図５に示すように、表示態様特定部１４３は、ノイズ量が大きくなるに従ってテキスト「Ｈｅｌｌｏ」のひび割れ度合いを強くしてよい。そうすれば、音声認識処理が行われた状況の例としてノイズ量をユーザに直感的に把握させることが可能となる。

　図６は、音情報に含まれるノイズ量が図７パラメータとして利用される場合、かつ、テキスト（図３に示したテキストＴｘ－１０）のかすれ度合いがパラメータに応じて特定される表示態様として利用される場合を説明するための図である。図６を参照すると、ノイズ量とそのノイズ量に応じて特定されるテキスト「Ｈｅｌｌｏ」のかすれ度合いとが横軸に沿って示されている。図６に示すように、表示態様特定部１４３は、ノイズ量が大きくなるに従ってテキスト「Ｈｅｌｌｏ」のかすれ度合いを強くしてよい。そうすれば、音声認識処理が行われた状況の例としてノイズ量をユーザに直感的に把握させることが可能となる。

　図７は、音情報に含まれるノイズ量がパラメータとして利用される場合、かつ、テキスト（図３に示したテキストＴｘ－１０）に付加されるオブジェクトの種類がパラメータに応じて特定される表示態様として利用される場合を説明するための図である。図７を参照すると、ノイズ量とそのノイズ量に応じて特定されるオブジェクトの種類Ｂｊとが横軸に沿って示されている。

　図７に示すように、表示態様特定部１４３は、ノイズ量が所定の上限ノイズ量から所定の下限ノイズ量までの範囲内である場合には、テキスト「Ｈｅｌｌｏ」に付加されるオブジェクトとしてオブジェクトＢｊ－２２を特定してよい。また、表示態様特定部１４３は、ノイズ量が所定の上限ノイズ量を上回る場合には、テキスト「Ｈｅｌｌｏ」に付加されるオブジェクトとしてオブジェクトＢｊ－２１を特定してよい。また、表示態様特定部１４３は、ノイズ量が所定の下限ノイズ量を下回る場合には、テキスト「Ｈｅｌｌｏ」に付加されるオブジェクトとしてオブジェクトＢｊ－２３を特定してよい。そうすれば、音声認識処理が行われた状況の例としてノイズ量をユーザに直感的に把握させることが可能となる。

　なお、図７には、テキスト「Ｈｅｌｌｏ」の末尾にオブジェクトＢｊ－２１～Ｂｊ－２３が付加される例が示されているが、オブジェクトＢｊ－２１～Ｂｊ－２３が付加される位置は、テキスト「Ｈｅｌｌｏ」の末尾に限定されない。例えば、オブジェクトＢｊ－２１～Ｂｊ－２３は、テキスト「Ｈｅｌｌｏ」の先頭に付加されてもよい。また、ここでは、オブジェクトＢｊ－２１～Ｂｊ－２３が静止画である場合を想定するが、オブジェクトＢｊ－２１～Ｂｊ－２３はどのようなデータであってもよい。例えば、オブジェクトＢｊ－２１～Ｂｊ－２３は、動画であってもよいし、テキストデータであってもよい。

　図８Ａおよび図８Ｂは、ノイズ方向がパラメータとして利用される場合、かつ、テキスト（図３に示したテキストＴｘ－１０）のかすれ度合いがパラメータに応じて特定される表示態様として利用される場合を説明するための図である。図８Ａおよび図８Ｂを参照すると、ノイズ方向とノイズ方向に応じて特定されるテキスト「Ｈｅｌｌｏ」のかすれ度合いとが示されている。

　図８Ａに示すように、表示態様特定部１４３は、ノイズ方向が画面の左から右である場合、テキスト「Ｈｅｌｌｏ」の右側よりも左側のかすれ度合いを強くしてよい。あるいは、図８Ｂに示すように、表示態様特定部１４３は、ノイズ方向が画面の上から下である場合、テキスト「Ｈｅｌｌｏ」の下側よりも上側のかすれ度合いを強くしてよい。そうすれば、音声認識処理が行われた状況の例としてノイズ方向をユーザに直感的に把握させることが可能となる。

　図９Ａ、図９Ｂおよび図９Ｃは、音情報に含まれるノイズの種類がパラメータとして利用される場合、かつ、テキスト（図３に示したテキストＴｘ－１０）に付加されるオブジェクトの種類がパラメータに応じて特定される表示態様として利用される場合を説明するための図である。図９Ａ～図９Ｃを参照すると、ノイズ量に応じて特定されたオブジェクトＢｊ－２１がテキスト「Ｈｅｌｌｏ」付加されているが、ノイズ量に応じて特定されたオブジェクトＢｊ－２１は付加されなくてもよい。

　図９Ａに示すように、表示態様特定部１４３は、ノイズの種類が電車の発するノイズである場合には、テキスト「Ｈｅｌｌｏ」に付加されるオブジェクトとしてオブジェクトＢｊ－３１を特定してよい。また、表示態様特定部１４３は、ノイズの種類がテレビジョン装置の発するノイズである場合には、テキスト「Ｈｅｌｌｏ」に付加されるオブジェクトとしてオブジェクトＢｊ－３２を特定してよい。また、表示態様特定部１４３は、ノイズの種類が人の話し声である場合には、テキスト「Ｈｅｌｌｏ」に付加されるオブジェクトとしてオブジェクトＢｊ－３３を特定してよい。そうすれば、音声認識処理が行われた状況の例としてノイズの種類をユーザに直感的に把握させることが可能となる。

　なお、図９Ａ、図９Ｂおよび図９Ｃには、テキスト「Ｈｅｌｌｏ」の末尾にオブジェクトＢｊ－３１～Ｂｊ－３３が付加される例が示されているが、オブジェクトＢｊ－３１～Ｂｊ－３３が付加される位置は、テキスト「Ｈｅｌｌｏ」の末尾に限定されない。例えば、オブジェクトＢｊ－３１～Ｂｊ－３３は、テキスト「Ｈｅｌｌｏ」の先頭に付加されてもよい。また、ここでは、オブジェクトＢｊ－３１～Ｂｊ－３３が静止画である場合を想定するが、オブジェクトＢｊ－３１～Ｂｊ－３３はどのようなデータであってもよい。例えば、オブジェクトＢｊ－３１～Ｂｊ－３３は、動画であってもよいし、テキストデータであってもよい。

　以上、パラメータの例およびパラメータに応じて特定される表示態様の例について幾つか具体的に説明したが、パラメータの例およびパラメータに応じて特定される表示態様は、以上に説明した例に限定されない。例えば、パラメータ（ユーザＵ１の発話情報）は、音情報に含まれるユーザＵ１の発話音量、音情報の音声らしさ、音情報の周波数、音情報に含まれる音声の発話速度、音情報に含まれる音声の語尾に関する情報、および、テキストの信頼度のうち少なくともいずれか一つを含んでもよい。

　また、表示態様は、ユーザＵ１に関する情報にさらに基づいて特定されてもよい。ここで、ユーザＵ１に関する情報は特に限定されないが、ユーザＵ１の生体情報および感情情報のうち少なくともいずれか一つを含んでよい。生体情報は、生体情報入力部１１８によって入力されてよい。ユーザＵ１の生体情報は特に限定されず、ユーザＵ１によるコントローラの把持圧力、ユーザＵ１の発汗およびユーザＵ１の心拍のうち少なくともいずれか一つを含んでよい。

　ユーザＵ１の感情情報はどのようにして得られてもよい。一例として、ユーザＵ１の感情情報は、表示態様特定部１４３によって音情報または入力画像が解析されることによって得られてよい。また、ユーザＵ１の感情情報は特に限定されず、ユーザＵ１の喜び、驚き、怒りのうち少なくともいずれか一つを含んでよい。あるいは、ユーザＵ１の感情情報は、他の感情を含んでもよい。

　また、ユーザＵ１に関する情報は、ユーザＵ１の性別および年代のうち少なくともいずれか一つを含んでもよい。ユーザＵ１の性別および年代はどのようにして得られてもよい。一例として、ユーザＵ１の性別および年代は、表示態様特定部１４３によって入力画像が解析されることによって得られてよい。年代は、年齢を所定の単位で示すデータであってよく、例えば、年齢を１０年単位で示すデータであってよい。

　図１０は、集音部１２０によって集音された音情報に基づく所定のデータをパラメータとして利用した場合に特定されるテキスト（図３に示したテキストＴｘ－１０）の表示態様の例を示す図である。例えば、図１０に示すように、表示態様特定部１４３は、集音部１２０によって集音された音情報に含まれるユーザＵ１の発話音量に基づいて、テキストのサイズを制御してもよい。

　また、表示態様特定部１４３は、集音部１２０によって集音された音情報の音声らしさ（音声の音量／ノイズの音量）に基づいて、テキストのかすれ度合いを制御してもよいし、テキストのひび割れ度合いを制御してもよいし、テキストに付加されるオブジェクトの種類を制御してもよい。また、表示態様特定部１４３は、集音部１２０によって集音された音情報に含まれるノイズ量に基づいて、テキストのかすれ度合いを制御してもよいし、テキストのひび割れ度合いを制御してもよいし、テキストに付加されるオブジェクトの種類を制御してもよい。

　また、表示態様特定部１４３は、集音部１２０によって集音された音情報に含まれるノイズ方向に基づいて、テキストのかすれ箇所を制御してもよい。また、表示態様特定部１４３は、集音部１２０によって集音された音情報の周波数分布（音の高低）に基づいて、テキストの彩度を制御してもよい。

　また、表示態様特定部１４３は、集音部１２０によって集音された音情報に含まれる音声の発話速度に基づいて、テキストに付加されるアニメーションを特定してもよい。例えば、表示態様特定部１４３は、集音部１２０によって集音された音情報に含まれる音声の発話速度が所定の上限速度を上回る場合には、テキストに付加されるアニメーションとして点滅アニメーションを特定してもよい。また、例えば、表示態様特定部１４３は、集音部１２０によって集音された音情報に含まれる音声の発話速度が所定の下限速度を下回る場合には、テキストに付加されるアニメーションとして３Ｄアニメーションを特定してもよい。

　また、表示態様特定部１４３は、集音部１２０によって集音された音情報に含まれる音声に対する音声認識処理のＣｏｎｆｉｄｅｎｔｉａｌ　Ｌｅｖｅｌ（テキストの信頼度）に基づいて、テキストの透過度を制御してもよい。例えば、表示態様特定部１４３は、Ｃｏｎｆｉｄｅｎｔｉａｌ　Ｌｅｖｅｌが小さくなるに従ってテキスト「Ｈｅｌｌｏ」の透過度を大きくしてよい。そうすれば、音声認識処理が行われた状況の例として音声認識処理のＣｏｎｆｉｄｅｎｔｉａｌ　Ｌｅｖｅｌをユーザに直感的に把握させることが可能となる。

　また、表示態様特定部１４３は、集音部１２０によって集音された音情報に含まれる音声の語尾に関する情報に基づいて、テキストに付加されるアニメーションを特定してもよい。例えば、表示態様特定部１４３は、集音部１２０によって集音された音情報に含まれる音声の語尾の伸びた時間が所定の時間を上回る場合には、テキストに付加されるアニメーションとして左右方向への移動アニメーションを特定してもよい。

　また、表示態様特定部１４３は、音情報に対する解析により得られた感情情報が喜びを示す場合には、テキストの末尾に所定のオブジェクトを付加するように表示態様を制御してもよい。また、表示態様特定部１４３は、音情報に対する解析により得られた感情情報が驚きを示す場合には、テキストの末尾に所定の記号（例えば、「！」）と所定のオブジェクトとを付加するように表示態様を制御してもよい。また、表示態様特定部１４３は、音情報に対する解析により得られた感情情報が怒りを示す場合には、テキストの色を所定の色（例えば、赤色）に変更し、テキストの末尾に所定のオブジェクトを付加するように表示態様を制御してもよい。

　図１１は、画像入力部１１０によって入力された入力画像に対する解析により得られた結果をパラメータとして利用した場合に特定されるテキスト（図３に示したテキストＴｘ－１０）の表示態様の例を示す図である。図１１に示すように、表示態様特定部１４３は、入力画像に対する解析により得られた感情情報が喜びを示す場合には、テキストの末尾に所定のオブジェクトを付加するように表示態様を制御してもよい。

　また、表示態様特定部１４３は、入力画像に対する解析により得られた感情情報が驚きを示す場合には、テキストの末尾に所定の記号（例えば、「！」）と所定のオブジェクトとを付加するように表示態様を制御してもよい。また、表示態様特定部１４３は、入力画像に対する解析により得られた感情情報が怒りを示す場合には、テキストの色を所定の色（例えば、赤色）に変更し、テキストの末尾に所定のオブジェクトを付加するように表示態様を制御してもよい。

　また、表示態様特定部１４３は、入力画像に対する解析により得られた性別に応じてテキストのフォント（例えば、字体など）を制御してもよい。また、表示態様特定部１４３は、入力画像に対する解析により得られた年代に応じてテキストの色を制御してもよい。また、表示態様特定部１４３は、入力画像に対する解析により得られたユーザＵ１の集中度（または興奮度）に応じてテキストの色を制御してもよいし、テキストのサイズを制御してもよいし、テキストの末尾に付加されるオブジェクトを制御してもよい。

　図１２は、生体情報入力部１１８によって入力された生体情報に対する解析により得られた結果をパラメータとして利用した場合に特定されるテキスト（図３に示したテキストＴｘ－１０）の表示態様の例を示す図である。図１２に示すように、表示態様特定部１４３は、生体情報に対する解析により得られたユーザＵ１の集中度（または興奮度）に応じてテキストの色を制御してもよいし、テキストのサイズを制御してもよいし、テキストの末尾に付加されるオブジェクトを制御してもよい。

　集中度は、様々な生体情報によって変化し得ることが想定される。そのため、集中度を算出するために使用される生体情報は、ユーザＵ１の体温、発汗量、脈拍数、呼吸回数、瞬目回数、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位およびＳＰＯ_２（血中酸素飽和度）のうち少なくともいずれか一つを含んでもよい。

　また、表示態様特定部１４３は、コントローラの把持圧力に基づいてテキストのサイズを制御してもよい。例えば、表示態様特定部１４３は、コントローラの把持圧力が所定の圧力よりも大きい場合には、所定の圧力よりも小さい場合に比較して、テキストのサイズを大きくしてもよい。また、表示態様特定部１４３は、ユーザＵ１の発汗量が所定の上限発汗量を上回る場合に、テキストの末尾に所定のオブジェクトを付加するように表示態様を制御してもよい。

　また、表示態様特定部１４３は、ユーザＵ１の心拍数に応じた動きアニメーションをテキストに付加するように表示態様を制御してもよい。例えば、表示態様特定部１４３は、ユーザＵ１の心拍数が大きくなるほど大きな動きを示すアニメーションをテキストに付加するように表示態様を制御してもよい

　以上、パラメータの例およびパラメータに応じて特定される表示態様の例について説明した。このようにして特定された表示態様は、ユーザＵ１によって変更不可能であってもよいが、ユーザＵ１の利便性を考慮し、ユーザＵ１による所定の変更操作に基づいて変更可能であるのがよい。変更操作は特に限定されないが、表示態様に対応するボタンを押下する操作であってよい。

　図１３は、ユーザＵ１による変更操作に基づいて表示態様が変更される例を示す図である。図１３を参照すると、発話画面１３３－１には、ユーザＵ１による発話に対する音声認識処理結果の例として、テキストＴｘ－２１「ゲーム中だよ」が大きめのサイズにて表示されている。また、発話画面１３３－１には、パラメータに応じて特定されたテキストの表示態様として、「赤色」「サイズ大」「スライドイン」「３Ｄ」が表示されている。

　ここで、ユーザＵ１がテキストＴｘ－２１「ゲーム中だよ」を小さくしたいと考えた場合を想定する。このとき、ユーザＵ１は、表示態様の一例である「サイズ大」を押下すればよい。すると、操作入力部１１５によって「サイズ大」を押下する操作が入力され、表示態様特定部１４３は、テキストＴｘ－２１「ゲーム中だよ」の表示態様である「サイズ大」をキャンセルする。その結果、発話画面１３３－２には、小さめのサイズにてテキストＴｘ－２２「ゲーム中だよ」が表示される。

　続いて、情報処理システム１０－１の動作例について説明する。図１４は、情報処理システム１０－１の動作例を示すフローチャートである。図１４に示したフローチャートは、情報処理システム１０－１の動作の一例を示したに過ぎない。そのため、情報処理システム１０－１の動作は、かかる例に限定されない。まず、ユーザＵ１が認識開始操作を行うと、認識開始操作が操作入力部１１５によって入力され、ユーザＵ１は発話を開始する。そして、集音部１２０によって音情報が集音されると、情報取得部１４１は、集音部１２０によって集音された音情報を取得する。

　そして、音声認識部１４２によって音情報に対する音声認識処理が実行されることによってテキストが取得されると（ステップＳ１１）、ステップＳ１９に動作が移行される。一方、表示態様特定部１４３は、画像入力部１１０によって入力された入力画像に対する画像解析により画像解析結果を取得し（ステップＳ１２）、画像解析結果に対応する表示態様情報を取得する（ステップＳ１３）。画像解析結果に対応する表示態様情報を取得されると、ステップＳ１９に動作が移行される。

　また、表示態様特定部１４３は、集音部１２０によって集音された音情報に対する音解析により音解析結果を取得し（ステップＳ１４）、音解析結果に対応する表示態様情報を取得する（ステップＳ１５）。音解析結果に対応する表示態様情報を取得されると、ステップＳ１９に動作が移行される。また、表示態様特定部１４３は、生体情報入力部１１８によって入力された生体情報に対する解析によりユーザ状態を推定し（ステップＳ１７）、ユーザ状態に対応する表示態様情報を取得する（ステップＳ１８）。ユーザ状態に対応する表示態様情報を取得されると、ステップＳ１９に動作が移行される。

　続いて、表示態様特定部１４３は、取得されたこれらの表示態様情報によって音声認識処理によって得られたテキストを制御する（ステップＳ１９）。表示態様特定部１４３によって制御されたテキストは、アプリケーション（例えば、チャットアプリケーション）に通知され（ステップＳ２０）、アプリケーションにおいて利用される。テキストがチャットアプリケーションにおいて利用される場合には、このようにして表示態様特定部１４３によって制御されたテキスト（すなわち、テキストおよび表示態様情報を含む表示情報）が、ユーザＵ２の情報処理システム１０－２に送信されてよい。

　以上においては、ユーザＵ１の情報処理システム１０－１における動作について主に説明した。しかし、上記したように、チャットアプリケーションが起動されている場合などには、情報処理システム１０－１における表示態様特定部１４３によって制御されたテキスト（すなわち、テキストおよび表示態様情報を含む表示情報）が、ユーザＵ２の情報処理システム１０－２に送信される。そこで、以下の説明においては、情報処理システム１０－１と情報処理システム１０－２との連携について主に説明する。

　図１５は、表示情報を送信する情報処理システム１０－１が有する機能を説明するための図である。図１５を参照すると、図３に示した例と同様に、表示部１３０が映像表示画面１３１を有しているが、ユーザＵ１がゲームを楽しんでいるため、映像表示画面１３１には、ゲームアプリケーションに含まれる映像が表示されている。

　また、発話画面１３３には、情報処理システム１０－１の集音部１２０によって集音された音情報に対する音声認識処理結果の例として、テキストＴｘ－２１「今ゲーム中だよ」が音情報の音量に応じたサイズによって表示され、ユーザＵ１の集中度に応じたオブジェクトＢｊ－１０がテキストＴｘ－２１に付加されている。このようにして表示されているテキストＴｘ－２１および表示態様情報（例えば、サイズおよびオブジェクトＢｊ－１０）が、表示情報として情報処理システム１０－２に送信される。

　図１６は、表示情報を受信する情報処理システム１０－２が有する機能を説明するための図である。図１６を参照すると、ユーザＵ２が操作入力部１１５を操作している。図１６に示すように、情報処理システム１０－２においては、情報処理システム１０－１から表示情報として、テキストＴｘ－２１および表示態様情報（例えば、サイズおよびオブジェクトＢｊ－１０）を受信すると、オブジェクトＢｊ－１０が付加されたテキストＴｘ－２１がチャット画面１３４に表示される。このように、情報処理システム１０－１における出力部１４４は、表示態様特定部１４３によって特定された表示態様によるテキストがユーザＵ２によって視認されるように表示情報を出力可能であってよい。

　ここでは、情報処理システム１０－１における出力部１４４が、表示態様特定部１４３によって特定された表示態様によるテキストＴｘ－２１がユーザＵ２によって視認されるように表示情報を出力する例を示した。しかし、情報処理システム１０－１における出力部１４４は、表示態様特定部１４３によって特定された表示態様によるテキストがユーザＵ２によって視認されるように表示情報を出力するか否かを切り替え可能であってもよい。例えば、情報処理システム１０－１における出力部１４４は、ユーザＵ２の状態に基づいて、表示態様特定部１４３によって特定された表示態様によるテキストがユーザＵ２によって視認されるように表示情報を出力するか否かを切り替えてもよい。

　例えば、情報処理システム１０－１における出力部１４４は、ユーザＵ２の状態が所定の状態である場合には、表示態様特定部１４３によって特定された表示態様とは異なる他の表示態様によりテキストがユーザＵ２によって視認されるように表示情報を出力してもよい。図１７は、ユーザＵ２の集中度が閾値を上回る場合に送信される表示情報の例を示す図である。図１７に示す例では、ユーザＵ２が映像表示画面１３１に表示されている映像に集中しているため、ユーザＵ２の集中度が閾値を上回っている場合を想定している。

　かかる場合には、情報処理システム１０－１における出力部１４４は、表示態様特定部１４３によって特定された表示態様以外に所定のアニメーションを追加した上で、テキストＴｘ－２１および表示態様情報（例えば、所定のアニメーション、サイズおよびオブジェクトＢｊ－１０）を送信するとよい。そうすれば、図１７に示すように、情報処理システム１０－２において、テキストＴｘ－２１に所定のアニメーション（図１７に示した例では、点滅アニメーション）が付加されて表示されることにより、ユーザＵ２がテキストＴｘ－２１に気付きやすくなる。

　図１８は、ユーザＵ２がチャット画面１３４を視認していない場合に送信される表示情報の例を示す図である。図１８に示す例では、ユーザＵ２がチャット画面１３４を視認していない場合を想定している。かかる場合には、情報処理システム１０－１における出力部１４４は、表示態様特定部１４３によって特定された表示態様以外に所定の音を送信するとよい。そうすれば、図１８に示すように、情報処理システム１０－２において、受信された音（図１８に示した例では、テキストＴｘ－２１「今ゲーム中だよ」の読み上げ結果によって得られる音声）が音出力部１３５によって出力されることにより、ユーザＵ２がテキストＴｘ－２１に気付きやすくなる。

　なお、ユーザＵ２がチャット画面１３４を視認しているか否かは、情報処理システム１０－２における画像入力部１１０によって入力された入力画像の解析により得られてよい。入力画像の解析は、情報処理システム１０－１においてなされてもよいし、情報処理システム１０－２においてなされてもよい。

　また、情報処理システム１０－１における出力部１４４は、ユーザＵ１と情報処理システム１０－２のユーザとの関係性に基づいて、表示態様特定部１４３によって特定された表示態様によるテキストが情報処理システム１０－２のユーザによって視認されるように表示情報を出力するか否かを切り替えてもよい。図１９は、情報処理システム１０－２をユーザＵ３が利用する場合に送信される表示情報の例を示す図である。図１９に示す例では、ユーザＵ３が情報処理システム１０－２を利用している場合を想定している。例えば、ユーザＵ１と家族という関係にあるユーザＵ３が情報処理システム１０－２を利用する場合を想定する。

　かかる場合には、情報処理システム１０－１における出力部１４４は、表示態様特定部１４３によって特定された表示態様から所定の表示態様（例えば、サイズ）を除外した上で、テキストＴｘ－２１および表示態様情報（例えば、オブジェクトＢｊ－１０）を送信するとよい。そうすれば、図１９に示すように、情報処理システム１０－２において、テキストＴｘ－２１から所定の表示態様（図１９に示した例では、サイズ）による制御がなされないテキスト（標準サイズでオブジェクトＢｊ－１０が付加されたテキスト）が表示される。一方、ユーザＵ１と親友という関係にあるユーザＵ２が情報処理システム１０－２を利用する場合には、図１６に示したように、情報処理システム１０－１における出力部１４４は、テキストＴｘ－２１および表示態様情報すべて（例えば、サイズ、オブジェクトＢｊ－１０）を送信するとよい。そうすれば、図１６に示すように、情報処理システム１０－２において、テキストＴｘ－２１から表示態様（図１６に示した例では、サイズ、オブジェクトＢｊ－１０）による制御がなされたテキスト（標準サイズより大きなサイズでオブジェクトＢｊ－１０が付加されたテキスト）が表示される。このようにして、ユーザＵ２とユーザＵ３との間で視認させるテキストの表示態様を異ならせることが可能である。

　なお、送信すべき表示態様情報は、ユーザまたはユーザが所属するグループ（例えば、友達、上司、親友、家族など）ごとにあらかじめ登録されており、このようにしてあらかじめ登録されている表示態様情報に基づいて決められてもよい。あるいは、送信すべき表示態様情報は、ユーザＵ１によって指定可能とされており、ユーザＵ１によって指定された表示態様情報に基づいて決定されてもよい。送信すべき表示態様情報の決定は、情報処理システム１０－１における表示態様特定部１４３によって実行されてよい。

　以上、情報処理システム１０－１と情報処理システム１０－２との連携について説明した。

　［１．４．種々の変形例］
　上記したように、表示態様は、ユーザＵ１に関する情報にさらに基づいて特定されてもよい。ここで、上記したように、ユーザＵ１に関する情報は特に限定されない。例えば、ユーザＵ１に関する情報は、ユーザＵ１の行動情報、ユーザＵ１が操作するデバイス種類、および、ユーザＵ１の周囲の環境情報のうち少なくともいずれか一つを含んでもよい。行動情報はどのようして得られてもよいが、ユーザＵ１が所持するデバイスの位置情報を解析することにより得られてもよい。また、環境情報もどのようにして得られてもよいが、ユーザＵ１の近隣において集音された音情報を解析することによって得られてよい。

　図２０Ａは、ユーザＵ１の行動情報が走っていることを示す場合にテキストに付加されるオブジェクトの例を示す図である。図２０Ａに示すように、ユーザＵ１が走っていることを示す行動情報が得られた場合には、テキストＴｘ３１に対応するオブジェクトＢｊ－４１が付加されてよい。

　図２０Ｂは、ユーザＵ１の環境情報が周囲に人がいることを示す場合にテキストに付加されるオブジェクトの例を示す図である。図２０Ｂに示すように、ユーザＵ１の周囲に人がいることを示す環境情報が得られた場合には、テキストＴｘ３２に対応するオブジェクトＢｊ－４２が付加されてよい。

　図２０Ｃは、ユーザＵ１の行動情報が自動車運転中であることを示す場合にテキストに付加されるオブジェクトの例を示す図である。図２０Ｃに示すように、ユーザＵ１が自動者運転中であることを示す行動情報が得られた場合には、テキストＴｘ３３に対応するオブジェクトＢｊ－４３が付加されてよい。

　［１．５．ハードウェア構成例］
　次に、図２１を参照して、本開示の実施形態に係る情報処理システム１０のハードウェア構成について説明する。図２１は、本開示の実施形態に係る情報処理システム１０のハードウェア構成例を示すブロック図である。

　図２１に示すように、情報処理システム１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０５を含む。また、情報処理システム１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理システム１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理システム１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。

　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理システム１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理システム１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理システム１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。

　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置９１７は、情報処理システム１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。

　ストレージ装置９１９は、情報処理システム１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理システム１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

　接続ポート９２３は、機器を情報処理システム１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理システム１０と外部接続機器９２９との間で各種のデータが交換され得る。

　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

　撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

　センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理システム１０の筐体の姿勢など、情報処理システム１０自体の状態に関する情報や、情報処理システム１０の周辺の明るさや騒音など、情報処理システム１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

　以上、情報処理システム１０のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。

　＜２．むすび＞
　以上説明したように、本開示の実施形態によれば、集音部１２０によって集音された音情報に対する音声認識処理に関するパラメータを取得する情報取得部１４１と、音情報に対する音声認識処理結果をパラメータに応じて特定された表示態様により表示するための表示情報を出力する出力部１４４と、を備える、情報処理装置１４０が提供される。かかる構成によれば、音声認識処理結果の表示態様によって、音声認識処理が行われた状況をユーザに直感的に把握させることが可能となる。

　特に、本開示の実施形態によれば、所望の音声認識処理結果が得られていない場合に、音声認識処理に関するパラメータに応じて特定された音声認識処理結果を視認することによって、所望の音声認識処理結果が得られていない理由を直感的に把握することが可能となる。そして、把握した理由を次回の発話に反映させることによって、次回に所望の音声認識処理結果が得られる可能性を高めることが可能となる。

　また、本開示の実施形態によれば、音声認識処理結果の表示態様の変更を発話と同時に行うことが可能となる。そのため、本開示の実施形態によれば、音声認識処理結果の表示態様の変更を、発話とは別途の手動によって行う場合と比較して、簡易な手法により行うことが可能となる。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した制御部１４０が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

　なお、上述した情報処理システム１０の動作が実現されれば、各構成の位置は特に限定されない。具体的な一例として、画像入力部１１０、操作入力部１１５、生体情報入力部１１８、集音部１２０、通信部１２５、表示部１３０および音出力部１３５と制御部１４０とは、ネットワークを介して接続された互いに異なる装置に設けられてもよい。この場合には、制御部１４０が、例えば、ウェブサーバやクラウドサーバのようなサーバに相当し、画像入力部１１０、操作入力部１１５、生体情報入力部１１８、集音部１２０、通信部１２５、表示部１３０および音出力部１３５が当該サーバにネットワークを介して接続されたクライアントに相当し得る。

　また、制御部１４０が有するすべての構成要素が同一の装置に収まっていなくてもよい。例えば、情報取得部１４１と、音声認識部１４２と、表示態様特定部１４３および出力部１４４のうち、一部は制御部１４０とは異なる装置に存在していてもよい。例えば、音声認識部１４２および表示態様特定部１４３は、情報取得部１４１と出力部１４４とを備える制御部１４０とは異なるサーバに存在していてもよい。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　集音に基づく音情報に対する音声認識処理に関するパラメータを取得する情報取得部と、
　前記音情報に対する音声認識処理結果を前記パラメータに応じて特定された表示態様により表示するための表示情報を出力する出力部と、
　を備える、情報処理装置。
（２）
　前記パラメータは、前記音情報に含まれるユーザの発話情報を含む、
　前記（１）に記載の情報処理装置。
（３）
　前記パラメータは、前記音情報に含まれるユーザの発話に対応するノイズに関する情報を含む、
　前記（１）に記載の情報処理装置。
（４）
　前記ノイズに関する情報は、前記ノイズの種類、前記ノイズの音量、および、前記ノイズの音源から集音部への方向のうち少なくともいずれか一つを含む、
　前記（３）に記載の情報処理装置。
（５）
　前記ユーザの発話情報は、前記音情報に含まれる前記ユーザの発話音量、前記音情報の音声らしさ、前記音情報の周波数、前記音情報に含まれる音声の発話速度、前記音情報に含まれる音声の語尾に関する情報、および、前記音声認識処理結果の信頼度のうち少なくともいずれか一つを含む、
　前記（２）に記載の情報処理装置。
（６）
　前記表示態様は、前記音声認識処理結果のサイズ、形状、彩度、フォント、かすれ度合い、ひび割れ度合い、前記音声認識処理結果に付加されるアニメーションの種類、前記音声認識処理結果に付加されるオブジェクトの種類の少なくともいずれか一つを含む、
　前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記表示態様は、第１のユーザに関する情報にさらに基づいて特定される、
　前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記第１のユーザに関する情報は、前記第１のユーザの生体情報および感情情報のうち少なくともいずれか一つを含む、
　前記（７）に記載の情報処理装置。
（９）
　前記第１のユーザに関する情報は、前記第１のユーザの性別および年代のうち少なくともいずれか一つを含む、
　前記（７）に記載の情報処理装置。
（１０）
　前記第１のユーザに関する情報は、前記第１のユーザの行動情報、前記第１のユーザが操作するデバイス種類、および、前記第１のユーザの周囲の環境情報のうち少なくともいずれか一つを含む、
　前記（７）に記載の情報処理装置。
（１１）
　前記出力部は、前記表示態様による前記音声認識処理結果が前記第１のユーザとは異なる第２のユーザによって視認されるように前記表示情報を出力可能である、
　前記（７）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記出力部は、前記表示態様による前記音声認識処理結果が前記第２のユーザによって視認されるように前記表示情報を出力するか否かを切り替え可能である、
　前記（１１）に記載の情報処理装置。
（１３）
　前記出力部は、前記第２のユーザの状態に基づいて、前記表示態様による前記音声認識処理結果が前記第２のユーザによって視認されるように前記表示情報を出力するか否かを切り替える、
　前記（１２）に記載の情報処理装置。
（１４）
　前記出力部は、前記第２のユーザの状態が所定の状態である場合には、前記表示態様とは異なる他の表示態様により音声認識処理結果が前記第２のユーザによって視認されるように前記表示情報を出力する、
　前記（１３）に記載の情報処理装置。
（１５）
　前記出力部は、前記第１のユーザと前記第２のユーザとの関係性に基づいて、前記表示態様による前記音声認識処理結果が前記第２のユーザによって視認されるように前記表示情報を出力するか否かを切り替える、
　前記（１２）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記出力部は、前記第１のユーザと前記第２のユーザとの関係性が所定の関係性を示す場合には、前記表示態様とは異なる他の表示態様により前記音声認識処理結果が前記第２のユーザによって視認されるように前記表示情報を出力する、
　前記（１５）に記載の情報処理装置。
（１７）
　前記表示態様は、前記第１のユーザによる所定の変更操作に基づいて変更可能である、
　前記（７）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記情報処理装置は、
　前記パラメータに応じて前記表示態様を特定する表示態様特定部を備える、
　前記（１）～（１７）のいずれか一項に記載の情報処理装置。
（１９）
　集音部によって集音された音情報に対する音声認識処理に関するパラメータを取得することと、
　プロセッサにより、前記音情報に対する音声認識処理結果を前記パラメータに応じて特定された表示態様により表示するための表示情報を出力することと、
　を含む、情報処理方法。
（２０）
　コンピュータを、
　集音部によって集音された音情報に対する音声認識処理に関するパラメータを取得する情報取得部と、
　前記音情報に対する音声認識処理結果を前記パラメータに応じて特定された表示態様により表示するための表示情報を出力する出力部と、
　を備える情報処理装置として機能させるためのプログラム。

　１０　　情報処理システム
　１１０　画像入力部
　１１５　操作入力部
　１１８　生体情報入力部
　１２０　集音部
　１２５　通信部
　１３０　表示部
　１３５　音出力部
　１４０　制御部（情報処理装置）
　１４１　情報取得部
　１４２　音声認識部
　１４３　表示態様特定部
　１４４　出力部
　１８０　表示部

Claims (20)

1. 　集音に基づく音情報に対する音声認識処理に関するパラメータを取得する情報取得部と、
   　前記音情報に対する音声認識処理結果を前記パラメータに応じて特定された表示態様により表示するための表示情報を出力する出力部と、
   　を備える、情報処理装置。
2. 　前記パラメータは、前記音情報に含まれるユーザの発話情報を含む、
   　請求項１に記載の情報処理装置。
3. 　前記パラメータは、前記音情報に含まれるユーザの発話に対応するノイズに関する情報を含む、
   　請求項１に記載の情報処理装置。
4. 　前記ノイズに関する情報は、前記ノイズの種類、前記ノイズの音量、および、前記ノイズの音源から集音部への方向のうち少なくともいずれか一つを含む、
   　請求項３に記載の情報処理装置。
5. 　前記ユーザの発話情報は、前記音情報に含まれる前記ユーザの発話音量、前記音情報の音声らしさ、前記音情報の周波数、前記音情報に含まれる音声の発話速度、前記音情報に含まれる音声の語尾に関する情報、および、前記音声認識処理結果の信頼度のうち少なくともいずれか一つを含む、
   　請求項２に記載の情報処理装置。
6. 　前記表示態様は、前記音声認識処理結果のサイズ、形状、彩度、フォント、かすれ度合い、ひび割れ度合い、前記音声認識処理結果に付加されるアニメーションの種類、前記音声認識処理結果に付加されるオブジェクトの種類の少なくともいずれか一つを含む、
   　請求項１に記載の情報処理装置。
7. 　前記表示態様は、第１のユーザに関する情報にさらに基づいて特定される、
   　請求項１に記載の情報処理装置。
8. 　前記第１のユーザに関する情報は、前記第１のユーザの生体情報および感情情報のうち少なくともいずれか一つを含む、
   　請求項７に記載の情報処理装置。
9. 　前記第１のユーザに関する情報は、前記第１のユーザの性別および年代のうち少なくともいずれか一つを含む、
   　請求項７に記載の情報処理装置。
10. 　前記第１のユーザに関する情報は、前記第１のユーザの行動情報、前記第１のユーザが操作するデバイス種類、および、前記第１のユーザの周囲の環境情報のうち少なくともいずれか一つを含む、
    　請求項７に記載の情報処理装置。
11. 　前記出力部は、前記表示態様による前記音声認識処理結果が前記第１のユーザとは異なる第２のユーザによって視認されるように前記表示情報を出力可能である、
    　請求項７に記載の情報処理装置。
12. 　前記出力部は、前記表示態様による前記音声認識処理結果が前記第２のユーザによって視認されるように前記表示情報を出力するか否かを切り替え可能である、
    　請求項１１に記載の情報処理装置。
13. 　前記出力部は、前記第２のユーザの状態に基づいて、前記表示態様による前記音声認識処理結果が前記第２のユーザによって視認されるように前記表示情報を出力するか否かを切り替える、
    　請求項１２に記載の情報処理装置。
14. 　前記出力部は、前記第２のユーザの状態が所定の状態である場合には、前記表示態様とは異なる他の表示態様により音声認識処理結果が前記第２のユーザによって視認されるように前記表示情報を出力する、
    　請求項１３に記載の情報処理装置。
15. 　前記出力部は、前記第１のユーザと前記第２のユーザとの関係性に基づいて、前記表示態様による前記音声認識処理結果が前記第２のユーザによって視認されるように前記表示情報を出力するか否かを切り替える、
    　請求項１２に記載の情報処理装置。
16. 　前記出力部は、前記第１のユーザと前記第２のユーザとの関係性が所定の関係性を示す場合には、前記表示態様とは異なる他の表示態様により前記音声認識処理結果が前記第２のユーザによって視認されるように前記表示情報を出力する、
    　請求項１５に記載の情報処理装置。
17. 　前記表示態様は、前記第１のユーザによる所定の変更操作に基づいて変更可能である、
    　請求項７に記載の情報処理装置。
18. 　前記情報処理装置は、
    　前記パラメータに応じて前記表示態様を特定する表示態様特定部を備える、
    　請求項１に記載の情報処理装置。
19. 　集音に基づく音情報に対する音声認識処理に関するパラメータを取得することと、
    　プロセッサにより、前記音情報に対する音声認識処理結果を前記パラメータに応じて特定された表示態様により表示するための表示情報を出力することと、
    　を含む、情報処理方法。
20. 　コンピュータを、
    　集音に基づく音情報に対する音声認識処理に関するパラメータを取得する情報取得部と、
    　前記音情報に対する音声認識処理結果を前記パラメータに応じて特定された表示態様により表示するための表示情報を出力する出力部と、
    　を備える情報処理装置として機能させるためのプログラム。

Images