JP7048784B2 - 表示制御システム、表示制御方法及びプログラム - Google Patents

Description

本発明の実施形態は表示制御システム、表示制御方法及びプログラムに関する。

音声を示すテキスト情報を含む画像を、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、及び、スマートデバイス等の表示装置に表示する技術が従来から知られている。

特開２０１２－１０８７９３号公報 特許第６０８４７２８号公報

しかしながら、従来の技術では、ユーザの視界に入っていない音源からの音を含む音場を視覚的に表すことが難しかった。

実施形態の表示制御システムは、認識部と算出部と表示制御部とを備える。認識部は、音源から発せられた音を認識する。算出部は、ユーザの位置からの前記音源の方向を、認識された前記音から算出する。表示制御部は、前記音を視覚的に示す表示情報を、前記ユーザが向いている方向と、前記音源の方向との角度に応じて決定される第１表示形式により、表示部に表示する。

第１実施形態の表示制御システムの機能構成の例を示す図。 第１実施形態の表示制御方法の例を説明するための図。 第１実施形態の音源位置の特定方法の例を説明するための図。 第１実施形態の表示形式の決定方法の例（右回り）を説明するための図。 第１実施形態の表示制御の例１を説明するための図。 第１実施形態の表示形式の決定方法の例（左回り）を説明するための図。 第１実施形態の表示制御の例２を説明するための図。 第１実施形態の表示制御の例３を説明するための図。 第１実施形態の表示制御の例３を説明するための図。 第１実施形態の変形例の音源位置の特定方法の例を説明するための図。 第２実施形態の表示形式の決定方法の例を示す図。 第２実施形態の表示制御の例を示す図。 第２実施形態の変形例の表示制御の例を示す図。 第３実施形態の表示制御の例を示す図。 第１乃至第３の表示制御システムのハードウェア構成の例を示す図。

以下に添付図面を参照して、表示制御システム、表示制御方法及びプログラムの実施形態を詳細に説明する。

（第１実施形態）
はじめに第１実施形態について説明する。

［機能構成の例］
図１は第１実施形態の表示制御システムの機能構成の例を示す図である。第１実施形態の表示制御システム１００は、認識部１、ユーザ方向算出部２ａ、音源方向算出部２ｂ及び表示制御部３を備える。

認識部１は、音源から発せられた音を認識する。認識部１は、例えば音源から発せられた音が音声である場合、当該音声を示すテキスト情報を生成する。

ユーザ方向算出部２ａは、ユーザの位置を原点としてユーザが向いている方向を示す基準方向ベクトルを算出する。音源方向算出部２ｂは、同じくユーザを中心とした原点位置から音源の方向を示す音源方向ベクトルを、認識された音から算出する。

表示制御部３は、音を視覚的に示す表示情報を、基準方向ベクトルと音源方向ベクトルとの角度に応じて決定される第１表示形式により、表示部に表示する。第１表示形式の説明は後述する。

また、表示制御部３は、基準方向ベクトルと音源方向ベクトルとの角度の範囲を所定の分割範囲毎に分割し、基準方向ベクトルと音源方向ベクトルとが同一の分割範囲に含まれる場合、音を視覚的に示す表示情報を第２表示形式により表示部に表示する。第２表示形式の説明は後述する。

なお、表示制御システム１００の構成は上記構成に限られない。表示制御システム１００は、例えばユーザの周囲の音を集音するマイク、ユーザによる操作入力を受け付ける入力部、表示情報を表示する表示部、及び、他の装置と通信する通信部等を更に備えていてもよい。

また、上述の機能ブロックを備える表示制御システム１００は、１つの装置により実現されてもよいし、複数の装置により実現されてもよい。また、同一の機能を有する機能ブロックが、複数の装置に備えられていてもよい。

図２は第１実施形態の表示制御方法の例を説明するための図である。

表示制御システム１００を実現するための装置構成は任意でよい。第１実施形態の説明では、表示制御装置システム１００がユーザ端末１０及びサーバ装置２０により実現されている場合について説明する。

なおユーザ端末１０は任意でよい。ユーザ端末１０は、例えばＨＭＤ、スカウタータイプのディスプレイ、及び、スマートデバイス等である。

ＨＭＤは、ユーザの頭部に装着され、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間及び拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間等を表す仮想空間画像を表示可能な装置である。ＨＭＤは、例えば半透明な画面を持つ。一般にＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）にして使用されるＨＭＤは、現実の映像（カメラの映像を含む）と、任意の表示情報とを重ね合わせることが可能である。そのため、視界を覆う画面（スクリーン）には現実の状況を映し出すことが可能である。

スカウタータイプのディスプレイは、片側の眼に情報を表示する装置である。スカウタータイプのディスプレイは、視線上の空間に情報を表示可能なディスプレイとして利用されている。

スマートデバイスは、例えばスマートフォン及びタブレット型端末等である。

ユーザ端末１０が、ＨＭＤ、及び、スカウタータイプのディスプレイ等の場合、上述の基準方向ベクトルが示すユーザが向いている方向は、ユーザの顔が向いている方向である。顔の向きの検出には、アウトサイドイン、インサイドアウト、又はその両方で、トラッキングを行うことが可能である。第１実施形態の説明では、例えばインサイドアウトのトラッキング方法を適用する。

ユーザ端末１０が、スマートデバイスの場合、上述の基準方向ベクトルが示すユーザが向いている方向は、当該スマートデバイスを手に持つユーザの体が向いている方向である。

はじめに、ユーザ端末１０が、ユーザによる操作入力等を契機にして、現在の正面位置の特定をサーバ装置２０に依頼する（ステップＳ１）。現在の正面位置の特定方法は任意でよい。例えば、ユーザ端末１０の表示部が、現在の正面位置を特定する処理を開始する旨を表示し、ユーザに任意の方向に向いてもらった状態で決定ボタンの押下等を受け付けることにより、現在の正面位置を特定してもよい。

次に、サーバ装置２０のユーザ方向算出部２ａが、現在の正面位置を特定するための基準方向ベクトルを算出する（ステップＳ２）。

次に、発表者３０－１が、発話すると（ステップＳ３）、サーバ装置２０の認識部１が、音源である発表者３０－１から発せされた音を認識する（ステップＳ４）。サーバ装置２０の認識部１は、例えばユーザに付けられたマイクにより集音された音を示す音情報をネットワークを介して受信し、当該音情報が示す音を認識する。

次に、ユーザ端末１０のユーザ方向算出部２ａが、ユーザが向いている方向を示す基準方向ベクトルを算出する（ステップＳ５）。次に、サーバ装置２０の音源方向算出部２ｂが、ステップＳ４の処理により認識された音の音源の方向を示す音源方向ベクトルを算出する（ステップＳ６）。

次に、サーバ装置２０の表示制御部３が、ステップＳ４の処理により認識された音を視覚的に示す表示情報の表示形式を決定する（ステップＳ７）。

次に、ユーザ端末１０の表示制御部３が、ステップＳ７の処理により決定された表示形式により、音を視覚的に示す表示情報を表示部に表示する表示制御をする（ステップＳ８）。

以上のステップＳ４～ステップＳ８の処理が、表示制御システム１００の基本処理である。

次に、第ｎ発表者３０－ｎが、発話すると（ステップＳ９）、表示制御システム１００は、上述の発表者３０－１による発話の場合と同様にして、上述の基本処理を実行する。

図３は第１実施形態の音源位置の特定方法の例を説明するための図である。図３の例では、基準方向ベクトル１０３は、ユーザ１０１が舞台１０２を正面に見た場合の基準方向を示す。角度１０４は、ユーザ１０１の標準視野角（９０°）を示す。また、図３の例では、基準方向ベクトル１０３と、音源１０５の方向を示す音源方向ベクトル１０６との角度の分割範囲が、４５°毎に８つの領域（グリッド）に分割されている場合を示す。なお領域の分割方法は任意でよい。

図３の例では、音源方向ベクトルが含まれる図３の例では、基準方向ベクトル１０３は第１グリッドの開始域に位置している。この場合、ユーザ１０１は、当該ユーザ１０１の向きをベクトル１０７が示す方向まで向けることにより、当該ユーザ１０１の視界に音源１０５を捉えることができる。

図３の例では、分割範囲が第１グリッド～第８グリッドに分割されている。そのため、ユーザ１０１が、音源１０５により近い方向から向きを変えることを前提にした場合、回転角度（回転距離）は、簡易的に右回りの第２グリッド～第４グリッドで設定できる。例えば、図３の例では、音源１０５が第３グリッドにあるので、ユーザが音源１０５を正面に捉えるために必要な回転角度は、簡易的には９０°～１３５°の範囲になる。

表示制御部３は、音源１０５が第２グリッド～第７グリッドのいずれかにある場合、そのグリッドの位置に応じて、音を視覚的に示す表示情報を表示する。ユーザ１０１が音源１０５の方向を見た場合、舞台１０２がある元の正面は、舞台正面として重要なため、たとえば元の正面発話者の位置として新しい基準方向ベクトルから自動で計算しておくことも可能である。図３の例では、回転角度を８等分のグリッドの角度範囲で捉えることができるので、音源１０５の位置をロバストに測定可能となる。この場合、２つ又は３つのマイクを使用することで、音源１０５の位置を特定することが可能になる。

図４は第１実施形態の表示形式の決定方法の例（右回り）を説明するための図である。図４の例は、認識された音が音声であり、音を視覚的に示すテキスト情報を変形させる場合を示す。

音を視覚的に示す表示情報２０１は、上述の第２表示形式により表示される場合の表示情報の例を示す。音を視覚的に示す表示情報２０２ａ～２０２ｃは、上述の第１表示形式により表示される場合の表示情報の例を示す。

θ_２は、ユーザが向いている方向が正面であり、音源が第２グリッドにある場合に使用される。θ_３は、ユーザが向いている方向が正面であり、音源が第３グリッドにある場合に使用される。θ_４は、ユーザが向いている方向が正面であり、音源が第４グリッドにある場合に使用される。θ_２＜θ_３＜θ_４であり、ユーザが向いている方向（正面）からの回転角度が大きいほど、テキスト情報の変形の度合いが大きい。表示制御部３は、音源方向ベクトルが含まれる分割領域と、基準方向ベクトルとから、第１表示形式を決定する。

図５は第１実施形態の表示制御の例１を説明するための図である。学会の発表等では、講演者に対する質問が発生する。このような場合に、第１実施形態の表示制御システム１００によれば、聴覚障害者等にバリアフリーな環境を提供することができる。聴覚に障害を持つユーザに対しては、時間、場所及び内容を的確に表示することにより、はじめて聞こえないことに対しての音声情報の最低限の情報補償となりうる。第１実施形態の表示制御システム１００によれば、ユーザの周囲の音声情報、及び、非音声の有効情報を、ユーザが向いている方向（顔の向き等）に合わせて適時に表示することが可能である。

まず、ユーザ方向算出部２ａが、ユーザが向いている方向を示す基準方向ベクトルを算出する。表示制御部３は、ユーザの正面にいる講演者の音声を視覚的に示す表示情報１１１ａを、上述の第２表示形式により表示部に表示する。

また、ユーザの右側後方の質問者から質問があった場合、認識部１が質問を示す音声を認識する。次に、音源方向算出部２ｂが、ユーザの位置からの質問者の方向を示す音源方向ベクトルを、認識された音声から算出する。そして、表示制御部３が、音源方向ベクトルが含まれる分割領域と、基準方向ベクトルとから決定された第１表示形式により、質問者の音声を視覚的に示す表示情報１１２ａを表示部に表示する。

表示制御部３は、質問があった場合に、ユーザの向きの回転を最小限にする方向から、テキスト情報の表示、又は、テキスト情報の抜粋表示（表示情報１１２ａ）を行う。表示制御部３は、ユーザの顔が質問者に向けられた場合に初めて、テキスト情報を読みやすく表示する（表示情報１１２ｂ）。その際、表示制御部３は、講演者は、回転方向とは逆向きの位置に立つことになるので、表示もそのように変化させる（表示情報１１１ｂ）。

図６は第１実施形態の表示形式の決定方法の例（左回り）を説明するための図である。図６の例は、認識された音が音声であり、音を視覚的に示すテキスト情報を変形させる場合を示す。

音を視覚的に示す表示情報２１２ａ～２１２ｃは、上述の第１表示形式により表示される場合の表示情報の例を示す。表示制御部３は、ユーザに左回りの回転を促す表示情報２１２ａ～２１２ｃを表示する場合、横書きでは先頭の文字を表示できないため、テキスト情報をより自然に読める縦書きで表示する。

θ_７は、ユーザが向いている方向が正面であり、音源が第７グリッドにある場合に使用される。θ_６は、ユーザが向いている方向が正面であり、音源が第６グリッドにある場合に使用される。θ_５は、ユーザが向いている方向が正面であり、音源が第５グリッドにある場合に使用される。θ_７＜θ_６＜θ_５であり、ユーザが向いている方向（正面）からの回転角度が大きいほど、テキスト情報の変形の度合いが大きい。表示制御部３は、音源方向ベクトルが含まれる分割領域と、基準方向ベクトルとから、第１表示形式を決定する。

図７は第１実施形態の表示制御の例２を説明するための図である。まず、ユーザ方向算出部２ａが、ユーザが向いている方向を示す基準方向ベクトルを算出する。表示制御部３は、ユーザの正面にいる講演者の音声を視覚的に示す表示情報１２１を、上述の第２表示形式により表示部に表示する。

また、ユーザの右側後方の質問者から質問があった場合、認識部１が質問を示す音声を認識する。次に、音源方向算出部２ｂが、ユーザの位置からの質問者の方向を示す音源方向ベクトルを、認識された音声から算出する。そして、表示制御部３が、音源方向ベクトルが含まれる分割領域と、基準方向ベクトルとから決定された第２表示形式により、質問者の音声を視覚的に示す横書きの表示情報１２２を表示部に表示する。

一方、ユーザの左側後方の質問者から質問があった場合、認識部１が質問を示す音声を認識する。次に、音源方向算出部２ｂが、ユーザの位置からの質問者の方向を示す音源方向ベクトルを、認識された音声から算出する。そして、表示制御部３が、音源方向ベクトルが含まれる分割領域と、基準方向ベクトルとから決定された第２表示形式により、質問者の音声を視覚的に示す縦書きの表示情報１２３を表示部に表示する。

表示制御部３が、図７に示すように文字の方向を変更して、表示情報１２２及び１２３の表示制御をすることにより、ユーザは質問者の方向をより直感的に把握することができる。

図８Ａ及びＢは、第１実施形態の表示制御の例３を説明するための図である。図８Ａ及びＢの例は、第１実施形態の表示制御システム１００をコンサート会場で適用する場合を示す。表示領域１３２は、表示部に表示される領域を示す。アーティストは、基本的には、表示領域１３２に含まれるコンサート会場の舞台、すなわちユーザ１３１の前方正面にいる。コンサート会場に花道１３３がある場合には、その花道１３３をアーティストが通る場合がある。

第１実施形態の表示制御システム１００では、例えばアーティストが花道１３３を通ったときの歓声等を、表示情報１３４により表示することができる。これにより、正面にいないアーティストの花道１３３上での行動による歓声等を聴覚障害者であっても楽しむことを可能にする。表示制御部３は、ユーザの後方の任意の角度で歓声が上がった場合に、その角度に誘導するための表示情報１３４を、ユーザが振り向く際の回転角度がより小さくなるような配置（例えば左右のどちらか）で表示する。表示情報１３４を見たユーザは、表示情報１３４により示唆された方向に顔を向けて、その方向を確認することができる。

以上説明したように、第１実施形態の表示制御システム１００によれば、ユーザの視界に入っていない場合でも音源からの音を含む音場を視覚的に表すことができる。例えば、ユーザは、表示制御部３により表示される表示情報により、周囲の声等の音がどこから聞こえるのかを眼で確かめながら、音の内容を確認できる。すなわち、ユーザは、ユーザの周囲の音場を視覚のみでより直感的に確認することが可能になり、ユーザの周囲の環境の臨場感を視覚で感じることができる。

（第１実施形態の変形例）
次に第１実施形態の変形例について説明する。第１実施形態の変形例の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

図９は第１実施形態の変形例の音源位置の特定方法の例を説明するための図である。表示制御部３は、舞台１０２付近の講演者（音源１０８）を正面としたときの質問者（音源１０５）の位置を、第１グリッド～第８グリッドの分割領域で特定する。第１実施形態の変形例では、表示制御部３は、ユーザが質問者（音源１０５）を視た場合の講演者（音源１０８）との位置関係が必要になるため、新たな基準軸を質問者軸として作成する。そして、表示制御部３が、質問者（音源１０５）の位置と講演者（音源１０８）の位置とを相対角度で維持する。これにより、第１実施形態の変形例の表示制御システム１００では、表示制御部３が、講演者（音源１０８）の方向と、質問者（音源１０５）の方向とを最小限の表示制御で特定することができる。

（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

図１０は第２実施形態の表示形式の決定方法の例を示す図である。図１０の例は、表示制御部３が、ユーザが向いている方向を示す基準方向ベクトルと、音源の方向を示す音源方向ベクトルとの角度に応じて変形される図形（マーカー）を、第１表示形式として使用する場合を示す。図１０は、ユーザを中心に右回りの距離による変形の度合いと、ユーザを中心に左回りの距離による変形の度合いとを示す。

図形の変形度合いは、正面からの回転角度との関係を示している。そのため、例えば図形の先端部の角度が緩くなっているほど、音源の方向が正面の方向から近いことを示し、図形の先端の角度が鋭くなっているほど、音源の方向が正面の方向から遠いことを示す。そのため音源が１つの場合は、第１表示形式により画面下左右に表示される表示情報は、どちらかの角度が大きくなる。

図１１は第２実施形態の表示制御の例を示す図である。図１１の例では、表示制御部３が、図形の先端の凸な形状を、第１表示形式の変形に利用する場合を示す。表示情報１４１は、正面の講演者の音声を視覚的に示す。表示情報１４２ａ及び１４２ｂは、第３グリッドにいる質問者が質問したことを視覚的に示す。

表示情報１４２ａの形状は、ユーザを中心として右回りに第３グリッドを視る場合を示す。すなわち、表示情報１４２ａの形状は、質問者の方向が、右回りでは、ユーザの標準視野角の外に２グリッド離れていることを示す。

一方、表示情報１４２ｂの形状は、ユーザを中心として左回りに第３グリッドを視る場合を示す。すなわち、表示情報１４２ｂの形状は、質問者の方向が、左回りでは、ユーザの標準視野角の外に５グリッド離れていることを示す。

なお、表示制御部３は、表示情報１４２ａ及び１４２ｂの大きさ及び色等を更に変更することにより、質問者（音源）の方向を示してもよい。

以上説明したように、第２実施形態の表示制御システム１００では、表示制御部３が、ユーザが向いている方向を示す基準方向ベクトルと、音源の方向を示す音源方向ベクトルとの角度に応じて変形される図形を、第１表示形式として使用する。これにより第２実施形態の表示制御システム１００によれば、第１実施形態の表示制御システム１００と同様の効果を得ることができる。

（第２実施形態の変形例）
次に第２実施形態の変形例について説明する。第２実施形態の変形例の説明では、第２実施形態と同様の説明については省略し、第２実施形態と異なる箇所について説明する。

図１２は第２実施形態の変形例の表示制御の例を示す図である。第２実施形態の変形例の表示制御部３は、図１２に示すように、図形の先端が凹な形状を、第１表示形式の変形に利用する場合を示す。表示情報１４１は、正面の講演者の音声を視覚的に示す。表示情報１４３ａ及び１４３ｂは、第３グリッドにいる質問者が質問したことを視覚的に示す。

表示情報１４３ａの形状は、ユーザを中心として右回りに第３グリッドを視る場合を示す。すなわち、表示情報１４３ａの形状は、質問者の方向が、右回りでは、ユーザの標準視野角の外に２グリッド離れていることを示す。

一方、表示情報１４３ｂの形状は、ユーザを中心として左回りに第３グリッドを視る場合を示す。すなわち、表示情報１４３ｂの形状は、質問者の方向が、左回りでは、ユーザの標準視野角の外に５グリッド離れていることを示す。

なお、表示制御部３は、表示情報１４３ａ及び１４３ｂの大きさ及び色等を更に変更することにより、質問者（音源）の方向を示してもよい。例えば前述した例のように大きさを含む形がグリッドの位置と関係していることが重要であり、ユーザの好みで上記例の逆の設定も可能である。

（第３実施形態）
次に第３実施形態について説明する。第３実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

図１３は第３実施形態の表示制御の例を示す図である。例えばスマートデバイスを用いる聴覚障害者を中心に、音源位置を特定することで、サイレンのような特殊な音に関して、表示情報１５１ａにより聴覚障害者を補助することが可能である。図１３の例は、例えばカメラモードで表示された映像に表示情報１５１ａを合わせた表示制御により、聴覚障害者等にサイレンの方向を知らせる場合を示す。

サイレン音の周波数が９６０Ｈｚ及び７７０Ｈｚを基本とし、固定された数種類の周期であることから、このサイレン音の周波数又は周期を基に、当該スマートフォンから警報音源を知らせることも可能である。この場合、例えば表示制御システム１００をスマートフォンのバックグラウンドアプリとして駆動しておく。これにより表示制御システム１００が、サイレン音がマイクから入力された際に、スマートフォンの電子コンパス及びジャイロスコープを用い音源の方向を適応表示する。この場合、例えば、スマートフォンが、まずは振動によりサイレン音検出を知らせ、その後、画面にサイレンの方向を示す表示情報１５１ａを表示する。聴覚障害者は、サイレンの方向に対してスマートフォンを向けることで、表示情報１５１ｂによりテキストの説明が得られる。

以上説明したように、第３実施形態の表示制御システム１００では、表示制御部３が、サイレン音等の特定の音の周波数又は周期を基に、当該音の音源位置を視覚的に示す表示情報を表示部に表示する。これにより第３実施形態の表示制御システム１００によれば、聴覚障害者を補助することが可能である。

最後に、第１乃至第３実施形態の表示制御システム１００のハードウェア構成について説明する。

［ハードウェア構成の例］
図１４は第１乃至第３実施形態の表示制御システム１００のハードウェア構成の例を示す図である。表示制御システム１００は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５、通信装置３０６及びマイク３０７を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５、通信装置３０６及びマイク３０７は、バス３１０を介して接続されている。

なお、表示装置３０４、入力装置３０５及びマイク３０７は備えていなくてもよい。例えば、表示制御システム１００が、通信装置３０６を介して、スマートデバイス等の他の装置と接続される場合、当該他の装置の表示部、入力部及びマイクを利用してもよい。

制御装置３０１は補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。制御装置３０１は、例えばＣＰＵ等の１以上のプロセッサである。主記憶装置３０２はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。補助記憶装置３０３はメモリカード、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、及び、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等である。

表示装置３０４は情報を表示する。表示装置３０４は、例えば液晶ディスプレイであり、曲面の有無を問わず有機ＥＬディスプレイでもよい。入力装置３０５は、情報の入力を受け付ける。入力装置３０５は、例えばハードウェアキー等である。なお表示装置３０４及び入力装置３０５は、表示機能と入力機能とを兼ねる液晶タッチパネル等でもよい。通信装置３０６は他の装置と通信する。

表示制御システム１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ、及び、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。

また表示制御システム１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また表示制御システム１００が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また表示制御システム１００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

表示制御システム１００で実行されるプログラムは、表示制御システム１００の機能のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。

プログラムにより実現される機能は、制御装置３０１が補助記憶装置３０３等の記憶媒体からプログラムを読み出して実行することにより、主記憶装置３０２にロードされる。すなわちプログラムにより実現される機能は、主記憶装置３０２上に生成される。

なお表示制御システム１００の機能の一部を、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。ＩＣは、例えば専用の処理を実行するプロセッサである。

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２つ以上を実現してもよい。

また表示制御システム１００の動作形態は任意でよい。表示制御システム１００を、例えばネットワーク上のクラウドシステムとして動作させてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 認識部
２ａ ユーザ方向算出部
２ｂ 音源方向算出部
３ 表示制御部
１０ ユーザ端末
２０ サーバ装置
１００ 表示制御システム
３０１ 制御装置
３０２ 主記憶装置
３０３ 補助記憶装置
３０４ 表示装置
３０５ 入力装置
３０６ 通信装置
３０７ マイク
３１０ バス

Claims (6)

1. ユーザの周囲にある音源から発せられた音を認識し、前記音を示すテキスト情報を取得する認識部と、
   前記ユーザの位置からの前記音源の方向を、認識された前記音から算出する算出部と、
   前記ユーザが向いている方向と、前記音源の方向との角度の範囲を、前記ユーザを中心に右回り又は左回りに所定の分割範囲毎に分割し、前記音源の方向を含む分割範囲の位置に応じて変形される第１表示形式により表示される表示情報を、前記ユーザが前記音源の方向に振り向く際の回転角度がより小さくなる方向を示唆する配置で表示部に表示し、前記ユーザが向いている方向と前記音源の方向とが同一の前記分割範囲に含まれる場合は、前記テキスト情報を示す第２表示形式により前記表示情報を前記表示部に表示する表示制御部と、
   を備える表示制御システム。
2. 前記第１表示形式は、前記音源の方向を含む分割範囲の位置に応じて変形される図形である、
   請求項１に記載の表示制御システム。
3. 前記第１表示形式は、前記音源の方向を含む分割範囲の位置に応じて変形されるテキスト情報であり、
   前記第２表示形式は、変形されていないテキスト情報である、
   請求項１に記載の表示制御システム。
4. 前記音源の方向は、前記ユーザを中心として原点位置からの方向を示す音源方向ベクトルであり、
   前記第１表示形式は、前記音源方向ベクトルと前記ユーザが向いている方向を示す基準方向ベクトルとの角度に応じて決定される、
   請求項１に記載の表示制御システム。
5. ユーザの周囲にある音源から発せられた音を認識し、前記音を示すテキスト情報を取得するステップと、
   ユーザの位置からの前記音源の方向を、認識された前記音から算出するステップと、
   前記ユーザが向いている方向と、前記音源の方向との角度の範囲を、前記ユーザを中心に右回り又は左回りに所定の分割範囲毎に分割し、前記音源の方向を含む分割範囲の位置に応じて変形される第１表示形式により表示される表示情報を、前記ユーザが前記音源の方向に振り向く際の回転角度がより小さくなる方向を示唆する配置で表示部に表示し、前記ユーザが向いている方向と前記音源の方向とが同一の前記分割範囲に含まれる場合は、前記テキスト情報を示す第２表示形式により前記表示情報を前記表示部に表示する、
   表示制御方法。
6. コンピュータを、
   ユーザの周囲にある音源から発せられた音を認識し、前記音を示すテキスト情報を取得認識部と、
   ユーザの位置からの前記音源の方向を、認識された前記音から算出する算出部と、
   前記ユーザが向いている方向と、前記音源の方向との角度の範囲を、前記ユーザを中心に右回り又は左回りに所定の分割範囲毎に分割し、前記音源の方向を含む分割範囲の位置に応じて変形される第１表示形式により表示される表示情報を、前記ユーザが前記音源の方向に振り向く際の回転角度がより小さくなる方向を示唆する配置で表示部に表示し、前記ユーザが向いている方向と前記音源の方向とが同一の前記分割範囲に含まれる場合は、前記テキスト情報を示す第２表示形式により前記表示情報を前記表示部に表示する表示制御部、
   として機能させるためのプログラム。

Images