JP7048784B2 - 表示制御システム、表示制御方法及びプログラム - Google Patents
表示制御システム、表示制御方法及びプログラム Download PDFInfo
- Publication number
- JP7048784B2 JP7048784B2 JP2021031735A JP2021031735A JP7048784B2 JP 7048784 B2 JP7048784 B2 JP 7048784B2 JP 2021031735 A JP2021031735 A JP 2021031735A JP 2021031735 A JP2021031735 A JP 2021031735A JP 7048784 B2 JP7048784 B2 JP 7048784B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- user
- sound source
- display control
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 208000032041 Hearing impaired Diseases 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/22—Source localisation; Inverse modelling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Description
本発明の実施形態は表示制御システム、表示制御方法及びプログラムに関する。
音声を示すテキスト情報を含む画像を、HMD(Head Mounted Display)、及び、スマートデバイス等の表示装置に表示する技術が従来から知られている。
しかしながら、従来の技術では、ユーザの視界に入っていない音源からの音を含む音場を視覚的に表すことが難しかった。
実施形態の表示制御システムは、認識部と算出部と表示制御部とを備える。認識部は、音源から発せられた音を認識する。算出部は、ユーザの位置からの前記音源の方向を、認識された前記音から算出する。表示制御部は、前記音を視覚的に示す表示情報を、前記ユーザが向いている方向と、前記音源の方向との角度に応じて決定される第1表示形式により、表示部に表示する。
以下に添付図面を参照して、表示制御システム、表示制御方法及びプログラムの実施形態を詳細に説明する。
(第1実施形態)
はじめに第1実施形態について説明する。
はじめに第1実施形態について説明する。
[機能構成の例]
図1は第1実施形態の表示制御システムの機能構成の例を示す図である。第1実施形態の表示制御システム100は、認識部1、ユーザ方向算出部2a、音源方向算出部2b及び表示制御部3を備える。
図1は第1実施形態の表示制御システムの機能構成の例を示す図である。第1実施形態の表示制御システム100は、認識部1、ユーザ方向算出部2a、音源方向算出部2b及び表示制御部3を備える。
認識部1は、音源から発せられた音を認識する。認識部1は、例えば音源から発せられた音が音声である場合、当該音声を示すテキスト情報を生成する。
ユーザ方向算出部2aは、ユーザの位置を原点としてユーザが向いている方向を示す基準方向ベクトルを算出する。音源方向算出部2bは、同じくユーザを中心とした原点位置から音源の方向を示す音源方向ベクトルを、認識された音から算出する。
表示制御部3は、音を視覚的に示す表示情報を、基準方向ベクトルと音源方向ベクトルとの角度に応じて決定される第1表示形式により、表示部に表示する。第1表示形式の説明は後述する。
また、表示制御部3は、基準方向ベクトルと音源方向ベクトルとの角度の範囲を所定の分割範囲毎に分割し、基準方向ベクトルと音源方向ベクトルとが同一の分割範囲に含まれる場合、音を視覚的に示す表示情報を第2表示形式により表示部に表示する。第2表示形式の説明は後述する。
なお、表示制御システム100の構成は上記構成に限られない。表示制御システム100は、例えばユーザの周囲の音を集音するマイク、ユーザによる操作入力を受け付ける入力部、表示情報を表示する表示部、及び、他の装置と通信する通信部等を更に備えていてもよい。
また、上述の機能ブロックを備える表示制御システム100は、1つの装置により実現されてもよいし、複数の装置により実現されてもよい。また、同一の機能を有する機能ブロックが、複数の装置に備えられていてもよい。
図2は第1実施形態の表示制御方法の例を説明するための図である。
表示制御システム100を実現するための装置構成は任意でよい。第1実施形態の説明では、表示制御装置システム100がユーザ端末10及びサーバ装置20により実現されている場合について説明する。
なおユーザ端末10は任意でよい。ユーザ端末10は、例えばHMD、スカウタータイプのディスプレイ、及び、スマートデバイス等である。
HMDは、ユーザの頭部に装着され、仮想現実(VR:Virtual Reality)空間及び拡張現実(AR:Augmented Reality)空間等を表す仮想空間画像を表示可能な装置である。HMDは、例えば半透明な画面を持つ。一般にMR(Mixed Reality)にして使用されるHMDは、現実の映像(カメラの映像を含む)と、任意の表示情報とを重ね合わせることが可能である。そのため、視界を覆う画面(スクリーン)には現実の状況を映し出すことが可能である。
スカウタータイプのディスプレイは、片側の眼に情報を表示する装置である。スカウタータイプのディスプレイは、視線上の空間に情報を表示可能なディスプレイとして利用されている。
スマートデバイスは、例えばスマートフォン及びタブレット型端末等である。
ユーザ端末10が、HMD、及び、スカウタータイプのディスプレイ等の場合、上述の基準方向ベクトルが示すユーザが向いている方向は、ユーザの顔が向いている方向である。顔の向きの検出には、アウトサイドイン、インサイドアウト、又はその両方で、トラッキングを行うことが可能である。第1実施形態の説明では、例えばインサイドアウトのトラッキング方法を適用する。
ユーザ端末10が、スマートデバイスの場合、上述の基準方向ベクトルが示すユーザが向いている方向は、当該スマートデバイスを手に持つユーザの体が向いている方向である。
はじめに、ユーザ端末10が、ユーザによる操作入力等を契機にして、現在の正面位置の特定をサーバ装置20に依頼する(ステップS1)。現在の正面位置の特定方法は任意でよい。例えば、ユーザ端末10の表示部が、現在の正面位置を特定する処理を開始する旨を表示し、ユーザに任意の方向に向いてもらった状態で決定ボタンの押下等を受け付けることにより、現在の正面位置を特定してもよい。
次に、サーバ装置20のユーザ方向算出部2aが、現在の正面位置を特定するための基準方向ベクトルを算出する(ステップS2)。
次に、発表者30-1が、発話すると(ステップS3)、サーバ装置20の認識部1が、音源である発表者30-1から発せされた音を認識する(ステップS4)。サーバ装置20の認識部1は、例えばユーザに付けられたマイクにより集音された音を示す音情報をネットワークを介して受信し、当該音情報が示す音を認識する。
次に、ユーザ端末10のユーザ方向算出部2aが、ユーザが向いている方向を示す基準方向ベクトルを算出する(ステップS5)。次に、サーバ装置20の音源方向算出部2bが、ステップS4の処理により認識された音の音源の方向を示す音源方向ベクトルを算出する(ステップS6)。
次に、サーバ装置20の表示制御部3が、ステップS4の処理により認識された音を視覚的に示す表示情報の表示形式を決定する(ステップS7)。
次に、ユーザ端末10の表示制御部3が、ステップS7の処理により決定された表示形式により、音を視覚的に示す表示情報を表示部に表示する表示制御をする(ステップS8)。
以上のステップS4~ステップS8の処理が、表示制御システム100の基本処理である。
次に、第n発表者30-nが、発話すると(ステップS9)、表示制御システム100は、上述の発表者30-1による発話の場合と同様にして、上述の基本処理を実行する。
図3は第1実施形態の音源位置の特定方法の例を説明するための図である。図3の例では、基準方向ベクトル103は、ユーザ101が舞台102を正面に見た場合の基準方向を示す。角度104は、ユーザ101の標準視野角(90°)を示す。また、図3の例では、基準方向ベクトル103と、音源105の方向を示す音源方向ベクトル106との角度の分割範囲が、45°毎に8つの領域(グリッド)に分割されている場合を示す。なお領域の分割方法は任意でよい。
図3の例では、音源方向ベクトルが含まれる図3の例では、基準方向ベクトル103は第1グリッドの開始域に位置している。この場合、ユーザ101は、当該ユーザ101の向きをベクトル107が示す方向まで向けることにより、当該ユーザ101の視界に音源105を捉えることができる。
図3の例では、分割範囲が第1グリッド~第8グリッドに分割されている。そのため、ユーザ101が、音源105により近い方向から向きを変えることを前提にした場合、回転角度(回転距離)は、簡易的に右回りの第2グリッド~第4グリッドで設定できる。例えば、図3の例では、音源105が第3グリッドにあるので、ユーザが音源105を正面に捉えるために必要な回転角度は、簡易的には90°~135°の範囲になる。
表示制御部3は、音源105が第2グリッド~第7グリッドのいずれかにある場合、そのグリッドの位置に応じて、音を視覚的に示す表示情報を表示する。ユーザ101が音源105の方向を見た場合、舞台102がある元の正面は、舞台正面として重要なため、たとえば元の正面発話者の位置として新しい基準方向ベクトルから自動で計算しておくことも可能である。図3の例では、回転角度を8等分のグリッドの角度範囲で捉えることができるので、音源105の位置をロバストに測定可能となる。この場合、2つ又は3つのマイクを使用することで、音源105の位置を特定することが可能になる。
図4は第1実施形態の表示形式の決定方法の例(右回り)を説明するための図である。図4の例は、認識された音が音声であり、音を視覚的に示すテキスト情報を変形させる場合を示す。
音を視覚的に示す表示情報201は、上述の第2表示形式により表示される場合の表示情報の例を示す。音を視覚的に示す表示情報202a~202cは、上述の第1表示形式により表示される場合の表示情報の例を示す。
θ2は、ユーザが向いている方向が正面であり、音源が第2グリッドにある場合に使用される。θ3は、ユーザが向いている方向が正面であり、音源が第3グリッドにある場合に使用される。θ4は、ユーザが向いている方向が正面であり、音源が第4グリッドにある場合に使用される。θ2<θ3<θ4であり、ユーザが向いている方向(正面)からの回転角度が大きいほど、テキスト情報の変形の度合いが大きい。表示制御部3は、音源方向ベクトルが含まれる分割領域と、基準方向ベクトルとから、第1表示形式を決定する。
図5は第1実施形態の表示制御の例1を説明するための図である。学会の発表等では、講演者に対する質問が発生する。このような場合に、第1実施形態の表示制御システム100によれば、聴覚障害者等にバリアフリーな環境を提供することができる。聴覚に障害を持つユーザに対しては、時間、場所及び内容を的確に表示することにより、はじめて聞こえないことに対しての音声情報の最低限の情報補償となりうる。第1実施形態の表示制御システム100によれば、ユーザの周囲の音声情報、及び、非音声の有効情報を、ユーザが向いている方向(顔の向き等)に合わせて適時に表示することが可能である。
まず、ユーザ方向算出部2aが、ユーザが向いている方向を示す基準方向ベクトルを算出する。表示制御部3は、ユーザの正面にいる講演者の音声を視覚的に示す表示情報111aを、上述の第2表示形式により表示部に表示する。
また、ユーザの右側後方の質問者から質問があった場合、認識部1が質問を示す音声を認識する。次に、音源方向算出部2bが、ユーザの位置からの質問者の方向を示す音源方向ベクトルを、認識された音声から算出する。そして、表示制御部3が、音源方向ベクトルが含まれる分割領域と、基準方向ベクトルとから決定された第1表示形式により、質問者の音声を視覚的に示す表示情報112aを表示部に表示する。
表示制御部3は、質問があった場合に、ユーザの向きの回転を最小限にする方向から、テキスト情報の表示、又は、テキスト情報の抜粋表示(表示情報112a)を行う。表示制御部3は、ユーザの顔が質問者に向けられた場合に初めて、テキスト情報を読みやすく表示する(表示情報112b)。その際、表示制御部3は、講演者は、回転方向とは逆向きの位置に立つことになるので、表示もそのように変化させる(表示情報111b)。
図6は第1実施形態の表示形式の決定方法の例(左回り)を説明するための図である。図6の例は、認識された音が音声であり、音を視覚的に示すテキスト情報を変形させる場合を示す。
音を視覚的に示す表示情報212a~212cは、上述の第1表示形式により表示される場合の表示情報の例を示す。表示制御部3は、ユーザに左回りの回転を促す表示情報212a~212cを表示する場合、横書きでは先頭の文字を表示できないため、テキスト情報をより自然に読める縦書きで表示する。
θ7は、ユーザが向いている方向が正面であり、音源が第7グリッドにある場合に使用される。θ6は、ユーザが向いている方向が正面であり、音源が第6グリッドにある場合に使用される。θ5は、ユーザが向いている方向が正面であり、音源が第5グリッドにある場合に使用される。θ7<θ6<θ5であり、ユーザが向いている方向(正面)からの回転角度が大きいほど、テキスト情報の変形の度合いが大きい。表示制御部3は、音源方向ベクトルが含まれる分割領域と、基準方向ベクトルとから、第1表示形式を決定する。
図7は第1実施形態の表示制御の例2を説明するための図である。まず、ユーザ方向算出部2aが、ユーザが向いている方向を示す基準方向ベクトルを算出する。表示制御部3は、ユーザの正面にいる講演者の音声を視覚的に示す表示情報121を、上述の第2表示形式により表示部に表示する。
また、ユーザの右側後方の質問者から質問があった場合、認識部1が質問を示す音声を認識する。次に、音源方向算出部2bが、ユーザの位置からの質問者の方向を示す音源方向ベクトルを、認識された音声から算出する。そして、表示制御部3が、音源方向ベクトルが含まれる分割領域と、基準方向ベクトルとから決定された第2表示形式により、質問者の音声を視覚的に示す横書きの表示情報122を表示部に表示する。
一方、ユーザの左側後方の質問者から質問があった場合、認識部1が質問を示す音声を認識する。次に、音源方向算出部2bが、ユーザの位置からの質問者の方向を示す音源方向ベクトルを、認識された音声から算出する。そして、表示制御部3が、音源方向ベクトルが含まれる分割領域と、基準方向ベクトルとから決定された第2表示形式により、質問者の音声を視覚的に示す縦書きの表示情報123を表示部に表示する。
表示制御部3が、図7に示すように文字の方向を変更して、表示情報122及び123の表示制御をすることにより、ユーザは質問者の方向をより直感的に把握することができる。
図8A及びBは、第1実施形態の表示制御の例3を説明するための図である。図8A及びBの例は、第1実施形態の表示制御システム100をコンサート会場で適用する場合を示す。表示領域132は、表示部に表示される領域を示す。アーティストは、基本的には、表示領域132に含まれるコンサート会場の舞台、すなわちユーザ131の前方正面にいる。コンサート会場に花道133がある場合には、その花道133をアーティストが通る場合がある。
第1実施形態の表示制御システム100では、例えばアーティストが花道133を通ったときの歓声等を、表示情報134により表示することができる。これにより、正面にいないアーティストの花道133上での行動による歓声等を聴覚障害者であっても楽しむことを可能にする。表示制御部3は、ユーザの後方の任意の角度で歓声が上がった場合に、その角度に誘導するための表示情報134を、ユーザが振り向く際の回転角度がより小さくなるような配置(例えば左右のどちらか)で表示する。表示情報134を見たユーザは、表示情報134により示唆された方向に顔を向けて、その方向を確認することができる。
以上説明したように、第1実施形態の表示制御システム100によれば、ユーザの視界に入っていない場合でも音源からの音を含む音場を視覚的に表すことができる。例えば、ユーザは、表示制御部3により表示される表示情報により、周囲の声等の音がどこから聞こえるのかを眼で確かめながら、音の内容を確認できる。すなわち、ユーザは、ユーザの周囲の音場を視覚のみでより直感的に確認することが可能になり、ユーザの周囲の環境の臨場感を視覚で感じることができる。
(第1実施形態の変形例)
次に第1実施形態の変形例について説明する。第1実施形態の変形例の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。
次に第1実施形態の変形例について説明する。第1実施形態の変形例の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。
図9は第1実施形態の変形例の音源位置の特定方法の例を説明するための図である。表示制御部3は、舞台102付近の講演者(音源108)を正面としたときの質問者(音源105)の位置を、第1グリッド~第8グリッドの分割領域で特定する。第1実施形態の変形例では、表示制御部3は、ユーザが質問者(音源105)を視た場合の講演者(音源108)との位置関係が必要になるため、新たな基準軸を質問者軸として作成する。そして、表示制御部3が、質問者(音源105)の位置と講演者(音源108)の位置とを相対角度で維持する。これにより、第1実施形態の変形例の表示制御システム100では、表示制御部3が、講演者(音源108)の方向と、質問者(音源105)の方向とを最小限の表示制御で特定することができる。
(第2実施形態)
次に第2実施形態について説明する。第2実施形態の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。
次に第2実施形態について説明する。第2実施形態の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。
図10は第2実施形態の表示形式の決定方法の例を示す図である。図10の例は、表示制御部3が、ユーザが向いている方向を示す基準方向ベクトルと、音源の方向を示す音源方向ベクトルとの角度に応じて変形される図形(マーカー)を、第1表示形式として使用する場合を示す。図10は、ユーザを中心に右回りの距離による変形の度合いと、ユーザを中心に左回りの距離による変形の度合いとを示す。
図形の変形度合いは、正面からの回転角度との関係を示している。そのため、例えば図形の先端部の角度が緩くなっているほど、音源の方向が正面の方向から近いことを示し、図形の先端の角度が鋭くなっているほど、音源の方向が正面の方向から遠いことを示す。そのため音源が1つの場合は、第1表示形式により画面下左右に表示される表示情報は、どちらかの角度が大きくなる。
図11は第2実施形態の表示制御の例を示す図である。図11の例では、表示制御部3が、図形の先端の凸な形状を、第1表示形式の変形に利用する場合を示す。表示情報141は、正面の講演者の音声を視覚的に示す。表示情報142a及び142bは、第3グリッドにいる質問者が質問したことを視覚的に示す。
表示情報142aの形状は、ユーザを中心として右回りに第3グリッドを視る場合を示す。すなわち、表示情報142aの形状は、質問者の方向が、右回りでは、ユーザの標準視野角の外に2グリッド離れていることを示す。
一方、表示情報142bの形状は、ユーザを中心として左回りに第3グリッドを視る場合を示す。すなわち、表示情報142bの形状は、質問者の方向が、左回りでは、ユーザの標準視野角の外に5グリッド離れていることを示す。
なお、表示制御部3は、表示情報142a及び142bの大きさ及び色等を更に変更することにより、質問者(音源)の方向を示してもよい。
以上説明したように、第2実施形態の表示制御システム100では、表示制御部3が、ユーザが向いている方向を示す基準方向ベクトルと、音源の方向を示す音源方向ベクトルとの角度に応じて変形される図形を、第1表示形式として使用する。これにより第2実施形態の表示制御システム100によれば、第1実施形態の表示制御システム100と同様の効果を得ることができる。
(第2実施形態の変形例)
次に第2実施形態の変形例について説明する。第2実施形態の変形例の説明では、第2実施形態と同様の説明については省略し、第2実施形態と異なる箇所について説明する。
次に第2実施形態の変形例について説明する。第2実施形態の変形例の説明では、第2実施形態と同様の説明については省略し、第2実施形態と異なる箇所について説明する。
図12は第2実施形態の変形例の表示制御の例を示す図である。第2実施形態の変形例の表示制御部3は、図12に示すように、図形の先端が凹な形状を、第1表示形式の変形に利用する場合を示す。表示情報141は、正面の講演者の音声を視覚的に示す。表示情報143a及び143bは、第3グリッドにいる質問者が質問したことを視覚的に示す。
表示情報143aの形状は、ユーザを中心として右回りに第3グリッドを視る場合を示す。すなわち、表示情報143aの形状は、質問者の方向が、右回りでは、ユーザの標準視野角の外に2グリッド離れていることを示す。
一方、表示情報143bの形状は、ユーザを中心として左回りに第3グリッドを視る場合を示す。すなわち、表示情報143bの形状は、質問者の方向が、左回りでは、ユーザの標準視野角の外に5グリッド離れていることを示す。
なお、表示制御部3は、表示情報143a及び143bの大きさ及び色等を更に変更することにより、質問者(音源)の方向を示してもよい。例えば前述した例のように大きさを含む形がグリッドの位置と関係していることが重要であり、ユーザの好みで上記例の逆の設定も可能である。
(第3実施形態)
次に第3実施形態について説明する。第3実施形態の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。
次に第3実施形態について説明する。第3実施形態の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。
図13は第3実施形態の表示制御の例を示す図である。例えばスマートデバイスを用いる聴覚障害者を中心に、音源位置を特定することで、サイレンのような特殊な音に関して、表示情報151aにより聴覚障害者を補助することが可能である。図13の例は、例えばカメラモードで表示された映像に表示情報151aを合わせた表示制御により、聴覚障害者等にサイレンの方向を知らせる場合を示す。
サイレン音の周波数が960Hz及び770Hzを基本とし、固定された数種類の周期であることから、このサイレン音の周波数又は周期を基に、当該スマートフォンから警報音源を知らせることも可能である。この場合、例えば表示制御システム100をスマートフォンのバックグラウンドアプリとして駆動しておく。これにより表示制御システム100が、サイレン音がマイクから入力された際に、スマートフォンの電子コンパス及びジャイロスコープを用い音源の方向を適応表示する。この場合、例えば、スマートフォンが、まずは振動によりサイレン音検出を知らせ、その後、画面にサイレンの方向を示す表示情報151aを表示する。聴覚障害者は、サイレンの方向に対してスマートフォンを向けることで、表示情報151bによりテキストの説明が得られる。
以上説明したように、第3実施形態の表示制御システム100では、表示制御部3が、サイレン音等の特定の音の周波数又は周期を基に、当該音の音源位置を視覚的に示す表示情報を表示部に表示する。これにより第3実施形態の表示制御システム100によれば、聴覚障害者を補助することが可能である。
最後に、第1乃至第3実施形態の表示制御システム100のハードウェア構成について説明する。
[ハードウェア構成の例]
図14は第1乃至第3実施形態の表示制御システム100のハードウェア構成の例を示す図である。表示制御システム100は、制御装置301、主記憶装置302、補助記憶装置303、表示装置304、入力装置305、通信装置306及びマイク307を備える。制御装置301、主記憶装置302、補助記憶装置303、表示装置304、入力装置305、通信装置306及びマイク307は、バス310を介して接続されている。
図14は第1乃至第3実施形態の表示制御システム100のハードウェア構成の例を示す図である。表示制御システム100は、制御装置301、主記憶装置302、補助記憶装置303、表示装置304、入力装置305、通信装置306及びマイク307を備える。制御装置301、主記憶装置302、補助記憶装置303、表示装置304、入力装置305、通信装置306及びマイク307は、バス310を介して接続されている。
なお、表示装置304、入力装置305及びマイク307は備えていなくてもよい。例えば、表示制御システム100が、通信装置306を介して、スマートデバイス等の他の装置と接続される場合、当該他の装置の表示部、入力部及びマイクを利用してもよい。
制御装置301は補助記憶装置303から主記憶装置302に読み出されたプログラムを実行する。制御装置301は、例えばCPU等の1以上のプロセッサである。主記憶装置302はROM(Read Only Memory)、及び、RAM(Random Access Memory)等のメモリである。補助記憶装置303はメモリカード、HDD(Hard Disk Drive)、及び、SSD(Solid State Drive)等である。
表示装置304は情報を表示する。表示装置304は、例えば液晶ディスプレイであり、曲面の有無を問わず有機ELディスプレイでもよい。入力装置305は、情報の入力を受け付ける。入力装置305は、例えばハードウェアキー等である。なお表示装置304及び入力装置305は、表示機能と入力機能とを兼ねる液晶タッチパネル等でもよい。通信装置306は他の装置と通信する。
表示制御システム100で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、メモリカード、CD-R、及び、DVD(Digital Versatile Disc)等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。
また表示制御システム100で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また表示制御システム100が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。
また表示制御システム100で実行されるプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
表示制御システム100で実行されるプログラムは、表示制御システム100の機能のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。
プログラムにより実現される機能は、制御装置301が補助記憶装置303等の記憶媒体からプログラムを読み出して実行することにより、主記憶装置302にロードされる。すなわちプログラムにより実現される機能は、主記憶装置302上に生成される。
なお表示制御システム100の機能の一部を、IC(Integrated Circuit)等のハードウェアにより実現してもよい。ICは、例えば専用の処理を実行するプロセッサである。
また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち1つを実現してもよいし、各機能のうち2つ以上を実現してもよい。
また表示制御システム100の動作形態は任意でよい。表示制御システム100を、例えばネットワーク上のクラウドシステムとして動作させてもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 認識部
2a ユーザ方向算出部
2b 音源方向算出部
3 表示制御部
10 ユーザ端末
20 サーバ装置
100 表示制御システム
301 制御装置
302 主記憶装置
303 補助記憶装置
304 表示装置
305 入力装置
306 通信装置
307 マイク
310 バス
2a ユーザ方向算出部
2b 音源方向算出部
3 表示制御部
10 ユーザ端末
20 サーバ装置
100 表示制御システム
301 制御装置
302 主記憶装置
303 補助記憶装置
304 表示装置
305 入力装置
306 通信装置
307 マイク
310 バス
Claims (6)
- ユーザの周囲にある音源から発せられた音を認識し、前記音を示すテキスト情報を取得する認識部と、
前記ユーザの位置からの前記音源の方向を、認識された前記音から算出する算出部と、
前記ユーザが向いている方向と、前記音源の方向との角度の範囲を、前記ユーザを中心に右回り又は左回りに所定の分割範囲毎に分割し、前記音源の方向を含む分割範囲の位置に応じて変形される第1表示形式により表示される表示情報を、前記ユーザが前記音源の方向に振り向く際の回転角度がより小さくなる方向を示唆する配置で表示部に表示し、前記ユーザが向いている方向と前記音源の方向とが同一の前記分割範囲に含まれる場合は、前記テキスト情報を示す第2表示形式により前記表示情報を前記表示部に表示する表示制御部と、
を備える表示制御システム。 - 前記第1表示形式は、前記音源の方向を含む分割範囲の位置に応じて変形される図形である、
請求項1に記載の表示制御システム。 - 前記第1表示形式は、前記音源の方向を含む分割範囲の位置に応じて変形されるテキスト情報であり、
前記第2表示形式は、変形されていないテキスト情報である、
請求項1に記載の表示制御システム。 - 前記音源の方向は、前記ユーザを中心として原点位置からの方向を示す音源方向ベクトルであり、
前記第1表示形式は、前記音源方向ベクトルと前記ユーザが向いている方向を示す基準方向ベクトルとの角度に応じて決定される、
請求項1に記載の表示制御システム。 - ユーザの周囲にある音源から発せられた音を認識し、前記音を示すテキスト情報を取得するステップと、
ユーザの位置からの前記音源の方向を、認識された前記音から算出するステップと、
前記ユーザが向いている方向と、前記音源の方向との角度の範囲を、前記ユーザを中心に右回り又は左回りに所定の分割範囲毎に分割し、前記音源の方向を含む分割範囲の位置に応じて変形される第1表示形式により表示される表示情報を、前記ユーザが前記音源の方向に振り向く際の回転角度がより小さくなる方向を示唆する配置で表示部に表示し、前記ユーザが向いている方向と前記音源の方向とが同一の前記分割範囲に含まれる場合は、前記テキスト情報を示す第2表示形式により前記表示情報を前記表示部に表示する、
表示制御方法。 - コンピュータを、
ユーザの周囲にある音源から発せられた音を認識し、前記音を示すテキスト情報を取得認識部と、
ユーザの位置からの前記音源の方向を、認識された前記音から算出する算出部と、
前記ユーザが向いている方向と、前記音源の方向との角度の範囲を、前記ユーザを中心に右回り又は左回りに所定の分割範囲毎に分割し、前記音源の方向を含む分割範囲の位置に応じて変形される第1表示形式により表示される表示情報を、前記ユーザが前記音源の方向に振り向く際の回転角度がより小さくなる方向を示唆する配置で表示部に表示し、前記ユーザが向いている方向と前記音源の方向とが同一の前記分割範囲に含まれる場合は、前記テキスト情報を示す第2表示形式により前記表示情報を前記表示部に表示する表示制御部、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021031735A JP7048784B2 (ja) | 2017-09-20 | 2021-03-01 | 表示制御システム、表示制御方法及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017180261A JP2019057047A (ja) | 2017-09-20 | 2017-09-20 | 表示制御システム、表示制御方法及びプログラム |
JP2021031735A JP7048784B2 (ja) | 2017-09-20 | 2021-03-01 | 表示制御システム、表示制御方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017180261A Division JP2019057047A (ja) | 2017-09-20 | 2017-09-20 | 表示制御システム、表示制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021101347A JP2021101347A (ja) | 2021-07-08 |
JP7048784B2 true JP7048784B2 (ja) | 2022-04-05 |
Family
ID=65720582
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017180261A Pending JP2019057047A (ja) | 2017-09-20 | 2017-09-20 | 表示制御システム、表示制御方法及びプログラム |
JP2021031735A Active JP7048784B2 (ja) | 2017-09-20 | 2021-03-01 | 表示制御システム、表示制御方法及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017180261A Pending JP2019057047A (ja) | 2017-09-20 | 2017-09-20 | 表示制御システム、表示制御方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10978072B2 (ja) |
JP (2) | JP2019057047A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6950708B2 (ja) * | 2016-12-05 | 2021-10-13 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、および情報処理システム |
KR102334091B1 (ko) * | 2020-03-20 | 2021-12-02 | 주식회사 코클리어닷에이아이 | 오디오 인식을 수행하는 증강현실 디바이스 및 그의 제어방법 |
WO2021230180A1 (ja) * | 2020-05-11 | 2021-11-18 | ピクシーダストテクノロジーズ株式会社 | 情報処理装置、ディスプレイデバイス、提示方法、及びプログラム |
US11790908B2 (en) * | 2021-02-09 | 2023-10-17 | International Business Machines Corporation | Extended reality based voice command device management |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007334149A (ja) | 2006-06-16 | 2007-12-27 | Akira Hata | 聴覚障害者用ヘッドマウントディスプレイ装置 |
WO2016075780A1 (ja) | 2014-11-12 | 2016-05-19 | 富士通株式会社 | ウェアラブルデバイス、表示制御方法、及び表示制御プログラム |
JP2017147504A (ja) | 2016-02-15 | 2017-08-24 | 株式会社リコー | 音源表示装置及び音源表示方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6975991B2 (en) | 2001-01-31 | 2005-12-13 | International Business Machines Corporation | Wearable display system with indicators of speakers |
JP5286667B2 (ja) | 2006-02-22 | 2013-09-11 | コニカミノルタ株式会社 | 映像表示装置、及び映像表示方法 |
JP2007300323A (ja) | 2006-04-28 | 2007-11-15 | Sharp Corp | 字幕表示制御システム |
JP2010154259A (ja) | 2008-12-25 | 2010-07-08 | Victor Co Of Japan Ltd | 画像音声処理装置 |
JP5348114B2 (ja) | 2010-11-18 | 2013-11-20 | 日本電気株式会社 | 情報表示システム、装置、方法及びプログラム |
US8886530B2 (en) | 2011-06-24 | 2014-11-11 | Honda Motor Co., Ltd. | Displaying text and direction of an utterance combined with an image of a sound source |
US8183997B1 (en) | 2011-11-14 | 2012-05-22 | Google Inc. | Displaying sound indications on a wearable computing system |
JP2013106298A (ja) | 2011-11-16 | 2013-05-30 | Sony Corp | 撮像制御装置、撮像制御方法、撮像制御方法のプログラムおよび撮像装置 |
JP6131563B2 (ja) * | 2012-10-19 | 2017-05-24 | 株式会社Jvcケンウッド | 音声情報表示装置、音声情報表示方法およびプログラム |
JP6155622B2 (ja) | 2012-12-18 | 2017-07-05 | セイコーエプソン株式会社 | 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法 |
JP6364735B2 (ja) * | 2013-10-04 | 2018-08-01 | セイコーエプソン株式会社 | 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法 |
US9542958B2 (en) | 2012-12-18 | 2017-01-10 | Seiko Epson Corporation | Display device, head-mount type display device, method of controlling display device, and method of controlling head-mount type display device |
JP6030032B2 (ja) * | 2013-08-30 | 2016-11-24 | 本田技研工業株式会社 | 音響処理装置、音響処理方法、及び音響処理プログラム |
JP6148163B2 (ja) * | 2013-11-29 | 2017-06-14 | 本田技研工業株式会社 | 会話支援装置、会話支援装置の制御方法、及び会話支援装置のプログラム |
JP6084728B1 (ja) | 2016-04-08 | 2017-02-22 | 株式会社コロプラ | 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム |
-
2017
- 2017-09-20 JP JP2017180261A patent/JP2019057047A/ja active Pending
-
2018
- 2018-02-15 US US15/898,146 patent/US10978072B2/en active Active
-
2021
- 2021-03-01 JP JP2021031735A patent/JP7048784B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007334149A (ja) | 2006-06-16 | 2007-12-27 | Akira Hata | 聴覚障害者用ヘッドマウントディスプレイ装置 |
WO2016075780A1 (ja) | 2014-11-12 | 2016-05-19 | 富士通株式会社 | ウェアラブルデバイス、表示制御方法、及び表示制御プログラム |
JP2017147504A (ja) | 2016-02-15 | 2017-08-24 | 株式会社リコー | 音源表示装置及び音源表示方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190088259A1 (en) | 2019-03-21 |
JP2019057047A (ja) | 2019-04-11 |
JP2021101347A (ja) | 2021-07-08 |
US10978072B2 (en) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7048784B2 (ja) | 表示制御システム、表示制御方法及びプログラム | |
US10126823B2 (en) | In-vehicle gesture interactive spatial audio system | |
CN105324811B (zh) | 语音到文本转换 | |
US9898863B2 (en) | Information processing device, information processing method, and program | |
CN107168518B (zh) | 一种用于头戴显示器的同步方法、装置及头戴显示器 | |
US8717423B2 (en) | Modifying perspective of stereoscopic images based on changes in user viewpoint | |
JP6932206B2 (ja) | 空間オーディオの提示のための装置および関連する方法 | |
JP6764490B2 (ja) | 媒介現実 | |
KR20160113666A (ko) | 오디오 탐색 지원 | |
US20190335292A1 (en) | An Apparatus and Associated Methods | |
US20200209952A1 (en) | An Apparatus and Associated Methods for Presenting Sensory Scenes | |
JP2020520576A5 (ja) | ||
US11395089B2 (en) | Mixing audio based on a pose of a user | |
US10743124B1 (en) | Providing mixed reality audio with environmental audio devices, and related systems, devices, and methods | |
Yang et al. | Audio augmented reality: A systematic review of technologies, applications, and future research directions | |
KR20170085522A (ko) | 영상 정보에 기초하여 음향을 처리하는 방법, 및 그에 따른 디바이스 | |
CN106598245B (zh) | 基于虚拟现实的多用户交互控制方法及装置 | |
US20230125654A1 (en) | Visual guidance of audio direction | |
US11189080B2 (en) | Method for presenting a three-dimensional object and an associated computer program product, digital storage medium and a computer system | |
Marentakis | Spatial audio for multimodal location monitoring | |
KR102070300B1 (ko) | 보청기 튜닝 방법, 컴퓨터 프로그램 및 시스템 | |
CN112912822A (zh) | 在混合现实环境中控制支持音频的连接设备的系统 | |
KR102334319B1 (ko) | 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 및 전달 방법 및 장치 | |
US20230027060A1 (en) | Display system and method | |
US20230101693A1 (en) | Sound processing apparatus, sound processing system, sound processing method, and non-transitory computer readable medium storing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220324 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7048784 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |