JP6344125B2 - 表示装置、表示装置の制御方法、および、プログラム - Google Patents
表示装置、表示装置の制御方法、および、プログラム Download PDFInfo
- Publication number
- JP6344125B2 JP6344125B2 JP2014156699A JP2014156699A JP6344125B2 JP 6344125 B2 JP6344125 B2 JP 6344125B2 JP 2014156699 A JP2014156699 A JP 2014156699A JP 2014156699 A JP2014156699 A JP 2014156699A JP 6344125 B2 JP6344125 B2 JP 6344125B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- unit
- distance
- user
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 28
- 238000001514 detection method Methods 0.000 claims description 94
- 238000003384 imaging method Methods 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 description 68
- 230000006870 function Effects 0.000 description 27
- 230000008569 process Effects 0.000 description 19
- 238000003860 storage Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 16
- 210000003128 head Anatomy 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 210000003027 ear inner Anatomy 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000005357 flat glass Substances 0.000 description 2
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、上述した事情に鑑みてなされたものであり、装置外部の、外的な要因に対応して情報を出力する表示装置、表示装置の制御方法、および、プログラムを提供することを目的とする。
本発明によれば、表示装置の外的な要因に対応して音を出力できる。
本発明によれば、表示装置と対象物との間の距離に対応して音の出力を制御できる。
本発明によれば、使用者の視線方向の対象物を、撮像画像に基づき検出できる。
本発明によれば、撮像画像から検出される対象物の状態に対応して、音を出力できる。
本発明によれば、使用者に、人間の声または人間の声を模した音声を聞かせることができる。
本発明によれば、音データが含む周波数成分を変換できるので、例えば、使用者が聞き取りやすい周波数帯域の成分を増やす、ノイズよりも人間の声が大きく聞こえるようにする等の処理が可能になる。
本発明によれば、使用者に出力する音が周囲に漏れにくいという利点がある。
本発明によれば、環境音を取得して、取得した音を出力できる。
本発明によれば、検出した音または検出した音と同じ内容の音を出力できる。
本発明によれば、対象物からの距離に基づき、出力する音の周波数成分を変化させることができる。
本発明によれば、表示装置の外的な要因に対応して音を出力できる。
本発明によれば、表示装置の外的な要因に対応して音を出力できる。
調光板20Aは右光学像表示部26および左光学像表示部28に対し着脱可能としてもよく、複数種類の調光板20Aを交換して装着可能としてもよいし、省略してもよい。
カメラ61の撮影方向すなわち画角は、頭部装着型表示装置100の表側方向、換言すれば、頭部装着型表示装置100を装着した状態における使用者の視界方向の少なくとも一部の外景を撮影する方向である。また、カメラ61の画角の広さは適宜設定可能であるが、カメラ61の撮像範囲が、使用者が右光学像表示部26、左光学像表示部28を通して視認する外界(外景)を含む範囲であることが好ましい。さらに、調光板20Aを通した使用者の視界の全体を撮影できるようにカメラ61の撮像範囲が設定されていると、より好ましい。
右ヘッドホン32及び左ヘッドホン34が、後述する音声処理部170及び情報出力制御部179の制御により出力する音は、例えば人間の声または人間の声を模した音声であるが、本発明はこれに限定されない。右ヘッドホン32及び左ヘッドホン34が出力する音が、使用者が聴覚により認識できる可聴域の音であればよく、動物の鳴き声、機械的な音、その他のあらゆる音を含む。本実施形態では上記のように人間の声または人間の声を模した音声を出力する例を説明する。
また、使用者が音声を聞くことができ、使用者の周囲へ音声が聞こえにくいように音声を出力できる構成であれば、使用者の周囲の人に影響を与えることなく、頭部装着型表示装置100の使用者にのみ音声を聞かせることができるので、好ましい。例えば、右ヘッドホン32および左ヘッドホン34は、インナーイヤー型の他、カナル型ヘッドホン、耳掛け式ヘッドホン、使用者の耳介に被さる密閉型ヘッドホンやオープンエア型ヘッドホンであってもよい。さらに、右ヘッドホン32及び左ヘッドホン34に代えて、或いは右ヘッドホン32及び左ヘッドホン34に追加して、骨伝導スピーカーを頭部装着型表示装置100に設けてもよい。この場合、骨伝導スピーカーは、使用者の頭部に接触しやすい右保持部21及び左保持部23のいずれか、又は両方に設けることが好ましい。
図2に示すように、表示システム1は、外部機器OAと、頭部装着型表示装置100とを備える。外部機器OAとしては、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等、がある。外部機器OAは、頭部装着型表示装置100に画像を供給する画像供給装置として用いられる。
操作部135は、使用者による操作を検出する。操作部135は、図1に示した決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、電源スイッチ18の各部を備える。
電源130は、頭部装着型表示装置100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。
制御部140には、3軸センサー113、GPS115、及び通信部117が接続される。3軸センサー113は3軸の加速度センサーであり、3軸センサー113の検出値を制御部140が取得可能である。GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置10の現在位置を求める。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。また、GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御装置10の制御部140が計時する時刻を修正させる機能を備えていてもよい。
外部機器OAが、通信部117に無線接続された場合には、制御部140は、コンテンツデータを通信部117より取得して、画像表示部20に画像を表示するための制御を行う。一方、外部機器OAが、インターフェイス180に有線接続された場合には、制御部140は、コンテンツデータをインターフェイス180より取得して、画像表示部20に画像を表示するための制御を行う。よって、通信部117、及び、インターフェイス180を、以下総称してデータ取得部DAと呼ぶ。
データ取得部DAは、外部機器OAから、頭部装着型表示装置100により表示するコンテンツデータを取得する。コンテンツデータは、画像データやテキストデータ等の種々のデータとすることができる。
なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
対象検出部171は、カメラ61に撮像を実行させる制御を行い、撮像画像を取得する。この撮像画像はカラー画像データまたはモノクロ画像データとしてカメラ61から出力されるが、カメラ61が画像信号を出力して、対象検出部171が画像信号から所定のファイルフォーマットに適合する画像データを生成してもよい。
対象検出部171は、取得した撮像画像データを解析し、撮像画像データに写っている対象物を検出する。対象物とは、カメラ61の撮像方向すなわち使用者の視線方向に存在する物体または人である。また、対象物は映像や画像が投射された物体(壁面等の面を含む)を含んでもよく、或いは、この物体に投射された映像や画像を対象物としてもよい。
また、対象検出部171は、カメラ61の撮像画像から対象物を検出し、さらに、対象物の状態を検出してもよい。
また、頭部装着型表示装置100は、レーザー光または超音波を利用して対象物までの距離を検出する距離計を備えていてもよい。この距離計は、例えば、レーザー光の光源と、この光源が発したレーザー光の反射光を受光する受光部とを備え、レーザー光の受光状態に基づき対象物までの距離を検出する。また、距離計は、例えば、超音波式の距離計としてもよい。すなわち、超音波を発する音源と、対象物に反射した超音波を検出する検出部とを備え、反射した超音波に基づき対象物までの距離を検出する距離計を用いてもよい。さらに、この距離計は、レーザー光を利用する距離計と超音波を用いる距離計とを合わせた構成とすることもできる。このような距離計は、画像表示部20の右保持部21または右表示駆動部22に設けることが好ましく、例えば、調光板20Aと並ぶ面に、前方を向いて設置するとよい。この距離計が距離を測定する方向は、カメラ61の撮像方向と同様に、使用者の視線方向であることが望ましい。
距離検出部173は、カメラ61または距離計から対象物までの距離を検出するが、この距離は、頭部装着型表示装置100の使用者から対象物までの距離と見なすことができる。
また、情報出力制御部179は、対象検出部171が検出した対象物について距離検出部173が検出した対象物までの距離、或いは、対象検出部171が検出した対象物の状態等に基づき、画像や文字の表示属性を制御してもよい。表示属性とは、例えば、コンテンツデータに含まれるテキストデータを表示する場合、文字の表示サイズ、表示色、字体、太字やイタリック等の文字装飾の有無等である。また、テキストデータの背景として、矩形、楕円形、円形等の形状の画像を配置することも可能であり、この背景の有無、背景のサイズ、形状、及び背景の透明度を表示属性に含めてもよい。画像データを表示する場合、表示属性は、例えば画像の表示サイズ、表示色、透明度等である。
ここで、情報出力制御部179は、対象検出部171が検出した対象物に関連する音声を出力するようにしてもよい。さらに、情報出力制御部179は、対象検出部171が検出した対象物の状態に合わせて、音声を出力してもよい。
また、情報出力制御部179が処理し、右ヘッドホン32及び左ヘッドホン34で出力する音は、使用者が聴覚により認識できる可聴域の音であればよく、人間の声または人間の声を模した音声、動物の鳴き声、機械的な音、その他のあらゆる音を含む。本実施形態では人間の声または人間の声を模した音声を出力する例を説明する。
さらに、情報出力制御部179は、コンテンツデータが含む音声データを、人間の聴覚特性に合わせて変換、或いは調整してもよい。同様に、マイク63が集音した音声の音声データを変換、或いは調整してもよい。人間の可聴域は概ね20Hz〜20,000Hzであることが知られているが、個人差が大きく、さらに、加齢の影響により高周波数域が聞き取りにくくなることが知られている。また、多くの人が聞き取りやすいと感じる周波数域の音は、音圧が低くても良好に知覚される。そこで、情報出力制御部179は、音声データを、1,000Hz〜8,000Hzの周波数帯域の音を最も多く含む音声のデータとなるよう調整する。この周波数帯域は、より好ましくは、1,000Hz〜4,000Hzであり、さらに好ましくは2,500Hz〜4,000Hzであり、3,000Hz付近の成分を最も多く含むことが好ましい。また、情報出力制御部179は、頭部装着型表示装置100の使用者の年齢が設定または入力される場合に、使用者の年齢に合わせて、右ヘッドホン32及び左ヘッドホン34が出力する音声の周波数成分の比を変化させるように、音声データを変換、或いは調整してもよい。
さらに、情報出力制御部179は、マイク63で集音した音声のデータに対し、ノイズ成分を低減するノイズリダクション処理、及び/又は、音声の尖鋭度を高めるシャープネス処理を実行してもよい。ノイズリダクション処理で、情報出力制御部179は、例えばノイズ成分に相当する周波数帯域の成分を除去または低減させる処理を行う。このノイズとは、ホワイトノイズや低周波音のほか、人間の声や動物の声であってもよい。例えば、頭部装着型表示装置100の使用者が劇場で観劇中に、ステージ上の人の声を聞き取りやすくするため、マイク63が集音した音声のデータから観客の歓声を除く処理を行うこともできる。
GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置10の現在位置を求める。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。また、GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御装置10の制御部140が計時する時刻を修正させる機能を備えていてもよい。
通信部117は、無線LAN(WiFi(登録商標))やBluetooth(登録商標)規格に準じた無線データ通信を実行する。
ここで、画像供給装置OAを無線通信回線により制御装置10に接続することも可能である。この場合、画像供給装置OAは、通信部117と無線通信を実行して、コンテンツのデータをMiracast(登録商標)等の無線通信技術により送信する。
制御部140は、まず、データ取得部DAによりコンテンツデータを取得し、取得したデータを記憶部120に記憶する(ステップS11)。
さらに、情報出力制御部179が表示処理を実行し、ステップS11で取得したコンテンツデータの一部を抽出して、画像表示部20に画像を表示する(ステップS15)。
また、距離検出部173が検出した距離が設定値以下の場合(ステップS16;NO)、音声出力処理を実行せずステップS18に移行する。
情報出力制御部179は、データ取得部DAが取得したコンテンツデータが音声データを含むか否かを判定する(ステップS21)。コンテンツデータが音声データを含む場合(ステップS21;YES)、情報出力制御部179は、コンテンツデータから、対象検出部171が検出した対象物に関連する音声データを抽出する(ステップS22)。情報出力制御部179は、ステップS22で抽出した音声データに基づき音声信号を生成して音声処理部170に出力し、右ヘッドホン32及び左ヘッドホン34から音声を出力する(ステップS23)。
なお、ステップS22で、コンテンツデータに含まれる音声データに、対象物に関連する音声データがない場合、ステップS24に移行してもよい。また、頭部装着型表示装置100の動作中、音声処理部170が、マイク63が集音した音声に基づき音声データを生成して記憶部120に記憶するようにしてもよい。この場合、情報出力制御部179は、ステップS24で、音声処理部170が生成した音声データを記憶部120から取得すればよい。
この例では、データ取得部DAが取得するコンテンツデータは、劇場THで上演される演劇プログラムに関するテキストデータを含む。より詳細には、出演者Aが発話する台詞、及び、演劇プログラムに関する説明のテキストを含み、ステップS11(図3)で演劇プログラム全体、または、一部についてテキストデータが取得される。
例えば、このテキストデータが複数の台詞、及び/又は複数の説明のテキストを含む場合、情報出力制御部179は、ステップS11で取得されたコンテンツデータを、演劇プログラムの進行に合わせて複数回に分けて表示してもよい。この場合、コンテンツデータに、テキストデータとともに、テキストデータを表示するタイミングを示すデータを含めてもよい。図5(B)の例では、出演者Aの台詞のテキストデータに基づき、テキスト311が表示される。
使用者が座席SH1に着席している場合、出演者Aが発する音声を直接、使用者が聞くことが可能である。このため、頭部装着型表示装置100は、観劇に影響しないように、音声の出力を行わない。
マイク63が上述したように指向性を有する場合、ステージSTから聞こえる音声を集音する。このため、マイク63が集音する音声はステージSTに関係する音声であり、出演者Aが声を発している場合は、この声が集音される。従って、情報出力制御部179は、マイク63が集音した音声の音声データに基づく音声を出力する。
ステージSTから離れた座席SH2にいる使用者には、出演者Aの声などは聞こえないか、聞こえにくい。このような状況で、頭部装着型表示装置100は、使用者に対して出演者Aの音声を出力できる。頭部装着型表示装置100は右ヘッドホン32、左ヘッドホン34から音声を出力するので、出力する音声が劇場TH内の他の観客に聞こえることはなく、周囲の人に不快感を与えない。
この場合、情報出力制御部179は、ノイズリダクション処理を実行して、マイク63で集音された音声のデータから、出演者Aの声以外の音、例えば観客の声を低減させる処理を行ってもよい。
この場合、情報出力制御部179は、距離検出部173が検出した距離に対応して、右ヘッドホン32及び左ヘッドホン34から音声を出力するタイミングを調整してもよい。例えば、使用者がステージSTから離れた座席SHに着席している場合、ステージST上の出演者Aの声が使用者に届くまでには時間がかかる。このため、距離検出部173は、撮像画像データに基づき音声の出力タイミングを決定し、さらに、距離検出部173が検出する距離に基づき音声の出力タイミングを補正してもよい。
また、情報出力制御部179は、マイク63により集音した音声に基づき、音声の内容を解析し、集音した音声のデータを音声の内容に基づき調整、或いは変更してもよい。例えば、情報出力制御部179は、マイク63で集音した音声が人間の声(例えば、オペラ歌手の歌唱など)である場合に、人間の声が聞きやすくなるように、特定の周波数帯域の音量を強調する等の処理を行う。また、集音した音声の内容が、ダイナミックレンジが広い楽曲である場合、高音及び低音を強調するよう音声データを処理してもよい。さらに、右ヘッドホン32及び左ヘッドホン34が、骨伝導スピーカーやサブウーファーを有する構成である場合、これらの骨伝導スピーカーやサブウーファーに適した周波数帯域の音量を増幅してもよい。
さらに、情報出力制御部179は、データ取得部DAにより取得した音声データを、マイク63で集音する環境音と強調させて出力してもよい。
或いは、情報出力制御部179は、使用者個人に心地よいバランスを分析し、マイク63で集音した音声の音声データと、データ取得部DAにより取得した音声データを、使用者に適した音となるよう調整または変換してもよい。また、マイク63で集音した音声の音声データとデータ取得部DAにより取得した音声データとを合成する際に、周波数成分ごとの音量の比等を、使用者に適した音声となるよう調整してもよい。この合成時の配分は、自動的に解析して決定してもよいし、予め設定されてもよいし、使用者が制御装置10を操作して設定してもよい。
また、頭部装着型表示装置100は、使用者の視線方向を撮像するカメラ61を備え、対象検出部171は、カメラ61の撮像画像に基づき、使用者が画像表示部20を透過して視認する対象物を検出する。このため、使用者の視線方向の対象物を、撮像画像に基づき検出できる。
また、音声出力部として、使用者が装着する右ヘッドホン32及び左ヘッドホン34を用いることで、使用者に出力する音声が周囲に漏れにくいという利点がある。
また、頭部装着型表示装置100は、音声を検出するマイク63を備える。情報出力制御部179は、マイク63により、対象検出部171で検出した対象物が発する音声を検出し、検出した音声または検出した音声と同じ内容の音声を右ヘッドホン32及び左ヘッドホン34で出力する。これにより、頭部装着型表示装置100は、検出した音声または検出した音声と同じ内容の音声を出力できる。
例えば、上記実施形態では、情報出力制御部179が、距離検出部173が検出した距離に基づいて音声の出力の可否を判定したが、本発明はこれに限定されず、使用者の操作、或いは事前に設定された条件に従って、音声の出力の可否を判定してもよい。図5(A)の例で、頭部装着型表示装置100の使用者がステージSTに近い位置に着席している場合に、使用者の操作により音声を出力してもよい。
また、情報出力制御部179は、コンテンツデータに含まれるテキストデータを、テキスト読み上げ処理によって音声データに変換して、この音声データに基づき音声を出力してもよい。さらに、情報出力制御部179は、音声を出力する間に画像表示部20に表示されるテキストや画像等が、出力する音声に関連するテキストや画像等である場合、音声の出力に合わせて表示態様を変えてもよい。具体的には、図5(C)に示すテキスト311が出演者Aの台詞であり、出演者Aの台詞の音声を出力する場合、音声出力中にテキスト311の表示属性を変化させてもよい。この場合、音声の出力状態に合わせてテキストや画像の表示に演出効果を持たせることができ、出力中の音声に関する情報を提供できる。
この頭部装着型表示装置100に対し、パーソナルコンピューター、スマートフォン、タブレット型コンピューター、腕時計型コンピューター等の、処理機能を備えた情報処理装置が表示用のデータを送信し、画像表示部20が表示用のデータを受信して表示する構成としてもよい。この場合、頭部装着型表示装置100は、上記の情報処理装置のディスプレイとして機能する。或いは、頭部装着型表示装置100を、処理機能を備えた情報処理装置として使用する態様も可能である。この場合、頭部装着型表示装置100は、制御部140のCPUがプログラムを実行することにより、各種の機能を実現できる。或いはまた、制御装置10と画像表示部20の機能を、図2の例とは異なる配置とすることも可能であり、例えば、決定キー11、表示切替キー13、トラックパッド14、及び操作部135を、制御装置10と画像表示部20のそれぞれに設けてもよい。
また、制御装置10と画像表示部20とが、より長いケーブルまたは無線通信回線により接続され、制御装置10として、ノート型コンピューター、タブレット型コンピューターまたはデスクトップ型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
Claims (12)
- 使用者の身体に装着して使用される表示装置であって、
外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、
音を出力する音出力部と、
前記使用者の視線方向の対象物を検出する対象検出部と、
前記対象検出部により検出した前記対象物と前記使用者との距離を検出する距離検出部と、
前記距離検出部が検出した距離に応じて前記音出力部の音の出力を制御する音制御部と、
を備え、
前記音制御部は、前記距離検出部が検出した距離が予め設定された距離より長いか否かを判定し、検出した距離が予め設定された距離より長い場合は音を前記音出力部で出力し、検出した距離が予め設定された距離以下の場合は音を前記音出力部で出力しないことを特徴とする表示装置。 - 前記対象物に関する音データを取得するデータ取得部と、
コンテンツデータに基づく画像を前記表示部に表示させる情報出力制御部と、を備え、
前記音制御部は、前記情報出力制御部が画像の表示を開始させた後、前記距離検出部が検出した距離が予め設定された距離より長いか否かを判定し、前記距離検出部が検出した距離が予め設定された距離より長い場合に、前記データ取得部により取得した音データに基づく音を前記音出力部で出力し、前記距離検出部が検出した距離が予め設定された距離以下の場合は音を前記音出力部で出力しないこと、
を特徴とする請求項1記載の表示装置。 - 音検出部を備え、
前記データ取得部はコンテンツデータ、及び、前記音検出部で集音した音声に基づき生成された音声データを取得可能であり、
前記情報出力制御部は、前記データ取得部で取得された前記コンテンツデータに基づく画像を前記表示部に表示させ、
前記音制御部は、前記距離検出部が検出した距離が予め設定された距離より長い場合であり、前記データ取得部で取得された前記コンテンツデータが音声データを含む場合は、前記コンテンツデータから音声データを抽出し、抽出した音声データに基づき前記音出力部で音を出力し、前記データ取得部で取得された前記コンテンツデータが音声データを含まない場合は、前記音検出部で集音した音声に基づき生成された音声データに基づき前記音出力部で音を出力すること、
を特徴とする請求項2記載の表示装置。 - 前記使用者の視線方向を撮像する撮像部を備え、
前記対象検出部は、前記撮像部の撮像画像に基づき、前記使用者が前記表示部を透過して視認する前記対象物を検出すること、
を特徴とする請求項2または3に記載の表示装置。 - 前記対象検出部は、前記撮像部の撮像画像に基づき、前記使用者が前記表示部を透過して視認する前記対象物の状態を検出し、
前記音制御部は、前記データ取得部により取得した音データに基づく音を、前記対象検出部が検出した前記対象物の状態に合わせて前記音出力部で出力すること、
を特徴とする請求項4記載の表示装置。 - 前記音制御部は、前記音出力部で人間の声または人間の声を模した音声を出力すること、
を特徴とする請求項2から5のいずれかに記載の表示装置。 - 前記音制御部は、前記データ取得部で取得する音データを、予め設定された周波数域の成分を含む音データに変換し、変換した音データに基づく音を前記音出力部で出力すること、を特徴とする請求項2から6のいずれかに記載の表示装置。
- 前記音出力部は前記使用者が装着するヘッドホンであること、を特徴とする請求項2から7のいずれかに記載の表示装置。
- 前記音制御部は、前記音検出部により、前記対象検出部で検出した前記対象物が発する音を検出し、検出した音または検出した音と同じ内容の音を前記音出力部で出力すること、を特徴とする請求項3記載の表示装置。
- 前記音制御部は、前記距離検出部が検出した距離に基づき、前記データ取得部で取得する音データの周波数成分を変化させること、を特徴とする請求項2から9のいずれかに記載の表示装置。
- 外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、音を出力する音出力部とを備え、使用者の身体に装着して使用される表示装置の制御方法であって、
前記使用者の視線方向の対象物を検出し、
検出した前記対象物と前記使用者との距離を検出し、
検出した距離が予め設定された距離より長いか否かを判定し、
検出した距離が予め設定された距離より長い場合は音を前記音出力部で出力し、検出した距離が予め設定された距離以下の場合は音を前記音出力部で出力しないこと、
を特徴とする表示装置の制御方法。 - 外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、音を出力する音出力部とを備え、使用者の身体に装着して使用される表示装置を制御するコンピューターが実行可能なプログラムであって、
前記コンピューターを、
前記使用者の視線方向の対象物を検出する対象検出部と、
前記対象検出部により検出した前記対象物と前記使用者との距離を検出する距離検出部と、
前記距離検出部が検出した距離が予め設定された距離より長いか否かを判定し、検出した距離が予め設定された距離より長い場合は音を前記音出力部で出力し、検出した距離が予め設定された距離以下の場合は音を前記音出力部で出力しない音制御部と、
して機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014156699A JP6344125B2 (ja) | 2014-07-31 | 2014-07-31 | 表示装置、表示装置の制御方法、および、プログラム |
US14/720,275 US9684486B2 (en) | 2014-07-31 | 2015-05-22 | Display device, method of controlling display device, and program |
US15/598,961 US10114610B2 (en) | 2014-07-31 | 2017-05-18 | Display device, method of controlling display device, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014156699A JP6344125B2 (ja) | 2014-07-31 | 2014-07-31 | 表示装置、表示装置の制御方法、および、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016033764A JP2016033764A (ja) | 2016-03-10 |
JP6344125B2 true JP6344125B2 (ja) | 2018-06-20 |
Family
ID=55180091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014156699A Active JP6344125B2 (ja) | 2014-07-31 | 2014-07-31 | 表示装置、表示装置の制御方法、および、プログラム |
Country Status (2)
Country | Link |
---|---|
US (2) | US9684486B2 (ja) |
JP (1) | JP6344125B2 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016033757A (ja) * | 2014-07-31 | 2016-03-10 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、および、プログラム |
KR101709469B1 (ko) * | 2015-09-11 | 2017-02-23 | 엘지전자 주식회사 | 이동 단말기, 및 홈 어플라이언스 |
JP6680579B2 (ja) * | 2016-03-14 | 2020-04-15 | 合同会社ユー・エス・ジェイ | ショーのための情報支援システム |
JP6766403B2 (ja) * | 2016-03-29 | 2020-10-14 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム |
US11172005B2 (en) * | 2016-09-09 | 2021-11-09 | Nokia Technologies Oy | Method and apparatus for controlled observation point and orientation selection audiovisual content |
US11086587B2 (en) | 2017-01-06 | 2021-08-10 | Sony Interactive Entertainment Inc. | Sound outputting apparatus and method for head-mounted display to enhance realistic feeling of augmented or mixed reality space |
WO2018180024A1 (ja) * | 2017-03-27 | 2018-10-04 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
KR102311024B1 (ko) * | 2017-04-20 | 2021-10-12 | 한국전자통신연구원 | 시선추적에 따른 공간 오디오 제어 장치 및 그 방법 |
EP3495942B1 (en) * | 2017-12-07 | 2023-05-24 | Panasonic Intellectual Property Management Co., Ltd. | Head-mounted display and control method thereof |
KR102485368B1 (ko) | 2018-01-15 | 2023-01-05 | 삼성전자주식회사 | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 |
JP7135413B2 (ja) * | 2018-05-07 | 2022-09-13 | セイコーエプソン株式会社 | 接続装置、表示装置、接続装置の制御方法、及び、表示装置の制御方法 |
TWI671707B (zh) * | 2018-06-15 | 2019-09-11 | 緯創資通股份有限公司 | 影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體 |
US20200082576A1 (en) * | 2018-09-11 | 2020-03-12 | Apple Inc. | Method, Device, and System for Delivering Recommendations |
US10860165B2 (en) | 2018-09-26 | 2020-12-08 | NextVPU (Shanghai) Co., Ltd. | Tracking method and apparatus for smart glasses, smart glasses and storage medium |
KR102242719B1 (ko) * | 2018-09-26 | 2021-04-23 | 넥스트브이피유 (상하이) 코포레이트 리미티드 | 스마트 안경 추적 방법과 장치, 및 스마트 안경과 저장 매체 |
TW202027062A (zh) * | 2018-12-28 | 2020-07-16 | 塞席爾商元鼎音訊股份有限公司 | 聲音播放系統及其調整輸出聲音之方法 |
US20200302591A1 (en) * | 2019-03-22 | 2020-09-24 | Eaton Intelligent Power Limited | Equipment monitoring system |
WO2021193734A1 (ja) * | 2020-03-26 | 2021-09-30 | 日本電気株式会社 | 音声処理装置、音声処理システム、音声処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
CN112449270B (zh) * | 2020-11-24 | 2023-10-03 | Oppo广东移动通信有限公司 | 一种音频输出方法及数据线缆、终端、存储介质 |
CN115002598B (zh) * | 2022-05-26 | 2024-02-13 | 歌尔股份有限公司 | 耳机模式控制方法、耳机设备、头戴式设备及存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000078699A (ja) * | 1998-08-31 | 2000-03-14 | Sharp Corp | 音響装置 |
AUPR141200A0 (en) * | 2000-11-13 | 2000-12-07 | Symons, Ian Robert | Directional microphone |
JP2005165778A (ja) * | 2003-12-03 | 2005-06-23 | Canon Inc | 頭部装着型表示装置、及びその制御方法 |
JP5505763B2 (ja) * | 2009-02-17 | 2014-05-28 | 学校法人日本大学 | 音場創生装置 |
US9563265B2 (en) * | 2012-01-12 | 2017-02-07 | Qualcomm Incorporated | Augmented reality with sound and geometric analysis |
JP2014056217A (ja) | 2012-09-14 | 2014-03-27 | Olympus Corp | ウェアラブル携帯型表示装置、頭部装着型表示装置、表示処理システム及びプログラム |
JP5818773B2 (ja) * | 2012-11-22 | 2015-11-18 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5954147B2 (ja) * | 2012-12-07 | 2016-07-20 | ソニー株式会社 | 機能制御装置およびプログラム |
US9613461B2 (en) * | 2012-12-10 | 2017-04-04 | Sony Corporation | Display control apparatus, display control method, and program |
JP6375591B2 (ja) * | 2013-01-15 | 2018-08-22 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム |
EP3005175A4 (en) * | 2013-06-05 | 2016-12-28 | Freshub Ltd | PROCESS AND DEVICES FOR SMART SHOPPING |
-
2014
- 2014-07-31 JP JP2014156699A patent/JP6344125B2/ja active Active
-
2015
- 2015-05-22 US US14/720,275 patent/US9684486B2/en active Active
-
2017
- 2017-05-18 US US15/598,961 patent/US10114610B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20160034251A1 (en) | 2016-02-04 |
US20170255447A1 (en) | 2017-09-07 |
US9684486B2 (en) | 2017-06-20 |
US10114610B2 (en) | 2018-10-30 |
JP2016033764A (ja) | 2016-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6344125B2 (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
US9959591B2 (en) | Display apparatus, method for controlling display apparatus, and program | |
US20160313973A1 (en) | Display device, control method for display device, and computer program | |
US9542958B2 (en) | Display device, head-mount type display device, method of controlling display device, and method of controlling head-mount type display device | |
JP6155622B2 (ja) | 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法 | |
US9100732B1 (en) | Hertzian dipole headphone speaker | |
JP6432197B2 (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
US9972319B2 (en) | Display device, method of controlling display device, and program having display of voice and other data | |
US9794684B2 (en) | Head-mounted display device, control method for the same, and computer program | |
JP2015045805A (ja) | 頭部装着型表示装置 | |
US20160187662A1 (en) | Display device, and method of controlling display device | |
JP2016004340A (ja) | 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム | |
US20160035137A1 (en) | Display device, method of controlling display device, and program | |
JP2017102516A (ja) | 表示装置、通信システム、表示装置の制御方法、及び、プログラム | |
JP6364735B2 (ja) | 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法 | |
JP2016033611A (ja) | 情報提供システム、表示装置、および、表示装置の制御方法 | |
JP6252002B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6638195B2 (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP6201332B2 (ja) | 音処理装置 | |
JP2016033763A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP6539981B2 (ja) | 表示装置、表示装置の制御方法、表示システム、及び、プログラム | |
JP6467922B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム | |
JP2017183857A (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム | |
JP2016034091A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
KR20240009090A (ko) | 음원의 탐지 및 시각화가 가능한 증강현실 글래스 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170525 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180424 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180507 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6344125 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |