JP6638195B2 - DISPLAY DEVICE, DISPLAY DEVICE CONTROL METHOD, AND PROGRAM - Google Patents
DISPLAY DEVICE, DISPLAY DEVICE CONTROL METHOD, AND PROGRAM Download PDFInfo
- Publication number
- JP6638195B2 JP6638195B2 JP2015039766A JP2015039766A JP6638195B2 JP 6638195 B2 JP6638195 B2 JP 6638195B2 JP 2015039766 A JP2015039766 A JP 2015039766A JP 2015039766 A JP2015039766 A JP 2015039766A JP 6638195 B2 JP6638195 B2 JP 6638195B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- unit
- user
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、表示装置、表示装置の制御方法、および、プログラムに関する。 The present invention relates to a display device, a display device control method, and a program.
従来、ウェアラブル表示装置において、外界視野と重畳して表示を行うものが知られている(例えば、特許文献1参照)。特許文献1記載の装置は、外界視野と文字を重畳して表示する構成を有し、表示する一部の文字又は単語について、フォントサイズや文字の色等の表示属性を変更して、例えば文章の一部の文字を識別しやすくする。
2. Description of the Related Art Conventionally, there has been known a wearable display device that performs display by overlapping with an external field of view (for example, see Patent Document 1). The device described in
特許文献1では、ウェアラブル表示装置を使用する使用者が、表示装置が表示する文字か外界視野かのいずれかを見る場合の表示方法について記載されている。これに対し、使用者が外界とともに視認することを考慮した表示方法についての提案は、従来無かった。
本発明は、上述した事情に鑑みてなされたものであり、使用者に見える外界と表示内容とを効果的に組み合わせることが可能な表示装置、表示装置の制御方法、および、プログラムを提供することを目的とする。
The present invention has been made in view of the above-described circumstances, and provides a display device, a display device control method, and a program capable of effectively combining an external world visible to a user with display contents. With the goal.
上記目的を達成するために、本発明の表示装置は、使用者の身体に装着して使用される表示装置であって、外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、前記使用者の視線方向を撮像する撮像部と、前記撮像部の撮像画像から表示用画像を生成する画像生成部と、前記画像生成部が生成した表示用画像を前記表示部に表示させる画像表示制御部と、を備えることを特徴とする。
本発明によれば、使用者の視線方向を撮像した撮像画像に基づく表示用画像を、外景として見える対象物に重なるように画像を表示できる。このため、使用者が見ている外景の見え方を、この外景を撮像した撮像画像に基づき補ったり、別の見方を提示したりするなど、表示装置外部の外景と、表示内容とを効果的に組み合わせて、表示装置による表示の新たな活用方法を提供できる。
In order to achieve the above object, a display device of the present invention is a display device used by being worn on a user's body, and a display unit that transmits an outside scene and displays an image so that the image can be visually recognized together with the outside scene. An imaging unit that captures an image of the user's line of sight, an image generation unit that generates a display image from a captured image of the imaging unit, and a display image that is generated by the image generation unit is displayed on the display unit. And an image display control unit.
ADVANTAGE OF THE INVENTION According to this invention, an image for display based on the captured image which image | photographed the user's gaze direction can be displayed so that it may overlap with the target object seen as an outside scene. For this reason, the appearance of the outside scene seen by the user is supplemented based on a captured image of the outside scene, or another viewpoint is presented. Can provide a new method of utilizing display by the display device.
また、本発明は、上記表示装置において、前記表示装置の使用状態を検出する検出部を備え、前記画像表示制御部は、前記表示用画像の前記表示部における表示態様を、前記検出部が検出する前記表示装置の使用状態に対応して調整すること、を特徴とする。
本発明によれば、表示装置の使用環境や使用者の使い方に対応して、表示部に表示される画像の表示サイズや表示位置等の態様を調整できる。このため、使用者が外景を視認する見え方に合わせて表示を行うことができる。
In the display device according to the present invention, the display device may further include a detection unit configured to detect a use state of the display device, and the image display control unit may detect a display mode of the display image on the display unit. The adjustment is made according to the use state of the display device.
ADVANTAGE OF THE INVENTION According to this invention, the aspect of the display size of an image displayed on a display part, a display position, etc. can be adjusted according to the use environment of a display apparatus, and the usage of a user. Therefore, the display can be performed in accordance with how the user visually recognizes the outside scenery.
また、本発明は、上記表示装置において、前記検出部は、前記表示装置の位置に関する検出を行い、前記画像表示制御部は、前記検出部が検出する前記表示装置の位置に対応して前記表示用画像の表示態様を調整すること、を特徴とする。
本発明によれば、表示装置の位置に基づき、使用者が外景を視認する見え方に合わせて表示を行うことができる。
Further, according to the present invention, in the display device, the detection unit detects a position of the display device, and the image display control unit performs the display in accordance with the position of the display device detected by the detection unit. The display mode of the image for use is adjusted.
ADVANTAGE OF THE INVENTION According to this invention, a display can be performed based on the position of a display apparatus according to the appearance which a user visually recognizes an external view.
また、本発明は、上記表示装置において、前記画像表示制御部は、前記検出部が検出する前記表示装置の位置に対応して、前記表示用画像が前記使用者の視線方向の中心を避けるように、前記表示用画像の表示位置または表示サイズの少なくともいずれかを調整すること、を特徴とする。
本発明によれば、使用者が外景を見る障害とならないように、撮像部で撮像した画像を表示できる。
In the display device according to the present invention, the image display control unit may be configured so that the display image avoids the center of the user's line of sight in accordance with a position of the display device detected by the detection unit. Further, at least one of a display position and a display size of the display image is adjusted.
ADVANTAGE OF THE INVENTION According to this invention, the image imaged by the imaging part can be displayed so that a user may not obstruct an external view.
また、本発明は、上記表示装置において、前記撮像部の撮像画像に基づき前記使用者の動作を検出する動作検出部を備え、前記画像表示制御部は、前記動作検出部が検出する前記使用者の動作に対応して前記表示用画像の表示態様を調整すること、を特徴とする。
本発明によれば、使用者が、撮像部が撮像できるように動作を行うことで、表示用画像の表示態様を調整できる。
Further, in the display device according to the present invention, the display device may further include an operation detection unit configured to detect an operation of the user based on a captured image of the imaging unit, and the image display control unit may be configured to detect the user detected by the operation detection unit. The display mode of the display image is adjusted in accordance with the above operation.
According to the present invention, the display mode of the display image can be adjusted by the user performing an operation so that the imaging unit can capture an image.
また、本発明は、上記表示装置において、音声を検出する音声検出部を備え、前記画像表示制御部は、前記音声検出部の音声の検出結果に対応して前記表示用画像の表示態様を調整すること、を特徴とする。
本発明によれば、使用者が音声を発することで、表示用画像の表示態様を調整できる。
Further, in the display device according to the present invention, the display device further includes a sound detection unit that detects sound, and the image display control unit adjusts a display mode of the display image in accordance with a sound detection result of the sound detection unit. To do.
According to the present invention, the display mode of the display image can be adjusted by the user uttering a sound.
また、本発明は、上記表示装置において、前記画像生成部は、前記撮像部の撮像画像の一部を抽出して処理することにより、前記表示用画像を生成すること、を特徴とする。
本発明によれば、使用者の視線方向を撮像した撮像画像を利用して表示するので、使用者に、外景とともに、外景の一部を処理した画像を見せることができる。
Further, the present invention is characterized in that, in the display device, the image generation unit generates the display image by extracting and processing a part of the captured image of the imaging unit.
According to the present invention, the image is displayed using the captured image of the user's line of sight, so that the user can see not only the outside scene but also an image obtained by processing a part of the outside scene.
また、本発明は、上記表示装置において、前記撮像部の撮像画像に基づき前記使用者の動作を検出する動作検出部を備え、前記画像生成部は、前記撮像部の撮像画像から、前記動作検出部が検出する前記使用者の動作に基づき特定される領域を抽出して処理し、前記表示用画像を生成すること、を特徴とする。
本発明によれば、使用者が、撮像部が撮像できるように動作を行うことで、撮像画像から抽出する範囲を決めることができる。
Further, in the display device, the display device further includes an operation detection unit that detects an operation of the user based on a captured image of the imaging unit, and the image generation unit detects the operation detection from the captured image of the imaging unit. And extracting and processing an area specified based on the operation of the user detected by the unit to generate the display image.
According to the present invention, the user can determine a range to be extracted from a captured image by performing an operation so that the imaging unit can capture an image.
また、本発明は、上記表示装置において、前記画像生成部は、前記撮像部の撮像画像の一部を切り出して拡大することにより、前記表示用画像を生成すること、を特徴とする。
本発明によれば、使用者の視線方向を撮像した撮像画像の一部を拡大して表示するので使用者は、外景を見ながら、視線方向を拡大して見ることができる。
Further, according to the invention, in the display device, the image generation unit generates the display image by cutting out and enlarging a part of the captured image of the imaging unit.
ADVANTAGE OF THE INVENTION According to this invention, since the part of the captured image which image | photographed the user's gaze direction is enlarged and displayed, a user can enlarge and see a gaze direction, looking at an external view.
また、本発明は、上記表示装置において、前記画像生成部は、前記撮像部の撮像画像において予め設定された条件に該当する領域を切り出すことにより、前記表示用画像を生成すること、を特徴とする。
本発明によれば、予め設定された条件に該当する撮像画像を表示することができる。このため、例えば使用者の嗜好や興味に該当するような撮像画像が撮像された場合に、この撮像画像を表示部により表示して使用者に見せることができる。
Further, in the display device according to the present invention, in the display device, the image generation unit generates the display image by cutting out an area corresponding to a preset condition in a captured image of the imaging unit. I do.
According to the present invention, a captured image corresponding to a preset condition can be displayed. Therefore, for example, when a captured image corresponding to the user's preference or interest is captured, the captured image can be displayed on the display unit and shown to the user.
また、本発明は、上記表示装置において、前記使用者の視線方向に相当する方向を特定し、前記撮像部の撮像画像から前記使用者の視線方向にある対象物を検出する対象検出部を備え、前記画像生成部は、前記撮像部の撮像画像から、前記対象検出部が検出した前記対象物の画像を含む領域を抽出して処理し、前記表示用画像を生成すること、を特徴とする。
本発明によれば、使用者の視線方向に対象物がある場合に、この対象物の画像を使用者に見せることができる。
Also, the present invention, in the display device, further includes an object detection unit that specifies a direction corresponding to the user's line of sight, and detects an object in the user's line of sight from an image captured by the imaging unit. The image generation unit extracts and processes an area including an image of the target object detected by the target detection unit from a captured image of the imaging unit, and generates the display image. .
ADVANTAGE OF THE INVENTION According to this invention, when there exists a target object in a user's gaze direction, the image of this target object can be shown to a user.
また、本発明は、上記表示装置において、前記対象検出部は、前記使用者の視線方向を検出し、検出した前記使用者の視線方向にある前記対象物を検出すること、を特徴とする。
本発明によれば、撮像画像において使用者の視線方向に対応する部分を、表示用画像とすることができる。
Further, according to the present invention, in the display device, the object detection unit detects a direction of a line of sight of the user, and detects the object in the detected direction of the line of sight of the user.
According to the present invention, a portion corresponding to a user's line of sight in a captured image can be used as a display image.
また、本発明は、上記表示装置において、前記対象検出部は、前記使用者の両眼のうち利き目に相当する眼の視線方向を検出すること、を特徴とする。
本発明によれば、撮像画像において使用者の利き眼の視線方向に対応する部分を、表示用画像とすることができる。
Further, according to the present invention, in the display device described above, the object detection unit detects a gaze direction of an eye corresponding to a dominant eye among both eyes of the user.
According to the present invention, a portion corresponding to the line of sight of the user's dominant eye in a captured image can be used as a display image.
また、本発明は、上記表示装置において、前記対象検出部は、前記動作検出部により前記使用者の所定の動作を検出した場合に、この所定の動作に基づいて前記使用者の視線方向に相当する方向を特定すること、を特徴とする。
本発明によれば、使用者の動作により、撮像画像から表示用画像として抽出する部分を指定できる。
In addition, according to the present invention, in the display device, when the target detection unit detects a predetermined operation of the user by the operation detection unit, the target detection unit corresponds to a gaze direction of the user based on the predetermined operation. Is specified.
According to the present invention, a part to be extracted as a display image from a captured image can be designated by a user's operation.
また、本発明は、上記表示装置において、前記対象検出部は、前記動作検出部が前記使用者の四肢の少なくともいずれかによる動作を検出した場合に、検出された動作に基づいて前記使用者の視線方向に相当する方向を特定すること、を特徴とする。
本発明によれば、使用者が四肢を動かす動作をすることで、撮像画像から表示用画像として抽出する部分を指定できる。
In addition, according to the present invention, in the display device, when the motion detection unit detects a motion by at least one of the limbs of the user, the target detection unit detects the motion of the user based on the detected motion. A direction corresponding to the line-of-sight direction is specified.
According to the present invention, a part to be extracted as a display image from a captured image can be designated by a user performing an operation of moving a limb.
また、本発明は、上記表示装置において、前記対象物の画像の特徴量を記憶する記憶部を備え、前記対象検出部は、前記撮像部の撮像画像から、前記記憶部が記憶する特徴量に適合する画像を検出することにより、前記対象物を検出すること、を特徴とする。
本発明によれば、撮像画像に基づいて対象物を容易に検出できる。
Further, in the display device according to the present invention, the display device further includes a storage unit configured to store a feature amount of the image of the target object, and the target detection unit converts a feature amount stored in the storage unit from a captured image of the imaging unit. The object is detected by detecting a suitable image.
According to the present invention, an object can be easily detected based on a captured image.
また、本発明は、上記表示装置において、前記記憶部が記憶する前記特徴量は、特定の前記対象物の画像の特徴量、及び、類似する複数種類の対象物に対応する汎用的な特徴量のいずれかを含むこと、を特徴とする。
本発明によれば、記憶される特徴量に基づき、特定の対象物を検出する処理、或いは、類似する複数の対象物のいずれかを検出する処理を実行できる。
In the display device according to the present invention, the feature amount stored in the storage unit may be a feature amount of an image of the specific object, and a general-purpose feature amount corresponding to a plurality of similar types of objects. Or any of the following.
According to the present invention, a process of detecting a specific target object or a process of detecting any of a plurality of similar target objects can be executed based on the stored feature amount.
また、本発明は、上記表示装置において、前記対象検出部により検出された前記対象物と前記使用者との距離を検出する距離検出部を備え、前記画像表示制御部は、前記距離検出部が検出した距離に応じた拡大率で前記撮像部の撮像画像の一部を拡大し、前記表示用画像を生成すること、を特徴とする。
本発明によれば、使用者の視線方向の対象物との距離に合わせた拡大率で、対象物の画像を使用者に見せることができる。
Also, the present invention, in the display device, further includes a distance detection unit that detects a distance between the user and the object detected by the object detection unit, the image display control unit, the distance detection unit, The display image is generated by enlarging a part of the captured image of the imaging unit at an enlargement ratio corresponding to the detected distance.
ADVANTAGE OF THE INVENTION According to this invention, an image of a target object can be shown to a user with the enlargement ratio matched with the distance to the target object in the user's gaze direction.
また、本発明は、上記表示装置において、前記画像生成部は、前記撮像部により異なるときに撮像された複数の撮像画像を取得し、これら複数の撮像画像において予め設定された条件に該当する領域を特定することにより、前記表示用画像を生成すること、を特徴とする。
本発明によれば、複数の撮影画像について、より複雑な条件を設定し、この条件に該当する撮像画像をもとに画像を使用者に見せることができる。
Further, according to the present invention, in the display device, the image generation unit acquires a plurality of captured images captured at different times by the imaging unit, and sets an area corresponding to a preset condition in the plurality of captured images. By generating the display image, the display image is generated.
According to the present invention, more complicated conditions can be set for a plurality of captured images, and the images can be shown to the user based on the captured images corresponding to the conditions.
また、本発明は、上記表示装置において、前記画像生成部は、前記撮像部により異なるときに撮像された複数の撮像画像を取得し、これら複数の撮像画像の画像間の差分が予め設定された条件に該当する場合に、取得した撮像画像を切り出して前記表示用画像を生成すること、を特徴とする。
本発明によれば、複数の撮影画像の差分をもとに表示用画像を生成して表示できるので、例えば連続する複数の画像からなる動画像について、画像の変化に基づき表示用画像を生成して表示できる。
Further, according to the present invention, in the display device, the image generation unit acquires a plurality of captured images captured at different times by the imaging unit, and a difference between the images of the plurality of captured images is set in advance. When the condition is satisfied, the acquired captured image is cut out to generate the display image.
According to the present invention, a display image can be generated and displayed based on a difference between a plurality of captured images. For example, for a moving image including a plurality of continuous images, a display image is generated based on a change in the image. Can be displayed.
また、上記目的を達成するために、本発明は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備え、使用者の身体に装着して使用される表示装置の制御方法であって、前記使用者の視線方向を撮像し、撮像画像の一部を切り出して拡大することにより、表示用画像を生成し、生成した表示用画像を前記表示部に表示させることを特徴とする。
本発明によれば、使用者の視線方向を撮像した撮像画像に基づく表示用画像を、外景として見える対象物に重なるように画像を表示できる。このため、使用者が見ている外景の見え方を、この外景を撮像した撮像画像に基づき補ったり、別の見方を提示したりするなど、表示装置外部の外景と、表示内容とを効果的に組み合わせて、表示装置による表示の新たな活用方法を提供できる。
According to another aspect of the present invention, there is provided a display device that includes a display unit that transmits an outside scene and displays an image so that the image can be visually recognized together with the outside scene. A method, wherein an image of the user's line of sight is taken, a part of the taken image is cut out and enlarged to generate a display image, and the generated display image is displayed on the display unit. And
ADVANTAGE OF THE INVENTION According to this invention, an image for display based on the captured image which image | photographed the user's gaze direction can be displayed so that it may overlap with the target object seen as an outside scene. For this reason, the appearance of the outside scene seen by the user is supplemented based on a captured image of the outside scene, or another viewpoint is presented. Can provide a new method of utilizing display by the display device.
また、上記目的を達成するために、本発明は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備え、使用者の身体に装着して使用される表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、前記使用者の視線方向を撮像した撮像画像の一部を切り出して拡大することにより、表示用画像を生成する画像生成部と、前記画像生成部が生成した画像を前記表示部に表示させる画像表示制御部と、して機能させるためのプログラムである。
本発明によれば、使用者の視線方向を撮像した撮像画像に基づく表示用画像を、外景として見える対象物に重なるように画像を表示できる。このため、使用者が見ている外景の見え方を、この外景を撮像した撮像画像に基づき補ったり、別の見方を提示したりするなど、表示装置外部の外景と、表示内容とを効果的に組み合わせて、表示装置による表示の新たな活用方法を提供できる。
In order to achieve the above object, the present invention includes a display unit that transmits an outside scene and displays an image so that the image can be visually recognized together with the outside scene, and controls a display device used by being worn on a user's body. An image generation unit that generates a display image by cutting out and enlarging a part of a captured image obtained by capturing the user's line of sight, A program for functioning as an image display control unit that causes the display unit to display the image generated by the generation unit.
ADVANTAGE OF THE INVENTION According to this invention, an image for display based on the captured image which image | photographed the user's gaze direction can be displayed so that it may overlap with the target object seen as an outside scene. For this reason, the appearance of the outside scene seen by the user is supplemented based on a captured image of the outside scene, or another viewpoint is presented. Can provide a new method of utilizing display by the display device.
[第1実施形態]
以下、本発明を適用した実施形態について説明する。
図1は、第1実施形態に係る頭部装着型表示装置100の外観構成を示す説明図である。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態の頭部装着型表示装置100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置100によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
[First Embodiment]
Hereinafter, embodiments to which the present invention is applied will be described.
FIG. 1 is an explanatory diagram illustrating an external configuration of the head-mounted
頭部装着型表示装置100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御装置10と、を備えている。制御装置10は、使用者が頭部装着型表示装置100を操作するためのコントローラーとしても機能する。画像表示部20は、単に「表示部」とも呼ぶ。
The head-mounted
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61(撮像部)と、マイク63と、を備える。右光学像表示部26および左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
The
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
The
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部21および左保持部23を総称して単に「保持部」とも呼び、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
The right
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」とも呼ぶ)や投写光学系251,252等を含む(図2参照)。表示駆動部22,24の構成の詳細は後述する。光学部材としての光学像表示部26,28は、導光板261,262(図2参照)と調光板20Aとを備える。導光板261,262は、光透過性の樹脂等によって形成され、表示駆動部22,24から出力された画像光を使用者の眼に導く。調光板20Aは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置されている。調光板20Aは、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰または反射するもの等、種々のものを用いることができる。調光板20Aの光学特性(光透過率など)を適宜選択することにより、外部から右光学像表示部26および左光学像表示部28に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置100を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板20Aを用いる場合について説明する。調光板20Aは右導光板261、左導光板262を保護し、右導光板261、左導光板262の損傷や汚れの付着等を抑制する。
調光板20Aは右光学像表示部26および左光学像表示部28に対し着脱可能としてもよく、複数種類の調光板20Aを交換して装着可能としてもよいし、省略してもよい。
The
The
カメラ61は、右光学像表示部26の他端である端部ERに配置される。カメラ61は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。図1に示す本実施形態のカメラ61は、単眼カメラであるが、ステレオカメラであってもよい。
カメラ61の撮影方向すなわち画角は、頭部装着型表示装置100の表側方向、換言すれば、頭部装着型表示装置100を装着した状態における使用者の視界方向の少なくとも一部の外景を撮影する方向である。また、カメラ61の画角の広さは適宜設定可能であるが、カメラ61の撮像範囲が、使用者が右光学像表示部26、左光学像表示部28を通して視認する外界(外景)を含む範囲であることが好ましい。さらに、調光板20Aを通した使用者の視界の全体を撮影できるようにカメラ61の撮像範囲が設定されていると、より好ましい。
The
The shooting direction of the
画像表示部20は、さらに、画像表示部20を制御装置10に接続するための接続部40を有している。接続部40は、制御装置10に接続される本体コード48と、右コード42と、左コード44と、連結部材46と、を備える。右コード42と左コード44とは、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。
The
連結部材46は、本体コード48と、右コード42および左コード44と、の分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有している。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。イヤホンプラグ30の近傍にはマイク63が設けられている。イヤホンプラグ30からマイク63までは一本のコードにまとめられ、マイク63からコードが分岐して、右イヤホン32と左イヤホン34のそれぞれに繋がっている。
The connecting
マイク63の具体的な仕様は任意であり、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。指向性を有するマイクとしては、例えば単一指向性(Cardioid)、狭指向性(Super cardioid)、鋭指向性(Hypercardioid)、超指向性(Ultra Cardioid)等が挙げられる。マイク63が指向性を有する場合、頭部装着型表示装置100を装着した使用者の視線方向からの音声を特に良好に集音し、検出する構成とすればよい。この場合、マイク63の指向性を確保するため、マイク63またはマイク63を収容する部品に構造的な特徴を持たせてもよい。例えば図1の例において、使用者が右イヤホン32及び左イヤホン34を装着した状態で、マイク63の集音部が、使用者の視線方向を向くように、マイク63及び連結部材46が設計されていればよい。或いは、マイク63を、右保持部21または左保持部23に埋込設置してもよい。この場合、右保持部21または左保持部23の前面側、すなわち右光学像表示部26、左光学像表示部28に並ぶ面に集音用の穴を穿設すれば、使用者の視線方向に対応する指向性を持たせることができる。使用者の視線方向とは、例えば、右光学像表示部26及び左光学像表示部28が面する方向、使用者が右光学像表示部26及び左光学像表示部28越しに見る視界の中心を向く方向、カメラ61の撮影方向等と言い換えることができる。なお、マイク63の指向性の方向を可変としてもよい。この場合、使用者の視線方向を検出して、その方向を向くようにマイク63の視線方向を調整する構成としてもよい。
The specific specifications of the
なお、右コード42と左コード44とを一本のコードにまとめることも可能である。具体的には、右コード42の内部の導線を、画像表示部20の本体内部を通して左保持部23側に引き込み、左コード44内部の導線とともに樹脂で被覆して、一本のコードにまとめてもよい。
Note that the
画像表示部20と制御装置10とは、接続部40を介して各種信号の伝送を行なう。本体コード48における連結部材46とは反対側の端部と、制御装置10と、のそれぞれには、互いに嵌合するコネクター(図示略)が設けられている。本体コード48のコネクターと制御装置10のコネクターとの嵌合/嵌合解除により、制御装置10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48とには、例えば、金属ケーブルや光ファイバーを採用できる。
The
制御装置10は、頭部装着型表示装置100を制御するための装置である。制御装置10は、決定キー11、点灯部12、表示切替キー13、輝度切替キー15、方向キー16、メニューキー17、及び電源スイッチ18を含むスイッチ類を備える。また、制御装置10は、使用者が指によりタッチ操作するトラックパッド14を備える。
The
決定キー11は、押下操作を検出して、制御装置10で操作された内容を決定する信号を出力する。点灯部12は、頭部装着型表示装置100の動作状態を、その発光状態によって通知する。頭部装着型表示装置100の動作状態としては、例えば、電源のON/OFF等がある。点灯部12としては、例えば、LED(Light Emitting Diode)が用いられる。表示切替キー13は、押下操作を検出して、例えば、コンテンツ動画の表示モードを3Dと2Dとを切り替える信号を出力する。
The
トラックパッド14は、トラックパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、頭部装着型表示装置100の電源投入状態を切り替える。
The
図2は、実施形態に係る表示システム1を構成する各部の機能ブロック図である。
図2に示すように、表示システム1は、外部機器OAと、頭部装着型表示装置100とを備える。外部機器OAとしては、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等、がある。外部機器OAは、頭部装着型表示装置100に画像を供給する画像供給装置として用いられる。
FIG. 2 is a functional block diagram of each unit included in the
As shown in FIG. 2, the
頭部装着型表示装置100の制御装置10は、制御部140と、操作部135と、入力情報取得部110と、記憶部120と、電源130と、インターフェイス180と、送信部(Tx)51および送信部(Tx)52と、を有している。
操作部135は、使用者による操作を検出する。操作部135は、図1に示した決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、電源スイッチ18の各部を備える。
The
The
入力情報取得部110は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド14、方向キー16、電源スイッチ18、に対する操作入力がある。
電源130は、頭部装着型表示装置100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。
The input
The
記憶部120は、種々のコンピュータープログラムを格納している。記憶部120は、ROMやRAM等によって構成されている。記憶部120には、頭部装着型表示装置100の画像表示部20に表示する画像データが格納されていても良い。
記憶部120は、後述する対象検出部171が参照する検出特徴データ124、及び、画像表示制御部176が処理する入替画像データ125を記憶する。
The
The
インターフェイス180は、制御装置10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。インターフェイス180としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。
The
制御部140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、各部の機能を実現する。すなわち、制御部140は、オペレーティングシステム(OS)150、画像処理部160、音声処理部170、対象検出部171、距離検出部173、画像表示制御部176、画像生成部177、及び、表示制御部190として機能する。
制御部140には、3軸センサー113、GPS115、及び通信部117が接続される。3軸センサー113は3軸の加速度センサーであり、3軸センサー113の検出値を制御部140が取得可能である。GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置10の現在位置を求める。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。また、GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御装置10の制御部140が計時する時刻を修正させる機能を備えていてもよい。
The
The three-
通信部117は、無線LAN(WiFi(登録商標))、Miracast(登録商標)、Bluetooth(登録商標)等の規格に準じた無線データ通信を実行する。
外部機器OAが、通信部117に無線接続された場合には、制御部140は、コンテンツデータを通信部117より取得して、画像表示部20に画像を表示するための制御を行う。一方、外部機器OAが、インターフェイス180に有線接続された場合には、制御部140は、コンテンツデータをインターフェイス180より取得して、画像表示部20に画像を表示するための制御を行う。よって、通信部117、及び、インターフェイス180を、以下総称してデータ取得部DAと呼ぶ。
データ取得部DAは、外部機器OAから、頭部装着型表示装置100により表示するコンテンツデータを取得する。コンテンツデータは後述する画像データを含む。
The
When the external device OA is wirelessly connected to the
The data acquisition unit DA acquires content data to be displayed by the head-mounted
画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示略)を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示略)を用いてデジタル画像信号に変換する。その後、画像処理部160は、変換後のデジタル画像信号を、対象画像の画像データ(図中、Data)として、1フレームごとに記憶部120内のDRAMに格納する。この画像データは、例えばRGBデータである。
なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
The
Note that the
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、記憶部120内のDRAMに格納された画像データData、のそれぞれを、送信部51、52を介して送信する。なお、送信部51を介して送信される画像データDataを「右眼用画像データ」とも呼び、送信部52を介して送信される画像データDataを「左眼用画像データ」とも呼ぶ。送信部51、52は、制御装置10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
The
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFなど、を個別に制御する。これにより、表示制御部190は、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
The
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号のそれぞれを、送信部51および52を介して送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号のそれぞれを送信する。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、カメラ61と、振動センサー65と、9軸センサー66と、を備えている。
The
振動センサー65は、加速度センサーを利用して構成され、図1に示すように画像表示部20の内部に配置される。図1の例では右保持部21において、右光学像表示部26の端部ERの近傍に内蔵される。振動センサー65は、使用者が端部ERを叩く操作(ノック操作)を行った場合に、この操作による振動を検出して、検出結果を制御部140に出力する。この振動センサー65の検出結果により、制御部140は、使用者によるノック操作を検出する。
The
9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)、を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された使用者の頭部の動きから画像表示部20の向きがわかるため、制御部140は、使用者の視線方向を推定できる。
The nine-
右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251と、を備える。右バックライト制御部201と右バックライト221とは、光源として機能する。右LCD制御部211と右LCD241とは、表示素子として機能する。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241と、を総称して「画像光生成部」とも呼ぶ。
The right
受信部53は、制御装置10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データData1と、に基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
The receiving
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。なお、右投写光学系251と右導光板261とを総称して「導光部」とも呼ぶ。
The right projection optical system 251 is configured by a collimating lens that converts image light emitted from the
左表示駆動部24は、右表示駆動部22と同様の構成を有している。左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252と、を備える。左バックライト制御部202と左バックライト222とは、光源として機能する。左LCD制御部212と左LCD242とは、表示素子として機能する。なお、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系252は、左LCD242から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部28としての左導光板262は、左投写光学系252から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼LEに導く。なお、左投写光学系252と左導光板262とを総称して「導光部」とも呼ぶ。
The
頭部装着型表示装置100は、使用者が右光学像表示部26及び左光学像表示部28を透過して外景を見ている場合に、この外景に重なるように画像データに基づく画像を表示する。
対象検出部171は、カメラ61に撮像を実行させる制御を行い、撮像画像を取得する。この撮像画像はカラー画像データまたはモノクロ画像データとしてカメラ61から出力されるが、カメラ61が画像信号を出力して、対象検出部171が画像信号から所定のファイルフォーマットに適合する画像データを生成してもよい。
対象検出部171は、取得した撮像画像データを解析し、撮像画像データに写っている対象物を検出する。対象物とは、カメラ61の撮像方向すなわち使用者の視線方向に存在する物体または人である。
The head-mounted
The
The
対象検出部171は、撮像画像において検出特徴データ124に適合する画像を検索し、適合する画像を対象物の画像として検出する。
図3は、記憶部120に記憶される検出特徴データ124及び入替画像データ125の構成例を示す図である。
検出特徴データ124は、撮像画像から検出する画像の特徴量のデータである。本実施形態では、検出特徴データ124は、単一画像用特徴データ124a、及び、動画像用特徴データ124bを含む。単一画像用特徴データ124aは、1つの撮像画像に対して適用される特徴量のデータである。対象検出部171は、単一画像用特徴データ124aを使用する場合、1つの撮像画像について単一画像用特徴データ124aに適合する部分を検出するマッチング処理を行う。
The
FIG. 3 is a diagram illustrating a configuration example of the
The
動画像用特徴データ124bは、複数の撮像画像について適用される特徴量のデータである。対象検出部171は、動画像用特徴データ124bを使用する場合、カメラ61の撮像画像を複数回取り込み、取り込んだ複数の撮像画像の差分を求める。カメラ61は、所定の時間間隔で撮像を行って、撮像を行う毎に撮像画像データを出力することが可能である。すなわち、カメラ61は、上記時間間隔に対応するフレームレートで撮像を行う動画像カメラとして機能する。この場合、対象検出部171は、カメラ61が異なるタイミングで撮像した複数の撮像画像の差分を求めることで、動画像の変化を求めることができる。動画像用特徴データ124bは、動画像の変化に対して適用される特徴量のデータということができる。対象検出部171は、撮像画像の差分において動画像用特徴データ124bに適合する部分を検出するマッチング処理を行う。
The moving
本実施形態では、対象検出部171が使用する検出特徴データ124が単一画像用特徴データ124aか動画像用特徴データ124bかは、事前に設定される。対象検出部171は、単一画像用特徴データ124aを使用するよう設定されている場合は、カメラ61の1つの撮像画像を取得してマッチング処理を行う。これに対し、動画像用特徴データ124bを使用するよう設定されている場合、対象検出部171は、カメラ61の撮像画像を取得する毎に記憶部120に一時的に記憶する。そして、対象検出部171は、記憶部120に記憶した複数の撮像画像を取得して差分を求め、この差分に対し動画像用特徴データ124bに基づくマッチング処理を行う。
In the present embodiment, whether the detected
対象検出部171は、マッチング処理により、カメラ61が撮像した撮像画像に写る対象物を特定する。すなわち、対象検出部171は、撮像画像において単一画像用特徴データ124aに適合する領域、または、撮像画像の差分において動画像用特徴データ124bに適合する領域を検出した場合、検出した領域に写っている被写体を対象物とする。
The
距離検出部173は、対象検出部171が検出した対象物までの距離を求める。例えば、距離検出部173は、カメラ61の撮像画像において対象検出部171が検出した対象物の画像のサイズに基づき、対象物までの距離を求める。
また、頭部装着型表示装置100は、レーザー光または超音波を利用して対象物までの距離を検出する距離計を備えていてもよい。この距離計は、例えば、レーザー光の光源と、この光源が発したレーザー光の反射光を受光する受光部とを備え、レーザー光の受光状態に基づき対象物までの距離を検出する。また、距離計は、例えば、超音波式の距離計としてもよい。すなわち、超音波を発する音源と、対象物に反射した超音波を検出する検出部とを備え、反射した超音波に基づき対象物までの距離を検出する距離計を用いてもよい。さらに、この距離計は、レーザー光を利用する距離計と超音波を用いる距離計とを合わせた構成とすることもできる。このような距離計は、画像表示部20の右保持部21または右表示駆動部22に設けることが好ましく、例えば、調光板20Aと並ぶ面に、前方を向いて設置するとよい。この距離計が距離を測定する方向は、カメラ61の撮像方向と同様に、使用者の視線方向であることが望ましい。
距離検出部173は、カメラ61または距離計から対象物までの距離を検出するが、この距離は、頭部装着型表示装置100の使用者から対象物までの距離と見なすことができる。
また、対象検出部171が検出する対象物が特定の物体でない場合、距離検出部173は、例えば撮像画像の中央を仮想の対象物として、この対象物までの距離を検出する。
The
In addition, the head-mounted
The
When the target detected by the
画像生成部177は、カメラ61の撮像画像の一部を抽出して処理することにより、表示用画像を生成する。本実施形態では、画像生成部177は、対象検出部171が検出した特徴物を含む所定サイズの領域を、撮像画像から切り出して、表示用画像を生成する。対象検出部171が動画像用特徴データ124bを使用して、複数の撮像画像から対象物を検出した場合、画像生成部177は、最新の撮像画像において対象検出部171が検出した対象物を含む領域を切り出す。
画像生成部177が生成する表示用画像は、画像表示制御部176の制御により、画像表示部20の表示可能領域に表示される。表示用画像を表示するサイズは予め設定されており、例えば、使用者が外景を見る際の支障にならない程度である。このため、画像生成部177は、表示用画像の表示サイズに合わせたサイズで撮像画像を切り出す。
The
The display image generated by the
画像生成部177は、対象検出部171が検出した特徴物を含む撮像画像の一部が、より見やすく表示されるように、表示用画像を生成する。従って、上記のように、画像生成部177が実行する処理は、撮像画像から抽出する領域を拡大する処理に限定されない。例えば、撮像画像から抽出する領域のうち対象物の周囲を円や矩形等の枠で囲んで、表示用画像としてもよい。また、例えば、対象物に、吹き出しや矢印等の装飾を付与して対象物を認識しやすい表示用画像を生成してもよい。この場合の装飾は、予め装飾用に記憶される画像であり、補助画像、強調用画像と呼ぶことができる。また、対象物を含む領域の輝度や色調を変化させてもよく、例えば対象物及びその周囲を高輝度の画像としてもよい。
また、単一画像用特徴データ124aや動画像用特徴データ124bに基づき検出される対象物に装飾を付与する場合、この装飾に関するデータを、単一画像用特徴データ124a、動画像用特徴データ124bに含めてもよい。
The
When a decoration is given to an object detected based on the single-
また、画像生成部177は、対象検出部171が検出する対象物を含む画像を切り出す際に、対象物及びその周辺の画像を切り出してもよい。この場合、撮像画像の一部を拡大した画像であることが明らかに分かるので、使用者は、例えば遠方の見づらい部分を拡大して見ることができる。また、画像生成部177は、対象物の画像の輪郭に沿って切り出しを行ってもよく、この場合、切り出す画像を、他の背景画像と合成して表示することや、切り出した画像を3D(立体)画像として画像表示部20に表示する処理することが、可能となる。
When the
さらに、画像生成部177は、距離検出部173が検出した距離に基づき、拡大率を決定する。画像生成部177は、撮像画像から切り出した一部の画像が画像表示制御部176の制御により表示されるときに、使用者に、拡大して見えるようにする。このため、画像生成部177は、画像表示部20の表示可能領域において表示用画像を表示するサイズ(解像度、或いは画像ドット数)と、拡大率とに基づき、撮像画像から切り出す画像のサイズを決定する。そして、画像生成部177は、切り出した画像のサイズを、表示するサイズに合わせて変換する拡大処理(或いは解像度変換処理)を実行する。これにより、撮像画像から切り出された画像は拡大された状態となるので、使用者は拡大画像を見ることができる。
Further, the
画像生成部177が拡大した表示用画像が使用者に視認されるサイズは、画像表示部20の仕様に影響される。画像生成部177が撮像画像から切り出した画像を拡大する拡大率を適切に管理、調整するため、例えば、撮像画像から切り出した画像を、使用者の視野における外景と同じサイズとする場合(すなわち、拡大率が1倍)の画像のサイズを予め設定するとよい。つまり、使用者が拡大も縮小もしないサイズで表示用画像を視認する場合の、画像生成部177が切り出す画像のサイズが予め設定される。このサイズを基準として、画像生成部177は、目標の拡大率に合わせて画像を切り出して拡大する。
The size at which the display image enlarged by the
画像生成部177が画像を拡大する処理における拡大率は、例えば、距離検出部173が検出した距離に対応して決定するとよい。
図3には、記憶部120に記憶される表示設定データ126に、距離検出部173が検出した対象物までの距離と拡大率とを対応付ける拡大率設定データ126aを含む例を示す。拡大率設定データ126aは、距離検出部173が検出した距離と拡大率とを定めるデータであり、例えば、拡大率を段階的に求めるテーブル、或いは、距離から拡大率を算出する演算式やパラメーターを含む。この拡大率設定データ126aにより、画像生成部177は、距離検出部173が検出した距離から拡大率を求めることができる。また、拡大率設定データ126aに、画像生成部177が拡大をしないケースについて設定してもよく、画像生成部177が表示用画像を生成しないケースを設定してもよい。例えば、距離検出部173が検出した対象物までの距離が設定された距離よりも近い場合に、表示用画像の生成および表示を行わないよう設定することができる。画像生成部177が表示用画像のデータを生成および出力しない場合、画像表示制御部176は表示用画像の表示を行わない。
表示設定データ126は、拡大率設定データ126aの他、画像表示部20におけるデフォルトの表示サイズに関する設定値のデータ、表示色の調整に関する設定値のデータなど、画像の表示に関して予め設定されたデータを含んでも良い。
The enlargement ratio in the process of enlarging the image by the
FIG. 3 shows an example in which the
The
画像表示制御部176は、表示制御部190を制御して、画像生成部177が生成した表示用画像のデータに基づき、画像表示部20によって、画像を表示させる。
The image
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内のスピーカー(図示略)および左イヤホン34内のスピーカー(図示略)に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34のそれぞれから、例えば周波数等が変えられた異なる音が出力される。
The
また、音声処理部170は、マイク63により集音される音声を取得してデジタル音声データに変換し、音声に係る処理を行う。例えば、音声処理部170は、取得した音声から特徴を抽出してモデル化することで、複数の人の声を別々に認識して、声ごとに話している人を特定する話者認識を行ってもよい。
In addition, the
制御部140には、3軸センサー113、GPS115、及び通信部117が接続される。3軸センサー113は3軸の加速度センサーであり、制御部140は3軸センサー113の検出値を取得して、制御装置10の動き及び動きの方向を検出可能である。
GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置10の現在位置を求める。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。また、GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御装置10の制御部140が計時する時刻を修正させる機能を備えていてもよい。
通信部117は、無線LAN(WiFi(登録商標))やBluetooth(登録商標)規格に準じた無線データ通信を実行する。
The three-
The
The
インターフェイス180は、制御装置10に対して、コンテンツの供給元となる種々の画像供給装置OAを接続するためのインターフェイスである。画像供給装置OAが供給するコンテンツは、静止画像または動画像を含み、音声を含んでもよい。画像供給装置OAとしては、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等、がある。インターフェイス180としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等、を利用できる。
ここで、画像供給装置OAを無線通信回線により制御装置10に接続することも可能である。この場合、画像供給装置OAは、通信部117と無線通信を実行して、コンテンツのデータをMiracast(登録商標)等の無線通信技術により送信する。
The
Here, it is also possible to connect the image supply device OA to the
図4は、頭部装着型表示装置100の動作を示すフローチャートである。この動作では、使用者が右光学像表示部26及び左光学像表示部28を通して外景を見ているときに、その外景を撮像した撮像画像の一部を、画像表示部20により表示する。
また、図5は、図4に示す動作により頭部装着型表示装置100が画像を表示する様子を示す説明図である。図5(A)は使用者の視野VRの例を示し、図5(B)及び(C)は撮像画像から切り出される画像の例を示し、図5(D)は表示用画像を表示した場合の使用者の視野VRの例を示す。
FIG. 4 is a flowchart showing the operation of the head-mounted
FIG. 5 is an explanatory diagram showing how the head-mounted
頭部装着型表示装置100の制御部140では、対象検出部171は、カメラ61に撮像を実行させ(ステップS11)、撮像画像を取得する(ステップS12)。対象検出部171は、記憶部120から単一画像用特徴データ124aまたは動画像用特徴データ124bを取得し(ステップS13)、取得した検出特徴データの対象が単一の撮像画像か複数の撮像画像かを判定する(ステップS14)。この判定は、使用する検出特徴データとして単一画像用特徴データ124aが指定されているか、動画像用特徴データ124bが指定されているかに基づき行うことができる。
In the
単一の撮像画像を処理する場合(ステップS14;YES)、対象検出部171は、ステップS12で取得した撮像画像に対して、単一画像用特徴データ124aを用いてマッチング処理を行い(ステップS15)、ステップS18に移行する。
また、複数の撮像画像を処理する場合(ステップS14;NO)、対象検出部171は、ステップS12で取得した撮像画像と、過去に取得して記憶部120に一時的に記憶した撮像画像との差分を求める(ステップS16)。対象検出部171は、求めた差分に対して動画像用特徴データ124bに基づくマッチング処理を実行し(ステップS17)、ステップS18に移行する。
When processing a single captured image (Step S14; YES), the
Further, when processing a plurality of captured images (Step S14; NO), the
ステップS18では、対象検出部171が、撮像画像から切り出す領域を決定する。ここで決定される領域は、対象検出部171が検出した対象物を含む領域であるが、詳細な切り出し範囲は後述するステップS21で画像生成部177が決定する。従って、ステップS18で決定される領域は、仮の領域であり、例えば、切り出す領域の中心の位置、或いは、対象物の輪郭等とするとよい。
In step S18, the
図5(A)に示す例は、使用者がサッカーの試合を観客席から見ている例を示す。この例では、サッカーのフィールドF、及び、フィールドFでプレーする複数のプレイヤーFPが見えている。一人のプレイヤーFPがボールBを持っている様子が見えている。この例では使用者はフィールドFから遠く離れた位置にいるため、視野VRにおけるプレイヤーP及びボールBは小さく見える。 The example shown in FIG. 5A shows an example in which a user watches a soccer game from a spectator seat. In this example, a soccer field F and a plurality of players FP playing in the field F are seen. It can be seen that one player FP is holding the ball B. In this example, since the user is far away from the field F, the player P and the ball B in the visual field VR appear small.
カメラ61の撮像範囲(画角)は、例えば視野VRと同じ範囲であり、撮像画像には、フィールドF、プレイヤーFP及びボールBが写る。
対象検出部171は、単一画像用特徴データ124aに基づき撮像画像に対しマッチング処理を行い、ボールBの画像を対象物として検出するものとする。この場合、対象検出部171は、ステップS15でボールBを検出し、ステップS18ではボールBを含む領域が切り出し領域として決定される。
The imaging range (angle of view) of the
The
続いて、距離検出部173が、ステップS18で対象検出部171が決定した領域に含まれる対象物までの距離を検出する(ステップS19)。
そして、画像生成部177が、距離検出部173により検出された距離と、記憶部120に記憶された拡大率設定データ126aとに基づき拡大率を決定する(ステップS20)。画像生成部177は、決定した拡大率に基づき、撮像画像から画像を切り出すサイズ及び位置を決定して、画像の切り出しを実行し、切り出した画像を表示用画像として出力する(ステップS21)。ステップS21において、画像生成部177は、上述したサイズ変換、或いは解像度変換処理等を実行してもよい。また、画像生成部177は、距離検出部173が検出した距離に対応する拡大率設定データ126aの設定が、表示をしない設定であった場合は、表示用画像を出力しない。
Subsequently, the
Then, the
図5(B)及び(C)には画像生成部177が出力する表示用画像の例を示す。画像生成部177は、画像の切り出しに関して予め設定された内容に従い、撮像画像から、ボールBの画像を含む領域を切り出す。画像の切り出しに関して予め設定された内容とは、切り出す画像のアスペクト比や、拡大率が1倍の場合の画像のサイズである。図5(B)の例ではボールB、及び、ボールBを持つプレイヤーFPの全身が写った領域が切り出され、表示用画像として出力される。また、図5(C)の例では、ボールB、及び、ボールBを含む所定サイズの領域が切り出され、表示用画像として出力されている。図5(C)の例ではボールBを持つプレイヤーFPの身体は、一部のみが含まれる。単一画像用特徴データ124aが、ボールBを検出するための特徴量のデータである場合、画像生成部177が切り出す画像にプレイヤーFPの全身が含まれるか身体の一部が含まれるかは、拡大率等の設定により決まる。
FIGS. 5B and 5C show examples of display images output by the
画像表示制御部176は、画像生成部177が出力した表示用画像を記憶部120に記憶する(ステップS22)。記憶部120には、表示用画像が時系列に沿って記憶される。従って、図4のステップS11〜S24に示す処理を繰り返し実行すると、記憶部120には、時系列順に複数の表示用画像が記憶される。これら複数の表示用画像は連続して表示することで動画像として再生できる。例えば、操作部135に対する指示操作に従って、制御部140は、記憶部120に記憶した表示用画像を再生表示できる。
The image
画像表示制御部176は、ステップS21で画像生成部177が出力した表示用画像を、表示制御部190に出力し、画像表示部20により表示する(ステップS23)。
その後、制御部140は表示を終了するか否かを判定する(ステップS24)。表示を継続する場合(ステップS24;NO)、制御部140はステップS1に戻る。また、操作部135が検出した操作等に従って表示を終了する場合(ステップS24;YES)、制御部140は表示制御部190による表示を停止させて本処理を終了する。
The image
Thereafter, the
図5(D)には表示用画像が画像表示部20により表示される状態を示す。視野VRには、図5(A)と同様に、外景としてフィールドFが見えているが、視野VRの一部に重畳するように、画像IVが表示される。この画像IVは画像表示部20が表示する表示用画像である。画像IVは外景の一部を拡大した画像となっているので、使用者は、画像表示部20を通して見る外景と、この外景の一部とを同時に見ることができる。
FIG. 5D shows a state in which the display image is displayed by the
なお、対象検出部171は、図4のステップS11〜S17の処理を繰り返し実行する場合、いったん検出した対象物を追跡する処理を行ってもよい。すなわち、対象検出部171は、単一画像用特徴データ124aまたは動画像用特徴データ124bに基づき対象物を検出した後に、カメラ61の撮像画像の変化を監視し、検出済みの対象物の動きを追跡する。これにより、対象検出部171は、ステップS15、S17のマッチング処理を行わなくても、検出対象の撮像画像から対象物を検出できる。このような手法は、例えば、カメラ61により所定のフレームレート(例えば、30フレーム/秒)で動画像を撮影し、各フレームに対して対象検出部171が対象物を検出する場合に、処理負荷を軽減でき、効果的である。
In addition, when repeatedly performing the processing of steps S11 to S17 in FIG. 4, the
また、単一画像用特徴データ124a及び動画像用特徴データ124bは、特定の対象物を検出するための特徴量に限定されない。例えば、単一画像用特徴データ124aは、特定の特徴を含む撮像画像を検出する特徴量とすることができ、動画像用特徴データ124bは、特定の変化をする動画像を検出する特徴量とすることができる。この場合、対象検出部171は、単一画像用特徴データ124aまたは動画像用特徴データ124bに適合する特徴を、撮像画像において検出した場合に、その特徴を有する部分を対象物とする。この場合、対象物は特定の物体ではなく、撮像画像の一部となる。画像生成部177は、対象検出部171が対象物として検出した撮像画像の一部を切り出して表示用画像とすればよい。
In addition, the single
また、単一画像用特徴データ124a及び動画像用特徴データ124bは、特定の1つまたは少ない数の対象物を検出する特定対象物用の特徴量のデータを含んでもよいし、類似する複数種類の対象物を検出できる汎用的な特徴量のデータを含んでもよい。
例えば、図5(B)、(C)の例では、対象検出部171は、単一画像用特徴データ124aに基づきボールを検出する。この単一画像用特徴データ124aは、特定の図柄(色及び柄の形状を含む)のボールを検出する特定対象物用の特徴量のデータであってもよいし、球体を検出する汎用的な特徴量のデータであってもよい。汎用的な特徴量のデータである場合、例えば、形状のみを特定する特徴量、形状と色を特定する特徴量とすることもできるし、複数の色のいずれかであることを特定する特徴量であってもよい。また、特徴量のデータとともに、許容される特徴量との差異の範囲を定めるデータを、単一画像用特徴データ124aに含んでもよい。動画像用特徴データ124bについても同様である。
具体的には、特定の人の顔、髪型、衣服(ユニフォーム、靴、帽子、ビブス等)の差異を許容する汎用的な特徴量のデータとすれば、複数の対象物を検出できるだけでなく、日照や照明の状態、環境の明るさ、日光による撮像画像中の色の変化に対応できる。また、対象検出部171は、対象物を検出した後、続けて撮像される撮像画像データにおいて、対象物を追跡してもよい。この場合、対象物を追跡する間に撮像画像データにおける対象物の画像が特徴量に該当しなくなったときに、特徴量を衡正(キャリブレーション)してもよい。これにより、特定対象用の特徴量のデータを利用する場合、及び、汎用的な特徴量のデータを使用する場合であって日照等の要因により撮像画像における対象物の色や形状が特徴量から逸脱する場合であっても、対象物を検出でき、対象物を継続して検出できる。
In addition, the single
For example, in the examples of FIGS. 5B and 5C, the
Specifically, if the data is general-purpose feature data that allows for differences in the face, hairstyle, and clothing (uniform, shoes, hats, bibs, etc.) of a specific person, not only can multiple objects be detected, It is possible to cope with a change in color in a captured image due to sunshine, lighting conditions, environmental brightness, and sunlight. In addition, after detecting the target, the
図6は、頭部装着型表示装置100の動作を示すフローチャートであり、頭部装着型表示装置100を装着した使用者の位置に対応して表示を調整する動作を示す。また、図7は、図6と同様の動作の説明図であり、図7(A)は頭部装着型表示装置の使用環境の例を示し、図7(B)及び図7(C)は表示例を示す。
FIG. 6 is a flowchart illustrating the operation of the head-mounted
図6の動作は、画像表示部20が画像IVを表示する位置やサイズを、使用者の位置に対応して調整する処理である。上述のように、頭部装着型表示装置100は、使用者が外景を見ながら、カメラ61の撮像画像を画像表示部20により見ることができる装置である。使用者が画像表示部20越しに見る外景の方向は、使用者と、使用者が見る対象物との相対位置に強く影響される。
例えば、図7(A)に示すように、使用者が、多数階層(図7(A)では4層)の観客席Sを有するスタジアムSTで頭部装着型表示装置100を装着して使用する場合を考える。使用者が4階や3階などの上層階にいる場合、フィールドFを見るために下方を見下ろす。このため、使用者が見たい方向は、右導光板261、左導光板262の表示領域の下方にある。この場合、画像表示制御部176が表示用画像を表示する位置を、使用者が見たいと欲する方向を避けて、例えば表示領域の上部にすれば、使用者の邪魔にならない。図7(B)に示す例は、使用者が上層階からフィールドF上のプレイヤーFPを見ている例であり、画像表示制御部176は画像IVを表示領域の上部に表示する。この場合、使用者の視野VRでは、画像IVに邪魔されずに、プレイヤーFPを見ることが可能になる。また、図7(C)の例は、使用者が低層階からフィールドF上のプレイヤーFPを見ている例であり、画像表示制御部176は画像IVを表示領域の下部に表示する。この場合、使用者の視線は正面に近くなるので、画像表示制御部176は、正面を避けた位置に、小さく画像IVを表示する。このため、使用者の視野VRにおいて、画像IVに邪魔されずに、プレイヤーFPを見ることが可能になる。
The operation of FIG. 6 is a process of adjusting the position and size at which the
For example, as shown in FIG. 7A, a user wears and uses the head-mounted
図6の動作は、図4のステップS23で表示処理を開始した後、予め設定された条件が成立した場合や、使用者の制御装置10に対する操作により、任意のタイミングで実行できる。
画像表示制御部176は、使用者が見る外景に含まれる対象物と、頭部装着型表示装置100との相対的な位置を判定する(ステップS31)。頭部装着型表示装置100の位置は、例えば、GPS115が検出する位置により判定してもよい。また、距離検出部173がカメラ61の撮像画像データから検出する対象物との距離に基づき判定してもよい。さらに、頭部装着型表示装置100の使用環境においてWiFi(登録商標)を利用した位置特定システムが稼働している状態において、通信部117がWiFi通信を行うことで位置を特定してもよい。或いは、操作部135に対する入力操作により、頭部装着型表示装置100の位置が指定された場合、指定された位置を取得してもよい。
The operation in FIG. 6 can be executed at an arbitrary timing when a preset condition is satisfied or the user operates the
The image
画像表示制御部176は、記憶部120に記憶された表示設定データ126を参照し、ステップS31で判定された位置に対応する表示に係る設定を取得する(ステップS32)。この設定は、画像IVの表示位置、表示サイズの規定値または最大値等である。画像表示制御部176は、ステップS32で取得した設定に従って、画像IVの表示サイズ及び表示位置を調整し(ステップS33)、で表示を終了するか否かを判定する(ステップS34)。
The image
制御部140は、表示動作を終了しない間は(ステップS34;NO)、ステップS31〜S33の処理を繰り返し実行し、表示の終了(ステップS34;YES)とともに本処理を終了する。
Unless the display operation is finished (step S34; NO), the
以上説明したように、本発明を適用した第1の実施形態に係る頭部装着型表示装置100は、使用者の身体に装着して使用される表示装置であって、外景を透過し、外景とともに視認できるように画像を表示する画像表示部20と、使用者の視線方向を撮像するカメラ61とを備える。頭部装着型表示装置100の制御部140は、カメラ61の撮像画像から表示用画像を生成する画像生成部177と、画像生成部177が生成した表示用画像を画像表示部20に表示させる画像表示制御部176とを備える。これにより、使用者の視線方向を撮像した撮像画像に基づく表示用画像を、外景として見える対象物に重なるように画像を表示できる。このため、使用者が見ている外景の見え方を、この外景を撮像した撮像画像に基づき補ったり、別の見方を提示したりするなど、表示装置外部の外景と、表示内容とを効果的に組み合わせて、表示装置による表示の新たな活用方法を提供できる。
As described above, the head-mounted
また、頭部装着型表示装置100は、頭部装着型表示装置100の使用状態を検出する距離検出部173等の検出部を備える。画像表示制御部176は、画像表示部20における表示用画像の表示態様を、頭部装着型表示装置100の使用状態に対応して調整する。このため、頭部装着型表示装置100の使用環境や使用者の使い方に対応して、画像表示部20に表示される画像の表示サイズや表示位置等の態様を調整できる。このため、使用者が外景を視認する見え方に合わせて表示を行うことができる。
また、画像表示制御部176は、距離検出部173などにより頭部装着型表示装置100の位置に関する検出を行い、検出する頭部装着型表示装置100の位置に対応して表示用画像の表示態様を調整する。このため、頭部装着型表示装置100の位置に基づき、使用者が外景を視認する見え方に合わせて表示を行うことができる。具体的には、画像表示制御部176は、表示用画像が使用者の視線方向の中心を避けるように、表示用画像の表示位置または表示サイズの少なくともいずれかを調整する。視線方向の中心は、例えば、使用者が画像表示部20を透過して外景を見る場合の視線の中心軸と、画像表示部20で画像が表示される表示領域との交点及びその近傍を指す。この場合、使用者の視線の真正面に表示用画像が表示されず、視線の真正面(中心)を避けた位置で、表示用画像が使用者に視認される。このため、本発明によれば、使用者が外景を見る障害とならないように、カメラ61で撮像した画像を表示できる。例えば、使用者が注目する対象物を隠さないように、表示用画像を表示できる。
In addition, the head-mounted
The image
また、画像生成部177は、カメラ61の撮像画像の一部を切り出して拡大することにより、表示用画像を生成するので、使用者の視線方向を撮像した撮像画像を拡大して表示できる。このため、使用者は、外景を見ながら、視線方向を拡大して見ることができる。
また、画像生成部177は、カメラ61の撮像画像において予め設定された条件に該当する領域を切り出すことにより、表示用画像を生成するので、予め設定された条件に該当する撮像画像を表示できる。例えば、使用者の嗜好や興味に該当するような撮像画像が撮像された場合に、この撮像画像を画像表示部20により表示して使用者に見せることができる。
Further, since the
In addition, since the
また、頭部装着型表示装置100は、カメラ61の撮像画像から使用者の視線方向の対象物を検出する対象検出部171を備える。画像生成部177は、カメラ61の撮像画像から、対象検出部171が検出した対象物の画像を含む領域を切り出すことにより、表示用画像を生成する。これにより、使用者の視線方向に対象物がある場合に、この対象物の画像を使用者に見せることができる。
また、頭部装着型表示装置100は、対象検出部171により検出された対象物と使用者との距離を検出する距離検出部173を備える。画像生成部177は、距離検出部173が検出した距離に応じた拡大率でカメラ61の撮像画像の一部を拡大し、表示用画像を生成する。これにより、使用者の視線方向の対象物との距離に合わせた拡大率で、対象物の画像を使用者に見せることができる。
また、画像生成部177は、カメラ61により異なるときに撮像された複数の撮像画像を取得し、これら複数の撮像画像において予め設定された条件に該当する領域を特定することにより、表示用画像を生成する。これにより、複数の撮影画像について、より複雑な条件を設定し、この条件に該当する撮像画像をもとに画像を使用者に見せることができる。
Further, the head-mounted
In addition, the head-mounted
Further, the
また、画像生成部177は、カメラ61により異なるときに撮像された複数の撮像画像を取得し、これら複数の撮像画像の画像間の差分が予め設定された条件に該当する場合に、取得した撮像画像を切り出して表示用画像を生成する。これにより、複数の撮影画像の差分をもとに表示用画像を生成して表示できるので、例えば連続する複数の画像からなる動画像について、画像の変化に基づき表示用画像を生成して表示できる。
In addition, the
また、画像表示制御部176は、画像生成部177により生成された表示用画像を時系列に従って記憶部120に記憶し、操作部135により再生を指示する操作を検出した場合に、記憶部120に記憶した表示用画像を再生表示する。ここで、画像表示制御部176は、時系列に従って記憶した複数の表示用画像を、所定のフレームレートで順に再生することで、動画像を表示できる。この場合、使用者は、視線方向を拡大した画像を録画した動画像を見ることができる。ここで、画像表示制御部176は、記憶部120に記憶した表示用画像を再生表示する場合に、この表示用画像の拡大倍率を変更できるものとしてもよい。例えば、操作部135によって拡大率を指定する操作を検出した場合に、この操作に従って拡大率を変更してもよい。さらに、図5(D)では視野VRの一部に重なるように表示用画像を表示したが、記憶部120に記憶した表示用画像を再生表示する場合は、画像表示部20の表示可能領域全体に表示用画像を表示してもよい。
また、画像生成部177は、画像IVの透明度を調整してもよい。図5(D)の例では透明度がゼロであり、画像IVに重なる部分では外景が見えないが、画像IVに重なる外景の明るさ、画像IVの輝度等に基づき、画像生成部177が透明度を調整してもよい。
The image
Further, the
上記実施形態では、対象検出部171が、記憶部120が記憶する単一画像用特徴データ124a及び動画像用特徴データ124bを使用して対象物を認識する場合を説明した。単一画像用特徴データ124aは、予め記憶部120が記憶するだけでなく、頭部装着型表示装置100の使用中に、使用者の操作により生成、或いは変更できる構成としてもよい。例えば、頭部装着型表示装置100が、カメラ61の撮像画像を画像表示部20で表示する表示中に、トラックパッド14の操作により表示画像の一部を選択する操作が可能な構成が考えられる。この構成で、使用者が表示画像の一部を選択することで、対象検出部171が、選択された部分から人や物の画像を検出し、検出した画像から単一画像用特徴データ124aや動画像用特徴データ124bを生成してもよい。或いは、頭部装着型表示装置100が、音声コマンドによる操作が可能な構成としてもよい。この場合、制御部140は、マイク63で使用者の音声を検出し、検出した音声を音声処理部170で解析し、音声コマンドを認識する。頭部装着型表示装置100がカメラ61の撮像画像を画像表示部20で表示する表示中に、使用者が音声コマンドで表示画像の一部を選択するよう指示した場合に、対象検出部171が、選択された部分から人や物の画像を検出し、検出した画像から単一画像用特徴データ124aや動画像用特徴データ124bを生成してもよい。具体的には、図5(A)に示したようにサッカーのゲームを撮影して表示する場合に、使用者が、「背番号11番を追跡」と音声コマンドで指示した場合に、対象検出部171が、カメラ61の撮像画像から数字の「11」を検出し、検出した数字を含む部分を抽出して特徴量を求め、単一画像用特徴データ124a、動画像用特徴データ124bを生成してもよい。
In the above embodiment, the case where the
[第2実施形態]
図8は、第2実施形態に係る頭部装着型表示装置100Bの機能的構成を示すブロック図である。頭部装着型表示装置100Bは、第1実施形態で説明した頭部装着型表示装置100において、画像表示部20に代えて画像表示部20Bを備えた構成である。本第2実施形態において、第1実施形態と同様に構成される各部については同符号を付して説明を省略する。また、図9は画像表示部20Bの要部構成を示す図であり、(A)は画像表示部20Bを使用者の頭部側から見た要部斜視図、(B)は視線方向の説明図である。
[Second embodiment]
FIG. 8 is a block diagram illustrating a functional configuration of a head-mounted
画像表示部20Bは、画像表示部20(図2)の構成に加えて、距離センサー64及び視線センサー68を備える。その他の点については頭部装着型表示装置100と頭部装着型表示装置100Bとは共通であり、上記第1の実施形態における頭部装着型表示装置100の動作を、頭部装着型表示装置100Bが実行できる。
図9(B)に示す261A,262Aは、それぞれ、右導光板261及び左導光板262に形成されたハーフミラーであり、外景を透過可能に画像を表示する表示領域に相当する。ハーフミラー261A、262Aは、上記第1実施形態の画像表示部20においても同様に存在する。
The
距離センサー64は、図9(A)に示すように、右光学像表示部26と左光学像表示部28との境目部分に配置される。使用者が画像表示部20Bを装着した状態で、距離センサー64の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。距離センサー64は、予め設定された測定方向に位置する測定対象物までの距離を検出する。
例えば、図9(B)に示すように、距離センサー64は、使用者の右眼REの視線RDと左眼LEの視線LDとの先にある対象物OBまでの距離を検出する。この場合、距離センサー64が検出を行う方向64Aは、画像表示部20Bの正面である。
The
For example, as shown in FIG. 9B, the
距離センサー64は、例えば、LEDやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する。この場合、距離センサー64は、距離検出部173の制御に従い、三角測距処理や時間差に基づく測距処理を実行する。また、距離センサー64は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサー64は、後述する位置検出部162の制御に従い、超音波の反射までの時間差に基づき測距処理を実行する。なお、距離センサー64は光源や受光部、或いは音源と検出部とを備え、測距処理を距離検出部173が行ってもよい。
本実施形態の距離センサー64の測定方向は、頭部装着型表示装置100の表側方向であり、カメラ61の撮像方向と重複する。
The
The measurement direction of the
また、視線センサー68は、図9(A)に示すように、画像表示部20Bの使用者側の面に配置される。視線センサー68は、使用者の右眼RE(図9(B))、及び、左眼LE(図9(B))のそれぞれに対応するように、右光学像表示部26と左光学像表示部28との中央位置に一対、設けられる。視線センサー68は、例えば、使用者の右眼REと左眼LEとをそれぞれ撮像する一対のカメラで構成される。視線センサー68は、制御部140(図4)の制御に従って撮像を行い、制御部140が、撮像画像データから右眼RE及び左眼LEの眼球表面における反射光や瞳孔の画像を検出し、視線方向を特定する。また、視線センサー68は、使用者の左右の眼をそれぞれ撮像するので、使用者が眼を閉じた場合には、視線センサー68によって眼が閉じたことを検出できる。
Further, the eye-
図8のブロック図に示すように、距離センサー64及び視線センサー68は、接続部40により制御部140に接続される。距離検出部173は、距離センサー64を制御して対象物までの距離を検出することが可能である。なお、距離検出部173は上記第1実施形態で説明したように、カメラ61の撮像画像データに基づき対象物までの距離を検出する構成としてもよい。
As shown in the block diagram of FIG. 8, the
第2実施形態に係る頭部装着型表示装置100Bは、カメラ61で使用者の手、足、眼などの動作を撮像して、これらの使用者の動作に基づく操作が可能である。使用者の手はカメラ61で撮像可能であり、眼は視線センサー68で撮像或いは動きの検出を行える。また、カメラ61が広角カメラであったり、画像表示部20Bの下方を向いて設けられる足用カメラ(図示略)を設けたりすることで、使用者の足を撮像できる。
画像表示制御部176は、カメラ61の撮像画像データや足用カメラの撮像画像データ、或いは、視線センサー68の検出結果に基づき、使用者の動きを検出する。さらに、画像表示制御部176は、検出した使用者の動きが、予め設定された動きに該当する場合に、この動きを操作として検出する。
この場合、画像表示制御部176は、動作検出部、画像表示制御部、及び音声検出部として機能する。
The head-mounted
The image
In this case, the image
画像表示制御部176が操作として検出する使用者の動きは、記憶部120に記憶する検出特徴データ124に含まれる。検出特徴データ124には、カメラ61の撮像画像から使用者の手や足の画像を抽出するための特徴量のデータ、及び、抽出した使用者の手や足の画像の動きの特徴量のデータ等が含まれる。
The movement of the user detected by the image
また、画像表示制御部176は、使用者が音声を発する動作を検出することが可能な構成としてもよい。この場合、マイク63が集音した音声が音声処理部170によりデジタル音声データに変換され、このデジタル音声データを画像表示制御部176が処理する。すなわち、画像表示制御部176は、所定時間長さのデジタル音声データから音声の特徴量を生成し、この特徴量が、検出特徴データ124に含まれる音声認識用の特徴量に該当するか否かをもとに、音声による操作を検出する。ここで、画像表示制御部176は、デジタル音声データに対する音声認識を行って発話内容のテキストデータを生成し、このテキストデータに予め設定された文字列が含まれる場合に、操作を検出してもよい。この場合、検出特徴データ124には、音声認識用の辞書データと、操作として検出する文字列に関するデータを含んでもよい。
In addition, the image
使用者の動作に対応する画像表示制御部176の動作について、図10及び図11を参照して説明する。図10は頭部装着型表示装置100Bの動作を示すフローチャートであり、図11は画像表示部20Bにおける表示例を示す。
The operation of the image
図10の動作は、図4のステップS23で表示処理を開始した後、予め設定された条件が成立した場合や、使用者の制御装置10に対する操作により、任意のタイミングで実行できる。
制御部140は、使用者の動きに基づき動作を行う動作モードである「ユーザー操作モード」に移行し、使用者の動きの検出を開始する(ステップS51)。動きの検出は、上述したように、カメラ61の撮像画像データ、視線センサー68の検出結果のデータ、或いは、音声処理部170が生成するデジタル音声データに基づき行われる。
The operation in FIG. 10 can be executed at an arbitrary timing when the preset condition is satisfied or the user operates the
The
画像表示制御部176は、検出した使用者の動きが、予め「第1動作」として設定された動きに該当するか否かを判定する(ステップS52)。第1動作は、例えば、使用者が片眼を閉じる(つぶる)動作、両足を揃える動作、音声で「ズーム開始」と発話する動作である。また、第1動作は、使用者が親指(母指)と人差し指(示指)または中指とで輪を作る動作であってもよい。また、使用者の両手を向かい合わせて、カメラ61の撮像範囲に出す動作であってもよい。
The image
第1動作に該当する動作が検出されない間(ステップS52;NO)、画像表示制御部176は操作を待機する。第1動作に該当する動作を検出した場合(ステップS52;YES)、画像表示制御部176は、ズーム調整を開始する(ステップS53)。ズーム調整では、まず、画像表示制御部176の機能により画像表示部20Bにインジケーターが表示される(ステップS54)。インジケーターは、使用者に対して、ズーム操作が可能であることを示す文字や画像を含み、使用者が外景と重ねて視認可能なように、表示される。このインジケーターには、ズーム調整を指示するために使用者が行う操作を案内、或いは説明する文字や画像を含んでもよい。
While an operation corresponding to the first operation is not detected (Step S52; NO), the image
画像表示制御部176は、ズーム調整の中心となるマーカー位置を特定し、特定した位置に、マーカーを表示する(ステップS55)。マーカーはズーム調整の中心を使用者に示す画像や記号であり、画像表示部20Bにより表示する。
マーカー位置を特定する方法は、例えば、使用者が第1動作で片眼を閉じた場合には、閉じていない側の眼の視線を検出し、その視線方向をマーカー位置とする方法がある。ここで、使用者が両眼を開いている場合には、視線方向が必ずしも一致しないためマーカー位置を一つに特定できない可能性があるが、予め、制御装置10に対する設定操作により使用者の右眼または左眼が利き目として設定されていれば、設定された利き目の視線方向をマーカー位置にすればよい。この場合、利き目を自動的に判定してもよい。
また、第1動作で使用者が親指と人差し指又は中指で輪を作る動作を行った場合、輪の中心をマーカー位置とすることができる。また、第1動作で、使用者が両手を向かい合わせて、カメラ61の撮像範囲に出す動作を行った場合、この両手の中央をマーカー位置としてもよい。
The image
As a method of specifying the marker position, for example, when the user closes one eye in the first operation, there is a method of detecting the line of sight of the eye that is not closed and using the line of sight as the marker position. Here, if the user has both eyes open, there is a possibility that the marker positions cannot be specified to one because the line of sight directions do not always match. If the eye or the left eye is set as the dominant eye, the line of sight of the set dominant eye may be set as the marker position. In this case, the dominant eye may be automatically determined.
Further, when the user performs an operation of making a ring with the thumb and the index finger or the middle finger in the first operation, the center of the ring can be used as the marker position. Further, in the first operation, when the user performs an operation of putting both hands to face each other and putting it out of the imaging range of the
また、画像表示制御部176が、カメラ61の撮像画像から使用者の視線方向の対象物を複数検出し、検出した各々の対象物の特徴を検出可能な場合に、使用者が対象物を指定する音声を発することでマーカー位置を特定してもよい。すなわち、カメラ61の撮像画像に写っている対象物である人や物の特徴を、使用者が発話し、この1音声に基づいて画像表示制御部176が一つの対象物を選択し、この対象物をマーカー位置として特定してもよい。この場合、例えば、使用者が、「ボール」、「ゴール」、「10番」など者、場所、人などを特定する語を発話することで、マーカー位置を指定できる。
Further, the image
図11(A)にはマーカーを認識した状態における表示例を示す。図11(A)では画像表示部20BによりインジケーターINDが表示され、使用者が指で輪を作る動作に対応して、輪の中心がマーカー位置として特定され、マーカーMが表示される。使用者の視野にはインジケーターINDとマーカーMとが視認され、使用者の手Hが外景として見える。
FIG. 11A shows a display example in a state where the marker is recognized. In FIG. 11A, the indicator IND is displayed by the
画像表示制御部176は、特定したマーカー位置の対象物に追従して、画像を移動させ、マーカー位置を表示用画像の中央に保持する動作を開始する(ステップS56)。
ここで、画像表示制御部176は、ズーム倍率を指定またはズーム倍率の変化を指定する第2動作を検出する(ステップS57)。第2動作は、例えば、使用者が親指と人差し指又は中指で輪を作り、この輪を維持して手を回転させる動作とすることができる。この場合、回転方向が時計回りの場合は画像表示制御部176はズーム倍率を大きくし、反時計回りの場合は、ズーム倍率を小さくする。このズーム倍率の変化は、予め設定された単位量とすることができる。この場合、第2動作を繰り返し行うことで、使用者は、所望のズーム倍率に調整できる。
The image
Here, the image
図11(A)の例では、使用者が右手をカメラ61の撮像範囲に出して指で輪を作る。この状態で、右手で作る輪を時計回り(図中、CW)に回すように手を動かした場合、図11(B)に示すように、マーカーMを中心とする画像IVにおいて、ズーム倍率が大きくなる。すなわち、マーカーMを中心として、より大きく拡大された画像IVが表示される。また、図11(A)の状態で、使用者が、右手の輪を反時計回り(図中、CCW)に回転させるように、右手を動かした場合、図11(C)に示すように、ズーム倍率が小さくなる。図11(C)では、画像IVが、マーカーMを中心として縮小されて視認される。
In the example of FIG. 11A, the user puts his right hand into the imaging range of the
また、輪を作る場合も作らない場合も、使用者が片手をカメラ61の撮像範囲に出した場合、この手をカメラ61に近づける動作をズーム倍率の増大に相当する第2動作とすることができる。また、手をカメラ61から遠ざける動作をズーム倍率の低減に相当する第2動作とすることができる。
また、例えば、図11(D)に示すように、使用者が第1動作として両手を向かい合わせる動作を行った場合に、両手の中心をマーカーMとしてもよい。この場合、使用者が、図11(D)に矢印で示すように、両手の間隔を広げたり狭めたりする動作を第2動作とすることができる。この場合、画像表示制御部176は、使用者が両手の間隔を広げるとズーム倍率を大きくし、両手の間隔を狭めるとズーム倍率を小さくする処理を行う。
In addition, when the user puts one hand in the imaging range of the
For example, as shown in FIG. 11D, when the user performs an operation of facing both hands as the first operation, the center of both hands may be used as the marker M. In this case, the operation in which the user widens or narrows the interval between the hands as shown by the arrow in FIG. 11D can be the second operation. In this case, the image
図11(A)〜(D)に例示したように、対象検出部171は、カメラ61の撮像画像から、使用者の四肢のいずれかに相当するオブジェクトを検出し、検出したオブジェクトの動きや位置に基づいてマーカーMの位置を特定する。検出されるオブジェクトは、使用者の手、腕、足に限らず、指や掌など、四肢の一部であってもよい。
具体的には、カメラ61の撮像範囲に親指と人差し指を現出させ、この親指と人差し指の間にマーカーMが表示される構成とすることができる。また、親指と人差し指の間隔を狭める動作を、ズーム倍率の縮小の指示に割り当て、親指と人差し指の間隔を拡げる動作をズーム倍率の増大の指示に割り当ててもよい。他の指を上記操作に割り当ててもよく、3本以上の指およびこれらの指の動きを検出してもよい。例えば、3本以上の指を同時に検出し、それぞれの指の動きや、複数の指の相対的位置の変化等を、動きとして検出してもよい。指の動きに対応する処理は、マーカーMの特定、及びズーム倍率の変化に限定されず、出力する音声の音量調整、表示される画像の調光調整としてもよい。
As illustrated in FIGS. 11A to 11D, the
Specifically, the thumb and the index finger can be made to appear in the imaging range of the
また、第2動作は使用者の足による動作であってもよい。使用者が右足を左足よりも前に出す動作を、ズーム倍率の増大に相当する第2動作とすることができ、右足を左足よりも前に出している時間に応じてズーム倍率を増大させてもよい。この場合、使用者が右足を左足よりも後ろにする動作を、ズーム倍率の低減に相当する第2動作とすることができ、右足を左足よりも後ろの位置にしている時間に応じてズーム倍率を低減させてもよい。また、右足を左足の前または後に出した量に応じてズーム倍率を変化させてもよく、この場合、インジケーターに、ズーム倍率の変化やズーム倍率と足を出した量との対応を示す目盛りを表示してもよい。
また、第2動作は使用者の音声の発話であってもよく、ズーム拡大、縮小、或いはズーム倍率を数値等で指定する語を発話することで、画像表示制御部176が、ズーム倍率を調整してもよい。
Further, the second operation may be an operation by a foot of the user. The operation in which the user puts the right foot in front of the left foot can be regarded as a second operation corresponding to an increase in the zoom magnification, and the zoom magnification is increased in accordance with the time in which the right foot is put in front of the left foot. Is also good. In this case, the operation in which the user sets the right foot behind the left foot can be the second operation corresponding to the reduction of the zoom magnification, and the zoom magnification is determined according to the time during which the right foot is positioned behind the left foot. May be reduced. In addition, the zoom magnification may be changed according to the amount of the right foot before or after the left foot.In this case, the indicator shows a scale indicating the change in the zoom magnification and the correspondence between the zoom magnification and the amount of the foot extended. It may be displayed.
Further, the second operation may be an utterance of a voice of the user, and the image
第2動作に該当する動作が検出されない間(ステップS57;NO)、画像表示制御部176は操作を待機する。第2動作に該当する動作を検出した場合(ステップS57;YES)、画像表示制御部176は、ズーム倍率を変更する(ステップS58)。その後、画像表示制御部176は、第3動作を検出する。
While no operation corresponding to the second operation is detected (step S57; NO), the image
第3動作は、録画の開始を指示する操作に相当する。第3動作は、例えば、使用者が片手をカメラ61の撮像範囲に出して傾ける動作、使用者が左足を右足より前に出す動作、使用者が両眼を閉じる動作とすることができる。また、使用者が録音開始を指示する語を発話する動作であってもよい。第3動作を検出した場合(ステップS59;YES)、画像表示制御部176は、録画を開始し、カメラ61の撮像画像及び音声処理部170が生成するマイク63の音声のデジタル音声データの記録を開始する(ステップS60)。
その後、画像表示制御部176は第4動作を検出する(ステップS61)。第4動作は、録画の終了を指示する操作に相当する。例えば、使用者が第3動作で片手をカメラ61の撮像範囲に出して傾ける動作を行った場合、この手の傾きを戻す動作を第4動作とすることができる。また、第3動作で使用者が左足を右足より前に出す動作を行った場合、左足を後ろに下げる動作を第4動作とすることができる。また、使用者が両眼を閉じる動作を第4動作としてもよい。また、使用者が録音終了を指示する語を発話する動作であってもよい。第4動作を検出した場合(ステップS61;YES)、画像表示制御部176は、録画を終了する(ステップS62)。
The third operation corresponds to an operation to instruct the start of recording. The third operation can be, for example, an operation in which the user puts one hand into the imaging range of the
Thereafter, the image
その後、画像表示制御部176は、ズーム調整の操作を終了するか否かを判定する(ステップS63)。ステップS59において所定時間内に第3動作を検出しなかった場合も(ステップS59;NO)、画像表示制御部176はステップS63の判定を行う。
使用者の操作部135への操作、或いは、第1〜第4動作と同様に手、足、眼(まぶた)、音声等によりズーム操作の終了が指示された場合(ステップS63;YES)、画像表示制御部176はユーザー操作モードを終了してインジケーターの表示を停止し、通常表示に移行して(ステップS64)、本処理を終了する。また、ズーム操作を終了しないと判定した場合(ステップS63;NO)、画像表示制御部176はステップS57に戻る。
Thereafter, the image
When the end of the zoom operation is instructed by the user's operation on the
このように、頭部装着型表示装置100Bでは、使用者の手、足、眼(まぶた)、音声の発話等の動作により、操作を行うことができる。従って、制御装置10を直接操作することなく、各種の指示操作を行うことができ、例えば制御装置10及び画像表示部20を身体や衣服に装着して、両手をフリーにした状態で、いわゆるハンズフリーで操作を行える。また、眼、音声、或いは足による操作を行うことも可能であるため、両手を作業等に用いていて手による操作を行えない場合であっても、頭部装着型表示装置100Bを操作できる。
As described above, in the head-mounted
また、ステップS59及びS61では、第3動作及び第4動作としてカメラ61の撮像範囲に手や足が出された場合に、この手や足を録画画像に含まないように、画像表示制御部176が処理を行ってもよい。すなわち、画像表示制御部176は、第3及び第4動作として手や足の動作を検出した場合、録画する画像から、第3及び第4動作として検出した手や足の画像を除く処理を行ってもよい。例えば、カメラ61の撮像画像のフレームに対しトリミングの処理を行うことで手や足の画像を除くことができる。
In steps S59 and S61, when a hand or a foot is put out of the imaging range of the
また、制御部140は、図10の動作に先立って、視線センサー68が検出する視線方向と、カメラ61の撮像範囲とを対応付けるキャリブレーションを行ってもよい。このキャリブレーションの結果は、例えば検出特徴データ124に含めて記憶部120に記憶してもよい。
さらに、図10の動作では、ステップS53〜S58でズーム倍率の調整を行い、その後に、ステップS59〜S62で録画を行う例を示したが、録画のみを行ってもよい。また、ステップS52で第1動作を検出する際に、第3動作として予め設定された動作を検出した場合に、ステップS60の動作を実行してもよい。
さらにまた、手や足の動作に加え、手や足以外の指示体による動作を、第1〜第4動作として検出することも可能である。この場合、指示体は、外見上、画像表示制御部176がカメラ61の撮像画像から抽出可能な特徴を持つものであればよく、特定の形状、色、模様を有するものであってもよい。また、カメラ61が赤外光や紫外光など可視領域外の光を受光し検出可能であれば、これらの光を発するデバイスを指示体として利用できる。これらの指示体を、カメラ61の撮像範囲において所定の軌跡を描くように動かしたり、単にカメラ61の撮像範囲に出す操作を、第1〜第4動作とすることができる。指示体が、腕時計のように使用者の身体や衣服に装着可能なウェアラブルデバイスであれば、より一層の操作性の向上を図ることができる。
Further, the
Further, in the operation of FIG. 10, an example has been described in which the zoom magnification is adjusted in steps S53 to S58, and then the recording is performed in steps S59 to S62. However, only the recording may be performed. In addition, when detecting the first operation in step S52, the operation of step S60 may be executed when an operation set in advance as the third operation is detected.
Furthermore, in addition to the movement of the hand or foot, the movement of the pointer other than the hand or foot can be detected as the first to fourth movements. In this case, the indicator may have any characteristic that the image
さらに、上述のように第1〜第4動作或いはマーカー位置の特定のための動作として挙げた動作は、ズーム倍率の調整や録画の指示だけでなく、例えば録画した画像の再生時の操作にも適用できる。
図12は、録画した動画像の再生を指示する場合の表示例を示す。図12の例は、例えば制御装置10の操作により再生が指示された場合に、表示される。図12では、視野VRに、録画された動画像の全体を示すタイムラインTLが表示される。タイムラインTL上の特定の時刻のフレームについて、画像表示制御部176がサムネイル画像P1〜P3を生成し、表示する。サムネイル画像を生成し表示する時刻は、録画中に、第1〜第4の動作のように使用者の特定の動作により指示されてもよく、録画した画像の時間的な長さに対応して、画像表示制御部176が自動的に時刻を選択してもよい。また、画像表示制御部176が、画像の変化に基づき自動的に時刻を選択してもよい。図12の表示が行われた条体で、例えば視線方向により、サムネイル画像P1〜P3の中から再生を開始する時刻を選択する操作を行うことができる。
Further, as described above, the operations listed as the first to fourth operations or the operations for specifying the marker position are not only used for adjusting the zoom magnification and for instructing the recording, but also for the operation at the time of reproducing the recorded image, for example. Applicable.
FIG. 12 shows a display example in the case of instructing reproduction of a recorded moving image. The example of FIG. 12 is displayed, for example, when the reproduction is instructed by operating the
このように,本発明を適用した第2実施形態によれば、画像表示制御部176は、カメラ61の撮像画像に基づき使用者の動作を検出し、検出した使用者の動作に対応して表示用画像の表示態様を調整する。例えば、ズーム倍率の調整を行う。このため、使用者が、カメラ61が撮像できるように動作を行うことで、表示用画像の表示態様を調整できる。また、画像表示制御部176は、マイク63が集音した音声を検出し、音声の検出結果に対応して表示用画像の表示態様を調整してもよい。
画像表示制御部176は、カメラ61の撮像画像に基づき使用者の動作を検出する。そして、画像表示制御部176は、使用者の動作に基づき特定される領域、例えばマーカーMを中心とする領域を抽出して処理し、画像生成部177により表示用画像を生成できる。
As described above, according to the second embodiment to which the present invention is applied, the image
The image
また、画像表示制御部176は、使用者の視線方向に相当する方向を特定し、カメラ61の撮像画像から使用者の視線方向の対象物を検出する。そして、画像生成部177により、この対象物の画像を含む領域を抽出して処理し、表示用画像を生成してもよい。また、使用者の視線方向に相当する方向を特定した場合に、この特定した方向に対応する位置にマーカーMを表示してもよい。
さらに、使用者の視線方向に相当する方向を、使用者の利き眼の視線を検出することで、求めてもよい。また、カメラ61の撮像画像により、使用者の手や足の動きを検出し、この動きに基づいてマーカーMの位置を特定してもよい。
Further, the image
Further, the direction corresponding to the user's line of sight may be determined by detecting the line of sight of the user's dominant eye. Alternatively, the movement of the user's hand or foot may be detected from the image captured by the
なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
上記第1実施形態においては、画像生成部177が、カメラ61の撮像画像から予め設定された条件に該当する領域を切り出す一例として、対象検出部171がマッチング処理を行って対象物を検出した領域を切り出す例を説明した。本発明はこれに限定されず、例えば、撮像画像において予め設定された条件に該当する領域を画像生成部177が検出して切り出し、表示用画像を生成してもよい。例えば、画像生成部177に対し、撮像画像から切り出す領域の条件として、領域の位置およびサイズが設定されている場合、画像生成部177は、対象検出部171の検出結果によらず、撮像画像において設定された位置及びサイズの領域を切り出す。また、切り出す領域の条件は、撮像画像における色や輝度を定める条件であってもよく、対象検出部171による処理を必須とするものではない。
また、画像生成部177が撮像画像から表示用画像を生成する場合に行う処理は、撮像画像の一部を切り出して拡大する処理に限定されない。例えば、撮像画像の全部、そのまま、或いは解像度変換して表示用画像としてもよい。また、例えば、画像生成部177が撮像画像から複数の領域を切り出して複数の表示用画像を生成し、視野VRに同時に複数の画像IVを表示してもよい。また、表示用画像を表示する位置についても、画像生成部177または画像表示制御部176が適宜に変更あるいは調整してもよい。
The present invention is not limited to the configuration of each of the above embodiments, and can be implemented in various modes without departing from the gist thereof.
In the first embodiment, as an example in which the
Further, the processing performed when the
また、上記第1、第2実施形態において、カメラ61の撮像方向が、画像表示部20、20Bに対して可動な構成としてもよい。例えば、カメラ61が、画像表示部20、20Bのフレームに対し、回動可能なアームやリンク、或いはフレキシブルアームを介して取り付けられ、画像表示部20、20Bを動かさずにカメラ61の向きを変更可能としてもよい。この場合、画像表示部20、20Bに対するカメラ61の光軸または撮像方向の角度を、検出可能な構成としてもよい。具体的には、カメラ61を指示するリンクやアームの回動部に回転センサーを設けてもよいし、カメラ61自体にジャイロセンサーや加速度センサーを設けてもよい。この場合、カメラ61の光軸の向きに基づき、使用者の視線方向を求めてもよい。カメラ61の光軸が動かせる場合、使用者は見たい方向にカメラ61の光軸を向けるので、カメラ61の光軸の向きを、使用者が注視する方向、或いは関連する方向を見なすことができる。このため、カメラ61の光軸の向きに基づき、例えば図6のステップS31で頭部装着型表示装置100の位置を判定することができる。また、カメラ61の光軸の向きに基づき、図10のステップS55でマーカーの位置を特定できる。
In the first and second embodiments, the imaging direction of the
さらに、画像表示制御部176は、画像表示部20が表示する画像の動きを制御してもよい。例えば、画像表示制御部176は、9軸センサー66及び/又はGPS115の検出値から検出できる画像表示部20の動きに基づき、画像表示部20に表示する画像を制御してもよい。画像表示制御部176は、カメラ61の撮像画像から生成される画像を表示する間に、画像表示部20の動きの加速度または速度が閾値以上となった場合に、画像表示部20に表示する画像の動きを抑制し、或いは、画像表示部20の移動とは逆方向に表示する画像をシフトさせてもよい。この場合、画像表示制御部176は、画像生成部177が生成する表示用画像を変化させてもよいし、表示用画像の一部を表示してもよい。この構成によれば、頭部装着型表示装置100を装着する使用者の頭の動きが速く、表示画像の変化が激しくなる場合に、画像表示部20が表示する画像の動きを抑制して、使用者の不快感を軽減できる。この機能をスタビライズ機能と呼ぶ、スタビライズ機能のオン/オフは、操作部135に対する操作により切換可能な構成とすることが可能である。また、例えば図10〜図11を参照して説明したように、使用者の手、足、眼の動き或いは音声により、スタビライズ機能のオン/オフを切替可能な構成としてもよい。
Further, the image
上記のスタビライズ機能は、対象検出部171が検出する対象物の、撮像画像における移動の速度が速い場合にも適用できる。例えば、図5(A)〜(C)に例示したようにボールを対象物として検出する場合に、撮像画像におけるボールの位置の変化から移動速度を求め、その加速度または速度が閾値以上の場合に、表示する画像の変化、或いは、画像表示部20の表示可能位置におけるボールの移動を抑制してもよい。或いは、撮像画像におけるボールの位置の変化から求める移動速度、または加速度が閾値以上の場合に、画像生成部177が対象物の画像を抽出して表示用画像を生成する処理を一時停止してもよい。また、画像生成部177が、抽出した画像の拡大率を低下させたり、カメラ61の撮像の画角を変化させたり、カメラ61がズーム機構やデジタルズーム機能を有する場合にズーム倍率を低下させてもよい。このように、画像表示部20が表示する対象物の画像の表示サイズを小さくすることで、対象物の移動速度が速い場合であっても対象物が見やすいという効果が期待できる。
The above stabilizing function can be applied to the case where the moving speed of the target object detected by the
また、例えば、上記実施形態では、画像生成部177が拡大率を決定し、この拡大率に従って画像生成部177が画像処理により撮像画像を切り出して拡大する例について説明した。本発明はこれに限定されず、例えば、カメラ61がズーム機能を有する構成とし、画像生成部177が、カメラ61のズーム倍率を制御する構成としてもよい。この場合、画像生成部177が指定したズーム倍率で撮像された撮像画像を画像生成部177が取得して、画像を切り出して表示用画像としてもよい。
Further, for example, in the above-described embodiment, an example has been described in which the
また、画像表示部として、画像表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよいし、自動車のフロントガラスに用いられるヘッドアップディスプレイ(Head-up Display;HUD)であってもよい。さらにまた、使用者の両眼の眼球(例えば、角膜上)に装着して使用する、いわゆるコンタクトレンズ型ディスプレイや、眼球内に埋め込まれるインプラント型ディスプレイなど、使用者の眼球において網膜に結像させるディスプレイを、画像表示部20としてもよい。
Further, as the image display unit, instead of the
また、本願発明は使用者の身体に装着されるものであればよく、他の手法による支持を必要とするか否かは問わず適用可能である。例えば、使用者が両手に持って使用する双眼鏡型のハンドヘルドディスプレイ(Hand Held Display)を、本願の画像表示部20として採用してもよい。この種のディスプレイは、使用者に装着された状態を保持するために使用者が手に持つ必要があるが、使用者がディスプレイの表示を見る場合に使用者の頭部もしくは顔に添えられることから、本発明の表示装置に含まれる。さらに、支持脚等により床面や壁面に固定される表示装置であっても、使用者がディスプレイの表示を見る場合に使用者の頭部もしくは顔に添えられるものであれば、本発明の表示装置に含まれる。
さらに、画像表示部20、または、画像表示部20において画像の表示に係る構成を含む表示部のみが使用者の身体に装着され、この表示部以外の制御装置10、或いは制御装置10と制御部140を含む制御系を、物理的に別体として構成してもよい。例えば、画像表示部20または画像表示部20の一部からなる表示部に、他の制御系を備えた装置を無線接続して、頭部装着型表示装置100と同様に表示装置としてもよい。この制御系を備えた装置としては、スマートフォン、携帯型電話機、タブレット型コンピューター、他の形状のパーソナルコンピューター等、従来からある電子機器を用いることができる。この種の表示装置も本願を適用可能であることは勿論である。
In addition, the present invention may be applied to a user's body as long as it is worn on the user's body, and may be applied irrespective of whether support by another method is required. For example, a binocular type hand-held display (Hand Held Display) used by the user with both hands may be employed as the
Further, the
さらに、上記実施形態では、画像表示部20、20Bと制御装置10とが分離され、接続部40を介して接続された構成を例に挙げて説明したが、制御装置10と画像表示部20とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置10と画像表示部20、20Bとが、より長いケーブルまたは無線通信回線により接続され、制御装置10として、ノート型コンピューター、タブレット型コンピューターまたはデスクトップ型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
Furthermore, in the above-described embodiment, the configuration in which the
The
また、例えば、画像表示部20において画像光を生成する構成として、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよいし、LCOS(Liquid crystal on silicon,LCoSは登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。
Further, for example, as a configuration for generating image light in the
画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び/または反射させて導く機能のみを有するものであってもよい。 The optical system that guides the image light to the user's eyes may include a configuration that includes an optical member that transmits external light that enters the apparatus from the outside and that causes the light to enter the user's eyes together with the image light. Also, an optical member that is located in front of the user's eyes and overlaps part or all of the user's field of view may be used. Further, a scanning optical system that scans a laser beam or the like to generate image light may be employed. Further, the image light is not limited to the one that guides the image light inside the optical member, and may have only the function of guiding the image light by refracting and / or reflecting it toward the user's eyes.
また、本発明を、MEMSミラーを用いた走査光学系を採用し、MEMSディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するMEMSミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がMEMSミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。MEMSミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板261及び左導光板262のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。 In addition, the present invention can be applied to a display device employing a MEMS display technology employing a scanning optical system using a MEMS mirror. That is, as an image display element, a signal light forming unit, a scanning optical system having a MEMS mirror that scans light emitted by the signal light forming unit, and an optical member on which a virtual image is formed by light scanned by the scanning optical system. May be provided. In this configuration, light emitted by the signal light forming unit is reflected by the MEMS mirror, enters the optical member, is guided through the optical member, and reaches the virtual image forming surface. The MEMS mirror scans the light to form a virtual image on the virtual image forming surface, and the user recognizes the image by capturing the virtual image with his or her eyes. In this case, the optical component may be one that guides light through multiple reflections, such as the right light guide plate 261 and the left light guide plate 262 of the above embodiment, or may use a half mirror surface. .
また、本発明の表示装置は頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。本発明の表示装置は、外光とともに画像光により画像を視認させるものであればよく、例えば、外光を透過させる光学部材により画像光による画像を視認させる構成が挙げられる。具体的には、上記のヘッドマウントディスプレイにおいて外光を透過する光学部材を備えた構成の他、使用者から離れた位置に固定的にまたは可動に設置された透光性の平面や曲面(ガラスや透明なプラスチック等)に、画像光を投射する表示装置にも適用可能である。一例としては、車両の窓ガラスに画像光を投射し、乗車している使用者や車両の外にいる使用者に、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置された透明また半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいる使用者に、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。 Further, the display device of the present invention is not limited to a head-mounted display device, and can be applied to various display devices such as a flat panel display and a projector. The display device of the present invention may be any device that allows the image to be visually recognized by the image light together with the external light. For example, the display device may be configured to visually recognize the image by the image light using an optical member that transmits the external light. More specifically, in addition to the above-described head-mounted display having a structure including an optical member that transmits external light, a light-transmitting flat surface or a curved surface (glass) fixedly or movably installed at a position away from the user. And transparent plastics) can be applied to a display device that projects image light. As an example, a configuration of a display device that projects image light on a window glass of a vehicle and allows a occupant or a user outside the vehicle to visually recognize scenes inside and outside the vehicle together with an image using the image light. Can be In addition, for example, the image light is projected on a transparent or translucent or colored transparent display surface which is fixedly installed such as a window glass of a building, and displayed to a user around the display surface together with the image by the image light. There is a configuration of a display device that allows a scene to be visually recognized through a surface.
また、図2、図8に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図2に示した通りに独立したハードウェア資源を配置する構成に限定されない。
上記第1及び第2実施形態で説明した制御部140の動作をプログラムとして実現することも可能である。すなわち、制御部140がCPU、ROM、RAMを備えた構成とし、このCPUがプログラムを実行することにより、例えば対象検出部171、距離検出部173、画像表示制御部176、及び画像生成部177の機能を実現してもよい。また、制御部140のCPUが、プログラムを実行することにより、オペレーティングシステム150、画像処理部160、音声処理部170、及び表示制御部190の機能を実行してもよい。これらのプログラムは、その一部または全部をハードウェアとして実現してもよい。例えば、制御部140が備える上記の各処理部は、ASIC(Application Specific Integrated Circuit:特定用途向け集積回路)を用いて構成されてもよく、FPGA(Field-Programmable Gate Array)等のPLD(Programmable Logic Device)をプログラミングして構成してもよい。また、複数の半導体デバイスを含む回路として実現してもよい。また、ハードウェアがプログラムを実行して上記機能を実現する場合、このプログラムは、制御部140のROM、或いは、記憶部120または制御装置10内の別の記憶装置に記憶されてもよい。或いは、外部の装置に記憶されたプログラムを通信部117またはインターフェイス180を介して制御部140が取得し、実行する構成としてもよい。
Further, at least a part of each of the functional blocks shown in FIGS. 2 and 8 may be realized by hardware, or may be realized by cooperation of hardware and software. The configuration is not limited to a configuration in which independent hardware resources are arranged as described above.
The operation of the
また、制御装置10に形成された構成の内、操作部135のみが単独の使用者インターフェース(UI)として形成されてもよいし、上記実施形態における電源130が単独で形成されて、交換可能な構成であってもよい。また、制御装置10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、図2に示す制御部140が制御装置10と画像表示部20との両方に形成されていてもよいし、制御装置10に形成された制御部140と画像表示部20に形成されたCPUとが行なう機能が別々に分けられている構成としてもよい。
In addition, of the configurations formed in the
10…制御装置、20、20B…画像表示部(表示部)、21…右保持部、22…右表示駆動部、23…左保持部、24…左表示駆動部、26…右光学像表示部、28…左光学像表示部、61…カメラ(撮像部)、63…マイク、64…距離センサー、68…視線センサー、100、100B…頭部装着型表示装置(表示装置)、117…通信部、120…記憶部、140…制御部、150…オペレーティングシステム、160…画像処理部、170…音声処理部、171…対象検出部、173…距離検出部、176…画像表示制御部、177…画像生成部、180…インターフェイス、190…表示制御部、201…右バックライト制御部、202…左バックライト制御部、211…右LCD制御部、212…左LCD制御部、221…右バックライト、222…左バックライト、241…右LCD、242…左LCD、251…右投写光学系、252…左投写光学系、261…右導光板、262…左導光板、DA…データ取得部。
DESCRIPTION OF
Claims (21)
外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、
前記使用者の視線方向を撮像する撮像部と、
前記撮像部の撮像画像から前記使用者の視線方向にある対象物を検出する対象検出部と、
前記撮像画像から、前記対象検出部が検出した前記対象物の画像を含む領域を抽出することにより、表示用画像を生成する画像生成部と、
前記画像生成部が生成した表示用画像を前記表示部に表示させる画像表示制御部と、
を備え、
前記対象検出部は、前記撮像部が撮像した連続する複数の前記撮像画像からなる動画像を取得し、これら複数の前記撮像画像の画像間の差分が予め設定された条件に適合する領域を検出し、検出した領域に写っている被写体を対象物とし、
前記画像表示制御部は、前記対象検出部により検出された前記対象物のうち選択された一つの前記対象物をマーカーとして特定し、前記マーカーの位置を前記表示部に表示させ、前記マーカーの位置を中央に保持して前記表示用画像を表示させること、
を特徴とする表示装置。 A display device used by being worn on a user's body,
A display unit that transmits an outside scene and displays an image so that the image can be visually recognized together with the outside scene,
An imaging unit that captures an image of the user's line of sight,
An object detection unit that detects an object in a line-of-sight direction of the user from a captured image of the imaging unit;
From the captured image, by extracting a region including the image of the target object detected by the target detection unit, an image generation unit that generates a display image,
An image display control unit that causes the display unit to display the display image generated by the image generation unit,
With
The target detection unit acquires a moving image including a plurality of the captured images captured by the imaging unit, and detects an area in which a difference between the images of the plurality of the captured images meets a preset condition. Then, the subject in the detected area is set as the object ,
The image display control unit specifies one of the selected objects among the objects detected by the object detection unit as a marker, displays the position of the marker on the display unit, and displays the position of the marker. Rukoto to display the display image held in the center of,
A display device characterized by the above-mentioned.
を特徴とする請求項1記載の表示装置。 The target detection unit detects a region that satisfies a preset condition from one of the captured images captured by the imaging unit, and performs a first process using a subject in the detected region as a target, and Executing a second process for detecting a region in which a difference between the plurality of captured images included in the moving image satisfies a preset condition, and setting a subject in the detected region as an object; What is possible,
The display device according to claim 1, wherein:
前記対象検出部は、前記第1の処理では前記撮像画像において前記単一画像用特徴データに適合する領域を検出し、前記第2の処理では複数の前記撮像画像の画像間の差分において前記動画像用特徴データに適合する領域を検出すること、
を特徴とする請求項2記載の表示装置。 As data used for detection of the captured image, a single image feature data, and a storage unit for storing moving image feature data,
The target detection unit detects an area that matches the single-image feature data in the captured image in the first processing, and detects the moving image in a difference between a plurality of the captured images in the second processing. Detecting an area that matches the image feature data;
The display device according to claim 2, wherein:
前記画像表示制御部は、前記表示用画像の前記表示部における表示態様を、前記検出部が検出する前記表示装置の使用状態に対応して調整すること、
を特徴とする請求項1から3のいずれかに記載の表示装置。 A detection unit that detects a use state of the display device,
The image display control unit adjusts a display mode of the display image on the display unit in accordance with a use state of the display device detected by the detection unit.
The display device according to claim 1, wherein:
を特徴とする請求項4記載の表示装置。 The detection unit performs detection related to the position of the display device, the image display control unit adjusts the display mode of the display image corresponding to the position of the display device detected by the detection unit,
The display device according to claim 4, wherein:
を特徴とする請求項5記載の表示装置。 The image display control unit, corresponding to the position of the display device detected by the detection unit, so that the display image avoids the center of the user's line of sight, the display position or display of the display image Adjusting at least one of the sizes,
The display device according to claim 5, wherein:
前記画像表示制御部は、前記動作検出部が検出する前記使用者の動作に対応して前記表示用画像の表示態様を調整すること、
を特徴とする請求項4から6のいずれかに記載の表示装置。 An operation detection unit that detects an operation of the user based on a captured image of the imaging unit,
The image display control unit adjusts the display mode of the display image in accordance with the operation of the user detected by the operation detection unit,
The display device according to claim 4, wherein:
前記画像表示制御部は、前記音声検出部の音声の検出結果に対応して前記表示用画像の表示態様を調整すること、
を特徴とする請求項1から3のいずれかに記載の表示装置。 A voice detection unit that detects voice is provided,
The image display control unit adjusts a display mode of the display image according to a detection result of the sound of the sound detection unit,
The display device according to claim 1, wherein:
を特徴とする請求項1から8のいずれかに記載の表示装置。 The image generation unit generates the display image by extracting and processing a part of the captured image of the imaging unit,
The display device according to any one of claims 1 to 8, wherein:
前記画像生成部は、前記撮像部の撮像画像から、前記動作検出部が検出する前記使用者の動作に基づき特定される領域を抽出して処理し、前記表示用画像を生成すること、
を特徴とする請求項9記載の表示装置。 An operation detection unit that detects an operation of the user based on a captured image of the imaging unit,
From the captured image of the imaging unit, the image generation unit extracts and processes an area specified based on the operation of the user detected by the operation detection unit, and generates the display image.
The display device according to claim 9, wherein:
を特徴とする請求項9または10記載の表示装置。 The image generating unit generates the display image by cutting out and enlarging a part of the captured image of the imaging unit,
The display device according to claim 9, wherein:
を特徴とする請求項9から11のいずれかに記載の表示装置。 The image generating unit generates the display image by cutting out an area corresponding to a preset condition in a captured image of the imaging unit.
The display device according to claim 9, wherein:
を特徴とする請求項1から3のいずれかに記載の表示装置。 The target detection unit detects a line of sight of the user, and detects the target object in the detected line of sight of the user,
The display device according to claim 1, wherein:
を特徴とする請求項13記載の表示装置。 The target detection unit detects a gaze direction of an eye corresponding to a dominant eye of both eyes of the user,
The display device according to claim 13, wherein:
を特徴とする請求項7または10記載の表示装置。 The target detection unit, when detecting a predetermined operation of the user by the operation detection unit, to specify a direction corresponding to the user's line of sight based on the predetermined operation,
The display device according to claim 7, wherein:
を特徴とする請求項15記載の表示装置。 The target detection unit, when the movement detection unit detects the movement of at least one of the limbs of the user, to identify a direction corresponding to the user's line of sight based on the detected movement,
The display device according to claim 15, wherein:
を特徴とする請求項3記載の表示装置。 The feature data for a single image and the feature data for a moving image stored in the storage unit are a feature amount of an image of the specific object, and a general-purpose image corresponding to a plurality of similar types of objects. Including any of the features,
The display device according to claim 3, wherein:
前記画像生成部は、前記撮像画像から、前記対象検出部により検出された前記対象物の画像を含む領域を切り出し、切り出した領域を前記距離検出部が検出した距離に応じた拡大率で拡大し、前記表示用画像を生成すること、
を特徴とする請求項1から17のいずれかに記載の表示装置。 A distance detection unit that detects a distance between the object and the user detected by the target detection unit,
The image generation unit cuts out an area including the image of the target object detected by the target detection unit from the captured image, and enlarges the cut out area at an enlargement rate corresponding to the distance detected by the distance detection unit. Generating the display image,
The display device according to any one of claims 1 to 17, wherein:
を特徴とする請求項1から18のいずれかに記載の表示装置。 The image display control unit performs a process of recording a captured image of the imaging unit as a moving image, based on the operation of the user, and a process of reproducing and displaying the recorded moving image on the display unit, When playing back the moving image, displaying a timeline showing the entire moving image,
Display device according to claim 1, wherein 18 of the.
前記使用者の視線方向を撮像し、
撮像画像から前記使用者の視線方向にある対象物を検出し、
前記撮像画像から、検出した前記対象物の画像を含む領域を切り出して拡大することにより、表示用画像を生成し、
生成した表示用画像を前記表示部に表示させ、
前記対象物を検出する処理において、連続する複数の前記撮像画像からなる動画像を取得し、これら複数の前記撮像画像の画像間の差分が予め設定された条件に適合する領域を検出し、検出した領域に写っている被写体を対象物とし、
検出した前記対象物のうち選択された一つの前記対象物をマーカーとして特定し、前記マーカーの位置を前記表示部に表示させ、前記マーカーの位置を中央に保持して前記表示用画像を表示させること、
を特徴とする表示装置の制御方法。 A control method for a display device that includes a display unit that transmits an outside scene and displays an image so that the image can be visually recognized together with the outside scene, and is used by being worn on a user's body,
Image the gaze direction of the user,
Detecting an object in the line of sight of the user from the captured image,
From the captured image, a region including the detected image of the target object is cut out and enlarged to generate a display image,
The generated display image is displayed on the display unit,
In the process of detecting the target, a moving image including a plurality of the captured images is obtained, and an area where a difference between the images of the plurality of the captured images meets a preset condition is detected. and the object of the subject that is reflected in the region,
Identifying one of the selected objects among the detected objects as a marker, displaying the position of the marker on the display unit, holding the position of the marker at the center, and displaying the display image. That
A method for controlling a display device, comprising:
前記コンピューターを、
前記使用者の視線方向を撮像した撮像画像から前記使用者の視線方向にある対象物を検出する処理を行い、前記処理において、連続する複数の前記撮像画像からなる動画像を取得し、これら複数の前記撮像画像の画像間の差分が予め設定された条件に適合する領域を検出し、検出した領域に写っている被写体を対象物とする対象検出部と、
前記撮像画像から前記対象検出部が検出した前記対象物の画像を含む領域を切り出して拡大することにより、表示用画像を生成する画像生成部と、
前記画像生成部が生成した画像を前記表示部に表示させる処理を行い、前記対象検出部により検出された前記対象物のうち選択された一つの前記対象物をマーカーとして特定し、前記マーカーの位置を前記表示部に表示させ、前記マーカーの位置を中央に保持して前記表示用画像を表示させる画像表示制御部と、
して機能させるためのプログラム。 A computer-executable program including a display unit that transmits an outside scene and displays an image so that the image can be visually recognized together with the outside scene, and controls a display device used by being worn on a user's body,
The computer,
Performing a process of detecting an object in the user's line of sight from the captured image obtained by capturing the user's line of sight, and in the process, acquiring a moving image composed of a plurality of continuous captured images; An object detection unit that detects an area in which the difference between the images of the captured images matches a preset condition, and sets an object in the detected area as an object.
An image generation unit that generates a display image by cutting out and enlarging a region including the image of the target object detected by the target detection unit from the captured image,
Wherein an image by the image generating unit has generated performs processing of Ru is displayed on the display unit, identified as a marker of the object of the selected one of said object detected by said object detection unit, of said marker position is displayed on the display unit, and an image display control unit which holds the position of the marker to the central Ru to display the display image,
Program to make it work.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015039766A JP6638195B2 (en) | 2015-03-02 | 2015-03-02 | DISPLAY DEVICE, DISPLAY DEVICE CONTROL METHOD, AND PROGRAM |
US14/719,985 US9959591B2 (en) | 2014-07-31 | 2015-05-22 | Display apparatus, method for controlling display apparatus, and program |
CN201510295746.4A CN105319714B (en) | 2014-07-31 | 2015-06-02 | Display device, the control method of display device and computer storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015039766A JP6638195B2 (en) | 2015-03-02 | 2015-03-02 | DISPLAY DEVICE, DISPLAY DEVICE CONTROL METHOD, AND PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016161734A JP2016161734A (en) | 2016-09-05 |
JP6638195B2 true JP6638195B2 (en) | 2020-01-29 |
Family
ID=56845104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015039766A Active JP6638195B2 (en) | 2014-07-31 | 2015-03-02 | DISPLAY DEVICE, DISPLAY DEVICE CONTROL METHOD, AND PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6638195B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019121102A (en) * | 2017-12-28 | 2019-07-22 | トヨタ自動車株式会社 | On-vehicle equipment operation device |
JP7118650B2 (en) * | 2018-01-18 | 2022-08-16 | キヤノン株式会社 | Display device |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005138755A (en) * | 2003-11-07 | 2005-06-02 | Denso Corp | Device and program for displaying virtual images |
JP2008067219A (en) * | 2006-09-08 | 2008-03-21 | Sony Corp | Imaging apparatus and imaging method |
JP5228307B2 (en) * | 2006-10-16 | 2013-07-03 | ソニー株式会社 | Display device and display method |
US9330499B2 (en) * | 2011-05-20 | 2016-05-03 | Microsoft Technology Licensing, Llc | Event augmentation with real-time information |
KR20140069124A (en) * | 2011-09-19 | 2014-06-09 | 아이사이트 모빌 테크놀로지 엘티디 | Touch free interface for augmented reality systems |
JP2014067203A (en) * | 2012-09-26 | 2014-04-17 | Kyocera Corp | Electronic apparatus, gazing point detection program, and gazing point detection method |
US9411160B2 (en) * | 2013-02-12 | 2016-08-09 | Seiko Epson Corporation | Head mounted display, control method for head mounted display, and image display system |
JP6135162B2 (en) * | 2013-02-12 | 2017-05-31 | セイコーエプソン株式会社 | Head-mounted display device, head-mounted display device control method, and image display system |
WO2014192103A1 (en) * | 2013-05-29 | 2014-12-04 | 三菱電機株式会社 | Information display device |
-
2015
- 2015-03-02 JP JP2015039766A patent/JP6638195B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016161734A (en) | 2016-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9959591B2 (en) | Display apparatus, method for controlling display apparatus, and program | |
US9898868B2 (en) | Display device, method of controlling the same, and program | |
US9411160B2 (en) | Head mounted display, control method for head mounted display, and image display system | |
JP6107276B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP6550885B2 (en) | Display device, display device control method, and program | |
US20160284129A1 (en) | Display, control method of display, and program | |
US9794684B2 (en) | Head-mounted display device, control method for the same, and computer program | |
JP6492531B2 (en) | Display device and control method of display device | |
JP6459380B2 (en) | Head-mounted display device, head-mounted display device control method, and computer program | |
JP6707823B2 (en) | Display device, display device control method, and program | |
JP6432197B2 (en) | Display device, display device control method, and program | |
US20160187662A1 (en) | Display device, and method of controlling display device | |
JP6707809B2 (en) | Display device, display device control method, and program | |
JP2016224086A (en) | Display device, control method of display device and program | |
JP6303274B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP2016033757A (en) | Display device, method for controlling display device, and program | |
JP2014191386A (en) | Head-mounted display device and method of controlling the same | |
JP2016033759A (en) | Display device, method for controlling display device, and program | |
JP2016024208A (en) | Display device, method for controlling display device, and program | |
JP6638195B2 (en) | DISPLAY DEVICE, DISPLAY DEVICE CONTROL METHOD, AND PROGRAM | |
JP6620417B2 (en) | Display device, control method therefor, and computer program | |
JP2016033763A (en) | Display device, method for controlling display device, and program | |
JP2018042004A (en) | Display device, head-mounted type display device, and method for controlling display device | |
JP6582374B2 (en) | Display device, control method therefor, and computer program | |
JP2016034091A (en) | Display device, control method of the same and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6638195 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |