WO2010103955A1 - ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム - Google Patents
ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム Download PDFInfo
- Publication number
- WO2010103955A1 WO2010103955A1 PCT/JP2010/053289 JP2010053289W WO2010103955A1 WO 2010103955 A1 WO2010103955 A1 WO 2010103955A1 JP 2010053289 W JP2010053289 W JP 2010053289W WO 2010103955 A1 WO2010103955 A1 WO 2010103955A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- light
- observer
- overlap
- face
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
Definitions
- Patent Document 1 discloses an HMD configured such that an image by image light based on image information is visually recognized by an observer together with an outside scene by external light.
- the present invention has been made to solve the above-described problems.
- the imaging range of the imaging unit is prevented so that the image by the image light does not interfere with the dialogue of the observer.
- the purpose of the present invention is to provide an HMD capable of controlling the position or size of an image by image light visually recognized by an observer.
- the image information includes identifier information for identifying the image information, and the importance level determination unit is based on the identifier information. The degree of importance of the image information is determined.
- each of the image information includes identifier information for identifying the image information
- each of the identifier information includes An icon storage unit that stores corresponding icons in advance
- the control unit determines the importance when the overlap determination unit determines that the face image and the image of the image light overlap.
- the determination unit determines that the importance of the image information is low
- the icon corresponding to the identifier information included in the image information is read from the icon storage unit, and the read icon does not overlap the face image It controls so that it may be visually recognized by the said observer by a position or a magnitude
- the information storage according to the first aspect, wherein the image information and attribute information related to the position or size of the image by the image light visually recognized by the observer are stored.
- the face detection unit detects the face image from the outside scene imaged by the imaging unit at a predetermined time interval, and the control unit uses the overlap determination unit to detect the face image and the image light.
- the present invention is mounted near the head of an observer so that an image of image light based on image information is visually recognized by the observer together with an outside scene by external light.
- a face detection step for detecting a human face image from the image of the outside scene captured by the imaging step, and when the face image is detected by the face detection step, the face image and an image by the image light are
- An overlap determination step for determining whether or not there is an overlap, and the face image and the image by the image light overlap in the overlap determination step.
- image information related to an image that is visually recognized when an observer communicates with another person through e-mail or the like using communication means installed in the HMD is more than image information when using document creation software or spreadsheet software. High importance.
- the position or size of the image by the image light is controlled according to the importance of the image information.
- the image by the image light is controlled to a position or size suitable for the situation where the observer is placed according to the importance of the image information.
- the content of the work performed by the observer is determined from the content of the image information related to the image by the image light, and the importance of the image information is determined based on the determination result. Is done.
- the image by image light is controlled to the position or magnitude
- the third party is notified to the person other than the observer whether the observer can concentrate on the conversation or the situation where the image by the image light should be focused. Can be understood. As a result, it is possible to enter the dialogue smoothly when the observer can concentrate on the dialogue, and in the situation where the observer should concentrate on the image by the image light and see the obstacle, You can concentrate without receiving.
- the image by the image light is used. Is not overlapped with the image of the human face, the position or size of the image by the image light visually recognized by the observer in the predetermined imaging range is controlled. Thereby, the image by the image light does not interfere with the observer's dialogue, and the observer can concentrate on the dialogue.
- the present invention is embodied in a retinal scanning display.
- the retinal scanning display is mounted near the observer's head.
- the retina operation type display guides image light to an observer's eye and scans the image light in a two-dimensional direction on the observer's retina. Thereby, the image corresponding to the content information is visually recognized by the observer.
- an image corresponding to the content information is referred to as a content image.
- any of the above-described embodiments displays an image using image light.
- the head mounted display device 1 includes a frame unit 2, an image display unit 3, a half mirror 4, a CCD 5, a notification unit 6, a system box 7, and a transmission cable 8. Yes.
- the “head-mounted display device” is hereinafter referred to as “HMD”.
- the HMD 1 is a retinal scanning display that displays various content information such as a document file, an image file, and a moving image file as an image so as to be visible to the observer P with the viewer P wearing the frame 2 on the head. is there.
- the image display part 3 is attached to the temple part 2b on the left side as viewed from the observer P as shown in FIG.
- the image display unit 3 displays a content image by scanning image light two-dimensionally.
- the half mirror 4 is provided in the image display unit 3 as shown in FIG.
- the half mirror 4 reflects the image light emitted from the image display unit 3 and guides the image light to the retina of the observer P.
- the half mirror 4 is translucent and transmits external light. For this reason, the observer P can visually recognize the outside scene simultaneously with the content image when the HMD 1 is mounted.
- a CCD (Charge Coupled Devices) 5 is attached to the image display unit 3.
- the CCD 5 in the present embodiment is an example of the imaging unit of the present invention.
- the CCD 5 is attached mainly for capturing the face image of the viewer P's conversation partner in the outside scene image. Normally, a person-to-person dialogue is conducted by facing each other at an interval of about 1 to 3 meters.
- the optical axis of the CCD 5 is set so as to make an intersection with the direction in which the viewer P visually recognizes the content image at a position of about 1 to 3 m ahead when viewed from the viewer P. Accordingly, when the observer P wears the HMD 1 and interacts with another person, the CCD 5 can capture a face image in the outside scene image within a range in which the observer P visually recognizes the content image. .
- the notification unit 6 is provided in the CCD 5.
- the direction of the notification unit 6 coincides with the imaging direction of the CCD 5.
- the notification part 6 is comprised from several LED, and can display a character.
- Three types of signals corresponding to the situation of the observer P such as the situation of information processing and the situation of information browsing, performed by the observer P using the HMD 1 instead of the monitor, etc. are supplied to the notification unit 6.
- the notification part 6 can display the character according to the condition of the observer P, and can notify the other person who is facing the observer P of the condition of the observer P.
- the notification unit 6 in the present embodiment is an example of the notification unit of the present invention.
- the system box 7 is connected to the image display unit 3 via the transmission cable 8.
- the system box 7 controls the overall operation of the HMD 1 and generates image light for forming a content image.
- the transmission cable 8 includes an optical fiber and a cable for transmitting various signals.
- HMD electrical configuration The electrical configuration of the HMD 1 according to the present embodiment will be described with reference to FIG.
- the HMD 1 controls the overall control of the operation of the entire HMD 1, the light generation unit 20 that generates the image light of the content image, and the content image so that the viewer P can visually recognize the content image. And an optical scanning unit 50 that scans image light.
- the overall control unit 10 and the light generation unit 20 are built in the system box 7, and the light scanning unit 50 is built in the image display unit 3.
- the overall control unit 10 is connected to an interface 11 that can be connected to an external device such as a personal computer.
- the overall control unit 10 supplies the image data received via the interface 11 to the light generation unit 20.
- the image data is data representing a content image that the observer P will visually recognize.
- the light generation unit 20 generates image light based on the image data supplied from the overall control unit 10 and supplies the image light to the optical scanning unit 50.
- the light scanning unit 50 two-dimensionally scans the image light generated by the light generation unit 20 to display the content image and make the viewer P visually recognize it.
- the overall control unit 10 includes a CPU (Central Processing Unit) 12, a ROM (Read Only Memory) 13, a RAM (Random Access Memory) 14, a VRAM (Video Random Access Memory) 15, a bus 16, and a bus 16.
- the computer which controls HMD1 is comprised.
- the overall control unit 10 is connected to the power switch SW, CCD 5, notification unit 6, and communication control circuit 9 of the HMD 1.
- the communication control circuit 9 exchanges mail and the like with a personal computer or the like.
- the light generation unit 20 includes a signal processing circuit 21, a light source unit 30, and a light combining unit 40.
- Image data is supplied to the signal processing circuit 21 via the interface 11 and the overall control unit 10. Based on the supplied image data, the signal processing circuit 21 generates blue, green, and red image signals 22 a to 22 c that are elements for synthesizing images and supplies them to the light source unit 30.
- the signal processing circuit 21 supplies a horizontal drive signal 23 for driving the horizontal scanning unit 70 to the horizontal scanning unit 70, and supplies a vertical drive signal 24 for driving the vertical scanning unit 80 to the vertical scanning unit 80.
- the light source unit 30 functions as an image light output unit that converts the three image signals 22a to 22c supplied from the signal processing circuit 21 into image light.
- the light source unit 30 includes a B laser 34 that generates blue image light and a B laser driver 31 that drives the B laser 34, a G laser 35 that generates green image light, and a G laser driver 32 that drives the G laser 35.
- the light source unit 30 supplies image light to the light combining unit 40.
- the light combining unit 40 combines the three image lights supplied from the light source unit 30 into one image light to generate arbitrary image light.
- the light combining unit 40 collimates the image light incident from the light source unit 30 into parallel light.
- the light combining unit 40 includes collimating optical systems 41, 42, 43, dichroic mirrors 44, 45, 46 for combining the collimated image light, and a coupling optical system 47 for guiding the combined image light to the transmission cable 8. And.
- Laser beams emitted from the lasers 34, 35, and 36 are collimated by collimating optical systems 41, 42, and 43, and then enter the dichroic mirrors 44, 45, and 46. Thereafter, the dichroic mirrors 44, 45, and 46 selectively reflect or transmit each image light with respect to the wavelength.
- the optical scanning unit 50 includes a collimating optical system 60, a horizontal scanning unit 70, a vertical scanning unit 80, and relay optical systems 75 and 90.
- the collimating optical system 60 collimates the image light emitted via the transmission cable 8 and guides it to the horizontal scanning unit 70.
- the horizontal scanning unit 70 reciprocally scans the image light collimated by the collimating optical system 60 in the horizontal direction for image display.
- the vertical scanning unit 80 reciprocates in the vertical direction the image light scanned in the horizontal direction by the horizontal scanning unit 70.
- the relay optical system 75 is provided between the horizontal scanning unit 70 and the vertical scanning unit 80, and guides the image light scanned by the horizontal scanning unit 70 to the vertical scanning unit 80.
- the relay optical system 90 emits image light scanned (two-dimensionally scanned) in the horizontal direction and the vertical direction to the pupil Ea.
- the resonant deflection element 71 has a reflection surface for scanning the image light in the horizontal direction.
- the horizontal scanning control circuit 72 resonates the resonance type deflection element 71 based on the horizontal drive signal 23 supplied from the signal processing circuit 21.
- the horizontal scanning angle detection circuit 73 Based on the displacement signal supplied from the resonance type deflection element 71, the horizontal scanning angle detection circuit 73 detects the oscillation state such as the oscillation range and oscillation frequency of the reflection surface of the resonance type deflection element 71.
- the horizontal scanning angle detection circuit 73 supplies a signal indicating the detected oscillation state of the resonance type deflection element 71 to the overall control unit 110.
- the relay optical system 75 relays image light between the horizontal scanning unit 70 and the vertical scanning unit 80.
- the light scanned in the horizontal direction by the resonant deflection element 71 is converged on the reflection surface of the deflection element 81 in the vertical scanning unit 80 by the relay optical system 75.
- the vertical scanning unit 80 includes a deflection element 81 and a vertical scanning control circuit 82.
- the image light supplied from the lens system 92 is once reflected by the half mirror 4 and then converged on the pupil Ea of the observer. In this way, the observer P can visually recognize the content image.
- the overall control unit 10 receives a signal based on the swinging state of the resonant deflection element 71 from the horizontal scanning angle detection circuit 73. Then, the overall control unit 10 controls the operation of the signal processing circuit 21 based on the received signal.
- the signal processing circuit 21 supplies the horizontal driving signal 23 to the horizontal scanning control circuit 72 and supplies the vertical driving signal 24 to the vertical scanning control circuit 82.
- the horizontal scanning control circuit 72 controls the movement of the resonant deflection element 71 based on the supplied horizontal drive signal 23.
- the vertical scanning control circuit 82 controls the movement of the deflection element 81 based on the supplied vertical drive signal 24.
- FIGS. 3A to 3F operation control of the HMD 1 will be described with reference to FIGS. 3A to 3F.
- Each step of the CPU 12 and the flowcharts shown in FIGS. 3A to 3F in the present embodiment is an example of the control unit of the present invention.
- (Main process) A series of control processing is executed by the CPU 12.
- the backup data stored in the RAM 14 is compared with the data of the content image CO currently being viewed by the observer P after the interactive display control. At this time, it is determined whether there is a difference between the data of the content image CO and the backup data except for the changed portion controlled in the interactive display mode (SA7).
- SA10 If it is determined in SA3 that the face image FA has not been detected (SA3: No), it is determined whether or not the interactive display mode is in effect (SA10). If it is determined that the interactive display mode is being performed (SA10: Yes), it is determined whether there is backup data in the RAM 14 (SA11). When it is determined that there is backup data in the RAM 14 (SA11: Yes), the backup data is acquired (SA12), and display is performed in the normal display mode based on the backup data (SA13). If it is determined in SA11 that there is no backup data in the RAM 14 (SA11: No), the process proceeds to SA13 and display is performed in the normal display mode. When the display is performed in the normal display mode, the normal display mode is set (SA14). When the normal display mode is set, the process proceeds to SA9, and it is determined whether or not a power OFF command is input by the power switch SW (SA9).
- each piece of information is collected as backup data in a table as shown in FIG. 6 and stored in the RAM 14 (SB3).
- the overlapping area is calculated, it is determined whether or not the luminance value of the content image CO in the overlapping area is equal to or less than the threshold value stored in the ROM 13 (SF2).
- the situation of the observer P is classified and determined as one of the three types of states of “dialogue priority”, “interactive”, and “non-interactive”. , 6 types, 7 types, etc., may be finely classified and judged.
- the determination is not limited to whether or not the conversation can be performed, and for example, the work contents of the observer P such as whether the observer P is working using communication or is creating a document. May be.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置は、少なくとも前記画像光による画像が観察者により視認される範囲内において、前記外景の画像を撮像する撮像部と、前記撮像部により撮像された前記外景の画像から人の顔画像を検出する顔検出部と、前記顔検出部により前記顔画像が検出された場合に、前記顔画像と前記画像光による画像とが重複しているか否かを判断する重複判断部と、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記画像光による画像の位置または大きさを制御する制御部と、を備える。
Description
本発明は、観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに観察者により視認されるように構成されたヘッドマウントディスプレイ装置に関する。ヘッドマウントディスプレイ装置を、以後、HMDと示す。
画像情報に基づいた画像光による画像が外光による外景とともに観察者により視認されるように構成されたHMDが、特許文献1に記載されている。
観察者は、パソコンのモニタの代わりとしてHMDを用いることで、パソコンで通常行うような作業を行いながら、観察者の視線方向にいる他者と対話することが可能となる。
しかしながら、画像光による画像と人の顔の画像とが重なると、観察者が対話に集中したい場合に画像光による画像が邪魔になり、観察者が対話に集中することができない。この場合、観察者が手動にてHMDの電源をOFFにする解決法が考えられるが、対話後、HMDの動作復帰をさせるまでに時間がかかる等の問題がある。
本発明は、上述した問題点を解決するためになされたものであり、観察者が対話に集中したい場合に、画像光による画像が観察者の対話の邪魔にならないように、撮像部の撮像範囲において観察者により視認される画像光による画像の位置または大きさを制御することができるHMDを提供することを目的とする。
上記目的を達成するために、請求項1記載の本発明は、観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置であって、少なくとも前記画像光による画像が観察者により視認される範囲内において、前記外景の画像を撮像する撮像部と、前記撮像部により撮像された前記外景の画像から人の顔画像を検出する顔検出部と、前記顔検出部により前記顔画像が検出された場合に、前記顔画像と前記画像光による画像とが重複しているか否かを判断する重複判断部と、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記画像光による画像の位置または大きさを制御する制御部と、を備えたことを特徴とするものである。
請求項2記載の本発明は、請求項1に記載の発明において、前記画像情報の重要度を判定する重要度判定部を備え、前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記重要度判定部により判定された前記画像情報の重要度に基づいて、前記画像光による画像が前記顔画像と重複しないように、前記観察者により視認される前記画像光による画像の位置または大きさを制御することを特徴とするものである。
請求項3記載の本発明は、請求項2に記載の発明において、前記重要度判定部は、前記画像情報の内容から、前記観察者が行っている作業内容を判定し、その判定結果に基づいて、前記画像情報の重要度を判定することを特徴とするものである。
請求項4記載の本発明は、請求項2に記載の発明において、前記画像情報は前記画像情報を識別するための識別子情報を含んでおり、前記重要度判定部は、前記識別子情報に基づいて、前記画像情報の重要度を判定することを特徴とするものである。
請求項5記載の本発明は、請求項2~4のいずれかに記載の発明において、前記画像情報の各々は前記画像情報を識別するための識別子情報を含んでおり、前記識別子情報の各々に対応するアイコンをあらかじめ記憶しているアイコン記憶部を備え、前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が低いと判定されると、前記アイコン記憶部から前記画像情報に含まれる前記識別子情報に対応する前記アイコンを読み出し、読み出した前記アイコンが前記顔画像と重複しない位置または大きさで前記観察者により視認されるように制御することを特徴とするものである。
請求項6記載の本発明は、請求項2~4のいずれかに記載の発明において、前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が高いと判定されると、重複部分における前記画像光による画像の輝度を上げることを特徴とするものである。
請求項7記載の本発明は、請求項2~4のいずれかに記載の発明において、前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が中程度と判定されると、前記画像光による画像と前記顔画像とが重複しないように前記画像光による画像を、大きさを保持した状態で移動させることを特徴とするものである。
請求項8記載の本発明は、請求項1に記載の発明において、前記画像情報と前記観察者により視認される前記画像光による画像の位置または大きさに関する属性情報とを記憶するための情報記憶部を備え、前記顔検出部は、所定の時間の間隔で前記撮像部により撮像された前記外景から前記顔画像を検出し、前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記観察者により現在視認されている前記画像光による画像に関する前記画像情報と前記属性情報とを前記情報記憶部に記憶させ、前記画像光による画像が前記顔画像と重複しないように、前記観察者により視認される前記画像光による画像の位置または大きさを制御し、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された時点から前記所定の時間が経過した後、前記顔検出部により前記顔画像が検出されなかった場合に、前記情報記憶部に記憶された前記画像情報と前記属性情報とを読み出し、読み出した前記画像情報に基づいた前記画像光による画像が、読み出した前記属性情報に基づいた位置または大きさで、前記観察者により視認されるように制御することを特徴とするものである。
請求項9記載の本発明は、請求項2に記載の発明において、前記重要度判定部により判定された前記画像情報の重要度を前記観察者以外の他者に通知する通知部を備えることを特徴とするものである。
上記目的を達成するために、請求項10記載の本発明は、観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御方法であって、少なくとも前記画像光による画像が観察者により視認される範囲を含む範囲内において、前記外景の画像を撮像する撮像ステップと、前記撮像ステップにより撮像された前記外景の画像から人の顔画像を検出する顔検出ステップと、前記顔検出ステップにより前記顔画像が検出された場合に、前記顔画像と前記画像光による画像とが重複しているか否かを判断する重複判断ステップと、前記重複判断ステップにより前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記観察者により視認される前記画像光による画像の位置または大きさを制御する制御ステップと、を備えたことを特徴とするものである。
上記目的を達成するために、請求項11記載の本発明は、観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御プログラムであって、少なくとも前記画像光による画像が観察者により視認される範囲を含む範囲内において、前記外景の画像を撮像する撮像ステップと、前記撮像ステップにより撮像された前記外景の画像から人の顔画像を検出する顔検出ステップと、前記顔検出ステップにより前記顔画像が検出された場合に、前記顔画像と前記画像光による画像とが重複しているか否かを判断する重複判断ステップと、前記重複判断ステップにより前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記観察者により視認される前記画像光による画像の位置または大きさを制御する制御ステップと、をコンピュータにより実現することを特徴とするものである。
請求項1記載のヘッドマウントディスプレイ装置によれば、HMDを装着した観察者が人と対面した際に、観察者が対話に集中したい場合には、画像光による画像が人の顔の画像と重複しないように、撮像部の撮像範囲において観察者により視認される画像光による画像の位置または大きさが制御される。これにより、画像光による画像が観察者の対話の邪魔にならず、観察者が対話に集中することが可能となる。
ところで、観察者がHMDを装着することにより視認する画像情報には、重要度が存在する。例えば、観察者がHMDに設置された通信手段を用い、他者と電子メールなどを通じて通信を行う際に視認する画像に関する画像情報は、文書作成ソフトや表計算ソフトを用いる場合の画像情報よりも重要度が高い。
請求項2記載のヘッドマウントディスプレイ装置によれば、画像情報の重要度に応じて画像光による画像の位置または大きさが制御される。これにより、画像情報の重要度に応じて、画像光による画像が、観察者がおかれている状況に適した位置または大きさに制御される。この結果、観察者が画像情報の重要度を判定し手動にて画像光による画像の位置または大きさを変更するという手間を省くことができる。
請求項3記載のヘッドマウントディスプレイ装置によれば、画像光による画像に関する画像情報の内容から、観察者が行っている作業内容が判定され、その判定結果に基づいて、画像情報の重要度が判定される。これにより、画像光による画像が、観察者の作業状況に適した位置または大きさに制御される。この結果、観察者が自分の作業状況に応じて手動にて画像光による画像の位置または大きさを変更するという手間を省くことができる。
請求項4記載のヘッドマウントディスプレイ装置によれば、画像情報の重要度の判定が識別子情報に基づいて行われる。これにより、画像情報の重要度の判定を確実に行うことができる。
請求項5記載のヘッドマウントディスプレイ装置によれば、画像光による画像を視認して作業を行うよりも対話を優先して行うべき状況で、観察者は対話に集中することができる。また、観察者が対話後に画像情報に含まれる識別子情報に対応したアイコンを視認することで、対話前に画像光による画像を視認して行っていた作業の状況を思い出すことができる。
請求項6記載のヘッドマウントディスプレイ装置によれば、重複部分における画像光による画像の輝度が上がる。従って、画像光による画像が重複部分において観察者に鮮明に視認されるようになり、対話よりも画像光による画像を視認して作業を行うことを優先すべき状況で、観察者は、対話相手が目前にいる場合にも、画像光による画像を集中して視認することができる。
請求項7記載のヘッドマウントディスプレイ装置によれば、観察者が対話可能な状況で、画像光による画像が大きさを保持した状態で移動されるので、対話に集中したい場合には、対話相手に注目することが可能であり、画像光による画像を集中して視認したい場合には、画像光による画像に注目することができる。即ち、観察者は、人の顔の画像と画像光による画像とのどちらに注目するかの選択を行うことが可能となる。
請求項8記載のヘッドマウントディスプレイ装置によれば、観察者は画像光による画像に対して位置または大きさの制御が行われる直前に視認していた画像光による画像を、対話終了後に、対話前の状態で視認することが可能となる。これにより、観察者が対話に備え、画像光による画像を手動にて消去する場合に比べ、画像光による画像の検索や呼び戻しといった、手動による動作復帰の手間が不要となる。
請求項9記載のヘッドマウントディスプレイ装置によれば、観察者が対話に集中できる状況なのか、または、画像光による画像を集中して視認すべき状況なのかを観察者以外の他者に通知し、理解させることができる。これにより、観察者が対話に集中できる状況のときには円滑に対話に入ることができ、観察者が画像光による画像を集中して視認すべき状況の場合には観察者以外の他者から邪魔を受けることなく集中できる。
請求項10記載の画像制御方法および請求項11記載の画像制御プログラムによれば、HMDを装着した観察者が人と対面した際に、観察者が対話に集中したい場合には、画像光による画像が人の顔の画像と重複しないように、所定の撮像範囲において観察者により視認される画像光による画像の位置または大きさが制御される。これにより、画像光による画像が観察者の対話の邪魔にならず、観察者が対話に集中することが可能となる。
以下、本発明の一実施形態について、図面を参照して具体的に説明する。本実施形態は本発明を網膜走査型ディスプレイに具体化したものである。
網膜走査型ディスプレイは、観察者の頭部近傍に装着される。網膜操作型ディスプレイは、画像光を観察者の眼に導き、観察者の網膜上で2次元方向に画像光を走査する。これにより、コンテンツ情報に対応する画像が観察者により視認される。コンテンツ情報に対応する画像を、以後、コンテンツ画像と記す。
なお、「視認」とは画像光が観察者の網膜上で2次元方向に走査され、観察者が画像を認識する態様と、画像が表示パネル等に表示され、観察者が表示パネル等に表示された画像から発生する画像光による画像を認識する態様の2つの態様を含む意味である。
以後、「表示」という用語を用いた場合、観察者に対して画像光による画像を認識可能に動作することを意味するものとする。その点で上述のいずれの態様も画像光による画像を表示しているものと言える。
[HMD外観]
図1に示すように、ヘッドマウントディスプレイ装置1は、フレーム部2と、画像表示部3と、ハーフミラー4と、CCD5と、通知部6と、システムボックス7と、伝送ケーブル8とを備えている。「ヘッドマウントディスプレイ装置」を以後、「HMD」と記す。
図1に示すように、ヘッドマウントディスプレイ装置1は、フレーム部2と、画像表示部3と、ハーフミラー4と、CCD5と、通知部6と、システムボックス7と、伝送ケーブル8とを備えている。「ヘッドマウントディスプレイ装置」を以後、「HMD」と記す。
HMD1は、観察者Pがフレーム部2を頭部に装着した状態で、文書ファイル、画像ファイル、動画ファイル等の各種コンテンツ情報を画像としてその観察者Pに視認可能に表示する網膜走査型ディスプレイである。
フレーム部2は、図1に示す通り、眼鏡のフレーム形状をしている。フレーム部2は、フロント部2aと、一対のテンプル部2bとからなる。
画像表示部3は、図1に示す通り、観察者Pから見て左側のテンプル部2bに取り付けられている。画像表示部3は、画像光を2次元的に走査することで、コンテンツ画像を表示する。
ハーフミラー4は、図1に示す通り、画像表示部3に設けられている。ハーフミラー4は、画像表示部3から発せられた画像光を反射し、観察者Pの網膜に画像光を導く。また、ハーフミラー4は半透明であり、外光を透過する。このため、観察者Pは、HMD1の装着時に、コンテンツ画像と同時に外景を視認できる。
なお、画像表示部3は、後述のROMに記憶されたデータを基に、あらかじめ設定されたハーフミラー4の所定位置で、画像光を反射し、画像光を網膜に導く。ハーフミラー4の反射範囲及び設置位置により、観察者Pがコンテンツ画像を視認する範囲と位置と方向とがあらかじめ決定される。
CCD(Charge Coupled Devices)5は、画像表示部3に取り付けられている。本実施形態におけるCCD5は、本発明の撮像部の一例である。
観察者Pがコンテンツ画像を視認する範囲において、外景画像の中の観察者Pの対話相手の顔画像を撮像することを主な目的として、CCD5が取り付けられているのである。通常、人と人との対話は、約1~3mの間隔で両者が向かい合うことにより行われる。CCD5の光軸は、観察者Pから見て前方約1~3mの位置で、観察者Pがコンテンツ画像を視認する方向と交点を結ぶように設定される。これにより、観察者PがHMD1を装着して他者と対話を行う場合、CCD5は、観察者Pがコンテンツ画像を視認する範囲において、外景画像の中の顔画像を撮像することが可能となる。
通知部6は、CCD5に設けられている。通知部6の向きはCCD5の撮像方向と一致している。通知部6は複数のLEDから構成され、文字を表示することができる。観察者PがHMD1をモニタ代わりに使用するなどして行う、情報処理の状況や情報閲覧の状況といった、観察者Pの状況に応じた3種類の信号が、通知部6に供給される。これにより、通知部6は、観察者Pの状況に応じた文字を表示し、観察者Pに対向している他者に観察者Pの状況を通知することができる。本実施形態における通知部6が、本発明の通知部の一例である。
システムボックス7は、画像表示部3と伝送ケーブル8を介して接続されている。システムボックス7は、HMD1の全体の動作を統括制御し、コンテンツ画像を形成するための画像光を生成する。伝送ケーブル8は、光ファイバや各種信号を伝送するためのケーブルを備える。
[HMD電気的構成]
本実施形態に係るHMD1の電気的構成について、図2を参照して説明する。
本実施形態に係るHMD1の電気的構成について、図2を参照して説明する。
図2に示すように、HMD1は、HMD1全体の動作を統括制御する統括制御部10と、コンテンツ画像の画像光を生成する光生成部20と、コンテンツ画像が観察者Pにより視認されるように画像光を走査する光走査部50と、を備えている。統括制御部10と、光生成部20とは、システムボックス7に内蔵され、光走査部50は、画像表示部3に内蔵されている。
統括制御部10は、パーソナルコンピュータ等の外部装置と接続可能なインターフェース11と接続されている。統括制御部10は、インターフェース11を介し受け取った画像データを光生成部20へ供給する。ここで、画像データとは、観察者Pが視認することとなるコンテンツ画像を表すデータである。光生成部20は、統括制御部10から供給される画像データに基づいて画像光を生成し、光走査部50に供給する。光走査部50は、光生成部20により生成された画像光を2次元的に走査することで、コンテンツ画像を表示し、観察者Pに視認させる。
統括制御部10は、CPU(Central Processing Unit)12と、ROM(Read Only Memory)13と、RAM(Random Access Memory)14と、VRAM(Video Random Access Memory)15と、バス16と、を備え、HMD1を制御するコンピュータを構成している。
CPU12は、ROM13に記憶されている各種情報処理プログラムを実行することにより、HMD1が備える各種機能を実行する演算処理装置である。ROM13は、不揮発性メモリであるフラッシュメモリである。ROM13は、HMD1により表示するコンテンツの再生、停止、早送り、巻き戻し等の制御を行う際に光生成部20、光走査部50等を動作させるための情報処理プログラム等、CPU12により実行される各種情報処理プログラムを記憶している。ROM13は、統括制御部10が各種表示制御を行う際に参照する複数種類のテーブルも記憶している。RAM14は画像データ等の各種データを一時的に記憶する領域である。VRAM15は、画像を表示する際に、表示される画像が表示前に一時的に描画される領域である。CPU12、ROM13、RAM14、及びVRAM15は、バス16にそれぞれ接続されており、バス16を介して各種情報の送受信を行う。
統括制御部10は、HMD1の電源スイッチSW、CCD5、通知部6、及び通信制御回路9と接続されている。通信制御回路9は、パーソナルコンピュータ等とメールなどのやり取りを行う。
インターフェース11は、パーソナルコンピュータ等の外部装置から供給される画像データを統括制御部10に供給する。供給された画像データはRAM14により記憶される。
光生成部20は、信号処理回路21と、光源部30と、光合成部40と、を備えている。
画像データが、インターフェース11と統括制御部10とを介して、信号処理回路21に供給される。信号処理回路21は、供給された画像データに基づいて、画像を合成するための要素となる青、緑、赤の各画像信号22a~22cを生成し、光源部30に供給する。信号処理回路21は、水平走査部70を駆動するための水平駆動信号23を水平走査部70に供給し、垂直走査部80を駆動するための垂直駆動信号24を垂直走査部80に供給する。
光源部30は、信号処理回路21から供給される3つの画像信号22a~22cをそれぞれ画像光にする画像光出力部として機能する。光源部30は、青色の画像光を発生するBレーザ34及びBレーザ34を駆動するBレーザドライバ31と、緑色の画像光を発生するGレーザ35及びGレーザ35を駆動するGレーザドライバ32と、赤色の画像光を発生するRレーザ36及びRレーザ36を駆動するRレーザドライバ33とを備えている。光源部30は、光合成部40に画像光を供給する。
光合成部40は、光源部30から供給された3つの画像光を1つの画像光に合成して任意の画像光を生成する。光合成部40は、光源部30から入射する画像光を平行光にコリメートする。光合成部40は、コリメート光学系41、42、43と、このコリメートされた画像光を合成するためのダイクロイックミラー44、45、46と、合成された画像光を伝送ケーブル8に導く結合光学系47とを備えている。各レーザ34、35、36から出射したレーザ光は、コリメート光学系41、42、43によってそれぞれ平行光化された後に、ダイクロイックミラー44、45、46に入射される。その後、これらのダイクロイックミラー44、45、46により、各画像光が波長に関して選択的に反射または透過される。
光走査部50は、コリメート光学系60と、水平走査部70と、垂直走査部80と、リレー光学系75、90と、を備えている。
コリメート光学系60は、伝送ケーブル8を介して出射される画像光を平行光化し、水平走査部70に導く。水平走査部70は、コリメート光学系60で平行光化された画像光を画像表示のために水平方向に往復走査する。垂直走査部80は、水平走査部70で水平方向に走査された画像光を垂直方向に往復走査する。リレー光学系75は、水平走査部70と垂直走査部80との間に設けられ、水平走査部70により走査された画像光を、垂直走査部80に導く。リレー光学系90は、水平方向と垂直方向とに走査(2次元的に走査)された画像光を瞳孔Eaへ出射する。
水平走査部70は、共振型偏向素子71と、水平走査制御回路72と、水平走査角検出回路73と、を備えている。
共振型偏向素子71は、画像光を水平方向に走査するための反射面を有する。水平走査制御回路72は、信号処理回路21から供給される水平駆動信号23に基づいて、共振型偏向素子71を共振させる。水平走査角検出回路73は、共振型偏向素子71から供給される変位信号に基づいて、共振型偏向素子71の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する。水平走査角検出回路73は、検出した共振型偏向素子71の揺動状態を示す信号を統括制御部110へ供給する。
リレー光学系75は、水平走査部70と垂直走査部80との間で画像光を中継する。共振型偏向素子71によって水平方向に走査された光は、リレー光学系75によって垂直走査部80内の偏向素子81の反射面に収束される。
垂直走査部80は、偏向素子81と、垂直走査制御回路82と、を備えている。
偏向素子81は、リレー光学系75により導かれた画像光を垂直方向に走査する。垂直走査制御回路82は、信号処理回路21から供給される垂直駆動信号24に基づいて、偏向素子81を揺動させる。
共振型偏向素子71により水平方向に走査され、偏向素子81によって垂直方向に走査された画像光は、2次元的に走査された走査画像光としてリレー光学系90へ出射される。共振型偏向素子71と偏向素子81とにより走査される画像光は、あるタイミングに、ある走査角度で走査される。即ち、あるタイミングにおいて、画像光は一本である。従って、以後便宜上、「走査画像光は走査された複数の画像光より成る」といった内容の表現を用いるが、実際には、走査画像光は、あるタイミングにおいて一本の画像光より成るものである。
リレー光学系90は、正の屈折力を持つレンズ系91、92を備えている。レンズ系91は、共振型偏向素子71と偏向素子81とにより走査された各々の画像光を、各々の中心線が相互に略平行になるよう変換し、尚且つ、各々の画像光を、レンズ系91とレンズ系92との中間位置に一度収束させる。中間位置に一度収束された各々の画像光は、再び拡散し、レンズ系92に供給される。
レンズ系92は、レンズ系91から供給された各々の画像光を、平行光化する。そして、レンズ系92は、各々の画像光を、各々の中心線が観察者の瞳孔Eaに収束するように、変換する。
レンズ系92から供給された画像光は、ハーフミラー4で一度反射された後、観察者の瞳孔Eaに収束される。このようにして、観察者Pはコンテンツ画像を視認することができる。
統括制御部10は、共振型偏向素子71の揺動状態に基づいた信号を、水平走査角検出回路73から受け取る。そして、統括制御部10は、受け取った信号に基づいて、信号処理回路21の動作を制御する。信号処理回路21は、水平走査制御回路72へ水平駆動信号23を供給し、垂直走査制御回路82へ垂直駆動信号24を供給する。水平走査制御回路72は、供給された水平駆動信号23に基づき、共振型偏向素子71の動きを制御する。垂直走査制御回路82は供給された垂直駆動信号24に基づき、偏向素子81の動きを制御する。以上の一連の流れにより、水平走査と垂直走査との同期が成される。
[HMD動作制御]
次に、図3A~図3Fを参照して、HMD1の動作制御について説明する。本実施形態におけるCPU12、及び、図3A~図3Fに示すフローチャートの各ステップが、本発明の制御部の一例である。
(メイン処理)
一連の制御処理はCPU12により実行される。
次に、図3A~図3Fを参照して、HMD1の動作制御について説明する。本実施形態におけるCPU12、及び、図3A~図3Fに示すフローチャートの各ステップが、本発明の制御部の一例である。
(メイン処理)
一連の制御処理はCPU12により実行される。
メイン処理では、先ず、通常の表示モードでコンテンツ画像COが表示される(ステップSA1、以下SA1と記す)。このとき、観察者Pは図4に示すように、外景BGとコンテンツ画像COとが重畳した合成画像を視認することとなる。
通常の表示モードでコンテンツ画像COが表示されると、CCD5による外景BGの撮像が開始される(SA2)。CCD5は、CCD5に内蔵された駆動回路にて生成された読み出しクロックに基づき、撮像された画像の画像信号を読み出す。従って、CCD5による外景BGの撮像は、CCD5の駆動回路にて生成される読み出しクロックに基づき、所定の時間間隔で行われる。このとき、CCD5は図4に示すように、観察者Pがコンテンツ画像COを視認している範囲(以下、表示範囲と記す。)ERより広い撮像範囲SRにある外景BGを撮像する。
外景BGが撮像されると、顔画像FAがCCD5の撮像範囲SR内で検出されたか否かが判断される(SA3)。このステップには特開2004-54442号公報に開示されている公知の顔検出技術が用いられる。本実施形態におけるCPU12及びステップSA2、SA3が、本発明の顔検出部の一例である。
図5に示すように、撮像範囲SRに顔画像FAが入り、顔画像FAが検出されたと判断されると(SA3:Yes)、顔画像FAとコンテンツ画像COとが撮像範囲SR内で少なくとも一部重複しているか否かが判断される(SA4)。本実施形態におけるCPU12及びステップSA4が、本発明の重複判断部の一例である。
顔画像FAとコンテンツ画像COとが撮像範囲SR内で少なくとも一部重複していると判断される(SA4:Yes)と、SA1において通常の表示モードで表示されたコンテンツ画像COのコンテンツデータが、RAM14に一時的に記憶される(SA5)。RAM14に一時的に記憶されたコンテンツデータを、以後、バックアップデータと記す。
この際、RAM14に記憶されるバックアップデータとは、図6に示すようなデータである。図6は複数のアプリケーションが起動している際の、バックアップデータを示す。バックアップデータは、図6に示す通り、表示しているコンテンツ画像COを構成する各アプリケーションの識別子と、各アプリケーションの表示ウィンドウの左上端の座標及び右下端の座標と、各ウィンドウの階層とを有する。
バックアップデータがRAM14に記憶されると、対話表示モードで表示する処理に入り(SA6)、表示するコンテンツ画像COが図3Bに示すフローチャートに従って、制御される。
対話表示モードで表示する処理が終了すると、RAM14に記憶されたバックアップデータと、対話表示制御後に観察者Pが現在視認しているコンテンツ画像COのデータとが比較される。この際、対話表示モードで制御され、変更された部分以外の点で、コンテンツ画像COのデータとバックアップデータとに差異があるか否かが判断される(SA7)。
差異があると判断されると(SA7:Yes)、図6に示すバックアップデータの更新を行う(SA8)。更新内容は、バックアップしているアプリケーションの追加や削除、及び各ウィンドウの階層データの更新などである。
バックアップデータの更新が行われると、電源スイッチSWにより電源OFFの指令が入力されたか否かが判断される(SA9)。電源OFFの指令が入力されたと判断されると(SA9:Yes)、処理が終了する。
SA7において、コンテンツ画像COのデータとバックアップデータとに差異がないものと判断されると(SA7:No)、SA9に移り、電源スイッチSWにより電源OFFの指令が入力されたか否かが判断される(SA9)。
SA9において、電源スイッチSWにより電源OFFの指令が入力されていないと判断されると(SA9:No)、SA3に戻る。
SA3において、顔画像FAが検出されていないと判断されると(SA3:No)、対話表示モード中であるか否かが判断される(SA10)。対話表示モード中であると判断されると(SA10:Yes)、RAM14にバックアップデータがあるか否かが判断される(SA11)。RAM14にバックアップデータがあると判断される(SA11:Yes)と、バックアップデータが取得され(SA12)、バックアップデータに基づき、通常の表示モードで表示が行われる(SA13)。SA11において、RAM14にバックアップデータがないと判断されると(SA11:No)、SA13に移り、通常の表示モードで表示が行われる。通常の表示モードで表示が行われると、通常の表示モードに設定される(SA14)。通常の表示モードに設定されると、SA9に移り、電源スイッチSWにより電源OFFの指令が入力されたか否かが判断される(SA9)。
SA10において、対話表示モード中でないと判断されると(SA10:No)、処理がSA9に移り、電源スイッチSWにより電源OFFの指令が入力されたか否かが判断される。また、SA4において、顔画像FAとコンテンツ画像COとが撮像範囲SR内で重複していないと判断される(SA4:No)と、SA11に移り、RAM14にバックアップデータがあるか否かが判断される。
(バックアップデータ記憶処理)
バックアップデータ記憶処理では、先ず、起動中のアプリケーションの識別子の取得が行われる(SB1)。識別子の取得が行われると、各アプリケーションのウィンドウ情報の取得が行われる(SB2)。ウィンドウ情報は、各ウィンドウの座標や階層等の情報を含む。
バックアップデータ記憶処理では、先ず、起動中のアプリケーションの識別子の取得が行われる(SB1)。識別子の取得が行われると、各アプリケーションのウィンドウ情報の取得が行われる(SB2)。ウィンドウ情報は、各ウィンドウの座標や階層等の情報を含む。
ウィンドウ情報の取得が行われると、各情報がバックアップデータとして、図6に示すようなテーブルにまとめられ、RAM14に記憶される(SB3)。
バックアップデータが記憶されると、バックアップデータが記憶される処理が終了し、次の処理が、図3Aに示すメイン処理のSA6に戻る。本実施形態において、画像データ及びバックアップデータを記憶するRAM14が、本発明の情報記憶部の一例である。
(対話表示モード)
対話表示モードの処理では、先ず、表示中のコンテンツ画像COのコンテンツデータに含まれる識別子の情報が認識され、図7に示すROM13に記憶されている判断テーブルが読み出され、参照される(SC1)。
対話表示モードの処理では、先ず、表示中のコンテンツ画像COのコンテンツデータに含まれる識別子の情報が認識され、図7に示すROM13に記憶されている判断テーブルが読み出され、参照される(SC1)。
図7に示す判断テーブルが参照されることで、表示中のコンテンツ画像COのコンテンツデータに含まれる識別子情報から、観察者Pが対話可能な状態を示す「対話可能」か、対話できない状態を示す「対話不可」か、対話を優先して行うべき状態を示す「対話優先」なのかの判定が行われる。
なお、ここで「対話可能」、「対話不可」、「対話優先」は、本発明における画像情報の重要度に対応する。即ち、画像情報の重要度が低い場合、観察者Pは対話に集中すべき状況であるため「対話優先」、重要度が高い場合、観察者Pは対話よりコンテンツ画像COを集中して視認すべき状況であるため「対話不可」、重要度が中程度の場合、観察者Pはコンテンツ画像COを視認しながら対話することができる状況であるため「対話可能」、と各々判定される。
図7の判断テーブルについて、一例を挙げて詳細に説明する。一般的に通信制御回路9を使用する通信が実行される必要のあるコンテンツ画像COは、観察者Pが目を離すことのできないものであり、重要度が高い。そのため、本処理では、CPU12により、「対話不可」と判定される。
判断テーブルが参照されると、判断テーブルから、観察者Pが「対話優先」の状態か否かが判断される(SC2)。「対話優先」であると判断されると(SC2:Yes)、対話優先モードに入り、図3Dに示すフローチャートに従って、表示制御が行われる(SC3)。
観察者Pが「対話優先」の状態ではないと判断されると(SC2:No)、判断テーブルから、観察者Pが「対話可能」な状態か否かが判断される(SC4)。「対話可能」であると判断されると(SC4:Yes)、対話可能モードに入り、図3Eに示すフローチャートに従って、表示制御が行われる(SC5)。
観察者Pが「対話可能」な状態ではないと判断されると(SC4:No)、判断テーブルから、観察者Pが「対話不可」な状態であると判断される。そして、対話不可モードに入り、図3Fに示すフローチャートに従って、表示制御が行われる(SC6)。
対話優先モード、対話可能モード、または対話不可モードでの表示制御が終了すると、対話表示モードに設定される(SC7)。対話表示モードに設定されると、対話表示モードで表示する処理が終了し、次の処理が図3Aに示すメイン処理のSA7に戻る。本実施形態におけるCPU12及びステップSC1、SC2、SC4が、本発明の重要度判定部の一例である。
以後、対話優先モード、対話可能モード、対話不可モードの説明を行う。ここまでは、コンテンツ画像COが複数のアプリケーションの表示ウィンドウにより構成されていることを前提としていたが、以後、各モードに対し、コンテンツ画像COは1個のアプリケーションの表示ウィンドウにより構成されていることを前提とする。これは、説明の簡略化のためのものであって、本実施形態において、コンテンツ画像COは複数の表示ウィンドウで構成されていても、1個の表示ウィンドウで構成されていても問題ではない。
(対話優先モード)
対話優先モードの処理では、先ず、CCD5により撮像された顔画像FAとコンテンツ画像COとの重複する領域が算出される(SD1)。ここで算出されるのは、CCD5の撮像範囲SR内における重複領域の位置や面積等である。
対話優先モードの処理では、先ず、CCD5により撮像された顔画像FAとコンテンツ画像COとの重複する領域が算出される(SD1)。ここで算出されるのは、CCD5の撮像範囲SR内における重複領域の位置や面積等である。
重複領域の算出が行われると、算出された重複領域の面積の、コンテンツ画像COの表示範囲ERの面積に対する比率があらかじめ設定された所定値より大きいか否かが判断される(SD2)。
比率が所定値より大きいと判断されると(SD2:Yes)、図8に示すように、表示しているコンテンツ画像COが所定のアイコンICに置き換えられ、アイコンICがコンテンツ画像COの表示範囲ERの左下端に表示される(SD3)。本実施形態では、画像光が観察者Pの左眼に照射されているため、観察者Pは視線方向の左側にコンテンツ画像COを視認している。従って、通常対話相手と真正面に向き合い対話する場合において、アイコンICが表示範囲ERの左下端に表示されることにより、アイコンICは顔画像FAから可及的に遠ざけられ、対話の邪魔にならない。
なお、アイコンICとは、アプリケーションの内容を図または絵で表現したものである。例えば、図8に示すアイコンICは、アプリケーションが文書ファイルであることを示すものである。
SD3において、表示されるアイコンICは、各アプリケーション毎に決まっている。アイコンICの画像データはROM13にあらかじめ記憶されており、SD3において、コンテンツ画像COのアプリケーションに対応するアイコンICの画像データがROM13から読み出され、表示される。本実施形態におけるROM13が、本発明のアイコン記憶部の一例である。
コンテンツ画像COがアイコンICに置き換えられ、アイコンICが表示範囲ERの隅に表示されることで、観察者Pは対向している他者、即ち、顔画像FAに対応する人物との対話に集中することが可能となる。また、コンテンツ画像COをアイコン化することで、対話終了後、観察者Pが、対話開始前に何を視認していたかを思い出すことができる。
SD2において、重複領域の面積の、コンテンツ画像COの表示範囲ERの面積に対する比率があらかじめ設定された所定値以下であると判断されると、図9に示すように、コンテンツ画像COが表示範囲ER内で占めている領域のうち、顔画像FAと重複しない領域が算出され、この領域にコンテンツ画像COが収まる様、コンテンツ画像COが縮小される(SD4)。
顔画像FAとコンテンツ画像COとが重複しない大きさに、コンテンツ画像COが縮小されることで、観察者Pは対向している他者、即ち、顔画像FAに対応する人物との対話に集中することが可能となる。また、コンテンツ画像COを縮小して、残しておくことで、対話終了後、観察者Pが、対話開始前に何を視認していたかを思い出すことができる。
なお、重複領域が大きい場合、顔画像FAとコンテンツ画像COとが重複しない大きさに、コンテンツ画像COが縮小されると、観察者Pが、コンテンツ画像COの内容を把握できなくなるほど、コンテンツ画像COが小さくなる。このため、重複領域が大きい場合に、コンテンツ画像COが縮小されるのでなく、アイコン化されることで、観察者Pは対話後に、対話開始前に何を視認していたかを即座に思い出すことができる。
SD3またはSD4の表示制御が行われると、対向している他者に観察者Pが「対話優先」の状態であることを、通知部6が通知する(SD5)。
具体的には、通知部6に「対話優先」と表示させるための信号が通知部6に送信され、「対話優先」と表示され、観察者Pが「対話優先」の状態であることが対向している他者に通知される。
SD5において、「対話優先」の状態であることの通知が行われると、対話優先モードが終了し、次の処理が図3Cに示す対話表示モードで表示する処理のSC7に戻る。
(対話可能モード)
この対話可能モード処理では、SD1と同様、先ず、CCD5により撮像された顔画像FAとコンテンツ画像COとの重複する領域が算出される(SE1)。重複領域の算出が行われると、図10に示すように、顔画像FAとコンテンツ画像COとが重複しない位置まで、コンテンツ画像COが大きさを保持した状態で平行移動させられた場合に、コンテンツ画像COが表示範囲ERを越えるか否かが判断される(SE2)。
この対話可能モード処理では、SD1と同様、先ず、CCD5により撮像された顔画像FAとコンテンツ画像COとの重複する領域が算出される(SE1)。重複領域の算出が行われると、図10に示すように、顔画像FAとコンテンツ画像COとが重複しない位置まで、コンテンツ画像COが大きさを保持した状態で平行移動させられた場合に、コンテンツ画像COが表示範囲ERを越えるか否かが判断される(SE2)。
コンテンツ画像COが表示範囲ERを越えると判断されると、図10に示すように、顔画像FAとコンテンツ画像COとが重複しない位置まで、コンテンツ画像COが大きさを保持した状態で、平行移動させられた後、表示範囲ERを越える分だけ、表示ウィンドウが縮小する(SE3)。表示ウィンドウを縮小すると、図10に示すように、コンテンツ画像COを顔画像FAと重複しない位置まで、移動する(SE4)。
顔画像FAとコンテンツ画像COとが重複しない位置まで、コンテンツ画像COが大きさを保持した状態で、平行移動させられた場合に、コンテンツ画像COが表示範囲ERを越えないと判断されると(SE2:No)、図11に示すように、顔画像FAとコンテンツ画像COとが重複しない位置まで、コンテンツ画像COが大きさを保持した状態で、平行移動させられる(SE4)。
SE4の表示制御が行われると、対向している他者に観察者Pが「対話可能」の状態であることを、通知部6が通知する(SE5)。
具体的には、通知部6に「対話可能」と表示させるための信号が通知部6に送信され、「対話可能」と表示させられ、観察者Pが「対話可能」の状態であることが伝えられる。
「対話可能」の状態であることの通知が行われると、対話可能モードが終了し、次の処理が図3Cに示す対話表示モードで表示する処理のSC7に戻る。
(対話不可モード)
対話不可モード処理では、SD1、SE1と同様、先ず、CCD5により撮像された顔画像FAとコンテンツ画像COとの重複する領域が算出される(SF1)。
対話不可モード処理では、SD1、SE1と同様、先ず、CCD5により撮像された顔画像FAとコンテンツ画像COとの重複する領域が算出される(SF1)。
重複領域の算出が行われると、重複領域におけるコンテンツ画像COの輝度値が、ROM13に記憶されている閾値以下か否かが判断される(SF2)。
重複領域におけるコンテンツ画像COの輝度値が、閾値以下であると判断される(SF2:Yes)と、あらかじめROM13に記憶されている高出力用のガンマテーブルが読み出される。そして、読み出された高出力用ガンマテーブルを用いて重複領域におけるコンテンツ画像COが表示される(SF3)。
ガンマテーブルとは、図12Aに示すような、Rレーザ、Gレーザ、Bレーザの各レーザの、各階調に対する出力パワーを示すテーブルである。ガンマテーブルには出力パワーの最大値が設定されている。高出力用ガンマテーブルでは、図12Bに示すように、出力パワーの最大値が、図12Aに示した通常のガンマテーブルで設定されているものよりも大きな値で設定されている。従って、高出力用ガンマテーブルを用いて重複領域におけるコンテンツ画像COが表示されることで、図13に示すように、重複領域におけるコンテンツ画像COがはっきりと表示されるようになる。
SF3の表示制御が行われると、対向している他人に観察者Pが「対話不可」の状態であることを、通知部6が通知する(SF4)。
具体的には、通知部6に「対話不可」と表示させるための信号が通知部6に送信され、「対話不可」と表示され、観察者Pが「対話不可」の状態であることが伝えられる。
重複領域におけるコンテンツ画像COの輝度値が、閾値より大きいと判断される(SF2:No)と、高出力用のガンマテーブルが用いられずとも、観察者Pがコンテンツ画像COを明確に視認できる状況であるため、そのままSF4に進み、観察者Pが「対話不可」の状態であることが対向している他人に通知される。
「対話不可」の状態であることの通知が行われると、対話不可モードが終了し、次の処理が図3Cに示す対話表示モードで表示する処理のSC7に戻る。
ここまで、対話優先モード、対話可能モード、対話不可モードの説明を行ってきた。VRAM15は、各モードにおいて、コンテンツ画像COやアイコン画像IC等が表示される際に、ROM13やRAM14から読み出されたコンテンツ画像COやアイコン画像IC等が表示の前に一度描画される領域である。
VRAM15に描画されたコンテンツ画像COやアイコン画像IC等のデータは、信号処理回路21に供給され、観察者Pに視認される。
(変形例)
本実施形態において、観察者Pが「対話優先」、「対話可能」、「対話不可」のいずれの状態にあるかは、図8に示すような判断テーブルに則って、判定されていたが、これに限らず、例えば、図14に示すように判定されてもよい。
本実施形態において、観察者Pが「対話優先」、「対話可能」、「対話不可」のいずれの状態にあるかは、図8に示すような判断テーブルに則って、判定されていたが、これに限らず、例えば、図14に示すように判定されてもよい。
図14に示した変形例は、図3Cに示した対話表示モードで表示する処理に相当する部分についての変形例である。
対話表示モードで表示する処理では、先ず、通信制御回路9が起動し、HMD1が外部装置と通信を行っているか否かが判断される(SX1)。
外部装置と通信中であると判断されると(SX1:Yes)、観察者Pは、「対話不可」であると判定され、図3Fに示す対話不可モードに入る(SX2)。
外部装置と通信中でないと判断されると(SX1:No)、観察者PがHMD1をモニタとして用い、文書を書くなどの操作を行っているか否かが判断される(SX3)。
観察者Pが文書作成のために操作中であると判断される(SX3:Yes)と、観察者Pは、「対話可能」であると判定され、図3Eに示す対話可能モードに入る(SX4)。
観察者Pが文書作成のために操作中でないと判断される(SX3:No)と、観察者Pは、「対話優先」であると判定され、図3Dに示す対話優先モードに入る(SX5)。対話優先モード、対話可能モード、または対話不可モードでの表示制御を実施すると、対話表示モードに設定される(SX6)。対話表示モードに設定されると、対話表示モードで表示する処理が終了し、次の処理が図3Aに示すメイン処理のSA7に戻る。本変形例におけるCPU12及びステップSX2、SX4、SX5が、本発明の制御部の一例であり、本変形例におけるCPU12及びステップSX1、SX3が、本発明の重要度判定部の一例である。
本実施形態においては、HMD1は、網膜走査型ディスプレイであったが、これに限らず、HMD1は、LCD表示パネル等を用いたヘッドマウントディスプレイ装置であってもよい。
本実施形態は観察者Pの左眼に対し、コンテンツ画像COの表示を行う片眼モデルであったが、両眼モデルであってもよい。
本実施形態において、観察者Pの状況は、「対話優先」、「対話可能」、「対話不可」の3種類の状態のいずれかに分類され、判定されていたが、これに限らず、例えば、6種、7種といった具合に細かく分類され、判定されてもよい。また、対話できるか、否かといった判定に限らず、例えば、観察者Pが通信を用いた作業をしているか、または文書作成を行っているかといった観察者Pの作業内容を判定するものであってもよい。
本実施形態において、観察者Pが「対話優先」の状態であると判定された場合、コンテンツ画像COはアイコン化されるか、または縮小されるかであったが、これに限らず、例えば、一度バックアップデータがRAM14に記憶された後、表示範囲ERから消去されてもよい。「対話可能」、「対話不可」いずれの場合も同様に、表示制御の仕方は本実施形態のものだけに限らない。
本実施形態において、撮像方向と観察者Pがコンテンツ画像COを視認する方向とはあらかじめ決められていたが、これに限らず、例えば、特開平7-49744号公報に開示されているように観察者Pの視線方向を検知する手段がHMD1に設けられ、検出された観察者Pの視線方向と撮像部の撮像方向とを一致させるよう制御する構成であってもよい。
本実施形態において、観察者Pが「対話優先」、または「対話可能」な場合、コンテンツ画像COは、顔画像FAと重複しないように表示制御されていたが、これに限らず、例えば、コンテンツ画像COを暗くするなどの表示制御であってもよい。
1 HMD
2 フレーム部
3 画像表示部
4 ハーフミラー
5 CCD
6 通知部
7 システムボックス
10 統括制御部
12 CPU
13 ROM
14 RAM
15 VRAM
21 信号処理回路
P 観察者
Ea 瞳孔
CO コンテンツ画像
BG 外景
ER 表示範囲
SR 撮像範囲
FA 顔画像
IC アイコン
2 フレーム部
3 画像表示部
4 ハーフミラー
5 CCD
6 通知部
7 システムボックス
10 統括制御部
12 CPU
13 ROM
14 RAM
15 VRAM
21 信号処理回路
P 観察者
Ea 瞳孔
CO コンテンツ画像
BG 外景
ER 表示範囲
SR 撮像範囲
FA 顔画像
IC アイコン
Claims (11)
- 観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置であって、
少なくとも前記画像光による画像が観察者により視認される範囲内において、前記外景の画像を撮像する撮像部と、
前記撮像部により撮像された前記外景の画像から人の顔画像を検出する顔検出部と、
前記顔検出部により前記顔画像が検出された場合に、前記顔画像と前記画像光による画像とが重複しているか否かを判断する重複判断部と、
前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記画像光による画像の位置または大きさを制御する制御部と、
を備えたことを特徴とするヘッドマウントディスプレイ装置。 - 前記画像情報の重要度を判定する重要度判定部を備え、
前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記重要度判定部により判定された前記画像情報の重要度に基づいて、前記画像光による画像が前記顔画像と重複しないように、前記観察者により視認される前記画像光による画像の位置または大きさを制御することを特徴とする請求項1に記載のヘッドマウントディスプレイ装置。 - 前記重要度判定部は、前記画像情報の内容から、前記観察者が行っている作業内容を判定し、その判定結果に基づいて、前記画像情報の重要度を判定することを特徴とする請求項2に記載のヘッドマウントディスプレイ装置。
- 前記画像情報は前記画像情報を識別するための識別子情報を含んでおり、
前記重要度判定部は、前記識別子情報に基づいて、前記画像情報の重要度を判定することを特徴とする請求項2に記載のヘッドマウントディスプレイ装置。 - 前記画像情報の各々は前記画像情報を識別するための識別子情報を含んでおり、
前記識別子情報の各々に対応するアイコンをあらかじめ記憶しているアイコン記憶部を備え、
前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が低いと判定されると、前記アイコン記憶部から前記画像情報に含まれる前記識別子情報に対応する前記アイコンを読み出し、読み出した前記アイコンが前記顔画像と重複しない位置または大きさで前記観察者により視認されるように制御することを特徴とする請求項2~4のいずれかに記載のヘッドマウントディスプレイ装置。 - 前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が高いと判定されると、重複部分における前記画像光による画像の輝度を上げることを特徴とする請求項2~4のいずれかに記載のヘッドマウントディスプレイ装置。
- 前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が中程度と判定されると、前記画像光による画像と前記顔画像とが重複しないように前記画像光による画像を、大きさを保持した状態で移動させることを特徴とする請求項2~4のいずれかに記載のヘッドマウントディスプレイ装置。
- 前記画像情報と前記観察者により視認される前記画像光による画像の位置または大きさに関する属性情報とを記憶するための情報記憶部を備え、
前記顔検出部は、所定の時間の間隔で前記撮像部により撮像された前記外景から前記顔画像を検出し、
前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記観察者により現在視認されている前記画像光による画像に関する前記画像情報と前記属性情報とを前記情報記憶部に記憶させ、前記画像光による画像が前記顔画像と重複しないように、前記観察者により視認される前記画像光による画像の位置または大きさを制御し、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された時点から前記所定の時間が経過した後、前記顔検出部により前記顔画像が検出されなかった場合に、前記情報記憶部に記憶された前記画像情報と前記属性情報とを読み出し、読み出した前記画像情報に基づいた前記画像光による画像が、読み出した前記属性情報に基づいた位置または大きさで、前記観察者により視認されるように制御することを特徴とする請求項1に記載のヘッドマウントディスプレイ装置。 - 前記重要度判定部により判定された前記画像情報の重要度を前記観察者以外の他者に通知する通知部を備える請求項2に記載のヘッドマウントディスプレイ装置。
- 観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御方法であって、
少なくとも前記画像光による画像が観察者により視認される範囲を含む範囲内において、前記外景の画像を撮像する撮像ステップと、
前記撮像ステップにより撮像された前記外景の画像から人の顔画像を検出する顔検出ステップと、
前記顔検出ステップにより前記顔画像が検出された場合に、前記顔画像と前記画像光による画像とが重複しているか否かを判断する重複判断ステップと、
前記重複判断ステップにより前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記観察者により視認される前記画像光による画像の位置または大きさを制御する制御ステップと、
を備えたことを特徴とする画像制御方法。 - 観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御プログラムであって、
少なくとも前記画像光による画像が観察者により視認される範囲を含む範囲内において、前記外景の画像を撮像する撮像ステップと、
前記撮像ステップにより撮像された前記外景の画像から人の顔画像を検出する顔検出ステップと、
前記顔検出ステップにより前記顔画像が検出された場合に、前記顔画像と前記画像光による画像とが重複しているか否かを判断する重複判断ステップと、
前記重複判断ステップにより前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記観察者により視認される前記画像光による画像の位置または大きさを制御する制御ステップと、
をコンピュータにより実現する画像制御プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009-058958 | 2009-03-12 | ||
JP2009058958A JP5481890B2 (ja) | 2009-03-12 | 2009-03-12 | ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2010103955A1 true WO2010103955A1 (ja) | 2010-09-16 |
Family
ID=42728245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2010/053289 WO2010103955A1 (ja) | 2009-03-12 | 2010-03-02 | ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5481890B2 (ja) |
WO (1) | WO2010103955A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2793070A1 (fr) * | 2013-04-19 | 2014-10-22 | Thales | Systeme de visualisation hybride affichant des informations en superposition sur l'exterieur |
WO2015085692A1 (zh) * | 2013-12-12 | 2015-06-18 | 京东方科技集团股份有限公司 | 开放式头戴显示装置及其显示方法 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5464130B2 (ja) * | 2010-11-18 | 2014-04-09 | 日本電気株式会社 | 情報表示システム、装置、方法及びプログラム |
JP5195942B2 (ja) * | 2011-01-24 | 2013-05-15 | ブラザー工業株式会社 | 走査型画像表示装置 |
US20130088507A1 (en) * | 2011-10-06 | 2013-04-11 | Nokia Corporation | Method and apparatus for controlling the visual representation of information upon a see-through display |
JP5958689B2 (ja) * | 2012-03-22 | 2016-08-02 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
JP6020009B2 (ja) * | 2012-09-28 | 2016-11-02 | ブラザー工業株式会社 | ヘッドマウントディスプレイ、それを作動させる方法およびプログラム |
US20160054565A1 (en) * | 2013-03-29 | 2016-02-25 | Sony Corporation | Information processing device, presentation state control method, and program |
JP6205189B2 (ja) * | 2013-06-28 | 2017-09-27 | オリンパス株式会社 | 情報提示システム及び情報提示システムの制御方法 |
JP5825328B2 (ja) * | 2013-11-07 | 2015-12-02 | コニカミノルタ株式会社 | 透過型hmdを有する情報表示システム及び表示制御プログラム |
JP6402718B2 (ja) * | 2013-11-08 | 2018-10-10 | ソニー株式会社 | 情報処理装置、制御方法およびプログラム |
JP6589855B2 (ja) * | 2014-02-21 | 2019-10-16 | ソニー株式会社 | 頭部装着ディスプレイ、制御装置および制御方法 |
US10529359B2 (en) | 2014-04-17 | 2020-01-07 | Microsoft Technology Licensing, Llc | Conversation detection |
US9922667B2 (en) | 2014-04-17 | 2018-03-20 | Microsoft Technology Licensing, Llc | Conversation, presence and context detection for hologram suppression |
JP6152888B2 (ja) * | 2014-12-25 | 2017-06-28 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム |
US10545714B2 (en) | 2015-09-04 | 2020-01-28 | Samsung Electronics Co., Ltd. | Dual screen head mounted display |
US20170230640A1 (en) * | 2016-02-05 | 2017-08-10 | Samsung Electronics Co., Ltd. | Portable image device with external display |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08147133A (ja) * | 1994-11-17 | 1996-06-07 | Hitachi Ltd | 画面表示制御方式及び装置 |
JP2006099216A (ja) * | 2004-09-28 | 2006-04-13 | Matsushita Electric Ind Co Ltd | 迷惑視聴防止型情報提示装置 |
JP2006178842A (ja) * | 2004-12-24 | 2006-07-06 | Matsushita Electric Ind Co Ltd | 情報提示装置 |
WO2007129443A1 (ja) * | 2006-04-26 | 2007-11-15 | Nikon Corporation | ウエアラブルディスプレイ |
-
2009
- 2009-03-12 JP JP2009058958A patent/JP5481890B2/ja not_active Expired - Fee Related
-
2010
- 2010-03-02 WO PCT/JP2010/053289 patent/WO2010103955A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08147133A (ja) * | 1994-11-17 | 1996-06-07 | Hitachi Ltd | 画面表示制御方式及び装置 |
JP2006099216A (ja) * | 2004-09-28 | 2006-04-13 | Matsushita Electric Ind Co Ltd | 迷惑視聴防止型情報提示装置 |
JP2006178842A (ja) * | 2004-12-24 | 2006-07-06 | Matsushita Electric Ind Co Ltd | 情報提示装置 |
WO2007129443A1 (ja) * | 2006-04-26 | 2007-11-15 | Nikon Corporation | ウエアラブルディスプレイ |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2793070A1 (fr) * | 2013-04-19 | 2014-10-22 | Thales | Systeme de visualisation hybride affichant des informations en superposition sur l'exterieur |
FR3004817A1 (fr) * | 2013-04-19 | 2014-10-24 | Thales Sa | Systeme de visualisation hybride affichant des informations en superposition sur l exterieur |
US9569893B2 (en) | 2013-04-19 | 2017-02-14 | Thales | Hybrid display system displaying information by superimposition on the exterior |
WO2015085692A1 (zh) * | 2013-12-12 | 2015-06-18 | 京东方科技集团股份有限公司 | 开放式头戴显示装置及其显示方法 |
US10237544B2 (en) | 2013-12-12 | 2019-03-19 | Boe Technology Group Co., Ltd. | Open head mount display device and display method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP5481890B2 (ja) | 2014-04-23 |
JP2010211662A (ja) | 2010-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5481890B2 (ja) | ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム | |
US9652036B2 (en) | Device, head mounted display, control method of device and control method of head mounted display | |
JP5141672B2 (ja) | ヘッドマウントディスプレイ装置、及びヘッドマウントディスプレイ装置を用いた画像共有システム | |
WO2010073879A1 (ja) | ヘッドマウントディスプレイ | |
JP5304329B2 (ja) | ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム | |
JP6534292B2 (ja) | ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法 | |
US20110267321A1 (en) | Head mounted display and drive method thereof | |
JP5262688B2 (ja) | プレゼンテーションシステム及びそのプログラム | |
JP6111659B2 (ja) | 表示装置、および、表示装置の制御方法 | |
JP2010066599A (ja) | ヘッドマウントディスプレイ | |
CN105334913B (zh) | 一种电子设备 | |
WO2007116743A1 (ja) | 画像表示装置 | |
JP2011091789A (ja) | ヘッドマウントディスプレイ | |
JP2016189044A (ja) | 表示装置、及び、表示装置の制御方法 | |
JP2010139901A (ja) | ヘッドマウントディスプレイ | |
CN102681312A (zh) | 激光投影系统的人眼安全保护系统 | |
JP5212155B2 (ja) | ヘッドマウントディスプレイ | |
JP2008176096A (ja) | 画像表示装置 | |
JP2017009986A (ja) | 画像投影装置 | |
JP2011075956A (ja) | ヘッドマウントディスプレイ | |
JP2006195665A (ja) | 情報処理装置 | |
JP2010067154A (ja) | ヘッドマウントディスプレイ、情報閲覧システム及び管理サーバ | |
JP2016024208A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP2011059435A (ja) | ヘッドマウントディスプレイ | |
JP2011071884A (ja) | 作業支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10750709 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 10750709 Country of ref document: EP Kind code of ref document: A1 |