WO2005043218A1 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
WO2005043218A1
WO2005043218A1 PCT/JP2004/016025 JP2004016025W WO2005043218A1 WO 2005043218 A1 WO2005043218 A1 WO 2005043218A1 JP 2004016025 W JP2004016025 W JP 2004016025W WO 2005043218 A1 WO2005043218 A1 WO 2005043218A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
observer
specific object
display device
unit
Prior art date
Application number
PCT/JP2004/016025
Other languages
English (en)
French (fr)
Inventor
Shoji Yamada
Yasufumi Mase
Original Assignee
Brother Kogyo Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2004068889A external-priority patent/JP4599858B2/ja
Application filed by Brother Kogyo Kabushiki Kaisha filed Critical Brother Kogyo Kabushiki Kaisha
Publication of WO2005043218A1 publication Critical patent/WO2005043218A1/ja
Priority to US11/413,046 priority Critical patent/US7825996B2/en

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475—Constructional details of television projection apparatus
    • H04N5/7491—Constructional details of television projection apparatus of head mounted projectors

Definitions

  • the present invention relates to an image display device that allows a viewer to visually recognize a display target as a virtual image by projecting light onto a retina of the viewer, and particularly relates to an image display device that displays an image to the viewer.
  • the present invention relates to a technology for performing control in consideration of a user's operation.
  • An image display device for projecting light onto an observer's retina to allow the observer to view a display object with a virtual image is already known (for example, see Japanese Patent Application Laid-Open No. 8-21975). .).
  • This type of image display device generally includes (a) an emission unit (for example, a light source) that emits light;
  • an emission unit for example, a light source
  • a modulator for modulating light for example, an intensity modulator, a wavefront modulator, etc.
  • a display for displaying a display object (content or object) as a virtual image in an image display area It is configured to include a control unit that controls the emission unit and the modulation unit so that an image is displayed in the image display area.
  • One type of this type of image display device is a head mounted type in which the display unit is used by being mounted on the observer's head, and one prior art is disclosed in Japanese Patent Application Laid-Open No. Hei 8-21975. Is disclosed in Japanese Patent Application Laid-Open No. Hei 8-21975. Is disclosed in Japanese Patent Application Laid-Open No. Hei 8-21975. Is disclosed in Japanese Patent Application Laid-Open No. Hei 8-21975. Is disclosed in Japanese Patent Application Laid-Open No. Hei 8-21975. Is disclosed in Japanese Patent Application Laid-Open No. Hei 8-21975. Is disclosed in Japanese Patent Application Laid-Open No. Hei 8-21975. Is disclosed in Japanese Patent Application Laid-Open No. Hei 8-21975. Is disclosed in Japanese Patent Application Laid-Open No. Hei 8-21975. Is disclosed in Japanese Patent Application Laid-Open No. Hei 8-21975. Is disclosed in Japanese Patent Application Laid-Open No. Hei 8-21
  • the observer can display the image regardless of the observer's movement.
  • the image will be observed at the same position within the area (fixed to the observer's head). That is, the observer observes the image in a state where the image is fixed to the display unit, that is, in a state where the display position of the image is fixed in the field of view of the observer.
  • the image display device is a see-through type
  • an observer can superimpose an image on a real outside world and observe it together with the image.
  • this image display device is designed so that an image is observed while being fixed in the field of view of the observer, The image is fixed in the observer's field of view despite the movement of the body (eg, body movement, head movement). For this reason, an observer who recognizes that an image should be originally observed in a fixed external world is perceived as unnatural to an image immovably displayed in a visual field, not in the external world.
  • the present inventor has studied the above-mentioned head-mounted image display device on the relationship between the movement of the observer and the display of an image to the observer. As a result, it is possible to control the display of an image to the observer by relatively detecting the observer's movement based on the observer's position and referring to the detected observer's movement. I realized that it was possible.
  • the present invention provides an image display device that projects light on the retina of an observer so that the display target can be visually recognized by the observer as a virtual image.
  • the purpose of this study was to propose a new technology to control the motion of the observer in consideration of the observer's motion.
  • An emission unit that emits light is an emission unit that emits light
  • a modulator for modulating the light is a modulator for modulating the light
  • a display unit that emits the modulated light to an observer's retina through an emission port to display an image representing the display target as a virtual image in an image display area, and is attached to the observer's head.
  • a control unit that controls the emission unit and the modulation unit so that the image is displayed in the image display area, and relatively detects an operation of the observer with reference to the position of the observer; Performing at least one of on / off of the display of the image and change of a display position of the image in accordance with the detected operation;
  • An image display device including:
  • an observer uses an image display device in which the observer uses a virtual image to project a display target by projecting light onto the observer's retina
  • the observer may use an image display device.
  • the viewer wishes to temporarily stop displaying the image, prevents the observer's view from being disturbed by the image displayed in the image display area, or prevents the observer from moving. Therefore, there is a possibility that the user desires to move the display position in a desired relationship.
  • the image displayed in the image display area is temporarily deleted, or the displayed image is a part of the body of the observer (for example, It is possible to make it seem as if it is fixed to the waist). Furthermore, it is possible to change the normal position (for example, the center position) where the image is normally displayed in the image display area to the retracted position (for example, a position close to the edge of the image display area) retracted from the normal position. It is.
  • the image display device may, for example, issue a command to temporarily stop (turn off) the display of an image (or a finger for restarting (turning on) the display of a temporarily stopped image). Command) or a command to change the display position of the image to the retreat position from the normal position (or a command to return the temporarily changed display position to the normal position) by the observer.
  • a command to temporarily stop (turn off) the display of an image or a finger for restarting (turning on) the display of a temporarily stopped image.
  • a command to change the display position of the image to the retreat position from the normal position or a command to return the temporarily changed display position to the normal position
  • the observer is forced to use his hand to operate the operation unit. Therefore, in this case, the observer must temporarily suspend the manual operation in order to observe the image while performing another manual operation. Further, when the position of the operation unit changes, the target position where the observer moves his hand to operate the operation unit also changes accordingly. As a result, for example, each time the user attempts to manually operate the operation unit, he or she must visually or tactilely search for the position of the operation unit and move his / her hand to that position prior to the manual operation. It has to be done and it is troublesome.
  • the motion of the observer is relatively detected with reference to the position of the observer, and the display of the image is displayed in accordance with the detected motion.
  • Display control is performed, which is at least one of ON'OFF and change of the display position.
  • this image display device it is necessary for the image display device to detect the above-mentioned wishes of the image display (for example, turning on and off the image display and changing the image display position). It is not indispensable to provide such an operation unit in the image display device. Further, it is not essential for the observer to use the hand to operate the operation unit in order for the observer to input such a request into the image display device.
  • the image display device of this section in order for the observer to input a request for image display to the image display device, the observer performs the operation in parallel while using the image display device. It is possible to implement the image display device in such a manner that the work does not need to be interrupted.
  • an operation required of the observer in order for the observer to input a request for image display to the image display device is performed by a position of the image display device (for example, , The position of the operation unit).
  • a position of the image display device for example, , The position of the operation unit.
  • the observer searches for a specific target object (eg, a button, a switch, a dial, a touch panel, etc.) of the operation unit and inputs the desired image display. It is not necessary to perform an operation.
  • the operation of the observer referred to by the image display device for recognizing the observer's desire for image display depends on the position of the observer (of the observer). (A reference part). Therefore, the motion of the observer detected to recognize the observer's desire does not depend on the observer's absolute space, that is, the position of the observer relative to the outside world.
  • this image display device it is possible for the observer to configure the hardware for detecting the movement of the observer in a self-contained manner. That is, it is possible to omit installing hardware for the detection in the outside world. This contributes to the simplification of the hardware configuration for detecting the observer's motion.
  • the "modulation unit” determines the intensity of each light beam component and each light beam component or At least the intensity of the wavefront curvature of the combined light beam can be modulated. It is not essential to configure to modulate the wavefront curvature.
  • An example of the "emitting unit” in this section is a laser light source.
  • An example of the laser light source is a light source having a function of modulating the intensity of emitted light, such as a semiconductor laser. This light source has both a function as an “emission unit” and a function as a “modulation unit”.
  • “change of display position” in this section means, for example, change of a display position of an image in an image display area.
  • a detection unit that detects a relative position with respect to a reference part selected in advance to set a reference position associated with the control unit, wherein the control unit performs the display control based on the detected relative position.
  • the “reference position” in this section is set, for example, as a position on a certain part of the human body, or is a force that separates a certain part force, and is geometrically fixed to a certain part. It can be set as a position.
  • the detection unit includes a first portion and a second portion that can be relatively displaced from each other, and
  • the first part is attached to the detected part, moves integrally with the detected part, and
  • the two parts are attached to the reference part and move integrally with the reference part, and the detection unit further includes detection means for detecting a relative position between the first part and the second part.
  • Item 10 The image display device according to Item 1.
  • the detector since a detector for detecting the movement of the observer is attached to the observer, the detector is mounted on a part installed in the real world (for example, a fixed part such as a floor or a wall). (A sensor installed on a kimono) is not required.
  • the “detection means” in this section detects, for example, a relative position between the first part and the second part using at least one of an electric field, a magnetic field, an electromagnetic wave, light, and a sound wave. It is possible that
  • One of the first part and the second part is a signal generation unit for generating a detection signal for detecting the relative position, and the other is a generated detection signal.
  • the image display device according to item (3) which is a receiving unit that receives an object that propagates in space.
  • the detection unit uses a signal propagating in space to thereby move the first portion that moves integrally with the detected portion of the human body, and the reference portion of the human body.
  • the relative position between the position and the second part moving integrally is detected. Therefore, for the detection, the first part and the second part are connected to a moving mechanism such as a link mechanism, a cable, Connection with each other by a tangible signal transmission medium such as a key.
  • the range in which the relative position between the first part and the second part in the detection unit can be changed in order to achieve the purpose of detecting the movement of the observer It is not restricted, and thus the range in which the observer's movement can be changed is not restricted.
  • the "detection signal" in this section is, for example, an electric field, a magnetic field, an electromagnetic wave, light, a sound wave, or the like.
  • the control unit performs the display control based on the detected relative position when an observer's operation satisfies a set condition (1).
  • the image display device according to any one of the above.
  • An example of the "setting condition" in this section is a condition relating to the orientation of the head of the observer, and the head is oriented in a direction in which the observer faces the front (for example, the observer's head is shifted). Is looking sideways or down).
  • Another example is a condition related to the movement of the observer's hand, where the hand is lifted to a certain position.
  • a normal directional force for example, a force for rotating the eyeball, or a rotation of the head
  • the setting condition includes a first setting condition and a second setting condition.
  • the display of the image is switched to the on state and the off state to temporarily stop the image display, and the display position of the image is changed to the normal position. At least one of moving to the shelter position is performed.
  • the display of the image is switched to the off state and the display is switched to the on state, and the image display is resumed. Therefore, for example, it is possible to display as if the position of the display image is fixed to a part of the body of the observer (for example, the waist). Furthermore, it is also possible to carry out at least one of returning the image display position from the retracted position to the normal position.
  • the detected part is set on at least the head of the observer's head, arms, and feet, and the reference part is set on the observer's waist (2).
  • the reference part is set on the observer's waist (2).
  • the parts to which the observer can give relatively remarkable positional changes include, for example, a head, an arm, and a foot.
  • the waist is a part whose position is relatively stable despite changes in posture.
  • the head moves as a part that moves with the observer's eyes.
  • the detected part is set at least at the head of the observer's head, arm, and foot, and the reference part is the observation part. Is set on the waist of the person.
  • the control unit controls the emission unit and the modulation unit such that an observer observes the image at a position determined with reference to the reference region (2).
  • the image display device according to any one of (6) and (5).
  • the image display device when an image is displayed by the image display device based on the position of the display unit of the image display device, even if the observer performs any operation, the image is displayed on the display of the observer's head. Since the position relative to the part does not change, the observer observes the image at the same position in the image display area (fixed to the observer's head) regardless of the observer's movement. .
  • the image display device is a see-through type, that is, a format that allows an observer to superimpose an image on the real world and observe it together with the image, the observer may use the image display device.
  • a specific task may be performed while intensively observing a specific object in the outside world with the display unit attached to the head.
  • the related information in the course of such a work, it is conceivable to display the related information as an image in the image display area in order to visually refer to information related to the work.
  • the display image is superimposed on the target object, and thus the target object to be observed may be at least partially obstructed by the display image.
  • the observer may wish to observe the above-mentioned related information with his / her gaze deviating from a specific target!
  • a constant posture is when the observer is deeply lowered to look at his waist.
  • Another example is when an observer turns his or her head to look obliquely in front of or almost right beside it.
  • the observer bends his or her arm so that the part of the arm between the wrist and elbow is in front of the observer's upper body and is almost horizontal. If the observer tilts his or her head to look directly at the site, it is a bad idea.
  • the position of the observer who does not display an image based on the position of the display unit of the image display device that is, An image is displayed based on a reference part of a human body as an observer.
  • the detected part for example, the head
  • the reference part for example, the waist
  • the image display state that is, in the ON state
  • the image display position changes with a change in the relative position between the head and the waist or the arm.
  • determining the display position of the image according to the observer's operation and determining the ON / OFF state of the image display according to the observer's operation are independent of each other. There is no coordination between them.
  • the image display device if the display position of the image is determined according to the observer's operation, the image is displayed in the image display area. In such a case, the image is actually displayed in the image display area after waiting for another observer's intention display (for example, including the operation of the operation unit such as a switch by the observer).
  • the operation of the observer for determining the display position of the image and the intention of the observer for finally permitting the image display are independent of each other.
  • the control unit includes: (a) a definition coordinate system used to define the display target; and (b) the image, in order to display the image in the image display area.
  • a display coordinate system that defines an image to be displayed in the display area, the coordinate system being fixed to the display unit,
  • the control unit further detects a relative relationship between the position and orientation of the observer's head and a reference coordinate system predetermined to be associated with the human body, and reflects the detected relative relationship.
  • the definition data defining the display object on the definition coordinate system is converted into display data for displaying the image on the display coordinate system, and based on the converted display data,
  • the image display device according to any one of (1) to (7), which controls the emission unit and the modulation unit.
  • the position and orientation of the observer's head are displayed on the definition coordinate system so as to reflect the relative relationship between the position and the orientation of the observer's head and the reference coordinate system associated with the human body.
  • the definition data defining the target is converted into display data for displaying an image on the display coordinate system.
  • the emission unit and the modulation unit are controlled based on the converted display data.
  • the position at which the image is displayed in the image display area is determined according to the operation related to the observer's head. Since the determined position conceptually includes a position that is not displayed in the image display area, according to this image display device, an image is displayed in the image display area in accordance with an operation related to the observer's head. It will be decided together.
  • the control unit determines that the coordinate system for definition is fixed to the coordinate system for display, and sets the coordinate system for definition to!
  • This image display device is an observer reference display mode described later, which displays an image at a position determined based on the position of the observer so that the observer observes the image.
  • the definition data that defines the display target on the definition coordinate system, that is, the display, so that the position and orientation of the observer's head and the reference coordinate system associated with the human body are reflected.
  • the target data is converted into display data for displaying an image on the display coordinate system.
  • This image display device is a display unit reference display mode described later instead of the observer reference display mode, and is located at a position determined based on the position of the display unit of the image display device. It is possible to do something that displays the image as an observer observes it.
  • the image display device of this section when executing the display unit reference display mode, substantial coordinate conversion is performed on the definition data defining the display target on the definition coordinate system.
  • the definition data without any action is effectively mapped to the display coordinate system.
  • display data for displaying an image on the display coordinate system is obtained as data equal to the definition data.
  • the control unit sets the definition coordinate system to!
  • the image display device according to (8) wherein the display target data in which the display target is defined is converted into display data defined in the display coordinate system. According to this image display device, since the definition coordinate system and the reference coordinate system are equivalent, the image is displayed as if it were fixed to the reference coordinate system.
  • the original data expressed in the defining coordinate system is based on the position and orientation of the observer's head and the reference coordinate system associated with the human body. Based on the relative relationship, the image data is converted into display data for displaying an image on the display coordinate system, whereby the display target data, which is the definition data defined on the definition coordinate system, is mapped to the display coordinate system.
  • the waist is a part whose position is stable irrespective of a change in posture of the human body. Therefore, when it is necessary to relatively detect the position and orientation of the head with reference to the human body, it is desirable to perform the detection based on the position of the waist. Therefore, for example, when an image is displayed in association with the waist of the observer, whether or not the image can be observed by the observer is determined based on the relative relationship between the waist and the head, and the image is observed. In this case, the position at which the image is observed is further determined by the observer.
  • both the reference coordinate system and the defining coordinate system are used. It should be fixed to the waist. This means that the reference coordinate system is also a definition coordinate system.
  • the control unit is different from any of the definition coordinate system and the display coordinate system and is associated with a third coordinate system associated with any part of the human body of the observer.
  • the coordinate system for definition is fixed, and the data for display in which the display target is defined is converted into the display data defined in the coordinate system for display in the coordinate system for definition.
  • the image display device according to (8).
  • the definition The reference coordinate system can be fixed to the waist while the coordinate system is fixed to the arm.
  • This example is an example in a case where the reference coordinate system is a coordinate system different from both the definition coordinate system and the display coordinate system.
  • the reference coordinate system is:
  • the reference coordinate system in (8) or (11) is set to: (a) at least one reference coordinate system associated with the human body; (B) the position information of at least two points associated with the human body, and the combination of at least two pieces of orientation information associated with at least one point; A combination of at least one orientation information associated with at least one of the points and (c) a location information set of at least three points associated with the human body. , Which is specified.
  • the "point associated with the human body” in this section does not only mean a point located on the human body but also an object having a generally fixed positional relationship with the human body (for example, an object mounted on the human body). It may mean a point on the aid.
  • the object can be, for example, an object held and used by the hand of a human body, or an object used by being attached to a part of the human body other than the hand. This object may be configured as a single object in which a plurality of points are commonly associated with each other, or as a plurality of independent objects in which the plurality of points are individually associated one by one or a plurality of points. It is possible to do.
  • the reference coordinate system is specified by position information of three points associated with a single part of the human body.
  • Image display device
  • the "three points" in this section are, for example, three points that are generally arranged at equal intervals on the outer circumference of a cross section when a human body is cut along a generally horizontal plane.
  • the reference coordinate system includes position information of two points associated with a single part of the human body and a direction of gravity acting on one point associated with the single part.
  • the image display device according to any one of (11) to (11).
  • the "two points” in this section are, for example, two points associated with the waist of the human body, which are respectively associated with the left end point and the right end point of the waist, and the left arm of the human body. Two points associated with the region between the wrist and the elbow joint, either of the right arm or two points associated with the shoulder of the human body It is associated with the left end point and the right end point, respectively.
  • the control unit includes: an observer reference display mode for displaying the image at a position determined based on the reference region so that the observer observes the image; Selecting one of a plurality of display modes including a display unit reference display mode for displaying the image at a position determined based on the position so that an observer can observe the image, and selecting the selected mode.
  • the image display device according to any one of (2) to (14), wherein the image is displayed according to the display mode.
  • the mode for displaying an image is such that the image is displayed so that the observer observes the image at a position determined based on the reference region of the observer.
  • a plurality of types of display modes including an observer reference display mode and a display unit reference display mode for displaying an image at a position determined based on the position of the display unit so that the observer observes the image. Selected to either. [0085] Therefore, according to this image display device, it is possible to change the display mode for displaying an image in accordance with an observer's request or a command from another device. It becomes easy to improve versatility.
  • control unit in this section can select a display mode, for example, in accordance with a command from an observer, or in accordance with a command signal of another device power.
  • the "plural types of display modes" in this section further include a real world reference display mode in which the image is displayed at a position determined with reference to the position of the real world so that the observer observes the image. May be included.
  • the "observer command" in this section means, for example, that the observer operates a specific switch.
  • Specific movements of the observer are, for example, head movements, limb movements, eye blinks, and pupil movements.
  • the image display device is of a see-through type that enables an observer to superimpose an image representing the display target on the outside of the real world and observe it together (1) to (16).
  • this image display device display of an image to the observer is controlled in accordance with the observer's operation. Therefore, by adopting the see-through type, in an environment where the image is superimposed on the real world and observed together with it, the observer's movement causes the observer to display the image in relation to the real world. It is easy to reduce the possibility of feeling unnatural.
  • an object that the observer preferentially observes (that is, an object that is particularly gazed at) according to the observer's motion is an image and a specific object in the real world. Can be switched as appropriate. As a result, it is easy to improve the usability of the image display device.
  • the image display device is of a retinal scanning type in which an image is displayed to an observer by two-dimensionally scanning a light beam on the retina of the observer,
  • the modulator modulates a wavefront radius of curvature of a light beam entering the pupil of the observer from the image display area for each frame of an image to be displayed or for each partial area into which the frame is divided.
  • the image display device according to any one of (1) and (17), including a modulation unit.
  • the radius of curvature of the wavefront of light forming an image projected on the retina of the observer is different for each frame of the image to be formed or for each of the divided parts of the frame. Modulated for each area.
  • each partial area in this section is, for example, each pixel constituting a frame, a pixel group adjacent to each other and having a plurality of pixel forces, and the like.
  • the image includes a plurality of objects to be displayed at once, and the plurality of objects includes depth position information for specifying a depth position of each object, and a plurality of objects on a plane at a depth position of each object.
  • the plurality of objects includes depth position information for specifying a depth position of each object, and a plurality of objects on a plane at a depth position of each object.
  • the image display device further includes:
  • a selection unit that selects any of the plurality of objects as a specific object
  • An image processing unit that performs image processing for changing a display mode of the image based on the depth position information corresponding to the specific object selected by the selection unit;
  • the image display device including:
  • the display mode of the image to be displayed can be changed based on the depth position of the specific object. Therefore, the image to be displayed can be changed based on the depth position of the specific object. It can be displayed in various display modes. Therefore, for example, the observer can clearly see the specific object.
  • this image display device it is possible to detect a specific object that the observer is paying attention to, and to perform image processing based on the depth position of the detected specific object. Therefore, for example, the specific object can be clearly seen by the observer.
  • the specific object detection unit includes:
  • a gaze direction detection unit that detects the gaze direction of the observer
  • image information corresponding to the detected line-of-sight direction is searched from among the plurality of image information, and the specific object is searched for based on the searched image information.
  • a decision unit that decides
  • this image display device by detecting the direction of the line of sight of the observer, it is possible to detect the specific object that the observer is looking at.
  • the specific object detection unit includes:
  • a line-of-sight direction detection unit that detects both the left and right gaze directions of the observer, and a line-of-sight direction of the left and right eyes detected by the line-of-sight direction detection unit and a distance between the left and right eyes
  • a calculation unit that calculates the position of the gazing point of the observer based on the calculation result, and detects the specific object based on the calculation result.
  • a specific object of interest to the observer can be detected more accurately by considering the distance between the eyes in addition to the direction of the observer's line of sight.
  • the image processing unit includes a depth position detecting unit that detects a depth position of each of the objects based on the depth position information, wherein the image processing unit Different display modes of at least a specific object among other objects displayed at the same depth position as the specific object and a non-specific object displayed at a depth position different from the depth position of the specific object.
  • a non-specific object displayed at a depth position different from the depth position of the specific object can be displayed in a different mode from the specific object. Therefore, for example, the specific object can be clearly viewed by the observer.
  • the image processing unit includes means for changing the luminance of the specific object (1
  • the brightness of the specific object can be changed based on the depth position of the specific object, so that the observer can clearly see the specific object, for example.
  • the image processing unit includes means for clarifying the outline of the specific object
  • this image display device it is possible to change the sharpness of the outline of the specific object based on the depth position of the specific object. Therefore, for example, the specific object can be clearly viewed by the observer.
  • the contour can be provided along the outer shape of the specific object, for example, the observer can clearly see the specific object.
  • the image processing unit includes means for displaying a non-specific object located in front of the specific object in the plurality of objects in a transparent or translucent manner based on a detection result of the depth position detecting unit.
  • the image display device according to any of (27) to (24).
  • the non-specific object located in front of the specific object is displayed in a transparent or translucent manner. It can be clearly seen without being disturbed by a specific object.
  • An image display device for displaying an image, wherein the image to be displayed includes a plurality of objects to be displayed at once, and the plurality of objects specify a depth position of each object.
  • a plurality of image information having depth position information and plane position information for specifying the position of each object on the plane at the depth position of each object, which is displayed three-dimensionally.
  • a selection unit that selects any of the plurality of objects as a specific object
  • An image processing unit for performing image processing for changing a display mode of the image based on the depth position information corresponding to the specific object selected by the selection unit;
  • An image display device including:
  • a retinal scanning display that directly displays an image on a human retina is already known.
  • the retinal scanning display 400 modulates light in accordance with image information, and causes the modulated light H to be incident on the projection glasses 402 for scanning, thereby performing the projection.
  • the image is optically displayed by the reflected light from the light reflecting portion 404 of the glasses 402.
  • the modulated light H is reflected by the projection glasses 402 and passes through the pupil M2 surrounded by the iris Ml of the observer's eye M. Is focused on the lens M3. By scanning the collected light on the retina M4, an image is displayed on the viewer's retina M4.
  • the angle of diffusion of the modulated light H is shown in FIG.
  • the angle can be changed to each angle indicated by a dashed line.
  • the observer can make the virtual images (images) exist at the positions Pl, P2, and P3, respectively. recognize. Therefore, according to this type of retinal scanning display, an image can be displayed stereoscopically by changing the angle of diffusion of the modulated light H in this manner.
  • an image can be displayed in three dimensions.
  • the observer focuses his or her eye on the distant object and observes the distant object, Because the eyes are out of focus in the foreground, the foreground is perceived as blurry.
  • the eye is focused on a near-view object, the distant object is perceived as blurred because the eye is not focused on a distant place.
  • an object of the image display device is to provide an image display device capable of displaying an image having an object in three dimensions, regardless of the depth position of the object. It is necessary to provide an image that allows the observer to clearly view the image.
  • the display mode of the image to be displayed can be changed based on the depth position of the specific object. It can be displayed in various display modes based on the depth position. Therefore, for example, a clear visual observation of an image by an observer becomes possible.
  • the image processing unit according to the mode (29), wherein the image processing unit performs image processing for displaying the specific object selected by the selection unit and a non-specific object other than the specific object in different display modes.
  • the image display device as described in the above.
  • the specific object can be displayed in a display mode different from that of the non-specific object, the degree of freedom in the display mode of the specific object is improved.
  • the selecting unit may be configured to select an object of interest of the observer among the plurality of objects.
  • this image display device it is possible to detect the specific object that the observer is paying attention to, and to perform image processing based on the depth position of the detected specific object. Therefore, for example, the specific object can be clearly seen by the observer.
  • the specific object detection unit includes:
  • a gaze direction detection unit that detects the gaze direction of the observer
  • image information corresponding to the detected line-of-sight direction is searched from among the plurality of image information, and the specific object is searched for based on the searched image information.
  • a decision unit that decides
  • this image display device it is possible to detect the specific object that the observer is looking at by detecting the direction of the line of sight of the observer.
  • the specific object detection unit includes:
  • a line-of-sight direction detection unit that detects both the left and right gaze directions of the observer, and a line-of-sight direction of the left and right eyes detected by the line-of-sight direction detection unit and a distance between the left and right eyes
  • a calculation unit that calculates the position of the gazing point of the observer based on the calculation result, and detects the specific object based on the calculation result.
  • a specific object of interest to the observer can be detected more accurately by considering the distance between the eyes in addition to the direction of the observer's line of sight.
  • the image processing section includes a depth position detecting section for detecting a depth position of each of the objects based on the depth position information, wherein the image processing section has the same depth position as the specific object and the depth position of the specific object.
  • Image processing of displaying at least a specific object of another object displayed at a depth position of the object and a non-specific object displayed at a depth position different from the depth position of the specific object in different display modes (29)
  • the image display device according to any of (33) to (33). According to this image display device, a non-specific object displayed at a depth position different from the depth position of the specific object can be displayed in a mode different from that of the specific object. Therefore, for example, the specific object can be clearly viewed by the observer.
  • the image processing unit includes means for changing the brightness of the specific object (2
  • the brightness of the specific object can be changed based on the depth position of the specific object, and therefore, for example, the observer can clearly see the specific object.
  • the image processing unit includes means for clarifying the outline of the specific object (
  • this image display device it is possible to change the sharpness of the outline of the specific object based on the depth position of the specific object. Therefore, for example, the specific object can be clearly viewed by the observer.
  • the image processing unit may include means for displaying a non-specific object located in front of the specific object in the plurality of objects transparently or translucently based on a detection result of the depth position detection unit.
  • the image display device according to any of (37) to (37).
  • the non-specific object located in front of the specific object is displayed in a transparent or translucent manner, so that the observer is not obstructed by the non-specific object in front of the specific object. It can be seen clearly.
  • the image processing unit includes means for changing a display mode of a non-specific object within a range forming a predetermined viewing angle with the specific object among the plurality of objects (31).
  • the image display device according to item (37). According to this image display device, it is possible to change the display mode of a non-specific object within a range that forms a predetermined viewing angle with the specific object, so that non-specific objects within the range are hidden. And the like. Therefore, for example, the specific object can be clearly seen by the observer.
  • the image processing unit includes a display object position change unit that changes and displays at least one of the specific object and a non-specific object other than the specific object among the plurality of objects.
  • the image display device according to any one of (39) to (39).
  • the relative depth position between the specific object and the non-specific object can be arbitrarily changed and displayed. Therefore, for example, the observer can clearly see the specific object.
  • a light beam output unit that outputs a light beam according to the plane position information
  • a wavefront curvature modulation unit that modulates a wavefront curvature of the light beam output from the light beam output unit according to the depth position information
  • the image display device according to item (40), wherein the display object position changing unit controls the wavefront curvature modulation unit.
  • an arbitrary object can be displayed at an arbitrary depth position by controlling the wavefront curvature modulation unit. Therefore, for example, the specific object can be clearly viewed by the observer.
  • a depth position detecting unit for detecting a depth position of each of the objects based on the depth position information is included, and the display object position changing unit is configured to detect a depth position of the object based on a detection result of the depth position detecting unit.
  • the image display device according to (40) or (41), further comprising: means for displaying the non-specific object located at a depth position farther than the depth position of the specific object by approaching the vicinity of the specific object. .
  • a non-specific object for example, a background image
  • a non-specific object farther than the specific object
  • the observer focuses the specific object and the non-specific object on the same diopter (focus) state. It can be seen without blurring.
  • a depth position detecting unit for detecting a depth position of each of the objects based on the depth position information is included, and the display object position changing unit is configured to detect a depth position of the object based on a detection result of the depth position detecting unit.
  • the image display device according to (40) or (41), further including means for displaying the non-specific object located at a depth position farther than the depth position of the specific object, further away from the specific object.
  • a non-specific object farther than the specific object can be displayed further away, so that the observer can clearly see the specific object in a state where the perspective is emphasized. Can be visually observed.
  • a luminous flux output unit that displays one pixel with one luminous flux
  • An overlapping object detection unit that detects a non-specific object to be displayed on the specific object at a position in front of the specific object from among the plurality of objects
  • the overlapping object detection unit detects the non-specific object, at least a portion of the non-specific object that should be displayed so as to overlap with the specific object is not hidden by the non-specific object. And the overlapping object display section
  • this image display device when a specific object should normally be displayed on the back side of a non-specific object in front of the specific object, at least the specific object of the non-specific object is displayed in a superimposed manner. The part to be done is displayed transparently. But Thus, the observer can recognize the specific object completely through the overlapping portion with the non-specific object.
  • the overlapping object display unit includes a second display unit that translucently displays at least a part of the non-specific object that is to be displayed so as to overlap the specific object.
  • the image display device as described in the above.
  • this image display device when a specific object should normally be displayed on the back side of a non-specific object in front of the specific object, at least the specific object of the non-specific object is displayed so as to overlap with the specific object.
  • the part to be done is displayed translucently. Therefore, the observer can recognize the specific object by partially transmitting the overlapping portion with the non-specific object.
  • the second display unit displays, in the non-specific object, a portion to be displayed overlapping the specific object, in the same color as the non-specific object and in the same color as the specific object.
  • the image display device further including a mixing ratio changing unit that displays the mixed colors mixed at a certain ratio and changes a ratio of each color in the mixed colors.
  • the image display device according to any of (47) to (47), further including a scanning unit that scans a light beam on the retina according to the plurality of pieces of image information.
  • an image can be displayed directly on the retina by scanning the light beam on the retina.
  • the image display device according to any one of (29) to (29), further including an operation unit operated to selectively disable the operation of the image processing unit. .
  • the operation of the image processing unit can be selectively disabled according to the user's preference. Therefore, usability of the image display device is improved.
  • FIG. 1 is a block diagram conceptually showing an image display device according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram conceptually showing a configuration of a display optical system 10 in FIG. 1.
  • FIG. 3 is a perspective view showing an example in which the head mounting part 40 and the waist mounting part 50 in FIG. 1 are mounted on the head and the waist of the observer, respectively.
  • FIG. 4 is a block diagram extracting and showing several elements for relatively detecting the position and orientation of the observer's head with reference to the waist in the image display device shown in FIG. .
  • FIG. 5 is a flowchart conceptually showing a position detection program executed by computer 220 in FIG.
  • FIG. 6 is a perspective view for explaining a display coordinate system and a reference coordinate system used in the image display device shown in FIG. 1.
  • FIG. 7 is a flowchart conceptually showing a display data creation program executed by a computer in display data conversion circuit 70 in FIG. 1.
  • FIG. 8 is a block diagram conceptually showing an image display device according to a second embodiment of the present invention.
  • FIG. 9 is a flowchart conceptually showing an image processing program executed by computer 66 in FIG.
  • FIG. 10 is a block diagram and an optical path diagram for describing a configuration and operation of a retinal scanning display 200 according to a third embodiment of the present invention.
  • FIG. 11 is a diagram for explaining a configuration of modulated light output section 204 in FIG.
  • FIG. 12 is a diagram for explaining a configuration of a scanning unit 206 and a wavefront curvature modulation unit 208 in FIG.
  • FIG. 13 is a diagram for explaining the principle of the wavefront curvature modulation unit 208 in FIG. 12 modulating the wavefront curvature.
  • FIG. 14 is a flowchart conceptually showing an image processing program executed by computer 220 in FIG.
  • FIG. 15 is a perspective view showing an example of a display image used for specifically describing the image processing program shown in FIG.
  • FIG. 16 is a flowchart conceptually showing an image processing program executed by computer 220 in retinal scanning display 200 according to a fourth embodiment of the present invention.
  • FIG. 17 is a flowchart conceptually showing an image processing program executed by computer 220 in retinal scanning display 200 according to the fifth embodiment of the present invention.
  • FIG. 18 is a flowchart conceptually showing an image processing program executed by computer 220 in retinal scanning display 200 according to the sixth embodiment of the present invention.
  • FIG. 19 is a flowchart conceptually showing an image processing program executed by computer 220 in retinal scanning display 200 according to a seventh embodiment of the present invention.
  • FIG. 20 is a flowchart conceptually showing an image processing program executed by computer 220 in retinal scanning display 200 according to the eighth embodiment of the present invention.
  • FIG. 21 is a flowchart conceptually showing an image processing program executed by computer 220 in retinal scanning display 200 according to a ninth embodiment of the present invention.
  • FIG. 22 is a plan view for explaining execution contents of S702 in FIG. 21.
  • FIG. 23 is a front view showing an example of a display image used for specifically explaining the image processing program shown in FIG. 21.
  • FIG. 24 is a flowchart conceptually showing an image processing program executed by computer 220 in retinal scanning display 200 according to the tenth embodiment of the present invention.
  • FIG. 25 is a front view showing an example of a display image used for specifically explaining the image processing program shown in FIG. 24.
  • FIG. 26 is a perspective view for explaining a conventional example of a retinal scanning display.
  • FIG. 1 is a block diagram conceptually showing an image display device according to the first embodiment of the present invention.
  • This image display device is a retinal scanning display in which a display object is visually recognized by a viewer as a virtual image by projecting a light beam on the retina of the viewer's eye while scanning.
  • the image display device scans a light beam to display an image, and emits the scanned light beam to the observer's eye by directing the display optical system. Is provided.
  • the scanning light beam reaches the retina via the pupil of the observer's eye, so that the observer perceives the image.
  • the display optical system 10 includes a light source 12 that generates and emits a light beam, an intensity modulator 14, a wavefront modulator 16, a scanner 18,
  • the guiding part 20 and the guiding part 20 are included in a common housing 22.
  • One example of the light source 12 is a laser that generates a laser beam, and one example is a semiconductor laser.
  • the intensity modulator 14 modulates the intensity of a light beam incident from the light source 12, and one example of the intensity modulator 14 performs intensity modulation using an acousto-optic effect.
  • the wavefront modulator 16 modulates the wavefront curvature of the light beam incident from the intensity modulator 14.
  • An example of the wavefront modulator 16 performs wavefront modulation using a condenser lens or a reflection mirror arranged so that the position or the curvature is variable on the optical axis of the light beam.
  • the scanner 18 two-dimensionally scans the light beam incident from the wavefront modulator 16.
  • One example of the scanner 18 is a combination of a micromirror for horizontal scanning utilizing resonance of a vibrating body by a vibrator and a galvano mirror for vertical scanning.
  • the guiding section 20 is a section that guides the light flux emitted from the scanner 18 onto the retina of the observer.
  • One example of the guiding section 20 is a relay optical system, and another example is an optical system through which the light beam simply passes.
  • the luminous flux emitted from the guiding section 20 is formed on the housing 22. The light reaches the observer's retina through the light exit 24.
  • the emission port 24 is filled with a transparent material to prevent foreign matter from entering the inside of the housing 22.
  • the display optical system 10 is used by being mounted on the head of the observer. That is, this image display device is a head mounted type.
  • the light source 12 constitutes an example of the “emission section” in the above item (1), and the intensity modulator 14 and the wavefront modulator 16 are the same.
  • the intensity modulator 14 and the wavefront modulator 16 are the same.
  • the guide section 20 and the emission port 24 are configured together to constitute an example of the “display section” in the section.
  • the light source 12 has its own intensity modulation function like a semiconductor laser, it is not essential to provide the intensity modulator 14 independent of the light source 12.
  • the wavefront modulator 16 is unnecessary.
  • the light source 12, the intensity modulator 14, the wavefront modulator 16, and the scanner 18 are mounted on the observer's head.
  • the light source 12 and the intensity modulator 14 are attached to a part of the observer other than the head, for example, a waist, and a light beam emitted from the intensity modulator 14 is a flexible optical transmission medium (for example, The present invention can be implemented in a mode in which the light is transmitted to the head mounting unit 40 via an optical fiber).
  • the display optical system 10 is housed in a common housing 36 together with the interface unit 30, the magnetic field receiving unit 32, and the signal processing circuit 34 in the present embodiment, as shown in FIG.
  • the display optical system 10, the interface unit 30, the magnetic field receiving unit 32, and the signal processing circuit 34 cooperate with each other to form the head mounted unit 40.
  • FIG. 3 is a perspective view showing an example of a mode in which the head mounting portion 40 is mounted on the observer's head.
  • the head mounting part 40 is mounted on the head using the belt 42 so that the mounting position of the head mounting part 40 does not shift.
  • the display optical system 10 and the magnetic field receiving unit 32 are connected to the interface unit 30 in parallel with each other.
  • the magnetic field receiving unit 32 This is a sensor that detects the strength of the magnetic field.
  • the magnetic field receiving unit 32 is connected to the interface unit 30 via the signal processing circuit 34.
  • An example of the signal processing circuit 34 is a conversion circuit that converts a magnetic field strength signal output as an analog signal from the magnetic field receiving unit 32 and representing the strength of the received magnetic field into a digital signal (for example, magnetic field strength data). It is a vessel.
  • the image display device further includes a waist attachment section 50.
  • the waist mounting part 50 is used by being mounted on the waist of the observer.
  • FIG. 3 is a perspective view showing an example of a mode in which the waist attachment section 50 is attached to the waist of the observer.
  • the waist attachment portion 50 is attached to the waist using the belt 52 so that the attachment position of the waist attachment portion 50 is not shifted.
  • the waist attachment section 50 is configured to include a computer 66 having a CPU 60, a RAMZROM 62, and a bus 64 for connecting them.
  • Various programs including a position detection program described later are stored in the ROM section of the RAMZROM 62 in advance.
  • the bus 64 further includes a magnetic field generation unit 68, a display data conversion circuit 70, an operation unit 72, and an image information memory 74, respectively, corresponding to signal processing circuits 78, 80, 82, Connected via 84.
  • One example of each of the signal processing circuits 78, 80, 82, and 84 is a converter that converts a signal format between an analog signal and a digital signal, and another example is that a signal or data is temporarily converted.
  • the buffer to save.
  • the waist attachment section 50 further includes an interface section 90.
  • the interface section 90 is electrically connected to the interface section 30 of the head mounted section 40 via a flexible signal transmission medium 94 (see FIG. 3).
  • the interface unit 90 is connected in parallel with a node 64 and a display data conversion circuit 70.
  • the bus 64 of the waist-mounted section 50 is connected to the magnetic field receiving section 32 through the interface section 90, the signal transmission medium 94, the interface section 30, and the signal processing circuit 34 in that order, so that the magnetic field generated by the
  • the computer 66 can take in the magnetic field intensity signal from the receiver 32! / Puru.
  • the position detection program is executed by the computer 66 in response to the received magnetic field intensity signal, whereby the position and orientation of the head are detected with reference to the waist.
  • the magnetic field generation unit 68 is provided in the waist attachment unit 50 in order to detect the relative relationship of the head to the waist, in cooperation with the magnetic field reception unit 32 in the head attachment unit 40.
  • the magnetic field generation unit 68, the magnetic field reception unit 32, and the part of the computer 66 that executes the position detection program cooperate with each other, so that Relative relationship that relatively detects the position and orientation of the head (accurately, the position and orientation of the head-mounted part 40) with reference to the waist (accurately, based on the position of the waist-mounted part 50)
  • the detection unit 98 is constituted.
  • This relative relationship detector 98 uses a method similar or similar to the magnetic tracking method employed by magnetic trackers already known as position 'tracker or position Z The position and orientation are detected relative to the waist.
  • the magnetic field generating unit 68 is composed of three generating coils (X, ⁇ , Z) that are orthogonal to each other. It has a coil.
  • the magnetic field receiving unit 32 includes a receiving composite coil in which three mutually orthogonal receiving coils (U, V, W) are combined.
  • the composite coil for generation is incorporated in the waist attachment unit 50.
  • the installation direction of the composite coil for generation is defined such that, for example, the positive direction of the Y axis is in front of the observer, and the positive direction of the Z axis is vertically upward.
  • Such a definition can also be applied to the receiving composite coil in the magnetic field receiving unit 32.
  • the above-mentioned three generating coils can be integrally wound and installed at a single point, and are generally arranged on the same plane that crosses the waist mounting part 50. This is also possible. For example, two of the three generating coils can be arranged at the left end and the right end of the waist, respectively, and the other one can be arranged at the center of both ends. The arrangement described above can be similarly applied to the three receiving coils in the magnetic field receiving unit 32. [0193] In the present embodiment, the magnetic fields from the three generating coils belonging to the generating composite coil are received by the three receiving coils belonging to the receiving composite coil. Force A total of nine magnetic field strength data will be output.
  • the position detection program is executed by the computer 66 in order to relatively detect the position and orientation of the head with reference to the waist.
  • FIG. 5 conceptually shows a flowchart of the position detection program. This position detection program is repeatedly executed after the power of the computer 66 is turned on.
  • step S1 In each execution of the position detection program, first, in step S1 (hereinafter simply referred to as “S1”; the same applies to other steps), a magnetic field is generated by the magnetic field generating unit 68. It outputs a signal for instructing the user to perform the operation. In response, the magnetic field generator 68 also generates a magnetic field with the corresponding generated coil force. The magnetic field generator 68 generates a magnetic field from, for example, three generating coils in a time-division manner.
  • a magnetic field strength signal is fetched from the magnetic field receiving unit 32.
  • the magnetic field strength signal is a signal representing the strength of the magnetic field received by each receiving coil, and is taken in from the magnetic field receiving unit 32 in association with each receiving coil.
  • the position and orientation of the head-mounted unit 40 are relatively detected with reference to the waist-mounted unit 50 based on the captured magnetic field intensity signal.
  • the position and orientation of the head-mounted unit 40 are, for example, the position of one point (X-direction position, Y-direction position, and Z-direction position) representing the above-described generating coil, and It is detected based on the respective detection results (one position information and at least two direction information) for at least two directions (for example, the X direction and the Y direction) associated with.
  • the detection result is stored in RAMZROM62.
  • the magnetic field receiving unit 32, the magnetic field generating unit 68, and the part of the computer 66 that executes the position detection program are shared with each other.
  • an example of the “detection section” in the above item (2), an example of the head constitutes an example of the “detected portion” in the above item (2), and an example of the waist portion being an example of the “reference portion” in the above item. It is composed of
  • the magnetic field receiving unit 32 constitutes an example of the "first portion” in the above item (3)
  • the magnetic field generating unit 68 constitutes an example of the "second portion” in the same item.
  • the part of the computer 66 that executes the position detection program constitutes an example of the “detection means” in the same section.
  • the magnetic field generator 68 constitutes an example of the “signal generator” in the above item (4), and the magnetic field receiver 32 constitutes an example of the “receiver” in the same item.
  • the signal generated by the magnetic field generator 68 to generate a magnetic field in the space constitutes an example of the “detection signal” in the same paragraph.
  • three types of coordinate systems are used to display a display target (content) as an image to an observer. That is, the definition coordinate system used to define the display target, the display coordinate system used to define the image displayed in the image display area, the position and orientation of the head (exactly, And the position and orientation of the head-mounted unit 40).
  • the display coordinate system is fixed to the head-mounted unit 40, while the reference coordinate system is fixed to the waist-mounted unit 50.
  • the position and orientation of the head are detected with reference to the lumbar region 50, and an image is displayed in the image display area with reference to the lumbar region 50.
  • the position and orientation of head-mounted portion 40 are detected based on waist-mounted portion 50, and the display position of the image is determined based on waist-mounted portion 50 based on the detection result.
  • the observer can observe the image only when the head is tilted so as to gaze at his / her waist, and in that case, the display position of the image with respect to the display coordinate system is the waist-mounted position. It changes according to the relative relationship between the part 50 and the head-mounted part 40.
  • the reference coordinate system is used to detect the position and orientation of the head-mounted unit 40 with reference to the waist-mounted unit 50. Is the coordinate system used as At the same time, the reference coordinate system determines whether or not to display an image in the image display area with reference to the lumbar region 50 (i.e., a force for turning on the image display and a force for turning off the image display) and displays the image. If so, it is also the coordinate system used to determine its display position.
  • the display coordinate system is a coordinate system used for displaying an image in the image display area based on the head mounted part 40.
  • the reference coordinate system is an XYZ coordinate system fixed to the waist attachment 50.
  • the position of this reference coordinate system is uniquely determined for the current observer by the position and orientation of the generating composite coils X, ⁇ , and Z in the magnetic field generator 68.
  • the display coordinate system is an xyz coordinate system fixed to the head-mounted unit 40.
  • the position of the display coordinate system is uniquely determined for the current observer by the position and orientation of the receiving composite coils U, V, W in the magnetic field receiving unit 32.
  • the reference coordinate system is specified by the position and orientation of the generating composite coils X, Y, and Z built in the waist attachment unit 50.
  • the display coordinate system is specified by the position and orientation of the receiving composite coils U, V, and W incorporated in the head-mounted unit 40.
  • the reference coordinate system is composed of two points representing the waist-mounted portion 50, that is, two arrangements of two generating coils. It is possible to carry out the invention in a manner specified by the position and the direction of gravity acting on the third point, which coincides with or does not coincide with the deviation of the two points. is there.
  • the display coordinate system is composed of two points representing the head-mounted unit 40, that is, two arrangement positions of the two receiving coils and the two points.
  • the present invention can be implemented in a mode specified by the direction of gravity acting on the third point that does not match any of them.
  • the direction of gravity acting on a specific point is detected using a gravity sensor that directly detects gravity, or, for example, a spherical conductor and the conductor rolls.
  • the detection can be performed by using a combination of a rotating body having an inner peripheral surface and an object that moves integrally with a detected object whose gravity action direction is to be detected.
  • the rotating body has a plurality of contact points arranged on the inner peripheral surface thereof in a state in which the contact points are insulated from each other. At a location, at least two of the plurality of contact points are conducted to each other by a conductor. Which of the plurality of contact points is in contact with the conductor at the same time can be determined by detecting the electrical resistance, capacitance, etc. of all pairs consisting of two of the plurality of contact points. It is possible to specify. If the position of the conductor on the inner peripheral surface of the rotating body is known in this manner, the position of the rotating body and the object to be detected is provided on condition that the position of the center of the rotating body is known (for example, does not change). I know the direction.
  • two modes are provided for displaying an image to an observer. That is, a waist-mounted part reference display mode in which an image is displayed so that an observer observes the image at a position determined with reference to the waist-mounted part 50, and a position determined based on the head-mounted part 40. And a head-mounted part reference display mode for displaying the image so that the observer can observe the image.
  • the lumbar region reference display mode is a mode in which the waist of the observer is selected as a reference region and an image is displayed based on the reference region.
  • the waist is an example of the “reference part” in the above item (2) or (15)
  • the waist-mounted part reference display mode is the “observer standard” in the item (15).
  • This is an example of the “display mode”
  • the head-mounted part reference display mode is an example of the “display part reference display mode” in the same section.
  • the waist-mounted part reference display mode is an example of the real world reference display mode. But it will be.
  • an operation unit 72 is provided for the purpose.
  • definition data (display target data) that defines a display target is stored in the image information memory 74.
  • the definition data is created on the coordinate system for definition so as to express the display object.
  • the definition data that does not need to perform any substantial coordinate conversion on the definition data is effectively mapped to the display coordinate system.
  • display data for displaying an image on the display coordinate system is obtained as data equal to the definition data. That is, the display coordinate system and the definition coordinate system are equal to each other, and this is the head-mounted portion reference display mode.
  • the definition data that defines the display target in the coordinate system for definition is not subjected to substantial coordinate conversion, but the definition data is actually reference coordinates. Maps to the system. Thereafter, the definition data is converted into display data for displaying an image on the display coordinate system based on the relative relationship between the position and orientation of the observer's head and the reference coordinate system, whereby the definition data is converted. Maps to the display coordinate system.
  • the definition coordinate system is not originally associated with the display coordinate system or the reference coordinate system.
  • the definition coordinate system is fixed to the display coordinate system, whereby the image is displayed as if it were fixed to the head-mounted part 40.
  • the coordinate system for definition is fixed to the reference coordinate system, whereby the image is displayed as if it were fixed to the waist-mounted part 50.
  • the definition data force The force at which the display data is created (converted) has been described.
  • This process is executed by the display data conversion circuit 70.
  • This display data conversion circuit 70 is mainly composed of a computer (not shown) different from the computer 66, and executes a display data creation program conceptually represented by a flowchart in FIG. It is configured to execute. However, it is not essential to configure the display data conversion circuit 70 using a combi- ter.
  • the display data conversion circuit 70 can be configured using a DSP.
  • the display data creation program is repeatedly executed. In each execution of the display data creation program, first, in S31 of FIG. 7, image information is taken in from the image information memory 74 as definition data. Next, in S32, the selection display mode currently selected by the observer among the head-mounted part reference display mode and the waist-mounted part reference display mode is identified based on the output signal of the operation unit 72.
  • the determination power is NO in S33, and the process proceeds to S34.
  • the definition coordinate system is fixed to the display coordinate system, whereby the fetched definition data is output to the display optical system 10 as display data that is not subjected to coordinate conversion. That is, in the head-mounted part reference display mode, the display coordinate system and the definition coordinate system are equivalent.
  • the display data includes a target value of light intensity (luminance) and a depth value (luminance) for each image display, for each frame of an image, for each field of one frame, or for each pixel. (Wavefront curvature).
  • a portion of the display data representing the target intensity is finally supplied to the intensity modulator 14 so that the intensity of the light beam output from the intensity modulator 14 becomes equal to the target intensity.
  • a portion of the display data representing the target depth is finally supplied to the wavefront modulator 16 so that the wavefront curvature of the light beam output from the wavefront modulator 16 becomes equal to the target wavefront curvature.
  • the determination is SYES in S33, and the process shifts to S35.
  • S35 the position and orientation of the head-mounted unit 40 are relatively detected with reference to the waist-mounted unit 50.
  • the latest detection result is read from the RAMZROM 62.
  • the definition coordinate system is fixed to the reference coordinate system, whereby the fetched definition data is fixed to the reference coordinate system. That is, in the waist-mounted portion reference display mode, the reference coordinate system and the definition coordinate system are equivalent.
  • the mapped definition data is mapped to the display coordinate system so as to reflect the relative detection result of the position and orientation of the head-mounted unit 40.
  • the mapping is performed, for example, as the relative detection result power of the position and orientation of the head-mounted unit 40 when the relative positional relationship between the image represented by the detection result definition data and the reference coordinate system is set. This is performed so that the display position of the image moves within the field of view of the observer. That is, the displayed image is visually recognized as being fixed to the reference coordinate system.
  • the data is output to the display optical system 10 as the definition data force display data on which such mapping has been performed.
  • the waist attachment portion 50 is connected to the (1)
  • control section constitutes an example of the “control section”.
  • the display mode of the objects is controlled. Image processing is performed.
  • the present embodiment is different from the first embodiment in that such image processing is not performed without performing such image processing, but the other elements are common to the first embodiment.
  • the present embodiment will be described. Elements different from those of the first embodiment will be described in detail, while common elements will be referred to using the same reference numerals or names, and will be described in detail. Is omitted.
  • FIG. 8 is a conceptual block diagram of the image display device according to the present embodiment.
  • This image display device is different from the image display device according to the first embodiment in that the gaze direction detector 1 80 have been added.
  • the line-of-sight direction detection unit 180 is mounted on the head-mounted unit 40 in order to detect the line-of-sight directions of both eyes of the observer.
  • the line-of-sight direction detection unit 180 detects the line-of-sight directions of both eyes of the observer in accordance with a known principle.
  • This gaze direction detection unit 180 is operated, for example, in a state where the distance between the infrared camera and both eyes is known, as disclosed in Japanese Patent Application Laid-Open No. 7-167618 and Japanese Patent Publication No. 61-59132. It is also possible to design such that the eyes of both eyes are photographed by the infrared camera, and the gaze direction is detected based on the relative positional relationship between the photographed corneal reflection image of the eye and the center of the pupil. Other conventional examples of detecting the line of sight are disclosed in Japanese Patent Application Laid-Open Nos. 2004-255074 and 5-199996.
  • depth position information that specifies the depth position at which each object should be displayed, and the depth position information that specifies the depth position at which each object should be displayed, are associated with each object.
  • a plurality of pieces of image information are stored in the image information memory 74 including plane position information for specifying a position where each object is to be displayed on the plane at the position.
  • an object means, for example, an image representing a specific object, and a region where the image is displayed is defined as an object region.
  • plane position information X coordinate value and Y coordinate value described later
  • depth position information Z coordinate value described later
  • the plane position information and the depth position information are stored in advance for all the pixels in the object area in association with a specific object.
  • the plane position and the depth position of each pixel can be obtained. Forces can also identify objects.
  • the entire specific object is displayed at the same depth position, if the depth position information is stored in advance in association with the specific object, only the depth position of each pixel specifies the object. It is possible. Further, depending on the shape of the object, it is possible to omit storing in advance at least a part of the plurality of pixels belonging to the object in association with the specific object and the plane position information. Noh.
  • each pixel on the display screen is defined by an XYZ orthogonal coordinate system, for example, as shown in FIG.
  • the depth position of each pixel on the display screen is defined by the Z coordinate value
  • the position of each pixel on a plane orthogonal to the depth direction is defined by the X coordinate value and the ⁇ coordinate value.
  • the depth position information includes information representing the Z coordinate value for each pixel.
  • the depth position information can include information representing the Z coordinate value for each object.
  • the plane position information includes information indicating a combination of an X coordinate value and a Y coordinate value for each pixel. Further, the plane position information also includes information for distinguishing an area where an object is present from a non-existent area on a plane having the same depth position as each object.
  • the wavefront modulator 16 in Fig. 2 is operated based on the above-described depth position information.
  • the principle of modulating the wavefront curvature by the wavefront modulator 16 will be specifically described later with reference to FIG.
  • the wavefront modulator 16 must be arranged on the assumption that the objects do not overlap in the same line of sight. This can be realized by including only one modulation element that modulates the wavefront curvature and modulating the wavefront curvature at a high speed by the modulation element.
  • the wavefront modulator 16 includes a plurality of modulation elements capable of modulating the wavefront curvature independently of each other, It is necessary to operate these modulators all at once to achieve different wavefront curvatures for each object.
  • FIG. 9 conceptually shows the image processing program in a flowchart.
  • This image processing program is repeatedly executed by the computer 66. At the time of each execution, first, in S51 of FIG. 9, the gaze direction detection unit 180 detects the gaze direction of the observer.
  • an intersection between the plane having the same depth position as each object and the detected line-of-sight direction is determined, and the determined intersection is defined as the intersection of the object. It is determined whether or not a force exists in the area. If the object exists in the area of the object, the object is determined to be the object that the observer is currently paying attention to.
  • the brightness of the specific object is increased from the normal value by operating the intensity modulator 14 of the display optical system 10 based on the changed brightness information.
  • the luminance of the entire specific object is increased from the normal value.
  • the appearance of the display image and the movement after the appearance are automatically performed upon the specific action.
  • an object of interest to the observer among the objects is automatically selected as a specific object, and the selected object is selected.
  • Image processing for displaying a specific object relatively clearly is automatically started.
  • the intention of the observer without the observer performing each operation is automatically reflected in the image display processing, and as a result, an image display device with improved usability is provided. Provided.
  • An example of the “image processing unit” and an example of the “image processing unit” in the above item (20) are configured.
  • the part of the computer 66 that executes S51 in FIG. 9 and the line-of-sight direction detecting unit 180 cooperate with each other to form an example of the “line-of-sight direction detecting unit” in the above paragraph (22).
  • the brightness of the specific object is increased from the normal value, so that the specific object can be clearly viewed by the observer.
  • the brightness of the specific object is relatively increased, whereby the observer can clearly see the specific object. It is possible to carry out the present invention so as to allow a natural visual observation.
  • a specific object is selected from the relationship between the detected line-of-sight direction, that is, the line-of-sight direction of the left eye and the right eye, and the above-described geometric information.
  • the present invention can be implemented such that a position is calculated, and a specific object is selected from the relationship between the calculation result and the above-described geometric information.
  • the brightness of the specific object is increased from the normal value so that the observer can see the specific object more clearly than other objects.
  • the observer can specify the specific object.
  • the present invention can be implemented so that clear visual observation is possible.
  • the observer can specify without obstructing the non-specific object.
  • the present invention can be implemented so that the object can be clearly seen.
  • FIG. 10 is a block diagram conceptually showing a configuration of a retinal scanning display (hereinafter, simply referred to as “RSD”) 200 according to the present embodiment, and light emitted from RSD 200 is shown in FIG.
  • the optical path up to the eye M of the observer is shown in the optical path diagram.
  • the RSD 200 is an example of an image display device, and projects an image directly on the retina M4 by scanning image light representing an image to be displayed on the retina M4 of the eye M of the observer. Also It is.
  • the RSD 200 can simultaneously display a plurality of objects on the same display image. If the depth positions at which the plurality of objects should be displayed are different from each other, the depth positions of the plurality of objects, that is, the objects are displayed so that the difference in the depth positions is perceived by an observer.
  • the wavefront curvature of each image light for controlling is controlled.
  • the one on which the observer is focused is selected as the specific object.
  • image processing for changing the display mode of an image including the plurality of objects is performed so that the selected specific object can be clearly seen by an observer.
  • This image processing is specifically executed to display the selected specific object and a non-specific object other than the specific object among the plurality of objects in different display modes.
  • the brightness of the specific object is increased from the normal value, so that the observer can clearly see the specific object. Visual inspection is possible.
  • the RSD 200 outputs the modulated light H modulated according to the image information G to the eye.
  • An optical device that scans directly on the retina M4 of M and projects an image directly on the retina M4.
  • the RSD 200 includes an external memory 202, a modulated light output unit 204, a scanning unit 206, a wavefront curvature modulation unit 208, a line-of-sight direction detection unit 210, and a control unit 212.
  • the external memory 202 is an electronic component that previously stores image information G necessary for displaying an image to be displayed.
  • the RSD 200 displays an image based on the image information G stored in the external memory 202 in advance.
  • the image information G includes a plurality of (a) plane position information specifying a two-dimensional position of an image to be displayed and depth position information specifying a depth position of the image to be displayed. Geometric information, (b) color information specifying the color of the image to be displayed, and (c) display information. And luminance information for specifying the luminance of the image to be reproduced.
  • the control unit 212 controls the modulated light output unit 204 based on the color information and the luminance information, controls the scanning unit 206 based on the synchronization signal, and controls the wavefront curvature modulation unit 208 based on the depth position information. .
  • the modulated light output unit 204 is an optical device that modulates light based on the above-described color information and luminance information and outputs the modulated light as modulated light H.
  • the modulated light H output from the modulated light output unit 204 passes through the wavefront curvature modulation by the wavefront curvature modulation unit 208, the deflection in the scanning unit 206, and the reflection in the light reflection unit 214, and then the iris Ml of the eye M of the observer.
  • the light enters the pupil M2 surrounded by.
  • the incident modulated light H reaches the retina M4 after being imaged on the crystalline lens M3.
  • the scanning unit 206 is an optical device that projects an image on the retina M4 by scanning the modulated light H on the retina M4 based on the synchronization signal described above.
  • the wavefront curvature modulation unit 208 changes the angle of diffusion of the modulated light H reflected by the light reflection unit 214 and incident on the eye M, that is, changes the wavefront curvature of the modulated light H.
  • the optical device changes the depth position at which the observer perceives an image.
  • the operation of the wavefront curvature modulation unit 208 is controlled by the control unit 212 based on the above-described depth position information.
  • the wavefront curvature modulation unit 208 displays an image such that the observer perceives the image at a position P1 close to the observer, as indicated by a dashed line in FIG. It is possible.
  • the wavefront curvature modulation unit 208 can display the image so that the observer perceives the image at the position P2 where the observer's power is also separated, as indicated by the two-dot chain line in FIG. It is.
  • the wavefront curvature modulation unit 208 can display the image as if the observer were at the distant position P3, as indicated by the broken line in FIG.
  • the line-of-sight direction detection unit 210 is a device that detects the line-of-sight direction of the observer. By using the gaze direction of the observer detected by the gaze direction detection unit 210, the observer pays attention to the displayed image, that is, a part, that is, a specific image, and the observer pays attention to the partial image. Images or non-specific images can be distinguished from each other. This time the display image is multiple Since an object is included, the specific image is referred to as a specific object, and the non-specific image is referred to as a non-specific object.
  • the line-of-sight direction detection unit 210 can be configured in the same manner as the line-of-sight direction detection unit 180 described above.
  • the line-of-sight direction detection unit 210 uses, for example, an infrared camera whose distance to both eyes is known, images the eyes of both eyes with the infrared camera, and calculates the corneal reflection image of the captured eyes and the pupil center. It can be designed to detect the direction of the observer's line of sight based on the relative positional relationship between the two.
  • control unit 212 is mainly configured by a computer 220.
  • Computer 220 is configured to include a CPU 222, a ROM 224, and a RAM 226, as is well known.
  • the control unit 212 executes a predetermined operation by executing various programs stored in the ROM 224 in advance by the CPU 222.
  • control unit 212 controls the modulated light output unit 204 based on the color information and the luminance information, controls the scanning unit 206 based on the synchronization signal, and modulates the wavefront curvature based on the depth position information.
  • Each of the units 208 is controlled.
  • the control unit 212 not only realizes a normal image display function, which is an original function of the RSD 200, but also changes the brightness of the specific object for the purpose of enabling the observer to clearly see the specific object. Execute the process.
  • the control unit 212 executes image processing for changing luminance information corresponding to each object based on a depth position at which each object is to be displayed.
  • the control unit 212 makes a change to the image information G stored in advance in the external memory 202 in accordance with the content of the image processing to be executed, and performs the change.
  • the stored image information G is stored in the RAM 226.
  • the control unit 212 controls the modulated light output unit 204, the scanning unit 206, and the wavefront curvature modulation unit 208 based on the luminance information, the plane position information, and the depth position information stored in the RAM 226.
  • the modulated light output section 204 includes an image signal processing circuit 230, and further includes a red light source 232, a green light source 234, and a blue light source 236 as light sources.
  • This The modulated light output unit 204 further includes a red light source driver 240, a green light source driver 242, and a blue light source driver 244 as light source drivers.
  • the modulated light output unit 204 further includes collimator lenses 246, 248, and 250,
  • the image signal processing circuit 230 includes a red light source driver 240 that drives the red light source 232, the green light source 234, and the blue light source 236, respectively, based on the color information and the luminance information output from the control unit 212, and a green light source driver.
  • An intensity modulation signal corresponding to each color is output to the light source driver 242 and the blue light source driver 244.
  • the image signal processing circuit 230 When the above-described image processing is not performed on the color information and the luminance information, the image signal processing circuit 230 generates the red light source driver 240 and the green light source based on the original color information and the luminance information. An intensity modulation signal is output to the driver 242 and the blue light source driver 244.
  • the image signal processing circuit 230 changes the intensity modulation signal according to the changed color information.
  • the color of the displayed image can be arbitrarily changed, and the image can be displayed transparent by not outputting the color.
  • the image signal processing circuit 230 changes the intensity modulation signal in accordance with the changed luminance information to change the red light source driver 240, the green light source driver 242, and the blue light source. Controls the driver 244.
  • the luminance of the image can be arbitrarily changed by increasing or decreasing the luminous intensity (intensity) of the corresponding one of the red light source 232, the green light source 234, and the blue light source 236.
  • the wavefront curvature modulation unit 208 includes a convex lens 260, a position variable mirror 262, a mirror driving unit 264, and a half mirror 266.
  • the modulated light H emitted from the above-described modulated light output unit 204 is transmitted to the half mirror 266 via the optical fiber 270.
  • the half mirror 266 is an entrance of the modulated light H to the wavefront curvature modulator 208.
  • the position variable mirror 262 is provided on the optical axis of the convex lens 260.
  • the position variable mirror 262 is provided so as to be movable between a focal position f of the convex lens 260 and a position a approaching the convex lens 260 from the focal position f.
  • the position b is an intermediate position between the position a and the focal position f.
  • FIG. 13 shows the position variable mirror 262 in a state where its reflecting surface is located at the position a.
  • the position variable mirror 262 is located inside the focal point f of the convex lens 260. Therefore, as shown by a dashed line in FIG. 13, the modulated light H emitted from the convex lens 260 side as parallel light toward the position variable mirror 262 is reflected by the position variable mirror 262 to be diffused light. Is converted. When the modulated light H converted into the diffused light enters the eye M of the observer, the observer perceives the image at the position P1 in FIG.
  • the mirror driving unit 264 shown in Fig. 13 is formed using, for example, a piezoelectric element.
  • the above-described position variable mirror 262 can be attached to a surface intersecting the electric field application direction among a plurality of surfaces of the piezoelectric element.
  • the position variable mirror One 262 can be moved away from or close to the convex lens 260, and as a result, the position variable mirror 262 can be moved to any of the above-mentioned positions a, b, and f. .
  • the position of the position variable mirror 262 is controlled based on depth position information. Therefore, by changing the depth position information, the depth position of the image to be displayed can be changed to, for example, an arbitrary position between the position P1 and the position P3 shown in FIG.
  • the scanning unit 206 includes a horizontal scanning mirror 280, relay lenses (for example, convex lenses) 282 and 284, a vertical scanning mirror 286, and a relay lens (except for f rows, a convex lens). 288
  • the horizontal scanning mirror 280 is provided rotatable around the rotation axis L1.
  • the horizontal scanning mirror 280 reflects the modulated light H emitted from the half mirror 266 in a direction corresponding to the rotation position of the horizontal scanning mirror 280.
  • the rotation of the horizontal scanning mirror 280 is controlled based on the above-mentioned synchronization signal.
  • the vertical scanning mirror 286 is provided so as to be swingable around the rotation axis L2.
  • the rotation of the vertical scanning mirror 286 is controlled based on the above-mentioned synchronization signal.
  • the relay lenses 282 and 284 transmit the modulated light H reflected from the horizontal scanning mirror 280 to the vertical scanning mirror 286.
  • the giret lenses 288 and 290 transmit the modulated light H reflected from the vertical scanning mirror 286 to the retina M4 via the pupil M2 and the crystalline lens M3 in order.
  • FIG. 14 conceptually shows the image processing program in a flowchart. Hereinafter, steps common to the image processing program according to the second embodiment will be briefly described.
  • This image processing program is repeatedly executed by the computer 220.
  • the gaze direction detecting unit 210 detects the gaze direction of the observer.
  • the detected gaze direction and the external memory 202 for displaying a plurality of objects in the current display image are respectively displayed. From the relationship with the geometric information of each object represented by the plurality of image information stored in the object, the one of the plurality of objects that the observer is currently paying attention to (attention) is selected as the specific object. .
  • the corresponding one of the red light source driver 240, the green light source driver 242, and the blue light source driver 244 is controlled in relation to the display of the specific object. Is done.
  • the luminous intensity (intensity) of the corresponding one of the red light source 232, the green light source 234, and the blue light source 236 is increased from the normal value, and as a result, the luminance of the specific object is increased. Increased from normal value. In the present embodiment, the brightness of the entire specific object is increased in calorie from the normal value.
  • an image in which the rays A, the bream B, and the coral C are located in the water tank in order of lateral force close to the observer is displayed stereoscopically as an image.
  • the images of ray A, the image of snapper B, and the image of coral C are to be displayed simultaneously. It is an example of Bujietato. It is assumed that the observer pays attention to the image of the snapper B in a state where the objects are displayed at the same time.
  • the image processing program when executed by the computer 220, first, in S101, the gaze direction of the observer is detected by the gaze direction detection unit 210. Next, in S102, the object located in the direction of the detected line of sight among the plurality of objects, that is, the image of the sea bream B this time is selected as the specific object that the observer is paying attention to.
  • the luminance of the specific object approaches the observer, and switches to two stages depending on whether the observer approaches the observer.
  • the present invention can be implemented in a mode in which the luminance of a specific object is changed in more stages. Further, the present invention can be implemented in a mode in which the brightness of the specific object is continuously changed as the specific object approaches the observer. [0323] Furthermore, it is possible to carry out the present invention in such a manner that the luminance power of the specific object increases as the specific object moves away from the observer. When this mode is adopted, the observer can clearly see the specific object even though the specific object is located far away.
  • the part of the computer 220 that executes S101 and S102 in Fig. 14 and the line-of-sight direction detection unit 210 cooperate with each other in the item (29).
  • An example of the “image processing unit” and an example of the “image processing unit” in the above item (30) are configured.
  • the part of the computer 220 that executes S101 in FIG. 9 and the gaze direction detection unit 210 cooperate with each other to form the “gaze direction detection unit” in the above section (32).
  • S104 and S105 in FIG. 9 of the computer 220 constitute an example of the “image processing unit” in the above item (35).
  • the present embodiment is different from the second or third embodiment only in the elements related to image processing for displaying a specific object relatively emphasized compared to a non-specific object, and common to other elements. Therefore, only different elements will be described in detail, and common elements will be referred to by using the same reference numerals or names, and detailed description thereof will be omitted.
  • the specific object is highlighted by increasing the luminance of the specific object.
  • the specific object is highlighted by making the outline of the specific object clearer than usual, that is, brighter in the present embodiment.
  • step S201 the gaze direction of the observer is detected in the same manner as in S101.
  • step S202 in the same manner as in step S102, based on the detected line-of-sight direction, an object of interest to the observer among a plurality of simultaneously displayed objects is selected as a specific object.
  • the modulated light output unit 204 is controlled based on the changed luminance information.
  • the brightness of the outline of the specific object is locally increased from the normal value, and the outline is displayed with emphasis.
  • the external memory 202 is configured to increase only the brightness of the contour of the image of the snapper B, which is the specific object. Is changed in the luminance information stored in advance.
  • the modulated light output unit 204 increases the luminance of a plurality of pixels forming the outline of the image of the snapper B based on the changed luminance information.
  • the part of the computer 220 that executes S204 and S205 in FIG. 16 constitutes an example of the “image processing unit” in the above section (36). That's why.
  • the present embodiment is different from the second or third embodiment only in the elements related to image processing for displaying a specific object relatively emphasized compared to a non-specific object, and common to other elements. Therefore, only different elements will be described in detail, and common elements will be referred to by using the same reference numerals or names, and detailed description thereof will be omitted.
  • the specific object is highlighted by increasing the luminance of the specific object.
  • the depth position of the selected specific object is obtained in the same manner as in S103.
  • S304 among a plurality of pixels virtually located on a plane having the same depth position as the specific object, a plurality of pixels located outside the outline of the specific object and separated by a set distance from the outline of the specific object. A pixel is selected as a plurality of peripheral pixels.
  • the corresponding luminance information is further changed such that the luminance of the selected plurality of peripheral pixels increases from the normal value.
  • the modulated light output unit 204 is controlled based on the changed luminance information.
  • the brightness of the peripheral pixels of the outline of the specific object is increased from the normal value, and the peripheral pixels are displayed in an emphasized manner.
  • the part of the computer 220 that executes S304 and S305 in FIG. 17 is one of the “image processing unit” in the above section (37). It is an example.
  • the present embodiment is different from the second or third embodiment only in the elements related to image processing for displaying a specific object relatively emphasized compared to a non-specific object, and common to other elements. Therefore, only different elements will be described in detail, and common elements will be referred to by using the same reference numerals or names, and detailed description thereof will be omitted.
  • the specific object is highlighted by increasing the luminance of the specific object.
  • the non-specific object when there is a non-specific object to be displayed before the specific object among a plurality of objects to be displayed at the same time, the non-specific object is transparently displayed. Thus, the observer can clearly see the specific object without being disturbed by the non-specific object, even though the non-specific object is originally present in front of the specific object.
  • the ROM 224 stores an image processing program conceptually represented by a flowchart in FIG.
  • FIG. 14 detailed description of the steps common to the image processing program shown in FIG. 14 will be omitted by referring to the corresponding step numbers.
  • a Z coordinate value representing the depth position of the selected specific object is obtained in the same manner as in S103.
  • a Z coordinate value representing a depth position to be displayed is obtained for each of the other non-specific objects displayed together with the specific object.
  • each non-specific object is originally specified based on a comparison result between the Z coordinate value of the non-specific object and the Z coordinate value of the specific object. It is determined whether the force should be displayed in front of the object.
  • the judgment power of S405 is SYES, and in S406, the non-specific object to be displayed in front of the specific object is determined. The color information corresponding to the non-specific object is changed so that the specific object is displayed transparently. This completes one execution of the image processing program.
  • a coordinate value is obtained.
  • the corresponding Z coordinate value is compared with the Z coordinate value of the image of the specific object, snapper B, to determine It is determined whether or not the force is a non-specific object to be displayed in front of the image.
  • step S405 Since the image of ray A is a non-specific object that should be displayed in front of the image of snapper B, the determination result of step S405 is YES, and the image of ray A is displayed transparently in step S406. Then, the corresponding color information is changed. On the other hand, since the image of Coral C is a non-specific object that should be displayed behind the image of Snapper B, the determination result of S405 is NO, and the image of Coral C has no color change in S407. Displayed with.
  • the part of the computer 220 that executes S404 to S406 in Fig. 16 is one of the "image processing unit" in the above item (38). It is an example.
  • the foreground object to be displayed in front of other objects is displayed translucently instead of being displayed transparently.
  • the invention can be implemented in embodiments.
  • the color represented by the original color information stored in advance in the external memory 202 in association with the foreground object, and the color behind the object are displayed.
  • a mixture of colors represented by the original color information stored in the external memory 202 in advance and associated with the back object at a predetermined mixture ratio can be added to the inside of the contour of the foreground object. It is.
  • the predetermined ratio can be set, for example, such that the ratio between the original color of the front object and the original color of the back object is 9: 1.
  • the present embodiment differs from the sixth embodiment only in the elements related to image processing for displaying a specific object relatively emphasized than a non-specific object, and is common in other elements. Only different elements will be described in detail, and common elements will be referred to using the same symbols or names, and detailed description will be omitted.
  • the non-specific object to be displayed in front of the specific object is displayed transparently, while the non-specific object to be displayed in the back is displayed without changing the color.
  • the non-specific object to be displayed in the back is the original depth. It is displayed at the position closer to the specific object than the position.
  • the ROM 224 stores an image processing program conceptually represented by a flowchart in FIG.
  • FIG. 18 detailed description of the steps common to the image processing program shown in FIG. 18 will be omitted by referring to the corresponding step numbers.
  • each non-specific object force is originally specified. It is determined whether the force should be displayed in front of the object.
  • the determination power of S505 is SYES, and the non-specific object to be displayed in front of the specific object in S506 is determined.
  • the depth position information corresponding to the non-specific object is not changed so that the specific object is displayed without changing the depth position. This completes one execution of the image processing program.
  • the determination power is SNO in S505
  • the non-specific object is displayed farther than the specific object in S507.
  • the depth position information corresponding to the non-specific object is changed so that the non-specific object to be displayed is located closer to the specific object than the original depth position. This completes one execution of the image processing program.
  • the determination result of S505 is YES, and the image depth of ray A does not change in S506. , That is, displayed at the original depth position.
  • the image of Coral C is a non-specific object that should be displayed behind the image of Snapper B, the result is a semi-IJ fixed result SNO of S505, and the process proceeds to S507.
  • the depth position information corresponding to the image of Coral C is changed.
  • the wavefront curvature modulation unit 208 modulates the wavefront curvature of the image light for displaying the image of the coral C based on the changed depth position information. As a result, the image of Coral C is displayed at a depth position closer to the image of bream B than the original depth position.
  • the partial force of the computer 220 that executes S504 to S507 in Fig. 19 is an example of the "display object position change unit" in the section (40);
  • the modulated light output unit 204 constitutes an example of the “light flux output unit” in the above item (41), and the wavefront curvature modulation unit 208 constitutes an example of the “display object position changing unit” in the item (41).
  • the part of the computer 220 that executes S503 and S504 in FIG. 19 constitutes an example of the “depth position detecting unit” in the above section (42), and the part that executes S505 and S507 in the figure constitutes an example of the “display object position changing unit” in the same section.
  • this embodiment differs from the seventh embodiment only in the elements related to image processing for displaying a specific object relatively emphasized compared to a non-specific object, and is common to other elements. Only different elements will be described in detail, and common elements will be referred to using the same symbols or names, and detailed description will be omitted.
  • non-specific objects that should be displayed farther than the specific object are displayed at a depth position closer to the specific object than the original depth position.
  • the non-specific object to be displayed farther than the specific object is displayed at a depth position farther from the specific object than the original depth position.
  • the ROM 224 stores an image processing program conceptually represented by a flowchart in FIG.
  • FIG. 19 detailed description of the steps common to the image processing program shown in FIG. 19 will be omitted by referring to the corresponding step numbers.
  • each non-specific object force is originally specified. It is determined whether the force should be displayed in front of the object.
  • the judgment power of S605 is SYES, and in S606, the non-specific object to be displayed in front of the specific object is determined.
  • the depth position information corresponding to the non-specific object is not changed so that the specific object is displayed without changing the depth position. This completes one execution of the image processing program.
  • the non-specific object in this case should not be displayed in front of the specific object, that is, should be displayed farther than the specific object.
  • the determination is SNO in S605, and in S607, the non-specific object to be displayed farther than the specific object is displayed in a depth position farther from the specific object than the original depth position. Changes are made to the depth position information corresponding to the object. This completes one execution of the image processing program.
  • the image processing program is executed for the example shown in FIG. 15, in S602, the image of sea bream B is selected as the specific object. Subsequently, in S603, based on the depth position information corresponding to the image of the snapper B, a Z coordinate value indicating the depth position at which the image of the snapper B is to be displayed is obtained.
  • the depth position information corresponding to the image of coral C is changed in order to display the image of coral C away from the image of snapper B.
  • the wavefront curvature modulation unit 208 modulates the wavefront curvature of the image light for displaying the image of the coral C based on the changed depth position information. As a result, the image of Coral C is displayed at a depth position that is farther away from the sea than the original depth position.
  • the partial force of the computer 220 that executes S604 to S607 in Fig. 20 is an example of the "display object position changing unit” in the section (40). This constitutes an example of the “display object position changing unit” in the above item (41). Further, in the present embodiment, the part of the computer 220 that executes S603 and S604 in FIG. 20 constitutes an example of the “depth position detecting unit” in the above section (43), and the same part of the computer 220 The part that executes S605 and S607 in the figure constitutes an example of the “display object position changing unit” in the same section.
  • the present embodiment is different from the second or third embodiment only in the elements related to image processing for displaying a specific object relatively emphasized compared to a non-specific object, and common to other elements. Therefore, only different elements will be described in detail, and common elements will be referred to by using the same reference numerals or names, and detailed description thereof will be omitted.
  • the specific object it is not determined whether or not the specific object has a force that has a portion to be displayed overlapping with the non-specific object located in front of the specific object. However, in the present embodiment, the determination is performed. Further, in the present embodiment, a portion of the specific object that should be displayed so as to overlap with the non-specific object is displayed translucently.
  • the original color of the specific object is changed from the original color of the portion of the specific object that should be displayed to overlap the non-specific object.
  • the original color of the non-specific object is changed to a mixed color mixed at a predetermined ratio.
  • the ROM 224 stores an image processing program conceptually represented by a flowchart in Fig. 21.
  • Fig. 21 Hereinafter, detailed description of the steps common to the image processing program shown in FIG. 14 will be omitted by referring to the corresponding step numbers.
  • the object on which the measured point of interest is located is selected as a specific object based on the aforementioned geometric information corresponding to a plurality of objects.
  • FIG. 22 shows, in plan view, an image of ray A and an image of snapper B in relation to the example shown in FIG.
  • the image of ray A and the image of snapper B are shown in a front view.
  • part of the image of ray A overlaps with the image of snapper B in the line of sight of the observer, and this is shown in plan view in FIG. FIG. 22 further shows that the observer's gaze point is not in the image of ray A but in the image of snapper B.
  • the image of snapper B is selected as the specific object.
  • a specific object is automatically selected by triangulation. For example, an operation for the observer to select the specific object (for example, displaying the specific object is performed).
  • the present invention can be implemented in such a manner that a specific object is manually selected in response to an observer clicking the mouse on the specific object on another screen (for example, a monitor screen). is there.
  • the geometric amount of the specific object represented by the depth position information and the plane position information corresponding to the selected specific object, and the depth position information corresponding to the non-specific object Based on the geometric amount of the non-specific object represented by the position information and the plane position information and the detected line of sight, the overlapping part of the specific object and the non-specific object located in front of the specific object is geometrically determined. Is detected.
  • the color information corresponding to the portion of the specific object that should be displayed overlapping with the non-specific object is changed so as to represent the determined mixed color.
  • a portion of the specific object that should be displayed so as to overlap the non-specific object is displayed with its color changed to the original color strength of the mixed color.
  • control unit 212 controls the wavefront curvature modulation unit 208, so that the image of the sea bream B is displayed so as to exist at the original depth position stored in the external memory 202 in advance. .
  • the mixing ratio described above can be set arbitrarily. For example, it is possible to set the mixture ratio of the original color of the specific object and the original color of the non-specific object located in front of the specific object to a ratio represented by 9: 1.
  • a non-specific object image of ray A, which is an image of ray A, is indicated by a dashed line
  • a specific object image of snapper B, indicated by solid line
  • the modulated light output unit 204 constitutes an example of the "light beam output unit” in the above item (44), and the line-of-sight direction detection unit 210 and the combi- ter
  • the part of S220 that executes S701 and S703 in FIG. 21 cooperates with each other to form an example of the “overlapping object detection unit” in the same part, and the part of the computer 220 that executes S705 in FIG.
  • An example of the “overlapping object display section” in the section, an example of the “second display section” in the above section (46), and an example of the “mixing ratio changing section” in the section (47) are constituted. It is.
  • the present embodiment is different from the second or third embodiment only in the elements related to image processing for displaying a specific object relatively emphasized compared to a non-specific object, and common to other elements. Therefore, only different elements will be described in detail, and common elements will be referred to by using the same reference numerals or names, and detailed description thereof will be omitted.
  • the specific object is set within a range forming a predetermined viewing angle.
  • the non-specific object coexists with the non-specific object, the non-specific object is not displayed transparently, but in the present embodiment, the non-specific object is displayed transparently.
  • the ROM 224 stores an image processing program conceptually represented by a flowchart in Fig. 24.
  • Fig. 24 Hereinafter, detailed description of the steps common to the image processing program shown in FIG. 14 will be omitted by referring to the corresponding step numbers.
  • a non-specific object existing within a viewing angle range that forms a predetermined angle ⁇ with the detected viewing direction is selected from among the plurality of objects excluding the specific object.
  • the above-mentioned predetermined angle ex can be set, for example, based on the angle of view necessary for the observer to observe the entirety of the specific object.
  • the predetermined angle ex is set to an integral multiple of the required angle of view. It is possible to set.
  • the predetermined angle OC can be set to an arbitrary value according to the specification by the observer.
  • the viewing angle range is defined as a range that forms a predetermined angle OC with respect to the viewing direction P of the observer.
  • the predetermined range (X is set to a value (for example, 10 degrees) obtained by multiplying the angle of view (for example, 5 degrees) necessary to observe the entire image of the sea bream B by an integer.
  • FIG. the image of ray A is selected as a non-specific object within the viewing angle range.
  • the part that executes S803 and S804 in 24 constitutes an example of the "image processing unit" in the above item (39).

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　光を観察者の網膜上に投影することにより、表示対象を虚像によって観察者に視認させる画像表示装置が開示されている。この画像表示装置は、観察者に対する画像の表示をその観察者の動作を考慮して制御するために、（ａ）出射した光を変調し、その変調された光を出射口を経て観察者の網膜上に出射することにより、表示対象を表す画像を虚像として画像表示領域に表示する頭部装着部４０であって、観察者の頭部に装着されて使用されるものと、（ｂ）画像が画像表示領域に表示されるように出射部および変調部を制御する腰部装着部５０とを備えている。その腰部装着部５０は、観察者の動作（例えば、頭部の動作）をその観察者の位置（例えば、腰部の位置）を基準にして相対的に検出し、その検出された動作に応じて、画像の表示のオン・オフとその表示位置の変更とのうちの少なくとも一方を行う。

Description

画像表示装置
技術分野
[0001] 本発明は、光を観察者の網膜上に投影することにより、表示対象を虚像によって観 察者に視認させる画像表示装置に関するものであり、特に、観察者に対する画像の 表示をその観察者の動作を考慮して制御する技術に関するものである。
背景技術
[0002] 光を観察者の網膜上に投影することにより、表示対象を虚像によって観察者に視 認させる画像表示装置が既に知られている（例えば、日本国特開平 8— 21975号公 報参照。）。
[0003] この種の画像表示装置は、一般に、（a)光を出射する出射部 (例えば、光源等）と、
(b)光を変調する変調部 (例えば、強度変調部、波面変調部等)と、（c)表示対象 (コ ンテンッまたはオブジェクト）を虚像として画像表示領域に表示する表示部と、 (d)画 像が画像表示領域に表示されるように出射部および変調部を制御する制御部とを含 むように構成される。
[0004] この種の画像表示装置の一形式は、上記表示部が観察者の頭部に装着されて使 用されるヘッドマウント型であり、その一従来技術が前記特開平 8— 21975号公報に 開示されている。
[0005] このヘッドマウント型の画像表示装置力 それの表示部の位置を基準にして画像を 表示するように設計される場合には、観察者の動作とは無関係に、観察者が画像表 示領域 (観察者の頭部に固定されている。 )内において同じ位置に画像を観察するこ とになる。すなわち、観察者は、画像が表示部に固定された状態、すなわち、画像の 表示位置が観察者の視野内に固定された状態で画像を観察することになるのである
[0006] この画像表示装置がシースルー型である場合には、観察者は、画像を現実外界に 重ねてそれと一緒に観察することが可能である。この画像表示装置を、上述のように 、画像が観察者の視野内に固定された状態で観察されるように設計すると、観察者 の動作 (例えば、身体の移動、頭部の運動）にもかかわらず、画像が観察者の視野内 に固定される。そのため、画像は本来、現実外界に固定されて観察されるはずである と認識する観察者は、現実外界内にではなく視野内に不動表示される画像に対して 不自然さを感じてしまう。
[0007] これに対し、前記特開平 8— 21975号公報に記載の画像表示装置においては、観 察者頭部と現実外界との相対位置関係に基づき、画像が現実外界に固定されて観 察されるように画像が表示される。
発明の開示
[0008] 本発明者は、上述のヘッドマウント型の画像表示装置につき、観察者の動作とその 観察者に対する画像の表示との関係について研究を行った。その結果、観察者の位 置を基準にしてその観察者の動作を相対的に検出し、その検出された観察者の動 作を参照することにより、観察者に対する画像の表示を制御することが可能であること に気が付いた。
[0009] 以上説明した知見を背景にして、本発明は、光を観察者の網膜上に投影すること により、表示対象を虚像によって観察者に視認させる画像表示装置において、観察 者に対する画像の表示をその観察者の動作を考慮して制御する新規な技術を提案 することを課題としてなされたものである。
[0010] 本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号 を付し、必要に応じて他の項の番号を引用する形式で記載する。これは、本発明が 採用し得る技術的特徴の一部およびそれの組合せの理解を容易にするためであり、 本発明が採用し得る技術的特徴およびそれの組合せが以下の態様に限定されると 解釈すべきではない。すなわち、下記の態様には記載されていないが本明細書には 記載されている技術的特徴を本発明の技術的特徴として適宜抽出して採用すること は妨げられな 、と解釈すべきなのである。
[0011] さらに、各項を他の項の番号を引用する形式で記載することが必ずしも、各項に記 載の技術的特徴を他の項に記載の技術的特徴から分離させて独立させることを妨げ ることを意味するわけではなぐ各項に記載の技術的特徴をその性質に応じて適宜 独立させることが可能であると解釈すべきである。 [0012] (1) 光を観察者の網膜上に投影することにより、表示対象を虚像によって観察者に 視認させる画像表示装置であって、
光を出射する出射部と、
前記光を変調する変調部と、
その変調された光を出射口を経て観察者の網膜上に出射することにより、前記表 示対象を表す画像を虚像として画像表示領域に表示する表示部であって、観察者 の頭部に装着されて使用されるものと、
前記画像が前記画像表示領域に表示されるように前記出射部および変調部を制 御する制御部であって、観察者の動作をその観察者の位置を基準にして相対的に 検出し、その検出された動作に応じて、前記画像の表示のオン'オフとその表示位置 の変更とのうちの少なくとも一方である表示制御を行うものと
を含む画像表示装置。
[0013] 光を観察者の網膜上に投影することにより、表示対象を虚像によって観察者に視 認させる形式の画像表示装置を観察者が使用する場合には、例えば、その使用中 に、観察者が、画像の表示を一時的に中止したいと希望したり、画像表示領域内に 表示されて!ヽる画像によって観察者の視界が邪魔されな ヽようにしたり、観察者の動 きに対して、所望の関係をもって表示位置を移動させたいと希望する可能性がある。
[0014] それら希望を満足させるために、例えば、画像表示領域内に表示されている画像を 一時的に消去したり、画像表示位置に関して、表示画像が観察者の身体の一部（例 えば、腰部）に固定された如く思わせることが可能である。さらにまた、画像表示領域 のうち画像が通常表示される通常位置 (例えば、中央位置)から、その通常位置から 退避した退避位置 (例えば、画像表示領域の縁に近い位置）に変更することも可能 である。
[0015] したがって、画像表示装置は、例えば、画像の表示を一時的に中止 (オフ）するた めの指令 (もしくは、一時的に中止されている画像の表示を再開（オン)するための指 令)、または、画像の表示位置を通常位置カゝら退避位置に変更するための指令 (もし くは、一時的に変更された表示位置を通常位置に復帰させるための指令)を観察者 が手動操作によって当該画像表示装置に入力可能とするために、観察者によって手 動操作されるべき操作部を備えたものとすることが可能である。
[0016] この操作部を備えた画像表示装置を使用する場合には、観察者による操作部の手 動操作を当該画像表示装置が検出したならば、それに応答して、画像の表示のオン •オフとその表示位置の変更とのうちの少なくとも一方が行われる。
[0017] しかし、この場合には、操作部を操作するために、観察者は手を使うことを余儀なく される。そのため、この場合には、観察者が別の手作業の遂行中に画像を観察する ために、観察者はその手作業を一時的に中断しなければならない。さらに、その操作 部の位置が変化すれば、それに伴い、その操作部を操作するために観察者が手を 移動させる目標位置も変化する。その結果、例えば、その操作部を手動操作しようと する場合にはいちいち、その手動操作に先立ち、その操作部の位置を視覚的にまた は触覚的に探してその位置に向力つて手を移動させなければならず、面倒である。
[0018] これに対し、本項に係る画像表示装置においては、観察者の動作がその観察者の 位置を基準にして相対的に検出され、その検出された動作に応じて、画像の表示の オン'オフとその表示位置の変更とのうちの少なくとも一方である表示制御が行われ る。
[0019] したがって、この画像表示装置によれば、画像表示に関する上述のような観察者の 希望 (例えば、画像表示のオン'オフ、画像表示位置の変更)を当該画像表示装置 が検知するために上述のような操作部を当該画像表示装置に設けることが不可欠で はなくなる。さらに、そのような希望を観察者が当該画像表示装置に入力するために 、観察者が手を使って操作部を操作することも不可欠ではなくなる。
[0020] よって、本項に係る画像表示装置によれば、画像表示に関する希望を観察者が画 像表示装置に入力するために、その画像表示装置を使用しつつ並行的に観察者が 行う手作業を中断せずに済む態様で画像表示装置を実施することが可能である。
[0021] さらに、本項に係る画像表示装置においては、画像表示に関する希望を観察者が 画像表示装置に入力するためにその観察者に要求される動作が、この画像表示装 置の位置 (例えば、操作部の位置）に依存せずに済む。その結果、例えば、観察者 は、画像表示に関する希望を入力するために、特定の目標物体 (例えば、操作部の うちのボタン、スィッチ、ダイヤル、タツチパネル等）を探してその目標物体に向かって 動作を行うことを要求されずに済む。
[0022] したがって、本項に係る画像表示装置によれば、画像表示に関する希望を観察者 が入力するためにその観察者に要求される動作を単純ィ匕しまたは定型化することが 容易となる。
[0023] 本項に係る画像表示装置においては、画像表示に関する観察者の希望を認識す るために画像表示装置によって参照される観察者の動作が、その観察者の位置 (観 察者のうちの基準部位)を基準にして相対的に検出される。したがって、観察者の希 望を認識するために検出される観察者の動作は、その観察者の絶対空間すなわち 現実外界に対する相対位置に依存しな 、。
[0024] よって、この画像表示装置によれば、観察者の動作を検出するハードウェアをその 観察者において自己完結的に構成することが可能となる。すなわち、その検出のた めのハードウェアを現実外界に設置することを省略することが可能となるのである。こ のことは、観察者の動作を検出するハードウェア構成の単純ィ匕に寄与する。
[0025] 本項における「変調部」は、例えば、互いに波長が異なる複数の光束成分を合成す ることによって目標の合成光束を形成する場合には、各光束成分の強度と、各光束 成分または合成光束の波面曲率とのうち、少なくとも強度を変調するように構成する ことが可能である。波面曲率を変調するように構成することは不可欠ではないのであ る。
[0026] 本項における「出射部」の一例は、レーザ光源である。そのレーザ光源の一例は、 半導体レーザの如ぐ出射光の強度を変調する機能を有する光源である。この光源 は、「出射部」としての機能と「変調部」としての機能とを併せ持って 、る。
[0027] さらに、本項における「表示位置の変更」は、例えば、画像表示領域内における画 像の表示位置の変更を意味する。
[0028] (2) さらに、観察者の人体を構成する複数の部位であって互いに相対変位が可能 であるもののうち、動作が検出されるべき部位として予め指定された被検出部位の、 前記人体に関連付けられた基準位置を設定するために予め選択された基準部位に 対する相対位置を検出する検出部を含み、前記制御部は、その検出された相対位 置に基づき、前記表示制御を行うものである（1)項に記載の画像表示装置。 [0029] この画像表示装置においては、観察者の人体を構成する複数の部位間の相対位 置に基づき、前記（1)項に記載の表示制御が行われる。
[0030] 本項における「基準位置」は、例えば、人体のうちのある部位上の位置として設定し たり、そのある部位力も離れている力 そのある部位に幾何学的に一定に関連付けら れた位置として設定することが可能である。
[0031] (3) 前記検出部は、互いに相対変位が可能な第 1部分と第 2部分とを含み、前記第
1部分は、前記被検出部位に装着されてその被検出部位と一体的に運動し、前記第
2部分は、前記基準部位に装着されてその基準部位と一体的に運動し、前記検出部 は、さらに、それら第 1部分と第 2部分との相対位置を検出する検出手段を含む (2) 項に記載の画像表示装置。
[0032] この画像表示装置においては、観察者の動作を検出する検出部がその観察者に 装着されるため、その検出部は、現実外界に設置される部分 (例えば、床、壁等の固 着物に設置されるセンサ）を使用せずに済む。
[0033] したがって、この画像表示装置によれば、観察者が移動しても同じ画像表示装置に よって画像を正常に観察可能である観察者の移動範囲が、観察者の動作を検出す るという理由によって大きく制約されずに済む。観察者が同じ画像表示装置を使用し て画像を観察しつつ移動可能な範囲を拡大することが容易なのであり、その結果、こ の画像表示装置のモビリティを向上させることも容易である。
[0034] 本項における「検出手段」は、例えば、前記第 1部分と第 2部分との相対位置を電 界、磁界、電磁波、光および音波のうちの少なくとも一つを利用して検出するものとす ることが可能である。
[0035] (4) 前記第 1部分と第 2部分との一方は、前記相対位置を検出するための検出用 信号を発生させる信号発生部であり、他方は、その発生させられた検出用信号であ つて空間に伝搬するものを受信する受信部である（3)項に記載の画像表示装置。
[0036] この画像表示装置においては、検出部が、空間に伝搬する信号を利用することに より、人体のうちの被検出部位と一体的に運動する第 1部分と、人体のうちの基準部 位と一体的に運動する第 2部分との間の相対位置を検出する。したがって、その検出 のために、それら第 1部分と第 2部分とを、リンク機構等の運動機構や、ケーブル、ヮ ィャ等の有体の信号伝送媒体によって互いに接続せずに済む。
[0037] よって、この画像表示装置によれば、観察者の動作を検出するという目的達成のた めに、検出部における第 1部分と第 2部分との間の相対位置が変化し得る範囲が制 限されずに済み、ひいては、観察者の動作が変化し得る範囲が制限されずに済む。
[0038] 本項における「検出用信号」は、例えば、電界、磁界、電磁波、光、音波等である。
[0039] (5) 前記制御部は、前記検出された相対位置に基づき、観察者の動作が設定条件 を満たす場合に、前記表示制御を行うものである（1)な 、し (4)項の 、ずれかに記載 の画像表示装置。
[0040] 本項における「設定条件」の一例は、観察者の頭部の向きに関する条件であって、 その観察者がその正面を向く方向力 ずれた方向を頭部が向く（例えば、観察者が 横を見るか、俯く）ことである。別の例は、観察者の手の動作に関する条件であって、 手を一定位置に持ち上げることである。本項に係る画像表示装置においては、前記 表示制御の要否を判定するために、観察者がその視線を通常の方向力 ずらす動 作 (例えば、眼球を回転させる力、頭部を回転させる）をその観察者に要求するように 設計することは不可欠ではな!/、。
[0041] 本項に係る画像表示装置は、例えば、前記設定条件が第 1設定条件と第 2設定条 件とを含んでいる。
[0042] そして、観察者の動作が第 1設定条件を満たす場合には、画像の表示をオン状態 力 オフ状態に切り換えて画像表示を一時的に中止することと、画像の表示位置を 通常位置カゝら退避位置に移動させることとの少なくとも一方を行う。
[0043] これに対し、観察者の動作が第 2設定条件を満たす場合には、画像の表示をオフ 状態力 オン状態に切り換えて画像表示を再開することと、頭部運動時にも安定した 表示を行うため、例えば、表示画像の位置が観察者の身体の一部（例えば、腰部）に 固定された如く表示することが可能である。さらに、画像の表示位置を退避位置から 通常位置に復帰させることとの少なくとも一方を行う態様で実施することも可能である
[0044] (6) 前記被検出部位は、観察者の頭部と腕部と足部とのうちの少なくとも頭部に設 定され、前記基準部位は、観察者の腰部に設定される（2)ないし (5)項のいずれか に記載の画像表示装置。
[0045] 観察者である人体を構成する複数の部位のうち、観察者が比較的顕著な位置変化 を与え得る部位として例えば、頭部、腕部および足部があり、これに対し、人体の姿 勢変化にもかかわらず位置が比較的安定している部位として例えば、腰部がある。ま た、観察者の眼と共に運動する部位として頭部がある。
[0046] このような知見に基づき、本項に係る装置においては、被検出部位は、観察者の頭 部と腕部と足部とのうちの少なくとも頭部に設定され、基準部位は、観察者の腰部に 設定される。
[0047] (7) 前記制御部は、前記基準部位を基準にして決定される位置に前記画像を観察 者が観察するように、前記出射部および変調部を制御するものである（2)な 、し (6) 項の 、ずれかに記載の画像表示装置。
[0048] 一般に、画像表示装置のうちの表示部の位置を基準にして画像をその画像表示装 置が表示する場合には、観察者が何らかの動作を行っても、観察者の頭部と表示部 との相対位置が変化しないため、観察者の動作とは無関係に、画像表示領域 (観察 者の頭部に固定されている。 )内の同じ位置に画像を観察者が観察することになる。
[0049] 一方、画像表示装置がシースルー型、すなわち、観察者が画像を現実外界に重ね てそれと一緒に観察することを可能にする形式である場合には、観察者は、この画像 表示装置の表示部を頭部に装着したまま、現実外界中の特定の対象物を集中的に 観察しつつ特定の作業を行う可能性がある。
[0050] このような作業の過程において、その作業に関連する情報を視覚的に参照可能と するために、その関連情報を画像として画像表示領域内に表示することが考えられる 。この場合には、その関連情報が表示されると、その表示画像が上記対象物に重ね られるために、観察すべき対象物がその表示画像によって少なくとも部分的に遮られ る可能性がある。
[0051] 一方、観察者は、その視線が特定の対象物から外れて!/、る一定の姿勢にお!、て上 記関連情報を観察したいと希望する場合がある。そのような一定の姿勢の一例は、 観察者が自分の腰部を見るために深く俯く 、うものである。別の例は、観察者が自 分の斜め前もしくはほぼ真横を見るために頭部を回転させると 、うものである。さらに 別の例は、観察者が自分の腕部を、その腕部のうち手関節と肘関節との間の部位が 観察者の上半身の手前にぉ 、てほぼ水平になるように折り曲げた状態で、その部位 を直視するために観察者が頭部を傾けると 、うものである。
[0052] これに対し、本項に係る画像表示装置においては、この画像表示装置のうちの表 示部の位置を基準にして画像が表示されるのではなぐ観察者の位置、すなわち、そ の観察者である人体のうちの基準部位を基準にして画像が表示される。
[0053] したがって、本項に係る画像表示装置においては、観察者が何らかの動作を行つ たために、その観察者のうちの被検出部位 (例えば、頭部）と基準部位 (例えば、腰 部、腕部）との相対位置が変化した場合には、画像表示領域内における画像の表示 のオン'オフ状態が観察者の動作に追従して変化し、オン状態にあっては、さらに、 画像表示領域内における画像の表示位置も観察者の動作に追従して変化すること になる。
[0054] 具体的に説明すれば、例えば、被検出部位を頭部に、基準部位を腰部にそれぞれ 選択した場合には、観察者が腰部を注視したときに限り、画像が表示されるようにす ることが可能になり、また、被検出部位を頭部に、基準部位を腕部にそれぞれ選択し た場合には、観察者が腕部を注視した場合に限り、画像が表示されることが可能に なる。いずれの例においても、画像表示状態すなわちオン状態においては、頭部と 腰部または腕部との相対位置の変化に伴って画像表示位置が変化することになる。
[0055] さらに、観察者である人体のうち、その観察者の動作にもかかわらず位置が安定し ている安定部位 (例えば、腰部)の位置を基準にして観察者の動作を検出する場合 には、観察者の動作の有無にかかわらず、観察者のうちの安定部位と現実外界との 間に相対変位が発生しな 、。
[0056] したがって、そのような安定部位を基準にして観察者の動作を検出し、その検出さ れた観察者の動作に基づき、観察者に対する画像の表示位置を制御することは、観 察者の動作と現実外界との相対位置関係に基づき、観察者に対する画像の表示位 置 (概念上、画像が画像表示領域内に表示されない場合の仮想位置を含む。）を制 御することと、頭部運動があっても外部に安定した画像を表示するという点では、等 価である。 [0057] 本項に係る画像表示装置の一具体例においては、画像が画像表示領域内に表示 される位置 (概念上、画像が画像表示領域内に表示されな！ヽ場合の仮想位置を含 む。）を観察者の動作に応じて決定することが、自動的に、画像を画像表示領域内に 表示する力否かを観察者の動作に応じて決定することにつながる。すなわち、この具 体例においては、画像の表示位置を観察者の動作に応じて決定することと、画像の 表示のオン'オフ状態を観察者の動作に応じて決定することとが互いに独立している のではなぐ連携させられているのである。
[0058] もっとも、本項に係る画像表示装置の別の具体例にお!ヽては、画像の表示位置を 観察者の動作に応じて決定すると画像が画像表示領域内に表示されることとなる場 合に、観察者の別の意思表示 (例えば、観察者によるスィッチ等、操作部の操作を含 む。）を待って、画像が実際に画像表示領域内に表示される。この具体例においては 、画像の表示位置を決定するための観察者の動作と、画像表示を最終的に許可す るための観察者の意思表示とが互いに独立することになる。
[0059] (8) 前記制御部は、前記画像を前記画像表示領域に表示するために、（a)前記表 示対象を定義するために使用される定義用座標系と、（b)前記画像表示領域に表示 される画像を定義する表示用座標系であって、前記表示部に固定されたものとを用 い、
前記制御部は、さらに、観察者の頭部の位置および向きと、前記人体に関連付けら れるように予め定められた基準座標系との相対関係を検出し、その検出された相対 関係が反映されるように、前記定義用座標系上において前記表示対象を定義する定 義データを、前記表示用座標系上において前記画像を表示する表示データに変換 し、その変換された表示データに基づき、前記出射部および変調部を制御するもの である（1)な 、し (7)項の 、ずれかに記載の画像表示装置。
[0060] この画像表示装置においては、観察者の頭部の位置および向きと、人体に関連付 けられた基準座標系との相対関係が反映されるように、定義用座標系上において表 示対象を定義する定義データが、表示用座標系上において画像を表示する表示デ ータに変換される。その変換された表示データに基づき、出射部および変調部が制 御される。 [0061] したがって、この画像表示装置によれば、観察者の頭部に関する動作に応じて、画 像が画像表示領域に表示される位置が決定される。その決定される位置は、概念上 、画像表示領域に表示されない場合の位置を含むため、この画像表示装置によれば 、観察者の頭部に関する動作に応じて、画像が画像表示領域に表示されるか否かも 一緒に決定されることになる。
[0062] (9) 前記制御部は、前記定義用座標系が前記表示用座標系に固定されているもの として、前記定義用座標系にお！ヽて前記表示対象が定義された表示対象データを 前記表示用座標系で定義される表示データに変換するものである（8)項に記載の画 像表示装置。
[0063] この画像表示装置は、後述の観察者基準表示モードであって、観察者の位置を基 準にして決定される位置に画像を観察者が観察するようにその画像を表示するもの を実行するために、観察者の頭部の位置および向きと、人体に関連付けられた基準 座標系との相対関係が反映されるように、定義用座標系上において表示対象を定義 する定義データすなわち表示対象データが、表示用座標系上において画像を表示 する表示データに変換される。
[0064] この画像表示装置は、その観察者基準表示モードに代えて後述の表示部基準表 示モードであって、当該画像表示装置のうちの表示部の位置を基準にして決定され る位置に画像を観察者が観察するようにその画像を表示するものを実行することが 可能である。
[0065] そして、本項に係る画像表示装置によれば、その表示部基準表示モードを実行す る場合に、定義用座標系上において表示対象を定義する定義データに対して実質 的な座標変換を何ら行うことなぐその定義データが事実上、表示用座標系にマツピ ングされる。その結果、その表示用座標系上において画像を表示する表示データが 、その定義データと等しいデータとして取得される。
[0066] (10) 前記制御部は、前記定義用座標系が前記基準用座標系に固定されているも のとして、前記定義用座標系にお！ヽて前記表示対象が定義された表示対象データ を前記表示用座標系で定義される表示データに変換するものである（8)項に記載の 画像表示装置。 [0067] この画像表示装置によれば、定義用座標系と基準座標系とを同等とすることから、 画像は、基準座標系に固定されたように表示される。
[0068] この画像表示装置にお!ヽては、定義用座標系によって表現されて!ヽる元データが 、観察者の頭部の位置および向きと、人体に関連付けられた基準座標系との相対関 係に基づき、表示用座標系上において画像を表示する表示データに変換され、それ により、定義用座標系上において定義される定義データである表示対象データが表 示用座標系にマッピングされる。
[0069] ところで、例えば、人体を構成する複数の部位のうち、人体の姿勢変化にもかかわ らず位置が安定している部位として腰部がある。したがって、頭部の位置および向き を人体を基準にして相対的に検出することが必要である場合には、腰部の位置を基 準にして検出することが望ましい。よって、例えば、観察者の腰部に関連付けて画像 を表示する場合には、それら腰部と頭部との相対関係に基づき、画像が観察者によ つて観察されるカゝ否かが決まり、観察される場合には、さらに、観察者によって画像が 観察される位置が決まる。
[0070] ここに、観察者の腰部を基準にして画像を表示し、かつ、頭部の位置および向きを 腰部を基準にして検出するためには、基準座標系および定義用座標系を共に、腰 部に固定すればよい。このことは、基準座標系が定義用座標系でもあることを意味す る。
[0071] (11) 前記制御部は、前記定義用座標系および前記表示用座標系のいずれとも異 なり、かつ、観察者の人体のいずれかの部位に関連付けられた第 3の座標系に前記 定義用座標系が固定されて 、るものとして、その定義用座標系にお 、て前記表示対 象が定義された表示対象データを前記表示用座標系で定義される表示データに変 換するものである（8)項に記載の画像表示装置。
[0072] 例えば、観察者の腕部を基準にして画像を表示し、かつ、腕部の位置を腰部を基 準にして相対的に検出することが必要である場合には、例えば、定義用座標系を腕 部に固定する一方、基準座標系を腰部に固定することが可能である。この例は、基 準座標系が定義用座標系および表示用座標系のいずれとも異なる座標系である場 合の一例である。 [0073] (12) 前記基準座標系は、
前記人体に関連付けられる少なくとも 1個の点の位置情報と、その少なくとも 1個の 点に関連付けられる少なくとも 2個の向き情報との組合せと、
前記人体に関連付けられる少なくとも 2個の点の位置情報と、それら少なくとも 2個 の点のうちの少なくとも 1個の点に関連付けられる少なくとも 1個の向き情報との組合 せと、
前記人体に関連付けられる少なくとも 3個の点の位置情報の組合せと
の!、ずれかによつて特定される (8)な 、し（11)項の!/、ずれかに記載の画像表示装 置。
[0074] 座標系を 3次元空間内で一意に定義するために、その 3次元空間内において互い に一致しな 、3個の点の座標値を特定する力、互いに一致しな 、2個の点の座標値 と、定義すべき座標系の 1個の向きとの組合せを特定するか、または、 1個の点の座 標値と、定義すべき座標系の、互いに異なる 2個の向きとの組合せを特定すれば足り る。
[0075] なお付言すれば、各点に関連付けられる向きを検出するために、各点に作用する 重力の向きを参照することが可能である。定義すべき座標系が人体のうちのある部位 に関連付けられる場合には、その部位に質量が存在するため、地球上においては必 ず重力が作用する。その重力の向きは、比較的容易に検出し得る物理量である。
[0076] 以上説明した知見に基づき、本項に係る画像表示装置においては、前記（8)ない し（ 11)項の 、ずれかにおける基準座標系が、 (a)人体に関連付けられる少なくとも 1 個の点の位置情報と、その少なくとも 1個の点に関連付けられる少なくとも 2個の向き 情報との組合せと、（b)人体に関連付けられる少なくとも 2個の点の位置情報と、それ ら少なくとも 2個の点のうちの少なくとも 1個の点に関連付けられる少なくとも 1個の向 き情報との組合せと、（c)人体に関連付けられる少なくとも 3個の点の位置情報の組
Figure imgf000015_0001
、ずれかによつて特定される。
[0077] 本項における「人体に関連付けられる点」は、人体上に位置する点を意味する場合 のみならず、人体に対して概して一定の位置関係を有する物体 (例えば、人体に装 着される補助具)上の点を意味する場合もある。 [0078] その物体は、例えば、人体の手で保持されて使用される物体としたり、人体のうち、 手以外の部位に装着されて使用される物体とすることが可能である。この物体は、複 数個の点が互いに共通に関連付けられる単一物体として構成したり、それら複数個 の点が 1個ずつまたは複数個ずつ個別に関連付けられる、互いに独立した複数個の 物体として構成することが可能である。
[0079] (13) 前記基準座標系は、前記人体の単一の部位に関連付けられる 3個の点の位 置情報によって特定される (8)な 、し（11)項の 、ずれかに記載の画像表示装置。
[0080] 本項における「3個の点」は、例えば、人体の胴体を概して水平な平面で切断した 場合の横断面の外周上に概して等間隔で並んだ 3個の点である。
[0081] (14) 前記基準座標系は、前記人体の単一の部位に関連付けられる 2個の点の位 置情報と、その単一の部位に関連付けられる 1個の点に作用する重力の向き情報と によって特定される (8)な 、し（11)項の 、ずれかに記載の画像表示装置。
[0082] 本項における「2個の点」は、例えば、人体の腰部に関連付けられる 2個の点であつ てその腰部の左側の端点および右側の端点にそれぞれ関連付けられるもの、人体 の左腕部と右腕部とのうちのいずれかであって手関節と肘関節との間の部位に関連 付けられる 2個の点、または、人体の肩部に関連付けられる 2個の点であってその肩 部の左側の端点および右側の端点にそれぞれ関連付けられるものである。
[0083] (15) 前記制御部は、前記基準部位を基準にして決定される位置に前記画像を観 察者が観察するようにその画像を表示する観察者基準表示モードと、前記表示部の 位置を基準にして決定される位置に前記画像を観察者が観察するようにその画像を 表示する表示部基準表示モードとを含む複数種類の表示モードのうちのいずれかを 選択し、その選択された表示モードに従って前記画像を表示するものである（2)ない し（14)項の 、ずれかに記載の画像表示装置。
[0084] この画像表示装置にお!、ては、画像を表示するモードが、観察者の基準部位を基 準にして決定される位置に画像を観察者が観察するようにその画像を表示する観察 者基準表示モードと、表示部の位置を基準にして決定される位置に画像を観察者が 観察するようにその画像を表示する表示部基準表示モードとを含む複数種類の表示 モードのうちのいずれかに選択される。 [0085] したがって、この画像表示装置によれば、観察者の希望'要求や、別の装置からの 指令に従い、画像を表示する表示モードを変更することが可能となり、この画像表示 装置の使い勝手や汎用性を向上させることが容易となる。
[0086] 本項における「制御部」は、表示モードの選択を、例えば、観察者の指令に従って 行うことや、別の装置力 の指令信号に従って行うことが可能である。
[0087] 本項における「複数種類の表示モード」は、さらに、現実外界の位置を基準にして 決定される位置に前記画像を観察者が観察するようにその画像を表示する現実外界 基準表示モードを含むものとすることが可能である。
[0088] (16) 前記制御部は、観察者の指令に従って前記表示モードの選択を行うものであ る（ 15)項に記載の画像表示装置。
[0089] 本項における「観察者の指令」は、例えば、観察者が特定のスィッチを操作すること
、観察者が特定の動作 (スィッチの操作を除く。）を行うかまたは特定の音声を発する ことによって発令することが可能である。観察者の特定の動作は、例えば、頭部の動 作、手足の動作、眼の瞬き、瞳孔の運動である。
[0090] (17) 当該画像表示装置は、観察者が、前記表示対象を表す画像を現実外界に重 ねてそれと一緒に観察することを可能にするシースルー型である（1)ないし（16)項 の!、ずれかに記載の画像表示装置。
[0091] この画像表示装置によれば、観察者の動作に応じてその観察者に対する画像の表 示が制御される。したがって、シースルー型の採用により、画像が現実外界に重ねら れてそれと一緒に観察される環境にお!、て、観察者の動作が原因で観察者が現実 外界との関係においてその表示画像に不自然さを感じてしまう可能性を軽減すること が容易である。
[0092] さらに、この画像表示装置によれば、観察者の動作に応じて、その観察者が優先的 に観察する対象 (すなわち、特に注視する対象)を画像と現実外界中の特定の対象 物とに適宜切り換えることが可能となる。その結果、この画像表示装置の使い勝手を 向上させることが容易となる。
[0093] (18) 当該画像表示装置が、光束を観察者の網膜上において 2次元的に走査する ことにより、観察者に画像を表示する網膜走査型であり、 前記変調部は、当該画像表示領域から観察者の瞳孔内に入射する光束の波面曲 率半径を、表示すべき画像のフレームごとに、またはフレームが分割された各部分領 域ごとに変調する波面変調部を含む（1)な!、し（17)項の 、ずれかに記載の画像表 示装置。
[0094] この画像表示装置によれば、観察者の網膜上に投影される画像を形成する光の波 面曲率半径が、その形成すべき画像のフレームごとに、またはフレームが分割された 各部分領域ごとに変調される。
[0095] したがって、この画像表示装置によれば、画像の奥行きを自由に変更したり、画像 を立体的に表示することが容易となる。
[0096] 本項における「各部分領域」は、例えば、フレームを構成する各画素、互いに隣接 した複数個の画素力も成る画素グループ等である。
[0097] (19) 前記画像は、一斉に表示されるべき複数のオブジェクトを含み、それら複数の オブジェクトは、各オブジェクトの奥行き位置を特定する奥行き位置情報と、各ォブジ ェタトの奥行き位置における平面上の各オブジェクトの位置を特定する平面位置情 報とを有する複数の画像情報によって立体的に表示され、
当該画像表示装置は、さらに、
前記複数のオブジェクトのうちのいずれかを特定オブジェクトとして選択する選択部 と、
その選択部により選択された特定オブジェクトに対応する前記奥行き位置情報に基 づいて前記画像の表示態様を変更する画像処理を施す画像処理部と
を含む（ 1)ないし（ 18)項の 、ずれかに記載の画像表示装置。
[0098] この画像表示装置によれば、表示すべき画像の表示態様を特定オブジェクトの奥 行き位置に基づ 、て変更することができるため、表示すべき画像を特定オブジェクト の奥行き位置に基づいて種々の表示態様で表示することができる。したがって、例え ば、観察者による特定オブジェクトの鮮明な目視が可能となる。
[0099] (20) 前記画像処理部は、前記選択部によって選択された特定オブジェクトと、その 特定オブジェクト以外の非特定オブジェクトとを互いに異なる表示態様で表示する画 像処理を施す（19)項に記載の画像表示装置。 [0100] この画像表示装置によれば、特定オブジェクトを非特定オブジェクトとは異なる表示 態様で表示することができるため、特定オブジェクトの表示態様の自由度が向上する
[0101] (21) 前記選択部は、前記複数のオブジェクトのうち観察者が着目している着目ォ ブジェクトを前記特定オブジェクトとして検出する特定オブジェクト検出部を含む（19 )または（20)項に記載の画像表示装置。
[0102] この画像表示装置によれば、観察者が着目している特定オブジェクトを検出するこ とができ、その検出された特定オブジェクトの奥行き位置に基づく画像処理を施すこ とができる。したがって、例えば、観察者による特定オブジェクトの鮮明な目視が可能 となる。
[0103] (22) 前記特定オブジェクト検出部は、
観察者の視線方向を検出する視線方向検出部と、
その視線方向検出部の検出結果に基づき、前記複数の画像情報の内から前記検 出された視線方向に対応する画像情報を検索し、その検索された画像情報に基づ Vヽて前記特定オブジェクトを決定する決定部と
を含む（21)項に記載の画像表示装置。
[0104] この画像表示装置によれば、観察者の視線方向を検出することにより、観察者が着 目している特定オブジェクトを検出することができる。
[0105] (23) 前記特定オブジェクト検出部は、
観察者の左眼および右眼の両視線方向をそれぞれ検出する視線方向検出部と、 その視線方向検出部によって検出された左眼および右眼の視線方向および左眼と 右眼との間の距離に基づいて観察者の注視点の位置を演算し、その演算結果に基 づ 、て前記特定オブジェクトを検出する演算部と
を含む（21)項に記載の画像表示装置。
[0106] この画像表示装置によれば、観察者の視線方向に加えて両眼の間隔を考慮するこ とにより、観察者が着目している特定オブジェクトをより正確に検出することができる。
[0107] (24) さらに、前記奥行き位置情報に基づき、前記各オブジェクトの奥行き位置を検 出する奥行き位置検出部を含み、前記画像処理部は、前記特定オブジェクトとその 特定オブジェクトの奥行き位置と同一の奥行き位置に表示される別のオブジェクトと のうちの少なくとも特定オブジェクトと、その特定オブジェクトの奥行き位置とは異なる 奥行き位置に表示される非特定オブジェクトとを互いに異なる表示態様で表示する 画像処理を施す（ 19)ないし（23)項の 、ずれかに記載の画像表示装置。
[0108] この画像表示装置によれば、特定オブジェクトの奥行き位置とは異なる奥行き位置 に表示される非特定オブジェクトを、特定オブジェクトとは異なる態様で表示すること ができる。したがって、例えば、観察者による特定オブジェクトの鮮明な目視が可能と なる。
[0109] (25) 前記画像処理部は、前記特定オブジェクトの輝度を変化させる手段を含む（1
9)な 、し (24)項の 、ずれかに記載の画像表示装置。
[0110] この画像表示装置によれば、特定オブジェクトの奥行き位置に基づいて特定ォブ ジェタトの輝度を変化させることができるため、例えば、観察者による特定オブジェクト の鮮明な目視が可能となる。
[0111] (26) 前記画像処理部は、前記特定オブジェクトの輪郭を明瞭にする手段を含む（
19)な 、し (25)項の 、ずれかに記載の画像表示装置。
[0112] この画像表示装置によれば、特定オブジェクトの奥行き位置に基づいて特定ォブ ジェタトの輪郭の鮮明度を変化させることができる。したがって、例えば、観察者によ る特定オブジェクトの鮮明な目視が可能となる。
[0113] (27) 前記画像処理部は、前記特定オブジェクトの外形に沿って輪郭線を付す手 段を含む（ 19)ないし（26)項の 、ずれかに記載の画像表示装置。
[0114] この画像表示装置によれば、特定オブジェクトの外形に沿って輪郭線を付すことが できるため、例えば、観察者による特定オブジェクトの鮮明な目視が可能となる。
[0115] (28) 前記画像処理部は、前記奥行き位置検出部の検出結果に基づき、前記複数 のオブジェクトのうち前記特定オブジェクトより手前に位置する非特定オブジェクトを 透明または半透明に表示する手段を含む（24)な 、し (27)項の 、ずれかに記載の 画像表示装置。
[0116] この画像表示装置によれば、特定オブジェクトより手前に位置する非特定オブジェ タトが透明または半透明に表示されるため、観察者は、特定オブジェクトを手前の非 特定オブジェクトに邪魔されることなぐ明瞭に目視することができる。
[0117] (29) 画像を表示する画像表示装置であって、表示されるべき画像は、一斉に表示 されるべき複数のオブジェクトを含み、それら複数のオブジェクトは、各オブジェクトの 奥行き位置を特定する奥行き位置情報と、各オブジェクトの奥行き位置における平面 上の各オブジェクトの位置を特定する平面位置情報とを有する複数の画像情報によ つて立体的に表示されるものであって、
前記複数のオブジェクトのうちのいずれかを特定オブジェクトとして選択する選択部 と、
その選択部により選択された特定オブジェクトに対応する前記奥行き位置情報に基 づいて前記画像の表示態様を変更する画像処理を施す画像処理部と
を含む画像表示装置。
[0118] 日本国特開平 11— 271666号公報に開示されているように、人間の網膜上に画像 を直接的に表示する網膜走査型ディスプレイが既に知られている。図 26に示すよう に、例えば、網膜走査型ディスプレイ 400は、光を画像情報に応じて変調し、その変 調された被変調光 Hを投影めがね 402に入射させて走査することにより、その投影め がね 402のうちの光反射部 404からの反射光により光学的に画像を表示するように 構成されている。
[0119] 図 26に示すように、観察者が投影めがね 402を装着すると、被変調光 Hが投影め がね 402で反射され、観察者の眼 Mの虹彩 Mlで囲まれた瞳孔 M2を通って水晶体 M3に集光される。その集光された光が網膜 M4上において走査されることにより、観 察者の網膜 M4上に画像が表示される。
[0120] この種の網膜走査型ディスプレイによれば、 日本国特許第 2874208号公報に開 示されているように、被変調光 Hの拡散の角度を図 26において、破線、二点鎖線お よび一点鎖線で示す各角度に変えることができる。このように被変調光 Hの拡散の角 度を変えることにより、拡散の角度の変更に応じて、観察者は、虚像 (画像)が Pl、 P 2および P3の各位置にそれぞれ存在するように認識する。したがって、この種の網膜 走査型ディスプレイによれば、このように被変調光 Hの拡散の角度を変えることにより 、画像を立体的に表示することができる。 [0121] しかし、上述の網膜走査型ディスプレイによれば、画像を立体的に表示することが できるが、この場合、観察者が遠方の物体に眼の焦点を合わせて遠方の物体を観察 すれば近景には眼の焦点が合っていないために、近景はぼやけて認識される。一方 、近景の物体に眼の焦点を合わせた場合には、遠方には眼の焦点が合っていない ために、遠方の物体はぼやけて認識される。
[0122] 例えば、水族館の水槽内を観察する場合、手前に泳ぐ鯛を観察すると、当然に遠 方の物体には焦点が合わずに、ぼやけて見える。一方、遠方に泳ぐ鯛を観察すると 、手前に泳ぐ鯛はぼやけて認識される。この現象は、上述の網膜走査型ディスプレイ における上述の現象と同様である。
[0123] 以上説明した事情に鑑み、本項に係る画像表示装置の目的は、オブジェクトを有 する画像を立体的に表示することができる画像表示装置であって、オブジェクトの奥 行き位置にかかわらず、観察者による画像の鮮明な目視を可能にするものを提供す ることにめる。
[0124] 本項に係る画像表示装置によれば、表示すべき画像の表示態様を特定オブジェク トの奥行き位置に基づ 、て変更することができるため、表示すべき画像を特定ォブジ 工タトの奥行き位置に基づいて種々の表示態様で表示することができる。したがって 、例えば、観察者による画像の鮮明な目視が可能となる。
[0125] 本項における「画像」と「オブジェクト」との各用語の定義を説明するに、それら画像 とオブジェクトとの間には、オブジェクトが画像に帰属するという関係が存在する。しか し、オブジェクトは画像の一部でもあることから、オブジェクトを単に画像と称すること が可能であり、または、オブジェクトを画像のコンテンツと称することが可能である。
[0126] (30) 前記画像処理部は、前記選択部によって選択された特定オブジェクトと、その 特定オブジェクト以外の非特定オブジェクトとを互いに異なる表示態様で表示する画 像処理を施す（29)項に記載の画像表示装置。
[0127] この画像表示装置によれば、特定オブジェクトを非特定オブジェクトとは異なる表示 態様で表示することができるため、特定オブジェクトの表示態様の自由度が向上する
[0128] (31) 前記選択部は、前記複数のオブジェクトのうち観察者が着目している着目ォ ブジェクトを前記特定オブジェクトとして検出する特定オブジェクト検出部を含む（29 )または（30)項に記載の画像表示装置。
[0129] この画像表示装置によれば、観察者が着目している特定オブジェクトを検出するこ とができ、その検出された特定オブジェクトの奥行き位置に基づく画像処理を施すこ とができる。したがって、例えば、観察者による特定オブジェクトの鮮明な目視が可能 となる。
[0130] (32) 前記特定オブジェクト検出部は、
観察者の視線方向を検出する視線方向検出部と、
その視線方向検出部の検出結果に基づき、前記複数の画像情報の内から前記検 出された視線方向に対応する画像情報を検索し、その検索された画像情報に基づ Vヽて前記特定オブジェクトを決定する決定部と
を含む（31)項に記載の画像表示装置。
[0131] この画像表示装置によれば、観察者の視線方向を検出することにより、観察者が着 目している特定オブジェクトを検出することができる。
[0132] (33) 前記特定オブジェクト検出部は、
観察者の左眼および右眼の両視線方向をそれぞれ検出する視線方向検出部と、 その視線方向検出部によって検出された左眼および右眼の視線方向および左眼と 右眼との間の距離に基づいて観察者の注視点の位置を演算し、その演算結果に基 づ 、て前記特定オブジェクトを検出する演算部と
を含む（31)項に記載の画像表示装置。
[0133] この画像表示装置によれば、観察者の視線方向に加えて両眼の間隔を考慮するこ とにより、観察者が着目している特定オブジェクトをより正確に検出することができる。
[0134] (34) さらに、前記奥行き位置情報に基づき、前記各オブジェクトの奥行き位置を検 出する奥行き位置検出部を含み、前記画像処理部は、前記特定オブジェクトとその 特定オブジェクトの奥行き位置と同一の奥行き位置に表示される別のオブジェクトと のうちの少なくとも特定オブジェクトと、その特定オブジェクトの奥行き位置とは異なる 奥行き位置に表示される非特定オブジェクトとを互いに異なる表示態様で表示する 画像処理を施す（29)な 、し (33)項の 、ずれかに記載の画像表示装置。 [0135] この画像表示装置によれば、特定オブジェクトの奥行き位置とは異なる奥行き位置 に表示される非特定オブジェクトを、特定オブジェクトとは異なる態様で表示すること ができる。したがって、例えば、観察者による特定オブジェクトの鮮明な目視が可能と なる。
[0136] (35) 前記画像処理部は、前記特定オブジェクトの輝度を変化させる手段を含む（2
9)な 、し (34)項の 、ずれかに記載の画像表示装置。
[0137] この画像表示装置によれば、特定オブジェクトの奥行き位置に基づいて特定ォブ ジェタトの輝度を変化させることができるため、例えば、観察者による特定オブジェクト の鮮明な目視が可能となる。
[0138] (36) 前記画像処理部は、前記特定オブジェクトの輪郭を明瞭にする手段を含む（
29)な 、し (35)項の 、ずれかに記載の画像表示装置。
[0139] この画像表示装置によれば、特定オブジェクトの奥行き位置に基づいて特定ォブ ジェタトの輪郭の鮮明度を変化させることができる。したがって、例えば、観察者によ る特定オブジェクトの鮮明な目視が可能となる。
[0140] (37) 前記画像処理部は、前記特定オブジェクトの外形に沿って輪郭線を付す手 段を含む（29)な 、し (36)項の 、ずれかに記載の画像表示装置。
[0141] この画像表示装置によれば、特定オブジェクトの外形に沿って輪郭線を付すことが できるため、例えば、観察者による特定オブジェクトの鮮明な目視が可能となる。
[0142] (38) 前記画像処理部は、前記奥行き位置検出部の検出結果に基づき、前記複数 のオブジェクトのうち前記特定オブジェクトより手前に位置する非特定オブジェクトを 透明または半透明に表示する手段を含む（34)な 、し (37)項の 、ずれかに記載の 画像表示装置。
[0143] この画像表示装置によれば、特定オブジェクトより手前に位置する非特定オブジェ タトが透明または半透明に表示されるため、観察者は、特定オブジェクトを手前の非 特定オブジェクトに邪魔されることなぐ明瞭に目視することができる。
[0144] (39) 前記画像処理部は、前記複数のオブジェクトのうち、前記特定オブジェクトと 所定の視角をなす範囲内にある非特定オブジェクトの表示態様を変更する手段を含 む（31)な 、し (37)項の 、ずれかに記載の画像表示装置。 [0145] この画像表示装置によれば、特定オブジェクトと所定の視角を成す範囲内にある非 特定オブジェクトの表示態様を変更することができるため、その範囲内の非特定ォブ ジェタトを非表示にするなどの処理が可能となる。したがって、例えば、観察者による 特定オブジェクトの鮮明な目視が可能となる。
[0146] (40) 前記画像処理部は、前記特定オブジェクトと、前記複数のオブジェクトのうち 前記特定オブジェクト以外の非特定オブジェクトとの少なくとも一方の奥行き位置を 変更して表示する表示オブジェクト位置変更部を含む（29)な 、し (39)項の 、ずれ かに記載の画像表示装置。
[0147] この画像表示装置によれば、特定オブジェクトと非特定オブジェクトとの間の相対的 な奥行き位置を任意に変更して表示することができる。したがって、例えば、観察者 による特定オブジェクトの鮮明な目視が可能となる。
[0148] (41) さらに、
前記平面位置情報に応じた光束を出力する光束出力部と、
前記奥行き位置情報に応じて、前記光束出力部より出力された光束の波面曲率を 変調する波面曲率変調部と
を含み、前記表示オブジェクト位置変更部は、前記波面曲率変調部を制御する (4 0)項に記載の画像表示装置。
[0149] この画像表示装置によれば、波面曲率変調部を制御することにより、任意のォブジ ェクトを任意の奥行き位置に表示することができる。したがって、例えば、観察者によ る特定オブジェクトの鮮明な目視が可能となる。
[0150] (42) さらに、前記奥行き位置情報に基づき、前記各オブジェクトの奥行き位置を検 出する奥行き位置検出部を含み、前記表示オブジェクト位置変更部は、前記奥行き 位置検出部の検出結果に基づき、前記特定オブジェクトの奥行き位置より遠方の奥 行き位置に位置する前記非特定オブジェクトを、前記特定オブジェクトの近傍に接近 させて表示する手段を含む (40)または (41)項に記載の画像表示装置。
[0151] この画像表示装置によれば、特定オブジェクトより遠方の非特定オブジェクト（例え ば、背景画像)を特定オブジェクトに接近させて表示することができる。したがって、 観察者は、特定オブジェクトと非特定オブジェクトとを同一の視度 (ピント)状態でピン ボゲすることなし〖こ目視することができる。
[0152] (43) さらに、前記奥行き位置情報に基づき、前記各オブジェクトの奥行き位置を検 出する奥行き位置検出部を含み、前記表示オブジェクト位置変更部は、前記奥行き 位置検出部の検出結果に基づき、前記特定オブジェクトの奥行き位置より遠方の奥 行き位置に位置する前記非特定オブジェクトを、更に遠ざけて表示する手段を含む（ 40)または (41)項に記載の画像表示装置。
[0153] この画像表示装置によれば、特定オブジェクトより遠方の非特定オブジェクトを更に 遠方に遠ざけて表示することができるため、観察者は、より遠近感が強調された状態 で、特定オブジェクトを明瞭に目視することができる。
[0154] (44) さらに、
一つの画素を一つの光束によって表示する光束出力部と、
前記複数のオブジェクトのうち、前記特定オブジェクトの手前の位置にその特定ォ ブジエタトに重ねて表示されるべき非特定オブジェクトを検出する重なりオブジェクト 検出部と、
その重なりオブジェクト検出部が前記非特定オブジェクトを検出した場合に、その非 特定オブジェクトのうち少なくとも前記特定オブジェクトと重ねて表示されるべき部分 を、前記特定オブジェクトが前記非特定オブジェクトに隠れることがないように表示す る重なりオブジェクト表示部と
を含む（29)項に記載の画像表示装置。
[0155] この画像表示装置によれば、本来であれば特定オブジェクトがそれより手前の非特 定オブジェクトに重ねて表示されるべき場合であっても、観察者は、特定オブジェクト を、非特定オブジェクトに完全には隠れることなぐ認識することができる。
[0156] (45) 前記重なりオブジェクト表示部は、前記非特定オブジェクトのうち少なくとも前 記特定オブジェクトと重ねて表示されるべき部分を透明に表示する第 1表示部を含む (44)項に記載の画像表示装置。
[0157] この画像表示装置によれば、本来であれば特定オブジェクトがそれより手前の非特 定オブジェクトの裏側に重ねて表示されるべき場合に、その非特定オブジェクトのうち 少なくとも特定オブジェクトと重ねて表示されるべき部分が透明に表示される。したが つて、観察者は、非特定オブジェクトとの重なり部分を完全に透過して、特定オブジェ タトを認識することができる。
[0158] (46) 前記重なりオブジェクト表示部は、前記非特定オブジェクトのうち少なくとも前 記特定オブジェクトと重ねて表示されるべき部分を半透明に表示する第 2表示部を含 む (44)項に記載の画像表示装置。
[0159] この画像表示装置によれば、本来であれば特定オブジェクトがそれより手前の非特 定オブジェクトの裏側に重ねて表示されるべき場合に、その非特定オブジェクトのうち 少なくとも特定オブジェクトと重ねて表示されるべき部分が半透明に表示される。した がって、観察者は、非特定オブジェクトとの重なり部分を部分的に透過して、特定ォ ブジェクトを認識することができる。
[0160] (47) 前記第 2表示部は、前記非特定オブジェクトのうち前記特定オブジェクトと重 ねて表示されるべき部分を、前記非特定オブジェクトと同じ色彩と前記特定オブジェ タトと同じ色彩とをある割合で混合した混合色彩で表示し、その混合色彩における各 色彩の割合を変更する混合割合変更部を含む (46)項に記載の画像表示装置。
[0161] この画像表示装置によれば、本来であれば特定オブジェクトがそれより手前の非特 定ォブジエタトの裏側に重ねて表示されるべき場合に、特定オブジェクトの色彩と、非 特定オブジェクトの色彩とを混合した混合色彩を特定オブジェクトに付すことができる
[0162] (48) さらに、前記複数の画像情報に応じて光束を網膜上において走査する走査 部を含む（29)な 、し (47)項の 、ずれかに記載の画像表示装置。
[0163] この画像表示装置によれば、光束を網膜上において走査することにより、画像を網 膜上に直接表示することができる。
[0164] (49) さらに、前記画像処理部の作動を選択的に無効にするために操作される操作 部を含む（29)な 、し (48)項の 、ずれかに記載の画像表示装置。
[0165] この画像表示装置によれば、例えば、ユーザの好みに応じて、画像処理部の作動 を選択的に無効にすることができる。したがって、画像表示装置の使い勝手が向上 する。
図面の簡単な説明 [図 1]図 1は、本発明の第 1実施形態に従う画像表示装置を概念的に表すブロック図 である。
[図 2]図 2は、図 1における表示光学系 10の構成を概念的に表すブロック図である。
[図 3]図 3は、図 1における頭部装着部 40と腰部装着部 50とがそれぞ 察者の頭 部と腰部とに装着される一例を示す斜視図である。
[図 4]図 4は、図 1に示す画像表示装置において観察者の頭部の位置および向きを 腰部を基準にして相対的に検出するためのいくつかの要素を取り出して示すブロック 図である。
[図 5]図 5は、図 4におけるコンピュータ 220によって実行される位置検出プログラムを 概念的に表すフローチャートである。
[図 6]図 6は、図 1に示す画像表示装置において使用される表示用座標系および基 準座標系を説明するための斜視図である。
[図 7]図 7は、図 1における表示データ変換回路 70においてコンピュータによって実 行される表示データ作成プログラムを概念的に表すフローチャートである。
[図 8]図 8は、本発明の第 2実施形態に従う画像表示装置を概念的に表すブロック図 である。
[図 9]図 9は、図 8におけるコンピュータ 66によって実行される画像処理プログラムを 概念的に表すフローチャートである。
[図 10]図 10は、本発明の第 3実施形態に従う網膜走査型ディスプレイ 200の構成お よび作動を説明するためのブロック図および光路図である。
[図 11]図 11は、図 10における被変調光出力部 204の構成を説明するための図であ る。
[図 12]図 12は、図 10における走査部 206および波面曲率変調部 208の構成を説明 するための図である。
[図 13]図 13は、図 12における波面曲率変調部 208が波面曲率を変調する原理を説 明するための図である。
[図 14]図 14は、図 10におけるコンピュータ 220によって実行される画像処理プロダラ ムを概念的に表すフローチャートである。 [図 15]図 15は、図 14に示す画像処理プログラムを具体的に説明するために用 、る 表示画像の一例を示す斜視図である。
[図 16]図 16は、本発明の第 4実施形態に従う網膜走査型ディスプレイ 200における コンピュータ 220によって実行される画像処理プログラムを概念的に表すフローチヤ ートである。
[図 17]図 17は、本発明の第 5実施形態に従う網膜走査型ディスプレイ 200における コンピュータ 220によって実行される画像処理プログラムを概念的に表すフローチヤ ートである。
[図 18]図 18は、本発明の第 6実施形態に従う網膜走査型ディスプレイ 200における コンピュータ 220によって実行される画像処理プログラムを概念的に表すフローチヤ ートである。
[図 19]図 19は、本発明の第 7実施形態に従う網膜走査型ディスプレイ 200における コンピュータ 220によって実行される画像処理プログラムを概念的に表すフローチヤ ートである。
[図 20]図 20は、本発明の第 8実施形態に従う網膜走査型ディスプレイ 200における コンピュータ 220によって実行される画像処理プログラムを概念的に表すフローチヤ ートである。
[図 21]図 21は、本発明の第 9実施形態に従う網膜走査型ディスプレイ 200における コンピュータ 220によって実行される画像処理プログラムを概念的に表すフローチヤ ートである。
[図 22]図 22は、図 21における S702の実行内容を説明するための平面図である。
[図 23]図 23は、図 21に示す画像処理プログラムを具体的に説明するために用いる 表示画像の一例を示す正面図である。
[図 24]図 24は、本発明の第 10実施形態に従う網膜走査型ディスプレイ 200における コンピュータ 220によって実行される画像処理プログラムを概念的に表すフローチヤ ートである。
[図 25]図 25は、図 24に示す画像処理プログラムを具体的に説明するために用いる 表示画像の一例を示す正面図である。 [図 26]図 26は、網膜走査型ディスプレイの一従来例を説明するための斜視図である 発明を実施するための最良の形態
[0167] 以下、本発明のさらに具体的な実施の形態のいくつかを図面に基づいて詳細に説 明する。
[0168] 図 1には、本発明の第 1実施形態に従う画像表示装置がブロック図で概念的に表さ れている。この画像表示装置は、光束を走査しつつ観察者の眼の網膜上に投影する ことにより、表示対象を虚像によって観察者に視認させる網膜走査型ディスプレイで ある。
[0169] 図 1に示すように、この画像表示装置は、画像を表示するために光束を走査し、 つ、その走査された走査光束を観察者の眼に向力つて出射する表示光学系 10を備 えている。その走査光束は、観察者の眼の瞳孔を経て網膜上に到達し、その結果、 観察者は画像を知覚する。
[0170] その表示光学系 10は、図 2に概念的にブロック図で表すように、光束を生成して出 射する光源 12と、強度変調器 14と、波面変調器 16と、スキャナ 18と、誘導部 20とを 共通のハウジング 22内に含むように構成されて 、る。
[0171] 光源 12の一例は、レーザ光束を発生させるレーザであり、その一例は、半導体レー ザである。強度変調器 14は、光源 12から入射した光束の強度を変調するものであり 、その一例は、音響光学効果を利用して強度変調を行うものである。波面変調器 16 は、強度変調器 14から入射した光束の波面曲率を変調するものである。この波面変 調器 16の一例は、光束の光軸上に、位置または曲率が可変であるように配置された 集光レンズまたは反射ミラーを利用して波面変調を行うものである。
[0172] スキャナ 18は、波面変調器 16から入射した光束を 2次元的に走査するものである。
このスキャナ 18の一例は、水平走査のための、加振器による振動体の共振を利用し たマイクロミラーと、垂直走査のためのガルバノミラーとの組合せである。
[0173] 誘導部 20は、スキャナ 18から出射した光束を観察者の網膜上に誘導する部分で ある。この誘導部 20の一例は、リレー光学系であり、別の例は、その光束が単に透過 する光学系である。この誘導部 20から出射した光束は、ハウジング 22に形成された 出射口 24を経て観察者の網膜上に到達する。その出射口 24は、ノ、ウジング 22内部 への異物侵入を防止するため、透明体で充填されている。
[0174] この表示光学系 10は、観察者の頭部に装着されて使用される。すなわち、この画 像表示装置はヘッドマウント型なのである。
[0175] 以上の説明から明らかなように、本実施形態においては、光源 12が前記（1)項に おける「出射部」の一例を構成し、強度変調器 14および波面変調器 16がそれぞれ 同項における「変調部」の一例を構成し、誘導部 20および出射口 24が互いに共同し て同項における「表示部」の一例を構成して 、るのである。
[0176] なお付言するに、光源 12が、半導体レーザの如ぐ自ら強度変調機能を有する場 合には、光源 12から独立した強度変調器 14を設けることは不可欠ではない。
[0177] さらに付言するに、表示すべき画像の奥行きを画像のフレームごとにまたは画素ご とに変化させることが必要ではない場合には、波面変調器 16は不要である。
[0178] さらに付言するに、本実施形態においては、誘導部 20および出射口 24のみならず 光源 12、強度変調器 14、波面変調器 16およびスキャナ 18も観察者の頭部に装着さ れているが、光源 12および強度変調器 14は、観察者のうち頭部以外の部位、例え ば、腰部に装着され、その強度変調器 14から出射した光束が可撓性の光伝送媒体 ( 例えば、光ファイバ）を経て頭部装着部 40に伝送される態様で本発明を実施すること が可能である。
[0179] 表示光学系 10は、図 1に示すように、本実施形態においては、インターフェース部 30、磁界受信部 32および信号処理回路 34と共に、共通のハウジング 36内に収容さ れている。本実施形態においては、それら表示光学系 10、インターフェース部 30、 磁界受信部 32および信号処理回路 34が互いに共同して頭部装着部 40を構成して いる。
[0180] 図 3には、その頭部装着部 40が観察者の頭部に装着される態様の一例が斜視図 で示されている。この例においては、頭部装着部 40の装着位置がずれないように頭 部装着部 40が頭部にベルト 42を用いて装着される。
[0181] 図 1に示すように、この頭部装着部 40においては、インターフェース部 30に表示光 学系 10と磁界受信部 32とが互いにパラレルに接続されて 、る。磁界受信部 32は、 磁界の強度を検出するセンサである。この磁界受信部 32が、信号処理回路 34を経 てインターフェース部 30に接続されている。その信号処理回路 34の一例は、磁界受 信部 32からアナログ信号として出力される磁界強度信号であって受信した磁界の強 度を表すものをデジタル信号 (例えば、磁界強度データ）に変換する変換器である。
[0182] 図 1に示すように、この画像表示装置は、さらに、腰部装着部 50を備えている。その 腰部装着部 50は、観察者の腰部に装着されて使用される。図 3には、この腰部装着 部 50が観察者の腰部に装着される態様の一例が斜視図で示されている。この例に ぉ 、ては、腰部装着部 50の装着位置がずれな 、ように腰部装着部 50が腰部にベル ト 52を用いて装着される。
[0183] 図 1に示すように、この腰部装着部 50は、 CPU60と、 RAMZROM62と、それらを 互 ヽに接続するバス 64とを有するコンピュータ 66を含むように構成されて 、る。 RA MZROM62のうちの ROM部には、後述の位置検出プログラムを含む各種プログラ ムが予め記憶されている。
[0184] 図 1に示すように、バス 64には、さらに、磁界発生部 68、表示データ変換回路 70、 操作部 72および画像情報メモリ 74がそれぞれ、対応する信号処理回路 78, 80, 82 , 84を経て接続されている。各信号処理回路 78, 80, 82, 84の一例は、アナログ信 号とデジタル信号との間にお 、て信号フォーマットを変換する変換器であり、別の例 は、信号またはデータを一時的に保存するバッファである。
[0185] 図 1に示すように、この腰部装着部 50は、さらに、インターフェース部 90を備えてい る。このインターフェース部 90は、可撓性の信号伝送媒体 94 (図 3参照）を経て頭部 装着部 40のインターフェース部 30に電気的に接続されている。このインターフェース 部 90には、ノ ス 64と表示データ変換回路 70とが互いにパラレルに接続されている。
[0186] 腰部装着部 50のバス 64がインターフェース部 90、信号伝送媒体 94、インターフエ ース部 30および信号処理回路 34をそれらの順に経て磁界受信部 32と接続されるこ とにより、その磁界受信部 32から磁界強度信号をコンピュータ 66が取り込むことが可 能となって！/ヽる。その取り込まれた磁界強度信号に対して前記位置検出プログラムが コンピュータ 66によって実行されることにより、頭部の位置および向きが腰部を基準 にして検出される。 [0187] 磁界発生部 68は、頭部装着部 40における磁界受信部 32と共同して、頭部の、腰 部に対する相対関係を検出するために腰部装着部 50に設けられて 、る。
[0188] 本実施形態においては、図 4に示すように、磁界発生部 68と、磁界受信部 32と、コ ンピュータ 66のうち前記位置検出プログラムを実行する部分とが互いに共同すること により、頭部の位置および向き（正確には、頭部装着部 40の位置および向き）を腰部 を基準にして (正確には、腰部装着部 50の位置を基準にして)相対的に検出する相 対関係検出部 98を構成している。この相対関係検出部 98は、ポジション'トラッカま たはポジション Zオリエンテーション'トラッカとして既に知られた磁気的追跡装置が 採用する磁気的追跡方法と共通のな 、しは類似する方法により、頭部の位置および 向きを腰部を基準にして相対的に検出する。
[0189] そのような磁気的追跡方法の一例力 米国特許第 4, 849, 692号公報であって、 発明の名称が「直流電流による磁界を利用することにより、金属が存在する状態にお いて、 2個の物体の相対的な位置および方向を定量的に測定する装置」であるもの に開示されている。
[0190] その磁気的追跡方法を実施するために、図 4に示すように、磁界発生部 68は、相 互に直交する 3個の発生コイル (X, Υ, Z)を組み合わせた発生用複合コイルを備え ている。同様にして、磁界受信部 32は、相互に直交する 3個の受信コイル (U, V, W )を組み合わせた受信用複合コイルを備えて 、る。
[0191] 磁界発生部 68においては、発生用複合コイルが腰部装着部 50に内蔵される。発 生用複合コイルの設置方向は、例えば、 Y軸の正方向が観察者の前方、 Z軸の正方 向が鉛直上方をそれぞれ向くように定義される。このような定義は、磁界受信部 32に おける受信用複合コイルにも適用可能である。
[0192] なお付言するに、上述の 3個の発生コイルは、一体巻きにしたものを一点に設置す ることが可能であるし、腰部装着部 50を横断する概して同一の平面上に配置するこ とも可能である。例えば、それら 3個の発生コイルのうちの 2個は、腰部の左端部と右 端部とにそれぞれ配置し、残りの 1個は、それら両端部の中央位置に配置することが 可能である。以上説明した配置は、磁界受信部 32における 3個の受信コイルにも同 様に採用し得る。 [0193] 本実施形態においては、発生用複合コイルに属する 3個の発生コイルからの磁界 を、受信用複合コイルに属する 3個の受信コイルで受信することになるため、それら 3 個の受信コイル力 合計 9個の磁界強度データが出力されることになる。一方、各受 信コイルが受信した磁界力 3個の発生コイルのうちのいずれから発生したものであ るかを特定するためには、例えば、時分割方式または周波数分割方式を採用するこ とが可能である。それら磁界強度データに基づき、頭部の位置および向きを腰部を 基準にして相対的に検出するために、コンピュータ 66によって上記位置検出プログ ラムが実行される。
[0194] 図 5には、その位置検出プログラムが概念的にフローチャートで表されている。この 位置検出プログラムは、コンピュータ 66の電源投入後、繰返し実行される。
[0195] この位置検出プログラムの各回の実行時には、まず、ステップ S1 (以下、単に「S1」 で表す。他のステップについても同じとする。 )において、磁界発生部 68に対し、磁 界を発生させることを指令するための信号を出力する。これに応答し、磁界発生部 6 8は、該当する発生コイル力も磁界を発生させる。磁界発生部 68は、例えば、 3つの 発生コイルから、時分割方式によって磁界を発生させる。
[0196] 次に、 S2において、磁界受信部 32から磁界強度信号が取り込まれる。その磁界強 度信号は、各受信コイルが受信した磁界の強度を表す信号であり、各受信コイルに 関連付けて磁界受信部 32から取り込まれる。
[0197] 続いて、 S3において、その取り込まれた磁界強度信号に基づき、頭部装着部 40の 位置および向きが腰部装着部 50を基準にして相対的に検出される。具体的には、 頭部装着部 40の位置および向きは、例えば、前述の発生用複合コイルを代表する 1 個の点の位置 (X方向位置、 Y方向位置および Z方向位置）と、その点に関連付けら れた少なくとも 2個の向き（例えば、 X方向と Y方向）とについてのそれぞれの検出結 果（1個の位置情報および少なくとも 2個の向き情報）に基づいて検出される。その検 出結果は、 RAMZROM62に格納される。
[0198] 以上で、この位置検出プログラムの一回の実行が終了する。
[0199] 以上の説明から明らかなように、本実施形態においては、磁界受信部 32と、磁界 発生部 68と、コンピュータ 66のうち位置検出プログラムを実行する部分とが互いに共 同して前記（2)項における「検出部」の一例を構成し、頭部が前記（2)項における「被 検出部位」の一例を構成し、腰部が同項における「基準部位」の一例を構成して 、る のである。
[0200] さらに、本実施形態においては、磁界受信部 32が前記（3)項における「第 1部分」 の一例を構成し、磁界発生部 68が同項における「第 2部分」の一例を構成し、コンビ ユータ 66のうち位置検出プログラムを実行する部分が同項における「検出手段」の一 例を構成して 、るのである。
[0201] さらに、本実施形態においては、磁界発生部 68が前記 (4)項における「信号発生 部」の一例を構成し、磁界受信部 32が同項における「受信部」の一例を構成し、空間 内に磁界を発生させるために磁界発生部 68によって発生させられる信号が同項に おける「検出用信号」の一例を構成しているのである。
[0202] 本実施形態にお!ヽては、表示対象 (コンテンツ)を画像として観察者に表示するた めに、概念上、 3種類の座標系が使用される。すなわち、表示対象を定義するために 使用される定義用座標系と、画像表示領域に表示される画像を定義するために使用 される表示用座標系と、頭部の位置および向き（正確には、頭部装着部 40の位置お よび向き）を検出するために使用される基準座標系とである。
[0203] 本実施形態においては、図 6に示すように、表示用座標系が、頭部装着部 40に固 定される一方、基準座標系が、腰部装着部 50に固定される。その結果、腰部装着部 50を基準にして頭部の位置および向きが検出され、さらに、腰部装着部 50を基準に して画像が画像表示領域に表示される。
[0204] 具体的には、腰部装着部 50を基準にして頭部装着部 40の位置および向きが検出 され、その検出結果に基づき、腰部装着部 50を基準にして画像の表示位置が決定 される。その結果、観察者は、自分の腰部を注視するように頭部を傾けたときに限り、 画像を観察でき、さらに、その場合において、その画像の表示用座標系に対する表 示位置が、腰部装着部 50と頭部装着部 40との相対関係に応じて変化する。
[0205] さらに具体的に説明すれば、観察者が自分の腰部を注視するように頭部を傾けると 、観察者の視野内に画像が現れ、一方、観察者が正面を向くと、観察者の視野から 画像が消失する。しかも、観察者が自分の腰部を注視するように頭部を傾けている姿 勢においては、頭部を多少傾けると、それに応じて、観察者の視野内において画像 が移動し、画像は腰部に固定されたように視認され、頭部の傾きが過大になると、観 察者の視野力 画像が消失する。
[0206] ここで、以上説明したいくつかの座標系をより詳細に説明するに、基準座標系は、 頭部装着部 40の位置および向きを腰部装着部 50を基準にして検出するために基準 として使用される座標系である。この基準座標系は、それと同時に、腰部装着部 50を 基準にして画像表示領域に画像を表示するか否か (すなわち、画像の表示をオンに する力オフにする力 )を判定し、表示する場合には、さらに、その表示位置を決定す るために使用される座標系でもある。
[0207] これに対し、表示用座標系は、頭部装着部 40を基準にして画像表示領域に画像を 表示するために使用される座標系である。
[0208] 図 6に示すように、基準座標系は、腰部装着部 50に固定された XYZ座標系である 。磁界発生部 68における発生用複合コイル X, Υ, Zの位置と向きとにより、この基準 座標系の位置が、今回の観察者に対して一意に決定される。
[0209] これに対し、図 6に示すように、表示用座標系は、頭部装着部 40に固定された xyz 座標系である。磁界受信部 32における受信用複合コイル U, V, Wの位置と向きとに より、この表示用座標系の位置が、今回の観察者に対して一意に決定される。
[0210] すなわち、本実施形態においては、基準座標系が、腰部装着部 50に内蔵される発 生用複合コイル X, Y, Zの位置と向きとによって特定されるのである。同様にして、表 示用座標系が、頭部装着部 40に内蔵される受信用複合コイル U, V, Wの位置と向 きとによって特定されるのである。
[0211] ただし、それら座標系特定手法はあくまで一例であり、例えば、基準座標系が、腰 部装着部 50を代表する 2個の点、すなわち、 2個の発生コイルについての 2個の配 置位置と、それら 2個の点の ヽずれかと一致するかまたは ヽずれとも一致しな 、第 3 の点に作用する重力の方向とによって特定される態様で本発明を実施することが可 能である。
[0212] 同様にして、表示用座標系が、頭部装着部 40を代表する 2個の点、すなわち、 2個 の受信コイルにっ 、ての 2個の配置位置と、それら 2個の点の!/、ずれかと一致するか またはいずれとも一致しない第 3の点に作用する重力の方向とによって特定される態 様で本発明を実施することが可能である。
[0213] いずれの態様においても、特定の点に作用する重力の方向は、重力を直接に検出 する重力センサを利用して検出したり、例えば、球状を成す導体と、その導体が転動 する内周面を有する回転体であって、重力の作用方向が検出されるべき被検出物体 と一体的に運動するものとの組合せを利用して検出することが可能である。
[0214] 後者の例においては、回転体は、それの内周面に複数の接触点が互いに絶縁さ れる状態で配置されており、その内周面上を導体が転動すると、各転動位置におい ては、それら複数の接触点のうちの少なくとも 2個が導体によって互 、に導通させら れる。それら複数の接触点のうち導体が同時に接触しているものがいずれであるか は、それら複数の接触点のうちの 2個より成るすべてのペアについて電気抵抗、静電 容量等を検出することによって特定することが可能である。このようにして回転体の内 周面のうち導体が位置する位置が分かれば、回転体の中心の位置が既知である（例 えば、変化しない)ことを条件に、回転体および被検出物体の向きが分かる。
[0215] 本実施形態においては、画像を観察者に表示するモードが 2種類用意されている 。すなわち、腰部装着部 50を基準にして決定される位置に画像を観察者が観察する ようにその画像を表示する腰部装着部基準表示モードと、頭部装着部 40を基準にし て決定される位置に画像を観察者が観察するようにその画像を表示する頭部装着部 基準表示モードとである。ここに、腰部装着部基準表示モードは、観察者の腰部を基 準部位に選択したうえで、その基準部位を基準にして画像を表示するモードである。
[0216] すなわち、本実施形態においては、腰部が前記（2)または（15)項における「基準 部位」の一例であり、腰部装着部基準表示モードが前記（15)項における「観察者基 準表示モード」の一例であり、頭部装着部基準表示モードが同項における「表示部 基準表示モード」の一例なのである。さらに、一連の画像表示中、現実外界に対し、 観察者の腰部の位置は変化せず、それ以外の部位は変化すると仮定すれば、腰部 装着部基準表示モードは、現実外界基準表示モードの一例でもあることになる。
[0217] 以上説明したように、本実施形態においては、表示モードが複数存在し、それらの うち実行するものを選択することが必要である。その選択を観察者の操作に応じて行 うために操作部 72が設けられている。
[0218] さらに、本実施形態においては、表示対象を定義する定義データ (表示対象データ )が画像情報メモリ 74に格納されている。その定義データは、定義用座標系上にお V、てその表示対象を表現するように作成されて!、る。
[0219] 頭部装着部基準表示モードが実行されると、定義データに対して実質的な座標変 換を何ら行うことなぐその定義データが事実上、表示用座標系にマッピングされる。 その結果、その表示用座標系上において画像を表示する表示データが、その定義 データと等しいデータとして取得される。すなわち、表示用座標系と定義用座標系と が等し 、とするのが、この頭部装着部基準表示モードなのである。
[0220] これに対し、腰部装着部基準表示モードが実行されると、腰部装着部 50を基準に した頭部装着部 40の位置および向きに基づき、定義データに対して実質的な座標 変換が行われ、それにより、表示データが作成される。
[0221] 腰部装着部基準表示モードを実行する場合に、定義用座標系上において表示対 象を定義する定義データに対して実質的な座標変換を行うことなぐその定義データ が事実上、基準座標系にマッピングされる。その後、その定義データが、観察者の頭 部の位置および向きと基準座標系との相対関係に基づき、表示用座標系上におい て画像を表示する表示データに変換され、それにより、定義データが表示用座標系 にマッピングされる。
[0222] モードと座標系との関係を簡単に説明すれば、定義用座標系はもともと、表示用座 標系にも基準座標系にも関連付けられていない。しかしながら、頭部装着部基準表 示モードが選択されれば、定義用座標系が表示用座標系に固定され、それにより、 画像が頭部装着部 40に固定されたように表示される。これに対し、腰部装着部基準 表示モードが選択されれば、定義用座標系が基準座標系に固定され、それにより、 画像が腰部装着部 50に固定されたように表示される。
[0223] 以上、選択された表示モードに従 、、定義データ力 表示データが作成 (変換)さ れる工程を説明した力 この工程は表示データ変換回路 70によって実行される。こ の表示データ変換回路 70は、コンピュータ 66とは別のコンピュータ（図示しない）を 主体とし、図 7にフローチャートで概念的に表されている表示データ作成プログラムを 実行する態様で構成されている。ただし、この表示データ変換回路 70は、コンビユー タを用いて構成することは不可欠ではなぐ例えば、 DSPを用いて構成することが可 能である。
[0224] この表示データ変換回路 70においては、その表示データ作成プログラムが繰返し 実行される。この表示データ作成プログラムの各回の実行時には、まず、図 7の S31 において、画像情報メモリ 74から画像情報が定義データとして取り込まれる。次に、 S32において、操作部 72の出力信号に基づき、頭部装着部基準表示モードと腰部 装着部基準表示モードとのうち観察者によって現在選択されている選択表示モード が識別される。
[0225] 続いて、 S33において、その識別された選択表示モードが腰部装着部基準表示モ ードである力否かが判定される。
[0226] 今回は、選択表示モードが腰部装着部基準表示モードではなぐ頭部装着部基準 表示モードであると仮定すれば、 S33の判定力NOとなり、 S34に移行する。この S3 4においては、定義用座標系が表示用座標系に固定され、それにより、前記取り込ま れた定義データが、座標変換されることなぐ表示データとして表示光学系 10に対し て出力される。すなわち、この頭部装着部基準表示モードにおいては、表示用座標 系と定義用座標系とが同等となるのである。
[0227] 表示データは、例えば、各回の画像表示ごとに、画像の各フレームごとに、 1フレー ムの各フィールドごとに、または各画素ごとに、光の強度 (輝度)の目標値と奥行き（ 波面曲率)の目標値とを表している。表示データのうち目標強度を表す部分は最終 的に強度変調器 14に供給され、強度変調器 14から出力される光束の強度が目標強 度と等しくなるようにされる。同様に、表示データのうち目標奥行きを表す部分は最終 的に波面変調器 16に供給され、波面変調器 16から出力される光束の波面曲率が目 標波面曲率と等しくなるようにされる。
[0228] 以上で、この表示データ作成プログラムの一回の実行が終了する。
[0229] これに対し、今回は、選択表示モードが腰部装着部基準表示モードであると仮定 すれば、 S33の判定力 SYESとなり、 S35〖こ移行する。この S35においては、腰部装 着部 50を基準にして、頭部装着部 40の位置および向きが相対的に検出される。具 体的には、 RAMZROM62から最新の検出結果が読み出される。
[0230] その後、 S36において、定義用座標系が基準座標系に固定され、それにより、前記 取り込まれた定義データが基準座標系に固定される。すなわち、この腰部装着部基 準表示モードにおいては、基準座標系と定義用座標系とが同等となるのである。
[0231] 続いて、 S37において、そのマッピングされた定義データ力 頭部装着部 40の位置 および向きの相対的検出結果が反映されるように、表示用座標系にマッピングされる 。そのマッピングは、例えば、その検出結果力 定義データにより表される画像と基準 座標系との相対位置関係が設定されたときにおける頭部装着部 40の位置および向 きの相対的検出結果力 ずれるにつれて、観察者の視野内において画像の表示位 置が移動するように行われる。すなわち、表示画像が、基準座標系に固定されたよう に視認されるのである。
[0232] この S37においては、そのようなマッピングが行われた定義データ力 表示データと して、表示光学系 10に対して出力される。
[0233] 以上で、この表示データ作成プログラムの一回の実行が終了する。
[0234] 以上の説明から明らかなように、本実施形態においては、腰部装着部 50が前記（1
) , (5) , (7) , (8) , (15)または（16)項における「制御部」の一例を構成しているの である。
[0235] 次に、本発明の第 2実施形態に従う画像表示装置を説明する。
[0236] 本実施形態に従う画像表示装置においては、表示画像が複数のオブジェクトを有 し、かつ、それらオブジェクトが、奥行き位置に関して互いに異なるオブジェクトを含 む場合に、それらオブジェクトの表示態様を制御するための画像処理が行われる。
[0237] 本実施形態は、そのような画像処理を行う点で、そのような画像処理を行わな 、第 1実施形態とは異なるが、他の要素については第 1実施形態と共通する。以下、本実 施形態を説明するが、第 1実施形態と異なる要素については、詳細に説明する一方 、共通する要素については、同一の符号または名称を使用して引用することにより、 詳細な説明を省略する。
[0238] 図 8には、本実施形態に従う画像表示装置が概念的にブロック図で表されている。
この画像表示装置は、第 1実施形態に従う画像表示装置に対して視線方向検出部 1 80を追加されている。この視線方向検出部 180は、観察者の両眼の視線方向を検 出するために、頭部装着部 40に搭載されている。
[0239] 視線方向検出部 180は、既に知られている原理に従って観察者の両眼の視線方 向を検出する。この視線方向検出部 180は、例えば、日本国特開平 7-167618号 公報ゃ同特公昭 61— 59132号公報に開示されているように、赤外線カメラと両眼と の距離が既知である状態において、その赤外線カメラによって両眼の眼球を撮影し、 その撮影された眼球の角膜反射像と瞳孔中心との相対位置関係に基づいて視線方 向を検出するように設計することが可能である。視線方向を検出する他の従来例が、 日本国特開 2004-255074号公報および同特開平 5— 199996号公報に開示され ている。
[0240] 本実施形態においては、同じ表示画像上に複数のオブジェクトを一斉に表示する ために、各オブジェクトに関連付けて、各オブジェクトが表示されるべき奥行き位置を 特定する奥行き位置情報と、その奥行き位置における平面上にぉ 、て各オブジェク トが表示されるべき位置を特定する平面位置情報とを含む複数の画像情報が画像 情報メモリ 74に格納される。
[0241] 本実施形態にぉ 、ては、オブジェクトは、例えば特定の物体を表現する画像を意 味し、その画像が表示される領域がオブジェクト領域として定義される。そのオブジェ タト領域内に存在する画素 (着目画素）については、その画素に対応する平面位置 情報 (後述の X座標値および Y座標値)と奥行き位置情報 (後述の Z座標値)とが特 定されれば、その画素が属するオブジェクトを特定することが可能である。
[0242] 例えば、オブジェクト領域内のすべての画素につ!、て、平面位置情報および奥行 き位置情報を特定のオブジェクトに対応付けて予め記憶させておけば、各画素の平 面位置および奥行き位置力もオブジェクトを特定することが可能である。ただし、特定 のオブジェクトの全体が同一の奥行き位置に表示される場合には、その奥行き位置 情報さえ特定のオブジェクトに対応付けて予め記憶させておけば、各画素の奥行き 位置のみ力もオブジェクトを特定することが可能である。また、オブジェクトの形状如 何では、そのオブジェクトに属する複数の画素のうちの少なくとも一部について、平面 位置情報を特定のオブジェクトに対応付けて予め記憶させることを省略することが可 能である。
[0243] それら奥行き位置情報および平面位置情報をさらに具体的に説明するに、表示画 面上の各画素は、例えば図 15に示すように、 XYZ直交座標系によって定義される。 表示画面上の各画素の奥行き位置は Z座標値によって定義される一方、各画素の、 その奥行き方向と直交する平面上における位置は X座標値と γ座標値とによって定 義される。
[0244] したがって、奥行き位置情報は、各画素ごとに Z座標値を表す情報を含んで ヽる。
一方、各画素の奥行き位置は、同じオブジェクトに属する複数の画素については共 通する力または互いに近接する。よって、奥行き位置情報は、各オブジェクトごとに Z 座標値を表す情報を含むことが可能である。
[0245] これに対し、平面位置情報は、各画素ごとに X座標値と Y座標値との組合せを表す 情報を含んでいる。さらに、平面位置情報は、各オブジェクトにっき、各オブジェクトと 同じ奥行き位置を有する平面上にぉ 、てオブジェクトが存在する領域と存在しな 、 領域とを互いに区別するための情報も含んで 、る。
[0246] 各オブジェクトが、対応する奥行き位置に表示されるようにするために、図 2におけ る波面変調器 16が上述の奥行き位置情報に基づいて作動させられる。この波面変 調器 16によって波面曲率が変調される原理については、後に図 13を参照して具体 的に説明する。
[0247] ところで、奥行き位置が互いに異なる複数のオブジェクトが一斉に観察者に知覚さ れるようにすることは、それらオブジェクトが同じ視線方向において重なり合うことがな いという前提においては、波面変調器 16が、波面曲率を変調する変調素子を 1個の み含み、その変調素子によって波面曲率を高速で変調することにより、実現すること が可能である。
[0248] これに対し、それらオブジェクトが同じ視線方向において重なり合うことが許容され る前提においては、例えば、波面変調器 16が、互いに独立して波面曲率を変調可 能な複数の変調素子を含み、それら変調素子を一斉に作動させて各オブジェクトご とに異なる波面曲率を実現することが必要である。
[0249] ただし、一画面を構成する複数本の走査線のすべてを同じオブジェクトに割り当て るのではなぐそれら走査線を複数のグループに分けて各グループごとに各オブジェ タトに割り当てるようにすれば、波面変調器 16が 1個の変調素子しか用いなくても、眼 の残像現象と相俟って、観察者力 見て重なり合う複数のオブジェクトが一斉に観察 者によって知覚されるようにすることが可能である。
[0250] 以上、波面変調器 16の構成のいくつかのノリエーシヨンを説明した力 それらバリ エーシヨンは、後述の波面曲率変調部 208において採用することが可能である。
[0251] 前述の画像処理を行うために、コンピュータ 66の RAMZROM62のうちの ROM に画像処理プログラムが予め記憶されている。図 9には、その画像処理プログラムが フローチャートで概念的に表されている。
[0252] この画像処理プログラムはコンピュータ 66によって繰返し実行される。各回の実行 時には、まず、図 9の S51において、視線方向検出部 180により、観察者の視線方向 が検出される。
[0253] 次に、 S52において、その検出された視線方向と、今回の表示画像における複数 のオブジェクトをそれぞれ表示するために画像情報メモリ 74に格納されている複数の 画像情報によって表される各オブジェクトの幾何学情報との関係から、それら複数の オブジェクトのうち観察者が現在着目（注視）しているものが特定オブジェクトとして選 択される。
[0254] この S52においては、例えば、各オブジェクトごとに、各オブジェクトと同じ奥行き位 置を有する平面と、前記検出された視線方向との交点が求められ、その求められた 交点が、そのオブジェクトの領域内に存在する力否かが判定される。そのオブジェクト の領域内に存在すれば、そのオブジェクトが、観察者が現在注目しているオブジェク トであると判定される。
[0255] 続、て、 S53にお 、て、前記複数の画像情報のうち、その選択された特定オブジェ タトに対応する奥行き位置情報に基づき、その特定オブジェクトの奥行き位置、すな わち、観察者力 前方に延びるように観察者に設定された Z軸上における座標値が 取得される。
[0256] その後、 S54において、その取得された Z座標値と予め定められた基準値との比較 結果に基づき、前記選択された特定オブジェクトが観察者に接近して 、る力否かが 判定される。その特定オブジェクトが観察者に接近している場合には、この S54にお いて、その特定オブジェクトが表示されるべき輝度が通常値より増加するように、その 特定オブジェクトに対応する輝度情報が変更される。輝度情報は、各オブジェクト〖こ 関連付けて画像情報メモリ 74に格納されて 、る。
[0257] 続いて、 S55において、その変更された輝度情報に基づき、表示光学系 10のうち の強度変調器 14の作動により、特定オブジェクトの輝度が通常値より増加させられる 。本実施形態においては、特定オブジェクト全体の輝度が通常値より増加させられる
[0258] 以上で、この画像処理プログラムの一回の実行が終了する。
[0259] 本実施形態によれば、第 1実施形態と同様に、観察者が特定の動作を行えば、そ れを契機にして表示画像の出現およびその出現後の移動が自動的に行われる。さら に、本実施形態によれば、複数のオブジェクトが一斉に表示される場合に、それらォ ブジェクトのうち観察者が注目しているものが特定オブジェクトとして自動的に選択さ れ、その選択された特定オブジェクトが相対的に鮮明に表示されるための画像処理 が自動的に開始される。
[0260] このように、本実施形態によれば、観察者がいちいち操作を行うことなぐ観察者の 意思が自動的に画像表示処理に反映され、その結果、使い勝手が改善された画像 表示装置が提供される。
[0261] 以上の説明から明らかなように、本実施形態においては、コンピュータ 66のうち図 9 の S51および S52を実行する部分と視線方向検出部 180とが互いに共同して、前記 (19)項における「選択部」の一例と、前記（21)項における「特定オブジェクト検出部 」の一例とを構成し、コンピュータ 66のうち同図の S53および S54を実行する部分が 、前記（19)項における「画像処理部」の一例と、前記（20)項における「画像処理部」 の一例とを構成して 、るのである。
[0262] さらに、本実施形態においては、コンピュータ 66のうち図 9の S51を実行する部分と 視線方向検出部 180とが互いに共同して、前記（22)項における「視線方向検出部」 の一例を構成し、コンピュータ 66のうち同図の S52を実行する部分力 同項における 「決定部」の一例を構成して 、るのである。 [0263] なお付言するに、本実施形態においては、特定オブジェクトの輝度が通常値より増 カロさせられることにより、観察者による特定オブジェクトの鮮明な目視が可能となって いる。これに対し、複数のオブジェクトのうち特定オブジェクト以外の非特定オブジェ タトの輝度を通常値より減少させることにより、特定オブジェクトの輝度を相対的に増 加させ、それにより、観察者による特定オブジェクトの鮮明な目視が可能となるように 本発明を実施することが可能である。
[0264] さらに付言するに、本実施形態においては、前記検出された視線方向、すなわち、 左眼および右眼の視線方向と上述の幾何学情報との関係から、特定オブジェクトが 選択される。これに対し、後に図 22を参照して具体的に説明するように、左眼および 右眼の視線方向とそれら左眼と右眼との間の距離とに基づき、それら両眼の注視点 の位置を演算し、その演算結果と上述の幾何学情報との関係から、特定オブジェクト を選択するようにして本発明を実施することが可能である。
[0265] さらに付言するに、本実施形態においては、観察者によって特定オブジェクトが他 のオブジェクトより鮮明に目視されるようにするために特定オブジェクトの輝度が通常 値より増カロさせられる。これに対し、特定オブジェクトの輪郭を通常より明瞭に (鮮明 に）表示したり、特定オブジェクトを、そのの外形に沿って追加された輪郭線と一緒に 表示することにより、観察者による特定オブジェクトの鮮明な目視が可能となるように 本発明を実施することが可能である。
[0266] さらに付言するに、複数のオブジェクトのうち特定オブジェクトより手前に位置する 非特定オブジェ外を透明または半透明に表示することにより、観察者が、非特定ォ ブジエタトに邪魔されることなく特定オブジェクトを明瞭に目視することが可能となるよ うに本発明を実施することが可能である。
[0267] 次に、本発明の第 3実施形態に従う網膜走査型ディスプレイを説明する。
[0268] 図 10には、本実施形態に従う網膜走査型ディスプレイ（以下、単に「RSD」と略称 する。） 200の構成がブロック図で概念的に表されるとともに、この RSD200から出射 した光が観察者の眼 Mに到達するまでの光路が光路図で示されて 、る。この RSD2 00は、画像表示装置の一例であって、表示すべき画像を表す画像光を観察者の眼 Mの網膜 M4上にお ヽて走査することにより、画像を直接に網膜 M4上に投影するも のである。
[0269] RSD200は、同じ表示画像上に複数のオブジェクトを一斉に表示することが可能で ある。それら複数のオブジェクトがそれぞれ表示されるべき奥行き位置が互いに異な る場合には、奥行き位置の違いが観察者によって知覚されるようにそれら複数のォブ ジェタトの各奥行き位置、すなわち、それらオブジェクトを表示するための各画像光の 波面曲率が制御される。
[0270] 本実施形態においては、表示される複数のオブジェクトのうちの観察者が着目（注 視）しているものが特定オブジェクトとして選択される。この場合、その選択された特定 オブジェクトが観察者によって鮮明に目視されるように、それら複数のオブジェクトを 含む画像の表示態様を変更する画像処理が施される。この画像処理は、具体的に は、その選択された特定オブジェクトと、複数のオブジェクトのうちその特定オブジェ タト以外の非特定オブジェクトとを互いに異なる表示態様で表示するために実行され る。
[0271] さらに具体的には、本実施形態においては、第 2実施形態と同様にして、特定ォブ ジェタトの輝度が通常値より増カロさせられ、それにより、観察者による特定オブジェクト の鮮明な目視が可能となって 、る。
[0272] 図 10に示すように、 RSD200は、画像情報 Gに応じて変調された被変調光 Hを眼
Mの網膜 M4上において直接に走査して網膜 M4上に画像を直接に投影する光学 機器である。
[0273] この RSD200は、外部メモリ 202と、被変調光出力部 204と、走査部 206と、波面 曲率変調部 208と、視線方向検出部 210と、制御部 212とを備えている。
[0274] 外部メモリ 202は、表示されるべき画像を表示するのに必要な画像情報 Gを予め記 憶する電子部品である。観察者が RSD200の作動スィッチ 213を操作して1^0200 を起動すると、 RSD200は、外部メモリ 202に予め記憶されている画像情報 Gに基づ き画像を表示する。
[0275] 画像情報 Gは、（a)表示されるべき画像の 2次元上の位置を特定する平面位置情 報と、表示されるべき画像の奥行き位置を特定する奥行き位置情報とを有する複数 の幾何学情報と、（b)表示されるべき画像の色彩を特定する色彩情報と、（c)表示さ れるべき画像の輝度を特定する輝度情報とを含んで 、る。
[0276] 制御部 212は、色彩情報および輝度情報に基づき被変調光出力部 204を制御し、 同期信号に基づき走査部 206を制御し、奥行き位置情報に基づき波面曲率変調部 208をそれぞれ制御する。
[0277] 被変調光出力部 204は、前述の色彩情報と輝度情報に基づき光を変調して被変 調光 Hとして出力する光学機器である。この被変調光出力部 204から出力された被 変調光 Hは、波面曲率変調部 208による波面曲率変調、走査部 206における偏向 および光反射部 214における反射を経て、観察者の眼 Mの虹彩 Mlで囲まれた瞳孔 M2に入射する。その入射した被変調光 Hは、水晶体 M3において結像された後、網 膜 M4に到達する。
[0278] 走査部 206は、前述の同期信号に基づき、被変調光 Hを網膜 M4上において走査 することによって網膜 M4上に画像を投影する光学機器である。
[0279] 波面曲率変調部 208は、被変調光 Hが光反射部 214において反射した反射光で あって眼 Mに入射するものの拡散の角度、すなわち、被変調光 Hの波面曲率を変化 させることにより、観察者が画像を知覚する奥行き位置を変化させる光学機器である 。この波面曲率変調部 208の作動は、前述の奥行き位置情報に基づき、制御部 212 によって制御される。
[0280] 具体的には、波面曲率変調部 208は、図 10において一点鎖線で示すように、観察 者が画像を観察者に接近した位置 P1にお ヽて知覚するように、画像を表示すること が可能である。それに代えて、波面曲率変調部 208は、同図において二点鎖線で示 すように、観察者が画像を観察者力も離間した位置 P2にお 、て知覚するように画像 を表示することも可能である。それに代えて、波面曲率変調部 208は、同図において 破線で示すように、観察者が画像を遠方の位置 P3にあるように画像を表示することも 可能である。
[0281] 視線方向検出部 210は、観察者の視線方向を検出する装置である。その視線方向 検出部 210によって検出された観察者の視線方向を用いることにより、表示画像のう ち観察者が着目して 、る部分すなわち特定画像と、観察者が着目して 、な 、部分画 像すなわち非特定画像とを互いに区別することができる。今回の表示画像は複数の オブジェクトを含んでいるため、特定画像は特定オブジェクト、非特定画像は非特定 オブジェクトとそれぞれ称することとする。
[0282] この視線方向検出部 210は、前述の視線方向検出部 180と同様にして構成するこ とが可能である。この視線方向検出部 210は、例えば、両眼との距離が既知である赤 外線カメラを用い、その赤外線カメラによって両眼の眼球を撮影し、その撮影された 眼球の角膜反射像と瞳孔中心との相対位置関係に基づいて観察者の視線方向を検 出するように設計することが可能である。
[0283] 図 10に示すように、制御部 212は、コンピュータ 220を主体として構成されている。
コンピュータ 220は、よく知られているように、 CPU222と ROM224と RAM226とを 含むように構成される。制御部 212は、 ROM224に予め格納されている各種プログ ラムが CPU222によって実行されることにより、所定の動作を実行する。
[0284] 制御部 212は、前述のように、色彩情報および輝度情報に基づき被変調光出力部 204を制御し、同期信号に基づき走査部 206を制御し、奥行き位置情報に基づき波 面曲率変調部 208をそれぞれ制御する。この制御部 212は、 RSD200本来の機能 である通常の画像表示機能を実現するのみならず、観察者による特定オブジェクトの 鮮明な目視を可能にすることを目的として、特定オブジェクトの輝度を変更する画像 処理を実行する。
[0285] 具体的には、この制御部 212は、各オブジェクトが表示されるべき奥行き位置に基 づいて、各オブジェクトに対応する輝度情報を変更する画像処理を実行する。この画 像処理を実行するために、この制御部 212は、外部メモリ 202に予め記憶されている 画像情報 Gに対して、実行すべき画像処理の内容に応じた変更を加え、その変更さ れた画像情報 Gを RAM226に記憶させる。このように、制御部 212は、 RAM226に 記憶されている輝度情報、平面位置情報および奥行き位置情報に基づき、被変調 光出力部 204、走査部 206および波面曲率変調部 208をそれぞれ制御する。
[0286] 次に、外部メモリ 202、被変調光出力部 204、波面曲率変調部 208および走査部 2 06の各構成をさらに具体的に説明する。
[0287] 図 11に示すように、被変調光出力部 204は、画像信号処理回路 230を備え、さら に、光源として、赤色光源 232、緑色光源 234および青色光源 236を備えている。こ の被変調光出力部 204は、さらに、光源ドライバとして、赤色光源ドライバ 240、緑色 光源ドライバ 242および青色光源ドライバ 244を備えている。
[0288] この被変調光出力部 204は、さらに、コリメータレンズ 246, 248, 250と、波長選択
'性ミラー 252, 254, 256と、フォーカスレンズ 258とを備えて! /、る。
[0289] 画像信号処理回路 230は、前述の制御部 212から出力される色彩情報および輝 度情報に基づき、赤色光源 232、緑色光源 234および青色光源 236をそれぞれ駆 動する赤色光源ドライバ 240、緑色光源ドライバ 242および青色光源ドライバ 244に 対して、それぞれの色に対応する強度変調信号を出力する。
[0290] この画像信号処理回路 230は、色彩情報および輝度情報に対して前述の画像処 理が施されていない場合には、もともとの色彩情報および輝度情報に基づき赤色光 源ドライバ 240、緑色光源ドライバ 242および青色光源ドライバ 244に対して強度変 調信号を出力する。
[0291] 一方、色彩情報に変更が加えれれば、この画像信号処理回路 230は、その変更さ れた色彩情報に応じて強度変調信号を変更する。その結果、表示される画像の色彩 を任意に変更することも、色彩を出力しないことにより画像を透明に表示することもで きる。
[0292] また、輝度情報に変更が加えられれば、この画像信号処理回路 230は、その変更 された輝度情報に応じて強度変調信号を変更して赤色光源ドライバ 240、緑色光源 ドライバ 242および青色光源ドライバ 244を制御する。その結果、赤色光源 232、 緑 色光源 234および青色光源 236のうちの該当するものの発光度（強度）を強めたり弱 めたりして、画像の輝度を任意に変更することができる。
[0293] 次に、図 12および図 13を参照することにより、前述の波面曲率変調部 208の構成 を具体的に説明する。
[0294] 図 12に示すように、この波面曲率変調部 208は、凸レンズ 260と、位置可変ミラー 2 62と、ミラー駆動部 264と、ハーフミラー 266とを備えている。図 11および図 12に示 すように、前述の被変調光出力部 204から出射した被変調光 Hは、光ファイバ 270を 介してハーフミラー 266に伝送される。そのハーフミラー 266は、波面曲率変調部 20 8への被変調光 Hの入口である。 [0295] 図 13に示すように、位置可変ミラー 262は、凸レンズ 260の光軸上に設けられてい る。この位置可変ミラー 262は、凸レンズ 260の焦点位置 fと、この焦点位置 fから凸レ ンズ 260に接近した位置 aとの間を移動可能に設けられて 、る。図 13にお!/、て位置 b は、位置 aと焦点位置 fとの中間の位置である。図 13には、位置可変ミラー 262が、そ れの反射面が位置 aに位置する状態で示されて ヽる。
[0296] 図 13に示すように、位置可変ミラー 262が凸レンズ 260の焦点位置はり凸レンズ 2 60側にある位置 aに位置する場合には、図 12において一点鎖線で示すように、観察 者は画像を観察者の近傍の位置 P1において知覚する。その理由は次の通りである
[0297] 図 13に示す例においては、位置可変ミラー 262が、凸レンズ 260の焦点 fの内側に 位置している。そのため、図 13において一点鎖線で示すように、凸レンズ 260側から 位置可変ミラー 262に向けて平行光として出射した被変調光 Hは、その位置可変ミラ 一 262にお 、て反射されて拡散光に変換される。このように拡散光に変換された被 変調光 Hが観察者の眼 Mに入射すると、観察者は画像を図 12における位置 P1にお いて知覚する。
[0298] これに対し、位置可変ミラー 262が凸レンズ 260の焦点位置 fに位置する場合には 、その位置可変ミラー 262から反射した被変調光 Hは平行光として観察者の眼 Mに 入射する。その結果、観察者は、図 12において破線で示すように、画像を遠方の位 置 P3において知覚する。
[0299] さらに、位置可変ミラー 262が凸レンズ 260の焦点位置 fと前述の位置 aとの間の位 置 bに位置する場合には、観察者は、図 12において二点鎖線で示すように、画像を 位置 P2において知覚する。
[0300] 図 13に示すミラー駆動部 264は、例えば圧電素子を用いて形成される。ミラー駆動 部 264を圧電素子を用いて形成する場合には、例えば、圧電素子の複数の面のうち 電界印加方向と交差する面に前述の位置可変ミラー 262を取り付けることが可能で ある。
[0301] この例においては、その圧電素子に印加する電圧すなわち電界を変化させれば、 その圧電素子の厚さが変化する。その圧電素子の厚さが変化すれば、位置可変ミラ 一 262を凸レンズ 260から離間させたり凸レンズ 260に接近させることができ、その結 果、位置可変ミラー 262を前述の位置 a、位置 bおよび焦点位置 fのうちの任意のもの に移動させることができる。
[0302] 位置可変ミラー 262の位置は、奥行き位置情報に基づいて制御される。したがって 、奥行き位置情報を変更することにより、表示されるべき画像の奥行き位置を、例え ば、図 12に示す位置 P1と位置 P3との間における任意の位置に変化させることがで きる。
[0303] 次に、図 12を参照して前述の走査部 206の構成を具体的に説明する。
[0304] 図 12に示すように、走査部 206は、水平走査ミラー 280と、リレーレンズ (例えば、 凸レンズ） 282, 284と、垂直走査ミラー 286と、リレーレンズ（f列免ば、、凸レンズ） 288
, 290とを備えて ヽる。
[0305] 図 12に示すように、水平走査ミラー 280は、回転軸 L1まわりに回転可能に設けら れている。この水平走査ミラー 280は、前記ハーフミラー 266から出射した被変調光 Hを、この水平走査ミラー 280の回転位置に応じた方向へ反射する。この水平走査ミ ラー 280の回転は、前述の同期信号に基づいて制御される。
[0306] 垂直走査ミラー 286は、回転軸 L2まわりに揺動可能に設けられている。この垂直走 查ミラー 286の回転は、前述の同期信号に基づいて制御される。
[0307] リレーレンズ 282, 284は、水平走査ミラー 280から反射した被変調光 Hを垂直走 查ミラー 286に伝送する。ジレーレンズ 288, 290は、垂直走査ミラー 286力ら反射し た被変調光 Hを、瞳孔 M2および水晶体 M3を順次経由して、網膜 M4に伝送する。
[0308] 観察者による特定オブジェクトの鮮明な目視を目的とした前述の画像処理を行うた めに、コンピュータ 220の ROM224に画像処理プログラムが予め記憶されている。 図 14には、その画像処理プログラムがフローチャートで概念的に表されている。以下 、この画像処理プログラムを説明する力 第 2実施形態における画像処理プログラム と共通するステップについては簡単に説明する。
[0309] この画像処理プログラムはコンピュータ 220によって繰返し実行される。各回の実行 時には、まず、図 14の S101において、視線方向検出部 210により、観察者の視線 方向が検出される。 [0310] 次に、 S102〖こおいて、図 9〖こ示す S52と同様〖こして、その検出された視線方向と、 今回の表示画像における複数のオブジェクトをそれぞれ表示するために外部メモリ 2 02に格納されている複数の画像情報によって表される各オブジェクトの幾何学情報 との関係から、それら複数のオブジェクトのうち観察者が現在着目（注視)しているも のが特定オブジェクトとして選択される。
[0311] 続いて、 S103において、前記複数の画像情報のうち、その選択された特定ォブジ ェタトに対応する奥行き位置情報に基づき、その特定オブジェクトの奥行き位置、す なわち、観察者力 前方に延びるように観察者に設定された Z軸上における座標値 が取得される。
[0312] その後、 S 104において、その取得された Z軸座標値と予め定められた基準値との 比較結果に基づき、前記選択された特定オブジェクトが観察者に接近して 、るか否 かが判定される。その特定オブジェクトが観察者に接近している場合には、この S10 4において、その特定オブジェクトが表示されるべき輝度が通常値より増加するように 、その特定オブジェクトに対応する輝度情報が変更される。輝度情報は、各オブジェ タトに関連付けて外部メモリ 202に格納されている。
[0313] 続いて、 S105において、その変更された輝度情報に基づき、特定オブジェクトの 表示に関連して、赤色光源ドライバ 240、緑色光源ドライバ 242および青色光源ドラ ィバ 244のうち該当するものが制御される。それにより、特定オブジェクトの表示に関 連して、赤色光源 232、緑色光源 234および青色光源 236のうち該当するものの発 光度 (強度）が通常値より増加させられ、その結果、特定オブジェクトの輝度が通常値 より増加させられる。本実施形態においては、特定オブジェクト全体の輝度が通常値 より増カロさせられる。
[0314] 以上で、この画像処理プログラムの一回の実行が終了する。
[0315] 次に、図 15に示す画像を例により、この画像処理プログラムの実行によって実行さ れる画像処理をさらに具体的に説明する。
[0316] 図 15に示す例においては、水槽内にエイ A、鯛 Bおよび珊瑚 Cが観察者に近い側 力 順に位置する様子が画像として立体的に表示される。この例においては、それら エイ Aの画像、鯛 Bの画像および珊瑚 Cの画像が、一斉に表示されるべき複数のォ ブジエタトの一例である。それらオブジェクトが一斉に表示された状態において、観察 者は、鯛 Bの画像に着目したと仮定する。
[0317] この状態において前記画像処理プログラムがコンピュータ 220によって実行される と、まず、 S101において、視線方向検出部 210によって観察者の視線方向が検出さ れる。次に、 S 102において、複数のオブジェクトのうちその検出された視線方向に位 置するもの、すなわち、今回は鯛 Bの画像が、観察者が着目している特定オブジェク トとして選択される。
[0318] 続いて、 S103において、外部メモリ 202に予め記憶されている画像情報 Gのうちの 奥行き位置情報に基づき、鯛 Bの画像の奥行き位置、すなわち、図 15において鯛 B の画像が位置する Z軸上の座標値が取得される。
[0319] その後、 S 104において、鯛 Bの画像の Z軸上における位置が観察者に接近してい るか否かが判定され、接近している場合には、この S104において、鯛 Bの画像の輝 度が増加するように、鯛 Bの画像に関する輝度情報に対して変更が加えられる。
[0320] 続いて、 S105において、鯛 Bの画像に関する輝度情報に対して変更が施された画 像情報が被変調光出力部 204に入力される。それにより、鯛 Bの画像の表示に同期 して、赤色光源ドライバ 240、緑色光源ドライバ 242および青色光源ドライバ 244を介 して、赤色光源 232、緑色光源 234および青色光源 236の各発光度が増カロさせられ る。その結果、鯛 Bの画像全体の輝度が増加させられる。
[0321] 以上の説明から明らかなように、本実施形態においては、観察者が着目している特 定オブジェクトが観察者に接近して 、る場合には、その特定オブジェジェタトの輝度 が増加させられることにより、その特定オブジェクトより遠方に位置する他のオブジェ タトより、その特定オブジェクトが強調されて表示される。
[0322] なお付言するに、本実施形態にぉ 、ては、特定オブジェクトの輝度力 その特定ォ ブジエタトが観察者に接近して 、る場合と接近して 、な 、場合とで 2段階に切り換え られる。これに対し、それより多段階で特定オブジェクトの輝度が変化させられる態様 で本発明を実施することが可能である。また、特定オブジェクトが観察者に接近する につれて連続的にその特定オブジェクトの輝度が変化させられる態様で本発明を実 施することも可能である。 [0323] さらに付言するに、特定オブジェクトの輝度力 その特定オブジェクトが観察者から 遠ざかるにつれて増加する態様で本発明を実施することが可能である。この態様を 採用する場合には、観察者は、特定オブジェクトが遠方に位置するにもかかわらず、 その特定オブジェクトを鮮明に目視することができる。
[0324] 以上の説明から明らかなように、本実施形態においては、コンピュータ 220のうち図 14の S101および S102を実行する部分と視線方向検出部 210とが互いに共同して 、前記（29)項における「選択部」の一例と、前記（31)項における「特定オブジェクト 検出部」の一例とを構成し、コンピュータ 220のうち同図の S103および S104を実行 する部分が、前記（29)項における「画像処理部」の一例と、前記（30)項における「 画像処理部」の一例とを構成して 、るのである。
[0325] さらに、本実施形態においては、コンピュータ 220のうち図 9の S101を実行する部 分と視線方向検出部 210とが互いに共同して、前記（32)項における「視線方向検出 部」の一例を構成し、コンピュータ 220のうち同図の S102を実行する部分力 同項に おける「決定部」の一例を構成して 、るのである。
[0326] さらに、本実施形態においては、コンピュータ 220のうち図 9の S104および S105 が前記（35)項における「画像処理部」の一例を構成して 、るのである。
[0327] 次に、本発明の第 4実施形態を説明する。ただし、本実施形態は、第 2または第 3 実施形態に対し、特定オブジェクトを非特定オブジェクトより相対的に強調して表示 するための画像処理に関する要素について異なるのみで、他の要素については共 通するため、異なる要素についてのみ詳細に説明し、共通する要素については、同 一の符号または名称を使用して引用することにより、詳細な説明を省略する。
[0328] 第 2または第 3実施形態においては、特定オブジェクトの輝度が増加させられること により、特定オブジェクトの強調表示が行われる。これに対し、本実施形態において は、特定オブジェクトの輪郭が通常より明瞭に、すなわち、本実施形態においては明 るく表示されることにより、特定オブジェクトの強調表示が行われる。
[0329] この画像処理を実行するために、 ROM224に、図 16にフローチャートで概念的に 表されている画像処理プログラムが記憶されている。以下、この画像処理プログラム を説明するが、図 14に示す画像処理プログラムと共通するステップについては、対 応するステップの番号を弓 I用することにより、詳細な説明を省略する。
[0330] 図 16に示す画像処理プログラムの各回の実行時には、まず、 S201において、 S1 01と同様にして、観察者の視線方向が検出される。次に、 S202において、 S102と 同様にして、その検出された視線方向に基づき、一斉に表示されている複数のォブ ジェタトのうち観察者が着目しているものが特定オブジェクトとして選択される。
[0331] 続いて、 S203において、 S103と同様にして、その選択された特定オブジェクトの 奥行き位置が求められる。その後、 S204において、特定オブジェクトを構成する複 数の画素のうち、その特定オブジェクトの輪郭を形成するものの輝度が通常値より増 加するように、対応する輝度情報が変更される。
[0332] 続いて、 S205〖こおいて、 S105と同様〖こして、その変更された輝度情報に基づい て被変調光出力部 204が制御される。その結果、特定オブジェクトの輪郭の輝度が 局部的に通常値より増加させられ、その輪郭が強調されて表示される。
[0333] 以上で、この画像処理プログラムの一回の実行が終了する。
[0334] さらに具体的に説明するに、図 15に示す例についてこの画像処理プログラムが実 行されると、特定オブジェクトである鯛 Bの画像の輪郭の輝度のみが増加するように、 外部メモリ 202に予め記憶されている輝度情報に変更が加えられる。被変調光出力 部 204は、その変更された輝度情報に基づき、鯛 Bの画像の輪郭を形成する複数の 画素の輝度を高める。
[0335] 以上の説明から明らかなように、本実施形態においては、コンピュータ 220のうち図 16の S204および S205を実行する部分が前記（36)項における「画像処理部」の一 例を構成して 、るのである。
[0336] 次に、本発明の第 5実施形態を説明する。ただし、本実施形態は、第 2または第 3 実施形態に対し、特定オブジェクトを非特定オブジェクトより相対的に強調して表示 するための画像処理に関する要素について異なるのみで、他の要素については共 通するため、異なる要素についてのみ詳細に説明し、共通する要素については、同 一の符号または名称を使用して引用することにより、詳細な説明を省略する。
[0337] 第 2または第 3実施形態においては、特定オブジェクトの輝度が増加させられること により、特定オブジェクトの強調表示が行われる。これに対し、本実施形態において は、特定オブジェクトの輪郭の外側にぉ 、てその輪郭に沿って位置して 、る複数の 周辺画素が通常より明瞭に、すなわち、本実施形態においては明るく表示されること により、特定オブジェクトの強調表示が行われる。
[0338] この画像処理を実行するために、 ROM224に、図 17にフローチャートで概念的に 表されている画像処理プログラムが記憶されている。以下、この画像処理プログラム を説明するが、図 14に示す画像処理プログラムと共通するステップについては、対 応するステップの番号を弓 I用することにより、詳細な説明を省略する。
[0339] 図 17に示す画像処理プログラムの各回の実行時には、まず、 S301において、 S1 01と同様にして、観察者の視線方向が検出される。次に、 S302において、 S102と 同様にして、一斉に表示されている複数のオブジェクトのうち観察者が着目している ものが特定オブジェクトとして選択される。
[0340] 続いて、 S303において、 S103と同様にして、その選択された特定オブジェクトの 奥行き位置が求められる。その後、 S304において、特定オブジェクトと同一の奥行き 位置を有する平面上に仮想的に位置する複数の画素のうち、その特定オブジェクト の輪郭の外側に、その輪郭カゝら設定距離離れて位置する複数の画素が複数の周辺 画素として選択される。この S304においては、さらに、その選択された複数の周辺画 素の輝度が通常値より増加するように、対応する輝度情報が変更される。
[0341] 続いて、 S305〖こおいて、 S105と同様〖こして、その変更された輝度情報に基づい て被変調光出力部 204が制御される。その結果、特定オブジェクトの輪郭の周辺画 素の輝度が通常値より増カロさせられ、その周辺画素が強調されて表示される。
[0342] 以上で、この画像処理プログラムの一回の実行が終了する。
[0343] さらに具体的に説明するに、図 15に示す例についてこの画像処理プログラムが実 行されると、特定オブジェクトである鯛 Bの画像の輪郭外側の周辺画素の輝度のみが 増加するように、外部メモリ 202に予め記憶されている輝度情報に変更が加えられる 。被変調光出力部 204は、その変更された輝度情報に基づき、鯛 Bの画像の輪郭外 側の周辺画素の輝度を高める。
[0344] 以上の説明から明らかなように、本実施形態においては、コンピュータ 220のうち図 17の S304および S305を実行する部分が前記（37)項における「画像処理部」の一 例を構成して 、るのである。
[0345] 次に、本発明の第 6実施形態を説明する。ただし、本実施形態は、第 2または第 3 実施形態に対し、特定オブジェクトを非特定オブジェクトより相対的に強調して表示 するための画像処理に関する要素について異なるのみで、他の要素については共 通するため、異なる要素についてのみ詳細に説明し、共通する要素については、同 一の符号または名称を使用して引用することにより、詳細な説明を省略する。
[0346] 第 2または第 3実施形態においては、特定オブジェクトの輝度が増加させられること により、特定オブジェクトの強調表示が行われる。これに対し、本実施形態において は、一斉に表示されるべき複数のオブジェクトのうち特定オブジェクトより手前に表示 されるべき非特定オブジェクトが存在する場合に、その非特定オブジェクトが透明に 表示される。これにより、本来であれば特定オブジェクトの手前に非特定オブジェクト が存在するにも力からず、観察者は、その非特定オブジェクトによって邪魔されること なぐ特定オブジェクトを明瞭に目視することができる。
[0347] 以上説明した画像処理を実行するために、 ROM224に、図 18にフローチャートで 概念的に表されている画像処理プログラムが記憶されている。以下、この画像処理プ ログラムを説明する力 図 14に示す画像処理プログラムと共通するステップについて は、対応するステップの番号を引用することにより、詳細な説明を省略する。
[0348] 図 18に示す画像処理プログラムの各回の実行時には、まず、 S401において、 S1 01と同様にして、観察者の視線方向が検出される。次に、 S402において、 S102と 同様にして、一斉に表示されている複数のオブジェクトのうち観察者が着目している ものが特定オブジェクトとして選択される。
[0349] 続いて、 S403において、 S103と同様にして、その選択された特定オブジェクトの 奥行き位置を表す Z座標値が求められる。その後、 S404において、特定オブジェクト と一緒に表示されている他の非特定オブジェクトの各々にっき、表示されるべき奥行 き位置を表す Z座標値が求められる。
[0350] その後、 S405にお 、て、各非特定オブジェクトごとに、それの Z座標値と特定ォブ ジェタトの Z座標値との比較結果に基づき、本来であれば各非特定オブジェクトが特 定オブジェクトの手前に表示されるべきである力否かが判定される。 [0351] 今回の非特定オブジェクトは、特定オブジェクトの手前に表示されるべきであると仮 定すれば、 S405の判定力 SYESとなり、 S406〖こおいて、特定オブジェクトの手前に 表示されるべき非特定オブジェクトが透明に表示されるように、その非特定オブジェク トに対応する色彩情報が変更される。以上で、この画像処理プログラムの一回の実行 が終了する。
[0352] これに対し、今回の非特定オブジェクトは、特定オブジェクトの手前に表示されるべ きではないと仮定すれば、 S405の判定力 SNOとなり、 S407において、特定オブジェ タトより遠方に表示されるべき非特定オブジェクトが色彩の変更なしで表示されるよう に、その非特定オブジェクトに対応する色彩情報に対する変更が行われない。以上 で、この画像処理プログラムの一回の実行が終了する。
[0353] さらに具体的に説明するに、図 15に示す例についてこの画像処理プログラムが実 行されると、 S402において、鯛 Bの画像が特定オブジェクトとして選択される。続いて 、 S403において、鯛 Bの画像に対応する奥行き位置情報に基づき、鯛 Bの画像が表 示されるべき奥行き位置を表す Z座標値が求められる。
[0354] その後、 S404において、非特定オブジェクトであるエイ Aの画像が表示されるべき 奥行き位置を表す Z座標値と、非特定オブジェクトである珊瑚 Cの画像が表示される べき奥行き位置を表す Z座標値とが求められる。続いて、 S405〖こおいて、それらエイ Aの画像と珊瑚 Cの画像とのそれぞれにっき、対応する Z座標値と特定オブジェクト である鯛 Bの画像の Z座標値との比較により、鯛 Bの画像より手前に表示されるべき非 特定オブジェクトである力否かが判定される。
[0355] エイ Aの画像については、鯛 Bの画像より手前に表示されるべき非特定オブジェクト であるため、 S405の判定結果力YESとなり、 S406において、エイ Aの画像が透明 に表示されるように、対応する色彩情報が変更される。これに対し、珊瑚 Cの画像に ついては、鯛 Bの画像より奥に表示されるべき非特定オブジェクトであるため、 S405 の判定結果が NOとなり、 S407において、珊瑚 Cの画像は、色彩の変更なしで表示 される。
[0356] 以上の説明から明らかなように、本実施形態においては、コンピュータ 220のうち図 16の S404な 、し S406を実行する部分が前記（38)項における「画像処理部」の一 例を構成して 、るのである。
[0357] なお付言するに、他のオブジェクトより手前に表示されるべき手前オブジェクト（図 1 5に示す例においては、エイ Aの画像）が透明に表示されるのではなぐ半透明に表 示される態様で本発明を実施することが可能である。
[0358] この態様を実施する場合には、例えば、手前オブジェクトに関連付けて外部メモリ 2 02に予め記憶されている本来の色彩情報によって表される色彩と、その手前ォブジ ェタトより奥に表示されるべき奥オブジェクトに関連付けて外部メモリ 202に予め記憶 されている本来の色彩情報によって表される色彩とを所定の混合の割合で混合した 混合色彩を、手前オブジェクトの輪郭線の内側に付すことが可能である。その所定の 割合は、例えば、手前オブジェクトの本来の色彩と奥オブジェクトの本来の色彩との 比率が 9対 1となるように設定することが可能である。
[0359] 次に、本発明の第 7実施形態を説明する。ただし、本実施形態は、第 6実施形態に 対し、特定オブジェクトを非特定オブジェクトより相対的に強調して表示するための画 像処理に関する要素について異なるのみで、他の要素については共通するため、異 なる要素についてのみ詳細に説明し、共通する要素については、同一の符号または 名称を使用して引用することにより、詳細な説明を省略する。
[0360] 第 6実施形態においては、特定オブジェクトより手前に表示されるべき非特定ォブ ジェタトが透明に表示される一方、奥に表示されるべき非特定オブジェクトが色彩の 変更なしで表示される。これに対し、本実施形態においては、特定オブジェクトより手 前に表示されるべき非特定オブジェクトが奥行き位置の変更なしで表示される一方、 奥に表示されるべき非特定オブジェクトが、もとの奥行き位置より特定オブジェクトに 接近した位置にぉ 、て表示される。
[0361] 以上説明した画像処理を実行するために、 ROM224に、図 19にフローチャートで 概念的に表されている画像処理プログラムが記憶されている。以下、この画像処理プ ログラムを説明する力 図 18に示す画像処理プログラムと共通するステップについて は、対応するステップの番号を引用することにより、詳細な説明を省略する。
[0362] 図 19に示す画像処理プログラムの各回の実行時には、まず、 S501において、 S4 01と同様にして、観察者の視線方向が検出される。次に、 S502において、 S402と 同様にして、一斉に表示されている複数のオブジェクトのうち観察者が着目している ものが特定オブジェクトとして選択される。
[0363] 続いて、 S503において、 S403と同様にして、その選択された特定オブジェクトの 奥行き位置を表す Z座標値が求められる。その後、 S504において、 S404と同様にし て、特定オブジェクトと一緒に表示されている他の非特定オブジェクトの各々にっき、 表示されるべき奥行き位置を表す Z座標値が求められる。
[0364] その後、 S505において、 S405と同様にして、各非特定オブジェクトごとに、それの Z座標値と特定オブジェクトの Z座標値との比較結果に基づき、各非特定オブジェクト 力 本来であれば特定オブジェクトの手前に表示されるべきである力否かが判定され る。
[0365] 今回の非特定オブジェクトは、特定オブジェクトの手前に表示されるべきであると仮 定すれば、 S505の判定力 SYESとなり、 S506〖こおいて、特定オブジェクトの手前に 表示されるべき非特定オブジェクトが、奥行き位置の変更なしで表示されるように、そ の非特定オブジェクトに対応する奥行き位置情報が変更されない。以上で、この画像 処理プログラムの一回の実行が終了する。
[0366] これに対し、今回の非特定オブジェクトは、特定オブジェクトの手前に表示されるべ きではないと仮定すれば、 S505の判定力 SNOとなり、 S507において、特定オブジェ タトより遠方に表示されるべき非特定オブジェクトが、もとの奥行き位置より特定ォブ ジェタトに接近した位置に表示されるように、その非特定オブジェクトに対応する奥行 き位置情報に対する変更が行われる。以上で、この画像処理プログラムの一回の実 行が終了する。
[0367] さらに具体的に説明するに、図 15に示す例についてこの画像処理プログラムが実 行されると、 S 502において、鯛 Bの画像が特定オブジェクトとして選択される。続いて 、 S503において、鯛 Bの画像に対応する奥行き位置情報に基づき、鯛 Bの画像が表 示されるべき奥行き位置を表す Z座標値が求められる。
[0368] その後、 S 504において、非特定オブジェクトであるエイ Aの画像が表示されるべき 奥行き位置を表す Z座標値と、非特定オブジェクトである珊瑚 Cの画像が表示される べき奥行き位置を表す Z座標値とが求められる。続いて、 S505において、それらエイ Aの画像と珊瑚 Cの画像とのそれぞれにっき、対応する Z座標値と特定オブジェクト である鯛 Bの画像の Z座標値との比較により、鯛 Bの画像より手前に表示されるべき非 特定オブジェクトである力否かが判定される。
[0369] エイ Aの画像については、鯛 Bの画像より手前に表示されるべき非特定オブジェクト であるため、 S505の判定結果が YESとなり、 S506において、エイ Aの画像力 奥行 き位置の変更なしで、すなわち、もとの奥行き位置に表示される。これに対し、珊瑚 C の画像については、鯛 Bの画像より奥に表示されるべき非特定オブジェクトであるた め、 S505の半 IJ定結果力 SNOとなり、 S507に移行する。
[0370] この S507においては、珊瑚 Cの画像を鯛 Bの画像に近づけて表示するために、珊 瑚 Cの画像に対応する奥行き位置情報に変更が加えられる。波面曲率変調部 208 は、その変更された奥行き位置情報に基づき、珊瑚 Cの画像を表示するための画像 光の波面曲率を変調する。その結果、珊瑚 Cの画像は、もとの奥行き位置より鯛 Bの 画像に接近した奥行き位置に表示される。
[0371] 以上の説明から明らかなように、本実施形態においては、コンピュータ 220のうち図 19の S504ないし S507を実行する部分力 前記（40)項における「表示オブジェクト 位置変更部」の一例と、前記 (41)項における「表示オブジェクト位置変更部」の一例 とを構成し、被変調光出力部 204が前記 (41)項における「光束出力部」の一例を構 成し、波面曲率変調部 208が同項における「波面曲率変調部」の一例を構成してい るのである。
[0372] さらに、本実施形態においては、コンピュータ 220のうち図 19の S503および S504 を実行する部分が前記 (42)項における「奥行き位置検出部」の一例を構成し、コン ピュータ 220のうち同図の S505および S507を実行する部分が同項における「表示 オブジェクト位置変更部」の一例を構成して 、るのである。
[0373] 次に、本発明の第 8実施形態を説明する。ただし、本実施形態は、第 7実施形態に 対し、特定オブジェクトを非特定オブジェクトより相対的に強調して表示するための画 像処理に関する要素について異なるのみで、他の要素については共通するため、異 なる要素についてのみ詳細に説明し、共通する要素については、同一の符号または 名称を使用して引用することにより、詳細な説明を省略する。 [0374] 第 7実施形態においては、特定オブジェクトより遠方に表示されるべき非特定ォブ ジェタトが、もとの奥行き位置より特定オブジェクトに接近した奥行き位置に表示され る。これに対し、本実施形態においては、特定オブジェクトより遠方に表示されるべき 非特定オブジェクトが、もとの奥行き位置より特定オブジェクトから遠ざけられた奥行 き位置に表示される。
[0375] 以上説明した画像処理を実行するために、 ROM224に、図 20にフローチャートで 概念的に表されている画像処理プログラムが記憶されている。以下、この画像処理プ ログラムを説明する力 図 19に示す画像処理プログラムと共通するステップについて は、対応するステップの番号を引用することにより、詳細な説明を省略する。
[0376] 図 20に示す画像処理プログラムの各回の実行時には、まず、 S601において、 S5 01と同様にして、観察者の視線方向が検出される。次に、 S602において、 S502と 同様にして、一斉に表示されている複数のオブジェクトのうち観察者が着目している ものが特定オブジェクトとして選択される。
[0377] 続いて、 S603において、 S503と同様にして、その選択された特定オブジェクトの 奥行き位置を表す Z座標値が求められる。その後、 S604において、 S504と同様にし て、特定オブジェクトと一緒に表示されている他の非特定オブジェクトの各々にっき、 表示されるべき奥行き位置を表す Z座標値が求められる。
[0378] その後、 S605において、 S505と同様にして、各非特定オブジェクトごとに、それの Z座標値と特定オブジェクトの Z座標値との比較結果に基づき、各非特定オブジェクト 力 本来であれば特定オブジェクトの手前に表示されるべきである力否かが判定され る。
[0379] 今回の非特定オブジェクトは、特定オブジェクトの手前に表示されるべきであると仮 定すれば、 S605の判定力 SYESとなり、 S606〖こおいて、特定オブジェクトの手前に 表示されるべき非特定オブジェクトが、奥行き位置の変更なしで表示されるように、そ の非特定オブジェクトに対応する奥行き位置情報が変更されない。以上で、この画像 処理プログラムの一回の実行が終了する。
[0380] これに対し、今回の非特定オブジェクトは、特定オブジェクトの手前に表示されるべ きではない、すなわち、特定オブジェクトより遠方に表示されるべきであると仮定すれ ば、 S605の判定力 SNOとなり、 S607において、特定オブジェクトより遠方に表示され るべき非特定オブジェクトが、もとの奥行き位置より特定オブジェクトから遠ざけられた 奥行き位置に表示されるように、その非特定オブジェクトに対応する奥行き位置情報 に対する変更が行われる。以上で、この画像処理プログラムの一回の実行が終了す る。
[0381] さらに具体的に説明するに、図 15に示す例についてこの画像処理プログラムが実 行されると、 S602において、鯛 Bの画像が特定オブジェクトとして選択される。続いて 、 S603において、鯛 Bの画像に対応する奥行き位置情報に基づき、鯛 Bの画像が表 示されるべき奥行き位置を表す Z座標値が求められる。
[0382] その後、 S604において、非特定オブジェクトであるエイ Aの画像が表示されるべき 奥行き位置を表す Z座標値と、非特定オブジェクトである珊瑚 Cの画像が表示される べき奥行き位置を表す Z座標値とが求められる。続いて、 S605において、それらエイ Aの画像と珊瑚 Cの画像とのそれぞれにっき、鯛 Bの画像より手前に表示されるべき 非特定オブジェクトである力否かが判定される。
[0383] エイ Aの画像については、鯛 Bの画像より手前に表示されるべき非特定オブジェクト であるため、 S605の判定結果力YESとなり、 S606において、エイ Aの画像力 奥行 き位置の変更なしで、すなわち、もとの奥行き位置に表示される。これに対し、珊瑚 C の画像については、鯛 Bの画像より奥に表示されるべき非特定オブジェクトであるた め、 S605の半 IJ定結果力 SNOとなり、 S607に移行する。
[0384] この S607においては、珊瑚 Cの画像を鯛 Bの画像から遠ざけて表示するために、 珊瑚 Cの画像に対応する奥行き位置情報に変更が加えられる。波面曲率変調部 20 8は、その変更された奥行き位置情報に基づき、珊瑚 Cの画像を表示するための画 像光の波面曲率を変調する。その結果、珊瑚 Cの画像は、もとの奥行き位置より鯛 B 力 遠ざけられた奥行き位置に表示される。
[0385] 以上の説明から明らかなように、本実施形態においては、コンピュータ 220のうち図 20の S604ないし S607を実行する部分力 前記（40)項における「表示オブジェクト 位置変更部」の一例と、前記 (41)項における「表示オブジェクト位置変更部」の一例 とを構成しているのである。 [0386] さらに、本実施形態においては、コンピュータ 220のうち図 20の S603および S604 を実行する部分が前記 (43)項における「奥行き位置検出部」の一例を構成し、コン ピュータ 220のうち同図の S605および S607を実行する部分が同項における「表示 オブジェクト位置変更部」の一例を構成して 、るのである。
[0387] 次に、本発明の第 9実施形態を説明する。ただし、本実施形態は、第 2または第 3 実施形態に対し、特定オブジェクトを非特定オブジェクトより相対的に強調して表示 するための画像処理に関する要素について異なるのみで、他の要素については共 通するため、異なる要素についてのみ詳細に説明し、共通する要素については、同 一の符号または名称を使用して引用することにより、詳細な説明を省略する。
[0388] 第 2または第 3実施形態においては、特定オブジェクトが、それの手前に位置する 非特定オブジェクトと重なって表示されるべき部分を有する力否かの判定が行われる ようにはなっていないが、本実施形態においては、その判定が行われる。さらに、本 実施形態においては、特定オブジェクトのうち、非特定オブジェクトと重なって表示さ れるべき部分が半透明に表示される。
[0389] 具体的には、本実施形態にぉ 、ては、特定オブジェクトのうち、非特定オブジェクト と重なって表示されるべき部分の色彩力 もとの色彩から、特定オブジェクトのもとの 色彩と非特定オブジェクトのもとの色彩とが所定の割合で混合された混合色彩に変 更される。
[0390] 以上説明した画像処理を実行するために、 ROM224に、図 21にフローチャートで 概念的に表されている画像処理プログラムが記憶されている。以下、この画像処理プ ログラムを説明する力 図 14に示す画像処理プログラムと共通するステップについて は、対応するステップの番号を引用することにより、詳細な説明を省略する。
[0391] 図 21に示す画像処理プログラムの各回の実行時には、まず、 S701において、 S1 01と同様にして、観察者の視線方向が検出される。次に、 S702において、一斉に表 示されて!/、る複数のオブジェクトのうち観察者が着目して 、るものが特定オブジェクト として選択される。
[0392] この S702においては、図 22に示すように、まず、観察者の両眼の注視点の位置（ 少なくとも左右方向位置と奥行き位置） 両眼 M, Mの各視線方向 a 1、 a 2をそれ ぞれ表す角度 18 1、 β 2と、両眼間の距離 Wとに基づき、三角測量の原理に従って測 定される。図 22において「Κ」は、両眼 Μ, Μを互いに結ぶ基線を表しており、その基 線 Κと各視線方向 α 1、 α 2との成す角度として角度 /3 1、 /3 2がそれぞれ定義されて いる。距離 Wは、固定値として予め ROM224 (または RAM226)に記憶させておくこ とが可能である。
[0393] この S702においては、さらに、複数のオブジェクトに対応する前述の幾何学情報 に基づき、前記測定された注視点が位置するオブジェクトが特定オブジェクトとして 選択される。
[0394] 図 22には、図 15に示す例に関連して、エイ Aの画像および鯛 Bの画像が平面視で 示されている。図 23には、それらエイ Aの画像および鯛 Bの画像が正面視で示され ている。図 23に示すように、エイ Aの画像の一部が鯛 Bの画像と観察者の視線方向 において重なっており、このことが図 22に平面視で示されている。図 22には、さらに 、観察者の注視点がエイ Aの画像にではなく鯛 Bの画像に存在することも示されて ヽ る。この例においては、鯛 Bの画像が特定オブジェクトとして選択される。
[0395] なお付言するに、この S702においては、特定オブジェクトが三角測量によって自 動的に選択されるが、例えば、観察者が特定オブジェクトを選択するための操作 (例 えば、特定オブジェクトを表示する別の画面 (例えば、モニタ画面）上において観察 者がその特定オブジェクトにお 、てマウスをクリックする操作）に応じて特定オブジェ タトが手動で選択される態様で本発明を実施することが可能である。
[0396] 続いて、図 21の S703において、その選択された特定オブジェクトに対応する奥行 き位置情報および平面位置情報によって表される特定オブジェクトの幾何学量と、非 特定オブジェクトに対応する奥行き位置情報および平面位置情報によって表される 非特定オブジェクトの幾何学量と、前記検出された視線方向とに基づき、特定ォブジ ェクトのうち、それより手前に位置する非特定オブジェクトとの重なり部分が幾何学的 に検出される。
[0397] その後、 S704において、特定オブジェクトのうち非特定オブジェクトと重なって表示 されるべき部分ではない部分力 色彩の変更なしで、すなわち、もとの色彩が付され た状態で表示される。 [0398] 続いて、 S705において、特定オブジェクトの色彩と、その特定オブジェクトより手前 においてその特定オブジェクトに重なって表示されるべき非特定オブジェクトの色彩 とが所定の割合で混合された混合色彩が決定される。
[0399] この S705においては、さらに、特定オブジェクトのうち非特定オブジェクトと重なつ て表示されるべき部分に対応する色彩情報が、上記決定された混合色彩を表すよう に変更される。その結果、特定オブジェクトのうち非特定オブジェクトと重なって表示 されるべき部分が、それの色彩がもとの色彩力 上記混合色彩に変更された状態で 、表示される。
[0400] 以上で、この画像処理プログラムの一回の実行が終了する。
[0401] さらに具体的に説明するに、図 22および図 23に示す例についてこの画像処理プロ グラムが実行されると、 S702において、鯛 Bの画像が特定オブジェクトとして選択さ れる。続いて、 S703において、鯛 Bの画像の一部力 それより手前の非特定ォブジ ェクトであるエイ Aの画像と重なっていることが検出される。
[0402] その後、 S704において、制御部 212が波面曲率変調部 208を制御することにより 、鯛 Bの画像が、外部メモリ 202に予め記憶されている本来の奥行き位置に存在する ように表示される。
[0403] この S704においては、さらに、鯛 Bの画像のうちエイ Aの画像と重なっていない部 分につき、外部メモリ 202に予め記憶されて 、る本来の色彩がその部分に付されるよ うに、外部メモリ 202に予め記憶されて 、る色彩情報が変更されな!、。
[0404] 続いて、 S705において、鯛 Bの画像のうちエイ Aの画像と重なっている部分につき 、外部メモリ 202に予め記憶されている鯛 Bの画像に付されるべき本来の色彩と、ェ ィ Aの画像に付されるべき本来の色彩とが所定の割合で混合された混合色彩が付さ れて表示されるように、外部メモリ 202に予め記憶されている色彩情報が変更される。
[0405] このように、本実施形態においては、鯛 Bの画像のうち、エイ Aの画像と重なる部分 1S 鯛 Bの画像の本来の色彩と、エイ Aの画像の本来の色彩とが混合された混合色 彩を付された状態で表示され、その結果、観察者は、鯛 Bの画像の手前にエイ Aの 画像が存在するにもかかわらず、エイ Aの画像によって邪魔されることなく鯛 Bの画像 を明瞭に目視することができる。 [0406] なお付言するに、この S705においては、前述の混合割合を任意に設定することが 可能である。例えば、特定オブジェクトの本来の色彩と、その手前に位置する非特定 オブジェクトの本来の色彩との混合比率が 9対 1で表される割合に設定することが可 能である。
[0407] さらに付言するに、この S705においては、特定オブジェクトの手前においてそれと 重なる非特定オブジェクトがそもそも半透明に表示される場合には、前述の混合割合 を、もとの混合割合力も変更しなくてもよい。
[0408] さらに付言するに、図 22に示すように、特定オブジェクト (鯛 Bの画像であって実線 で示す。）の手前に非特定オブジェクト (エイ Aの画像であって、一点鎖線で示す。 ) が重なっている場合には、観察者の視線方向のみが判明しても、それら特定ォブジ ェタトと非特定オブジェクトのうち観察者によって注目されているものを正確に検出す ることはできない。
[0409] これに対し、本実施形態においては、観察者の視線方向のみならずその観察者の 注視点の奥行き位置も検出されるため、互いに重なり合う特定オブジェクトと非特定 オブジェクトとのうち観察者が注目しているものを正確に特定することが可能である。
[0410] 以上の説明から明らかなように、本実施形態においては、被変調光出力部 204が 前記 (44)項における「光束出力部」の一例を構成し、視線方向検出部 210とコンビ ユータ 220のうち図 21の S701および S703を実行する部分とが互いに共同して、同 項における「重なりオブジェクト検出部」の一例を構成し、コンピュータ 220のうち図 2 1の S705を実行する部分力 同項における「重なりオブジェクト表示部」の一例と、前 記 (46)項における「第 2表示部」の一例と、前記 (47)項における「混合割合変更部」 の一例とを構成して 、るのである。
[0411] 次に、本発明の第 10実施形態を説明する。ただし、本実施形態は、第 2または第 3 実施形態に対し、特定オブジェクトを非特定オブジェクトより相対的に強調して表示 するための画像処理に関する要素について異なるのみで、他の要素については共 通するため、異なる要素についてのみ詳細に説明し、共通する要素については、同 一の符号または名称を使用して引用することにより、詳細な説明を省略する。
[0412] 第 2または第 3実施形態においては、所定の視角をなす範囲内に特定オブジェクト と非特定オブジェクトとが共存する場合に、その非特定オブジェクトが透明に表示さ れるようにはなっていないが、本実施形態においては、その非特定オブジェクトが透 明に表示される。
[0413] 以上説明した画像処理を実行するために、 ROM224に、図 24にフローチャートで 概念的に表されている画像処理プログラムが記憶されている。以下、この画像処理プ ログラムを説明する力 図 14に示す画像処理プログラムと共通するステップについて は、対応するステップの番号を引用することにより、詳細な説明を省略する。
[0414] 図 24に示す画像処理プログラムの各回の実行時には、まず、 S801において、 S 1 01と同様にして、観察者の視線方向が検出される。次に、 S802において、 S702と 同様にして、一斉に表示されている複数のオブジェクトのうち観察者が着目している ものが特定オブジェクトとして選択される。
[0415] 続いて、 S803において、複数のオブジェクトのうち特定オブジェクトを除くものの中 に、前記検出された視線方向に対して所定角度 αを成す視角範囲内に存在する非 特定オブジェクトが選択される。
[0416] その後、 S804において、その選択された非特定オブジェクトに対応する色彩情報 が RAM226において消去される。その結果、特定オブジェクトの周辺に位置して表 示されるはずであった非特定オブジェクトが透明に表示され、このことは、その非特 定ォブジエタトが表示画面上において消去されたことを意味する。したがって、観察 者は、周辺の非特定オブジェクトに邪魔されることなぐ特定オブジェクトを明瞭に目 視することが可能である。
[0417] 以上で、この画像処理プログラムの一回の実行が終了する。
[0418] 前述の所定角度 exは、例えば、観察者が特定オブジェクトの全体を観察するのに 必要な画角を基準に設定することが可能であり、例えば、その必要な画角の整数倍 に設定することが可能である。また、所定角度 OCは、観察者による指定に応じて任意 の値に設定することも可能である。
[0419] 図 25に示すように、図 15に示す例に対して上記画像処理プログラムが実行される と、 S802において、鯛 Βの画像が特定オブジェクトとして選択される。
[0420] 続いて、 S803において、前記視角範囲内に存在する非特定オブジェクトが選択さ れる。その視角範囲は、観察者の視線方向 Pに対して所定角度 OCを成す範囲として 定義される。その所定範囲 (Xは、例えば、鯛 Bの画像の全体を観察するのに必要な 画角（例えば、 5度）を整数倍した値 (例えば、 10度）に設定される。図 25に示す例に おいては、エイ Aの画像がその視角範囲内に存在する非特定オブジェクトとして選択 される。
[0421] その後、 S804において、鯛 Bの画像とおよび珊瑚 Cの画像は表示される力 エイ A の画像は表示されない。
[0422] 以上の説明から明らかなように、本実施形態においては、コンピュータ 220のうち図
24の S803および S804を実行する部分が前記（39)項における「画像処理部」の一 例を構成して 、るのである。
[0423] 以上、本発明の実施の形態のいくつかを図面に基づいて詳細に説明したが、これ らは例示であり、前記 [発明の開示]の欄に記載の態様を始めとして、当業者の知識 に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能であ る。

Claims

請求の範囲
[1] 光を観察者の網膜上に投影することにより、表示対象を虚像によって観察者に視 認させる画像表示装置であって、
光を出射する出射部と、
前記光を変調する変調部と、
その変調された光を出射口を経て観察者の網膜上に出射することにより、前記表 示対象を表す画像を虚像として画像表示領域に表示する表示部であって、観察者 の頭部に装着されて使用されるものと、
前記画像が前記画像表示領域に表示されるように前記出射部および変調部を制 御する制御部であって、観察者の動作をその観察者の位置を基準にして相対的に 検出し、その検出された動作に応じて、前記画像の表示のオン'オフとその表示位置 の変更とのうちの少なくとも一方である表示制御を行うものと
を含む画像表示装置。
[2] さらに、観察者の人体を構成する複数の部位であって互いに相対変位が可能であ るもののうち、動作が検出されるべき部位として予め指定された被検出部位の、前記 人体に関連付けられた基準位置を設定するために予め選択された基準部位に対す る相対位置を検出する検出部を含み、前記制御部は、その検出された相対位置に 基づき、前記表示制御を行うものである請求の範囲第 1項に記載の画像表示装置。
[3] 前記検出部は、互いに相対変位が可能な第 1部分と第 2部分とを含み、前記第 1部 分は、前記被検出部位に装着されてその被検出部位と一体的に運動し、前記第 2部 分は、前記基準部位に装着されてその基準部位と一体的に運動し、前記検出部は、 さらに、それら第 1部分と第 2部分との相対位置を検出する検出手段を含む請求の範 囲第 2項に記載の画像表示装置。
[4] 前記第 1部分と第 2部分との一方は、前記相対位置を検出するための検出用信号 を発生させる信号発生部であり、他方は、その発生させられた検出用信号であって 空間に伝搬するものを受信する受信部である請求の範囲第 3項に記載の画像表示 装置。
[5] 前記制御部は、前記検出された相対位置に基づき、観察者の動作が設定条件を 満たす場合に、前記表示制御を行うものである請求の範囲第 1項に記載の画像表示 装置。
[6] 前記被検出部位は、観察者の頭部と腕部と足部とのうちの少なくとも頭部に設定さ れ、前記基準部位は、観察者の腰部に設定される請求の範囲第 2項に記載の画像 表示装置。
[7] 前記制御部は、前記基準部位を基準にして決定される位置に前記画像を観察者 が観察するように、前記出射部および変調部を制御するものである請求の範囲第 2 項に記載の画像表示装置。
[8] 前記制御部は、前記画像を前記画像表示領域に表示するために、 (a)前記表示対 象を定義するために使用される定義用座標系と、（b)前記画像表示領域に表示され る画像を定義する表示用座標系であって、前記表示部に固定されたものとを用い、 前記制御部は、さらに、観察者の頭部の位置および向きと、前記人体に関連付けら れるように予め定められた基準座標系との相対関係を検出し、その検出された相対 関係が反映されるように、前記定義用座標系上において前記表示対象を定義する定 義データを、前記表示用座標系上において前記画像を表示する表示データに変換 し、その変換された表示データに基づき、前記出射部および変調部を制御するもの である請求の範囲第 1項に記載の画像表示装置。
[9] 前記制御部は、前記定義用座標系が前記表示用座標系に固定されているものとし て、前記定義用座標系にお ヽて前記表示対象が定義された表示対象データを前記 表示用座標系で定義される表示データに変換するものである請求の範囲第 8項に記 載の画像表示装置。
[10] 前記制御部は、前記定義用座標系が前記基準座標系に固定されているものとして 、前記定義用座標系にお ヽて前記表示対象が定義された表示対象データを前記表 示用座標系で定義される表示データに変換するものである請求の範囲第 8項に記載 の画像表示装置。
[11] 前記制御部は、前記基準座標系および前記表示用座標系のいずれとも異なり、か つ、観察者の人体のいずれかの部位に関連付けられた第 3の座標系に前記定義用 座標系が固定されて 、るものとして、その定義用座標系にお 、て前記表示対象が定 義された表示対象データを前記表示用座標系で定義される表示データに変換する ものである請求の範囲第 8項に記載の画像表示装置。
[12] 前記基準座標系は、
前記人体に関連付けられる少なくとも 1個の点の位置情報と、その少なくとも 1個の 点に関連付けられる少なくとも 2個の向き情報との組合せと、
前記人体に関連付けられる少なくとも 2個の点の位置情報と、それら少なくとも 2個 の点のうちの少なくとも 1個の点に関連付けられる少なくとも 1個の向き情報との組合 せと、
前記人体に関連付けられる少なくとも 3個の点の位置情報の組合せと
のいずれかによつて特定される請求の範囲第 8項に記載の画像表示装置。
[13] 前記基準座標系は、前記人体の単一の部位に関連付けられる 3個の点の位置情 報によって特定される請求の範囲第 8項に記載の画像表示装置。
[14] 前記基準座標系は、前記人体の単一の部位に関連付けられる 2個の点の位置情 報と、その単一の部位に関連付けられる 1個の点に作用する重力の向き情報とによつ て特定される請求の範囲第 8項に記載の画像表示装置。
[15] 前記制御部は、前記基準部位を基準にして決定される位置に前記画像を観察者 が観察するようにその画像を表示する観察者基準表示モードと、前記表示部の位置 を基準にして決定される位置に前記画像を観察者が観察するようにその画像を表示 する表示部基準表示モードとを含む複数種類の表示モードのうちのいずれかを選択 し、その選択された表示モードに従って前記画像を表示するものである請求の範囲 第 2項に記載の画像表示装置。
[16] 前記制御部は、観察者の指令に従って前記表示モードの選択を行うものである請 求の範囲第 15項に記載の画像表示装置。
[17] 当該画像表示装置は、観察者が、前記表示対象を表す画像を現実外界に重ねて それと一緒に観察することを可能にするシースルー型である請求の範囲第 1項に記 載の画像表示装置。
[18] 当該画像表示装置が、光束を観察者の網膜上において 2次元的に走査することに より、観察者に画像を表示する網膜走査型であり、 前記変調部は、当該画像表示領域から観察者の瞳孔内に入射する光束の波面曲 率半径を、表示すべき画像のフレームごとに、またはフレームが分割された各部分領 域ごとに変調する波面変調部を含む請求の範囲第 1項に記載の画像表示装置。
[19] 前記画像は、一斉に表示されるべき複数のオブジェクトを含み、それら複数のォブ ジ タトは、各オブジェクトの奥行き位置を特定する奥行き位置情報と、各オブジェク トの奥行き位置における平面上の各オブジェクトの位置を特定する平面位置情報と を有する複数の画像情報によって立体的に表示され、
当該画像表示装置は、さらに、
前記複数のオブジェクトのうちのいずれかを特定オブジェクトとして選択する選択部 と、
その選択部により選択された特定オブジェクトに対応する前記奥行き位置情報に基 づいて前記画像の表示態様を変更する画像処理を施す画像処理部と
を含む請求の範囲第 1項に記載の画像表示装置。
[20] 前記画像処理部は、前記選択部によって選択された特定オブジェクトと、その特定 オブジェクト以外の非特定オブジェクトとを互いに異なる表示態様で表示する画像処 理を施す請求の範囲第 19項に記載の画像表示装置。
[21] 前記選択部は、前記複数のオブジェクトのうち観察者が着目して 、る着目オブジェ タトを前記特定オブジェクトとして検出する特定オブジェクト検出部を含む請求の範 囲第 19項に記載の画像表示装置。
[22] 前記特定オブジェクト検出部は、
観察者の視線方向を検出する視線方向検出部と、
その視線方向検出部の検出結果に基づき、前記複数の画像情報の内から前記検 出された視線方向に対応する画像情報を検索し、その検索された画像情報に基づ Vヽて前記特定オブジェクトを決定する決定部と
を含む請求の範囲第 21項に記載の画像表示装置。
[23] 前記特定オブジェクト検出部は、
観察者の左眼および右眼の両視線方向をそれぞれ検出する視線方向検出部と、 その視線方向検出部によって検出された左眼および右眼の視線方向および左眼と 右眼との間の距離に基づいて観察者の注視点の位置を演算し、その演算結果に基 づ 、て前記特定オブジェクトを検出する演算部と
を含む請求の範囲第 21項に記載の画像表示装置。
[24] さらに、前記奥行き位置情報に基づき、前記各オブジェクトの奥行き位置を検出す る奥行き位置検出部を含み、前記画像処理部は、前記特定オブジェクトとその特定 オブジェクトの奥行き位置と同一の奥行き位置に表示される別のオブジェクトとのうち の少なくとも特定オブジェクトと、その特定オブジェクトの奥行き位置とは異なる奥行き 位置に表示される非特定オブジェクトとを互いに異なる表示態様で表示する画像処 理を施す請求の範囲第 19項に記載の画像表示装置。
[25] 前記画像処理部は、前記特定オブジェクトの輝度を変化させる手段を含む請求の 範囲第 19項に記載の画像表示装置。
[26] 前記画像処理部は、前記特定オブジェクトの輪郭を明瞭にする手段を含む請求の 範囲第 19項に記載の画像表示装置。
[27] 前記画像処理部は、前記特定オブジェクトの外形に沿って輪郭線を付す手段を含 む請求の範囲第 19項に記載の画像表示装置。
[28] 前記画像処理部は、前記奥行き位置検出部の検出結果に基づき、前記複数のォ ブジェクトのうち前記特定オブジェクトより手前に位置する非特定オブジェクトを透明 または半透明に表示する手段を含む請求の範囲第 24項に記載の画像表示装置。
PCT/JP2004/016025 2003-10-30 2004-10-28 画像表示装置 WO2005043218A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/413,046 US7825996B2 (en) 2003-10-30 2006-04-28 Apparatus and method for virtual retinal display capable of controlling presentation of images to viewer in response to viewer's motion

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003-370842 2003-10-30
JP2003370842 2003-10-30
JP2004068889A JP4599858B2 (ja) 2004-03-11 2004-03-11 画像表示装置
JP2004-068889 2004-03-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/413,046 Continuation-In-Part US7825996B2 (en) 2003-10-30 2006-04-28 Apparatus and method for virtual retinal display capable of controlling presentation of images to viewer in response to viewer's motion

Publications (1)

Publication Number Publication Date
WO2005043218A1 true WO2005043218A1 (ja) 2005-05-12

Family

ID=34554753

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/016025 WO2005043218A1 (ja) 2003-10-30 2004-10-28 画像表示装置

Country Status (2)

Country Link
US (1) US7825996B2 (ja)
WO (1) WO2005043218A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8061845B2 (en) 2005-12-19 2011-11-22 Brother Kogyo Kabushiki Kaisha Image display system and image display method
JP2016004402A (ja) * 2014-06-17 2016-01-12 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
JP2016173693A (ja) * 2015-03-17 2016-09-29 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2017117175A (ja) * 2015-12-24 2017-06-29 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10175484B2 (en) 2015-03-17 2019-01-08 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272067A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd 画像表示装置
US20080055194A1 (en) * 2006-08-31 2008-03-06 Motorola, Inc. Method and system for context based user interface information presentation and positioning
FR2909189B1 (fr) * 2006-11-23 2009-01-30 Essilor Int Agencement d'affichage opto-electronique
WO2008067487A2 (en) * 2006-11-29 2008-06-05 Erik Bakke Controlling a displayed presentation, such as a sexually explicit presentation
WO2008145169A1 (de) * 2007-05-31 2008-12-04 Siemens Aktiengesellschaft Mobiles gerät und verfahren zur virtuellen netzhautanzeige
US9647780B2 (en) * 2007-08-24 2017-05-09 Invention Science Fund I, Llc Individualizing a content presentation
US9479274B2 (en) 2007-08-24 2016-10-25 Invention Science Fund I, Llc System individualizing a content presentation
US8907887B2 (en) * 2008-05-19 2014-12-09 Honeywell International Inc. Methods and systems for operating avionic systems based on user gestures
US9596453B2 (en) * 2010-06-14 2017-03-14 Lg Electronics Inc. Electronic device and control method thereof
KR20120005328A (ko) * 2010-07-08 2012-01-16 삼성전자주식회사 입체 안경 및 이를 포함하는 디스플레이장치
WO2012011893A1 (en) * 2010-07-20 2012-01-26 Empire Technology Development Llc Augmented reality proximity sensing
KR20120062170A (ko) * 2010-12-06 2012-06-14 삼성전자주식회사 가상 모니터 제어장치 및 그 제어방법
JP5698529B2 (ja) * 2010-12-29 2015-04-08 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
EP2499964B1 (en) * 2011-03-18 2015-04-15 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and system
JP5821464B2 (ja) * 2011-09-22 2015-11-24 セイコーエプソン株式会社 頭部装着型表示装置
US8990682B1 (en) 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9547406B1 (en) 2011-10-31 2017-01-17 Google Inc. Velocity-based triggering
US8866852B2 (en) * 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
US9001005B2 (en) 2012-02-29 2015-04-07 Recon Instruments Inc. Modular heads-up display systems
US9069166B2 (en) 2012-02-29 2015-06-30 Recon Instruments Inc. Gaze detecting heads-up display systems
US8947322B1 (en) 2012-03-19 2015-02-03 Google Inc. Context detection and context-based user-interface population
US9096920B1 (en) 2012-03-22 2015-08-04 Google Inc. User interface method
CN104520905A (zh) * 2012-07-27 2015-04-15 日本电气方案创新株式会社 三维环境共有系统及三维环境共有方法
WO2014035118A1 (en) * 2012-08-31 2014-03-06 Lg Electronics Inc. Head mounted display and method of controlling digital device using the same
KR101958778B1 (ko) 2012-08-31 2019-03-15 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 디지털 디바이스 제어 방법
JP2014153645A (ja) 2013-02-13 2014-08-25 Seiko Epson Corp 画像表示装置および画像表示装置の表示制御方法
US9041741B2 (en) * 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US9380295B2 (en) * 2013-04-21 2016-06-28 Zspace, Inc. Non-linear navigation of a three dimensional stereoscopic display
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
KR20150141461A (ko) * 2014-06-10 2015-12-18 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US9674920B2 (en) * 2014-12-01 2017-06-06 Industrial Technology Research Institute Illumination system and method for developing target visual perception of an object
US9992842B2 (en) 2014-12-01 2018-06-05 Industrial Technology Research Institute Illumination system and method for developing target visual perception of an object
KR101932368B1 (ko) * 2015-01-13 2019-03-20 가부시키가이샤 리코 헤드 마운트 표시 장치 및 표시 방법
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
US20160292919A1 (en) 2015-03-31 2016-10-06 Cae Inc. Modular Infrastructure For An Interactive Computer Program
US9754506B2 (en) 2015-03-31 2017-09-05 Cae Inc. Interactive computer program with virtualized participant
EP3278321B1 (en) 2015-03-31 2021-09-08 CAE Inc. Multifactor eye position identification in a display system
EP3284078B1 (en) 2015-04-17 2024-03-27 Tulip Interfaces Inc. Augmented interface authoring
JP6518582B2 (ja) * 2015-12-21 2019-05-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法
GB2548346B (en) * 2016-03-11 2020-11-18 Sony Interactive Entertainment Europe Ltd Image processing method and apparatus
KR20240070723A (ko) * 2016-04-21 2024-05-21 매직 립, 인코포레이티드 시야 주위의 시각적 아우라
US10466474B2 (en) * 2016-08-04 2019-11-05 International Business Machines Corporation Facilitation of communication using shared visual cue
US10489951B2 (en) 2017-09-29 2019-11-26 Qualcomm Incorporated Display of a live scene and auxiliary object
JP6993722B2 (ja) * 2017-10-05 2022-01-14 株式会社Ｑｄレーザ 視覚検査装置
KR20200120466A (ko) * 2019-04-11 2020-10-21 삼성전자주식회사 헤드 마운트 디스플레이 장치 및 그 동작방법
CN117590582A (zh) 2019-04-11 2024-02-23 三星电子株式会社 头戴式显示设备及其操作方法
US11860246B1 (en) * 2019-05-24 2024-01-02 Apple Inc. Short-range position tracking using stationary magnetic field gradient
US11612316B2 (en) * 2019-06-20 2023-03-28 Awss Zidan Medical system and method operable to control sensor-based wearable devices for examining eyes
DE102020126953B3 (de) * 2020-10-14 2021-12-30 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zum Erfassen einer räumlichen Orientierung einer tragbaren Vorrichtung

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0396913A (ja) * 1989-09-08 1991-04-22 Brother Ind Ltd 画像表示装置
JPH06289318A (ja) * 1993-04-01 1994-10-18 Seiko Epson Corp 頭部装着型表示装置
JPH0795498A (ja) * 1993-09-24 1995-04-07 Sony Corp 眼鏡型ディスプレイ
JPH07261112A (ja) * 1994-03-22 1995-10-13 Hitachi Ltd 頭部搭載型ディスプレイ装置
JPH07303225A (ja) * 1994-05-09 1995-11-14 Olympus Optical Co Ltd 頭部装着型映像表示装置
JPH08160349A (ja) * 1994-12-09 1996-06-21 Sega Enterp Ltd 頭部搭載型映像表示システム、および、頭部搭載型映像表示装置
JPH08328512A (ja) * 1995-05-26 1996-12-13 Canon Inc 頭部装着型表示装置
JPH1195155A (ja) * 1997-09-18 1999-04-09 Nec Software Kyushu Ltd ヘッドアップディスプレイ装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6159132A (ja) 1984-08-31 1986-03-26 Matsushita Electric Ind Co Ltd 排煙装置
US4849692A (en) * 1986-10-09 1989-07-18 Ascension Technology Corporation Device for quantitatively measuring the relative position and orientation of two bodies in the presence of metals utilizing direct current magnetic fields
GB8701288D0 (en) * 1987-01-21 1987-02-25 Waldern J D Perception of computer-generated imagery
JP3289953B2 (ja) 1991-05-31 2002-06-10 キヤノン株式会社 視線方向検出装置
US5369415A (en) 1992-06-29 1994-11-29 Motorola, Inc. Direct retinal scan display with planar imager
JP3676391B2 (ja) 1994-04-27 2005-07-27 オリンパス株式会社 頭部装着式映像表示装置
US5579026A (en) * 1993-05-14 1996-11-26 Olympus Optical Co., Ltd. Image display apparatus of head mounted type
JPH07167618A (ja) 1993-12-14 1995-07-04 Nissan Motor Co Ltd 運転者位置認識装置
JPH0821975A (ja) 1994-07-06 1996-01-23 Olympus Optical Co Ltd 頭部装着型映像表示システム
US6388638B2 (en) * 1994-10-28 2002-05-14 Canon Kabushiki Kaisha Display apparatus and its control method
JP3727961B2 (ja) 1994-10-28 2005-12-21 キヤノン株式会社 頭部装着型表示装置
TW275590B (en) * 1994-12-09 1996-05-11 Sega Enterprises Kk Head mounted display and system for use therefor
JPH08220470A (ja) 1995-02-20 1996-08-30 Fujitsu General Ltd ヘッドマウントディスプレイ装置
JP2887104B2 (ja) 1996-04-12 1999-04-26 オリンパス光学工業株式会社 頭部装着型映像表示装置
JPH1093889A (ja) 1996-09-13 1998-04-10 Minolta Co Ltd 頭部載置型映像表示装置
DE19802220A1 (de) 1998-01-22 1999-07-29 Bosch Gmbh Robert Anzeigevorrichtung
US6120461A (en) * 1999-08-09 2000-09-19 The United States Of America As Represented By The Secretary Of The Army Apparatus for tracking the human eye with a retinal scanning display, and method thereof
JP4140399B2 (ja) 2003-02-27 2008-08-27 トヨタ自動車株式会社 視線方向検出装置および視線方向検出方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0396913A (ja) * 1989-09-08 1991-04-22 Brother Ind Ltd 画像表示装置
JPH06289318A (ja) * 1993-04-01 1994-10-18 Seiko Epson Corp 頭部装着型表示装置
JPH0795498A (ja) * 1993-09-24 1995-04-07 Sony Corp 眼鏡型ディスプレイ
JPH07261112A (ja) * 1994-03-22 1995-10-13 Hitachi Ltd 頭部搭載型ディスプレイ装置
JPH07303225A (ja) * 1994-05-09 1995-11-14 Olympus Optical Co Ltd 頭部装着型映像表示装置
JPH08160349A (ja) * 1994-12-09 1996-06-21 Sega Enterp Ltd 頭部搭載型映像表示システム、および、頭部搭載型映像表示装置
JPH08328512A (ja) * 1995-05-26 1996-12-13 Canon Inc 頭部装着型表示装置
JPH1195155A (ja) * 1997-09-18 1999-04-09 Nec Software Kyushu Ltd ヘッドアップディスプレイ装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8061845B2 (en) 2005-12-19 2011-11-22 Brother Kogyo Kabushiki Kaisha Image display system and image display method
JP2016004402A (ja) * 2014-06-17 2016-01-12 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
JP2016173693A (ja) * 2015-03-17 2016-09-29 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10175484B2 (en) 2015-03-17 2019-01-08 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
JP2017117175A (ja) * 2015-12-24 2017-06-29 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム

Also Published As

Publication number Publication date
US7825996B2 (en) 2010-11-02
US20060197832A1 (en) 2006-09-07

Similar Documents

Publication Publication Date Title
WO2005043218A1 (ja) 画像表示装置
EP3330771B1 (en) Display apparatus and method of displaying using focus and context displays
US11188149B2 (en) Image display device using retinal scanning display unit and method thereof
US10645374B2 (en) Head-mounted display device and display control method for head-mounted display device
JP6326482B2 (ja) 表示システムおよび方法
JP2020515895A (ja) 操作可能な中心窩ディスプレイ
US20160284129A1 (en) Display, control method of display, and program
EP2006827A9 (en) Image display device
JPH0749744A (ja) 頭部搭載型表示入力装置
JP2000013818A (ja) 立体表示装置及び立体表示方法
JP6707823B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
US20180324332A1 (en) Display apparatus and method using image renderers and optical combiners
JP2016024751A (ja) 画像表示装置
JP2015060071A (ja) 画像表示装置、画像表示方法、および画像表示プログラム
CN112306229A (zh) 电子装置、控制方法和计算机可读介质
JP2016197830A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2018054976A (ja) 頭部搭載型表示装置及び頭部搭載型表示装置の表示制御方法
JP4839598B2 (ja) 画像表示装置
JP2016090853A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP4599858B2 (ja) 画像表示装置
JPH0756517A (ja) 眼鏡型画像表示装置
JP3444935B2 (ja) 画像発生装置
JP2019066562A (ja) 表示装置、表示制御方法、及びプログラム
JP2019066564A (ja) 表示装置、表示制御方法、及びプログラム
JPH09127455A (ja) 表示装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11413046

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 11413046

Country of ref document: US

122 Ep: pct application non-entry in european phase