WO2013077338A1 - 表示装置、表示制御プログラム - Google Patents

表示装置、表示制御プログラム Download PDF

Info

Publication number
WO2013077338A1
WO2013077338A1 PCT/JP2012/080107 JP2012080107W WO2013077338A1 WO 2013077338 A1 WO2013077338 A1 WO 2013077338A1 JP 2012080107 W JP2012080107 W JP 2012080107W WO 2013077338 A1 WO2013077338 A1 WO 2013077338A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
image
stereoscopic image
displayed
shielded
Prior art date
Application number
PCT/JP2012/080107
Other languages
English (en)
French (fr)
Inventor
英範 栗林
正樹 大槻
謙三 千秋
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to KR1020147014205A priority Critical patent/KR20140097226A/ko
Priority to US14/359,166 priority patent/US10477191B2/en
Priority to EP12851046.8A priority patent/EP2784640A4/en
Priority to RU2014124192A priority patent/RU2658790C2/ru
Priority to CN201280067270.3A priority patent/CN104054044A/zh
Priority to BR112014011974A priority patent/BR112014011974A2/pt
Publication of WO2013077338A1 publication Critical patent/WO2013077338A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction

Definitions

  • the present invention relates to a display device and a display control program.
  • This application claims priority based on Japanese Patent Application No. 2011-253805 filed on November 21, 2011, the contents of which are incorporated herein by reference.
  • Patent Document 1 when viewing an image using shutter-type glasses, if the image is blocked by a hand, the shutter on one side of the shutter-type glasses is closed so that the image can reach only one eye. It is described to prevent the occurrence.
  • the three-dimensional display displays, for example, an operation element that accepts an input by a user's operation gesture as a stereoscopic image
  • the operation element is blocked by the finger or the like and cannot be viewed. End up.
  • the aspect of the present invention provides a display device and a display control program for displaying so that a stereoscopic image shielded by a shield can be confirmed.
  • a display unit that displays an image including a stereoscopic image based on binocular parallax, a detection unit that detects a blocking object that blocks a stereoscopic image, and a detection result by the detection unit And a control unit that determines at least one of a stereoscopic image display state and a shielding state and controls display of a related image related to the stereoscopic image based on the determination result.
  • the step of displaying an image including a stereoscopic image based on binocular parallax the step of detecting a shielding object that blocks the stereoscopic image
  • FIG. 1 It is a block diagram which shows the structural example of the display apparatus by one Embodiment of this invention. It is a figure which shows the external appearance of the display apparatus by one Embodiment of this invention. It is a figure which shows the positional relationship of the display apparatus and user by one Embodiment of this invention. It is a figure which shows the positional relationship of the display apparatus and user by one Embodiment of this invention. It is a figure which shows the outline
  • FIG. 1 It is a figure which shows the example of the screen by which the display part by one Embodiment of this invention assists and displays a related image. It is a figure which shows the relationship between the three-dimensional image by one Embodiment of this invention, the shielding object, and the related image which carries out auxiliary display. It is a figure which shows the relationship between the three-dimensional image by one Embodiment of this invention, the shielding object, and the related image which carries out auxiliary display. It is a figure which shows the relationship between the three-dimensional image by one Embodiment of this invention, the shielding object, and the related image which carries out auxiliary display.
  • FIG. 1 is a block diagram showing the configuration of the display device 100 according to the present embodiment.
  • the display device 100 includes an imaging unit 101, a detection unit 102, an operation determination unit 103, a display unit 104, a display image storage unit 105, and a control unit 106.
  • FIG. 2 is a diagram showing an appearance of the display device 100.
  • the display device 100 is a three-dimensional display that displays a stereoscopic image B to the user A by displaying a parallax image on the display surface of the display unit 104 and showing an image with binocular parallax to the left and right eyes of the user A.
  • the display device 100 may perform three-dimensional display using either a naked eye type or a glasses type, but in this embodiment, an example using the naked eye type will be described. Further, the display device 100 may apply any display display principle such as LCD (Liquid Crystal Display), plasma, organic EL (Electro Luminescence), or the like.
  • the display device 100 includes a photographing unit 101 that photographs the user A on the upper front portion.
  • the photographing unit 101 need only be provided at a position where the display direction of the screen can be imaged, even if it is not at the upper front.
  • the parallel (horizontal) direction with respect to the display unit 104 of the display device 100 is the X-axis direction
  • the vertical direction is the Y-axis direction
  • the depth direction is the Z-axis direction.
  • the photographing unit 101 is a camera that photographs a predetermined area in the display direction by the display unit 104 and generates a photographed image.
  • the predetermined area is an area including a spatial area that shields the stereoscopic image if an object is present when the user visually recognizes the stereoscopic image displayed by the display unit 104.
  • the imaging unit 101 may shoot a moving image or may shoot a still image at regular intervals.
  • the photographing unit 101 may be a single camera or a plurality of cameras.
  • the photographing unit 101 may be a tilt type camera or a fisheye type camera.
  • the detection unit 102 detects a shielding object that blocks the stereoscopic image displayed by the display unit 104. For example, the detection unit 102 detects the position of the shielding object in the predetermined area and the position of the user's eye line in the display direction of the display unit 104 based on the captured image captured by the imaging unit 101. For example, the detection unit 102 analyzes a captured image captured by the capturing unit 101 and detects a moving object included in the captured image. The detection unit 102 can extract a difference area for each frame of the moving image shot by the shooting unit 101 and determine that a moving object exists in the area where the difference occurs. For example, as illustrated in FIG.
  • the detection unit 102 detects a user A that exists in the display direction of the display device 100 from an image captured by the imaging unit 101. At this time, a photographed image as shown in FIG. 3B is photographed by the photographing unit 101 of the display device 100, for example.
  • the detection unit 102 has a position of the shielding object in the depth direction (Z-axis direction) with respect to the display unit 104, a position of the shielding object in a direction parallel to the display surface of the display unit 104 (X-axis direction), and the size of the shielding object. And at least one feature amount of the shape of the shield is detected.
  • the detection unit 102 detects the face area of the user A included in the captured image and the hand area that is a shielding object using a face detection algorithm, a hand area detection algorithm, and the like, and detects the position of the face in the three-dimensional space. The position of the hand, the size of the face or hand, and the shape of the face or hand are detected.
  • the detection unit 102 can detect the position of the body or arm of the user A and calculate the estimated position of the user A's face.
  • the detection unit 102 can also detect the position of the eye line of the user A from the position of the face of the user A detected as described above.
  • the region of the eye line position of the user A where the stereoscopic image can be observed is limited. That is, the position of such an observable region R is known, and the line of sight of the user A is determined in advance. Therefore, the position of the observable area may be stored in advance in the storage area of the display device 100 as the user A's eye position.
  • the operation determination unit 103 determines an operation on the display device 100 according to the movement of the moving object detected by the detection unit 102. That is, the operation determination unit 103 receives an input of an operation gesture by the user A's operation. For example, the operation determination unit 103 determines that the operation element is pressed if a stereoscopic image of the operation element is displayed at the position of the shielding object detected by the detection unit 102.
  • the display unit 104 displays a stereoscopic image based on binocular parallax by changing the parallax amount of the image to be displayed.
  • FIG. 5 is a diagram illustrating an outline of a stereoscopic image displayed on the display unit 104.
  • the right eye image given to the right eye of the user A is displayed at the position P1
  • the left eye image given to the left eye of the user A is displayed at the position P2.
  • a stereoscopic image based on the binocular parallax can be projected and displayed at the display position P3 in the depth direction.
  • FIG. 6 is a diagram illustrating an example of a screen displayed by the display unit 104.
  • FIG. 6A is an example in which a plurality of icons (for example, G) are displayed.
  • the display unit 104 can display each icon G as a stereoscopic image.
  • FIG. 6B is an example in which a plurality of operators (for example, H) are displayed.
  • the display unit 104 can display each operation element H as a stereoscopic image.
  • the display image storage unit 105 stores a display image to be displayed on the display unit 104.
  • the display image may be stored in advance in the display image storage unit 105, or may be received from the outside via a wireless or wired network and stored.
  • the control unit 106 reads the display image stored in the display image storage unit 105, generates a parallax image between the right eye image and the left eye image, and causes the display unit 104 to display the parallax image.
  • the control unit 106 determines at least one of the display state and the shielding state of the stereoscopic image by the shielding object based on the detection result by the detection unit 102, and controls the display of the related image related to the stereoscopic image based on the determination result. To do.
  • the control unit 106 determines the user's eye position. From this, the shielding area of the image shielded by the shielding object in the viewing direction with respect to the display unit 104 is determined.
  • the user's eye position may be an estimated position of the user's face calculated based on the position of the user's torso or arm, or may be a predetermined observable region.
  • the user's eye position and the display screen on the display unit 104 are connected on a straight line, and the shielding object is projected on the display screen based on the position, size, shape, etc. of the shielding object existing on the straight line.
  • the occlusion area of the image can be determined.
  • control unit 106 determines whether or not the stereoscopic image is shielded by the shielding object, and when determining that the stereoscopic image is shielded, displays the related image so as not to be shielded by the shielding object.
  • the control unit 106 controls the display position of the related image in the region that is not shielded by the shielding object, based on the display position of the shielded stereoscopic image.
  • the control unit 106 determines at least one of the display state and the shielding state of the stereoscopic image shielded by the shielding object, and controls the display of the related image.
  • the control unit 106 determines at least one of the display state and the shielding state of the stereoscopic image, and assists the related image in a region adjacent to the stereoscopic image that is not shielded by the shielding object.
  • FIGS. 7A and 7B show display examples when a finger approaches the stereoscopic image shown in FIGS. 6A and 6B.
  • a stereoscopic image G1 (hereinafter simply referred to as an icon G1) is shielded by a finger (shielding object). Therefore, a related image G2 of the shielded icon G1 (hereinafter simply referred to as the icon G2) is not covered by the shield (in this embodiment, a finger) and is placed on top of the icon G1, which is an area adjacent to the icon G1.
  • the control unit 106 makes auxiliary display.
  • the auxiliary displayed icon G2 is, for example, an icon similar to the shielded icon G1 shown in FIG. 7A in a balloon shape (pop-up display) and displayed on the upper part of the icon G1. It is.
  • the control unit 106 pops up and displays a related image in a region adjacent to the stereoscopic image without being shielded by the shielding object, like the icon G2 in FIG. 7A and the icon H2 in FIG. 7B.
  • the control unit 106 determines the shielding area of the image (icon G1) that is shielded by the shielding object (in this embodiment, a finger), and the related image is included in an area of the image that is different from the shielding area.
  • the shielding area of the image icon G1 that is shielded by the shielding object (in this embodiment, a finger)
  • the related image is included in an area of the image that is different from the shielding area.
  • the user can visually confirm what the shielded stereoscopic image (icon G1) looks like by viewing the auxiliary displayed related image (icon G2). it can.
  • the related image to be displayed may include the same image as the shielded stereoscopic image. For example, what is necessary is just to relate to the shielded stereoscopic image and to recall the shielded stereoscopic image.
  • the related image to be displayed may be an image representing a shielded stereoscopic image by characters.
  • FIG. 7A shows an example in which a related image is displayed in a region adjacent to the shielded stereoscopic image (icon G1) in the Y-axis direction (vertical direction), but in the X-axis direction (parallel direction).
  • a related image may be displayed in a region adjacent to. That is, the related image displayed in the area not shielded by the shield can be displayed at an arbitrary position on the XY axis plane.
  • the control unit 106 auxiliary displays the related image H2 of the shielded icon H1 (hereinafter simply referred to as the icon H2) on the upper part of the icon H1 that is an area adjacent to the icon H1.
  • the related image to be auxiliary displayed may be displayed in a three-dimensional manner like a three-dimensional image, or may be displayed two-dimensionally on the display surface of the display unit 104.
  • the control unit 106 determines that the shielding object detected by the detection unit 102 does not shield the stereoscopic image, the control unit 106 hides the auxiliary display of the related image.
  • FIG. 8 is a diagram illustrating the relationship of the depth distance D between the display device 100 that displays the stereoscopic image J, the hand K that is a shielding object, and the related image L that is auxiliary displayed.
  • the depth distance D is a distance in the depth direction in the Z-axis direction.
  • the depth distance of the related image L to be auxiliary displayed can be the same as that of the stereoscopic image J.
  • control unit 106 displays the related image L to be auxiliary displayed at a position farther from the display unit 104 than the stereoscopic image J (stereoscopic image display position) in the depth direction with respect to the display unit 104. Can be made.
  • control unit 106 can display the related image L to be auxiliary displayed at a position closer to the display unit 104 than the stereoscopic image J in the depth direction with respect to the display unit 104.
  • the control unit 106 can also display the related image L to be auxiliary displayed at a position on the display unit 104 in the depth direction with respect to the display unit 104.
  • the related image L to be auxiliary displayed can be emphasized by stereoscopically displaying the related image L at a display position different from the display position of the stereoscopic image J.
  • the binocular rivalry of the user can be suppressed.
  • the control unit 106 displays the related image L to be auxiliary displayed in the depth direction with respect to the display unit 104 at a position farther from the display unit 104 than the stereoscopic image J and the display unit than the stereoscopic image J.
  • the position close to 104 can be displayed so as to dynamically change with time (for each frame).
  • the stereoscopic image L to be auxiliary displayed can be emphasized by changing the depth distance between the stereoscopic image J and the stereoscopic image L to be auxiliary displayed.
  • control unit 106 determines that the stereoscopic image is included in the shielding area, the control unit 106 can also display an enlarged image of the stereoscopic image so as not to be shielded by the shielding object as a related image.
  • the control unit 106 performs an operation according to the operation determined by the operation determination unit 103. For example, an image displayed on the display unit 104 is controlled in accordance with the input operation gesture.
  • FIG. 12 is a flowchart illustrating an operation example in which the display device 100 performs auxiliary display of a related image.
  • the control unit 106 reads out the display image stored in the display image storage unit 105, generates a parallax image, and causes the display unit 104 to display the parallax image.
  • the imaging unit 101 shoots the display direction in which the display unit 104 is displayed (for example, the direction in which the user is standing from the display unit 104) and generates a captured image.
  • the detection unit 102 detects a shielding object from the captured image generated by the imaging unit 101 (step S1)
  • the control unit 106 determines a stereoscopic image shielding area by the shielding object (step S2).
  • the control unit 106 determines at least one of the display state and the shielding state of the stereoscopic image, and causes the related image to be auxiliary displayed in the area of the display unit 104 that is not shielded by the shielding object (step S3). If the detection unit 102 determines that the shielding object is not detected, the control unit 106 hides the auxiliary display of the related image.
  • a related image is auxiliary displayed in an unshielded area in the image displayed by the display unit 104.
  • the user can confirm what the shielded stereoscopic image is by visually recognizing the auxiliary displayed related image.
  • the auxiliary-displayed related image is not shielded by the shielding object, the user can visually recognize it from both eyes, without causing a sense of incongruity such as a binocular rivalry, and to reduce eye fatigue. it can.
  • a digital photo frame, a digital signage, a home television, or the like can be applied to the three-dimensional display that is the display device 100 in the present embodiment.
  • a smartphone capable of three-dimensional display may be applied.
  • the part touched by the touch panel can be determined as the shielding area.
  • the shielding area can be similarly determined even in a non-contact state.
  • the operation determination unit 103 performs control so that a stereoscopic image is displayed when a finger touches (tap) a stereoscopic image that is an operator, and the operator is selected when pressed. Can do.
  • control is performed so that the stereoscopic image is close to the finger position, and when the stereoscopic image is blocked by the finger, auxiliary display of the related image is performed, and operation is performed when pressed.
  • the child can be controlled as selected.
  • control unit 106 can dynamically change the display position of the related image to be auxiliary displayed on the XY axis plane.
  • the related image is displayed in an area adjacent to the stereoscopic image in the X-axis direction or the Y-axis direction.
  • the display can be made visible to the user by changing in the Z-axis direction according to the angle between the user's eye position, the shield, and the display unit, the display position is changed in the Z-axis direction. May be.
  • control unit 106 determines at least one of the display state and the shielding state of the stereoscopic image, determines the shielding area of the stereoscopic image shielded by the shielding object, and performs auxiliary display based on the ratio of the shielding area to the stereoscopic image.
  • a related image may be displayed. For example, the related image may be displayed larger if the ratio of the shielding area to the stereoscopic image is large, and the related image may be displayed small to the extent that the related image is not shielded if the ratio of the shielding area to the stereoscopic image is small.
  • the following example can be considered as another method for displaying related images.
  • the control unit 106 determines at least one of the display state and the shielding state of the shielded stereoscopic image, and the position where the stereoscopic image is displayed before being shielded
  • a related image in which a three-dimensional image moves to a region that is not shielded by a shielding object is displayed as a shift display can be considered.
  • an icon M1 indicates a stereoscopic image displayed before being shielded
  • an icon M2 indicates a related image displayed by shifting the icon M1
  • a shift amount SF is an icon M1.
  • the position of the icon M1 is shifted from the position of the icon to the position of the icon M2, and the shifted distance is indicated.
  • the control unit 106 determines at least one of the shielded stereoscopic image display state and the shielded state, and the icon M1 (stereoscopic image) before being shielded.
  • the icon M2 (related image) is displayed as a shift display at the position of the icon M2 (related image) obtained by moving the icon M1 (stereoscopic image) by the shift amount SF from the position where the) is displayed.
  • FIG. 13A shows an example in which the icon M2 is displayed in a shifted manner such that the icon M1 is shifted in the vertical direction.
  • the shift display direction of the icon M2 is not limited to the vertical direction, and may be any direction including a parallel direction with respect to the icon M1, as illustrated in FIGS. 13B and 13C. .
  • FIG. 13 shows an example in which the display of the icon M1 is erased and the icon M2, which is a related image, is shifted and displayed.
  • the icon M2, which is a related image may be shifted and displayed while the icon M1 remains displayed.
  • the stereoscopic image when the stereoscopic image is shielded by the shielding object, the stereoscopic image is moved from the position where the stereoscopic image was displayed before being shielded to the area not shielded by the shielding object.
  • Such a related image is displayed as a shift display.
  • the user can confirm more clearly what the shielded stereoscopic image is by visually recognizing the auxiliary-displayed related image.
  • the content of the stereoscopic image can be made conspicuous so that the user can easily recognize it.
  • the user can visually recognize the related image from both eyes, and does not cause a sense of incongruity such as a binocular rivalry, thereby reducing eye fatigue. be able to.
  • the control unit 106 determines at least one of the display state and the shielding state of the shielded stereoscopic image, and is shielded so that the area of the stereoscopic image shielded by the shielding object is relatively small.
  • a related image obtained by enlarging a stereoscopic image is displayed as an enlarged display is conceivable.
  • an icon N1 indicates a stereoscopic image that has been displayed before being shielded
  • an icon N2 indicates a related image that is displayed by enlarging the icon N1
  • an enlargement amount EL is the icon N1 up to the icon N2.
  • the amount of expansion is shown.
  • the control unit 106 determines at least one of the display state and the shield state of the shielded stereoscopic image, and the icon N1 (three-dimensional) before being shielded.
  • the icon N2 displaying the enlarged image is displayed as a related image.
  • FIG. 14 shows an example in which the icon N1 is turned off and the icon N2 that is a related image is enlarged and displayed.
  • the icon N2 which is a related image, may be enlarged and displayed while the icon N1 remains displayed.
  • the shielded stereoscopic image is reduced so that the area of the stereoscopic image shielded by the shielding object is relatively reduced.
  • the enlarged related image is displayed as an enlarged display.
  • the related image displayed in an enlarged manner is not shielded by the shielding object, the user can visually recognize the related image from both eyes, and does not cause a sense of incongruity such as binocular rivalry, thereby reducing eye fatigue. be able to.
  • the binocular rivalry is less likely to occur as there are fewer areas where the object that the user looks at is shielded by the shield. Therefore, as in the example shown in FIG. 14, by displaying the related image obtained by enlarging the shielded stereoscopic image, the area shielded by the shielding object in the area of the entire stereoscopic image is relatively small. Thus, the occurrence of binocular rivalry can be suppressed.
  • the control unit 106 determines at least one of the display state and the shielding state of the shielded stereoscopic image, and the density and distribution of the texture around the stereoscopic image that is the object to be pointed.
  • An example in which the related image to be auxiliary displayed is displayed at a position further away from the three-dimensional image as the value of. More specifically, for example, when a stereoscopic image shielded by a shielding object is a document having a large texture density or distribution, a user's visual field struggle to look at the shielded stereoscopic image is likely to occur. . Therefore, an example is conceivable in which the control unit 106 selects or changes the display method of the related image to be auxiliary displayed according to the texture density or distribution size around the shielded stereoscopic image, and displays the related image. .
  • icon Q1 indicates a shielded stereoscopic image
  • icon Q2 indicates a related image displayed by combining icon Q1 with a pop-up display and an enlarged display.
  • a document or the like having a large texture density and distribution is displayed.
  • the control unit 106 displays the shielded icon Q1 ( 3D image) is displayed in a pop-up and enlarged manner, and icon Q2 is displayed as a related image.
  • FIG. 15 as an example in which the related image to be auxiliary displayed is displayed at a position farther from the stereoscopic image as the density and distribution of the texture around the stereoscopic image that is the object to be pointed is increased, a pop-up display and an enlarged display are displayed.
  • the combined display method is shown.
  • the stereoscopic image when the stereoscopic image is shielded by the shielding object, the larger the density or distribution of the texture around the stereoscopic image that is the object to be pointed is, the farther the position from the stereoscopic image is.
  • To display the related image Thereby, the user can confirm more clearly what the shielded stereoscopic image is by visually recognizing the auxiliary-displayed related image. Further, by popping up and enlarging the related image of the shielded stereoscopic image, it is possible to make the content of the stereoscopic image stand out so that the user can easily recognize it.
  • the displayed related image since the displayed related image is not shielded by the shielding object, the user can visually recognize the related image from both eyes, and does not cause a sense of incongruity such as a binocular rivalry, thereby reducing eye fatigue. Can do.
  • an enlarged related image is displayed at a position away from an area where a binocular rivalry is likely to occur by using an auxiliary display that combines a pop-up display and an enlarged display. . Therefore, it is possible to more effectively suppress the binocular rivalry.
  • the related image may be displayed using only pop-up display or shift display.
  • the control unit 106 determines at least one of the display state and the shielding state of the shielded stereoscopic image, and the stereoscopic image that is the object to be pointed to and the shielding object (for example, a finger)
  • the shielding object for example, a finger
  • a related image is auxiliary displayed according to a relative size difference with respect to () is conceivable. More specifically, for example, the region of the stereoscopic image hidden by the finger is different between the case where the shielding object that shields the same stereoscopic image is a child's finger and the case where the shielding object is an adult finger.
  • the control unit 106 selects or changes the display method of the related image to be auxiliary displayed, and displays the related image. Conceivable.
  • an icon Q1 indicates a stereoscopic image displayed before being shielded
  • an icon Q2 indicates a related image displayed by shifting the icon Q1.
  • a document or the like having a large texture density and distribution is displayed.
  • the control unit 106 displays the icon before being shielded.
  • Q1 (stereoscopic image) is shifted and enlarged and the icon Q2 is displayed as a related image.
  • FIG. 16 an example in which a related image to be auxiliary displayed is displayed at a position away from the stereoscopic image as the relative size difference between the stereoscopic image that is the object to be pointed and the shielding object (for example, a finger) is small.
  • a display method combining shift display and enlarged display is shown.
  • the stereoscopic image when the stereoscopic image is shielded by the shielding object, the stereoscopic image is separated from the shielding object according to the relative size difference between the stereoscopic image that is the object to be pointed and the shielding object.
  • the related image is displayed at the selected position. Thereby, the user can confirm more clearly what the shielded stereoscopic image is by visually recognizing the auxiliary-displayed related image.
  • by shifting and enlarging the related image of the shielded stereoscopic image it is possible to make the content of the stereoscopic image stand out so that the user can easily recognize it.
  • the displayed related image since the displayed related image is not shielded by the shielding object, the user can visually recognize the related image from both eyes, and does not cause a sense of incongruity such as a binocular rivalry, thereby reducing eye fatigue. Can do.
  • a binocular rivalry when the relative size difference between the stereoscopic image and the shielding object (for example, a finger) is small and the majority of the stereoscopic image is hidden by the shielding object, a binocular rivalry further occurs. It becomes easy. In the example of the display method illustrated in FIG. 16, an enlarged related image is displayed at a position away from an area where a binocular rivalry is likely to occur by using an auxiliary display that combines a shift display and an enlarged display. . Therefore, the binocular rivalry can be more effectively suppressed.
  • the related image may be displayed using only pop-up display or shift display.
  • the control unit 106 determines at least one of the display state and the shielding state of the shielded stereoscopic image, and the stereoscopic image that is the object to be pointed to and the shielding object (for example, a finger)
  • the control unit 106 displays a related image in an auxiliary manner in accordance with the relative positional relationship with (). More specifically, for example, according to the part of the stereoscopic image shielded by the shielding object, the control unit 106 selects or changes the display position and display method of the related image to be auxiliary displayed, and displays the related image. Examples are possible.
  • an icon M1 indicates a stereoscopic image that is displayed before being shielded
  • an icon M2 indicates a related image that is displayed by shifting the icon M1
  • a shift amount SF is an icon M1.
  • the position of the icon M1 is shifted from the position of the icon to the position of the icon M2, and the shifted distance is indicated.
  • FIG. 17A as an example in which a related image is displayed according to the relative positional relationship between a stereoscopic image that is an object to be pointed and a shielding object (for example, a finger),
  • the control unit 106 shows a display method in which the stereoscopic image is displayed by shifting the display in the upper left direction of the shielded stereoscopic image.
  • the icon M1 indicates a shielded stereoscopic image
  • the icon M2 indicates a related image displayed by popping up the icon M1.
  • FIG. 17B as another example of displaying a related image in accordance with a relative positional relationship between a stereoscopic image that is an object to be pointed and a shielding object (for example, a finger), a lower right portion of the stereoscopic image is displayed. Shows a display method in which the control unit 106 pops up and displays a stereoscopic image in the upper right direction of the shielded stereoscopic image.
  • the related image is displayed according to the relative positional relationship between the blocked stereoscopic image and the shielding object.
  • the user can confirm more clearly what the shielded stereoscopic image is by visually recognizing the auxiliary-displayed related image.
  • auxiliary display of the related image of the shielded stereoscopic image can make the content of the stereoscopic image stand out so that the user can easily recognize it.
  • the user since the displayed related image is not shielded by the shielding object, the user can visually recognize the related image from both eyes, and does not cause a sense of incongruity such as a binocular rivalry, thereby reducing eye fatigue. Can do.
  • the direction in which the related image according to the relative positional relationship between the three-dimensional image to be shielded and the shielding object shown in FIG. 17 is displayed is not limited to the above example, and the arbitrary image in which the related image to be displayed is not shielded. May be the direction.
  • the control unit 106 displays the blocked stereoscopic image display state and shielding.
  • a shielding object for example, a finger
  • the control unit 106 displays the blocked stereoscopic image display state and shielding.
  • the stereoscopic image is first displayed in a shifted manner, and the display method is changed and the related image is auxiliary displayed when the state in which the shielding object shields the stereoscopic image is maintained for a certain period of time or longer.
  • the control unit 106 displays the related image by changing the display method of the related image to be auxiliary displayed according to the length of the elapsed time during which the stereoscopic image is continuously shielded by the shielding object.
  • the icon M1 indicates a shielded stereoscopic image
  • the icon M2 indicates a related image displayed by shifting the icon M1
  • the shift amount SF is determined from the position of the icon M1.
  • the icon M1 is shifted to the position and the shifted distance is indicated.
  • FIG. 18 (a) when the stereoscopic image that is the object to be pointed is continuously shielded by the shield (for example, a finger) for a time shorter than the predetermined time T1 from the shield start time, A control method is shown in which the control unit 106 shifts and displays the shielded stereoscopic image.
  • the shield for example, a finger
  • the icon M1 indicates a three-dimensional image that is continuously shielded by the shield from the situation of FIG. 18A, and the icon M2 indicates a related image displayed by popping up the icon M1. ing.
  • FIG. 18B when the stereoscopic image that is the object to be pointed by is continuously shielded by the shielding object (for example, a finger) for a time longer than the predetermined time T1 from the shielding start time point.
  • the shielding object for example, a finger
  • the related image display method for auxiliary display according to the length of the elapsed time in which the stereoscopic image is continuously shielded by the shielding object.
  • the user can confirm more clearly what the shielded stereoscopic image is by visually recognizing the auxiliary-displayed related image.
  • auxiliary display of the related image of the shielded stereoscopic image can make the content of the stereoscopic image stand out so that the user can easily recognize it.
  • the user can visually recognize the related image from both eyes, and does not cause a sense of incongruity such as a binocular rivalry, thereby reducing eye fatigue. Can do.
  • FIG. 18 shows an example in which the related image shifts from the shift display to the pop-up display when the stereoscopic image is continuously shielded for a longer time than the predetermined time T1.
  • the display method of the related image is not limited to the above.
  • the related image may be displayed using another display method such as shifting from the pop-up display to the shift display.
  • the control unit 106 determines at least one of the display state and the shielding state of the shielded stereoscopic image, and the stereoscopic image that is the object to be pointed is displayed to the user by the shielding object (for example, An example in which the related image is auxiliary displayed according to the time from the start of the instruction instructed by the finger or the like to the pointing of the actual stereoscopic image is conceivable. That is, the control unit 106 changes the display method of the related image to be auxiliary displayed according to the length of the elapsed time from when the stereoscopic image starts to be indicated by the shielding object until the stereoscopic image is actually pointed.
  • An example of displaying an image is conceivable.
  • the control unit 106 pops up the stereoscopic image.
  • a display method of related images to be displayed will be described.
  • FIG. 19 is a diagram illustrating the relationship of the depth distance D1 between the display device 100 that displays the stereoscopic image J1, the hand K1 that is a shielding object, and the related image L1 that is auxiliary displayed.
  • the depth distance D1 is a distance in the depth direction in the Z-axis direction.
  • the depth distance D1 is an instruction start position for the detection unit 102 to determine whether or not the shield K1 has started an instruction. As illustrated in FIG. 19A, the detection unit 102 determines that the user has started instructing the stereoscopic image J1 when the shielding object K1 is present at a position closer to the display device 100 than the depth distance D1.
  • the detection unit 102 determines the instruction start by the shielding object K1. Then, as shown in FIG. 19B, the control unit 106 actually sets the depth of the stereoscopic image J1 with the shielding object K1 from the time when the detection unit 102 determines that the user has started the instruction of the stereoscopic image J1. The elapsed time T2 taken until the pointing at the position of the distance D′ 1 is measured. When the elapsed time T2 is longer than the predetermined time, the control unit 106 displays the related image L1 as a pop-up display.
  • the control unit 106 displays the related image L1 as Auxiliary display is performed as a shift display (not shown).
  • the stereoscopic image when the stereoscopic image is shielded by the shielding object, it depends on the elapsed time from when the stereoscopic image starts to be indicated by the shielding object until the stereoscopic image is actually pointed. Then, the display method of the related image to be auxiliary displayed is changed to display the related image. Thereby, the user can confirm more clearly what the shielded stereoscopic image is by visually recognizing the auxiliary-displayed related image. Further, the related image of the three-dimensional image that has been shielded can be displayed in an auxiliary manner so that the user can easily recognize it. Furthermore, since the displayed related image is not shielded by the shielding object, the user can visually recognize the related image from both eyes, and does not cause a sense of incongruity such as a binocular rivalry, thereby reducing eye fatigue. Can do.
  • the control unit 106 determines at least one of the display state and the shielding state of the shielded stereoscopic image, and displays the stereoscopic image that is the object to be pointed and the periphery of the stereoscopic image.
  • a display position of a related image to be auxiliary displayed is selected and displayed according to a positional relationship with a display object different from the stereoscopic image being displayed can be considered.
  • auxiliary display of a related image at a distant position interference with another icon can be prevented and visibility can be further improved.
  • a display method in which the control unit 106 displays a related image in a pop-up manner when another display object (icon) is displayed around a three-dimensional image to be shielded will be described with reference to FIG.
  • the icon M1 indicates a shielded stereoscopic image
  • the icon M2 indicates a related image displayed by popping up the icon M1.
  • an icon different from the shielded icon M1, such as the icon M3, is displayed around the icon M1.
  • the control unit 106 displays the icon M2 in which the shielded icon M1 (stereoscopic image) is pop-up displayed as a related image. . At that time, the control unit 106 pops up the icon M2 at a position that does not interfere with the icon M3 in consideration of the position where the icon M3 is displayed.
  • the related image M2 to be auxiliary displayed is the reverse of the position where the other icon M3 is displayed.
  • a display method using pop-up display is shown as an example of displaying in the direction position.
  • the display method of the related image to be auxiliary displayed is not limited to the pop-up display, and the control unit 106 prevents the related image to be auxiliary displayed from interfering with the surrounding display object according to the screen display situation around the three-dimensional image to be shielded. It is possible to display a related image by determining an appropriate display method.
  • the stereoscopic image that is the object to be pointed to is different from the stereoscopic image that is displayed around the stereoscopic image.
  • the display method of the related image to be auxiliary displayed is changed according to the positional relationship with the object to display the related image.
  • the user can confirm more clearly what the shielded stereoscopic image is by visually recognizing the auxiliary-displayed related image.
  • auxiliary display of the related image of the shielded stereoscopic image can make the content of the stereoscopic image stand out so that the user can easily recognize it.
  • the control unit 106 displays the blocked stereoscopic image.
  • a shielding object for example, a finger
  • the control unit 106 displays the blocked stereoscopic image.
  • the auxiliary display is displayed with the same amount of parallax as the stereoscopic image, and then the related image is displayed while continuously changing the amount of parallax to a predetermined display parallax. Conceivable. As an example, referring to FIG. 21
  • the control unit 106 displays a pop-up display with the same parallax amount as that of the stereoscopic image, the parallax amount is continuously changed to a predetermined display parallax after the pop-up display is displayed.
  • FIG. 21 is a diagram showing the relationship of the depth distance D2 between the display device 100 that displays the stereoscopic image J2, the hand K2 that is a shielding object, and the related image L2 that is auxiliary displayed.
  • the depth distance D2 is a distance in the depth direction from the display device 100 in the Z-axis direction to a position where the stereoscopic image J2 is displayed.
  • the related image L3 displayed by continuously changing the parallax amount from the related image L2 to a predetermined display parallax is displayed at the position of the depth distance D3.
  • the control unit 106 pops up the related image L2 at the depth distance D2 with the same amount of parallax as the stereoscopic image J2. Subsequently, the control unit 106 continuously changes the parallax amount of the related image L2 pop-up displayed at the position of the depth distance D2 to the predetermined display parallax, and changes the parallax amount to the position of the depth distance D3. Is displayed as a pop-up display.
  • control unit 106 continuously reduces the parallax amount of the related image of the stereoscopic image shielded by the shielding object from the same parallax amount as the stereoscopic image to a predetermined display parallax so that it appears to the user.
  • the related image is displayed while changing to.
  • the direction in which the parallax amount of the related image L2 that is pop-up displayed at the position of the depth distance D2 is continuously changed is not limited to the direction of moving away from the display device 100 like the position of the depth distance D3.
  • a display method that displays the related image by continuously changing the parallax amount of the related image L2 in a direction approaching the apparatus 100 may be employed.
  • the related image is displayed in a pop-up manner.
  • the related image displayed while continuously changing the parallax may be displayed using another display method such as shift display. Good.
  • the auxiliary display when a stereoscopic image is blocked by a shielding object, the auxiliary display is displayed with the same parallax amount as that of the stereoscopic image, and then the parallax amount is continuously increased to a predetermined display parallax.
  • the related image is displayed while changing it.
  • the user can confirm more clearly what the shielded stereoscopic image is by visually recognizing the auxiliary-displayed related image.
  • auxiliary display of the related image of the shielded stereoscopic image can make the content of the stereoscopic image stand out so that the user can easily recognize it.
  • the displayed related image since the displayed related image is not shielded by the shielding object, the user can visually recognize the related image from both eyes, and does not cause a sense of incongruity such as a binocular rivalry, thereby reducing eye fatigue. Can do.
  • the related image is auxiliary displayed with a parallax amount different from the stereoscopic image to be shielded
  • a related image having a parallax amount different from the parallax amount of the stereoscopic image is instantaneously displayed around the stereoscopic image
  • the stereoscopic image is changed to the related image.
  • the user's parallax cannot be followed, and there is a possibility that the user will not be able to visually recognize the related image that is auxiliary displayed. For this reason, as in the above display method, by continuously changing the parallax amount of the stereoscopic image to the parallax amount of the predetermined related image, the user can more easily visually recognize the related image to be auxiliary displayed. be able to.
  • the control unit 106 displays the shielding state of the stereoscopic image and the shielding.
  • a shielding object for example, a finger
  • the control unit 106 displays the shielding state of the stereoscopic image and the shielding.
  • At least one of the states is determined, and the display objects around the auxiliary-displayed related image are tricked and displayed. More specifically, for example, an example in which a related image is displayed conspicuously by thinning the display of surrounding display objects other than a portion (related image) to be made conspicuous in three-dimensional display can be considered.
  • a display method of changing the ⁇ value (transparency) of the display can be considered.
  • FIG. 22 is a display in which the control unit 106 displays the related image Q2 to be auxiliary displayed at a position farther from the stereoscopic image Q1 as the texture density and distribution around the stereoscopic image Q1 is larger, as in FIG. The example displayed by the method is shown. Furthermore, in FIG. 22, the control unit 106 displays the auxiliary display related image Q2 conspicuously by dimming the display of the display object around the shielded stereoscopic image Q1.
  • the stereoscopic image when the stereoscopic image is shielded by the shielding object, the stereoscopic image is enlarged, and the related image is popped up and displayed at a position away from the shielding object. Display the display objects displayed in the surrounding area in a lighter manner. Thereby, the user can confirm more clearly what the shielded stereoscopic image is by visually recognizing the auxiliary-displayed related image. Further, the related image of the three-dimensional image that has been shielded can be displayed in an auxiliary manner so that the user can easily recognize it.
  • the user can visually recognize the related image from both eyes, and does not cause a sense of incongruity such as a binocular rivalry, thereby reducing eye fatigue. Can do.
  • the display object around the shielded stereoscopic image is displayed lightly (has been displayed), the binocular rivalry of the user that occurs at the boundary between the shield and the surrounding display object is more effectively suppressed. be able to.
  • the method of displaying the surrounding display object on the screen of the shielded stereoscopic image is not limited to the display method for thinning the display of the surrounding display object shown in FIG.
  • the auxiliary display related image may be displayed conspicuously.
  • the ratio of the contrast value and the ⁇ value ratio between the auxiliary displayed related image and the surrounding display object may be changed to display the auxiliary displayed related image conspicuously.
  • a user's binocular rivalry is generally more likely to occur as the difference between the right eye image given to the user's right eye and the left eye image given to the left eye increases. For example, if the user's right eye image and left eye image have a high matching degree (matching degree), a binocular rivalry is unlikely to occur. On the other hand, if the matching degree (matching degree) between the right eye image and the left eye image of the user is low, a binocular rivalry is likely to occur. That is, the greater the difference between the user's right eye image and left eye image, the more likely the binocular rivalry will occur.
  • the control unit 106 is given to the right eye image and the left eye given to the right eye of the user.
  • a shielding object for example, a finger
  • the control unit 106 is given to the right eye image and the left eye given to the right eye of the user.
  • a difference from the left eye image is determined, and a display method of a related image to be auxiliary displayed is selected or changed according to the size of the difference is conceivable. That is, an example in which the auxiliary image display method is changed according to the matching degree (matching degree) between the right eye image and the left eye image of the user who is staring at the stereoscopic image shielded by the shielding object can be considered.
  • the binocular rivalry of the user occurs according to the matching degree (matching degree) between the right eye image and the left eye image of the user looking at the stereoscopic image shielded by the shielding object.
  • Matching degree matching degree
  • the user can confirm more clearly what the shielded stereoscopic image is by visually recognizing the auxiliary-displayed related image.
  • auxiliary display of the related image of the shielded stereoscopic image can make the content of the stereoscopic image stand out so that the user can easily recognize it.
  • the user can visually recognize the related image from both eyes, and does not cause a sense of incongruity such as a binocular rivalry, thereby reducing eye fatigue. Can do. Further, since the display method can be selected or changed according to the likelihood of the binocular rivalry of the user, the related image can be displayed by a more appropriate display method.
  • FIG. 23 is an example of an icon M2 that is a related image displayed by popping up an icon M1 that is a stereoscopic image when the stereoscopic image is blocked by the shielding object.
  • the control unit 106 may display the marker V1 at the center of the icon M2 as shown in FIG.
  • FIG. 23A shows an example in which a cross is displayed at the center of the icon M2 as an example of the marker V1.
  • FIG. 23B is an example of an icon M2 that is a related image displayed by shifting and displaying the icon M1 that is a stereoscopic image when the stereoscopic image is blocked by the shielding object.
  • the control unit 106 may display the marker V2 at the center of the icon M2 as shown in FIG. .
  • FIG. 23B shows an example in which the outline of a shielding object (such as a finger) is displayed translucently on the icon M2 as an example of the marker V2.
  • the keyboard KB1 is displayed as a three-dimensional image that is the object to be pointed, and the user's finger that performs the operation of hitting the key on the keyboard KB1 is used as a shield, and is blocked by the user's finger. It is also possible to display the keyboard KB2, which is a related image corresponding to the keyboard. At this time, the controller 106 may display the marker W on the auxiliary keyboard KB2 as shown in FIG. In FIG. 24, as an example of the marker W, an example in which the outline of the shielding object (such as a finger) is displayed on the related image KB2 in a translucent manner is shown.
  • Displaying the markers as shown in FIGS. 23 to 24 on the displayed related image makes it easier for the user to grasp the stereoscopic image that the user is shielding with the shielding object. That is, it becomes easier for the user to grasp the stereoscopic image that he or she has selected or instructed with the shield. Therefore, when a related image is displayed around the shielded stereoscopic image by pop-up display or shift display, the user can easily recognize the stereoscopic image designated by the user in association with the displayed related image. Therefore, the user can easily understand the situation in which the stereoscopic image designated by the user is displayed as a related image, thereby preventing the user from being confused or confused when a related image such as a pop-up display or a shift display is displayed. it can.
  • a part of the related image auxiliary displayed in the area adjacent to the stereoscopic image overlaps the shielded stereoscopic image. It may be displayed in a state.
  • a part of the related image that is auxiliary displayed in the area adjacent to the stereoscopic image may be displayed in a state of being overlapped with the shielding object that is blocking the stereoscopic image. That is, all the related images that are auxiliary displayed may not be displayed in a region that does not overlap the shielded stereoscopic image.
  • all of the related images that are auxiliary displayed may not be displayed in an area that is not shielded by the shielding object.
  • the related image display method in any of the above-described embodiments is merely an example of a display method. All the related image display methods described above can be used in combination to display the related images.
  • a program for realizing the function of the processing unit in the present invention is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read by a computer system and executed to perform display control.
  • the “computer system” includes an OS and hardware such as peripheral devices.
  • the “computer system” includes a WWW system having a homepage providing environment (or display environment).
  • the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system.
  • the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.
  • RAM volatile memory
  • the program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the program may be for realizing a part of the functions described above. Furthermore, what can implement

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Position Input By Displaying (AREA)

Abstract

　表示装置は、両眼視差に基づく立体像が含まれる画像を表示する表示部と、立体像を遮蔽する遮蔽物を検出する検出部と、検出部による検出結果に基づいて、前記遮蔽物による立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、この判定結果に基づいて立体像に関連する関連像の表示を制御する制御部と、を備える。

Description

表示装置、表示制御プログラム
　本発明は、表示装置、表示制御プログラムに関する。
　本願は、２０１１年１１月２１日に出願された日本国特願２０１１－２５３８０５号に基づき優先権を主張し、その内容をここに援用する。
　左右の眼に異なる画像を見せることで、ユーザに立体像を見せる三次元ディスプレイが存在する。特許文献１には、シャッタ式眼鏡を用いて映像を視聴する際、手によって映像が遮蔽されるとシャッタ式眼鏡の片側のシャッタを閉じ、片眼にのみ映像が届くようにして二重像の発生を防ぐことが記載されている。
日本国特開２０１１－９０６１１号公報
　しかしながら、三次元ディスプレイが、例えばユーザの操作ジェスチャーによる入力を受け付ける操作子を立体像として表示する場合、指等により操作子を押下しようとすれば、指等により操作子が遮蔽され視認できなくなってしまう。
　本発明の態様は、遮蔽物により遮蔽される立体像を確認できるように表示する表示装置、表示制御プログラムを提供する。
　本発明の態様は、両眼視差に基づく立体像が含まれる画像を表示する表示部と、立体像を遮蔽する遮蔽物を検出する検出部と、検出部による検出結果に基づいて、遮蔽物による立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、この判定結果に基づいて立体像に関連する関連像の表示を制御する制御部と、を備えることを特徴とする表示装置である。
　また、本発明の態様は、表示装置のコンピュータに、両眼視差に基づく立体像が含まれる画像を表示するステップと、立体像を遮蔽する遮蔽物を検出するステップと、検出結果に基づいて、遮蔽物による立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、この判定結果に基づいて立体像に関連する関連像の表示を制御するステップと、を実行させる表示制御プログラムである。
　本発明の態様によれば、遮蔽物により遮蔽される立体像を確認できるように表示することができる。
本発明の一実施形態による表示装置の構成例を示すブロック図である。 本発明の一実施形態による表示装置の外観を示す図である。 本発明の一実施形態による表示装置とユーザとの位置関係を示す図である。 本発明の一実施形態による表示装置とユーザとの位置関係を示す図である。 本発明の一実施形態による表示部が表示する立体像の概要を示す図である。 本発明の一実施形態による表示部が表示する画面の例を示す図である。 本発明の一実施形態による表示部が関連像を補助表示する画面の例を示す図である。 本発明の一実施形態による立体像と、遮蔽物と、補助表示する関連像との関係を示す図である。 本発明の一実施形態による立体像と、遮蔽物と、補助表示する関連像との関係を示す図である。 本発明の一実施形態による立体像と、遮蔽物と、補助表示する関連像との関係を示す図である。 本発明の一実施形態による立体像と、遮蔽物と、補助表示する関連像との関係を示す図である。 本発明の一実施形態による表示装置の動作例を示すフローチャートである。 本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。 本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。 本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。 本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。 本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。 本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。 本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。 本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。 本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。 本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。 本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。 本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。
　以下、本発明の一実施形態について、図面を参照して説明する。
　図１は、本実施形態による表示装置１００の構成を示すブロック図である。表示装置１００は、撮影部１０１と、検出部１０２と、操作判定部１０３と、表示部１０４と、表示画像記憶部１０５と、制御部１０６とを備えている。
　図２は、表示装置１００の外観を示す図である。表示装置１００は、表示部１０４の表示面に視差画像を表示し、ユーザＡの左右の眼に両眼視差のある画像を見せることで、ユーザＡに立体像Ｂを見せる三次元ディスプレイである。表示装置１００は、裸眼式と眼鏡式とのいずれの方式により三次元表示を行うものでもよいが、本実施形態では裸眼式による例を説明する。また、表示装置１００は、ＬＣＤ（Liquid Crystal Display）、プラズマ、有機ＥＬ（Electro Luminescence）等のいずれのディスプレイ表示原理を適用するものでもよい。また、表示装置１００は、前面上部にユーザＡを撮影する撮影部１０１を備えている。ただし、撮影部１０１は、前面上部でなくとも、画面の表示方向を撮像できる位置に備えられていればよい。本実施形態においては、表示装置１００の表示部１０４に対して平行（水平）方向をＸ軸方向、垂直方向をＹ軸方向、奥行き方向をＺ軸方向として説明する。
　図１に戻り、撮影部１０１は、表示部１０４による表示方向における所定領域を撮影して撮影画像を生成するカメラである。ここで、所定領域とは、表示部１０４によって表示される立体像をユーザが視認する際に、物体が存在すれば立体像を遮蔽することとなる空間領域を含む領域である。撮影部１０１は、動画を撮影してもよいし、一定時間毎に静止画を撮影してもよい。また、撮影部１０１は、ひとつのカメラでもよいし、複数のカメラでもよい。また、撮影部１０１は、チルト式のカメラでもよいし、魚眼式のカメラでもよい。
　検出部１０２は、表示部１０４によって表示される立体像を遮蔽する遮蔽物を検出する。例えば、検出部１０２は、撮影部１０１が撮影した撮影画像に基づいて、表示部１０４の表示方向における所定領域の遮蔽物の位置とユーザの目線位置とを検出する。例えば、検出部１０２は、撮影部１０１が撮影した撮影画像を解析し、撮影画像に含まれる動体を検出する。検出部１０２は、撮影部１０１が撮影した動画のフレーム毎の差分領域を抽出し、差分が生じている領域に動体が存在すると判定することができる。例えば、検出部１０２は、図３（ａ）に示すように、撮影部１０１による撮影画像から、表示装置１００の表示方向に存在するユーザＡを検出する。このとき、表示装置１００の撮影部１０１には、例えば図３（ｂ）に示すような撮影画像が撮影される。
　さらに、検出部１０２は、表示部１０４に対する奥行き方向（Ｚ軸方向）における遮蔽物の位置と、表示部１０４の表示面に対する平行方向（Ｘ軸方向）における遮蔽物の位置と、遮蔽物の大きさと、遮蔽物の形状とのうち、少なくとも１つの特徴量を検出する。検出部１０２は、顔検出アルゴリズムや手領域検出アルゴリズム等を用いて、撮影画像に含まれるユーザＡの顔領域や、遮蔽物である手の領域を検出し、三次元空間における、顔の位置や手の位置、顔や手の大きさ、顔や手の形状を検出する。ここで、検出部１０２は、撮影画像からユーザＡの顔領域が検出できない場合、ユーザＡの胴体または腕の位置を検出し、ユーザＡの顔の推定位置を算出することもできる。また、検出部１０２は、このように検出したユーザＡの顔の位置から、ユーザＡの目線位置を検出することもできる。
　ここで、立体像を裸眼式により表示させる場合、図４に示すように、立体像が観察可能なユーザＡの目線位置の領域は限定される。すなわち、このような観察可能領域Ｒの位置は既知であり、ユーザＡの目線位置は予め定められる。そこで、このような観察可能領域の位置を、ユーザＡの目線位置として予め表示装置１００の記憶領域に記憶しておくようにしてもよい。
　操作判定部１０３は、検出部１０２が検出した動体の動きに応じて、表示装置１００に対する操作を判定する。すなわち、操作判定部１０３は、ユーザＡの動作による操作ジェスチャーの入力を受け付ける。例えば、操作判定部１０３は、検出部１０２が検出した遮蔽物の位置に操作子の立体像が表示されていれば、その操作子が押下されたものと判定する。
　表示部１０４は、表示する画像の視差量を変化させて両眼視差に基づく立体像を表示する。図５は、表示部１０４が表示する立体像の概要を示す図である。ユーザＡの位置から表示装置１００の表示部１０４を視認するとき、ユーザＡの右眼に与える右眼像をＰ１の位置に、ユーザＡの左眼に与える左眼像をＰ２の位置に表示させることで、奥行き方向におけるＰ３の表示位置に、両眼視差に基づく立体像を飛び出し表示させることができる。
　図６は、表示部１０４が表示する画面の例を示す図である。図６（ａ）は、複数のアイコン（例えば、Ｇ等）が表示されている例である。表示部１０４は、それぞれのアイコンＧを立体像として表示させることができる。図６（ｂ）は、複数の操作子（例えば、Ｈ等）が表示されている例である。表示部１０４は、それぞれの操作子Ｈを立体像として表示させることができる。
　図１に戻り、表示画像記憶部１０５には、表示部１０４に表示させる表示画像が記憶される。表示画像は、表示画像記憶部１０５に予め記憶されていてもよいし、無線または有線のネットワークを介して外部から受信して記憶されるようにしてもよい。
　制御部１０６は、表示画像記憶部１０５に記憶されている表示画像を読み出し、右眼像と左眼像との視差画像を生成して表示部１０４に表示させる。制御部１０６は、検出部１０２による検出結果に基づいて、遮蔽物による立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、この判定結果に基づいて立体像に関連する関連像の表示を制御する。
　例えば、検出部１０２によって検出された遮蔽物（例えば、手など）の位置と、ユーザの目線位置と、予め定められた表示部１０４の位置とに基づいて、制御部１０６は、ユーザの目線位置から表示部１０４に対する視認方向における遮蔽物によって遮蔽される画像の遮蔽領域を判定する。ユーザの目線位置は、上述したように、ユーザの胴体または腕の位置に基づいて算出されたユーザの顔の推定位置でもよいし、予め定められた観察可能領域でもよい。例えば、ユーザの目線位置と、表示部１０４における表示画面を直線上に結び、その直線上に存在する遮蔽物の位置、大きさ、形状等に基づいて遮蔽物を表示画面上に射影することで、画像の遮蔽領域を判定することができる。
　また、制御部１０６は、遮蔽物によって立体像が遮蔽されているか否かを判定し、遮蔽されていると判定した場合、関連像が遮蔽物によって遮蔽されないように表示させる。ここで、制御部１０６は、遮蔽された立体像の表示位置に基づいて、遮蔽物によって遮蔽されない領域において関連像の表示位置を制御する。つまり、制御部１０６は、遮蔽物によって遮蔽された立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、関連像の表示を制御する。
　例えば、図７に示すように、制御部１０６は、立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、遮蔽物によって遮蔽されず、立体像に隣接する領域に、関連像を補助的に表示させる。図７（ａ）、（ｂ）は、図６（ａ）、（ｂ）に示す立体像に指が近接した場合の表示例を示している。
　図７（ａ）において、立体像Ｇ１（以下、単にアイコンＧ１と称す）が指（遮蔽物）に遮蔽されている。そのため、遮蔽物（本実施形態では、指）によって遮蔽されず、アイコンＧ１に隣接する領域であるアイコンＧ１の上部に、遮蔽されたアイコンＧ１の関連像Ｇ２（以下、単にアイコンＧ２と称す）を、制御部１０６が補助表示させる。このとき、補助表示されるアイコンＧ２は、例えば、図７（ａ）に示すように遮蔽されたアイコンＧ１と同様のアイコンを吹き出し状（ポップアップ表示）にして、アイコンＧ１の上部に表示させたものである。すなわち、制御部１０６は、図７（ａ）のアイコンＧ２や図７（ｂ）のアイコンＨ２のように、遮蔽物によって遮蔽されず、立体像に隣接する領域に、関連像をポップアップさせて表示させる。このように、制御部１０６が、遮蔽物（本実施形態では、指）によって遮蔽される画像（アイコンＧ１）の遮蔽領域を判定し、画像の領域のうち、遮蔽領域とは異なる領域に関連像（アイコンＧ２）を表示させることで、ユーザは、遮蔽された立体像（アイコンＧ１）がどのようなものであるかを、補助表示された関連像（アイコンＧ２）を視認して確認することができる。
　表示させる関連像には、遮蔽された立体像と同一の像が含まれるようにしてもよい。例えば、遮蔽された立体像に関連し、遮蔽された立体像を想起させるようなものであればよい。例えば、表示させる関連像は、遮蔽された立体像を文字によって表す像であっても良い。
　また、図７（ａ）では、遮蔽された立体像（アイコンＧ１）にＹ軸方向（垂直方向）に隣接する領域に関連像を表示する例を示したが、Ｘ軸方向（平行方向）においてに隣接する領域に関連像を表示しても良い。すなわち、遮蔽物に遮蔽されない領域に表示される関連像は、ＸＹ軸平面上における任意の位置に表示させることができる。
　同様に、図７（ｂ）においては、立体像Ｈ１（以下、単に操作子Ｈ１と称す）が指に遮蔽されているので、遮蔽物（本実施形態では、指）によって遮蔽されず、アイコンＨ１に隣接する領域であるアイコンＨ１の上部に、遮蔽されたアイコンＨ１の関連像Ｈ２（以下、単にアイコンＨ２と称す）を、制御部１０６が補助表示させる。
　補助表示される関連像は、立体像と同様に立体表示させても良いし、表示部１０４の表示面上に二次元表示させても良い。また、制御部１０６は、検出部１０２が検出した遮蔽物が立体像を遮蔽しないと判定すると、関連像の補助表示を非表示にする。
　図８は、立体像Ｊを表示する表示装置１００と、遮蔽物である手Ｋと、補助表示する関連像Ｌとの奥行距離Ｄの関係を示す図である。奥行距離Ｄとは、Ｚ軸方向における奥行き方向の距離である。図８に示すように、補助表示する関連像Ｌの奥行距離は、立体像Ｊと同様にすることができる。このように、奥行距離の急激な変化を少なくすることで、眼への疲労感を軽減することができる。
　また、図９に示すように、制御部１０６は、表示部１０４に対する奥行き方向において、補助表示する関連像Ｌを、立体像Ｊ（立体像の表示位置）よりも表示部１０４から遠い位置に表示させることができる。
　また、図１０に示すように、制御部１０６は、表示部１０４に対する奥行き方向において、補助表示する関連像Ｌを、立体像Ｊよりも表示部１０４に近い位置に表示させることができる。また、制御部１０６は、表示部１０４に対する奥行き方向において、補助表示する関連像Ｌを、表示部１０４上の位置に表示させることもできる。
　このように、表示部１０４に対する奥行き方向において、立体像Ｊの表示位置とは異なる表示位置に関連像Ｌを立体表示させることで、補助表示させる関連像Ｌを強調することができる。また、ユーザの両眼視野闘争を抑制することができる。
　また、図１１に示すように、制御部１０６は、表示部１０４に対する奥行き方向において、補助表示する関連像Ｌを、立体像Ｊよりも表示部１０４から遠い位置と、立体像Ｊよりも表示部１０４に近い位置とを時間とともに（フレーム毎に）動的に変化させるように表示させることができる。このように、立体像Ｊと補助表示させる立体像Ｌとの奥行距離を変化させることで、補助表示させる立体像Ｌを強調することができる。
　また、制御部１０６は、立体像が遮蔽領域に含まれると判定すると、立体像を、遮蔽物に遮蔽されないように拡大した像を関連像として表示させることもできる。
　また、制御部１０６は、操作判定部１０３が判定した操作に応じた動作を行う。例えば、入力された操作ジェスチャーに応じて表示部１０４に表示する画像を制御する。
　次に、図面を参照して、本実施形態による表示装置１００の動作例を説明する。図１２は、表示装置１００が関連像を補助表示する動作例を示すフローチャートである。
　制御部１０６は、表示画像記憶部１０５に記憶されている表示画像を読み出して視差画像を生成し、表示部１０４に表示させる。撮影部１０１は、表示部１０４が表示されている表示方向（例えば、表示部１０４から向かって、ユーザが立っている方向）を撮影して撮影画像を生成する。検出部１０２が、撮影部１０１によって生成された撮影画像から遮蔽物を検出すると（ステップＳ１）、制御部１０６は、遮蔽物による立体像の遮蔽領域を判定する（ステップＳ２）。制御部１０６は、立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、遮蔽物により遮蔽されていない表示部１０４の領域に、関連像を補助表示させる（ステップＳ３）。また、検出部１０２が遮蔽物を検出しないと判定すると、制御部１０６は、関連像の補助表示を非表示にする。
　以上説明したように、本実施形態によれば、表示装置１００が表示する立体像が指等によって遮蔽された場合、表示部１０４が表示する画像における遮蔽されていない領域に関連像を補助表示する。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかを確認することができる。ここで、補助表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
　なお、本実施形態における表示装置１００である三次元ディスプレイには、例えばデジタルフォトフレーム、デジタルサイネージ、家庭用テレビ等が適用できる。あるいは、三次元表示可能なスマートフォンを適用してもよい。この場合、例えばタッチパネルにより触れられている部分を遮蔽領域として判定することができる。あるいは、非接触の空間感度を持つタッチパネルを適用すれば、非接触の状態でも同様に遮蔽領域を判定することができる。この場合、例えば、操作判定部１０３は、指が操作子である立体像に触った（タップした）場合に立体像を表示させ、押下した場合にその操作子が選択されたように制御することができる。または、例えば指等の遮蔽物を所定領域に検出した場合、指の位置に立体像を近接させるように制御し、立体像が指に遮蔽されたら関連像の補助表示を行い、押下されたら操作子が選択されたように制御することができる。
　また、制御部１０６は、補助表示する関連像の表示位置を、ＸＹ軸平面上において動的に変化させることもできる。
　また、本実施形態では、立体像が遮蔽される場合に、関連像が、立体像に対してＸ軸方向またはＹ軸方向に隣接する領域に表示させる例を示した。しかし、ユーザの目線位置と、遮蔽物と、表示部との角度により、Ｚ軸方向に変化させることでユーザに視認可能に表示することができる場合には、表示位置をＺ軸方向に変更しても良い。
　また、制御部１０６は、立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、遮蔽物によって遮蔽される立体像の遮蔽領域を判定し、立体像に対する遮蔽領域の割合に基づいて、補助表示する関連像を表示させるようにしてもよい。例えば、立体像に対する遮蔽領域の割合が大きければ関連像をより大きく表示し、立体像に対する遮蔽領域の割合が小さければ、関連像が遮蔽されない程度において関連像を小さく表示するようにしても良い。
　関連像を表示する別の方法としては、以下のような例が考えられる。例えば、立体像が遮蔽物によって遮蔽された場合に、制御部１０６が、遮蔽された立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、遮蔽される前に立体像が表示されていた位置から、遮蔽物によって遮蔽されていない領域へ、立体像が移動するような関連像を、シフト表示として表示させる例が考えられる。
　図１３（ａ）において、アイコンＭ１は、遮蔽される前に表示されていた立体像を示し、アイコンＭ２は、アイコンＭ１をシフト表示させて表示した関連像を示し、シフト量ＳＦは、アイコンＭ１の位置からアイコンＭ２の位置まで、アイコンＭ１がシフト表示されてシフトした距離を示している。例えば、指などの遮蔽物によってアイコンＭ１が遮蔽された場合に、制御部１０６は、遮蔽された立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、遮蔽される前にアイコンＭ１（立体像）が表示されていた位置から、アイコンＭ１（立体像）をシフト量ＳＦだけ移動したアイコンＭ２（関連像）の位置に、シフト表示としてアイコンＭ２（関連像）を表示する。
　図１３（ａ）では、アイコンＭ１が垂直方向にシフトしたような、アイコンＭ２をシフト表示させる例を示した。しかし、アイコンＭ２をシフト表示させる方向は、垂直方向に限らず、図１３（ｂ）及び図１３（ｃ）に示すように、アイコンＭ１に対して平行方向を含む任意の方向であってもよい。
　なお、図１３では、アイコンＭ１の表示を消して、関連像であるアイコンＭ２をシフト表示させる例を示した。しかし、アイコンＭ１の表示を残したまま、関連像であるアイコンＭ２をシフト表示してもよい。
　このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、遮蔽される前に立体像が表示されていた位置から、遮蔽物によって遮蔽されない領域へ、立体像が移動するような関連像を、シフト表示として表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽された立体像の関連像をシフト表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。さらに、シフト表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
　また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、遮蔽物によって遮蔽されている立体像の領域が相対的に少なくなるように、遮蔽されている立体像を拡大させた関連像を、拡大表示として表示する例が考えられる。
　図１４において、アイコンＮ１は、遮蔽される前に表示されていた立体像を示し、アイコンＮ２は、アイコンＮ１を拡大表示させて表示した関連像を示し、拡大量ＥＬは、アイコンＮ２までアイコンＮ１を拡大させた拡大量を示している。例えば、指などの遮蔽物によってアイコンＮ１が遮蔽された場合に、制御部１０６は、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、遮蔽される前のアイコンＮ１（立体像）を拡大表示したアイコンＮ２を、関連像として表示させる。
　なお、図１４では、アイコンＮ１の表示を消して、関連像であるアイコンＮ２を拡大表示させる例を示した。しかし、アイコンＮ１の表示を残したまま、関連像であるアイコンＮ２を拡大表示してもよい。
　このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、遮蔽物によって遮蔽されている立体像の領域が相対的に少なくなるように、遮蔽されている立体像を拡大させた関連像を、拡大表示として表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽された立体像の関連像を拡大表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。さらに、拡大表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
　なお、両眼視野闘争は、ユーザが見つめる対象物が遮蔽物によって遮蔽される領域が少ないほど生じにくくなる。そのため、図１４で示した例のように、遮蔽されている立体像を拡大表示させた関連像を表示させることによって、立体像全体の領域に占める遮蔽物によって遮蔽された領域が相対的に少なくなり、両眼視野闘争の発生を抑制することができる。
　また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、図１５に示すように、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、ポインティングされる対象物である立体像の周囲のテスクチャーの密度や分布が大きいほど、補助表示する関連像を、立体像から離れた位置に表示させる例が考えられる。より具体的には、例えば、遮蔽物によって遮蔽された立体像の周囲が、テクスチャーの密度や分布が大きい文書などである場合には、遮蔽された立体像を見つめるユーザの視野闘争が生じやすくなる。そのため、遮蔽される立体像の周囲のテクスチャー密度や分布の大きさに応じて、制御部１０６が、補助表示する関連像の表示方法を選択または変更して、関連像を表示する例が考えられる。
　図１５において、アイコンＱ１は、遮蔽された立体像を示し、アイコンＱ２は、アイコンＱ１をポップアップ表示及び拡大表示を組み合せて表示した関連像を示している。また、アイコンＱ１の周囲には、テクスチャーの密度や分布が大きい、例えば文書などが表示されている。例えば、このように遮蔽された立体像の周囲のテクスチャーの密度や分布が大きい場合には、指などの遮蔽物によってアイコンＱ１が遮蔽されたときに、制御部１０６は、遮蔽されたアイコンＱ１（立体像）をポップアップ表示及び拡大表示させて、アイコンＱ２を関連像として表示する。
　図１５では、ポインティングされる対象物である立体像の周囲のテスクチャーの密度や分布が大きいほど、補助表示する関連像を、立体像から離れた位置に表示させる例として、ポップアップ表示と拡大表示を組み合せた表示方法を示している。
　このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、ポインティングされる対象物である立体像の周囲のテスクチャーの密度や分布が大きいほど、立体像から離れた位置に関連像を表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽された立体像の関連像をポップアップ表示及び拡大表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
　なお、テクスチャーの密度や分布が高い領域では、より一層視野闘争が生じやすくなる。図１５に示す表示方法の例では、ポップアップ表示及び拡大表示を組み合せた補助表示を利用することによって、両眼視野闘争が生じやすい領域から離れた位置に、拡大された関連像が表示されている。そのため、より効果的に視野闘争を抑制することができる。
　一方、ポインティングされる対象物である立体像のテスクチャーの密度や分布が小さい場合には、補助表示する関連像を立体像に近い位置に表示させても、視野闘争が生じにくい。そのため、関連像をポップアップ表示のみやシフト表示のみを用いて表示してもよい。
　また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、図１６に示すように、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、ポインティングされる対象物である立体像と遮蔽物（例えば、指など）との相対的なサイズ差に応じて、関連像を補助表示させる例が考えられる。より具体的には、例えば、同じ立体像に対して遮蔽する遮蔽物が、子供の指である場合と、遮蔽物が大人の指である場合とでは、指によって隠される立体像の領域が異なる。このように、遮蔽される立体像と遮蔽物との相対的なサイズ差に応じて、制御部１０６が、補助表示する関連像の表示方法を選択または変更して、関連像を表示する例が考えられる。
　図１６において、アイコンＱ１は、遮蔽される前に表示されていた立体像を示し、アイコンＱ２は、アイコンＱ１をシフト表示させて表示した関連像を示している。また、アイコンＱ１の周囲には、テクスチャーの密度や分布が大きい、例えば文書などが表示されている。例えば、このように遮蔽された立体像の周囲のテクスチャーの密度や分布が大きい場合には、指などの遮蔽物によってアイコンＱ１が遮蔽されたときに、制御部１０６は、遮蔽される前のアイコンＱ１（立体像）をシフト表示及び拡大表示させて、アイコンＱ２を関連像として表示する。
　図１６では、ポインティングされる対象物である立体像と遮蔽物（例えば、指など）との相対的なサイズ差が小さいほど、補助表示する関連像を、立体像から離れた位置に表示させる例として、シフト表示と拡大表示を組み合せた表示方法を示している。
　このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、ポインティングされる対象物である立体像と遮蔽物との相対的なサイズ差に応じて、遮蔽物から離れた位置に関連像を表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽された立体像の関連像をシフト表示及び拡大表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
　なお、立体像と遮蔽物（例えば、指など）との相対的なサイズ差が小さく、立体像の大部分が遮蔽物によって隠されてしまうような場合には、より一層両眼視野闘争が生じやすくなる。図１６に示す表示方法の例では、シフト表示及び拡大表示を組み合せた補助表示を利用することによって、両眼視野闘争が生じやすい領域から離れた位置に、拡大された関連像が表示されている。そのため、より効果的に両眼視野闘争を抑制することができる。
　一方、ポインティングされる対象物である立体像と遮蔽物（例えば、指など）との相対的なサイズ差が大きく、立体像の大部分が遮蔽物によって隠されないような場合には、補助表示する関連像を立体像に近い位置に表示させても、両眼視野闘争が生じにくい。そのため、関連像をポップアップ表示のみやシフト表示のみを用いて表示してもよい。
　また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、図１７に示すように、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、ポインティングされる対象物である立体像と遮蔽物（例えば、指など）との相対的な位置関係に応じて、制御部１０６が、関連像を補助表示させる例が考えられる。より具体的には、例えば、遮蔽物によって遮蔽された立体像の部位に応じて、制御部１０６が、補助表示する関連像の表示位置や表示方法を選択または変更して、関連像を表示する例が考えられる。
　図１７（ａ）において、アイコンＭ１は、遮蔽される前に表示されていた立体像を示し、アイコンＭ２は、アイコンＭ１をシフト表示させて表示した関連像を示し、シフト量ＳＦは、アイコンＭ１の位置からアイコンＭ２の位置まで、アイコンＭ１がシフト表示されてシフトした距離を示している。
　図１７（ａ）では、ポインティングされる対象物である立体像と遮蔽物（例えば、指など）との相対的な位置関係に応じて関連像が表示される一つの例として、立体像の右下部が遮蔽物によって遮蔽された場合には、制御部１０６が、遮蔽された立体像の左上方向へ立体像をシフト表示させて表示する表示方法を示している。
　図１７（ｂ）において、アイコンＭ１は、遮蔽された立体像を示し、アイコンＭ２は、アイコンＭ１をポップアップ表示させて表示した関連像を示している。
　図１７（ｂ）では、ポインティングされる対象物である立体像が遮蔽物（例えば、指など）との相対的な位置関係に応じて関連像を表示させる別の例として、立体像の右下部が遮蔽物によって遮蔽された場合には、制御部１０６が、遮蔽された立体像の右上方向へ立体像をポップアップ表示させて表示する表示方法を示している。
　このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、遮蔽される立体像と遮蔽物との相対的な位置関係に応じて関連像を表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽された立体像の関連像を補助表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
　なお、図１７で示した、遮蔽される立体像と遮蔽物との相対的な位置関係に応じた関連像が表示される方向は、上記の例に限らず、表示する関連像が遮蔽されない任意の方向であってもよい。
　また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、図１８に示すように、ポインティングされる対象物である立体像が遮蔽物（例えば、指など）によって遮蔽された場合に、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、最初に立体像をシフト表示し、そのまま遮蔽物が立体像を遮蔽した状態を一定時間以上維持した場合には、表示方法を変更させて関連像を補助表示させる例が考えられる。すなわち、立体像が遮蔽物によって遮蔽され続けた経過時間の長さに応じて、制御部１０６が、補助表示する関連像の表示方法を変更して、関連像を表示する例が考えられる。
　図１８（ａ）において、アイコンＭ１は、遮蔽された立体像を示し、アイコンＭ２は、アイコンＭ１をシフト表示させて表示した関連像を示し、シフト量ＳＦは、アイコンＭ１の位置からアイコンＭ２の位置まで、アイコンＭ１がシフト表示されてシフトした距離を示している。
　図１８（ａ）では、ポインティングされる対象物である立体像が、遮蔽物（例えば、指など）によって、遮蔽開始時点から所定時間Ｔ１よりも短い時間の間だけ遮蔽され続けている場合に、制御部１０６が、遮蔽された立体像をシフト表示して表示する表示方法を示している。
　図１８（ｂ）において、アイコンＭ１は、図１８（ａ）の状況からそのまま遮蔽物によって遮蔽され続けている立体像を示し、アイコンＭ２は、アイコンＭ１をポップアップ表示させて表示した関連像を示している。
　図１８（ｂ）では、ポインティングされる対象物である立体像が、遮蔽物（例えば、指など）によって、遮蔽開始時点から所定時間Ｔ１よりも長い時間に渡って遮蔽され続けている場合に、制御部１０６が、遮蔽され続けている立体像の関連像を図１８（ａ）で示されるシフト表示からポップアップ表示へ移行する表示方法を示している。
　このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、立体像が遮蔽物によって遮蔽され続けた経過時間の長さに応じて、補助表示する関連像の表示方法を変更させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽された立体像の関連像を補助表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
　また、図１８では、立体像が遮蔽されている時間が所定時間Ｔ１よりも長い時間に渡って遮蔽され続けた場合に、関連像がシフト表示からポップアップ表示へ移行する例を示した。しかし、関連像の表示方法は上記に限られず、例えば、関連像がポップアップ表示からシフト表示へ移行するなど、別の表示方法を用いて表示してもよい。
　また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、図１９に示すように、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、ポインティングされる対象物である立体像が、ユーザに遮蔽物（例えば、指など）で指示された指示開始から実際の立体像のポインティングまでの時間に応じて、関連像を補助表示させる例が考えられる。すなわち、立体像が遮蔽物で指示され始めてから実際に立体像がポインティングされるまでの経過時間の長さに応じて、制御部１０６が、補助表示する関連像の表示方法を変更して、関連像を表示する例が考えられる。一例として、図１９を参照して、立体像が遮蔽物で指示され始めてから実際に立体像がポインティングされるまでの経過時間が所定時間よりも長い場合に、制御部１０６が、立体像をポップアップ表示させる関連像の表示方法を説明する。
　図１９は、立体像Ｊ１を表示する表示装置１００と、遮蔽物である手Ｋ１と、補助表示する関連像Ｌ１との奥行距離Ｄ１の関係を示す図である。奥行距離Ｄ１とは、Ｚ軸方向における奥行き方向の距離である。また、奥行距離Ｄ１は、検出部１０２が、遮蔽物Ｋ１が指示を開始したかどうか判定するための指示開始位置である。検出部１０２は、図１９（ａ）のように、奥行距離Ｄ１よりも表示装置１００に近い位置に遮蔽物Ｋ１が存在した場合に、ユーザが立体像Ｊ１の指示を開始したと判定する。遮蔽物Ｋ１の位置が、表示装置１００に関して指示開始位置（奥行距離Ｄ１）よりも近くにあるか遠くにあるかに応じて、検出部１０２は、遮蔽物Ｋ１による指示開始を判定する。そして、制御部１０６は、図１９（ｂ）のように、ユーザが立体像Ｊ１の指示を開始したと検出部１０２によって判定された時間から、実際にユーザが遮蔽物Ｋ１で立体像Ｊ１を奥行距離Ｄ´１の位置でポインティングするまでにかかった経過時間Ｔ２を計測する。制御部１０６は、経過時間Ｔ２が所定時間よりも長かった場合には、関連像Ｌ１を、ポップアップ表示として補助表示する。
　一方、例えば、立体像Ｊ１が遮蔽物Ｋ１で指示され始めてから実際に立体像Ｊ１がポインティングされるまでの経過時間Ｔ２が所定時間よりも短い場合には、制御部１０６は、関連像Ｌ１を、シフト表示として補助表示する（不図示）。
　このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、立体像が遮蔽物で指示され始めてから実際に立体像がポインティングされるまでの経過時間の長さに応じて、補助表示する関連像の表示方法を変更して、関連像を表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽されている立体像の関連像を補助表示することによって、ユーザが認識しやすいように、目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
　また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、図２０に示すように、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、ポインティングされる対象物である立体像と、立体像の周囲に表示されている立体像とは別の表示物との位置関係に応じて、補助表示する関連像の表示位置を選択して表示する例が考えられる。
　より具体的には、例えば、制御部１０６が遮蔽物によって遮蔽された立体像を補助表示する際に、立体像の周囲に別のアイコンが画面に表示されている場合には、別のアイコンと離れた位置に関連像を補助表示することによって、別のアイコンとの干渉を防ぎ、より視認性を高めることができる。一例として、図２０を参照して、遮蔽される立体像の周囲に別の表示物（アイコン）が表示されている場合に、制御部１０６が、関連像をポップアップ表示させる表示方法を説明する。
　図２０において、アイコンＭ１は、遮蔽された立体像を示し、アイコンＭ２は、アイコンＭ１をポップアップ表示させて表示した関連像を示している。また、アイコンＭ１の周囲には、例えばアイコンＭ３のような、遮蔽されるアイコンＭ１とは別のアイコンが表示されている。
　例えばこのような場合には、指などの遮蔽物によってアイコンＭ１が遮蔽されたときに、制御部１０６は、遮蔽されたアイコンＭ１（立体像）をポップアップ表示させたアイコンＭ２を関連像として表示する。その際、制御部１０６は、アイコンＭ３が表示されている位置を考慮して、アイコンＭ３と干渉しない位置にアイコンＭ２をポップアップさせる。
　図２０の例では、ポインティングされる対象物である立体像Ｍ１の右側に別のアイコンＭ３が表示されているため、補助表示する関連像Ｍ２を、別のアイコンＭ３が表示されている位置の逆方向の位置に表示させる例として、ポップアップ表示を用いた表示方法を示している。補助表示する関連像の表示方法は、ポップアップ表示に限られず、制御部１０６は、遮蔽される立体像の周囲の画面表示状況に応じて、補助表示する関連像が周囲の表示物と干渉しないように適切な表示方法を判断して、関連像を表示させることができる。
　このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、ポインティングされる対象物である立体像と、立体像の周囲に表示されている立体像とは別の表示物との位置関係に応じて、補助表示する関連像の表示方法を変更して、関連像を表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽された立体像の関連像を補助表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。
　特に、遮蔽される立体像の周囲の画面表示状況に応じて、補助表示する関連像が周囲の表示物と干渉しないように適切な表示方法を判断して、関連像を表示させることができるため、ユーザが認識しやすいように、より目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
　また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、図２１に示すように、ポインティングされる対象物である立体像が、ユーザに遮蔽物（例えば、指など）で遮蔽された場合に、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、立体像と同一の視差量で補助表示を表示させた後に続いて、所定の表示視差まで視差量を連続的に変化させながら関連像を表示する例が考えられる。一例として、図２１を参照して、制御部１０６が、立体像と同一の視差量でポップアップ表示を表示させた後に続いて、このポップアップ表示を所定の表示視差まで視差量を連続的に変化させながら、ポップアップ表示を表示する関連像の表示方法を説明する。
　図２１は、立体像Ｊ２を表示する表示装置１００と、遮蔽物である手Ｋ２と、補助表示する関連像Ｌ２との奥行距離Ｄ２の関係を示す図である。奥行距離Ｄ２は、Ｚ軸方向における表示装置１００から立体像Ｊ２が表示される位置までの奥行き方向の距離である。また、関連像Ｌ２から所定の表示視差まで視差量を連続的に変化させて表示された関連像Ｌ３は、奥行距離Ｄ３の位置に表示される。
　立体像Ｊ２が遮蔽物である手Ｋ２によって遮蔽されると、制御部１０６が、奥行距離Ｄ２の位置に、立体像Ｊ２と同一の視差量で関連像Ｌ２をポップアップ表示する。続いて、制御部１０６は、奥行距離Ｄ２の位置でポップアップ表示されている関連像Ｌ２の視差量を所定の表示視差まで視差量を連続的に変化させながら、奥行距離Ｄ３の位置に関連像Ｌ３をポップアップ表示として表示する。すなわち、制御部１０６は、遮蔽物によって遮蔽された立体像の関連像を、立体像と同一の視差量から、ユーザにとって浮かび上がって来るように見えるように所定の表示視差まで視差量を連続的に変化させながら関連像を表示する。
　また、例えば、奥行距離Ｄ２の位置でポップアップ表示されている関連像Ｌ２の視差量を連続的に変化させる方向は、奥行距離Ｄ３の位置のように、表示装置１００から遠ざかる方向に限られず、表示装置１００に近づく方向に関連像Ｌ２の視差量を連続的に変化させて関連像を表示する表示方法としてもよい。
　また、図２１では、関連像がポップアップ表示される例を示したが、例えば、連続的に視差を変化させながら表示する関連像は、シフト表示などの別の表示方法を用いて表示してもよい。
　このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、立体像と同一の視差量で補助表示を表示させた後に続いて、所定の表示視差まで視差量を連続的に変化させながら関連像を表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽された立体像の関連像を補助表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
　遮蔽される立体像と異なる視差量で関連像を補助表示する場合、立体像の周囲に、立体像の視差量と視差量が異なる関連像を瞬時に表示させると、立体像から関連像へのユーザの視差視が追従できず、補助表示される関連像をユーザが視認しにくい恐れがある。そのため、上記の表示方法のように、立体像の視差量から所定の関連像の視差量までを時間的に連続して変化させることによって、補助表示される関連像をユーザがより視認しやすくすることができる。
　また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、図２２に示すように、ポインティングされる対象物である立体像が遮蔽物（例えば、指など）によって遮蔽された場合に、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、補助表示された関連像の周囲の表示物を暈して表示する例が考えられる。より具体的には、例えば、三次元表示で目立たせたい部分（関連像）以外の周囲の表示物の表示を薄くすることによって、関連像が目立つように表示する例が考えられる。なお、関連像の周囲の表示物を暈す方法の一例としては、例えば、周囲の表示物の表示を薄くしたり、周囲の表示物の表示のコントラスト値を変更したり、周囲の表示物の表示のα値（透明度）を変更したりする表示方法が考えられる。
　図２２は、上述の図１５と同様に、立体像Ｑ１の周囲のテスクチャー密度や分布が大きいほど、制御部１０６が、補助表示する関連像Ｑ２を、立体像Ｑ１から離れた位置に表示させる表示方法で表示する例を示している。さらに図２２においては、制御部１０６が、遮蔽された立体像Ｑ１の周囲の表示物の表示を薄くする（暈す）ことによって、補助表示された関連像Ｑ２が目立つように表示している。
　このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、立体像を拡大し、遮蔽物から離れた位置に関連像をポップアップさせて表示し、さらに、関連像の周囲に表示されている表示物を薄くして（暈して）表示する。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽されている立体像の関連像を補助表示することによって、ユーザが認識しやすいように、目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。また、遮蔽された立体像の周囲の表示物が薄く（暈して）表示されるため、遮蔽物と周囲の表示物との境界で発生するユーザの両眼視野闘争をより効果的に抑制することができる。
　なお、遮蔽された立体像の周囲の表示物を暈して表示する方法は、図２２に示した周囲の表示物の表示を薄くする表示方法に限られず、周囲の表示物のコントラスト値やα値を変更して、補助表示された関連像が目立つように表示してもよい。また、補助表示された関連像と周囲の表示物とのコントラスト値の比やα値の比を変更して、補助表示された関連像が目立つように表示してもよい。
　また、関連像を表示する別の方法としては、以下のような例が考えられる。ユーザの両眼視野闘争は、ユーザの右眼に与える右眼像と左眼に与える左眼像との差異が大きいほど、一般的に生じやすくなる。例えば、ユーザの右眼像と左眼像のマッチング度（一致度）が高ければ、両眼視野闘争は生じにくくなる。一方、ユーザの右眼像と左眼像のマッチング度（一致度）が低ければ、両眼視野闘争が生じやすくなる。すなわち、ユーザの右眼像と左眼像の差異が大きいほど、両眼視野闘争が生じやすくなる。
　そのため、例えば、ポインティングされる対象物である立体像が遮蔽物（例えば、指など）によって遮蔽された場合に、制御部１０６が、ユーザの右眼に与えられる右眼像と左眼に与えられる左眼像との差異を判定して、この差異の大小に応じて、補助表示される関連像の表示方法を選択したり、変更したりする例が考えられる。すなわち、遮蔽物によって遮蔽されている立体像を見つめるユーザの右眼像と左眼像のマッチング度（一致度）に応じて、補助表示される関連像の表示方法を変更する例が考えられる。
　このように、本実施形態によれば、遮蔽物によって遮蔽されている立体像を見つめるユーザの右眼像と左眼像のマッチング度（一致度）に応じて、ユーザの両眼視野闘争が生じにくい表示方法を、選択したり、変更したりして関連像を表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽されている立体像の関連像を補助表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。また、ユーザの両眼視野闘争の生じやすさに応じて、表示方法を選択したり、変更したりできるため、より適切な表示方法で関連像を表示することができる。
　図２３は、遮蔽物によって立体像が遮蔽されたときに、立体像であるアイコンＭ１をポップアップ表示して表示した関連像であるアイコンＭ２の例である。例えば、アイコンＭ１が表示されている領域をユーザが遮蔽している間は、制御部１０６が、図２３（ａ）のようにアイコンＭ２の中央部にマーカーＶ１を表示するようにしてもよい。図２３（ａ）では、マーカーＶ１の一例として、アイコンＭ２の中央部に×印が表示される例が示されている。
　また、図２３（ｂ）は、遮蔽物によって立体像が遮蔽されたときに、立体像であるアイコンＭ１をシフト表示して表示した関連像であるアイコンＭ２の例である。このとき、アイコンＭ１が表示されていた領域をユーザが遮蔽している間は、制御部１０６が、図２３（ｂ）のようにアイコンＭ２の中央部にマーカーＶ２を表示するようにしてもよい。図２３（ｂ）では、マーカーＶ２の一例として、アイコンＭ２上に遮蔽物（指など）の輪郭が半透明に表示される例が示されている。
　また、図２４のように、例えば、ポインティングされる対象物である立体像としてキーボードＫＢ１を表示し、このキーボードＫＢ１上でキーを打つ動作を行なうユーザの指を遮蔽物とし、ユーザの指によって遮蔽されたキーボードに対応した関連像であるキーボードＫＢ２を表示することもできる。このとき、制御部１０６が、図２４のように補助表示したキーボードＫＢ２上にマーカーＷを表示するようにしてもよい。図２４では、マーカーＷの一例として、関連像ＫＢ２上に遮蔽物（指など）の輪郭が半透明に表示される例が示されている。
　図２３～図２４で示したようなマーカーを表示された関連像上に表示することによって、ユーザは、自分が遮蔽物によって遮蔽している立体像をより把握しやすくなる。すなわち、ユーザは、自分が遮蔽物によって選択または指示している立体像をより把握しやすくなる。そのため、遮蔽された立体像の周囲にポップアップ表示やシフト表示によって関連像が表示された際に、ユーザは自分が指示した立体像と表示された関連像とを関連付けて認識しやすくなる。したがって、ユーザは、自分が指示した立体像が関連像として表示されている状況が理解しやすいため、ポップアップ表示やシフト表示などの関連像が表示された際のユーザの混乱や戸惑いを防ぐことができる。
　なお、上記のいずれの実施例においても、立体像が遮蔽物によって遮蔽されている場合に、立体像に隣接する領域に補助表示される関連像の一部は、遮蔽されている立体像と重なった状態で表示されてもよい。また、立体像に隣接する領域に補助表示される関連像の一部は、立体像を遮蔽している遮蔽物と重なった状態で表示されてもよい。すなわち、補助表示される関連画像のすべてが、遮蔽されている立体像に重ならない領域に表示されなくてもよい。また、補助表示される関連画像のすべてが、遮蔽物によって遮蔽されない領域に表示されなくてもよい。
　なお、上記のいずれの実施例における関連像の表示方法は、あくまで表示方法の一例である。上記で説明した関連像の表示方法は、すべて適宜に組み合わせて関連像の表示に用いることができる。
　なお、本発明における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより表示制御を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
　また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　１００…表示装置、１０１…撮影部、１０２…検出部、１０３…操作判定部、１０４…表示部、１０５…表示画像記憶部、１０６…制御部

Claims (20)

  1. 　両眼視差に基づく立体像が含まれる画像を表示する表示部と、
    　前記立体像を遮蔽する遮蔽物を検出する検出部と、
    　前記検出部による検出結果に基づいて、前記遮蔽物による前記立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、この判定結果に基づいて前記立体像に関連する関連像の表示を制御する制御部と、
    　を備えることを特徴とする表示装置。
  2. 　前記制御部は、前記立体像の表示位置に基づいて、前記関連像の表示位置を制御する
    　ことを特徴とする請求項１に記載の表示装置。
  3. 　前記制御部は、前記画像の領域のうち、前記遮蔽物によって遮蔽されない領域において前記関連像の表示を制御する
    　ことを特徴とする請求項１または請求項２に記載の表示装置。
  4. 　前記制御部は、前記検出結果に基づいて、前記遮蔽物によって前記立体像が遮蔽されているか否かを判定し、遮蔽されていると判定した場合、前記関連像が前記遮蔽物によって遮蔽されないように前記関連像を表示させる
    　ことを特徴とする請求項１から請求項３までのいずれか１項に記載の表示装置。
  5. 　前記制御部は、前記遮蔽物によって遮蔽される前記画像の遮蔽領域を判定し、前記画像の領域のうち、前記遮蔽領域とは異なる領域に前記関連像を表示させる
    　ことを特徴とする請求項１から請求項４までのいずれか１項に記載の表示装置。
  6. 　前記制御部は、前記立体像に隣接する領域に前記関連像を表示させる
    　ことを特徴とする請求項１から請求項５までのいずれか１項に記載の表示装置。
  7. 　前記制御部は、前記表示部に対する奥行き方向において、前記立体像の表示位置とは異なる表示位置に前記関連像を立体表示させる
    　ことを特徴とする請求項１から請求項６までのいずれか１項に記載の表示装置。
  8. 　前記制御部は、前記表示部に対する奥行き方向において、前記立体像の表示位置よりも前記表示部から遠い表示位置に、前記関連像を立体表示させる
    　ことを特徴とする請求項１から請求項７までのいずれか１項に記載の表示装置。
  9. 　前記制御部は、前記表示部に対する奥行き方向において、前記立体像の表示位置よりも前記表示部に近い表示位置に、前記関連像を立体表示させる
    　ことを特徴とする請求項１から請求項８までのいずれか１項に記載の表示装置。
  10. 　前記制御部は、前記表示部に対する奥行き方向における前記関連像の表示位置を時間とともに変化させて立体表示させる
    　ことを特徴とする請求項１から請求項９までのいずれか１項に記載の表示装置。
  11. 　前記関連像には、前記立体像と同一の像が含まれる
    　ことを特徴とする請求項１から請求項１０までのいずれか１項に記載の表示装置。
  12. 　前記制御部は、前記立体像を拡大した像を前記関連像として表示させる
    　ことを特徴とする請求項１から請求項１１までのいずれか１項に記載の表示装置。
  13. 　前記制御部は、前記遮蔽物によって遮蔽される前記立体像の遮蔽領域を判定し、前記立体像に対する前記遮蔽領域の割合に基づいて、前記関連像を表示させる
    　ことを特徴とする請求項１から請求項１２までのいずれか１項に記載の表示装置。
  14. 　表示装置のコンピュータに、
    　両眼視差に基づく立体像が含まれる画像を表示するステップと、
    　前記立体像を遮蔽する遮蔽物を検出するステップと、
    　検出結果に基づいて、前記遮蔽物による前記立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、この判定結果に基づいて前記立体像に関連する関連像の表示を制御するステップと、
    　を実行させる表示制御プログラム。
  15. 　前記立体像の表示状態及び遮蔽状態の少なくとも一方は、前記立体像の周囲のテクスチャーの密度及び分布を含むことを特徴とする表示装置。
  16. 　前記立体像の表示状態及び遮蔽状態の少なくとも一方は、前記立体像と前記遮蔽物との相対的なサイズ差を含むことを特徴とする表示装置。
  17. 　前記立体像の表示状態及び遮蔽状態の少なくとも一方は、前記立体像と前記遮蔽物との相対的な位置関係を含むことを特徴とする表示装置。
  18. 　前記立体像の表示状態及び遮蔽状態の少なくとも一方は、前記立体像が前記遮蔽物によって遮蔽され続けた時間の長さを含むことを特徴とする表示装置。
  19. 　前記立体像の表示状態及び遮蔽状態の少なくとも一方は、前記立体像と、前記表示部に表示される周囲の表示物との相対的な位置関係を含むことを特徴とする表示装置。
  20. 　前記立体像の表示状態及び遮蔽状態の少なくとも一方は、前記立体像を見つめるユーザの右目像と左目像の一致度を含むことを特徴とする表示装置。
PCT/JP2012/080107 2011-11-21 2012-11-20 表示装置、表示制御プログラム WO2013077338A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020147014205A KR20140097226A (ko) 2011-11-21 2012-11-20 표시장치, 표시 제어 프로그램
US14/359,166 US10477191B2 (en) 2011-11-21 2012-11-20 Display device, and display control program
EP12851046.8A EP2784640A4 (en) 2011-11-21 2012-11-20 DISPLAY DEVICE AND DISPLAY CONTROL PROGRAM
RU2014124192A RU2658790C2 (ru) 2011-11-21 2012-11-20 Устройство отображения и программа управления отображением
CN201280067270.3A CN104054044A (zh) 2011-11-21 2012-11-20 显示装置及显示控制程序
BR112014011974A BR112014011974A2 (pt) 2011-11-21 2012-11-20 dispositivo de exibição e programa de controle de exibição

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011253805 2011-11-21
JP2011-253805 2011-11-21

Publications (1)

Publication Number Publication Date
WO2013077338A1 true WO2013077338A1 (ja) 2013-05-30

Family

ID=48469780

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/080107 WO2013077338A1 (ja) 2011-11-21 2012-11-20 表示装置、表示制御プログラム

Country Status (8)

Country Link
US (1) US10477191B2 (ja)
EP (1) EP2784640A4 (ja)
JP (3) JPWO2013077338A1 (ja)
KR (1) KR20140097226A (ja)
CN (3) CN110119203A (ja)
BR (1) BR112014011974A2 (ja)
RU (2) RU2658790C2 (ja)
WO (1) WO2013077338A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228110A (zh) * 2016-07-07 2016-12-14 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
JP2019128725A (ja) * 2018-01-23 2019-08-01 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140282269A1 (en) * 2013-03-13 2014-09-18 Amazon Technologies, Inc. Non-occluded display for hover interactions
WO2014185920A1 (en) * 2013-05-16 2014-11-20 Empire Technology Development, Llc Three dimensional user interface in augmented reality
KR102297148B1 (ko) * 2014-10-31 2021-09-03 삼성메디슨 주식회사 3차원 영상을 표시하는 초음파 시스템 및 그 방법
CN104991649B (zh) * 2015-07-21 2019-01-11 小米科技有限责任公司 屏幕排版方法及装置
US10289206B2 (en) * 2015-12-18 2019-05-14 Intel Corporation Free-form drawing and health applications
JP2019105777A (ja) * 2017-12-14 2019-06-27 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
CN110248147B (zh) 2018-09-25 2022-08-23 浙江大华技术股份有限公司 一种图像显示方法及装置
CN109550247B (zh) * 2019-01-09 2022-04-08 网易（杭州）网络有限公司 游戏中虚拟场景调整方法、装置、电子设备及存储介质
CN113077510B (zh) * 2021-04-12 2022-09-20 广州市诺以德医疗科技发展有限公司 遮蔽下的立体视功能检查系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010092272A (ja) * 2008-10-08 2010-04-22 Sharp Corp 画像表示／像検知装置、補助画像表示方法、およびプログラム
JP2011022958A (ja) * 2009-07-21 2011-02-03 Kyocera Corp 入力装置
JP2011090611A (ja) 2009-10-26 2011-05-06 Canon Inc 映像装置及びその制御方法
WO2011114567A1 (ja) * 2010-03-18 2011-09-22 富士フイルム株式会社 立体表示装置及び立体撮影装置、並びに利き目判定方法及びこれに用いる利き目判定プログラム並びに記録媒体

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
JPH09190278A (ja) 1996-01-09 1997-07-22 Mitsubishi Motors Corp 機器の操作系選択装置
JP3577577B2 (ja) * 1996-02-23 2004-10-13 株式会社タイテック 空中立体視装置
JP4031120B2 (ja) 1998-09-10 2008-01-09 株式会社東芝 オブジェクト強調表示方法及びその装置並びに記憶媒体
JP2003005912A (ja) 2001-06-20 2003-01-10 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
CN100353293C (zh) * 2001-10-24 2007-12-05 索尼公司 图像信息显示装置
CN101673181A (zh) * 2002-11-29 2010-03-17 皇家飞利浦电子股份有限公司 具有触摸区域的移动表示的用户界面
CN1266653C (zh) 2002-12-26 2006-07-26 联想(北京)有限公司 一种显示三维图像的方法
JP3874737B2 (ja) * 2003-03-31 2007-01-31 株式会社東芝 表示装置
JP3939709B2 (ja) 2004-04-30 2007-07-04 日本電信電話株式会社 情報入力方法および情報入出力装置
EP1865404A4 (en) * 2005-03-28 2012-09-05 Panasonic Corp USER INTERFACE SYSTEM
RU2411690C2 (ru) * 2005-12-02 2011-02-10 Конинклейке Филипс Электроникс Н.В. Способ и устройство отображения стереоскопического изображения, способ для создания данных 3d изображения из входных данных 2d изображения и устройство для создания данных 3d изображения из входных данных 2d изображения
JP4764305B2 (ja) * 2006-10-02 2011-08-31 株式会社東芝 立体画像生成装置、方法およびプログラム
US7692629B2 (en) 2006-12-07 2010-04-06 Microsoft Corporation Operating touch screen interfaces
EP2118673A1 (en) 2007-01-09 2009-11-18 Selex Sensors and Airborne Systems Limited Emitter location
US8985774B2 (en) 2007-03-30 2015-03-24 National Institute Of Information And Communication Technology Floating image interaction device and its program
CN101072366B (zh) 2007-05-24 2010-08-11 上海大学 基于光场和双目视觉技术的自由立体显示系统和方法
WO2009025034A1 (ja) 2007-08-22 2009-02-26 Pioneer Corporation 画像表示装置
US8416268B2 (en) 2007-10-01 2013-04-09 Pioneer Corporation Image display device
US9092134B2 (en) 2008-02-04 2015-07-28 Nokia Technologies Oy User touch display interface providing an expanded selection area for a user selectable object
CN101266530B (zh) * 2008-04-04 2012-12-12 中国海洋大学 大屏幕三维测量触摸屏
JP4657331B2 (ja) * 2008-08-27 2011-03-23 富士フイルム株式会社 ３次元表示時における指示位置設定装置および方法並びにプログラム
WO2010035326A1 (ja) 2008-09-26 2010-04-01 パイオニア株式会社 画像表示装置及び画像表示システム
JP4650549B2 (ja) * 2008-10-06 2011-03-16 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US8228435B2 (en) 2008-12-18 2012-07-24 Sony Corporation Enhanced metadata presented in a pop-up window on cross-media bar user interface when a user hovers a screen cursor over a TV channel icon
JP2011028560A (ja) * 2009-07-27 2011-02-10 Sony Corp 情報処理装置、表示方法及び表示プログラム
CN102640502B (zh) * 2009-10-14 2015-09-23 诺基亚公司 自动立体渲染和显示装置
US20110102556A1 (en) * 2009-11-03 2011-05-05 Kim Sungdo Method for displaying 3d image by using the binocular disparity in mobile terminal and mobile terminal using the same
JP5446769B2 (ja) 2009-11-20 2014-03-19 富士通モバイルコミュニケーションズ株式会社 ３次元入力表示装置
KR20110076771A (ko) 2009-12-29 2011-07-06 한국전자통신연구원 터치 기반의 멀티미디어 기기의 자판 표시 방법 및 장치
KR101114750B1 (ko) 2010-01-29 2012-03-05 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치
JP4900741B2 (ja) 2010-01-29 2012-03-21 島根県 画像認識装置および操作判定方法並びにプログラム
CN101808251B (zh) * 2010-04-06 2011-07-20 浙江大学 立体图像对中遮挡信息的提取方法
US8384683B2 (en) * 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device
JP5573379B2 (ja) 2010-06-07 2014-08-20 ソニー株式会社 情報表示装置および表示画像制御方法
JP5593972B2 (ja) 2010-08-30 2014-09-24 ソニー株式会社 情報処理装置、立体視表示方法、及びプログラム
US20120056989A1 (en) 2010-09-06 2012-03-08 Shimane Prefectural Government Image recognition apparatus, operation determining method and program
US20120069055A1 (en) 2010-09-22 2012-03-22 Nikon Corporation Image display apparatus
CN103140879B (zh) 2010-09-30 2017-06-16 富士胶片株式会社 信息呈现装置、数字照相机、头戴式显示器、投影仪、信息呈现方法和信息呈现程序
CN102005062A (zh) 2010-11-09 2011-04-06 福州瑞芯微电子有限公司 用于三维立体显示的三维图像的产生方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010092272A (ja) * 2008-10-08 2010-04-22 Sharp Corp 画像表示／像検知装置、補助画像表示方法、およびプログラム
JP2011022958A (ja) * 2009-07-21 2011-02-03 Kyocera Corp 入力装置
JP2011090611A (ja) 2009-10-26 2011-05-06 Canon Inc 映像装置及びその制御方法
WO2011114567A1 (ja) * 2010-03-18 2011-09-22 富士フイルム株式会社 立体表示装置及び立体撮影装置、並びに利き目判定方法及びこれに用いる利き目判定プログラム並びに記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2784640A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228110A (zh) * 2016-07-07 2016-12-14 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
CN106228110B (zh) * 2016-07-07 2019-09-20 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
JP2019128725A (ja) * 2018-01-23 2019-08-01 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP7135324B2 (ja) 2018-01-23 2022-09-13 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム

Also Published As

Publication number Publication date
RU2014124192A (ru) 2015-12-27
EP2784640A1 (en) 2014-10-01
BR112014011974A2 (pt) 2017-05-30
CN110119203A (zh) 2019-08-13
JP2018061251A (ja) 2018-04-12
JP6508280B2 (ja) 2019-05-08
RU2018119502A (ru) 2018-11-15
CN110275607A (zh) 2019-09-24
KR20140097226A (ko) 2014-08-06
US20140320615A1 (en) 2014-10-30
CN104054044A (zh) 2014-09-17
JPWO2013077338A1 (ja) 2015-04-27
JP2019145133A (ja) 2019-08-29
RU2658790C2 (ru) 2018-06-22
RU2018119502A3 (ja) 2019-02-27
EP2784640A4 (en) 2015-10-21
US10477191B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
JP6508280B2 (ja) 制御装置、検出装置、表示システム、電子機器、及びプログラム
US11132162B2 (en) Gaze-based user interactions
US10652515B2 (en) Information processing apparatus, stereoscopic display method, and program
US20170264881A1 (en) Information processing apparatus, information processing method, and program
US9432652B2 (en) Information processing apparatus, stereoscopic display method, and program
US8988500B2 (en) Information processing apparatus, stereoscopic display method, and program
JP6428020B2 (ja) Ｇｕｉ装置
JP2014191629A (ja) 表示装置および同装置における画面制御方法
JP6269692B2 (ja) 表示装置、電子機器、およびプログラム
JP6424947B2 (ja) 表示装置、およびプログラム
JP5879856B2 (ja) 表示装置、表示方法及びプログラム
JP2019050583A (ja) 表示装置、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12851046

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013545939

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14359166

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20147014205

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012851046

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014124192

Country of ref document: RU

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014011974

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014011974

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140519