WO2015029318A1 - ３次元表示装置および３次元表示方法 - Google Patents

３次元表示装置および３次元表示方法 Download PDF

Info

Publication number
WO2015029318A1
WO2015029318A1 PCT/JP2014/003796 JP2014003796W WO2015029318A1 WO 2015029318 A1 WO2015029318 A1 WO 2015029318A1 JP 2014003796 W JP2014003796 W JP 2014003796W WO 2015029318 A1 WO2015029318 A1 WO 2015029318A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
display
additional image
depth
Prior art date
Application number
PCT/JP2014/003796
Other languages
English (en)
French (fr)
Inventor
加藤　弓子
井上　剛
小澤　順
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2015533953A priority Critical patent/JP6402366B2/ja
Publication of WO2015029318A1 publication Critical patent/WO2015029318A1/ja
Priority to US14/701,537 priority patent/US10298917B2/en
Priority to US16/373,992 priority patent/US11330250B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/33—Heart-related electrical modalities, e.g. electrocardiography [ECG] specially adapted for cooperation with other devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]

Definitions

  • the present disclosure relates to a three-dimensional display device and a three-dimensional display method.
  • Patent Document 1 discloses a method of displaying a ruler in the depth direction on a display image when the display device displays a three-dimensional image (for example, an image for the left eye and an image for the right eye). Yes. This makes it easier to understand the depth position of the object.
  • Patent Document 2 discloses a method for displaying information on forceps deviating from an angle of view on an outer frame portion adjacent to a display image. As a result, the user can also obtain information on the position and state of the forceps outside the display.
  • Patent Document 1 and Patent Document 2 require further improvement.
  • a three-dimensional display device is a three-dimensional display device that simultaneously displays a main image of a three-dimensional image and an additional image that blocks a part of the main image on the screen. It is assumed that a display area candidate determination unit that determines one candidate area from among a plurality of display area candidates on the screen and that the additional image is displayed in the candidate area determined by the display area candidate determination unit In this case, a depth difference between the depth of the main image displayed in the boundary area that is an area on the main image within a predetermined distance from the boundary line of the candidate area and the depth of the additional image is determined in advance.
  • a depth matching determination unit that determines whether or not the depth difference is included in the allowable range, and a depth matching determination unit that determines whether the depth difference is included in the allowable range by the depth matching determination unit. Said addition By superimposing an image, the main image and the additional image are combined, an image combining unit that displays an image obtained as a result of the combination on the screen, and a depth within a predetermined depth range in the main image.
  • a prohibited area determining unit that determines a first area that is likely to jump forward and a second area that is likely to be retracted beyond the predetermined depth range;
  • the region candidate determination unit further determines a candidate region that shields the first region and the second region determined by the prohibited region determination unit.
  • FIG. 1 is a block diagram illustrating a functional configuration of the three-dimensional display device according to the first embodiment.
  • FIG. 2A is a diagram illustrating an example of additional image position information.
  • FIG. 2B is a schematic diagram illustrating an example of a coordinate system in the first embodiment.
  • FIG. 3 is a diagram illustrating an example of the size information of the additional image.
  • FIG. 4 is a diagram illustrating an example of the area information of the additional image.
  • FIG. 5 is a flowchart showing the processing operation of the three-dimensional display device in the first embodiment.
  • FIG. 6A is a schematic diagram illustrating an example of a line of sight when there is no contradiction in the depths of the main image and the additional image.
  • FIG. 6A is a schematic diagram illustrating an example of a line of sight when there is no contradiction in the depths of the main image and the additional image.
  • FIG. 6B is a schematic diagram illustrating an example of a line of sight when there is a contradiction in the depths of the main image and the additional image.
  • FIG. 7 is a block diagram illustrating a functional configuration of the three-dimensional display device according to the second embodiment.
  • FIG. 8 is a flowchart showing the processing operation of the three-dimensional display device in the second embodiment.
  • FIG. 9 is a block diagram illustrating a detailed functional configuration of a part of the three-dimensional display device according to the second embodiment.
  • FIG. 10A is a schematic diagram illustrating an example of a display position of an additional image in the second embodiment.
  • FIG. 10B is a schematic diagram illustrating an example of the display position of the additional image in the second embodiment.
  • FIG. 10C is a schematic diagram illustrating an example of the display position of the additional image in the second embodiment.
  • FIG. 10D is a schematic diagram illustrating an example of a main image in the second embodiment.
  • FIG. 11A is a schematic diagram illustrating an example of an additional image and a boundary region in the second exemplary embodiment.
  • FIG. 11B is a schematic diagram illustrating an example of the display position of the additional image of the left-eye image in the second embodiment.
  • FIG. 11C is a schematic diagram illustrating an example of an image for the right eye according to Embodiment 2.
  • FIG. 12A is a schematic diagram illustrating an example of an ID assigned to a partial area of the boundary area of the additional image in the second embodiment.
  • FIG. 12B is a diagram illustrating an example of disparity information in a boundary area in the second embodiment.
  • FIG. 13A is a schematic diagram illustrating an example of an additional image display area, an additional image display prohibited area, and a boundary area according to the second embodiment.
  • FIG. 13B is a diagram illustrating an example of depth information of an additional image display candidate area including information on the distance from the display prohibition area of the additional image according to the second embodiment.
  • FIG. 14A is a schematic diagram illustrating an example of a small frame of an additional image in the second embodiment.
  • FIG. 14B is a schematic diagram illustrating an example of a large frame of an additional image in the second embodiment.
  • FIG. 15 is a block diagram illustrating a functional configuration of the three-dimensional display device according to the first modification of the second embodiment.
  • FIG. 16 is a diagram illustrating an example of display-prohibited area information in the first modification of the second embodiment.
  • FIG. 17 is a block diagram illustrating a detailed functional configuration of a part of the three-dimensional display device according to the first modification of the second embodiment.
  • FIG. 18 is a block diagram illustrating a functional configuration of the three-dimensional display device according to the second modification of the second embodiment.
  • FIG. 19 is a block diagram illustrating a detailed functional configuration of a part of the 3D display device according to the second modification of the second embodiment.
  • FIG. 20A is a schematic diagram illustrating an example of a boundary surface, a boundary region, and a boundary adjacent region of a display region candidate of an additional image in the second modification of the second embodiment.
  • FIG. 20A is a schematic diagram illustrating an example of a boundary surface, a boundary region, and a boundary adjacent region of a display region candidate of an additional image in the second modification of the second embodiment.
  • FIG. 20B is a diagram illustrating an example of IDs of the partial areas of the boundary area and the boundary adjacent area in the second modification of the second embodiment.
  • FIG. 21 is a diagram illustrating an example of parallax information of the boundary area and the boundary surface adjacent area in the second modification of the second embodiment.
  • FIG. 22 is a block diagram illustrating a detailed functional configuration of a part of the 3D display device according to the second modification of the second embodiment.
  • FIG. 23 is a block diagram illustrating a detailed functional configuration of a part of the three-dimensional display device according to the third modification of the second embodiment.
  • FIG. 24 is a block diagram showing a detailed functional configuration of a part of the three-dimensional display device in Modification 4 of Embodiment 2.
  • FIG. 21 is a diagram illustrating an example of parallax information of the boundary area and the boundary surface adjacent area in the second modification of the second embodiment.
  • FIG. 22 is a block diagram illustrating a detailed functional configuration of a part of the 3D display device according to
  • FIG. 25 is a flowchart showing a detailed operation of the processing operation portion of the three-dimensional display device in Modification 4 of Embodiment 2.
  • FIG. 26 is a flowchart showing the processing operation of the three-dimensional display device in Modification 5 of Embodiment 2.
  • FIG. 27A is a schematic diagram illustrating an example of an input unit according to Modification 5 of Embodiment 2.
  • FIG. 27B is a schematic diagram illustrating an example of a display display for explaining the input unit in the fifth modification of the second embodiment.
  • FIG. 28A is a schematic diagram illustrating an example of a display display for explaining an additional image size input according to the sixth modification of the second embodiment.
  • FIG. 28B is a schematic diagram illustrating an example of a display display for explaining the additional image size input in the sixth modification of the second exemplary embodiment.
  • FIG. 29 is a block diagram illustrating a functional configuration of a three-dimensional display device according to Modification 6 of Embodiment 2.
  • FIG. 30 is a schematic diagram illustrating an example of the stored contents stored in the additional image area storage unit.
  • FIG. 31 is a flowchart showing the processing operation of the three-dimensional display device in Modification 7 of Embodiment 2.
  • FIG. 32A is a flowchart showing a processing operation of the three-dimensional display device in Modification 8 of Embodiment 2.
  • FIG. 32B is a flowchart illustrating the processing operation of the three-dimensional display device according to Modification 8 of Embodiment 2.
  • FIG. 29 is a block diagram illustrating a functional configuration of a three-dimensional display device according to Modification 6 of Embodiment 2.
  • FIG. 30 is a schematic diagram illustrating an example of the stored contents stored in
  • FIG. 33 is a block diagram illustrating a detailed functional configuration of a display area candidate determination unit according to the eighth modification of the second embodiment.
  • FIG. 34 is a flowchart showing the processing operation of the display area candidate determination unit in the eighth modification of the second embodiment.
  • FIG. 35 is a block diagram illustrating a functional configuration of a three-dimensional display device according to Modification 9 of Embodiment 2.
  • FIG. 36 is a flowchart showing the processing operation of the three-dimensional display device in Modification 9 of Embodiment 2.
  • FIG. 37 is a block diagram showing a detailed functional configuration of the display area candidate determination unit in the ninth modification of the second embodiment.
  • FIG. 38A is a schematic diagram illustrating an example of a layout of an additional image in the ninth modification of the second embodiment.
  • FIG. 38B is a schematic diagram illustrating an example of the layout of the additional image in the ninth modification of the second embodiment.
  • FIG. 38C is a schematic diagram illustrating an example of the layout of the additional image in the ninth modification of the second embodiment.
  • FIG. 39 is a flowchart showing the processing operation of the display area candidate determination unit in the ninth modification of the second embodiment.
  • FIG. 40A is a schematic diagram showing an example in which all display area candidates of the additional image are displayed on the display in the modified examples 5 to 9 of the second embodiment.
  • FIG. 40B shows an operation input unit for displaying all the additional image display area candidates on the display and selecting one of the displayed additional image display area candidates in Modifications 5 to 9 of Embodiment 2. It is a schematic diagram which shows an example.
  • FIG. 40A is a schematic diagram showing an example in which all display area candidates of the additional image are displayed on the display in the modified examples 5 to 9 of the second embodiment.
  • FIG. 40B shows an operation input unit for displaying all the additional image display area candidates on
  • FIG. 41 is a block diagram illustrating a functional configuration of the three-dimensional display device according to the third embodiment.
  • FIG. 42 is a diagram illustrating an example of depth difference information for each display area of the additional image according to the third embodiment.
  • FIG. 43 is a flowchart showing the operation of the processing operation portion of the three-dimensional display device in the third embodiment.
  • FIG. 44 is a flowchart showing a detailed operation of the processing operation portion of the 3D display device according to the third embodiment.
  • FIG. 45 is a flowchart showing a detailed operation of the processing operation portion of the 3D display device according to the third embodiment.
  • FIG. 46 is a block diagram illustrating a functional configuration of the three-dimensional display device according to the fourth embodiment.
  • FIG. 47 is a flowchart showing processing operations of the three-dimensional display device in the fourth embodiment.
  • one aspect according to the present disclosure is a three-dimensional display device that simultaneously displays a main image of a three-dimensional image and an additional image that blocks a part of the main image on the screen.
  • a display area candidate determination unit that determines one candidate area from among a plurality of display area candidates on the screen, and the additional image is displayed in the candidate area determined by the display area candidate determination unit
  • a depth difference between the depth of the main image displayed in the boundary area that is an area on the main image within a predetermined distance from the boundary line of the candidate area and the depth of the additional image is determined in advance.
  • a depth matching determination unit that determines whether or not the depth difference is included in a range; and the depth matching determination unit that determines that the depth difference is included in the allowable range, the addition to the candidate area on the main image the image
  • the main image and the additional image are combined by folding and an image composition unit that displays an image obtained as a result of the composition on the screen, and the depth of the main image exceeds a predetermined depth range.
  • a non-conformity possibility region determination unit that determines a first region that may jump out toward the front and a second region in which the depth may be retracted beyond the predetermined depth range;
  • the region candidate determination unit further determines a candidate region that shields the first region and the second region determined by the non-conformity region determination unit.
  • the additional image when the depth difference between the main image and the additional image across the boundary line of the additional image is within the allowable range, the additional image is displayed. Further, for example, it is possible to eliminate the inconsistency in the depth caused by the additional area being displayed in the area that protrudes extremely forward. For this reason, a user's discomfort and fatigue can be prevented.
  • FIG. 1 is a block diagram illustrating a functional configuration of the three-dimensional display device 10 according to the first embodiment.
  • the three-dimensional display device 10 displays a three-dimensional image. That is, the three-dimensional display device 10 displays an image three-dimensionally.
  • the three-dimensional display device 10 displays a three-dimensional image by a head mounted display (HMD) method.
  • the HMD system displays a three-dimensional image on a display close to the user's eyes.
  • a left-eye image and a right-eye image having parallax are used, a right-eye image is displayed on a display close to the user's right eye, and a left-eye image is displayed on a display close to the left eye.
  • the glasses-type stereoscopic display method is a method of displaying a left-eye image and a right-eye image having parallax for a user wearing glasses (for example, liquid crystal shutter glasses or polarized glasses).
  • the three-dimensional display device 10 may display a three-dimensional image by a naked-eye type stereoscopic display method.
  • the naked-eye type stereoscopic display method is a stereoscopic display method that does not use glasses (for example, a parallax barrier method or a lenticular lens method).
  • the three-dimensional display device 10 includes a main image acquisition unit 110, an additional information acquisition unit 120, a depth information generation unit 130, an additional image position storage unit 140, and an additional image size storage unit 150. , A display area candidate determination unit 160, a depth matching determination unit 170, an image composition unit 180, and a display 190.
  • the main image acquisition unit 110 acquires image information (3D image) for 3D display having left and right parallax.
  • the images are images taken simultaneously by two cameras arranged in parallel.
  • the image from one camera is an image for the right eye, and the image from the other camera is an image for the left eye.
  • the image may be an image being captured or recorded in advance.
  • the three-dimensional display image having left and right parallax may be obtained by generating left and right images having parallax by image processing from an image captured by one camera.
  • the additional information acquisition unit 120 acquires additional information that is information accompanying the image information acquired by the main image acquisition unit 110.
  • the additional information is, for example, information synchronized in time with the image information acquired by a sensor other than the camera installed in the vicinity of the camera that captures the main image.
  • the additional information is, for example, a three-dimensional image created separately from the main image.
  • the depth information generation unit 130 obtains left and right parallaxes of the three-dimensional image acquired by the main image acquisition unit 110 and generates depth information of the main image. For example, the depth information generation unit 130 extracts corresponding points between the right-eye image and the left-eye image, calculates the right and left parallax of the corresponding points, and calculates the depth.
  • the additional image position storage unit 140 stores a position when the additional information acquired by the additional information acquisition unit 120 is displayed on the screen of the display 190.
  • the additional image position storage unit 140 stores the coordinates of the three-dimensional space when the three-dimensional image is displayed as the position.
  • the additional image position storage unit 140 may store the display positions of the right-eye image and the left-eye image on the display 190 as the positions.
  • FIG. 2A shows an example of additional image position information stored in the additional image position storage unit 140.
  • FIG. 2B schematically shows an example of three-dimensional coordinates for specifying the additional image position. As shown in FIG.
  • the additional image position storage unit 140 includes an additional image position ID for identifying the position of the additional image (an image indicating additional information), and the barycentric position of the additional image corresponding to the additional image position ID.
  • the center-of-gravity position indicates a point on the coordinate axis configured as shown in FIG. 2B showing a three-dimensional space.
  • the additional image size storage unit 150 stores the size when the additional information acquired by the additional information acquisition unit 120 is displayed on the screen of the display 190 as an additional image.
  • FIG. 3 shows an example of additional image size information stored in the additional image size storage unit 150.
  • the additional image size storage unit 150 stores an additional image size ID for identifying the size information of the additional image, and the vertical length and the horizontal length of the additional image.
  • the shape of the additional image is a rectangle, and the size is specified by the length of the vertical side and the length of the horizontal side.
  • the method of expressing the size of the additional image differs depending on the shape of the additional image. For example, when the shape of the additional image is an ellipse, the size is designated by the major axis and the minor axis.
  • the additional image position storage unit 140 and the additional image size storage unit 150 store the position and size of the additional image, respectively.
  • the position and size of the additional image are stored in one storage unit, for example, an additional image area.
  • the additional image is a polygon
  • FIG. 4 shows an example of the contents stored in the additional image area storage unit when the position and size of the additional image are stored as areas.
  • the additional image is a rectangle whose four sides are parallel to the four sides of the screen of the display 190, and the coordinate positions of the four vertices are stored corresponding to the ID for identifying the region of the additional image.
  • the display area candidate determination unit 160 determines display area candidates for displaying one or more additional information as additional images on the screen of the display 190.
  • a display area means a display area for additional information or an additional image.
  • the depth matching determination unit 170 uses the display region candidate information determined by the display region candidate determination unit 160 and the depth information of the main image generated by the depth information generation unit 130 to display the additional image display region and the main image. Among them, a depth difference larger than a predetermined value or a contradiction in depth is detected with respect to a difference in depth from the peripheral portion of the display area of the additional image.
  • the image composition unit 180 displays the three-dimensional image acquired by the main image acquisition unit 110 on the screen of the display 190, and displays the additional information acquired by the additional information acquisition unit 120 in the display region determined by the display region candidate determination unit 160.
  • the main image and the additional image are combined to be displayed as an additional image on at least one of the candidates.
  • the display 190 displays the image synthesized by the image synthesis unit 180 on the screen.
  • FIG. 5 is a flowchart showing the processing operation of the three-dimensional display device 10 according to the first embodiment.
  • the main image acquisition unit 110 acquires image information for three-dimensional display having left and right parallaxes
  • the additional information acquisition unit 120 acquires additional information corresponding to the main image indicated by the image information (step). S1100).
  • the additional information may be information that is time-synchronized with the main image or information that is not time-synchronized.
  • the display area candidate determination unit 160 determines display area candidates from the size of the additional image stored in the additional image size storage unit 150 and the position of the additional image stored in the additional image position storage unit 140. (Step S1200). It is assumed that one or more pieces of information about the size and position of the additional image are stored, and the display area candidate determination unit 160 determines one or more display area candidates for the additional image. For example, the display area candidate determination method determines the display position by selecting one of the additional image position information stored in the additional image position storage unit 140, and further stores the display position in the additional image size storage unit 150. The size of the additional image is determined by selecting one of the stored additional image size information.
  • the depth matching determination unit 170 extracts a boundary line or a boundary surface of the display area candidate of the additional image determined in step S1200.
  • the boundary surface is a surface in the depth direction orthogonal to the plane of the display 190.
  • the depth matching determination unit 170 identifies a portion adjacent to the boundary line or boundary surface with the additional image in the main image acquired in step S1100, and extracts depth information (step S1300).
  • the depth information generation unit 130 acquires the depth information until the main image acquisition unit 110 acquires the main image in step S1100 and the depth matching determination unit 170 extracts the depth information in step S1300. Is generated and held.
  • the depth matching determination section 170 extracts the depth of the display area of the additional image obtained by the display area candidate determination section 160 from the information on the position of the additional image stored in the additional image position storage section 140, and in step S1300.
  • the depth of the main image of the portion adjacent to the boundary line or the boundary surface with the added image is compared (step S1400).
  • the depth matching determination unit 170 determines whether the depth difference between the main image and the additional image displayed across the boundary line or the boundary surface exceeds a predetermined allowable range (step S1500).
  • the depth difference is expressed, for example, on the coordinate axis of the depth such that the numerical value increases from the pop-out side, that is, from the display 190 to the user side. In this case, if the value obtained by subtracting the depth value of the main image near the boundary from the depth value of the additional image is positive, the additional image jumps to the near side, that is, the user side, and the main image is the additional image. It will be deeper.
  • the depth value of the additional image is smaller, and the main image is in a position where it jumps forward. It is shown that. Since the additional image is displayed while hiding a part of the main image, the hidden main image is in the back, the hidden additional image is in front of the main image, and the main image is overwritten. However, it indicates that there is a depth contradiction that the depth position of the set additional image is deeper than the main image. Since the depth contradiction causes fatigue and sickness of the user, for example, an allowable range is set assuming that a depth contradiction exceeding 1 cm is unacceptable.
  • an allowable range is set assuming that a depth difference exceeding 15 cm is not allowable.
  • the allowable range is ⁇ 1 cm or more and 15 cm or less. If it is determined in step S1500 that the depth difference is outside the allowable range, that is, if yes in step S1500, the process proceeds to step S1600. If it is determined in step S1500 that the depth difference is within the allowable range, that is, if no in step S1500, the process proceeds to step S1700.
  • the allowable range of the depth difference is a fixed value such as ⁇ 1 cm or more and 15 cm or less, but a different allowable range may be set depending on the depth position of the additional image.
  • the allowable range is narrower, and as the depth coordinate of the additional image is smaller and viewed farther from the user, the allowable range of the depth difference is larger. It shall be set as follows.
  • step S1600 the display area candidate determination unit 160 changes the display position of the additional image (step S1600).
  • the display position is changed by selecting a display position that has not been selected as a display position candidate in step S1200 from among the display positions stored in the additional image position storage unit 140.
  • step S1600 the process returns to step S1200.
  • step S1700 the image composition unit 180 synthesizes the main image acquired in step S1100 and the additional image indicating the additional information acquired in step S1100 (step S1700). Specifically, the image composition unit 180 displays the main image on the screen of the display 190, overlaps the main image, and displays the additional image in the display area as the display area candidate determined in step S1200 as the display area. So compositing the images.
  • Display 190 displays the three-dimensional image synthesized in step S1700 (step S1800). After displaying the three-dimensional image on the display 190 in step S1800, the process returns to step S1100. By repeating step S1100 to step S1800, the three-dimensional display device 10 acquires an image and additional information for each processing unit, and continues displaying the image.
  • the present embodiment can also cope with the case where the contents of the main image and the additional image are moving images.
  • the three-dimensional display device 10 displays additional information (additional image) superimposed on or adjacent to a three-dimensional image
  • additional information additional image
  • the boundary of the display area of the additional image is displayed.
  • the display area of the additional image is determined avoiding a state where there is a large difference in depth between the inside and the outside, or a state where there is a contradiction in depth. Thereby, it is possible to prevent a sense of incongruity or fatigue due to a difference in depth or an inconsistency in depth.
  • the allowable range is set by the difference in depth, but can be set by the difference in parallax.
  • 6A and 6B schematically show the relationship between the main image displayed on the display 190, the depth position of the additional image, and the parallax.
  • FIG. 6A shows a state in which there is no contradiction in depth and an additional image is displayed in front of the main image.
  • FIG. 6B shows a state in which the depth is inconsistent and the additional image is displayed without being hidden by the front main image even though the additional image is displayed behind the main image.
  • the coordinates on the display are set so that the value on the right side is large toward the display and the value is small on the left side.
  • the point displayed on the display surface has a parallax of 0, which is shown in FIGS. 6A and 6B.
  • the parallax at a point that appears behind the display surface is a positive value.
  • the parallax at a point that is visible in front of the display surface has a negative value as shown by the right-pointing arrows in FIGS. 6A and 6B. If the value obtained by subtracting the parallax outside the display area of the additional image from the parallax inside the display area of the additional image is negative, the depth inside the display area of the additional image is the display area of the additional image. Shallower than the outside depth. That is, the display area of the additional image is in front of the outside of the display area, the additional image is presented in front of the main image acquired by the main image acquisition unit 110, and there is no inconsistency in depth. On the other hand, as shown in FIG.
  • the value obtained by subtracting the parallax outside the display area from the parallax inside the display area is negative, the value obtained by subtracting the parallax outside the display area from the parallax inside the display area is small (the absolute value is large) This indicates that the difference in parallax is widened, and that the difference in depth is increased.
  • the allowable range of the depth can be set by the parallax.
  • the depth matching determination unit 170 performs a binary determination as to whether or not the depth difference between the main image and the additional image across the boundary surface of the additional image is outside the allowable range.
  • the fitness may be obtained according to the size of the difference between the depth difference between the main image and the additional image and the allowable range, and the display area of the additional image may be adjusted according to the fitness.
  • the fitness level is indicated by a function indicating the relationship between the depth difference between the main image and the additional image and the fitness level, a correspondence table, or the like.
  • the three-dimensional image (main image) and the additional image are not specific types of images and information.
  • the three-dimensional image is an endoscopic surgery image, and the additional information indicated by the additional image is during surgery. Vital information such as heart rate and blood pressure may be included.
  • the additional image may further include image information such as MRI (Magnetic Resonance Imaging) or CT (Computed Tomography) that is imaged before surgery.
  • the three-dimensional image is a real-time image of the affected area and its periphery during the operation by an endoscope using a stereo camera, and the additional information is imaged before the operation and vital information of the patient during the operation. It is the information of the stored MRI image.
  • the type of additional information is an example, and other information may be displayed as additional information.
  • FIG. 7 is a block diagram illustrating a functional configuration of the three-dimensional display device 20 according to the second embodiment.
  • the main image acquisition unit 110 is replaced with the endoscope camera 111
  • the additional information acquisition unit 120 is replaced with the vital sensor 121
  • the MRI image storage unit 122 is replaced with the three-dimensional image composition unit 123, the display prohibited area storage unit 210, and the input unit 200. Except for the addition, it is the same as FIG. 1 of the first embodiment. Parts similar to those in FIG. 1 are denoted by the same reference numerals as those in FIG.
  • the three-dimensional display device 20 includes an endoscope camera 111, a vital sensor 121, an MRI image storage unit 122, a three-dimensional image composition unit 123, a depth information generation unit 130, an additional image position storage unit 140, and an additional image.
  • a size storage unit 150, a display area candidate determination unit 160, a depth matching determination unit 170, an image composition unit 180, a display 190, a display prohibited area storage unit 210, and an input unit 200 are provided.
  • the endoscope camera 111 is an endoscope camera for a three-dimensional image including a stereo camera.
  • the vital sensor 121 is a sensor attached to the patient's body during the operation, such as a thermometer, an electrocardiograph, a sphygmomanometer, a blood oximeter, an electroencephalograph or the like.
  • the vital sensors are an electrocardiograph and a sphygmomanometer.
  • the MRI image storage unit 122 stores three-dimensional image information including an image of an affected part to be operated, which is recorded by the MRI system before surgery.
  • image information recorded by the MRI system is used as image information recorded before surgery, but X-ray image information, CT image information, or the like may be used.
  • the three-dimensional image composition unit 123 synthesizes the image information stored in the MRI image storage unit 122 into an image in a format that can be displayed on the display 190 as a designated cut surface (slice) or a designated range of stereoscopic images. .
  • the display prohibition area storage unit 210 stores information indicating an area in which an affected part that is a predetermined surgical target is imaged and information indicating a display prohibition area of an additional image.
  • the user that is, the surgeon, needs to observe the affected area during the operation. Therefore, the additional image should be displayed outside the area where the affected area is displayed.
  • the display prohibition area of the additional image is a rectangular fixed area centered on the screen center of the display 190, and the display prohibition area storage unit 210 uses a rectangle as information indicating the display prohibition area of the additional image.
  • the coordinate positions of the four vertices are stored.
  • the endoscopic camera 111 is installed by a guide pipe at a position where it is easy to view the affected area, which is an operation target.
  • the endoscope camera 111 can perform operations of zooming in closer to the affected area and zooming out away from the affected area along the axial direction of the guide pipe. Since the guide pipe is fixed during the operation, the endoscope camera 111 does not move in a direction different from the axis of the guide pipe.
  • the display prohibited area is a fixed area, but the area may be changed depending on the distance between the camera and the affected area.
  • the display prohibited area storage unit 210 stores information indicating the display prohibited area corresponding to the distance between the camera and the affected part.
  • the display prohibited area storage unit 210 stores the coordinates of each vertex of the display prohibited area for each range of the distance between the camera and the affected part.
  • the input unit 200 is a processing unit that inputs an instruction as to whether or not to display an additional image by the user and a condition of contents to be displayed as the additional image.
  • the input unit 200 uses the input unit 200 to instruct conditions such as whether to display a slice as a two-dimensional image, a three-dimensional image, or which range to display for an MRI image. be able to.
  • the two types of additional information are: Assume that the images are displayed in the respective display areas as separate additional images.
  • vital information and MRI image information are displayed as separate additional images.
  • a plurality of types of additional information may be combined to generate and display one additional image. good.
  • FIG. 8 is a flowchart showing the processing operation of the three-dimensional display device 20 in the second embodiment. Except for the addition of step S1110 and step S1210, this is the same as FIG. 5 of the first embodiment. Portions similar to those in FIG. 5 are denoted by the same reference numerals as those in FIG.
  • the endoscopic camera 111 acquires image information for 3D display having left and right parallax as a main image, and the vital sensor 121 measures the current patient's electrocardiogram and blood pressure as additional information (step). S1100).
  • the input unit 200 acquires a display control signal based on a user input and detects an instruction input for displaying an additional image (step S1110). If an additional image display instruction input is detected in step S1110, that is, if yes in step S1110, the process proceeds to step S1200. If an instruction input for displaying an additional image is not detected in step S1110, that is, if no in step S1110, the process proceeds to step S1700. In step S1700, the image composition unit 180 synthesizes an endoscope camera image that is a main image without an additional image as a display image.
  • step S1200 the display area candidate determination unit 160 selects a display area candidate from the size of the additional image stored in the additional image size storage unit 150 and the position of the additional image stored in the additional image position storage unit 140. Determine (step S1200). For example, the display area candidate determination unit 160 selects an unselected combination from combinations of the size of the additional image stored in the additional image size storage unit 150 and the position of the additional image stored in the additional image position storage unit 140. By arbitrarily selecting one from the above, an area indicated by the selected combination is determined as a display area candidate.
  • the display area candidate determination unit 160 determines whether or not the display area candidate determined in step S1200 includes the prohibited area stored in the display prohibited area storage unit 210 (step S1210). If it is determined in step S1210 that the display area candidate includes a display prohibited area, that is, if yes in step S1210, the process proceeds to step S1600. In step S1600, display area candidate determination section 160 moves the display position of the additional image, and stores the moved display position in additional image position storage section 140 (step S1600). That is, the display area candidate determination unit 160 may move the display position of the additional image to a position where the display area candidate does not include the display prohibition area, or a predetermined distance in a predetermined direction. Only the display position of the additional image may be moved. If it is determined in step S1210 that the display area candidate does not include a display prohibited area, that is, if no in step S1210, the process proceeds to step S1300.
  • step S1300 the depth matching determination unit 170 extracts the boundary line or boundary surface of the additional image display area determined in step S1200, and extracts the depth information around the boundary line or boundary surface (step S1300).
  • the depth suitability determination unit 170 extracts the depth of the display area of the additional image obtained by the display area candidate determination unit 160 from the information on the position of the additional image stored in the additional image position storage unit 140, in step S1300.
  • the depth of the main image of the portion adjacent to the boundary line or boundary surface with the additional image is compared (step S1400).
  • the depth matching determination unit 170 determines whether the depth difference between the main image and the additional image displayed across the boundary line or the boundary surface exceeds a predetermined allowable range (step S1500).
  • the allowable range is not less than ⁇ 1 cm and not more than 15 cm as in the first embodiment. If it is determined in step S1500 that the depth difference is outside the allowable range, that is, if yes in step S1500, the process proceeds to step S1600. If it is determined in step S1500 that the difference in depth is within the allowable range, that is, if no in step S1500, the process proceeds to step S1700.
  • step S1600 the display area candidate determination unit 160 moves the display position of the additional image, and stores the moved display position in the additional image position storage unit 140 (step S1600). After step S1600, the process returns to step S1200.
  • step S1700 the image composition unit 180 synthesizes the main image acquired in step S1100 and the additional image indicating the additional information acquired in step S1100 (step S1700). Specifically, the image composition unit 180 displays the main image on the screen of the display 190, overlaps the main image, and displays the additional image in the display area as the display area candidate determined in step S1200 as the display area. So compositing the images.
  • Display 190 displays the three-dimensional image synthesized in step S1700 (step S1800). After displaying the three-dimensional image on the display 190 in step S1800, the process returns to step S1100. By repeating step S1100 to step S1800, the 3D display device 20 acquires the main image and the additional information for each processing unit, and continues to display the 3D image.
  • the present embodiment can also cope with the case where the contents of the main image and the additional image are moving images.
  • ⁇ Depth Suitability Determination Unit 170 Details of Steps S1300-S1500>
  • the number of additional images may be one or three or more.
  • One of the additional images of the second embodiment is a graph of the cardiac potential and blood pressure measured by the vital sensor 121. This is a vital information image here.
  • the horizontal axis represents elapsed time
  • the vertical axis represents blood pressure display unit hectopascal (HPa) for displaying blood pressure and heart potential display unit for displaying cardiac potential.
  • HPa blood pressure display unit hectopascal
  • ⁇ V microvolt
  • the graph is synthesized as a two-dimensional image.
  • Another additional image is MRI image information recorded before surgery, and is a three-dimensional image composed of CG (computer graphics). This is called a CG image here.
  • the MRI image storage unit 122 stores CG image image information including three-dimensional information such as polygon data. Based on the information stored in the MRI image storage unit 122, the three-dimensional image composition unit 123 determines a range to be displayed as a CG image and a viewpoint of the CG image, thereby obtaining a three-dimensional CG image viewed from the viewpoint. Can be generated.
  • the vital information image is displayed as a planar image placed at a position protruding 2 cm from the display plane.
  • the CG image is displayed at a depth position with the display plane as the center of gravity of the three-dimensional object.
  • An image is generated so that the depth distance of the three-dimensional object by CG is constant.
  • the depth distance is 6 cm in total, 3 cm from the display plane to 3 cm in front of the display plane.
  • FIG. 9 is a block diagram showing a detailed configuration of the part of the three-dimensional display device 20 in the second embodiment.
  • the depth matching determination unit 170 includes a boundary extraction unit 171, a peripheral depth extraction unit 172, an additional image depth storage unit 173, a depth difference calculation unit 174, a reference storage unit 175, and a determination unit 176.
  • the boundary extraction unit 171 determines each additional image from the display region of the additional image determined by the display region candidate determination unit 160 in step S1200 and the depth information of each additional image stored in the additional image depth storage unit 173.
  • a boundary surface with the main image is obtained for the display area. For example, when the additional image is a rectangle in which four sides of the additional image are parallel to the four sides of the display, the boundary surfaces are obtained as the xz plane and the yz plane on the coordinates shown in FIG. 2B. If the additional image is not a rectangle whose four sides are parallel to the four sides of the display, the boundary surface is a plane orthogonal to the display plane and parallel to the z-axis.
  • the peripheral depth extraction unit 172 extracts the depth information of the main image around the boundary surface from the depth information of the main image generated by the depth information generation unit 130 and the boundary surface information obtained by the boundary extraction unit 171. Further, the peripheral depth extraction unit 172 extracts the depth information of the additional image around the boundary surface from the depth information of each additional image stored in the additional image depth storage unit 173.
  • the depth difference calculation unit 174 determines the depth of the main image and the depth of the additional image for each boundary plane between the depth of the main image and the depth of the additional image around the boundary surface of the additional image area extracted by the peripheral depth extraction unit 172. Calculate the difference.
  • the depth difference is obtained as follows, for example.
  • the depth difference calculation unit 174 determines, for each of the main image side and the additional image side across one boundary surface, one or more contact positions between the image plane and the boundary surface in the case of an in-image object or a two-dimensional image. Ask.
  • the depth difference calculation unit 174 extracts the z-axis coordinate value at the contact position for each of the main image side and the additional image side.
  • the depth difference calculation unit 174 extracts the maximum z-axis coordinate value of the contact position for each of the main image side and the additional image side.
  • the depth difference calculation unit 174 calculates a value obtained by subtracting the maximum value on the main image side from the maximum value on the additional image side as the depth difference.
  • the depth difference calculation unit 174 outputs the maximum value of the depth difference to the determination unit 176 as the depth difference of the region.
  • the depth difference is determined based on the maximum z-axis coordinate value of the contact position with the boundary surface, but other values such as an average value of the z-axis coordinate values may be used.
  • the depth difference is obtained from the coordinate value of the contact position with the boundary surface, but a three-dimensional coordinate region including the boundary surface is set, and the z-axis coordinate value of the points constituting the object in the coordinate region
  • the depth difference may be calculated based on As for the coordinates of the object in the coordinate area, values such as the maximum value and average value of the z axis can be used.
  • the reference storage unit 175 stores a predetermined allowable range of depth difference.
  • the determination unit 176 compares the depth difference across the boundary surface calculated by the depth difference calculation unit 174 in step S1400 with the permissible range stored in the reference storage unit 175, and determines whether or not the boundary of the additional image display area is inside or outside. It is determined whether the difference in image depth is outside the allowable range or within the allowable range.
  • FIG. 10D is an example of an image acquired by the stereo endoscope camera 111 as the main image.
  • 10A is an example of candidate area A
  • FIG. 10B is an example of candidate area B
  • FIG. 10C is an example of candidate area C.
  • the display area candidate determination unit 160 determines three candidate areas, candidate area A, candidate area B, and candidate area C. One or more candidate regions may be used.
  • the display area candidate determination unit 160 determines display area candidates. The position information of each candidate area is stored in the additional image position storage unit 140.
  • Step S1300 the depth matching determination unit 170 extracts a boundary line or a boundary surface of the display area candidate of the additional image determined in step S1200, and extracts depth information.
  • the peripheral depth extraction unit 172 extracts the main information around the boundary surface from the depth information of the main image generated by the depth information generation unit 130 and the boundary surface information obtained by the boundary extraction unit 171. Extract image depth information.
  • FIG. 11A is a schematic diagram showing the peripheral portion of the boundary surface of the candidate region A shown in FIG. 10A, that is, the boundary region.
  • FIG. 11B is the image for the left eye of FIG. 11A.
  • FIG. 11C is the right-eye image of FIG. 11A.
  • FIG. 11B shows a divided area obtained by dividing the boundary area of FIG. 11A.
  • the depth information generation unit 130 extracts corresponding points between the left eye image and the right eye image.
  • the extraction of the corresponding points may be performed between step S1100 and step S1300.
  • Corresponding points are obtained, for example, by extracting the edges of the left-eye image and right-eye image and taking correspondences from the positions and shapes of the edges extracted in the left and right images.
  • the corresponding points may be obtained by obtaining the color regions of the left and right images and taking the correspondence between the color regions.
  • Corresponding points a and b in FIGS. 11B and 11C are examples of corresponding points between the left-eye image and the right-eye image.
  • Corresponding point a is at the same position on the left and right images, and corresponding point b is different between the left and right images on the screen.
  • the depth information generation unit 130 generates information on the parallax at the left and right corresponding points drawn on the screen, that is, information on the horizontal position shift in the left and right images.
  • the peripheral depth extraction unit 172 extracts corresponding points in the boundary region of one of the left and right images from the corresponding points in the left and right images. Here, the corresponding points in the boundary region in the left eye image are extracted.
  • the peripheral depth extraction unit 172 obtains a difference in horizontal position between a specific point in the boundary region of the left eye image and a point in the right eye image corresponding to the point.
  • the difference in the horizontal position is expressed as, for example, a difference in the x coordinate on the xy plane in the coordinate system as shown in FIG. 2B.
  • a value obtained by subtracting the x-coordinate value of the point on the left-eye image from the x-coordinate value of the point on the right-eye image is defined as a horizontal position shift, that is, parallax.
  • the parallax is a positive value
  • the point appears behind the screen plane
  • the parallax is a negative value
  • FIG. 12A is a schematic diagram showing a boundary region set on the left-eye image.
  • the boundary area is divided into partial areas, and an ID is set for each divided area.
  • IDs from D1,1 to D7,10 are shown.
  • FIG. 12B shows an example of the parallax for each divided region obtained by the peripheral depth extraction unit 172 from the corresponding points extracted in the boundary region of the left-eye image.
  • the peripheral depth extraction unit 172 outputs information as illustrated in FIG. 12B to the depth difference calculation unit 174.
  • the depth difference calculation unit 174 determines the depth of the main image and the depth of the additional image for each boundary plane between the depth of the main image and the depth of the additional image around the boundary surface of the additional image area extracted by the peripheral depth extraction unit 172. Calculate the difference. For example, for the boundary region from D1,1 to D1,10 in FIG. 12A, from the maximum parallax from D1,1 to D1,10 which is the boundary region of the portion that forms the xz plane of the boundary between the additional image and the main image Depth is required. The depth difference calculation unit 174 sets the difference between the obtained depth of the boundary area and the depth of the additional image as the depth difference of the xz boundary surface of the candidate area A of the additional image.
  • the depth difference calculation unit 174 performs the same calculation for the regions from D1, 10 to D7, 10, and calculates the depth difference of the yz boundary surface of the candidate region A.
  • the depth of the boundary region is obtained from the maximum parallax of the boundary region constituting the boundary surface, but a value such as an average parallax of the boundary region constituting the boundary surface may be used.
  • the three-dimensional display device 20 displays the additional image display area when displaying the additional image superimposed on or adjacent to the three-dimensional image obtained by the stereo endoscope.
  • the display area of the additional image is determined by avoiding a state where there is a large difference in depth between the inside and outside of the boundary of the image and a state where there is a contradiction in the depth.
  • an affected area to be operated is displayed near the center of the screen, whereas a forceps arm is displayed around the screen. There are many cases.
  • the forceps are often inserted toward the affected part from the same direction as the stereo endoscope, and the arm is imaged as an object that extends long in the depth direction.
  • the additional image at the depth position close to the display plane is displayed on the image of the forceps that protrudes largely in front of the screen, the additional image is displayed so as to be embedded in the arm of the forceps.
  • the display area candidate determination unit 160 determines display area candidates that do not include the additional image display prohibition area stored in the display prohibition area storage unit 210, and the depth matching determination unit 170 prohibits display. Although the area information was not used, the depth matching determination unit 170 obtains an index of the distance from the display prohibited area for each display area candidate, and prioritizes display area candidates that are far from the display prohibited area. It is also good.
  • FIG. 13A is a schematic diagram showing the candidate area A, the boundary area, and the additional image display prohibited area on the main image.
  • FIG. 13B is an example of depth difference information for each candidate region and distance information from the prohibited region that the display region candidate determination unit 160 outputs to the depth suitability determination unit 170. Information on the distance from the prohibited area and the depth difference between the main image and the additional image around the boundary surface is included for each candidate area shown in FIGS. 10A, 10B, and 10C.
  • the candidate area C is less than ⁇ 1 cm, which is the lower limit of the allowable range of depth difference, and thus is not selected as the display area for the additional image.
  • the candidate area B has a smaller depth difference and is suitable as a display area for an additional image.
  • the candidate area B is smaller in distance from the additional image display prohibited area than the candidate area A. For example, for the distance from the additional image display prohibited area, 5 is added to the depth difference up to 50 pixels, 3 is added up to 75 pixels, 2 is added up to 100 pixels, and 1 is added up to 200p. Then.
  • the depth suitability determination unit 170 selects the candidate area A as the optimum area as the display area of the additional image.
  • the depth difference correction value based on the distance from the additional image display prohibited area and the correction method may be other methods.
  • the depth matching determination unit 170 determines whether or not the difference between the depth of the main image and the depth of the additional image in the vicinity of the boundary surface of the candidate area of the additional image display area is within an allowable range. If there is a depth difference slightly exceeding the allowable range, a buffer area can be displayed by adding a thicker frame to the display area of the additional image and providing a buffer area for the depth difference. The depth difference may be determined as an important region. Slightly exceeding the allowable range indicates, for example, a case where the amount of depth difference exceeding the allowable range, that is, the difference between the depth difference and the allowable range is equal to or less than a predetermined value.
  • FIG. 14A shows an additional image when the depth matching determination unit 170 determines that the difference between the depth of the main image and the depth of the additional image in the vicinity of the boundary surface of the additional image display area is within the allowable range.
  • the width of the frame is small.
  • FIG. 14B illustrates an additional image when the depth matching determination unit 170 determines that the difference between the depth of the main image and the depth of the additional image in the vicinity of the boundary surface of the additional image display area is outside the allowable range and that the buffer area is necessary. Show.
  • the width of the frame of the additional image is thick and serves as a buffer area against the difference in depth between the inside and outside of the frame.
  • the additional image can be reduced and displayed to make the frame thick. Further, when the occlusion area of the main image may be enlarged, the frame can be made thick without changing the size of the additional image. In the example of FIG. 14B, the additional image is reduced and the shielding area is enlarged.
  • the endoscope camera 111 does not change the imaging position, and does not change the distance between the endoscope camera 111 and the affected area, that is, does not zoom in or zoom out. In this modification, a case where the endoscope camera 111 changes the distance from the affected part will be described.
  • the endoscope camera 111 changes the distance from the affected part, the depth information of the three-dimensional image changes.
  • an area where the shielding by the additional image is prohibited centering on the affected area is enlarged or reduced. Therefore, the display area of the additional image needs to change.
  • the distance from the camera to the affected area is calculated from the image acquired from the endoscopic camera 111, the display prohibition area of the additional image is determined according to the distance, and the display area of the additional image is displayed. A method of determining the will be described.
  • FIG. 15 is a block diagram illustrating a functional configuration of the three-dimensional display device 20 according to the first modification of the second embodiment.
  • the display prohibited area storage unit 210 is replaced with the display prohibited area storage unit 211, and the prohibited area determination unit 212 is added, and is the same as the 3D display device 20 of the second embodiment shown in FIG. 7 that are the same as those in FIG.
  • the three-dimensional display device 20 includes an endoscope camera 111, a vital sensor 121, an MRI image storage unit 122, a three-dimensional image composition unit 123, a depth information generation unit 130, an additional image position storage unit 140, and an additional image Image size storage unit 150, display region candidate determination unit 160, depth matching determination unit 170, image composition unit 180, display 190, display prohibition region storage unit 211, prohibition region determination unit 212, and input unit 200 Is provided.
  • the display prohibition area storage unit 211 stores an area where display of additional images is prohibited.
  • the prohibited area is around the center of the screen.
  • the affected area which is the target of surgery, is photographed around the center of the screen, but when the endoscope camera 111 approaches the affected area, a relatively wide area of the screen becomes an image around the affected area, and the additional image The display prohibition area becomes wider.
  • the display prohibition area storage unit 211 stores a display prohibition area of the additional image corresponding to the distance between the endoscope camera 111 and the object at the center of the screen.
  • FIG. 16 shows an example of the contents stored in the display prohibited area storage unit 211.
  • a range of the distance between the endoscope camera 111 and the object at the center of the screen and a display prohibited area corresponding to the distance range are stored.
  • the region is indicated by the coordinates of the three-dimensional image as shown in FIG. 2B.
  • the display prohibition area is shown as an area on the xy plane, and the value of the z axis is arbitrary.
  • a columnar area perpendicular to the display plane is a display prohibited area.
  • the prohibited area determination unit 212 obtains the distance between the endoscope camera 111 and the object at the center of the screen according to the depth information of the main image output from the depth information generation unit 130.
  • the prohibited area determination unit 212 extracts a display prohibited area corresponding to the distance between the endoscope camera 111 and the object at the center of the screen from the information stored in the display prohibited area storage unit 211 and prohibits display of the additional image. Determine the area.
  • the display area of the additional image can be determined in response to a change in the area in which shielding by the additional image is prohibited due to the zoom-in or zoom-out operation of the endoscope camera 111.
  • FIG. 17 is a block diagram showing details of a part of the three-dimensional display device 20 of the first modification of the second embodiment.
  • the depth information generation unit 130 includes a corresponding point extraction unit 131, a parallax calculation unit 132, and a depth calculation unit 133.
  • the corresponding point extraction unit 131 obtains corresponding points between the right-eye image and the left-eye image from the stereo three-dimensional image acquired by the endoscope camera 111. That is, a point obtained by capturing the same point of the same subject in the right-eye image and the left-eye image is extracted.
  • a method for extracting corresponding points for example, a correlation method for obtaining corresponding points from the correlation of luminance distributions of left and right images, or a method for obtaining corresponding points by performing edge extraction on the left and right images can be used.
  • the parallax calculation unit 132 extracts the position in the right image and the position in the left image for each corresponding point extracted by the corresponding point extraction unit 131, and calculates the position in the horizontal direction in the left and right images. Find the difference.
  • the horizontal direction is the x-axis
  • the vertical direction is the y-axis
  • the coordinate axis has the center of gravity of the display as the origin
  • the right direction is the positive x-axis
  • the left direction is the negative x-axis
  • the upward direction is
  • the corresponding points in the left and right images are shown according to the xy plane coordinates where the y-axis is positive and the downward direction is negative on the y-axis.
  • the parallax is calculated by subtracting the x-coordinate value of the left-eye image from the x-coordinate value of the right-eye image of the corresponding point. If the object is at a position on the display plane, the parallax is 0, and if the object is at a position protruding from the display plane, the parallax is a negative value. If the object is at a position that is pulled back from the display plane, the parallax is a positive value.
  • the depth calculation unit 133 calculates the distance between the endoscope camera 111 and the object at the time of imaging and the depth position of the object in the image at the time of image display based on the parallax calculated by the parallax calculation unit 132.
  • the depth calculation unit 133 outputs the distance between the endoscope camera 111 and the object at the time of imaging to the prohibited area determination unit 212, and outputs the depth position of the object in the image at the time of image display to the depth matching determination unit 170.
  • the distance between the endoscope camera 111 and the screen center object, that is, the affected part is calculated using the parallax of the stereo three-dimensional image.
  • the distance between the endoscope camera 111 and the screen center object may be obtained from the size of the object in the image.
  • the display prohibited area storage unit 211 stores a display prohibited area corresponding to the distance between the endoscope camera 111 and the object, but the display prohibited area storage unit 211 stores the display prohibited area. Similarly to the unit 210, only the standard display prohibited area may be stored. In this case, the prohibited area determination unit 212 enlarges the size of the display prohibited area stored in the display prohibited area storage unit 211 based on the ratio of the distance between the endoscope camera 111 and the object and the standard distance. Or you may reduce.
  • an additional image display prohibited area corresponding to the distance between the camera and the affected area is stored in the display prohibited area storage unit 211, and the distance between the camera and the affected area is calculated from the image acquired by the endoscope camera 111. Then, the display prohibition area of the additional image corresponding to the distance is selected.
  • the distance between the endoscopic camera 111 and the affected area changes, that is, the endoscopic camera 111 zooms in or out, and the image area between the affected area and its surrounding area that should not be shielded during the operation. Even if changes, the main image and the additional image are displayed without the additional image blocking the affected part and its peripheral part.
  • the depth of the additional image is fixed, but in the present modification, the depth of the additional image changes depending on the display content.
  • the depth matching determination unit 170 extracts only the depth range of the main image from the boundary surface of the display area of the additional image and the depth of the surrounding area, and determines the depth of the predetermined additional image. A comparison was made. However, when the depth range of the additional image changes with the display content, it is necessary to calculate and compare the depth range of the additional image.
  • FIG. 18 is a block diagram illustrating a functional configuration of the three-dimensional display device 20 according to the second modification of the second embodiment. Except that the 3D image composition unit 123 is replaced with a 3D image composition unit 124, the display area candidate determination unit 160 is replaced with a display area candidate determination unit 260, and the depth adaptation determination unit 170 is replaced with a depth adaptation determination unit 270. This is the same as the three-dimensional display device 20 of the second embodiment shown in FIG. 7 that are the same as those in FIG.
  • the three-dimensional display device 20 includes an endoscope camera 111, a vital sensor 121, an MRI image storage unit 122, a three-dimensional image composition unit 124, a depth information generation unit 130, an additional image position storage unit 140, and an additional image
  • the image size storage unit 150, the display region candidate determination unit 260, the depth matching determination unit 270, the image composition unit 180, the display 190, the display prohibition region storage unit 210, and the input unit 200 are provided.
  • the display area candidate determination unit 260 selects the size of the additional image from the size information of the additional image stored in the additional image size storage unit 150 in accordance with the size instruction information of the additional image input from the input unit 200. Further, the display area candidate determination unit 260 adds the additional image based on the information on the additional image position stored in the additional image position storage unit 140 and the information on the additional image display prohibited area stored in the display prohibited area storage unit 210. The display region candidates are determined, and information indicating the determined candidates is output to the depth matching determination unit 270 and the three-dimensional image composition unit 124.
  • the three-dimensional image composition unit 124 receives the image information stored in the MRI image storage unit 122 from the input unit 200, for example, the display range, the display magnification, and the type of MRI image (whether it is a two-dimensional image or a three-dimensional image). ) And an image that can be displayed in the display area of the additional image determined by the display area candidate determination unit 260.
  • the three-dimensional image synthesis unit 124 further outputs the depth information of the synthesized image to the depth matching determination unit 270.
  • the depth matching determination unit 270 extracts the boundary surface of the additional image display region based on the display region candidate information determined by the display region candidate determination unit 260, and the depth of the main image generated by the depth information generation unit 130 The depth of the main screen around the boundary surface is extracted from the information.
  • the depth matching determination unit 270 further extracts the depth information of the additional image around the boundary surface from the depth information of the image synthesized by the three-dimensional image synthesis unit 124.
  • the depth matching determination unit 270 compares the depth difference between the main screen side and the additional image side of the boundary surface of the extracted additional image display area, and detects a depth difference larger than a predetermined value or a depth contradiction. .
  • FIG. 19 is a block diagram showing details of a part of the three-dimensional display device 20 according to the second modification of the second embodiment.
  • FIG. 19 is the same as FIG. 9 of the second embodiment except that the peripheral depth extraction unit 172 is replaced with the peripheral depth extraction unit 272 and the additional image depth storage unit 173 is eliminated.
  • the same parts as those in FIG. 9 are denoted by the same reference numerals, and description thereof is omitted.
  • the depth matching determination unit 270 includes a boundary extraction unit 171, a peripheral depth extraction unit 272, a depth difference calculation unit 174, a reference storage unit 175, and a determination unit 176.
  • the peripheral depth extraction unit 272 extracts the depth information of the main image around the boundary surface from the depth information of the main image generated by the depth information generation unit 130 and the boundary surface information obtained by the boundary extraction unit 171. Further, the peripheral depth extraction unit 272 extracts the depth information of the additional image around the boundary surface from the depth information of the additional image generated by the three-dimensional image synthesis unit 124 and the boundary surface information obtained by the boundary extraction unit 171. .
  • FIG. 20A shows an additional image display candidate region, a boundary region on the main image that is a peripheral region of the additional image display region, and a boundary surface adjacent region that is a peripheral region on the additional image side boundary surface in the main image. It is.
  • FIG. 20B shows an example of each divided region and its ID for the boundary region and the boundary surface adjacent region in FIG. 20A.
  • the method for obtaining the depth of the boundary area is the same as in the second embodiment.
  • a method for calculating the depth information of the boundary surface adjacent region will be described.
  • the three-dimensional image composition unit 124 acquires information on the display area candidate display area of the additional image from the display area candidate determination unit 260 and displays image information for displaying a three-dimensional image by computer graphics in the designated display area. Is generated.
  • the image information includes corresponding points of the left-eye image and right-eye image and disparity information for each corresponding point.
  • the peripheral depth extraction unit 272 borders an area within a predetermined distance from a boundary surface with the main image, for either one of the left-eye image and the right-eye image. Extracted as a surface adjacent region.
  • the peripheral depth extraction unit 272 divides the boundary surface adjacent region into partial regions as shown in FIG. 20B, for example.
  • the boundary surface adjacent region is set on the image for the left eye, and the partial region (boundary region) C1 to the partial region (boundary region) C3 are set.
  • the peripheral depth extraction unit 272 calculates the parallax between the points constituting the object displayed in the boundary surface adjacent region and the corresponding points on the right-eye image. Extract.
  • the peripheral depth extraction unit 272 calculates the maximum value of the parallax for each partial region with respect to the parallax at each point of the object.
  • the maximum value is used as the representative value of the parallax of the partial area, but other statistical values such as an average may be used.
  • the width of the depth is wide and the change of the depth is severe. For this reason, the difference in depth may be large between adjacent boundary regions. Therefore, the depth in the boundary region can be accurately calculated by reducing the size of the boundary region.
  • the depth width is narrower and the change in depth is slower than in the main image. For this reason, even if the size of the boundary surface adjacent region is increased to some extent, the depth in the boundary surface adjacent region can be accurately calculated.
  • FIG. 21 is an example of information output by the peripheral depth extraction unit 272.
  • the maximum parallax value for each partial area is extracted as a representative value of the parallax of the area.
  • the depth difference calculation unit 174 calculates the parallax with the maximum absolute value of the parallax from the boundary areas D1,1 to D1,4 and the parallax of the boundary surface adjacent area C1 respectively. The depth position of the area is calculated, and the depth difference between the boundary area on the main image side and the boundary surface adjacent area on the additional image side is obtained. Similarly, the depth difference calculation unit 174 obtains the depth differences between the boundary regions D1, 5 to D1, 10 and the boundary surface adjacent region C2, and the boundary regions D2, 10 to D7, 10 and the boundary surface adjacent region C3.
  • FIG. 22 is a block diagram showing details of a part of the three-dimensional display device 20 according to the second modification of the second embodiment.
  • the display area candidate determination unit 260 includes an additional image position selection unit 261, an additional image size selection unit 262, and an area determination unit 263.
  • the additional image position selection unit 261 selects information on the number of additional image positions designated by the input unit 200 from the information on the positions of the additional images stored in the additional image position storage unit 140.
  • the additional image size selection unit 262 selects the size information of the additional image from the information stored in the additional image size storage unit 150 according to the information on the size of the additional image specified by the input unit 200.
  • the area determination unit 263 determines a candidate area for displaying the additional image based on the position of the additional image selected by the additional image position selection unit 261 and the size of the additional image selected by the additional image size selection unit 262.
  • the data is output to the three-dimensional image composition unit 124 and the depth matching determination unit 270.
  • the display area candidate determination unit 260 determines additional image area candidates according to the information on the size of the additional image among the display conditions of the additional image input from the input unit 200, while the three-dimensional image composition unit 124 According to the display condition of the additional image input from 200, the additional image is synthesized with the image size determined by the display area candidate determination unit 260.
  • the depth matching determination unit 270 extracts the depth information on the main image side of the boundary surface of the additional image display area from the depth information generation unit 130 and the depth information on the additional image side from the three-dimensional image synthesis unit 124, respectively. It is determined whether or not the depth difference across the boundary surface of the display area is within the applicable range.
  • the display range of the additional image is set so that the difference in depth across the boundary of the display area of the additional image does not exceed the conforming range. Can be set.
  • the display prohibition area storage unit 213 only stores a predetermined prohibition area, but in the third modification, a display prohibition that is newer than the image captured by the endoscope camera 111 is performed. Set the area and store it.
  • an endoscope camera and a surgical instrument are inserted into the body through several guide tubes. Although the position and direction of the guide tube change with each operation, the guide tube hardly moves during the operation. For this reason, there is a change in whether or not a surgical instrument is inserted during surgery, but the positional relationship between the camera and the inserted surgical instrument and the positional relationship between the camera and the structure inside the body change significantly. There is no.
  • the main image captured by the endoscopic camera 111 from the start of the operation is detected by detecting an image having a depth that may cause a contradiction in depth with the additional image or a depth difference that is too large by shielding with the additional image. Then, it is stored as a display prohibited area of the additional image.
  • the search range of the display area of the additional image can be limited, and the load for determining the display area of the additional image can be reduced. Furthermore, the movement of the display area of the additional image can be reduced, and the display of the additional image is stabilized.
  • FIG. 23 is a block diagram showing details of a part of the three-dimensional display device 20 according to the third modification of the second embodiment.
  • FIG. 23 is the same as FIG. 17 of the first modification of the second embodiment except that the display prohibited area storage unit 211 is replaced with a display prohibited area storage unit 213 and the prohibited area determination unit 212 is replaced with a prohibited area determination unit 214.
  • This is the same as the first modification of the second embodiment.
  • Components similar to those in FIG. 17 are denoted by the same reference numerals, and description thereof is omitted.
  • the display prohibited area storage unit 211 is replaced with the display prohibited area storage unit 213 in FIG. 15 of the first modification of the second embodiment, and the prohibited area determination unit 212 is changed. Is the same as that of the first modification of the second embodiment, except that is replaced with the prohibited area determination unit 214. For this reason, description of the block diagram which shows the function of the three-dimensional display apparatus 20 is abbreviate
  • the display prohibited area storage unit 213 stores information on areas where display of additional images is prohibited. That is, the display prohibition area storage unit 213 detects, as information on the area where display of the additional image is prohibited, from information about a predetermined area around the center of the screen and an image captured by the endoscope camera 111. Information on an extremely large portion of the depth, that is, information on a portion that is greatly retracted to the back or a portion that has an extremely small depth, that is, a portion that has largely jumped forward is stored.
  • the prohibited area determination unit 214 extracts information on the area where display of the additional image is prohibited, which is stored in the display prohibited area storage unit 213, and outputs the information to the display area candidate determination unit 160.
  • the prohibited area determination unit 214 further determines a new prohibited area based on the display area information including the object or background depth information captured by the endoscope camera 111 and generated by the depth information generation unit 130. The determined prohibited area is output to the display prohibited area storage unit 213.
  • Determination of a new prohibited area by the prohibited area determination unit 214 is performed as follows. That is, for the area that has been retracted beyond the predetermined depth range and the area that has jumped forward beyond the depth range, the area is included in the display prohibited area stored in the display prohibited area storage unit 213. If not, the area is set as a new display prohibition area. For example, when a tubular structure such as a digestive tract is imaged in a direction along the direction of the tube, the main image is an image of looking into the tube, and the retraction to the back of the screen becomes extremely large. When the depth is greater than a predetermined value beyond the maximum depth of the depth range of the additional image, the depth difference between the additional image and the main screen may be too large.
  • such an area is set as a display prohibited area for the additional image.
  • the depth range of the additional image is deeper than the display, from ⁇ 5 cm on the z-axis in FIG. 2B to 5 cm above the z-axis in front of the display, the object or background is imaged from ⁇ 20 cm above the rear z-axis from the display.
  • the depth difference between the main image and the additional image exceeds 15 cm. Therefore, the area is set as a display prohibited area for the additional image.
  • the predetermined additional image display prohibition area and the additional image display prohibition area determined from the image captured by the endoscope camera 111 are handled in the same manner.
  • the handling of the added additional image display prohibited area and the additional image display prohibited area determined from the captured image may be different.
  • the predetermined additional image prohibited area is an affected area that is an object of surgery at the center of the screen and its peripheral part, and is an area in which the main image should be displayed without fail during the operation.
  • the additional image display prohibition area determined from the captured image is an area in which there is a high possibility that the depth inconsistency between the main image and the additional image occurs or the depth difference becomes too large.
  • the additional image display prohibition area determined from the captured image is an area in which there is a possibility that a contradiction in depth or a depth difference that is too large may occur. It is possible to prevent the inconsistency in the depth between the image and the additional image or the occurrence of a depth difference that is too large.
  • a region in which a contradiction in depth occurs or a depth difference is likely to be too large is determined as a non-conformity region.
  • FIG. 24 is a block diagram illustrating details of a part of the three-dimensional display device according to the fourth modification of the second embodiment.
  • the display prohibition area storage unit 213 is replaced with the display prohibition area storage unit 215, the display area candidate determination unit 160 is replaced with the display area candidate determination unit 161, and the prohibition area determination unit 214 is replaced with the nonconformity possibility region determination unit 217. Except for the addition of the sex region storage unit 216, it is the same as FIG. The same parts as those in FIG. 22 are denoted by the same reference numerals, and description thereof will be omitted.
  • the display prohibited area storage unit 215 stores information on predetermined additional image display prohibited areas.
  • the non-conformity possibility region determination unit 217 is a region in which there is a high possibility of inconsistency in the depth between the main image and the additional image, based on the depth information of the image captured by the endoscope camera 111 output from the depth information generation unit 130 Alternatively, an area where the depth difference is likely to be too large is determined. That is, 217 determines an area in the main image where the depth exceeds the predetermined depth range and protrudes toward the front, and an area where the depth exceeds the predetermined depth range and retracts into the depth.
  • the nonconformity possibility area storage unit 216 stores the area determined by the nonconformity possibility area determination unit 217.
  • the display area candidate determination unit 161 acquires the additional image position information acquired from the additional image position storage unit 140, the additional image size information acquired from the additional image size storage unit 150, and the display prohibited area storage unit 215. Inconsistency of depth occurs in the image captured by the endoscope camera 111 acquired from the predetermined display prohibition area of the additional image and the nonconformity possibility area storage unit 216, or the depth difference becomes too large.
  • the display area of the additional image is determined from the information of the area with high possibility.
  • FIG. 25 is a flowchart illustrating an operation in which the display area candidate determination unit 161 determines the display area of the additional image.
  • the operation in FIG. 25 corresponds to steps S1200 and S1210 in FIG. 8 when the predetermined additional image display prohibited area and the additional image display prohibited area determined from the captured image are handled differently. The details of are shown.
  • the display area candidate determination unit 161 first sets the additional image size according to the size information of the additional image stored in the additional image size storage unit 150 (step S1201).
  • the display area candidate determination unit 161 compares the nonconformity possibility area acquired from the nonconformity possibility area storage unit 216 with the size of the additional image set in step S1201, and the nonconformity possibility area can be blocked by the additional image. It is determined whether or not (step S1202). If it is determined in step S1202 that the nonconforming possibility area can be blocked by the additional image, that is, if yes in step S1202, the process proceeds to step S1203. If it is determined in step S1202 that the nonconforming possibility area cannot be blocked by the additional image, that is, if no in step S1202, the process proceeds to step S1204.
  • step S1203 the display area candidate determination unit 161 sets the position of the additional image based on the position information stored in the additional image position storage unit 140 (step S1203).
  • the display area candidate determination unit 161 adds the area of the additional image determined by the size of the additional image set in step S1201 and the position of the additional image set in step S1203, stored in the display prohibited area storage unit 215. It is determined whether or not an image display prohibition area is included (step S1210a). If it is determined that the additional image area set in step S1210a includes a display-prohibited area, that is, if yes in step S1210a, the process returns to step S1203. If it is determined in step S1210a that the additional image area does not include a display prohibition area, that is, if no in step S1210a, the process proceeds to step S1208.
  • step S1204 the display area candidate determination unit 161 determines whether or not the size of the additional image set in step S1201 is equal to or larger than a predetermined limit value of the size of the additional image (step S1204). If it is determined in step S1204 that the size of the additional image is greater than or equal to the limit value, that is, if yes in step S1204, the process proceeds to step S1205. If it is determined in step S1204 that the size of the additional image is not greater than or equal to the limit value, that is, if no in step S1204, the process returns to step S1201.
  • step S1205 the display area candidate determination unit 161 refers to the additional image size storage unit 150 and resets the size of the additional image (step S1205). Further, the display area candidate determination unit 161 sets the position of the additional image based on the position information stored in the additional image position storage unit 140 (step S1206).
  • the display area candidate determination unit 161 stores the additional image area determined by the size of the additional image reset in step S1205 and the position of the additional image set in step S1206 in the display prohibited area storage unit 215. It is determined whether or not the display includes an area where display of the additional image indicated by the information is prohibited (step S1210b). If it is determined in step S1210b that the set additional image area includes a display prohibited area, that is, if yes in step S1210b, the process returns to step S1206. If it is determined in step S1210b that the additional image area does not include a display prohibited area, that is, if no in step S1210b, the process proceeds to step S1207.
  • step S1207 the display area candidate determination unit 161 determines whether or not the set additional image area includes the area stored in the nonconformity possibility area storage unit 216 (step S1207). If it is determined in step S1207 that the display area of the additional image includes a non-conformity possibility area, that is, if yes in step S1207, the process returns to step S1206. If it is determined in step S1207 that the display area of the additional image does not include a non-conformity possibility area, that is, if no in step S1207, the process proceeds to step S1208. In step S1208, the display area candidate determination unit 161 determines the display area of the additional image having the set size and position as a display area candidate (step S1208).
  • the size of the additional image is automatically changed.
  • the size of the additional image may be adjusted only when the input unit 200 receives an input for changing the size of the additional image. good.
  • areas of the main image that may cause a depth inconsistency or an excessively large depth difference between the main image and the additional image are blocked by the additional image. It is good also as what performs the process for doing.
  • the shape of the additional image is changed to the horizontal direction of the screen so that the imaged forceps arm part in the peripheral part of the screen shields the area where the image is extremely protruding. It is good also as what is made into the shape extended to (ii). As a result, even on an object having a large parallax due to extreme pop-out, the area on both the right-eye image and the left-eye image can be blocked.
  • Modification 5 of Embodiment 2 In the three-dimensional display device 20 according to the second embodiment, the user does not operate the position of the additional image, and the display prohibited area storage unit 210 is based on the display position of the additional image stored in the additional image position storage unit 140. The display prohibition area stored in the display area is avoided, and the position is shifted to a position where the incompatibility of the depth around the boundary surface of the display area of the additional image can be avoided. In this modification, a case where the user inputs and specifies the size of the additional image from the input unit 200 will be described.
  • the configuration of the three-dimensional display device of Modification 5 is the same as that of Embodiment 2 except that the output of the input unit 200 is input to the additional image size storage unit 150, and thus illustration and description thereof are omitted.
  • FIG. 26 is a flowchart showing the operation of the three-dimensional display device 20 in Modification 5 of Embodiment 2.
  • FIG. 26 is the same as FIG. 8 of the second embodiment except that step S1180 and step S1190 are added. Portions similar to those in FIG. 8 are denoted by the same reference numerals as those in FIG.
  • the endoscopic camera 111 generates image information for three-dimensional display having left and right parallax as a main image, and the vital sensor 121 measures the current patient's cardiac potential and blood pressure as additional information (step) S1100).
  • the input unit 200 acquires a user operation on the additional image and detects an instruction input for displaying the additional image (step S1110). If an instruction input for displaying an additional image is detected in step S1110, that is, if yes in step S1110, the process proceeds to step S1180. If an instruction input for displaying an additional image is not detected in step S1110, that is, if no in step S1110, the process proceeds to step S1700.
  • the image composition unit 180 synthesizes an endoscopic camera image, which is a main image not including an additional image, as a display image.
  • step S1180 the input unit 200 further detects an input for manipulating the size of the additional image (step S1180). If an input designating the size of the additional image is detected in step S1180, that is, if yes in step S1180, the process proceeds to step S1190. If no input specifying the size of the additional image is detected in step S1180, that is, if no in step S1180, the process proceeds to step S1200.
  • step S1190 the input unit 200 outputs to the additional image size storage unit 150 information on the size of the additional image that is being input with respect to the display of the additional image acquired in step S1110.
  • the additional image size storage unit 150 stores information on the size of the additional image output from the input unit 200 (step S1190).
  • step S1200 the display area candidate determination unit 160 selects a display area candidate from the size of the additional image stored in the additional image size storage unit 150 and the position of the additional image stored in the additional image position storage unit 140.
  • One is determined (step S1200).
  • the display area candidate determination unit 160 arbitrarily selects one of the additional image positions stored in the additional image position storage unit 140 from unselected ones, and selects the position of the selected additional image and the additional image size.
  • An area indicated by a combination with the size of the additional image stored in the storage unit 150 is determined as a display area candidate.
  • step S1200 display area candidates are determined using the latest information of the additional image information stored in the additional image size storage unit 150. Therefore, when step S1190 is executed, display area candidates are determined using the size information stored in step S1190.
  • the display area candidate determination unit 160 determines whether or not the display area candidate determined in step S1200 includes the display prohibited area stored in the display prohibited area storage unit 210 (step S1210). If it is determined in step S1210 that the display area candidate includes a display prohibited area, that is, if yes in step S1210, the process proceeds to step S1600. In step S1600, display area candidate determination section 160 moves the display position of the additional image, and stores the moved display position in additional image position storage section 140 (step S1600). If it is determined in step S1210 that the display area candidate does not include a display prohibited area, that is, if no in step S1210, the process proceeds to step S1300.
  • step S1200 By repeating step S1200, step S1210, and step S1600, the display area candidate is determined while avoiding the display prohibited area.
  • step S1300 the depth matching determination unit 170 extracts the boundary line or boundary surface of the additional image display area determined in step S1200, and extracts depth information around the boundary line or boundary surface (step S1300).
  • the depth suitability determination unit 170 extracts the depth of the display area of the additional image obtained by the display area candidate determination unit 160 from the information on the position of the additional image stored in the additional image position storage unit 140, in step S1300.
  • the depth of the main image of the portion adjacent to the boundary line or boundary surface with the additional image is compared (step S1400).
  • the depth matching determination unit 170 determines whether the depth difference between the main image and the additional image displayed across the boundary line or the boundary surface exceeds a predetermined allowable range (step S1500). If it is determined in step S1500 that the depth difference is outside the allowable range, that is, if yes in step S1500, the process proceeds to step S1600. After executing step S1600, the process returns to step S1200. If it is determined in step S1500 that the depth difference is within the allowable range, that is, if no in step S1500, the process proceeds to step S1700.
  • step S1700 the image composition unit 180 synthesizes the main image acquired in step S1100 and the additional image indicating the additional information acquired in step S1100. Specifically, the image composition unit 180 displays the main image on the screen of the display 190, overlaps the main image, and displays the additional image in the display area as the display area candidate determined in step S1200. So compositing the images.
  • Display 190 displays the three-dimensional image synthesized in step S1700 (step S1800). After displaying the three-dimensional image on the display 190 in step S1800, the process returns to step S1100. By repeating step S1100 to step S1800, the 3D display device 20 acquires the main image and the additional information for each processing unit, and continues to display the 3D image.
  • the present embodiment can also cope with the case where the contents of the main image and the additional image are moving images.
  • the input unit 200 may be a switch box as shown in FIG. 27A, for example.
  • the user can select a size by pressing one of buttons (large, medium, and small buttons) corresponding to a plurality of predetermined sizes included in the switch box.
  • the input unit 200 may be a pointing device such as a mouse or a pen input device.
  • the user moves the arrow shown at the apex of the additional image area by operating the pointing device.
  • the input unit 200 may include a camera that captures the user and an image processing device that determines the user's action from the user's image captured by the camera.
  • the input unit 200 may include an input device that can input a coordinate position, a movement direction, and a movement amount on a screen plane such as a touch panel or in a three-dimensional space.
  • the size may be specified by inputting the lengths of the vertical and horizontal sides as numerical values.
  • a character input device capable of numerical input such as a keyboard can be used as the three-dimensional display device 20.
  • the three-dimensional display device 20 may be a handwritten character recognition device using a touch panel or a pen input device, or a voice input device using voice recognition. Note that even if the area of the additional image has a shape other than a rectangle, the size can be specified by the length of the side, the length of the diagonal line, or the like.
  • the three-dimensional display device 20 displays the additional image on the three-dimensional image obtained by the stereo endoscope, or when displaying the additional image adjacent thereto.
  • the display size of the additional image is specified, there is a state in which there is a large difference in depth between the inside and outside of the boundary of the display area of the additional image or a state in which there is a contradiction in the depth according to the user's size specification. Avoiding this, the display area of the additional image is determined.
  • the three-dimensional display device 20 according to the fifth modification of the second embodiment determines the size according to the size designation of the additional image input from the input unit 200.
  • the input unit 200 according to the fifth modification of the second embodiment includes an input device that can input a coordinate position, a movement direction, and a movement amount on a screen plane or a three-dimensional space, and is used in a general environment. Includes interface devices.
  • a method for instructing to change the size of the additional image from the movement of the forceps using the video of the stereo endoscope camera will be described.
  • FIG. 28A and 28B are diagrams schematically showing how the size of the additional image display area is adjusted from the movement of the forceps using the forceps as a part of the input unit 200.
  • FIG. 28A and FIG. 28B the main image of the wire and forceps applied to the affected area is displayed on the screen, and the vital data as an additional image is displayed as a graph with time elapsed on the horizontal axis superimposed on the main image. Has been.
  • the tip of the forceps visible on the left side of FIGS. 28A and 28B does not overlap the additional image.
  • the area of the additional image is smaller than in FIG. 28A.
  • the input unit 200 deforms the additional image display area in accordance with the movement direction of the forceps. For example, when the tip of the instrument passes in the direction from the outside of the area to the inside of the area, the movement of the tip is regarded as an input for reducing the size of the display area of the additional image. When passing outside, the movement is regarded as an input for increasing the size of the display area of the additional image.
  • FIG. 29 is a block diagram illustrating a functional configuration of the three-dimensional display device 20 according to the sixth modification of the second embodiment.
  • FIG. 29 shows that the display area storage unit 401, the instrument tip detection unit 402, the passage detection unit 403, the operation input unit 404, and the display control signal generation unit 405 are added as the functional configuration of the input unit 400.
  • This is the same as the three-dimensional display device 10 of the first embodiment shown in FIG. Portions similar to those in FIG. 7 are denoted by the same reference numerals as those in FIG.
  • the three-dimensional display device 20 includes an endoscope camera 111, a vital sensor 121, an MRI image storage unit 122, a three-dimensional image composition unit 123, a depth information generation unit 130, an additional image position storage unit 140, and an additional image
  • the image size storage unit 150, the display region candidate determination unit 160, the depth matching determination unit 170, the image composition unit 180, the display 190, the display prohibition region storage unit 210, and the input unit 400 are provided.
  • the input unit 400 includes a display area storage unit 401, an instrument tip detection unit 402, a passage detection unit 403, an operation input unit 404, and a display control signal generation unit 405.
  • the endoscope camera 111 is an endoscope camera for a three-dimensional image including a stereo camera.
  • the vital sensor 121 is a sensor attached to the patient's body during the operation, and is an electrocardiograph and a sphygmomanometer in the sixth modification of the second embodiment.
  • the MRI image storage unit 122 stores three-dimensional image information including an image of an affected part to be operated, which is recorded by the MRI system before surgery.
  • the three-dimensional image composition unit 123 synthesizes the image information stored in the MRI image storage unit 122 into an image in a format that can be displayed on the display 190 as a designated cut surface (slice) or a designated range of stereoscopic images. .
  • the additional image position storage unit 140 stores a position when additional information is displayed on the image as an additional image.
  • the additional image size storage unit 150 stores a size when additional information is displayed on the image as an additional image.
  • the display prohibition area storage unit 210 stores an area in which an affected part that is a predetermined surgical target is photographed as a display prohibition area of an additional image.
  • the display prohibited area is a rectangular fixed area centered on the center of the image.
  • the display area candidate determination unit 160 determines display area candidates for displaying one or more additional information as additional images on the screen of the display 190.
  • additional information acquired from the vital sensor 121 during surgery and MRI image information stored before surgery, and the two types of additional information are different from each other. It is assumed that the additional image is displayed in each display area.
  • the depth matching determination unit 170 uses the display region candidate information determined by the display region candidate determination unit 160 and the depth information of the main image generated by the depth information generation unit 130 to display the additional image display region and the main image. Among them, a depth difference larger than a predetermined value or a contradiction in depth is detected with respect to a difference in depth from the peripheral portion of the display area of the additional image.
  • the allowable range is ⁇ 1 cm or more and 15 cm or less.
  • the image composition unit 180 displays the three-dimensional image acquired by the endoscope camera 111 on the screen of the display 190, and the addition acquired by the vital sensor 121 in at least one of the regions determined by the display region candidate determination unit 160.
  • the three-dimensional image and the additional image are combined so that information is displayed as the additional image.
  • the display 190 displays the image synthesized by the image synthesis unit 180 on the screen.
  • the operation input unit 404 is a means used to input an instruction as to whether or not the user displays an additional image, and conditions for displaying the additional image.
  • the display control signal generation unit 405 acquires an operation on the additional image input by the user from the operation input unit 404, and generates a control signal for controlling the image composition by the image composition unit 180.
  • the display area storage unit 401 stores information indicating a display area in which additional information is currently displayed as an additional image.
  • FIG. 30 shows an example of the contents stored in the display area storage unit 401.
  • the display area storage unit 401 stores the ID of the additional image area, the content of the additional information for each ID, and the three-dimensional coordinates of the four vertices for describing the display area as a rectangular plane.
  • the instrument tip detection unit 402 detects the tip of the surgical instrument in the image captured by the endoscope camera 111. Here, it is assumed that the tip of the forceps is detected in the surgical instrument.
  • the detection method is as follows.
  • the instrument tip detection unit 402 extracts a metal color area as an instrument area from the color area of the image captured by the endoscope camera 111.
  • the instrument tip detection unit 402 obtains corresponding points of the left and right images for the extracted region.
  • the instrument tip detection unit 402 obtains the depth of the instrument region from the obtained corresponding points.
  • the instrument tip detection unit 402 extracts, as a tip, a portion having the greatest depth in a color region in which colors are continuous.
  • pattern matching between the contour line of the extracted region and the contour line of the instrument prepared in advance can be performed to determine the tip. You may detect the front-end
  • the passage detection unit 403 detects that the tip of the instrument detected by the instrument tip detection unit 402 has passed through the display area of the additional image indicated by the information stored in the display area storage unit 401.
  • the detection method of passage is as follows.
  • the passage detection unit 403 extracts the three-dimensional coordinate position of the tip of the instrument detected by the instrument tip detection unit 402 from the information of the three-dimensional coordinate position of the object in the image generated by the depth information generation unit 130. For example, when the three-dimensional coordinates of the distal end of the instrument pass or contact the additional image plane stored in the display area storage unit 401, the passage detection unit 403 indicates that the distal end of the instrument has passed through the additional image area. Is detected.
  • the passage detection unit 403 determines the direction of passage of the instrument tip, that is, the direction of passage from the inside of the additional image region to the outside of the region, or the direction of passage from the outside of the additional image region to the region.
  • the passage detection unit 403 outputs the passage information of the attached screen at the tip of the instrument to the display control signal generation unit 220 along with the passage direction.
  • the passage detection unit 403 uses three-dimensional coordinates to detect that the tip of the instrument passes through the additional image area, and the tip of the instrument passes through the attached screen plane on the three-dimensional coordinates.
  • the information on the passage of the additional image area at the distal end of the instrument and the direction of the passage specifies the additional image whose size is specified, and indicates the size change information of the additional image.
  • the size change amount or the size change ratio per change may be constant. Moreover, it is good also as what determines the amount of size changes according to the moving speed and moving distance of the front-end
  • the passage detection unit 403 is based on the operator's instrument operation based on the three-dimensional coordinate information of the instrument tip output from the instrument tip detection unit 402 and the coordinate information of the area for each additional image stored in the display area storage unit 401. Information on the size designation input of the specific additional image is output to the display control signal generation unit 405.
  • step S1180 the display control signal generation unit 405 detects an input for manipulating the size of the additional image (step S1180). That is, the display control signal generation unit 405 is based on the three-dimensional coordinate information of the instrument tip output from the instrument tip detection unit 402 and the coordinate information of the region for each additional image stored in the display region storage unit 401. It detects that the passage detection unit 403 outputs information on the size designation input of the specific additional image by the instrument operation. If an input designating the size of the additional image is detected in step S1180, the process proceeds to step S1190. If no input designating the size of the additional image is detected in step S1180, the process proceeds to step S1200.
  • the three-dimensional display device 20 displays an additional image superimposed on or adjacent to a three-dimensional image obtained by a stereo endoscope
  • an operation is performed.
  • the user who is a person can specify the display size of the additional image using the surgical instrument in use which is being displayed by the endoscope camera.
  • the display area of the additional image is determined according to the user's size specification and avoiding a state where there is a large difference in depth between the inside and outside of the boundary of the display area of the additional image or a state where there is a contradiction in the depth. .
  • the additional image is displayed in a size required by the user, that is, the operator, and the inconsistency of the depth such that the additional image is embedded in the arm of the forceps is avoided. For this reason, fatigue of the user, that is, the surgeon can be prevented.
  • the user can specify the size of the additional image using an instrument used for the operation without using a special interface device. That is, the user who is a surgeon can instruct the size of the additional image without releasing his / her hand from the surgical instrument. For this reason, the three-dimensional display device can be operated without reducing the efficiency of the operation.
  • the three-dimensional display device 20 is a display position of the additional image stored in the additional image position storage unit 140 without the user operating the position of the additional image, and the display prohibited area storage.
  • the additional image is displayed at a position avoiding the display prohibited area stored in the unit 210.
  • this modification a case will be described in which the user designates the display position by inputting the display position of the additional image using the operation input unit 404.
  • the configuration of the three-dimensional display device of Modification 7 is the same as that of Modification 6 of Embodiment 2 except that the output of the display control signal generation unit 405 is input to the additional image position storage unit 140. Description is omitted.
  • FIG. 31 is a flowchart showing the operation of the three-dimensional display device 20 in Modification 7 of Embodiment 2.
  • FIG. 30 is the same as FIG. 8 of the second embodiment except that step S1600 is deleted and step S1120, step S1130, step S1610, step S1620, and step S1630 are added. Portions similar to those in FIG. 8 are denoted by the same reference numerals as those in FIG. 8 are denoted by the same reference numerals as those in FIG.
  • the endoscopic camera 111 generates image information for three-dimensional display having left and right parallax as a main image, and the vital sensor 121 measures the current patient's cardiac potential and blood pressure as additional information (step) S1100).
  • the display control signal generation unit 405 acquires a user operation on the additional image from the operation input unit 404, and detects an instruction input to display the additional image (step S1110). If an instruction input for displaying an additional image is detected in step S1110, that is, if yes in step S1110, the process proceeds to step S1120. If an instruction input for displaying an additional image is not detected in step S1110, that is, if no in step S1110, the process proceeds to step S1700. In step S1700, the image composition unit 180 synthesizes an endoscopic camera image, which is a main image not including an additional image, as a display image.
  • step S1120 the display control signal generation unit 405 further detects an input for operating the position of the additional image (step S1120). If an input designating the position of the additional image is detected in step S1120, that is, if yes in step S1120, the process proceeds to step S1130. If no input specifying the position of the additional image is detected in step S1120, that is, if no in step S1120, the process proceeds to step S1200.
  • step S1130 the display control signal generation unit 405 outputs the information on the position of the additional image that is being input with respect to the display of the additional image acquired in step S1110 to the additional image position storage unit 140.
  • the additional image position storage unit 140 stores information on the position of the additional image output by the display control signal generation unit 405 (step S1130).
  • step S1200 the display area candidate determination unit 160 selects a display area candidate from the size of the additional image stored in the additional image size storage unit 150 and the position of the additional image stored in the additional image position storage unit 140.
  • One is determined (step S1200).
  • the display area candidate determination unit 160 arbitrarily selects one of the additional image sizes stored in the additional image size storage unit 150 from the unselected ones, and selects the selected additional image size and additional image position.
  • An area indicated by a combination with the position of the additional image stored in the storage unit 140 is determined as a display area candidate.
  • step S1200 display area candidates are determined using the latest information of the additional image position information stored in the additional image position storage unit 140. Therefore, when step S1130 is executed, display area candidates are determined using the position information stored in step S1130.
  • the display area candidate determination unit 160 determines whether or not the display area candidate determined in step S1200 includes the display prohibited area stored in the display prohibited area storage unit 210 (step S1210). If it is determined in step S1210 that the display area candidate includes a display prohibited area, that is, if yes in step S1210, the process proceeds to step S1610. If it is determined in step S1210 that the display area candidate does not include a display prohibited area, that is, if no in step S1210, the process proceeds to step S1300.
  • step S1300 the depth matching determination unit 170 extracts the boundary line or boundary surface of the additional image display area determined in step S1200, and extracts depth information around the boundary line or boundary surface (step S1300).
  • the depth suitability determination unit 170 extracts the depth of the display area of the additional image obtained by the display area candidate determination unit 160 from the information on the position of the additional image stored in the additional image position storage unit 140, in step S1300.
  • the depth of the main image of the portion adjacent to the boundary line or boundary surface with the additional image is compared (step S1400).
  • the depth matching determination unit 170 determines whether the depth difference between the main image and the additional image displayed across the boundary line or the boundary surface exceeds a predetermined allowable range (step S1500). If it is determined in step S1500 that the depth difference is outside the allowable range, that is, if yes in step S1500, the process proceeds to step S1610. If it is determined in step S1500 that the depth difference is within the allowable range, that is, if no in step S1500, the process proceeds to step S1700.
  • step S1700 the image composition unit 180 synthesizes the main image acquired in step S1100 and the additional image indicating the additional information acquired in step S1100. Specifically, the image composition unit 180 displays the main image on the screen of the display 190, overlaps the main image, and displays the additional image in the display area as the display area candidate determined in step S1200. So compositing the images.
  • Display 190 displays the three-dimensional image synthesized in step S1700 (step S1800). After displaying the three-dimensional image on the display 190 in step S1800, the process returns to step S1100.
  • the display area candidate determination unit 160 changes the size of the additional image and stores the changed size in the additional image size storage unit 150 (step S1610).
  • the display area candidate determination unit 160 does not change the display position of the additional image and adds the display area of the additional image so as not to include the display prohibition area, that is, the display area of the additional image is outside the display prohibition area.
  • Reduce the size of the image The size is changed, for example, by maintaining the position of the center of gravity of the display area of the additional image and reducing the display area in the direction in which the outer periphery of the display area approaches the center of gravity.
  • the display area of the additional image may be reduced by fixing one side of the additional image display area that does not include the display prohibition area.
  • the display area candidate determination unit 160 determines whether or not the size of the additional image changed in step S1610 is within a predetermined range (step S1620). If it is determined in step S1620 that the size of the additional image is within a predetermined range, that is, if yes in step S1620, the process returns to step S1200. If it is determined in step S1620 that the size of the additional image is outside the predetermined range, that is, if no in step S1620, the process proceeds to step S1630. For example, when the additional image is a rectangle, the predetermined size range of the additional image is 3 cm to 10 cm on the vertical side and 5 cm to 13 cm on the horizontal side.
  • step S1610 If the size of the additional image reduced in step S1610 is included in the range, for example, if the vertical side is 4 cm and the horizontal side is 7 cm, the process proceeds to step S1200. If the size of the additional image reduced in step S1610 is not included in the above range, for example, if the vertical side of the additional image is 2 cm and the horizontal side is 4 cm, the process proceeds to step S1630.
  • step S1630 the display area candidate determination unit 160 transmits a signal indicating that the size of the additional image is outside a predetermined range to the image composition unit 180.
  • the image composition unit 180 In response to the signal, the image composition unit 180 generates an image of a message that prompts the user to re-input the display position of the additional image.
  • the display 190 displays the message image generated by the image composition unit 180 (step S1630). After executing step S1630, the process returns to step S1110.
  • step S1110 to step S1630, it is possible to determine the display area of the additional image in which the difference in depth inside and outside the boundary surface of the additional image does not exceed the allowable range.
  • the method for inputting the position of the additional image using the operation input unit 404 may be as follows.
  • the user may select any one display position from predetermined display positions.
  • the user may specify the barycentric point of the additional image display area.
  • the user may specify the position of the side of the additional image display area.
  • the three-dimensional display device 20 can display the additional image on the three-dimensional image obtained by the stereo endoscope or adjacent to the user. Specifies the display position of the additional image.
  • the three-dimensional display device 10 is added in accordance with the position specified by the user, avoiding a state in which there is a large difference in depth between the inside and outside of the boundary of the display area of the additional image or a state in which there is a contradiction in the depth. Determine the display area of the image.
  • the additional image is displayed at a position required by the user, that is, the surgeon, and the inconsistency of the depth such that the additional image is embedded in the arm of the forceps is avoided. For this reason, fatigue of the user, that is, the surgeon can be prevented.
  • the three-dimensional display device 20 is a display position of the additional image stored in the additional image position storage unit 140 without the user operating the position of the additional image, and the display prohibited area storage.
  • the additional image is displayed at a position avoiding the display prohibited area stored in the unit 210.
  • this modification a case where the user designates the display position and size by inputting the display position and size of the additional image using the operation input unit 404 will be described.
  • the display area of the additional image specified by the display position and size input by the user includes a display prohibition area
  • the depth difference between the inside and outside of the boundary surface of the display area of the additional image is outside the allowable range
  • the three-dimensional display device automatically adjusts the position and size of the display area of the additional image. If the user is dissatisfied with the result of automatic adjustment, or if there is a problem with the display area within the range of automatic adjustment, the 3D display device re-inputs the position and size of the display area of the additional image to the user. Request.
  • the configuration of the three-dimensional display device according to the eighth modification is the sixth modification of the second embodiment except that the output of the display control signal generation unit 405 is input to the additional image position storage unit 140 and the additional image size storage unit 150.
  • the illustration and description are omitted.
  • FIG. 32A and 32B are flowcharts showing the operation of the three-dimensional display device 20 in Modification 8 of Embodiment 2.
  • FIG. 32A and 32B are flowcharts showing the operation of the three-dimensional display device 20 in Modification 8 of Embodiment 2.
  • the endoscopic camera 111 generates image information for three-dimensional display having left and right parallax as a main image, and the vital sensor 121 measures the current patient's cardiac potential and blood pressure as additional information (step) S1100).
  • the display control signal generation unit 405 acquires a user operation on the additional image from the operation input unit 404, and detects an instruction input to display the additional image (step S1110). If an instruction input for displaying an additional image is detected in step S1110, that is, if yes in step S1110, the process proceeds to step S1120. If an instruction input for displaying an additional image is not detected in step S1110, that is, if no in step S1110, the process proceeds to step S1700. In step S1700, the image composition unit 180 synthesizes an endoscopic camera image, which is a main image not including an additional image, as a display image.
  • step S1120 the display control signal generation unit 405 further detects an input for operating the position of the additional image (step S1120). If an input designating the position of the additional image is detected in step S1120, that is, if yes in step S1120, the process proceeds to step S1130. If no input specifying the position of the additional image is detected in step S1120, that is, if no in step S1120, the process proceeds to step S1180.
  • step S1130 the display control signal generation unit 405 outputs the information on the position of the additional image that is being input with respect to the display of the additional image acquired in step S1110 to the additional image position storage unit 140.
  • the additional image position storage unit 140 stores information on the position of the additional image output by the display control signal generation unit 405 (step S1130).
  • step S1180 the display control signal generation unit 405 further detects an input for manipulating the size of the additional image (step S1180). If an input designating the size of the additional image is detected in step S1180, that is, if yes in step S1180, the process proceeds to step S1190. If no input specifying the size of the additional image is detected in step S1180, that is, if no in step S1180, the process proceeds to step S1200.
  • step S1190 the display control signal generation unit 405 outputs to the additional image size storage unit 150 information on the size of the additional image that is being input with respect to the display of the additional image acquired in step S1110.
  • the additional image size storage unit 150 stores information on the size of the additional image output from the display control signal generation unit 405 (step S1190).
  • step S1200 the display area candidate determination unit 160 sets one display area candidate from the size of the additional image stored in the additional image size storage unit 150 and the position of the additional image stored in the additional image position storage unit 140. Are determined (step S1200). That is, the display area candidate determination unit 160 displays an area indicated by a combination of the size of the additional image stored in the additional image size storage unit 150 and the position of the additional image stored in the additional image position storage unit 140. Determine as a candidate area.
  • step S1200 the latest information of the additional image position information stored in the additional image position storage unit 140 and the latest information of the additional image size information stored in the additional image size storage unit 150 are stored. Are used to determine display area candidates. Therefore, when step S1130 is executed, the position information stored in step S1130 is used.
  • the display area candidate determination unit 160 determines whether or not the display area candidate determined in step S1200 includes the display prohibited area stored in the display prohibited area storage unit 210 (step S1210). If it is determined in step S1210 that the display area candidate includes a display prohibited area, that is, if yes in step S1210, the process proceeds to step S1640. If it is determined in step S1210 that the display area candidate does not include a display prohibited area, that is, if no in step S1210, the process proceeds to step S1300.
  • step S1300 the depth matching determination unit 170 extracts the boundary line or boundary surface of the additional image display area determined in step S1200, and extracts depth information around the boundary line or boundary surface (step S1300).
  • the depth suitability determination unit 170 extracts the depth of the display area of the additional image obtained by the display area candidate determination unit 160 from the information on the position of the additional image stored in the additional image position storage unit 140, in step S1300.
  • the depth of the main image of the portion adjacent to the boundary line or boundary surface with the additional image is compared (step S1400).
  • the depth matching determination unit 170 determines whether the depth difference between the main image and the additional image displayed across the boundary line or the boundary surface exceeds a predetermined allowable range (step S1500). If it is determined in step S1500 that the depth difference is outside the allowable range, that is, if yes in step S1500, the process proceeds to step S1610. If it is determined in step S1500 that the depth difference is within the allowable range, that is, if no in step S1500, the process proceeds to step S1700.
  • step S1700 the image composition unit 180 synthesizes the main image acquired in step S1100 and the additional image indicating the additional information acquired in step S1100. Specifically, the image composition unit 180 displays the main image on the screen of the display 190, overlaps the main image, and displays the additional image in the display area as the display area candidate determined in step S1200. So compositing the images.
  • Display 190 displays the three-dimensional image synthesized in step S1700 (step S1800). After displaying the three-dimensional image on the display 190 in step S1800, the process returns to step S1100.
  • step S1640 the display area candidate determination unit 160 determines whether the position and size of the additional image can be adjusted (step S1640). The determination method in step S1640 will be described later. If it is determined in step S1640 that the position and size of the additional image can be adjusted, that is, if yes in step S1640, the process proceeds to step S1650. If it is determined in step S1640 that the position and size of the additional image cannot be adjusted, that is, if no in step S1640, the process proceeds to step S1670.
  • step S 1650 the image composition unit 180 synthesizes a temporary display image in which the additional image display area output from the depth matching determination unit 170 is superimposed on the main image, and the display 190 tentatively displays the temporary display image synthesized by the image composition unit 180. Is displayed (step S1650). Actual additional information may be displayed as an additional image of the temporary display image, but the actual additional information is not displayed, and an image of a uniform plane for temporarily displaying an area or a fixed test image is displayed. You may display.
  • the display control signal generation unit 405 obtains the user's operation on the additional image from the operation input unit 404, and the temporarily displayed position and size are the same.
  • step S1660 An instruction input for approving the adjusted area of the additional image is detected (step S1660). If an instruction input for approving the display area of the temporarily displayed additional image is detected in step S1660, that is, if yes in step S1660, the process proceeds to step S1700. If an instruction input for approving the display area of the temporarily displayed additional image is not detected in step S1660, that is, if no in step S1660, the process proceeds to step S1670.
  • step S1670 the image composition unit 180 indicates to the user that the additional image cannot be displayed with the position and size of the additional image designated by the user, and prompts the user to respecify the position and size of the additional image.
  • the message screen is generated, and the display 190 displays the message screen generated by the image composition unit 180 (step S1670). After the message screen is displayed in step S1670, the process returns to step S1110.
  • a display area candidate is determined while avoiding the display prohibition area, and a display area of the additional image in which the difference in depth inside and outside the boundary surface of the additional image does not exceed the allowable range is determined. be able to.
  • FIG. 33 is a block diagram showing a detailed configuration of the part of the three-dimensional display device 20 in Modification 8 of Embodiment 2.
  • the display area candidate determination unit 160 includes a position adjustment range storage unit 166, a size adjustment range storage unit 162, an area determination unit 163, a distance calculation unit 164, and an area storage unit 165.
  • the position adjustment range storage unit 166 stores a predetermined range in which the additional image can be moved as a range in which the display position of the additional image designated by the user can be automatically adjusted.
  • the range that can be automatically adjusted is the range of 20% or less of the length of the long side in the long side direction or the long axis direction of the additional image specified by the user and the short side in the short side direction or the short axis direction.
  • the range is 20% or less of the length.
  • the display position is moved in the horizontal direction within a range of 20% or less of the long side, and the display position is moved in the vertical direction within a range of 20% or less of the short side.
  • the display position of the additional image can be adjusted.
  • the display position in the depth direction of the additional image is not changed.
  • the size adjustment range storage unit 162 stores a predetermined automatically adjustable range as a range in which the display size of the additional image designated by the user can be automatically adjusted.
  • the predetermined automatically adjustable range is a range in which the increase / decrease in the length of the major axis and minor axis of the additional image specified by the user is 15% or less.
  • the length can be adjusted within the range of 85% to 115% for both the long side and the short side with respect to the size designated by the user.
  • the rate of change of the long side and the short side is the same here. That is, the additional image display area is not deformed (size change in which the aspect ratio changes). Further, here, the size of the additional image in the depth direction is not adjusted.
  • the area determination unit 163 includes an additional image position storage unit 140, an additional image size storage unit 150, a distance calculation unit 164, a position adjustment range storage unit 166, a size adjustment range storage unit 162, a distance calculation unit 164, In response to input from the region storage unit 165 and the depth matching determination unit 170, information related to the display region candidate of the additional image is output to the distance calculation unit 164 and the region storage unit 165.
  • the area determination unit 163 acquires the display position of the additional image and the size of the additional image specified by the user from the additional image position storage unit 140 and the additional image size storage unit 150, and determines the display area of the additional image. To do.
  • the area determination unit 163 further includes an adjustment range and a size adjustment range storage unit for the display position of the additional image stored in the position adjustment range storage unit 166 in accordance with an input from the distance calculation unit 164 or an input from the depth matching determination unit 170. The position and size of the display area of the additional image are adjusted based on the adjustment range of the display size of the additional image stored in 162.
  • the distance calculation unit 164 calculates the distance in the image display space between the display region candidate of the additional image acquired from the region determination unit 163 and the display prohibition region stored in the display prohibition region storage unit 210. For example, the distance calculation unit 164 maps the display prohibition area and the additional image display area candidate in the image display space to the display plane, and compares the positions on the display plane to determine the distance between the two. calculate. The distance calculation unit 164 can obtain the distance between the regions on the display plane, for example, on the xy plane of the coordinate system as shown in FIG. The distance calculation unit 164 outputs the calculation result to the region determination unit 163.
  • the area storage unit 165 stores information related to the display area candidate of the additional image determined by the area determination unit 163.
  • FIG. 34 is a flowchart showing a detailed operation of step S1640 among the operations of the three-dimensional display device 20 in the modification 8 of the second embodiment.
  • display area candidate determination unit 160 determines whether the position and size of the additional image can be adjusted.
  • the distance calculation unit 164 calculates the distance between the display region candidate of the latest additional image determined by the region determination unit 163 and the display prohibition region stored in the display prohibition region storage unit 210 (step S1641).
  • the distance is indicated by a positive value if the two areas mapped to the display plane are separated, and a negative value if the two areas overlap. For example, when there is no overlap between two regions, the distance between the regions is the distance between the closest positions in the two regions. When two regions overlap, the negative value of the length of the longest straight line that can be applied to the overlapping region is taken as the distance between the regions.
  • the region determination unit 163 determines whether the latest display region candidate of the additional image includes the display prohibition region stored in the display prohibition region storage unit 210 based on the inter-region distance calculated in step S1641. (Step S1642). When the distance is a negative value, it indicates that the two areas overlap, that is, the display area of the additional image includes a display prohibition area. If it is determined in step S1642 that the display area candidate of the additional image includes a display prohibited area, that is, if yes in step S1642, the process proceeds to step S1643. If it is determined in step S1642 that the display area candidate of the additional image does not include the display prohibited area, that is, if no in step S1642, the process proceeds to step S1647.
  • step S1643 the region determination unit 163 selects a display region candidate from the negative inter-region distance calculated in step S1641, that is, the region overlap distance, and the position adjustment range stored in the position adjustment range storage unit 166. Then, it is determined whether or not the position can be moved to a position not including the display prohibited area (step S1643). This determination is made based on, for example, whether or not the absolute value of the inter-region distance is within the position adjustment range. If it is determined in step S1643 that the display area candidate can be moved to a position that does not include the display prohibited area, that is, if yes in step S1643, the process proceeds to step S1644. If it is determined in step S1643 that the display area candidate cannot be moved to a position that does not include the display prohibited area, that is, if no in step S1643, the process proceeds to step S1645.
  • step S1644 the area determination unit 163 moves the display area candidate of the additional image, and resets the position where the display area candidate does not include the display prohibited area as the position of the display area candidate (step S1644). ). After execution of step S1644, the process returns to step S1641.
  • step S ⁇ b> 1645 the region determination unit 163 determines the display region candidate from the negative inter-region distance calculated in step S ⁇ b> 1641, that is, the region overlap distance, and the size adjustment range stored in the size adjustment range storage unit 162. It is determined whether or not the size of the display area candidate can be changed by adjusting the size so that the display area candidate does not include the display prohibited area (step S1645). This determination is made based on, for example, whether or not the absolute value of the inter-region distance is within the length adjustment range when the size adjustment range is represented as the length adjustment range.
  • step S1645 If it is determined in step S1645 that the size of the display area candidate can be changed so that the display area candidate of the additional image does not include the display prohibition area, that is, if yes in step S1645, the process proceeds to step S1646. If it is determined in step S1645 that the size of the display area candidate cannot be changed so that the display area candidate of the additional image does not include the display prohibition area, that is, if no in step S1645, the process proceeds to step S1670. .
  • step S1646 the area determination unit 163 changes the size of the display area candidate of the additional image, and resets the area size of the display area candidate that does not include the display prohibited area as the display area candidate size. (Step S1646). After execution of step S1646, the process returns to step S1641.
  • steps S1641 to S1644 or 1646 and adjusting the position or size within a predetermined adjustment range display area candidates for additional images that do not include the display-prohibited area are determined.
  • the image composition unit 180 displays the additional image display area.
  • a request to re-specify the position and size is shown to the user (step S1670). For example, the image composition unit 180 displays a re-designation request message on the screen of the display 190.
  • step S1647 for the display area candidate of the additional image determined by the area determination unit 163, the depth matching determination unit 170 determines whether the depth difference between the inside and outside of the boundary surface is outside the allowable range on the boundary surface of the display area candidate. It is determined whether or not (step S1647).
  • the operation in step S1647 is the same as that in steps S1300 to S1500. If it is determined in step S1647 that the depth difference between the inside and outside of the boundary surface is outside the allowable range, that is, if yes in step S1647, the process proceeds to step S1648. If it is determined in step S1647 that the difference in depth between the inside and outside of the boundary surface is within the allowable range, that is, if no in step S1647, the process proceeds to step S1650.
  • step S1648 region determination unit 163 determines whether the position of the display region candidate of the additional image can be moved within the position adjustment range stored in position adjustment range storage unit 166 (step S1648). . That is, the area determination unit 163 performs the adjustment range of the display area stored in the position adjustment range storage unit 166 with respect to the display position of the additional image specified by the user input in step S1120, for example, the specified display position. From this, it is determined whether or not there is a possibility of movement that does not exceed the adjustment range that is 20% of the length of the additional image area in the movement direction.
  • the additional image is rectangular, and from the specified display position, it is possible to select four options: 10% movement, 20% movement of the horizontal axis to the right, 10% movement of the horizontal axis to the left, and 20% movement. It is assumed that four selections are possible: 10% movement, 20% movement of the vertical axis upward, 10% movement of the vertical axis downward, and 20% movement.
  • the region determination unit 163 determines the position of the display region candidate. It is determined that it can be moved. On the other hand, when the adjustment operation is performed for all the combinations, the region determination unit 163 determines that the position of the display region candidate cannot be moved.
  • step S1648 If it is determined in step S1648 that the position of the display area candidate can be moved, that is, if yes in step S1648, the process proceeds to step S1649. If it is determined in step S1648 that the position of the display area candidate cannot be moved, that is, if no in step S1648, the process proceeds to step S1901.
  • step S1649 the area determination unit 163 selects one of the display positions of the additional image display area that can be selected, and moves the display position of the additional image display area candidate (step S1649). After execution of step S1649, the process returns to step S1641.
  • step S1901 the region determination unit 163 determines whether or not the size of the display region candidate of the additional image can be changed within the size adjustment range stored in the size adjustment range storage unit 162 (step S1901). . That is, can the area determination unit 163 change the size of the display area of the additional image designated by the user input in step S1120 within the display area adjustment range stored in the size adjustment range storage unit 162? Determine whether or not. For example, the area determination unit 163 determines whether the size of the display area of the additional image designated by the user is likely to be expanded or compressed within 15% in the major axis direction or the minor axis direction of the display area. judge.
  • the additional image is a rectangle, and the length of the additional image, not the area of the additional image, centered on the center of gravity of the rectangle, is the length of the additional image, 5% expansion, 10% expansion, 15% expansion, 5% compression, 10% compression, or 15 % Compression. If any of the six types of size change options remains, the region determination unit 163 determines that the size of the display region candidate can be changed. When all the adjustment operations for the six types of size change options have been completed, the region determination unit 163 determines that the size of the display region candidate cannot be changed.
  • step S1901 If it is determined in step S1901 that the size of the additional image display area candidate can be changed, that is, if YES in step S1901, the process proceeds to step S1902. If it is determined in step S1901 that the size of the additional image display area candidate cannot be changed, that is, if no in step S1901, the process proceeds to step S1670.
  • step S1902 the area determination unit 163 selects one of the selectable additional image display area candidate sizes, and changes the size of the additional image display area candidate (step S1902). After executing step S1902, the process returns to step S1641.
  • step S1641 to step S1649 or step S1902 the depth difference inside and outside the boundary surface of the additional image can be adjusted within the allowable range.
  • the image composition unit 180 displays the position and size of the display area of the additional image.
  • the re-designation request is shown to the user (step S1670). For example, the image composition unit 180 displays a re-designation request message on the screen of the display 190.
  • the display area candidate determination unit 160 does not adjust the display position in the depth direction, but moves the display position in the depth direction as in the horizontal direction and the vertical direction. It may be adjusted. In particular, when there is a depth difference slightly exceeding the allowable range on the boundary surface of the additional image, it may be effective to move the display area of the additional image in the depth direction.
  • the depth adjustment range is set to, for example, 10% or less of the original depth range, or is set to, for example, 10% or less of the distance from the display plane of the original average depth position or the minimum depth position. Thus, it is possible to adjust the depth direction by moving the additional image back and forth.
  • the three-dimensional display device 20 displays the additional image on the three-dimensional image obtained by the stereo endoscope, or when the additional image is displayed adjacent to the user. Specifies the display position of the additional image.
  • the three-dimensional display device 20 approximately follows the position designated by the user, and avoids a state where there is a large difference in depth between the inside and outside of the boundary of the display area of the additional image or a state where there is a contradiction in the depth.
  • the display area of the additional image is determined. Thereby, the additional image is displayed at a position required by the user, that is, the surgeon, and the inconsistency of the depth such that the additional image is embedded in the arm of the forceps is avoided. For this reason, fatigue of the user, that is, the surgeon can be prevented.
  • Modification 9 of Embodiment 2 In the fifth to eighth modifications of the second embodiment, the depth difference between the inside and outside of the boundary surface of the additional image is prevented from exceeding the allowable range by adjusting the position and size of the display area of the additional image specified by the user. did. However, in modification examples 5 to 8 of the second embodiment, the display area of the additional image is not deformed. In the ninth modification, the display area of the additional image is deformed to prevent the depth difference inside and outside the boundary surface of the additional image from exceeding the allowable range. In the ninth modification of the second embodiment, the configuration of displaying additional information is changed in accordance with the deformation of the display area of the additional image.
  • the additional information is information that cannot change the spatial configuration, such as image information
  • the deformation of the display area is not effective.
  • deformation of a display area that accompanies a change in display configuration will be described using an example of vital information.
  • FIG. 35 is a block diagram illustrating a functional configuration of the three-dimensional display device 20 according to the second embodiment.
  • the display area candidate determination unit 160 of the 3D display apparatus 20 shown in FIG. 8 of the second embodiment is replaced with the display area candidate determination unit 360, and an additional image shape storage unit 310 is added.
  • the display control signal generation unit 220 and the operation input unit 221 are added as the input unit 200, the output of the display control signal generation unit 220 is input to the additional image position storage unit 140, and the output of the depth information generation unit 130 determines the display area candidate. Except for the input to the unit 360, it is the same as FIG.
  • the same processing parts as those in FIG. 8 are denoted by the same reference numerals, and description thereof is omitted.
  • the three-dimensional display device 20 includes an endoscope camera 111, a vital sensor 121, an MRI image storage unit 122, a three-dimensional image composition unit 123, a depth information generation unit 130, an additional image position storage unit 140, and an additional image Image size storage unit 150, additional image shape storage unit 310, display region candidate determination unit 360, depth matching determination unit 170, image composition unit 180, display 190, display prohibited region storage unit 210, input unit 200.
  • the input unit 200 includes a display control signal generation unit 220 and an operation input unit 221.
  • the additional image shape storage unit 310 stores the shape of the display area of the additional image. For example, when the display area of the additional image is a rectangle, the additional image shape storage unit 310 stores the length ratio between the vertical and horizontal sides. In addition to this, when the display area of the additional image is an ellipse, the additional image shape storage unit 310 stores information that can determine the shape of the additional image, such as storing the ratio of the major axis to the minor axis. ing.
  • the display area candidate determination unit 360 refers to information stored in the additional image position storage unit 140, the additional image size storage unit 150, the additional image shape storage unit 310, and the display prohibition region storage unit 210, and further generates depth information.
  • the depth information of the image acquired by the endoscope camera 111 that is the main image generated by the unit 130 is acquired, and the position, size, and shape of the candidate for the additional image display area are determined.
  • FIG. 36 is a flowchart showing the processing operation of the three-dimensional display device 20 in Modification 9 of Embodiment 2.
  • FIG. 36 is the same as FIG. 31 except that step S1620 is deleted from step S1600 and step S2010 is added in the flowchart of the processing operation of the three-dimensional display device 20 shown in FIG. 31 in the seventh modification of the second embodiment. It is the same.
  • the same operations as those in FIG. 31 are denoted by the same reference numerals, and description thereof is omitted.
  • the endoscopic camera 111 generates image information for three-dimensional display having left and right parallax as a main image, and the vital sensor 121 measures the current patient's cardiac potential and blood pressure as additional information (step) S1100).
  • the display control signal generation unit 220 acquires a user operation on the additional image from the operation input unit 221 and detects an instruction input for displaying the additional image (step S1110). If an instruction input for displaying an additional image is detected in step S1110, that is, if yes in step S1110, the process proceeds to step S1120. If an instruction input for displaying an additional image is not detected in step S1110, that is, if no in step S1110, the process proceeds to step S1700. In step S1700, the image composition unit 180 synthesizes an endoscopic camera image, which is a main image not including an additional image, as a display image.
  • step S1120 the display control signal generation unit 220 further detects an input for operating the position of the additional image (step S1120). If an input designating the position of the additional image is detected in step S1120, that is, if yes in step S1120, the process proceeds to step S1130. If no input specifying the position of the additional image is detected in step S1120, that is, if no in step S1120, the process proceeds to step S1200.
  • step S1130 the display control signal generation unit 220 outputs the information on the position of the additional image that is being input regarding the display of the additional image acquired in step S1110 to the additional image position storage unit 140.
  • the additional image position storage unit 140 stores information on the position of the additional image output from the display control signal generation unit 220 (step S1130).
  • step S1200 the display area candidate determination unit 360 selects a display area candidate from the size of the additional image stored in the additional image size storage unit 150 and the position of the additional image stored in the additional image position storage unit 140.
  • One is determined (step S1200).
  • the display area candidate determination unit 360 arbitrarily selects one of the additional image sizes stored in the additional image size storage unit 150 from unselected ones, and selects the selected additional image size and additional image position.
  • An area indicated by a combination with the position of the additional image stored in the storage unit 140 is determined as a display area candidate.
  • step S1200 display area candidates are determined using the latest information of the additional image position information stored in the additional image position storage unit 140. Therefore, when step S1130 is executed, display area candidates are determined using the position information stored in step S1130.
  • the display area candidate determination unit 360 determines whether or not the display area candidate determined in step S1200 includes the display prohibited area stored in the display prohibited area storage unit 210 (step S1210). If it is determined in step S1210 that the display area candidate includes a display prohibited area, that is, if yes in step S1210, the process proceeds to step S2010. If it is determined in step S1210 that the display area candidate does not include a display prohibited area, that is, if no in step S1210, the process proceeds to step S1300.
  • step S1300 the depth matching determination unit 170 extracts the boundary line or boundary surface of the additional image display area determined in step S1200, and extracts depth information around the boundary line or boundary surface (step S1300).
  • the depth matching determination unit 170 extracts the depth of the display area of the additional image obtained from the information on the position of the additional image stored in the additional image position storage unit 140 by the display area candidate determination unit 360 in step S1300.
  • the depth of the main image of the portion adjacent to the boundary line or boundary surface with the additional image is compared (step S1400).
  • the depth matching determination unit 170 determines whether the depth difference between the main image and the additional image displayed across the boundary line or the boundary surface exceeds a predetermined allowable range (step S1500). If it is determined in step S1500 that the depth difference is outside the allowable range, that is, if yes in step S1500, the process proceeds to step S2010. If it is determined in step S1500 that the depth difference is within the allowable range, that is, if no in step S1500, the process proceeds to step S1700.
  • step S1700 the image composition unit 180 synthesizes the main image acquired in step S1100 and the additional image indicating the additional information acquired in step S1100. Specifically, the image composition unit 180 displays the main image on the screen of the display 190, overlaps the main image, and displays the additional image in the display area as the display area candidate determined in step S1200. So compositing the images.
  • Display 190 displays the three-dimensional image synthesized in step S1700 (step S1800). After displaying the three-dimensional image on the display 190 in step S1800, the process returns to step S1100.
  • step S2010 the display area candidate determination unit 360 deforms the shape of the additional image and stores the deformed shape in the additional image shape storage unit 310 (step S2010).
  • the display area candidate determination unit 360 does not change the display position of the additional image and adds the display area of the additional image so that it does not include the display prohibition area, that is, the display area of the additional image is outside the display prohibition area.
  • Deform the shape of the image For example, when the display area of the additional image is a rectangle and the upper part of the display area of the additional image overlaps the display prohibition area, the vertical side of the rectangle is shortened and the horizontal side is extended to further increase the display area. By transforming into a horizontally long rectangle, the additional image is prevented from including the display prohibited area.
  • the details of the additional image display area deformation process (step S2010) will be described later. After execution of step S2010, the process returns to step S1200.
  • a display area candidate can be determined while avoiding the display prohibited area, and a display area of an additional image whose depth difference does not exceed the allowable range can be determined.
  • FIG. 37 is a functional block diagram showing details of the part of the three-dimensional display device 20 of Modification 9 of Embodiment 2.
  • the display area candidate determination unit 360 includes an area determination unit 363, a distance calculation unit 164, an area storage unit 165, a shape determination unit 361, and a layout determination unit 362.
  • the area determination unit 363 includes an additional image position storage unit 140, an additional image size storage unit 150, a shape determination unit 361, a distance calculation unit 164, an area storage unit 165, a layout determination unit 362, and a depth matching determination unit.
  • information related to the display area candidate of the additional image is output to the distance calculation unit 164 and the region storage unit 165.
  • the area determination unit 363 acquires the display position of the additional image designated by the user from the additional image position storage unit 140 and acquires the predetermined size of the additional image from the additional image size storage unit 150.
  • the region determination unit 363 determines the region indicated by the acquired display position and size as the display region of the additional image.
  • the area determination unit 363 further deforms the display area of the additional image in accordance with the input from the distance calculation unit 164 or the input from the depth matching determination unit 170 and the layout determination unit 362, and displays the additional information in the deformed display area. Adjust the layout.
  • the distance calculation unit 164 calculates the distance in the image display space between the display region candidate of the additional image acquired from the region determination unit 363 and the display prohibition region stored in the display prohibition region storage unit 210. For example, the distance calculation unit 164 maps the display prohibition area and the additional image display area candidate in the image display space to the display plane, and compares the positions on the display plane to determine the distance between the two. calculate. The distance calculation unit 164 can obtain the distance between the regions on the display plane, for example, on the xy plane of the coordinate system as shown in FIG. The distance calculation unit 164 outputs the calculation result to the region determination unit 363.
  • the area storage unit 165 stores information related to the display area candidate of the additional image determined by the area determination unit 363.
  • the shape determination unit 361 includes the distance between the display prohibition area acquired from the distance calculation unit 164 and the display area candidate of the additional image, and the endoscope camera 111 that is the main image acquired from the depth information generation unit 130. 3D image depth information, additional image shape information stored in the additional image shape storage unit 310, additional image position stored in the additional image position storage unit 140, and additional image size storage unit 150. The shape and size of the display area candidate of the additional image are determined from the size of the additional image stored in the image, and the determined shape and size of the display area candidate are output to the layout determination unit 362 and the region determination unit 363. .
  • the layout determining unit 362 determines a layout for displaying vital information in the additional image display area with respect to the shape and size of the additional image display area candidate acquired from the shape determining unit 361.
  • FIG. 38A is a schematic diagram illustrating an example in which vital information is displayed in a display area of an additional image having a standard shape.
  • FIG. 38B is a schematic diagram illustrating an example in which vital information is displayed in a display area of a rectangular additional image that is longer than the standard shape.
  • FIG. 38C is a schematic diagram illustrating an example in which vital information is displayed in display areas of two additional images, blood pressure and an electrocardiogram.
  • the horizontal axis indicates time
  • the vertical axis indicates blood pressure
  • the horizontal axis indicates time
  • the electrocardiogram graph where the vertical axis indicates potential is vital information.
  • the horizontal axis represents time.
  • the horizontal axes of the two graphs are aligned by arranging the two graphs vertically so that the time synchronization is easy to see.
  • the horizontal rectangular display region candidate shown in FIG. 38B by arranging two graphs horizontally, even if the vertical length is short, the two graphs do not compress the vertical axis of the graph too much. Is an observable layout.
  • FIG. 38C two graphs are divided into two regions and displayed, each region is made smaller, the degree of freedom of the display position of the additional image is increased, and the graph is displayed easily without being overcompressed. It has a layout.
  • FIG. 39 is a flowchart showing details of the operation part of the three-dimensional display device 20 in Modification 9 of Embodiment 2.
  • step S2010 will be described with reference to FIG.
  • step S1210 of FIG. 36 If it is determined in step S1210 of FIG. 36 that the display area candidate includes a display prohibited area, that is, if yes in step S1210, or if it is determined in step S1500 that the depth difference is outside the allowable range, That is, in the case of yes in step S1500, the display area candidate determination unit 360 performs the operation of step S2010.
  • the shape determining unit 361 extracts a portion having a large pop-up from the screen in the image from the depth information of the main image acquired from the depth information generating unit 130 (step S2011). As shown in FIG. 2B, coordinates indicating the position of the object in the image are set, and for the z-axis in the depth direction, the pop-out direction from the screen is a positive value and the back side from the screen is a negative value.
  • the shape determining unit 361 extracts an object part having a z coordinate value exceeding 50 cm, for example, as a part with a large pop-out.
  • the shape determining unit 361 calculates the distance between the part with the large protrusion extracted in step S2011 and the display area candidate of the additional image (step S2012). For example, the shape determining unit 361 maps a portion with a large protrusion and a display area of the additional image to the xy plane on the coordinates in FIG. 2B, that is, the display plane, and the two areas are closest to each other on this plane. Find the distance of the part.
  • the shape determining unit 361 determines whether or not to block the portion with a large pop-up with an additional image based on the shape of the portion with a large pop-up obtained at step S2011 and the distance obtained at step S2012 ( Step S2013). For example, the shape determining unit 361 has a case where a portion of a large protrusion is continuously mapped onto the xy plane and the area of the mapping portion is less than a predetermined value, or a portion where the protrusion is large is reduced to the xy plane.
  • mapping portion Even if the mapping portion is not continuous, the distribution range thereof overlaps with an arbitrary region having a predetermined area, or mapping of a portion with a large protrusion onto the xy plane and the display region candidate xy of the additional image If the map onto the plane overlaps, it is determined that the portion with a large pop-up is blocked by the additional image.
  • step S2013 If it is determined in step S2013 that a portion with a large pop-up is blocked by the additional image, that is, if yes in step S2013, the process proceeds to step S2014.
  • the shape determining unit 361 transforms the region of the additional image into a shape and size including the range of the protruding portion to be shielded (step S2014).
  • the additional image is a rectangle. Therefore, for example, the shape determining unit 361 calculates the distance between the left end and the right end in the horizontal direction, that is, the x-axis direction in FIG. 2B of the graphic mapped to the display plane, that is, the xy plane in FIG. The length of the side. Similarly, the distance between the upper end and the lower end in the vertical direction of the portion to be shielded, that is, the y-axis direction in FIG.
  • the shape and size of the display area of the additional image after deformation are determined from the length of the vertical side and the length of the horizontal change.
  • step S2013 If it is determined in step S2013 that a portion with a large pop-out is not blocked by the additional image, that is, if no in step S2013, the process proceeds to step S2015.
  • step S2015 the shape determination unit 361 displays the display region candidate of the additional image based on the distance between the display region candidate of the additional image calculated by the distance calculation unit 164 and the display prohibited region. It is determined whether or not the prohibited area is included (step S2015). If it is determined in step S2015 that the additional image display area includes a display prohibited area, that is, if yes in step S2015, the process proceeds to step S2016. If it is determined in step S2015 that the display area of the additional image does not include the display prohibition area, that is, if no in step S2015, the process proceeds to step S2017.
  • step S2016 the shape determining unit 361 deforms the shape of the additional image display area candidate according to the distance between the additional image display area candidate and the display prohibited area calculated by the distance calculating unit 164.
  • the shape determining unit 361 is, for example, a deformation that eliminates the overlap between the display area of the additional image and the display prohibition area by changing the long side and the short side, and the center of gravity of the display area of the additional image accompanying the deformation of the additional image display area It is assumed that the deformation with the least change is performed.
  • step S2017 the shape determining unit 361 deforms the shape of the display area candidate of the additional image according to the distance between the protruding portion calculated in step S2012 and the display area candidate of the additional image (step S2017). For example, the shape determination unit 361 displays the display area candidate so that the sum of the distances between all the protruding portions adjacent to or overlapping the display area candidate of the additional image and the display area candidate of the additional image is maximized. Change the long and short sides of. Alternatively, the shape determination unit 361 is a change of the long side and the short side for eliminating the overlap with the protruding portion, and the deformation with the least change in the center of gravity of the display area of the additional image accompanying the deformation of the additional image display area It is good to do.
  • step S2018 the layout determination unit 362 changes the display layout of the additional information according to the aspect ratio of the display area candidate of the additional image transformed in step S2014, step S2016, or step S2017 (step S2018).
  • the layout determination unit 362 displays a plurality of graphs whose time is on the horizontal axis as shown in FIG. 38B.
  • the layout determining unit 362 changes the layout so that the time axes of the two graphs are aligned and displayed vertically as shown in FIG. 38A.
  • step S2015 determines the shape of the display area candidate so as to avoid the display prohibition area. Is modified (step S2016). However, if such a modification causes the area of the shape of the display candidate region to be equal to or smaller than the predetermined threshold and the area becomes extremely small, the shape determining unit 361 indicates that the area is extremely small.
  • a signal may be transmitted to the image composition unit 180. In response to the received signal, the image composition unit 180 displays a message on the display 190 that prompts the user to respecify the display position of the additional image.
  • the ninth modification of the second embodiment when the three-dimensional display device 20 displays the additional image superimposed on the three-dimensional image captured by the stereo endoscope,
  • the display position of the additional image When the display position of the additional image is designated, the shape of the display area of the additional image and the layout of the additional information in the display area are changed.
  • the additional image by shielding the main image with the additional image, a state where there is a large difference in depth between the inside and the outside of the boundary of the display area of the additional image or a state where there is a contradiction in the depth is avoided. Accordingly, it is possible to display the additional image at a position required by the user, that is, the operator, and to avoid the inconsistency of the depth such that the additional image is embedded in the arm of the forceps, thereby preventing fatigue of the user, that is, the operator.
  • the display area candidate determination unit 360 determines that the depth difference is not included in the allowable range by the depth matching determination unit 170 even if the position of the candidate area is changed. If the layout of the biometric data graph is changed, the biometric data graph is determined when the depth matching determination unit 170 determines that the depth difference is not included in the allowable range even if the size of the candidate area is changed. The layout may be changed.
  • the shape of the display area of the additional image is deformed so that the additional image shields a portion with a large protrusion in the main image.
  • the depth at which the additional image is displayed is changed to a depth position that minimizes the depth difference between the additional image and the main image at the boundary surface between the additional image and the main image.
  • the display position of the additional image may be adjusted. Minimizing the depth difference means minimizing the average of the depth differences, or matching the depth position of the additional image to the maximum depth position on the main image side.
  • the user is allowed to select one of the display area candidates from the plurality of display area candidates determined by the display area candidate determining section 160 or the display area candidate determining section 360. May be.
  • a process may be added in which an additional image is attached to all display area candidates and displayed on the display, and the user selects a specific display area using the input unit 200.
  • FIG. 40A is a diagram illustrating a display example in which display area candidates of four additional images set by the display area candidate determination unit 160 or the display area candidate determination unit 360 are displayed on the screen.
  • the display area candidate of the additional image is set at a position where it touches the four corners of the display.
  • Each additional image area is fixed to the corner of the display by the same operation as in steps S1210 to S1610 shown in FIG. 31 of the modification 7 of the second embodiment, and is stored in the display prohibited area storage unit 210.
  • the size is adjusted so that the depth difference inside and outside the display area of the additional image is within the allowable range without including the stored area.
  • the display area candidates of the additional image whose size has been adjusted are all displayed on the display, and the user selects the display area having the most preferable position and size.
  • FIG. 40B is an example of the operation input unit 221 for selecting display area candidates.
  • the operation input unit 221 includes four buttons corresponding to positions on the display and a cross key.
  • the user can select the display area of the additional image from the four candidates by pressing the button corresponding to the display area having the most preferable position and size among the four buttons corresponding to the positions on the display.
  • the user can select one of the four display area candidates by operating the cross key.
  • the stereo endoscope camera image and vital information are acquired and displayed in real time.
  • the stereo endoscope camera image was captured and recorded.
  • the image and the vital information acquired and recorded in synchronization with the image may be displayed.
  • the endoscope camera 111 and the vital sensor 121 are replaced with an image storage unit and a vital data storage unit, respectively.
  • the depth information may be generated in advance and stored as data synchronized with the image information.
  • the three-dimensional display device 20 displays an intraoperative image of an endoscopic operation captured by a stereo endoscope camera 111 in real time.
  • an image captured by a stereo endoscope camera and stored is displayed as a main image.
  • Information recorded simultaneously with imaging with the stereo endoscope camera during the operation is stored as additional information time-synchronized with the image of the stereo endoscope camera.
  • FIG. 41 is a block diagram illustrating a functional configuration of the three-dimensional display device 30 according to the third embodiment.
  • the three-dimensional display device 30 replaces the main image acquisition unit 110 with the endoscope image storage unit 112, and adds the additional information acquisition unit 120 with the vital storage unit 125 and MRI image storage.
  • the unit 122 and the three-dimensional image composition unit 123 are replaced with a match determination result storage unit 340, an optimum display plan determination unit 320, and an additional image display plan storage unit 330.
  • the other configuration is the same as that of the three-dimensional display device 10 of FIG. The same parts as those in FIG.
  • the three-dimensional display device 30 includes an endoscope image storage unit 112, a vital storage unit 125, an MRI image storage unit 122, a three-dimensional image composition unit 123, a depth information generation unit 130, and an additional image position storage unit 140.
  • An image composition unit 180 and a display 190 are provided.
  • the endoscope image storage unit 112 stores an image during surgery using a stereo endoscope.
  • the image is a stereo three-dimensional image in which an image of a stereo endoscope camera used for surgery is stored as a moving image, and is stored as a right-eye image and a left-eye image that are synchronized in time.
  • the vital storage unit 125 is measured by a sensor attached to the body of the patient during surgery simultaneously with the imaging of the endoscope image storage unit 112, and the stored body temperature, cardiac potential, blood pressure, blood oxygen concentration, brain wave, etc. Vital information is stored. The vital information is time-synchronized with the image stored in the endoscope image storage unit 112.
  • the MRI image storage unit 122 stores three-dimensional image information including an image of an affected part to be operated, which is recorded by the MRI system before surgery.
  • the three-dimensional image composition unit 123 synthesizes the image information stored in the MRI image storage unit 122 into an image in a format that can be displayed on the display 190 as a designated cut surface (slice) or a designated range of stereoscopic images. .
  • the depth information generation unit 130 obtains the right and left parallax of the three-dimensional image stored in the endoscope image storage unit 112 and generates the depth information of the image.
  • the additional image position storage unit 140 stores the position at which the vital information stored in the vital storage unit 125 or the MRI image information stored in the MRI image storage unit 122 is displayed on the screen of the display 190.
  • the additional image size storage unit 150 stores a size when the additional information acquired by the additional information acquisition unit 120 is displayed on the screen of the display 190 as an additional image.
  • the display area candidate determination unit 160 determines display area candidates for displaying one or more additional information as additional images on the screen of the display 190.
  • the depth matching determination unit 170 uses the display region candidate information determined by the display region candidate determination unit 160 and the depth information of the endoscopic image generated by the depth information generation unit 130 to define the boundary of the display region of the additional image. A state is detected in which the depth difference between the additional image and the main image around the surface is greater than a predetermined value or there is a depth contradiction.
  • the conformity determination result storage unit 340 stores a depth difference value between the additional image and the main image determined by the depth conformance determination unit 170 for each display area candidate at predetermined time intervals.
  • FIG. 42 shows an example of information stored in the conformity determination result storage unit 340.
  • FIG. 42 shows the determination result of the depth matching determination unit 170 for the display area of each additional image at each time.
  • the optimal display plan determination unit 320 is information stored in the suitability determination result storage unit 340 for the results determined by the depth suitability determination unit 170 for all times of the image stored in the endoscopic image storage unit 112. Search from.
  • the optimal display plan determination unit 320 selects an optimal display area for each time from each display area candidate for each time.
  • the optimal display plan determination unit 320 determines the display area of the selected optimal additional image as a display plan for each time of the image stored in the endoscope image storage unit 112.
  • the determination of the optimal display area is based on, for example, a criterion such that the number of times that the display position of the additional image changes through the entire time is the smallest, and the case where the amount of change in the display position of the additional image is the smallest throughout the entire time. Based on.
  • the additional image display plan storage unit 330 stores the display plan determined by the optimum display plan determination unit 320.
  • the image composition unit 180 displays the three-dimensional image stored in the endoscope image storage unit 112 on the screen of the display 190, the vital information stored in the vital storage unit 125, and the MRI image storage unit 122.
  • the image is synthesized so that the information of the MRI image is displayed in the display area of the additional image at each time indicated in the display plan stored in the additional image display plan storage unit 330.
  • Display 190 displays the generated image.
  • FIG. 43 is a flowchart showing the operation of the three-dimensional display device 30 in the third embodiment.
  • 44 and 45 are flowcharts showing details of a part of the operation of the three-dimensional display device 30 according to the third embodiment.
  • FIG. 41 The operation of the 3D display device 30 according to the third embodiment will be described with reference to FIGS. 41, 43, 44, and 45.
  • FIG. 41 The operation of the 3D display device 30 according to the third embodiment will be described with reference to FIGS. 41, 43, 44, and 45.
  • the three-dimensional display device 30 determines the time series of the display area of the additional image to be displayed together with the image stored in the endoscope image storage unit 112 as the main image, that is, the display plan of the additional image (Ste S3100). Next, the three-dimensional display device 30 actually combines the main image and the additional image, and displays the combined three-dimensional image (step S3200).
  • step S3100 details of the operation in step S3100 will be described.
  • the depth information generation unit 130 acquires a unit time image for processing from a stereo three-dimensional image stored in the endoscope image storage unit 112, and stores the image in the endoscope image storage unit 112. It is determined whether an unprocessed image remains in (Step S3110).
  • the unit time of processing is, for example, one sample of a digital moving image. If it is determined in step S3110 that there is an unprocessed image in the endoscope image storage unit 112 (yes in step S3110), the process proceeds to step S1200. If it is determined in step S3110 that no unprocessed image remains in the endoscopic image storage unit 112 (no in step S3110), the process proceeds to step S3130.
  • step S1200 the display area candidate determination unit 160 selects a display area candidate from the size of the additional image stored in the additional image size storage unit 150 and the position of the additional image stored in the additional image position storage unit 140. Determine (step S1200).
  • the depth information generation unit 130 generates the depth information of the image for the processing unit acquired from the endoscope image storage unit 112 (step S1300).
  • the depth matching determination unit 170 obtains the depth of the display area obtained from the information stored in the additional image position storage unit 140 and the depth of the portion adjacent to the boundary line or boundary surface between the additional image extracted in step S1300. Compare (step S1400).
  • the depth compatibility determination unit 170 determines whether or not the depth difference displayed across the boundary line or boundary surface exceeds a predetermined allowable range (step S1500). If it is determined in step S1500 that the depth difference is outside the allowable range, that is, if yes in step S1500, the process proceeds to step S1600. If it is determined in step S1500 that the depth difference is within the allowable range, that is, if no in step S1500, the process proceeds to step S3120.
  • step S1600 the display area candidate determination unit 160 moves the display position of the additional image, and stores the moved display position in the additional image position storage unit 140 (step S1600). After step S1600, the process returns to step S1200.
  • step S3120 the depth matching determination unit 170 acquires time information synchronized with the main image stored in the endoscopic image storage unit 112, information on the region of the additional image display region candidate, and the additional image obtained in step S1400.
  • the depth difference between the main image and the additional image displayed across the region boundary line or boundary surface is stored in the matching determination result storage unit 340.
  • the stored contents are configured as shown in FIG. After step S3120, the process returns to step S3110.
  • the candidate for the display area of the additional image is stored for each unit time with respect to the entire time of the image stored in the endoscope image storage unit 112.
  • the optimal display plan determination unit 320 determines a display area for displaying the additional image for each time from the additional image display area candidates for each time stored in the suitability determination result storage unit 340.
  • the display area of the additional image at each time is selected so that the number of movements of the display area of the additional image is minimized with respect to the entire time of the main image.
  • Other methods for selecting the display area of the additional image include, for example, the display area of the additional image at each time so that the total moving distance of the display area of the additional image is minimized with respect to the entire time of the main image. You may choose. Further, the optimization may be performed using a standard combining the number of movements and the movement distance.
  • the optimal display plan determination unit 320 stores the display area of the additional image for each time, that is, the display plan of the additional image optimized in this way, in the additional image display plan storage unit 330 (step S3140).
  • step S3110 By performing the processing from step S3110 to step S3140, the display area of the additional image to be displayed over the main image is determined for all times of the main image stored in the endoscope image storage unit 112.
  • step S3200 Next, the detailed operation of step S3200 will be described with reference to FIG.
  • the image composition unit 180 acquires a unit time image for display from the stereo three-dimensional image stored in the endoscope image storage unit 112, and an unprocessed image remains in the endoscope image storage unit 112. It is determined whether or not there is (step S3210). If it is determined in step S3210 that there is an unprocessed image in the endoscope image storage unit 112 (no in step S3210), the process proceeds to step S3220. If it is determined in step S3210 that no unprocessed image remains in the endoscope image storage unit 112 (yes in step S3210), the process proceeds to step S3250.
  • step S3220 the image composition unit 180 acquires the display area of the additional image corresponding to the time from the additional image display plan storage unit 330 (step S3220).
  • step S 3230 the image composition unit 180 acquires vital information corresponding to the time from the vital storage unit 125. Further, the image composition unit 180 generates an image in the display area of the additional image acquired in step S3220 according to the display template.
  • the display template is, for example, a graph template in which the horizontal axis indicates time and the vertical axis indicates values such as body temperature and blood pressure.
  • the image composition unit 180 acquires stereo three-dimensional image information generated by computer graphics based on the information stored in the MRI image storage unit 122 from the three-dimensional image composition unit 123.
  • the image composition unit 180 generates a computer graphics image in the display area of the additional image acquired in step S3220 from the acquired image information (step S3230).
  • the image composition unit 180 synthesizes the additional image generated in step S3230 with the main image acquired in step S3210 to generate an entire image (step S3240).
  • Display 190 displays the image generated in step S3240 (step S1800).
  • step S3250 It is possible to display all the images stored in the endoscope image storage unit 112 and the corresponding additional images by repeating the steps S3210 to S1800.
  • the three-dimensional display device 30 ends the operation (step S3250).
  • the display area of the additional image is determined while avoiding a state where there is a large difference in depth or a state where there is a contradiction in depth.
  • the burden on the user due to frequent or large movement of the display area of the additional image is avoided. User fatigue can be prevented.
  • the display area candidate determination unit 160 determines display area candidates based on the information stored in the additional image position storage unit 140 and the additional image size storage unit 150.
  • the display-prohibited area storage unit 210 stores information on a region that is prohibited from being shielded by the additional image, and for example, shields the affected part that is a surgical target. The area may not be set as the display area of the additional image.
  • the additional image is automatically displayed and the user does not operate the additional image.
  • the input unit 200 The area of the additional image may be changed by the user inputting an operation for the additional image.
  • the display area of the additional image at each time is selected so that the number of movements or the total movement distance of the display area of the additional image is minimized for the recorded main image.
  • the following processing may be performed in order to minimize the number of movements or the total movement distance of the display area of the additional image.
  • the display area candidate determination unit 160 illustrated in FIG. 1 gives priority to the display area candidate closest to the display position of the additional image displayed immediately before. An image display area candidate may be determined.
  • the main image is an image captured by a stereo endoscope camera
  • the additional image is a vital information image that is time-synchronized with the main image, and an MRI image or the like in advance.
  • the image acquired On the other hand, in the three-dimensional display device according to the fourth embodiment, an image captured by a stereo camera attached to a remote control robot is used as a main image, map information of the robot's movement range, current position information of the robot, A map of the current position generated from is used as an additional image.
  • the three-dimensional display device is viewed by the operator of the remote control robot.
  • the three-dimensional display device 30 may display, as an additional image, an image of ambient environment information such as the temperature, humidity, pressure, and radiation dose of the robot operating environment in addition to the map of the current position.
  • an image of ambient environment information such as the temperature, humidity, pressure, and radiation dose of the robot operating environment in addition to the map of the current position.
  • a display such as a graph display is possible like the vital information image of the second embodiment.
  • FIG. 46 is a block diagram illustrating a functional configuration of the three-dimensional display device 40 according to the fourth embodiment.
  • the main image acquisition unit 110 is replaced with the stereo camera 113
  • the additional information acquisition unit 120 is replaced with the map storage unit 126
  • the position sensor 127 is replaced.
  • the three-dimensional map composition unit 128 is replaced.
  • the other configuration is the same as that of the three-dimensional display device 10 of FIG. The same parts as those in FIG.
  • the three-dimensional display device 40 includes a stereo camera 113, a map storage unit 126, a position sensor 127, a three-dimensional map synthesis unit 128, a depth information generation unit 130, an additional image position storage unit 140, and an additional image size storage.
  • Unit 150 display area candidate determination unit 160, depth matching determination unit 170, image composition unit 180, and display 190.
  • Stereo camera 113 is a stereo three-dimensional image capturing camera attached to a remote control robot.
  • the map storage unit 126 stores map information in a predetermined range in which the robot is active.
  • the map is, for example, a design drawing of a specific building and includes information on rooms on each floor.
  • the position sensor 127 is a sensor that measures the current position of the remote control robot. Specifically, for example, a GPS sensor and an altimeter. The position on the plane is measured by the GPS sensor, and the level in the building is measured by the altimeter.
  • the three-dimensional map synthesis unit 128 uses the map information stored in the map storage unit 126 and the position information of the robot measured by the position sensor 127 to display the current state of the robot in a three-dimensionally displayed image in the building. An image showing the position is synthesized.
  • the three-dimensional map composition unit 128 generates an image for displaying a structure of a building such as a wall in a translucent manner and displaying the robot in a shape such as a triangular prism that shows the front-rear direction.
  • the depth information generation unit 130 obtains left and right parallax of the three-dimensional image photographed by the stereo camera 113 and generates depth information of the image.
  • the additional image position storage unit 140 stores a position when the image synthesized by the 3D map synthesis unit 128 is displayed on the screen of the display 190.
  • the additional image size storage unit 150 stores the size when the image synthesized by the 3D map synthesis unit 128 is displayed on the screen.
  • the display area candidate determination unit 160 determines display area candidates for displaying one or more additional information as additional images on the screen.
  • the depth matching determination unit 170 uses the display region candidate information determined by the display region candidate determination unit 160 and the depth information of the three-dimensional image generated by the depth information generation unit 130 to display the boundary surface of the display region of the additional image. A state in which the depth difference between the peripheral additional image and the main image increase is greater than a predetermined value or there is a depth contradiction is detected.
  • the image synthesis unit 180 generates an image to be displayed on the display 190 by synthesizing the 3D image captured by the stereo camera 113 and the image synthesized by the 3D map synthesis unit 128.
  • the display 190 displays the image generated by the image composition unit 180.
  • FIG. 47 is a flowchart showing the processing operation of the three-dimensional display device 10 according to the fourth embodiment.
  • FIG. 47 is the same as FIG. 5 except that step S4100 is added to the operation shown in FIG. 5 of the first embodiment.
  • FIG. 46 the operation of the three-dimensional display device 40 according to the fourth embodiment will be described with reference to FIGS. 46 and 47.
  • FIG. 46 the operation of the three-dimensional display device 40 according to the fourth embodiment will be described with reference to FIGS. 46 and 47.
  • the stereo camera 113 acquires image information for 3D display having left and right parallax, and the position sensor 127 acquires information on the current position of the robot (step S1100).
  • the current position information includes information on the plane position and the altitude.
  • the display area candidate determination unit 160 displays a display from the predetermined size of the additional image stored in the additional image size storage unit 150 and the position of the additional image stored in the additional image position storage unit 140.
  • a candidate area is determined (step S1200).
  • the additional image size storage unit 150 stores the size of one additional image
  • the additional image position storage unit 140 stores one or more display positions.
  • the depth matching determination unit 170 extracts a boundary line or a boundary surface of the display area candidate of the additional image determined in step S1200.
  • the boundary surface is a surface in the depth direction orthogonal to the plane of the display 190.
  • the depth matching determination unit 170 identifies a portion adjacent to the boundary line or boundary surface with the additional image in the three-dimensional image acquired in step S1100, and extracts depth information (step S1300).
  • the depth information generation unit 130 acquires the depth information until the main image acquisition unit 110 acquires the main image in step S1100 and the depth matching determination unit 170 extracts the depth information in step S1300. Is generated and held.
  • the depth matching determination section 170 extracts the depth of the display area of the additional image obtained by the display area candidate determination section 160 from the information on the position of the additional image stored in the additional image position storage section 140, and in step S1300.
  • the depth of the main image of the portion adjacent to the boundary line or the boundary surface with the added image is compared (step S1400).
  • the depth matching determination unit 170 determines whether the depth difference between the main image and the additional image displayed across the boundary line or the boundary surface exceeds a predetermined allowable range (step S1500).
  • the depth difference is an allowable range when a value obtained by subtracting the depth value of the main image near the boundary from the depth value of the additional image is ⁇ 1 cm or more and 15 cm or less. If it is determined in step S1500 that the depth difference is outside the allowable range, that is, if yes in step S1500, the process proceeds to step S1600. If it is determined in step S1500 that the depth difference is within the allowable range, that is, if no in step S1500, the process proceeds to step S4100.
  • step S1600 the display area candidate determination unit 160 changes the display position of the additional image (step S1600).
  • the display position is changed by selecting a display position that has not been selected as a display position candidate in step S1200 from among the display positions stored in the additional image position storage unit 140.
  • step S1600 the process returns to step S1200.
  • step S4100 the 3D map synthesis unit 128 generates 3D building computer graphics based on the building structure information stored in the map storage unit 126, and the generated building computer graphics are included in the generated building computer graphics. Then, the current position of the robot is drawn (step S4100).
  • the three-dimensional map synthesis unit 128 calculates the coordinate position in the computer graphics of the building corresponding to the current position of the robot from the plane position and altitude of the robot acquired from the position sensor 127, and A robot symbol, for example, a triangular prism, is placed at the coordinate position.
  • the image composition unit 180 superimposes the stereo image acquired in step S1100 and displays an image so that the map generated in step S4100 and the current position of the robot are displayed as the display region candidates determined in step S1200. Synthesis (step S1700).
  • Display 190 displays the three-dimensional image synthesized in step S1700 (step S1800). After displaying the three-dimensional image on the display 190 in step S1800, the process returns to step S1100. By repeating step S1100 to step S1800, the three-dimensional display device 40 acquires an image and additional information for each processing unit and continues displaying the three-dimensional image.
  • the three-dimensional display device 40 displays an additional image superimposed on or adjacent to the three-dimensional image
  • the display area of the additional image is determined while avoiding a state where there is a large difference in depth or a state where there is a contradiction in depth. Accordingly, even when computer graphics that is a three-dimensional image is further displayed on the main image of the three-dimensional image, it is possible to prevent a sense of incongruity or fatigue due to a difference in depth or a contradiction in depth.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the three-dimensional display device has been described based on the embodiment, but the present disclosure is not limited to this embodiment. Unless it deviates from the gist of the present invention, various modifications conceived by those skilled in the art have been made in this embodiment, and forms constructed by combining components in different embodiments are also within the scope of one or more aspects. May be included.
  • One aspect according to the present disclosure is a three-dimensional display device that simultaneously displays a main image of a three-dimensional image and an additional image that obstructs a part of the main image on a screen.
  • the additional image is displayed in the candidate area determined by the display area candidate determination unit and the display area candidate determination unit that determines one candidate area from among the plurality of display area candidates in
  • the depth difference between the depth of the main image displayed in the boundary area that is an area on the main image within a predetermined distance from the boundary line of the candidate area and the depth of the additional image is within a predetermined allowable range.
  • a depth matching determination unit that determines whether or not the depth matching determination unit determines that the depth difference is included in the allowable range, and the additional image is added to the candidate area on the main image.
  • an image composition unit that displays an image obtained as a result of the composition on the screen, and the depth of the main image in front of the predetermined depth in the main image
  • a display area candidate comprising: a first area that is likely to jump out; and a non-conformity possibility area determination unit that determines a second area in which the depth may exceed the predetermined depth range and retract into the depth.
  • the determination unit further determines a candidate region that blocks the first region and the second region determined by the nonconformity possibility region determination unit.
  • the additional image when the depth difference between the main image and the additional image across the boundary line of the additional image is within the allowable range, the additional image is displayed. Further, for example, it is possible to eliminate the inconsistency in the depth caused by the additional area being displayed in the area that protrudes extremely forward. For this reason, a user's discomfort and fatigue can be prevented.
  • the display area candidate determination unit further re-determines the candidate area when the depth suitability determination unit determines that the depth difference is not included in the allowable range. Also good.
  • a candidate area in which the depth difference is within the allowable range is determined. As a result, it is possible to prevent the user from feeling uncomfortable or tired due to a difference in depth between the main image and the additional image or an inconsistency in the depth.
  • the depth matching determination unit divides the boundary area into a predetermined number of partial areas, and for each partial area, the depth of the main image displayed in the partial area and the additional image
  • the depth difference of the main image displayed in the boundary region and the additional image are calculated by calculating a depth difference from the depth and determining whether or not the calculated maximum value of the depth difference is included in the allowable range. It may be determined whether or not the depth difference from the depth is included in a predetermined allowable range.
  • combination part adds a 1st frame to the said candidate area
  • the image processing apparatus further includes a display prohibition area storage unit that stores a display prohibition area that is an area on the screen that prohibits display of the additional image, and the display area candidate determination unit includes the additional display area.
  • One candidate area that does not overlap with the display prohibition area stored in the display prohibition area storage unit may be determined from among a plurality of candidates for the image display area.
  • the depth suitability determination unit adds a larger correction value to the depth difference as the distance from the candidate area to the display prohibited area is shorter, and the depth difference is included in the allowable range. It may be determined whether or not.
  • the candidate region farther from the display prohibited region can be selected more easily.
  • the display prohibited area may be larger in size as the distance between the camera that captured the main image and the object displayed in the display prohibited area is smaller.
  • storage part is further provided, and the said nonconformity possibility area
  • the display area candidate determination unit may determine the candidate area by giving priority to a candidate closest to the display area of the additional image displayed on the screen immediately before.
  • the main image is a recorded three-dimensional video
  • the depth matching determination unit performs the main image for each of the plurality of candidates for the display area of the additional image at predetermined time intervals. It is determined whether a depth difference between the depth of the image and the depth of the additional image is included in the allowable range, and the three-dimensional display device further determines the depth according to the determination result in the depth matching determination unit. From the candidate areas where the difference is included in the allowable range, from the start of playback of the main image to the end of playback, the distance or number of movements of the display area of the additional image is minimized.
  • the main image may be a three-dimensional image captured by an endoscope camera.
  • the three-dimensional display device can be used for endoscopic surgery.
  • the image processing apparatus further includes a display prohibition area storage unit that stores a display prohibition area that is an area on the screen that prohibits display of the additional image, and the display area candidate determination unit includes the additional display area.
  • a candidate area that does not overlap the display prohibited area stored in the display prohibited area storage unit is determined from a plurality of candidates for the display area of the image, and the display prohibited area is included in the main image.
  • the region may include an image of an affected area to be operated.
  • the additional image is an image showing at least one of blood pressure, blood oxygen partial pressure, respiration, expiration, body temperature, electrocardiogram, electroencephalogram and pulse wave of the patient during surgery. Also good.
  • the image processing apparatus further includes an input unit that receives an instruction for at least one of a position and a size of the display area of the additional image displayed on the screen, and the display area candidate determination unit is received by the input unit.
  • the display area candidate determination unit is received by the input unit.
  • a candidate area for the display area of the additional image may be determined.
  • the additional image is displayed when the depth difference between the main image and the additional image across the boundary line of the additional image is within an allowable range. Therefore, when an additional image is displayed in a display area having a position or size specified by the user, it prevents the user from feeling uncomfortable or fatigue due to an excessive depth difference between the main image and the additional image or a depth conflict. be able to.
  • the input unit further receives an instruction to change the size of the display area
  • the display area candidate determination unit is configured to change the size of the display area according to the size change instruction received by the input unit.
  • the size of the candidate area may be changed.
  • the size of the display area of the additional image can be changed.
  • the main image may be an image inside the patient's body.
  • a three-dimensional display device can be used for surgery.
  • the image of the surgical instrument is displayed on the said main image
  • the said input part inputs the said position using the information on the position of the said surgical instrument in the said main image. May be accepted.
  • the user can specify the size of the additional image using an instrument used for the operation without using a special interface device. That is, the user who is a surgeon can instruct the size of the additional image without releasing his / her hand from the surgical instrument. For this reason, the three-dimensional display device can be operated without reducing the efficiency of the operation.
  • the said input part is a passage detection part which detects whether the front-end
  • a display control signal generation unit that changes the size of the candidate region of the display region according to the direction of passage of the surgical instrument.
  • the size of the candidate area can be changed so that the tip of the surgical instrument is not hidden in the additional image. Thereby, it can prevent that the front-end
  • the input unit further receives an instruction to change the position of the display region
  • the display region candidate determination unit is configured to change the display region according to the instruction to change the position received by the input unit.
  • the position of the candidate area may be changed.
  • the position of the display area of the additional image can be changed.
  • the image processing apparatus further includes a display prohibition area storage unit that stores a display prohibition area that is an area on the screen that prohibits display of the additional image, and the display area candidate determination unit includes the input
  • the candidate area that does not overlap the display prohibited area stored in the display prohibited area storage unit may be determined based on the instruction received by the unit.
  • the main image may be an image inside the patient's body
  • the additional image may be an image of a graph of a plurality of types of biological data of the patient that changes with time.
  • an additional image showing a graph of a plurality of types of biological data required at the time of surgery can be displayed on the screen. For this reason, a doctor's operation can be supported.
  • the display area candidate determination unit may determine the candidate area having a shape corresponding to a layout of the graph of the plurality of types of biological data.
  • the display area of the additional image can be changed according to the layout of the graph.
  • the layout may include a layout in which the graphs of the plurality of types of biometric data are arranged vertically, or a layout in which the graphs of the plurality of types of biometric data are arranged side by side.
  • the said display area candidate determination part determines that the said depth difference is not contained in the said tolerance
  • the graph layout of the plurality of types of biometric data may be changed.
  • the display area candidate determination unit extracts a portion of the main image where the depth exceeds a predetermined value as a portion that protrudes greatly from the screen, and has a large protrusion from the screen. You may determine the candidate area
  • the software that realizes the three-dimensional display device of each of the above-described embodiments is the following program.
  • this program is a program for simultaneously displaying a main image of a three-dimensional image and an additional image that blocks a part of the main image on the screen, and the computer displays the additional image on the screen.
  • the additional image is displayed in the candidate area determined in the display area candidate determination step and the display area candidate determination step in which one candidate area is determined from the plurality of display area candidates.
  • the depth difference between the depth of the main image displayed in the boundary area that is an area on the main image within a predetermined distance from the boundary line of the candidate area and the depth of the additional image is included in a predetermined allowable range.
  • the present invention is useful as a display device that displays a three-dimensional image or a three-dimensional video, and in particular, a display device such as an image captured by a stereo endoscopic camera, and is captured and recorded by a stereo endoscopic camera. It is useful for a display device for recorded contents, a medical three-dimensional image display device, a monitor display device using a remote control robot, and the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Quality & Reliability (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Endoscopes (AREA)

Abstract

　３次元画像のメイン画像と、当該メイン画像の一部を遮蔽する付加画像とを同時に画面に表示する３次元表示装置であって、前記付加画像の前記画面上での表示領域の複数の候補の中から、一の候補領域を決定する表示領域候補決定部と、前記表示領域候補決定部が決定した前記候補領域に前記付加画像を表示すると仮定した場合に、当該候補領域の境界線から所定距離以内の前記メイン画像上の領域である境界領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差が、予め定められた許容範囲に含まれるか否かを判定する奥行適合判定部と、前記奥行適合判定部により前記奥行差が前記許容範囲に含まれると判定された場合に、前記メイン画像上の前記候補領域に前記付加画像を重畳することにより、前記メイン画像と前記付加画像とを合成し、合成の結果得られる画像を前記画面に表示する画像合成部とを備える。

Description

３次元表示装置および３次元表示方法
　本開示は、３次元表示装置および３次元表示方法に関する。
　動画あるいは静止画を表示する表示装置において、画像に付加情報を重ね書きして呈示し、利便性を高める場合がある。特許文献１は、表示装置が３次元画像（例えば、左眼用画像および右眼用画像）を表示するものである場合には、表示画像上に奥行方向のものさしを表示する方法を開示している。これにより、オブジェクトの奥行位置を判りやすくしている。特許文献２は、表示画像に隣接する外枠部分に画角からはずれた鉗子の情報を表示する方法を開示している。これによりユーザは表示外にある鉗子の位置や状態の情報をも得ることができる。
特開平６－２９２２４０号公報 特表２００９－５４２３６２号公報
　しかしながら、上記特許文献１および特許文献２では更なる改善が必要であった。
　本開示の一態様に係る３次元表示装置は、３次元画像のメイン画像と、当該メイン画像の一部を遮蔽する付加画像とを同時に画面に表示する３次元表示装置であって、前記付加画像の前記画面上での表示領域の複数の候補の中から、一の候補領域を決定する表示領域候補決定部と、前記表示領域候補決定部が決定した前記候補領域に前記付加画像を表示すると仮定した場合に、当該候補領域の境界線から所定距離以内の前記メイン画像上の領域である境界領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差が、予め定められた許容範囲に含まれるか否かを判定する奥行適合判定部と、前記奥行適合判定部により前記奥行差が前記許容範囲に含まれると判定された場合に、前記メイン画像上の前記候補領域に前記付加画像を重畳することにより、前記メイン画像と前記付加画像とを合成し、合成の結果得られる画像を前記画面に表示する画像合成部と、前記メイン画像中で、奥行が所定の奥行の範囲を超えて手前に飛び出す可能性のある第１領域と、前記奥行が前記所定の奥行の範囲を超えて奥に引っ込む可能性のある第２領域とを決定する禁止領域決定部とを備え、前記表示領域候補決定部は、さらに、前記禁止領域決定部が決定した前記第１領域及び前記第２領域を遮蔽する候補領域を決定する。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示にかかる態様発明によれば、更なる改善を実現できた。
図１は、実施の形態１における３次元表示装置の機能構成を示すブロック図である。 図２Ａは、付加画像位置情報の一例を示す図である。 図２Ｂは、実施の形態１における座標系の一例を示す模式図である。 図３は、付加画像のサイズ情報の一例を示す図である。 図４は、付加画像の領域情報の一例を示す図である。 図５は、実施の形態１における３次元表示装置の処理動作を示すフローチャートである。 図６Ａは、メイン画像と付加画像の奥行に矛盾が無い場合の視線の一例を示す模式図である。 図６Ｂは、メイン画像と付加画像の奥行に矛盾がある場合の視線の一例を示す模式図である。 図７は、実施の形態２における３次元表示装置の機能構成を示すブロック図である。 図８は、実施の形態２における３次元表示装置の処理動作を示すフローチャートである。 図９は、実施の形態２における３次元表示装置の部分の詳細な機能構成を示すブロック図である。 図１０Ａは、実施の形態２における付加画像の表示位置の一例を示す模式図である。 図１０Ｂは、実施の形態２における付加画像の表示位置の一例を示す模式図である。 図１０Ｃは、実施の形態２における付加画像の表示位置の一例を示す模式図である。 図１０Ｄは、実施の形態２におけるメイン画像の一例を示す模式図である。 図１１Ａは、実施の形態２における付加画像と境界領域の一例を示す模式図である。 図１１Ｂは、実施の形態２における左眼用画像の付加画像の表示位置の一例を示す模式図である。 図１１Ｃは、実施の形態２における右眼用画像の一例を示す模式図である。 図１２Ａは、実施の形態２における付加画像の境界領域の部分領域に付与されたＩＤの一例を示す模式図である。 図１２Ｂは、実施の形態２における境界領域の視差情報の一例を示す図である。 図１３Ａは、実施の形態２における付加画像の表示領域と、付加画像表示禁止領域と、境界領域の一例を示す模式図である。 図１３Ｂは、実施の形態２における付加画像の表示禁止領域からの距離の情報を含んだ付加画像表示候補領域の奥行情報の一例を示す図である。 図１４Ａは、実施の形態２における付加画像の小さい枠の一例を示す模式図である。 図１４Ｂは、実施の形態２における付加画像の大きい枠の一例を示す模式図である。 図１５は、実施の形態２の変形例１における３次元表示装置の機能構成を示すブロック図である。 図１６は、実施の形態２の変形例１における表示禁止領域情報の一例を示す図である。 図１７は、実施の形態２の変形例１における３次元表示装置の部分の詳細な機能構成を示すブロック図である。 図１８は、実施の形態２の変形例２における３次元表示装置の機能構成を示すブロック図である。 図１９は、実施の形態２の変形例２における３次元表示装置の部分の詳細な機能構成を示すブロック図である。 図２０Ａは、実施の形態２の変形例２における、付加画像の表示領域候補の境界面と、境界領域と、境界隣接領域との一例を示した模式図である。 図２０Ｂは、実施の形態２の変形例２における、境界領域と境界隣接領域とのそれぞれの部分領域のＩＤの一例を示す図である。 図２１は、実施の形態２の変形例２における境界領域と境界面隣接領域の視差情報の一例を示す図である。 図２２は、実施の形態２の変形例２における３次元表示装置の部分の詳細な機能構成を示すブロック図である。 図２３は、実施の形態２の変形例３における３次元表示装置の部分の詳細な機能構成を示すブロック図である。 図２４は、実施の形態２の変形例４における３次元表示装置の部分の詳細な機能構成を示すブロック図である。 図２５は、実施の形態２の変形例４における３次元表示装置の処理動作の部分の詳細な動作を示すフローチャートである。 図２６は、実施の形態２の変形例５における３次元表示装置の処理動作を示すフローチャートである。 図２７Ａは、実施の形態２の変形例５における入力部の一例を示す模式図である。 図２７Ｂは、実施の形態２の変形例５における入力部の説明のためのディスプレイ表示の一例を示す模式図である。 図２８Ａは、実施の形態２の変形例６における付加画像サイズ入力の説明のためのディスプレイ表示の一例を示す模式図である。 図２８Ｂは、実施の形態２の変形例６における付加画像サイズ入力の説明のためのディスプレイ表示の一例を示す模式図である。 図２９は、実施の形態２の変形例６における３次元表示装置の機能構成を示すブロック図である。 図３０は、付加画像領域記憶部に記憶された記憶内容の一例を示す模式図である。 図３１は、実施の形態２の変形例７における３次元表示装置の処理動作を示すフローチャートである。 図３２Ａは、実施の形態２の変形例８における３次元表示装置の処理動作を示すフローチャートである。 図３２Ｂは、実施の形態２の変形例８における３次元表示装置の処理動作を示すフローチャートである。 図３３は、実施の形態２の変形例８における表示領域候補決定部の詳細な機能構成を示すブロック図である。 図３４は、実施の形態２の変形例８における表示領域候補決定部の処理動作を示すフローチャートである。 図３５は、実施の形態２の変形例９における３次元表示装置の機能構成を示すブロック図である。 図３６は、実施の形態２の変形例９における３次元表示装置の処理動作を示すフローチャートである。 図３７は、実施の形態２の変形例９における表示領域候補決定部の詳細な機能構成を示すブロック図である。 図３８Ａは、実施の形態２の変形例９における付加画像のレイアウトの一例を示す模式図である。 図３８Ｂは、実施の形態２の変形例９における付加画像のレイアウトの一例を示す模式図である。 図３８Ｃは、実施の形態２の変形例９における付加画像のレイアウトの一例を示す模式図である。 図３９は、実施の形態２の変形例９における表示領域候補決定部の処理動作を示すフローチャートである。 図４０Ａは、実施の形態２の変形例５～９における、付加画像の表示領域候補をすべてディスプレイに表示する場合の一例を示す模式図である。 図４０Ｂは、実施の形態２の変形例５～９における、付加画像の表示領域候補をすべてディスプレイに表示し、表示された付加画像の表示領域候補のうち１つを選択するための操作入力部の一例を示す模式図である。 図４１は、実施の形態３における３次元表示装置の機能構成を示すブロック図である。 図４２は、実施の形態３における付加画像の表示領域ごとの奥行差の情報の一例を示す図である。 図４３は、実施の形態３における３次元表示装置の処理動作の部分の動作を示すフローチャートである。 図４４は、実施の形態３における３次元表示装置の処理動作の部分の詳細な動作を示すフローチャートである。 図４５は、実施の形態３における３次元表示装置の処理動作の部分の詳細な動作を示すフローチャートである。 図４６は、実施の形態４における３次元表示装置の機能構成を示すブロック図である。 図４７は、実施の形態４における３次元表示装置の処理動作を示すフローチャートである。
　（本開示にかかる発明の各態様を想到するに至った経緯）
　まず、本発明者らが本開示にかかる各態様の発明をするにあたって、検討した事項を説明する。
　本発明者らは、従来の方法では以下に記載する問題が生じることを見出した。
　３次元画像の一部に特許文献１のものさしのような新たなオブジェクトを表示する場合、左眼用の画像のオブジェクトの位置と右眼用の画像のオブジェクトの位置との視差によって決定されるオブジェクトの表示奥行位置と、元の３次元画像に表示されたオブジェクトの奥行位置との差が大きすぎる、あるいは奥行位置の矛盾（奥行位置がより手前にあるオブジェクトを、奥行位置がより奥にあるオブジェクトが隠す）が起きる場合がある。同様に特許文献２の外枠部分への表示についても、画面上の表示画像と外枠上の表示画像との奥行位置の差が大きすぎる、あるいは画面上の表示画像と外枠上の表示画像との間に奥行位置の矛盾が起きる場合がある。このような大きすぎる奥行の差や奥行位置の矛盾は、ユーザに違和感や疲労を生じさせ、ユーザにとって高い負荷となるという課題があった。
　以上の検討を踏まえ、本発明者らは、以下に記載する各態様の発明を想到するに至った。
　即ち、本開示にかかる一の態様は、３次元画像のメイン画像と、当該メイン画像の一部を遮蔽する付加画像とを同時に画面に表示する３次元表示装置であって、前記付加画像の前記画面上での表示領域の複数の候補の中から、一の候補領域を決定する表示領域候補決定部と、前記表示領域候補決定部が決定した前記候補領域に前記付加画像を表示すると仮定した場合に、当該候補領域の境界線から所定距離以内の前記メイン画像上の領域である境界領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差が、予め定められた許容範囲に含まれるか否かを判定する奥行適合判定部と、前記奥行適合判定部により前記奥行差が前記許容範囲に含まれると判定された場合に、前記メイン画像上の前記候補領域に前記付加画像を重畳することにより、前記メイン画像と前記付加画像とを合成し、合成の結果得られる画像を前記画面に表示する画像合成部と、前記メイン画像中で、奥行が所定の奥行の範囲を超えて手前に飛び出す可能性のある第１領域と、前記奥行が前記所定の奥行の範囲を超えて奥に引っ込む可能性のある第２領域とを決定する不適合可能性領域決定部とを備え、前記表示領域候補決定部は、さらに、前記不適合可能性領域決定部が決定した前記第１領域及び前記第２領域を遮蔽する候補領域を決定する。
　この態様によれば、付加画像の境界線を挟んだメイン画像と付加画像との奥行差が許容範囲内である場合に、付加画像が表示される。また、例えば、極端に手前に飛び出している領域に付加領域が表示されることで生じる奥行の矛盾を解消することができる。このため、ユーザの違和感や疲労を防ぐことができる。
　以下、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　また、以下において必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明あるいは実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　（実施の形態１）
　＜構成＞
　図１は、実施の形態１における３次元表示装置１０の機能構成を示すブロック図である。３次元表示装置１０は、３次元画像を表示する。つまり、３次元表示装置１０は、画像を立体的に表示する。具体的には、３次元表示装置１０は、ヘッドマウントディスプレイ（ＨＭＤ）方式により３次元画像を表示する。ＨＭＤ方式とは、ユーザの眼に近接したディスプレイにより３次元画像を表示するものである。ＨＭＤ方式では、視差を有する左眼用画像および右眼用画像を用い、ユーザの右眼に近接したディスプレイには右眼用画像を表示し、左眼に近接したディスプレイには左眼用画像を表示する。右眼用画像は左眼からは見ることができないように、かつ、左眼用画像は右眼では見ることができないように左右のディスプレイが配置されている。また例えば、メガネ式の立体表示方式とは、メガネ（例えば、液晶シャッタメガネまたは偏光メガネなど）を着用したユーザに対して、視差を有する左眼用画像および右眼用画像を表示する方式である。また例えば、３次元表示装置１０は、裸眼式の立体表示方式により３次元画像を表示してもよい。裸眼式の立体表示方式は、メガネを用いない立体表示方式（例えば、パララックスバリア方式あるいはレンチキュラーレンズ方式など）である。
　図１に示すように、３次元表示装置１０は、メイン画像取得部１１０と、付加情報取得部１２０と、奥行情報生成部１３０と、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、表示領域候補決定部１６０と、奥行適合判定部１７０と、画像合成部１８０と、ディスプレイ１９０とを備える。
　メイン画像取得部１１０は、左右の視差を有する３次元表示用の画像情報（３次元画像）を取得する。画像は例えば平行に並べられた２つのカメラで同時に撮像された画像である。一方のカメラの画像は右眼用画像であり、他方のカメラの画像は左眼用画像である。画像は撮像中のものであっても、予め記録されたものであっても良い。なお、左右の視差を有する３次元表示用の画像は、１つのカメラで撮像された画像から、画像処理によって視差のある左右の画像を生成したものであっても良い。
　付加情報取得部１２０は、メイン画像取得部１１０が取得する画像情報に付随する情報である付加情報を取得する。付加情報は、例えば、メイン画像を撮像するカメラ近傍に設置されたカメラ以外のセンサによって取得した、画像情報と時間的に同期した情報である。また、付加情報は、例えば、メイン画像とは別途作成された３次元画像である。
　奥行情報生成部１３０は、メイン画像取得部１１０が取得した３次元画像の左右の視差を求め、メイン画像の奥行情報を生成する。例えば、奥行情報生成部１３０は右眼用画像と左眼用画像との間で対応点を抽出し、対応点の左右の視差を求めて奥行を計算する。
　付加画像位置記憶部１４０は、付加情報取得部１２０で取得された付加情報を、ディスプレイ１９０の画面上に表示する際の位置を記憶する。例えば、付加画像位置記憶部１４０は、３次元画像が表示される際の３次元空間の座標を、上記位置として記憶する。また、付加画像位置記憶部１４０は、右眼用画像と左眼用画像とのそれぞれのディスプレイ１９０上の表示位置を、上記位置として記憶しても良い。図２Ａは、付加画像位置記憶部１４０に記憶される付加画像位置情報の一例を示す。図２Ｂは、付加画像位置を特定するための３次元座標の例を模式的に示したものである。図２Ａに示すように、付加画像位置記憶部１４０には、付加画像（付加情報を示す画像）の位置を識別する付加画像位置ＩＤと、付加画像位置ＩＤに対応する付加画像の重心位置とが記憶される。当該重心位置は、３次元空間を示す図２Ｂのように構成された座標軸上の点を示す。
　付加画像サイズ記憶部１５０は、付加情報取得部１２０で取得された付加情報を付加画像として、ディスプレイ１９０の画面上に表示する際のサイズを記憶する。図３は、付加画像サイズ記憶部１５０に記憶される付加画像のサイズ情報の一例を示す。図３の例では、付加画像サイズ記憶部１５０は、付加画像のサイズ情報を識別する付加画像サイズＩＤと、付加画像の縦の長さと横の長さとを記憶している。実施の形態１では、付加画像の形状は長方形であり、縦の辺の長さと横の辺の長さによりサイズが指定されている。付加画像のサイズの表現方法は付加画像の形状に応じて異なる。例えば、付加画像の形状が楕円の場合には、長径と短径とによりサイズが指定される。
　なお、ここでは付加画像位置記憶部１４０及び付加画像サイズ記憶部１５０がそれぞれ付加画像の位置及びサイズを記憶するものとしたが、付加画像の位置とサイズを１つの記憶部、例えば、付加画像領域記憶部に記憶しても良い。例えば、付加画像が多角形である場合には、付加画像領域記憶部には、各頂点の３次元空間中の座標位置が記憶される。これにより位置とサイズが合わせて記憶できる。図４は、付加画像の位置とサイズを領域として記憶する場合の、付加画像領域記憶部の記憶内容の一例を示す。付加画像はディスプレイ１９０の画面の４辺に４辺が平行な長方形であり、４つの頂点の座標位置が付加画像の領域を識別するＩＤに対応して記憶されている。
　表示領域候補決定部１６０は、１つ以上の付加情報を付加画像としてディスプレイ１９０の画面上に表示するための表示領域の候補を決定する。以下の説明では、単に、表示領域と言った場合には、付加情報または付加画像の表示領域を意味する。
　奥行適合判定部１７０は、表示領域候補決定部１６０が決定した表示領域の候補の情報と、奥行情報生成部１３０で生成されたメイン画像の奥行情報とから、付加画像の表示領域とメイン画像のうち付加画像の表示領域の周辺部分との間の、奥行の違いに対して、予め定められた値より大きな奥行差、あるいは奥行の矛盾を検出する。
　画像合成部１８０は、メイン画像取得部１１０が取得した３次元画像をディスプレイ１９０の画面に表示し、付加情報取得部１２０が取得した付加情報を、表示領域候補決定部１６０が決定した表示領域の候補のうちの少なくとも１つに、付加画像として表示するために、メイン画像及び付加画像を合成する。
　ディスプレイ１９０は、画像合成部１８０により合成された画像を画面に表示する。
　＜動作＞
　図５は、実施の形態１における３次元表示装置１０の処理動作を示すフローチャートである。
　まず、メイン画像取得部１１０は、左右の視差を有する３次元表示用の画像情報を取得し、また、付加情報取得部１２０は、画像情報が示すメイン画像に対応する付加情報を取得する（ステップＳ１１００）。付加情報はメイン画像と時間同期する情報であっても、時間同期しない情報であっても良い。
　次に、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置とから、表示領域の候補を決定する（ステップＳ１２００）。付加画像のサイズと位置との情報は、１つ以上記憶されているものとし、表示領域候補決定部１６０は付加画像の表示領域候補を１つ以上決定するものとする。表示領域の候補決定方法は、例えば、付加画像位置記憶部１４０に記憶された付加画像の位置情報からいずれか１つを選択することで表示位置を決定し、さらに、付加画像サイズ記憶部１５０に記憶された付加画像のサイズ情報からいずれか１つを選択することで付加画像のサイズを決定する。
　奥行適合判定部１７０は、ステップＳ１２００で決定された付加画像の表示領域候補の境界線あるいは境界面を抽出する。境界面はディスプレイ１９０の平面に直交する奥行方向の面である。奥行適合判定部１７０は、ステップＳ１１００で取得されたメイン画像中の、付加画像との境界線あるいは境界面に隣接する部分を特定し、奥行情報を抽出する（ステップＳ１３００）。メイン画像の奥行情報については、ステップＳ１１００でメイン画像取得部１１０がメイン画像を取得し、ステップＳ１３００で奥行適合判定部１７０が奥行情報を抽出するまでの間に、奥行情報生成部１３０が奥行情報を生成して保持しているものとする。
　さらに、奥行適合判定部１７０は、表示領域候補決定部１６０が、付加画像位置記憶部１４０に記憶されている付加画像の位置の情報より求めた付加画像の表示領域の奥行と、ステップＳ１３００で抽出された付加画像との境界線あるいは境界面に隣接する部分のメイン画像の奥行とを比較する（ステップＳ１４００）。
　奥行適合判定部１７０は、境界線あるいは境界面をはさんで表示されるメイン画像及び付加画像の奥行差が予め定められた許容範囲を超えているかどうかを判断する（ステップＳ１５００）。奥行差は、例えば飛び出し側すなわちディスプレイ１９０からユーザ側へ向かって数値が大きくなるような奥行の座標軸上で表現される。この場合、付加画像の奥行の値から、境界線近傍のメイン画像の奥行の値を減じた値が、正である場合は、付加画像がより手前、すなわちユーザ側にとびだし、メイン画像が付加画像より奥にあることになる。付加画像の奥行の値から、境界線近傍のメイン画像の奥行の値を減じた値が、負である場合、付加画像の奥行の値の方が小さく、メイン画像のほうが手前に飛び出す位置にあることを示している。付加画像はメイン画像の一部を隠して表示されるため、隠れたメイン画像がより奥にあり、隠した付加画像がメイン画像より手前にあって、メイン画像に上書きされている状態になる。しかしながら、設定されている付加画像の奥行位置はメイン画像より奥になっているという奥行の矛盾が起っていることを示す。奥行の矛盾はユーザの疲労や酔いの原因となるため、例えば１ｃｍを超える奥行の矛盾は許容できないものとして許容範囲を設定する。一方、奥行の矛盾が無い場合であっても、近接する部分で奥行が大きく違う場合もユーザの疲労の原因になることが知られている。そこで、例えば、１５ｃｍを超える奥行の差は許容できないものとして許容範囲を設定する。例えば、許容範囲は、－１ｃｍ以上１５ｃｍ以下である。ステップＳ１５００において奥行の差が許容範囲外であると判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、ステップＳ１６００に進む。ステップＳ１５００において奥行の差が許容範囲内であると判断された場合、すなわちステップＳ１５００においてｎｏの場合、ステップＳ１７００に進む。
　なお、奥行差の許容範囲はここでは－１ｃｍ以上１５ｃｍ以下のように固定の値とするが、付加画像の奥行位置により、異なる許容範囲が設定されているものとしても良い。付加画像の奥行が大きい場合、すなわち付加画像の飛び出しが大きくユーザの目前に迫っているほど、許容範囲が狭く、付加画像の奥行座標が小さくユーザから遠くに見えるほど奥行差の許容範囲が大きくなるように設定するものとする。
　ステップＳ１６００では、表示領域候補決定部１６０は付加画像の表示位置を変更する（ステップＳ１６００）。表示位置の変更は、付加画像位置記憶部１４０に記憶された表示位置のうち、ステップＳ１２００において表示位置候補として選択されていない表示位置を選択することにより行われる。ステップＳ１６００の後、ステップＳ１２００へ戻る。
　ステップＳ１７００では、画像合成部１８０は、ステップＳ１１００で取得したメイン画像と、ステップＳ１１００で取得した付加情報を示す付加画像とを合成する（ステップＳ１７００）。具体的には、画像合成部１８０は、メイン画像をディスプレイ１９０の画面に表示し、メイン画像に重ねて、付加画像を、ステップＳ１２００で決定した表示領域候補を表示領域として当該表示領域に表示するよう画像を合成する。
　ディスプレイ１９０は、ステップＳ１７００で合成された３次元画像を表示する（ステップＳ１８００）。ステップＳ１８００で３次元画像をディスプレイ１９０に表示した後に、ステップＳ１１００に戻る。ステップＳ１１００からステップＳ１８００を繰り返すことで、３次元表示装置１０は、画像および付加情報を処理単位ごとに取得して、画像の表示を続ける。本実施の形態は、メイン画像および付加画像の内容が動画である場合にも対応可能である。
　＜効果等＞
　以上のように、本実施の形態によれば、３次元表示装置１０は、３次元画像に重ねてあるいは隣接して付加情報（付加画像）を表示する際に、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて付加画像の表示領域を決定する。これにより、奥行の大きすぎる差や奥行の矛盾による違和感や疲労を防ぐことができる。
　なお、実施の形態１では許容範囲を奥行の差で設定したが、視差の差によって設定することも可能である。
　図６Ａおよび図６Ｂは、ディスプレイ１９０に表示されるメイン画像と付加画像の奥行位置と視差との関係を模式的に示したものである。
　図６Ａは、奥行に矛盾が無く、メイン画像より手前に付加画像が表示されている状態を示している。
　図６Ｂは、奥行が矛盾しており、付加画像がメイン画像より奥に表示されているにもかかわらず、手前のメイン画像に隠されることなく表示されている状態を示している。ディスプレイ上の座標は、ディスプレイに向かって右側が値が大きく、向かって左側が値が小さくなるように設定されている。視差を右眼用画像のｘ座標の値から左眼用画像のｘ座標の値を減じたものとして計算する場合、ディスプレイ表面上に表示される点は視差が０となり、図６Ａおよび図６Ｂの左向き矢印で示すようにディスプレイ表面より奥に見える点での視差は正の値となる。一方ディスプレイ表面より手前に見える点での視差は、図６Ａおよび図６Ｂの右向き矢印で示すように負の値となる。上記のような関係にある場合、付加画像の表示領域内部の視差から付加画像の表示領域外部の視差を減じた値が負の場合は、付加画像の表示領域内部の奥行は付加画像の表示領域の外部の奥行より浅い。すなわち、付加画像の表示領域が表示領域の外部より手前にあり、メイン画像取得部１１０で取得されたメイン画像より手前に付加画像が呈示されていることになり、奥行の矛盾は無い。逆に、図６Ｂに示すように、表示領域内部の視差から表示領域の外の視差を減じた値が正の場合は、メイン画像取得部１１０で取得されたメイン画像より奥、すなわち本来メイン画像によって隠されるはずの奥行位置に付加画像が呈示されていることになり、奥行の矛盾が生じている。表示領域内部の視差から表示領域の外の視差を減じた値が正の場合の許容範囲を小さく設定し、上記減じた値が負の場合には、一定の値を超えて減じた値が小さくならないよう許容範囲を設定する。表示領域内部の視差から表示領域の外の視差を減じた値が負の場合は、表示領域内部の視差から表示領域の外の視差を減じた値が小さくなる（絶対値が大きくなる）ことは、視差の差が広がることを示しており、奥行の差が大きくなることを示している。一定以上奥行の差が大きくならないように視差の差の範囲を定めることで、奥行の許容範囲を視差によって設定することができる。
　なお、本実施の形態１では奥行適合判定部１７０は付加画像の境界面を挟んだメイン画像と付加画像との奥行の差が許容範囲外であるか否かの２値の判断を行ったが、当該のメイン画像と付加画像との奥行の差と許容範囲との差のサイズに従って、適合度を求め、適合度に従って、付加画像の表示領域の調整を行うものとしても良い。適合度は、メイン画像及び付加画像の奥行の差と適合度との関係を示す関数、あるいは対応表等によって示されているものとする。
　（実施の形態２）
　実施の形態１では３次元画像（メイン画像）および付加画像は特定の種類の画像および情報ではなかったが、３次元画像が内視鏡手術の画像であり、付加画像が示す付加情報は手術中の心拍や血圧等のバイタル情報を含むものでもよい。付加画像はさらに術前に撮像されたＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ）やＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ）等の画像情報を含んでもよい。
　実施の形態２では、３次元画像はステレオカメラを用いた内視鏡による手術中の患部およびその周辺のリアルタイム画像であり、付加情報は当該手術中の患者のバイタル情報と、手術以前に撮像され記憶されたＭＲＩ画像の情報である。付加情報の種類については一例であり、これ以外の情報を付加情報として表示するものとしても良い。
　＜構成＞
　図７は、実施の形態２における３次元表示装置２０の機能構成を示すブロック図である。メイン画像取得部１１０が内視鏡カメラ１１１に置き換わり、付加情報取得部１２０がバイタルセンサ１２１に置き換わり、ＭＲＩ画像記憶部１２２、３次元画像合成部１２３、表示禁止領域記憶部２１０、入力部２００がつけ加わった以外は実施の形態１の図１と同様である。図１に同様の部分には図１と同一の符号を付し、説明を省略する。
　３次元表示装置２０は、内視鏡カメラ１１１と、バイタルセンサ１２１と、ＭＲＩ画像記憶部１２２と、３次元画像合成部１２３と、奥行情報生成部１３０と付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、表示領域候補決定部１６０と、奥行適合判定部１７０と、画像合成部１８０と、ディスプレイ１９０と、表示禁止領域記憶部２１０と、入力部２００とを備える。
　内視鏡カメラ１１１は、ステレオカメラを含む３次元画像用の内視鏡カメラである。
　バイタルセンサ１２１は、手術中の患者の身体に取りつけられたセンサであり、例えば、体温計、心電計、血圧計、血中酸素濃度計、脳波計等である。本実施の形態ではバイタルセンサは心電計と血圧計とする。
　ＭＲＩ画像記憶部１２２は、術前にＭＲＩシステムにより記録された、手術の対象となる患部の画像を含む３次元画像情報を記憶している。なお、本実施の形態では術前に記録された画像情報としてＭＲＩシステムにより記録された画像情報を用いるが、エックス線写真の画像情報、ＣＴ画像情報等であってもよい。
　３次元画像合成部１２３は、ＭＲＩ画像記憶部１２２に記憶された画像情報を指定された切断面（スライス）や、指定された範囲の立体画像としてディスプレイ１９０に表示可能な形式の画像に合成する。
　表示禁止領域記憶部２１０は、予め定められた手術対象である患部を撮影している領域を示す情報、付加画像の表示禁止領域を示す情報として記憶している。ユーザすなわち術者は手術の間、患部を観視する必要がある。したがって、付加画像は患部を表示する領域以外に表示されるべきである。本実施の形態２では、付加画像の表示禁止領域は、ディスプレイ１９０の画面中心を中心とした長方形の固定領域とし、表示禁止領域記憶部２１０は、付加画像の表示禁止領域を示す情報として、長方形の４つの頂点の座標位置を記憶している。内視鏡カメラ１１１はガイドパイプによって手術対象である患部を観視しやすい位置に設置される。内視鏡カメラ１１１はガイドパイプの軸方向に沿って、患部へ近づくズームインと、患部から遠ざかるズームアウトとの動作が可能である。ガイドパイプは手術中固定であるため、内視鏡カメラ１１１がガイドパイプの軸と異なる方向に動くことは無い。
　なお、本実施の形態２では、表示禁止領域は固定の領域としたが、カメラと患部との距離によって領域を変えるものとしても良い。この場合、表示禁止領域記憶部２１０は、カメラと患部との距離に対応する表示禁止領域を示す情報を記憶する。例えば、表示禁止領域記憶部２１０は、カメラと患部との距離の範囲ごとに、表示禁止領域の各頂点の座標を記憶する。
　入力部２００は、ユーザが付加画像を表示するか否かの指示、および付加画像として表示する内容の条件を入力する処理部である。ユーザすなわち術者は手術中、入力部２００を用いて指示を入力することにより、必要な場合にバイタルセンサ１２１で取得した情報や、ＭＲＩによる画像を表示することができ、付加画像が不要な場合には付加画像の表示を中止することができる。また、ユーザすなわち術者はＭＲＩによる画像に対して２次元画像としてのスライスを表示するか３次元画像を表示するか、どの範囲を表示するか等の条件を、入力部２００を用いて指示することができる。
　なお、本実施の形態２では、付加情報は、手術中にバイタルセンサ１２１より取得されているバイタル情報と、術前に記憶されたＭＲＩ画像情報との２種類であり、２種類の付加情報はそれぞれ別の付加画像として、それぞれの表示領域に表示されるものとする。
　また、本実施の形態２ではバイタル情報とＭＲＩ画像情報とをそれぞれ別の付加画像として表示するものとしたが、複数種類の付加情報をまとめて１つの付加画像を生成して表示するものとしても良い。
　＜動作＞
　図８は、実施の形態２における３次元表示装置２０の処理動作を示すフローチャートである。ステップＳ１１１０とステップＳ１２１０が付け加わった以外は実施の形態１の図５と同様である。図５と同様の部分には図５と同一の符号を付し、説明を省略する。
　まず、内視鏡カメラ１１１は、左右の視差を有する３次元表示用の画像情報をメイン画像として取得し、バイタルセンサ１２１は、付加情報として現在の患者の心電位と血圧とを計測する（ステップＳ１１００）。
　入力部２００は、ユーザ入力による表示制御信号を取得し、付加画像を表示する指示入力を検出する（ステップＳ１１１０）。ステップＳ１１１０において付加画像表示指示入力が検出された場合、すなわちステップＳ１１１０においてｙｅｓの場合はステップＳ１２００へ進む。ステップＳ１１１０において付加画像を表示する指示入力が検出されなかった場合、すなわちステップＳ１１１０においてｎｏの場合はステップＳ１７００に進む。ステップＳ１７００では、画像合成部１８０は、付加画像のないメイン画像である内視鏡カメラ画像を表示用画像として合成する。
　ステップＳ１２００では、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置とから、表示領域の候補を決定する（ステップＳ１２００）。例えば、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置との組み合わせのうち、未選択の組み合わせの中から任意に１つを選択することにより、選択した組み合わせで示される領域を表示領域の候補として決定する。
　表示領域候補決定部１６０は、ステップＳ１２００で決定した表示領域の候補が表示禁止領域記憶部２１０に記憶された禁止領域を含むか否かを判定する（ステップＳ１２１０）。ステップＳ１２１０において表示領域候補が表示禁止領域を含むと判定された場合、すなわちステップＳ１２１０においてｙｅｓの場合、ステップＳ１６００へ進む。ステップＳ１６００では、表示領域候補決定部１６０は付加画像の表示位置を移動させ、移動させた表示位置を付加画像位置記憶部１４０に記憶する（ステップＳ１６００）。つまり、表示領域候補決定部１６０は、表示領域候補が表示禁止領域を含まれないような位置に、付加画像の表示位置を移動させても良いし、予め定められた方向に予め定められた距離だけ付加画像の表示位置を移動させても良い。ステップＳ１２１０において表示領域候補が表示禁止領域を含まないと判定された場合、すなわちステップＳ１２１０においてｎｏの場合、ステップＳ１３００に進む。
　ステップＳ１２００、ステップＳ１２１０、ステップＳ１６００を繰り返すことで表示禁止領域を回避して表示領域候補を決定する。ステップＳ１３００では、奥行適合判定部１７０はステップＳ１２００で決定された付加画像の表示領域候補の境界線あるいは境界面を抽出し、境界線あるいは境界面の周辺の奥行情報を抽出する（ステップＳ１３００）。
　さらに、奥行適合判定部１７０は、表示領域候補決定部１６０が、付加画像位置記憶部１４０に記憶された付加画像の位置の情報より求めた付加画像の表示領域の奥行と、ステップＳ１３００で抽出された付加画像との境界線あるいは境界面に隣接する部分のメイン画像の奥行とを比較する（ステップＳ１４００）。
　奥行適合判定部１７０は、境界線あるいは境界面をはさんで表示されるメイン画像及び付加画像の奥行差が予め定められた許容範囲を超えているかどうかを判断する（ステップＳ１５００）。例えば、許容範囲は、実施の形態１と同様、－１ｃｍ以上１５ｃｍ以下である。ステップＳ１５００において奥行の差が許容範囲外であると判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、ステップＳ１６００に進む。ステップＳ１５００において奥行の差が許容範囲に含まれると判断された場合、すなわちステップＳ１５００においてｎｏの場合、ステップＳ１７００に進む。
　ステップＳ１６００では、表示領域候補決定部１６０は付加画像の表示位置を移動し、移動した表示位置を付加画像位置記憶部１４０に記憶する（ステップＳ１６００）。ステップＳ１６００の後、ステップＳ１２００へ戻る。
　ステップＳ１７００では、画像合成部１８０は、ステップＳ１１００で取得したメイン画像と、ステップＳ１１００で取得した付加情報を示す付加画像とを合成する（ステップＳ１７００）。具体的には、画像合成部１８０は、メイン画像をディスプレイ１９０の画面に表示し、メイン画像に重ねて、付加画像を、ステップＳ１２００で決定した表示領域候補を表示領域として当該表示領域に表示するよう画像を合成する。
　ディスプレイ１９０は、ステップＳ１７００で合成された３次元画像を表示する（ステップＳ１８００）。ステップＳ１８００で３次元画像をディスプレイ１９０に表示した後に、ステップＳ１１００に戻る。ステップＳ１１００からステップＳ１８００を繰り返すことで、３次元表示装置２０は、メイン画像および付加情報を処理単位ごとに取得して、３次元画像の表示を続ける。本実施の形態は、メイン画像および付加画像の内容が動画である場合にも対応可能である。
　＜奥行適合判定部１７０：ステップＳ１３００―Ｓ１５００の詳細＞
　本実施の形態２においては、付加画像が２つの例を説明する。なお、付加画像の数は１つあるいは３つ以上であっても良い。本実施の形態２の付加画像のうち１つは、バイタルセンサ１２１で計測した心電位と血圧をグラフ化したものである。これをここではバイタル情報画像とする。バイタル情報画像におけるグラフでは、例えば、横軸に経過時間をとり、縦軸には血圧表示のための血圧の表示単位であるヘクトパスカル（ＨＰａ）と、心電位表示のための心電位の表示単位であるマイクロボルト（μＶ）とをとる。グラフは２次元画像として合成される。もう１つの付加画像は術前に記録されたＭＲＩによる画像情報であり、ＣＧ（コンピュータグラフィックス）により構成される３次元画像である。これをここではＣＧ画像という。ＭＲＩ画像記憶部１２２には、例えばポリゴンデータのような３次元情報を含むＣＧ画像の画像情報が記憶されている。３次元画像合成部１２３は、ＭＲＩ画像記憶部１２２に記憶された情報を元に、ＣＧ画像として表示する範囲とＣＧ画像の視点とを決定することで、視点から見た３次元のＣＧ画像を生成することができる。本実施の形態２においては、バイタル情報画像はディスプレイ平面より２ｃｍ飛び出した位置に置かれた平面状の画像として表示される。ＣＧ画像はディスプレイ平面を３次元オブジェクトの重心とした奥行位置に表示される。ＣＧによる３次元オブジェクトの奥行距離は一定となるよう画像が生成されている。例えば、奥行距離は、ディスプレイ平面より奥３ｃｍからディスプレイ平面より手前３ｃｍの、合わせて６ｃｍである。
　図９は、実施の形態２における３次元表示装置２０の部分の詳細な構成を示すブロック図である。奥行適合判定部１７０は、境界抽出部１７１と、周辺奥行抽出部１７２と、付加画像奥行記憶部１７３と、奥行差計算部１７４と、基準記憶部１７５と、判定部１７６とを備える。
　境界抽出部１７１は、ステップＳ１２００で表示領域候補決定部１６０が決定した付加画像の表示領域と、付加画像奥行記憶部１７３に記憶された各々の付加画像の奥行情報とから、各々の付加画像の表示領域についてメイン画像との境界面を求める。例えば、付加画像が、付加画像の４辺がディスプレイの４辺と平行な長方形である場合には、境界面は、図２Ｂに示す座標上のｘｚ平面とｙｚ平面として求められる。付加画像が、４辺がディスプレイの４辺と平行な長方形でない場合、境界面はディスプレイ平面に直交しｚ軸に平行な面である。
　周辺奥行抽出部１７２は、奥行情報生成部１３０が生成したメイン画像の奥行情報と、境界抽出部１７１が求めた境界面の情報とから、境界面周辺のメイン画像の奥行情報を抽出する。さらに、周辺奥行抽出部１７２は、付加画像奥行記憶部１７３に記憶された各々の付加画像の奥行情報から、境界面周辺の付加画像の奥行情報を抽出する。
　奥行差計算部１７４は、周辺奥行抽出部１７２が抽出した付加画像領域の境界面周辺における、メイン画像の奥行と付加画像の奥行について、境界面ごとにメイン画像の奥行と付加画像の奥行との差を計算する。奥行の差は例えば以下のようにして求める。奥行差計算部１７４は、１つの境界面を挟むメイン画像側と付加画像側との各々について、画像内オブジェクトあるいは２次元画像の場合は画像の平面と境界面との１つ以上の接触位置を求める。奥行差計算部１７４は、メイン画像側と付加画像側との各々について、接触位置におけるｚ軸座標値を抽出する。奥行差計算部１７４は、メイン画像側と付加画像側との各々について、接触位置のｚ軸座標値の最大値を抽出する。奥行差計算部１７４は、付加画像側の最大値からメイン画像側の最大値を減じた値を奥行の差として計算する。領域ごとに複数の境界面がある場合には、奥行差計算部１７４は、奥行の差の最大値を当該領域の奥行差として判定部１７６に出力する。
　なお、ここでは奥行の差を、境界面との接触位置のｚ軸座標値の最大値を元に決定したが、ｚ軸座標値の平均値等他の値を用いるものとしても良い。
　なお、ここでは奥行の差を境界面との接触位置の座標値より求めたが、境界面を含む３次元の座標領域を設定し、座標領域内のオブジェクトを構成する点のｚ軸の座標値を元に奥行の差を計算するとしても良い。座標領域内のオブジェクトの座標についてもｚ軸の最大値や平均値等の値を用いることができる。
　基準記憶部１７５は、予め定められた奥行の差の許容範囲を記憶している。
　判定部１７６は、ステップＳ１４００において奥行差計算部１７４で計算された境界面を挟んだ奥行の差を基準記憶部１７５に記憶された許容範囲と比較して、付加画像表示領域の境界の内外の画像の奥行の差が許容範囲外か許容範囲内かを判定する。
　＜ステップＳ１２００の説明＞
　図１０Ａ、図１０Ｂおよび図１０Ｃは、表示領域候補決定部１６０が決定する表示領域候補の例である。図１０Ｄはメイン画像であるステレオの内視鏡カメラ１１１で取得された画像の一例である。図１０Ａは候補領域Ａの例であり、図１０Ｂは候補領域Ｂの例であり、図１０Ｃは候補領域Ｃの例である。ここでは、表示領域候補決定部１６０は、候補領域Ａ、候補領域Ｂ、候補領域Ｃの３つの候補領域を決定する。候補領域は１つ以上の任意の数でよい。ステップＳ１２００では、表示領域候補決定部１６０は表示領域の候補を決定する。各候補領域の位置情報は、付加画像位置記憶部１４０に記憶されている。
　＜奥行情報生成部１３０と周辺奥行抽出部１７２の動作：ステップＳ１３００の詳細＞
　奥行適合判定部１７０はステップＳ１３００において、ステップＳ１２００で決定された付加画像の表示領域候補の境界線あるいは境界面を抽出し、奥行情報を抽出する。境界面の奥行情報を抽出するために、周辺奥行抽出部１７２は奥行情報生成部１３０が生成したメイン画像の奥行情報と、境界抽出部１７１が求めた境界面の情報とから境界面周辺のメイン画像の奥行情報を抽出する。
　図１１Ａは図１０Ａに示した候補領域Ａの境界面周辺部すなわち、境界領域を示した模式図である。図１１Ｂは図１１Ａの左眼用画像である。図１１Ｃは図１１Ａの右眼用画像である。図１１Ｂには図１１Ａの境界領域を分割した分割領域を示している。
　奥行情報生成部１３０は、左眼用画像と右眼用画像との対応点を抽出する。対応点の抽出は、ステップＳ１１００からステップＳ１３００までの間に行われていれば良い。対応点は、例えば、左眼用画像と右眼用画像の各々のエッジ抽出を行い、左右の画像で抽出されたエッジの位置と形状から対応を取ることで求められる。また、左右の画像の色領域を求め、色領域の対応を取ることで、対応点を求めても良い。図１１Ｂと図１１Ｃの対応点ａ、対応点ｂは、左眼用画像と右眼用画像との対応点の例である。対応点ａは左右の画像とも画面中同様の位置にあり、対応点ｂは左右の画像で画面中の位置が異なっている。奥行情報生成部１３０は、画面に描かれる左右の対応点における視差、すなわち左右の画像における水平位置のずれの情報を生成する。周辺奥行抽出部１７２は、左右の各画像内にある対応点のうち、左右の画像のいずれか一方の境界領域内にある対応点を抽出する。ここでは左眼用画像中の境界領域にある対応点を抽出するものとする。
　周辺奥行抽出部１７２は、左眼用画像の境界領域内にある特定の点とその点に対応する右眼用画像内の点との水平位置の差を求める。水平位置の差は、例えば、図２Ｂのような座標系でのｘｙ平面上でのｘ座標の差として表現される。ここでは右眼用画像上の点のｘ座標の値から左眼用画像上の点のｘ座標の値を減じた値を水平位置のずれ、すなわち視差とする。この場合、視差が正の値の場合、その点は画面平面より奥に見え、視差が負の値の場合は、その点は画面平面より手前に見える。
　図１２Ａは、左眼用画像上で設定された境界領域を示す模式図である。境界領域は部分領域に分割され、分割領域ごとにＩＤが設定されている。図１２Ａの例では、Ｄ１，１からＤ７，１０のＩＤが示されている。
　図１２Ｂは、周辺奥行抽出部１７２が、左眼用画像の境界領域内で抽出した対応点から求めた、分割領域ごとの視差の一例を示したものである。周辺奥行抽出部１７２は、例えば、図１２Ｂのような情報を奥行差計算部１７４へ出力する。
　奥行差計算部１７４は、周辺奥行抽出部１７２が抽出した付加画像領域の境界面周辺における、メイン画像の奥行と付加画像の奥行について、境界面ごとにメイン画像の奥行と付加画像の奥行との差を計算する。例えば、図１２ＡのＤ１，１からＤ１，１０の境界領域については、付加画像とメイン画像の境界のうちのｘｚ平面をなす部分の境界領域であるＤ１，１からＤ１，１０までの最大視差から奥行が求められる。奥行差計算部１７４は、求められた境界領域の奥行と付加画像の奥行との差を、付加画像の候補領域Ａのｘｚ境界面の奥行差とする。奥行差計算部１７４は、Ｄ１，１０からＤ７，１０までの領域についても同様の計算を行い、候補領域Ａのｙｚ境界面の奥行差を計算する。なお、ここでは境界領域の奥行を、境界面を構成する境界領域の最大視差より求めたが、境界面を構成する境界領域の平均視差等の値を用いても良い。
　＜効果等＞
　以上のように、本実施の形態２によれば、３次元表示装置２０は、ステレオ内視鏡による３次元画像に重ねて、あるいは隣接して付加画像を表示する際に、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて付加画像の表示領域を決定する。特にステレオ内視鏡を用いた内視鏡手術の３次元画像においては、手術の対象となる患部が画面中央付近に表示されるのに対して、画面周辺部には鉗子のアームが表示されることが多い。鉗子はステレオ内視鏡と同方向から患部に向けて挿入されている場合が多く、アームは奥行方向に長く伸びるオブジェクトとして撮像される。画面手前に大きく飛び出した鉗子の画像に重ねてディスプレイ平面に近い奥行位置の付加画像を表示すると鉗子のアームにめり込んだように付加画像が表示されることとなる。このような奥行の矛盾を回避し、ユーザすなわち術者の疲労を防ぐことができる。
　なお、本実施の形態２では、表示領域候補決定部１６０が表示禁止領域記憶部２１０に記憶された付加画像表示禁止領域を含まない表示領域の候補を決定し、奥行適合判定部１７０は表示禁止領域の情報を利用しなかったが、奥行適合判定部１７０が表示領域候補ごとの表示禁止領域からの距離の指標を取得し、表示禁止領域からの距離が遠い表示領域候補を優先して処理対象としても良い。
　図１３Ａは、メイン画像上に候補領域Ａと境界領域および付加画像表示禁止領域とを示した模式図である。
　図１３Ｂは、表示領域候補決定部１６０が奥行適合判定部１７０へ出力する候補領域ごとの奥行差の情報と禁止領域からの距離の情報の一例である。図１０Ａ、図１０Ｂ、図１０Ｃに示した候補領域ごとに禁止領域からの距離と境界面周辺のメイン画像と付加画像との奥行差の情報が含まれる。
　図１３Ｂの例では、まず、候補領域Ｃは奥行差の許容範囲の下限である－１ｃｍを下回っているため、付加画像の表示領域として選択されない。候補領域Ａと候補領域Ｂとを比較すると、奥行差のみを考慮した場合には、候補領域Ｂの方が奥行差がより小さく、付加画像の表示領域として適している。しかしながら、候補領域Ｂは候補領域Ａに比べ付加画像表示禁止領域からの距離が小さい。例えば、付加画像表示禁止領域からの距離に対して、５０ピクセルまでは奥行差に５を加算し、７５ピクセルまでは３を加算し、１００ピクセルまでは２を加算し、２００ｐまでは１を加算するとする。表示禁止領域からの距離が２００ピクセル以上である場合には加算は無いものとする。このような補正値を当てはめた場合、図１３Ｂの例では候補領域Ｂの奥行差は奥行差６に５が加算されて１１となり、候補領域Ａの奥行差は奥行差７に２が加算されて９となる。この場合、奥行適合判定部１７０は、付加画像の表示領域として候補領域Ａを最適領域として選択することとなる。
　付加画像表示禁止領域からの距離に基づく奥行差の補正の値と、補正の仕方についてはこれ以外の方法であっても良い。
　なお、本実施の形態２では、奥行適合判定部１７０は付加画像表示領域の候補領域の境界面付近でのメイン画像の奥行と付加画像の奥行との差が許容範囲内であるか否かを判定したが、許容範囲をわずかに超える奥行の差がある場合について、付加画像の表示領域に通常より太い枠を付け、奥行の差に対する緩衝領域を設けることで、緩衝領域を付加画像の表示可能な領域として、奥行差を判定しても良い。許容範囲をわずかに超えるとは、例えば、許容範囲を超えた奥行差の分量、つまり、奥行差と許容範囲との差が所定の値以下の場合を示す。
　図１４Ａは、奥行適合判定部１７０が付加画像表示領域の境界面付近でのメイン画像の奥行と付加画像の奥行との差が許容範囲内と判定した場合の付加画像を示し、当該の付加画像の枠の幅は小さい。
　図１４Ｂは、奥行適合判定部１７０が付加画像表示領域の境界面付近でのメイン画像の奥行と付加画像の奥行との差が許容範囲外で、緩衝領域が必要と判定した場合の付加画像を示す。当該の付加画像の枠の幅は太く、枠の内外の奥行の差に対して緩衝領域となっている。
　枠を太く設定する方法としては、メイン画像を遮蔽する領域を変化させない場合は付加画像を縮小して表示し、枠を太くすることができる。また、メイン画像の遮蔽領域を拡大しても良い場合は付加画像のサイズを変化させず、枠を太くすることができる。図１４Ｂの例では、付加画像を縮小し、且つ遮蔽領域を拡大している。
　（実施の形態２の変形例１）
　実施の形態２における３次元表示装置２０は、内視鏡カメラ１１１は撮像位置を変えることは無く、内視鏡カメラ１１１と患部との距離を変える、すなわちズームインおよびズームアウトをすることは無い。本変形例では内視鏡カメラ１１１が患部との距離を変更する場合について説明する。
　内視鏡カメラ１１１が患部との距離を変更する場合、３次元画像の奥行情報が変化する。また、患部を中心とした、付加画像による遮蔽を禁止する領域が拡大または縮小する。そのため、付加画像の表示領域も変化する必要がある。実施の形態２の変形例１では内視鏡カメラ１１１から取得した画像より、カメラから患部までの距離を計算し、距離に応じた付加画像の表示禁止領域を決定して、付加画像の表示領域を決定する方法について説明する。
　図１５は実施の形態２の変形例１の３次元表示装置２０の機能構成を示すブロック図である。表示禁止領域記憶部２１０が表示禁止領域記憶部２１１に置き換わり、禁止領域決定部２１２が付け加わった以外は、図７に示す実施の形態２の３次元表示装置２０と同様である。図７に同様の部分には同一の符号を付し、説明を省略する。
　＜構成＞
　３次元表示装置２０は、内視鏡カメラ１１１と、バイタルセンサ１２１と、ＭＲＩ画像記憶部１２２と、３次元画像合成部１２３と、奥行情報生成部１３０と、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、表示領域候補決定部１６０と、奥行適合判定部１７０と、画像合成部１８０と、ディスプレイ１９０と、表示禁止領域記憶部２１１と、禁止領域決定部２１２と、入力部２００を備える。
　表示禁止領域記憶部２１１は、付加画像の表示を禁止する領域を記憶する。禁止領域は画面中心周辺である。画面中心周辺には手術対象である患部が撮影されているが、内視鏡カメラ１１１が患部に対して近づいた場合には、相対的に画面の広い範囲が患部周辺の画像となり、付加画像の表示禁止領域が広くなる。逆に、内視鏡カメラ１１１が患部から遠ざかった場合には、相対的に画面の中心部分の狭い範囲のみが患部周辺画像となって、付加画像の表示禁止領域が狭くなる。表示禁止領域記憶部２１１は、内視鏡カメラ１１１と画面中心のオブジェクトとの距離に対応した付加画像の表示禁止領域を記憶する。図１６は表示禁止領域記憶部２１１の記憶内容の一例を示す。内視鏡カメラ１１１と画面中心のオブジェクトとの距離の範囲と、その距離範囲に対応する表示禁止領域とが記憶されている。領域は図２Ｂのような３次元画像の座標で示されている。表示禁止領域は、ｘｙ平面上の領域として示されており、ｚ軸の値は任意である。ディスプレイ平面に直交する柱状の領域が表示禁止領域となる。
　禁止領域決定部２１２は、奥行情報生成部１３０より出力されるメイン画像の奥行情報に従って内視鏡カメラ１１１と画面中心のオブジェクトとの距離を求める。禁止領域決定部２１２は、表示禁止領域記憶部２１１に記憶されている情報から、内視鏡カメラ１１１と画面中心のオブジェクトとの距離に対応する表示禁止領域を抽出して、付加画像の表示禁止領域を決定する。これにより、内視鏡カメラ１１１のズームインまたはズームアウトの動作に伴う、付加画像による遮蔽を禁じる領域の変化に対応して付加画像の表示領域を決定することができる。
　以下に、奥行情報生成部１３０の詳細な構成と画面中心のオブジェクトとの距離の計算方法を示す。
　図１７は、実施の形態２の変形例１の３次元表示装置２０の部分の詳細を示すブロック図である。
　奥行情報生成部１３０は、対応点抽出部１３１と、視差計算部１３２と、奥行計算部１３３とを備える。
　対応点抽出部１３１は、内視鏡カメラ１１１で取得されたステレオ３次元画像より、右眼用画像と左眼用画像との対応点を求める。すなわち、右眼用画像と左眼用画像において同一被写体の同一点を撮像した点を抽出する。対応点抽出の方法として、例えば左右の画像の輝度分布の相関から対応点を求める相関法や、左右の画像に対してエッジ抽出を行って、対応点を求める方法が利用可能である。
　視差計算部１３２は、対応点抽出部１３１で抽出された各対応点について、右画像中での位置と左画像中での位置とを抽出して、左右の画像中での水平方向の位置の差を求める。例えば、ディスプレイ平面で水平方向をｘ軸とし、上下方向をｙ軸とし、ディスプレイの重心点を原点とする座標軸で、右方向をｘ軸の正、左方向をｘ軸の負とし、上方向をｙ軸の正、下方向をｙ軸の負とするｘｙ平面座標に従って左右の画像中の各対応点を示す。対応点の右眼用画像のｘ座標の値から左眼用画像のｘ座標の値を減じたものを視差として計算する。オブジェクトがディスプレイ平面上の位置にあれば、視差は０となり、オブジェクトがディスプレイ平面から飛び出した位置にある場合は、視差は負の値となる。オブジェクトがディスプレイ平面より奥へ引き込んだ位置にある場合は、視差は正の値となる。
　奥行計算部１３３は、視差計算部１３２が計算した視差に基づいて、撮像時の内視鏡カメラ１１１とオブジェクトとの距離と、画像表示時の画像中オブジェクトの奥行位置とを計算する。奥行計算部１３３は、撮像時の内視鏡カメラ１１１とオブジェクトとの距離を禁止領域決定部２１２へ出力し、画像表示時の画像中オブジェクトの奥行位置を奥行適合判定部１７０へ出力する。
　なお、本変形例１では、内視鏡カメラ１１１と画面中心オブジェクトすなわち患部との距離を、ステレオ３次元画像の視差を用いて計算したが、左右いずれかの画像内の、サイズが不動のオブジェクトを定め、当該オブジェクトの画像内のサイズから内視鏡カメラ１１１と画面中心オブジェクトとの距離を求めるとしても良い。
　なお、本変形例１では、表示禁止領域記憶部２１１は内視鏡カメラ１１１とオブジェクトとの距離に対応する表示禁止領域とを記憶しているが、表示禁止領域記憶部２１１は表示禁止領域記憶部２１０と同様に標準の表示禁止領域のみを記憶していても良い。この場合、禁止領域決定部２１２が、当該の内視鏡カメラ１１１とオブジェクトとの距離と標準の距離との比に基づいて、表示禁止領域記憶部２１１に記憶された表示禁止領域のサイズを拡大又は縮小するとしても良い。
　＜効果＞
　本変形例では、表示禁止領域記憶部２１１にカメラと患部との距離に対応した付加画像表示禁止領域を記憶し、内視鏡カメラ１１１で取得した画像から、カメラと患部との距離が計算され、その距離に対応した付加画像の表示禁止領域が選択される。これにより、内視鏡カメラ１１１と患部との距離が変化して、すなわち内視鏡カメラ１１１がズームインあるいはズームアウトして、手術中に遮蔽されるべきでない患部とその周辺部との画像の領域が変化しても、付加画像が患部とその周辺部を遮蔽することなく、メイン画像と付加画像とが表示される。
　（実施の形態２の変形例２）
　実施の形態２では付加画像の奥行は固定であったが、本変形例では表示内容によって付加画像の奥行が変化する。付加画像の奥行が固定の場合、奥行適合判定部１７０は付加画像の表示領域の境界面およびその周辺領域の奥行について、メイン画像の奥行範囲のみを抽出し、予め定められた付加画像の奥行と比較を行った。しかしながら付加画像の奥行範囲が表示内容に伴って変化する場合、付加画像の奥行範囲を計算し、比較する必要がある。
　図１８は実施の形態２の変形例２の３次元表示装置２０の機能構成を示すブロック図である。３次元画像合成部１２３が３次元画像合成部１２４に置き換わり、表示領域候補決定部１６０が表示領域候補決定部２６０に置き換わり、奥行適合判定部１７０が奥行適合判定部２７０に置き換わった以外は、図７に示した実施の形態２の３次元表示装置２０と同様である。図７に同様の部分には同一の符号を付し、説明を省略する。
　＜構成＞
　３次元表示装置２０は、内視鏡カメラ１１１と、バイタルセンサ１２１と、ＭＲＩ画像記憶部１２２と、３次元画像合成部１２４と、奥行情報生成部１３０と、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、表示領域候補決定部２６０と、奥行適合判定部２７０と、画像合成部１８０と、ディスプレイ１９０と、表示禁止領域記憶部２１０と、入力部２００とを備える。
　表示領域候補決定部２６０は、入力部２００より入力された付加画像のサイズ指示情報に従って付加画像サイズ記憶部１５０に記憶された付加画像のサイズ情報より付加画像のサイズを選択する。また、表示領域候補決定部２６０は、付加画像位置記憶部１４０に記憶された付加画像位置の情報と表示禁止領域記憶部２１０に記憶された付加画像表示禁止領域の情報とに基づいて、付加画像の表示領域の候補を決定し、決定した候補を示す情報を、奥行適合判定部２７０と３次元画像合成部１２４へ出力する。
　３次元画像合成部１２４は、ＭＲＩ画像記憶部１２２に記憶された画像情報を、入力部２００より入力された、例えば、表示範囲、表示倍率、ＭＲＩ画像の種別（２次元画像か３次元画像か）のような表示内容に対する指示に基づいて、表示領域候補決定部２６０で決定された付加画像の表示領域に表示可能な画像に合成する。３次元画像合成部１２４は、さらに、合成された画像の奥行情報を奥行適合判定部２７０に出力する。
　奥行適合判定部２７０は、表示領域候補決定部２６０が決定した表示領域の候補の情報に基づいて、付加画像表示領域の境界面を抽出し、奥行情報生成部１３０で生成されたメイン画像の奥行情報から、境界面周辺のメイン画面の奥行を抽出する。奥行適合判定部２７０は、さらに、３次元画像合成部１２４が合成する画像の奥行情報から境界面周辺の付加画像の奥行情報を抽出する。奥行適合判定部２７０は、抽出した付加画像表示領域の境界面のメイン画面側と付加画像側との奥行の違いを比較し、予め定められた値より大きな奥行差、あるいは奥行の矛盾を検出する。
　図１９は実施の形態２の変形例２の３次元表示装置２０の部分の詳細を示したブロック図である。図１９は、周辺奥行抽出部１７２が周辺奥行抽出部２７２に置き換わり、付加画像奥行記憶部１７３がなくなった以外は、実施の形態２の図９と同様である。図９と同じ部分については同一の符号を付し、説明を省略する。
　奥行適合判定部２７０は、境界抽出部１７１と、周辺奥行抽出部２７２と、奥行差計算部１７４と、基準記憶部１７５と、判定部１７６とを備える。
　周辺奥行抽出部２７２は、奥行情報生成部１３０が生成したメイン画像の奥行情報と、境界抽出部１７１が求めた境界面の情報とから、境界面周辺のメイン画像の奥行情報を抽出する。さらに周辺奥行抽出部２７２は、３次元画像合成部１２４が生成した付加画像の奥行情報と、境界抽出部１７１が求めた境界面の情報とから、境界面周辺の付加画像の奥行情報を抽出する。
　図２０Ａは、メイン画像に、付加画像表示候補領域と、付加画像表示領域の周辺領域であるメイン画像上の境界領域と、付加画像側境界面周辺領域である境界面隣接領域とを示したものである。
　図２０Ｂは、図２０Ａの境界領域と境界面隣接領域とについて、それぞれの分割領域とそのＩＤとの例を示したものである。
　境界領域の奥行の求め方については実施の形態２と同様とする。境界面隣接領域の奥行情報の計算方法について説明する。３次元画像合成部１２４は、表示領域候補決定部２６０から付加画像の表示領域候補の表示領域の情報を取得し、指定された表示領域にコンピュータグラフィックスによる３次元画像を表示するための画像情報を生成する。画像情報は、左眼用画像および右眼用画像の対応点と対応点ごとの視差情報とを含む。周辺奥行抽出部２７２は、左眼用画像あるいは右眼用画像のいずれか一方の画像について、図２０Ａに示すように、メイン画像との境界面から予め定められた一定の距離以内の領域を境界面隣接領域として抽出する。さらに、周辺奥行抽出部２７２は、境界面隣接領域を、例えば図２０Ｂのように部分領域に分割する。ここでは左眼用画像上で境界面隣接領域を設定し、部分領域（境界領域）Ｃ１から部分領域（境界領域）Ｃ３を設定するものとする。なお、右眼用画像上で境界面隣接領域とその部分領域を設定するものとしても良い。周辺奥行抽出部２７２は、３次元画像合成部１２４が生成した画像情報より、境界面隣接領域内に表示されるオブジェクトを構成する点とその右眼用画像上の対応点との間の視差を抽出する。周辺奥行抽出部２７２は、オブジェクトの各点の視差について、部分領域ごとに視差の最大値を求める。なお、ここでは部分領域の視差の代表値として最大値を用いるが、平均等他の統計的値を用いても良い。
　なお、メイン画像内では、奥行の幅が広く、かつ奥行の変化が激しい。このため、隣接する境界領域間でも奥行の違いが大きくなる場合がある。よって、境界領域のサイズを小さくすることにより、境界領域における奥行を正確に算出することができる。これに対して、付加画像内では、メイン画像内に比べて、奥行の幅が狭く、かつ奥行の変化が緩やかである。このため、境界面隣接領域のサイズをある程度大きくしても、境界面隣接領域における奥行を正確に算出することができる。
　図２１は、周辺奥行抽出部２７２の出力する情報の一例である。境界領域、境界面隣接領域ともに、部分領域ごとの視差の最大値が、領域の視差の代表値として抽出されている。奥行差計算部１７４は、図２１に示すような視差の情報に基づき、境界領域Ｄ１，１からＤ１，４までの視差の絶対値が最大の視差と境界面隣接領域Ｃ１の視差とから、それぞれの領域の奥行位置を計算し、メイン画像側である境界領域と付加画像側である境界面隣接領域との奥行の差を求める。同様に、奥行差計算部１７４は、境界領域Ｄ１，５からＤ１，１０と境界面隣接領域Ｃ２、境界領域Ｄ２，１０からＤ７，１０と境界面隣接領域Ｃ３のそれぞれの奥行の差を求める。
　図２２は実施の形態２の変形例２の３次元表示装置２０の部分の詳細を示したブロック図である。
　表示領域候補決定部２６０は、付加画像位置選択部２６１と、付加画像サイズ選択部２６２と、領域決定部２６３とを備える。
　付加画像位置選択部２６１は、入力部２００より指定された数の付加画像位置の情報を、付加画像位置記憶部１４０に記憶された付加画像の位置の情報から選択する。
　付加画像サイズ選択部２６２は、入力部２００より指定された付加画像のサイズの情報に従って、付加画像サイズ記憶部１５０に記憶された情報から、付加画像のサイズ情報を選択する。
　領域決定部２６３は付加画像位置選択部２６１で選択された付加画像の位置と付加画像サイズ選択部２６２で選択された付加画像のサイズとに基づいて、付加画像を表示する領域の候補を決定し、３次元画像合成部１２４と奥行適合判定部２７０とに出力する。
　＜効果＞
　表示領域候補決定部２６０は入力部２００より入力された付加画像の表示条件のうち、付加画像のサイズの情報に従って付加画像領域の候補を決定する、一方、３次元画像合成部１２４は、入力部２００より入力された付加画像の表示条件に従って、表示領域候補決定部２６０が決定した画像サイズで付加画像を合成する。奥行適合判定部２７０は、付加画像表示領域の境界面のメイン画像側の奥行情報を奥行情報生成部１３０から、付加画像側の奥行情報を３次元画像合成部１２４から、それぞれに抽出して、表示領域の境界面を挟んだ奥行の差が適合範囲にあるか否かを判定する。この構成により、付加画像として表示される画像の奥行がユーザの指示によって変動しても、付加画像の表示領域の境界を挟んだ奥行の差が適合範囲を超えないように、付加画像の表示範囲を設定することができる。
　（実施の形態２の変形例３）
　実施の形態２では表示禁止領域記憶部２１３は、予め定められた禁止領域を記憶するのみであったが、本変形例３では、内視鏡カメラ１１１で撮像された画像より、新たな表示禁止領域を設定して記憶する。内視鏡による手術の場合、内視鏡カメラおよび手術用器具は数本のガイドチューブを通して体内に挿入される。手術ごとにガイドチューブの位置及び方向は変わるが、手術中にガイドチューブが移動することはほとんど無い。そのため、手術中に手術用器具が挿入されているか挿入されていないかの変化はあるが、カメラと挿入された手術用器具の位置関係や、カメラと体内の構造との位置関係が大きく変わることは無い。そこで、手術開始から内視鏡カメラ１１１が撮像するメイン画像に対して、付加画像によって遮蔽することで付加画像との奥行の矛盾や大きすぎる奥行差が生じる可能性がある奥行を持つ画像を検出し、付加画像の表示禁止領域として記憶していく。このことにより、付加画像の表示領域の探索範囲を限定し、付加画像の表示領域決定の負荷を減らすことができる。さらに、付加画像の表示領域の移動を減らすことができ、付加画像の表示が安定する。
　図２３は、実施の形態２の変形例３の３次元表示装置２０の部分の詳細を示したブロック図である。
　図２３は、実施の形態２の変形例１の図１７において、表示禁止領域記憶部２１１が表示禁止領域記憶部２１３に入れ替わり、禁止領域決定部２１２が禁止領域決定部２１４に入れ替わった以外は実施の形態２の変形例１と同様である。図１７と同様の部分には同一の符号を付し、説明を省略する。
　実施の形態２の変形例３の３次元表示装置２０は、実施の形態２の変形例１の図１５において、表示禁止領域記憶部２１１が表示禁止領域記憶部２１３に入れ替わり、禁止領域決定部２１２が禁止領域決定部２１４に入れ替わった以外は実施の形態２の変形例１と同様である。このため、３次元表示装置２０の機能を示すブロック図の説明は省略する。
　表示禁止領域記憶部２１３は付加画像の表示を禁止する領域の情報を記憶する。つまり、表示禁止領域記憶部２１３は、付加画像の表示を禁止する領域の情報として、予め定められた画面中心周辺の領域の情報と、内視鏡カメラ１１１で撮像された画像より検出された、奥行が極端に大きい部分の情報、すなわち大きく奥へ引っ込んだ部分または奥行が極端に小さい部分、すなわち大きく手前へ飛び出した部分の情報とを記憶する。
　禁止領域決定部２１４は、表示禁止領域記憶部２１３が記憶している、付加画像の表示を禁止する領域の情報を抽出し、表示領域候補決定部１６０へ出力する。禁止領域決定部２１４は、さらに、奥行情報生成部１３０で生成された、内視鏡カメラ１１１で撮像されたオブジェクトあるいは背景の奥行情報を含む表示領域の情報に基づいて、新たな禁止領域を決定し、決定した禁止領域を表示禁止領域記憶部２１３に出力する。
　禁止領域決定部２１４による、新たな禁止領域の決定は、以下のようにして行われる。つまり、予め定められた奥行の範囲を超えて奥へ引っ込んだ領域と、奥行の範囲を超えて手前へ飛び出した領域について、その領域が表示禁止領域記憶部２１３に記憶された表示禁止領域に含まれない場合には、その領域が新たな表示禁止領域とされる。例えば、消化管のように管状の構造を管の向きに沿った方向で撮像する場合、メイン画像は管を覗き込む状態の画像となり、画面奥への引っ込みが極端に大きくなる。付加画像の奥行範囲の最大の奥行を超えて予め定めた値以上に奥行が大きい場合には、付加画像とメイン画面との奥行の差が大きくなりすぎる可能性がある。このため、このような領域が付加画像の表示禁止領域とされる。例えば、付加画像の奥行範囲が、ディスプレイより奥、図２Ｂのｚ軸上－５ｃｍからディスプレイより手前ｚ軸上５ｃｍとすると、ディスプレイより奥ｚ軸上－２０ｃｍより奥にオブジェクトあるいは背景が撮像されている領域についてはメイン画像と付加画像との奥行の差が１５ｃｍを超える可能性がある。このため、その領域を付加画像の表示禁止領域とする。また、例えば、ディスプレイの手前ｚ軸上１６ｃｍよりも手前にオブジェクト、例えば鉗子のアームが撮像されている領域については、メイン画像と付加画像との奥行の矛盾が－１ｃｍをこえて生じる可能性がある。このため、このような領域が付加画像の表示禁止領域とされる。
　＜効果＞
　体内の構造や鉗子等医療器具の挿入によって生ずる、メイン画像と付加画像との奥行の矛盾や大きすぎる奥行差に対して、以下の措置がとられる。つまり、メイン画像中に撮像される体内の構造や医療器具の奥行位置を検出し、奥行適合範囲を超える可能性があると判断される領域については、医療器具等が取り除かれている場合であっても付加画像を表示しない、付加画像の表示禁止領域として記憶される。これにより、鉗子の挿入の有無により、一時的にメイン画像と付加画像との奥行差の矛盾等が解消されるような場合に、付加画像が一時的に奥行差の矛盾等が解消された領域に表示され、鉗子の挿入によって奥行差の矛盾が生じ付加画像の位置が大きく変化する、といった不都合が解消される。また、付加画像表示領域の探索領域範囲が狭まり、計算時の負荷が軽減される。
　（実施の形態２の変形例４）
　実施の形態２の変形例３では、予め定められた付加画像表示禁止領域と、内視鏡カメラ１１１で撮像された画像より決定された付加画像表示禁止領域とを同様に取り扱ったが、予め定められた付加画像表示禁止領域と撮像された画像より決定された付加画像表示禁止領域との取扱を異なるものとしても良い。予め定められた付加画像禁止領域は、画面中心の手術の対象である患部とその周辺部分であり、術中必ずメイン画像が表示されているべき領域である。しかし、撮像された画像より決定された付加画像表示禁止領域は、メイン画像と付加画像との奥行の矛盾が発生するか、奥行差が大きくなりすぎる可能性が高い領域である。したがって、撮像された画像より決定された付加画像表示禁止領域は、奥行の矛盾や大きすぎる奥行差が生じる可能性がある領域であり、そのような領域を、付加画像によって遮蔽することにより、メイン画像と付加画像との奥行の矛盾あるいは大きすぎる奥行差の発生を防ぐことができる。なお、本変形例においては奥行の矛盾が発生するか、奥行差が大きくなりすぎる可能性が高い領域を不適合可能性領域とする。
　＜構成＞
　図２４は、実施の形態２の変形例４の３次元表示装置の部分の詳細を示すブロック図である。
　表示禁止領域記憶部２１３が表示禁止領域記憶部２１５に置き換わり、表示領域候補決定部１６０が表示領域候補決定部１６１に置き換わり、禁止領域決定部２１４が不適合可能性領域決定部２１７に置き換わり、不適合可能性領域記憶部２１６が付け加わった以外は図２２と同様である。図２２と同一の部分には同一の符号を付して、説明を省略する。
　表示禁止領域記憶部２１５は、予め定められた付加画像表示禁止領域の情報を記憶している。
　不適合可能性領域決定部２１７は、奥行情報生成部１３０より出力された内視鏡カメラ１１１で撮像した画像の奥行情報より、メイン画像と付加画像との奥行の矛盾が発生する可能性が高い領域、又は、奥行差が大きくなりすぎる可能性が高い領域を決定する。つまり、２１７は、メイン画像中で、奥行が所定の奥行の範囲を超えて手前に飛び出している領域と、奥行が前記所定の奥行の範囲を超えて奥に引っ込んでいる領域とを決定する。
　不適合可能性領域記憶部２１６は、不適合可能性領域決定部２１７が決定した領域を記憶している。
　表示領域候補決定部１６１は、付加画像位置記憶部１４０より取得した付加画像の位置情報と、付加画像サイズ記憶部１５０より取得した付加画像のサイズの情報と、表示禁止領域記憶部２１５より取得した予め定められた付加画像の表示禁止領域と、不適合可能性領域記憶部２１６より取得した、内視鏡カメラ１１１で撮像された画像中で、奥行の矛盾が発生するか、奥行差が大きくなりすぎる可能性が高い領域の情報とから、付加画像の表示領域を決定する。
　＜動作＞
　図２５は、表示領域候補決定部１６１が付加画像の表示領域を決定する動作を示すフローチャートである。図２５の動作は、予め定められた付加画像表示禁止領域と撮像された画像より決定された付加画像表示禁止領域との取扱を異なるものとした場合の、図８のステップＳ１２００およびステップＳ１２１０に当たる動作の詳細を示したものである。
　表示領域候補決定部１６１は、まず、付加画像サイズ記憶部１５０に記憶された付加画像のサイズ情報に従って付加画像サイズを設定する（ステップＳ１２０１）。
　次に、表示領域候補決定部１６１は、不適合可能性領域記憶部２１６より取得した不適合可能性領域とステップＳ１２０１で設定した付加画像のサイズとを比較し、不適合可能性領域が付加画像で遮蔽可能か否かを判定する（ステップＳ１２０２）。ステップＳ１２０２において不適合可能性領域が付加画像で遮蔽可能であると判定された場合、すなわちステップＳ１２０２においてｙｅｓの場合、ステップＳ１２０３に進む。ステップＳ１２０２において不適合可能性領域が付加画像で遮蔽できないと判定された場合、すなわちステップＳ１２０２においてｎｏの場合、ステップＳ１２０４に進む。
　ステップＳ１２０３において、表示領域候補決定部１６１は付加画像位置記憶部１４０に記憶された位置情報より、付加画像の位置を設定する（ステップＳ１２０３）。表示領域候補決定部１６１はステップＳ１２０１で設定された付加画像のサイズとステップＳ１２０３で設定された付加画像の位置とによって決定された付加画像の領域が、表示禁止領域記憶部２１５に記憶された付加画像の表示が禁止された領域を含むか否かを判定する（ステップＳ１２１０ａ）。ステップＳ１２１０ａにおいて設定した付加画像領域が表示禁止領域を含んでいると判定された場合、すなわちステップＳ１２１０ａにおいてｙｅｓの場合、ステップＳ１２０３に戻る。ステップＳ１２１０ａにおいて付加画像領域が表示禁止領域を含まないと判定された場合、すなわちステップＳ１２１０ａにおいてｎｏの場合、ステップＳ１２０８に進む。
　一方ステップＳ１２０４において、表示領域候補決定部１６１はステップＳ１２０１で設定した付加画像のサイズが予め定められた付加画像のサイズの限界値以上であるか否かを判定する（ステップＳ１２０４）。ステップＳ１２０４において付加画像のサイズが限界値以上であると判定された場合、すなわちステップＳ１２０４においてｙｅｓの場合には、ステップＳ１２０５に進む。ステップＳ１２０４において付加画像のサイズが限界値以上で無いと判定された場合、すなわちステップＳ１２０４においてｎｏの場合、ステップＳ１２０１に戻る。
　ステップＳ１２０５において、表示領域候補決定部１６１は、付加画像サイズ記憶部１５０を参照して、付加画像のサイズを再設定する（ステップＳ１２０５）。さらに、表示領域候補決定部１６１は、付加画像位置記憶部１４０に記憶された位置情報より、付加画像の位置を設定する（ステップＳ１２０６）。
　表示領域候補決定部１６１はステップＳ１２０５で再設定された付加画像のサイズとステップＳ１２０６で設定された付加画像の位置とによって決定された付加画像の領域が、表示禁止領域記憶部２１５に記憶された情報が示す付加画像の表示が禁止された領域を含むか否かを判定する（ステップＳ１２１０ｂ）。ステップＳ１２１０ｂにおいて、設定した付加画像領域が表示禁止領域を含んでいると判定された場合、すなわちステップＳ１２１０ｂにおいてｙｅｓの場合、ステップＳ１２０６に戻る。ステップＳ１２１０ｂにおいて付加画像領域が表示禁止領域を含まないと判定された場合、すなわちステップＳ１２１０ｂにおいてｎｏの場合、ステップＳ１２０７に進む。
　ステップＳ１２０７において、表示領域候補決定部１６１は、設定された付加画像の領域が、不適合可能性領域記憶部２１６に記憶された領域を含むか否かを判定する（ステップＳ１２０７）。ステップＳ１２０７において付加画像の表示領域が不適合可能性領域を含むと判定された場合、すなわちステップＳ１２０７においてｙｅｓの場合、ステップＳ１２０６に戻る。ステップＳ１２０７において付加画像の表示領域が不適合可能性領域を含まないと判定された場合、すなわちステップＳ１２０７においてｎｏの場合、ステップＳ１２０８に進む。ステップＳ１２０８において、表示領域候補決定部１６１は、設定したサイズと位置の付加画像の表示領域を、表示領域候補として決定する（ステップＳ１２０８）。
　＜効果等＞
　以上のように、付加画像のサイズと位置を調節することにより、メイン画像と付加画像との間で奥行の矛盾や大きすぎる奥行差が生じる可能性のあるメイン画像の領域を、付加画像で遮蔽する。または、メイン画像の当該領域を遮蔽できない場合は、付加画像を、メイン画像と付加画像との間で奥行の矛盾や大きすぎる奥行差が生じる可能性のある領域を避けた位置に表示する。これにより、メイン画像と付加画像との間で奥行の矛盾や大きすぎる奥行差が生じる表示を避け、ユーザに負荷の無い自然な３次元画像を呈示することができる。
　なお、本実施の形態２の変形例４では付加画像のサイズを自動で変更したが、入力部２００より付加画像のサイズを変更する入力があった場合にのみ付加画像のサイズを調整するとしても良い。特に付加画像のサイズの拡大を指示する入力があった場合に、メイン画像と付加画像との間で奥行の矛盾や大きすぎる奥行差が生じる可能性のあるメイン画像の領域を、付加画像で遮蔽するための処理を行うものとしても良い。
　なお、付加画像のサイズの変更については、画面周辺部分の、撮像された鉗子のアーム部分が、極端な飛び出しのある画像となっている領域を遮蔽するように、付加画像の形状を画面水平方向に引き伸ばした形状にするものとしても良い。これにより、極端な飛び出しによる大きな視差のあるオブジェクトに対しても右眼用画像と左眼用画像の両画像上の領域を遮蔽することができる。
　（実施の形態２の変形例５）
　実施の形態２における３次元表示装置２０は、ユーザが付加画像の位置を操作することは無く、付加画像位置記憶部１４０に記憶された付加画像の表示位置を基本として、表示禁止領域記憶部２１０に記憶された表示禁止領域を回避し、付加画像の表示領域の境界面周辺での奥行の不適合を回避しうる位置へ移動した。本変形例では、ユーザが入力部２００より付加画像のサイズを入力し、指定する場合について説明する。
　本変形例５の３次元表示装置の構成は、入力部２００の出力が付加画像サイズ記憶部１５０へ入力される以外は実施の形態２と同様であるので、図示と説明を省略する。
　図２６は、実施の形態２の変形例５における３次元表示装置２０の動作を示すフローチャートである。図２６はステップＳ１１８０とステップＳ１１９０が付け加わった以外は、実施の形態２の図８と同様である。図８と同様の部分には図８と同一の符号を付し、説明を省略する。
　まず、内視鏡カメラ１１１は、左右の視差を有する３次元表示用の画像情報をメイン画像として生成し、バイタルセンサ１２１は、付加情報として現在の患者の心電位と血圧とを計測する（ステップＳ１１００）。
　入力部２００は、ユーザの付加画像に対する操作を取得し、付加画像を表示する指示入力を検出する（ステップＳ１１１０）。ステップＳ１１１０において付加画像を表示する指示入力が検出された場合、すなわちステップＳ１１１０においてｙｅｓの場合はステップＳ１１８０へ進む。ステップＳ１１１０において付加画像を表示する指示入力が検出されなかった場合、すなわちステップＳ１１１０においてｎｏの場合はステップＳ１７００に進む。ステップＳ１７００では、画像合成部１８０は、付加画像を含まないメイン画像である内視鏡カメラ画像を表示用画像として合成する。
　ステップＳ１１８０では、入力部２００はさらに、付加画像のサイズを操作する入力を検出する（ステップＳ１１８０）。ステップＳ１１８０において付加画像のサイズを指定する入力が検出された場合、すなわちステップＳ１１８０においてｙｅｓの場合はステップＳ１１９０へ進む。ステップＳ１１８０において付加画像のサイズを指定する入力が検出されなかった場合、すなわちステップＳ１１８０においてｎｏの場合はステップＳ１２００に進む。
　ステップＳ１１９０では、入力部２００は、ステップＳ１１１０で取得した付加画像の表示に関する指示入力中の付加画像のサイズの情報を、付加画像サイズ記憶部１５０へ出力する。付加画像サイズ記憶部１５０は入力部２００が出力した付加画像のサイズの情報を記憶する（ステップＳ１１９０）。
　ステップＳ１２００では、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置とから、表示領域の候補を１つ決定する（ステップＳ１２００）。例えば、表示領域候補決定部１６０は、付加画像位置記憶部１４０に記憶された付加画像の位置のうち、未選択のものから任意に１つを選択し、選択した付加画像の位置と付加画像サイズ記憶部１５０に記憶された付加画像のサイズとの組み合わせで示される領域を、表示領域の候補として決定する。なお、ステップＳ１２００では付加画像サイズ記憶部１５０に記憶された付加画像の情報のうち、最新の情報を用いて、表示領域の候補を決定するものとする。したがって、ステップＳ１１９０が実行されている場合は、ステップＳ１１９０で記憶されたサイズ情報を用いて表示領域の候補が決定される。
　表示領域候補決定部１６０は、ステップＳ１２００で決定した表示領域の候補が表示禁止領域記憶部２１０に記憶された表示禁止領域を含むか否かを判定する（ステップＳ１２１０）。ステップＳ１２１０において表示領域候補が表示禁止領域を含むと判定された場合、すなわちステップＳ１２１０においてｙｅｓの場合、ステップＳ１６００へ進む。ステップＳ１６００では、表示領域候補決定部１６０は付加画像の表示位置を移動させ、移動させた表示位置を付加画像位置記憶部１４０に記憶する（ステップＳ１６００）。ステップＳ１２１０において表示領域候補が表示禁止領域を含まないと判定された場合、すなわちステップＳ１２１０においてｎｏの場合、ステップＳ１３００に進む。
　ステップＳ１２００、ステップＳ１２１０、ステップＳ１６００を繰り返すことで表示禁止領域を回避して表示領域候補を決定する。
　ステップＳ１３００では、奥行適合判定部１７０はステップＳ１２００で決定された付加画像の表示領域候補の境界線あるいは境界面を抽出し、境界線あるいは境界面の周辺の奥行情報を抽出する（ステップＳ１３００）。
　さらに、奥行適合判定部１７０は、表示領域候補決定部１６０が、付加画像位置記憶部１４０に記憶された付加画像の位置の情報より求めた付加画像の表示領域の奥行と、ステップＳ１３００で抽出された付加画像との境界線あるいは境界面に隣接する部分のメイン画像の奥行とを比較する（ステップＳ１４００）。
　奥行適合判定部１７０は、境界線あるいは境界面をはさんで表示されるメイン画像及び付加画像の奥行差が予め定められた許容範囲を超えているかどうかを判断する（ステップＳ１５００）。ステップＳ１５００において奥行の差が許容範囲外であると判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、ステップＳ１６００に進み、ステップＳ１６００を実行後、ステップＳ１２００へ戻る。ステップＳ１５００において奥行の差が許容範囲内であると判断された場合、すなわちステップＳ１５００においてｎｏの場合、ステップＳ１７００に進む。
　ステップＳ１７００では、画像合成部１８０は、ステップＳ１１００で取得したメイン画像と、ステップＳ１１００で取得した付加情報を示す付加画像とを合成する。具体的には、画像合成部１８０は、メイン画像をディスプレイ１９０の画面に表示し、メイン画像に重ねて、付加画像をステップＳ１２００で決定した表示領域候補を表示領域として、当該表示領域に表示するよう画像を合成する。
　ディスプレイ１９０は、ステップＳ１７００で合成された３次元画像を表示する（ステップＳ１８００）。ステップＳ１８００で３次元画像をディスプレイ１９０に表示した後に、ステップＳ１１００に戻る。ステップＳ１１００からステップＳ１８００を繰り返すことで、３次元表示装置２０は、メイン画像および付加情報を処理単位ごとに取得して、３次元画像の表示を続ける。本実施の形態は、メイン画像および付加画像の内容が動画である場合にも対応可能である。
　なお、入力部２００は、例えば、図２７Ａに示すようなスイッチボックスであっても良い。ユーザは、スイッチボックスに含まれる予め定められた複数のサイズに対応したボタン（大、中、小ボタン）のうち、いずれかのボタンを押すことにより、サイズを選択することができる。また、入力部２００は、マウスやペン入力装置のようなポインティングデバイスであっても良い。例えば、図２７Ｂに示すような付加画像サイズ指定画面において、ユーザは、ポインティングデバイスを操作することにより、付加画像領域の頂点に示された矢印を移動させる。これにより、画面上の付加画像を引き伸ばしたり縮めたりして任意の付加画像のサイズを指定することができる。また、入力部２００は、ユーザを撮影するカメラと、カメラで撮影されたユーザの画像から、ユーザの動作を判別する画像処理装置を含んでいても良い。これによると、ユーザの動作により、サイズを指示することが可能である。また、入力部２００は、タッチパネル等画面平面上あるいは３次元空間上の座標位置と移動方向および移動量とを入力可能な入力装置を含んでいても良い。なお、付加画像が長方形の場合には、縦と横の辺の長さを数値で入力することにより、サイズを指定しても良い。このようはサイズ指定を行う場合には、３次元表示装置２０として、キーボードのような数値入力可能な文字入力装置を用いることができる。３次元表示装置２０は、タッチパネルやペン入力装置による手書き文字認識装置や、音声認識による音声入力装置であっても良い。なお、付加画像の領域が長方形以外の形状であっても、辺の長さや対角線の長さ等によりサイズを指定することができる。
　＜効果＞
　以上のように、本実施の形態２の変形例５によれば、３次元表示装置２０は、ステレオ内視鏡による３次元画像に重ねて、あるいは隣接して付加画像を表示する際に、ユーザが付加画像の表示サイズを指定した場合に、ユーザのサイズ指定に従い、且つ、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて、付加画像の表示領域が決定される。これにより、ユーザすなわち術者が必要とするサイズで付加画像を表示し、且つ付加画像が鉗子のアームにめり込んだような奥行の矛盾を回避し、ユーザすなわち術者の疲労を防ぐことができる。
　（実施の形態２の変形例６）
　実施の形態２の変形例５における３次元表示装置２０は、入力部２００より入力される付加画像のサイズ指定に従ってサイズを決定した。実施の形態２の変形例５の入力部２００は、画面平面上あるいは３次元空間上の座標位置と移動方向および移動量とを入力可能な入力装置を含み、一般的な環境で使用される入力インタフェース装置を含む。実施の形態２の変形例６では、ステレオ内視鏡カメラの映像を利用して、鉗子の動きから付加画像のサイズの変更を指示する方法について説明する。
　図２８Ａ及び図２８Ｂは、鉗子を入力部２００の一部として用い、鉗子の動きから付加画像表示領域のサイズを調整する様子を模式的に示した図である。図２８Ａ及び図２８Ｂに示すように、患部にかけられたワイヤと鉗子とのメイン画像が画面に表示され、メイン画像に重ねて付加画像であるバイタルデータが横軸に時間経過をとったグラフとして表示されている。図２８Ａ及び図２８Ｂの左側に見える鉗子の先端はいずれも付加画像と重なっていない。図２８Ｂでは、図２８Ａに比べて付加画像の領域は小さくなっている。例えば、術者が鉗子を手前に引くことで、その先端は付加画像の表示領域（付加画像とメイン画像との境界）を通過する。鉗子の先端が付加画像の表示領域を領域外から領域内へ通過したことを検出した場合には、入力部２００は、付加画像の表示領域を鉗子の移動方向にあわせて変形させる。例えば、器具の先端が領域外から領域内への方向で通過する際には、その先端の移動を付加画像の表示領域のサイズを小さくさせるための入力とみなし、器具の先端が領域内から領域外へ通過する際は、その移動を付加画像の表示領域のサイズを大きくする入力とみなす。
　図２９は実施の形態２の変形例６における３次元表示装置２０の機能構成を示すブロック図である。図２９は、入力部４００の機能構成として表示領域記憶部４０１と、器具先端検出部４０２と、通過検出部４０３と、操作入力部４０４と、表示制御信号生成部４０５とが付け加わった以外は、図２に示す実施の形態１の３次元表示装置１０と同様である。図７と同様の部分には図７と同一の符号を付し、説明を省略する。
　３次元表示装置２０は、内視鏡カメラ１１１と、バイタルセンサ１２１と、ＭＲＩ画像記憶部１２２と、３次元画像合成部１２３と、奥行情報生成部１３０と、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、表示領域候補決定部１６０と、奥行適合判定部１７０と、画像合成部１８０と、ディスプレイ１９０と、表示禁止領域記憶部２１０と、入力部４００を備える。入力部４００は表示領域記憶部４０１と、器具先端検出部４０２と、通過検出部４０３と、操作入力部４０４と、表示制御信号生成部４０５とを備える。
　内視鏡カメラ１１１は、ステレオカメラを含む３次元画像用の内視鏡カメラである。
　バイタルセンサ１２１は、手術中の患者の身体に取りつけられたセンサであり、本実施の形態２の変形例６では心電計と血圧計とする。
　ＭＲＩ画像記憶部１２２は、術前にＭＲＩシステムにより記録された、手術の対象となる患部の画像を含む３次元画像情報を記憶している。
　３次元画像合成部１２３は、ＭＲＩ画像記憶部１２２に記憶された画像情報を指定された切断面（スライス）や、指定された範囲の立体画像としてディスプレイ１９０に表示可能な形式の画像に合成する。
　付加画像位置記憶部１４０は、付加情報を付加画像として画像上に表示する際の位置を記憶する。
　付加画像サイズ記憶部１５０は付加情報を付加画像として画像上に表示する際のサイズを記憶する。
　表示禁止領域記憶部２１０は、予め定められた手術対象である患部を撮影している領域を、付加画像の表示禁止領域として記憶している。本実施の形態２の変形例６では、表示禁止領域は、画像中心を中心とした長方形の固定領域とする。
　表示領域候補決定部１６０は、１つ以上の付加情報を付加画像としてディスプレイ１９０の画面上に表示するための表示領域の候補を決定する。本実施の形態１では、付加情報は、手術中にバイタルセンサ１２１より取得されているバイタル情報と、術前に記憶されたＭＲＩ画像情報との２種類であり、２種類の付加情報はそれぞれ別の付加画像として、それぞれの表示領域に表示されるものとする。
　奥行適合判定部１７０は、表示領域候補決定部１６０が決定した表示領域の候補の情報と、奥行情報生成部１３０で生成されたメイン画像の奥行情報とから、付加画像の表示領域とメイン画像のうち付加画像の表示領域の周辺部分との間の、奥行の違いに対して、予め定められた値より大きな奥行差、あるいは奥行の矛盾を検出する。例えば、許容範囲は－１ｃｍ以上１５ｃｍ以下である。
　画像合成部１８０は、内視鏡カメラ１１１が取得した３次元画像をディスプレイ１９０の画面に表示し、表示領域候補決定部１６０が決定した領域のうちの少なくとも１つにバイタルセンサ１２１が取得した付加情報を付加画像として表示するように、３次元画像と付加画像とを合成する。
　ディスプレイ１９０は、画像合成部１８０により合成された画像を画面に表示する。
　操作入力部４０４は、ユーザが付加画像を表示するか否かの指示、および付加画像として表示する際の条件を入力するために用いる手段である。
　表示制御信号生成部４０５は、ユーザが操作入力部４０４より入力した付加画像に対する操作を取得し、画像合成部１８０による画像合成を制御する制御信号を生成する。
　表示領域記憶部４０１は、現在、付加情報を付加画像として表示している表示領域を示す情報を記憶する。図３０は、表示領域記憶部４０１の記憶内容の一例を示す。表示領域記憶部４０１には、付加画像領域のＩＤと、ＩＤごとの付加情報の内容と、長方形の平面としての表示領域を記述するための４つの頂点の３次元座標とを記憶する。
　器具先端検出部４０２は、内視鏡カメラ１１１により撮像された画像中の、手術器具の先端を検出する。ここでは手術器具のうち、鉗子の先端を検出するものとする。検出方法は、以下のとおりである。器具先端検出部４０２は、内視鏡カメラ１１１により撮像された画像の色領域から金属色の領域を器具の領域として抽出する。器具先端検出部４０２は、抽出した領域について左右の画像の対応点を求める。器具先端検出部４０２は、求めた対応点から器具領域の奥行を求める。器具先端検出部４０２は、色が連続する色領域のうち、もっとも奥行が大きい部分を先端部として抽出する。これ以外にも、金属色の領域の抽出の後、抽出した領域の輪郭線と、予め用意された器具の輪郭線とのパタンマッチングを行い、先端を決定することもできる。これ以外の画像処理により器具の先端を検出しても良い。
　通過検出部４０３は、表示領域記憶部４０１に記憶された情報により示される付加画像の表示領域内を器具先端検出部４０２が検出した器具の先端部が通過したことを検出する。通過の検出方法は、以下のとおりである。通過検出部４０３は、奥行情報生成部１３０で生成された画像中のオブジェクトの３次元座標位置の情報より、器具先端検出部４０２が検出した器具の先端部の３次元座標位置を抽出する。例えば、器具の先端部の３次元座標が表示領域記憶部４０１に記憶された付加画像平面を通過あるいは接触した場合に、通過検出部４０３は、付加画像領域内を器具の先端部が通過したことを検出する。通過検出部４０３は、検出時には、器具先端の通過の方向、すなわち、付加画像領域内から領域外への通過の方向か、あるいは付加画像領域外から領域内への通過の方向かを判断する。通過検出部４０３は、器具先端部の付属画面の通過情報を通過方向とともに表示制御信号生成部２２０へ出力する。
　なお、ここでは通過検出部４０３は、器具の先端部が付加画像領域内を通過するのを検出するために３次元座標を用い、３次元座標上で器具の先端部が付属画面平面を通過することを検出したが、付加画像領域の３次元座標と器具の先端の３次元座標とをディスプレイ平面へ写像して、ディスプレイ平面の２次元座標上で器具の先端部の通過を検出するものとしても良い。例えば、ディスプレイ平面に写像された付加画像領域内に、ディスプレイ平面に写像された器具の先端位置が含まれるあるいは接触する場合に、器具の先端が付加画像を通過したとみなして、通過を検出するとしても良い。
　器具先端部の付加画像領域の通過とその通過方向の情報は、サイズ指定する付加画像を特定し、付加画像のサイズ変更情報を示す。サイズ変更時には、１回の変更あたりのサイズ変更量あるいはサイズ変更比を一定としても良い。また、器具の先端の移動速度や移動距離に応じてサイズの変更量を決定するものとしても良い。通過検出部４０３は、器具先端検出部４０２が出力する器具先端の３次元座標情報と、表示領域記憶部４０１に記憶された付加画像ごとの領域の座標情報に基づき、術者の器具操作による、特定の付加画像のサイズ指定入力の情報を、表示制御信号生成部４０５に出力する。
　実施の形態２の変形例６における３次元表示装置２０の動作は図２９に示す実施の形態２の変形例５と同様である。
　ステップＳ１１１０において付加画像を表示する指示入力が検出された場合はステップＳ１１８０へ進む。ステップＳ１１８０では表示制御信号生成部４０５は、付加画像のサイズを操作する入力を検出する（ステップＳ１１８０）。すなわち、表示制御信号生成部４０５は、器具先端検出部４０２が出力する器具先端の３次元座標情報と、表示領域記憶部４０１に記憶された付加画像ごとの領域の座標情報に基づき、術者の器具操作による、特定の付加画像のサイズ指定入力の情報を、通過検出部４０３が出力するのを検出する。ステップＳ１１８０において付加画像のサイズを指定する入力が検出された場合はステップＳ１１９０へ進む。ステップＳ１１８０において付加画像のサイズを指定する入力が検出されなかった場合はステップＳ１２００に進む。
　＜効果＞
　以上のように、本実施の形態２の変形例６によれば、３次元表示装置２０が、ステレオ内視鏡による３次元画像に重ねて、あるいは隣接して付加画像を表示する際に、術者であるユーザは、内視鏡カメラが映している使用中の手術器具を利用して、付加画像の表示サイズを指定することができる。ユーザのサイズ指定に従い、且つ、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて、付加画像の表示領域が決定される。これにより、ユーザすなわち術者が必要とするサイズで付加画像が表示され、且つ付加画像が鉗子のアームにめり込んだような奥行の矛盾が回避される。このため、ユーザすなわち術者の疲労を防ぐことができる。それのみでなく、さらに、ユーザは特別なインタフェース装置を使用することなく、手術に用いている器具を利用して、付加画像のサイズを指定することができる。すなわち、術者であるユーザは手術用機具から手を離すことなく付加画像のサイズを指示することができる。このため、手術の効率を落とすことなく３次元表示装置を操作することができる。
　（実施の形態２の変形例７）
　実施の形態２における３次元表示装置２０は、ユーザが付加画像の位置を操作することは無く、付加画像位置記憶部１４０に記憶されている付加画像の表示位置であって、かつ表示禁止領域記憶部２１０に記憶された表示禁止領域を回避した位置に、付加画像を表示させた。本変形例では、ユーザが、操作入力部４０４を用いて付加画像の表示位置を入力することにより、表示位置を指定する場合について説明する。
　本変形例７の３次元表示装置の構成は、表示制御信号生成部４０５の出力が付加画像位置記憶部１４０へ入力される以外は実施の形態２の変形例６と同様であるので、図示と説明を省略する。
　図３１は、実施の形態２の変形例７における３次元表示装置２０の動作を示すフローチャートである。図３０はステップＳ１６００が削除され、ステップＳ１１２０と、ステップＳ１１３０と、ステップＳ１６１０と、ステップＳ１６２０とステップＳ１６３０が付け加わった以外は、実施の形態２の図８と同様である。図８と同様の部分には図８と同一の符号を付し、説明を省略する。
　まず、内視鏡カメラ１１１は、左右の視差を有する３次元表示用の画像情報をメイン画像として生成し、バイタルセンサ１２１は、付加情報として現在の患者の心電位と血圧とを計測する（ステップＳ１１００）。
　表示制御信号生成部４０５は、操作入力部４０４よりユーザの付加画像に対する操作を取得し、付加画像を表示する指示入力を検出する（ステップＳ１１１０）。ステップＳ１１１０において付加画像を表示する指示入力が検出された場合、すなわちステップＳ１１１０においてｙｅｓの場合はステップＳ１１２０へ進む。ステップＳ１１１０において付加画像を表示する指示入力が検出されなかった場合、すなわちステップＳ１１１０においてｎｏの場合はステップＳ１７００に進む。ステップＳ１７００では、画像合成部１８０は、付加画像を含まないメイン画像である内視鏡カメラ画像を表示用画像として合成する。
　ステップＳ１１２０では、表示制御信号生成部４０５はさらに、付加画像の位置を操作する入力を検出する（ステップＳ１１２０）。ステップＳ１１２０において付加画像の位置を指定する入力が検出された場合、すなわちステップＳ１１２０においてｙｅｓの場合はステップＳ１１３０へ進む。ステップＳ１１２０において付加画像の位置を指定する入力が検出されなかった場合、すなわちステップＳ１１２０においてｎｏの場合はステップＳ１２００に進む。
　ステップＳ１１３０では、表示制御信号生成部４０５は、ステップＳ１１１０で取得した付加画像の表示に関する指示入力中の付加画像の位置の情報を、付加画像位置記憶部１４０へ出力する。付加画像位置記憶部１４０は表示制御信号生成部４０５が出力した付加画像の位置の情報を記憶する（ステップＳ１１３０）。
　ステップＳ１２００では、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置とから、表示領域の候補を１つ決定する（ステップＳ１２００）。例えば、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズのうち、未選択のものから任意に１つを選択し、選択した付加画像のサイズと付加画像位置記憶部１４０に記憶された付加画像の位置との組み合わせで示される領域を、表示領域の候補として決定する。なお、ステップＳ１２００では付加画像位置記憶部１４０に記憶された付加画像の位置の情報のうち、最新の情報を用いて、表示領域の候補を決定するものとする。したがって、ステップＳ１１３０が実行されている場合は、ステップＳ１１３０で記憶された位置情報を用いて、表示領域の候補が決定される。
　表示領域候補決定部１６０は、ステップＳ１２００で決定した表示領域の候補が表示禁止領域記憶部２１０に記憶された表示禁止領域を含むか否かを判定する（ステップＳ１２１０）。ステップＳ１２１０において表示領域候補が表示禁止領域を含むと判定された場合、すなわちステップＳ１２１０においてｙｅｓの場合、ステップＳ１６１０へ進む。ステップＳ１２１０において表示領域候補が表示禁止領域を含まないと判定された場合、すなわちステップＳ１２１０においてｎｏの場合、ステップＳ１３００に進む。
　ステップＳ１３００では、奥行適合判定部１７０はステップＳ１２００で決定された付加画像の表示領域候補の境界線あるいは境界面を抽出し、境界線あるいは境界面の周辺の奥行情報を抽出する（ステップＳ１３００）。
　さらに、奥行適合判定部１７０は、表示領域候補決定部１６０が、付加画像位置記憶部１４０に記憶された付加画像の位置の情報より求めた付加画像の表示領域の奥行と、ステップＳ１３００で抽出された付加画像との境界線あるいは境界面に隣接する部分のメイン画像の奥行とを比較する（ステップＳ１４００）。
　奥行適合判定部１７０は、境界線あるいは境界面をはさんで表示されるメイン画像及び付加画像の奥行差が予め定められた許容範囲を超えているかどうかを判断する（ステップＳ１５００）。ステップＳ１５００において奥行の差が許容範囲外であると判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、ステップＳ１６１０に進む。ステップＳ１５００において奥行の差が許容範囲内であると判断された場合、すなわちステップＳ１５００においてｎｏの場合、ステップＳ１７００に進む。
　ステップＳ１７００では、画像合成部１８０は、ステップＳ１１００で取得したメイン画像と、ステップＳ１１００で取得した付加情報を示す付加画像とを合成する。具体的には、画像合成部１８０は、メイン画像をディスプレイ１９０の画面に表示し、メイン画像に重ねて、付加画像をステップＳ１２００で決定した表示領域候補を表示領域として、当該表示領域に表示するよう画像を合成する。
　ディスプレイ１９０は、ステップＳ１７００で合成された３次元画像を表示する（ステップＳ１８００）。ステップＳ１８００で３次元画像をディスプレイ１９０に表示した後に、ステップＳ１１００に戻る。
　ステップＳ１６１０では、表示領域候補決定部１６０は、付加画像のサイズを変更し、変更後のサイズを付加画像サイズ記憶部１５０に記憶する（ステップＳ１６１０）。例えば、表示領域候補決定部１６０は、付加画像の表示位置を変更せず、付加画像の表示領域が表示禁止領域を含まないよう、すなわち、付加画像の表示領域が表示禁止領域外になるよう付加画像のサイズを縮小する。サイズ変更は、例えば、付加画像の表示領域の重心位置を維持して、表示領域の外周が重心に近づく方向に表示領域を縮小することで行われる。または、付加画像表示領域のうち表示禁止領域を含まない一辺を固定して付加画像の表示領域を縮小するものとしても良い。
　表示領域候補決定部１６０は、ステップＳ１６１０で変更された付加画像のサイズが予め定められた一定の範囲内であるかを判定する（ステップＳ１６２０）。ステップＳ１６２０において付加画像のサイズが予め定められた範囲内であると判定された場合、すなわちステップＳ１６２０においてｙｅｓの場合は、ステップＳ１２００へ戻る。ステップＳ１６２０において付加画像のサイズが予め定められた範囲外であると判定された場合、すなわちステップＳ１６２０においてｎｏの場合は、ステップＳ１６３０へ進む。例えば、付加画像が長方形の場合には、予め定められた付加画像のサイズの範囲は、縦の辺が３ｃｍから１０ｃｍであり、横の辺が５ｃｍから１３ｃｍである。ステップＳ１６１０で縮小された付加画像のサイズが前記の範囲に含まれていれば、例えば、縦の辺が４ｃｍ、横の辺が７ｃｍのサイズであれば、ステップＳ１２００へ進む。また、ステップＳ１６１０で縮小された付加画像のサイズが前記の範囲に含まれていなければ、例えば、付加画像の縦の辺が２ｃｍ、横の辺が４ｃｍであれば、ステップＳ１６３０へ進む。
　ステップＳ１６３０では、表示領域候補決定部１６０は、付加画像のサイズが予め定められた範囲外であること示す信号を、画像合成部１８０へ送信する。画像合成部１８０は、当該信号に応答して、ユーザに付加画像の表示位置を再入力することを促すメッセージの画像を生成する。ディスプレイ１９０は、画像合成部１８０が生成したメッセージ画像を表示する（ステップＳ１６３０）。ステップＳ１６３０の実行後は、ステップＳ１１１０に戻る。
　ステップＳ１２００からステップＳ１６１０を繰り返すことで、表示禁止領域を回避して表示領域候補を決定する。
　さらにステップＳ１１１０からステップＳ１６３０を繰り返すことで、付加画像の境界面の内外での奥行の差が許容範囲を超えない付加画像の表示領域を決定することができる。
　なお、操作入力部４０４を用いて付加画像の位置を入力する方法については、以下のような方法であっても良い。例えば、ユーザが、予め定められた表示位置の中から、いずれか１つの表示位置を選択するとしてもよい。また、ユーザが、付加画像表示領域の重心点を指定するとしても良い。また、ユーザが、付加画像表示領域の辺の位置を指定するとしても良い。
　＜効果＞
　以上のように、本実施の形態２の変形例７によれば、３次元表示装置２０は、ステレオ内視鏡による３次元画像に重ねて、あるいは隣接して付加画像を表示する際に、ユーザが付加画像の表示位置を指定する。３次元表示装置１０は、ユーザが指定した位置に従い、且つ、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて、付加画像の表示領域を決定する。これにより、ユーザすなわち術者が必要とする位置に付加画像が表示され、且つ付加画像が鉗子のアームにめり込んだような奥行の矛盾が回避される。このため、ユーザすなわち術者の疲労を防ぐことができる。
　（実施の形態２の変形例８）
　実施の形態２における３次元表示装置２０は、ユーザが付加画像の位置を操作することは無く、付加画像位置記憶部１４０に記憶されている付加画像の表示位置であって、かつ表示禁止領域記憶部２１０に記憶された表示禁止領域を回避した位置に、付加画像を表示させた。本変形例では、ユーザが、操作入力部４０４を用いて付加画像の表示位置とサイズを入力することにより、表示位置とサイズを指定する場合について説明する。なお、ユーザが入力した表示位置とサイズによって指定される付加画像の表示領域が表示禁止領域を含む場合と、付加画像の表示領域の境界面の内外での奥行の差が許容範囲外である場合とには、３次元表示装置は、付加画像の表示領域の位置とサイズを自動調整する。ユーザが自動調整結果に不満足である場合や、自動調整の範囲では表示領域の不具合がある場合には、３次元表示装置は、ユーザに付加画像の表示領域の位置とサイズを再入力することを要求する。
　本変形例８の３次元表示装置の構成は、表示制御信号生成部４０５の出力が付加画像位置記憶部１４０と付加画像サイズ記憶部１５０とへ入力される以外は実施の形態２の変形例６と同様であるので、図示と説明を省略する。
　図３２Ａおよび図３２Ｂは、実施の形態２の変形例８における３次元表示装置２０の動作を示すフローチャートである。
　まず、内視鏡カメラ１１１は、左右の視差を有する３次元表示用の画像情報をメイン画像として生成し、バイタルセンサ１２１は、付加情報として現在の患者の心電位と血圧とを計測する（ステップＳ１１００）。
　表示制御信号生成部４０５は、操作入力部４０４よりユーザの付加画像に対する操作を取得し、付加画像を表示する指示入力を検出する（ステップＳ１１１０）。ステップＳ１１１０において付加画像を表示する指示入力が検出された場合、すなわちステップＳ１１１０においてｙｅｓの場合はステップＳ１１２０へ進む。ステップＳ１１１０において付加画像を表示する指示入力が検出されなかった場合、すなわちステップＳ１１１０においてｎｏの場合はステップＳ１７００に進む。ステップＳ１７００では、画像合成部１８０は、付加画像を含まないメイン画像である内視鏡カメラ画像を表示用画像として合成する。
　ステップＳ１１２０では表示制御信号生成部４０５はさらに、付加画像の位置を操作する入力を検出する（ステップＳ１１２０）。ステップＳ１１２０において付加画像の位置を指定する入力が検出された場合、すなわちステップＳ１１２０においてｙｅｓの場合はステップＳ１１３０へ進む。ステップＳ１１２０において付加画像の位置を指定する入力が検出されなかった場合、すなわちステップＳ１１２０においてｎｏの場合はステップＳ１１８０に進む。
　ステップＳ１１３０では、表示制御信号生成部４０５は、ステップＳ１１１０で取得した付加画像の表示に関する指示入力中の付加画像の位置の情報を、付加画像位置記憶部１４０へ出力する。付加画像位置記憶部１４０は表示制御信号生成部４０５が出力した付加画像の位置の情報を記憶する（ステップＳ１１３０）。
　ステップＳ１１８０では、表示制御信号生成部４０５はさらに、付加画像のサイズを操作する入力を検出する（ステップＳ１１８０）。ステップＳ１１８０において付加画像のサイズを指定する入力が検出された場合、すなわちステップＳ１１８０においてｙｅｓの場合はステップＳ１１９０へ進む。ステップＳ１１８０において付加画像のサイズを指定する入力が検出されなかった場合、すなわちステップＳ１１８０においてｎｏの場合はステップＳ１２００に進む。
　ステップＳ１１９０では、表示制御信号生成部４０５は、ステップＳ１１１０で取得した付加画像の表示に関する指示入力中の付加画像のサイズの情報を、付加画像サイズ記憶部１５０へ出力する。付加画像サイズ記憶部１５０は表示制御信号生成部４０５が出力した付加画像のサイズの情報を記憶する（ステップＳ１１９０）。
　ステップＳ１２００では、表示領域候補決定部１６０は付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置とから、表示領域の候補を１つ決定する（ステップＳ１２００）。つまり、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置との組み合わせで示される領域を、表示領域の候補として決定する。ステップＳ１２００では、付加画像位置記憶部１４０に記憶された付加画像の位置の情報のうちの最新の情報と、付加画像サイズ記憶部１５０に記憶された付加画像のサイズの情報のうちの最新の情報とを用いて表示領域の候補が決定される。したがって、ステップＳ１１３０が実行されている場合はステップＳ１１３０で記憶された位置情報が用いられる。
　表示領域候補決定部１６０は、ステップＳ１２００で決定した表示領域の候補が表示禁止領域記憶部２１０に記憶された表示禁止領域を含むか否かを判定する（ステップＳ１２１０）。ステップＳ１２１０において表示領域候補が表示禁止領域を含むと判定された場合、すなわちステップＳ１２１０においてｙｅｓの場合、ステップＳ１６４０へ進む。ステップＳ１２１０において表示領域候補が表示禁止領域を含まないと判定された場合、すなわちステップＳ１２１０においてｎｏの場合、ステップＳ１３００に進む。
　ステップＳ１３００では、奥行適合判定部１７０はステップＳ１２００で決定された付加画像の表示領域候補の境界線あるいは境界面を抽出し、境界線あるいは境界面の周辺の奥行情報を抽出する（ステップＳ１３００）。
　さらに、奥行適合判定部１７０は、表示領域候補決定部１６０が、付加画像位置記憶部１４０に記憶された付加画像の位置の情報より求めた付加画像の表示領域の奥行と、ステップＳ１３００で抽出された付加画像との境界線あるいは境界面に隣接する部分のメイン画像の奥行とを比較する（ステップＳ１４００）。
　奥行適合判定部１７０は、境界線あるいは境界面をはさんで表示されるメイン画像及び付加画像の奥行差が予め定められた許容範囲を超えているかどうかを判断する（ステップＳ１５００）。ステップＳ１５００において奥行の差が許容範囲外であると判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、ステップＳ１６１０に進む。ステップＳ１５００において奥行の差が許容範囲内であると判断された場合、すなわちステップＳ１５００においてｎｏの場合、ステップＳ１７００に進む。
　ステップＳ１７００では、画像合成部１８０は、ステップＳ１１００で取得したメイン画像と、ステップＳ１１００で取得した付加情報を示す付加画像とを合成する。具体的には、画像合成部１８０は、メイン画像をディスプレイ１９０の画面に表示し、メイン画像に重ねて、付加画像をステップＳ１２００で決定した表示領域候補を表示領域として、当該表示領域に表示するよう画像を合成する。
　ディスプレイ１９０は、ステップＳ１７００で合成された３次元画像を表示する（ステップＳ１８００）。ステップＳ１８００で３次元画像をディスプレイ１９０に表示した後に、ステップＳ１１００に戻る。
　ステップＳ１６４０では、表示領域候補決定部１６０は、付加画像の位置およびサイズの調整が可能かどうかを判定する（ステップＳ１６４０）。ステップＳ１６４０における判定の方法については後述する。ステップＳ１６４０において付加画像の位置およびサイズの調整が可能であると判定された場合、すなわちステップＳ１６４０においてｙｅｓの場合は、ステップＳ１６５０へ進む。ステップＳ１６４０において付加画像の位置およびサイズの調整が不可能であると判定された場合、すなわちステップＳ１６４０においてｎｏの場合は、ステップＳ１６７０へ進む。
　ステップＳ１６５０では、画像合成部１８０は、奥行適合判定部１７０より出力された付加画像表示領域をメイン画像に重ねた仮表示画像を合成し、ディスプレイ１９０は画像合成部１８０で合成された仮表示画像を表示する（ステップＳ１６５０）。仮表示画像の付加画像として、実際の付加情報を表示しても良いが、実際の付加情報を表示せず、領域を仮表示するための一様な平面の画像や、固定のテスト用画像を表示しても良い。ステップＳ１６５０でディスプレイ１９０に表示された付加画像領域の仮表示に対して、表示制御信号生成部４０５は、操作入力部４０４よりユーザの付加画像に対する操作を取得し、仮表示された位置およびサイズが調整された付加画像の領域を承認する指示入力を検出する（ステップＳ１６６０）。ステップＳ１６６０において仮表示された付加画像の表示領域を承認する指示入力が検出された場合、すなわちステップＳ１６６０においてｙｅｓの場合、ステップＳ１７００へ進む。ステップＳ１６６０において仮表示された付加画像の表示領域を承認する指示入力が検出されない場合、すなわちステップＳ１６６０においてｎｏの場合は、ステップＳ１６７０へ進む。
　ステップＳ１６７０では、画像合成部１８０は、ユーザに対してユーザが指示した付加画像の位置とサイズでは付加画像が表示できない旨を示し、かつ、付加画像の位置とサイズを再指定するよう促すためのメッセージ画面を生成し、ディスプレイ１９０は画像合成部１８０で生成されたメッセージ画面を表示する（ステップＳ１６７０）。ステップＳ１６７０でメッセージ画面が表示された後に、ステップＳ１１１０へ戻る。
　ステップＳ１１１０からステップＳ１６３０を繰り返すことで、表示禁止領域を回避して表示領域候補を決定し、付加画像の境界面の内外での奥行の差が許容範囲を超えない付加画像の表示領域を決定することができる。
　＜ステップＳ１６４０詳細＞
　図３３は実施の形態２の変形例８における３次元表示装置２０の部分の詳細な構成を示すブロック図である。
　表示領域候補決定部１６０は、位置調整範囲記憶部１６６と、サイズ調整範囲記憶部１６２と、領域決定部１６３と、距離計算部１６４と、領域記憶部１６５とを備える。
　位置調整範囲記憶部１６６は、ユーザが指定した付加画像の表示位置を自動調整可能な範囲として、付加画像を移動させることが可能な予め定められた範囲を記憶している。例えば、自動調整可能な範囲は、ユーザが指定した付加画像の、長辺方向または長軸方向に、長辺の長さの２０％以下の範囲と、短辺方向または短軸方向に短辺の長さの２０％以下の範囲とする。例えば、付加画像が横長の長方形である場合、長辺の２０％以下の範囲内で左右方向に表示位置を移動させ、短辺の２０％以下の範囲内で上下方向に表示位置を移動させることにより、付加画像の表示位置を調整することができる。ここでは、付加画像の奥行方向の表示位置については変更しないものとする。
　サイズ調整範囲記憶部１６２は、ユーザが指定した付加画像の表示サイズを自動調整可能な範囲として、予め定められた自動調整可能な範囲を記憶している。例えば、予め定められた自動調整可能な範囲は、ユーザが指定した付加画像の長軸および短軸の長さの増減を１５％以下とする範囲である。例えば、付加画像が横長の長方形である場合、ユーザが指定したサイズに対して、長辺及び短辺とも８５％から１１５％までの範囲内で長さを調整することができる。ただし、ここでは長辺と短辺の変化率は同じとする。すなわち付加画像表示領域の変形（縦横比が変化するサイズ変更）は行わないものとする。また、ここでは付加画像の奥行方向のサイズについては調整しないものとする。
　領域決定部１６３は、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、距離計算部１６４と、位置調整範囲記憶部１６６と、サイズ調整範囲記憶部１６２と、距離計算部１６４と、領域記憶部１６５と、奥行適合判定部１７０とからの入力を受け、付加画像の表示領域候補に関する情報を、距離計算部１６４及び領域記憶部１６５に出力する。領域決定部１６３は、付加画像位置記憶部１４０と付加画像サイズ記憶部１５０とから、ユーザが指定した、付加画像の表示位置と付加画像のサイズとを取得して、付加画像の表示領域を決定する。領域決定部１６３は、さらに、距離計算部１６４からの入力あるいは奥行適合判定部１７０からの入力に従って、位置調整範囲記憶部１６６に記憶された付加画像の表示位置の調整範囲とサイズ調整範囲記憶部１６２に記憶された付加画像の表示サイズの調整範囲とに基づいて、付加画像の表示領域の位置及びサイズを調整する。
　距離計算部１６４は、領域決定部１６３より取得した付加画像の表示領域候補と、表示禁止領域記憶部２１０が記憶している表示禁止領域との、画像表示空間内での距離を計算する。例えば、距離計算部１６４は、画像表示空間内における表示禁止領域と付加画像の表示領域候補とを、それぞれディスプレイ平面へ写像し、ディスプレイ平面上での両者の位置を比較することにより両者の距離を計算する。距離計算部１６４は、ディスプレイ平面上、例えば図２Ｂに示すような座標系のｘｙ平面上で、ｘ座標の差とｙ座標の差とから領域同士の距離を求めることができる。距離計算部１６４は、計算結果を領域決定部１６３に出力する。
　領域記憶部１６５は、領域決定部１６３によって決定された付加画像の表示領域候補に関する情報を記憶する。
　図３４は、本実施の形態２の変形例８における３次元表示装置２０の動作のうち、ステップＳ１６４０の詳細な動作を示すフローチャートである。ステップＳ１６４０では、表示領域候補決定部１６０は、付加画像の位置およびサイズの調整が可能かどうかを判定する。
　距離計算部１６４は、領域決定部１６３で決定された最新の付加画像の表示領域候補と、表示禁止領域記憶部２１０に記憶された表示禁止領域との間の距離を計算する（ステップＳ１６４１）。距離は、ディスプレイ平面へ写像された２つの領域が分離していれば正の値、２つの領域が重なっている場合は負の値で示されるものとする。例えば２つの領域に重なりが無い場合には、領域間の距離は、２つの領域において最も近接した位置間の距離とする。また、２つの領域が重なっている場合には、重なり合った領域に当てはめることのできる最長の直線の長さの負の値を領域間の距離とする。領域決定部１６３は、ステップＳ１６４１で計算された領域間距離に基づいて、最新の付加画像の表示領域候補が、表示禁止領域記憶部２１０に記憶された表示禁止領域を含んでいるか否かを判定する（ステップＳ１６４２）。距離が負の値の場合は２つの領域が重なっている、すなわち付加画像の表示領域が表示禁止領域を含んでいることを示す。ステップＳ１６４２において付加画像の表示領域候補が表示禁止領域を含んでいると判定された場合、すなわちステップＳ１６４２においてｙｅｓの場合は、ステップＳ１６４３へ進む。ステップＳ１６４２において付加画像の表示領域候補が表示禁止領域を含んでいないと判定された場合、すなわちステップＳ１６４２においてｎｏの場合は、ステップＳ１６４７へ進む。
　ステップＳ１６４３では、領域決定部１６３は、ステップＳ１６４１で計算された負の領域間距離すなわち領域の重なりの距離と、位置調整範囲記憶部１６６に記憶された位置の調整範囲とから、表示領域候補を、表示禁止領域を含まない位置へ移動させることができるか否かを判断する（ステップＳ１６４３）。この判断は、例えば領域間距離の絶対値が位置調整範囲内にあるか否かによって行うものとする。ステップＳ１６４３で、表示領域候補を表示禁止領域を含まない位置へ移動させることができると判断された場合、すなわちステップＳ１６４３においてｙｅｓの場合は、ステップＳ１６４４へ進む。ステップＳ１６４３において表示領域候補を表示禁止領域を含まない位置へ移動させることができないと判断された場合、すなわちステップＳ１６４３においてｎｏの場合は、ステップＳ１６４５へ進む。
　ステップＳ１６４４では、領域決定部１６３は、当該の付加画像の表示領域候補を移動させて、当該の表示領域候補が表示禁止領域を含まない位置を、表示領域候補の位置として再設定する（ステップＳ１６４４）。ステップＳ１６４４の実行後はステップＳ１６４１へ戻る。
　ステップＳ１６４５では、領域決定部１６３は、ステップＳ１６４１で計算された負の領域間距離すなわち領域の重なりの距離と、サイズ調整範囲記憶部１６２に記憶されたサイズの調整範囲とから、表示領域候補のサイズを調整することで、表示領域候補が表示禁止領域を含まないように表示領域候補のサイズを変更することができるか否かを判断する（ステップＳ１６４５）。この判断は、例えば、領域間距離の絶対値が、サイズ調整範囲を長さの調整範囲として表した場合の長さの調整範囲以内であるか否かによって行うものとする。位置を変更せずに、サイズ変更によって付加画像の表示領域候補が表示禁止領域を含まないようにするためには、例えば、位置の基準となっている表示領域候補の重心位置を変えずに、表示領域候補のサイズを縮小する。ステップＳ１６４５において付加画像の表示領域候補が表示禁止領域を含まないように表示領域候補のサイズを変更することができると判断された場合、すなわちステップＳ１６４５においてｙｅｓの場合は、ステップＳ１６４６へ進む。ステップＳ１６４５において、付加画像の表示領域候補が表示禁止領域を含まないように表示領域候補のサイズを変更することができないと判断された場合は、すなわちステップＳ１６４５においてｎｏの場合は、ステップＳ１６７０へ進む。
　ステップＳ１６４６では、領域決定部１６３は、当該の付加画像の表示領域候補のサイズを変更して、当該の表示領域候補が表示禁止領域を含まない領域サイズを、表示領域候補のサイズとして再設定する（ステップＳ１６４６）。ステップＳ１６４６の実行後はステップＳ１６４１へ戻る。ステップＳ１６４１からステップＳ１６４４または１６４６を繰り返すことで、予め定められた調整範囲内で位置あるいはサイズを調整することにより、表示禁止領域を含まない、付加画像の表示領域候補が決定される。予め定められた調整範囲内での位置あるいはサイズの調整では表示禁止領域を含まない、付加画像の表示領域候補を決定することができない場合には、画像合成部１８０は、付加画像の表示領域の位置とサイズの再指定の要求をユーザに示す（ステップＳ１６７０）。例えば、画像合成部１８０は、ディスプレイ１９０の画面に再指定の要求メッセージを表示する。
　一方、ステップＳ１６４７では、奥行適合判定部１７０は、領域決定部１６３が決定した付加画像の表示領域候補について、表示領域候補の境界面において境界面の内外の奥行の差が許容範囲外であるか否かを判定する（ステップＳ１６４７）。ステップＳ１６４７の動作はステップＳ１３００からステップＳ１５００の動作と同一である。ステップＳ１６４７において境界面の内外の奥行の差が許容範囲外であると判定された場合、すなわちステップＳ１６４７においてｙｅｓの場合、ステップＳ１６４８へ進む。ステップＳ１６４７において境界面の内外の奥行の差が許容範囲内であると判定された場合、すなわちステップＳ１６４７においてｎｏの場合、ステップＳ１６５０へ進む。
　ステップＳ１６４８では、領域決定部１６３は、位置調整範囲記憶部１６６に記憶された位置調整範囲内で、付加画像の表示領域候補の位置を移動させることができるか否かを判定する（ステップＳ１６４８）。つまり、領域決定部１６３は、ステップＳ１１２０でユーザの入力により指定された付加画像の表示位置に対して、位置調整範囲記憶部１６６に記憶された表示領域の調整範囲、例えば、指定された表示位置から、移動方向の付加画像領域の長さの２０％である調整範囲を超えない移動の可能性があるか否かを判定する。例えば、付加画像が長方形であり、指定された表示位置から、右方向へ水平軸の１０％移動、２０％移動、左方向へ水平軸の１０％移動、２０％移動の４つの選択が可能であり、上方向へ垂直軸の１０％移動、２０％移動、下方向へ垂直軸の１０％移動、２０％移動の４つの選択が可能であるとする。この場合、水平方向の４種の移動と垂直方向の４種の移動との組み合わせのいずれかについて位置の調整動作が行われていない場合には、領域決定部１６３は、表示領域候補の位置を移動させることができると判定する。一方、全ての組み合わせについて、調整動作が行われている場合には、領域決定部１６３は、表示領域候補の位置を移動することができないと判定する。
　ステップＳ１６４８において表示領域候補の位置を移動させることができると判定された場合、すなわちステップＳ１６４８においてｙｅｓの場合には、ステップＳ１６４９へ進む。ステップＳ１６４８において表示領域候補の位置を移動させることができないと判定された場合、すなわちステップＳ１６４８においてｎｏの場合は、ステップＳ１９０１に進む。
　ステップＳ１６４９では、領域決定部１６３は、選択可能な、付加画像の表示領域候補の表示位置のうち１つを選択して、付加画像の表示領域候補の表示位置を移動させる（ステップＳ１６４９）。ステップＳ１６４９実行後はステップＳ１６４１へ戻る。
　ステップＳ１９０１では、領域決定部１６３は、サイズ調整範囲記憶部１６２に記憶されたサイズ調整範囲内で、付加画像の表示領域候補のサイズを変更することができるか否かを判定する（ステップＳ１９０１）。つまり、領域決定部１６３は、ステップＳ１１２０でユーザの入力により指定された付加画像の表示領域のサイズを、サイズ調整範囲記憶部１６２に記憶された表示領域の調整範囲内で変更することができるか否かを判定する。例えば、領域決定部１６３は、ユーザ指定された付加画像の表示領域のサイズを、当該表示領域の長軸方向あるいは短軸方向に、１５％以内の伸張あるいは圧縮の可能性があるか否かを判定する。付加画像が長方形であり、長方形の重心を中心として、付加画像の面積ではなく、付加画像の長さで、５％伸張、１０％伸張、１５％伸張、５％圧縮、１０％圧縮、または１５％圧縮させることができるとする。これら６種類のうち、いずれかのサイズ変更の選択肢が残っている場合には、領域決定部１６３は、表示領域候補のサイズ変更が可能であると判定する。６種類のサイズ変更の選択肢の全ての調整動作が完了している場合は、領域決定部１６３は、表示領域候補のサイズ変更が不可能であると判定する。
　ステップＳ１９０１において付加画像の表示領域候補のサイズを変更することができると判定された場合、すなわちステップＳ１９０１においてｙｅｓの場合はステップＳ１９０２へ進む。ステップＳ１９０１において付加画像の表示領域候補のサイズを変更することができないと判定された場合、すなわちステップＳ１９０１においてｎｏの場合はステップＳ１６７０へ進む。
　ステップＳ１９０２では、領域決定部１６３は、選択可能な、付加画像の表示領域候補のサイズのうち１つを選択して、付加画像の表示領域候補のサイズを変更する（ステップＳ１９０２）。ステップＳ１９０２実行後はステップＳ１６４１へ戻る。
　ステップＳ１６４１からステップＳ１６４９またはステップＳ１９０２を繰り返すことで、付加画像の境界面の内外の奥行差を許容範囲内に調整することができる。予め定められた調整範囲内の位置あるいはサイズの調整では、付加画像の境界面の内外の奥行差が許容範囲内にならない場合には、画像合成部１８０は、付加画像の表示領域の位置とサイズの再指定の要求をユーザに示す（ステップＳ１６７０）。例えば、画像合成部１８０は、ディスプレイ１９０の画面に再指定の要求メッセージを表示する。
　なお、本実施の形態２の変形例８において、表示領域候補決定部１６０は、奥行方向の表示位置を調整しないものとしたが、水平方向、垂直方向と同様に奥行方向に表示位置を移動させて調整するとしても良い。特に、付加画像の境界面において、許容範囲をわずかに超える奥行差があるような場合、付加画像の表示領域を奥行方向に移動させることが有効な場合がある。この場合、奥行の調整範囲を、例えば、元の奥行範囲の１０％以下に設定する、あるいは、例えば、元の平均奥行位置あるいは最小奥行位置のディスプレイ平面からの距離の１０％以下に設定することにより、付加画像を前後に移動させて奥行方向の調整を行うことができる。
　＜効果＞
　以上のように、本実施の形態２の変形例８によれば、３次元表示装置２０は、ステレオ内視鏡による３次元画像に重ねて、あるいは隣接して付加画像を表示する際に、ユーザが付加画像の表示位置を指定する。３次元表示装置２０は、ユーザが指定した位置におおよそ従い、且つ、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて、付加画像の表示領域を決定する。これにより、ユーザすなわち術者が必要とする位置に付加画像が表示され、且つ付加画像が鉗子のアームにめり込んだような奥行の矛盾が回避される。このため、ユーザすなわち術者の疲労を防ぐことができる。
　（実施の形態２の変形例９）
　実施の形態２の変形例５～８では、ユーザが指定した付加画像の表示領域の位置とサイズとを調整することにより、付加画像の境界面の内外の奥行差が許容範囲を超えないようにした。しかしながら、実施の形態２の変形例５～８においては、付加画像の表示領域の変形を行うことはない。本変形例９では、付加画像の表示領域を変形させることにより、付加画像の境界面の内外の奥行差が許容範囲を超えることを防止する。本実施の形態２の変形例９においては、付加画像の表示領域の変形に伴って、付加情報の表示の構成を変更する。この場合、付加情報が画像情報のように空間上の構成を変形させることのできない情報である場合には、表示領域の変形は有効ではない。本実施の形態では、バイタル情報の例を用いて、表示の構成の変更を伴う、表示領域の変形について説明する。
　＜構成＞
　図３５は、実施の形態２における３次元表示装置２０の機能構成を示すブロック図である。
　図３５の３次元表示装置２０は、実施の形態２の図８に示す３次元表示装置２０の表示領域候補決定部１６０が表示領域候補決定部３６０に置き換わり、付加画像形状記憶部３１０が付け加わり、入力部２００として表示制御信号生成部２２０と操作入力部２２１が加わり、表示制御信号生成部２２０の出力が付加画像位置記憶部１４０へ入力され、奥行情報生成部１３０の出力が表示領域候補決定部３６０へ入力される以外は、図８と同様である。図８と同様の処理部には同じ符号を付し、説明を省略する。
　３次元表示装置２０は、内視鏡カメラ１１１と、バイタルセンサ１２１と、ＭＲＩ画像記憶部１２２と、３次元画像合成部１２３と、奥行情報生成部１３０と、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、付加画像形状記憶部３１０と、表示領域候補決定部３６０と、奥行適合判定部１７０と、画像合成部１８０と、ディスプレイ１９０と、表示禁止領域記憶部２１０と、入力部２００とを備える。入力部２００は、表示制御信号生成部２２０と、操作入力部２２１とを備える。
　付加画像形状記憶部３１０は、付加画像の表示領域の形状を記憶する。例えば付加画像の表示領域が長方形である場合、付加画像形状記憶部３１０は、縦横の辺の長さの比を記憶している。これ以外にも、付加画像形状記憶部３１０は、付加画像の表示領域が楕円形である場合には、長径と短径の比を記憶する等、付加画像の形状を決定しうる情報を記憶している。
　表示領域候補決定部３６０は、付加画像位置記憶部１４０、付加画像サイズ記憶部１５０、付加画像形状記憶部３１０および表示禁止領域記憶部２１０に記憶されている情報を参照し、さらに、奥行情報生成部１３０が生成する、メイン画像である内視鏡カメラ１１１で取得された画像の奥行情報を取得して、付加画像表示領域の候補の位置とサイズと形状とを決定する。
　＜動作＞
　図３６は、実施の形態２の変形例９における３次元表示装置２０の処理動作を示すフローチャートである。
　図３６は、実施の形態２の変形例７における図３１に示した３次元表示装置２０の処理動作のフローチャートにおいて、ステップＳ１６００からステップＳ１６２０が削除され、ステップＳ２０１０が付け加わった以外は、図３１と同様である。図３１と同じ動作については同じ符号を付し、説明を省略する。
　以下、図３６に従って、実施の形態２の変形例９における３次元表示装置２０の処理動作を説明する。
　まず、内視鏡カメラ１１１は、左右の視差を有する３次元表示用の画像情報をメイン画像として生成し、バイタルセンサ１２１は、付加情報として現在の患者の心電位と血圧とを計測する（ステップＳ１１００）。
　表示制御信号生成部２２０は、操作入力部２２１よりユーザの付加画像に対する操作を取得し、付加画像を表示する指示入力を検出する（ステップＳ１１１０）。ステップＳ１１１０において付加画像を表示する指示入力が検出された場合、すなわちステップＳ１１１０においてｙｅｓの場合はステップＳ１１２０へ進む。ステップＳ１１１０において付加画像を表示する指示入力が検出されなかった場合、すなわちステップＳ１１１０においてｎｏの場合はステップＳ１７００に進む。ステップＳ１７００では、画像合成部１８０は、付加画像を含まないメイン画像である内視鏡カメラ画像を表示用画像として合成する。
　ステップＳ１１２０では、表示制御信号生成部２２０はさらに、付加画像の位置を操作する入力を検出する（ステップＳ１１２０）。ステップＳ１１２０において付加画像の位置を指定する入力が検出された場合、すなわちステップＳ１１２０においてｙｅｓの場合はステップＳ１１３０へ進む。ステップＳ１１２０において付加画像の位置を指定する入力が検出されなかった場合、すなわちステップＳ１１２０においてｎｏの場合はステップＳ１２００に進む。
　ステップＳ１１３０では、表示制御信号生成部２２０は、ステップＳ１１１０で取得した付加画像の表示に関する指示入力中の付加画像の位置の情報を、付加画像位置記憶部１４０へ出力する。付加画像位置記憶部１４０は表示制御信号生成部２２０が出力した付加画像の位置の情報を記憶する（ステップＳ１１３０）。
　ステップＳ１２００では、表示領域候補決定部３６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置とから、表示領域の候補を１つ決定する（ステップＳ１２００）。例えば、表示領域候補決定部３６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズのうち、未選択のものから任意に１つを選択し、選択した付加画像のサイズと付加画像位置記憶部１４０に記憶された付加画像の位置との組み合わせで示される領域を、表示領域の候補として決定する。なお、ステップＳ１２００では付加画像位置記憶部１４０に記憶された付加画像の位置の情報のうち、最新の情報を用いて、表示領域の候補を決定するものとする。したがって、ステップＳ１１３０が実行されている場合は、ステップＳ１１３０で記憶された位置情報を用いて、表示領域の候補が決定される。
　表示領域候補決定部３６０は、ステップＳ１２００で決定した表示領域の候補が表示禁止領域記憶部２１０に記憶された表示禁止領域を含むか否かを判定する（ステップＳ１２１０）。ステップＳ１２１０において表示領域候補が表示禁止領域を含むと判定された場合、すなわちステップＳ１２１０においてｙｅｓの場合、ステップＳ２０１０へ進む。ステップＳ１２１０において表示領域候補が表示禁止領域を含まないと判定された場合、すなわちステップＳ１２１０においてｎｏの場合、ステップＳ１３００に進む。
　ステップＳ１３００では、奥行適合判定部１７０はステップＳ１２００で決定された付加画像の表示領域候補の境界線あるいは境界面を抽出し、境界線あるいは境界面の周辺の奥行情報を抽出する（ステップＳ１３００）。
　さらに、奥行適合判定部１７０は、表示領域候補決定部３６０が、付加画像位置記憶部１４０に記憶された付加画像の位置の情報より求めた付加画像の表示領域の奥行と、ステップＳ１３００で抽出された付加画像との境界線あるいは境界面に隣接する部分のメイン画像の奥行とを比較する（ステップＳ１４００）。
　奥行適合判定部１７０は、境界線あるいは境界面をはさんで表示されるメイン画像及び付加画像の奥行差が予め定められた許容範囲を超えているかどうかを判断する（ステップＳ１５００）。ステップＳ１５００において奥行の差が許容範囲外であると判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、ステップＳ２０１０に進む。ステップＳ１５００において奥行の差が許容範囲内であると判断された場合、すなわちステップＳ１５００においてｎｏの場合、ステップＳ１７００に進む。
　ステップＳ１７００では、画像合成部１８０は、ステップＳ１１００で取得したメイン画像と、ステップＳ１１００で取得した付加情報を示す付加画像とを合成する。具体的には、画像合成部１８０は、メイン画像をディスプレイ１９０の画面に表示し、メイン画像に重ねて、付加画像をステップＳ１２００で決定した表示領域候補を表示領域として、当該表示領域に表示するよう画像を合成する。
　ディスプレイ１９０は、ステップＳ１７００で合成された３次元画像を表示する（ステップＳ１８００）。ステップＳ１８００で３次元画像をディスプレイ１９０に表示した後に、ステップＳ１１００に戻る。
　ステップＳ２０１０では、表示領域候補決定部３６０は、付加画像の形状を変形させ、変形後の形状を付加画像形状記憶部３１０に記憶する（ステップＳ２０１０）。例えば、表示領域候補決定部３６０は、付加画像の表示位置を変更せず、付加画像の表示領域が表示禁止領域を含まないよう、すなわち、付加画像の表示領域が表示禁止領域外になるよう付加画像の形状を変形する。例えば、付加画像の表示領域が長方形である場合に、付加画像の表示領域の上部が表示禁止領域と重なり合う場合には、長方形の縦の辺を短くし、横の辺を伸ばし、表示領域をより横長の長方形に変形することにより、付加画像が表示禁止領域を含まないようにする。付加画像の表示領域の変形処理（ステップＳ２０１０）の詳細については後述する。ステップＳ２０１０の実行後はステップＳ１２００に戻る。
　ステップＳ１２００からステップＳ２０１０を繰り返すことで、表示禁止領域を回避して表示領域候補を決定し、さらに奥行差が許容範囲を超えない付加画像の表示領域を決定することができる。
　図３７は、実施の形態２の変形例９の３次元表示装置２０の部分の詳細を示した機能ブロック図である。
　表示領域候補決定部３６０は、領域決定部３６３と、距離計算部１６４と、領域記憶部１６５と、形状決定部３６１と、レイアウト決定部３６２とを備える。
　領域決定部３６３は、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、形状決定部３６１と、距離計算部１６４と、領域記憶部１６５と、レイアウト決定部３６２と、奥行適合判定部１７０とからの入力を受け、付加画像の表示領域候補に関する情報を、距離計算部１６４及び領域記憶部１６５に出力する。領域決定部３６３は、付加画像位置記憶部１４０からユーザが指定した付加画像の表示位置を取得し、付加画像サイズ記憶部１５０から、予め定められた付加画像のサイズを取得する。領域決定部３６３は、取得した表示位置とサイズが示す領域を、付加画像の表示領域として決定する。領域決定部３６３は、さらに、距離計算部１６４からの入力あるいは奥行適合判定部１７０及びレイアウト決定部３６２からの入力に従って、付加画像の表示領域を変形し、変形した表示領域内の付加情報の表示レイアウトを調整する。
　距離計算部１６４は、領域決定部３６３より取得した付加画像の表示領域候補と、表示禁止領域記憶部２１０が記憶している表示禁止領域との、画像表示空間内での距離を計算する。例えば、距離計算部１６４は、画像表示空間内における表示禁止領域と付加画像の表示領域候補とを、それぞれディスプレイ平面へ写像し、ディスプレイ平面上での両者の位置を比較することにより両者の距離を計算する。距離計算部１６４は、ディスプレイ平面上、例えば図２Ｂに示すような座標系のｘｙ平面上で、ｘ座標の差とｙ座標の差とから領域同士の距離を求めることができる。距離計算部１６４は、計算結果を領域決定部３６３に出力する。
　領域記憶部１６５は、領域決定部３６３によって決定された付加画像の表示領域候補に関する情報を記憶する。
　形状決定部３６１は、距離計算部１６４より取得した表示禁止領域と当該の付加画像の表示領域候補との間の距離と、奥行情報生成部１３０より取得した、メイン画像である内視鏡カメラ１１１が撮像した３次元画像の奥行情報と、付加画像形状記憶部３１０に記憶された付加画像の形状情報と、付加画像位置記憶部１４０に記憶された付加画像の位置と、付加画像サイズ記憶部１５０に記憶された付加画像のサイズとから、付加画像の表示領域候補の形状とサイズとを決定し、決定した表示領域候補の形状とサイズとをレイアウト決定部３６２と、領域決定部３６３へ出力する。
　レイアウト決定部３６２は、形状決定部３６１より取得した、付加画像の表示領域候補の形状とサイズに対して、付加画像表示領域内でのバイタル情報を表示するためのレイアウトを決定する。図３８Ａは、バイタル情報を標準形状の付加画像の表示領域に表示した一例を示す模式図である。図３８Ｂはバイタル情報を、標準形状より横に長い長方形の付加画像の表示領域に表示した一例を示す模式図である。図３８Ｃは、バイタル情報を、血圧と心電図との二つの付加画像の表示領域に表示した例を示す模式図である。バイタル情報が血圧と心電図である場合、横軸が時間を示し、縦軸が気圧を示す血圧のグラフと、横軸が時間を示し、縦軸が電位を示す心電図のグラフとが、バイタル情報として表示される。両グラフともに横軸は時間を示す。図３８Ａに示す標準形状である長方形の表示領域候補では、２つのグラフを縦に並べることにより、２つのグラフの横軸をそろえ、時間の同期が見やすいレイアウトにしている。一方、図３８Ｂに示す横長長方形の表示領域候補では、２つのグラフを横に並べることにより、縦の長さが短い領域であっても、グラフの縦軸を圧縮しすぎることなく、２つのグラフを観察可能なレイアウトとしている。図３８Ｃでは、２つのグラフを２つの領域に分割して表示し、１つずつの領域を小さくして、付加画像の表示位置の自由度を高くし、グラフを圧縮しすぎることなく見やすく表示するレイアウトとしている。
　図３９は、実施の形態２の変形例９における３次元表示装置２０の動作の部分の詳細を示したフローチャートである。
　図３９に従って、ステップＳ２０１０の動作を説明する。
　図３６のステップＳ１２１０において表示領域候補が表示禁止領域を含むと判定された場合、すなわちステップＳ１２１０においてｙｅｓの場合、あるいは、ステップＳ１５００において奥行の差が許容範囲外である場合と判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、表示領域候補決定部３６０は、ステップＳ２０１０の動作を行う。
　まず、形状決定部３６１は、奥行情報生成部１３０より取得したメイン画像の奥行情報より、画像中の画面からの飛び出しの大きい部分を抽出する（ステップＳ２０１１）。図２Ｂのように画像中のオブジェクトの位置を示す座標が設定されており、奥行方向のｚ軸については、画面からの飛び出し方向が正の値で、画面から奥側が負の値である場合には、形状決定部３６１は、ｚ座標の値が例えば５０ｃｍを超えるオブジェクト部分を、飛び出しの大きい部分として抽出する。
　形状決定部３６１は、ステップＳ２０１１で抽出した飛び出しの大きい部分と、当該の付加画像の表示領域候補との間の距離を計算する（ステップＳ２０１２）。例えば、形状決定部３６１は、飛び出しの大きい部分と、付加画像の表示領域とを、図２Ｂの座標上のｘｙ平面すなわち、ディスプレイ平面に写像し、この平面上で、２つの領域が最も近接する部分の距離を求める。
　形状決定部３６１は、ステップＳ２０１１で求められた飛び出しの大きい部分の形状と、ステップＳ２０１２で求められた距離とに基づいて、飛び出しの大きい部分を、付加画像で遮蔽するか否かを判断する（ステップＳ２０１３）。例えば、形状決定部３６１は、飛び出しの大きい部分のｘｙ平面への写像部分が連続しており、かつ写像部分の面積が予め定められた値を下回る場合や、飛び出しの大きい部分のｘｙ平面への写像部分が連続していなくてもその分布範囲が、予め定められた面積の連続する任意の領域に重なる場合や、飛び出しの大きい部分のｘｙ平面への写像と当該付加画像の表示領域候補のｘｙ平面への写像とが重なっている場合に、飛び出しの大きい部分を付加画像で遮蔽すると判断する。
　ステップＳ２０１３において飛び出しの大きい部分を付加画像で遮蔽すると判断した場合、すなわちステップＳ２０１３においてｙｅｓの場合、ステップＳ２０１４に進む。
　ステップＳ２０１４では、形状決定部３６１は、遮蔽すべき飛び出し部分の範囲を含む形状とサイズに当該付加画像の領域を変形する（ステップＳ２０１４）。ここでは付加画像は長方形である。このため、例えば、形状決定部３６１は、遮蔽すべき部分についてディスプレイ平面すなわち図２Ｂのｘｙ平面に写像した図形の、水平方向すなわち図２Ｂのｘ軸方向の左端と右端の間の距離を横の辺の長さとする。同様に遮蔽すべき部分の垂直方向すなわち図２Ｂのｙ軸方向の上端と下端の間の距離を縦の辺の長さとする。縦の辺の長さと横の変の長さとから変形後の付加画像の表示領域の形状とサイズが決定される。
　ステップＳ２０１３において飛び出しの大きい部分を付加画像で遮蔽しないと判断した場合、すなわちステップＳ２０１３においてｎｏ場合、ステップＳ２０１５に進む。
　ステップＳ２０１５では、形状決定部３６１は、距離計算部１６４で計算された当該の付加画像の表示領域候補と、表示禁止領域との間の距離に基づいて、当該の付加画像の表示領域候補が表示禁止領域を含んでいるか否かを判定する（ステップＳ２０１５）。ステップＳ２０１５において付加画像表示領域が表示禁止領域を含んでいると判定された場合、すなわちステップＳ２０１５においてｙｅｓの場合は、ステップＳ２０１６へ進む。ステップＳ２０１５において付加画像の表示領域が表示禁止領域を含んでいないと判定された場合、すなわちステップＳ２０１５においてｎｏの場合は、ステップＳ２０１７へ進む。
　ステップＳ２０１６では、形状決定部３６１は、距離計算部１６４で計算された当該の付加画像の表示領域候補と表示禁止領域との間の距離に応じて、付加画像の表示領域候補の形状を変形する（ステップＳ２０１６）。形状決定部３６１は、例えば、長辺と短辺の変更で付加画像の表示領域と表示禁止領域との重なりが無くなる変形であって、付加画像表示領域の変形に伴う付加画像の表示領域の重心の変化が最も少ない変形を行うものとする。
　ステップＳ２０１７では、形状決定部３６１は、ステップＳ２０１２で計算された飛び出し部分と当該の付加画像の表示領域候補との距離に従って、当該の付加画像の表示領域候補の形状を変形する（ステップＳ２０１７）。例えば、形状決定部３６１は、当該の付加画像の表示領域候補と隣接あるいは重複する全ての飛び出し部分と、当該の付加画像の表示領域候補との距離の和が最大となるように、表示領域候補の長辺と短辺の変更を行う。あるいは、形状決定部３６１は、飛び出し部分との重複を解消するための長辺と短辺の変更であって、付加画像表示領域の変形に伴う付加画像の表示領域の重心の変化が最も少ない変形を行うとしても良い。
　ステップＳ２０１８では、レイアウト決定部３６２は、ステップＳ２０１４、ステップＳ２０１６、またはステップＳ２０１７で変形された当該の付加画像の表示領域候補の縦横比に応じて、付加情報の表示レイアウトを変更する（ステップＳ２０１８）。例えば、付加画像の表示領域が長方形であり、かつ、表示領域の縦の辺が８ｃｍを下回った場合に、レイアウト決定部３６２は、図３８Ｂに示すように、横軸が時間である複数のグラフを、横に並べたレイアウトに変更する。また、表示領域の縦の辺が８ｃｍ以上の場合には、レイアウト決定部３６２は、図３８Ａに示すように、２つのグラフの時間軸を揃えて縦に並べて表示するレイアウトに変更する。
　なお、ステップＳ２０１５において付加画像表示領域が表示禁止領域を含んでいると判定された場合、すなわちステップＳ２０１５においてｙｅｓの場合は、形状決定部３６１は、表示禁止領域を避けるように表示領域候補の形状を変形することとした（ステップＳ２０１６）。しかし、このような変形をすると、表示候補領域の形状の面積が所定閾値以下となり、当該面積が極端に小さくなってしまうような場合には、形状決定部３６１が、面積が極端に小さいことを示す信号を画像合成部１８０に送信してもよい。画像合成部１８０は、受信した当該信号に応答して、ユーザに付加画像の表示位置の再指定を促すメッセージを、ディスプレイ１９０に表示する。
　以上のように、本実施の形態２の変形例９によれば、３次元表示装置２０は、ステレオ内視鏡により撮像された３次元画像に、付加画像を重ねて表示する際に、ユーザが付加画像の表示位置を指定した場合に、付加画像の表示領域の形状と表示領域内の付加情報のレイアウトを変更する。これにより、ユーザの位置指定におおよそ従い、且つ、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて、付加画像の表示領域を決定する。または、付加画像によってメイン画像を遮蔽することで付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を回避する。これにより、ユーザすなわち術者が必要とする位置に付加画像を表示し、且つ付加画像が鉗子のアームにめり込んだような奥行の矛盾を回避し、ユーザすなわち術者の疲労を防ぐことができる。
　なお、本実施の形態２の変形例９では、表示領域候補決定部３６０は、前記候補領域の位置を変更しても奥行適合判定部１７０により奥行差が許容範囲に含まれないと判定される場合に、生体データのグラフのレイアウトを変更したが、前記候補領域のサイズを変更しても奥行適合判定部１７０により奥行差が許容範囲に含まれないと判定される場合に、生体データのグラフのレイアウトを変更するようにしても良い。
　なお、実施の形態２の変形例９では、付加画像がメイン画像中の飛び出しの大きい部分を遮蔽するよう付加画像の表示領域の形状を変形させた。その他、表示領域の変形と同時に、付加画像を表示する際の奥行を変更し、付加画像とメイン画像との境界面での、付加画像とメイン画像との奥行の差を最小にする奥行位置に、付加画像の表示位置を調整するものとしても良い。奥行の差を最小にするとは、奥行の差の平均を最小にする、あるいはメイン画像側の奥行最大位置に付加画像の奥行位置を合わせることを指す。
　なお、実施の形態２の変形例５～９において、表示領域候補決定部１６０または表示領域候補決定部３６０が決定した複数の表示領域候補の中から、ユーザにいずれかの表示領域候補を選択させても良い。例えば、全ての表示領域候補に付加画像を付してディスプレイに表示し、ユーザが入力部２００を用いて特定の表示領域を選択する処理を追加しても良い。図４０Ａは、表示領域候補決定部１６０または表示領域候補決定部３６０が設定した、４つの付加画像の表示領域候補を画面に表示した表示例を示す図である。この例では、付加画像の表示領域候補はディスプレイの４つの隅に接触する位置に設定される。各々の付加画像の領域は、実施の形態２の変形例７の図３１に示すステップＳ１２１０からステップＳ１６１０と同様の動作により、付加画像位置をディスプレイの隅に固定し、表示禁止領域記憶部２１０に記憶された領域を含まず、付加画像の表示領域の内外での奥行差が許容範囲内になるよう、サイズを調整されている。図４０Ａのようにサイズを調整された付加画像の表示領域候補がすべてディスプレイに表示され、ユーザは最も好ましい位置とサイズを持つ表示領域を選択する。図４０Ｂは、表示領域候補を選択するための操作入力部２２１の一例である。図４０Ｂの例では、操作入力部２２１は、ディスプレイ上の位置に対応する４つのボタンと、十字キーとを備えている。ユーザは、ディスプレイ上の位置に対応する４つのボタンのうち、最も好ましい位置とサイズを持つ表示領域に対応するボタンを押すことで付加画像の表示領域を４つの候補から選択することができる。あるいは、ユーザは、十字キーの操作により４つの表示領域候補のうち１つを選択することもできる。
　なお、実施の形態２の変形例１～９において、ステレオ内視鏡カメラ画像及びバイタル情報はリアルタイムで取得され、表示されるものとして説明したが、ステレオ内視鏡カメラにより撮像され、録画された画像と、画像に同期して取得され、記録されたバイタル情報とを、表示するものとしても良い。その場合には、内視鏡カメラ１１１、バイタルセンサ１２１はそれぞれ画像記憶部とバイタルデータ記憶部とに置き換えられる。予め記録された画像を用いる場合には、奥行情報は予め生成され、画像情報と同期したデータとして記憶されているものとしても良い。
　（実施の形態３）
　実施の形態２およびその変形例では、３次元表示装置２０は、ステレオの内視鏡カメラ１１１で撮像している内視鏡手術の手術中画像をリアルタイムで表示するものである。実施の形態３はステレオ内視鏡カメラで撮像され、記憶された画像をメイン画像として表示するものである。なお、手術中にステレオ内視鏡カメラでの撮像と同時に記録された情報が、ステレオ内視鏡カメラの画像と時間同期した付加情報として記憶されている。
　＜構成＞
　図４１は、実施の形態３における３次元表示装置３０の機能構成を示すブロック図である。
　３次元表示装置３０は、図１の３次元表示装置１０の構成において、メイン画像取得部１１０が内視鏡画像記憶部１１２に置き換わり、付加情報取得部１２０がバイタル記憶部１２５と、ＭＲＩ画像記憶部１２２と、３次元画像合成部１２３とに置き換わり、適合判定結果記憶部３４０と、最適表示計画決定部３２０と、付加画像表示計画記憶部３３０とが加えられたものである。それ以外の構成は、図１の３次元表示装置１０と同様である。図１と同様の部分には同じ符号を付し説明を省略する。
　３次元表示装置３０は、内視鏡画像記憶部１１２と、バイタル記憶部１２５と、ＭＲＩ画像記憶部１２２と、３次元画像合成部１２３と、奥行情報生成部１３０と、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、表示領域候補決定部１６０と、奥行適合判定部１７０と、適合判定結果記憶部３４０と、最適表示計画決定部３２０と、付加画像表示計画記憶部３３０と、画像合成部１８０と、ディスプレイ１９０とを備える。
　内視鏡画像記憶部１１２は、ステレオ内視鏡を使用した手術中の画像を記憶している。画像は、手術に用いたステレオ内視鏡カメラの画像を動画として記憶したステレオ３次元画像であり、時間の同期が取られた右眼用画像と左眼用画像として記憶されている。
　バイタル記憶部１２５は、内視鏡画像記憶部１１２の撮像と同時に手術中の患者の身体に取りつけられたセンサにより計測され、記憶された体温、心電位、血圧、血中酸素濃度、脳波等のバイタル情報を記憶している。これらのバイタル情報は内視鏡画像記憶部１１２に記憶された画像と時間の同期が取られている。
　ＭＲＩ画像記憶部１２２は、術前にＭＲＩシステムにより記録された、手術の対象となる患部の画像を含む３次元画像情報を記憶している。
　３次元画像合成部１２３は、ＭＲＩ画像記憶部１２２に記憶された画像情報を指定された切断面（スライス）や、指定された範囲の立体画像としてディスプレイ１９０に表示可能な形式の画像に合成する。
　奥行情報生成部１３０は、内視鏡画像記憶部１１２に記憶された３次元画像の左右の視差を求め、画像の奥行情報を生成する。
　付加画像位置記憶部１４０は、バイタル記憶部１２５に記憶されたバイタル情報またはＭＲＩ画像記憶部１２２に記憶されたＭＲＩ画像情報を、ディスプレイ１９０の画面上に表示する際の位置を記憶する。
　付加画像サイズ記憶部１５０は、付加情報取得部１２０で取得された付加情報を、付加画像として、ディスプレイ１９０の画面上に表示する際のサイズを記憶する。
　表示領域候補決定部１６０は、１つ以上の付加情報を、付加画像として、ディスプレイ１９０の画面上に表示するための表示領域の候補を決定する。
　奥行適合判定部１７０は、表示領域候補決定部１６０が決定した表示領域の候補の情報と、奥行情報生成部１３０で生成された内視鏡画像の奥行情報とから、付加画像の表示領域の境界面の周辺での付加画像とメイン画像との奥行の違いが、予め定められた値より大きな奥行差、あるいは奥行の矛盾がある状態を検出する。
　適合判定結果記憶部３４０は、奥行適合判定部１７０が各表示領域候補について所定時間ごとに判定した付加画像とメイン画像との奥行の差の値を記憶している。
　図４２は、適合判定結果記憶部３４０に記憶される情報の例を示す。図４２は、各時間における各付加画像の表示領域に対する奥行適合判定部１７０の判定結果を示している。
　最適表示計画決定部３２０は、内視鏡画像記憶部１１２に記憶された画像のすべての時間に対して奥行適合判定部１７０が判定した結果を、適合判定結果記憶部３４０に記憶されている情報から検索する。最適表示計画決定部３２０は、各時間の各表示領域候補から、時間ごとに最適な表示領域を選択する。最適表示計画決定部３２０は、内視鏡画像記憶部１１２に記憶された画像の各時間に対して、選択された最適な付加画像の表示領域を、表示計画として決定する。最適な表示領域の決定は、例えば、全ての時間を通して、付加画像の表示位置が変化する回数が最も少ないものや、全ての時間を通して、付加画像の表示位置の変化量が最も少ないものといった判断基準に基づいて行われる。
　付加画像表示計画記憶部３３０は、最適表示計画決定部３２０が決定した表示計画を記憶している。
　画像合成部１８０は、内視鏡画像記憶部１１２に記憶された３次元画像をディスプレイ１９０の画面に表示し、バイタル記憶部１２５に記憶されたバイタル情報と、ＭＲＩ画像記憶部１２２に記憶されたＭＲＩ画像の情報とを、付加画像表示計画記憶部３３０に記憶された表示計画に示される各時間における付加画像の表示領域に表示するように、画像を合成する。
　ディスプレイ１９０は、生成された画像を表示する。
　＜動作＞
　図４３は、実施の形態３における３次元表示装置３０の動作を示すフローチャートである。
　図４４、図４５は、実施の形態３における３次元表示装置３０の動作の一部の詳細を示すフローチャートである。
　図４１、図４３、図４４、および図４５に従って実施の形態３の３次元表示装置３０の動作を説明する。
　３次元表示装置３０は、まず、メイン画像である内視鏡画像記憶部１１２に記憶された画像と合わせて表示する付加画像の、表示領域の時間系列すなわち、付加画像の表示計画を決定する（ステップＳ３１００）。次に、３次元表示装置３０は、実際にメイン画像と付加画像とを合成し、合成した３次元画像を表示する（ステップＳ３２００）。
　以下、ステップＳ３１００の動作について詳細を説明する。
　図４４を参照して、奥行情報生成部１３０は、内視鏡画像記憶部１１２に記憶されたステレオ３次元画像から処理のための単位時間の画像を取得し、内視鏡画像記憶部１１２内に未処理の画像が残っているか否かを判断する（ステップＳ３１１０）。処理の単位時間は例えばデジタル動画の１サンプルである。ステップＳ３１１０において、内視鏡画像記憶部１１２に未処理の画像があると判断された場合には（ステップＳ３１１０でｙｅｓ）、ステップＳ１２００へ進む。ステップＳ３１１０において内視鏡画像記憶部１１２に未処理の画像が残っていないと判断された場合には（ステップＳ３１１０でｎｏ）、ステップＳ３１３０へ進む。
　ステップＳ１２００では、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置とから、表示領域の候補を決定する（ステップＳ１２００）。
　奥行情報生成部１３０は、内視鏡画像記憶部１１２より取得した処理単位分の画像の奥行情報を生成する（ステップＳ１３００）。
　奥行適合判定部１７０は、付加画像位置記憶部１４０に記憶されている情報より求めた表示領域の奥行と、ステップＳ１３００で抽出した付加画像との境界線あるいは境界面に隣接する部分の奥行とを比較する（ステップＳ１４００）。
　奥行適合判定部１７０は、境界線あるいは境界面をはさんで表示される奥行差が予め定められた許容範囲を超えているかどうかを判断する（ステップＳ１５００）。ステップＳ１５００において奥行の差が許容範囲外であると判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、ステップＳ１６００に進む。ステップＳ１５００において奥行の差が許容範囲内であると判断された場合、すなわちステップＳ１５００においてｎｏの場合、ステップＳ３１２０に進む。
　ステップＳ１６００において、表示領域候補決定部１６０は、付加画像の表示位置を移動させ、移動させた表示位置を付加画像位置記憶部１４０に記憶する（ステップＳ１６００）。ステップＳ１６００の後、ステップＳ１２００へ戻る。
　ステップＳ３１２０では、奥行適合判定部１７０は、内視鏡画像記憶部１１２に記憶されたメイン画像と同期する時間情報と、付加画像表示領域候補の領域の情報と、ステップＳ１４００で求められた付加画像の領域境界線あるいは境界面を挟んで表示されるメイン画像と付加画像の奥行差とを、適合判定結果記憶部３４０に記憶する。記憶内容は例えば図４２のように構成される。ステップＳ３１２０の後、ステップＳ３１１０へ戻る。
　ステップＳ３１１０からステップＳ３１２０を反復することで、内視鏡画像記憶部１１２内に記憶された画像の全時間に対して、付加画像の表示領域の候補が単位時間ごとに記憶される。
　ステップＳ３１３０では、最適表示計画決定部３２０が、適合判定結果記憶部３４０に記憶された時間ごとの付加画像表示領域候補から、時間ごとに、付加画像を表示する表示領域を決定する。付加画像の表示領域の選択方法は、例えば、メイン画像の全時間に対して、付加画像の表示領域の移動回数が最も少なくなるように、各時間での付加画像の表示領域を選択する。付加画像の表示領域の選択方法は、これ以外にも例えば、メイン画像の全時間に対して、付加画像の表示領域の総移動距離が最も少なくなるように各時間での付加画像の表示領域を選択するとしても良い。また、移動回数と移動距離を組み合わせた基準を用いて最適化するものとしても良い。最適表示計画決定部３２０は、このようにして最適化した、時間ごとの付加画像の表示領域、すなわち付加画像の表示計画を付加画像表示計画記憶部３３０に記憶する（ステップＳ３１４０）。
　ステップＳ３１１０からステップＳ３１４０の処理を行うことで、内視鏡画像記憶部１１２に記憶されたメイン画像の全ての時間について、メイン画像に重ねて表示する付加画像の表示領域が全て決定される。
　次に、図４５を参照して、ステップＳ３２００の詳細な動作を説明する。
　画像合成部１８０は、内視鏡画像記憶部１１２に記憶されたステレオ３次元画像から表示のための単位時間の画像を取得し、内視鏡画像記憶部１１２内に未処理の画像が残っているか否かを判断する（ステップＳ３２１０）。ステップＳ３２１０において内視鏡画像記憶部１１２に未処理の画像があると判断された場合には（ステップＳ３２１０でｎｏ）、ステップＳ３２２０へ進む。ステップＳ３２１０において内視鏡画像記憶部１１２に未処理の画像が残っていないと判断された場合には（ステップＳ３２１０でｙｅｓ）、ステップＳ３２５０へ進む。
　ステップＳ３２２０では、画像合成部１８０は付加画像表示計画記憶部３３０より、当該の時間に対応する付加画像の表示領域を取得する（ステップＳ３２２０）。
　ステップＳ３２３０において、画像合成部１８０は、バイタル記憶部１２５より当該の時間に対応するバイタル情報を取得する。また、画像合成部１８０は、表示テンプレートに従って、ステップＳ３２２０で取得した付加画像の表示領域内に画像を生成する。表示テンプレートは、例えば横軸が時間を示し、縦軸が体温や血圧等の値を示すグラフのテンプレートである。さらに画像合成部１８０は、３次元画像合成部１２３から、ＭＲＩ画像記憶部１２２に記憶された情報を元にコンピュータグラフィックスで生成されたステレオ３次元の画像情報を取得する。画像合成部１８０は、取得した画像情報から、ステップＳ３２２０で取得した付加画像の表示領域内にコンピュータグラフィックス画像を生成する（ステップＳ３２３０）。
　画像合成部１８０は、ステップＳ３２３０で生成した付加画像をステップＳ３２１０で取得したメイン画像と合成し、全体の画像を生成する（ステップＳ３２４０）。
　ディスプレイ１９０は、ステップＳ３２４０で生成された画像を表示する（ステップＳ１８００）。
　ステップＳ３２１０からステップＳ１８００を反復することで内視鏡画像記憶部１１２に記憶された画像と対応する付加画像とをすべて表示することができる。内視鏡画像記憶部１１２に記憶された画像がすべて表示されると、３次元表示装置３０は動作を終了する（ステップＳ３２５０）。
　＜効果等＞
　以上のように、本実施の形態によれば、３次元表示装置３０は、３次元画像に重ねてあるいは隣接して付加画像を表示する際に、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて付加画像の表示領域を決定する。これにより奥行の大きすぎる差や奥行の矛盾による違和感や疲労を防ぐことができる。さらに、メイン画像と付加画像の全表示時間を通して、付加画像の表示領域を最適化することで、付加画像の表示領域が頻繁に移動したり、大きく移動したりすることによるユーザの負担を避けてユーザの疲労を防ぐことができる。
　なお、実施の形態３では、表示領域候補決定部１６０は、付加画像位置記憶部１４０と付加画像サイズ記憶部１５０に記憶された情報に基づいて表示領域の候補を決定したが、実施の形態２や実施の形態２の変形例３、変形例４のように、表示禁止領域記憶部２１０に付加画像による遮蔽を禁止する領域の情報を記憶させておき、例えば、手術対象である患部を遮蔽する領域を、付加画像の表示領域として設定しないようにしても良い。
　また、実施の形態３では付加画像は自動的に表示され、ユーザが付加画像に対する操作することは無いものとしたが、実施の形態２や実施の形態２の変形例２のように入力部２００よりユーザが付加画像に対する操作を入力することで、付加画像の領域を変更させるようにしても良い。
　実施の形態３では、録画済のメイン画像を対象として、付加画像の表示領域の移動回数または総移動距離が最も少なくなるように、各時間での付加画像の表示領域を選択したが、実施の形態１及び２で説明したリアルタイムに撮像されたメイン画像についても、付加画像の表示領域の移動回数または総移動距離を最も少なくするために、以下の処理を行っても良い。例えば、図１に示した表示領域候補決定部１６０は、付加画像の表示領域候補を決定する際に、直前に表示されていた付加画像の表示位置に最も近い表示領域候補を優先して、付加画像の表示領域候補を決定するようにしても良い。
　（実施の形態４）
　実施の形態２とその変形例および実施の形態３では、メイン画像はステレオ内視鏡カメラで撮像した画像であり、付加画像はメイン画像と時間同期したバイタル情報の画像と、ＭＲＩ画像等の事前に取得された画像とであった。これに対し、実施の形態４の３次元表示装置では、遠隔操作ロボットに取り付けられたステレオカメラで撮像した画像をメイン画像とし、当該ロボットの動作範囲の地図情報と、当該ロボットの現在位置情報とから生成される現在位置の地図を付加画像とする。３次元表示装置は、遠隔操作ロボットのオペレータが観視するものとする。３次元表示装置３０は、付加画像として、現在位置の地図以外に、ロボットの動作環境の気温、湿度、気圧、放射線量等の周辺環境情報の画像を表示しても良い。周辺環境情報の画像を付加画像として表示する場合は、実施の形態２のバイタル情報画像のように、グラフ表示する等の表示が可能である。
　＜構成＞
　図４６は、実施の形態４における３次元表示装置４０の機能構成を示すブロック図である。
　図４６は、図１の実施の形態１の３次元表示装置１０の構成において、メイン画像取得部１１０がステレオカメラ１１３に置き換わり、付加情報取得部１２０が地図記憶部１２６と、位置センサ１２７と、３次元地図合成部１２８とに置き換わったものである。それ以外の構成は、図１の３次元表示装置１０と同様である。図１と同様の部分には同じ符号を付し説明を省略する。
　３次元表示装置４０は、ステレオカメラ１１３と、地図記憶部１２６と、位置センサ１２７と、３次元地図合成部１２８と、奥行情報生成部１３０と、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、表示領域候補決定部１６０と、奥行適合判定部１７０と、画像合成部１８０と、ディスプレイ１９０とを備える。
　ステレオカメラ１１３は、遠隔操作ロボットに取り付けられたステレオ３次元画像撮像用のカメラである。
　地図記憶部１２６は、予め定められた、当該ロボットが活動する範囲の地図情報を記憶している。地図は、例えば特定の建物の設計図であり、各階の部屋の情報を含む。
　位置センサ１２７は、当該遠隔操作ロボットの現在位置を計測するセンサである。具体的には、例えばＧＰＳセンサと高度計である。平面上の位置がＧＰＳセンサにより計測され、建物内の階層が高度計により計測される。
　３次元地図合成部１２８は、地図記憶部１２６に記憶された地図情報と、位置センサ１２７で計測された当該ロボットの位置情報とから、３次元表示された建物内の画像に、当該ロボットの現在位置を示す画像を合成する。３次元地図合成部１２８は、例えば壁等の建物の構造物を半透明で示し、当該ロボットを三角柱のような前後方向が分かる形状で表示するための画像を生成する。
　奥行情報生成部１３０は、ステレオカメラ１１３で撮影された３次元画像の左右の視差を求め、画像の奥行情報を生成する。
　付加画像位置記憶部１４０は、３次元地図合成部１２８で合成された画像をディスプレイ１９０の画面上に表示する際の位置を記憶する。
　付加画像サイズ記憶部１５０は３次元地図合成部１２８で合成された画像を画面上に表示する際のサイズを記憶する。
　表示領域候補決定部１６０は、１つ以上の付加情報を付加画像として画面上に表示するための表示領域の候補を決定する。
　奥行適合判定部１７０は、表示領域候補決定部１６０が決定した表示領域の候補の情報と、奥行情報生成部１３０が生成した３次元画像の奥行情報とから、付加画像の表示領域の境界面の周辺での付加画像とメイン画増との奥行の違いが、予め定められた値より大きな奥行差、あるいは奥行の矛盾がある状態を検出する。
　画像合成部１８０は、ステレオカメラ１１３で撮像された３次元画像と３次元地図合成部１２８で合成された画像とを合成することにより、ディスプレイ１９０に表示する画像を生成する。
　ディスプレイ１９０は、画像合成部１８０により生成された画像を表示する。
　＜動作＞
　図４７は、実施の形態４における３次元表示装置１０の処理動作を示すフローチャートである。図４７は実施の形態１の図５に示した動作にステップＳ４１００が付け加わった以外は図５と同様である。
　以下、図４６と図４７に従って実施の形態４の３次元表示装置４０の動作を説明する。
　まず、ステレオカメラ１１３は、左右の視差を有する３次元表示用の画像情報を取得し、位置センサ１２７は、ロボットの現在位置の情報を取得する（ステップＳ１１００）。現在位置情報は、平面位置と高度との情報を含む。
　次に、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された、予め定められた付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置とから、表示領域の候補を決定する（ステップＳ１２００）。実施の形態４では、付加画像サイズ記憶部１５０は１つの付加画像のサイズを記憶しており、付加画像位置記憶部１４０は１つ以上の表示位置を記憶しているものとする。
　奥行適合判定部１７０は、ステップＳ１２００で決定された付加画像の表示領域候補の境界線あるいは境界面を抽出する。境界面はディスプレイ１９０の平面に直交する奥行方向の面である。奥行適合判定部１７０は、ステップＳ１１００で取得された３次元画像中の、付加画像との境界線あるいは境界面に隣接する部分を特定し、奥行情報を抽出する（ステップＳ１３００）。メイン画像の奥行情報については、ステップＳ１１００でメイン画像取得部１１０がメイン画像を取得し、ステップＳ１３００で奥行適合判定部１７０が奥行情報を抽出するまでの間に、奥行情報生成部１３０が奥行情報を生成して保持しているものとする。
　さらに、奥行適合判定部１７０は、表示領域候補決定部１６０が、付加画像位置記憶部１４０に記憶されている付加画像の位置の情報より求めた付加画像の表示領域の奥行と、ステップＳ１３００で抽出された付加画像との境界線あるいは境界面に隣接する部分のメイン画像の奥行とを比較する（ステップＳ１４００）。
　奥行適合判定部１７０は、境界線あるいは境界面をはさんで表示されるメイン画像及び付加画像の奥行差が予め定められた許容範囲を超えているかどうかを判断する（ステップＳ１５００）。奥行差は、例えば、付加画像の奥行の値から、境界線近傍のメイン画像の奥行の値を減じた値が、－１ｃｍ以上１５ｃｍ以下の場合を許容範囲とする。ステップＳ１５００において奥行の差が許容範囲外であると判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、ステップＳ１６００に進む。ステップＳ１５００において奥行の差が許容範囲内であると判断された場合、すなわちステップＳ１５００においてｎｏの場合、ステップＳ４１００に進む。
　ステップＳ１６００では、表示領域候補決定部１６０は付加画像の表示位置を変更する（ステップＳ１６００）。表示位置の変更は、付加画像位置記憶部１４０に記憶された表示位置のうち、ステップＳ１２００において表示位置候補として選択されていない表示位置を選択することにより行われる。ステップＳ１６００の後、ステップＳ１２００へ戻る。
　ステップＳ４１００では、３次元地図合成部１２８が、地図記憶部１２６に記憶された建物の構造の情報に基づいて、３次元の建物のコンピュータグラフィックスを生成し、生成した建物のコンピュータグラフィックス内に、当該ロボットの現在位置を描き込む（ステップＳ４１００）。３次元地図合成部１２８は、位置センサ１２７より取得した、ロボットの平面位置と高度より、ロボットの現在位置に対応する建物のコンピュータグラフィックス内の座標位置を計算して、建物のコンピュータグラフィックス内の当該座標位置にロボットの記号、例えば三角柱を配置する。
　続いて、画像合成部１８０は、ステップＳ１１００で取得したステレオ画像に重ねて、ステップＳ４１００で生成した地図とロボットの現在位置を、ステップＳ１２００で決定した表示領域候補を表示領域として表示するよう画像を合成する（ステップＳ１７００）。
　ディスプレイ１９０は、ステップＳ１７００で合成された３次元画像を表示する（ステップＳ１８００）。ステップＳ１８００で３次元画像をディスプレイ１９０に表示した後に、ステップＳ１１００に戻る。ステップＳ１１００からステップＳ１８００を繰り返すことで、３次元表示装置４０は、画像および付加情報を処理単位ごとに取得して、３次元画像の表示を続ける。
　＜効果等＞
　以上のように、本実施の形態によれば、３次元表示装置４０は、３次元画像に重ねてあるいは隣接して付加画像を表示する際に、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて付加画像の表示領域を決定する。これにより、３次元画像のメイン画像上にさらに３次元画像であるコンピュータグラフィックスを表示する際にも、奥行の大きすぎる差や奥行の矛盾による違和感や疲労を防ぐことができる。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　以上、一つまたは複数の態様に係る３次元表示装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　なお、上述した実施の形態には以下の態様を有する発明が主に含まれている。
　本開示にかかる一の態様は、３次元画像のメイン画像と、当該メイン画像の一部を遮蔽する付加画像とを同時に画面に表示する３次元表示装置であって、前記付加画像の前記画面上での表示領域の複数の候補の中から、一の候補領域を決定する表示領域候補決定部と、前記表示領域候補決定部が決定した前記候補領域に前記付加画像を表示すると仮定した場合に、当該候補領域の境界線から所定距離以内の前記メイン画像上の領域である境界領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差が、予め定められた許容範囲に含まれるか否かを判定する奥行適合判定部と、前記奥行適合判定部により前記奥行差が前記許容範囲に含まれると判定された場合に、前記メイン画像上の前記候補領域に前記付加画像を重畳することにより、前記メイン画像と前記付加画像とを合成し、合成の結果得られる画像を前記画面に表示する画像合成部と、前記メイン画像中で、奥行が所定の奥行の範囲を超えて手前に飛び出す可能性のある第１領域と、前記奥行が前記所定の奥行の範囲を超えて奥に引っ込む可能性のある第２領域とを決定する不適合可能性領域決定部とを備え、前記表示領域候補決定部は、さらに、前記不適合可能性領域決定部が決定した前記第１領域及び前記第２領域を遮蔽する候補領域を決定するものである。
　この態様によれば、付加画像の境界線を挟んだメイン画像と付加画像との奥行差が許容範囲内である場合に、付加画像が表示される。また、例えば、極端に手前に飛び出している領域に付加領域が表示されることで生じる奥行の矛盾を解消することができる。このため、ユーザの違和感や疲労を防ぐことができる。
　また、上記態様においては、前記表示領域候補決定部は、さらに、前記奥行適合判定部により前記奥行差が前記許容範囲に含まれないと判定された場合には、前記候補領域を決定しなおしてもよい。
　この場合、奥行差が許容範囲内となる候補領域が決定される。これにより、メイン画像と付加画像との間の奥行の大きすぎる差や奥行の矛盾による、ユーザの違和感や疲労を防ぐことができる。
　また、上記態様においては、前記奥行適合判定部は、前記境界領域を所定数の部分領域に分割し、部分領域ごとに、当該部分領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差を算出し、算出した前記奥行差の最大値が前記許容範囲に含まれるか否かを判定することにより、前記境界領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差が、予め定められた許容範囲に含まれるか否かを判定してもよい。
　また、上記態様においては、前記画像合成部は、前記奥行適合判定部により前記奥行差が前記許容範囲に含まれると判定された場合に、前記メイン画像上の前記候補領域に、第１枠を有する前記付加画像を重畳した画像を合成し、合成した前記画像を前記画面に表示し、前記奥行適合判定部により前記奥行差が前記許容範囲に含まれないと判定され、かつ、前記奥行差と前記許容範囲との差が所定の値以下の場合に、前記メイン画像上の前記候補領域に、第１枠よりも幅の広い第２枠を有する前記付加画像を重畳した画像を合成し、合成した前記画像を前記画面に表示してもよい。
　この場合、奥行差が大きく、奥行差が許容範囲に含まれない場合であっても、幅の広い枠をつけることにより、ユーザの違和感や疲労を防ぐことができる。
　また、上記態様においては、さらに、前記付加画像の表示を禁止する前記画面上の領域である表示禁止領域を記憶している表示禁止領域記憶部を備え、前記表示領域候補決定部は、前記付加画像の表示領域の複数の候補の中から、前記表示禁止領域記憶部に記憶されている前記表示禁止領域とオーバーラップしない一の候補領域を決定してもよい。
　この場合、メイン画像中の重要な部分が付加画像で遮蔽されてしまい見えなくなってしまうのを防止することができる。
　また、上記態様においては、前記奥行適合判定部は、前記候補領域から前記表示禁止領域までの距離が近いほど大きな補正値を前記奥行差に加えた上で、前記奥行差が前記許容範囲に含まれるか否かを判定してもよい。
　この場合、同じ奥行差であっても、表示禁止領域から遠い候補領域ほど選ばれやすくすることができる。
　また、上記態様においては、前記表示禁止領域は、前記メイン画像を撮像したカメラと、当該表示禁止領域に表示されているオブジェクトとの距離が小さいほどサイズが大きくてもよい。
　この場合、上記距離が近いほどオブジェクトが画面中に大きく表示される。このため、オブジェクトのサイズに合わせて表示禁止領域のサイズが変更される。
　また、上記態様においては、さらに、不適合可能性領域記憶部を備え、前記不適合可能性領域決定部は、前記第１領域及び前記第２領域を不適合可能性領域として前記不適合可能性領域記憶部に書き込んでもよい。
　また、上記態様においては、前記表示領域候補決定部は、直前に前記画面に表示された前記付加画像の表示領域に最も近い位置の候補を優先して、前記候補領域を決定してもよい。
　この場合、付加画像の表示領域の位置が大きく変化するのを防ぐことができる。
　また、上記態様においては、前記メイン画像は、録画済の３次元映像であり、前記奥行適合判定部は、前記付加画像の表示領域の前記複数の候補の各々について、所定時間ごとに、前記メイン画像の奥行と前記付加画像の奥行との奥行差が、前記許容範囲に含まれるか否かを判定し、前記３次元表示装置は、さらに、前記奥行適合判定部での判定結果に従い、前記奥行差が前記許容範囲に含まれる候補領域の中から、前記メイン画像の再生開始から再生終了に亘って、前記付加画像の表示領域の移動距離又は移動回数が最小となるように、前記所定時間ごとに候補領域を決定する最適表示計画決定部を備え、前記画像合成部は、前記最適表示計画決定部が決定した前記所定時間ごとの前記候補領域に前記付加画像が表示されるように、前記メイン画像上に前記付加画像を重畳した画像を合成し、合成した前記画像を前記画面に表示してもよい。
　この場合、録画済のメイン画像を再生する際に、付加画像の表示領域の位置が大きく変化するのを防ぐことができる。
　また、上記態様においては、前記メイン画像は、内視鏡カメラより撮像された３次元映像であってもよい。
　この場合、３次元表示装置を内視鏡手術に用いることができる。
　また、上記態様においては、さらに、前記付加画像の表示を禁止する前記画面上の領域である表示禁止領域を記憶している表示禁止領域記憶部を備え、前記表示領域候補決定部は、前記付加画像の表示領域の複数の候補の中から、前記表示禁止領域記憶部に記憶されている前記表示禁止領域とオーバーラップしない一の候補領域を決定し、前記表示禁止領域は、前記メイン画像のうち、手術の対象とされる患部の像を含む領域であってもよい。
　この場合、付加画像で患部の像が隠されてしまい、手術に影響が生じるのを防ぐことができる。
　また、上記態様においては、前記付加画像は、手術中の患者の血圧、血中酸素分圧、呼吸、呼気、体温、心電位、脳波および脈波のうちの少なくとも１つを示す画像であってもよい。
　この場合、手術時に必要な付加情報を示す付加画像を画面に表示することができる。このため、医師の手術を支援することができる。
　また、上記態様においては、さらに、前記画面に表示される前記付加画像の表示領域の位置およびサイズの少なくとも一方の指示を受け付ける入力部を備え、前記表示領域候補決定部は、前記入力部が受け付けた前記指示に基づいて、前記付加画像の表示領域の候補領域を決定してもよい。
　この場合、付加画像の境界線を挟んだメイン画像と付加画像との奥行差が許容範囲内である場合に、付加画像が表示される。そのため、ユーザが指定した位置またはサイズを有する表示領域に付加画像が表示される際に、メイン画像と付加画像との間の奥行の大きすぎる差や奥行の矛盾による、ユーザの違和感や疲労を防ぐことができる。
　また、上記態様においては、前記入力部は、さらに、前記表示領域のサイズ変更の指示を受け付け、前記表示領域候補決定部は、前記入力部が受け付けた前記サイズ変更の指示に従って、前記表示領域の候補領域のサイズを変更してもよい。
　この場合、付加画像の表示領域のサイズを変更することができる。
　また、上記態様においては、前記メイン画像は、患者の体内の映像であってもよい。
　この場合、３次元表示装置を手術に用いることができる。
　また、上記態様においては、前記メイン画像には、手術用器具の像が表示されており、前記入力部は、前記メイン画像中の前記手術用器具の位置の情報を用いて、前記位置の入力を受け付けてもよい。
　この場合、ユーザは特別なインタフェース装置を使用することなく、手術に用いている器具を利用して、付加画像のサイズを指定することができる。すなわち、術者であるユーザは手術用機具から手を離すことなく付加画像のサイズを指示することができる。このため、手術の効率を落とすことなく３次元表示装置を操作することができる。
　また、上記態様においては、前記入力部は、前記メイン画像中の前記手術用器具の先端が、前記付加画像の表示領域を通過したかを検出する通過検出部と、前記通過検出部が前記通過を検出した場合に、当該手術用器具の通過の方向に応じて、前記表示領域の候補領域のサイズを変更する表示制御信号生成部とを有してもよい。
　この場合、手術用器具の先端が付加画像に隠されないように候補領域のサイズを変更することができる。これにより、付加画像により手術用器具の先端が隠されてしまい、手術に影響が生じるのを防ぐことができる。
　また、上記態様においては、前記入力部は、さらに、前記表示領域の位置変更の指示を受け付け、前記表示領域候補決定部は、前記入力部が受け付けた前記位置変更の指示に従って、前記表示領域の候補領域の位置を変更してもよい。
　この場合、付加画像の表示領域の位置を変更することができる。
　また、上記態様においては、さらに、前記付加画像の表示を禁止する前記画面上の領域である表示禁止領域を記憶している表示禁止領域記憶部を備え、前記表示領域候補決定部は、前記入力部が受け付けた前記指示に基づいて、前記表示禁止領域記憶部に記憶されている前記表示禁止領域とオーバーラップしない、前記候補領域を決定してもよい。
　この場合、メイン画像中の重要な部分が付加画像で遮蔽されてしまい見えなくなってしまうのを防止することができる。
　また、上記態様においては、前記メイン画像は、患者の体内の映像であり、前記付加画像は、時間によって変化する、前記患者の複数種類の生体データのグラフの画像であってもよい。
　この場合、手術時に必要な複数種類の生体データのグラフ示す付加画像を画面に表示することができる。このため、医師の手術を支援することができる。
　また、上記態様においては、前記表示領域候補決定部は、前記複数種類の生体データのグラフのレイアウトに対応する形状を有する前記候補領域を決定してもよい。
　この場合、グラフのレイアウトに応じて付加画像の表示領域を変更することができる。
　また、上記態様においては、前記レイアウトは、前記複数種類の生体データのグラフを縦に並べるレイアウト、または、前記複数種類の生体データのグラフを横に並べるレイアウトを含んでもよい。
　また、上記態様においては、前記表示領域候補決定部は、前記候補領域の位置またはサイズを変更しても前記奥行適合判定部により前記奥行差が前記許容範囲に含まれないと判定される場合に、前記複数種類の生体データのグラフのレイアウトを変更してもよい。
　また、上記態様においては、前記表示領域候補決定部は、前記メイン画像中で、奥行が所定の値を超える部分を、前記画面からの飛び出しの大きい部分として抽出し、前記画面からの飛び出しの大きい部分を遮蔽する、前記付加画像の表示領域の候補領域を決定してもよい。
　この場合、例えば、極端に手前に飛び出している部分を付加領域で遮蔽することができる。このため、メイン画像と付加画像との奥行の矛盾あるいは大きすぎる奥行差の発生を防ぐことができる。
　ここで、上記各実施の形態の３次元表示装置などを実現するソフトウェアは、次のようなプログラムである。
　すなわち、このプログラムは、３次元画像のメイン画像と、当該メイン画像の一部を遮蔽する付加画像とを同時に画面に表示するためのプログラムであり、コンピュータに、前記付加画像の前記画面上での表示領域の複数の候補の中から、一の候補領域を決定する表示領域候補決定ステップと、前記表示領域候補決定ステップにおいて決定された前記候補領域に前記付加画像を表示すると仮定した場合に、当該候補領域の境界線から所定距離以内の前記メイン画像上の領域である境界領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差が、予め定められた許容範囲に含まれるか否かを判定する奥行適合判定ステップと、前記奥行適合判定ステップにおいて前記奥行差が前記許容範囲に含まれると判定された場合に、前記メイン画像上の前記候補領域に前記付加画像を重畳することにより、前記メイン画像と前記付加画像とを合成し、合成の結果得られる画像を前記画面に表示する画像合成ステップと、前記メイン画像中で、奥行が所定の奥行の範囲を超えて手前に飛び出す可能性のある第１領域と、前記奥行が前記所定の奥行の範囲を超えて奥に引っ込む可能性のある第２領域とを決定する不適合可能性領域決定ステップとを実行させ、前記表示領域候補決定ステップでは、さらに、前記不適合可能性領域決定ステップにおいて決定された前記第１領域及び前記第２領域を遮蔽する候補領域を決定させる。
　本発明は、３次元画像または３次元映像を表示する表示装置として有用であり、特に、ステレオ内視鏡カメラで撮像された画像等の表示装置、ステレオ内視鏡カメラにより撮像され、録画された録画コンテンツの表示装置、その他、医療用３次元画像表示装置、遠隔操作ロボットによるモニタ表示装置等に有用である。
　１０，２０，３０，４０　３次元表示装置
　１１０　メイン画像取得部
　１１１　内視鏡カメラ
　１１２　内視鏡画像記憶部
　１１３　ステレオカメラ
　１２０　付加情報取得部
　１２１　バイタルセンサ
　１２２　ＭＲＩ画像記憶部
　１２３，１２４　３次元画像合成部
　１２５　バイタル記憶部
　１２６　地図記憶部
　１２７　位置センサ
　１２８　３次元地図合成部
　１３０　奥行情報生成部
　１３１　対応点抽出部
　１３２　視差計算部
　１３３　奥行計算部
　１４０　付加画像位置記憶部
　１５０　付加画像サイズ記憶部
　１６０，１６１，２６０，３６０　表示領域候補決定部
　１６２　サイズ調整範囲記憶部
　１６３，３６３　領域決定部
　１６４　距離計算部
　１６５　領域記憶部
　１６６　位置調整範囲記憶部
　１７０，２７０　奥行適合判定部
　１７１　境界抽出部
　１７２，２７２　周辺奥行抽出部
　１７３　付加画像奥行記憶部
　１７４　奥行差計算部
　１７５　基準記憶部
　１７６　判定部
　１８０　画像合成部
　１９０　ディスプレイ
　２００，４００　入力部
　２１０，２１１，２１３，２１５　表示禁止領域記憶部
　２１２，２１４　禁止領域決定部
　２１６　不適合可能性領域記憶部
　２１７　不適合可能性領域決定部
　２２０，４０５　表示制御信号生成部
　２２１，４０４　操作入力部
　２６１　付加画像位置選択部
　２６２　付加画像サイズ選択部
　２６３　領域決定部
　３１０　付加画像形状記憶部
　３２０　最適表示計画決定部
　３３０　付加画像表示計画記憶部
　３６１　形状決定部
　３６２　レイアウト決定部
　３４０　適合判定結果記憶部
　４０１　表示領域記憶部
　４０２　器具先端検出部
　４０３　通過検出部

Claims (27)

  1. 　３次元画像のメイン画像と、当該メイン画像の一部を遮蔽する付加画像とを同時に画面に表示する３次元表示装置であって、
    　前記付加画像の前記画面上での表示領域の複数の候補の中から、一の候補領域を決定する表示領域候補決定部と、
    　前記表示領域候補決定部が決定した前記候補領域に前記付加画像を表示すると仮定した場合に、当該候補領域の境界線から所定距離以内の前記メイン画像上の領域である境界領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差が、予め定められた許容範囲に含まれるか否かを判定する奥行適合判定部と、
    　前記奥行適合判定部により前記奥行差が前記許容範囲に含まれると判定された場合に、前記メイン画像上の前記候補領域に前記付加画像を重畳することにより、前記メイン画像と前記付加画像とを合成し、合成の結果得られる画像を前記画面に表示する画像合成部と、
    　前記メイン画像中で、奥行が所定の奥行の範囲を超えて手前に飛び出す可能性のある第１領域と、前記奥行が前記所定の奥行の範囲を超えて奥に引っ込む可能性のある第２領域とを決定する不適合可能性領域決定部とを備え、
    　前記表示領域候補決定部は、さらに、前記不適合可能性領域決定部が決定した前記第１領域及び前記第２領域を遮蔽する候補領域を決定する、
    　３次元表示装置。
  2. 　前記表示領域候補決定部は、さらに、前記奥行適合判定部により前記奥行差が前記許容範囲に含まれないと判定された場合には、前記候補領域を決定しなおす、
    　請求項１に記載の３次元表示装置。
  3. 　前記奥行適合判定部は、前記境界領域を所定数の部分領域に分割し、部分領域ごとに、当該部分領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差を算出し、算出した前記奥行差の最大値が前記許容範囲に含まれるか否かを判定することにより、前記境界領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差が、予め定められた許容範囲に含まれるか否かを判定する、
    　請求項１または２に記載の３次元表示装置。
  4. 　前記画像合成部は、
    　前記奥行適合判定部により前記奥行差が前記許容範囲に含まれると判定された場合に、前記メイン画像上の前記候補領域に、第１枠を有する前記付加画像を重畳した画像を合成し、合成した前記画像を前記画面に表示し、
    　前記奥行適合判定部により前記奥行差が前記許容範囲に含まれないと判定され、かつ、前記奥行差と前記許容範囲との差が所定の値以下の場合に、前記メイン画像上の前記候補領域に、第１枠よりも幅の広い第２枠を有する前記付加画像を重畳した画像を合成し、合成した前記画像を前記画面に表示する、
    　請求項１～３のいずれか１項に記載の３次元表示装置。
  5. 　さらに、
    　前記付加画像の表示を禁止する前記画面上の領域である表示禁止領域を記憶している表示禁止領域記憶部を備え、
    　前記表示領域候補決定部は、前記付加画像の表示領域の複数の候補の中から、前記表示禁止領域記憶部に記憶されている前記表示禁止領域とオーバーラップしない一の候補領域を決定する、
    　請求項１～４のいずれか１項に記載の３次元表示装置。
  6. 　奥行適合判定部は、前記候補領域から前記表示禁止領域までの距離が近いほど大きな補正値を前記奥行差に加えた上で、前記奥行差が前記許容範囲に含まれるか否かを判定する、
    　請求項５に記載の３次元表示装置。
  7. 　前記表示禁止領域は、前記メイン画像を撮像したカメラと、当該表示禁止領域に表示されているオブジェクトとの距離が小さいほどサイズが大きい、
    　請求項５または６に記載の３次元表示装置。
  8. 　さらに、不適合可能性領域記憶部を備え、
    　前記不適合可能性領域決定部は、前記第１領域及び前記第２領域を不適合可能性領域として前記不適合可能性領域記憶部に書き込む禁止領域決定部を備える、
    　請求項５～７のいずれか１項に記載の３次元表示装置。
  9. 　前記表示領域候補決定部は、直前に前記画面に表示された前記付加画像の表示領域に最も近い位置の候補を優先して、前記候補領域を決定する、
    　請求項１～８のいずれか１項に記載の３次元表示装置。
  10. 　前記メイン画像は、録画済の３次元映像であり、
    　前記奥行適合判定部は、前記付加画像の表示領域の前記複数の候補の各々について、所定時間ごとに、前記メイン画像の奥行と前記付加画像の奥行との奥行差が、前記許容範囲に含まれるか否かを判定し、
    　前記３次元表示装置は、さらに、
    　前記奥行適合判定部での判定結果に従い、前記奥行差が前記許容範囲に含まれる候補領域の中から、前記メイン画像の再生開始から再生終了に亘って、前記付加画像の表示領域の移動距離又は移動回数が最小となるように、前記所定時間ごとに候補領域を決定する最適表示計画決定部を備え、
    　前記画像合成部は、前記最適表示計画決定部が決定した前記所定時間ごとの前記候補領域に前記付加画像が表示されるように、前記メイン画像上に前記付加画像を重畳した画像を合成し、合成した前記画像を前記画面に表示する、
    　請求項１に記載の３次元表示装置。
  11. 　前記メイン画像は、内視鏡カメラより撮像された３次元映像である、
    　請求項１０に記載の３次元表示装置。
  12. 　さらに、
    　前記付加画像の表示を禁止する前記画面上の領域である表示禁止領域を記憶している表示禁止領域記憶部を備え、
    　前記表示領域候補決定部は、前記付加画像の表示領域の複数の候補の中から、前記表示禁止領域記憶部に記憶されている前記表示禁止領域とオーバーラップしない一の候補領域を決定し、
    　前記表示禁止領域は、前記メイン画像のうち、手術の対象とされる患部の像を含む領域である、
    　請求項１１に記載の３次元表示装置。
  13. 　前記付加画像は、手術中の患者の血圧、血中酸素分圧、呼吸、呼気、体温、心電位、脳波および脈波のうちの少なくとも１つを示す画像である、
    　請求項１～１２のいずれか１項に記載の３次元表示装置。
  14. 　さらに、
    　前記画面に表示される前記付加画像の表示領域の位置およびサイズの少なくとも一方の指示を受け付ける入力部を備え、
    　前記表示領域候補決定部は、前記入力部が受け付けた前記指示に基づいて、前記付加画像の表示領域の候補領域を決定する、
    　請求項１に記載の３次元表示装置。
  15. 　前記入力部は、さらに、前記表示領域のサイズ変更の指示を受け付け、
    　前記表示領域候補決定部は、前記入力部が受け付けた前記サイズ変更の指示に従って、前記表示領域の候補領域のサイズを変更する、
    　請求項１４に記載の３次元表示装置。
  16. 　前記メイン画像は、患者の体内の映像である、
    　請求項１４または１５に記載の３次元表示装置。
  17. 　前記メイン画像には、手術用器具の像が表示されており、
    　前記入力部は、前記メイン画像中の前記手術用器具の位置の情報を用いて、前記位置の入力を受け付ける、
    　請求項１６に記載の３次元表示装置。
  18. 　前記入力部は、
    　前記メイン画像中の前記手術用器具の先端が、前記付加画像の表示領域を通過したかを検出する通過検出部と、
    　前記通過検出部が前記通過を検出した場合に、当該手術用器具の通過の方向に応じて、前記表示領域の候補領域のサイズを変更する表示制御信号生成部とを有する、
    　請求項１７に記載の３次元表示装置。
  19. 　前記入力部は、さらに、前記表示領域の位置変更の指示を受け付け、
    　前記表示領域候補決定部は、前記入力部が受け付けた前記位置変更の指示に従って、前記表示領域の候補領域の位置を変更する、
    　請求項１４～１８のいずれか１項に記載の３次元表示装置。
  20. 　さらに、
    　前記付加画像の表示を禁止する前記画面上の領域である表示禁止領域を記憶している表示禁止領域記憶部を備え、
    　前記表示領域候補決定部は、前記入力部が受け付けた前記指示に基づいて、前記表示禁止領域記憶部に記憶されている前記表示禁止領域とオーバーラップしない、前記候補領域を決定する、
    　請求項１４～１９のいずれか１項に記載の３次元表示装置。
  21. 　前記メイン画像は、患者の体内の映像であり、
    　前記付加画像は、時間によって変化する、前記患者の複数種類の生体データのグラフの画像である、
    　請求項１６に記載の３次元表示装置。
  22. 　前記表示領域候補決定部は、前記複数種類の生体データのグラフのレイアウトに対応する形状を有する前記候補領域を決定する、
    　請求項２１に記載の３次元表示装置。
  23. 　前記レイアウトは、前記複数種類の生体データのグラフを縦に並べるレイアウト、または、前記複数種類の生体データのグラフを横に並べるレイアウトを含む、
    　請求項２２に記載の３次元表示装置。
  24. 　前記表示領域候補決定部は、前記候補領域の位置またはサイズを変更しても前記奥行適合判定部により前記奥行差が前記許容範囲に含まれないと判定される場合に、前記複数種類の生体データのグラフのレイアウトを変更する、
    　請求項２２または２３に記載の３次元表示装置。
  25. 　前記表示領域候補決定部は、前記メイン画像中で、奥行が所定の値を超える部分を、前記画面からの飛び出しの大きい部分として抽出し、前記画面からの飛び出しの大きい部分を遮蔽する、前記付加画像の表示領域の候補領域を決定する、
    　請求項１４～２４のいずれか１項に記載の３次元表示装置。
  26. 　３次元画像のメイン画像と、当該メイン画像の一部を遮蔽する付加画像とを同時に画面に表示する３次元表示方法であって、
    　前記付加画像の前記画面上での表示領域の複数の候補の中から、一の候補領域を決定する表示領域候補決定ステップと、
    　前記表示領域候補決定ステップにおいて決定された前記候補領域に前記付加画像を表示すると仮定した場合に、当該候補領域の境界線から所定距離以内の前記メイン画像上の領域である境界領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差が、予め定められた許容範囲に含まれるか否かを判定する奥行適合判定ステップと、
    　前記奥行適合判定ステップにおいて前記奥行差が前記許容範囲に含まれると判定された場合に、前記メイン画像上の前記候補領域に前記付加画像を重畳することにより、前記メイン画像と前記付加画像とを合成し、合成の結果得られる画像を前記画面に表示する画像合成ステップと、
    　前記メイン画像中で、奥行が所定の奥行の範囲を超えて手前に飛び出す可能性のある第１領域と、前記奥行が前記所定の奥行の範囲を超えて奥に引っ込む可能性のある第２領域とを決定する不適合可能性領域決定ステップとを備え、
    　　前記表示領域候補決定ステップでは、さらに、前記不適合可能性領域決定ステップにおいて決定された前記第１領域及び前記第２領域を遮蔽する候補領域を決定する、
    　３次元表示方法。
  27. 　請求項２６に記載の３次元表示方法をコンピュータに実行させるためのプログラム。
PCT/JP2014/003796 2013-08-26 2014-07-17 ３次元表示装置および３次元表示方法 WO2015029318A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015533953A JP6402366B2 (ja) 2013-08-26 2014-07-17 ３次元表示装置および３次元表示方法
US14/701,537 US10298917B2 (en) 2013-08-26 2015-05-01 Three-dimensional display device and three-dimensional display method
US16/373,992 US11330250B2 (en) 2013-08-26 2019-04-03 Three-dimensional display device and three-dimensional display method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013-175061 2013-08-26
JP2013-175071 2013-08-26
JP2013175071 2013-08-26
JP2013175061 2013-08-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/701,537 Continuation US10298917B2 (en) 2013-08-26 2015-05-01 Three-dimensional display device and three-dimensional display method

Publications (1)

Publication Number Publication Date
WO2015029318A1 true WO2015029318A1 (ja) 2015-03-05

Family

ID=52585918

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/003796 WO2015029318A1 (ja) 2013-08-26 2014-07-17 ３次元表示装置および３次元表示方法

Country Status (3)

Country Link
US (2) US10298917B2 (ja)
JP (1) JP6402366B2 (ja)
WO (1) WO2015029318A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017086688A (ja) * 2015-11-13 2017-05-25 国立大学法人 千葉大学 画像合成装置および方法
WO2017183353A1 (ja) * 2016-04-19 2017-10-26 オリンパス株式会社 内視鏡システム
JP2018063309A (ja) * 2016-10-11 2018-04-19 カイロス株式会社 顕微鏡装置
JP2020074926A (ja) * 2018-11-07 2020-05-21 ソニー株式会社 医療用観察システム、信号処理装置及び医療用観察方法
JP2021133170A (ja) * 2020-02-28 2021-09-13 株式会社根本杏林堂 医用画像処理装置、医用画像処理方法および医用画像処理プログラム
WO2022180753A1 (ja) * 2021-02-25 2022-09-01 オリンパスメディカルシステムズ株式会社 内視鏡画像処理装置および内視鏡画像処理方法
WO2023026519A1 (ja) * 2021-08-27 2023-03-02 ソニーグループ株式会社 情報処理装置、情報処理端末、情報処理方法、および記憶媒体

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012190184A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
JP2015114757A (ja) * 2013-12-10 2015-06-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6071866B2 (ja) * 2013-12-18 2017-02-01 キヤノン株式会社 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム
EP3070941A4 (en) * 2014-01-24 2017-03-08 Olympus Corporation Stereoscopic endoscope image processing apparatus
JP6323184B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP6323183B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置および画像処理方法
JP5665068B1 (ja) * 2014-09-05 2015-02-04 株式会社Ｌｉｖｅ２Ｄ プログラム、情報処理装置、制御方法及び記録媒体
US9901406B2 (en) 2014-10-02 2018-02-27 Inneroptic Technology, Inc. Affected region display associated with a medical device
US10188467B2 (en) 2014-12-12 2019-01-29 Inneroptic Technology, Inc. Surgical guidance intersection display
JP6150955B2 (ja) * 2015-05-14 2017-06-21 オリンパス株式会社 立体視内視鏡装置およびビデオプロセッサ
WO2017047117A1 (ja) * 2015-09-18 2017-03-23 オリンパス株式会社 信号処理装置及び内視鏡システム
US20170079604A1 (en) * 2015-09-18 2017-03-23 Anbinh T. Ho System and method for digital breast tomosynthesis
TWI610292B (zh) * 2015-11-19 2018-01-01 瑞鼎科技股份有限公司 驅動電路及其運作方法
JP2018067248A (ja) * 2016-10-21 2018-04-26 富士通株式会社 制御プログラム、制御方法、及び情報処理装置
KR102033143B1 (ko) * 2017-01-25 2019-10-16 엘지전자 주식회사 3차원 공간에서 기능 영역을 식별하는 방법 및 이를 구현하는 로봇
JP6812862B2 (ja) * 2017-03-14 2021-01-13 株式会社リコー 画像処理システム、撮像装置、画像処理方法及びプログラム
US11484365B2 (en) * 2018-01-23 2022-11-01 Inneroptic Technology, Inc. Medical image guidance
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11172184B2 (en) 2018-12-13 2021-11-09 Covidien Lp Systems and methods for imaging a patient
US11801113B2 (en) * 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
JP7571722B2 (ja) * 2019-03-29 2024-10-23 ソニーグループ株式会社 医療用観察システムおよび方法、並びに医療用観察装置
US11450018B1 (en) 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
JP2022187662A (ja) * 2021-06-08 2022-12-20 富士フイルムビジネスイノベーション株式会社 表面検査装置及びプログラム
WO2024049826A1 (en) * 2022-08-29 2024-03-07 University Of Wyoming Methods and devices for enhancement of porous media images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11309A (ja) * 1997-06-12 1999-01-06 Hitachi Ltd 画像処理装置
JP2002345735A (ja) * 2001-05-30 2002-12-03 Olympus Optical Co Ltd 画像処理計測装置及び計測内視鏡装置
JP2011259045A (ja) * 2010-06-07 2011-12-22 Sony Corp 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
JP2013258627A (ja) * 2012-06-14 2013-12-26 Olympus Corp 画像処理装置および立体画像観察システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06292240A (ja) 1993-04-05 1994-10-18 Nippon Steel Corp 遠隔操作支援立体表示装置
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US8320992B2 (en) * 2006-10-05 2012-11-27 Visionsense Ltd. Method and system for superimposing three dimensional medical information on a three dimensional image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11309A (ja) * 1997-06-12 1999-01-06 Hitachi Ltd 画像処理装置
JP2002345735A (ja) * 2001-05-30 2002-12-03 Olympus Optical Co Ltd 画像処理計測装置及び計測内視鏡装置
JP2011259045A (ja) * 2010-06-07 2011-12-22 Sony Corp 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
JP2013258627A (ja) * 2012-06-14 2013-12-26 Olympus Corp 画像処理装置および立体画像観察システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017086688A (ja) * 2015-11-13 2017-05-25 国立大学法人 千葉大学 画像合成装置および方法
WO2017183353A1 (ja) * 2016-04-19 2017-10-26 オリンパス株式会社 内視鏡システム
JPWO2017183353A1 (ja) * 2016-04-19 2018-07-05 オリンパス株式会社 内視鏡システム
JP2018063309A (ja) * 2016-10-11 2018-04-19 カイロス株式会社 顕微鏡装置
JP2020074926A (ja) * 2018-11-07 2020-05-21 ソニー株式会社 医療用観察システム、信号処理装置及び医療用観察方法
JP7286948B2 (ja) 2018-11-07 2023-06-06 ソニーグループ株式会社 医療用観察システム、信号処理装置及び医療用観察方法
JP2021133170A (ja) * 2020-02-28 2021-09-13 株式会社根本杏林堂 医用画像処理装置、医用画像処理方法および医用画像処理プログラム
WO2022180753A1 (ja) * 2021-02-25 2022-09-01 オリンパスメディカルシステムズ株式会社 内視鏡画像処理装置および内視鏡画像処理方法
WO2023026519A1 (ja) * 2021-08-27 2023-03-02 ソニーグループ株式会社 情報処理装置、情報処理端末、情報処理方法、および記憶媒体

Also Published As

Publication number Publication date
US11330250B2 (en) 2022-05-10
US20150235373A1 (en) 2015-08-20
US10298917B2 (en) 2019-05-21
US20190230344A1 (en) 2019-07-25
JPWO2015029318A1 (ja) 2017-03-02
JP6402366B2 (ja) 2018-10-10

Similar Documents

Publication Publication Date Title
JP6402366B2 (ja) ３次元表示装置および３次元表示方法
US20160163105A1 (en) Method of operating a surgical navigation system and a system using the same
CN108836478B (zh) 侵入式手术在狭窄通道中的内窥镜视图
US9807361B2 (en) Three-dimensional display device, three-dimensional image processing device, and three-dimensional display method
US11464582B1 (en) Surgery guidance system
JP6972163B2 (ja) 奥行き知覚を高める仮想陰影
JP2018187463A (ja) 画像処理方法及び画像処理装置
JP5837261B2 (ja) マルチカメラ装置追跡
US20130267838A1 (en) Augmented Reality System for Use in Medical Procedures
US20130018255A1 (en) Endoscope observation assistance system, method, apparatus and program
US20050203380A1 (en) System and method for augmented reality navigation in a medical intervention procedure
CN106898027B (zh) 用于三维图像到二维图像的标测的方法和设备
US10092264B2 (en) Image processing apparatus, image processing method, radiation imaging system, and non-transitory computer-readable storage medium
JP2011206425A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び立体内視鏡装置
JP2008532602A (ja) 外科手術ナビゲーションと顕微鏡による可視化の方法と装置
JP5492024B2 (ja) 領域分割結果修正装置、方法、及びプログラム
JP6112689B1 (ja) 重畳画像表示システム
US20120050277A1 (en) Stereoscopic image displaying method and device
EP2851004B1 (en) Apparatus and method for reconfiguring panoramic x-ray image
CN110650686B (zh) 用于提供实况2d x射线图像中介入设备的空间信息的设备和对应方法
JP6647796B2 (ja) 画像処理装置及びｘ線診断装置
US20240187560A1 (en) Three-dimensional annotation rendering system
US10482651B2 (en) Image processing apparatus, image processing method, and program
US20140221746A1 (en) Stereo endoscope apparatus and image processing method
CN111028326A (zh) 用于使3d对象的空间表面曲率可视化的方法、系统和介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14838990

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015533953

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14838990

Country of ref document: EP

Kind code of ref document: A1