WO2017126036A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
WO2017126036A1
WO2017126036A1 PCT/JP2016/051455 JP2016051455W WO2017126036A1 WO 2017126036 A1 WO2017126036 A1 WO 2017126036A1 JP 2016051455 W JP2016051455 W JP 2016051455W WO 2017126036 A1 WO2017126036 A1 WO 2017126036A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
superimposed
information
subject image
subject
Prior art date
Application number
PCT/JP2016/051455
Other languages
English (en)
French (fr)
Inventor
陽一 矢口
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2016/051455 priority Critical patent/WO2017126036A1/ja
Priority to JP2017562199A priority patent/JPWO2017126036A1/ja
Publication of WO2017126036A1 publication Critical patent/WO2017126036A1/ja
Priority to US16/035,745 priority patent/US20180342079A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program for generating an image signal by performing signal processing on an imaging signal generated by an imaging device.
  • an endoscope apparatus is widely used for various examinations in the medical field and the industrial field.
  • the medical endoscope apparatus is configured by inserting an elongated flexible insertion portion in which an imaging element having a plurality of pixels is provided at the tip into a subject such as a patient. Since the image (subject image) in the subject can be acquired without cutting the subject, the burden on the subject is small, and the spread is in progress.
  • an object information (hereinafter, also referred to as an object) indicating a focused part such as a lesion detection result is superimposed on the subject image as a result of image analysis, and the observation screen is displayed. Displayed above.
  • a technique for superimposing an object on a subject image there is known a technique for superimposing on a captured image acquired when processing for detecting and cutting out a moving object (focused part) in the captured image as an object (see FIG. See, for example, Patent Document 1).
  • Patent Document 1 it takes time to detect and cut out an object, so there is a case where the cut out object is superimposed at a position different from the position of the attention portion in the subject image to be superimposed. The In this case, the superimposed object can not properly indicate the object in the displayed subject image.
  • An object of the present invention is to provide an image processing apparatus, an image processing method, and an image processing program capable of suppressing positional deviation with respect to the position of a target portion in an image.
  • an image processing apparatus is a subject image acquisition unit for sequentially acquiring a plurality of subject images, and a superimposed object to be superimposed on the subject image
  • a superimposed object information generation unit that generates spatial information of a superimposed object to be arranged corresponding to a target location detected from a subject image to be detected that is different from the target subject image, and the superimposed object information generation unit generates the spatial information
  • a display image determination unit that determines the subject image of the superposition target to be displayed on the display unit together with the superposition object, and the correspondence between the subject image of the detection target and the subject image of the superposition target is estimated
  • An inter-image correspondence information generation unit for generating inter-image correspondence information which is processed information; and space information of the superimposed object,
  • a space information correction unit that corrects based on inter-correspondence information; and an object superposition unit that superimposes the superimposed object corrected by the space information correction unit on the subject image to be superimposed determined by the display image determination unit
  • an image processing method is a superimposed object which sequentially acquires a plurality of subject images and superimposes on the subject image, and The space information of the superimposed object to be arranged corresponding to the target location detected from the subject image to be detected which is a different subject image is generated, and displayed on the display unit together with the superimposed object according to the time when the space information is generated.
  • Inter-image correspondence information which is information obtained by estimating the correspondence between the subject image to be detected and the subject image to be superimposed, is determined, and the space information of the superimposed object is determined And correcting the superimposed object corrected based on the inter-image correspondence information on the determined subject image to be superimposed. It is characterized in.
  • an image processing program is a subject image acquisition procedure for acquiring a plurality of subject images, and a superimposed object to be superimposed on the subject image.
  • a superimposed object information generating procedure for generating spatial information of a superimposed object to be arranged corresponding to a target location detected from a subject image to be detected which is a subject image different from the subject image;
  • a display image determining procedure for determining the subject image of the superposition target to be displayed on the display unit together with the superposition object according to the time when the information is generated, and between the subject image of the detection target and the subject image of the superposition target
  • An inter-image correspondence information generation procedure for generating inter-image correspondence information which is information for which correspondence is estimated; Spatial information correction procedure for correcting spatial information of the image based on the inter-image correspondence information, and the superimposed object determined in the display image determination procedure for the superimposed object corrected in the spatial information correction procedure And causing the computer to execute an object superposition procedure to be superposed on the image
  • FIG. 1 is a block diagram showing a functional configuration of an image processing system according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram for explaining object superimposition processing performed by the image processing apparatus according to the first embodiment of the present invention.
  • FIG. 3 is a view showing an object superimposed image generated by the image processing apparatus according to the first embodiment of the present invention.
  • FIG. 4 is a view showing an object superimposed image generated by the conventional processing.
  • FIG. 5 is a flowchart showing object superimposition processing performed by the image processing apparatus according to the first embodiment of the present invention.
  • FIG. 6 is a block diagram showing a functional configuration of an image processing system according to a modification of the first embodiment of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of an image processing system according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram for explaining object superimposition processing performed by the image processing apparatus according to the first embodiment of the present invention.
  • FIG. 3 is a view
  • FIG. 7 is a block diagram showing a functional configuration of an image processing system according to a second embodiment of the present invention.
  • FIG. 8 is a flowchart showing object superimposition processing performed by the image processing apparatus according to the second embodiment of the present invention.
  • FIG. 9 is a block diagram showing a functional configuration of an image processing system according to a third embodiment of the present invention.
  • FIG. 10 is a flowchart showing object superimposition processing performed by the image processing apparatus according to the third embodiment of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of an image processing system 1 according to Embodiment 1 of the present invention.
  • An image processing system 1 shown in FIG. 1 includes an image processing device 2 and a display device 3.
  • the image processing device 2 processes the acquired image to generate an image signal for display displayed by the display device 3.
  • the display device 3 receives the image signal generated by the image processing device 2 via the video cable and displays an image corresponding to the image signal.
  • the display device 3 is configured using liquid crystal or organic EL (Electro Luminescence).
  • solid arrows indicate transmission of signals applied to the image
  • broken arrows indicate transmission of signals applied to the control.
  • the image processing device 2 includes an image acquisition unit 21, a superimposed object information generation unit 22, a display image determination unit 23, an inter-image correspondence information generation unit 24, a space information correction unit 25, an object superposition unit 26, and control.
  • a unit 27 and a storage unit 28 are provided.
  • the storage unit 28 includes a subject image storage unit 281 that stores the subject image acquired by the image acquisition unit 21.
  • the image acquisition unit 21 sequentially receives image signals including a subject image from outside in chronological order, or acquires images stored in the storage unit 28 in chronological order.
  • the image acquisition unit 21 performs signal processing such as noise removal, A / D conversion, and synchronization processing (for example, performed when an imaging signal for each color component is obtained using a color filter or the like) as necessary.
  • signal processing such as noise removal, A / D conversion, and synchronization processing (for example, performed when an imaging signal for each color component is obtained using a color filter or the like) as necessary.
  • an image signal including three subject images provided with RGB color components is generated.
  • the image acquisition unit 21 inputs the acquired image signal or the image signal after signal processing to the superimposed object information generation unit 22 and the storage unit 28.
  • the image acquisition unit 21 may perform OB clamp processing, gain adjustment processing, and the like in addition to the above-described synchronization processing and the like.
  • the image is obtained (captured) in chronological order, such as an image including a subject such as a person
  • the superimposed object information generation unit 22 uses a subject image based on the image signal input from the image acquisition unit 21 to make a location to be noted in the subject image (hereinafter also referred to as a notable location), for example, the inside of the subject.
  • a lesion area is detected, and space information of a superimposed object which is an object indicating the detected portion of interest and is arranged to be superimposed on the portion of interest of the subject image is generated.
  • the subject image of the detection target for detecting the portion of interest is a subject image different from the subject image of the superposition target on which the superposition object is superimposed, and is a detection target that is the subject image earlier in time series than the subject image of the superposition target. It is a subject image.
  • the superimposed object mentioned here is, for example, a rectangular frame surrounding a lesion, when the subject image is a body cavity image in the subject.
  • space information is coordinate information of a space in which a frame of a superimposed object is located when the subject image is viewed on a two-dimensional plane, and is, for example, information on coordinates of four corners of a rectangular frame.
  • the spatial information may be information other than the coordinate information described above, or information representing an area mask having a transmission window that transmits the attention location, or information representing an outline surrounding the attention location, or coordinate information
  • the information may be a combination of an area mask and an outline.
  • the superimposed object information generation unit 22 uses, for example, the technique described in “Object Detection with Discriminatively Trained Part-Based Models”, Pedro F. Felzenszwalb, Ross B. Girshick, David McAllester and Deva Ramanan, PAMI 2010, and the space of the superimposed object. Information can be generated.
  • the display image determination unit 23 determines a subject image to be displayed on the display device 3 according to the time when the superimposed object information generation unit 22 generates space information.
  • the inter-image correspondence information generation unit 24 generates a subject image (subject image to be detected) for which the superimposed object information generation unit 22 has generated spatial information of the superimposed object, and a subject image (superimposed object) determined by the display image determination unit 23.
  • Inter-image correspondence information is generated, which is information in which the correspondence with the subject image is estimated.
  • the inter-image correspondence information generation unit 24 performs non-rigid transformation, planar projection transformation, affine transformation, linear transformation, scale transformation, rotation transformation, and parallel conversion between the subject image to be detected and the subject image to be superimposed.
  • Inter-image correspondence information represented by at least one coordinate transformation of the movement is generated.
  • the technology described in JP-A-2007-257287 is used to generate inter-image correspondence information.
  • the space information correction unit 25 corrects the space information of the superimposed object generated by the superimposed object information generation unit 22 according to the inter-image correspondence information generated by the inter-image correspondence information generation unit 24.
  • the space information correction unit 25 generates the inter-image correspondence information generated by the inter-image correspondence information generation unit 24 for the space information (coordinate information) of the superimposed object generated by the superimposed object information generation unit 22.
  • the spatial information is corrected based on (conversion parameter).
  • the object superimposing unit 26 superimposes on the subject image determined by the display image determining unit 23 according to the space information of the superimposed object corrected by the space information correcting unit 25.
  • FIGS. 2 and 3 are diagrams for explaining object superimposition processing performed by the image processing apparatus 2 according to the first embodiment of the present invention.
  • Replicated object information generating unit 22 a replicated object to be superimposed on the input subject image from the image acquisition unit 21, detects the subject image W 11 to be detected at time t 0, and generates spatial information superimposed objects.
  • Replicated object information generating unit 22, for example, as shown in FIG. 2, generates a replicated object Q 1, Q 2 of the four corners of coordinates in object space P 11 corresponding to the outer edge of the subject image W 11 as spatial information.
  • the superimposed objects Q 1 and Q 2 are rectangular frames surrounding the lesion parts S 1 and S 2 . In addition to a rectangular frame, it may be an oval or circular frame, or may be an object having a shape according to a portion of interest or an interior filled with an inside.
  • the display image determination unit 23 displays the subject image W 12 (see FIG. 2) corresponding to the time t 1 on the display device 3, assuming that the time when the superimposed object information generation unit 22 completes the generation of the space information is t 1 . It is determined as a subject image to be displayed (subject image to be superimposed).
  • the subject image W 12, the lesion S 1, lesion S 11 that the position and orientation changes of S 2, S 12 in the object image W 11 is displayed.
  • a plurality of subject images other than the subject images W 11 and W 12 are input between time t 0 and time t 1 . That is, it takes time for the object image of several frames to be input until the superimposed object information generation unit 22 starts generating the space information and then completes the generation.
  • FIG. 2 only the subject images W 11 and W 12 are illustrated for the sake of explanation.
  • Inter-image correspondence information generation unit 24 the correspondence between the subject image W 11 that is replicated object information generating unit 22 generates a replicated object Q 1, Q 2, the subject image W 12 determined by the display image determination unit 23 Inter-image correspondence information including conversion parameters representing.
  • Inter-image correspondence information generation unit 24 for an object image W 11 and the subject image W 12, non-rigid transformation, planar projective transformation, affine transformation, linear transformation, scale conversion, at least one coordinate of the rotational transformation and translation It generates inter-image correspondence information represented by the transformation.
  • the space information correction unit 25 converts the space information obtained by converting the coordinates of the space information of the superimposed object generated by the superimposed object information generation unit 22 based on the conversion parameter of the image correspondence information generated by the image correspondence information generation unit 24. , Generated as spatial information of a superimposed object after correction (for example, superimposed objects Q 11 and Q 12 ).
  • the space information correction unit 25 generates space information of the corrected superimposed object by, for example, converting each coordinate of the space information of the superimposed object generated by the superimposed object information generation unit 22 by matrix operation.
  • the object superimposing unit 26 sets, for example, the superimposed objects Q 11 and Q 12 (see FIG. 2) corrected by the space information correcting unit 25 to the subject image W 12 (see FIG. 2) determined by the display image determining unit 23. by superimposing, as shown in FIG. 3, to generate an object image W S1 surrounded by superimposing a part of the lesion S 11, S 12 object Q 11, Q 12.
  • FIG. 4 is a view showing an object superimposed image generated by the conventional processing.
  • the superimposed objects Q 101 and Q 102 are not properly arranged with respect to the lesion portions S 11 and S 12 as in the subject image W 100 shown in FIG. Become.
  • control unit 27 is configured using a CPU (Central Processing Unit) or the like, and performs drive control of each component configuring the image processing apparatus 2 and input / output control of information with respect to each component. .
  • CPU Central Processing Unit
  • the storage unit 28 stores various programs for operating the image processing system 1 including the image processing apparatus 2, for example, an image processing program, and data including various parameters necessary for the operation of the image processing system 1.
  • the storage unit 28 is realized using a semiconductor memory such as a flash memory or a dynamic random access memory (DRAM).
  • FIG. 5 is a flowchart illustrating processing performed by the image processing apparatus 2 according to Embodiment 1 of the present invention. The following description is given on the assumption that each unit operates under the control of the control unit 27.
  • control unit 27 determines whether an unused thread has occurred (step S101).
  • the control unit 27 determines, for example, whether or not an unused thread has occurred by confirming the CPU usage rate and the like.
  • step S101: No the control unit 27 repeatedly checks whether an unused thread is generated.
  • step S101: Yes the process proceeds to step S102.
  • step S102 the control unit 27 determines whether the latest image which is the subject image acquired by the image acquisition unit 21 is a subject image for which the superimposed object has been determined.
  • step S102: Yes when the control unit 27 determines that the latest image is the subject image for which the superimposed object has been determined (step S102: Yes), the process proceeds to step S109.
  • step S102: No when the control unit 27 determines that the latest image is not the subject image for which the superimposed object has been determined (step S102: No), the process proceeds to step S103.
  • the determination of the superimposed object in this step includes that the superimposed object determination process has been executed or is being executed, and the control unit 27 determines that the superimposed object decision process is already executed or is being executed. If it has, the process proceeds to step S109.
  • step S103 the superimposed object information generation unit 22 detects space information of the superimposed object to be superimposed on the subject image input from the image acquisition unit 21 as a subject image to be detected (for example, see the subject image W 11 described above and FIG. 2). Generate from).
  • the superimposed object information generation unit 22 outputs the generated space information to the display image determination unit 23.
  • the display image determination unit 23 determines a subject image (for example, the above-described subject image W 12 ) according to the time when the superimposed object information generation unit 22 completes the generation of the spatial information as a subject image to be displayed on the display device 3 (Step S104).
  • the display image determination unit 23 determines a subject image to be displayed that is most recent at the time when the superimposed object information generation unit 22 completes the generation of the space information or immediately after this time.
  • step S105 subsequent to step S104 the inter-image correspondence information generation unit 24 performs non-rigid transformation on the subject image to be detected used by the superimposed object information generation unit 22 and the subject image to be superimposed on which the superimposed object is superimposed.
  • Inter-image correspondence information represented by at least one coordinate transformation of plane projective transformation, affine transformation, linear transformation, scale transformation, rotation transformation, and translation is generated.
  • step S106 the space information correction unit 25 converts space information obtained by converting each coordinate of the space information based on the conversion parameter of the inter-image correspondence information generated by the inter-image correspondence information generation unit 24 Generate as spatial information).
  • step S107 following step S106 the object superimposing unit 26 superimposes the superimposed object corrected by the space information correction unit 25 on the subject image determined by the display image determination unit 23, as shown in FIG. as such, a portion of the lesion S 11, S 12 generates a replicated object Q 11, the subject image surrounded by Q 12 W S1 (superimposed image).
  • step S108 subsequent to step S107, under the control of the control unit 27, control is performed to display the subject image W S1 (superimposed image) generated by the object superimposing unit 26 on the display device 3. After displaying the subject image on the display device 3, the control unit 27 proceeds to step S109.
  • step S109 the control unit 27 determines whether or not there is an instruction input to end the process.
  • the control unit 27 determines that there is no instruction input to end the process (step S109: No)
  • the process proceeds to step S101, and the above-described process is repeated.
  • the control unit 27 determines that there is an instruction input to end the process (step S109: Yes)
  • the process ends.
  • the superimposed object information generation unit 22 generates space information of the superimposed object to be superimposed on the subject image based on the subject image to be detected, which is a subject image different from the subject image to be superimposed.
  • the display image determination unit 23 determines the subject image to be displayed on the display device 3 according to the time when the superimposed object information generation unit 22 completes the generation of the space information.
  • the inter-image correspondence information generation unit 24 estimates the correspondence between the subject image used by the superimposed object information generation unit 22 for generating the superimposed object and the subject image determined by the display image determination unit 23.
  • the space information correction unit 25 corrects the space information of the superimposed object generated by the superimposed object information generation unit 22 based on the inter-image correspondence information.
  • the object superimposing unit 26 superimposes the superimposed object corrected by the spatial information correcting unit 25 on the subject image determined by the display image determining unit 23 based on the corrected superimposed object. It was made to do. As a result, even when superimposing a detected superimposed object on a subject image to be detected is superimposed on a subject image to be superimposed that is different in time series from the image to be detected, a focused portion in the to-be-superimposed subject image It is possible to suppress displacement of the superimposed object with respect to the position of.
  • the space information correction unit 25 corresponds to the pixel value of the subject image at time t 1 corresponding to the space information obtained by minutely changing the corrected space information and the space information before correction. based on the difference square mean like between the pixel value of the subject image time t 0 to the corrected spatial information may be generated to further correct spatial information minutely varied.
  • image processing such as edge enhancement processing (edge enhancement processing) may be performed on the superimposed object after spatial information correction.
  • all the pixels of the subject image may be used to generate inter-image correspondence information.
  • the subject image is reduced to reduce the subject image.
  • the image may be used to generate inter-image correspondence information.
  • the superimposed object information generation unit 22 detects a focused portion in the subject image based on the image signal input from the image acquisition unit 21 and generates spatial information of the superimposed object according to the focused portion.
  • the present invention is not limited thereto.
  • the information detected by the sensor is acquired, the attention location is detected based on the information detected by the sensor, and the space information of the superimposed object is generated.
  • FIG. 6 is a block diagram showing a functional configuration of an image processing system according to a modification of the first embodiment of the present invention.
  • An image processing system 1A according to the present modification includes an image processing device 2A and a display device 3.
  • the image processing device 2A further includes a sensor information acquisition unit 29 in addition to the configuration of the image processing device 2 described above.
  • the sensor information acquisition unit 29 acquires detection information from an external sensor such as an infrared sensor or a laser range finder, and inputs sensor information including position information of a target location to the superimposed object information generation unit 22.
  • an external sensor such as an infrared sensor or a laser range finder
  • the superimposed object information generation unit 22 acquires sensor information including position information of the attention location from the sensor information acquisition unit 29, the superimposed object information generation unit 22 is an object that indicates the attention location based on the position information of the sensor information. Generate spatial information of the superimposed object to be superimposed on the location.
  • the display image determination unit 23 determines the subject image to be displayed on the display device 3 according to the time when the superimposed object information generation unit 22 completes the generation of the space information. Further, the inter-image correspondence information generation unit 24 estimates the correspondence between the subject image used by the superimposed object information generation unit 22 for generating the superimposed object and the subject image determined by the display image determination unit 23. Generate certain inter-image correspondence information.
  • the space information correction unit 25 corrects the space information of the superimposed object based on the inter-image correspondence information
  • the object superposition unit 26 displays the superimposed object corrected by the space information correction unit 25 as the display image determination unit 23 Superimposed on the subject image determined by As a result, even when superimposing a detected superimposed object on a subject image to be detected is superimposed on a subject image to be superimposed that is different in time series from the image to be detected, a focused portion in the to-be-superimposed subject image It is possible to suppress displacement of the superimposed object with respect to the position of.
  • FIG. 7 is a block diagram showing a functional configuration of an image processing system according to a second embodiment of the present invention.
  • An image processing system 1B according to the second embodiment includes an image processing device 2B and a display device 3.
  • the image processing apparatus 2B further includes a similarity calculation unit 30 and an inter-image correspondence information selection unit 31 in addition to the configuration of the image processing apparatus 2 described above.
  • the inter-image correspondence information generation unit 24 further includes an entire-image correspondence information generation unit 241 and a partial-image correspondence information generation unit 242.
  • the whole image correspondence information generation unit 241 generates whole image correspondence information between the subject image to be detected and the subject image to be superimposed.
  • the subject image to be detected is a subject image for which the superimposed object information generation unit 22 has generated spatial information of the superimposed object.
  • the subject image to be superimposed is a subject image which is determined by the display image determination unit 23 as a target on which the superimposed object is to be superimposed.
  • the whole image correspondence information is expressed by coordinate transformation generated using the entire subject image to be detected. That is, the correspondence information between whole images is generated based on the entire subject image to be detected.
  • the inter-partial-image correspondence information generation unit 242 generates inter-partial-image correspondence information between the subject image to be detected and the subject image to be superimposed.
  • the partial image correspondence information is expressed by coordinate transformation generated using a region corresponding to the arrangement region of the superimposed object in the subject image to be detected. That is, the inter-partial-image correspondence information is generated based on the area corresponding to the arrangement area of the superimposed object in the subject image to be detected.
  • the similarity calculation unit 30 uses the first object area corresponding to the superimposed display object in the subject image to be detected, and the correspondence information between the entire images (conversion parameter), and is related to the first object area.
  • the first object area using the overall image similarity (first similarity) with the second object area in the subject image, the first object area, and the partial image correspondence information (conversion parameter)
  • Inter-image similarity (second similarity) with the third object region in the subject image to be superimposed is calculated.
  • the similarity calculation unit 30 may calculate the similarity by calculating a known sum of absolute differences (SAD), or may obtain a sum of squared differences (SSD) as the similarity.
  • SSD sum of squared differences
  • NCC Normalized Cross-Correction
  • SAD and SSD are values indicating the degree of difference, and when used as the degree of similarity, the magnitude relationship is reversed. That is, if the degree of difference is large, the degree of similarity decreases, and if the degree of difference is small, the degree of similarity increases.
  • the inter-image correspondence information selection unit 31 selects one of the entire-image correspondence information and the partial-image correspondence information as an image based on the similarity between whole images and the similarity between partial images calculated by the similarity calculation unit 30. Select as inter-correspondence information.
  • the inter-image correspondence information selection unit 31 selects the inter-image correspondence information corresponding to the higher one of the overall inter-image similarity and the inter-partial image similarity.
  • FIG. 8 is a flowchart illustrating processing performed by the image processing apparatus 2B according to the second embodiment of the present invention. The following description is given on the assumption that each unit operates under the control of the control unit 27.
  • control unit 27 determines whether an unused thread has occurred (step S201).
  • the control unit 27 determines, for example, whether or not an unused thread has occurred by confirming the CPU usage rate and the like.
  • the control unit 27 determines that an unused thread is not generated (step S201: No)
  • the control unit 27 repeatedly checks whether an unused thread is generated.
  • the control unit 27 shifts to step S202.
  • step S202 the control unit 27 determines whether the latest image that is the subject image acquired by the image acquisition unit 21 is a subject image for which the superimposed object has been determined.
  • step S202: Yes when the control unit 27 determines that the latest image is the subject image for which the superimposed object has been determined (step S202: Yes), the process proceeds to step S211.
  • step S203 when the control unit 27 determines that the latest image is not the subject image for which the superimposed object has been determined (step S202: No), the process proceeds to step S203.
  • the determination of the superimposed object in this step includes that the superimposed object determination process has been executed or is being executed, and the control unit 27 determines that the superimposed object decision process is already executed or is being executed. If it has, the process proceeds to step S211.
  • step S203 the superimposed object information generation unit 22 generates space information of the superimposed object to be superimposed on the subject image input from the image acquisition unit 21 from the subject image (for example, the above-described subject image W 11 ) to be detected. .
  • the superimposed object information generation unit 22 outputs the generated space information to the display image determination unit 23.
  • the display image determination unit 23 determines a subject image according to the time when the superimposed object information generation unit 22 completes the generation of the space information as a subject image to be displayed on the display device 3 (step S204).
  • step S205 the inter-image correspondence information generation unit 24 expresses by coordinate conversion the subject image to be detected that is used by the superimposed object information generation unit 22 and the subject image to be superimposed on which the superimposed object is superimposed. Inter-image correspondence information is generated.
  • step S204 the entire-image correspondence information generation unit 241 generates the above-mentioned whole-image correspondence information, and the partial-image correspondence information generation unit 242 generates the above-mentioned correspondence between partial images.
  • step S206 the similarity calculation unit 30 calculates the above-described overall image inter-image similarity and partial image inter-image similarity.
  • the inter-image correspondence information selecting unit 31 determines the correspondence between the entire images and the correspondence information between the partial images based on the similarity between the whole images and the similarity between the partial images calculated by the similarity calculation unit 30. One of them is selected as inter-image correspondence information.
  • step S208 following step S207 the space information correction unit 25 corrects the space information obtained by converting each coordinate of the space information based on the conversion parameter of the inter-image correspondence information selected by the inter-image correspondence information selection unit 31. Generate as spatial information of the superimposed object.
  • step S209 following step S208 the object superimposing unit 26 superimposes the superimposed object corrected by the space information correcting unit 25 on the subject image determined by the display image determining unit 23, for example, as shown in FIG. As described above, a part of the lesioned parts S 11 and S 12 generates a subject image W S1 surrounded by the superimposed objects Q 11 and Q 12 .
  • step S210 subsequent to step S209, under the control of the control unit 27, control is performed to display the subject image (image on which the superimposed object is superimposed) generated by the object superposition unit 26 on the display device 3. After displaying the subject image on the display device 3, the control unit 27 proceeds to step S211.
  • step S211 the control unit 27 determines whether or not there is an instruction input to end the process.
  • the control unit 27 determines that there is no instruction input to end the process (step S211: No)
  • the process proceeds to step S201, and the above-described process is repeated.
  • the control unit 27 determines that there is an instruction input to end the process (step S211: Yes)
  • the process ends.
  • the inter-image correspondence information generation unit 24 generates a plurality of pieces of inter-image correspondence information for different regions in the subject image, and the similarity calculation unit 30 performs a plurality of inter-image correspondences.
  • the similarity is calculated for each piece of information, and the inter-image correspondence information selecting unit 31 selects the inter-image correspondence information using the calculated similarity.
  • the superimposed object information generation unit 22A generates inter-image correspondence information represented by coordinate conversion for the subject images sequentially input, and stores the generated information in the storage unit 28 as adjacent coordinate conversion information. Do the processing.
  • FIG. 9 is a block diagram showing a functional configuration of an image processing system according to a third embodiment of the present invention.
  • An image processing system 1C according to the third embodiment includes an image processing device 2C and a display device 3.
  • the image processing unit 2C includes a superimposed object information generation unit 22A and a storage unit 28A in place of the superimposed object information generation unit 22 and the storage unit 28 of the image processing apparatus 2 described above.
  • the superimposed object information generation unit 22A includes a plurality of operation units (operation units 221 and 222 in the third embodiment).
  • the storage unit 28A includes a subject image storage unit 281, a superimposed object information storage unit 282, and an adjacent coordinate conversion information storage unit 283.
  • the superimposed object information generation unit 22A is an object that detects the target location in the subject image based on the image signal input from the image acquisition unit 21 and indicates the detected target location.
  • the space information of the superimposed object to be superimposed on the target portion of the subject image is generated.
  • the superimposed object information generation unit 22A is an object that detects a notable part in the subject image sequentially input from the image acquisition unit 21 by the plurality of arithmetic units (arithmetic units 221 and 222), and indicates the detected notable part. And generating spatial information of a superimposed object to be superimposed on a target portion of the subject image.
  • the superimposed object information generation unit 22A sequentially accumulates, in the superimposed object information storage unit 282, the space information of the superimposed objects generated by the plurality of operation units.
  • the inter-image correspondence information generation unit 24 is an object image based on the image signal input from the image acquisition unit 21 and an object image stored in the object image storage unit 281 and is an object input from the image acquisition unit 21.
  • Adjacent coordinate conversion information (inter-primary-image correspondence information) including conversion parameters for an image and a subject image adjacent to the image is generated and sequentially stored in the adjacent coordinate information storage unit 283.
  • the adjacent time includes intermittently adjacent subject images extracted by thinning processing or the like with respect to a plurality of subject images sequentially acquired, and subjects other than those adjacent in the time when the subject images were actually acquired. Contains a combination of images.
  • the inter-image correspondence information generation unit 24 generates inter-image correspondence information on the correspondence between the subject image for which the superimposed object information generation unit 22A has detected the superimposed object and the subject image determined by the display image determination unit 23
  • the coordinate information that is space information of the superimposed object generated by the superimposed object information generation unit 22A and the one or more adjacent coordinate conversion information stored in the adjacent coordinate conversion information storage unit 283 are referred to
  • the inter-image correspondence information on the correspondence between the subject image in which the superimposed object information generation unit 22A has detected the superimposed object and the subject image determined by the display image determination unit 23 is generated.
  • the plurality of subject images that exist between the subject image W 11 and the subject image W 12, and spatial information superimposed object image between corresponding information is generated
  • spatial information of the superimposed object is generated for each of the sequentially input subject images.
  • FIG. 10 is a flowchart for explaining the process performed by the image processing apparatus 2C according to the third embodiment of the present invention. The following description is given on the assumption that each unit operates under the control of the control unit 27.
  • control unit 27 determines whether or not there is an input of a subject image (step S301). When determining that there is no input of the subject image (step S301: No), the control unit 27 repeats input confirmation of the subject image. On the other hand, when the control unit 27 determines that there is an input of a subject image (step S301: Yes), the process proceeds to step S302.
  • the inter-image correspondence information generation unit 24 is a subject image based on the image signal input from the image acquisition unit 21 and a subject image stored in the subject image storage unit 281, and from the image acquisition unit 21.
  • Adjacent coordinate conversion information (inter-primary-image correspondence information) expressed by coordinate conversion is generated for the input subject image and the subject image adjacent to each other, and is sequentially stored in the adjacent coordinate information storage unit 283.
  • control unit 27 determines whether there is an input of an instruction to end the storage processing of the adjacent coordinate conversion information (step S303). If the control unit 27 determines that there is no input of an instruction to end the accumulation processing (step S303: No), the control unit 27 returns to step S301 and repeats the above-described processing. On the other hand, when the control unit 27 determines that there is an input of an instruction to end the accumulation process (step S303: Yes), the accumulation process is ended.
  • the input of the instruction to end the storage processing of the adjacent coordinate conversion information may be the input of a signal input through an input device (not shown), or a predetermined time has elapsed since the last object image is input. However, it may be determined that there is an input of an instruction to end the accumulation processing when there is no input of a new subject image.
  • the control unit 27 performs superposition processing of a superimposed object.
  • the control unit 27 determines whether an unused thread has occurred (step S311).
  • the control unit 27 determines, for example, whether or not an unused thread has occurred by confirming the free space of the CPU.
  • the control unit 27 determines that an unused thread is not generated (step S311: No)
  • the control unit 27 repeatedly checks whether an unused thread is generated.
  • the control unit 27 determines that an unused thread is generated (step S311: Yes)
  • the control unit 27 shifts to step S312.
  • the superimposed object information generation unit 22A detects a notable part in the subject image input from the image acquisition unit 21 by any one of the plurality of operation units (operation units 221 and 222). Spatial information of a superimposed object which is an object indicating a detected portion of interest and which is to be superimposed on the portion of interest of the subject image is generated.
  • the superimposed object information generation unit 22A selects the calculation unit that is not in operation to generate space information of the superimposed object, and accumulates the generated space information of the superimposed object in the superimposed object information storage unit 282.
  • step S312 the control unit 27 determines whether the latest image that is the subject image acquired by the image acquisition unit 21 is a subject image for which the superimposed object has been determined.
  • step S312: Yes the process proceeds to step S320.
  • step S312: No the process proceeds to step S313.
  • the determination of the superimposed object in this step includes that the superimposed object determination process has been executed or is being executed, and the control unit 27 determines that the superimposed object decision process is already executed or is being executed. If it does, the process proceeds to step S320.
  • the superimposed object information generation unit 22A generates space information of the superimposed object to be superimposed on the subject image input from the image acquisition unit 21 from the subject image to be detected, or is stored in the superimposed object information storage unit 282. Acquire spatial information of the superimposed object. If an unprocessed subject image is in the superimposed object information storage unit 282, the superimposed object information generation unit 22A gives priority to the superimposed object of the subject image, and outputs the generated or acquired space information to the display image determination unit 23. .
  • the display image determination unit 23 displays the subject image according to the time when the superimposed object information generation unit 22A completes the generation of the space information or the time when the superimposed object is obtained from the superimposed object information storage unit 282 It determines as a to-be-photographed object image to be made (step S314).
  • step S315 the inter-image correspondence information generation unit 24 generates space information of the superimposed object generated by the superimposed object information generation unit 22A, and one or more pieces stored in the adjacent coordinate conversion information storage unit 283.
  • the adjacent coordinate conversion information is acquired, and the adjacent coordinate conversion information is sequentially accumulated.
  • the inter-image correspondence information generation unit 24 determines whether or not all necessary adjacent coordinate conversion information accumulation processing is completed each time accumulation, and determines that all necessary adjacent coordinate conversion information accumulation processing is not completed. When it is determined (step S315: No), the adjacent coordinate conversion information is acquired with reference to the adjacent coordinate conversion information storage unit 283. On the other hand, when the inter-image correspondence information generation unit 24 determines that all necessary adjacent coordinate conversion accumulation has ended (step S315: Yes), the process proceeds to step S316.
  • step S316 the inter-image correspondence information generation unit 24 sets information obtained by accumulating adjacent image correspondence information in step S315 as inter-image correspondence information.
  • step S317 following step S316 the space information correction unit 25 generates space information obtained by converting each coordinate of the space information based on the conversion parameter of the inter-image correspondence information generated by the inter-image correspondence information generation unit 24 as space information. Do.
  • step S318 following step S317 the object superimposing unit 26 superimposes the superimposed object corrected by the space information correction unit 25 on the subject image determined by the display image determination unit 23, as shown in FIG. 3, for example.
  • a part of the lesioned parts S 11 and S 12 generates a subject image W S1 surrounded by the superimposed objects Q 11 and Q 12 .
  • step S319 subsequent to step S318, under the control of the control unit 27, control is performed to display the subject image (image on which the superimposed object is superimposed) generated by the object superposition unit 26 on the display device 3. After displaying the subject image on the display device 3, the control unit 27 proceeds to step S320.
  • control unit 27 determines whether or not there is an instruction input to end processing.
  • the control unit 27 determines that there is no instruction input to end the process (step S320: No)
  • the process proceeds to step S311, and the above-described process is repeated.
  • the control unit 27 determines that there is an instruction input to end the process (step S320: Yes)
  • the process ends.
  • the superimposed object information generation unit 22A generates the spatial information of the superimposed object for the subject image sequentially input, and the inter-image correspondence information generation unit 24 corresponds to the inter-image correspondence.
  • Information is generated and stored in the storage unit 28A as adjacent coordinate conversion information, and the inter-image correspondence information generation unit 24 generates adjacent coordinates generated between the subject image to be detected and the subject image to be superimposed.
  • Inter-image correspondence information between a subject image to be detected and a subject image to be superimposed is generated by accumulating conversion information, and space information of the superimposed object is corrected.
  • the inter-image correspondence information can be generated taking into consideration the movement in the subject image existing between the subject image to be detected and the subject image to be superimposed, and the superposition on the position of the attention location in the subject image to be superimposed Misalignment of objects can be suppressed more reliably.
  • the present invention is not limited to the above-described embodiment and modification as it is, and at the implementation stage, the constituent elements can be modified and embodied without departing from the scope of the invention.
  • various inventions can be formed by appropriately combining a plurality of components disclosed in the above-described embodiment. For example, some components may be deleted from all the components described in the above-described embodiment and modifications. Furthermore, the components described in each embodiment and modification may be combined as appropriate.
  • the present invention may include various embodiments and the like not described herein, and appropriate design changes and the like may be made without departing from the technical idea described in the claims. It is possible.
  • the object generated based on the target location in the detection target image is superimposed on an image different from the detection target image. Even if it is present, it is useful for suppressing positional deviation with respect to the position of the attention location in the image to be superimposed.

Abstract

本発明にかかる画像処理装置は、複数の被写体画像を順次取得する被写体画像取得部と、被写体画像に重畳する重畳オブジェクトであって、重畳対象の被写体画像とは異なる検出対象の被写体画像から検出した注目箇所に対応させて配置する重畳オブジェクトの空間情報を生成する重畳オブジェクト情報生成部と、重畳オブジェクト情報生成部が空間情報を生成した時間に応じて、重畳オブジェクトとともに表示部に表示させる重畳対象の被写体画像を決定する表示画像決定部と、検出対象の被写体画像と重畳対象の被写体画像との間の対応を推定した情報である画像間対応情報を生成する画像間対応情報生成部と、重畳オブジェクトの空間情報を、画像間対応情報に基づいて補正する空間情報補正部と、空間情報補正部によって補正された重畳オブジェクトを、表示画像決定部によって決定された重畳対象の被写体画像に重畳するオブジェクト重畳部と、を備える。

Description

画像処理装置、画像処理方法および画像処理プログラム
　本発明は、撮像素子により生成された撮像信号に信号処理を施して画像信号を生成する画像処理装置、画像処理方法および画像処理プログラムに関する。
　従来、医療分野および工業分野において、各種検査のために内視鏡装置が広く用いられている。このうち、医療用の内視鏡装置は、患者等の被検体内に、複数の画素を有する撮像素子が先端に設けられた、細長形状をなす可撓性の挿入部を挿入することによって、被検体を切開しなくても被検体内の画像（被写体画像）を取得できるため、被検体への負担が少なく、普及が進んでいる。
　このような内視鏡装置を用いた被写体画像の観察では、画像解析の結果として、病変検出結果などの注目箇所を指示する情報（以下、オブジェクトともいう）が、被写体画像に重畳されて観察画面上に表示される。被写体画像に対してオブジェクトを重畳する技術として、撮像画像内の動き物体（注目箇所）をオブジェクトとして検出して切り出す処理が完了した時点で取得された撮像画像に重畳する技術が知られている（例えば、特許文献１を参照）。
特開２０１４－２２０６１８号公報
　しかしながら、特許文献１が開示する技術では、オブジェクトを検出して切り出すまでに時間を要するため、切り出したオブジェクトが、重畳する被写体画像における注目箇所の位置とは異なる位置に重畳されてしまう場合があった。この場合、重畳したオブジェクトが、表示している被写体画像内のオブジェクトを適切に指示できていなかった。
　本発明は、上記に鑑みてなされたものであって、検出対象の画像における注目箇所に基づいて生成したオブジェクトを、検出対象の画像とは異なる画像に重畳する場合であっても、重畳対象の画像における注目箇所の位置に対する位置ずれを抑制することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、複数の被写体画像を順次取得する被写体画像取得部と、前記被写体画像に重畳する重畳オブジェクトであって、重畳対象の被写体画像とは異なる検出対象の被写体画像から検出した注目箇所に対応させて配置する重畳オブジェクトの空間情報を生成する重畳オブジェクト情報生成部と、前記重畳オブジェクト情報生成部が前記空間情報を生成した時間に応じて、前記重畳オブジェクトとともに表示部に表示させる前記重畳対象の被写体画像を決定する表示画像決定部と、前記検出対象の被写体画像と前記重畳対象の被写体画像との間の対応を推定した情報である画像間対応情報を生成する画像間対応情報生成部と、前記重畳オブジェクトの空間情報を、前記画像間対応情報に基づいて補正する空間情報補正部と、前記空間情報補正部によって補正された前記重畳オブジェクトを、前記表示画像決定部によって決定された前記重畳対象の被写体画像に重畳するオブジェクト重畳部と、を備えることを特徴とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理方法は、複数の被写体画像を順次取得し、前記被写体画像に重畳する重畳オブジェクトであって、重畳対象の被写体画像とは異なる被写体画像である検出対象の被写体画像から検出した注目箇所に対応させて配置する重畳オブジェクトの空間情報を生成し、前記空間情報を生成した時間に応じて、前記重畳オブジェクトとともに表示部に表示させる前記重畳対象の被写体画像を決定し、前記検出対象の被写体画像と前記重畳対象の被写体画像との間の対応を推定した情報である画像間対応情報を生成し、前記重畳オブジェクトの空間情報を、前記画像間対応情報に基づいて補正し、補正された前記重畳オブジェクトを、決定された前記重畳対象の被写体画像に重畳する、ことを特徴とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理プログラムは、複数の被写体画像を取得する被写体画像取得手順と、前記被写体画像に重畳する重畳オブジェクトであって、重畳対象の被写体画像とは異なる被写体画像である検出対象の被写体画像から検出した注目箇所に対応させて配置する重畳オブジェクトの空間情報を生成する重畳オブジェクト情報生成手順と、前記重畳オブジェクト情報生成手順で前記空間情報を生成した時間に応じて、前記重畳オブジェクトとともに表示部に表示させる前記重畳対象の被写体画像を決定する表示画像決定手順と、前記検出対象の被写体画像と前記重畳対象の被写体画像との間の対応を推定した情報である画像間対応情報を生成する画像間対応情報生成手順と、前記重畳オブジェクトの空間情報を、前記画像間対応情報に基づいて補正する空間情報補正手順と、前記空間情報補正手順で補正された前記重畳オブジェクトを、前記表示画像決定手順によって決定された前記重畳対象の被写体画像に重畳するオブジェクト重畳手順と、をコンピュータに実行させることを特徴とする。
　本発明によれば、検出対象の画像における注目箇所に基づいて生成したオブジェクトを、検出対象の画像とは異なる画像に重畳する場合であっても、重畳対象の画像における注目箇所の位置に対する位置ずれを抑制することができるという効果を奏する。
図１は、本発明の実施の形態１に係る画像処理システムの機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像処理装置が行うオブジェクト重畳処理を説明する図である。 図３は、本発明の実施の形態１に係る画像処理装置が生成するオブジェクト重畳画像を示す図である。 図４は、従来の処理によって生成されるオブジェクト重畳画像を示す図である。 図５は、本発明の実施の形態１に係る画像処理装置が行うオブジェクト重畳処理を示すフローチャートである。 図６は、本発明の実施の形態１の変形例に係る画像処理システムの機能構成を示すブロック図である。 図７は、本発明の実施の形態２に係る画像処理システムの機能構成を示すブロック図である。 図８は、本発明の実施の形態２に係る画像処理装置が行うオブジェクト重畳処理を示すフローチャートである。 図９は、本発明の実施の形態３に係る画像処理システムの機能構成を示すブロック図である。 図１０は、本発明の実施の形態３に係る画像処理装置が行うオブジェクト重畳処理を示すフローチャートである。
　以下、本発明を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、以下の説明において参照する各図は、本発明の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本発明は、各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。また、同一の構成には同一の符号を付して説明する。
（実施の形態１）
　図１は、本発明の実施の形態１に係る画像処理システム１の機能構成を示すブロック図である。図１に示す画像処理システム１は、画像処理装置２と、表示装置３とを備える。画像処理装置２は、取得した画像に処理を施すことによって表示装置３が表示する表示用の画像信号を生成する。表示装置３は、映像ケーブルを介して画像処理装置２が生成した画像信号を受信して画像信号に対応する画像を表示する。表示装置３は、液晶または有機ＥＬ（Electro　Luminescence）を用いて構成される。なお、図１では、実線の矢印が画像にかかる信号の伝送を示し、破線の矢印が制御にかかる信号の伝送を示している。
　画像処理装置２は、画像取得部２１と、重畳オブジェクト情報生成部２２と、表示画像決定部２３と、画像間対応情報生成部２４と、空間情報補正部２５と、オブジェクト重畳部２６と、制御部２７と、記憶部２８とを備える。記憶部２８は、画像取得部２１が取得した被写体画像を記憶する被写体画像記憶部２８１を有する。
　画像取得部２１は、外部から被写体画像を含む画像信号を時系列に順次受信する、または記憶部２８に記憶されている画像を時系列に取得する。画像取得部２１は、必要に応じてノイズ除去やＡ／Ｄ変換、同時化処理（例えば、カラーフィルタ等を用いて色成分ごとの撮像信号が得られた場合に行う）などの信号処理を施すことにより、例えばＲＧＢの色成分が付与された３板の被写体画像を含む画像信号を生成する。画像取得部２１は、取得した画像信号、または信号処理後の画像信号を重畳オブジェクト情報生成部２２および記憶部２８に入力する。画像取得部２１は、上述した同時化処理などのほか、ＯＢクランプ処理や、ゲイン調整処理などを行ってもよい。画像としては、人などの被写体を含む画像や、内視鏡（カプセル型内視鏡を含む）により取得された被検体内の体腔画像など、時系列に取得（撮像）され、被写体を含む被写体画像が挙げられる。
　重畳オブジェクト情報生成部２２は、画像取得部２１から入力された画像信号に基づく被写体画像を用いて、被写体画像内で注目すべき箇所（以下、注目箇所ともいう）、例えば、被検体内の体内画像であれば病変部を検出し、検出した注目箇所を示すオブジェクトであって、被写体画像の注目箇所に重畳して配置する重畳オブジェクトの空間情報を生成する。注目箇所を検出する検出対象の被写体画像は、重畳オブジェクトを重畳する重畳対象の被写体画像とは異なる被写体画像であって、重畳対象の被写体画像よりも時系列で前の被写体画像である検出対象の被写体画像である。ここでいう重畳オブジェクトとは、例えば、被写体画像が被検体内の体腔画像である場合、病変部を取り囲む矩形の枠である。また、空間情報とは、被写体画像を二次元平面でみたときに、重畳オブジェクトの枠が位置する空間の座標情報であって、例えば、矩形の枠の四隅の座標に関する情報である。なお、空間情報は、上述した座標情報のほか、注目箇所を透過する透過窓を有する領域マスクを表す情報や、注目箇所を取り囲む輪郭線を表す情報のいずれかであってもよいし、座標情報、領域マスクおよび輪郭線を組み合わせた情報であってもよい。
　重畳オブジェクト情報生成部２２は、例えば、“Object　Detection　with　Discriminatively　Trained　Part-Based　Models”　Pedro　F.　Felzenszwalb,　Ross　B.　Girshick,　David　McAllester　and　Deva　Ramanan,　PAMI2010に記載された技術を用いて重畳オブジェクトの空間情報を生成することができる。
　表示画像決定部２３は、重畳オブジェクト情報生成部２２が空間情報を生成した時間に応じて、表示装置３に表示させる被写体画像を決定する。
　画像間対応情報生成部２４は、重畳オブジェクト情報生成部２２が重畳オブジェクトの空間情報を生成した被写体画像（検出対象の被写体画像）と、表示画像決定部２３により決定された被写体画像（重畳対象の被写体画像）との間の対応を推定した情報である画像間対応情報を生成する。具体的に、画像間対応情報生成部２４は、検出対象の被写体画像と重畳対象の被写体画像との間の、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換および平行移動のうちの少なくとも一つの座標変換によって表現される画像間対応情報を生成する。画像間対応情報の生成には、例えば、特開2007-257287号公報に記載の技術が用いられる。
　空間情報補正部２５は、重畳オブジェクト情報生成部２２が生成した重畳オブジェクトの空間情報を、画像間対応情報生成部２４が生成した画像間対応情報に応じて補正する。本実施の形態１では、空間情報補正部２５は、重畳オブジェクト情報生成部２２が生成した重畳オブジェクトの空間情報（座標情報）に対して、画像間対応情報生成部２４が生成した画像間対応情報（変換パラメータ）に基づいて空間情報を補正する。
　オブジェクト重畳部２６は、空間情報補正部２５によって補正された重畳オブジェクトの空間情報に応じて、表示画像決定部２３によって決定された被写体画像に重畳する。
　図２，３は、本発明の実施の形態１に係る画像処理装置２が行うオブジェクト重畳処理を説明する図である。重畳オブジェクト情報生成部２２は、画像取得部２１から入力された被写体画像に重畳する重畳オブジェクトを、時間ｔ0における検出対象の被写体画像Ｗ11から検出し、重畳オブジェクトの空間情報を生成する。重畳オブジェクト情報生成部２２は、例えば、図２に示すように、被写体画像Ｗ11の外縁に応じたオブジェクト空間Ｐ11における重畳オブジェクトＱ1，Ｑ2の四隅の座標を空間情報として生成する。重畳オブジェクトＱ1，Ｑ2は、病変部Ｓ1，Ｓ2を取り囲む矩形の枠である。なお、矩形の枠のほか、楕円や円の枠であってもよいし、注目箇所に応じた形状や、内部を塗りつぶしたオブジェクトであってもよい。
　表示画像決定部２３は、重畳オブジェクト情報生成部２２が空間情報の生成を完了した時間をｔ1とすると、この時間ｔ1に応じた被写体画像Ｗ12（図２参照）を表示装置３に表示させる被写体画像（重畳対象の被写体画像）として決定する。被写体画像Ｗ12には、被写体画像Ｗ11における病変部Ｓ1，Ｓ2の位置や向きが変化した病変部Ｓ11，Ｓ12が表示されている。なお、時間ｔ0から時間ｔ1までの間には、被写体画像Ｗ11，Ｗ12以外にも複数の被写体画像が入力されている。すなわち、重畳オブジェクト情報生成部２２が空間情報の生成を開始してから完了するまでには、数フレーム分の被写体画像が入力される時間を要する。図２では、説明のために被写体画像Ｗ11，Ｗ12のみを図示している。
　画像間対応情報生成部２４は、重畳オブジェクト情報生成部２２が重畳オブジェクトＱ1，Ｑ2を生成した被写体画像Ｗ11と、表示画像決定部２３により決定された被写体画像Ｗ12との間の対応を表す変換パラメータを含む画像間対応情報を生成する。
　画像間対応情報生成部２４は、被写体画像Ｗ11と被写体画像Ｗ12とについて、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換および平行移動のうちの少なくとも一つの座標変換によって表現される画像間対応情報を生成する。
　空間情報補正部２５は、画像間対応情報生成部２４が生成した画像間対応情報の変換パラメータに基づいて重畳オブジェクト情報生成部２２が生成した重畳オブジェクトの空間情報の各座標を変換した空間情報を、補正後の重畳オブジェクト（例えば、重畳オブジェクトＱ11，Ｑ12）の空間情報として生成する。空間情報補正部２５は、例えば、重畳オブジェクト情報生成部２２が生成した重畳オブジェクトの空間情報の各座標を、行列演算によって変換することによって、補正後の重畳オブジェクトの空間情報を生成する。
　オブジェクト重畳部２６は、例えば、空間情報補正部２５によって補正された重畳オブジェクトＱ11，Ｑ12（図２参照）を、表示画像決定部２３によって決定された被写体画像Ｗ12（図２参照）に重畳することによって、図３に示すように、病変部Ｓ11，Ｓ12の一部が重畳オブジェクトＱ11，Ｑ12によって取り囲まれた被写体画像ＷS1を生成する。
　上述した処理により、被写体画像Ｗ11から重畳オブジェクトＱ1，Ｑ2を抽出し、被写体画像Ｗ11における病変部Ｓ1，Ｓ2の位置や向きが変化した病変部Ｓ11，Ｓ12となっている被写体画像Ｗ12に、被写体画像Ｗ11から抽出した重畳オブジェクトを重畳する場合であっても、病変部Ｓ11，Ｓ12に対して重畳オブジェクトを適切な位置に配置することができる。
　図４は、従来の処理によって生成されるオブジェクト重畳画像を示す図である。従来のように重畳オブジェクトの空間情報を補正しない場合は、図４に示す被写体画像Ｗ100のように、病変部Ｓ11，Ｓ12に対して重畳オブジェクトＱ101，Ｑ102が適切に配置されないものになってしまう。
　図１に戻り、制御部２７は、ＣＰＵ（Central　Processing　Unit）等を用いて構成され、画像処理装置２を構成する各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。
　記憶部２８は、画像処理装置２を含む画像処理システム１を動作させるための各種プログラム、例えば、画像処理プログラムや、画像処理システム１の動作に必要な各種パラメータ等を含むデータを記憶する。記憶部２８は、フラッシュメモリやＤＲＡＭ（Dynamic　Random　Access　Memory）等の半導体メモリを用いて実現される。
　続いて、画像処理装置２の各部が行う処理について図面を参照して説明する。図５は、本発明の実施の形態１に係る画像処理装置２が行う処理を説明するフローチャートである。以下、制御部２７による制御のもと、各部が動作するものとして説明する。
　まず、制御部２７は、未使用のスレッドが発生したか否かを判断する（ステップＳ１０１）。制御部２７は、例えばＣＰＵの使用率等を確認することで、未使用のスレッドが発生したか否かを判断する。ここで、制御部２７は、未使用のスレッドが発生していないと判断した場合（ステップＳ１０１：Ｎｏ）は、未使用スレッドが発生したか否かの確認を繰り返す。一方、制御部２７は、未使用のスレッドが発生していると判断した場合（ステップＳ１０１：Ｙｅｓ）、ステップＳ１０２に移行する。
　ステップＳ１０２では、制御部２７は、画像取得部２１が取得した被写体画像である最新画像が、重畳オブジェクト決定済みの被写体画像であるか否かを判断する。ここで、制御部２７は、最新画像が、重畳オブジェクト決定済みの被写体画像であると判断した場合（ステップＳ１０２：Ｙｅｓ）、ステップＳ１０９に移行する。これに対し、制御部２７は、最新画像が、重畳オブジェクト決定済みの被写体画像ではないと判断した場合（ステップＳ１０２：Ｎｏ）、ステップＳ１０３に移行する。なお、本ステップでいう重畳オブジェクト決定済みとは、重畳オブジェクト決定処理が実行済み、または実行中であることを含み、制御部２７は、重畳オブジェクト決定処理が実行済み、または実行中であると判断した場合は、ステップＳ１０９に移行する。
　ステップＳ１０３では、重畳オブジェクト情報生成部２２が、画像取得部２１から入力された被写体画像に重畳する重畳オブジェクトの空間情報を、検出対象の被写体画像（例えば、上述した被写体画像Ｗ11、図２参照）から生成する。重畳オブジェクト情報生成部２２では、生成した空間情報を、表示画像決定部２３に出力する。
　その後、表示画像決定部２３は、重畳オブジェクト情報生成部２２が空間情報の生成を完了した時間に応じた被写体画像（例えば、上述した被写体画像Ｗ12）を表示装置３に表示させる被写体画像として決定する（ステップＳ１０４）。表示画像決定部２３は、重畳オブジェクト情報生成部２２が空間情報の生成を完了した時間において最新、またはこの時間の直後に取得された被写体画像を表示させる被写体画像として決定する。
　ステップＳ１０４に続くステップＳ１０５では、画像間対応情報生成部２４が、重畳オブジェクト情報生成部２２が用いた検出対象の被写体画像と、重畳オブジェクトを重畳する重畳対象の被写体画像とについて、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換および平行移動のうちの少なくとも一つの座標変換によって表現される画像間対応情報を生成する。
　ステップＳ１０５に続くステップＳ１０６では、空間情報補正部２５が、画像間対応情報生成部２４が生成した画像間対応情報の変換パラメータに基づいて空間情報の各座標を変換した空間情報を空間情報（補正空間情報）として生成する。
　ステップＳ１０６に続くステップＳ１０７では、オブジェクト重畳部２６が、空間情報補正部２５によって補正された重畳オブジェクトを、表示画像決定部２３によって決定された被写体画像に重畳することによって、例えば、図３に示すように、病変部Ｓ11，Ｓ12の一部が、重畳オブジェクトＱ11，Ｑ12によって取り囲まれた被写体画像ＷS1（重畳画像）を生成する。
　ステップＳ１０７に続くステップＳ１０８では、制御部２７の制御のもと、オブジェクト重畳部２６が生成した被写体画像ＷS1（重畳画像）を表示装置３に表示する制御を行う。制御部２７は、被写体画像を表示装置３に表示後、ステップＳ１０９に移行する。
　ステップＳ１０９では、制御部２７が、処理終了の指示入力があるか否かを判断する。ここで、制御部２７は、処理終了の指示入力がないと判断した場合（ステップＳ１０９：Ｎｏ）、ステップＳ１０１に移行して、上述した処理を繰り返す。一方、制御部２７は、処理終了の指示入力があると判断した場合（ステップＳ１０９：Ｙｅｓ）、本処理を終了する。
　上述した本実施の形態１では、重畳オブジェクト情報生成部２２が、被写体画像に重畳する重畳オブジェクトの空間情報を、重畳対象の被写体画像とは異なる被写体画像である検出対象の被写体画像に基づいて生成し、表示画像決定部２３が、重畳オブジェクト情報生成部２２が空間情報の生成を完了した時間に応じて、表示装置３に表示させる被写体画像を決定するようにした。その後、画像間対応情報生成部２４が、重畳オブジェクト情報生成部２２が重畳オブジェクトの生成に用いた被写体画像と、表示画像決定部２３により決定された被写体画像との間の対応を推定した情報である画像間対応情報を生成して、空間情報補正部２５が、重畳オブジェクト情報生成部２２が生成した重畳オブジェクトの空間情報を、画像間対応情報に基づいて補正するようにした。重畳オブジェクトの空間情報を補正後、オブジェクト重畳部２６が、この補正された重畳オブジェクトに基づき、空間情報補正部２５によって補正された重畳オブジェクトを、表示画像決定部２３によって決定された被写体画像に重畳するようにした。これにより、重畳オブジェクトの検出対象の被写体画像から検出した重畳オブジェクトを、検出対象の画像とは時系列で異なる重畳対象の被写体画像に重畳する場合であっても、重畳対象の被写体画像における注目箇所の位置に対する重畳オブジェクトの位置ずれを抑制することができる。
　なお、上述した実施の形態１において、空間情報補正部２５が、補正した空間情報を微小に変化させた空間情報に対応する時間ｔ1の被写体画像の画素値と、補正前の空間情報に対応する時間ｔ0の被写体画像の画素値との差分二乗平均等に基づき、補正した空間情報を微小に変化させてさらに補正した空間情報を生成するようにしてもよい。
　また、上述した実施の形態１において、空間情報補正後の重畳オブジェクトに対し、輪郭を強調する処理（エッジ強調処理）などの画像処理を施すようにしてもよい。
　また、本実施の形態１では、被写体画像の全画素を用いて画像間対応情報を生成するものであってもよいし、演算量を抑制するため、被写体画像を縮小して、この縮小した被写体画像を用いて、画像間対応情報を生成するようにしてもよい。
（実施の形態１の変形例）
　上述した実施の形態１では、重畳オブジェクト情報生成部２２が、画像取得部２１から入力された画像信号に基づく被写体画像内で注目箇所を検出し、注目箇所に応じて重畳オブジェクトの空間情報を生成するものとして説明したが、本発明はこれに限定されない。本変形例では、センサにより検出された情報を取得して、センサが検出した情報をもとに注目箇所を検出して重畳オブジェクトの空間情報を生成する。
　図６は、本発明の実施の形態１の変形例に係る画像処理システムの機能構成を示すブロック図である。本変形例にかかる画像処理システム１Ａは、画像処理装置２Ａと、表示装置３とを備える。画像処理装置２Ａは、上述した画像処理装置２の構成に加えて、センサ情報取得部２９をさらに備える。
　センサ情報取得部２９は、外部のセンサ、例えば赤外線センサや、レーザ測距装置から検出情報を取得して、注目箇所の位置情報を含むセンサ情報を重畳オブジェクト情報生成部２２に入力する。
　重畳オブジェクト情報生成部２２は、センサ情報取得部２９から注目箇所の位置情報を含むセンサ情報を取得すると、センサ情報の位置情報をもとに、注目箇所を示すオブジェクトであって、被写体画像の注目箇所に重畳する重畳オブジェクトの空間情報を生成する。
　その後は、実施の形態１と同様、表示画像決定部２３が、重畳オブジェクト情報生成部２２が空間情報の生成を完了した時間に応じて、表示装置３に表示させる被写体画像を決定する。また、画像間対応情報生成部２４が、重畳オブジェクト情報生成部２２が重畳オブジェクトの生成に用いた被写体画像と、表示画像決定部２３により決定された被写体画像との間の対応を推定した情報である画像間対応情報を生成する。その後、空間情報補正部２５が、重畳オブジェクトの空間情報を、画像間対応情報に基づいて補正し、オブジェクト重畳部２６が、空間情報補正部２５によって補正された重畳オブジェクトを、表示画像決定部２３によって決定された被写体画像に重畳する。これにより、重畳オブジェクトの検出対象の被写体画像から検出した重畳オブジェクトを、検出対象の画像とは時系列で異なる重畳対象の被写体画像に重畳する場合であっても、重畳対象の被写体画像における注目箇所の位置に対する重畳オブジェクトの位置ずれを抑制することができる。
（実施の形態２）
　上述した実施の形態１では、画像間対応情報生成部２４が、異なる時間で取得された二つの被写体画像の間の対応に関する画像間対応情報を生成するものとして説明したが、この画像間対応情報は、二つの被写体画像の全体にわたる画像間対応情報であってもよいし、部分領域における画像間対応情報であってもよいし、いずれかを選択可能であってもよい。図７は、本発明の実施の形態２に係る画像処理システムの機能構成を示すブロック図である。本実施の形態２に係る画像処理システム１Ｂは、画像処理装置２Ｂと、表示装置３とを備える。画像処理装置２Ｂは、上述した画像処理装置２の構成に加えて、類似度算出部３０および画像間対応情報選択部３１をさらに備える。また、画像間対応情報生成部２４は、全体画像間対応情報生成部２４１と、部分画像間対応情報生成部２４２とを有する。
　全体画像間対応情報生成部２４１は、検出対象の被写体画像と重畳対象の被写体画像との間の全体画像間対応情報を生成する。検出対象の被写体画像は、重畳オブジェクト情報生成部２２が重畳オブジェクトの空間情報を生成した被写体画像である。重畳対象の被写体画像は、表示画像決定部２３により重畳オブジェクトを重畳する対象として決定された被写体画像である。全体画像間対応情報は、検出対象の被写体画像全体を用いて生成された座標変換によって表現される。すなわち、全体画像間対応情報は、検出対象の被写体画像全体に基づいて生成されている。
　部分画像間対応情報生成部２４２は、検出対象の被写体画像と重畳対象の被写体画像との間の部分画像間対応情報を生成する。部分画像間対応情報は、検出対象の被写体画像における重畳オブジェクトの配置領域に対応する領域を用いて生成された座標変換によって表現される。すなわち、部分画像間対応情報は、検出対象の被写体画像における重畳オブジェクトの配置領域に対応する領域に基づいて生成されている。
　類似度算出部３０は、検出対象の被写体画像における重畳表示オブジェクトに対応する第１オブジェクト領域と、全体画像間対応情報（変換パラメータ）を用いて第１オブジェクト領域に対応付けられた、重畳対象の被写体画像における第２のオブジェクト領域との全体画像間類似度（第１の類似度）、および、第１のオブジェクト領域と、部分画像間対応情報（変換パラメータ）を用いて第１のオブジェクト領域に対応付けられた、重畳対象の被写体画像における第３のオブジェクト領域との部分画像間類似度（第２の類似度）を算出する。類似度算出部３０は、公知の差分絶対値和（Sum　of　Absolute　Difference：ＳＡＤ）を算出して類似度としてもよいし、差の二乗和（Sum　of　Squared　Difference：ＳＳＤ）を求めて類似度としてもよいし、正規化相関（Normalized　Cross-Correction：ＮＣＣ）を求めて類似度としてもよい。なお、ＳＡＤおよびＳＳＤは相違度を示す値であり、類似度として使用する場合は大小関係が逆になる。すなわち、相違度が大きいと類似度は小さくなり、相違度が小さいと類似度は大きくなる。
　画像間対応情報選択部３１は、類似度算出部３０が算出した全体画像間類似度および部分画像間類似度に基づいて、全体画像間対応情報および部分画像間対応情報のうちのいずれかを画像間対応情報として選択する。画像間対応情報選択部３１は、全体画像間類似度および部分画像間類似度のうちの高い方の類似度に対応する画像間対応情報を選択する。
　続いて、画像処理装置２Ｂの各部が行う処理について図面を参照して説明する。図８は、本発明の実施の形態２に係る画像処理装置２Ｂが行う処理を説明するフローチャートである。以下、制御部２７による制御のもと、各部が動作するものとして説明する。
　まず、制御部２７は、未使用のスレッドが発生したか否かを判断する（ステップＳ２０１）。制御部２７は、例えばＣＰＵの使用率等を確認することで、未使用のスレッドが発生したか否かを判断する。ここで、制御部２７は、未使用のスレッドが発生していないと判断した場合（ステップＳ２０１：Ｎｏ）は、未使用スレッドが発生したか否かの確認を繰り返す。一方、制御部２７は、未使用のスレッドが発生していると判断した場合（ステップＳ２０１：Ｙｅｓ）、ステップＳ２０２に移行する。
　ステップＳ２０２では、制御部２７は、画像取得部２１が取得した被写体画像である最新画像が、重畳オブジェクト決定済みの被写体画像であるか否かを判断する。ここで、制御部２７は、最新画像が、重畳オブジェクト決定済みの被写体画像であると判断した場合（ステップＳ２０２：Ｙｅｓ）、ステップＳ２１１に移行する。これに対し、制御部２７は、最新画像が、重畳オブジェクト決定済みの被写体画像ではないと判断した場合（ステップＳ２０２：Ｎｏ）、ステップＳ２０３に移行する。なお、本ステップでいう重畳オブジェクト決定済みとは、重畳オブジェクト決定処理が実行済み、または実行中であることを含み、制御部２７は、重畳オブジェクト決定処理が実行済み、または実行中であると判断した場合は、ステップＳ２１１に移行する。
　ステップＳ２０３では、重畳オブジェクト情報生成部２２が、画像取得部２１から入力された被写体画像に重畳する重畳オブジェクトの空間情報を、検出対象の被写体画像（例えば、上述した被写体画像Ｗ11）から生成する。重畳オブジェクト情報生成部２２では、生成した空間情報を、表示画像決定部２３に出力する。
　その後、表示画像決定部２３は、重畳オブジェクト情報生成部２２が空間情報の生成を完了した時間に応じた被写体画像を表示装置３に表示させる被写体画像として決定する（ステップＳ２０４）。
　ステップＳ２０４に続くステップＳ２０５では、画像間対応情報生成部２４が、重畳オブジェクト情報生成部２２が用いた検出対象の被写体画像と、重畳オブジェクトを重畳する重畳対象の被写体画像とについて、座標変換によって表現される画像間対応情報を生成する。本ステップＳ２０４では、全体画像間対応情報生成部２４１が、上述した全体画像間対応情報を生成するとともに、部分画像間対応情報生成部２４２が、上述した部分画像間対応情報を生成する。
　ステップＳ２０５に続くステップＳ２０６では、類似度算出部３０が、上述した全体画像間類似度および部分画像間類似度を算出する。その後のステップＳ２０７では、画像間対応情報選択部３１が、類似度算出部３０が算出した全体画像間類似度および部分画像間類似度に基づいて、全体画像間対応情報および部分画像間対応情報のうちのいずれかを画像間対応情報として選択する。
　ステップＳ２０７に続くステップＳ２０８では、空間情報補正部２５が、画像間対応情報選択部３１が選択した画像間対応情報の変換パラメータに基づいて空間情報の各座標を変換した空間情報を、補正後の重畳オブジェクトの空間情報として生成する。
　ステップＳ２０８に続くステップＳ２０９では、オブジェクト重畳部２６が、空間情報補正部２５によって補正された重畳オブジェクトを、表示画像決定部２３によって決定された被写体画像に重畳することによって、例えば、図３に示すように、病変部Ｓ11，Ｓ12の一部が、重畳オブジェクトＱ11，Ｑ12によって取り囲まれた被写体画像ＷS1を生成する。
　ステップＳ２０９に続くステップＳ２１０では、制御部２７の制御のもと、オブジェクト重畳部２６が生成した被写体画像（重畳オブジェクトが重畳された画像）を表示装置３に表示する制御を行う。制御部２７は、被写体画像を表示装置３に表示後、ステップＳ２１１に移行する。
　ステップＳ２１１では、制御部２７が、処理終了の指示入力があるか否かを判断する。ここで、制御部２７は、処理終了の指示入力がないと判断した場合（ステップＳ２１１：Ｎｏ）、ステップＳ２０１に移行して、上述した処理を繰り返す。一方、制御部２７は、処理終了の指示入力があると判断した場合（ステップＳ２１１：Ｙｅｓ）、本処理を終了する。
　上述した本実施の形態２によれば、画像間対応情報生成部２４が、被写体画像において異なる領域を対象として複数の画像間対応情報を生成し、類似度算出部３０は、複数の画像間対応情報のそれぞれについて、類似度を算出し、画像間対応情報選択部３１が、算出された類似度を用いて画像間対応情報を選択するようにした。これにより、重畳オブジェクトに対応する領域が画像全体と連動して動く場合、領域の情報が乏しくても精度よく空間情報を補正することができるとともに、重畳オブジェクトに対応する領域と画像全体が異なる動きを伴う場合に、領域の画像間対応情報を用いて空間情報を補正するため、空間情報を一層高精度に補正することができる。
（実施の形態３）
　本実施の形態３では、順次入力される被写体画像に対して、重畳オブジェクト情報生成部２２Ａが、座標変換によって表現される画像間対応情報を生成し、隣接座標変換情報として記憶部２８に蓄積させる処理を行う。
　図９は、本発明の実施の形態３に係る画像処理システムの機能構成を示すブロック図である。本実施の形態３に係る画像処理システム１Ｃは、画像処理装置２Ｃと、表示装置３とを備える。画像処理部２Ｃは、上述した画像処理装置２の重畳オブジェクト情報生成部２２および記憶部２８に代えて、重畳オブジェクト情報生成部２２Ａおよび記憶部２８Ａを備える。重畳オブジェクト情報生成部２２Ａは、複数の演算部（本実施の形態３では、演算部２２１，２２２）を有する。記憶部２８Ａは、被写体画像記憶部２８１と、重畳オブジェクト情報記憶部２８２と、隣接座標変換情報記憶部２８３とを有する。
　重畳オブジェクト情報生成部２２Ａは、上述した重畳オブジェクト情報生成部２２と同様、画像取得部２１から入力された画像信号に基づく被写体画像内の注目箇所を検出し、検出した注目箇所を示すオブジェクトであって、被写体画像の注目箇所に重畳する重畳オブジェクトの空間情報を生成する。重畳オブジェクト情報生成部２２Ａは、複数の演算部（演算部２２１，２２２）により、画像取得部２１から順次入力される被写体画像内の注目箇所を検出し、検出した注目箇所を示すオブジェクトであって、被写体画像の注目箇所に重畳する重畳オブジェクトの空間情報を生成する。重畳オブジェクト情報生成部２２Ａは、複数の演算部がそれぞれ生成した重畳オブジェクトの空間情報を重畳オブジェクト情報記憶部２８２に順次蓄積していく。
　画像間対応情報生成部２４は、画像取得部２１から入力された画像信号に基づく被写体画像と、被写体画像記憶部２８１に記憶されている被写体画像であって、画像取得部２１から入力された被写体画像と隣接した時間における被写体画像とについて変換パラメータを含む隣接座標変換情報（一次画像間対応情報）を生成し、隣接座標情報記憶部２８３に順次蓄積する。なお、隣接した時間とは、順次取得される複数の被写体画像に対し、間引き処理等によって抽出された間欠的に隣接する被写体画像を含み、実際に被写体画像を取得した時間で隣接する以外の被写体画像の組み合わせを含んでいる。
　また、画像間対応情報生成部２４は、重畳オブジェクト情報生成部２２Ａが重畳オブジェクトを検出した被写体画像と、表示画像決定部２３により決定された被写体画像との間の対応に関する画像間対応情報を生成する場合、重畳オブジェクト情報生成部２２Ａが生成した重畳オブジェクトの空間情報である座標情報、および隣接座標変換情報記憶部２８３に蓄積されている一つまたは複数の隣接座標変換情報を参照し、隣接座標変換情報を累積することによって、重畳オブジェクト情報生成部２２Ａが重畳オブジェクトを検出した被写体画像と、表示画像決定部２３により決定された被写体画像との間の対応に関する画像間対応情報を生成する。
　このように、上述した実施の形態１，２では、被写体画像Ｗ11と被写体画像Ｗ12との間に存在する複数の被写体画像について、重畳オブジェクトの空間情報や、画像間対応情報は生成されていなかったが、本実施の形態３では、未使用スレッドが発生していれば、順次入力される被写体画像について、重畳オブジェクトの空間情報がそれぞれ生成される。
　続いて、画像処理装置２Ｃの各部が行う処理について図面を参照して説明する。図１０は、本発明の実施の形態３に係る画像処理装置２Ｃが行う処理を説明するフローチャートである。以下、制御部２７による制御のもと、各部が動作するものとして説明する。
　まず、制御部２７は、被写体画像の入力があるか否かを判断する（ステップＳ３０１）。制御部２７は、被写体画像の入力がないと判断した場合（ステップＳ３０１：Ｎｏ）、被写体画像の入力確認を繰り返す。これに対し、制御部２７は、被写体画像の入力があると判断した場合（ステップＳ３０１：Ｙｅｓ）、ステップＳ３０２に移行する。
　ステップＳ３０２では、画像間対応情報生成部２４は、画像取得部２１から入力された画像信号に基づく被写体画像と、被写体画像記憶部２８１に記憶されている被写体画像であって、画像取得部２１から入力された被写体画像と隣接した時間における被写体画像とについて座標変換により表現される隣接座標変換情報（一次画像間対応情報）を生成し、隣接座標情報記憶部２８３に順次蓄積する。
　その後、制御部２７は、隣接座標変換情報の蓄積処理を終了する指示の入力があるか否かを判断する（ステップＳ３０３）。制御部２７は、蓄積処理を終了する指示の入力がないと判断した場合（ステップＳ３０３：Ｎｏ）、ステップＳ３０１に戻り、上述した処理を繰り返す。これに対し、制御部２７は、蓄積処理を終了する指示の入力があると判断した場合（ステップＳ３０３：Ｙｅｓ）、蓄積処理を終了する。なお、隣接座標変換情報の蓄積処理を終了する指示の入力は、図示しない入力装置を介して入力された信号の入力であってもよいし、最後の被写体画像の入力があってから所定時間経過しても新たな被写体画像の入力がない場合に蓄積処理を終了する指示の入力があったと判断してもよい。
　上述した蓄積処理と並行して、制御部２７は、重畳オブジェクトの重畳処理を行う。まず、制御部２７は、未使用のスレッドが発生したか否かを判断する（ステップＳ３１１）。制御部２７は、例えばＣＰＵの空き容量を確認することで、未使用のスレッドが発生したか否かを判断する。ここで、制御部２７は、未使用のスレッドが発生していないと判断した場合（ステップＳ３１１：Ｎｏ）は、未使用スレッドが発生したか否かの確認を繰り返す。一方、制御部２７は、未使用のスレッドが発生していると判断した場合（ステップＳ３１１：Ｙｅｓ）、ステップＳ３１２に移行する。なお、この際、重畳オブジェクト情報生成部２２Ａは、複数の演算部（演算部２２１，２２２）のいずれかの演算部により、画像取得部２１から入力される被写体画像内の注目箇所を検出し、検出した注目箇所を示すオブジェクトであって、被写体画像の注目箇所に重畳する重畳オブジェクトの空間情報を生成する。重畳オブジェクト情報生成部２２Ａは、演算中ではない演算部を選択して重畳オブジェクトの空間情報を生成させ、生成した重畳オブジェクトの空間情報を重畳オブジェクト情報記憶部２８２に蓄積していく。
　ステップＳ３１２では、制御部２７は、画像取得部２１が取得した被写体画像である最新画像が、重畳オブジェクト決定済みの被写体画像であるか否かを判断する。ここで、制御部２７は、最新画像が、重畳オブジェクト決定済みの被写体画像であると判断した場合（ステップＳ３１２：Ｙｅｓ）、ステップＳ３２０に移行する。これに対し、制御部２７は、最新画像が、重畳オブジェクト決定済みの被写体画像ではないと判断した場合（ステップＳ３１２：Ｎｏ）、ステップＳ３１３に移行する。なお、本ステップでいう重畳オブジェクト決定済みとは、重畳オブジェクト決定処理が実行済み、または実行中であることを含み、制御部２７は、重畳オブジェクト決定処理が実行済み、または実行中であると判断した場合は、ステップＳ３２０に移行する。
　ステップＳ３１３では、重畳オブジェクト情報生成部２２Ａが、画像取得部２１から入力された被写体画像に重畳する重畳オブジェクトの空間情報を検出対象の被写体画像から生成する、または重畳オブジェクト情報記憶部２８２に記憶されている重畳オブジェクトの空間情報を取得する。重畳オブジェクト情報生成部２２Ａでは、未処理の被写体画像が重畳オブジェクト情報記憶部２８２にあれば、この被写体画像の重畳オブジェクトを優先し、生成または取得した空間情報を、表示画像決定部２３に出力する。
　その後、表示画像決定部２３は、重畳オブジェクト情報生成部２２Ａが空間情報の生成を完了した時間、または重畳オブジェクトを重畳オブジェクト情報記憶部２８２から取得した時間に応じた被写体画像を表示装置３に表示させる被写体画像として決定する（ステップＳ３１４）。
　ステップＳ３１４に続くステップＳ３１５では、画像間対応情報生成部２４が、重畳オブジェクト情報生成部２２Ａが生成した重畳オブジェクトの空間情報、および隣接座標変換情報記憶部２８３に蓄積されている一つまたは複数の隣接座標変換情報を取得して、隣接座標変換情報を順次累積していく。画像間対応情報生成部２４は、累積の都度、必要なすべての隣接座標変換情報累積処理が終了したか否かを判断し、必要なすべての隣接座標変換情報累積処理が終了していないと判断した場合（ステップＳ３１５：Ｎｏ）、隣接座標変換情報記憶部２８３を参照して隣接座標変換情報を取得する。これに対して、画像間対応情報生成部２４は、必要なすべての隣接座標変換累積が終了したと判断した場合（ステップＳ３１５：Ｙｅｓ）、ステップＳ３１６に移行する。
　ステップＳ３１６では、画像間対応情報生成部２４が、ステップＳ３１５で隣接画像間対応情報を累積して得られた情報を画像間対応情報とする。
　ステップＳ３１６に続くステップＳ３１７では、空間情報補正部２５が、画像間対応情報生成部２４が生成した画像間対応情報の変換パラメータに基づいて空間情報の各座標を変換した空間情報を空間情報として生成する。
　ステップＳ３１７に続くステップＳ３１８では、オブジェクト重畳部２６が、空間情報補正部２５によって補正された重畳オブジェクトを、表示画像決定部２３によって決定された被写体画像に重畳することによって、例えば、図３に示すように、病変部Ｓ11，Ｓ12の一部が、重畳オブジェクトＱ11，Ｑ12によって取り囲まれた被写体画像ＷS1を生成する。
　ステップＳ３１８に続くステップＳ３１９では、制御部２７の制御のもと、オブジェクト重畳部２６が生成した被写体画像（重畳オブジェクトが重畳された画像）を表示装置３に表示する制御を行う。制御部２７は、被写体画像を表示装置３に表示後、ステップＳ３２０に移行する。
　ステップＳ３２０では、制御部２７が、処理終了の指示入力があるか否かを判断する。ここで、制御部２７は、処理終了の指示入力がないと判断した場合（ステップＳ３２０：Ｎｏ）、ステップＳ３１１に移行して、上述した処理を繰り返す。一方、制御部２７は、処理終了の指示入力があると判断した場合（ステップＳ３２０：Ｙｅｓ）、本処理を終了する。
　上述した本実施の形態３によれば、順次入力される被写体画像に対して、重畳オブジェクト情報生成部２２Ａが、重畳オブジェクトの空間情報を生成し、画像間対応情報生成部２４が、画像間対応情報を生成し、隣接座標変換情報として記憶部２８Ａに蓄積させる処理を行い、画像間対応情報生成部２４が、検出対象の被写体画像と、重畳対象の被写体画像との間で生成された隣接座標変換情報を累積することによって検出対象の被写体画像と重畳対象の被写体画像の間の画像間対応情報を生成して、重畳オブジェクトの空間情報を補正するようにした。これにより、検出対象の被写体画像と重畳対象の被写体画像の間に存在する被写体画像における動きを加味して画像間対応情報を生成することができ、重畳対象の被写体画像における注目箇所の位置に対する重畳オブジェクトの位置ずれを一層確実に抑制することができる。
　なお、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施の形態および変形例で説明した構成要素を適宜組み合わせてもよい。
　このように、本発明は、ここでは記載していない様々な実施の形態等を含み得るものであり、請求の範囲に記載した技術的思想を逸脱しない範囲内において適宜設計変更等を行うことが可能である。
　以上のように、本発明にかかる画像処理装置、画像処理方法および画像処理プログラムは、検出対象の画像における注目箇所に基づいて生成したオブジェクトを、検出対象の画像とは異なる画像に重畳する場合であっても、重畳対象の画像における注目箇所の位置に対する位置ずれを抑制するのに有用である。
　１，１Ａ，１Ｂ，１Ｃ　画像処理システム
　２，２Ａ，２Ｂ，２Ｃ　画像処理装置
　３　表示装置
　２１　画像取得部
　２２　重畳オブジェクト情報生成部
　２３　表示画像決定部
　２４　画像間対応情報生成部
　２５　空間情報補正部
　２６　オブジェクト重畳部
　２７　制御部
　２８　記憶部
　２９　センサ情報取得部
　３０　類似度算出部
　３１　画像間対応情報選択部
　２２１，２２２　演算部
　２４１　全体画像間対応情報生成部
　２４２　部分画像間対応情報生成部
　２８１　被写体画像記憶部
　２８２　重畳オブジェクト情報記憶部
　２８３　隣接座標変換情報記憶部

Claims (14)

  1. 　複数の被写体画像を順次取得する被写体画像取得部と、
    　前記被写体画像に重畳する重畳オブジェクトであって、重畳対象の被写体画像とは異なる検出対象の被写体画像から検出した注目箇所に対応させて配置する重畳オブジェクトの空間情報を生成する重畳オブジェクト情報生成部と、
    　前記重畳オブジェクト情報生成部が前記空間情報を生成した時間に応じて、前記重畳オブジェクトとともに表示部に表示させる前記重畳対象の被写体画像を決定する表示画像決定部と、
    　前記検出対象の被写体画像と前記重畳対象の被写体画像との間の対応を推定した情報である画像間対応情報を生成する画像間対応情報生成部と、
    　前記重畳オブジェクトの空間情報を、前記画像間対応情報に基づいて補正する空間情報補正部と、
    　前記空間情報補正部によって補正された前記重畳オブジェクトを、前記表示画像決定部によって決定された前記重畳対象の被写体画像に重畳するオブジェクト重畳部と、
    　を備える画像処理装置。
  2. 　前記重畳オブジェクト情報生成部は、前記複数の被写体画像に対して、前記重畳オブジェクトの空間情報を生成する処理を行う複数の演算部
    を有することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記被写体画像に関する情報を記憶する記憶部をさらに備え、
    　前記画像間対応情報生成部は、前記被写体画像取得部が新たに被写体画像を取得した場合に、今回取得した被写体画像と、前回取得した被写体画像との間の一次画像間対応情報を生成し、
    　前記記憶部は、生成された前記一次画像間対応情報を順次記憶し、
    　前記画像間対応情報生成部は、前記記憶部に記憶された複数の前記一次画像間対応情報を累積することによって、前記重畳オブジェクト情報生成部が前記重畳オブジェクトの空間情報を生成した前記検出対象の被写体画像と、前記表示画像決定部により決定された前記重畳対象の被写体画像との間の前記画像間対応情報を生成する
    ことを特徴とする請求項１又は２に記載の画像処理装置。
  4. 　前記画像間対応情報生成部は、前記検出対象の被写体画像全体に基づいた、前記検出対象の被写体画像と前記重畳対象の被写体画像との間の全体画像間対応情報、および、前記検出対象の被写体画像における前記重畳オブジェクトの配置領域に対応する領域に基づいた、前記検出対象の被写体画像と前記重畳対象の被写体画像との間の部分画像間対応情報を生成し、
    　前記検出対象の被写体画像における前記重畳オブジェクトに対応する第１のオブジェクト領域と、前記全体画像間対応情報を用いて前記第１オブジェクト領域に対応付けられた、前記重畳対象の被写体画像における第２のオブジェクト領域との第１の類似度、および、前記第１のオブジェクト領域と、前記部分画像間対応情報を用いて前記第１のオブジェクト領域に対応付けられた、前記重畳対象の被写体画像における第３のオブジェクト領域との第２の類似度を算出する類似度算出部と、
    　前記第１の類似度および第２の類似度に基づいて、前記全体画像間対応情報および前記部分画像間対応情報のうちのいずれかを前記画像間対応情報として選択する選択部と、
    　を備えることを特徴とする請求項１又は２に記載の画像処理装置。
  5. 　前記画像間対応情報生成部は、前記検出対象の被写体画像全体を用いて、前記検出対象の被写体画像と前記重畳対象の被写体画像との間の前記画像間対応情報を生成する
    ことを特徴とする請求項１又は２に記載の画像処理装置。
  6. 　前記画像間対応情報生成部は、前記検出対象の被写体画像における前記重畳オブジェクトの配置領域に対応する領域を用いて、前記検出対象の被写体画像と前記重畳対象の被写体画像との間の前記画像間対応情報を生成する
    ことを特徴とする請求項１又は２に記載の画像処理装置。
  7. 　前記空間情報補正部は、前記画像間対応情報に基づいて前記重畳オブジェクトの空間情報を補正した後、前記検出対象の被写体画像の画素値と、前記重畳対象の被写体画像の画素値とに基づいて前記空間情報をさらに補正する
    ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　前記画像間対応情報生成部は、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換および平行移動からなる群の少なくとも一つの座標変換によって表現される情報を前記画像間対応情報として生成する
    ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　前記空間情報は、代表座標、領域マスク、輪郭線からなる群の少なくとも一つである
    ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
  10. 　前記重畳オブジェクトは、画像処理が施されている
    ことを特徴とする請求項８に記載の画像処理装置。
  11. 　前記重畳オブジェクト情報生成部は、前記検出対象の被写体画像に基づいて前記重畳オブジェクトの空間情報を生成する
    ことを特徴とする請求項１に記載の画像処理装置。
  12. 　前記重畳オブジェクト情報生成部は、センサからの検出情報に基づいて前記重畳オブジェクトの空間情報を生成する
    ことを特徴とする請求項１に記載の画像処理装置。
  13. 　複数の被写体画像を順次取得し、
    　前記被写体画像に重畳する重畳オブジェクトであって、重畳対象の被写体画像とは異なる被写体画像である検出対象の被写体画像から検出した注目箇所に対応させて配置する重畳オブジェクトの空間情報を生成し、
    　前記空間情報を生成した時間に応じて、前記重畳オブジェクトとともに表示部に表示させる前記重畳対象の被写体画像を決定し、
    　前記検出対象の被写体画像と前記重畳対象の被写体画像との間の対応を推定した情報である画像間対応情報を生成し、
    　前記重畳オブジェクトの空間情報を、前記画像間対応情報に基づいて補正し、
    　補正された前記重畳オブジェクトを、決定された前記重畳対象の被写体画像に重畳する
    　画像処理方法。
  14. 　複数の被写体画像を取得する被写体画像取得手順と、
    　前記被写体画像に重畳する重畳オブジェクトであって、重畳対象の被写体画像とは異なる被写体画像である検出対象の被写体画像から検出した注目箇所に対応させて配置する重畳オブジェクトの空間情報を生成する重畳オブジェクト情報生成手順と、
    　前記重畳オブジェクト情報生成手順で前記空間情報を生成した時間に応じて、前記重畳オブジェクトとともに表示部に表示させる前記重畳対象の被写体画像を決定する表示画像決定手順と、
    　前記検出対象の被写体画像と前記重畳対象の被写体画像との間の対応を推定した情報である画像間対応情報を生成する画像間対応情報生成手順と、
    　前記重畳オブジェクトの空間情報を、前記画像間対応情報に基づいて補正する空間情報補正手順と、
    　前記空間情報補正手順で補正された前記重畳オブジェクトを、前記表示画像決定手順によって決定された前記重畳対象の被写体画像に重畳するオブジェクト重畳手順と、
    　をコンピュータに実行させる画像処理プログラム。
PCT/JP2016/051455 2016-01-19 2016-01-19 画像処理装置、画像処理方法および画像処理プログラム WO2017126036A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2016/051455 WO2017126036A1 (ja) 2016-01-19 2016-01-19 画像処理装置、画像処理方法および画像処理プログラム
JP2017562199A JPWO2017126036A1 (ja) 2016-01-19 2016-01-19 画像処理装置、画像処理方法および画像処理プログラム
US16/035,745 US20180342079A1 (en) 2016-01-19 2018-07-16 Image processing apparatus, image processing method, and computer readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/051455 WO2017126036A1 (ja) 2016-01-19 2016-01-19 画像処理装置、画像処理方法および画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/035,745 Continuation US20180342079A1 (en) 2016-01-19 2018-07-16 Image processing apparatus, image processing method, and computer readable recording medium

Publications (1)

Publication Number Publication Date
WO2017126036A1 true WO2017126036A1 (ja) 2017-07-27

Family

ID=59361795

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/051455 WO2017126036A1 (ja) 2016-01-19 2016-01-19 画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US20180342079A1 (ja)
JP (1) JPWO2017126036A1 (ja)
WO (1) WO2017126036A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3544482A4 (en) 2016-11-28 2020-07-22 Adaptivendo LLC SEPARABLE DISPOSABLE SHAFT ENDOSCOPE
US11417426B2 (en) 2017-02-24 2022-08-16 Masimo Corporation System for displaying medical monitoring data
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
CN110809804B (zh) 2017-05-08 2023-10-27 梅西莫股份有限公司 使用适配器将医疗系统与网络控制器配对的系统
JP7297455B2 (ja) * 2019-01-31 2023-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
DE102019116383A1 (de) * 2019-06-17 2020-12-17 Schölly Fiberoptic GmbH Verfahren zum Markieren eines Bildbereichs in einem Bild einer Bildfolge
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257287A (ja) * 2006-03-23 2007-10-04 Tokyo Institute Of Technology 画像レジストレーション方法
JP2008109336A (ja) * 2006-10-25 2008-05-08 Matsushita Electric Ind Co Ltd 画像処理装置および撮像装置
WO2009011442A1 (ja) * 2007-07-19 2009-01-22 Olympus Corporation 画像処理方法、画像処理装置及びコンピュータ読取り可能な記録媒体
JP2011119917A (ja) * 2009-12-02 2011-06-16 Denso Corp 車両用表示装置
JP2013157704A (ja) * 2012-01-27 2013-08-15 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム、及び、電子機器
JP2014027580A (ja) * 2012-07-30 2014-02-06 Jvc Kenwood Corp 撮像装置、及び画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257287A (ja) * 2006-03-23 2007-10-04 Tokyo Institute Of Technology 画像レジストレーション方法
JP2008109336A (ja) * 2006-10-25 2008-05-08 Matsushita Electric Ind Co Ltd 画像処理装置および撮像装置
WO2009011442A1 (ja) * 2007-07-19 2009-01-22 Olympus Corporation 画像処理方法、画像処理装置及びコンピュータ読取り可能な記録媒体
JP2011119917A (ja) * 2009-12-02 2011-06-16 Denso Corp 車両用表示装置
JP2013157704A (ja) * 2012-01-27 2013-08-15 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム、及び、電子機器
JP2014027580A (ja) * 2012-07-30 2014-02-06 Jvc Kenwood Corp 撮像装置、及び画像処理方法

Also Published As

Publication number Publication date
JPWO2017126036A1 (ja) 2018-11-08
US20180342079A1 (en) 2018-11-29

Similar Documents

Publication Publication Date Title
WO2017126036A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2017212653A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR101420684B1 (ko) 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치
JP6141084B2 (ja) 撮像装置
JP6403115B2 (ja) ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法
JP2012186593A5 (ja)
JP6594170B2 (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
JP2017213097A (ja) 画像処理装置、画像処理方法およびプログラム
JP2013061850A5 (ja)
JP2005211488A5 (ja)
JP2015066023A5 (ja)
WO2013073627A1 (ja) 画像処理装置及び方法
US20200029924A1 (en) Angiography panning during x-ray roadmap
JP5974205B1 (ja) 画像処理装置、画像処理装置の作動方法
JP2017212638A (ja) 表示装置、表示装置の制御方法、及びプログラム
JP2013128212A5 (ja)
JP6716228B2 (ja) 医用画像処理装置および医用画像処理方法
JP2007209583A (ja) 医療用画像処理装置
JP5635389B2 (ja) 画像処理装置、画像処理プログラム、及びｘ線画像診断装置
US9727965B2 (en) Medical image processing apparatus and medical image processing method
JP6104066B2 (ja) 画像処理装置および画像処理方法
US20180098685A1 (en) Endoscope apparatus
US11592656B2 (en) Image processing apparatus, image processing program, and image processing method
JP2016149678A (ja) カメラ校正ユニット、カメラ校正方法、およびカメラ校正プログラム
JP2010110500A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16886278

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2017562199

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16886278

Country of ref document: EP

Kind code of ref document: A1