WO2017115442A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
WO2017115442A1
WO2017115442A1 PCT/JP2015/086569 JP2015086569W WO2017115442A1 WO 2017115442 A1 WO2017115442 A1 WO 2017115442A1 JP 2015086569 W JP2015086569 W JP 2015086569W WO 2017115442 A1 WO2017115442 A1 WO 2017115442A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
display
processing apparatus
subject
Prior art date
Application number
PCT/JP2015/086569
Other languages
English (en)
French (fr)
Inventor
岩城　秀和
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2015/086569 priority Critical patent/WO2017115442A1/ja
Priority to JP2017558835A priority patent/JPWO2017115442A1/ja
Publication of WO2017115442A1 publication Critical patent/WO2017115442A1/ja
Priority to US16/011,707 priority patent/US20180307933A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program for generating an image signal by performing signal processing on an imaging signal generated by an imaging element.
  • the medical endoscope apparatus is inserted into a subject such as a patient by inserting a flexible insertion portion having an elongated shape provided with an imaging element having a plurality of pixels at the tip, Since an in-vivo image (subject image) in a subject can be acquired without incising the subject, the burden on the subject is small, and the spread is increasing.
  • information indicating a region of interest such as a lesion detection result is displayed on the observation screen as a result of image analysis.
  • the information indicating the attention area is displayed by being superimposed on the attention area on the subject image at a predetermined position by a predetermined method (for example, see Patent Document 1).
  • a predetermined method for example, see Patent Document 1
  • the mark is superimposed on the subject image as the information indicating the region of interest, there is a problem that the region overlapping the mark cannot be observed in the subject image.
  • the display area is divided into two, the subject image is displayed in the first display area, and a mark indicating the attention area is attached to the second display area smaller than the first display area.
  • Means for displaying the captured subject image is disclosed (for example, see Patent Documents 2 and 3).
  • JP 2011-255006 A Japanese Patent Laid-Open No. 10-262923 Japanese Patent No. 4989036
  • the present invention has been made in view of the above, and is an image processing apparatus and an image processing method capable of ensuring the visibility of a subject image and improving the visibility of information indicating a region of interest in the subject image.
  • An object of the present invention is to provide an image processing program.
  • an image processing apparatus includes a subject image acquisition unit that acquires a subject image as first image data, and a feature amount of the subject image.
  • the image data includes an attention area detection unit that detects an attention area that is an attention area, and an instruction image that indicates information on the attention area in the subject image.
  • An image data generation unit that generates second image data having a small amount of information, and a display control unit that performs control to display an image corresponding to the second image data, the first image data An image corresponding to the second image data is displayed in the first display area, and an image corresponding to the second image data is displayed in the second display area.
  • an image processing method acquires a subject image as first image data, and in a region to be noted based on the feature amount of the subject image.
  • Image data including an instruction image that detects a certain region of interest and indicates information related to the region of interest in the subject image, the second image data having a smaller information amount than the information amount of the first image data.
  • an image processing program is based on a subject image acquisition procedure for acquiring a subject image as first image data, and a feature amount of the subject image.
  • Image data including a region of interest detection procedure for detecting a region of interest that is a region of interest, and an instruction image indicating information related to the region of interest in the subject image, compared to the amount of information in the first image data
  • An image data generation procedure for generating second image data with a small amount of information, a first display procedure for displaying an image corresponding to the first image data in the first display area, and the second image data And causing the computer to execute a second display procedure for displaying the corresponding image in the second display area.
  • the present invention it is possible to ensure the visibility of the subject image and improve the visibility of the information indicating the region of interest in the subject image.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope apparatus according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram showing a schematic configuration of the endoscope apparatus according to the embodiment of the present invention.
  • FIG. 3 is a flowchart for explaining processing performed by the endoscope apparatus according to the embodiment of the present invention.
  • FIG. 4 is a diagram for explaining a display screen displayed by the display unit of the endoscope apparatus according to the embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a display screen displayed by the display unit of the endoscope apparatus according to the first modification of the embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a display screen displayed by the display unit of the endoscope apparatus according to the second modification of the embodiment of the present invention.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope apparatus according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram showing a schematic configuration of the endoscope apparatus according to the embodiment
  • FIG. 7 is a diagram illustrating a display screen displayed by the display unit of the endoscope apparatus according to the third modification of the embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a display screen displayed by the display unit of the endoscope apparatus according to the fourth modification of the embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a schematic configuration of an endoscope apparatus according to Modification 5 of the embodiment of the present invention.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope apparatus 1 according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram showing a schematic configuration of the endoscope apparatus 1 according to the embodiment of the present invention.
  • An endoscope apparatus 1 shown in FIGS. 1 and 2 includes an endoscope 2 that captures an in-vivo image of an observation site by inserting an insertion portion 21 into a subject, and generates an electrical signal.
  • a light source section 3 that generates illumination light emitted from the distal end of the endoscope, and a processor section 4 that performs predetermined image processing on the electrical signal acquired by the endoscope 2 and controls the overall operation of the endoscope apparatus 1 in an integrated manner.
  • the endoscope apparatus 1 acquires an in-vivo image in a subject by inserting the insertion unit 21 into a subject such as a patient.
  • a surgeon such as a doctor examines the presence or absence of a bleeding site or a tumor site as a detection target site by observing the acquired in-vivo image.
  • the endoscope 2 includes an insertion portion 21 having an elongated shape having flexibility, an operation portion 22 that is connected to a proximal end side of the insertion portion 21 and receives input of various operation signals, and an insertion portion from the operation portion 22. And a universal cord 23 that extends in a direction different from the direction in which 21 extends and incorporates various cables connected to the light source unit 3 and the processor unit 4.
  • the insertion unit 21 includes pixels (photodiodes) that receive light arranged in a lattice (matrix), and includes an image sensor 202 that generates an image signal by performing photoelectric conversion on the light received by the pixels.
  • the operation unit 22 includes a bending knob 221 that bends the bending unit 25 in the vertical direction and the left-right direction, a treatment tool insertion unit 222 that inserts a treatment tool such as a biological forceps, an electric knife, and a test probe into the subject, and a light source unit. 3, an instruction signal for switching the illumination light, a treatment instrument, an operation instruction signal for an external device connected to the processor unit 4, a water supply instruction signal for water supply, and a suction instruction signal for suction Etc., and a plurality of switches 223 for inputting.
  • the treatment tool inserted from the treatment tool insertion portion 222 is exposed from an opening (not shown) via a treatment tool channel (not shown) provided at the distal end of the distal end portion 24.
  • the universal cord 23 includes at least a light guide 203 and an aggregate cable in which one or a plurality of signal lines are collected.
  • the collective cable is a signal line for transmitting and receiving signals between the endoscope 2 and the light source unit 3 and the processor unit 4, and is a signal line for transmitting and receiving setting data, a signal line for transmitting and receiving image signals, A signal line for transmitting and receiving a driving timing signal for driving the image sensor 202 is included.
  • the endoscope 2 includes an imaging optical system 201, an imaging element 202, a light guide 203, an illumination lens 204, an A / D conversion unit 205, and an imaging information storage unit 206.
  • the imaging optical system 201 is provided at the distal end portion 24 and collects at least light from the observation site.
  • the imaging optical system 201 is configured using one or a plurality of lenses. Note that the imaging optical system 201 may be provided with an optical zoom mechanism that changes the angle of view and a focus mechanism that changes the focus.
  • the imaging element 202 is provided perpendicular to the optical axis of the imaging optical system 201, and photoelectrically converts an image of light connected by the imaging optical system 201 to generate an electrical signal (imaging signal).
  • the image sensor 202 is realized using a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like.
  • the light guide 203 is configured using glass fiber or the like, and serves as a light guide path for light emitted from the light source unit 3.
  • the illumination lens 204 is provided at the tip of the light guide 203, diffuses the light guided by the light guide 203, and emits it to the outside of the tip 24.
  • the A / D conversion unit 205 performs A / D conversion on the electrical signal generated by the image sensor 202 and outputs the converted electrical signal to the processor unit 4.
  • the A / D conversion unit 205 converts the electrical signal generated by the image sensor 202 into, for example, 12-bit digital data (image signal).
  • the imaging information storage unit 206 stores various programs for operating the endoscope 2, various parameters necessary for the operation of the endoscope 2, identification information of the endoscope 2, and the like.
  • the imaging information storage unit 206 includes an identification information storage unit 261 that stores identification information.
  • the identification information includes unique information (ID) of the endoscope 2, year information, specification information, information on the transmission method, and the like.
  • the imaging information storage unit 206 is realized using a flash memory or the like.
  • the light source unit 3 includes an illumination unit 31 and an illumination control unit 32.
  • the illumination unit 31 switches and emits a plurality of illumination lights having different wavelength bands under the control of the illumination control unit 32.
  • the illumination unit 31 includes a light source 31a, a light source driver 31b, and a condenser lens 31c.
  • Light source 31a emits under the control of the illumination control unit 32, the red, green and blue wavelength band H R, the white illumination light including light of H G and H B.
  • the white illumination light generated by the light source 31a is emitted to the outside from the distal end portion 24 via the condenser lens 31c and the light guide 203.
  • the light source 31a is realized using a light source that emits white light, such as a white LED or a xenon lamp.
  • the light source driver 31b supplies white light to the light source 31a by supplying current to the light source 31a under the control of the illumination control unit 32.
  • the condensing lens 31c condenses the white illumination light emitted from the light source 31a and emits it to the outside of the light source unit 3 (light guide 203).
  • the illumination control unit 32 controls emission of illumination light by controlling the light source driver 31b to turn on and off the light source 31a.
  • the processor unit 4 includes an image processing unit 41, an input unit 42, a storage unit 43, and a control unit 44.
  • the image processing unit 41 executes predetermined image processing based on the imaging signal from the endoscope 2 (A / D conversion unit 205), and generates a display image signal to be displayed by the display unit 5.
  • the image processing unit 41 includes an image acquisition unit 411, an attention area detection unit 412, an image data generation unit 413, and a display control unit 414.
  • the image acquisition unit 411 receives an imaging signal from the endoscope 2 (A / D conversion unit 205).
  • the image acquisition unit 411 performs noise removal, A / D conversion, and synchronization processing (for example, performed when an image pickup signal for each color component is obtained using a color filter or the like) on the acquired image pickup signal. Apply processing.
  • the image acquisition unit 411 generates an image signal including a subject image to which RGB color components are added by the signal processing described above.
  • the image acquisition unit 411 inputs the generated image signal to the attention area detection unit 412 and the image data generation unit 413.
  • the image acquisition unit 411 may perform OB clamping processing, gain adjustment processing, and the like in addition to the above-described synchronization processing.
  • the attention area detection unit 412 detects whether there is a possibility of a lesion in the input image based on the input image generated by the image acquisition unit 411 and whether there is an attention area that is a region of interest.
  • the attention area detection unit 412 detects the attention area by detecting a lesion area based on the feature amount of the subject image. Examples of the feature amount include a luminance value and a signal value of each color component (RGB component).
  • RGB component color component
  • Various techniques for detecting lesions have been proposed. For example, "Towards Automatic Polyp Detection with a Polyp Appearance Model" Jorge Bernal, F. Javier Sanchez, & Fernando Vilarino, Pattern Recognition, 45 (9), 3166-3 Such a technique can be used.
  • the attention area detection unit 412 When detecting a lesioned part, the attention area detection unit 412 generates detection information regarding the coordinates and size of the center of gravity of the lesioned part in the input image, and inputs the detection information to the image data generation
  • the image data generation unit 413 performs a color conversion process on the image signal (subject image) generated by the image acquisition unit 411 in a color space of sRGB (XYZ color system), which is the color gamut of the display unit 5, for example. Then, gradation conversion based on predetermined gradation conversion characteristics, enlargement processing, or structure enhancement processing of structures such as capillaries and mucous membrane fine patterns on the surface of the mucosa are performed to generate first image data including the subject image. Further, the image data generation unit 413 receives the attention detected by the attention region detection unit 412 separately from the first image data subjected to the above-described processing when the detection information of the lesioned part is input from the attention region detection unit 412.
  • sRGB XYZ color system
  • Second image data including an instruction image indicating information regarding the region and smaller than the information amount of the first image data is generated. Note that the image data generation unit 413 generates only the first image data without generating the second image data when the lesion area detection information is not input from the attention area detection unit 412.
  • the display control unit 414 inputs image data (first image data or first and second image data) generated by the image data generation unit 413 to the display unit 5 under the control of the control unit 44. Control the display.
  • the input unit 42 is an interface for performing an input from the surgeon to the processor unit 4, a power switch for turning on / off the power, a mode switching button for switching a photographing mode and various other modes,
  • the light source unit 3 includes an illumination light switching button for switching on and off illumination light and the like.
  • the storage unit 43 records various programs for operating the endoscope apparatus 1, such as an image processing program and data including various parameters necessary for the operation of the endoscope apparatus 1.
  • the storage unit 43 is realized by using a semiconductor memory such as a flash memory or a DRAM (Dynamic Random Access Memory).
  • the storage unit 43 includes an instruction image information storage unit 431 that stores information indicating a region of interest in the display image, for example, an instruction image.
  • the control unit 44 is configured using a CPU or the like, and performs drive control of each component including the endoscope 2 and the light source unit 3, input / output control of information with respect to each component, and the like.
  • the control unit 44 transmits setting data (for example, a pixel to be read) recorded in the storage unit 43, a timing signal related to imaging timing, and the like via a predetermined signal line to the endoscope. 2 to send.
  • the display unit 5 receives the display image signal generated by the processor unit 4 via the video cable and displays an in-vivo image corresponding to the display image signal.
  • the display unit 5 is configured using liquid crystal or organic EL (Electro Luminescence).
  • FIG. 3 is a flowchart for explaining processing performed by the endoscope apparatus 1 according to the embodiment of the present invention.
  • FIG. 4 is a diagram illustrating the display screen W 1 displayed by the display unit 5 of the endoscope apparatus 1 according to the embodiment of the present invention. Hereinafter, description will be made assuming that each unit operates under the control of the control unit 44.
  • the image acquisition unit 411 acquires an imaging signal digitally converted from the endoscope 2 (step S101). As described above, the image acquisition unit 411 performs signal processing such as noise removal, A / D conversion, and synchronization processing on the acquired imaging signal, and includes an object image to which RGB color components are added. Generate a signal. The image acquisition unit 411 inputs the generated image signal to the attention area detection unit 412 and the image data generation unit 413.
  • the attention area detection unit 412 is based on the input image generated by the image acquisition unit 411, and whether or not there is a attention area (for example, attention area C shown in FIG. 4) that may be a lesion in the input image. Is detected (step S102).
  • the attention area detection unit 412 When detecting a lesioned part, the attention area detection unit 412 generates detection information regarding the coordinates and size of the center of gravity of the attention area C that may be the lesion part in the subject image, and inputs the detection information to the image data generation unit 413. To do.
  • the image data generation unit 413 generates image data.
  • the image data generation unit 413 determines whether detection information is input from the attention area detection unit 412 (step S103).
  • the image data generation unit 413 proceeds to step S104.
  • the image data generation unit 413 proceeds to step S105.
  • the image data generation unit 413 generates first image data based on the image signal generated by the image acquisition unit 411 and generates second image data including an instruction image based on the detection information.
  • the image data generation unit 413 includes the subject image, and relates to the first image data to be displayed in the first display region R 1 in the display unit 5 and the attention region in the subject image.
  • Second image data including an instruction image I 1 indicating information and smaller than the information amount of the first image data is generated.
  • the second image data has a relationship similar to the contour of the first display region R 1 and the instruction image I 1 indicating information on the attention region C, and the contour of the second display region R 2 A contour image I r formed, and a background image I b forming the background of the second display region R 2 .
  • the background image I b is generated using the same color as the first display region R 1 other than the background of the display screen W 1.
  • the instruction image I 1 is a rectangular figure that forms a rectangle, and is generated using an inverted color (complementary color) of the average color of the subject image displayed in the first display region R 1 .
  • Instruction image I 1 for example, the center position of the rectangular relative to the contour image I r is disposed so as to correspond to the position of the center of gravity of the region of interest C with respect to the first display region R 1 of the contour.
  • Outline image I r is no the first display region R 1 of the shape, similar to a ring shape along the contour, the inverted color of the background image I b (color of the first display region R 1 other than the display region) It is generated using a color (complementary color).
  • each image (the instruction image I 1 , the contour image I r, and the background image I b ) is composed of single color information, for example, from a plurality of color information such as an intraluminal image of the subject. The number of colors is small and the amount of information (data amount) is small compared to the subject image.
  • step S105 the image data generation unit 413 generates first image data based on the image signal generated by the image acquisition unit 411.
  • the first image data displayed in the first display region R 1 and the second display region R 2 displayed in the first display region R 1 in the display unit 5 according to the presence / absence of the detection information of the attention region.
  • Image data is generated.
  • the display control unit 414 performs control of inputting and displaying image data on the display unit 5 under the control of the control unit 44. Surgeon for instructing image I 1 is displayed when observing the subject images sequentially displayed on the display unit 5 (first image data), the region of interest is detected, check the instruction image I 1 By doing so, it is possible to easily grasp at which position of the subject image the attention area exists. Thereby, oversight of a lesioned part can be suppressed.
  • the attention area detection unit 412 detects an attention area that is an attention area based on the feature amount of the subject image
  • the image data generation section 413 detects the attention area detection information.
  • the display control unit 414 displays the first image corresponding to the first image data in the first display area of the display unit, and displays the second image corresponding to the second image data in the second part of the display unit. Control to display in the display area.
  • the background of the second display region R 2 is made a single color, for example, black, and the color of the instruction image I 1 is changed to the background color of the second display region R 2.
  • the contrast is white, the visibility of the instruction image I 1 in the second display region R 2 can be improved.
  • the color of the instruction image I 1 and the background color of the second display region R 2 are made a single color, thereby reducing the number of colors and reducing the amount of information.
  • the combination of colors is not limited to this.
  • the background color of the second display region R 2 may be white
  • the color of the instruction image I 1 may be black with the brightness of the background color of the second display region R 2 reversed
  • the second The background color of the display area R 2 may be black or white
  • the color of the instruction image I 1 may be a color other than black or white.
  • the color of the instruction image I 1 may be black, white, or a complementary color of the background color of the second display region R 2.
  • the color of the second display region R 2 of the background is the average color of the subject image displayed in the first display area R 1, displays the color of the instruction image I 1 in the display region R 1 of the first
  • the average color of the subject image may be a complementary color.
  • the background color of the second display region R 2 may be a single color such as black, and the color of the instruction image I 1 may be a complementary color of the average color of the subject image displayed in the first display region R 1 .
  • the background of the second display area R 2 corresponds to the subject image displayed in the first display area R 1 , and the background of the second display area R 2 is changed to the first display area R 1 .
  • the displayed subject image may be an image in which at least one of resolution, saturation, brightness, and contrast is reduced, and the information amount of the second image data may be reduced.
  • the background of the second display area R 2 is formed by reducing at least one of resolution, saturation, brightness, and contrast based on the subject image displayed in the first display area R 1 .
  • the amount of information can also be reduced by lowering the refresh rate of the display image in the second display region R 2 relative to the refresh rate of the subject image displayed in the first display region R 1 .
  • FIG. 5 is a diagram illustrating a display screen W 2 displayed on the display unit 5 of the endoscope apparatus 1 according to the first modification of the embodiment of the present invention.
  • the instruction image I 2 shown in FIG. 5 has a cross shape of an inverted color (complementary color) of the background image I b .
  • the crossed portion is arranged so as to correspond to the center of gravity position of the attention area C. Also in the first modification, the same effect as that of the above-described embodiment can be obtained.
  • FIG. 6 is a diagram illustrating a display screen W 3 displayed by the display unit 5 of the endoscope apparatus 1 according to the second modification of the embodiment of the present invention.
  • each line segment has a length corresponding to the length in each direction.
  • the crossed portion is arranged so as to correspond to the position of the center of gravity of the attention area C. Also in the second modification, it is possible to obtain the same effect as in the above-described embodiment and to grasp the size of the attention area C.
  • FIG. 7 is a diagram illustrating a display screen W 4 displayed on the display unit 5 of the endoscope apparatus 1 according to the third modification of the embodiment of the present invention.
  • the instruction image I 4 shown in FIG. 7 has an oval shape that is colored with the reverse color (complementary color) of the background image I b .
  • the instruction image I 4 is, for example, arranged so that the center of gravity of the ellipse (the intersection of the long axis and the short axis) corresponds to the position of the center of gravity of the attention area C, and the background transmittance decreases as it approaches the center of gravity.
  • the instruction image I 4 is arranged so that the direction of the major axis of the ellipse is parallel to the longitudinal direction of the region of interest C.
  • the length of the major axis of the ellipse corresponds to the length of the attention area C in the longitudinal direction
  • the length of the minor axis corresponds to the length in the direction orthogonal to the longitudinal direction of the attention area C. It is preferable to correspond.
  • the same effect as in the above-described embodiment can be obtained.
  • the visibility of the position of the center of gravity can be improved by reducing the background transmittance as it is closer to the center of gravity.
  • the instruction image extends in a direction corresponding to the longitudinal direction of the attention area C and a direction orthogonal to the longitudinal direction, and has a shape having a length corresponding to each direction.
  • the present invention is not limited to this, and may reflect at least one of the aspect ratio and inclination of the region of interest, or the color of the instruction image may be the reverse color of the subject image.
  • FIG. 8 is a diagram for explaining a display screen W 5 displayed by the display unit 5 of the endoscope apparatus 1 according to the modification 4 of the embodiment of the present invention.
  • the display screen W 5 in addition to the contour image I r, further comprising a cross-shaped guide wire made of two linear image (linear image I S1, I S2) orthogonal to each other.
  • the straight line image I S1 extends in the vertical direction from the center of the second display region R 2 in the horizontal direction (the horizontal direction in the rectangular display screen W 5 ).
  • the straight line image I S2 extends in the horizontal direction from the center in the vertical direction (vertical direction in the rectangular display screen W 5 ) of the second display region R 2 .
  • the straight line images I S1 and I S2 are superimposed on the instruction image I 4 in terms of improving the visibility of the guide lines, that is, arranged so that the guide lines are not hidden by the instruction image I 4 . It is preferable.
  • the present invention is not limited to this. *) It may be formed using at least one of one or a plurality of straight lines and one or a plurality of curves, such as a radial shape such as a shape, a concentric circle, and a concentric polygon. Further, the color of the instruction image and the color of the guide line may be the same or different.
  • the second display area R 2 is described as being displayed adjacent to the first display area R 1.
  • the display position is not limited to this. .
  • it may be arranged on the right side of the first display area R 1 on the display screen, or may be arranged on the upper left, lower left, upper right, lower right, upper, or lower. It is preferable to be closer to the center of the screen.
  • the size of the second display region R 2 has been described as smaller than the first display region R 1, it may be larger than the first display region R 1.
  • the outline (contour image I r ) of the second display region R 2 has been described as an octagon corresponding to the first display region R 1, it may be a rectangle, Is not limited.
  • FIG. 9 is a diagram illustrating a schematic configuration of an endoscope apparatus according to Modification 5 of the embodiment of the present invention.
  • An endoscope apparatus 1A according to Modification 5 includes a display unit 5A instead of the display unit 5 of the endoscope apparatus 1 according to the above-described embodiment.
  • Display unit 5A includes a first display unit 51 for displaying an image on the first display region R 1, and a second display unit 52 for displaying an image on the second display region R 2.
  • the display unit 5A is configured using liquid crystal or organic EL (Electro Luminescence).
  • the image acquisition unit 411 inputs the generated image signal to the first display unit 51 as the first image data including the first image, and the first image is displayed in the first display region R. 1 is displayed.
  • the image acquisition unit 411 performs image processing for display as necessary.
  • the image data generation unit 413 generates second image data including the instruction image and inputs the second image data to the display control unit 414.
  • the display control unit 414, the second image data by the image data generating unit 413 has generated is input to the second display unit 52, performs control to display the second image on the second display region R 2.
  • the first image is displayed in the first display region R 1 without using the display control unit 414.
  • the second image is input to the second display unit 52 via the display control unit 414, is displayed on the second display region R 2.
  • the same effect as in the above-described embodiment can be obtained.
  • the first display region R 1 and the second display region R 2 may be provided on the same monitor display screen, or provided on two different monitors. May be. That is, the first display unit 51 and the second display unit 52 may be configured by the same monitor or may be configured by a plurality of different monitors. Moreover, it is preferable that the first display region R 1 and the second display region R 2 are arranged side by side in order to ensure visibility.
  • the endoscope apparatus 1 has been described as the A / D conversion unit 205 being provided in the endoscope 2, it may be provided in the processor unit 4. . Further, the configuration relating to the image processing may be provided in the endoscope 2, the connector that connects the endoscope 2 and the processor unit 4, the operation unit 22, or the like. In the endoscope apparatus 1 described above, the endoscope unit 2 connected to the processor unit 4 is identified using the identification information stored in the identification information storage unit 261. However, the processor unit 4 An identification means may be provided at a connection portion (connector) between the endoscope 2 and the endoscope 2. For example, an identification pin (identification means) is provided on the endoscope 2 side to identify the endoscope 2 connected to the processor unit 4.
  • the display may be changed according to the skill level of the operator.
  • the display mode is set based on the information of the operator who is logged in to the apparatus.
  • the medical flexible endoscope has been described as an example.
  • the present invention is not limited to this, and is not limited to this.
  • the present invention can also be applied to an endoscope apparatus using a camera head connected to an eyepiece portion of an optical endoscope such as an endoscope, a capsule endoscope, a fiber scope, an optical endoscope, or the like.
  • the image processing apparatus according to the present invention can be applied to the inside or outside of the body, and performs processing on a video signal including an imaging signal and an image signal generated outside.
  • the present invention can include various embodiments and the like not described herein, and appropriate design changes and the like can be made without departing from the technical idea described in the claims. Is possible.
  • the image processing apparatus, the image processing method, and the image processing program according to the present invention are useful for ensuring the visibility of the subject image and improving the visibility of the information indicating the region of interest in the subject image. It is.

Abstract

本発明にかかる画像処理装置は、被写体画像を第１の画像データとして取得する被写体画像取得部と、被写体画像の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、被写体画像における注目領域に関する情報を示す指示画像を含む画像データであって、第１の画像データの情報量と比して小さい情報量を有する第２の画像データを生成する画像データ生成部と、第２の画像データに対応する画像を表示させる制御を行う表示制御部と、を備え、第１の画像データに対応する画像を第１の表示領域に表示させ、第２の画像データに対応する画像を第２の表示領域に表示させる。

Description

画像処理装置、画像処理方法および画像処理プログラム
　本発明は、撮像素子により生成された撮像信号に信号処理を施して画像信号を生成する画像処理装置、画像処理方法および画像処理プログラムに関する。
　従来、医療分野および工業分野において、各種検査のために内視鏡装置が広く用いられている。このうち、医療用の内視鏡装置は、患者等の被検体内に、複数の画素を有する撮像素子が先端に設けられた、細長形状をなす可撓性の挿入部を挿入することによって、被検体を切開しなくても被検体内の体内画像（被写体画像）を取得できるため、被検体への負担が少なく、普及が進んでいる。
　このような内視鏡装置を用いた被写体画像の観察では、画像解析の結果として、病変検出結果などの注目領域を指示する情報が観察画面上に表示される。この注目領域を指示する情報は、被写体画像上の注目領域に対して所定の位置に所定の方法で重畳して表示される（例えば、特許文献１を参照）。しかしながら、注目領域を指示する情報として、例えばマークを被写体画像上に重畳して表示すると、被写体画像においてマークと重なる領域を観察できないという問題があった。
　この問題を解決するために、表示領域を２つに分けて、第１表示領域には被写体画像を表示し、第１表示領域よりも小さい第２表示領域には注目領域を指示するマークを付した被写体画像を表示する手段が開示されている（例えば、特許文献２，３を参照）。
特開２０１１－２５５００６号公報 特開平１０－２６２９２３号公報 特許第４９８９０３６号公報
　しかしながら、特許文献２，３が開示する技術では、第２表示領域において、背景を被写体画像として、この被写体画像上にマークが表示されており、被写体画像の色合いによってはマークの視認性が低下する。このため、注目領域を指示するマークの視認性を向上する技術が求められていた。
　本発明は、上記に鑑みてなされたものであって、被写体画像の視認性を確保するとともに、被写体画像における注目領域を指示する情報の視認性を向上することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、被写体画像を第１の画像データとして取得する被写体画像取得部と、前記被写体画像の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、前記被写体画像における前記注目領域に関する情報を示す指示画像を含む画像データであって、前記第１の画像データの情報量と比して小さい情報量を有する第２の画像データを生成する画像データ生成部と、前記第２の画像データに対応する画像を表示させる制御を行う表示制御部と、を備え、前記第１の画像データに対応する画像を第１の表示領域に表示させ、前記第２の画像データに対応する画像を第２の表示領域に表示させる。
　上述した課題を解決し、目的を達成するために、本発明にかかる画像処理方法は、被写体画像を第１の画像データとして取得し、前記被写体画像の特徴量に基づいて、注目すべき領域である注目領域を検出し、前記被写体画像における前記注目領域に関する情報を示す指示画像を含む画像データであって、第１の画像データの情報量と比して小さい情報量の第２の画像データを生成し、前記第１の画像データに対応する画像を第１の表示領域に表示させ、前記第２の画像データに対応する画像を第２の表示領域に表示させる。
　上述した課題を解決し、目的を達成するために、本発明にかかる画像処理プログラムは、被写体画像を第１の画像データとして取得する被写体画像取得手順と、前記被写体画像の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出手順と、前記被写体画像における前記注目領域に関する情報を示す指示画像を含む画像データであって、第１の画像データの情報量と比して小さい情報量の第２の画像データを生成する画像データ生成手順と、前記第１の画像データに対応する画像を第１の表示領域に表示させる第１表示手順と、前記第２の画像データに対応する画像を第２の表示領域に表示させる第２表示手順と、をコンピュータに実行させる。
　本発明によれば、被写体画像の視認性を確保するとともに、被写体画像における注目領域を指示する情報の視認性を向上することができるという効果を奏する。
図１は、本発明の一実施の形態にかかる内視鏡装置の概略構成を示す図である。 図２は、本発明の一実施の形態にかかる内視鏡装置の概略構成を示す模式図である。 図３は、本発明の一実施の形態にかかる内視鏡装置が行う処理を説明するフローチャートである。 図４は、本発明の一実施の形態にかかる内視鏡装置の表示部が表示する表示画面を説明する図である。 図５は、本発明の実施の形態の変形例１にかかる内視鏡装置の表示部が表示する表示画面を説明する図である。 図６は、本発明の実施の形態の変形例２にかかる内視鏡装置の表示部が表示する表示画面を説明する図である。 図７は、本発明の実施の形態の変形例３にかかる内視鏡装置の表示部が表示する表示画面を説明する図である。 図８は、本発明の実施の形態の変形例４にかかる内視鏡装置の表示部が表示する表示画面を説明する図である。 図９は、本発明の実施の形態の変形例５にかかる内視鏡装置の概略構成を示す図である。
　以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、画像処理装置を含む装置の一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡装置について説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
（実施の形態）
　図１は、本発明の一実施の形態にかかる内視鏡装置１の概略構成を示す図である。図２は、本発明の一実施の形態にかかる内視鏡装置１の概略構成を示す模式図である。図１および図２に示す内視鏡装置１は、被検体内に挿入部２１を挿入することによって観察部位の体内画像を撮像して電気信号を生成する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源部３と、内視鏡２が取得した電気信号に所定の画像処理を施すとともに、内視鏡装置１全体の動作を統括的に制御するプロセッサ部４と、プロセッサ部４が画像処理を施した体内画像を表示する表示部５と、を備える。内視鏡装置１は、患者等の被検体内に、挿入部２１を挿入して被検体内の体内画像を取得する。医師等の術者は、取得した体内画像の観察を行うことによって、検出対象部位である出血部位や腫瘍部位の有無を検査する。
　内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、光源部３およびプロセッサ部４に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。
　挿入部２１は、光を受光する画素(フォトダイオード)が格子（マトリックス）状に配列され、当該画素が受光した光に対して光電変換を行うことにより画像信号を生成する撮像素子２０２を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。
　操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、光源部３に照明光の切替動作を行わせるための指示信号、処置具や、プロセッサ部４と接続する外部機器の操作指示信号、送水を行うための送水指示信号、および吸引を行うための吸引指示信号などを入力する複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の先端に設けられる処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。
　ユニバーサルコード２３は、ライトガイド２０３と、一または複数の信号線をまとめた集合ケーブルと、を少なくとも内蔵している。集合ケーブルは、内視鏡２および光源部３とプロセッサ部４との間で信号を送受信する信号線であって、設定データを送受信するための信号線、画像信号を送受信するための信号線、撮像素子２０２を駆動するための駆動用のタイミング信号を送受信するための信号線などを含む。
　また、内視鏡２は、撮像光学系２０１、撮像素子２０２、ライトガイド２０３、照明用レンズ２０４、Ａ／Ｄ変換部２０５および撮像情報記憶部２０６を備える。
　撮像光学系２０１は、先端部２４に設けられ、少なくとも観察部位からの光を集光する。撮像光学系２０１は、一または複数のレンズを用いて構成される。なお、撮像光学系２０１には、画角を変化させる光学ズーム機構および焦点を変化させるフォーカス機構が設けられていてもよい。
　撮像素子２０２は、撮像光学系２０１の光軸に対して垂直に設けられ、撮像光学系２０１によって結ばれた光の像を光電変換して電気信号(撮像信号)を生成する。撮像素子２０２は、ＣＣＤ（Charge　Coupled　Device）イメージセンサやＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサ等を用いて実現される。
　ライトガイド２０３は、グラスファイバ等を用いて構成され、光源部３が出射した光の導光路をなす。
　照明用レンズ２０４は、ライトガイド２０３の先端に設けられ、ライトガイド２０３により導光された光を拡散して先端部２４の外部に出射する。
　Ａ／Ｄ変換部２０５は、撮像素子２０２が生成した電気信号をＡ／Ｄ変換し、該変換した電気信号をプロセッサ部４に出力する。Ａ／Ｄ変換部２０５は、撮像素子２０２が生成した電気信号を、例えば１２ビットのデジタルデータ（画像信号）に変換する。
　撮像情報記憶部２０６は、内視鏡２を動作させるための各種プログラム、内視鏡２の動作に必要な各種パラメータおよび当該内視鏡２の識別情報等を含むデータを記憶する。また、撮像情報記憶部２０６は、識別情報を記憶する識別情報記憶部２６１を有する。識別情報には、内視鏡２の固有情報（ＩＤ）、年式、スペック情報および伝送方式に関する情報等が含まれる。撮像情報記憶部２０６は、フラッシュメモリ等を用いて実現される。
　つぎに、光源部３の構成について説明する。光源部３は、照明部３１および照明制御部３２を備える。
　照明部３１は、照明制御部３２の制御のもと、波長帯域が互いに異なる複数の照明光を切り替えて出射する。照明部３１は、光源３１ａ、光源ドライバ３１ｂおよび集光レンズ３１ｃを有する。
　光源３１ａは、照明制御部３２の制御のもと、赤色、緑色および青色の波長帯域ＨＲ，ＨＧおよびＨＢの光を含む白色照明光を出射する。光源３１ａが発生した白色照明光は、集光レンズ３１ｃおよびライトガイド２０３を経由して先端部２４から外部に出射される。光源３１ａは、白色ＬＥＤや、キセノンランプなどの白色光を発する光源を用いて実現される。
　光源ドライバ３１ｂは、照明制御部３２の制御のもと、光源３１ａに対して電流を供給することにより、光源３１ａに白色照明光を出射させる。
　集光レンズ３１ｃは、光源３１ａが出射した白色照明光を集光して、光源部３の外部（ライトガイド２０３）に出射する。
　照明制御部３２は、光源ドライバ３１ｂを制御して光源３１ａをオンオフ動作させることによって、照明光の出射を制御する。
　次に、プロセッサ部４の構成について説明する。プロセッサ部４は、画像処理部４１、入力部４２、記憶部４３および制御部４４を備える。
　画像処理部４１は、内視鏡２（Ａ／Ｄ変換部２０５）からの撮像信号をもとに所定の画像処理を実行して、表示部５が表示するための表示画像信号を生成する。画像処理部４１は、画像取得部４１１、注目領域検出部４１２、画像データ生成部４１３、表示制御部４１４を有する。
　画像取得部４１１は、内視鏡２（Ａ／Ｄ変換部２０５）から撮像信号を受信する。画像取得部４１１は、取得した撮像信号に対してノイズ除去やＡ／Ｄ変換、同時化処理（例えば、カラーフィルタ等を用いて色成分ごとの撮像信号が得られた場合に行う）などの信号処理を施す。画像取得部４１１は、上述した信号処理によりＲＧＢの色成分が付与された被写体画像を含む画像信号を生成する。画像取得部４１１は、生成した画像信号を、注目領域検出部４１２および画像データ生成部４１３に入力する。画像取得部４１１は、上述した同時化処理などのほか、ＯＢクランプ処理や、ゲイン調整処理などを行ってもよい。
　注目領域検出部４１２は、画像取得部４１１が生成した入力画像に基づき、入力画像内に病変部の可能性があり、注目すべき領域である注目領域が存在するか否かの検出を行う。注目領域検出部４１２は、被写体画像の特徴量に基づいて病変部を検出することによって注目領域を検出する。特徴量としては、輝度値や、各色成分（ＲＧＢ成分）の信号値が挙げられる。病変部を検出する技術は様々提案されており、例えば、"Towards　Automatic　Polyp　Detection　with　a　Polyp　Appearance　Model"　Jorge　Bernal,　F.　Javier　Sanchez,　&　Fernando　Vilarino,　Pattern　Recognition,　45(9),　3166-3182のような技術を用いて実現することができる。注目領域検出部４１２は、病変部を検出した場合、入力画像における該病変部の重心の座標や、大きさに関する検出情報を生成し、画像データ生成部４１３に入力する。
　画像データ生成部４１３は、画像取得部４１１により生成された画像信号（被写体画像）に対して、表示部５の色域である例えばｓＲＧＢ（ＸＹＺ表色系）の色空間に色変換処理を行い、所定の階調変換特性に基づく階調変換、拡大処理、または粘膜表層の毛細血管や粘膜微細模様などの構造の構造強調処理などを施して被写体画像を含む第１の画像データを生成する。また、画像データ生成部４１３は、注目領域検出部４１２から病変部の検出情報が入力された場合、上述した処理を施した第１の画像データとは別に、注目領域検出部４１２が検出した注目領域に関する情報を示す指示画像を含み、第１の画像データの情報量と比して小さい第２の画像データを生成する。なお、画像データ生成部４１３は、注目領域検出部４１２から病変部の検出情報が入力されていない場合、第２の画像データを生成せずに、第１の画像データのみを生成する。
　表示制御部４１４は、制御部４４の制御のもと、画像データ生成部４１３が生成した画像データ（第１の画像データ、または第１および第２の画像データ）を表示部５に入力して表示させる制御を行う。
　入力部４２は、プロセッサ部４に対する術者からの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影モードやその他各種のモードを切り替えるためのモード切替ボタン、光源部３の照明光のオンオフ等を切り替えるための照明光切替ボタンなどを含んで構成されている。
　記憶部４３は、内視鏡装置１を動作させるための各種プログラム、例えば、画像処理プログラムや、内視鏡装置１の動作に必要な各種パラメータ等を含むデータを記録する。記憶部４３は、フラッシュメモリやＤＲＡＭ（Dynamic　Random　Access　Memory）等の半導体メモリを用いて実現される。記憶部４３は、表示画像中の注目領域を指示する情報、例えば指示画像などを記憶する指示画像情報記憶部４３１を有する。
　制御部４４は、ＣＰＵ等を用いて構成され、内視鏡２および光源部３を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部４４は、記憶部４３に記録されている撮像制御のための設定データ（例えば、読み出し対象の画素など）や、撮像タイミングにかかるタイミング信号等を、所定の信号線を介して内視鏡２へ送信する。
　次に、表示部５について説明する。表示部５は、映像ケーブルを介してプロセッサ部４が生成した表示画像信号を受信して該表示画像信号に対応する体内画像を表示する。表示部５は、液晶または有機ＥＬ（Electro　Luminescence）を用いて構成される。
　続いて、内視鏡装置１のプロセッサ部４の各部が行う処理について図面を参照して説明する。図３は、本発明の一実施の形態にかかる内視鏡装置１が行う処理を説明するフローチャートである。図４は、本発明の一実施の形態にかかる内視鏡装置１の表示部５が表示する表示画面Ｗ1を説明する図である。以下、制御部４４による制御のもと、各部が動作するものとして説明する。
　まず、画像取得部４１１が、内視鏡２からデジタル変換された撮像信号を取得する（ステップＳ１０１）。画像取得部４１１は、上述したように、取得した撮像信号に対してノイズ除去やＡ／Ｄ変換、同時化処理などの信号処理を施して、ＲＧＢの色成分が付与された被写体画像を含む画像信号を生成する。画像取得部４１１は、生成した画像信号を、注目領域検出部４１２および画像データ生成部４１３に入力する。
　続いて、注目領域検出部４１２は、画像取得部４１１が生成した入力画像に基づき、入力画像内に病変部の可能性がある注目領域（例えば、図４に示す注目領域Ｃ）があるか否かの検出を行う（ステップＳ１０２）。注目領域検出部４１２は、病変部を検出した場合、被写体画像における該病変部の可能性がある注目領域Ｃの重心の座標や、大きさに関する検出情報を生成し、画像データ生成部４１３に入力する。
　ステップＳ１０２に続くステップＳ１０３～Ｓ１０５において、画像データ生成部４１３が、画像データの生成を行う。まず、画像データ生成部４１３は、注目領域検出部４１２から検出情報の入力があるか否かを判断する（ステップＳ１０３）。ここで、画像データ生成部４１３は、注目領域検出部４１２から検出情報の入力がある場合（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０４に移行する。これに対し、画像データ生成部４１３は、注目領域検出部４１２から検出情報の入力がない場合（ステップＳ１０３：Ｎｏ）、ステップＳ１０５に移行する。
　ステップＳ１０４では、画像データ生成部４１３は、画像取得部４１１が生成した画像信号に基づき第１の画像データを生成するとともに、検出情報に基づく指示画像を含む第２の画像データを生成する。具体的に、図４に示すような、画像データ生成部４１３は、被写体画像を含み、表示部５における第１の表示領域Ｒ1に表示する第１の画像データと、被写体画像における注目領域に関する情報を示す指示画像Ｉ1を含み、第１の画像データの情報量と比して小さい第２の画像データとを生成する。
　ここで、第２の画像データは、注目領域Ｃに関する情報を示す指示画像Ｉ1と、第１の表示領域Ｒ1の輪郭と相似な関係を有し、第２の表示領域Ｒ2の輪郭をなす輪郭画像Ｉrと、第２の表示領域Ｒ2の背景をなす背景画像Ｉbを含む。本実施の形態では、背景画像Ｉbは、表示画面Ｗ1の第１の表示領域Ｒ1以外の背景と同じ色を用いて生成される。また、指示画像Ｉ1は、矩形をなす環状の図形であって、第１の表示領域Ｒ1に表示される被写体画像の平均色の反転色（補色）を用いて生成される。指示画像Ｉ1は、例えば、輪郭画像Ｉrに対する矩形の中心位置が、第１の表示領域Ｒ1の輪郭に対する注目領域Ｃの重心位置に対応するように配置される。輪郭画像Ｉrは、第１の表示領域Ｒ1の輪郭に沿った形状と相似な環形状をなし、背景画像Ｉbの色（第１の表示領域Ｒ1以外の表示領域の色）の反転色（補色）を用いて生成される。第２の画像データは、各画像（指示画像Ｉ1、輪郭画像Ｉrおよび背景画像Ｉb）が、単色の色情報からなり、例えば被検体の管腔内画像のような複数の色情報からなる被写体画像と比して、色数が少なく情報量（データ量）が小さい。
　ステップＳ１０５では、画像データ生成部４１３は、画像取得部４１１が生成した画像信号に基づき第１の画像データを生成する。
　以上説明した処理により、注目領域の検出情報の有無に応じて、表示部５における第１の表示領域Ｒ1に表示する第１の画像データ、第２の表示領域Ｒ2に表示する第２の画像データが生成される。表示制御部４１４は、制御部４４の制御のもと、表示部５に画像データを入力して表示させる制御を行う。術者は、表示部５に順次表示される被写体画像（第１の画像データ）を観察し、注目領域が検出された場合には指示画像Ｉ1が表示されるため、指示画像Ｉ1を確認することで、被写体画像のどの位置に注目領域が存在しているのかを容易に把握することができる。これにより、病変部の見落としを抑制することができる。
　上述した本実施の形態によれば、注目領域検出部４１２が、被写体画像の特徴量に基づいて、注目すべき領域である注目領域を検出し、画像データ生成部４１３が、注目領域の検出情報に応じて、被写体画像を含む第１の画像データ、被写体画像における注目領域に関する情報を示す指示画像を含み、第１の画像データの情報量と比して小さい第２の画像データを生成し、表示制御部４１４が、第１の画像データに対応する第１の画像を表示部の第１の表示領域に表示させ、第２の画像データに対応する第２の画像を前記表示部の第２の表示領域に表示させる制御を行うようにした。このため、注目領域を指示する指示画像が被写体画像に重複することなく、被写体画像中の注目領域の位置を案内することができ、被写体画像の視認性を確保するとともに、被写体画像における注目領域を指示する情報の視認性を向上することができる。
　また、上述した本実施の形態によれば、第２の表示領域Ｒ2の背景を単色、例えば黒色にするとともに、指示画像Ｉ1の色を、第２の表示領域Ｒ2の背景の色に対してコントラストの高い白色にしたので、第２の表示領域Ｒ2における指示画像Ｉ1の視認性を向上することができる。
　なお、上述した本実施の形態では、指示画像Ｉ1の色、および、第２の表示領域Ｒ2の背景の色を単色にすることで、色数を少なくして情報量を小さくするものとして説明したが、色の組み合わせはこれに限らない。例えば、第２の表示領域Ｒ2の背景の色を白として、指示画像Ｉ1の色を、第２の表示領域Ｒ2の背景の色の明度を反転させた黒色としてもよいし、第２の表示領域Ｒ2の背景の色を黒または白とし、指示画像Ｉ1の色を黒または白以外の色にしてもよい。また、第２の表示領域Ｒ2の背景の色が黒や白以外の場合に、指示画像Ｉ1の色を、黒、白、または第２の表示領域Ｒ2の背景の色の補色としてもよい。また、第２の表示領域Ｒ2の背景の色を第１の表示領域Ｒ1に表示される被写体画像の平均色とし、指示画像Ｉ1の色をこの第１の表示領域Ｒ1に表示される被写体画像の平均色の補色としてもよい。第２の表示領域Ｒ2の背景の色を黒色等の単色として、指示画像Ｉ1の色を第１の表示領域Ｒ1に表示される被写体画像の平均色の補色としてもよい。また、第２の表示領域Ｒ2の背景を第１の表示領域Ｒ1に表示される被写体画像に対応するものとし、第２の表示領域Ｒ2の背景を、第１の表示領域Ｒ1に表示される被写体画像に対して、解像度、彩度、明度およびコントラストのうちの少なくとも一つを低減させた画像にして、第２の画像データの情報量を小さくしてもよい。例えば、第２の表示領域Ｒ2の背景は、第１の表示領域Ｒ1に表示される被写体画像に基づいて解像度、彩度、明度およびコントラストのうちの少なくとも一つを低減してなる。また、第１の表示領域Ｒ1に表示される被写体画像のリフレッシュレートに対して、第２の表示領域Ｒ2の表示画像のリフレッシュレートを低くすることによっても情報量を低減することができる。第１の表示領域Ｒ1に表示される被写体画像のリフレッシュレートに対して、第２の表示領域Ｒ2の表示画像のリフレッシュレートを低くすることで、更新前後の第２の表示領域Ｒ2における指示画像Ｉ1の位置の変化量が大きくなるため、指示画像Ｉ1の位置の変化をより確実に把握することが可能となる。
（実施の形態の変形例１）
　上述した実施の形態では、指示画像Ｉ1が矩形の環状をなすものとして説明したが、本発明はこれに限定されない。本変形例１では、指示画像が、十字状をなす。図５は、本発明の実施の形態の変形例１にかかる内視鏡装置１の表示部５が表示する表示画面Ｗ2を説明する図である。図５に示す指示画像Ｉ2は、背景画像Ｉbの色の反転色（補色）の十字状をなしている。指示画像Ｉ2は、例えば、十字の交差部が、注目領域Ｃの重心位置に対応するように配置される。本変形例１においても、上述した実施の形態と同様の効果を得ることができる。
（実施の形態の変形例２）
　上述した変形例１では、指示画像Ｉ2が注目領域Ｃの形状によらず表示画面Ｗ2の縦横に沿った十字状をなすものとして説明したが、本発明はこれに限定されない。本変形例２では、指示画像が、注目領域Ｃの長手方向および該長手方向と直交する方向に応じた方向に延び、各々の方向に対応する長さを有する十字状をなす。図６は、本発明の実施の形態の変形例２にかかる内視鏡装置１の表示部５が表示する表示画面Ｗ3を説明する図である。図６に示す指示画像Ｉ3は、背景画像Ｉbの色の反転色（補色）を用いて生成されるとともに、注目領域Ｃの長手方向、および該長手方向と直交する方向に応じた方向に延びる十字状をなし、各々の方向の線分は、各方向の長さに対応した長さとなっている。指示画像Ｉ3は、例えば、十字の交差部が、注目領域Ｃの重心位置に対応するように配置されていることが好ましい。本変形例２においても、上述した実施の形態と同様の効果を得ることができるとともに、注目領域Ｃの大きさを把握することが可能である。
（実施の形態の変形例３）
　上述した実施の形態では、指示画像Ｉ1が矩形の環状をなすものとして説明したが、本発明はこれに限定されない。本変形例３では、指示画像が、内部が配色されている楕円状をなす。図７は、本発明の実施の形態の変形例３にかかる内視鏡装置１の表示部５が表示する表示画面Ｗ4を説明する図である。図７に示す指示画像Ｉ4は、背景画像Ｉbの色の反転色（補色）で配色された楕円状をなしている。指示画像Ｉ4は、例えば、楕円の重心（長軸と短軸の交点）が、注目領域Ｃの重心位置に対応するように配置され、重心に近いほど背景透過率が小さくなっている。また、指示画像Ｉ4は、楕円の長軸の方向が、注目領域Ｃの長手方向と平行になるように配置されている。指示画像Ｉ4は、楕円の長軸の長さが、注目領域Ｃの長手方向の長さに対応するとともに、短軸の長さが、注目領域Ｃの長手方向と直交する方向の長さに対応していることが好ましい。本変形例３においても、上述した実施の形態と同様の効果を得ることができる。また、指示画像Ｉ4において、重心に近いほど背景透過率を小さくすることで、重心の位置の視認性を向上することができる。
　なお、上述した変形例２，３では、指示画像が、注目領域Ｃの長手方向および該長手方向と直交する方向に応じた方向に延び、各々の方向に対応する長さを有する形状をなすものとして説明したが、これに限らず、注目領域の縦横比、傾きの少なくとも一方を反映したものであってもよいし、指示画像の色を被写体画像の反転色にしてもよい。
（実施の形態の変形例４）
　上述した実施の形態および変形例１～３では、ガイド線として第２の表示領域Ｒ2の輪郭をなす輪郭画像Ｉrのみが表示されるものとして説明したが、これに限らず、輪郭により形成される内部空間を分割するガイド線をさらに含むものであってもよい。図８は、本発明の実施の形態の変形例４にかかる内視鏡装置１の表示部５が表示する表示画面Ｗ5を説明する図である。図８に示すように、表示画面Ｗ5では、輪郭画像Ｉrに加え、互いに直交する二つの直線画像（直線画像ＩS1，ＩS2）からなる十字状のガイド線をさらに有する。直線画像ＩS1は、第２の表示領域Ｒ2の横方向（矩形の表示画面Ｗ5における横方向）の中央から縦方向に延びている。直線画像ＩS2は、第２の表示領域Ｒ2の縦方向（矩形の表示画面Ｗ5における縦方向）の中央から横方向に延びている。これにより、上述した実施の形態と同様の効果を得ることができるとともに、第２の表示領域Ｒ2に対する指示画像Ｉ4の相対的な位置を一層容易に把握することができる。また、直線画像ＩS1，ＩS2は、ガイド線の視認性を向上するという点で、指示画像Ｉ4の上に重畳される、すなわち、指示画像Ｉ4によってガイド線が隠れないように配置されることが好ましい。
　なお、上述した変形例４では、二つの直線（直線画像ＩS1，ＩS2）により十字状のガイド線を有するものとして説明したが、これに限らず、Ｘ字状や、格子状、星（＊）状、同心円、同心多角形などの放射状をなすものなど、一つまたは複数の直線、および一つまたは複数の曲線のうちの少なくとも一つを用いて形成されるものであってもよい。また、指示画像の色とガイド線の色とは、同じであってもよいし、異なる色であってもよい。
　上述した実施の形態および変形例１～４では、第２の表示領域Ｒ2が、第１の表示領域Ｒ1に隣接して表示されているものとして説明したが、表示位置はこれに限らない。例えば、表示画面において、第１の表示領域Ｒ1の右側に配置したり、左上、左下、右上、右下、上、下に配置したりしてもよく、視認性を向上させる点で、表示画面の中央に近い方が好ましい。また、第２の表示領域Ｒ2の大きさが、第１の表示領域Ｒ1よりも小さいものとして説明したが、第１の表示領域Ｒ1よりも大きくてもよい。また、第２の表示領域Ｒ2の輪郭（輪郭画像Ｉr）が、第１の表示領域Ｒ1に応じた八角形をなすものとして説明したが、矩形をなすものであってもよく、形状は限定されない。
（実施の形態の変形例５）
　上述した実施の形態では、画像データ生成部４１３が第１および第２の画像データを生成し、表示制御部４１４によって第１の画像および第２の画像がそれぞれ第１の表示領域Ｒ1および第２の表示領域Ｒ2に表示されるものとして説明したが、本発明はこれに限定されない。本変形例５では、第１の表示領域Ｒ1に表示される第１の画像が画像取得部４１１から入力される。図９は、本発明の実施の形態の変形例５にかかる内視鏡装置の概略構成を示す図である。本変形例５にかかる内視鏡装置１Ａは、上述した実施の形態にかかる内視鏡装置１の表示部５に代えて、表示部５Ａを備える。
　表示部５Ａは、第１の表示領域Ｒ1に画像を表示する第１表示部５１と、第２の表示領域Ｒ2に画像を表示する第２表示部５２とを備えている。表示部５Ａは、液晶または有機ＥＬ（Electro　Luminescence）を用いて構成されている。
　本変形例５では、画像取得部４１１は、生成した画像信号を第１の画像を含む第１の画像データとして第１表示部５１に入力して、第１の画像を第１の表示領域Ｒ1に表示させる。本変形例５において、画像取得部４１１は、必要に応じて表示用の画像処理を施す。また、画像データ生成部４１３は、指示画像を含む第２の画像データを生成し、表示制御部４１４に入力する。表示制御部４１４は、画像データ生成部４１３が生成した第２の画像データを第２表示部５２に入力して、第２の画像を第２の表示領域Ｒ2に表示させる制御を行う。
　このように、本変形例５では、第１の画像が、表示制御部４１４を介することなく、第１の表示領域Ｒ1に表示される。また、第２の画像が、表示制御部４１４を介して第２表示部５２に入力され、第２の表示領域Ｒ2に表示される。本変形例５においても、上述した実施の形態と同様の効果を得ることができる。なお、変形例５において、第１の表示領域Ｒ1および第２の表示領域Ｒ2は、同一のモニタの表示画面上に設けられてもよいし、異なる二つのモニタにそれぞれ設けられるものであってもよい。すなわち、第１表示部５１よび第２表示部５２は、同一のモニタにより構成されるものであってもよいし、異なる複数のモニタにより構成されるものであってもよい。また、第１の表示領域Ｒ1および第２の表示領域Ｒ2は、並べて配置されていることが、視認性を確保するうえで好ましい。
　なお、上述した実施の形態にかかる内視鏡装置１は、Ａ／Ｄ変換部２０５が内視鏡２に設けられているものとして説明したが、プロセッサ部４に設けられるものであってもよい。また、画像処理にかかる構成を、内視鏡２や、内視鏡２とプロセッサ部４とを接続するコネクタ、操作部２２などに設けるものであってもよい。また、上述した内視鏡装置１では、識別情報記憶部２６１に記憶された識別情報などを用いてプロセッサ部４に接続されている内視鏡２を識別するものとして説明したが、プロセッサ部４と内視鏡２との接続部分（コネクタ）に識別手段を設けてもよい。例えば、内視鏡２側に識別用のピン（識別手段）を設けて、プロセッサ部４に接続された内視鏡２を識別する。
　また、上述した実施の形態および変形例１～５において、術者の熟練度に応じて表示を変更するものであってもよい。この場合、例えば、装置にログインしている術者の情報をもとに、表示態様が設定される。
　また、上述した実施の形態および変形例１～５では、一つの注目領域が検出されたものとして説明したが、被写体画像内で複数の注目領域が検出されれば、検出された注目領域に応じて複数の指示画像が表示される。この際、上述した実施の形態および変形例１～４に係る指示画像を組み合わせて表示してもよい。
　また、上述した実施の形態および変形例１～５では、医療用の軟性の内視鏡を例に説明したが、これに限らず、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管などの光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡装置であっても適用できる。本発明にかかる画像処理装置は、体内、体外を問わず適用可能であり、外部で生成された撮像信号や画像信号を含む映像信号に対して処理を施すものである。
　このように、本発明は、ここでは記載していない様々な実施の形態等を含み得るものであり、請求の範囲に記載した技術的思想を逸脱しない範囲内において適宜設計変更等を行うことが可能である。
　以上のように、本発明にかかる画像処理装置、画像処理方法および画像処理プログラムは、被写体画像の視認性を確保するとともに、被写体画像における注目領域を指示する情報の視認性を向上するのに有用である。
　１　内視鏡装置
　２　内視鏡
　３　光源部
　４　プロセッサ部
　５，５Ａ　表示部
　２１　挿入部
　２２　操作部
　２３　ユニバーサルコード
　２４　先端部
　３１　照明部
　３１ａ　光源
　３１ｂ　光源ドライバ
　３１ｃ　集光レンズ
　３２　照明制御部
　４１　画像処理部
　４２　入力部
　４３　記憶部
　４４　制御部
　５１　第１表示部
　５２　第２表示部
　２０１　撮像光学系
　２０２　撮像素子
　２０３　ライトガイド
　２０４　照明用レンズ
　２０５　Ａ／Ｄ変換部
　２０６　撮像情報記憶部
　２６１　識別情報記憶部
　４１１　画像取得部
　４１２　注目領域検出部
　４１３　画像データ生成部
　４１４　表示制御部

Claims (22)

  1. 　被写体画像を第１の画像データとして取得する被写体画像取得部と、
    　前記被写体画像の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
    　前記被写体画像における前記注目領域に関する情報を示す指示画像を含む画像データであって、前記第１の画像データの情報量と比して小さい情報量を有する第２の画像データを生成する画像データ生成部と、
    　前記第２の画像データに対応する画像を表示させる制御を行う表示制御部と、を備え、
    　前記第１の画像データに対応する画像を第１の表示領域に表示させ、
    　前記第２の画像データに対応する画像を第２の表示領域に表示させる
    　画像処理装置。
  2. 　前記第１の画像データおよび前記第２の画像データを、一又は複数の表示部に並べて配置されている前記第１の表示領域及び前記第２の表示領域に表示させる
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記画像データ生成部は、前記被写体画像に基づき前記第２の画像の背景を生成する
    ことを特徴とする請求項１又は２に記載の画像処理装置。
  4. 　前記第２の画像は、前記第１の画像と比して、解像度、彩度、明度、色数およびコントラストのうち、少なくとも一つが低減されている
    ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記第２の画像の背景が、単色である
    ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記第２の画像データは、前記第１の画像データと比してリフレッシュレートが低い
    ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記第２の表示領域の面積は、前記第１の表示領域の面積以下である
    ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　前記指示画像は、十字状である
    ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　前記指示画像は、前記注目領域の形状と対応している
    ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
  10. 　前記指示画像は、閉じた領域を有する図形である
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
  11. 　前記指示画像は、前記図形の内部が塗りつぶされている
    ことを特徴とする請求項９又は１０に記載の画像処理装置。
  12. 　前記指示画像は、重心に近いほど背景透過率が小さくなる
    ことを特徴とする請求項１１に記載の画像処理装置。
  13. 　前記指示画像の表示色は、前記第１の画像の平均色の補色である
    ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
  14. 　前記第２の画像は、当該第２の画像における前記指示画像の位置をガイドするガイド線を有する
    ことを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
  15. 　前記ガイド線は、前記第２の画像の輪郭、一つまたは複数の直線、および一つまたは複数の曲線のうちの少なくとも一つを用いて形成されている
    ことを特徴とする請求項１４に記載の画像処理装置。
  16. 　前記ガイド線は、前記表示部の表示領域における前記第２の表示領域の外側の背景色の補色により表現されている
    ことを特徴とする請求項１４又は１５に記載の画像処理装置。
  17. 　前記ガイド線は、前記指示画像上に配置されている
    ことを特徴とする請求項１４から１６のいずれか１項に記載の画像処理装置。
  18. 　前記第１の表示領域と前記第２の表示領域とは、相似な関係を有する
    ことを特徴とする請求項１から１７のいずれか１項に記載の画像処理装置。
  19. 　前記被写体画像は、内視鏡により取得された内視鏡画像である
    ことを特徴とする請求項１から１８のいずれか１項に記載の画像処理装置。
  20. 　前記画像データ生成部は、前記被写体画像取得部が取得した前記被写体画像を含む第１の画像データを生成し、
    　前記表示制御部は、前記第１の画像データに対応する第１の画像を前記第１の表示領域に表示させる制御を行う
    ことを特徴とする請求項１から１９のいずれか１項に記載の画像処理装置。
  21. 　被写体画像を第１の画像データとして取得し、
    　前記被写体画像の特徴量に基づいて、注目すべき領域である注目領域を検出し、
    　前記被写体画像における前記注目領域に関する情報を示す指示画像を含む画像データであって、第１の画像データの情報量と比して小さい情報量の第２の画像データを生成し、
    　前記第１の画像データに対応する画像を第１の表示領域に表示させ、
    　前記第２の画像データに対応する画像を第２の表示領域に表示させる、
    　画像処理方法。
  22. 　被写体画像を第１の画像データとして取得する被写体画像取得手順と、
    　前記被写体画像の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出手順と、
    　前記被写体画像における前記注目領域に関する情報を示す指示画像を含む画像データであって、第１の画像データの情報量と比して小さい情報量の第２の画像データを生成する画像データ生成手順と、
    　前記第１の画像データに対応する画像を第１の表示領域に表示させる第１表示手順と、
    　前記第２の画像データに対応する画像を第２の表示領域に表示させる第２表示手順と、
    　をコンピュータに実行させる画像処理プログラム。
PCT/JP2015/086569 2015-12-28 2015-12-28 画像処理装置、画像処理方法および画像処理プログラム WO2017115442A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2015/086569 WO2017115442A1 (ja) 2015-12-28 2015-12-28 画像処理装置、画像処理方法および画像処理プログラム
JP2017558835A JPWO2017115442A1 (ja) 2015-12-28 2015-12-28 画像処理装置、画像処理方法および画像処理プログラム
US16/011,707 US20180307933A1 (en) 2015-12-28 2018-06-19 Image processing apparatus, image processing method, and computer readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/086569 WO2017115442A1 (ja) 2015-12-28 2015-12-28 画像処理装置、画像処理方法および画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/011,707 Continuation US20180307933A1 (en) 2015-12-28 2018-06-19 Image processing apparatus, image processing method, and computer readable recording medium

Publications (1)

Publication Number Publication Date
WO2017115442A1 true WO2017115442A1 (ja) 2017-07-06

Family

ID=59224942

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/086569 WO2017115442A1 (ja) 2015-12-28 2015-12-28 画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US20180307933A1 (ja)
JP (1) JPWO2017115442A1 (ja)
WO (1) WO2017115442A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020059445A1 (ja) * 2018-09-21 2020-03-26 富士フイルム株式会社 画像処理装置及び画像処理方法
WO2020090731A1 (ja) 2018-11-01 2020-05-07 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置
WO2021044900A1 (ja) * 2019-09-02 2021-03-11 ソニー株式会社 施術システム、画像処理装置、画像処理方法、及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018146546A (ja) * 2017-03-09 2018-09-20 エアロセンス株式会社 情報処理システム、情報処理装置および情報処理方法
WO2018179610A1 (ja) * 2017-03-27 2018-10-04 ソニー・オリンパスメディカルソリューションズ株式会社 制御装置、内視鏡システム、処理方法およびプログラム
JPWO2019078237A1 (ja) * 2017-10-18 2020-10-22 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP7368074B2 (ja) * 2018-03-28 2023-10-24 日本光電工業株式会社 挿管装置
CN112739250A (zh) * 2018-09-18 2021-04-30 富士胶片株式会社 医用图像处理装置、处理器装置、医用图像处理方法及程序
JP7374224B2 (ja) * 2021-01-14 2023-11-06 コ，ジファン 内視鏡を用いた大腸検査ガイド装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061704A (ja) * 2006-09-05 2008-03-21 Olympus Medical Systems Corp 画像表示装置
JP2008295804A (ja) * 2007-05-31 2008-12-11 Topcon Corp 眼底検査装置及びプログラム
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
WO2012132790A1 (ja) * 2011-03-31 2012-10-04 オリンパス株式会社 蛍光観察装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8900124B2 (en) * 2006-08-03 2014-12-02 Olympus Medical Systems Corp. Image display device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061704A (ja) * 2006-09-05 2008-03-21 Olympus Medical Systems Corp 画像表示装置
JP2008295804A (ja) * 2007-05-31 2008-12-11 Topcon Corp 眼底検査装置及びプログラム
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
WO2012132790A1 (ja) * 2011-03-31 2012-10-04 オリンパス株式会社 蛍光観察装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020059445A1 (ja) * 2018-09-21 2020-03-26 富士フイルム株式会社 画像処理装置及び画像処理方法
WO2020090731A1 (ja) 2018-11-01 2020-05-07 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置
JPWO2020090731A1 (ja) * 2018-11-01 2021-09-30 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置
EP3875022A4 (en) * 2018-11-01 2021-10-20 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING PROCESS AND PROGRAM, AND DIAGNOSIS ASSISTANCE DEVICE
JP7143436B2 (ja) 2018-11-01 2022-09-28 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置
US11481944B2 (en) 2018-11-01 2022-10-25 Fujifilm Corporation Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus
WO2021044900A1 (ja) * 2019-09-02 2021-03-11 ソニー株式会社 施術システム、画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2017115442A1 (ja) 2018-10-18
US20180307933A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
WO2017115442A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN110325100B (zh) 内窥镜系统及其操作方法
US10362930B2 (en) Endoscope apparatus
US11045079B2 (en) Endoscope device, image processing apparatus, image processing method, and program
JP6435275B2 (ja) 内視鏡装置
JP6401800B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
WO2016079831A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび内視鏡装置
JP6230409B2 (ja) 内視鏡装置
WO2016110984A1 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US20190082936A1 (en) Image processing apparatus
WO2016084257A1 (ja) 内視鏡装置
JP2004000505A (ja) 内視鏡装置
JP4554267B2 (ja) 内視鏡及び内視鏡システム
CN114945314A (zh) 医疗图像处理装置、内窥镜系统、诊断辅助方法及程序
US11571111B2 (en) Endoscope scope, endoscope processor, and endoscope adaptor
WO2020178962A1 (ja) 内視鏡システムおよび画像処理装置
JPWO2019069414A1 (ja) 内視鏡装置、画像処理方法およびプログラム
US10462440B2 (en) Image processing apparatus
JP2022510261A (ja) 医療撮像システム及び方法
JP6937902B2 (ja) 内視鏡システム
JP4373726B2 (ja) 自家蛍光観察装置
JP6663692B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の制御方法
WO2022208629A1 (ja) 蛍光観察装置、光免疫治療システムおよび蛍光内視鏡
WO2019202982A1 (ja) 内視鏡装置、内視鏡操作方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15912108

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017558835

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15912108

Country of ref document: EP

Kind code of ref document: A1