WO2017104192A1 - 医用観察システム - Google Patents

医用観察システム Download PDF

Info

Publication number
WO2017104192A1
WO2017104192A1 PCT/JP2016/076447 JP2016076447W WO2017104192A1 WO 2017104192 A1 WO2017104192 A1 WO 2017104192A1 JP 2016076447 W JP2016076447 W JP 2016076447W WO 2017104192 A1 WO2017104192 A1 WO 2017104192A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
observation
lesion candidate
child
medical
Prior art date
Application number
PCT/JP2016/076447
Other languages
English (en)
French (fr)
Inventor
祐二 久津間
鈴木　達彦
裕仁 中川
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2017518282A priority Critical patent/JPWO2017104192A1/ja
Publication of WO2017104192A1 publication Critical patent/WO2017104192A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes

Definitions

  • the present invention relates to a medical observation system, and more particularly to a medical observation system used for observation of a living body.
  • an observation system that can display a moving image obtained by imaging a subject such as a living tissue and a still image obtained based on the moving image together with a display device. Conventionally known.
  • Japanese Patent Application Laid-Open No. 2010-172673 discloses an endoscope system capable of performing endoscopic observation with normal illumination light and special illumination light, in which a lesion candidate display mode is selected.
  • a still image obtained by superimposing a special captured image obtained by imaging the observation site irradiated with the special illumination light and a mark image representing a detection result of a lesion candidate in the special captured image.
  • a configuration is disclosed in which an image is generated and a normal captured image that is a moving image obtained by imaging the observed site irradiated with the normal illumination light and the composite image are displayed in parallel on a monitor. Has been.
  • a moving image obtained by imaging a subject such as a living tissue and a still image obtained based on the moving image are appropriately displayed according to the situation at the time of observing the subject. It is desirable to be displayed.
  • Japanese Patent Application Laid-Open No. 2010-172673 does not particularly mention a method for setting a display mode when displaying a normal captured image and a composite image in parallel according to the situation at the time of observation.
  • the present invention has been made in view of the circumstances described above, and when a moving image and a still image obtained during observation of a subject are displayed together, the still image can be displayed in an appropriate display mode. It aims to provide a possible medical observation system.
  • the medical observation system detects a lesion candidate area in the subject based on a moving image obtained by imaging the subject with a medical imaging apparatus, and visually indicates the detected lesion candidate area.
  • a lesion candidate image generation unit configured to generate a candidate moving image and a lesion candidate still image; a child image generation unit configured to generate a child image by reducing the lesion candidate still image;
  • An observation image generation unit configured to generate an observation image including a lesion candidate moving image and the child image, information unique to each medical imaging apparatus, and a video output standard when the observation image is output as a video
  • a control unit configured to set the display mode of the child image included in the observation image based on either the type or the aspect ratio of the display device on which the observation image is displayed It has a.
  • the medical observation system 1 is inserted into a body cavity of a subject who is a living body, and outputs moving image data obtained by imaging a subject such as a living tissue in the body cavity.
  • FIG. 1 is a diagram illustrating a configuration of a main part of the medical observation system according to the embodiment.
  • the endoscope 2 which is a medical imaging apparatus includes an insertion portion 2a formed in an elongated shape that can be inserted into a body cavity of a subject. Further, a light guide 7 configured to transmit illumination light supplied from the light source device 3 to the distal end portion of the insertion portion 2a is inserted into the insertion portion 2a. Further, the distal end portion of the insertion portion 2a is picked up by imaging the illumination lens 21 that irradiates the subject with illumination light emitted through the light guide 7, and the return light generated from the subject illuminated by the illumination light. And an imaging unit 22 that outputs a signal.
  • a signal processing unit 23 that generates moving image data according to an imaging signal output from the imaging unit 22 and outputs the moving image data to the processor 4, and information unique to each endoscope 2
  • a scope memory 24 in which endoscope information including is stored.
  • the imaging unit 22 includes an objective lens 22a, an imaging lens 22b, an imaging element 22c, and a lens driving mechanism 22d.
  • the objective lens 22a is configured to form an optical image corresponding to the return light emitted from the subject illuminated by the illumination light emitted through the illumination lens 21.
  • the imaging lens 22b is configured to form an optical image formed by the objective lens 22a.
  • the imaging lens 22b is configured to move along the optical axis direction in accordance with the operation of the lens driving mechanism 22d.
  • the image sensor 22c is configured to include, for example, a CCD or a CMOS.
  • the imaging element 22c is provided on a plurality of pixels for photoelectrically converting and imaging the optical image formed by the imaging lens 22b and an imaging surface in which the plurality of pixels are two-dimensionally arranged.
  • a color filter In the color filter described above, for example, minute filters of R (red), G (green), and B (blue) are arranged in a Bayer arrangement (in a checkered pattern) at positions corresponding to the respective pixels of the image sensor 22c. It is formed by.
  • the image sensor 22c is driven according to the image sensor drive signal output from the processor 4, and generates an image signal by capturing an optical image formed by the imaging lens 22b, and the generated image The signal is output to the signal processing unit 23.
  • the lens driving mechanism 22d moves the imaging lens 22b within a predetermined movable range between the light emitting surface of the objective lens 22a and the imaging surface of the imaging element 22c based on the lens driving signal output from the processor 4. It is comprised so that operation
  • the signal processing unit 23 arranges still image data of a plurality of frames in time series by performing signal processing such as signal amplification processing and A / D conversion processing on the imaging signal output from the imaging device 22c, for example.
  • the moving image data is generated, and the generated moving image data is sequentially output to the processor 4.
  • information unique to each endoscope 2 for example, information indicating the resolution of the endoscope 2, information indicating the model of the endoscope 2, and information indicating the type of the image sensor 22c are included. Are stored.
  • the light source device 3 includes a light source unit 31, a condensing lens 32, and a light source driving unit 33.
  • the light source unit 31 includes a normal light generator 31a and a special light generator 31b.
  • the light source unit 31 is configured to be able to emit normal light emitted from the normal light generator 31a and special light emitted from the special light generator 31b to the condenser lens 32, respectively.
  • the normal light generator 31a includes a broadband light source such as a xenon lamp, and is configured to generate broadband light or white light including at least R, G, and B wavelength bands as normal light.
  • the normal light generator 31a is switched on or off according to the light source drive signal output from the light source driver 33, and is configured to generate normal light having an intensity according to the light source drive signal. Yes.
  • the special light generation unit 31b includes, for example, a narrow band light source such as an LED, and is configured to generate narrow band light having a narrower wavelength band than the normal light emitted from the normal light generation unit 31a as the special light. ing.
  • the special light generation unit 31b generates, for example, blue narrowband light whose center wavelength is set near 415 nm and green narrowband light whose center wavelength is set near 540 nm as special light. Is configured to do.
  • the condensing lens 32 is configured to collect the light emitted from the light source unit 31 and emit it to the light guide 7.
  • the light source driving unit 33 includes, for example, a light source driving circuit. Further, the light source driving unit 33 generates and outputs a light source driving signal for driving the normal light generating unit 31a and the special light generating unit 31b of the light source unit 31 in accordance with the system control signal output from the processor 4, respectively. It is configured as follows.
  • the processor 4 includes an imaging control unit 41, a preprocessing unit 42, a lesion candidate image generation unit 43, a child image generation unit 44, an image processing unit 45, a display control unit 46, and a control unit 47. Configured. According to the present embodiment, for example, each part of the processor 4 may be configured as an individual electronic circuit, or configured as a circuit block in an integrated circuit such as an FPGA (Field Programmable Gate Array). Also good. Further, according to the present embodiment, for example, some of the functions realized by each unit of the processor 4 may be realized by an external device separate from the processor 4.
  • FPGA Field Programmable Gate Array
  • the imaging control unit 41 is configured to generate and output an imaging element driving signal for driving the imaging element 22c in accordance with a system control signal output from the control unit 47.
  • the imaging control unit 41 is configured to generate and output a lens drive signal for driving the lens drive mechanism 22d in accordance with a system control signal output from the control unit 47.
  • the pre-processing unit 42 performs, for example, white balance processing on the still image data of each frame included in the moving image data sequentially output from the signal processing unit 23 according to the system control signal output from the control unit 47. It is configured to perform preprocessing and output to a local region setting unit 43a (described later) and a marker synthesis unit 43d (described later) of the lesion candidate image generating unit 43.
  • the lesion candidate image generation unit 43 is based on the moving image data output from the preprocessing unit 42 when detecting that the generation of the lesion candidate image is performed according to the system control signal output from the control unit 47. A lesion candidate region in a subject imaged by the endoscope 2 is detected, and lesion candidate moving image data and lesion candidate still image data that visually indicate the detected lesion candidate region are generated.
  • the lesion candidate image generation unit 43 is configured to output the above-described lesion candidate moving image data to the image processing unit 45 and to output the above-described lesion candidate still image data to the child image generation unit 44.
  • the lesion candidate image generation unit 43 receives the moving image data output from the preprocessing unit 42 when detecting that the generation of the lesion candidate image is stopped according to the system control signal output from the control unit 47. It is configured to output the image processing unit 45 as it is.
  • the lesion candidate image generation unit 43 includes a local region setting unit 43a, a feature amount calculation unit 43b, a lesion candidate region detection unit 43c, and a marker synthesis unit 43d.
  • FIG. 2 is a diagram for explaining an example of a configuration of a lesion candidate image generation unit included in the medical observation system according to the embodiment.
  • the local region setting unit 43a is configured to perform processing for setting a plurality of local regions by dividing still image data included in moving image data output from the preprocessing unit 42 for each frame. .
  • the feature amount calculation unit 43b is configured to perform processing for calculating a feature amount in each of a plurality of local regions set by the processing of the local region setting unit 43a.
  • the feature amount calculation unit 43b determines the luminance value of the R component of one local region among the local regions set in the still image data of one frame obtained during normal light irradiation. By dividing the average value Ga of the luminance values of the G component of the one local region from the average value Ra, a process for calculating a color tone feature amount indicating the color tone of the one local region is performed. .
  • the lesion candidate region detection unit 43c is configured to perform processing for detecting a local region estimated to include a lesion as a lesion candidate region based on the feature amount of each local region calculated by the feature amount calculation unit 43b. Has been.
  • the lesion candidate area detection unit 43c determines, for example, a local area whose color tone feature amount is larger than a predetermined threshold based on the color tone feature amount of each local area calculated by the feature amount calculation unit 43b. It is comprised so that the process detected as may be performed.
  • the marker synthesis unit 43d When the marker synthesis unit 43d detects that a lesion candidate image is generated in response to the system control signal output from the control unit 47, the marker synthesis unit 43d applies the lesion candidate to the moving image data output from the preprocessing unit 42. It is configured to generate lesion candidate moving image data and lesion candidate still image data obtained by synthesizing markers indicating lesion candidate regions detected by the processing of the region detection unit 43c.
  • it is configured to generate lesion candidate moving image data obtained by combining, as markers, rectangular frames that individually surround the lesion candidate regions detected by the processing of the lesion candidate region detection unit 43c.
  • the marker synthesis unit 43d is configured to generate the latest one frame of still images synthesized using the rectangular frame as a marker as lesion candidate still image data.
  • the marker synthesis unit 43d is generated using the moving image data output from the preprocessing unit 42 when detecting that the lesion candidate image is generated in response to the system control signal output from the control unit 47.
  • the candidate lesion moving image data is output to the image processing unit 45 and the candidate lesion still image data generated using the moving image data is output to the child image generating unit 44. Further, when the marker synthesis unit 43d detects that the generation of the lesion candidate image is stopped according to the system control signal output from the control unit 47, the moving image data output from the preprocessing unit 42 is directly displayed as an image. It is configured to output to the processing unit 45.
  • the lesion candidate image generation unit 43 detects a lesion candidate region for each of a plurality of local regions set in one frame of still image data included in the moving image data output from the preprocessing unit 42.
  • the candidate lesion area may be detected without setting the plurality of local areas.
  • the lesion candidate image generation unit 43 according to the present embodiment determines the relationship between the target pixel and the peripheral pixels in one frame of still image data included in the moving image data output from the preprocessing unit 42. Based on this, the feature amount of each pixel of the still image data may be calculated, and a pixel group in which the calculated feature amount exceeds a predetermined threshold may be detected as a lesion candidate region.
  • the child image generation unit 44 outputs the lesion candidate still image data output from the lesion candidate image generation unit 43 when detecting that the generation of the lesion candidate image is performed according to the system control signal output from the control unit 47.
  • the sub image is reduced to generate child image data, and the generated child image data is output to the image processing unit 45.
  • the child image generation unit 44 is configured to stop generation of child image data when it is detected that generation of a lesion candidate image is stopped in response to a system control signal output from the control unit 47. ing.
  • the image processing unit 45 applies to the lesion candidate moving image data or moving image data (hereinafter also referred to as parent image data) output from the lesion candidate image generating unit 43.
  • the image processing unit 45 is configured to perform image processing such as electronic zoom processing and enhancement processing.
  • the image processing unit 45 In response to the system control signal output from the control unit 47, the image processing unit 45 displays the parent image data output from the lesion candidate image generation unit 43 and the observation information indicated by the system control signal output from the control unit 47 ( Are generated on the same layer, and synthesized image data is generated. In addition, when the image processing unit 45 detects that a lesion candidate image is generated in accordance with the system control signal output from the control unit 47, the image processing unit 45 outputs the child image data output from the child image generation unit 44 as described above. Observation image data is generated by superimposing the layer on the layer above the composite image data layer, and the generated observation image data is output to the display control unit 46. That is, the image processing unit 45 has a function as an observation image generation unit.
  • a layer generation method in a PinP (picture-in-picture) image for example, a layer generation method in a PoutP (picture-out-picture) image, and Any of the layer generation methods in the index image at the time of endoscope release may be used.
  • the image processing unit 45 detects that the generation of the lesion candidate image is stopped in response to the system control signal output from the control unit 47, the composite image data generated as described above is used as observation image data. It is configured to output to the display control unit 46.
  • the image processing unit 45 of the present embodiment may be configured to generate observation image data having a layer arrangement different from the layer arrangement as described above. Specifically, the image processing unit 45 of the present embodiment may be configured to generate observation image data in which parent image data, child image data, and observation information are arranged in different layers, for example.
  • the display control unit 46 generates a video signal by converting the observation image data output from the image processing unit 45 according to a predetermined video output standard in accordance with the system control signal output from the control unit 47,
  • the generated video signal is configured to be output to the display device 5.
  • the aforementioned predetermined video output standard is one of a plurality of standards such as SD (standard definition) video, HD (high definition) video, and UHD (ultra high definition) video. Shall.
  • the control unit 47 is configured to generate and output a system control signal for performing an operation according to one observation mode selected from among a plurality of observation modes by operating the input device 6.
  • control unit 47 detects that an instruction to select the normal light observation mode is made by operating an observation mode selection switch (not shown) provided in the input device 6, for example, A system control signal for emitting normal light from the apparatus 3 is generated and output to the light source drive unit 33, and a system control signal for stopping the generation of a lesion candidate image is generated to generate a lesion candidate image generation unit 43, The data is output to the child image generation unit 44 and the image processing unit 45. Further, the control unit 47 emits special light from the light source device 3 when detecting that an instruction to select the special light observation mode is made by operating an observation mode selection switch provided in the input device 6, for example.
  • the data is output to the processing unit 45.
  • the control unit 47 emits normal light from the light source device 3 when detecting that an instruction to select a lesion candidate display mode is given by operating an observation mode selection switch provided in the input device 6, for example.
  • the data is output to the processing unit 45.
  • the control unit 47 performs control for synchronizing the operations of the imaging control unit 41, the preprocessing unit 42, the lesion candidate image generation unit 43, the child image generation unit 44, the image processing unit 45, and the display control unit 46. It is configured to be able to do.
  • the control unit 47 includes a memory 47a that stores at least information indicating a reference set value that is a set value at the time of shipment of various parameters used for generation of observation image data by the image processing unit 45. Yes.
  • the control unit 47 is configured to perform an operation for reading endoscope information from the scope memory 24 when the power of the processor 4 is turned on and the endoscope 2 is connected to the processor 4. ing.
  • the control unit 47 uses the endoscope information read from the scope memory 24 and the reference setting value stored in the memory 47a, and thus an observation image suitable for the endoscope 2 currently connected to the processor 4.
  • the setting value for generating the data is set.
  • the control unit 47 is a character string indicating the setting value set as described above when the lesion candidate display mode is selected, the ID number of the subject input by the operation of the input device 6, and the like.
  • a system control signal for generating observation image data is generated using the observation information and is output to the child image generation unit 44 and the image processing unit 45.
  • Each parameter included in the reference setting value stored in the memory 47a is generated when, for example, the resolution of the endoscope 2 is equal to or higher than a predetermined resolution RTH and the lesion candidate display mode is selected. It is assumed that it is set so as to conform to the observed image data.
  • the display device 5 includes, for example, an LCD (liquid crystal display) and the like, and is configured to display an observation image or the like corresponding to the video signal output from the display control unit 46 on the display screen 5a.
  • LCD liquid crystal display
  • the input device 6 includes, for example, a keyboard, a touch panel, and / or a foot switch.
  • the input device 6 may be a separate device from the processor 4, may be an interface integrated with the processor 4, or may be an interface integrated with the endoscope 2. .
  • a user such as a surgeon connects each part of the medical observation system 1 and turns on the power, and then operates the input device 6 to obtain observation information, which is a character string indicating the ID number of the subject, in the processor 4. To enter.
  • the control unit 47 selects the internal information from the information included in the endoscope information read from the scope memory 24. Information indicating the resolution of the endoscope 2 is acquired, and it is determined whether or not the acquired resolution is equal to or higher than a predetermined resolution RTH.
  • the control unit 47 stores the image size of the parent image data used for generating the observation image data by the image processing unit 45 in the memory 47a.
  • the image size SM1 is set equal to the reference setting value of the observation image generation parameter, and the image size of the child image data used for generating the observation image data is set to the image size SS1 equal to the reference setting value.
  • the control unit 47 sets the image size of the parent image data used for generating the observation image data by the image processing unit 45 to the above-described image size.
  • the image size SM2 is set smaller than SM1, and the image size of the child image data used for generating the observation image data is set to an image size SS2 larger than the image size SS1.
  • the image sizes SM1 and SS1 are set as sizes that satisfy SM1> SS1 and can arrange the parent image data and child image data included in the observation image data without overlapping each other. Shall be. Further, the image sizes SM2 and SS2 are set as sizes that satisfy, for example, SM2 ⁇ SS2 and can be arranged so that the parent image data and the child image data included in the observation image data do not overlap each other. Shall be.
  • the user After connecting each part of the medical observation system 1 and turning on the power, the user operates the observation mode selection switch of the input device 6 to instruct the processor 4 to select the lesion candidate display mode.
  • the user inserts the insertion unit 2a up to a position where a desired subject existing in the body cavity of the subject can be imaged in a state where the lesion candidate display mode is selected.
  • the controller 47 When the controller 47 detects that an instruction to select a lesion candidate display mode has been issued, the controller 47 generates a system control signal for emitting normal light from the light source device 3 and outputs the system control signal to the light source driver 33. In addition, when the control unit 47 detects that an instruction to select a lesion candidate display mode has been made, the control unit 47 generates a system control signal for generating a lesion candidate image to generate a lesion candidate image generation unit 43, a child The image is output to the image generation unit 44 and the image processing unit 45. Under the control of the control unit 47, normal light emitted through the illumination lens 21 is irradiated onto the subject, and an imaging signal obtained by imaging return light generated from the subject is output from the imaging unit 22.
  • the moving image data generated and output according to the imaging signal is input to the lesion candidate image generation unit 43, and the lesion candidate moving image data generated using the moving image data is input to the image processing unit 45.
  • the lesion candidate still image data generated using the moving image data is input to the child image generation unit 44.
  • the control unit 47 sets the image sizes SM1 and SS1 set as described above and the input device 6
  • a child image generation unit 44 and an image processing unit 45 are generated by generating a system control signal for generating observation image data using observation information which is a character string indicating the ID number of the subject input by the operation and the like. Output to.
  • the child image generation unit 44 generates child image data of the image size SS1 by reducing the lesion candidate still image data output from the lesion candidate image generation unit 43 in accordance with the system control signal output from the control unit 47.
  • the generated child image data of the image size SS1 is output to the image processing unit 45.
  • the image processing unit 45 changes the image size of the parent image data, which is the lesion candidate moving image data output from the lesion candidate image generation unit 43, to the image size SM1. Then, the composite image data in which the parent image data of the image size SM1 and the observation information indicated by the system control signal output from the control unit 47 are arranged in the same layer is generated. Further, the image processing unit 45, in response to the system control signal output from the control unit 47, combines the child image data of the image size SS1 output from the child image generation unit 44 with the composite image including the parent image data of the image size SM1. Observation image data is generated by superimposing the data on the data, and the generated observation image data is output to the display control unit 46.
  • the resolution of the endoscope 2 is a predetermined resolution RTH or higher.
  • a parent image that is a moving image having an image size SM1
  • a child image that is a still image having an image size SS1
  • a character string input by operating the input device 6.
  • An observation image including observation information and a marker indicating the position of a lesion in the parent image and the child image is displayed on the display screen 5 a of the display device 5.
  • FIG. 3 is a diagram for explaining an example of an observation image displayed when the medical observation system according to the embodiment is used.
  • the control unit 47 sets the image sizes SM2 and SS2 set as described above, and the input device
  • the system control signal for generating observation image data is generated by using the observation information which is a character string indicating the ID number of the subject input by the operation of 6 and the child image generation unit 44 and the image processing To the unit 45.
  • the child image generation unit 44 generates child image data of the image size SS2 by reducing the lesion candidate still image data output from the lesion candidate image generation unit 43 in accordance with the system control signal output from the control unit 47.
  • the generated child image data of the image size SS2 is output to the image processing unit 45.
  • the image processing unit 45 determines the image size of the parent image data that is the lesion candidate moving image data output from the lesion candidate image generation unit 43 when the lesion candidate display mode is selected. After changing to the image size SM2, composite image data in which the parent image data of the image size SM2 and the observation information indicated by the system control signal output from the control unit 47 are arranged in the same layer is generated. Further, the image processing unit 45, in response to the system control signal output from the control unit 47, combines the child image data of the image size SS2 output from the child image generation unit 44 with the composite image including the parent image data of the image size SM2. Observation image data is generated by superimposing the data on the data, and the generated observation image data is output to the display control unit 46.
  • the resolution of the endoscope 2 is less than the predetermined resolution RTH.
  • a parent image that is a moving image having an image size SM2
  • a child image that is a still image having an image size SS2
  • a character string that is input by operating the input device 6.
  • An observation image including observation information and a marker indicating the position of a lesion in the parent image and the child image is displayed on the display screen 5 a of the display device 5.
  • FIG. 4 is a diagram for explaining an example of an observation image displayed when the medical observation system according to the embodiment is used.
  • the parent image included in the observation image displayed on the display device 5 is reduced according to the resolution.
  • the child image included in the observation image can be enlarged according to the reduced display of the parent image. Therefore, according to the present embodiment, when a moving image and a still image obtained during observation of a subject are displayed together, the still image can be displayed with an appropriate image size.
  • the surplus space of the display screen 5a generated when the parent image obtained by the low-resolution endoscope 2 (the image having a limit on improvement in visibility by enlargement) is reduced, It can be used as a space for enlarging a child image generated using the parent image (an image for which there is room for improvement in visibility by enlargement). Therefore, according to the present embodiment, it is possible to improve the visibility of the child image generated using the parent image without reducing the visibility of the parent image obtained by the low-resolution endoscope 2 as much as possible. it can.
  • the present invention is not limited to the one that generates blue narrowband light with a center wavelength set near 415 nm and green narrowband light with a center wavelength set near 540 nm as special light.
  • blue narrow-band light having a center wavelength set to around 400 nm which is light for exciting a predetermined structure included in a living tissue to generate autofluorescence, is generated as special light. Also good.
  • the control unit 47 includes the child image included in the observation image displayed on the display device 5 and the image size of the parent image included in the endoscope information read from the scope memory 24. For example, it may be changed according to the model of the endoscope 2 included in the endoscope information. By the way, in many existing endoscopes, information about its own model is stored in the scope memory 24. Therefore, by combining the above-described configuration with an existing endoscope, for example, it is included in the observation image displayed on the display device 5 without adding new information (such as resolution) to the scope memory 24.
  • the image size of the child image and the parent image can be changed.
  • the control unit 47 sets the image size of the child image and the parent image included in the observation image displayed on the display device 5 to the type of the image sensor 22c included in the endoscope information. It may be changed accordingly.
  • control unit 47 of the present embodiment sets the image size of the parent image data used for generating the observation image data by the image processing unit 45 to SM2, for the latest N (N ⁇ 2) frames. And control for generating observation image data using N child image data having a predetermined image size that is equal to or less than the image size SS1. It may be.
  • control unit 47 determines the number of child images included in the observation image displayed on the display device 5 according to the video output standard when the observation image is output to the display device 5. It may be set based on the type or the aspect ratio of the display device 5 (display screen 5a) on which the observation image is displayed.
  • control unit 47 determines the arrangement position of the child image included in the observation image displayed on the display device 5 and the video output standard when the observation image is output as a video on the display device 5. Or the aspect ratio of the display device 5 (display screen 5a) on which the observation image is displayed may be set.
  • the child image included in the observation image is not limited to being displayed, but the child image is an operation state of the medical observation system 1 or the like. It may be displayed intermittently according to.
  • the control unit 47 stops superimposing the child image data on the composite image data, and displays the content of the detected defect.
  • a system control signal for generating observation image data in which a system message for notification is arranged in the same layer as the composite image data may be generated and output to the image processing unit 45.
  • control of the control unit 47 it is possible to prevent the child image from being displayed during the period from immediately after the occurrence of the malfunction related to the operation of the medical observation system 1 until it is resolved. It is possible to reliably notify the user of the occurrence of the problem.
  • the control unit 47 uses the observation support information as the composite image data. For generating observation image data superimposed on a layer between the child image data (a layer below the child image data) and stopping the superimposition of the child image data on the composite image data after a predetermined time T1 has elapsed.
  • a system control signal may be generated and output to the image processing unit 45.
  • an ultrasonic image can be obtained by scanning the body cavity of the subject including the subject imaged by the endoscope 2 with ultrasonic waves.
  • the ultrasonic diagnostic apparatus is connected to the processor 4, while generating observation image data in which the ultrasonic image is superimposed on a layer between the composite image data and the sub image data, sub image data for the composite image data is generated. Can be stopped after the elapse of the predetermined time T1.
  • the processor 4 is an insertion shape detection device that can detect the insertion shape of the insertion portion 2a in the body cavity of the subject and obtain an insertion shape image.
  • the observation image processing unit 45 may stop superimposing the child image data on the composite image data, for example, at a timing immediately after the predetermined time T1 has elapsed, according to the control of the control unit 47 as described above.
  • the image processing unit 45 moves the child image data so as not to overlap with the parent image data included in the composite image data, for example, after a predetermined time T1 has elapsed, according to the control of the control unit 47 as described above. By doing so, a part of the child image data may be arranged outside the observation image data.
  • the control unit 47 uses the statistical data to detect a lesion candidate detected by the lesion candidate image generation unit 43.
  • the reliability of the lesion included in the region may be calculated, and the display time of the child image may be set according to the calculated reliability.
  • the control unit 47 selects the child image for the composite image data.
  • a system control signal for stopping the superimposition of data after a predetermined time T2 longer than the predetermined time T1 may be generated and output to the image processing unit 45.
  • the control unit 47 when the reliability of the lesion included in the lesion candidate area detected by the lesion candidate image generation unit 43 is equal to or higher than a predetermined reliability, the control unit 47 superimposes the child image data on the composite image data. May be generated and output to the image processing unit 45 after a predetermined time T3 longer than the predetermined time T2 has elapsed.
  • the control unit 47 uses the statistical data to detect a lesion candidate detected by the lesion candidate image generation unit 43.
  • the importance level of the lesion included in the region may be calculated, and the child image may be displayed for the display time corresponding to the calculated importance level.
  • the control unit 47 selects the child image corresponding to the composite image data.
  • a system control signal for stopping data superposition after the elapse of a predetermined time T4 longer than the predetermined time T1 may be generated and output to the image processing unit 45.
  • control unit 47 when the importance of the lesion included in the lesion candidate area detected by the lesion candidate image generation unit 43 is equal to or higher than the predetermined importance, the control unit 47 superimposes the child image data on the composite image data. May be generated and output to the image processing unit 45 after a predetermined time T5 longer than the predetermined time T4 has elapsed.
  • control unit 47 of the present embodiment is an endoscope set by an observation mode selected by operating an observation mode selection switch of the input device 6 and an operation of an optical zoom switch (not shown) of the input device 6.
  • the image processing parameter included in the reference setting value stored in the memory 47a is changed according to the optical magnification of 2, and a system control signal for generating child image data is generated using the changed image processing parameter.
  • the data may be output to the unit 44.
  • control unit 47 selects, for example, the special light observation mode by operating the observation mode selection switch of the input device 6 and the optical magnification of the endoscope 2 by operating the optical zoom switch of the input device 6. Is set to a magnification larger than the same magnification, the resolution and contour enhancement parameters included in the reference setting value stored in the memory 47a are respectively set to a setting value higher than the reference setting value.
  • a system control signal for generating child image data using the set value may be output to the child image generating unit 44.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

医用観察システムは、医用撮像装置により被写体を撮像して得られた動画像に基づいて被写体における病変候補領域を検出し、検出した病変候補領域を視覚的に示す動画像及び静止画像を生成する病変候補画像生成部と、静止画像を縮小することにより子画像を生成する子画像生成部と、病変候補動画像及び子画像を含む観察画像を生成する観察画像生成部と、医用撮像装置毎に固有の情報、観察画像が映像出力される際の映像出力規格の種類、または、観察画像が表示される表示装置のアスペクト比のいずれかに基づき、観察画像に含まれる子画像の表示態様を設定する制御部と、を有する。

Description

医用観察システム
　本発明は、医用観察システムに関し、特に、生体の観察に用いられる医用観察システムに関するものである。
　医療分野においては、例えば、生体組織等の被写体を撮像して得られる動画像と、当該動画像に基づいて得られた静止画像と、を表示装置に併せて表示することが可能な観察システムが従来知られている。
　具体的には、日本国特開２０１０－１７２６７３号公報には、通常照明光及び特殊照明光による内視鏡観察を行うことが可能な内視鏡システムであって、病変候補表示モードが選択された際に、当該特殊照明光が照射された被観察部位を撮像して得られる特殊撮影画像と、当該特殊撮影画像における病変候補の検出結果を表すマーク画像と、を重畳した静止画像である合成画像を生成し、さらに、当該通常照明光が照射された当該被観察部位を撮像して得られる動画像である通常撮影画像と、当該合成画像と、をモニタに並列表示させるような構成が開示されている。
　ところで、前述の観察システムにおいては、生体組織等の被写体を撮像して得られる動画像及び当該動画像に基づいて得られた静止画像が、当該被写体の観察時の状況に応じた適切な表示態様で表示されることが望ましい。
　しかし、日本国特開２０１０－１７２６７３号公報には、通常撮影画像及び合成画像を並列表示させる際の表示態様を観察時の状況に応じて設定するための方法等について特に言及されていない。
　そのため、日本国特開２０１０－１７２６７３号公報に開示された構成によれば、通常撮影画像及び合成画像を並列表示させる際に、例えば、通常撮影画像に比べて著しく視認性の低い合成画像が表示されるような現象、及び／または、ユーザにとって重要度の高い情報が合成画像に隠れて視認できなくなるような現象が生じる場合がある、という問題点が存在している。
　すなわち、日本国特開２０１０－１７２６７３号公報に開示された構成によれば、被写体の観察中に得られた動画像及び静止画像を併せて表示する際に、当該静止画像が適切な表示態様で表示されない場合がある、という前述の問題点に応じた課題が生じている。
　本発明は、前述した事情に鑑みてなされたものであり、被写体の観察中に得られた動画像及び静止画像を併せて表示する際に、当該静止画像を適切な表示態様で表示させることが可能な医用観察システムを提供することを目的としている。
　本発明の一態様の医用観察システムは、医用撮像装置により被写体を撮像して得られた動画像に基づいて前記被写体における病変候補領域を検出し、当該検出した病変候補領域を視覚的に示す病変候補動画像及び病変候補静止画像を生成するように構成された病変候補画像生成部と、前記病変候補静止画像を縮小することにより子画像を生成するように構成された子画像生成部と、前記病変候補動画像及び前記子画像を含む観察画像を生成するように構成された観察画像生成部と、前記医用撮像装置毎に固有の情報、前記観察画像が映像出力される際の映像出力規格の種類、または、前記観察画像が表示される表示装置のアスペクト比のいずれかに基づき、前記観察画像に含まれる前記子画像の表示態様を設定するように構成された制御部と、を有する。
実施例に係る医用観察システムの要部の構成を示す図。 実施例に係る医用観察システムに含まれる病変候補画像生成部の構成の一例を説明するための図。 実施例に係る医用観察システムの使用時に表示される観察画像の一例を説明するための図。 実施例に係る医用観察システムの使用時に表示される観察画像の一例を説明するための図。
　以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
　図１から図４は、本発明の実施例に係るものである。
　医用観察システム１は、図１に示すように、生体である被検者の体腔内に挿入されるとともに、当該体腔内における生体組織等の被写体を撮像して得られた動画像データを出力する内視鏡２と、当該被写体に照射される照明光を内視鏡２に供給する光源装置３と、内視鏡２から出力される動画像データに応じた映像信号を生成して出力するプロセッサ４と、プロセッサ４から出力される映像信号に応じた観察画像等を表示画面５ａに表示することが可能な表示装置５と、ユーザの操作に応じた情報及び／または指示等をプロセッサ４に入力することが可能な入力装置６と、を有して構成されている。図１は、実施例に係る医用観察システムの要部の構成を示す図である。
　医用撮像装置である内視鏡２は、被検者の体腔内に挿入可能な細長形状に形成された挿入部２ａを具備している。また、挿入部２ａの内部には、光源装置３から供給される照明光を挿入部２ａの先端部へ伝送するように構成されたライトガイド７が挿通されている。また、挿入部２ａの先端部には、ライトガイド７を経て出射される照明光を被写体へ照射する照明レンズ２１と、当該照明光により照明された当該被写体から発生する戻り光を撮像して撮像信号を出力する撮像部２２と、が設けられている。また、内視鏡２の内部には、撮像部２２から出力される撮像信号に応じた動画像データを生成してプロセッサ４へ出力する信号処理部２３と、内視鏡２毎に固有の情報を含む内視鏡情報が格納されたスコープメモリ２４と、が設けられている。
　撮像部２２は、対物レンズ２２ａと、結像レンズ２２ｂと、撮像素子２２ｃと、レンズ駆動機構２２ｄと、を有して構成されている。
　対物レンズ２２ａは、照明レンズ２１を経て出射される照明光により照明された被写体から発せられる戻り光に応じた光学像を形成するように構成されている。
　結像レンズ２２ｂは、対物レンズ２２ａにより形成された光学像を結像するように構成されている。また、結像レンズ２２ｂは、レンズ駆動機構２２ｄの動作に応じ、光軸方向に沿って移動することができるように構成されている。
　撮像素子２２ｃは、例えば、ＣＣＤまたはＣＭＯＳ等を具備して構成されている。また、撮像素子２２ｃは、結像レンズ２２ｂにより結像された光学像を光電変換して撮像するための複数の画素と、当該複数の画素を２次元状に配置した撮像面上に設けられたカラーフィルタと、を具備して構成されている。なお、前述のカラーフィルタは、例えば、Ｒ（赤色）、Ｇ（緑色）及びＢ（青色）の微小なフィルタを撮像素子２２ｃの各画素に対応する位置にベイヤ配列で（市松状に）配置することにより形成されている。また、撮像素子２２ｃは、プロセッサ４から出力される撮像素子駆動信号に応じて駆動するとともに、結像レンズ２２ｂにより結像された光学像を撮像することにより撮像信号を生成し、当該生成した撮像信号を信号処理部２３へ出力するように構成されている。
　レンズ駆動機構２２ｄは、プロセッサ４から出力されるレンズ駆動信号に基づき、対物レンズ２２ａの光出射面と撮像素子２２ｃの撮像面との間の所定の可動範囲内で結像レンズ２２ｂを移動させるための動作を行うことができるように構成されている。
　信号処理部２３は、撮像素子２２ｃから出力される撮像信号に対し、例えば、信号増幅処理及びＡ／Ｄ変換処理等の信号処理を施すことにより、複数のフレームの静止画像データを時系列に並べた動画像データを生成し、当該生成した動画像データをプロセッサ４へ順次出力するように構成されている。
　スコープメモリ２４には、内視鏡２毎に固有の情報として、例えば、内視鏡２の解像度を示す情報と、内視鏡２の機種を示す情報と、撮像素子２２ｃの種類を示す情報と、を含む内視鏡情報が格納されている。
　光源装置３は、光源ユニット３１と、集光レンズ３２と、光源駆動部３３と、を有して構成されている。
　光源ユニット３１は、通常光発生部３１ａと、特殊光発生部３１ｂと、を有して構成されている。また、光源ユニット３１は、通常光発生部３１ａから発せられる通常光、及び、特殊光発生部３１ｂから発せられる特殊光をそれぞれ集光レンズ３２へ出射することができるように構成されている。
　通常光発生部３１ａは、例えば、キセノンランプ等の広帯域光源を具備し、少なくともＲ、Ｇ及びＢの波長帯域を含む広帯域光または白色光を通常光として発生するように構成されている。また、通常光発生部３１ａは、光源駆動部３３から出力される光源駆動信号に応じてオンまたはオフに切り替えられるとともに、当該光源駆動信号に応じた強度の通常光を発生するように構成されている。
　特殊光発生部３１ｂは、例えば、ＬＥＤ等の狭帯域光源を具備し、通常光発生部３１ａから発せられる通常光よりも狭い波長帯域を具備する狭帯域光を特殊光として発生するように構成されている。
　具体的には、特殊光発生部３１ｂは、例えば、中心波長が４１５ｎｍ付近に設定された青色の狭帯域光、及び、中心波長が５４０ｎｍ付近に設定された緑色の狭帯域光を特殊光として発生するように構成されている。
　集光レンズ３２は、光源ユニット３１から発せられた光を集光してライトガイド７へ出射するように構成されている。
　光源駆動部３３は、例えば、光源駆動回路を具備して構成されている。また、光源駆動部３３は、プロセッサ４から出力されるシステム制御信号に応じ、光源ユニット３１の通常光発生部３１ａ及び特殊光発生部３１ｂをそれぞれ駆動するための光源駆動信号を生成して出力するように構成されている。
　プロセッサ４は、撮像制御部４１と、前処理部４２と、病変候補画像生成部４３と、子画像生成部４４と、画像処理部４５と、表示制御部４６と、制御部４７と、を有して構成されている。なお、本実施例によれば、例えば、プロセッサ４の各部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施例によれば、例えば、プロセッサ４の各部により実現される機能のうちの一部の機能を、プロセッサ４とは別体の外部装置で実現するようにしてもよい。
　撮像制御部４１は、制御部４７から出力されるシステム制御信号に応じ、撮像素子２２ｃを駆動させるための撮像素子駆動信号を生成して出力するように構成されている。また、撮像制御部４１は、制御部４７から出力されるシステム制御信号に応じ、レンズ駆動機構２２ｄを駆動させるためのレンズ駆動信号を生成して出力するように構成されている。
　前処理部４２は、制御部４７から出力されるシステム制御信号に応じ、信号処理部２３から順次出力される動画像データに含まれる各フレームの静止画像データに対し、例えば、ホワイトバランス処理等の前処理を施して病変候補画像生成部４３の局所領域設定部４３ａ（後述）及びマーカー合成部４３ｄ（後述）へ出力するように構成されている。
　病変候補画像生成部４３は、制御部４７から出力されるシステム制御信号に応じ、病変候補画像の生成を実施することを検知した際に、前処理部４２から出力される動画像データに基づいて内視鏡２により撮像された被写体における病変候補領域を検出し、当該検出した病変候補領域を視覚的に示す病変候補動画像データ及び病変候補静止画像データを生成するように構成されている。また、病変候補画像生成部４３は、前述の病変候補動画像データを画像処理部４５へ出力するとともに、前述の病変候補静止画像データを子画像生成部４４へ出力するように構成されている。また、病変候補画像生成部４３は、制御部４７から出力されるシステム制御信号に応じ、病変候補画像の生成を停止することを検知した際に、前処理部４２から出力される動画像データをそのまま画像処理部４５へ出力するように構成されている。
　病変候補画像生成部４３は、例えば、図２に示すように、局所領域設定部４３ａと、特徴量算出部４３ｂと、病変候補領域検出部４３ｃと、マーカー合成部４３ｄと、を有して構成されている。図２は、実施例に係る医用観察システムに含まれる病変候補画像生成部の構成の一例を説明するための図である。
　局所領域設定部４３ａは、前処理部４２から出力される動画像データに含まれる静止画像データを１フレーム毎に分割して複数の局所領域を設定するための処理を行うように構成されている。
　特徴量算出部４３ｂは、局所領域設定部４３ａの処理により設定された複数の局所領域のそれぞれにおいて特徴量を算出するための処理を行うように構成されている。
　具体的には、特徴量算出部４３ｂは、例えば、通常光の照射時に得られた一のフレームの静止画像データにおいて設定された各局所領域のうちの一の局所領域のＲ成分の輝度値の平均値Ｒａから、当該一の局所領域のＧ成分の輝度値の平均値Ｇａを除することにより、当該一の局所領域の色調を示す色調特徴量を算出する処理を行うように構成されている。
　病変候補領域検出部４３ｃは、特徴量算出部４３ｂにより算出された各局所領域の特徴量に基づき、病変を含むと推定される局所領域を病変候補領域として検出するための処理を行うように構成されている。
　具体的には、病変候補領域検出部４３ｃは、例えば、特徴量算出部４３ｂにより算出された各局所領域の色調特徴量に基づき、当該色調特徴量が所定の閾値より大きな局所領域を病変候補領域として検出する処理を行うように構成されている。
　マーカー合成部４３ｄは、制御部４７から出力されるシステム制御信号に応じ、病変候補画像の生成を実施することを検知した際に、前処理部４２から出力される動画像データに対し、病変候補領域検出部４３ｃの処理により検出された病変候補領域を示すマーカーを合成した病変候補動画像データ及び病変候補静止画像データをそれぞれ生成するように構成されている。
　具体的には、マーカー合成部４３ｄは、制御部４７から出力されるシステム制御信号に応じ、病変候補画像の生成を実施することを検知した際に、前処理部４２から出力される動画像データに対し、病変候補領域検出部４３ｃの処理により検出された病変候補領域を個別に囲む矩形の枠をマーカーとして合成した病変候補動画像データを生成するように構成されている。また、マーカー合成部４３ｄは、前述の矩形の枠をマーカーとして合成した最新の１フレーム分の静止画像を病変候補静止画像データとして生成するように構成されている。
　マーカー合成部４３ｄは、制御部４７から出力されるシステム制御信号に応じ、病変候補画像の生成を実施することを検知した際に、前処理部４２から出力される動画像データを用いて生成した病変候補動画像データを画像処理部４５へ出力するとともに、当該動画像データを用いて生成した病変候補静止画像データを子画像生成部４４へ出力するように構成されている。また、マーカー合成部４３ｄは、制御部４７から出力されるシステム制御信号に応じ、病変候補画像の生成を停止することを検知した際に、前処理部４２から出力される動画像データをそのまま画像処理部４５へ出力するように構成されている。
　なお、本実施例の病変候補画像生成部４３は、前処理部４２から出力される動画像データに含まれる１フレーム分の静止画像データにおいて設定された複数の局所領域毎に病変候補領域を検出するように構成されているものに限らず、例えば、当該複数の局所領域を設定せずに病変候補領域を検出するように構成されていてもよい。具体的には、本実施例の病変候補画像生成部４３は、例えば、前処理部４２から出力される動画像データに含まれる１フレーム分の静止画像データにおける注目画素と周辺画素との関係に基づいて当該静止画像データの各画素の特徴量を算出し、当該算出した特徴量が所定の閾値を超える画素群を病変候補領域として検出するようにしてもよい。
　子画像生成部４４は、制御部４７から出力されるシステム制御信号に応じ、病変候補画像の生成を実施することを検知した際に、病変候補画像生成部４３から出力される病変候補静止画像データを縮小することにより子画像データを生成し、当該生成した子画像データを画像処理部４５へ出力するように構成されている。なお、子画像生成部４４は、制御部４７から出力されるシステム制御信号に応じ、病変候補画像の生成を停止することを検知した際には、子画像データの生成を停止するように構成されている。
　画像処理部４５は、制御部４７から出力されるシステム制御信号に応じ、病変候補画像生成部４３から出力される病変候補動画像データまたは動画像データ（以降、親画像データとも称する）に対し、例えば、電子ズーム処理及び強調処理等の画像処理を施すように構成されている。
　画像処理部４５は、制御部４７から出力されるシステム制御信号に応じ、病変候補画像生成部４３から出力される親画像データと、制御部４７から出力されるシステム制御信号により示される観察情報（後述）と、を同一のレイヤに配置した合成画像データを生成するように構成されている。また、画像処理部４５は、制御部４７から出力されるシステム制御信号に応じ、病変候補画像の生成を実施することを検知した際に、子画像生成部４４から出力される子画像データを前述の合成画像データのレイヤよりも上のレイヤに重畳することにより観察画像データを生成し、当該生成した観察画像データを表示制御部４６へ出力するように構成されている。すなわち、画像処理部４５は、観察画像生成部としての機能を具備して構成されている。なお、本実施例によれば、子画像データのレイヤを生成する際に、例えば、ＰｉｎＰ（ピクチャインピクチャ）画像におけるレイヤの生成方法、ＰｏｕｔＰ（ピクチャアウトピクチャ）画像におけるレイヤの生成方法、及び、内視鏡レリーズ時のインデックス画像におけるレイヤの生成方法のうちのいずれを用いてもよい。また、画像処理部４５は、制御部４７から出力されるシステム制御信号に応じ、病変候補画像の生成を停止することを検知した際に、前述のように生成した合成画像データを観察画像データとして表示制御部４６へ出力するように構成されている。
　なお、本実施例の画像処理部４５は、前述のようなレイヤ配置とは異なるレイヤ配置を具備する観察画像データを生成するように構成されていてもよい。具体的には、本実施例の画像処理部４５は、例えば、親画像データ、子画像データ及び観察情報をそれぞれ異なるレイヤに配置した観察画像データを生成するように構成されていてもよい。
　表示制御部４６は、制御部４７から出力されるシステム制御信号に応じ、画像処理部４５から出力される観察画像データを所定の映像出力規格に則って変換することにより映像信号を生成し、当該生成した映像信号を表示装置５へ出力するように構成されている。なお、前述の所定の映像出力規格は、例えば、ＳＤ（標準解像度）映像、ＨＤ（高精細度）映像、及び、ＵＨＤ（超高精細度）映像等の複数の規格のうちの１つであるものとする。
　制御部４７は、入力装置６の操作により複数の観察モードの中から選択された１つの観察モードに応じた動作を行わせるためのシステム制御信号を生成して出力するように構成されている。
　具体的には、制御部４７は、例えば、入力装置６に設けられた観察モード選択スイッチ（不図示）の操作により、通常光観察モードを選択する指示がなされたことを検知した場合に、光源装置３から通常光を出射させるためのシステム制御信号を生成して光源駆動部３３へ出力するとともに、病変候補画像の生成を停止するためのシステム制御信号を生成して病変候補画像生成部４３、子画像生成部４４及び画像処理部４５へ出力する。また、制御部４７は、例えば、入力装置６に設けられた観察モード選択スイッチの操作により、特殊光観察モードを選択する指示がなされたことを検知した場合に、光源装置３から特殊光を出射させるためのシステム制御信号を生成して光源駆動部３３へ出力するとともに、病変候補画像の生成を停止するためのシステム制御信号を生成して病変候補画像生成部４３、子画像生成部４４及び画像処理部４５へ出力する。また、制御部４７は、例えば、入力装置６に設けられた観察モード選択スイッチの操作により、病変候補表示モードを選択する指示がなされたことを検知した場合に、光源装置３から通常光を出射させるためのシステム制御信号を生成して光源駆動部３３へ出力するとともに、病変候補画像の生成を実施するためのシステム制御信号を生成して病変候補画像生成部４３、子画像生成部４４及び画像処理部４５へ出力する。
　制御部４７は、撮像制御部４１、前処理部４２、病変候補画像生成部４３、子画像生成部４４、画像処理部４５、及び、表示制御部４６の各部の動作を同期させるための制御を行うことができるように構成されている。
　制御部４７は、画像処理部４５による観察画像データの生成に用いられる種々のパラメータの工場出荷時の設定値である基準設定値を示す情報が少なくとも格納されたメモリ４７ａを具備して構成されている。また、制御部４７は、プロセッサ４の電源が投入され、かつ、内視鏡２がプロセッサ４に接続された際に、スコープメモリ２４から内視鏡情報を読み込むための動作を行うように構成されている。また、制御部４７は、スコープメモリ２４から読み込んだ内視鏡情報と、メモリ４７ａに格納された基準設定値と、に基づき、プロセッサ４に現在接続されている内視鏡２に適した観察画像データを生成させるための設定値を設定するように構成されている。また、制御部４７は、病変候補表示モードが選択された際に、前述のように設定した設定値と、入力装置６の操作により入力された被検者のＩＤ番号等を示す文字列である観察情報と、を用いて観察画像データを生成させるためのシステム制御信号を生成して子画像生成部４４及び画像処理部４５へ出力するように構成されている。
　なお、メモリ４７ａに格納されている基準設定値に含まれる各パラメータは、例えば、内視鏡２の解像度が所定の解像度ＲＴＨ以上であり、かつ、病変候補表示モードが選択されている場合に生成される観察画像データに適合するように設定されているものとする。
　表示装置５は、例えば、ＬＣＤ（液晶ディスプレイ）等を具備し、表示制御部４６から出力される映像信号に応じた観察画像等を表示画面５ａに表示することができるように構成されている。
　入力装置６は、例えば、キーボード、タッチパネル、及び／または、フットスイッチ等を具備して構成されている。なお、入力装置６は、プロセッサ４とは別体の装置であってもよく、プロセッサ４と一体化したインターフェースであってもよく、または、内視鏡２と一体化したインターフェースであってもよい。
　続いて、本実施例に係る医用観察システム１の具体的な動作等について説明する。なお、以降においては、簡単のため、病変候補表示モードにおける医用観察システム１の具体的な動作についての説明を行う一方で、通常光観察モード及び特殊光観察モードにおける具体的な動作についての説明を省略する。
　術者等のユーザは、医用観察システム１の各部を接続して電源を投入した後、入力装置６を操作することにより、被検者のＩＤ番号等を示す文字列である観察情報をプロセッサ４に入力する。
　制御部４７は、プロセッサ４の電源が投入され、かつ、内視鏡２がプロセッサ４に接続された際に、例えば、スコープメモリ２４から読み込んだ内視鏡情報に含まれる各情報の中から内視鏡２の解像度を示す情報を取得し、当該取得した解像度が所定の解像度ＲＴＨ以上であるか否かを判定する。
　制御部４７は、内視鏡２の解像度が所定の解像度ＲＴＨ以上である場合には、画像処理部４５による観察画像データの生成に用いられる親画像データの画像サイズを、メモリ４７ａに格納された観察画像生成用パラメータの基準設定値に等しい画像サイズＳＭ１に設定するとともに、当該観察画像データの生成に用いられる子画像データの画像サイズを、当該基準設定値に等しい画像サイズＳＳ１に設定する。また、制御部４７は、内視鏡２の解像度が所定の解像度ＲＴＨ未満である場合には、画像処理部４５による観察画像データの生成に用いられる親画像データの画像サイズを、前述の画像サイズＳＭ１より小さい画像サイズＳＭ２に設定するとともに、当該観察画像データの生成に用いられる子画像データの画像サイズを、前述の画像サイズＳＳ１よりも大きい画像サイズＳＳ２に設定する。
　なお、画像サイズＳＭ１及びＳＳ１は、例えば、ＳＭ１＞ＳＳ１を満たし、かつ、観察画像データに含まれる親画像データと子画像データとを相互に重複させずに配置することが可能なサイズとしてそれぞれ設定されるものとする。また、画像サイズＳＭ２及びＳＳ２は、例えば、ＳＭ２≧ＳＳ２を満たし、かつ、観察画像データに含まれる親画像データと子画像データとを相互に重複させずに配置することが可能なサイズとしてそれぞれ設定されるものとする。
　ユーザは、医用観察システム１の各部を接続して電源を投入した後、入力装置６の観察モード選択スイッチを操作することにより、病変候補表示モードを選択する指示をプロセッサ４に対して行う。また、ユーザは、病変候補表示モードを選択した状態において、被験者の体腔内に存在する所望の被写体を撮像可能な位置まで挿入部２ａを挿入してゆく。
　制御部４７は、病変候補表示モードを選択する指示がなされたことを検知した際に、光源装置３から通常光を出射させるためのシステム制御信号を生成して光源駆動部３３へ出力する。また、制御部４７は、病変候補表示モードを選択する指示がなされたことを検知した際に、病変候補画像の生成を実施するためのシステム制御信号を生成して病変候補画像生成部４３、子画像生成部４４及び画像処理部４５へ出力する。そして、このような制御部４７の制御に応じ、照明レンズ２１を経て出射された通常光が被写体へ照射され、当該被写体から発生する戻り光を撮像して得られた撮像信号が撮像部２２から出力され、当該撮像信号に応じて生成された動画像データが病変候補画像生成部４３に入力され、当該動画像データを用いて生成された病変候補動画像データが画像処理部４５に入力され、当該動画像データを用いて生成された病変候補静止画像データが子画像生成部４４に入力される。
　制御部４７は、内視鏡２の解像度が所定の解像度ＲＴＨ以上であり、かつ、病変候補表示モードが選択された際に、前述のように設定した画像サイズＳＭ１及びＳＳ１と、入力装置６の操作により入力された被検者のＩＤ番号等を示す文字列である観察情報と、を用いて観察画像データを生成させるためのシステム制御信号を生成して子画像生成部４４及び画像処理部４５へ出力する。
　子画像生成部４４は、制御部４７から出力されるシステム制御信号に応じ、病変候補画像生成部４３から出力される病変候補静止画像データを縮小することにより画像サイズＳＳ１の子画像データを生成し、当該生成した画像サイズＳＳ１の子画像データを画像処理部４５へ出力する。
　画像処理部４５は、制御部４７から出力されるシステム制御信号に応じ、病変候補画像生成部４３から出力される病変候補動画像データである親画像データの画像サイズを画像サイズＳＭ１に変更した後、当該画像サイズＳＭ１の親画像データと、制御部４７から出力されるシステム制御信号により示される観察情報と、を同一のレイヤに配置した合成画像データを生成する。また、画像処理部４５は、制御部４７から出力されるシステム制御信号に応じ、子画像生成部４４から出力される画像サイズＳＳ１の子画像データを、画像サイズＳＭ１の親画像データを含む合成画像データに重畳することにより観察画像データを生成し、当該生成した観察画像データを表示制御部４６へ出力する。
　すなわち、以上に述べたような子画像生成部４４、画像処理部４５及び制御部４７の動作によれば、病変候補表示モードの選択時において、内視鏡２の解像度が所定の解像度ＲＴＨ以上である場合には、図３に例示するような、画像サイズＳＭ１の動画像である親画像と、画像サイズＳＳ１の静止画像である子画像と、入力装置６の操作により入力された文字列である観察情報と、当該親画像及び当該子画像における病変の位置を示すマーカーと、を含む観察画像が表示装置５の表示画面５ａに表示される。なお、プロセッサ４の電源が投入され、かつ、病変候補表示モードが選択されている期間中に病変候補画像生成部４３が病変候補領域を一度も検出していない場合には、図３に示したものから子画像（及び当該子画像内のマーカー）を除いた観察画像が表示装置５の表示画面５ａに表示される。図３は、実施例に係る医用観察システムの使用時に表示される観察画像の一例を説明するための図である。
　一方、制御部４７は、内視鏡２の解像度が所定の解像度ＲＴＨ未満であり、かつ、病変候補表示モードが選択された際に、前述のように設定した画像サイズＳＭ２及びＳＳ２と、入力装置６の操作により入力された被検者のＩＤ番号等を示す文字列である観察情報と、を用いて観察画像データを生成させるためのシステム制御信号を生成して子画像生成部４４及び画像処理部４５へ出力する。
　子画像生成部４４は、制御部４７から出力されるシステム制御信号に応じ、病変候補画像生成部４３から出力される病変候補静止画像データを縮小することにより画像サイズＳＳ２の子画像データを生成し、当該生成した画像サイズＳＳ２の子画像データを画像処理部４５へ出力する。
　画像処理部４５は、制御部４７から出力されるシステム制御信号に応じ、病変候補表示モードの選択時に病変候補画像生成部４３から出力される病変候補動画像データである親画像データの画像サイズを画像サイズＳＭ２に変更した後、当該画像サイズＳＭ２の親画像データと、制御部４７から出力されるシステム制御信号により示される観察情報と、を同一のレイヤに配置した合成画像データを生成する。また、画像処理部４５は、制御部４７から出力されるシステム制御信号に応じ、子画像生成部４４から出力される画像サイズＳＳ２の子画像データを、画像サイズＳＭ２の親画像データを含む合成画像データに重畳することにより観察画像データを生成し、当該生成した観察画像データを表示制御部４６へ出力する。
　すなわち、以上に述べたような子画像生成部４４、画像処理部４５及び制御部４７の動作によれば、病変候補表示モードの選択時において、内視鏡２の解像度が所定の解像度ＲＴＨ未満である場合には、図４に例示するような、画像サイズＳＭ２の動画像である親画像と、画像サイズＳＳ２の静止画像である子画像と、入力装置６の操作により入力された文字列である観察情報と、当該親画像及び当該子画像における病変の位置を示すマーカーと、を含む観察画像が表示装置５の表示画面５ａに表示される。なお、プロセッサ４の電源が投入され、かつ、病変候補表示モードが選択されている期間中に病変候補画像生成部４３が病変候補領域を一度も検出していない場合には、図４に示したものから子画像（及び当該子画像内のマーカー）を除いた観察画像が表示装置５の表示画面５ａに表示される。図４は、実施例に係る医用観察システムの使用時に表示される観察画像の一例を説明するための図である。
　以上に述べたように、本実施例によれば、内視鏡２が低解像度である場合に、表示装置５に表示される観察画像に含まれる親画像を当該解像度に応じて縮小しつつ、当該観察画像に含まれる子画像を当該親画像の縮小表示に応じて拡大することができる。そのため、本実施例によれば、被写体の観察中に得られた動画像及び静止画像を併せて表示する際に、当該静止画像を適切な画像サイズで表示させることができる。また、本実施例によれば、低解像度の内視鏡２により得られた親画像（拡大による視認性の向上に限度がある画像）を縮小した際に生じる表示画面５ａの余剰スペースを、当該親画像を用いて生成された子画像（拡大による視認性の向上の余地がある画像）を拡大するためのスペースとして用いることができる。そのため、本実施例によれば、低解像度の内視鏡２により得られた親画像の視認性を極力下げることなく、当該親画像を用いて生成された子画像の視認性を向上させることができる。
　なお、本実施例によれば、中心波長が４１５ｎｍ付近に設定された青色の狭帯域光、及び、中心波長が５４０ｎｍ付近に設定された緑色の狭帯域光を特殊光として発生するものに限らず、例えば、生体組織に含まれる所定の構造物を励起して自家蛍光を発生させるための光である、中心波長が４００ｎｍ付近に設定された青色の狭帯域光を特殊光として発生するようにしてもよい。
　また、本実施例によれば、制御部４７が、表示装置５に表示される観察画像に含まれる子画像及び親画像の画像サイズを、スコープメモリ２４から読み込んだ内視鏡情報に含まれる内視鏡２の解像度に応じて変更するものに限らず、例えば、当該内視鏡情報に含まれる内視鏡２の機種に応じて変更するものであってもよい。ところで、既存の多くの内視鏡においては、自身の機種に関する情報がスコープメモリ２４に格納されている。そのため、前述の構成を既存の内視鏡に組み合わせることにより、例えば、スコープメモリ２４に対して（解像度等の）新規の情報を追加することなく、表示装置５に表示される観察画像に含まれる子画像及び親画像の画像サイズを変更することができる。また、本実施例によれば、制御部４７が、表示装置５に表示される観察画像に含まれる子画像及び親画像の画像サイズを、当該内視鏡情報に含まれる撮像素子２２ｃの種類に応じて変更するものであってもよい。
　また、本実施例の制御部４７は、例えば、画像処理部４５による観察画像データの生成に用いられる親画像データの画像サイズをＳＭ２に設定した際に、最新のＮ（Ｎ≧２）フレーム分の病変候補静止画像データを生成させるための制御と、画像サイズＳＳ１以下である所定の画像サイズのＮ個の子画像データを用いて観察画像データを生成させるための制御と、を併せて行うものであってもよい。
　また、本実施例によれば、制御部４７が、表示装置５に表示される観察画像に含まれる子画像の個数を、当該観察画像が表示装置５に映像出力される際の映像出力規格の種類、または、当該観察画像が表示される表示装置５（表示画面５ａ）のアスペクト比に基づいて設定するようにしてもよい。
　また、本実施例によれば、制御部４７が、表示装置５に表示される観察画像に含まれる子画像の配置位置を、当該観察画像が表示装置５に映像出力される際の映像出力規格の種類、または、当該観察画像が表示される表示装置５（表示画面５ａ）のアスペクト比に基づいて設定するようにしてもよい。
　また、本実施例によれば、例えば、病変候補表示モードが選択された際に、観察画像に含まれる子画像が表示され続けるものに限らず、当該子画像が医用観察システム１の動作状態等に応じて断続的に表示されるようにしてもよい。
　具体的には、制御部４７は、例えば、医用観察システム１の動作に係る不具合の発生を検知した際に、合成画像データに対する子画像データの重畳を停止させるとともに、当該検知した不具合の内容を報知するためのシステムメッセージを当該合成画像データと同一のレイヤに配置した観察画像データを生成させるためのシステム制御信号を生成して画像処理部４５へ出力するようにしてもよい。
　そして、前述のような制御部４７の制御によれば、医用観察システム１の動作に係る不具合が発生した直後から解消されるまでの期間中に子画像を表示させないようにすることができるため、当該不具合の発生を確実にユーザに報知することができる。
　また、制御部４７は、例えば、内視鏡２による被写体の観察を支援するための観察支援装置から入力される情報である観察支援情報を表示する際に、当該観察支援情報を合成画像データと子画像データとの間のレイヤ（子画像データよりも下のレイヤ）に重畳した観察画像データを生成させつつ、当該合成画像データに対する子画像データの重畳を所定時間Ｔ１の経過後に停止させるためのシステム制御信号を生成して画像処理部４５へ出力するようにしてもよい。
　そして、前述のような制御部４７の制御によれば、例えば、内視鏡２により撮像される被写体を含む被検者の体腔内を超音波で走査して超音波画像を得ることが可能な超音波診断装置がプロセッサ４に接続された際に、当該超音波画像を合成画像データと子画像データとの間のレイヤに重畳した観察画像データを生成させつつ、当該合成画像データに対する子画像データの重畳を所定時間Ｔ１の経過後に停止させることができる。また、前述のような制御部４７の制御によれば、例えば、被検者の体腔内における挿入部２ａの挿入形状を検出して挿入形状画像を得ることが可能な挿入形状検出装置がプロセッサ４に接続された際に、当該挿入形状画像を合成画像データと子画像データとの間のレイヤに重畳した観察画像データを生成させつつ、当該合成画像データに対する子画像データの重畳を所定時間Ｔ１の経過後に停止させることができる。すなわち、前述のような制御部４７の制御によれば、例えば、ユーザの所望の観察支援装置がプロセッサ４に接続された際に、当該所望の観察支援装置から入力される観察支援情報を子画像よりも優先的に表示させることができる。なお、画像処理部４５は、前述のような制御部４７の制御に応じ、例えば、所定時間Ｔ１が経過した直後のタイミングにおいて、合成画像データに対する子画像データの重畳を停止してもよい。または、画像処理部４５は、前述のような制御部４７の制御に応じ、例えば、所定時間Ｔ１が経過した後において、合成画像データに含まれる親画像データに重複しないように子画像データを移動させることにより、当該子画像データの一部を観察画像データの外側へ配置するようにしてもよい。
　また、制御部４７は、例えば、病変の信頼度の解析に利用可能な統計データがメモリ４７ａに格納されている場合に、当該統計データを用いて病変候補画像生成部４３により検出された病変候補領域に含まれる病変の信頼度を算出するとともに、当該算出した信頼度に応じて子画像の表示時間を設定するようにしてもよい。具体的には、制御部４７は、例えば、病変候補画像生成部４３により検出された病変候補領域に含まれる病変の信頼度が所定の信頼度よりも低い場合には、合成画像データに対する子画像データの重畳を所定時間Ｔ１よりも長い所定時間Ｔ２の経過後に停止させるためのシステム制御信号を生成して画像処理部４５へ出力するようにしてもよい。さらに、制御部４７は、例えば、病変候補画像生成部４３により検出された病変候補領域に含まれる病変の信頼度が所定の信頼度以上である場合には、合成画像データに対する子画像データの重畳を所定時間Ｔ２よりも長い所定時間Ｔ３の経過後に停止させるためのシステム制御信号を生成して画像処理部４５へ出力するようにしてもよい。
　また、制御部４７は、例えば、病変の重要度の解析に利用可能な統計データがメモリ４７ａに格納されている場合に、当該統計データを用いて病変候補画像生成部４３により検出された病変候補領域に含まれる病変の重要度を算出するとともに、当該算出した重要度に応じた表示時間だけ子画像を表示させるようにしてもよい。具体的には、制御部４７は、例えば、病変候補画像生成部４３により検出された病変候補領域に含まれる病変の重要度が所定の重要度よりも低い場合には、合成画像データに対する子画像データの重畳を所定時間Ｔ１よりも長い所定時間Ｔ４の経過後に停止させるためのシステム制御信号を生成して画像処理部４５へ出力するようにしてもよい。さらに、制御部４７は、例えば、病変候補画像生成部４３により検出された病変候補領域に含まれる病変の重要度が所定の重要度以上である場合には、合成画像データに対する子画像データの重畳を所定時間Ｔ４よりも長い所定時間Ｔ５の経過後に停止させるためのシステム制御信号を生成して画像処理部４５へ出力するようにしてもよい。
　一方、本実施例の制御部４７は、入力装置６の観察モード選択スイッチの操作により選択された観察モード、及び、入力装置６の光学ズームスイッチ（不図示）の操作により設定された内視鏡２の光学倍率に応じてメモリ４７ａに格納された基準設定値に含まれる画像処理パラメータを変更し、当該変更した画像処理パラメータを用いて子画像データを生成させるためのシステム制御信号を子画像生成部４４へ出力するようにしてもよい。
　具体的には、制御部４７は、例えば、入力装置６の観察モード選択スイッチの操作により特殊光観察モードが選択され、かつ、入力装置６の光学ズームスイッチの操作により内視鏡２の光学倍率が等倍よりも大きな倍率に設定された場合において、メモリ４７ａに格納された基準設定値に含まれる解像度及び輪郭強調に係るパラメータを当該基準設定値よりも高い設定値にそれぞれ設定し、当該設定した設定値を用いて子画像データを生成させるためのシステム制御信号を子画像生成部４４へ出力するようにしてもよい。
　なお、本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
　本出願は、２０１５年１２月１７日に日本国に出願された特願２０１５－２４６０１６号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (13)

  1. 　医用撮像装置により被写体を撮像して得られた動画像に基づいて前記被写体における病変候補領域を検出し、当該検出した病変候補領域を視覚的に示す病変候補動画像及び病変候補静止画像を生成するように構成された病変候補画像生成部と、
    　前記病変候補静止画像を縮小することにより子画像を生成するように構成された子画像生成部と、
    　前記病変候補動画像及び前記子画像を含む観察画像を生成するように構成された観察画像生成部と、
    　前記医用撮像装置毎に固有の情報、前記観察画像が映像出力される際の映像出力規格の種類、または、前記観察画像が表示される表示装置のアスペクト比のいずれかに基づき、前記観察画像に含まれる前記子画像の表示態様を設定するように構成された制御部と、
    　を有することを特徴とする医用観察システム。
  2. 　前記制御部は、前記医用撮像装置に固有の情報に基づいて取得した前記医用撮像装置の解像度、前記医用撮像装置の機種、または、前記医用撮像装置に設けられた撮像素子の種類のいずれかに応じ、前記観察画像に含まれる前記子画像の表示態様を設定する
    　ことを特徴とする請求項１に記載の医用観察システム。
  3. 　前記制御部は、前記医用撮像装置の解像度に応じ、前記観察画像に含まれる前記病変候補動画像及び前記子画像の画像サイズをそれぞれ変更する
    　ことを特徴とする請求項２に記載の医用観察システム。
  4. 　前記制御部は、前記観察画像が映像出力される際の映像出力規格の種類、または、前記観察画像が表示される表示装置のアスペクト比のいずれかに基づき、前記観察画像に含まれる子画像の個数を設定する
    　ことを特徴とする請求項１に記載の医用観察システム。
  5. 　前記制御部は、前記観察画像が映像出力される際の映像出力規格の種類、または、前記観察画像が表示される表示装置のアスペクト比のいずれかに基づき、前記観察画像に含まれる子画像の配置位置を設定する
    　ことを特徴とする請求項１に記載の医用観察システム。
  6. 　前記観察画像生成部は、前記病変候補動画像及び前記子画像を相互に異なるレイヤに重畳することにより前記観察画像を生成し、
    　前記制御部は、さらに、前記医用撮像装置による前記被写体の観察を支援するための情報である観察支援情報を表示する際に、前記子画像の重畳を所定時間の経過後に停止させるための制御を前記観察画像生成部に対して行う
    　ことを特徴とする請求項１に記載の医用観察システム。
  7. 　前記観察支援情報は、前記被写体を含む被検体の体腔内を超音波で走査して得られる超音波画像である
    　ことを特徴とする請求項６に記載の医用観察システム。
  8. 　前記医用撮像装置は、前記被写体を含む被検体の体腔内に挿入可能な挿入部を具備する内視鏡であり、
    　前記観察支援情報は、前記被検体の体腔内における前記挿入部の挿入形状を検出して得られる挿入形状画像である
    　ことを特徴とする請求項６に記載の医用観察システム。
  9. 　前記制御部は、さらに、前記病変候補画像生成部により検出された前記病変候補領域に含まれる病変の信頼度に応じて前記子画像の表示時間を設定する
    　ことを特徴とする請求項１に記載の医用観察システム。
  10. 　前記制御部は、さらに、前記病変候補画像生成部により検出された前記病変候補領域に含まれる病変の重要度に応じて前記子画像の表示時間を設定する
    　ことを特徴とする請求項１に記載の医用観察システム。
  11. 　前記病変候補画像生成部は、前記病変候補領域を個別に囲む枠を合成した前記病変候補動画像及び前記病変候補静止画像を生成する
    　ことを特徴とする請求項１に記載の医用観察システム。
  12. 　前記病変候補画像生成部は、前記動画像に含まれる静止画像を分割して複数の局所領域を設定し、当該複数の局所領域のそれぞれにおいて算出した特徴量に基づいて前記病変候補領域を検出する
    　ことを特徴とする請求項１に記載の医用観察システム。
  13. 　前記病変候補画像生成部は、前記複数の局所領域のうちの一の局所領域の赤色成分の輝度値の平均値から前記一の局所領域の緑色成分の輝度値の平均値を除することにより前記特徴量を算出するとともに、前記特徴量が所定の閾値より大きな局所領域を前記病変候補領域として検出する
    　ことを特徴とする請求項１２に記載の医用観察システム。
PCT/JP2016/076447 2015-12-17 2016-09-08 医用観察システム WO2017104192A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017518282A JPWO2017104192A1 (ja) 2015-12-17 2016-09-08 医用観察システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015246016 2015-12-17
JP2015-246016 2015-12-17

Publications (1)

Publication Number Publication Date
WO2017104192A1 true WO2017104192A1 (ja) 2017-06-22

Family

ID=59056315

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/076447 WO2017104192A1 (ja) 2015-12-17 2016-09-08 医用観察システム

Country Status (2)

Country Link
JP (1) JPWO2017104192A1 (ja)
WO (1) WO2017104192A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019198637A1 (ja) * 2018-04-13 2019-10-17 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2019235195A1 (ja) * 2018-06-04 2019-12-12 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2019235492A1 (ja) * 2018-06-04 2019-12-12 オリンパス株式会社 内視鏡プロセッサ、表示設定方法および表示設定プログラム
WO2020008651A1 (ja) * 2018-07-06 2020-01-09 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
JP2020073081A (ja) * 2017-10-30 2020-05-14 公益財団法人がん研究会 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム
JPWO2020054542A1 (ja) * 2018-09-11 2021-08-30 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155737A (ja) * 1996-11-29 1998-06-16 Olympus Optical Co Ltd 電子内視鏡装置
JPH10262923A (ja) * 1997-03-25 1998-10-06 Olympus Optical Co Ltd 電子内視鏡装置
JP2000083889A (ja) * 1998-09-09 2000-03-28 Olympus Optical Co Ltd 内視鏡形状検出システム
JP2002136474A (ja) * 2000-11-02 2002-05-14 Olympus Optical Co Ltd 内視鏡
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2006141686A (ja) * 2004-11-19 2006-06-08 Pentax Corp 電子内視鏡システム
JP2009207522A (ja) * 2008-02-29 2009-09-17 Olympus Medical Systems Corp 医療用画像処理装置
JP2010004980A (ja) * 2008-06-25 2010-01-14 Fujifilm Corp 電子内視鏡用プロセッサ装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP2013085718A (ja) * 2011-10-18 2013-05-13 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11341485A (ja) * 1998-05-29 1999-12-10 Olympus Optical Co Ltd 電子内視鏡装置
JP2000325305A (ja) * 1999-05-18 2000-11-28 Olympus Optical Co Ltd 内視鏡用画像処理装置
JP2011010841A (ja) * 2009-07-01 2011-01-20 Hoya Corp 内視鏡装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155737A (ja) * 1996-11-29 1998-06-16 Olympus Optical Co Ltd 電子内視鏡装置
JPH10262923A (ja) * 1997-03-25 1998-10-06 Olympus Optical Co Ltd 電子内視鏡装置
JP2000083889A (ja) * 1998-09-09 2000-03-28 Olympus Optical Co Ltd 内視鏡形状検出システム
JP2002136474A (ja) * 2000-11-02 2002-05-14 Olympus Optical Co Ltd 内視鏡
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2006141686A (ja) * 2004-11-19 2006-06-08 Pentax Corp 電子内視鏡システム
JP2009207522A (ja) * 2008-02-29 2009-09-17 Olympus Medical Systems Corp 医療用画像処理装置
JP2010004980A (ja) * 2008-06-25 2010-01-14 Fujifilm Corp 電子内視鏡用プロセッサ装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP2013085718A (ja) * 2011-10-18 2013-05-13 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7335552B2 (ja) 2017-10-30 2023-08-30 公益財団法人がん研究会 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム
JP2020073081A (ja) * 2017-10-30 2020-05-14 公益財団法人がん研究会 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム
CN111655116A (zh) * 2017-10-30 2020-09-11 公益财团法人癌研究会 图像诊断辅助装置、资料收集方法、图像诊断辅助方法及图像诊断辅助程序
CN111936032A (zh) * 2018-04-13 2020-11-13 富士胶片株式会社 图像处理装置、内窥镜系统及图像处理方法
US11992178B2 (en) 2018-04-13 2024-05-28 Fujifilm Corporation Image processing device, endoscope system, and image processing method
CN111936032B (zh) * 2018-04-13 2024-03-26 富士胶片株式会社 图像处理装置、内窥镜系统及图像处理方法
WO2019198637A1 (ja) * 2018-04-13 2019-10-17 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
JPWO2019235195A1 (ja) * 2018-06-04 2021-06-03 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
CN112218570A (zh) * 2018-06-04 2021-01-12 富士胶片株式会社 图像处理装置、内窥镜系统及图像处理方法
US11467392B2 (en) 2018-06-04 2022-10-11 Olympus Corporation Endoscope processor, display setting method, computer-readable recording medium, and endoscope system
JP7294776B2 (ja) 2018-06-04 2023-06-20 オリンパス株式会社 内視鏡プロセッサ、表示設定方法、表示設定プログラムおよび内視鏡システム
JP2019213036A (ja) * 2018-06-04 2019-12-12 オリンパス株式会社 内視鏡プロセッサ、表示設定方法および表示設定プログラム
WO2019235492A1 (ja) * 2018-06-04 2019-12-12 オリンパス株式会社 内視鏡プロセッサ、表示設定方法および表示設定プログラム
WO2019235195A1 (ja) * 2018-06-04 2019-12-12 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
JPWO2020008651A1 (ja) * 2018-07-06 2021-03-18 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
WO2020008651A1 (ja) * 2018-07-06 2020-01-09 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
JP7084994B2 (ja) 2018-07-06 2022-06-15 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム
US11656451B2 (en) 2018-07-06 2023-05-23 Olympus Corporation Image processing apparatus for endoscope, image processing method for endoscope, and recording medium
JPWO2020054542A1 (ja) * 2018-09-11 2021-08-30 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
JP7170050B2 (ja) 2018-09-11 2022-11-11 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、内視鏡システム

Also Published As

Publication number Publication date
JPWO2017104192A1 (ja) 2017-12-14

Similar Documents

Publication Publication Date Title
WO2017104192A1 (ja) 医用観察システム
CN110325100B (zh) 内窥镜系统及其操作方法
JP6956805B2 (ja) 内視鏡システム、内視鏡システムの制御方法
JP5259882B2 (ja) 撮像装置
JP2006198106A (ja) 電子内視鏡装置
JP7074065B2 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JP6013665B1 (ja) 診断支援装置及び診断支援情報表示方法
JP2007020728A (ja) 画像処理装置
EP1743568B1 (en) Image processing device
US20210307587A1 (en) Endoscope system, image processing device, total processing time detection method, and processing device
WO2018047369A1 (ja) 内視鏡システム
JP2011005002A (ja) 内視鏡装置
CN108463157B (zh) 内窥镜用处理器
JP7389257B2 (ja) 内視鏡システム及びその作動方法
JP6204116B2 (ja) 電子内視鏡システム
JP6205531B1 (ja) 内視鏡システム
JP6251059B2 (ja) 電子内視鏡システム
WO2022014235A1 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
JP6043025B2 (ja) 撮像システム及び画像処理装置
US20200129044A1 (en) Medical observation apparatus and medical observation system
WO2015025620A1 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法
JP6655433B2 (ja) 電子内視鏡システム
US20240013392A1 (en) Processor device, medical image processing device, medical image processing system, and endoscope system
WO2022009478A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
JP2019098008A (ja) 内視鏡システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017518282

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16875178

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16875178

Country of ref document: EP

Kind code of ref document: A1