WO2020065756A1 - 内視鏡装置、内視鏡画像処理装置及び内視鏡画像処理装置の作動方法 - Google Patents

内視鏡装置、内視鏡画像処理装置及び内視鏡画像処理装置の作動方法 Download PDF

Info

Publication number
WO2020065756A1
WO2020065756A1 PCT/JP2018/035635 JP2018035635W WO2020065756A1 WO 2020065756 A1 WO2020065756 A1 WO 2020065756A1 JP 2018035635 W JP2018035635 W JP 2018035635W WO 2020065756 A1 WO2020065756 A1 WO 2020065756A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject image
endoscope
timing
subject
Prior art date
Application number
PCT/JP2018/035635
Other languages
English (en)
French (fr)
Inventor
健夫 鈴木
真理子 小田切
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2018/035635 priority Critical patent/WO2020065756A1/ja
Publication of WO2020065756A1 publication Critical patent/WO2020065756A1/ja
Priority to US17/206,728 priority patent/US11496695B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00177Optical arrangements characterised by the viewing angles for 90 degrees side-viewing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00181Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/047Fisheye or wide-angle transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention relates to an endoscope device, an endoscope image processing device, and an operation method of the endoscope image processing device.
  • Endoscopes are widely used in the medical and industrial fields.
  • the optical image of the subject incident on the observation window provided at the distal end of the elongated insertion portion is photoelectrically converted and displayed on the display device.
  • an operator can perform an endoscopy or the like on a patient while viewing an endoscopic image displayed on a display device.
  • Japanese Patent Application Laid-Open No. 2010-99178 proposes an endoscope apparatus capable of observing a front side and a rear side.
  • the side rear image is acquired using, for example, an attachment having an annular convex mirror, and an endoscope image including the front image and the side rear image is displayed on the display device.
  • a side image or the like is generated based on light reflected by the annular convex mirror. Since the image is an image, the annular side image or the like is an image obtained by inverting the image when the subject is actually viewed from the observation window.
  • Japanese Patent Application Laid-Open No. 2010-99178 describes that pixels inside (ie, the center side) of an annular side rear image are set outside and pixels outside the annular side rear image are set inside.
  • a technique is disclosed in which the order of arrangement of pixels in a side rear image is reversed so that an operator or the like can intuitively understand the position of a lesion or the like.
  • the front image is generated by being cut out from the image of the imaging signal output from the imaging element, but the side image or the side rear image is generated by being cut out from the image of the imaging signal and then subjected to inversion processing. It is because it is performed. That is, the display timing of the side image or the side rear image is shifted from the display timing of the front image by the time required for the inversion process.
  • the present invention provides an endoscope apparatus, an endoscope image processing apparatus, and an endoscope apparatus that match the display timing of a front image and a side image displayed on a display device so that a viewer of two images does not feel uncomfortable.
  • An object of the present invention is to provide an operation method of an endoscope image processing device.
  • An endoscope apparatus includes an insertion portion to be inserted into a subject, a first optical system that acquires a first subject image in front of the insertion portion, and a side portion of the insertion portion.
  • a second optical system for reflecting the second subject image by an odd number of times, and capturing the first and second subject images acquired by the first and second optical systems.
  • An imaging unit and an inversion process for inverting an arrangement order of a plurality of pixels in a radial direction around a predetermined position with respect to the second object image imaged by the imaging unit,
  • a processor configured to display the subject image and the second subject image subjected to the reversal process as a display image on a display unit, wherein the processor performs the reversal process.
  • An endoscope image processing apparatus includes an insertion unit, a first optical system that acquires a first subject image in front of the insertion unit, and a second optical system that is lateral to the insertion unit.
  • a second optical system that reflects and acquires the subject image by an odd number of times; and an imaging unit that captures the first and second subject images acquired by the first and second optical systems.
  • An endoscope image processing device configured to be connected to an endoscope, comprising a processor having hardware, wherein the processor is configured to perform processing on a second subject image captured by the imaging unit.
  • An operation method of an endoscope image processing device includes an insertion unit, a first optical system that acquires a first subject image in front of the insertion unit, A second optical system that reflects and acquires the second subject image by an odd number of times, and an imaging that captures the first and second subject images acquired by the first and second optical systems
  • An operation method of an endoscope image processing apparatus configured to be connected to an endoscope having a unit, and having a processor, wherein the processor is configured to generate a second object image captured by the imaging unit.
  • FIG. 2 is a configuration diagram of an imaging unit and an objective optical system at a distal end of an insertion unit according to the embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of a video processor according to an embodiment of the present invention.
  • FIG. 4 is a diagram for explaining cutout of a front image and a side image from an acquired image generated by an image generation unit according to the embodiment of the present invention.
  • 6 is a flowchart illustrating an example of a flow of a display process of a front image and a side image in a control unit of a video processor according to the embodiment of the present invention.
  • FIG. 6 is a timing chart showing a flow of image processing in the video processor according to the embodiment of the present invention.
  • FIG. 4 is a diagram for explaining a pixel position before inversion processing according to the embodiment of the present invention.
  • FIG. 4 is a diagram for explaining pixel positions after inversion processing according to the embodiment of the present invention.
  • FIG. 9 is a diagram for explaining the movement of a front image and a side image when inversion processing is not performed according to the embodiment of the present invention.
  • FIG. 8 is a diagram for explaining the movement of a front image and a side image when a reversal process is performed according to the embodiment of the present invention.
  • 9 is a timing chart showing a flow of image processing in a video processor according to a first modification of the embodiment of the present invention.
  • FIG. 4 is a diagram for explaining a pixel position before inversion processing according to the embodiment of the present invention.
  • FIG. 4 is a diagram for explaining pixel positions after inversion processing according to the embodiment of the present invention
  • FIG. 14 is a diagram for describing inversion processing on a divided area according to a third modification of the embodiment of the present invention.
  • 13 is a flowchart illustrating an example of a flow of display processing of a front image and a side image in a control unit of a video processor according to a third modification of the embodiment of the present invention.
  • 15 is a timing chart showing a flow of image processing in a video processor according to a third modification of the embodiment of the present invention.
  • FIG. 14 is a diagram for describing inversion processing on a region divided in the radial direction according to a third modification of the embodiment of the present invention.
  • FIG. 1 is a configuration diagram of an endoscope apparatus according to an embodiment of the present invention.
  • the endoscope device 1 includes an endoscope 2, a video processor 3, and a display device 4.
  • the endoscope 2 is a flexible endoscope, and includes an elongated insertion section 5, an operation section 6 to which a base end of the insertion section 5 is connected, and a universal cable 7 extending from the operation section 6.
  • the endoscope 2 is a flexible endoscope, but may be a rigid endoscope.
  • the insertion section 5 to be inserted into the subject has, in order from the distal end, a distal end portion 11, a bending portion 12, and a flexible tube portion 13.
  • the imaging section 11A and the objective optical system 11B are built in the distal end section 11.
  • an observation window and an illumination window are provided at the distal end portion 11.
  • An imaging section 11A is provided on the optical axis of an objective optical system 11B provided behind the observation window.
  • An illumination unit is provided in the distal end portion 11 behind the illumination window via an illumination optical system.
  • the lighting unit is a light emitting element such as a light emitting diode.
  • the bending portion 12 includes a plurality of bending pieces, and has a bending mechanism in which the tips of the plurality of bending wires are fixed to the tip bending pieces.
  • the flexible tube portion 13 is formed by laminating a flex, a blade, and a skin resin from the inside.
  • the flex is a spiral tube as a flexible member having a shape in which a flat plate material is spirally wound.
  • the blade is a metal mesh tube.
  • the outer cover resin is formed on the outer peripheral portion of the blade so that a part thereof enters between the metal wires of the blade. Therefore, the flexible tube 13 has a certain degree of rigidity and flexibility.
  • the operation unit 6 is provided with two disk-shaped rotary knobs 6 a for performing the bending operation of the bending unit 12 and a plurality of operation buttons 6 b for performing various electric operations.
  • the bending portion 12 can be bent in up, down, left, and right directions by rotating the two rotating knobs 6a.
  • a connector 7a is provided at the end of the universal cable 7, and the video processor 3 is connected to the connector 7a.
  • the video processor 3 is an endoscope image processing device including a control circuit for controlling the imaging unit 11A and the image generation / processing engine.
  • the video processor 3 has an operation panel 3a.
  • the operation panel 3a is, for example, a liquid crystal display device with a touch panel device. An operator or the like can input desired function execution to the video processor 3 by operating various buttons displayed on the operation panel 3a.
  • the display device 4 is, for example, a liquid crystal display device having a display screen 4a, and displays an endoscope image, a menu screen for various operations, and the like.
  • FIG. 2 is a configuration diagram of the imaging unit 11A and the objective optical system 11B at the distal end 11 of the insertion unit 5.
  • An imaging element 11 a as the imaging unit 11 ⁇ / b> A is provided in the distal end portion 11.
  • the imaging element 11a is an image sensor such as a CCD or a CMOS.
  • the objective optical system 11B includes lenses 11b1 and 11b2, and an annular mirror portion 11b3 formed on the surface of the lens 11b2.
  • the mirror portion 11b3 is a convex mirror that is convex in the base end direction opposite to the distal end direction of the distal end portion 11.
  • the mirror portion 11b3 has, for example, a hyperboloidal or conical reflecting surface.
  • the mirror portion 11b3 has a reflection surface formed by coating aluminum or the like by evaporation or the like on the convex outer surface of the lens 11b2 which is a plano-convex lens.
  • the lens 11b2 When the distal end portion 11 is viewed from the distal end direction, the lens 11b2 is positioned such that the lens central portion 11b4 of the lens 11b2 on which the reflecting surface of the mirror portion 11b3 is not formed is located at the central portion of the imaging surface of the image sensor 11a. It is arranged in the unit 11.
  • the lens 11b1 is provided between the mirror unit 11b3 and the image sensor 11a.
  • Light from the front of the tip 11 passes through the lens center 11b4, passes through the lens 11b1, and forms an image on the imaging surface of the imaging element 11a. That is, in FIG. 2, light from the front area FA in front of the distal end portion 11 is focused on the imaging surface of the imaging element 11a through the lenses 11b1 and 11b2.
  • Light from the side of the tip 11 is reflected by the mirror 11b3, passes through the lens 11b1, and forms an image on the imaging surface of the imaging element 11a. That is, in FIG. 2, light from the side area SA on the side of the distal end portion 11 is applied to the imaging element 11a through the lens 11b1.
  • the first observation window W1 for the front area FA is disposed on the front end surface on the front side of the front end portion 11, and the second observation window W2 for the side area SA is disposed on the outer peripheral surface of the front end portion 11. I have.
  • the lens 11b2 and the mirror portion 11b3 are built in the tip portion 11, but as shown by a dotted line in FIG. 2, the portion 11c including the lens 11b2 and the mirror portion 11b3 on the tip side of the tip portion 11 is provided. May be configured as an adapter detachable from the distal end portion 11.
  • the light passing through the lens central portion 11b4 of the lens 11b2 forms an image on the imaging surface of the imaging element 11a through the lens 11b1. Therefore, the lenses 11b1 and 11b2 constitute an optical system for acquiring an object image in front of the distal end portion 11 of the insertion section 5.
  • the annular mirror portion 11b3 forms an image on the imaging surface of the imaging element 11a through the lens 11b1.
  • the reflected light from the subject from the peripheral direction, which is the side of the distal end portion 11, is reflected once by the mirror portion 11b3 and is emitted toward the lens 11b1. That is, the mirror section 11b3 in FIG. 2 reflects the subject image from the side of the tip section 11 once, and irradiates the light to the imaging element 11a via the lens 11b1.
  • the mirror section 11b3 and the lens 11b1 constitute an optical system that reflects and acquires the subject image on the side of the distal end portion 11 of the insertion section 5 once.
  • the imaging unit 11A captures two subject images acquired by the optical system of the lenses 11b1 and 11b2 and the optical system of the mirror unit 11b3 and the lens 11b1.
  • the optical system that reflects the light from the subject once may be an imaging optical system as disclosed in, for example, Japanese Patent No. 4982358.
  • the mirror portion 11b3 reflects the light from the side once and emits it toward the lens 11b1, but instead of the mirror portion 11b3 which reflects the light once, the light from the side is reflected by three times. It is also possible to use a mirror that reflects an odd number of times such as times and emits it toward the lens 11b1.
  • FIG. 3 is a block diagram showing a configuration of the video processor 3.
  • FIG. 3 shows only components related to the present invention, and omits elements related to other components such as a light source for illumination light and a recording device such as an image recording device.
  • the video processor 3 which is an endoscope image processing device, includes a control unit 31, an image generation unit 32, an image processing unit 33, and interfaces 34 and 35.
  • the control unit 31, the image generation unit 32, the image processing unit 33, and the interfaces 34 and 35 are connected to each other via a bus 36.
  • the control unit 31 includes a processor 31a having a hardware circuit such as a central processing unit (CPU) and a memory 31b such as a ROM.
  • the ROM stores various programs for realizing various functions of the endoscope apparatus 1.
  • a user such as an operator can give various commands to the endoscope apparatus 1 by operating the operation panel 3a or various operation buttons 6a.
  • Various commands are received via the interface 34, and the processor 31a reads a program corresponding to the received command from the ROM and executes the program.
  • the image generation unit 32 is a circuit that drives the imaging element 11a and generates an image signal from an imaging signal from the imaging element 11a.
  • the image processing unit 33 cuts out a front image and a side image from the image generated by the image generation unit 32 under the control of the control unit 31, and generates a display image to be displayed on the display device 4.
  • the image processing unit 33 has a memory 33a that stores the clipped front image and side image, an inverted image described later, a generated display image, and the like.
  • the control unit 31 controls the operation of the image processing unit 33 so that the operation according to the operation mode is performed.
  • the image processing unit 33 performs a process according to an operation instruction from the control unit 31.
  • the image processing unit 33 can execute various image processing.
  • the control unit 31 outputs the image signal of the display image generated by the image processing unit 33 to the display device 4 via the interface 35.
  • the interface 34 is an interface circuit for inputting and outputting signals to the operation panel 3a, various operation buttons 6b, and the like.
  • the interface 34 also outputs an illumination drive signal LS to the illumination section of the endoscope 2.
  • the interface 35 is an interface circuit for outputting a display signal to the display device 4.
  • FIG. 4 is a diagram for explaining the extraction of the front image and the side image from the acquired image generated by the image generation unit 32.
  • the image sensor 11a outputs an image signal according to the drive signal.
  • the imaging signal is supplied to the video processor 3 via a signal line inserted into the endoscope 2.
  • An image signal of the image sensor 11a is input to the video processor 3 via the interface 34.
  • the image generation unit 32 acquires an imaging signal from the interface 34 under the control of the control unit 31.
  • the image generation unit 32 generates an image signal from the acquired imaging signal.
  • the image signal is a frame image.
  • the image sensor 11a photoelectrically converts light from a subject to generate an image signal. If the frame rate is, for example, 1/30 (second), the image generator 32 generates an image signal every 1/30 second.
  • an acquired image GI indicates an image generated by the image generation unit 32 based on an imaging signal from the imaging element 11a. Since the imaging surface of the imaging element 11a is rectangular, the acquired image GI is rectangular.
  • the image processing unit 33 cuts out a predetermined area from the acquired image GI generated by the image generation unit 32, As shown in FIG. 4, a front image FI and a side image SI are generated.
  • the front image FI is a circular image formed substantially at the center of the acquired image GI
  • the side image SI is an annular image formed at the outer periphery of the front image FI. .
  • the side image SI of the endoscope image in FIG. 4 is annular, but may be partially annular.
  • the circular front image FI and the annular side image SI are combined and displayed on the display screen 4a of the display device 4. Processing such as generation, cutout, and synthesis of an image as described above is performed by the processor 31a of the control unit 31. (Action) Next, the operation of the video processor 3 will be described.
  • the video processor 3 can execute various functions. Here, only the display function of the front image FI and the side image SI according to the present invention will be described.
  • FIG. 5 is a flowchart illustrating an example of a flow of a display process of the front image FI and the side image SI in the control unit 31 of the video processor 3.
  • the control unit 31 controls the image generation unit 32 to cause the image generation unit 32 to acquire an imaging signal from the imaging element 11a (Step (hereinafter abbreviated as S) 1).
  • control unit 31 controls the image generation unit 32 to generate an acquired image GI from the imaging signal (S2), and causes the image processing unit 33 to cut out the image (S3). That is, in S2, the image generation unit 32 generates the acquired image GI from the image pickup signal from the image sensor 11a, and in S3, the image processing unit 33 determines the predetermined image in the acquired image GI as shown in FIG. A front image FI and a side image SI are cut out from the two regions.
  • FIG. 6 is a timing chart showing the flow of image processing in the video processor 3.
  • the horizontal axis in FIG. 6 is time, and indicates the time elapsed from 0 second to every 1/30 second.
  • an explanation will be given assuming that an image is generated in 1/30 second from a moving image of 30 frames per second, and it takes 1/30 second for a reversal process described later.
  • the first row L1 from the upper row in FIG. 6 shows the front image area FIa and the side image area SIa on the acquired image GI acquired by the image sensor 11a.
  • “a1” of the first stage L1 at time t0 is one pixel included in the front image area FIa obtained by the image sensor 11a at time t0 (0 [s (second)]). Is shown. “A2” in the first stage L1 at time t1 indicates one pixel included in the front image area FIa obtained by the image sensor 11a at time t1 (1/30 [s (second)]). “A3” to “a8” at other times t2 to t7 are also shown in the same manner.
  • each of “b1, c1, d1, e1, f1, g1, h1, i1” of the first stage L1 at time t0 is obtained by the image sensor 11a at time t0 (0 [s (second)]). 1 shows one pixel included in the side image area SIa.
  • Each of “b2, c2, d2, e2, f2, g2, h2, i2” of the first stage L1 at time t1 is obtained by the image sensor 11a at time t1 (1/30 [s (second)]). 1 shows one pixel included in the side image area SIa.
  • the two pixels “b1” and “c1” at the time t0 are located along one virtual line extending radially (to the left in FIG. 6) from the center C of the circular front image FI.
  • the two pixels “d1” and “e1” are located along another virtual line extending radially (upward in FIG. 6) from the center C
  • the two pixels “f1” and “e1” g1 ” is located along another one imaginary line extending radially (rightward in FIG. 6) from the center C
  • the pixel b1 is located inside the pixel c1 in the annular side image area SIa.
  • the pixels d1, f1, and h1 are located inside the pixels e1, g1, and i1, respectively, in the annular side image area SIa.
  • the pixels c1, e1, g1, and i1 are located outside the pixels b1, d1, f1, and h1, respectively, in the annular side image area SIa.
  • the second row L2 shows the front image area FIa cut out from the acquired image GI by the image processing section 33
  • the third row L3 shows the side image area SIa cut out from the obtained image GI by the image processing section 33. Is shown.
  • the first level L1 indicates the front image area FIa and the side image area SIa before being cut out by the image processing unit 33
  • the second level L2 and the third level L3 are respectively processed by the image processing unit 33.
  • the front image area FIa and the side image area SIa after being cut out are shown.
  • the forward image FI including the pixel a1 and the side image SI including the pixels b1 to i1 are cut out at time t1 (1/30 [s]) from the acquired image GI at time t0 (0 [s (second)]). ing.
  • control unit 31 controls the image processing unit 33 to temporarily store the data of the front image FI in the memory 33a (S4), and performs the inversion process of the side image SI (S4). S5).
  • the inversion process is a process of inverting the positions of pixels arranged in the radial direction around a predetermined position (here, the center C of the front image area FIa) in the radial direction, that is, inverting the positions of the pixels. That is, the process of turning over the outside and inside in the radial direction.
  • FIGS. 7 and 8 are diagrams for explaining the inversion processing.
  • FIG. 7 is a diagram for explaining a pixel position before the inversion processing.
  • FIG. 8 is a diagram for explaining the pixel positions after the inversion processing.
  • FIG. 7 shows an annular side image SI.
  • the side image SI has an annular shape around the center C.
  • the center C coincides with the center of the circular front image FI.
  • the inversion process is a process of rearranging the order of pixels arranged from the inside to the outside of the annular image in the side image SI from the outside to the inside. Specifically, as shown in FIG. 7, a plurality of pixels are located on a virtual line VL extending radially from the center C toward the outer radial direction. FIG. 7 shows pixels Px1 to Px5 at five points on the virtual line VL for the sake of simplicity.
  • the inversion process is a process of changing the arrangement of pixels from the center C toward the outer diameter direction from the outside of the side image SI toward the center C.
  • FIG. 8 shows five points of pixels Px1 to Px5 after the arrangement of the pixels in FIG. 7 is rearranged by the inversion processing.
  • the pixel Px1 that was on the innermost side of the ring before the inversion processing is arranged on the outermost side of the ring, and the pixel Px5 that was on the outermost side of the ring before the inversion processing is It is arranged inside and outside the ring. That is, in FIG.
  • the pixels on the imaginary line are determined by a pixel interpolation process or the like and subjected to an inversion process, and the pixel value of each pixel position of the inverted pixel is determined again by a pixel interpolation process or the like.
  • the inversion processing includes, in a plurality of pixels radially around a predetermined position, the position of a pixel arranged on the inner peripheral side of the annular side image SI and the position of the side image SI. This is a process of changing the arrangement order of a plurality of pixels so that the positions of the pixels arranged on the outer peripheral side are interchanged.
  • the inversion processing is performed such that the pixels on the center side (inside) of the side image SI are arranged outside the ring, and the pixels on the outside of the side image SI are arranged on the center side (inside). This is a process for changing the position.
  • the change of the pixel position in the inversion process can be performed by a conversion process such as a polar coordinate conversion using the center C as the origin. That is, based on polar coordinates from a predetermined position of an image to be displayed on the display device 4, for example, the center C, the processor 31a determines the position of a pixel arranged on the inner peripheral side of the side image SI and the position of the side image SI. Is performed to replace the positions of the pixels arranged on the outer peripheral side of.
  • a conversion process such as a polar coordinate conversion using the center C as the origin. That is, based on polar coordinates from a predetermined position of an image to be displayed on the display device 4, for example, the center C, the processor 31a determines the position of a pixel arranged on the inner peripheral side of the side image SI and the position of the side image SI. Is performed to replace the positions of the pixels arranged on the outer peripheral side of.
  • FIG. 9 is a diagram for explaining the movement of the front image and the side image when the inversion processing is not performed.
  • FIG. 9 shows a display example of the front image FI and the side image SI displayed on the display screen 4a of the display device 4.
  • the inversion process is not performed, when the insertion section 5 of the endoscope 2 moves inside the subject, the moving directions of the front image and the side images will be different.
  • a screening is performed in which the distal end portion 11 of the insertion section 5 is first inserted deep into the subject, and then the presence or absence of a lesion is examined while being pulled back little by little.
  • the inner wall of the front image FI moves from the center C toward the outer radial direction. That is, when the insertion section 5 advances deeper into the lumen of the subject, the front image FI changes so that the inner wall image moves in the direction indicated by the dotted arrow A1.
  • the inner wall of the annular side image SI moves from the outside to the center C as shown in FIG. That is, when the insertion section 5 advances deeper into the lumen of the subject, the side image SI changes so that the inner wall image moves in the direction indicated by the dotted arrow A2. At this time, the directions of the arrows A1 and A2 are opposite. Therefore, since the motion of the image is reversed in the front image FI and the side image SI, it is difficult for the surgeon or the like to intuitively understand the position of the lesion or the like.
  • FIG. 10 is a diagram for explaining the movement of the front image and the side image when the inversion processing is performed.
  • FIG. 10 shows a display example of the front image FI and the side image SI displayed on the display screen 4a of the display device 4.
  • the front image FI changes so that the inner wall of the front image FI moves in the radial direction from the center C
  • the inner wall of the image SI also changes so that the inner wall moves from the center C toward the outer radial direction. That is, when the insertion section 5 advances deeper into the lumen of the subject, the moving direction (A1) of the inner wall of the front image FI and the moving direction (A3) of the inner wall of the side image SI are the same.
  • the operator or the like can perform the forward image FI and the reversal process. Since the image movement in the applied side image SI (hereinafter, also referred to as an inverted side image SIv) is in the same direction, it is easy for an operator or the like to intuitively understand the position of a lesion or the like. For this purpose, inversion processing is performed on the side image SI in S5 of FIG.
  • control unit 31 performs a combining process of combining the front image FI and the side image SI (S6).
  • the inversion processing is performed on the side image SI at the time t1 (1/30 [s]), and the inverted side image SIv is converted to the time t2 (2/30 [s]) in the fourth stage L4. ).
  • the forward image FI at time t1 and the inverted side image SIv obtained at time t2 are combined to generate a combined image.
  • the generated composite image is an image obtained by combining the front image FI and the inverted image of the side image SI at the same timing at time t0 (0 [s (second)]).
  • the subject image acquired at time t1 (1/30 [s]) is processed in the same manner as the subject image acquired at time t0 (0 [s]). That is, the front image FI and the side image SI cut out at time t2 are obtained, and at time t3 (3/30 [s]), the inverted side image SIv is obtained, and the front image FI and the inverted side image SI are obtained. SIv and the image signal of the synthesized image are output to the display device 4.
  • the control unit 31 performs the processing of S2 to S7 on the front image FI and the side image SI acquired at each time. In FIG.
  • the process of inverting the side image SI and synthesizing the front image FI and the inverted side image SI is performed within 1/30 [s].
  • the timing at which the synthesized image is generated is further longer than the timing at which the side image SI is inverted. It is set so as to be delayed by 1/30 [s].
  • the processor 31a of the control unit 31 determines the order of the arrangement of the plurality of pixels in the radial direction around the predetermined position with respect to the subject image, which is the side image SI captured by the image sensor 11a. Is performed, and a combined image is generated by combining the front image FI and the inverted side image SIv that is the side image SI subjected to the inversion processing, and is displayed on the display device 4 as a display image. .
  • the processor 31a displays at least the front image FI so as to display the front image FI acquired at the same time as the side image SI at a timing corresponding to the timing at which the inverted side image SIv subjected to the inversion processing is displayed on the display device 4. Adjust the timing for displaying the FI.
  • the processor 31a adjusts the timing at which the front image FI is displayed, and causes the display device 4 to display the inverted side image SIv and the front image FI acquired simultaneously with the side image SI at the same timing. .
  • the forward image FI and the side image SI displayed on the display screen 4a of the display device 4 are subjected to the above-described reversal processing on the side image SI, so that the operator or the like can determine the position of the lesion.
  • the display timing of the two images is adjusted, and the operator or the like does not feel uncomfortable due to the shift in the display timing of the two images.
  • the endoscope apparatus which matches the display timing of the front image and the side image displayed on the display device and does not make a viewer of the two images feel uncomfortable is provided.
  • An image processing apparatus and an operation method of an endoscope image processing apparatus can be provided.
  • Modification 1 In the endoscope apparatus according to the above-described embodiment, the display timing of the front image FI and the display timing of the inverted side image SIv always match, but only when necessary, the display timing of the front image FI and the inverted side image SIv.
  • the display timing of SIv may be adjusted.
  • the endoscope apparatus 1 is provided with two modes, and when the first mode is selected, a process of matching the display timings of the two images is performed as in the above-described embodiment, and the second mode is set. When selected, processing for matching the display timings of two images as in the above-described embodiment is not executed.
  • an operator in a large intestine examination, an operator first inserts the distal end portion 11 of the insertion section 5 to the back of the large intestine, and then examines the presence or absence of a lesion while pulling the insertion section 5 forward. Therefore, when the insertion section 5 is first inserted, the operator sees only the front image FI and does not see the side image SI. In such a case, the display timing of the front image FI and the display timing of the inverted side image SIv need not be disturbed, and it is desirable to reduce the load on the image processing unit 33 and display the front image FI quickly. Exists.
  • the user can operate the operation panel 3a to select a desired mode from the two modes.
  • the image processing unit 33 does not execute the process of matching the display timing of the front image FI with the display timing of the inverted side image SIv.
  • the image processing unit 33 when generating the composite image in S8 of FIG. 5, the image processing unit 33 generates the composite image with the inverted side image SIv using the latest front image FI.
  • FIG. 11 is a timing chart showing a flow of image processing in the video processor 3 according to the present modification.
  • the horizontal axis indicates time, and indicates the time elapsed from 0 second to 1/30 second.
  • the forward image FI acquired at time t1 and the inverted side image SIv at time t2 are combined. Therefore, the front image FI is the latest front image, but the side image SI is an image obtained and inverted at the previous time.
  • the front image FI of the front image FI and the side image SI acquired at the time t1 is displayed at a timing before the inversion processing of the side image SI acquired at the time t1 is completed.
  • ⁇ Image processing is also performed on images acquired at other times in the first stage L1 as shown in FIG.
  • the surgeon or the like can switch the mode to the second mode and display the front image FI in real time when the insertion section 5 is first inserted.
  • the endoscope apparatus 1 has the first mode and the second mode, and the processor 31a displays the front image FI at the timing of displaying the side image SI in the first mode. In the second mode, such timing adjustment is not performed.
  • the user can select the coincidence between the display timings of the front image FI and the side image SI.
  • the process of inverting the side image SI and synthesizing the front image FI and the inverted side image SI is performed within 1/30 [s].
  • the timing at which the synthesized image is generated is further longer than the timing at which the side image SI is inverted. It is set so as to be delayed by 1/30 [s].
  • Modification 2 In Modification 1 described above, the user such as the surgeon can change the mode, and the display timing of the front image FI and the display timing of the inverted side image SIv may or may not match depending on the mode setting by the user. However, the switching between the two modes may be automatically switched between the two modes.
  • the image processing unit 33 calculates a motion vector of a predetermined area in the image of the side image SI, and only when the magnitude of the calculated motion vector is equal to or larger than a predetermined threshold value. Then, the display mode is switched to the display mode in which the display timing of the front image FI and the inverted side image SIv is matched.
  • the processor 31a detects a motion vector in the side image SI, compares the absolute value of the motion vector with a predetermined threshold, and when the absolute value of the motion vector is equal to or larger than the predetermined threshold, the first mode Works with
  • the match between the display timings of the front image FI and the side image SI can be automatically selected, so that the load on the image processing unit 33 only temporarily increases, When the entire processing of the image processing unit 33 is considered, the load on the image processing unit 33 is reduced.
  • the motion vector is detected in the side image SI, but may be calculated in at least one of the front image FI and the side image SI.
  • the inversion processing is performed on one annular side image.
  • the side image is cut into a plurality of pieces in the radial direction, and a plurality of pieces are formed in the circumferential direction.
  • the image may be divided into regions, and the inversion process may be performed on the divided regions.
  • FIG. 12 is a diagram for explaining inversion processing on the divided areas.
  • an image G1 shows a front image FI and a side image SI in the acquired image GI.
  • the side image SI of the image G1 is cut into four along four dotted lines extending in the radial direction from the center C of the front image FI.
  • the annular side image SI is divided into four in the circumferential direction.
  • the four areas are two divided areas DA in the vertical direction and two divided areas DB in the horizontal direction.
  • Inversion processing in the two divided areas DA and inversion processing in the two divided areas DB are performed for each divided area.
  • the inversion processing in the two divided areas DA is performed first, and after the inversion processing in the two divided areas DA, the inversion processing in the two divided areas DB is performed first.
  • FIG. 13 is a flowchart illustrating an example of a flow of a display process of the front image FI and the side image SI in the control unit 31 of the video processor 3 in the third modification.
  • the same processes as those in FIG. 5 are denoted by the same step numbers, and description thereof is omitted.
  • the image processing unit 33 executes the division process of the side image SI (S11).
  • the image processing unit 33 performs an inversion process on the first side image (S12).
  • S12 an inversion process is performed on the two divided areas DA described above.
  • a side image G2 indicates an image after the processing in S12.
  • the image processing unit 33 After S12, the image processing unit 33 performs the inversion process on the second side image (S13). In S13, an inversion process is performed on the two divided regions DB described above. In FIG. 12, a side image G3 shows the image after the processing in S13.
  • the image processing unit 33 After S13, the image processing unit 33 combines the front image FI temporarily stored in the memory 33a in S4 and the side images SI of the four divided areas DA and DB subjected to the inversion processing (S6).
  • an image G4 is an image formed by S6.
  • FIG. 14 is a timing chart showing a flow of image processing in the video processor 3 according to the present modification.
  • the horizontal axis indicates time, and indicates a lapse of time from 0 second to 1/30 second.
  • the front image FI and the inverted side image SI are combined.
  • the process is also performed on an image acquired at another time of the first stage L1 as shown in FIG.
  • the processing target area of one inversion process in the image processing unit 33 becomes half, so that the load of one inversion process is small. Therefore, dividing the side image SI has an advantage that the processing capability of the image processing unit 33 does not need to be increased.
  • the side image SI is divided into four and the inversion process is performed for each of the two divided regions.
  • the number of divisions of the side image SI may be two or more. Further, the number of times the inversion processing is performed may be three or more.
  • the side image SI is divided into a plurality in the circumferential direction.
  • the side image SI may be cut along the circumferential direction and divided into a plurality in the radial direction.
  • the process of inverting the side image SI and combining the front image FI with the inverted side image SI is performed within 1/30 [s].
  • the timing at which the synthesized image is generated is further longer than the timing at which the side image SI is inverted. It is set so as to be delayed by 1/30 [s].
  • FIG. 15 is a diagram for explaining the inversion processing for the region divided in the radial direction. As shown in FIG. 15, the side image SI of the image G1 is divided into two in the radial direction from the center C of the front image FI.
  • FIG. 15 as shown by G2, the inversion processing is performed on the inner divided area DC.
  • a circular arrow Iv indicates that the inversion processing is performed, and the pixels subjected to the inversion processing are indicated by br, dr, fr, and hr.
  • the image processing unit 33 combines the front image FI temporarily stored in the memory 33a in S4 and the side images SI of the two divided areas DC and DD that have been subjected to the inversion processing, and a combined image indicated by G4 is displayed. You.
  • the side image SI is divided into two in the radial direction, but may be divided into three or more in the radial direction.
  • the processor 31a divides the acquired side image SI into a plurality of portions, and performs the inversion process for each of the divided portions.
  • the processor 31a performs inversion processing in a predetermined order along a time series on a plurality of portions of the side image SI divided in the circumferential direction or the radial direction.
  • the side image is divided, but the division of the side image may be automatically performed.
  • the motion vector of the side image is calculated, and when the size of the motion vector is smaller than the predetermined value, the above-described inversion process is performed without dividing the side image SI, and the size of the motion vector is reduced.
  • the side image is divided, and inversion processing is performed on the divided area.
  • the detection of the motion vector may be performed on the forward image FI.
  • the processor 31a detects at least one motion vector of the acquired front image FI and the obtained side image SI, compares the absolute value of the motion vector with a predetermined threshold, and converts the side image SI into a plurality of portions. It is also possible to switch between performing division and inversion processing or performing inversion processing without dividing the side image SI into a plurality of parts.
  • the display timing of the front image and the side image displayed on the display device is adjusted so that the viewer who views the two images does not feel uncomfortable.
  • a mirror device, an endoscope image processing device, and an operation method of the endoscope image processing device can be provided.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

内視鏡装置1は、撮像部11Aで撮像した被検体の側方画像SIに対して所定の位置を中心に径方向に沿った複数の画素の並びの順序を反転する反転処理を行って、撮像部11Aで撮像した被検体の前方画像FIと側方画像SIを表示装置4に表示画像として表示させるように構成されるプロセッサ31aを有する。プロセッサ31aは、反転処理を行った側方画像SIを表示装置4に表示させるタイミングに合わせたタイミングで、側方画像SIと同時に取得された前方画像FIを表示させるよう、前方画像FIを表示させるタイミングを調整する。

Description

内視鏡装置、内視鏡画像処理装置及び内視鏡画像処理装置の作動方法
 本発明は、内視鏡装置、内視鏡画像処理装置及び内視鏡画像処理装置の作動方法に関する。
 内視鏡は、医療分野及び工業分野において広く用いられている。細長の挿入部の先端部に設けられた観察窓に入射した被検体の光学像は、光電変換されて、表示装置に表示される。例えば、医療分野では、術者は、表示装置に表示された内視鏡画像を見て、患者の内視鏡検査などを行うことができる。
 また、内視鏡には、広い視野を有する内視鏡もある。例えば、日本国特開2010-99178号公報には、前方と側後方を観察可能な内視鏡装置が提案されている。側後方画像は、例えば円環状の凸面鏡を有するアタッチメントを用いて取得され、前方画像と側後方画像を含む内視鏡画像が、表示装置に表示される。
 このような前方画像と、側方画像あるいは側後方画像とを含む内視鏡画像が表示装置に表示されるとき、側方画像等は、円環状の凸面鏡で反射された光に基づき生成された画像であるため、円環状の側方画像等は、観察窓から被検体を実際に見たときの画像を反転した画像となる。
 このような反転した円環状の側方画像あるいは側後方画像と、反転していない前方画像が同時表示されると、術者などにとって、病変部の位置などを直感的に理解し難い。
 そこで、上記の日本国特開2010-99178号公報には、円環状の側後方画像の内側(すなわち中心側)の画素を外側にし、円環状の側後方画像の外側の画素を内側にするように側後方画像の画素の並びの順序を反転させて、術者などが病変部の位置などを直感的に理解し易くする技術が開示されている。
 しかし、上述したような反転処理が側方画像等に対して行われるため、表示装置に表示される前方画像と側方画像等の表示タイミングにずれが生じるという問題がある。
 これは、前方画像は、撮像素子から出力される撮像信号の画像から切り出されて生成されるが、側方画像あるいは側後方画像は、撮像信号の画像から切り出されて生成された後に反転処理が施されるためである。すなわち、側方画像あるいは側後方画像の表示タイミングは、前方画像の表示タイミングに対して、反転処理に掛かる時間だけ、ずれる。
 従って、挿入部の先端部が止まっている状態から動いたような場合、表示装置に表示される2つの画像の表示タイミングのずれは、術者などに違和感を感じさせてしまうという問題が生じる。
 そこで、本発明は、表示装置に表示される前方画像と側方画像等の表示タイミングを合わせて、2つの画像を見る者に違和感を感じさせない内視鏡装置、内視鏡画像処理装置及び内視鏡画像処理装置の作動方法を提供することを目的とする。
 本発明の一態様の内視鏡装置は、被検体に挿入される挿入部と、前記挿入部の前方の第1の被検体像を取得する第1の光学系と、前記挿入部の側方の第2の被検体像を奇数回反射させて取得する第2の光学系と、前記第1及び前記第2の光学系によって取得された前記第1及び前記第2の被検体像を撮像する撮像部と、前記撮像部で撮像した第2の被検体像に対して、所定の位置を中心に径方向に沿った複数の画素の並びの順序を反転する反転処理を行って、前記第1の被検体像と前記反転処理を施した前記第2の被検体像とを表示部に表示画像として表示させるように構成されるプロセッサと、を有し、前記プロセッサは、前記反転処理を行った前記第2の被検体像を前記表示部に表示させるタイミングに合わせたタイミングで、前記第2の被検体像と同時に取得された前記第1の被検体像を表示させるよう、少なくとも前記第1の被検体像を表示させるタイミングを調整するように構成される。
 本発明の一態様の内視鏡画像処理装置は、挿入部と、前記挿入部の前方の第1の被検体像を取得する第1の光学系と、前記挿入部の側方の第2の被検体像を奇数回反射させて取得する第2の光学系と、前記第1及び前記第2の光学系によって取得された前記第1及び前記第2の被検体像を撮像する撮像部と有する内視鏡に接続されるように構成された、内視鏡画像処理装置であって、ハードウエアを有するプロセッサを有し、前記プロセッサは、前記撮像部で撮像した第2の被検体像に対して、所定の位置を中心に径方向に沿った複数の画素の並びの順序を反転する反転処理を行って、前記第1の被検体像と前記反転処理を施した前記第2の被検体像とを表示部に表示画像として表示させる画像信号を出力し、前記プロセッサは、前記反転処理を行った前記第2の被検体像を前記表示部に表示させるタイミングに合わせたタイミングで、前記第2の被検体像と同時に取得された前記第1の被検体像を表示させるよう、少なくとも前記第1の被検体像を表示させるタイミングを調整する。
 本発明の一態様の内視鏡画像処理装置の作動方法は、挿入部と、前記挿入部の前方の第1の被検体像を取得する第1の光学系と、前記挿入部の側方の第2の被検体像を奇数回反射させて取得する第2の光学系と、前記第1及び前記第2の光学系によって取得された前記第1及び前記第2の被検体像を撮像する撮像部と有する内視鏡に接続されるように構成され、かつプロセッサを有する内視鏡画像処理装置の作動方法であって、前記プロセッサは、前記撮像部で撮像した第2の被検体像に対して、所定の位置を中心に径方向に沿った複数の画素の並びの順序を反転する反転処理を行って、前記第1の被検体像と前記反転処理を施した前記第2の被検体像とを表示部に表示画像として表示させる画像信号を出力し、前記プロセッサは、前記反転処理を行った前記第2の被検体像を前記表示部に表示させるタイミングに合わせたタイミングで、前記第2の被検体像と同時に取得された前記第1の被検体像を表示させるよう、少なくとも前記第1の被検体像を表示させるタイミングを調整する。
本発明の実施の形態に関わる内視鏡装置の構成図である。 本発明の実施の形態に関わる、挿入部の先端部の撮像部と対物光学系の構成図である。 本発明の実施の形態に関わる、ビデオプロセッサの構成を示すブロック図である。 本発明の実施の形態に関わる、画像生成部において生成された取得画像から、前方画像と側方画像の切り出しを説明するための図である。 本発明の実施の形態に関わる、ビデオプロセッサの制御部における、前方画像と側方画像の表示処理の流れの例を示すフローチャートである。 本発明の実施の形態に関わる、ビデオプロセッサにおける画像処理の流れを示すタイミングチャートである。 本発明の実施の形態に関わる、反転処理前の画素位置を説明するための図である。 本発明の実施の形態に関わる、反転処理後の画素位置を説明するための図である。 本発明の実施の形態に関わる、反転処理を行わない場合の前方画像と側方画像の動きを説明するための図である。 本発明の実施の形態に関わる、反転処理を行った場合の前方画像と側方画像の動きを説明するための図である。 本発明の実施の形態の変形例1に関わるビデオプロセッサにおける画像処理の流れを示すタイミングチャートである。 本発明の実施の形態の変形例3に関わる、分割された領域に対する反転処理を説明するための図である。 本発明の実施の形態の変形例3に関わる、ビデオプロセッサの制御部における、前方画像と側方画像の表示処理の流れの例を示すフローチャートである。 本発明の実施の形態の変形例3に関わる、ビデオプロセッサにおける画像処理の流れを示すタイミングチャートである。 本発明の実施の形態の変形例3に関わる、径方向において分割された領域に対する反転処理を説明するための図である。
 以下、本発明を実施の形態により説明する。
 図1は、本発明の実施の形態に関わる内視鏡装置の構成図である。内視鏡装置1は、内視鏡2と、ビデオプロセッサ3と、表示装置4とを含む。内視鏡2は、軟性鏡であり、細長の挿入部5と、挿入部5の基端部が接続された操作部6と、操作部6から延出するユニバーサルケーブル7とを有している。なお、ここでは、内視鏡2は、軟性鏡であるが、硬性鏡でもよい。
 被検体に挿入される挿入部5は、先端から順に、先端部11と、湾曲部12と、可撓管部13を有している。撮像部11Aと対物光学系11Bが、先端部11に内蔵されている。
 図1では図示しないが、観察窓と照明窓が、先端部11に設けられている。観察窓の後ろに設けられた対物光学系11Bの光軸上に撮像部11Aが、配設されている。照明窓の後ろに照明光学系を介して照明部が、先端部11内に配設されている。照明部は、例えば発光ダイオードなどの発光素子である。
 湾曲部12は、複数の湾曲駒により構成され、複数の湾曲ワイヤの先端が先端湾曲駒に固定された湾曲機構を有する。
 可撓管部13は、内側から、フレックスと、ブレードと、外皮樹脂とが積層されて構成されている。フレックスは、平板材が螺旋状に巻かれた形状を有する可撓性部材としての螺旋管である。ブレードは、金属性の網管である。外皮樹脂は、ブレードの金属素線の間に一部が入り込むようにしてブレードの外周部に形成されている。よって、可撓管部13は、ある程度の剛性と可撓性を有する。
 湾曲部12の湾曲操作を行うための円板状の2つの回動ノブ6aと、各種電気的操作などのための複数の操作ボタン6bが、操作部6に設けられている。湾曲部12は、2つの回動ノブ6aの回動操作により、上下左右方向への湾曲が可能となっている。
 ユニバーサルケーブル7の先端部には、コネクタ7aが設けられており、ビデオプロセッサ3が接続される。ビデオプロセッサ3は、撮像部11A及び画像生成・処理エンジンを制御する制御回路などを内蔵する内視鏡画像処理装置である。
 また、ビデオプロセッサ3は、操作パネル3aを有している。操作パネル3aは、例えばタッチパネル装置付きの液晶表示装置である。術者などは、操作パネル3aに表示された各種ボタンを操作することにより、所望の機能の実行をビデオプロセッサ3に入力することができる。
 表示装置4は、例えば、表示画面4aを有する液晶表示装置であり、内視鏡画像及び各種操作用のメニュー画面などを表示する。
 図2は、挿入部5の先端部11の撮像部11Aと対物光学系11Bの構成図である。撮像部11Aとしての撮像素子11aが、先端部11内に配設されている。撮像素子11aは、CCDやCMOS等のイメージセンサなどである。対物光学系11Bは、レンズ11b1、11b2と、レンズ11b2の表面に形成された円環状のミラー部11b3とを含む。
 ミラー部11b3は、先端部11の先端方向とは反対の基端方向に凸の凸面鏡である。ミラー部11b3は、例えば双曲面状あるいは円錐状の反射面を有する。ミラー部11b3は、平凸レンズであるレンズ11b2の凸側の外側表面に、例えばアルミニウムなどが蒸着などによりコーティングされて形成された反射面を有している。
 先端部11を先端方向からみたときに、ミラー部11b3の反射面の形成されていないレンズ11b2のレンズ中央部11b4が撮像素子11aの撮像面の中央部に位置するように、レンズ11b2は、先端部11内に配設される。レンズ11b1は、ミラー部11b3と撮像素子11aの間に配設される。
 先端部11の前方からの光は、レンズ中央部11b4を通り、レンズ11b1を通って撮像素子11aの撮像面に結像する。すなわち、図2において、先端部11の前方の前方領域FAからの光が、レンズ11b1とレンズ11b2を通って撮像素子11aの撮像面上に集光する。
 先端部11の側方からの光は、ミラー部11b3で反射して、レンズ11b1を通って撮像素子11aの撮像面に結像する。すなわち、図2において、先端部11の側方の側方領域SAからの光が、レンズ11b1を通って撮像素子11aに照射される。
 前方領域FA用の第1の観察窓W1は、先端部11の前方側の先端面に配置され、側方領域SA用の第2の観察窓W2は、先端部11の外周面に配置されている。
 なお、ここでは、レンズ11b2とミラー部11b3は、先端部11内に内蔵されているが、図2において点線で示すように、先端部11の先端側のレンズ11b2とミラー部11b3を含む部分11cは、先端部11に着脱可能なアダプタとして構成してもよい。
 以上のように、レンズ11b2のレンズ中央部11b4を通った光は、レンズ11b1を通って撮像素子11aの撮像面上に結像する。よって、レンズ11b1と11b2は、挿入部5の先端部11の前方の被検体像を取得する光学系を構成する。
 円環状のミラー部11b3で反射された光は、レンズ11b1を通って撮像素子11aの撮像面上に結像する。先端部11の側方である周囲方向からの被検体からの反射光は、ミラー部11b3で1回反射されて、レンズ11b1へ向けて出射する。すなわち、図2のミラー部11b3は、先端部11の側方からの被検体像を1回反射して、レンズ11b1を介して撮像素子11aに向けて光を照射する。
 よって、ミラー部11b3とレンズ11b1は、挿入部5の先端部11の側方の被検体像を1回反射させて取得する光学系を構成する。撮像部11Aは、レンズ11b1と11b2の光学系とミラー部11b3とレンズ11b1の光学系とによって取得された2つの被検体像を撮像する。
 なお、このような被検体からの光を1回反射させる光学系は、例えば日本国特許第4982358号明細書に開示のような撮像光学系でもよい。
 また、ここでは、ミラー部11b3は、側方からの光を1回反射してレンズ11b1に向けて出射するが、光を1回反射するミラー部11b3に代えて、側方からの光を3回などの奇数回反射してレンズ11b1に向けて出射するミラーを用いてもよい。
 図3は、ビデオプロセッサ3の構成を示すブロック図である。なお、図3は、本発明に関係する構成要素のみを示しており、照明光のための光源、画像記録などの記録装置などの他の構成に関する要素については省略している。
 内視鏡画像処理装置であるビデオプロセッサ3は、制御部31と、画像生成部32と、画像処理部33と、インターフェース34、35を有している。制御部31と、画像生成部32と、画像処理部33と、インターフェース34、35は、互いにバス36を介して接続されている。
 制御部31は、中央処理装置(CPU)などのハードウエア回路を有するプロセッサ31aと、ROMなどのメモリ31bを含む。ROMは、内視鏡装置1の各種機能を実現するための各種プログラムを格納している。術者などのユーザは、操作パネル3aあるいは各種操作ボタン6aを操作することによって、内視鏡装置1に各種コマンドを与えることができる。各種コマンドは、インターフェース34を介して受信され、プロセッサ31aは、受信したコマンドに応じたプログラムをROMから読み出して実行する。
 画像生成部32は、撮像素子11aを駆動すると共に、撮像素子11aからの撮像信号から画像信号を生成する回路である。
 画像処理部33は、制御部31の制御の下、画像生成部32において生成された画像から、前方画像と側方画像を切り出して、表示装置4に表示する表示画像を生成する。画像処理部33は、切り出した前方画像と側方画像、後述する反転した画像、及び、生成した表示画像などを格納するメモリ33aを有する。
 制御部31は、動作モードに応じた動作をするように、画像処理部33の動作を制御する。画像処理部33は、制御部31からの動作指示に応じた処理を行う。画像処理部33は、各種画像処理を実行可能である。
 制御部31は、画像処理部33において生成された表示画像の画像信号を、インターフェース35を介して表示装置4へ出力する。インターフェース34は、操作パネル3a、各種操作ボタン6bなどとの信号の入出力のためのインターフェース回路である。
 また、インターフェース34は、内視鏡2の照明部への照明駆動信号LSも出力する。インターフェース35は、表示装置4への表示信号を出力するためのインターフェース回路である。
 次に、画像処理部33における前方画像と側方画像の切り出しを説明する。図4は、画像生成部32において生成された取得画像から、前方画像と側方画像の切り出しを説明するための図である。
 撮像素子11aは、駆動信号に応じて撮像信号を出力する。撮像信号は、内視鏡2内に挿通された信号線を介してビデオプロセッサ3へ供給される。撮像素子11aの撮像信号は、インターフェース34を介してビデオプロセッサ3に入力される。
 画像生成部32は、制御部31の制御の下、インターフェース34から撮像信号を取得する。画像生成部32は、取得した撮像信号から画像信号を生成する。画像信号は、フレーム画像である。
 撮像素子11aは、被写体からの光を光電変換して、撮像信号を生成する。フレームレートが、例えば1/30(秒)であれば、画像生成部32は、30分の1秒毎に画像信号を生成する。図4において、取得画像GIは、撮像素子11aからの撮像信号に基づいて、画像生成部32において生成された画像を示す。撮像素子11aの撮像面は、矩形であるため、取得画像GIは矩形である。
 対物光学系11Bと撮像部11Aは、先端部11内に固定されて配置されているので、画像処理部33は、画像生成部32により生成された取得画像GIから所定の領域を切り出すことによって、図4に示すように、前方画像FIと側方画像SIを生成する。上述した対物光学系11Bにより、前方画像FIは、取得画像GIの略中央部に形成された円形画像であり、側方画像SIは、前方画像FIの外周部に形成された円環状画像である。
 なお、図4の内視鏡画像の側方画像SIは、円環状であるが、部分円環状でもよい。
 円形の前方画像FIと円環状の側方画像SIは、合成されて、表示装置4の表示画面4aに表示される。以上のような画像の生成、切り出し、合成などの処理は、制御部31のプロセッサ31aにより行われる。
(作用)
 次に、ビデオプロセッサ3の動作について説明する。ビデオプロセッサ3は、各種機能を実行可能であるが、ここでは、本願発明に関わる前方画像FIと側方画像SIの表示機能についてのみ説明する。
 図5は、ビデオプロセッサ3の制御部31における、前方画像FIと側方画像SIの表示処理の流れの例を示すフローチャートである。制御部31は、画像生成部32を制御して、画像生成部32に、撮像素子11aからの撮像信号を取得させる(ステップ(以下、Sと略す)1)。
 次に、制御部31は、画像生成部32を制御して、撮像信号から取得画像GIを生成し(S2)、画像処理部33に画像の切出しを行わせる(S3)。すなわち、S2において、画像生成部32は、撮像素子11aからの撮像信号から取得画像GIを生成し、S3において、画像処理部33は、図4に示したように、その取得画像GIにおける所定の2つの領域から前方画像FIと側方画像SIを切り出す。
 図6は、ビデオプロセッサ3における画像処理の流れを示すタイミングチャートである。
図6の横軸は、時間であり、0秒から、30分の1秒毎の時間経過を示している。ここでは、例として、1秒30コマの動画像から、1/30秒で画像が生成され、後述する反転処理に1/30秒掛かるとして説明する。
 図6の上段から、第1段目L1は、撮像素子11aにおいて取得された取得画像GI上の前方画像領域FIaと側方画像領域SIaを示している。
 なお、図6では、時刻t0における第1段目L1の「a1」は、時刻t0(0[s(秒)])において撮像素子11aにより得られた前方画像領域FIaに含まれる1つの画素を示している。時刻t1における第1段目L1の「a2」は、時刻t1(1/30[s(秒)])において撮像素子11aにより得られた前方画像領域FIaに含まれる1つの画素を示している。他の時刻t2~t7における「a3」~「a8」も、同様に示されている。
 また、時刻t0における第1段目L1の「b1、c1、d1、e1、f1、g1、h1、i1」の各々は、時刻t0(0[s(秒)])において撮像素子11aにより得られた側方画像領域SIaに含まれる1つの画素を示している。時刻t1における第1段目L1の「b2、c2、d2、e2、f2、g2、h2、i2」の各々は、時刻t1(1/30[s(秒)])において撮像素子11aにより得られた側方画像領域SIaに含まれる1つの画素を示している。
 他の時刻t2~t7における「b2」、「c2」、・・・「h8」、「i8」も、同様に示されている。
 時刻t0における2つの画素「b1」と「c1」は、円形の前方画像FIの中心Cから径方向に(図6では左方向に)伸びる1つの仮想線上に沿って位置する。同様に、2つの画素「d1」と「e1」は、中心Cから径方向に(図6では上方向に)伸びる他の1つの仮想線上に沿って位置し、2つの画素「f1」と「g1」は、中心Cから径方向に(図6では右方向に)伸びるさらに他の1つの仮想線上に沿って位置し、2つの画素「h1」と「i1」は、中心Cから径方向に(図6では下方向に)伸びるさらに他の1つの仮想線上に沿って位置する。
 よって、例えば、画素b1は、円環状の側方画像領域SIaにおいて、画素c1よりも内側に位置していることを示している。同様に、画素d1、f1、h1は、円環状の側方画像領域SIaにおいて、それぞれ画素e1、g1、i1よりも内側に位置していることを示している。言い換えれば、画素c1、e1、g1、i1は、円環状の側方画像領域SIaにおいて、それぞれ画素b1、d1、f1、h1よりも外側に位置していることを示している。
 他の段L2からL5及び時刻t0以降の他の時刻に対応する前方画像領域FIaと側方画像領域SIaにおける、「b2」、「c2」なども同様に示されている。
 第2段目L2は、取得画像GIから画像処理部33により切り出された前方画像領域FIaを示し、第3段目L3は、取得画像GIから画像処理部33により切り出された側方画像領域SIaを示している。
 よって、第1段目L1は、画像処理部33により切り出される前の前方画像領域FIaと側方画像領域SIaを示し、第2段目L2と第3段目L3は、それぞれ画像処理部33により切り出された後の前方画像領域FIaと側方画像領域SIaを示す。
 画素a1を含む前方画像FIと画素b1~i1を含む側方画像SIは、時刻t1(1/30[s])において、時刻t0(0[s(秒)])の取得画像GIから切り出されている。
 図5に戻り、S3の後、制御部31は、画像処理部33を制御して、前方画像FIのデータをメモリ33aに一時保存すると共に(S4)、側方画像SIの反転処理を行う(S5)。
 反転処理は、所定の位置(ここでは前方画像領域FIaの中心C)を中心に径方向に沿って並んだ画素の位置を、その径方向の並びの順序を反転する、すなわち逆にする処理、つまり径方向の外側と内側を裏返す処理、である。
 図7と図8は、反転処理を説明するための図である。図7は、反転処理前の画素位置を説明するための図である。図8は、反転処理後の画素位置を説明するための図である。図7は、円環状の側方画像SIを示している。側方画像SIは、中心Cの周りに円環状の形状を有している。中心Cは、ここでは、円形の前方画像FIの中心と一致する。
 反転処理は、側方画像SIに対して、円環状の画像の内側から外側に向かって並んだ画素の並び順を、外側から内側へ並び替える処理である。具体的には、図7に示すように、中心Cから外径方向に向かって放射状に伸びる仮想線VL上には、複数の画素が位置している。図7には、説明を簡単にするために、仮想線VL上の5つの点の画素Px1~Px5が示されている。
 反転処理は、中心Cから外径方向に向かう画素の並びを、側方画像SIの外側から中心Cに向かう並びに、変える処理である。図8は、図7の画素の並びを反転処理によって並び変えた後の、5つの点の画素Px1~Px5が示されている。図8では、反転処理の前には円環状の最内側にあった画素Px1が、円環状の最外側に配置され、反転処理の前には円環状の最外側にあった画素Px5は、円環状の内外側に配置されている。すなわち、図8では、仮想線VL上において、中心Cから外径方向に向かってPx1、Px2、PX3、PX4、Px5の順に並んだ5つの画素は、Px5、Px4、Px3、Px2、Px1の順に並び変えられる。
 なお、仮想線上の画素は、画素補間処理などによって決定されて、反転処理が施され、反転処理された画素は、再び画素補間処理などによって各画素位置の画素値が決定される。
 上述した図6の第1段目L1の取得画像GI上の画素f1を、図7の画素Px2とし、図6の画素g1を画素Px4とすれば、図7において画素g1の内側にあった画素f1は、図8では、画素g1の外側に配置される。他の画素b1、c1、d1、e1、h1、i1も、f1、g1と同様に、図8に示すように配置が変更される。 
 以上のように、反転処理は、所定の位置を中心に径方向に沿った複数の画素において、円環状の側方画像SIの内周側に配置される画素の位置と、側方画像SIの外周側に配置される画素の位置とを入れ換えるように、複数の画素における並びの順序を変更する処理である。
 簡単に言えば、反転処理は、側方画像SIの中心側(内側)の画素が円環状の外側に、側方画像SIの外側の画素が中心側(内側)に配置されるように、画素位置の変更を行う処理である。
 反転処理における画素位置の変更は、中心Cを原点とした、極座標変換などの変換処理により行うことができる。すなわち、プロセッサ31aは、表示装置4に表示させる画像の所定の位置、例えば中心C、からの極座標に基づいて、側方画像SIの内周側に配置される画素の位置と、側方画像SIの外周側に配置される画素の位置とを入れ換える処理を行う。
 図9は、反転処理を行わない場合の前方画像と側方画像の動きを説明するための図である。図9は、表示装置4の表示画面4a上に表示される前方画像FIと側方画像SIの表示例を示す。
 反転処理が行われないと、内視鏡2の挿入部5が被検体内を移動するとき、前方画像と側方画像の動く方向が異なってしまう。例えば、内視鏡による大腸検査では、最初に被検体の奥まで挿入部5の先端部11を挿入した後、少しずつ戻すように引きながら病変部の有無の検査を行うスクリーニングが行われる。
 側方の観察窓W2から入射した光は、図2に示したようなミラーにおいて1回反射して、撮像素子11aの撮像面上に結像する。例えば、挿入部5が被検体内の奥へ進むとき、ミラーにおいて1回反射して形成された光学像により生成された側方画像SIは、図9に示すような画像の動きとなる。
 挿入部5が被検体の管腔内の奥へ向かって進むとき、前方画像FIの内壁は中心Cから外径方向に向かって移動する。すなわち、挿入部5が被検体の管腔内の奥へ進むとき、点線の矢印A1で示す方向に、内壁画像が移動するように、前方画像FIは変化する。
 一方、挿入部5が被検体の管腔内の奥へ向かって進むとき、円環状の側方画像SIの内壁は、図9に示すように、外側から中心Cへ向かって移動する。すなわち、挿入部5が被検体の管腔内の奥へ進むとき、点線の矢印A2で示す方向に、内壁画像は移動するように、側方画像SIは変化する。このとき、矢印A1とA2の方向は、逆方向となる。 
 よって、前方画像FIと側方画像SIにおいて画像の動きに逆転が生じるため、術者などは、病変部などの位置を直感的に理解し難い。
 これに対して、側方画像SIに上述した反転処理を施すことにより、このような病変部などの位置の直観的な理解のし難さが解消される。
 図10は、反転処理を行った場合の前方画像と側方画像の動きを説明するための図である。図10は、表示装置4の表示画面4a上に表示される前方画像FIと側方画像SIの表示例を示す。
 例えば、挿入部5が被検体の管腔内の奥へ向かって進むとき、前方画像FIの内壁は中心Cから外径方向に向かって移動するように、前方画像FIは変化すると共に、側方画像SIの内壁も、図10に示すように、中心Cから外径方向に向かって内壁が移動するように、側方画像SIも変化する。すなわち、挿入部5が被検体の管腔内の奥へ進むとき、前方画像FIの内壁の移動方向(A1)と、側方画像SIの内壁の移動方向(A3)は、同じ方向となる。
 よって、ミラー部11b3において1回反射して形成された光学像により生成された側方画像SIに対して、上述した反転処理を施すことにより、術者などは、前方画像FIと、反転処理が施された側方画像SI(以下、反転側方画像SIvともいう)における画像の動きは同じ方向となるため、術者などには病変部などの位置を直感的に理解し易い。 
 そのために、側方画像SIに対して、図5のS5において反転処理が施される。
 図5に戻り、S4とS5の後、制御部31は、前方画像FIと側方画像SIを合成する合成処理を行う(S6)。
 図6において、時刻t1(1/30[s])の側方画像SIに対して反転処理がされて、反転側方画像SIvが、第4段目L4における時刻t2(2/30[s])において生成される。時刻t2(2/30[s])において、時刻t1の前方画像FIと、時刻t2において得られた反転側方画像SIvとが合成されて、合成画像が生成される。
 生成された合成画像は、時刻t0(0[s(秒)])の同じタイミングにおける前方画像FIと、側方画像SIの反転画像とを合成した画像である。
 同様に、時刻t1(1/30[s])で取得された被検体画像も、上述した時刻t0(0[s])において取得された被検体画像と同様に処理される。すなわち、時刻t2において切り出された前方画像FIと側方画像SIが取得され、時刻t3(3/30[s])において、反転側方画像SIvが取得され、前方画像FIと、反転側方画像SIvとが合成されて、合成画像の画像信号が表示装置4へ出力される。以下同様に、制御部31は、各時刻において取得された前方画像FIと側方画像SIに対して、S2~S7の処理を施す。
 なお、図6では、側方画像SIを反転し、かつ、前方画像FIと、反転した側方画像SIとを合成する処理が1/30[s]内に行われているが、前方画像FIと、反転した側方画像SIとを合成する処理が1/30[s]程度の時間が掛る場合は、合成画像が生成されるタイミングは、側方画像SIが反転されるタイミングよりも、さらに1/30[s]遅れるように、設定される。
 以上のように、制御部31のプロセッサ31aは、撮像素子11aで撮像した側方画像SIである被検体像に対して、所定の位置を中心に径方向に沿った複数の画素の並びの順序を反転する反転処理を行って、前方画像FIと、反転処理を施した側方画像SIである反転側方画像SIvとを合成した合成画像を生成して、表示装置4に表示画像として表示させる。
 特に、プロセッサ31aは、反転処理を行った反転側方画像SIvを表示装置4に表示させるタイミングに合わせたタイミングで、側方画像SIと同時に取得された前方画像FIを表示させるよう、少なくとも前方画像FIを表示させるタイミングを調整する。ここでは、プロセッサ31aは、前方画像FIを表示させるタイミングを調整して、反転側方画像SIvと、側方画像SIと同時に取得された前方画像FIとを、同じタイミングで表示装置4に表示させる。
 以上のように、表示装置4の表示画面4a上に表示される前方画像FIと側方画像SIは、側方画像SIに上述した反転処理を施すことにより、術者などは、病変部の位置についての直観的な理解のし難さがなくなることに加えて、2つの画像の表示タイミングが調整されて2つの画像の表示タイミングのずれによる違和感を術者などに感じさせることもない。
 よって、上述した実施の形態によれば、表示装置に表示される前方画像と側方画像等の表示タイミングを合わせて、2つの画像を見る者に違和感を感じさせない内視鏡装置、内視鏡画像処理装置及び内視鏡画像処理装置の作動方法を提供することができる。
 次に、上述した実施の形態の変形例について説明する。
(変形例1)
 上述した実施の形態の内視鏡装置では、前方画像FIの表示タイミングと反転側方画像SIvの表示タイミングは常に合っているが、必要なときだけ、前方画像FIの表示タイミングと反転側方画像SIvの表示タイミングを合わせるようにしてもよい。
 例えば、内視鏡装置1に、2つのモードを設け、第1モードが選択されると、上述した実施の形態のように2つの画像の表示タイミングを一致させる処理を実行し、第2モードが選択されると、上述した実施の形態のように2つの画像の表示タイミングを一致させる処理を実行しない。
 例えば、大腸検査においては、術者は、最初に大腸の奥まで挿入部5の先端部11を挿入し、その後、挿入部5を手前に引きながら、病変部の有無を検査する。よって、挿入部5の最初の挿入時は、術者は、前方画像FIのみを見て、側方画像SIを見ない。このような場合は、前方画像FIの表示タイミングと反転側方画像SIvの表示タイミングを粟焦る必要はなく、画像処理部33の負荷を軽減して、前方画像FIを速く表示させることが望ましい場合が存在する。
 例えば、ユーザは、操作パネル3aを操作して、2つのモードのうちの所望のモードを選択することができる。画像処理部33は、第2モードが設定されているときは、前方画像FIの表示タイミングと反転側方画像SIvの表示タイミングとが合うようにする処理を実行しないようにする。
 すなわち、画像処理部33は、図5のS8において、合成画像を生成するときに、最近の前方画像FIを用いて、反転側方画像SIvとの合成画像を生成する。
 図11は、本変形例に関わるビデオプロセッサ3における画像処理の流れを示すタイミングチャートである。図11は、上述した図6と同様に、横軸は、時間であり、0秒から、30分の1秒毎の時間経過を示している。
 第5段目L5に示すように、時刻t2(2/30[s])において、時刻t1において取得された前方画像FIと、時刻t2の反転側方画像SIvが合成される。よって、前方画像FIは、最新の前方画像であるが、側方画像SIは、その前の時刻で取得されて反転された画像となる。
 言い換えれば、時刻t1において取得された前方画像FIと側方画像SIのうちの前方画像FIは、時刻t1において取得された側方画像SIの反転処理が完了する前のタイミングで表示されている。
 第1段目L1の他の時刻において取得された画像に対しても、図11に示すように画像処理が実行される。例えば、術者などは、挿入部5の最初の挿入時は、モードを第2モードに切り替えて、前方画像FIをリアルタイムで表示させることができる。
 以上のように、内視鏡装置1が、第1モードと第2モードを有し、プロセッサ31aは、第1のモードでは、側方画像SIを表示するタイミングで前方画像FIを表示するように、タイミングの調整をし、第2のモードでは、そのようなタイミングの調整をしない。
 よって、本変形例によれば、ユーザは、前方画像FIと側方画像SIの表示タイミングの一致性を選択することができる。
 なお、図11では、側方画像SIを反転し、かつ、前方画像FIと、反転した側方画像SIとを合成する処理が1/30[s]内に行われているが、前方画像FIと、反転した側方画像SIとを合成する処理が1/30[s]程度の時間が掛る場合は、合成画像が生成されるタイミングは、側方画像SIが反転されるタイミングよりも、さらに1/30[s]遅れるように、設定される。
(変形例2)
 上述した変形例1では、術者などのユーザがモードを変更することができ、ユーザによるモード設定により、前方画像FIの表示タイミングと反転側方画像SIvの表示タイミングが合うようにしたりあるいは合わないようにしたりすることができるが、2つのモードの切り替えを自動的に2つのモードが切り替わるようにしてもよい。
 本変形例では、画像処理部33は、側方画像SIの画像中の所定の領域の動きベクトルを算出し、算出して得られた動きベクトルの大きさが、所定の閾値以上であるときのみ、前方画像FIと反転側方画像SIvの表示タイミングを一致させる表示モードに、表示モードが切り替わる。
 先端部11が動いていないときは、前方画像FIと側方画像SIは、表示タイミングが一致していなくても、術者などに、違和感を生じさせることはない。しかし、例えば、大腸が急に動いたときは、前方画像FIと反転側方画像SIvに表示タイミングのずれがあると、術者などに違和感を生じさせてしまう。よって、このような場合に、側方画像SIの動きベクトルの大きさが所定の閾値以上であるとき、前方画像FIの表示タイミングと反転側方画像SIvの表示タイミングが合うにすることにより、術者などには、違和感を生じさせない。
 すなわち、プロセッサ31aは、側方画像SIにおける動きベクトルを検出し、動きベクトルの絶対値と所定の閾値とを比較し、動きベクトルの絶対値が所定の閾値以上であるときは、第1のモードで動作する。
 よって、本変形例によれば、前方画像FIと側方画像SIの表示タイミングの一致性が自動的に選択されることができるので、画像処理部33の負荷は一時的に増加するだけとなり、画像処理部33の処理全体を考慮したとき、画像処理部33の負荷が軽減される。
 なお、上述した例では、動きベクトルは、側方画像SIにおいて検出されているが、前方画像FI及び側方画像SIの少なくとも一方において算出するようにしてもよい。
(変形例3)
 上述した実施の形態及び各変形例では、反転処理は、円環状の1つの側方画像に対して実行されているが、側方画像を径方向に複数にカットして、周方向において複数の領域に分割し、分割された領域に対して、反転処理を実行するようにしてもよい。
 図12は、分割された領域に対する反転処理を説明するための図である。図12において、画像G1は、取得画像GIにおける前方画像FIと側方画像SIを示している。
 画像G1の側方画像SIは、前方画像FIの中心Cから外径方向に向かう4つの点線に沿って4つにカットされる。その結果、円環状の側方画像SIは、周方向に4つに分割される。4つの領域は、上下方向の2つの分割領域DAと左右方向の2つの分割領域DBである。
 2つの分割領域DA内の反転処理と、2つの分割領域DB内の反転処理が、分割領域毎に行われる。2つの分割領域DA内の反転処理が、最初に実行され、2つの分割領域DA内の反転処理の後に、2つの分割領域DB内の反転処理、最初に実行される。
 図13は、本変形例3におけるビデオプロセッサ3の制御部31における、前方画像FIと側方画像SIの表示処理の流れの例を示すフローチャートである。図13において、図5と同じ処理については、同じステップ番号を付して説明は省略する。
 図13に示すように、画像処理部33は、S3における画像切出し処理の後、側方画像SIの分割処理を実行する(S11)。
 次に、画像処理部33は、第1の側方画像に対して反転処理を実行する(S12)。S12では、上述した2つの分割領域DAに対して、反転処理が実行される。図12において、側方画像G2は、S12の処理後の画像を示す。
 S12の後、画像処理部33は、第2の側方画像に対して反転処理を実行する(S13)。S13では、上述した2つの分割領域DBに対して、反転処理が実行される。図12において、側方画像G3は、S13の処理後の画像を示す。
 S13の後、画像処理部33は、S4においてメモリ33aに一時的に保存していた前方画像FIと、反転処理した4つの分割領域DA、DBの側方画像SIを合成する(S6)。図12において、画像G4は、S6により構成された画像を示す。
 図14は、本変形例に関わるビデオプロセッサ3における画像処理の流れを示すタイミングチャートである。図13は、上述した図6と同様に、横軸は、時間であり、0秒から、30分の1秒毎の時間経過を示している。
 第4段目L4-1において、上下方向の2つの分割領域DA内の反転処理が、実行される。そして、第4段目L4-2において、左右方向の2つの分割領域DB内の反転処理が、実行される。
 そして、本変形例では、第5段目L5に示すように、時刻t3(3/30[s])において、前方画像FIと、反転処理された側方画像SIが合成される。第1段目L1の他の時刻において取得された画像についても、図14に示すように処理が実行される。
 このように、側方画像SIを2つの部分に分割することにより、画像処理部33において、1回の反転処理の処理対象領域が半分になるので、1回の反転処理の負荷は小さい。よって、側方画像SIを分割することには、画像処理部33の処理能力を高くしなくても、よいというメリットがある。
 なお、上述した例では、側方画像SIは、4つに分割され、2つの分割領域毎に、反転処理が実行されているが、側方画像SIの分割数は、2以上であればよく、さらに、反転処理の実行回数は、3以上でもよい。
 さらになお、上述した例では、側方画像SIは、周方向において複数に分割されているが、周方向に沿ってカットし、径方向において複数に分割するようにしてもよい。
 また、図14では、側方画像SIを反転し、かつ、前方画像FIと、反転した側方画像SIとを合成する処理が1/30[s]内に行われているが、前方画像FIと、反転した側方画像SIとを合成する処理が1/30[s]程度の時間が掛る場合は、合成画像が生成されるタイミングは、側方画像SIが反転されるタイミングよりも、さらに1/30[s]遅れるように、設定される。
 図15は、径方向において分割された領域に対する反転処理を説明するための図である。図15に示すように、画像G1の側方画像SIは、前方画像FIの中心Cから径方向において2つに分割される。
 図15では、G2に示すように、内側の分割領域DCに対して反転処理がされる。図15において、円形の矢印Ivは、反転処理がされることを示しており、反転処理された画素が、br、dr、fr、hrで示されている。
 分割領域DCに対する反転処理の後、G3に示すように、外側の分割領域DDに対して反転処理がされる。画像処理部33は、S4においてメモリ33aに一時的に保存していた前方画像FIと、反転処理した2つの分割領域DC、DDの側方画像SIを合成し、G4で示す合成画像が表示される。
 さらになお、側方画像SIは、径方向において2つに分割されているが、径方向において3つ以上に分割するようにしてもよい。
 以上のように、本変形例では、プロセッサ31aは、取得した側方画像SIを複数の部分に分割し、分割された部分毎に反転処理を行う。特に、プロセッサ31aは、周方向または径方向に分割した側方画像SIの複数の部分に対して、時系列に沿って所定の順番で反転処理を行う。
(変形例4)
 上述した変形例3では、側方画像が分割されているが、側方画像の分割を自動で行うようにしてもよい。
 例えば、側方画像の動きベクトルを算出し、動きベクトルの大きさが、所定値未満であるときは、側方画像SIを分割しないで、上述した反転処理を実行し、動きベクトルの大きさが、所定値以上になると、側方画像を分割して、分割された領域に対して、反転処理を実行する。
 これは、MPEGなどの画像の圧縮技術において、動きベクトルの大きさが小さいときは、動き補償における前フレームにおける画像の利用率が高く、圧縮処理の負荷が低いので、側方画像の全体に対して反転処理を行っても、画像処理部33の負荷は高くならない。
 これに対して、動きベクトルの大きさが大きいときは、動き補償における前フレームにおける画像の利用率が低く、圧縮処理の負荷が高いので、分割された各側方画像に対して反転処理を行うことは、画像処理部33の負荷の上昇を招く。なお、動きベクトルの検出は、前方画像FIについて行うようにしてもよい。
 よって、プロセッサ31aは、取得した前方画像FI及び側方画像SIの少なくとも一方の動きベクトルを検出し、動きベクトルの絶対値と所定の閾値とを比較して、側方画像SIを複数の部分に分割して反転処理を行うか、側方画像SIを複数の部分に分割せずに反転処理を行うかを切り替えるようにしてもよい。
 そして、その動きベクトルの大きさが所定の閾値以上であるときは、側方画像SIを分割しない。
 以上のように、上述した実施の形態及び各変形例によれば、表示装置に表示される前方画像と側方画像の表示タイミングを合わせて、2つの画像を見る者に違和感を感じさせない内視鏡装置、内視鏡画像処理装置及び内視鏡画像処理装置の作動方法を提供することができる。
 本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

Claims (14)

  1.  被検体に挿入される挿入部と、
     前記挿入部の前方の第1の被検体像を取得する第1の光学系と、
     前記挿入部の側方の第2の被検体像を奇数回反射させて取得する第2の光学系と、
     前記第1及び前記第2の光学系によって取得された前記第1及び前記第2の被検体像を撮像する撮像部と、
     前記撮像部で撮像した第2の被検体像に対して、所定の位置を中心に径方向に沿った複数の画素の並びの順序を反転する反転処理を行って、前記第1の被検体像と前記反転処理を施した前記第2の被検体像とを表示部に表示画像として表示させるように構成されるプロセッサと、
    を有し、
     前記プロセッサは、前記反転処理を行った前記第2の被検体像を前記表示部に表示させるタイミングに合わせたタイミングで、前記第2の被検体像と同時に取得された前記第1の被検体像を表示させるよう、少なくとも前記第1の被検体像を表示させるタイミングを調整するように構成されることを特徴とする内視鏡装置。
  2.  前記プロセッサは、前記第1の被検体像を表示させるタイミングを調整して、前記反転処理を行った前記第2の被検体像と、当該第2の被検体像と同時に取得された前記第1の被検体像とを、同じタイミングで前記表示部に表示させることを特徴とする、請求項1に記載の内視鏡装置。
  3.  前記反転処理は、前記所定の位置を前記中心に前記径方向に沿った前記複数の画素において、前記第2の被検体像の内周側に配置される第1の画素の第1位置と、前記第2の被検体像の外周側に配置される第2の画素の第2位置とを入れ換えるように、前記複数の画素における前記並びの順序を変更する処理である、請求項1に記載の内視鏡装置。
  4.  前記プロセッサは、前記表示部に表示させる画像の前記所定の位置からの極座標に基づいて前記入れ換える処理を行うように構成される、請求項3に記載の内視鏡装置。
  5.  前記奇数回は、1回である、請求項1に記載の内視鏡装置。
  6.  前記内視鏡装置は、切り替え可能な第1のモードと第2のモードを有し、
     前記プロセッサは、前記第1のモードでは、前記タイミングの調整をし、前記第2のモードでは、前記タイミングの調整をしないように構成される、請求項1に記載の内視鏡装置。
  7.  前記プロセッサは、前記第1及び前記第2の被検体像の少なくとも一方における動きベクトルを検出し、前記動きベクトルの絶対値と所定の閾値とを比較し、前記動きベクトルの前記絶対値が前記所定の閾値以上であるときは、前記第1のモードで動作するように構成される、請求項6に記載の内視鏡装置。
  8.  前記プロセッサは、取得した前記第2の被検体像を複数の部分に分割し、分割された部分毎に前記反転処理を行うように構成される、請求項1に記載の内視鏡装置。
  9.  前記プロセッサは、径方向または周方向に分割した前記第2の被検体像の前記複数の部分に対して、時系列に沿って所定の順番で前記反転処理を行うように構成される、請求項8に記載の内視鏡装置。
  10.  前記第1の被検体像と、前記複数の部分に対する前記反転処理を完了した前記第2の被検体像とを、同じタイミングで前記表示部に表示させるように構成される、請求項8に記載の内視鏡装置。
  11.  前記プロセッサは、取得した前記第1及び前記第2の被検体像の少なくとも一方の動きベクトルを検出し、前記動きベクトルの絶対値と所定の閾値とを比較して、前記第2の被検体像を複数の部分に分割して前記反転処理を行うか、前記第2の被検体像を前記複数の部分に分割せずに前記反転処理を行うかを切り替えるように構成される、請求項1に記載の内視鏡装置。
  12.  前記側方画像は、円環形状又は部分円環形状を有する、請求項1に記載の内視鏡装置。
  13.  挿入部と、前記挿入部の前方の第1の被検体像を取得する第1の光学系と、前記挿入部の側方の第2の被検体像を奇数回反射させて取得する第2の光学系と、前記第1及び前記第2の光学系によって取得された前記第1及び前記第2の被検体像を撮像する撮像部と有する内視鏡に接続されるように構成された、内視鏡画像処理装置であって、
     ハードウエアを有するプロセッサを有し、
     前記プロセッサは、前記撮像部で撮像した第2の被検体像に対して、所定の位置を中心に径方向に沿った複数の画素の並びの順序を反転する反転処理を行って、前記第1の被検体像と前記反転処理を施した前記第2の被検体像とを表示部に表示画像として表示させる画像信号を出力し、
     前記プロセッサは、前記反転処理を行った前記第2の被検体像を前記表示部に表示させるタイミングに合わせたタイミングで、前記第2の被検体像と同時に取得された前記第1の被検体像を表示させるよう、少なくとも前記第1の被検体像を表示させるタイミングを調整する、内視鏡画像処理装置。
  14.  挿入部と、前記挿入部の前方の第1の被検体像を取得する第1の光学系と、前記挿入部の側方の第2の被検体像を奇数回反射させて取得する第2の光学系と、前記第1及び前記第2の光学系によって取得された前記第1及び前記第2の被検体像を撮像する撮像部と有する内視鏡に接続されるように構成され、かつプロセッサを有する内視鏡画像処理装置の作動方法であって、
     前記プロセッサは、前記撮像部で撮像した第2の被検体像に対して、所定の位置を中心に径方向に沿った複数の画素の並びの順序を反転する反転処理を行って、前記第1の被検体像と前記反転処理を施した前記第2の被検体像とを表示部に表示画像として表示させる画像信号を出力し、
     前記プロセッサは、前記反転処理を行った前記第2の被検体像を前記表示部に表示させるタイミングに合わせたタイミングで、前記第2の被検体像と同時に取得された前記第1の被検体像を表示させるよう、少なくとも前記第1の被検体像を表示させるタイミングを調整する、内視鏡画像処理装置の作動方法。
PCT/JP2018/035635 2018-09-26 2018-09-26 内視鏡装置、内視鏡画像処理装置及び内視鏡画像処理装置の作動方法 WO2020065756A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/035635 WO2020065756A1 (ja) 2018-09-26 2018-09-26 内視鏡装置、内視鏡画像処理装置及び内視鏡画像処理装置の作動方法
US17/206,728 US11496695B2 (en) 2018-09-26 2021-03-19 Endoscope apparatus and method of processing radial images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/035635 WO2020065756A1 (ja) 2018-09-26 2018-09-26 内視鏡装置、内視鏡画像処理装置及び内視鏡画像処理装置の作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/206,728 Continuation US11496695B2 (en) 2018-09-26 2021-03-19 Endoscope apparatus and method of processing radial images

Publications (1)

Publication Number Publication Date
WO2020065756A1 true WO2020065756A1 (ja) 2020-04-02

Family

ID=69949338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/035635 WO2020065756A1 (ja) 2018-09-26 2018-09-26 内視鏡装置、内視鏡画像処理装置及び内視鏡画像処理装置の作動方法

Country Status (2)

Country Link
US (1) US11496695B2 (ja)
WO (1) WO2020065756A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018098465A1 (en) 2016-11-28 2018-05-31 Inventio, Inc. Endoscope with separable, disposable shaft
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007307090A (ja) * 2006-05-18 2007-11-29 Shimane Univ 内視鏡、内視鏡アタッチメント、および、内視鏡装置
JP2010099178A (ja) * 2008-10-22 2010-05-06 Osaka Univ 画像処理装置及び画像処理方法
US20100272318A1 (en) * 2005-05-13 2010-10-28 G.I. View Ltd Endoscopic measurement techniques
JP2011062328A (ja) * 2009-09-17 2011-03-31 Hoya Corp 内視鏡装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3841621B2 (ja) * 2000-07-13 2006-11-01 シャープ株式会社 全方位視覚センサー
US7649690B2 (en) * 2004-02-06 2010-01-19 Interscience, Inc. Integrated panoramic and forward optical device, system and method for omnidirectional signal processing
JP4982358B2 (ja) 2004-05-14 2012-07-25 ジー.アイ.ヴュー リミテッド 全方向および前方向を見る撮像デバイス
US7922655B2 (en) 2004-07-02 2011-04-12 Osaka University Endoscope attachment and endoscope
JP2011056106A (ja) 2009-09-11 2011-03-24 Hoya Corp 内視鏡用視野切替アダプタ
JP2012137665A (ja) 2010-12-27 2012-07-19 Olympus Corp 内視鏡装置
CN105722450B (zh) 2014-02-14 2018-01-23 奥林巴斯株式会社 内窥镜系统
WO2015198981A1 (ja) 2014-06-27 2015-12-30 オリンパス株式会社 内視鏡システム
CN206594372U (zh) * 2017-03-29 2017-10-27 迎刃而解有限公司 一种反射式环绕显示系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100272318A1 (en) * 2005-05-13 2010-10-28 G.I. View Ltd Endoscopic measurement techniques
JP2007307090A (ja) * 2006-05-18 2007-11-29 Shimane Univ 内視鏡、内視鏡アタッチメント、および、内視鏡装置
JP2010099178A (ja) * 2008-10-22 2010-05-06 Osaka Univ 画像処理装置及び画像処理方法
JP2011062328A (ja) * 2009-09-17 2011-03-31 Hoya Corp 内視鏡装置

Also Published As

Publication number Publication date
US11496695B2 (en) 2022-11-08
US20210211586A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
US11496695B2 (en) Endoscope apparatus and method of processing radial images
JP2019154816A (ja) 医療用画像処理装置、医療用観察装置、及び医療用観察装置の作動方法
JP5942044B2 (ja) 内視鏡システム
US10512393B2 (en) Video processor
CN110832842B (zh) 成像装置和图像产生方法
JP2005169009A (ja) 内視鏡システム、及び内視鏡
JP6266179B2 (ja) 内視鏡用画像処理装置及び内視鏡システム
WO2018180573A1 (ja) 手術用画像処理装置、画像処理方法、及び、手術システム
US20220148128A1 (en) Image processing apparatus, image processing method, and program
JPWO2017072853A1 (ja) 撮像装置、内視鏡装置及び撮像装置の作動方法
US11503980B2 (en) Surgical system and surgical imaging device
JPWO2015122354A1 (ja) 内視鏡システム
WO2015146836A1 (ja) 内視鏡システム
US11039067B2 (en) Image pickup apparatus, video signal processing apparatus, and video signal processing method
WO2019167555A1 (ja) 映像信号処理装置、映像信号処理方法および撮像装置
US11910105B2 (en) Video processing using a blended tone curve characteristic
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20170215710A1 (en) Endoscope system
JP5932188B1 (ja) 内視鏡のためのビデオプロセッサ及びそれを備えた内視鏡システム
US20220256096A1 (en) Image processing device, image processing method, and program
JP2021171475A (ja) 内視鏡及び内視鏡システム
JPWO2016080118A1 (ja) 内視鏡システム
JP2007160123A (ja) 内視鏡及び内視鏡システム
JP2017109037A (ja) 撮像システム
JP2015000292A (ja) 内視鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18934894

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18934894

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP