WO2015056701A1 - 画像出力装置 - Google Patents

画像出力装置 Download PDF

Info

Publication number
WO2015056701A1
WO2015056701A1 PCT/JP2014/077412 JP2014077412W WO2015056701A1 WO 2015056701 A1 WO2015056701 A1 WO 2015056701A1 JP 2014077412 W JP2014077412 W JP 2014077412W WO 2015056701 A1 WO2015056701 A1 WO 2015056701A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
output
switching
dimensional
Prior art date
Application number
PCT/JP2014/077412
Other languages
English (en)
French (fr)
Inventor
幸子 朝鳥
健彦 伊藤
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to EP14854635.1A priority Critical patent/EP3029934A4/en
Priority to JP2015516317A priority patent/JP5851656B2/ja
Priority to CN201480048411.6A priority patent/CN105519107B/zh
Publication of WO2015056701A1 publication Critical patent/WO2015056701A1/ja
Priority to US15/059,839 priority patent/US20160174823A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention relates to an image output apparatus capable of outputting a 3D image.
  • the 3D image can display the depth, it is effective for surgery and the like.
  • the 3D image is obtained by a left-eye image and a right-eye image having parallax, and has a larger data amount than a normal two-dimensional (2D) image. For this reason, when using such a 3D image for recording a case, etc., there are disadvantages that a large recording capacity is required and that power consumption in the image output unit is large.
  • Japanese Patent Application No. 6-254046 discloses a device capable of switching between outputting a 2D image or outputting a 3D image as an image output.
  • a 2D image is output, a 3D image is not output. In this case, power consumption is reduced and a required recording capacity is reduced. Is possible.
  • the output image can be used at various output destinations.
  • the output image can be used for an operator monitor, a medical staff monitor, a subject monitor, and the like, and can also be used for recording. Therefore, an image output apparatus that provides a plurality of output ports and outputs an output image to a plurality of devices is also widespread.
  • the device disclosed in Japanese Patent Application No. 6-254046 cannot output a 3D image while outputting a 2D image, and cannot output a 2D image while outputting a 3D image. For this reason, 2D images or 3D images are output from all the output ports, and there is a problem in that an image suitable for the device at the use destination cannot be output.
  • An object of the present invention is to provide an image output apparatus capable of selectively outputting a 2D image or a 3D image at each of a plurality of output ports.
  • the image output apparatus receives the first image from a first image acquisition unit that images a subject and acquires a first image, and images the subject and captures the first image. Generating a stereoscopic image based on the first image and the second image, the second image being provided from a second image acquisition unit that acquires a second image having parallax
  • a two-dimensional image generation unit that generates a two-dimensional image based on the first image or the second image, a plurality of output units that can output the three-dimensional image and the two-dimensional image, and the three-dimensional image
  • a switching unit configured to be switchable for each of the output units, which of the image or the two-dimensional image is supplied to the plurality of output units.
  • FIG. 1 is a block diagram showing an image output apparatus according to a first embodiment of the present invention.
  • the block diagram which shows the modification of 1st Embodiment.
  • the block diagram which shows 2nd Embodiment.
  • the block diagram which shows the endoscope system which enabled the parameter for left eyes and the parameters for right eyes to be set independently.
  • FIG. 1 is a block diagram showing an image output apparatus according to the first embodiment of the present invention.
  • the image output apparatus is applied to an endoscope system having an endoscope and a video processor.
  • the endoscope 10 is composed of an endoscope 10 and a video processor 20.
  • the endoscope 10 has an elongated insertion portion 11 that can be inserted into a lumen or the like on the distal end side, and the proximal end side is detachably connected to the video processor 20 by a connector or the like (not shown). It has become.
  • an imaging section 12 for capturing an image of a subject such as in a lumen is disposed.
  • An illumination lens (not shown) is disposed at the distal end of the insertion portion 11, and illumination light is irradiated onto the subject through the illumination lens.
  • the imaging unit 12 is configured by a CCD, a CMOS sensor, or the like. Return light from the subject is incident on the imaging surface, photoelectrically converts the incident subject optical image, and sequentially outputs imaging outputs based on accumulated charges.
  • the imaging unit 12 outputs a parallax image for generating a 3D image.
  • the imaging unit 12 may include a pair of imaging lenses for the right eye and the left eye, and acquire captured images for the right eye and the left eye from subject optical images incident through the lenses. .
  • the imaging unit 12 may obtain a 3D image by dividing a region of one lens without using a binocular imaging lens.
  • you may make it output the captured image for left eyes and right eyes with two imaging parts.
  • the captured images for the left eye and the right eye from the imaging unit 12 are supplied to the video processor 20.
  • the 3D image synthesis unit 21 of the video processor 20 synthesizes the left-eye and right-eye captured images from the imaging unit 12 and outputs a 3D image to the image processing unit 22.
  • the image processing unit 22 performs predetermined image signal processing on the input 3D image, for example, various image signal processing such as white balance processing, contour enhancement processing, enlargement / reduction processing, and the like. Output.
  • the image processing unit 22 can output a 3D image of a standard corresponding to the standard of the device to which the observation image is output. For example, the image processing unit 22 outputs a 3D image in 3G-SDI format.
  • An operator can input patient information such as a patient name and a patient ID using an input device (not shown), and the patient information acquisition unit 24 acquires the patient information and outputs it to the patient information synthesis unit 23. It is supposed to be.
  • the patient information synthesizing unit 23 superimposes the input patient information on the 3D image and outputs it.
  • the 3D image from the patient information synthesis unit 23 is given to the video signal switching unit 26 and the 2D image generation unit 25.
  • the 2D image generation unit 25 generates a 2D image from the 3D image.
  • the 2D image generation unit 25 may generate a 2D image based on the left image or the right image constituting the 3D image.
  • the 2D image generation unit 25 outputs the generated 2D image to the video signal switching unit 26.
  • the 2D image generation unit 25 can output a 2D image of a standard corresponding to the standard of the device to which the observation image is output.
  • the 2D image generation unit 25 outputs a 2D image in the HD-SDI format.
  • the video signal switching unit 26 includes a selector 27, a control unit 28, and a memory 28a.
  • the selector 27 has three switching units Sa to Sc, and each switching unit Sa to Sc has two input terminals.
  • a 3D image from the patient information synthesis unit 23 is supplied to one input end of each switching unit Sa to Sc, and a 2D image from the 2D image generation unit 25 is supplied to the other input end of each switching unit Sa to Sc.
  • the Each of the switching units Sa to Sc is individually controlled by the control unit 28 to select one of the two inputs and output it to the output ports 29a to 29c.
  • a switching signal based on the operation of the operator is input to the control unit 28.
  • the operator can use an input device (not shown) to select whether to output a 3D image or a 2D image for each of the output ports 29a to 29c, and a switching signal based on this operation is sent from the input device. It is supplied to the control unit 28.
  • the control unit 28 stores information based on the switching signal in the memory 28a and generates a switching control signal based on the switching signal to individually control each of the switching units Sa to Sc of the selector 27, and controls one of the two inputs. Output according to user operation.
  • the selector 27 has shown an example in which three systems of image outputs are output by the three systems of switching units, but the number of switching units can be set as appropriate, and images of two systems or more than four systems can be set. Obviously, the output can be configured to be output possible.
  • the output ports 29a to 29c are configured according to a standard corresponding to an output destination device (not shown), and supply 2D or 3D images from the switching units Sa to Sc of the video signal switching unit 16 to the output destination device. Can be done. In this way, it is possible to display or record a 3D endoscopic image or 2D endoscopic image in the output destination device.
  • the imaging unit 12 photoelectrically converts the subject image and outputs left-eye and right-eye captured images. These left-eye and right-eye captured images are given to the 3D image synthesis unit 21 of the video processor 20.
  • the 3D image synthesis unit 21 synthesizes the input captured images for the left eye and the right eye to obtain a 3D image. This 3D image is supplied to the image processing unit 22 and subjected to predetermined image signal processing, so that a 3D image usable for an output destination device is obtained.
  • the patient information acquisition unit 24 acquires patient information and outputs it to the patient information synthesis unit 23.
  • the patient information synthesizing unit 23 superimposes patient information such as a patient name on the input 3D image and outputs it.
  • the 3D image from the patient information synthesis unit 23 is supplied to the video signal switching unit 26 and also to the 2D image generation unit 25.
  • the 2D image generation unit 25 converts the input 3D image into a 2D image that can be used in the output destination device, and outputs the 2D image to the video signal switching unit 26.
  • the 3D image from the patient information synthesizing unit 23 and the 2D image from the 2D image generating unit 25 are input to the switching units Sa to Sc constituting the selector 27 of the video signal switching unit 26, respectively.
  • Each switching unit Sa to Sc is individually controlled based on a switching control signal from the control unit 28, and selectively outputs one of the two inputs.
  • a switching signal based on a user operation is input to the control unit 28 of the video signal switching unit 26.
  • the control unit 28 generates a switching control signal for individually controlling the switching units Sa to Sc based on the switching signal.
  • a switching signal for outputting a 3D image from the output ports 29a and 29b and outputting a 2D image from the output port 29c is generated by a user operation.
  • the control unit 28 causes the switching units Sa and Sb to select the 3D image from the patient information synthesis unit 23 and causes the switching unit Sc to select the 2D image from the 2D image generation unit 25.
  • the switching units Sa to Sc individually select and output 3D images or 2D images according to user operations.
  • the output ports 29a to 29c output the images respectively supplied from the switching units Sa to Sc to an output destination device (not shown).
  • output ports 29a and 29b are connected to monitors for surgeons and medical staff, and output port 29c is connected to a recording device.
  • the operator generates a switching signal so that a 3D image is output from the output ports 29a and 29b and a 2D image is output from the output port 29c by a user operation, so that the monitor for the operator and the medical staff is 3D.
  • An image is supplied, and a 2D image is supplied to the recording device.
  • the surgeon can see a 3D image with a sense of depth on the monitor for the surgeon and the medical staff, which is extremely effective for surgery and the like.
  • the recording device is provided with a 2D image with a relatively small amount of data, the recording capacity required for the recording device can be reduced.
  • the control unit 28 may individually control the switching units Sa to Sc based on this information.
  • a plurality of output ports are provided, and a switching unit that individually switches the 3D image and the 2D image and outputs the output to each output port, thereby providing a 3D image or 2D for each output port.
  • Images can be selectively output. Accordingly, a 3D image can be provided to a device suitable for a 3D image, and a 2D image can be supplied to a device suitable for a 2D image, which is excellent in convenience.
  • FIG. 2 is a block diagram showing a modification of the first embodiment.
  • patient information is also superimposed on the 3D image and the 2D image, and not only the patient information is displayed on the image displayed on the monitor but also the 3D recorded on the recording device.
  • the patient information is also recorded in an image or 2D image in a superimposed state. Such recording may not be preferable from the viewpoint of personal information protection.
  • the video processor 41 in this modification is different from the video processor 20 of FIG. 1 in that the patient information synthesis unit 23 is omitted and a video signal switching unit 42 is used instead of the video signal switching unit 26.
  • the 3D image from the image processing unit 22 is supplied to the video signal switching unit 42 and the 2D image generation unit 25.
  • the video signal switching unit 42 includes combining units 43a to 43c.
  • the outputs of the switching units Sa to Sc constituting the selector 27 are supplied to the combining units 43a to 43c, respectively.
  • Patient information is given from the patient information acquisition unit 24 to the synthesis units 43a to 43c.
  • a switching signal is input to the control unit 28.
  • the switching signal is used to set which of the 3D image and the 2D image is to be selected by the switching units Sa to Sc based on a user operation.
  • the user can set which of the video signals to be output to which output port the patient information is to be superimposed by an input device (not shown), and this setting information can be used as a switching signal for the control unit 28. Is to be given to.
  • the control unit 28 stores information based on the switching signal in the memory 28a.
  • the control unit 28 can control the switching units Sa to Sc based on the information stored in the memory 28a to switch between outputting 3D images or 2D images to the output ports 29a to 29c.
  • the control unit 28 can control the synthesis process of the synthesis units 43a to 43c based on the information stored in the memory 28a, and is designated by a switching signal among the synthesis units 43a to 43c. Only the combined unit can permit the patient information combining process.
  • the image output for each of the output ports 29a to 29c can be individually switched between the 3D image and the 2D image, as in the first embodiment. Furthermore, in this modification, the user can set whether or not to superimpose patient information on images output from the output ports 29a to 29c.
  • the user performs a setting operation for superimposing patient information only on the image of the output port 29b.
  • a switching signal based on such a setting operation is supplied to the control unit 28, and the control unit 28 permits the synthesis process of the synthesis unit 43b and prohibits the synthesis process of the synthesis units 43a and 43c.
  • the patient information is superimposed only on the 3D image or 2D image supplied to the synthesis unit 43b via the switching unit Sb and output to the output port 29b.
  • the 3D images or 2D images supplied to the combining units 43a and 43c via the switching units Sa and Sc are output to the output ports 29a and 29c as they are without superimposing patient information.
  • FIG. 3 is a block diagram showing the second embodiment.
  • the same components as those of FIG. 3 are identical to those of FIG. 3.
  • 3D images and 2D images can be individually selected for each port as images output from the output port.
  • a 3D image or a 2D image can be selected as a release image (still image) to be recorded.
  • the video processor 51 in the present embodiment is different from the video processor 41 of FIG. 2 in that a video signal switching unit 52 is employed instead of the video signal switching unit 42 and a release image generating unit 55 is added.
  • a video signal switching unit 52 is employed instead of the video signal switching unit 42 and a release image generating unit 55 is added.
  • this Embodiment has shown the example applied to the modification of FIG. 2, about the circuit regarding patient information, the structure similar to FIG. 1 may be sufficient.
  • the video signal switching unit 52 is provided with a selector 53.
  • the selector 53 has a switching unit Sd in addition to the switching units Sa to Sc.
  • a 3D image from the image processing unit 22 is given to one input end of the switching unit Sd, and a 2D image from the 2D image generating unit 25 is given to the other input end.
  • the switching unit Sd is controlled by the control unit 28 and selectively outputs one of the two inputs to the release image generation unit 55.
  • the release image generation unit 55 When the release signal based on the release operation of the operator is input, the release image generation unit 55 generates a release image based on the input still image.
  • the control unit 28 is given a switching signal, and stores information based on the switching signal in the memory 28a, and based on the information stored in the memory 28a, the switching units Sa to Sc of the selector 53 and the combining units 43a to 43a. 43c is controlled.
  • the switching signal is for controlling the switching units Sa to Sc and the combining units 43a to 43c as in the modification of FIG.
  • the user can perform an operation for setting which of the 3D image and the 2D image is recorded at the time of the release operation by an input device (not shown), and the switching signal based on this operation is also controlled by the control unit. 28 is supplied.
  • the control unit 28 is configured to provide the memory 28a with setting information for recording either a 3D image or a 2D image during a release operation.
  • the control unit 28 reads the setting information in the memory 28a and controls the switching unit Sd, thereby supplying a 3D image or a 2D image to the release image generating unit 55 based on the setting information.
  • the video signal switching unit 52 is provided with a freeze detection unit 54.
  • the freeze detection unit 54 is given a freeze instruction signal based on a user operation.
  • the freeze detection unit 54 detects a freeze operation by a freeze instruction signal
  • the freeze detection unit 54 outputs a detection result indicating that the freeze instruction has occurred to the control unit 28.
  • the control unit 28 causes the user to select one of the 3D image and the 2D image.
  • the menu display may be displayed.
  • the control unit 28 generates display data for the menu display and supplies it to any of the combining units 43a to 43c, so that the selection data can be displayed on the display screen of the monitor connected to one of the output ports 29a to 29c.
  • a menu display can be displayed.
  • the image processing unit 22 and the 2D image generation unit 25 have a memory (not shown), and when a freeze instruction is detected, the 3D still image or the 2D still image at the time of detecting the freeze instruction is continuously output. It has become.
  • step S1 of FIG. 4 the control unit 28 reads information in the memory 28a.
  • the control unit 28 controls the switching units Sa to Sc and the combining units 43a to 43c based on the information stored in the memory 28a.
  • an image individually selected by the user for each output port from the 3D image and the 2D image is output.
  • the control unit 28 determines whether or not a freeze instruction has occurred in step S2.
  • the operator instructs a freeze by operating a freeze switch (not shown).
  • a freeze instruction signal generated by the operation of the freeze switch is supplied to the freeze detection unit 54.
  • the freeze detection unit 54 detects a freeze operation by the freeze instruction signal, the freeze detection unit 54 outputs the detection result to the control unit 28.
  • the freeze instruction signal is also supplied to the image processing unit 22 and the 2D image generation unit 25, and the image processing unit 22 outputs a 3D still image, and the 2D image generation unit 25 outputs a 2D still image.
  • One of these images is selected by the selector 53 and supplied to the output ports 29a to 29c.
  • a 3D or 2D freeze image is given to the devices connected to the output ports 29a to 29c.
  • the operator can check the freeze image in 3D or 2D by using a monitor connected to any of the output ports 29a to 29c.
  • step S3 the control unit 28 determines whether or not information for setting whether to generate a release image using a 3D image or a 2D image is stored in the memory 28a. When this information is stored, the process proceeds to step S7, and the switching unit Sd is controlled based on the stored information.
  • the control unit 28 displays a menu display in the next step S4.
  • the display data of the menu display from the control unit 28 is supplied to any of the combining units 43a to 43c and is displayed by a monitor connected to any of the output ports 29a to 29c.
  • This menu display is for inquiring the user whether to generate a release image with a 3D image or a 2D image.
  • the user performs an operation for instructing whether to generate a release image as a 3D image or a 2D image while viewing this menu display.
  • This operation by the user is supplied to the control unit 28 as a switching signal (step S5).
  • the control unit 28 stores setting information based on the switching signal in the memory 28a (step S6), and controls the switching unit Sd based on this information.
  • the still image selected by the user among the 3D image and the 2D image is supplied to the release image generation unit 55 via the switching unit Sd.
  • step S8 it is determined whether or not a freeze release operation has been performed.
  • the image processing unit 22 and the 2D image generation unit 25 stop outputting the still image and restart moving image output.
  • a 3D image or a moving image based on a 2D image is output from the output ports 29a to 29c.
  • step S9 the release operation is determined.
  • the release image generation unit 55 When the release operation is performed, the release image generation unit 55 generates a release image based on the image input via the switching unit Sd.
  • the switching unit Sd outputs a 3D image or a 2D image according to the user's setting operation, and the release image generation unit 55 generates a 3D release image or a 2D release image according to the user operation.
  • the image is output to a recording medium 56 provided in the video processor 55.
  • a 3D image or 2D image specified by the user is recorded as a still image for a release image regardless of whether the image output from the output port is a 3D image or a 2D image. can do.
  • the surgeon can record the 2D image as a release image while viewing the 3D still image displayed on the monitor by the freeze operation. That is, the operator can relatively easily select an image suitable as a release image by viewing an image having a sense of depth, and the selected image is recorded as a 2D image having a relatively small data amount.
  • FIG. 4 shows an example in which the menu display is displayed and the user is set only when the memory 28a does not store setting information indicating whether the release image is a 3D image or a 2D image.
  • a menu display may be displayed before the release operation to allow the user to set whether the 3D image or the 2D image is the release image.
  • the release operation may be performed without performing the freeze operation.
  • the control unit 28 may force the switching unit Sd to select one image, for example, a 2D image.
  • FIG. 5 is a block diagram showing an endoscope system in which correction parameters for the left image and the right image can be set independently.
  • the endoscope 60 is configured by an endoscope 60 and a video processor 70.
  • the endoscope 60 has an elongated insertion portion 61 that can be inserted into a lumen or the like at the distal end side, and the proximal end side is detachably connected to the video processor 70 by a connector or the like (not shown). It has become.
  • a left-eye image sensor 62L and a right-eye image sensor 62R for capturing an image of a subject in a lumen or the like are disposed.
  • An illumination lens (not shown) is disposed at the distal end of the insertion portion 61, and illumination light is irradiated onto the subject via the illumination lens.
  • the imaging elements 62L and 62R are constituted by a CCD, a CMOS sensor, or the like. Return light from the subject is incident on the imaging surface, photoelectrically converts the incident subject optical image, and imaging outputs based on the accumulated charges are sequentially provided. Output.
  • the left eye captured image from the image sensor 62L is provided to the A / D converter 63L
  • the right eye captured image from the image sensor 62R is provided to the A / D converter 63R
  • the A / D converters 63L and 63R Converts the input image for the left eye or the image for the right eye respectively input into a digital signal and outputs the digital signal to the video processor 70.
  • the endoscope 60 is provided with a memory 64.
  • the memory 64 stores a correction parameter for the left eye and a correction parameter for the right eye for appropriately correcting the left image and the right image according to the characteristics of the imaging elements 62L and 62R.
  • the video processor 70 can read the right-eye and left-eye correction parameters stored in the memory 64.
  • the left-eye and right-eye captured images from the endoscope 60 are supplied to the image synthesis unit 71 of the video processor 70.
  • the image synthesis unit 71 synthesizes the left-eye and right-eye captured images from the endoscope 60 and outputs a 3D image to the WB calculation unit 72.
  • the WB calculation unit 72 is given a white balance (WB) coefficient of the left image from the left eye coefficient acquisition unit 83L, and performs a calculation for white balance adjustment on the left image.
  • the WB calculation unit 72 is given a white balance (WB) coefficient of the right image from the right eye coefficient acquisition unit 83R, and performs a calculation for white balance adjustment on the right image.
  • WB white balance
  • WB white balance
  • the 3D image from the WB calculation unit 72 is supplied to the image processing unit 73.
  • the image processing unit 73 performs predetermined image processing on the input 3D image and outputs it to the combining unit 74.
  • image processing by the image processing unit 73 includes distortion correction, brightness correction, shading correction, rotation correction, size correction, position correction, OB correction, enhancement processing, and the like.
  • the image processing unit 73 receives the left image parameter from the left eye parameter setting unit 84L, and performs various corrections using the left eye parameter for the left image.
  • the image processing unit 73 receives the right image parameters from the right eye parameter setting unit 84R, and performs various corrections using the right eye parameters for the right image.
  • the left-eye parameter setting unit 84 ⁇ / b> L and the right-eye parameter setting unit 84 ⁇ / b> R are configured to set the correction parameters for the left eye and the right eye read from the memory 64 of the endoscope 60.
  • the parameter inspection unit 81 inspects the left-eye and right-eye correction parameters read from the memory 64, and when there is no abnormality in the parameters, the read correction parameters are used as they are for the left-eye parameter setting unit 84L and the right-eye parameter setting unit. 84R is given.
  • the image processing unit 73 corrects the left image and the left image using the correction parameters for the left eye and the right eye stored in the memory 64 of the endoscope 60, and depends on the characteristics of the imaging elements 62L and 62R. Correction is possible. In addition, the image processing unit 73 independently corrects the left image and the left image using the correction parameters for the left eye and the right eye, respectively, and there is a difference in color and display position between the left image and the right image. Can be prevented.
  • the parameter inspection unit 81 determines that the correction parameter read from the memory 64 is abnormal, the parameter inspection unit 81 reads the 2D parameter from the memory 82 and outputs it. As a result, the left-eye parameter setting unit 84L and the right-eye parameter setting unit 84R are given 2D parameters, and the left and right images are similarly corrected using the 2D parameters.
  • the 3D image from the image processing unit 73 is given to the synthesis unit 74.
  • the combining unit 74 receives display data from the OSD generation unit 85, combines the display image generated by the OSD generation unit 85 with the endoscope 3D image, and outputs the combined image to the 3D output processing unit 75.
  • the 3D output processing unit 75 outputs the input image to the monitor 76 and displays it on the display screen of the monitor 76. In this way, a 3D image with a sufficiently small difference between the left and right images with respect to color and display position is displayed on the display screen of the monitor 76.
  • the image processing unit 73 may output a 3D image without performing correction, and the 3D output processing unit 75 may output a 3D image. Instead, a 2D image may be output.
  • the left eye coefficient acquisition unit 83L and the right eye coefficient acquisition unit 83R independently and simultaneously acquire the white balance coefficient. Thereby, the time required for acquiring the left and right white balance coefficients can be shortened.
  • the WB calculation unit 72 is configured to multiply the left and right images independently by the WB coefficient, and can perform white balance adjustment in accordance with the characteristics of the left and right imaging elements 62L and 62R.
  • the image processing unit 73 corrects the left and right images independently from each other using the correction parameters read from the endoscope 60, and image processing according to the characteristics of the left and right imaging elements 62L and 62R is possible. It is. That is, in the example of FIG. 5, the left and right can be independently corrected with respect to the color and display position, and the image quality is improved by reducing the difference between the left and right images regardless of the characteristic difference between the left and right imaging elements. be able to.
  • the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying constituent elements without departing from the scope of the invention in the implementation stage.
  • various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, you may delete some components of all the components shown by embodiment.
  • constituent elements over different embodiments may be appropriately combined.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

 画像出力装置は、被検体を撮像して第1の画像を取得する第1画像取得部から前記第1の画像が与えられると共に、前記被検体を撮像して前記第1の画像に対して視差を有する第2の画像を取得する第2画像取得部から前記第2の画像が与えられ、前記第1の画像及び前記第2の画像に基づいて立体画像を生成する立体画像生成部と、前記第1の画像又は前記第2の画像に基づいて2次元画像を生成する2次元画像生成部と、前記立体画像及び前記2次元画像を出力可能な複数の出力部と、前記立体画像又は前記2次元画像のうちのいずれの画像を前記複数の出力部に供給するかを前記出力部毎に切換え可能に構成された切換部とを具備する。

Description

画像出力装置
 本発明は、3D画像の出力が可能な画像出力装置に関する。
 近年、手術等の医療行為に際して術部を観察するための内視鏡や手術用顕微鏡等の医療用観察装置が普及している。更に、特に外科分野においては、観察画像を立体的に表示可能な立体(3D)内視鏡等の医療用立体観察システムを用いた手技も普及しつつある。例えば、手術に際して、実際に撮像している患部の3D画像に、術前に取得した患部の断層像等を重ねて表示することなどが試みられている。
 このような3D画像は、奥行きを表示することができるので、手術等に際して有効である。しかし、3D画像は、視差を有する左目画像及び右目画像によって得られており、通常の2次元(2D)画像に比べてデータ量が大きい。このため、症例の記録等に際して、このような3D画像を用いる場合には必要な記録容量が大きく、また、画像出力部における消費電力も大きいという欠点がある。
 そこで、日本国特願平6-254046号公報においては、画像出力として2D画像を出力するか、3D画像を出力するかを切換えることができる装置が開示されている。日本国特願平6-254046号公報の装置においては、2D画像が出力される場合には、3D画像が出力されることはなく、この場合には消費電力の削減及び必要な記録容量の低減が可能である。
 ところで、出力する画像は様々な出力先で利用可能である。例えば、手術室において、出力画像は、術者用モニタ、医療スタッフ用モニタ、被験者用モニタ等で利用することができ、また、記録用としても利用することができる。そこで、複数の出力ポートを設けて、出力画像を複数の機器に出力する画像出力装置も普及している。
 しかしながら、出力画像を利用する機器毎に、2D画像と3D画像のいずれが必要であるかが異なる。例えば、術者用モニタには観察のしやすさから3D画像を与えた方がよく、記録機器には容量の点で2D画像を与えた方がよい場合がある。また、同一のモニタに表示された観察画像を見る術者の中には、3D画像から奥行きを認識することができず、2D画像でなければ正しく画像を認識することができない人もいて、同一機器であっても2D画像と3D画像のいずれが必要であるかが異なることがある。
 しかしながら、日本国特願平6-254046号公報の装置では、2D画像の出力中には3D画像を出力することができず、3D画像の出力中には2D画像を出力することができない。このため、全ての出力ポートから2D画像が出力されるか又は3D画像が出力されることになり、利用先の機器に適した画像を出力することができないという問題があった。
 本発明は、複数の出力ポートの各ポートにおいて2D画像又は3D画像を選択的に出力することができる画像出力装置を提供することを目的とする。
 本発明に係る画像出力装置は、被検体を撮像して第1の画像を取得する第1画像取得部から前記第1の画像が与えられると共に、前記被検体を撮像して前記第1の画像に対して視差を有する第2の画像を取得する第2画像取得部から前記第2の画像が与えられ、前記第1の画像及び前記第2の画像に基づいて立体画像を生成する立体画像生成部と、前記第1の画像又は前記第2の画像に基づいて2次元画像を生成する2次元画像生成部と、前記立体画像及び前記2次元画像を出力可能な複数の出力部と、前記立体画像又は前記2次元画像のうちのいずれの画像を前記複数の出力部に供給するかを前記出力部毎に切換え可能に構成された切換部とを具備する。
本発明の第1の実施の形態に係る画像出力装置を示すブロック図。 第1の実施の形態の変形例を示すブロック図。 第2の実施の形態を示すブロック図。 第2の実施の形態の動作を説明するためのフローチャート。 左目用と右目用のパラメータを独立に設定可能にした内視鏡システムを示すブロック図。
 以下、図面を参照して本発明の実施の形態について詳細に説明する。
(第1の実施の形態)
 図1は本発明の第1の実施の形態に係る画像出力装置を示すブロック図である。本実施の形態は、画像出力装置を、内視鏡及びビデオプロセッサを有する内視鏡システムに適用したものである。
 図1の内視鏡システムは、内視鏡10及びビデオプロセッサ20によって構成される。内視鏡10は、先端側に、管腔内等に挿入可能な細長の挿入部11を有しており、基端側は、図示しないコネクタ等によってビデオプロセッサ20に着脱自在に接続されるようになっている。
 挿入部11の先端には、管腔内等の被写体の映像を撮像するための撮像部12が配設されている。挿入部11の先端には、図示しない照明レンズが配設されており、照明レンズを介して照明光が被写体に照射される。撮像部12は、CCDやCMOSセンサ等によって構成されており、被写体からの戻り光が撮像面に入射され、入射した被写体光学像を光電変換し、蓄積した電荷に基づく撮像出力を順次出力する。
 本実施の形態においては、撮像部12は、3D画像を生成するための視差画像を出力するようになっている。例えば、撮像部12は、右目用及び左目用の一対の撮像レンズを有し、各レンズを介してそれぞれ入射した被写体光学像から右目用及び左目用の撮像画像を取得するものであってもよい。また、撮像部12は、2眼撮像レンズを用いることなく、1つのレンズの領域を分割して3D画像を得るものであってもよい。また、1つの撮像部12によって左目用及び右目用の撮像画像を出力する例を示しているが、2つの撮像部によって左目用及び右目用の撮像画像を出力するようにしてもよい。
 撮像部12からの左目用及び右目用の撮像画像は、ビデオプロセッサ20に供給される。ビデオプロセッサ20の3D画像合成部21は、撮像部12からの左目用及び右目用の撮像画像を合成して、3D画像を画像処理部22に出力する。画像処理部22は、入力された3D画像に対して所定の画像信号処理、例えば、ホワイトバランス処理、輪郭強調処理、拡大縮小処理等の各種画像信号処理を施した後、患者情報合成部23に出力する。画像処理部22は、観察画像の出力先の機器の規格に応じた規格の3D画像を出力することができるようになっている。例えば、画像処理部22は、3G-SDIフォーマットの3D画像を出力する。
 オペレータは、図示しない入力装置によって患者名や患者ID等の患者情報を入力することができるようになっており、患者情報取得部24は、この患者情報を取得して患者情報合成部23に出力するようになっている。患者情報合成部23は、入力された患者情報を3D画像中に重畳して出力する。患者情報合成部23からの3D画像は映像信号切換部26及び2D画像生成部25に与えられる。
 2D画像生成部25は、3D画像から2D画像を生成する。例えば、2D画像生成部25は、3D画像を構成する左画像又は右画像に基づいて2D画像を生成してもよい。2D画像生成部25は、生成した2D画像を映像信号切換部26に出力するようになっている。なお、2D画像生成部25は、観察画像の出力先の機器の規格に応じた規格の2D画像を出力することができるようになっている。例えば、2D画像生成部25は、HD-SDIフォーマットの2D画像を出力する。
 映像信号切換部26は、セレクタ27、制御部28及びメモリ28aによって構成されている。セレクタ27は3つの切換部Sa~Scを有しており、各切換部Sa~Scはそれぞれ2つの入力端を有している。各切換部Sa~Scの一方入力端には患者情報合成部23からの3D画像が供給され、各切換部Sa~Scの他方入力端には、2D画像生成部25からの2D画像が供給される。各切換部Sa~Scは、制御部28に個別に制御されて、それぞれ2入力の一方を選択して出力ポート29a~29cに出力するようになっている。
 制御部28にはオペレータの操作に基づく切換信号が入力される。オペレータは図示しない入力装置を用いて、各出力ポート29a~29c毎に、3D画像と2D画像のいずれを出力するかを選択する操作を行うことができ、この操作に基づく切換信号が入力装置から制御部28に供給されるようになっている。制御部28は、切換信号に基づく情報をメモリ28aに記憶させると共に、切換信号に基づく切換制御信号を発生して、セレクタ27の各切換部Sa~Scを個別に制御し、2入力の一方をユーザ操作に応じて出力させる。
 なお、図1の例では、セレクタ27は3系統の切換部によって3系統の画像出力を出力する例を示したが、切換部の数は適宜設定可能であり、2系統又は4系統以上の画像出力を出力可能に構成することができることは明らかである。
 出力ポート29a~29cは、図示しない出力先の機器に対応した規格で構成されており、映像信号切換部16の各切換部Sa~Scからの2D又は3D画像を出力先の機器に供給することができるようになっている。こうして、出力先の機器において、3D内視鏡画像又は2D内視鏡画像の表示や記録が可能である。
 次に、このように構成された実施の形態の動作について説明する。
 内視鏡10による観察が開始されると、撮像部12は被写体像を光電変換して、左目用及び右目用の撮像画像を出力する。これらの左目用及び右目用の撮像画像はビデオプロセッサ20の3D画像合成部21に与えられる。3D画像合成部21は、入力された左目用及び右目用の撮像画像を合成して3D画像を得る。この3D画像は画像処理部22に供給されて、所定の画像信号処理が施され、出力先の機器に利用可能な3D画像が得られる。
 患者情報取得部24は、患者情報を取得して患者情報合成部23に出力する。患者情報合成部23は、入力された3D画像に患者名等の患者情報を重畳して出力する。患者情報合成部23からの3D画像は、映像信号切換部26に供給されると共に2D画像生成部25にも供給される。2D画像生成部25は、入力された3D画像を出力先の機器において利用可能な2D画像に変換して映像信号切換部26に出力する。
 映像信号切換部26のセレクタ27を構成する各切換部Sa~Scには、それぞれ患者情報合成部23からの3D画像及び2D画像生成部25からの2D画像が入力されている。各切換部Sa~Scは制御部28からの切換制御信号に基づいて個別に制御されて、2入力の一方を選択的に出力する。
 映像信号切換部26の制御部28には、ユーザ操作に基づく切換信号が入力される。制御部28は切換信号に基づいて切換部Sa~Scを個別に制御するための切換制御信号を発生する。いま、例えば、ユーザ操作によって、出力ポート29a,29bから3D画像を出力させ、出力ポート29cから2D画像を出力させるための切換信号が発生するものとする。制御部28は切換信号に基づいて、切換部Sa,Sbに患者情報合成部23からの3D画像を選択させ、切換部Scに2D画像生成部25からの2D画像を選択させる。
 こうして、切換部Sa~Scは、ユーザ操作に応じた3D画像又は2D画像を、個別に選択して出力する。出力ポート29a~29cは切換部Sa~Scからそれぞれ供給された画像を図示しない出力先の機器に出力する。
 例えば、出力ポート29a,29bを術者用及び医療スタッフ用のモニタに接続し、出力ポート29cを記録機器に接続するものとする。オペレータが、ユーザ操作によって、出力ポート29a,29bから3D画像を出力させ、出力ポート29cから2D画像を出力させるように切換信号を発生させることで、術者用及び医療スタッフ用のモニタには3D画像が供給され、記録機器には2D画像が供給される。
 この場合には、術者等は、術者用及び医療スタッフ用のモニタによって奥行き感のある3D画像を見ることができ、手術等に極めて有効である。また、記録機器には比較的データ量が少ない2D画像が与えられるので、記録機器に必要な記録容量を低減することができる。
 また、2D画像しか認識することができない術者がいる場合でも、2つのモニタを用意し、それぞれ2D画像、3D画像を供給することにより、3D画像が見やすいと感じる術者に3D画像を見せ、2D画像が見やすいと感じる術者に2D画像を見せることも可能である。
 なお、切換信号をユーザ操作に基づいて発生させる例について説明したが、出力ポートから3D画像と2D画像のいずれを出力させればよいかが予め決まっている場合には、この情報をメモリ28aに予め記憶させておくことで、制御部28において、この情報に基づいて切換部Sa~Scを個別に制御するようにしてもよい。
 このように本実施の形態においては、複数の出力ポートを設けると共に、3D画像及び2D画像を個別に切換えて各出力ポートに出力する切換部を設けることにより、各出力ポート毎に3D画像又は2D画像を選択的に出力させることができる。これにより、3D画像が適した機器には3D画像を提供すると共に、2D画像が適した機器には2D画像を供給することができ、利便性に優れている。
(変形例)
 図2は第1の実施の形態の変形例を示すブロック図である。図2において図1と同一の構成要素には同一符号を付して説明を省略する。図1の画像出力装置においては、3D画像及び2D画像中には患者情報も重畳されており、モニタに表示される画像中に患者情報も表示されるだけでなく、記録機器に記録される3D画像又は2D画像中にも患者情報が重畳された状態で記録される。このような記録は、個人情報保護の観点から好ましくない場合もある。
 そこで、本変形例においては、出力ポート毎に、患者情報を重畳した3D画像又は2D画像を出力するか、患者情報を重畳しない3D画像又は2D画像を出力するかを切換え可能にしたものである。本変形例におけるビデオプロセッサ41は、患者情報合成部23を省略すると共に、映像信号切換部26に代えて映像信号切換部42を採用した点が図1のビデオプロセッサ20と異なる。画像処理部22からの3D画像は、映像信号切換部42及び2D画像生成部25に供給される。
 映像信号切換部42は、合成部43a~43cを有している。セレクタ27を構成する各切換部Sa~Scの出力はそれぞれ合成部43a~43cに供給される。合成部43a~43cには、患者情報取得部24から患者情報が与えられるようになっている。
 制御部28には切換信号が入力される。切換信号は、ユーザ操作に基づいて、切換部Sa~Scに3D画像と2D画像のいずれの入力を選択させるかを設定するものである。更に、本変形例においては、ユーザは、図示しない入力装置によって、いずれの出力ポートに出力する映像信号に患者情報を重畳させるかを設定することができ、この設定情報が切換信号として制御部28に与えられるようになっている。
 制御部28は、切換信号に基づく情報をメモリ28aに記憶させる。制御部28は、メモリ28aに記憶されている情報に基づいて切換部Sa~Scを制御して、各出力ポート29a~29cに3D画像を出力するか2D画像を出力するかを切換えることができる。更に、本変形例では、制御部28は、メモリ28aに記憶されている情報に基づいて、合成部43a~43cの合成処理を制御することができ、合成部43a~43cのうち切換信号によって指定された合成部にのみ患者情報の合成処理を許可することができるようになっている。
 このように構成された変形例においては、第1の実施の形態と同様に、出力ポート29a~29cの各ポート毎に出力する画像を3D画像と2D画像とで個別に切換えることができる。更に、本変形例においては、ユーザは各出力ポート29a~29cから出力する画像に患者情報を重畳するか否かを設定することが可能である。
 例えば、ユーザが出力ポート29bの画像にのみ患者情報を重畳させるための設定操作を行うものとする。このような設定操作に基づく切換信号が制御部28に供給され、制御部28は、合成部43bの合成処理を許可し、合成部43a,43cの合成処理を禁止するように合成部43a~43cを制御する。これにより、切換部Sbを介して合成部43bに供給された3D画像又は2D画像にのみ患者情報が重畳されて出力ポート29bに出力される。切換部Sa,Scを介してそれぞれ合成部43a,43cに供給された3D画像又は2D画像は、患者情報が重畳されることなくそのまま出力ポート29a,29cに出力される。
 このように本変形例では、各出力ポートから出力される画像に患者情報を重畳させるか否かを各出力ポート毎に個別に設定可能である。これにより、例えば、記録機器に接続された出力ポートから出力する画像には患者情報を重畳させないことも可能であり、個人情報保護の観点から有用である。
 なお、本変形例においても、患者情報を重畳するか否かを予め各ポート毎に決めておき、この情報をメモリ28aに記憶させておくことで、ユーザの設定操作を不要にして、予め決められた出力ポートからのみ患者情報が重畳された画像を出力させることができる。
(第2の実施の形態)
 図3は第2の実施の形態を示すブロック図である。図3において図2と同一の構成要素には同一符号を付して説明を省略する。
 第1の実施の形態においては、出力ポートから出力する画像として3D画像と2D画像を各ポート毎に個別に選択可能にした。本実施の形態は更にレリーズ操作があった場合において、記録するレリーズ画像(静止画像)として、3D画像又は2D画像を選択可能にするものである。
 本実施の形態におけるビデオプロセッサ51は、映像信号切換部42に代えて映像信号切換部52を採用すると共に、レリーズ画像生成部55を付加した点が図2のビデオプロセッサ41と異なる。なお、本実施の形態は図2の変形例に適用させた例を示しているが、患者情報に関する回路については、図1と同様の構成であってもよい。
 映像信号切換部52にはセレクタ53が設けられている。セレクタ53は、切換部Sa~Scに加えて切換部Sdを有している。切換部Sdの一方入力端には、画像処理部22からの3D画像が与えられ、他方入力端には2D画像生成部25からの2D画像が与えられる。切換部Sdは、制御部28に制御されて、2入力の一方を選択的にレリーズ画像生成部55に出力する。レリーズ画像生成部55は、オペレータのレリーズ操作に基づくレリーズ信号が入力されると、入力された静止画像に基づくレリーズ画像を生成するようになっている。
 制御部28は、切換信号が与えられ、切換信号に基づく情報をメモリ28aに記憶させると共に、メモリ28aに記憶されている情報に基づいて、セレクタ53の各切換部Sa~Sc及び合成部43a~43cを制御する。切換信号は、図2の変形例と同様に、切換部Sa~Sc及び合成部43a~43cを制御するためのものである。
 更に、本実施の形態においては、ユーザは図示しない入力装置によって、レリーズ操作時に3D画像と2D画像のいずれを記録するかを設定する操作を行うことができ、この操作に基づく切換信号も制御部28に供給されるようになっている。制御部28は、レリーズ操作時に3D画像と2D画像のいずれを記録するかの設定情報をメモリ28aに与えて記憶させるようになっている。制御部28は、メモリ28aの設定情報を読み出して切換部Sdを制御することで、設定情報に基づいて3D画像又は2D画像をレリーズ画像生成部55に供給する。
 また、映像信号切換部52には、フリーズ検出部54が設けられている。フリーズ検出部54は、ユーザ操作に基づくフリーズ指示信号が与えられる。フリーズ検出部54は、フリーズ指示信号によってフリーズ操作を検出すると、フリーズ指示が発生したことを示す検出結果を制御部28に出力するようになっている。
 また、制御部28は、記録するレリーズ画像を3D画像とするか2D画像とするかの設定情報がメモリ28aに記録されていない場合には、ユーザに3D画像と2D画像の一方を選択させるためのメニュー表示を表示させるようにしてもよい。制御部28はこのメニュー表示の表示データを生成して、合成部43a~43cのいずれに供給することで、出力ポート29a~29cのいずれかに接続されたモニタの表示画面上に選択のためのメニュー表示を表示させることができる。
 なお、画像処理部22及び2D画像生成部25は、図示しないメモリを有しており、フリーズ指示が検出されると、フリーズ指示検出時点における3D静止画像又は2D静止画像を連続的に出力するようになっている。
 次に、このように構成された実施の形態の動作について図4のフローチャートを参照して説明する。
 図4のステップS1において、制御部28はメモリ28aの情報を読み出す。制御部28は、メモリ28aに記憶された情報に基づいて、切換部Sa~Sc及び合成部43a~43cを制御する。これにより、出力ポート29a~29cからは、3D画像及び2D画像のうちユーザが出力ポート毎に個別に選択した画像が出力される。
 制御部28はステップS2において、フリーズ指示が発生したか否かを判定する。ここで、オペレータが図示しないフリーズスイッチを操作してフリーズを指示するものとする。フリーズスイッチの操作によって発生したフリーズ指示信号がフリーズ検出部54に供給される。フリーズ検出部54は、フリーズ指示信号によって、フリーズ操作を検出すると、その検出結果を制御部28に出力する。
 また、フリーズ指示信号は、画像処理部22及び2D画像生成部25にも与えられ、画像処理部22は3D静止画像を出力し、2D画像生成部25は2D静止画像を出力する。これらの画像は、セレクタ53によって一方が選択されて、各出力ポート29a~29cに供給される。こうして、出力ポート29a~29cに接続された機器には、3D又は2Dのフリーズ画像が与えられる。オペレータは出力ポート29a~29cのいずれかに接続されたモニタによって、フリーズ画像を3D又は2Dによって確認することができる。
 制御部28は、ステップS3において、レリーズ画像を3D画像によって生成するか2D画像によって生成するかを設定するための情報がメモリ28aに記憶されているか否かを判定する。この情報が記憶されている場合には、処理をステップS7に移行して、記憶されている情報に基づいて切換部Sdを制御する。
 この設定情報がメモリ28aに記憶されていない場合には、制御部28は、次のステップS4においてメニュー表示を表示させる。制御部28からのメニュー表示の表示データは、合成部43a~43cのいずれかに供給されて、出力ポート29a~29cのいずれかに接続されているモニタによって表示される。このメニュー表示は、ユーザに、レリーズ画像を3D画像によって生成するか2D画像によって生成するかを問い合わせるためのものである。
 ユーザはこのメニュー表示を見ながら、レリーズ画像を3D画像によって生成するか2D画像によって生成するかを指示するための操作を行う。ユーザのこの操作は切換信号として制御部28に供給される(ステップS5)。制御部28は、切換信号に基づく設定情報をメモリ28aに記憶させると共に(ステップS6)、この情報に基づいて切換部Sdを切換制御する。これにより、3D画像及び2D画像のうちユーザによって選択された静止画像が、切換部Sdを介してレリーズ画像生成部55に供給される。
 ステップS8においては、フリーズ解除操作が行われたか否かが判定される。フリーズ解除操作が行われると、画像処理部22及び2D画像生成部25は、静止画の出力を停止して動画出力を再開する。これにより、出力ポート29a~29cからは、3D画像又は2D画像による動画像が出力される。
 ステップS9においては、レリーズ操作が判定される。レリーズ操作が行われると、レリーズ画像生成部55は、切換部Sdを介して入力されている画像に基づくレリーズ画像を生成する。切換部Sdは、ユーザの設定操作に応じて、3D画像又は2D画像を出力しており、レリーズ画像生成部55はユーザ操作に応じて3Dのレリーズ画像又は2Dのレリーズ画像を生成し、このレリーズ画像をビデオプロセッサ55の内部に設けられた記録媒体56に出力する。
 このように本実施の形態においては、出力ポートから出力される画像が3D画像であるか2D画像であるかに拘わらず、レリーズ画像についても、ユーザが指定した3D画像又は2D画像を静止画記録することができる。これにより、術者はフリーズ操作によってモニタに表示された3D静止画像を見ながら、2D画像をレリーズ画像として記録することも可能である。即ち、オペレータは奥行き感のある画像を見ることによって、レリーズ画像として適した画像を比較的容易に選択可能であり、また、選択された画像は比較的小さいデータ量の2D画像として記録される。
 なお、図4の例では、メモリ28aに、レリーズ画像を3D画像とするか2D画像とするかの設定情報が記憶されていない場合にのみ、メニュー表示を表示してユーザに設定させる例を示したが、設定情報の記憶の有無に拘わらず、レリーズ操作の前にメニュー表示を表示してユーザに3D画像又は2D画像のいずれをレリーズ画像とするかを設定させるようにしてもよい。
 また、図4の例では、フリーズ操作を行わなければレリーズ操作が行われない例について説明したが、フリーズ操作を行うことなくレリーズ操作を行うようにしてもよい。フリーズ操作を伴うことなくレリーズ操作が行われる場合には、レリーズタイミングにおける静止画をレリーズ画像生成部55に供給する必要がある。従って、この場合には、メモリ28aに設定情報が記憶されていないときには、制御部28において強制的に一方の画像、例えば2D画像を切換部Sdに選択させるようにしてもよい。
(他の例)
 ところで、左目用及び右目用の撮像素子が出力する左目用及び右目用の撮像画像から3D画像を生成する場合には、色味や表示位置に関して左画像と右画像に差が生じることがある。このような差が生じた場合にはモニタに表示される観察画像が不自然になったり、画質が劣化することがある。
 色味や表示位置に関するこのような左画像と右画像の差を小さくするために、左画像用と右画像用とで、画像補正のパラメータを独立して設定する方法が考えられる。図5はこのように左画像と右画像の補正パラメータを独立に設定可能にした内視鏡システムを示すブロック図である。
 図5の内視鏡システムは、内視鏡60及びビデオプロセッサ70によって構成される。内視鏡60は、先端側に、管腔内等に挿入可能な細長の挿入部61を有しており、基端側は、図示しないコネクタ等によってビデオプロセッサ70に着脱自在に接続されるようになっている。
 挿入部61の先端には、管腔内等の被写体の映像を撮像するための左目用の撮像素子62L及び右目用の撮像素子62Rが配設されている。挿入部61の先端には、図示しない照明レンズが配設されており、照明レンズを介して照明光が被写体に照射される。撮像素子62L,62Rは、CCDやCMOSセンサ等によって構成されており、それぞれ被写体からの戻り光が撮像面に入射され、入射した被写体光学像を光電変換し、蓄積した電荷に基づく撮像出力を順次出力する。
 撮像素子62Lからの左目用の撮像画像はA/D変換器63Lに与えられ、撮像素子62Rからの右目用の撮像画像はA/D変換器63Rに与えられ、A/D変換器63L,63Rはそれぞれ入力された左目用の撮像画像又は右目用の撮像画像をデジタル信号に変換して、ビデオプロセッサ70に出力する。
 また、内視鏡60には、メモリ64が設けられている。メモリ64には、撮像素子62L,62Rの特性に応じて、左画像及び右画像を適正に補正するための左目用の補正パラメータ及び右目用の補正パラメータが記憶されている。ビデオプロセッサ70は、内視鏡60が装着されると、メモリ64に記憶された右目用及び左目用の補正パラメータは読出すことができるようになっている。
 内視鏡60からの左目用及び右目用の撮像画像は、ビデオプロセッサ70の画像合成部71に供給される。画像合成部71は、内視鏡60からの左目用及び右目用の撮像画像を合成して、3D画像をWB演算部72に出力する。WB演算部72は、左目用係数取得部83Lから左画像のホワイトバランス(WB)係数が与えられ、左画像についてホワイトバランス調整のための演算を行う。また、WB演算部72は、右目用係数取得部83Rから右画像のホワイトバランス(WB)係数が与えられ、右画像についてホワイトバランス調整のための演算を行う。なお、左目用係数取得部83L及び右目用係数取得部83Rは、相互に独立して且つ同時にWB係数を取得するようにしてもよい。
 WB演算部72からの3D画像は画像処理部73に供給される。画像処理部73は、入力された3D画像に対して所定の画像処理を施して合成部74に出力する。例えば、画像処理部73による画像処理としては、歪曲補正、明るさ補正、シェーディング補正、回転補正、大きさ補正、位置補正、OB補正、強調処理等がある。
 図5の例では、画像処理部73は、左画像用のパラメータが左目用パラメータ設定部84Lから与えられて、左画像について左目用パラメータを用いた各種補正を行う。また、画像処理部73は、右画像用のパラメータが右目用パラメータ設定部84Rから与えられて、右画像について右目用パラメータを用いた各種補正を行う。
 図5の例では、左目用パラメータ設定部84L及び右目用パラメータ設定部84Rは、内視鏡60のメモリ64から読出した左目用及び右目用の補正パラメータが設定されるようになっている。パラメータ検査部81は、メモリ64から読出した左目用及び右目用の補正パラメータを検査し、パラメータに異常がない場合には、読出した補正パラメータをそのまま左目用パラメータ設定部84L及び右目用パラメータ設定部84Rに与えるようになっている。
 画像処理部73は、内視鏡60のメモリ64に格納された左目用及び右目用の補正パラメータを用いて、左画像及び左画像を補正することになり、撮像素子62L,62Rの特性に応じた補正が可能である。また、画像処理部73は、左目用及び右目用の補正パラメータをそれぞれ用いて、左画像及び左画像を独立に補正しており、左画像と右画像との間に色味や表示位置に関して差が生じることを防止することができる。
 パラメータ検査部81は、メモリ64から読出した補正パラメータに異常があると判断した場合には、メモリ82から2D用パラメータを読出して出力する。これにより、左目用パラメータ設定部84L及び右目用パラメータ設定部84Rには、2D用パラメータが与えられることになり、左右画像は2D用パラメータを用いて同様に補正される。
 画像処理部73からの3D画像は合成部74に与えられる。合成部74は、OSD生成部85から表示データが与えられており、内視鏡3D画像にOSD生成部85において生成された表示画像を合成して3D出力処理部75に出力する。3D出力処理部75は、入力された画像をモニタ76に出力してモニタ76の表示画面上に映出させる。こうして、モニタ76の表示画面上には、色味や表示位置に関して左右画像の差が十分に小さい3D画像が表示される。
 なお、パラメータ検査部81が2D用パラメータを出力する場合には、画像処理部73は、補正を行うことなく3D画像を出力するようにしてもよく、また、3D出力処理部75は3D画像に代えて2D画像を出力するようにしてもよい。
 このように図5の例によれば、左目用係数取得部83L及び右目用係数取得部83Rは、独立して同時にホワイトバランス係数を取得する。これにより、左右用のホワイトバランス係数の取得に要する時間を短縮することができる。WB演算部72は、左右画像に対して独立してWB係数を乗算するようになっており、左右の撮像素子62L,62Rの特性に応じたホワイトバランス調整が可能である。また、画像処理部73は、内視鏡60から読出した補正パラメータを用いて、相互に独立して左右画像を補正しており、左右の撮像素子62L,62Rの特性に応じた画像処理が可能である。即ち、図5の例は、色味や表示位置に関して左右独立して補正を行うことができ、左右の撮像素子の特性差等に拘わらず、左右画像の差を低減して、画質を改善することができる。
 本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

 本出願は、2013年10月18日に日本国に出願された特願2013-217376号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (9)

  1.  被検体を撮像して第1の画像を取得する第1画像取得部から前記第1の画像が与えられると共に、前記被検体を撮像して前記第1の画像に対して視差を有する第2の画像を取得する第2画像取得部から前記第2の画像が与えられ、前記第1の画像及び前記第2の画像に基づいて立体画像を生成する立体画像生成部と、
     前記第1の画像又は前記第2の画像に基づいて2次元画像を生成する2次元画像生成部と、
     前記立体画像及び前記2次元画像を出力可能な複数の出力部と、
     前記立体画像又は前記2次元画像のうちのいずれの画像を前記複数の出力部に供給するかを前記出力部毎に切換え可能に構成された切換部と
     を具備したことを特徴とする画像出力装置。
  2.  前記切換部は、ユーザの指示操作又はメモリに記憶された情報に基づいて前記出力部毎の切換えが制御される
     ことを特徴とする請求項1に記載の画像出力装置。
  3.  患者情報を取得する患者情報取得部と、
     前記出力部に供給される前記立体画及び2次元画像に前記患者情報取得部が取得した患者情報を合成するか否かを前記出力部毎に切換え可能に構成された患者情報を合成部と
     を具備したことを特徴とする請求項1又は2に記載の画像出力装置。
  4.  前記切換部は、記録部に、前記立体画像又は前記2次元画像のうちのいずれの画像を前記記録部に与えて記録させるかを切換え可能に構成される
     ことを特徴とする請求項1乃至3のいずれか1つに記載の画像出力装置。
  5.  前記切換部は、ユーザの指示操作又はメモリに記憶された情報に基づいて前記切換えが制御される
     ことを特徴とする請求項1乃至4のいずれか1つに記載の画像出力装置。
  6.  前記立体画像の静止画又は前記2次元画像の静止画が与えられて記録を行う記録部
     を具備したことを特徴とする請求項1乃至5のいずれか1つに記載の画像出力装置。
  7.  ユーザのフリーズ操作に基づくタイミングで前記立体画像の静止画又は前記2次元画像の静止画を取得して前記記録部に記録する静止画取得部を具備し、
     前記切換部は、前記立体画像及び2次元画像をいずれの出力部に供給するかについての切換え制御に拘わらず、前記静止画取得部に前記立体画像と前記2次元画像のいずれの静止画を取得させるかを切換え可能に構成される
     ことを特徴とする請求項6に記載の画像出力装置。
  8.  前記切換部は、ユーザの指示操作又はメモリに記憶された情報に基づいて前記静止画取得部に前記立体画像と前記2次元画像のいずれの静止画を取得させるかを切換える
     ことを特徴とする請求項7に記載の画像出力装置。
  9.  前記切換部は、前記静止画取得部に前記立体画像と前記2次元画像のいずれの静止画を取得させるかを切換えるためのユーザ操作を受け付ける表示を表示させる
     ことを特徴とする請求項7に記載の画像出力装置。
PCT/JP2014/077412 2013-10-18 2014-10-15 画像出力装置 WO2015056701A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14854635.1A EP3029934A4 (en) 2013-10-18 2014-10-15 Image outputting device
JP2015516317A JP5851656B2 (ja) 2013-10-18 2014-10-15 画像信号出力装置及び画像信号送受信システム
CN201480048411.6A CN105519107B (zh) 2013-10-18 2014-10-15 图像信号输出装置以及图像信号收发系统
US15/059,839 US20160174823A1 (en) 2013-10-18 2016-03-03 Image signal output apparatus and image signal transmission/reception system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013217376 2013-10-18
JP2013-217376 2013-10-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/059,839 Continuation US20160174823A1 (en) 2013-10-18 2016-03-03 Image signal output apparatus and image signal transmission/reception system

Publications (1)

Publication Number Publication Date
WO2015056701A1 true WO2015056701A1 (ja) 2015-04-23

Family

ID=52828143

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/077412 WO2015056701A1 (ja) 2013-10-18 2014-10-15 画像出力装置

Country Status (5)

Country Link
US (1) US20160174823A1 (ja)
EP (1) EP3029934A4 (ja)
JP (1) JP5851656B2 (ja)
CN (1) CN105519107B (ja)
WO (1) WO2015056701A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108135458A (zh) * 2015-10-19 2018-06-08 奥林巴斯株式会社 医疗信息记录装置
JP2019138982A (ja) * 2018-02-07 2019-08-22 オリンパス株式会社 内視鏡装置、内視鏡装置の制御方法、内視鏡装置の制御プログラム、および記録媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017405805A1 (en) 2017-03-24 2019-08-01 Covidien Lp Endoscopes and methods of treatment
US11896195B2 (en) 2018-07-24 2024-02-13 Sony Corporation Distributed image processing system in operating theater
CN111726600A (zh) * 2020-06-30 2020-09-29 深圳市精锋医疗科技有限公司 立体内窥镜的图像处理方法、装置、存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06254046A (ja) 1993-03-08 1994-09-13 Olympus Optical Co Ltd 映像表示装置
JPH0847001A (ja) * 1994-08-01 1996-02-16 Minolta Co Ltd 立体テレビカメラ
JPH10290392A (ja) * 1997-04-14 1998-10-27 Olympus Optical Co Ltd 画像処理装置
JPH11341484A (ja) * 1998-05-29 1999-12-10 Olympus Optical Co Ltd 内視鏡映像処理装置
JP2003233143A (ja) * 2002-02-12 2003-08-22 Olympus Optical Co Ltd 観察装置
JP2003260028A (ja) * 2002-03-11 2003-09-16 Fuji Photo Optical Co Ltd 立体電子内視鏡装置
JP2003334160A (ja) * 2002-05-21 2003-11-25 Olympus Optical Co Ltd 立体視内視鏡システム
JP2004033451A (ja) * 2002-07-03 2004-02-05 Pentax Corp 電子内視鏡装置
JP2005013409A (ja) * 2003-06-25 2005-01-20 Olympus Corp 内視鏡装置または内視鏡システム
JP2006247163A (ja) * 2005-03-11 2006-09-21 Fujinon Corp 内視鏡装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06245233A (ja) * 1993-02-22 1994-09-02 Nippon Steel Corp 平面画像提示可能な立体視呈示装置
US5624398A (en) * 1996-02-08 1997-04-29 Symbiosis Corporation Endoscopic robotic surgical tools and methods
US7758508B1 (en) * 2002-11-15 2010-07-20 Koninklijke Philips Electronics, N.V. Ultrasound-imaging systems and methods for a user-guided three-dimensional volume-scan sequence
JP4677175B2 (ja) * 2003-03-24 2011-04-27 シャープ株式会社 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006218233A (ja) * 2005-02-14 2006-08-24 Olympus Corp 内視鏡装置
CN2774421Y (zh) * 2005-04-12 2006-04-26 车延军 多屏幕显示的手术导航装置
RU2514112C2 (ru) * 2008-09-24 2014-04-27 Конинклейке Филипс Электроникс, Н.В. Создание стандартизованных протоколов для анализа данных трехмерной эхограммы
US8337397B2 (en) * 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US9526586B2 (en) * 2013-08-12 2016-12-27 Z Microsystems, Inc. Software tools platform for medical environments
US9155592B2 (en) * 2009-06-16 2015-10-13 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
JP5492583B2 (ja) * 2010-01-29 2014-05-14 日立コンシューマエレクトロニクス株式会社 映像処理装置及び映像処理方法
US20110286093A1 (en) * 2010-05-18 2011-11-24 Bittner Martin C Using 3d eyewear technology to view one series of images from multiple series of images
WO2012066456A1 (en) * 2010-11-19 2012-05-24 Koninklijke Philips Electronics N.V. Three dimensional ultrasonic guidance of surgical instruments
JP5666967B2 (ja) * 2011-04-08 2015-02-12 株式会社東芝 医用画像処理システム、医用画像処理装置、医用画像診断装置、医用画像処理方法および医用画像処理プログラム
US20120281064A1 (en) * 2011-05-03 2012-11-08 Citynet LLC Universal 3D Enabler and Recorder
JP5306422B2 (ja) * 2011-07-19 2013-10-02 株式会社東芝 画像表示システム、装置、方法及び医用画像診断装置
US9443303B2 (en) * 2011-09-09 2016-09-13 Calgary Scientific Inc. Image display of a centerline of tubular structure
WO2013111684A1 (ja) * 2012-01-26 2013-08-01 オリンパスメディカルシステムズ株式会社 医療情報記録装置
JP5784847B2 (ja) * 2013-04-03 2015-09-24 オリンパス株式会社 3d映像を表示する内視鏡システム
US20140379356A1 (en) * 2013-06-20 2014-12-25 Rohit Sachdeva Method and system for integrated orthodontic treatment planning using unified workstation
US20150065877A1 (en) * 2013-08-30 2015-03-05 General Electric Company Method and system for generating a composite ultrasound image

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06254046A (ja) 1993-03-08 1994-09-13 Olympus Optical Co Ltd 映像表示装置
JPH0847001A (ja) * 1994-08-01 1996-02-16 Minolta Co Ltd 立体テレビカメラ
JPH10290392A (ja) * 1997-04-14 1998-10-27 Olympus Optical Co Ltd 画像処理装置
JPH11341484A (ja) * 1998-05-29 1999-12-10 Olympus Optical Co Ltd 内視鏡映像処理装置
JP2003233143A (ja) * 2002-02-12 2003-08-22 Olympus Optical Co Ltd 観察装置
JP2003260028A (ja) * 2002-03-11 2003-09-16 Fuji Photo Optical Co Ltd 立体電子内視鏡装置
JP2003334160A (ja) * 2002-05-21 2003-11-25 Olympus Optical Co Ltd 立体視内視鏡システム
JP2004033451A (ja) * 2002-07-03 2004-02-05 Pentax Corp 電子内視鏡装置
JP2005013409A (ja) * 2003-06-25 2005-01-20 Olympus Corp 内視鏡装置または内視鏡システム
JP2006247163A (ja) * 2005-03-11 2006-09-21 Fujinon Corp 内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3029934A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108135458A (zh) * 2015-10-19 2018-06-08 奥林巴斯株式会社 医疗信息记录装置
JP2019138982A (ja) * 2018-02-07 2019-08-22 オリンパス株式会社 内視鏡装置、内視鏡装置の制御方法、内視鏡装置の制御プログラム、および記録媒体
JP7012549B2 (ja) 2018-02-07 2022-01-28 オリンパス株式会社 内視鏡装置、内視鏡装置の制御方法、内視鏡装置の制御プログラム、および記録媒体
US11419482B2 (en) 2018-02-07 2022-08-23 Olympus Corporation Endoscope apparatus, control method of endoscope apparatus, and recording medium

Also Published As

Publication number Publication date
CN105519107A (zh) 2016-04-20
JP5851656B2 (ja) 2016-02-03
EP3029934A1 (en) 2016-06-08
JPWO2015056701A1 (ja) 2017-03-09
EP3029934A4 (en) 2017-03-22
CN105519107B (zh) 2018-06-19
US20160174823A1 (en) 2016-06-23

Similar Documents

Publication Publication Date Title
JP5730339B2 (ja) 立体内視鏡装置
US10966592B2 (en) 3D endoscope apparatus and 3D video processing apparatus
JP5851656B2 (ja) 画像信号出力装置及び画像信号送受信システム
EP2982292B1 (en) Endoscopic system to display three-dimensional picture
JP6329715B1 (ja) 内視鏡システムおよび内視鏡
JP5893808B2 (ja) 立体内視鏡画像処理装置
KR20200024209A (ko) 촬상 장치 및 화상 생성 방법
US9408528B2 (en) Stereoscopic endoscope system
JP2019025082A (ja) 画像処理装置、カメラ装置及び画像処理方法
JP2019029876A (ja) 画像処理装置、カメラ装置及び出力制御方法
WO2019187502A1 (ja) 画像処理装置と画像処理方法およびプログラム
US20220311983A1 (en) Video signal processing apparatus, video signal processing method, and image-capturing apparatus
JP6368886B1 (ja) 内視鏡システム
WO2020203265A1 (ja) 映像信号処理装置、映像信号処理方法および撮像装置
JP2019029875A (ja) 画像処理装置、カメラ装置及び画像処理方法
JP5818265B2 (ja) 立体内視鏡装置
WO2016098736A1 (ja) 撮像システム
JP7420141B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
WO2021230001A1 (ja) 情報処理装置及び情報処理方法
JP2013258568A (ja) 立体映像記録装置と、立体映像表示装置と、それらを用いた立体映像記録システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015516317

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14854635

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2014854635

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE