WO2012153736A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
WO2012153736A1
WO2012153736A1 PCT/JP2012/061766 JP2012061766W WO2012153736A1 WO 2012153736 A1 WO2012153736 A1 WO 2012153736A1 JP 2012061766 W JP2012061766 W JP 2012061766W WO 2012153736 A1 WO2012153736 A1 WO 2012153736A1
Authority
WO
WIPO (PCT)
Prior art keywords
zoom
electronic zoom
electronic
image
instruction
Prior art date
Application number
PCT/JP2012/061766
Other languages
English (en)
French (fr)
Inventor
祐二 久津間
啓介 筒井
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to EP12782709.5A priority Critical patent/EP2656776B1/en
Priority to JP2012554915A priority patent/JP5290475B2/ja
Priority to CN201280006618.8A priority patent/CN103338690B/zh
Publication of WO2012153736A1 publication Critical patent/WO2012153736A1/ja
Priority to US13/708,260 priority patent/US9030541B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • G02B23/243—Objectives for endoscopes
    • G02B23/2438—Zoom objectives

Definitions

  • the present invention relates to an endoscope system having a zoom function.
  • endoscope systems have been widely used in the medical field and the industrial field.
  • the subject is imaged by an imaging element provided at the distal end of the endoscope insertion portion, and the subject image is displayed on the monitor device.
  • the surgeon can observe the image of the subject displayed on the monitor.
  • An image sensor and an observation optical system are built in the distal end portion of the endoscope insertion portion.
  • an endoscope having a mechanism for moving a lens frame of an observation optical system in an optical axis direction in an insertion portion for a bifocal focusing function of a subject image
  • a mirror device has been proposed.
  • the actuator for moving the lens frame a shape memory alloy wire is used, and it expands and contracts by controlling the current flowing through the wire, thereby realizing the focusing function of the observation optical system.
  • Japanese Patent Application Laid-Open No. 2010-48120 discloses an actuator system that stores a maximum resistance value and a minimum resistance value when a current flows through a shape memory alloy wire and performs resistance control based on the current value flowing through the wire. Proposed.
  • Japanese Patent Application No. 2010-156156 (unpublished) by the present applicant has been proposed as an improvement in the responsiveness of lens movement in the bifocal optical zoom operation.
  • the present invention solves this problem, and in an endoscope equipped with an optical zoom and an electronic zoom, by performing an interlocking operation based on the interlocking setting of both zoom functions, troublesome settings and operations can be performed when observing a subject.
  • An object of the present invention is to provide an endoscope system that is unnecessary and has excellent operability.
  • An endoscope system includes a lens control unit that controls an optical zoom lens to change an optical zoom magnification, a photoelectric conversion element that photoelectrically converts an image formed by the optical zoom lens, and the photoelectric conversion.
  • Electronic zoom means for changing the electronic zoom magnification of the captured image photoelectrically converted by the element, instruction means for instructing enlargement / reduction of the image, and only the lens control means operates when an instruction is given by the instruction means
  • An operation selection instruction means for selecting and instructing a first setting for operating, a second setting for operating only the electronic zoom means, and a third setting for operating both the lens control means and the electronic zoom means.
  • Parameter setting means for setting the control parameter value of the lens control means set by the parameter setting means and the zoom of the electronic zoom means corresponding to the instruction by the instruction means and the instruction by the operation selection instruction means
  • Zoom control means for outputting a control signal to the lens control means and the electronic zoom means based on the parameters.
  • FIG. 1 is a block diagram showing an overall configuration of an endoscope system according to an embodiment of the present invention.
  • the block diagram which shows the structure of an electronic zoom means.
  • the figure which shows another another aspect of the combination of the calculated numerical value of IHb, the endoscopic image corresponding to the presence or absence of IHb image processing, and the display mode at the time of visualization shows another another aspect of the combination of the calculated numerical value of IHb, the endoscopic image corresponding to the presence or absence of IHb image processing, and the display mode at the time of visualization.
  • FIG. 1 is a block diagram showing the overall configuration of an endoscope system according to an embodiment of the present invention.
  • an endoscope system 1 includes a processor 2, a plurality of endoscopes (hereinafter referred to as scopes) 3, an external device 4, an instruction unit 5, a monitor 6 as a display device, and a recording device 7. It has.
  • the scope 3, the external device 4, the instruction unit 5, the monitor 6, and the recording device 7 are connected to the outside of the processor 2.
  • the scope 3 includes a plurality of (for example, two) scopes 31 and 32.
  • One of the scopes 31 and 32 (for example, the scope 31) is a zoom endoscope provided with an optical zoom mechanism (a structure in which an optical zoom lens can be moved).
  • the optical zoom function includes, for example, two focal points, a near point focus (hereinafter referred to as “Near”) and a far point focus (hereinafter referred to as “Far”).
  • Each of the scopes 31 and 32 includes photoelectric conversion elements 31a and 32a and a scope switch (not shown) disposed in the operation unit of each scope.
  • the photoelectric conversion element is an expression including a lens that forms a subject optical image and an imaging element such as a CCD that receives the subject image passing through the lens and outputs it as an electrical signal.
  • the instruction means 5 is composed of any of a scope switch, a keyboard or a front panel (touch panel) as an external input instruction means, and inputs instructions for various operations, settings, and selections.
  • the operation selection instruction means 6 includes a first setting for operating only the lens control means 221 when the instruction is given by the instruction means 5, a second setting for operating only the electronic zoom means 222, and the lens control means. 221 and the third setting in which the electronic zoom unit 222 operates together are instructed to select.
  • the operation selection instruction means 6 for example, a specific key on a scope switch, a keyboard, a front panel (touch panel) or the like is assigned.
  • the processor 2 includes a video signal input detection unit 21, a control unit 22, a synthesis / layout unit 23, a smoothing processing unit 24, and a hemoglobin (hereinafter referred to as IHb) calculation unit 25.
  • IHb hemoglobin
  • the video signal input detection means 21 detects a video signal input by identifying a scope identification number (hereinafter, scope ID) while detecting a synchronization signal of the video signal.
  • the control unit 22 controls to output one video signal of a plurality of video signal inputs after detection of the video signal input as a main screen video signal and to output another video signal input as a sub screen video signal. Can do. At that time, it is possible to control so that only the video signal from the scope 31 having the optical zoom function is output as the main screen video signal and the video signal from the scope 32 and the video signal from the external device 4 are not output.
  • the lens control unit 221 and the electronic zoom unit 222 can be used to process and output at an appropriate magnification.
  • the electronic zoom unit 222 is used for the video signal from the scope 32.
  • the small-screen video signal can be generated by processing at an appropriate reduction ratio.
  • the control unit 22 includes a lens control unit 221, an electronic zoom unit 222, a child screen generation unit 223, a parameter setting unit 224, and a zoom control unit 225.
  • the lens control means 221 changes the optical zoom magnification by controlling the position of the optical zoom lens.
  • the optical zoom has a structure for zooming a photographed image by moving the zoom lens in the photographing optical axis direction so that the zoom lens can be moved back and forth at the distal end portion of the insertion portion of the scope 31. In this embodiment, there are two focal points, Far (far point) and Near (near point).
  • the electronic zoom means 222 changes the electronic zoom magnification of the captured image photoelectrically converted by the photoelectric conversion element 31a.
  • the electronic zoom performs image enlargement / reduction processing (hereinafter referred to as enlargement / reduction processing) by signal-processing the photoelectrically converted imaging signal and increasing / decreasing the number of pixels based on the captured pixels.
  • the sub-screen generation unit 223 generates and outputs a sub-screen video signal at a reduction ratio corresponding to each display mode when the composition / layout unit 23 performs two-screen superimposed display or two-screen juxtaposition display.
  • the parameter setting unit 224 sets the control parameter value of the lens control unit 221 and the zoom parameter of the electronic zoom unit 222 corresponding to the instruction from the instruction unit 5 and the instruction from the operation selection instruction unit 6.
  • the zoom control unit 225 corresponds to the instruction by the instruction unit 5 and the instruction by the operation selection instruction unit 6 and the control parameter value of the lens control unit 221 set by the parameter setting unit 224 and the electronic zoom unit 222. Based on the zoom parameter, a control signal for changing the zoom magnification is output to the lens control unit 221 and the electronic zoom unit 222.
  • the synthesizing / layout means 23 displays a picture-in-picture (hereinafter, PinP) or a picture-out-picture (hereinafter, PoutP) that is displayed side by side in a superposed display of the main screen video signal and the subscreen video signal.
  • PinP picture-in-picture
  • PoutP picture-out-picture
  • the two video signals of the main screen video signal and the sub screen video signal are combined, and the layout of both on the display screen at the time of combining (the parallel display arranged in parallel on the left and right, or the parent and child to superimpose the sub screen on the main screen) Display, full-screen display of only an endoscopic image that can be optically zoomed, or full-screen display of only one of the input video signals).
  • a numerical value such as an average value of IHb by the IHb calculating means 25 in a specific region or the entire region in the image may be additionally displayed on the screen.
  • the synthesizing / layout means 23 can output two types of synthesized video signals, that is, a synthesized video signal laid out for monitor display and a synthesized video signal laid out for recording equipment. Of course, it is also possible to zoom only the endoscopic image from the control unit 22 and output it in full screen.
  • the smoothing processing means 24 when displaying the child screen in a reduced size, depending on the reduction ratio, for example, the image of the child screen reduced by reducing it to 1/4 times the normal size and its image This is to prevent the image quality from deteriorating by smoothing the boundary portion in order to prevent the jaggy from occurring in the image at the boundary portion with the surrounding mask area (jagged portion in the boundary portion).
  • smoothing is performed by interpolating pixels obtained by performing interpolation using peripheral pixels at the jagged boundary portion generated during the reduction process.
  • the zoom operation mode in the endoscope system of the present embodiment described above includes an operation mode in which the optical zoom is operated alone, an operation mode in which the electronic zoom is operated alone, an operation mode in which the optical zoom and the electronic zoom are cooperatively operated, There are three operation modes. When the optical zoom and the electronic zoom operate in conjunction with each other, it is preferable to operate the electronic zoom after the optical zoom is always prioritized.
  • Each processor is provided with a predetermined number of electronic zoom magnifications that can be selected in advance at specific transition steps of a series of setting operations.
  • Processor A [OFF], [ ⁇ 1.2], [ ⁇ 1.5], [ ⁇ 1.0 ⁇ 1.2], [ ⁇ 1.0 ⁇ 1.5]
  • Processor B [OFF], [ ⁇ 1.4], [ ⁇ 1.6], [ ⁇ 1.8 / 2.0], [ ⁇ 1.0 ⁇ 1.4], [ ⁇ 1.0 ⁇ 1.6], [ ⁇ 1.0 ⁇ 1.8 / 2.0]
  • operation transition mode operation mode
  • [OFF] means electronic zoom off (that is, electronic magnification interlocking off), and [ ⁇ 1.2] and [ ⁇ 1.5] correspond to the operation mode 1 and
  • [ ⁇ 1.2] represents 1.2 times the normal size [ ⁇ 1.0]
  • [ ⁇ 1.5] is 1.5 times the normal size [ ⁇ 1.0]. It represents something.
  • [ ⁇ 1.0 ⁇ 1.2] and [ ⁇ 1.0 ⁇ 1.5] correspond to operation mode 2, and [ ⁇ 1.0 ⁇ 1.2] temporarily changes from the state set to the normal size [ ⁇ 1.0], and the magnification [ ⁇ 1.2 ] Indicates that the zoom setting is set, and [ ⁇ 1.0 ⁇ 1.5] indicates that the normal size [ ⁇ 1.0] is changed once and the zoom is set to the magnification [ ⁇ 1.5].
  • the state transition can be performed by the user operating an electronic enlargement interlock button or a dedicated transition button.
  • Processor B has the same notation. [ ⁇ 1.4], [ ⁇ 1.6] and [ ⁇ 1.8 / 2.0] correspond to operation mode 1, and [ ⁇ 1.0 ⁇ 1.4], [ ⁇ 1.0 ⁇ 1.6] and [ ⁇ 1.0 ⁇ 1.8 / 2.0] correspond to operation mode 2. It corresponds to. [ ⁇ 1.8 / 2.0] indicates that there may be [ ⁇ 1.8] or [ ⁇ 2.0] depending on the type of scope B.
  • either [ ⁇ 1.4] [ ⁇ 1.6] [ ⁇ 1.8 / 2.0] corresponding to the operation mode 1 is set as the electronic zoom magnification setting when the electronic magnification interlocking mode is set.
  • one of [ ⁇ 1.0 ⁇ 1.4] [ ⁇ 1.0 ⁇ 1.6] [ ⁇ 1.0 ⁇ 1.8 / 2.0] can be set corresponding to the operation mode 2.
  • Operation mode 1 and operation mode 2 in conjunction with electronic magnification are different in setting and observation modes as described below.
  • the setting screen for the magnification [ ⁇ 1.X] is, for example, as shown in FIG. When the cursor is pointed to the right frame of "Electronic Enlargement Linkage" on the setting screen, the magnifications that can be selected from the pull-down menu are displayed.
  • the optical zoom can be controlled by one of two predetermined focal points, that is, a far point focus (Far) and a near point focus (Near). That is, for optical zoom, Far or Near is determined in advance for each transition step.
  • the “electronic enlargement interlock” button of the scope switches provided in the operation unit of the scope is pressed to set the electronic enlargement interlock operation mode, and then the transition button is pressed.
  • the zoom magnification states set in advance in the order of the following (1), (2), and (3) are transitioned to enable observation in each transition state.
  • the “electronic enlargement” menu has four magnifications of ⁇ 1.0, ⁇ 1.4, ⁇ 1.6, and ⁇ 1.8 / 2.0, and these four can be toggled to change the magnification for observation. Yes.
  • the optical zoom can be controlled with either one of two predetermined focal points, a far point focus (Far) and a near point focus (Near). That is, as for the optical zoom, as in the operation mode 1, Far or Near is determined in advance for each transition step.
  • the transition state (1) control is performed so that only the optical zoom Far state is achieved.
  • the electronic expansion control by the “electronic expansion” operation under the states (2) and (3) is permitted.
  • the “electronic enlargement” menu has three magnifications of ⁇ 1.0, ⁇ 1.2, and ⁇ 1.5. Toggle with these three to change the magnification and observe.
  • the “electronic enlargement” menu has four magnifications of ⁇ 1.0, ⁇ 1.4, ⁇ 1.6, and ⁇ 1.8 / 2.0, and these four can be toggled to change the magnification for observation. Yes.
  • the electronic enlargement control is performed according to the “electronic enlargement interlocking” setting regardless of the electronic enlargement magnification under the condition (2). If X is set to 1.2, the optical zoom is set to Near and the electronic magnification is set to [ ⁇ 1.2].
  • Fig. 2 shows the setting screen for the electronic enlargement link.
  • This setting screen shows a state in which the observation setting “” screen is opened from the user menu displayed on the display screen of the monitor 7. Various settings necessary for observation can be performed.
  • the “observation setting” screen includes a tab linked to electronic enlargement.
  • processor A [OFF], [ ⁇ 1.2], [ ⁇ 1.5], [ ⁇ 1.0 ⁇ 1.2], [ ⁇ 1.0 ⁇ 1.5]
  • Processor B [OFF], [ ⁇ 1.4], [ ⁇ 1.6], [ ⁇ 1.8 / 2.0], [ ⁇ 1.0 ⁇ 1.4], [ ⁇ 1.0 ⁇ 1.6], [ ⁇ 1.0 ⁇ 1.8 / 2.0] Setting values are provided.
  • the image may be lost when repeated hits are repeated.
  • the parameter setting processing time is delayed and repeated before the parameter display appears on the monitor.
  • a parameter in an incomplete setting state is input.
  • doubled parameters are input together.
  • the software masks the parameter so that it will not accept the next parameter until the parameter is finalized (setting completed). Thereby, even if button operation is performed continuously, the operation
  • FIG. 3 shows a configuration example of the optical zoom in the imaging unit in the endoscope.
  • reference numeral 17 is an objective lens system
  • 17a, 17b, 17c, 17d, and 17e are a plurality of lenses (including optical elements) constituting the objective lens system
  • 18 is a CCD as an imaging element
  • 19 is an imaging unit.
  • 29 is an actuator
  • 29a is an actuator moving part
  • 29b is an actuator main body
  • 33 is a lens frame
  • 34 is a moving lens frame
  • 34a is a lens holding frame part
  • 34b penetrates a long groove (not shown) provided in the CCD frame 35.
  • Reference numeral 34c denotes an actuator connecting portion
  • 35 denotes a CCD frame.
  • the cemented lens 17d can be set to move to any position within the movable range, with the movable range from the near view position to the far view position.
  • the cemented lens 17d is movable within a movable range (moving range), and is set at a position indicated by a two-dot chain line in FIG. In this setting state, a near view focused on the near point side is imaged on the CCD 18.
  • the actuator drive signal is supplied from the control unit 22 based on the zoom instruction.
  • the cemented lens 17d is set to the rearmost position indicated by the solid line in FIG. 3, and this state is a far-field setting state at the far point side.
  • this state is a far-field setting state at the far point side.
  • the distant view is focused and focused on the CCD 18.
  • the cemented lens 17d is moved back and forth on the optical axis O of the objective lens system 17 by the actuator 29, and the CCD 18 is moved from the near view (near point side) to the far view (far point side) as shown in FIG. Can image.
  • FIG. 4 shows the configuration of the electronic zoom means in the processor.
  • the electronic zoom means 222 includes an edge enhancement means 222a that generates an edge enhancement signal based on a captured image from the scope 31, and an electronic zoom area determination means that determines an electronic zoom area in the captured image based on the intensity of the edge enhancement signal. 222b, and electronic zooming is performed on the electronic zoom region determined by the electronic zoom region determining means 222b.
  • an image is divided into 5 areas, and how many edge components are present in each area, that is, how much horizontal edge components and vertical edge components are present, is extracted. Select and electronically zoom the area.
  • FIG. 5 shows five areas divided by the electronic zoom area determining means.
  • the five areas are composed of five areas including a central portion and four corner peripheral portions on the display screen.
  • FIG. 6 shows selection criteria for selecting an area based on the edge component as a result of edge extraction for each area.
  • the area of the part where the edge component is the most dense is marked with ⁇ . If edge components are concentrated in the central area E, the area E is selected even in the areas A to D even if the edge detection amount is the same (equivalent).
  • the electronic zoom region is determined based on the edge component of the captured image, but the electronic zoom region may be determined based on the brightness component of the captured image.
  • the protruding portion such as a polyp on the inner wall is photographed brightly by irradiation of illumination light, so by measuring the brightness level of the captured image, the bright part of the image is used as the electronic zoom region. It can also be determined.
  • the present invention is not limited to the case of focusing on two focal points, and can be applied to the case of focusing on a single focal point. Is possible.
  • the optical zoom and the electronic zoom are provided as separate operation functions, so that each zoom magnification change needs to be adjusted individually. Further, in an endoscope equipped with an optical zoom and an electronic zoom, when the both zoom functions are operated in a coordinated manner, the operation procedure and the operation time are increased because only the individual function settings are performed. In response to such a problem, according to the embodiment of the present invention described above, in an endoscope provided with an optical zoom and an electronic zoom, the subject is operated by interlocking operation based on the interlocking setting of both zoom functions. Troublesome settings and operations are not required for observation, and an endoscope system with excellent operability can be realized.
  • an image is divided into a plurality of areas, and an electronic zoom area is determined on the assumption that an area with a lot of edge components or brightness components is an area to be noticed in each area.
  • an endoscope system with excellent operability can be provided.
  • this two-screen composite display for example, PinP
  • the aspect ratio, surface size, etc. differ between the monitor and the recording device, the PinP layout of the display monitor is recorded. If applied to the device as it is, the visibility of the PinP image of the recording device will deteriorate.
  • FIGS. 7A-B to 9A-B propose a mode in which a two-screen composite display (aspect ratio 16: 9) is output to a recording device (same ratio 4: 3).
  • the images shown in FIGS. 7A to 7A-B all show the image state when moving images are sent from the endoscope system to the monitor or recording device, and control of the monitor or recording device which is the output side device is shown. Does not mention.
  • FIGS. 7A and 7B when the monitor 7 is in the HD (high resolution) 16: 9 display state (FIG. 7A), the endoscopic image and the external input image can be displayed in parallel so that they do not overlap. If output to the recording device 8 (SD (standard resolution) 4: 3) as shown in FIG. 7B as it is, the two images are excessively overlapped due to the difference in aspect ratio. Therefore, only the endoscopic image (or only the external input image) is output to the recording device 8 as shown in FIG. 7B.
  • SD standard resolution
  • the image on the monitor 7 is the same as that in FIGS. 7A and 7B.
  • the size of the endoscopic image is smaller in the image of the recording device 8 than the external input image.
  • the external input image is displayed as a parent screen
  • the endoscope image is displayed as a child screen so that the parent and child are overlapped.
  • the parent-child relationship may be reversed.
  • the image on the monitor 7 is the same as that in FIGS. 7A and 7B, and the output of the recording device 8 at the time of image recording is not the original two types of superimposed images, but as shown in FIG. 9B.
  • the endoscopic image and the external input image that are sequentially output to the recording device 8 output moving images every several seconds (that is, several tens of frames).
  • the recording device 8 can record images of both the internal viewing image and the external input image in a large size.
  • a PinP image can be output in an appropriate layout to the monitor and the recording device without performing detailed settings at the time of PinP display. It becomes possible.
  • IHb color enhancement of hemoglobin
  • IHb is a function for visualizing the stomach mucosa and the like by image processing.
  • IHb is extracted and processed in the captured image range and displayed as an image on the monitor.
  • the image processing range covers the entire imaging signal, and the image processing range captures the image.
  • There is a central region mode that targets the center of the signal ie, the center of the monitor. At this time, the surgeon may want to know only the numerical value of IHb rather than displaying an image related to the extracted and processed IHb.
  • FIGS. 10 to 13 show a combination of the calculated IHb value, an endoscopic image corresponding to the presence or absence of IHb image processing, and a display mode for visualization.
  • FIG. 10 shows a normal endoscopic image 7a that is not subjected to image processing related to IHb in the center region mode, and displays an IHb average value (symbol 7b).
  • FIG. 11 shows the image 7c on which the image processing related to IHb in the central area mode is superimposed and the IHb average value (symbol 7d).
  • FIG. 12 shows a normal endoscopic image 7f that is not subjected to image processing related to IHb in the all-region mode, and shows an IHb average value (symbol 7d).
  • FIG. 13 shows an image 7g subjected to image processing related to IHb in the all-region mode and an IHb average value (symbol 7d). Thereby, the operator can see the actual numerical value and which side is actually inflamed by the color difference by using the processed image 7g.
  • the surgeon can quickly know the value of IHb even in a state where image processing relating to IHb is not performed, and the convenience during diagnosis can be increased.
  • the size of the original image is reduced by a fraction of the image displayed as the sub-screen. Since the monitor generally interlaces the odd and even horizontal scanning lines of each of the odd and even fields alternately, the odd number is simply used when creating a small-screen image with a reduction ratio of 1/3.
  • an image that is thinned by 1/3 horizontally and vertically is generated. Is done.
  • Such a diagnostic image is usually displayed with an octagonal outline in a mask area on the screen.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

　レンズ制御手段２２１は光学レンズを制御し光学ズーム倍率を変更する。光電変換素子３１は光学レンズにより結像した像を光電変換する。電子ズーム手段２２２は光電変換素子からの撮像画像の電子ズーム倍率を変更する。指示手段５は画像の拡大縮小を指示する。動作選択指示手段６は指示手段による指示がなされた時、光学ズームが動作する第１の設定と、電子ズームが動作する第２の設定と、光学ズームと電子ズームとが協働する第３の設定とを選択指示する。パラメータ設定手段２２４は指示手段と動作選択指示手段とに対応する、レンズ制御手段のパラメータと電子ズーム手段のパラメータとを設定する。ズーム制御手段２２５はパラメータとパラメータとに基づき、レンズ制御手段と電子ズーム手段とに制御信号を出力する。

Description

内視鏡システム
　本発明は、ズーム機能を備えた内視鏡システムに関する。
　従来より、内視鏡システムは、医療分野及び工業分野において広く用いられている。被写体は、内視鏡挿入部の先端部に設けられた撮像素子により撮像され、被写体像がモニタ装置に表示される。術者等は、そのモニタに映し出された被写体の画像を見て、観察を行うことができる。撮像素子と観察光学系が、内視鏡挿入部の先端部に内蔵されている。
　近年、特開２００９－１４８３６９号公報に開示されているように、被写体像の２焦点のフォーカシング機能のために、観察光学系のレンズ枠を光軸方向に移動させる機構を挿入部内に有する内視鏡装置が提案されている。そのレンズ枠を移動させるアクチュエータとして、形状記憶合金ワイヤが用いられ、ワイヤに流れる電流を制御することによって伸縮し、観察光学系のフォーカシング機能を実現している。
　また、例えば特開２０１０－４８１２０号公報には、形状記憶合金ワイヤに電流を流したときの最大抵抗値と最小抵抗値を記憶して、ワイヤに流れる電流値に基づく抵抗制御を行うアクチュエータシステムが提案されている。
　なお、２焦点の光学ズーム動作において、レンズ移動の応答性等を改善するものとして、本出願人による特願２０１０－１５６１５６号(未公開)がある。
　ところで、光学ズームと電子ズームを備えた従来の電子内視鏡システムでは、光学ズームと電子ズームを別々の操作機能として設けていたため、各々のズーム倍率変更を個別に調整する必要があり、操作手順が増える等の問題があった。このため、光学ズームと電子ズームを備えた内視鏡において、両ズーム機能を連動して協調動作させる際には、個別の機能設定のみで行うので、操作手順及び操作時間が増える等の問題を生じる。
　本発明は、この課題を解決し、光学ズームと電子ズームを備えた内視鏡において、両ズーム機能の連動設定に基づき連動動作することにより、被検体を観察する際に面倒な設定及び操作が不要となり、操作性に優れた内視鏡システムを提供することを目的とするものである。
　本発明による内視鏡システムは、光学系ズームレンズを制御して光学ズーム倍率を変更するレンズ制御手段と、前記光学系ズームレンズにより結像した像を光電変換する光電変換素子と、前記光電変換素子により光電変換された撮像画像の電子ズーム倍率を変更する電子ズーム手段と、画像の拡大・縮小を指示する指示手段と、前記指示手段による指示が行われた時、前記レンズ制御手段のみが動作する第１の設定と、前記電子ズーム手段のみが動作する第２の設定と、前記レンズ制御手段と前記電子ズーム手段とが共に動作する第３の設定と、を選択指示する動作選択指示手段と、前記指示手段による指示と前記動作選択指示手段による設定とに対応する、前記レンズ制御手段の制御パラメータ値と前記電子ズーム手段のズームパラメータとを設定するパラメータ設定手段と、前記指示手段による指示と前記動作選択指示手段による指示とに対応する、前記パラメータ設定手段により設定された前記レンズ制御手段の制御パラメータ値と前記電子ズーム手段のズームパラメータとに基づき、前記レンズ制御手段と前記電子ズーム手段とに制御信号を出力するズーム制御手段と、を備える。
本発明の一実施形態の内視鏡システムの全体構成を示すブロック図。 電子拡大連動の設定画面を示す図。 内視鏡の撮像ユニットにおける光学ズームの構成例を示す断面図。 電子ズーム手段の構造を示すブロック図。 電子ズーム領域決定手段で分割された領域を示す図。 領域ごとのエッジ抽出の結果、エッジ成分の多少に基づきエリア選定する際の選定基準を示す図。 ２画面合成表示(縦横比16:9)を記録機器(同比4:3)へ出力する一態様における、モニタへの出力状態を示す図。 ２画面合成表示(縦横比16:9)を記録機器(同比4:3)へ出力する一態様における、記録機器への出力状態を示す図。 ２画面合成表示(縦横比16:9)を記録機器(同比4:3)へ出力する他の態様における、モニタへの出力状態を示す図。 ２画面合成表示(縦横比16:9)を記録機器(同比4:3)へ出力する他の態様における、記録機器への出力状態を示す図。 ２画面合成表示(縦横比16:9)を記録機器(同比4:3)へ出力するもう１つの他の態様における、モニタへの出力状態を示す図。 ２画面合成表示(縦横比16:9)を記録機器(同比4:3)へ出力するもう１つの他の態様における、記録機器への出力状態を示す図。 算出されたIHbの数値と、IHb画像処理の有無に対応した内視鏡画像と、可視化する際の表示モードと、の組み合わせの一態様を示す図。 算出されたIHbの数値と、IHb画像処理の有無に対応した内視鏡画像と、可視化する際の表示モードと、の組み合わせの他の態様を示す図。 算出されたIHbの数値と、IHb画像処理の有無に対応した内視鏡画像と、可視化する際の表示モードと、の組み合わせのもう１つの他の態様を示す図。 算出されたIHbの数値と、IHb画像処理の有無に対応した内視鏡画像と、可視化する際の表示モードと、の組み合わせのもう１つの別の他の態様を示す図。
以下、本発明の実施の形態について図面を参照して詳細に説明する。　
　図１は本発明の一実施形態の内視鏡システムの全体構成のブロック図を示している。
　図１において、内視鏡システム１は、プロセッサ２と、複数の内視鏡(以下、スコープ)３と、外部機器４と、指示手段５と、表示装置としてのモニタ６と、記録機器７とを備えている。ここで、スコープ３、外部機器４、指示手段５、モニタ６、及び記録機器７は、上記プロセッサ２の外部に接続されている。
　スコープ３は複数(例えば２つ)のスコープ３１，３２を備えている。スコープ３１，３２はいずれか一方(例えばスコープ３１)が光学ズーム機構(光学系ズームレンズが移動可能な構造)を備えたズーム型内視鏡となっている。　
　光学ズーム機能としては、例えば近点フォーカス(以下、Near)及び遠点フォーカス(以下、Far)の２焦点を備えたものである。
スコープ３１，３２はそれぞれに、光電変換素子３１ａ，３２ａと、各スコープの操作部に配設された図示しないスコープスイッチを備えている。ここで、光電変換素子とは、被検体光像を結像するレンズとそのレンズを通した被検体像を受光し電気信号として出力するＣＣＤのような撮像素子とを含めた表現である。　
　指示手段５は、外部入力指示手段としてのスコープスイッチ，キーボードまたはフロントパネル(タッチパネル)などのいずれかで構成され、各種の動作，設定，及び選択についての指示を入力するものである。
動作選択指示手段６は、指示手段５による指示が行われた時、レンズ制御手段２２１のみが動作する第１の設定と、電子ズーム手段２２２のみが動作する第２の設定と、前記レンズ制御手段２２１と前記電子ズーム手段２２２とが共に動作する第３の設定と、を選択指示するものである。動作選択指示手段６としては、例えばスコープスイッチ，キーボードまたはフロントパネル(タッチパネル)などにおける特定のキーが割り当てられている。
プロセッサ２は、映像信号入力検知手段２１と、制御部２２と、合成・レイアウト手段２３と、平滑化処理手段２４と、ヘモグロビン(以下、ＩＨb)算出手段２５とを備えている。
映像信号入力検知手段２１は、映像信号の同期信号を検出する一方、スコープ識別番号(以下、スコープＩＤ)を識別することによって、映像信号入力を検知する。　
　制御部２２は、映像信号入力検知後の複数の映像信号入力のうちの１つの映像信号を親画面映像信号として出力し、他の映像信号入力を子画面映像信号として出力するように制御することができる。その際、光学ズーム機能を備えたスコープ３１からの映像信号のみを親画面映像信号として出力し、スコープ３２からの映像信号や外部機器４からの映像信号を出力させないように制御することもできる。このようにスコープ３１からの映像信号のみを親画面映像信号として出力し、スコープ３２からの映像信号や外部機器４からの映像信号を出力させない場合には、スコープ３１からの映像信号に対してはレンズ制御手段２２１及び電子ズーム手段２２２を用いて適宜の拡大倍率で処理して出力することができる。なお、スコープ３１からの映像信号を親画面映像信号として出力し、スコープ３２からの映像信号を子画面映像信号として出力する場合には、スコープ３２からの映像信号に対して電子ズーム手段２２２を用いて適宜の縮小倍率で処理して子画面映像信号を作成することができる。
　制御部２２は、レンズ制御手段２２１と、電子ズーム手段２２２と、子画面生成手段２２３と、パラメータ設定手段２２４と、ズーム制御手段２２５とを備えている。　
レンズ制御手段２２１は、光学系ズームレンズの位置を制御して光学ズーム倍率を変更するものである。光学ズームは、スコープ３１の挿入部の先端部分でズームレンズを撮影光軸方向に進退可能に移動して撮影画像をズーミングする構造となっている。本実施形態では、Far(遠点)，Near(近点)の２焦点となっている。
電子ズーム手段２２２は、光電変換素子３１ａにより光電変換された撮像画像の電子ズーム倍率を変更するものである。電子ズームは、光電変換された撮像信号を信号処理して撮影画素に基づいて画素数を増減等することにより画像の拡大縮小処理(以下、拡縮処理)を行うものである。
子画面生成手段２２３は、合成・レイアウト手段２３で二画面重畳表示または二画面並置表示する際に、各表示態様に応じた縮小倍率で子画面映像信号を生成して出力可能とするものである。　
パラメータ設定手段２２４は、指示手段５による指示と前記動作選択指示手段６による指示とに対応する、前記レンズ制御手段２２１の制御パラメータ値と前記電子ズーム手段２２２のズームパラメータとを設定する。
ズーム制御手段２２５は、前記指示手段５による指示と前記動作選択指示手段６による指示とに対応する、前記パラメータ設定手段２２４により設定された前記レンズ制御手段２２１の制御パラメータ値と前記電子ズーム手段２２２のズームパラメータとに基づき、前記レンズ制御手段２２１と前記電子ズーム手段２２２とにズーム倍率を変更するための制御信号を出力する。
　合成・レイアウト手段２３は、親画面映像信号と子画面映像信号とを重畳表示するピクチャ・イン・ピクチャ(以下、PinP)或いは並置表示するピクチャ・アウト・ピクチャ(以下、PoutP)の表示の場合に、親画面映像信号と子画面映像信号の２つの映像信号を合成し、かつ合成時の表示画面上における両者のレイアウト(左右に並列に配置する並列表示か、子画面を親画面に重畳させる親子表示か、光学ズーム可能な内視鏡画像のみのフル画面表示か、入力映像信号のどれか１つのみのフル画面表示かなど)を生成するものである。なお、このような内視鏡画像と共に、画像中の特定領域又は全体領域における、ＩＨb算出手段２５によるＩＨbの平均値などの数値を画面上に追加表示するようにしてもよい。
また、合成・レイアウト手段２３は、モニタ表示用にレイアウトされた合成映像信号と、記録機器用にレイアウトされた合成映像信号との二種類の合成映像信号を出力することが可能である。なお、制御部２２からの内視鏡画像のみを単独でズーミングしてフル画面出力することも可能であることは勿論である。
平滑化処理手段２４は、PinP及びPoutPの表示において、子画面を縮小表示した場合に、縮小倍率によっては、例えば通常サイズの１／４倍に縮小したことによって縮小された子画面の画像とその周辺のマスク領域との境界部分の画像にジャギーが発生(境界部分にギザギザが発生)するのを、境界部分を平滑化処理することによって画質が悪化するのを防ぐためのものである。この平滑化処理は、縮小処理した際に発生したギザギザの境界部分に周辺の画素を用いて補間演算して得た画素を補間することによって、平滑化するものである。
　以上の本実施形態の内視鏡システムにおけるズーム動作モードには、光学ズーム単独で動作する動作モード、電子ズーム単独で動作する動作モード、光学ズーム及び電子ズームが協調して連動動作する動作モード、の３つの動作モードがある。光学ズームと電子ズームが連動して動作する際には、必ず光学ズームを優先して動作させた後に電子ズームを動作させることが好ましい。
　本願実施形態では、光学ズーム及び電子ズームが協調して連動動作する動作モード(以下、電子拡大連動という)を実施する場合について以下に説明する。
　本願実施形態において、光学ズーム及び電子ズーム可能な複数種類のスコープが接続される二種類のプロセッサに対して、各プロセッサに接続されたスコープの電子拡大連動のズーム倍率を設定するための設定動作について説明する。各プロセッサには、一連の設定動作の特定の遷移ステップで、予め選択可能な電子ズーム倍率を所定数ずつ用意してある。
設定値の仕様として
　プロセッサＡ：[OFF]、[×1.2]、[×1.5]、[×1.0⇒1.2]、[×1.0⇒1.5]
プロセッサＢ：[OFF]、[×1.4]、[×1.6]、[×1.8/2.0]、[×1.0⇒1.4]、[×1.0⇒1.6]、[×1.0⇒1.8/2.0]
なお、電子拡大連動の動作遷移態様(動作モード)にはどのプロセッサＡ，Ｂについても後述する二種類の動作モード１，２がある。
プロセッサＡの電子ズームについて見ると、[OFF]は電子ズームオフ(即ち電子拡大連動オフ)を意味し、[×1.2]及び[×1.5]は動作モード１に対応し、撮像したままの表示画像の通常サイズを[×1.0]としたとき、[×1.2]は通常サイズ[×1.0]の１．２倍であることを表し、[×1.5]は通常サイズ[×1.0]の１．５倍であることを表している。また、[×1.0⇒1.2]及び[×1.0⇒1.5]は動作モード２に対応し、[×1.0⇒1.2]は一旦通常サイズ[×1.0]に設定された状態から遷移して倍率[×1.2]の状態にズーム設定されることを表し、[×1.0⇒1.5]は一旦通常サイズ[×1.0]に設定された状態から遷移して倍率[×1.5]の状態にズーム設定されることを表している。状態の遷移は、電子拡大連動ボタン又は専用の遷移ボタンをユーザーが操作することによって実施できる。
　プロセッサＢについても同様の表記となっている。[×1.4]，[×1.6]及び[×1.8/2.0]は動作モード１に対応し、[×1.0⇒1.4]，[×1.0⇒1.6]及び[×1.0⇒1.8/2.0]は動作モード２に対応している。[×1.8/2.0]はスコープＢの種類によっては[×1.8]又は[×2.0]となる場合があることを示している。
例えばプロセッサＡに接続したスコープに対しては、電子拡大連動モードの設定時、電子ズーム倍率設定として後述の動作モード１に対応して[×1.2][×1.5]のいずれかか、或いは、動作モード２に対応して[×1.0⇒1.2][×1.0⇒1.5]のいずれかを設定することができる。
プロセッサＢに接続したスコープに対しては、電子拡大連動モードの設定時、電子ズーム倍率設定として動作モード１に対応して[×1.4][×1.6][×1.8/2.0]のいずれかか、或いは、動作モード２に対応して[×1.0⇒1.4][×1.0⇒1.6][×1.0⇒1.8/2.0]のいずれかを設定することができる。
　電子拡大連動での動作モード１と動作モード２とは、下記のように設定時及び観察時の態様が異なっている。　
《動作モード１》
(設定時)
　「電子拡大連動」=[×1.X]の選択時　倍率1.XとしてはプロセッサＡ用として1.2及び1.5のいずれか、プロセッサＢ用として1.4，1.6及び1.8/2.0のいずれかをユーザーが選択して設定可能となっている。倍率[×1.X]の設定画面は例えば図２に示すようになっている。設定画面の「電子拡大連動」の右側枠にカーソルをポイントするとプルダウンメニューで等で選択可能な倍率が表示される。
「電子拡大連動」=[×1.X」時、光学ズームは遠点フォーカス(Far)と近点フォーカス(Near)の予め決められた２焦点のいずれかで制御可能とされている。つまり、光学ズームについては、各遷移ステップごとに予めFarかNearかが決められている。
(観察時)
　「電子拡大連動」のパラメータ設定後、まずスコープの操作部に設けられているスコープスイッチのうちの「電子拡大連動」ボタンを押し電子拡大連動の動作モードとした後、次に遷移ボタンを押す。遷移ボタンを押す度に、下記の(1)，(2)，(3)の順に予め設定したズーム倍率状態を遷移させて、各遷移状態での観察をすることが可能となる。
(1)　Far
(2)　Near&電子拡大[×1.X]
(3)　Far&電子拡大[×1.0]
　下記に(1)～(3)に関連する、制御部２２の制御動作を説明する。　
　まず、遷移状態(1)では光学ズームのFarのみの状態に制御する。　
　次に、遷移状態(2)に移行すると、(2)状態下の「電子拡大」操作による電子拡大制御を許可する。つまり、「電子拡大連動」用のメニューとは別に「電子拡大」というメニューがあって、プロセッサＡの場合、「電子拡大」メニューには×1.0，×1.2，×1.5という３つの倍率があって、この３つでトグルして倍率変更して観察可能となっている。プロセッサＢの場合は、「電子拡大」メニューには×1.0，×1.4，×1.6，×1.8/2.0という４つの倍率があって、この４つでトグルして倍率変更して観察可能となっている。
　(2)移行時、(1)状態下の電子拡大倍率(例えば×1.0)によらず「電子拡大連動」設定に従った電子拡大制御を行う。Ｘが1.2に設定されれば、光学ズームをNearとしかつ電子拡大倍率を[×1.2]とする。
　(3)移行時、(2)状態下の電子拡大倍率によらず強制的に光学ズームをFarとしかつ電子拡大倍率を×1.0にする。
《動作モード２》
(設定時)
　「電子拡大連動」=[×1.0⇒1.X]選択時　倍率遷移{×1.0⇒1.X]における倍率1.XとしてはプロセッサＡ用として1.2及び1.5のいずれか、プロセッサＢ用として1.4，1.6及び1.8/2.0のいずれかを設定可能となっている。
「電子拡大連動」=[×1.0⇒1.X]時、光学ズームは遠点フォーカス(Far)と近点フォーカス(Near)の予め決められた２焦点のいずれかで制御可能とされている。つまり、光学ズームについては、動作モード１と同様に各遷移ステップごとに予めFarかNearかが決められている。
(観察時)
　動作モード１との違いは、上記の(1)Farと(2)Near&電子拡大[×1.X]の間に、下記の(2)Near&電子拡大[×1.0]のステップを挿入したものである。それ故、遷移ボタンを押すと、下記の(1)Farから(3)Near&電子拡大[×1.X]に移行する前に、一旦、電子拡大しない標準状態である(2)Near&電子拡大[×1.0]のステップに移行した後、次の(3)Near&電子拡大[×1.X]に移行する。更にその後、(4)のFar&電子拡大[×1.0]に移行する。
(1)　Far
(2)　Near&電子拡大[×1.0]
(3)　Near&電子拡大[×1.X]
(4)　Far&電子拡大[×1.0]
　下記に(1)～(4)に関連する、制御部２２の制御動作を説明する。
　まず、遷移状態(1)では光学ズームのFarのみの状態に制御する。　
　次に、遷移状態(2)を経て遷移状態(3)に移行すると、(2)(3)状態下の「電子拡大」操作による電子拡大制御を許可する。つまり、「電子拡大連動」用のメニューとは別に「電子拡大」というメニューがあって、プロセッサＡの場合、「電子拡大」メニューには×1.0，×1.2，×1.5という３つの倍率があって、この３つでトグルして倍率変更して観察可能となっている。プロセッサＢの場合は、「電子拡大」メニューには×1.0，×1.4，×1.6，×1.8/2.0という４つの倍率があって、この４つでトグルして倍率変更して観察可能となっている。
　(2)移行時、(1)状態下の電子拡大倍率によらず強制的に光学ズームをNearとしかつ電子拡大倍率を×1.0にする。
　(3)移行時、(2)状態下の電子拡大倍率によらず「電子拡大連動」設定に従った電子拡大制御を行う。Ｘが1.2に設定されれば、光学ズームをNearとしかつ電子拡大倍率を[×1.2]とする。
　(4)移行時、(3)状態下の電子拡大倍率によらず強制的に光学ズームをFarとしかつ電子拡大倍率を×1.0にする。
　図２は上記電子拡大連動の設定画面を示している。この設定画面は、モニタ７の表示画面上に表示されるユーザーメニューから、観察設定「」画面を開いた状態を示している。観察時に必要な各種の設定を行える。「観察設定」画面として、電子拡大連動のタブを含んでいる。
設定値としては、例えば上述の場合と同様に
　プロセッサＡ：[OFF]、[×1.2]、[×1.5]、[×1.0⇒1.2]、[×1.0⇒1.5]
プロセッサＢ：[OFF]、[×1.4]、[×1.6]、[×1.8/2.0]、[×1.0⇒1.4]、[×1.0⇒1.6]、[×1.0⇒1.8/2.0]
の設定値が用意されている。
　なお、電子ズームの倍率設定に関連して、例えば、電子ズームボタンを連打したときに連打することによってパラメータ等をプロセッサに設定した場合などに、何回も連打したとき、画像がくずれてしまう可能性がある。特に、パラメータ設定の処理時間が遅れてしまってモニタにパラメータ表示が現れる前に連打したことで、設定未完了状態のパラメータが入力されてしまい、例えば拡大率を１．５倍とするべきを１．２倍のパラメータが混じって入力されてしまうことがある。これを防ぐために、連打したときにパラメータが確定(設定完了)されるまで次のパラメータを受け付けないようにソフトウェアでマスクをかける。これにより、ボタン操作が連続的に行われても、ボタン操作に伴う設定処理の動作が適切な時間間隔で実行されるようになる。
また、内視鏡システムにおける電源投入に伴うシステム起動時に、同期信号の周期が乱れその期間、モニタの表示画面が乱れてしまう問題がある。これを防ぐために、システム起動時に、同期信号の周期が適正になるまでの期間、電子ズーム等の画像処理中の画像を出力させないように、画像表示をミュートする。
　図３は内視鏡内の撮像ユニットにおける光学ズームの構成例を示している。　
　図３において、符号１７は対物レンズ系、１７ａ，１７ｂ，１７ｃ，１７ｄ，１７ｅは対物レンズ系１７を構成する複数のレンズ（光学素子を含む）、１８は撮像素子としてのＣＣＤ、１９は撮像ユニット、２９はアクチュエータ、２９ａはアクチュエータ移動部、２９ｂはアクチュエータ本体、３３はレンズ枠、３４は移動レンズ枠、３４ａはレンズ保持枠部、３４ｂはＣＣＤ枠３５に設けた長溝(図示略)内を貫通するアーム部、３４ｃはアクチュエータ連結部、３５はＣＣＤ枠である。
　接合レンズ１７ｄは、近景の位置から遠景の位置までを可動範囲として、その可動範囲内の任意の位置に移動設定できるようになっている。
　接合レンズ１７ｄは可動範囲(移動範囲)に移動可能であり、アクチュエータ駆動信号により最も前方側に移動された近景時の設定状態の場合には、図３の２点鎖線で示す位置に設定され、この設定状態では近点側にフォーカスした近景をＣＣＤ１８に結像する状態となる。なお、アクチュエータ駆動信号は、ズーム指示に基づて制御部２２から供給される。
　また、アクチュエータ駆動信号により最も後方側に移動された場合には、接合レンズ１７ｄは図３の実線で示す最も後方側の位置に設定され、この状態は遠点側となる遠景時の設定状態となる。この遠景時の設定状態では、遠景にフォーカスし、ＣＣＤ１８に結像する状態となる。 
　このように、接合レンズ１７ｄをアクチュエータ２９により対物レンズ系１７の光軸Ｏ上を前後に移動して、図３に示すように近景（近点側）から遠景（遠点側）までをＣＣＤ１８に結像できる。
　図４はプロセッサ内の上記電子ズーム手段の構成を示している。　
　電子ズーム手段２２２は、スコープ３１からの撮像画像に基づき輪郭強調信号を生成する輪郭強調手段２２２ａと、前記輪郭強調信号の強度に基づき、前記撮像画像における電子ズーム領域を決定する電子ズーム領域決定手段２２２ｂとを備え、前記電子ズーム領域決定手段２２２ｂにより決定された電子ズーム領域に対して、電子ズームを行う。
　例えば、１枚の画像を５エリアに分割して、各エリアでエッジ成分がどの位あるのか、即ち水平エッジ成分と垂直エッジ成分がどの位あるのか、を抽出し、最もエッジ成分の多いエリアを選択し、そのエリアを電子ズームする。
　図５は上記電子ズーム領域決定手段で分割された５つの領域を示している。
　５つの領域は、表示画面における中央部と４隅の周辺部を含む５つの領域で構成される。
図６は、エリアごとのエッジ抽出の結果、エッジ成分の多少に基づきエリア選定する際の選定基準を示している。
　最もエッジ成分が密集していた部位のエリアを○と表記している。中央部のエリアＥにエッジ成分が密集していたらエリアＡ～Ｄにおいてもエッジ検出量が同様(同等)に多くても、エリアＥを選択する。
　なお、上記実施形態では、電子ズーム領域を撮像画像のエッジ成分に基づき決定しているが、撮像画像の明るさ成分に基づき電子ズーム領域を決定するようにしてもよい。管腔内の内視鏡画像においては、照明光の照射によって内壁のポリープ等の突出部分が明るく撮影されるので、撮像画像の明るさレベルを測定することによって画像の明るい部分を電子ズーム領域として決定することもできる。
また、上記実施形態では、光学ズームの構成において、２焦点にフォーカスする場合について述べてあるが、本発明は２焦点のフォーカスの場合に限定されず、単焦点のフォーカスの場合にも応用することが可能である。
　光学ズームと電子ズームを備えた従来の電子内視鏡システムでは、光学ズームと電子ズームを別々の操作機能として設けていたため、各々のズーム倍率変更を個別に調整する必要がある。また、光学ズームと電子ズームを備えた内視鏡において、両ズーム機能を連動して協調動作させる際には、個別の機能設定のみで行うので、操作手順及び操作時間が増える。このような問題に対して、以上述べた本発明の実施形態によれば、光学ズームと電子ズームを備えた内視鏡において、両ズーム機能の連動設定に基づき連動動作することにより、被検体を観察する際に面倒な設定及び操作が不要となり、操作性に優れた内視鏡システムを実現することが可能となる。また、１枚の画像を複数のエリアに分けて、各エリアでエッジ成分又は明るさ成分の多いエリアを被検体の注目すべき領域であるとして電子ズーム領域を決定するので、ズームするエリアを自動的に選択して電子ズームすることが可能となり、光学ズームと電子ズームを備えた内視鏡において、両ズーム機能の連動設定に基づき連動動作することにより、被検体を観察する際に面倒な設定及び操作が不要となり、操作性に優れた内視鏡システムを提供できる。
　ところで、ピクチャインピクチャ(PinP)やピクチャアウトピクチャ(PoutP)のような２画面合成した画像をモニタに表示すると同時に、プリンタのような記録機器に出力して印刷する際に問題となる点がある。
この２画面合成表示(例えばPinP)のレイアウトは表示用モニタを基準に考えられているために、例えばモニタと記録機器とでアスペクト比や面面サイズ等が異なる場合、表示モニタのPinPレイアウトを記録機器へそのまま適用すると、記録機器のPinP画像の視認性が悪くなってしまう。
図７Ａ－Ｂ乃至図９Ａ－Ｂは２画面合成表示(縦横比16:9)を記録機器(同比4:3)へ出力する態様を提案するものである。図７Ａ－Ｂ乃至図９Ａ－Ｂに示す画像はすべて内視鏡システムからモニタや記録機器へ動画を送っているときの画像状態を示していて、出力側の機器であるモニタや記録機器の制御については述べていない。
　図７Ａ－Ｂに示す例では、モニタ７がＨＤ(高解像度)１６：９表示状態(図７Ａ)では、内視鏡画像と外部入力画像とが重ならないように並列表示できるが、このレイアウトをそのまま図７Ｂに示すように記録機器８(ＳＤ(標準解像度)４：３）へ出力すると、アスペクト比の違いにより２つの画像が過度に重なってしまう。そこで、記録機器８へは図７Ｂに示すように内視鏡画像のみ（もしくは外部入力画像のみ）を出力する。
　図８Ａ－Ｂに示す例では、モニタ７の画像は図７Ａ－Ｂと同様であり、図８Ｂに示すように記録機器８の画像において、外部入力画像に対して内視鏡画像のサイズを小さくして、外部入力画像を親画面、内視鏡画像を子画面として、親子を重ねて表示する。親子関係は逆にしてもよい。
図９Ａ－Ｂに示す例では、モニタ７の画像は図７Ａ－Ｂと同様であり、画像記録実行時の記録機器８の出力は、本来の２種類の重畳画像ではなく、図９Ｂに示すように、まず内視鏡画像、次に数秒程度の間をおいて外部入力画像を順次出力する。記録機器８へ順次出力される内視鏡画像及び外部入力画像は数秒間(即ち数十フレーム)ずつの動画が出力されることになる。これにより、記録機器８では内視鏑画像、外部入力画像共に大きなサイズで画像記録可能となる。
　図７Ａ－Ｂ乃至図９Ａ－Ｂに示した例では、PinP表示の際に、ユーザーが詳細な設定を行なうことなく、モニタおよび記録機器に対してそれぞれ適切なレイアウトでPinP画像を出力することが可能となる。
更に、ヘモグロビン(以下、IHb)の色彩強調という機能がある。具体的には、画像処理して胃の粘膜などを可視的にする機能である。これは、撮像した画像の範囲でIHbを抽出及び処理してモニタに画像として表示するものであり、画像処理の範囲が撮像信号の全体を対象とする全領域モードと、画像処理の範囲が撮像信号の中央(即ちモニタの中央部)を対象とする中央領域モードがある。その際、術者は、抽出し処理したIHbに関する画像の表示よりも、IHbの数値だけを知りたい場合がある。
　図１０乃至図１３は、算出されたIHbの数値と、IHb画像処理の有無に対応した内視鏡画像と、可視化する際の表示モードと、の組み合わせの態様を示している。　
　図１０は、中央領域モードでのIHbに関する画像処理を施さないままの通常の内視鏡画像７ａを表示したものであり、IHb平均値(符号７ｂ)を表示したものである。この場合、中央領域モードであることを「IHb_p=」の表記形態によって視認することができる。術者は、このIHbの数値さえみれば、どれ位の症状なのかが分かるので、画像としては通常の画像７ａを表示しているが、通常の画像７ａと共に算出したIHb数値(符号７ｂ)だけを載せている。
　図１１は、中央領域モードでのIHbに関する画像処理を施した画像７ｃを重畳表示したものと、IHb平均値(符号７ｄ)とを表示したものである。これにより、術者は、この処理画像７ｃによって、実際のIHb数値と、実際にどの辺が炎症を起こしているかを色の差で見ることが可能となる。
　図１２は、全領域モードでのIHbに関する画像処理を施さないままの通常の内視鏡画像７ｆを表示したものであり、IHb平均値(符号７ｄ)を表示したものである。この場合、全領域モードであることを「IHb_a=」の表記形態によって視認することができる。術者は、このIHbの数値さえみれば、どれ位の症状なのかが分かるので、画像としては通常の全体画像７ｆを表示しているが、通常の画像７ｆと共に算出したIHb数値(符号７ｄ)だけを載せている。
　図１３は、全領域モードでのIHbに関する画像処理を施した画像７ｇと、IHb平均値(符号７ｄ)とを表示したものである。これにより、術者は、この処理画像７ｇによって、実際の数値と、実際にどの辺が炎症を起こしているかを色の差で見ることが可能となる。
図１０乃至図１３の例によれば、術者はIHbに関する画像処理を施さない状態でもIHbの数値をいち早く知ることができ、診断時の利便性を増すことができる。
　一方、親画面と子画面を並置又は一部重畳してモニタ上の表示する場合において、子画面として表示される画像については本来の画像のサイズを何分の一かに縮小されている。モニタには一般的に奇数フィールドと偶数フィールドの各フィールドの奇数及び偶数の水平走査ラインが交互にインターレース走査されるために、縮小倍率１／３の子画面画像を作成する際には単純に奇数及び偶数の水平走査ラインから３本に２本ずつ間引き、かつ垂直方向に並んだ画素ラインについても３本に２本ずつ間引くことによって、水平及び垂直に１／３ずつ間引かれた画像が生成される。このような診断画像は、通常、画面上のマスク領域に８角形の外形を持って表示することが行われている。このような表示においては、上記の間引きによって１／３倍に生成された縮小画像とマスク領域の斜めに傾斜した部分との境界部分の縮小画像に視認できるほどのジャギーが発生せず、整った綺麗な画像として視認される。
　しかしながら、子画面画像の縮小倍率を変えて例えば１／４倍の縮小画像を生成すると、１／４倍にされた縮小画像とマスク領域の斜めに傾斜した部分との境界部分の縮小画像にジャギーが発生する。つまり、インターレースで拡縮処理を行う場合に１／４倍に縮小するときのように、画像の斜め部分において、垂直方向に並んだ画素ラインの横方向の並びに中間ラインが生成されないため(これに対して１／３倍のときは中間ラインが生成された)、平滑化処理で擬似的に中間ラインを生成することにより、視認できるジャギーのギザギザを解消する。
　尚、本発明は以上述べた実施形態のみに限定されるものではなく、発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
　本出願は、２０１１年５月１２日に日本国に出願された特願２０１１－１０７４２１号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものである。

Claims (4)

  1. 　光学系ズームレンズを制御して光学ズーム倍率を変更するレンズ制御手段と、
    　前記光学系ズームレンズにより結像した像を光電変換する光電変換素子と、
    　前記光電変換素子により光電変換された撮像画像の電子ズーム倍率を変更する電子ズーム手段と、
    　画像の拡大・縮小を指示する指示手段と、
    　前記指示手段による指示が行われた時、前記レンズ制御手段のみが動作する第１の設定と、前記電子ズーム手段のみが動作する第２の設定と、前記レンズ制御手段と前記電子ズーム手段とが共に動作する第３の設定と、を選択指示する動作選択指示手段と、
    　前記指示手段による指示と前記動作選択指示手段による設定とに対応する、前記レンズ制御手段の制御パラメータ値と前記電子ズーム手段のズームパラメータとを設定するパラメータ設定手段と、
    　前記指示手段による指示と前記動作選択指示手段による指示とに対応する、前記パラメータ設定手段により設定された前記レンズ制御手段の制御パラメータ値と前記電子ズーム手段のズームパラメータとに基づき、前記レンズ制御手段と前記電子ズーム手段とに制御信号を出力するズーム制御手段と、
    を備えたことを特徴とする内視鏡システム。
  2. 　前記電子ズーム手段は、
    　前記撮像画像から輪郭強調信号を生成する輪郭強調手段と、
    　前記輪郭強調信号の強度に基づき、前記撮像画像における電子ズーム領域を決定する電子ズーム領域決定手段と、を備え、
    　前記電子ズーム領域決定手段により決定された前記電子ズーム領域に対して、電子ズームを行うことを特徴とする請求項１記載の内視鏡システム。
  3. 　前記電子ズーム領域決定手段は、前記撮像画像のエッジ成分に基づき電子ズーム領域を決定することを特徴とする請求項２に記載の内視鏡システム。
  4. 　前記電子ズーム領域決定手段は、前記撮像画像の明るさ成分に基づき電子ズーム領域を決定することを特徴とする請求項２に記載の内視鏡システム。
PCT/JP2012/061766 2011-05-12 2012-05-08 内視鏡システム WO2012153736A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP12782709.5A EP2656776B1 (en) 2011-05-12 2012-05-08 Endoscope system
JP2012554915A JP5290475B2 (ja) 2011-05-12 2012-05-08 内視鏡システム
CN201280006618.8A CN103338690B (zh) 2011-05-12 2012-05-08 内窥镜系统
US13/708,260 US9030541B2 (en) 2011-05-12 2012-12-07 Endoscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011107421 2011-05-12
JP2011-107421 2011-05-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/708,260 Continuation US9030541B2 (en) 2011-05-12 2012-12-07 Endoscope system

Publications (1)

Publication Number Publication Date
WO2012153736A1 true WO2012153736A1 (ja) 2012-11-15

Family

ID=47139215

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/061766 WO2012153736A1 (ja) 2011-05-12 2012-05-08 内視鏡システム

Country Status (5)

Country Link
US (1) US9030541B2 (ja)
EP (1) EP2656776B1 (ja)
JP (1) JP5290475B2 (ja)
CN (1) CN103338690B (ja)
WO (1) WO2012153736A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016195684A (ja) * 2015-04-03 2016-11-24 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2018200359A (ja) * 2017-05-26 2018-12-20 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、およびズーム制御方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013238789A (ja) * 2012-05-16 2013-11-28 Olympus Corp 観察ユニット、及びこの観察ユニットを備えた顕微鏡システム
US9606425B2 (en) * 2015-06-19 2017-03-28 Canon Kabushiki Kaisha Imaging optical system, optical apparatus and image projection apparatus
WO2017037705A1 (en) * 2015-08-30 2017-03-09 M.S.T. Medical Surgery Technologies Ltd An intelligent surgical tool control system for laparoscopic surgeries
CN105476598B (zh) * 2016-01-12 2017-05-03 深圳市理邦精密仪器股份有限公司 阴道镜工作距离的调节方法及装置
WO2018179979A1 (ja) 2017-03-29 2018-10-04 ソニー・オリンパスメディカルソリューションズ株式会社 制御装置、外部機器、医療用観察システム、制御方法、表示方法およびプログラム
DE102018124496A1 (de) 2018-10-04 2020-04-09 Karl Storz Se & Co. Kg Optisches Beobachtungssystem und Verfahren zum Betreiben eines optischen Beobachtungssystems
US11166622B2 (en) 2020-02-21 2021-11-09 Ambu A/S Video processing apparatus
US10980397B1 (en) 2020-02-21 2021-04-20 Ambu A/S Video processing device
US11109741B1 (en) 2020-02-21 2021-09-07 Ambu A/S Video processing apparatus
US10835106B1 (en) 2020-02-21 2020-11-17 Ambu A/S Portable monitor
CN114859544A (zh) * 2022-03-29 2022-08-05 青岛大学附属医院 一种内窥镜对焦控制方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000271082A (ja) * 1999-03-26 2000-10-03 Fuji Photo Optical Co Ltd 変倍機能を有する電子内視鏡装置
JP2007028283A (ja) * 2005-07-19 2007-02-01 Matsushita Electric Ind Co Ltd 撮像装置
JP2009148369A (ja) 2007-12-19 2009-07-09 Olympus Medical Systems Corp 撮像装置、及び電子内視鏡
JP2010048120A (ja) 2008-08-20 2010-03-04 Olympus Corp 形状記憶合金アクチュエータシステム
JP2010156156A (ja) 2008-12-27 2010-07-15 Taiheiyo Materials Corp 耐火被覆構造およびその形成方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8068897B1 (en) * 1999-03-01 2011-11-29 Gazdzinski Robert F Endoscopic smart probe and method
US7914442B1 (en) * 1999-03-01 2011-03-29 Gazdzinski Robert F Endoscopic smart probe and method
US6425858B1 (en) * 1999-03-19 2002-07-30 Fuji Photo Optical Co., Ltd. Electronic endoscope apparatus having magnification changing function
JP4172898B2 (ja) * 2000-05-31 2008-10-29 Ｈｏｙａ株式会社 電子内視鏡装置
US7085070B2 (en) * 2002-05-14 2006-08-01 Olympus Corporation Zoom lens and electronic imaging device having the same
US7720302B2 (en) * 2003-09-25 2010-05-18 Fujifilm Corporation Method, apparatus and program for image processing
JP2005169009A (ja) * 2003-12-15 2005-06-30 Olympus Corp 内視鏡システム、及び内視鏡
EP1729523B1 (en) * 2004-02-19 2014-04-09 Mitsubishi Denki Kabushiki Kaisha Image processing method
US7411729B2 (en) * 2004-08-12 2008-08-12 Olympus Corporation Optical filter, method of manufacturing optical filter, optical system, and imaging apparatus
US7006741B1 (en) * 2005-03-22 2006-02-28 Bi Yu Contact-field optical microscope
JP2008036220A (ja) * 2006-08-08 2008-02-21 Matsushita Electric Ind Co Ltd 撮像装置及びそれを用いた内視鏡装置
EP2086386A2 (en) * 2006-10-20 2009-08-12 Femsuite LLC Optical surgical device and methods of use
JP2008244586A (ja) * 2007-03-26 2008-10-09 Hitachi Ltd 映像処理装置
US8918162B2 (en) * 2007-04-17 2014-12-23 Francine J. Prokoski System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
JP5343441B2 (ja) * 2008-08-05 2013-11-13 セイコーエプソン株式会社 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム
US8504136B1 (en) * 2009-10-06 2013-08-06 University Of South Florida See-through abdomen display for minimally invasive surgery
JP4930607B2 (ja) * 2010-02-04 2012-05-16 カシオ計算機株式会社 画像処理装置、及び、画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000271082A (ja) * 1999-03-26 2000-10-03 Fuji Photo Optical Co Ltd 変倍機能を有する電子内視鏡装置
JP2007028283A (ja) * 2005-07-19 2007-02-01 Matsushita Electric Ind Co Ltd 撮像装置
JP2009148369A (ja) 2007-12-19 2009-07-09 Olympus Medical Systems Corp 撮像装置、及び電子内視鏡
JP2010048120A (ja) 2008-08-20 2010-03-04 Olympus Corp 形状記憶合金アクチュエータシステム
JP2010156156A (ja) 2008-12-27 2010-07-15 Taiheiyo Materials Corp 耐火被覆構造およびその形成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2656776A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016195684A (ja) * 2015-04-03 2016-11-24 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2018200359A (ja) * 2017-05-26 2018-12-20 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、およびズーム制御方法

Also Published As

Publication number Publication date
CN103338690B (zh) 2016-04-27
US20130229502A1 (en) 2013-09-05
CN103338690A (zh) 2013-10-02
US9030541B2 (en) 2015-05-12
EP2656776A1 (en) 2013-10-30
JP5290475B2 (ja) 2013-09-18
EP2656776B1 (en) 2016-03-02
JPWO2012153736A1 (ja) 2014-07-31
EP2656776A4 (en) 2014-02-26

Similar Documents

Publication Publication Date Title
JP5290475B2 (ja) 内視鏡システム
EP1779766B1 (en) Signal processing device for endoscope
JP4172898B2 (ja) 電子内視鏡装置
JP5767755B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2004000335A (ja) 電子内視鏡装置
JP6296365B2 (ja) 手術内視鏡用カメラコントロールユニット
JP6739542B2 (ja) 内視鏡用画像処理装置および内視鏡用画像処理方法
WO2017104192A1 (ja) 医用観察システム
JP5624955B2 (ja) 内視鏡装置
JP2007212404A (ja) 赤外線撮像装置
JP2011110281A (ja) 電子内視鏡装置
JP3483923B2 (ja) 画像処理装置
JP2005094799A (ja) 映像集約表示装置
JP2933161B2 (ja) 内視鏡装置
JP4709784B2 (ja) 内視鏡用信号処理装置
JPH05337077A (ja) 電子内視鏡装置
JP2005169143A (ja) 電子内視鏡装置
JP2004305760A (ja) 電子内視鏡装置
JP2009147875A (ja) 画像読み取り表示装置
JP5102481B2 (ja) 画像処理システム
JP2017158672A (ja) 電子内視鏡システム
JP4965979B2 (ja) 画像処理システム
JP2010226593A (ja) 多眼撮影装置、スルー画像表示方法およびプログラム
WO2017126156A1 (ja) 内視鏡システム
JP2012200505A (ja) 画像処理装置、及び電子内視鏡システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280006618.8

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2012554915

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12782709

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012782709

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE