WO2015186396A1 - 内視鏡システムおよび内視鏡装置 - Google Patents
内視鏡システムおよび内視鏡装置 Download PDFInfo
- Publication number
- WO2015186396A1 WO2015186396A1 PCT/JP2015/056910 JP2015056910W WO2015186396A1 WO 2015186396 A1 WO2015186396 A1 WO 2015186396A1 JP 2015056910 W JP2015056910 W JP 2015056910W WO 2015186396 A1 WO2015186396 A1 WO 2015186396A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- light
- line
- imaging
- light source
- lines
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
Definitions
- the present invention relates to an endoscope system and an endoscope apparatus that are introduced into a subject and capture an image in the subject.
- a technique in which a spectral image of each color component is acquired by irradiating the subject with light having a plurality of types of wavelength components and performing imaging.
- NBI Near Band Imaging
- An endoscope apparatus has been developed that can facilitate the discovery of a lesioned part (see, for example, Patent Document 1).
- the present invention has been made in view of the above, and it is an object of the present invention to provide an endoscope system and an endoscope apparatus that do not cause a displacement of an imaging region between images corresponding to different types of illumination light.
- an endoscope system includes a first light source that generates a first light having a first wavelength distribution, and the first wavelength distribution.
- a second light source that generates a second light having a wavelength distribution different from that of the first light source, and a light source capable of irradiating the subject by switching the first light and the second light in time series
- a plurality of pixel groups each including a plurality of pixels, an imaging unit that photoelectrically converts light from the subject to generate an imaging signal, and sequentially exposing each of the pixel groups, and the imaging signal
- An imaging control unit that outputs an imaging control signal for controlling the imaging unit so as to sequentially read out the first image, and the first light source based on the imaging control signal according to a timing at which the pixel groups are sequentially exposed to the light source Control to switch between irradiation of light and irradiation of the second light
- a light source control unit for outputting a source control signal characterized by comprising a signal processing
- the imaging unit has a third wavelength component that is a wavelength component of return light from the subject when the subject is irradiated with the first light.
- a first pixel group including pixels that receive light and light having a fourth wavelength component that is a wavelength component of return light from the subject when the subject is irradiated with the second light.
- a second pixel group including pixels to be emitted, and the light source control unit irradiates the first light in accordance with a timing at which the first pixel group is exposed, and the second pixel group The light source is controlled to irradiate the second light in accordance with an exposure timing.
- the signal processing unit emits light having the third wavelength component of the first pixel group from one frame of the imaging signal generated by the imaging unit.
- an image generation unit that generates a second image to be generated.
- the first light is white light
- the second light includes blue light having a blue wavelength component and green light having a green wavelength component.
- the first pixel group includes a blue pixel having sensitivity to the blue light, a green pixel having sensitivity to the green light, and a red pixel having sensitivity to red light having a red wavelength component.
- the second pixel group includes the blue pixel and the green pixel.
- the imaging unit includes a first line in which a plurality of blue pixels and a plurality of green pixels are alternately arranged in a line extending direction, and a plurality of the green pixels. And a plurality of second pixels in which the plurality of red pixels are alternately arranged in the extending direction of the line are alternately arranged in a direction orthogonal to the extending direction of the line, and the imaging control unit includes the imaging Exposure and readout are sequentially performed for each line from the first line to the last line in the unit, and the first pixel group includes a part of the plurality of first lines and the part of the lines adjacent to the part of the lines.
- a second line, the second pixel group is formed by the remaining lines of the plurality of first lines, and the light source control unit supplies the light source with a plurality of the first lines.
- the endoscope system is characterized in that the imaging control unit starts the exposure of the other in the adjacent first line after the end of one exposure.
- the imaging unit includes a first line in which a plurality of the blue pixels and a plurality of the green pixels are alternately arranged in a line extending direction, and the plurality of the blue pixels. And a plurality of second pixels in which the plurality of red pixels are alternately arranged in the extending direction of the line are alternately arranged in a direction orthogonal to the extending direction of the line, and the imaging control unit includes the imaging Exposure and readout are sequentially performed for each line from the first line to the last line in the unit, and the first pixel group includes a part of the plurality of first lines and the part of the lines adjacent to the part of the lines.
- a second line, the second pixel group is formed by the remaining lines of the plurality of first lines, and the light source control unit supplies the light source with a plurality of the first lines.
- the endoscope system is characterized in that the imaging control unit starts the exposure of the other in the adjacent first line after the end of one exposure.
- the first light is white light
- the second light has a blue wavelength component and excites fluorescence having a wavelength of 540 to 560 nm.
- the first pixel group includes a blue pixel sensitive to blue light having a blue wavelength component, a green pixel sensitive to green light having a green wavelength component, and red light having a red wavelength component
- the second pixel group includes the green pixel.
- the imaging unit includes a first line in which a plurality of blue pixels and a plurality of green pixels are alternately arranged in a line extending direction, and a plurality of the green pixels.
- the second lines in which the plurality of red pixels are alternately arranged in the extending direction of the lines are alternately arranged in a direction orthogonal to the extending direction of the lines, and the imaging control unit Exposure and readout are sequentially performed for each line from the first line to the last line, and the first pixel group includes a part of the plurality of first lines and the second line adjacent to the part of the second lines.
- the second pixel group is constituted by the remaining lines of the plurality of the first lines, and the light source control unit includes a part of the plurality of the first lines as the light source.
- the second light is irradiated during the exposure period of the remaining lines.
- the endoscope system is characterized in that the imaging control unit starts the exposure of the other in the adjacent first line after the end of one exposure.
- the endoscope system is characterized in that the light source control unit causes the light source to perform intermittent illumination.
- An endoscope apparatus generates a first light source that generates a first light having a first wavelength distribution, and a second light that has a wavelength distribution different from the first wavelength distribution.
- a plurality of pixel groups composed of a plurality of pixels, and a light source capable of irradiating the subject by switching the first light and the second light in time series.
- An imaging unit that photoelectrically converts light from the subject to generate an imaging signal; and an imaging unit that sequentially exposes and controls the imaging unit to sequentially read out the imaging signal for each pixel group
- An imaging control unit that outputs a control signal; Based on the imaging control signal, a light source control signal for performing control to switch the irradiation of the first light and the irradiation of the second light according to the timing at which the pixel group is sequentially exposed to the light source is output. And a light source control unit.
- the first light source that generates the first light having the first wavelength distribution and the second light source that generates the second light having a wavelength distribution different from the first wavelength distribution are provided.
- An imaging unit that generates an imaging signal through photoelectric conversion, an imaging control unit that sequentially outputs and outputs an imaging control signal for controlling the imaging unit so as to sequentially read out the imaging signal for each pixel group, and an imaging control signal And a light source control unit that outputs a light source control signal for performing control to switch between irradiation of the first light and irradiation of the second light according to the timing at which the pixel group is sequentially exposed to the light source.
- the illumination light in the same frame according to the timing when the pixel groups are sequentially exposed Based on the imaging signal obtained by switching the series, there is no positional deviation of the imaging region, an effect that it is possible to acquire an image corresponding respectively to the illumination light of a different type.
- FIG. 1 is a schematic diagram illustrating a schematic configuration of the endoscope system according to the first embodiment of the present invention.
- FIG. 2 is a block diagram showing the configuration of the capsule endoscope shown in FIG.
- FIG. 3 is a block diagram showing the configuration of the receiving device and the image processing device shown in FIG.
- FIG. 4 is a diagram illustrating an example of a pixel arrangement in the light receiving unit of the CMOS image sensor in the imaging unit of the capsule endoscope illustrated in FIG. 2.
- FIG. 5A is a diagram showing the wavelength dependence of the radiance of the white light source shown in FIG.
- FIG. 5B is a diagram showing the wavelength dependence of the radiance of the special light source shown in FIG.
- FIG. 5A is a diagram showing the wavelength dependence of the radiance of the white light source shown in FIG.
- FIG. 5B is a diagram showing the wavelength dependence of the radiance of the special light source shown in FIG.
- FIG. 5A is a diagram showing the wavelength dependence of the
- FIG. 5C is a diagram illustrating the wavelength dependence of the spectral sensitivity of the image sensor of the imaging unit illustrated in FIG. 2.
- FIG. 6 is a timing chart showing an irradiation light output process by the light source shown in FIG.
- FIG. 7 is a timing chart for explaining control operations per one frame period of the imaging unit and the light source by the control unit shown in FIG.
- FIG. 8 is a diagram for explaining image processing in the image processing unit shown in FIG.
- FIG. 9 is a diagram illustrating an example of a pixel arrangement of the light receiving unit of the CMOS image sensor in the imaging unit of the capsule endoscope according to the second embodiment of the present invention.
- FIG. 6 is a timing chart showing an irradiation light output process by the light source shown in FIG.
- FIG. 7 is a timing chart for explaining control operations per one frame period of the imaging unit and the light source by the control unit shown in FIG.
- FIG. 8 is a diagram for explaining image processing in the image processing unit shown in FIG.
- FIG. 10 is a timing chart for explaining the control operation per one frame period of the imaging unit and the light source by the control unit of the capsule endoscope according to the second embodiment.
- FIG. 11 is a diagram illustrating image processing in the image processing unit of the image processing apparatus according to the second embodiment.
- FIG. 12A is a diagram showing the wavelength dependence of the radiance of the white light source in the third embodiment.
- FIG. 12B is a diagram illustrating the wavelength dependence of the radiance of the special light source according to Embodiment 3.
- FIG. 12C is a diagram illustrating the wavelength dependence of the return light from the subject at the time of special light irradiation in the third exemplary embodiment.
- FIG. 12A is a diagram showing the wavelength dependence of the radiance of the white light source in the third embodiment.
- FIG. 12B is a diagram illustrating the wavelength dependence of the radiance of the special light source according to Embodiment 3.
- FIG. 12C is a diagram illustrating the wavelength dependence of the return light from the subject
- FIG. 12D is a diagram illustrating the wavelength dependence of the spectral sensitivity of each pixel of the CMOS image sensor of the imaging unit in the third embodiment.
- FIG. 13 is a timing chart for explaining control operations per one frame period of the imaging unit and the light source by the control unit of the capsule endoscope according to the third embodiment.
- FIG. 14 is a diagram illustrating image processing in the image processing unit of the image processing apparatus according to the third embodiment.
- FIG. 15 is a block diagram illustrating another example of the configuration of the receiving device and the image processing device according to the first to third embodiments.
- FIG. 16 is a block diagram illustrating another example of the endoscope system according to the first to third embodiments of the present invention.
- FIG. 1 is a schematic diagram illustrating a schematic configuration of the endoscope system according to the first embodiment of the present invention.
- the capsule endoscope system 1 according to the first embodiment acquires image data by being introduced into a subject 2 and imaging the subject 2, and is superimposed on a radio signal.
- the capsule endoscope 10 to be transmitted and the radio signal transmitted from the capsule endoscope 10 via the reception antenna unit 3 including a plurality of reception antennas 3a to 3h attached to the subject 2.
- An image processing apparatus that receives the image data acquired by the receiving apparatus 20 and the capsule endoscope 10 from the receiving apparatus 20 via the cradle 20a and creates an image in the subject 2 using the image data.
- the image in the subject 2 created by the image processing device 30 is displayed and output from the display device 30a, for example.
- FIG. 2 is a block diagram showing the configuration of the capsule endoscope 10.
- the capsule endoscope 10 is a device in which various components such as an image sensor are incorporated in a capsule-shaped housing that can be swallowed by the subject 2.
- the capsule endoscope 10 includes an imaging unit 11 that images the subject 2, a light source 12 that illuminates the subject 2, a control unit 13, a signal processing unit 14, a transmission unit 15, and an antenna 16. , A memory 17 and a power supply unit 18.
- the imaging unit 11 includes, for example, a CMOS image sensor that generates and outputs an imaging signal representing the inside of the subject 2 from an optical image formed on the light receiving surface, and an objective disposed on the light receiving surface side of the CMOS image sensor.
- An optical system such as a lens.
- CMOS image sensor a plurality of pixels that receive light from the subject 2 are arranged in a matrix, and photoelectric conversion is performed on the light received by the pixels to generate a pixel signal that is an imaging signal.
- the CMOS image sensor of the imaging unit 11 has a plurality of pixel groups each composed of a plurality of pixels, and exposure and readout for each pixel group are possible.
- the CMOS image sensor of the imaging unit 11 can perform exposure and readout for each line, and sequentially executes imaging operations for charge reset, exposure, and readout from the top line. Therefore, in the imaging unit 11, a time difference occurs between exposure and readout.
- the light source 12 can irradiate the subject 2 with light of a plurality of types of wavelength distribution.
- the light source 12 includes a white light source 12a (first light source) configured by a white LED that generates white light (first light), and special light (second light) having a wavelength distribution different from that of the white light.
- a special light source 12b (second light source) for generating two light sources.
- the special light source 12b generates, as special light, NBI light including, for example, two bands of blue light having a narrowed blue wavelength component and green light having a green wavelength component.
- the light source 12 can irradiate the subject 2 by switching white light and special light in time series in accordance with exposure for each line of the CMOS image sensor.
- the control unit 13 controls the operation process of each component of the capsule endoscope 10.
- the control unit 13 includes an imaging control unit 13a and a light source control unit 13b.
- the imaging control unit 13a controls the exposure and readout processing for the CMOS image sensor of the imaging unit 11 in units of pixel groups.
- the imaging control unit 13a outputs an imaging control signal that controls the CMOS image sensor of the imaging unit 11 so that the imaging signal is exposed for each pixel group and the imaging signals are sequentially read out.
- the imaging control unit 13a controls the exposure and readout processing for the CMOS image sensor of the imaging unit 11 in units of lines that are pixel groups.
- the light source control unit 13b controls the light source 12 to switch between irradiation of white light and special light according to the timing at which the pixel groups are sequentially exposed based on the imaging control signal from the imaging control unit 13a. Output a signal.
- the light source control unit 13b controls the irradiation timing of the white light source 12a and the special light source 12b of the light source 12 in correspondence with the exposure for each line of the CMOS image sensor of the imaging unit 11.
- the imaging unit 11 includes a first pixel group including pixels that receive light having a third wavelength component that is a wavelength component of return light from the subject 2 when the subject 2 is irradiated with white light.
- the imaging signal output from the imaging element of the imaging unit 11 includes an imaging signal (first imaging) generated based on a pixel that receives light having the third wavelength component in the first pixel group.
- an imaging signal (second imaging signal) generated based on a pixel receiving light having the fourth wavelength component in the second pixel group are included in the same frame.
- the signal processing unit 14 processes the imaging signal output from the imaging unit 11.
- the signal processing unit 14 performs A / D conversion and predetermined signal processing on the imaging signal output from the imaging unit 11 to obtain a digital imaging signal.
- the transmission unit 15 superimposes the imaging signal output from the signal processing unit 14 together with related information on a radio signal, and transmits the signal from the antenna 16 to the outside.
- the related information includes identification information (for example, serial number) assigned to identify the individual capsule endoscope 10.
- the memory 17 stores an execution program and a control program for the control unit 13 to execute various operations. Further, the memory 17 may temporarily store an imaging signal or the like that has been subjected to signal processing in the signal processing unit 14.
- the power supply unit 18 includes a battery including a button battery, a power supply circuit that boosts power from the battery, and a power switch that switches an on / off state of the power supply unit 18. After the power switch is turned on, the capsule Electric power is supplied to each part in the mold endoscope 10.
- the power switch is, for example, a reed switch whose on / off state is switched by an external magnetic force. Before the capsule endoscope 10 is used (before the subject 2 swallows), the power switch is externally connected to the capsule endoscope 10. Is turned on by applying a magnetic force.
- Such a capsule endoscope 10 is swallowed by the subject 2 and then moves in the digestive tract of the subject 2 by a peristaltic movement of an organ or the like, while a living body part (esophagus, stomach, small intestine, large intestine, etc.) Are sequentially imaged at a predetermined cycle (for example, a cycle of 0.5 seconds). Then, the image data and related information acquired by the imaging operation are sequentially wirelessly transmitted to the receiving device 20.
- a predetermined cycle for example, a cycle of 0.5 seconds
- FIG. 3 is a block diagram showing the configuration of the receiving device 20 and the image processing device 30 in the capsule endoscope system 1.
- the reception device 20 includes a reception unit 21, a reception signal processing unit 22, a control unit 23, a data transmission / reception unit 24, a memory 25, an operation unit 26, a display unit 27, and the like. And a power supply unit 28 for supplying power to each unit.
- the receiving unit 21 receives an imaging signal and related information wirelessly transmitted from the capsule endoscope 10 via the receiving antenna unit 3 having a plurality (eight in FIG. 1) of receiving antennas 3a to 3h.
- Each of the receiving antennas 3a to 3h is realized by using, for example, a loop antenna or a dipole antenna, and is disposed at a predetermined position on the external surface of the subject 2.
- the reception signal processing unit 22 performs predetermined signal processing on the imaging signal received by the reception unit 21.
- the control unit 23 controls each component of the receiving device 20.
- the data transmitter / receiver 24 is an interface that can be connected to a communication line such as a USB, a wired LAN, or a wireless LAN.
- the data transmission / reception unit 24 transmits the imaging signal and related information stored in the memory 25 to the image processing device 30 when connected to the image processing device 30 in a communicable state.
- the memory 25 stores an imaging signal subjected to signal processing in the reception signal processing unit 22 and related information.
- the operation unit 26 is an input device used when a user inputs various setting information and instruction information to the receiving device 20.
- the display unit 27 displays an in-vivo image based on the image data received from the capsule endoscope 10.
- Such a receiving device 20 is discharged while passing through the digestive tract while the capsule endoscope 10 is imaging (for example, after the capsule endoscope 10 is swallowed by the subject 2). Until the subject 2 is worn and carried. During this time, the reception device 20 further adds related information such as reception intensity information and reception time information at the reception antennas 3a to 3h to the imaging signal received via the reception antenna unit 3, and the imaging signal and the related information. Is stored in the memory 25.
- the receiving device 20 is removed from the subject 2 and set in the cradle 20a (see FIG. 1) connected to the image processing device 30.
- the receiving device 20 is connected in a communicable state with the image processing device 30, and transfers (downloads) the imaging signal and related information stored in the memory 25 to the image processing device 30.
- the image processing device 30 is configured using a workstation including a display device 30a such as a CRT display or a liquid crystal display.
- the image processing device 30 includes an input unit 31, a data transmission / reception unit 32, a storage unit 33, an image processing unit 34 (signal processing unit), an output unit 35, and a control unit 36 that controls these units in an integrated manner. And an abnormality detection unit 37.
- the input unit 31 is realized by an input device such as a keyboard, a mouse, a touch panel, and various switches.
- the input unit 31 receives input of information and commands according to user operations.
- the data transmission / reception unit 32 is an interface that can be connected to a communication line such as a USB or a wired LAN or a wireless LAN, and includes a USB port and a LAN port.
- the data transmission / reception unit 32 is connected to the reception device 20 via the cradle 20a connected to the USB port, and transmits / receives data to / from the reception device 20.
- the storage unit 33 is realized by a semiconductor memory such as a flash memory, a RAM, or a ROM, a recording medium such as an HDD, an MO, a CD-R, or a DVD-R, and a drive device that drives the recording medium.
- the storage unit 33 is a program for operating the image processing device 30 to execute various functions, various information used during the execution of the program, and an imaging signal and related information acquired via the receiving device 20. Memorize etc.
- the image processing unit 34 is realized by hardware such as a CPU, and by reading a predetermined program stored in the storage unit 33 described later, an image signal input from the data transmission / reception unit 32 or stored in the storage unit 33. Predetermined image processing for creating an in-vivo image corresponding to the imaging signal is performed. More specifically, the image processing unit 34 performs demosaicing, density conversion (gamma conversion, etc.), smoothing (noise removal, etc.), synchronization, sharpening (edge enhancement, etc.) on the imaging signal generated by the imaging unit 11. ) And the like.
- the image processing unit 34 includes a separation unit 34a, a white light image generation unit 34b, and a special light image generation unit 34c.
- the separation unit 34a is based on a pixel that receives return light from the subject 2 when white light is emitted from one frame of the imaging signal generated by the CMOS imaging device in the imaging unit 11 of the capsule endoscope 10.
- the generated first imaging signal is separated from the second imaging signal generated by the pixel that receives the return light from the subject 2 when the special light is irradiated.
- the white light image generation unit 34b generates a white light image (first image) corresponding to white light based on the first imaging signal separated by the separation unit 34a.
- the special light image generation unit 34c generates a special light image (second image) corresponding to the special light based on the second imaging signal separated by the separation unit 34a. Therefore, the image processing unit 34 generates two images, a white light image and a special light image, from one frame of the image pickup signal generated by the CMOS image sensor.
- the output unit 35 outputs various images created by the image processing unit 34 and other information to an external device such as the display device 30a for display.
- the control unit 36 is realized by hardware such as a CPU, and reads various programs stored in the storage unit 33 to thereby input a signal input via the input unit 31 or an imaging signal input from the data transmission / reception unit 32. Based on the above, instructions to each unit constituting the image processing apparatus 30 and data transfer are performed, and the overall operation of the image processing apparatus 30 is comprehensively controlled.
- the abnormality detection unit 37 detects an abnormal part based on the image in the subject 2 transmitted from the capsule endoscope 10. For example, the abnormality detection unit 37 detects the presence or absence of abnormality by comparing the white light image and the special light image of the same frame created by the image processing unit 34. The abnormality detection unit 37 detects the presence or absence of abnormality by comparing the white light image and special light image created by the image processing unit 34 with the characteristic image of the abnormal part stored in advance in the storage unit 33.
- FIG. 4 is a diagram illustrating an example of a pixel arrangement in the light receiving unit of the CMOS image sensor in the imaging unit 11 of the capsule endoscope 10.
- red (R) pixels, green (G) pixels, and blue (B) pixels are arranged in a Bayer array in the light receiving portion of the CMOS image sensor.
- the light receiving portion of the CMOS image sensor includes an odd line (first line) in which a plurality of B pixels and a plurality of G pixels are arranged in the line extending direction, a plurality of G pixels, and a plurality of R pixels.
- Even-numbered lines (second lines) arranged in the line extending direction are alternately arranged in a direction orthogonal to the line extending direction.
- FIG. 5A is a diagram showing the wavelength dependence of the radiance of the white light source 12a.
- FIG. 5B is a diagram illustrating the wavelength dependence of the radiance of the special light source 12b.
- FIG. 5C is a diagram illustrating the wavelength dependence of the spectral sensitivity of each pixel of the CMOS image sensor of the imaging unit 11.
- the white light emitted from the white light source 12a has an intensity in a wavelength range of about 400 nm to about 800 nm.
- the special light source 12b includes a narrow band blue light having a peak at 415 nm and a narrow band green light having a peak at 540 nm so as to be easily absorbed by hemoglobin in blood.
- NBI light including light in two types of bands.
- the CMOS image sensor of the imaging unit 11 B pixel has a sensitivity to blue light having a wavelength component of B as shown by the curve M b (B light), G pixels, curve has sensitivity to green light (G light) having a wavelength component of G as shown in M g, R pixels, sensitivity to red light having a wavelength component of R as shown by the curve M r (R light) Have.
- the imaging unit 11 includes first R, G, and B pixels that respectively receive R light, G light, and B light, which are wavelength components of white light that is return light from the subject 2 when irradiated with white light.
- the light source control unit 13b then exposes the first pixel group to enable generation of two images, a white light image and a special light image, from one frame of the imaging signal generated by the CMOS image sensor.
- the light source 12 is controlled so that the white light is irradiated in accordance with the timing of the exposure, and the NBI light is irradiated in accordance with the timing of exposure of the second pixel group.
- the light source control unit 13b causes the light source 12 to emit white light during a period corresponding to the exposure period of the first pixel group and NBI light during the exposure period of the second pixel group.
- FIG. 6 is a timing chart showing an irradiation light output process by the light source 12. Since the imaging unit 11 employs a CMOS imaging device, a time difference occurs between exposure and readout. Further, in the capsule endoscope 10, frame processing is intermittently performed to maintain power. Accordingly, as shown in FIG. 6, the light source 12 outputs the illumination light during the period Ti, and performs intermittent illumination for stopping the output of the illumination light during the subsequent period Th.
- FIG. 7 is a timing chart for explaining a control operation per one frame period of the imaging unit 11 and the light source 12 by the control unit 13.
- 7A is a timing chart of the light emission operation of the light source 12
- FIG. 7B is a timing chart of charge reset, exposure, and charge read operations of each line of the CMOS image sensor of the imaging unit 11.
- FIG. 7C is a timing chart of the data output operation by the CMOS image sensor.
- the imaging control unit 13a causes the imaging unit 11 to perform charge reset operation (period Ta), exposure operation (period 2Ta), and charge readout and A / D conversion operations as imaging operations per line. (Period Ta) is performed in period Tb per line.
- the imaging control unit 13a causes the imaging unit 11 to sequentially perform the imaging operation from the first line 1 to the last line N (N is an odd number) while shifting the start of the imaging operation for each period Ta.
- the exposure operation for each line is executed in the period 2Ta.
- the imaging control unit 13a causes the imaging unit 11 to start exposure of the line 3 that is the second odd line at the exposure end time td of the line 1 that is the first odd line. Similarly, the exposure is started at the end of exposure of the previous odd-numbered line. Therefore, the imaging control unit 13a starts the other exposure after the end of one exposure in the adjacent first line.
- the control unit 13 outputs an imaging control signal so as to sequentially perform exposure and reading from the first line 1 to the last line N, and controls the imaging unit 11.
- the imaging unit 11 receives the image shown in FIG.
- the imaging signal Df in which the pixel data of each line is arranged in order from the line 1 to the line N is output as the imaging signal for one frame after the head header.
- the light source control unit 13b based on the imaging control signal output from the imaging control unit 13a, emits white light and special light (NBI light) every period Tc (2Ta) according to the timing at which each line is sequentially exposed.
- the light source 12 is controlled so as to switch between irradiation).
- the first pixel group Pg1 is divided into a part of odd lines and upper and lower even numbers adjacent to the parts of the odd lines so that R, G, B pixels are included.
- the second pixel group Pg2 is the remaining odd-numbered line so that the G and B pixels are included.
- the second pixel group Pg2 is an odd-numbered odd line
- the first pixel group Pg1 includes an even-numbered odd line and upper and lower even lines adjacent to the even-numbered odd line. It is.
- the second pixel group Pg2 is an odd line for every four lines of the first odd line, line 1, line 5, and line 9.
- the line N is the last odd-numbered odd line and is included in the second pixel group Pg2.
- the first pixel group Pg1 includes lines 2 to 4 and lines 6 to 8.
- the first pixel group also includes a line N ⁇ 1 which is the final even line.
- the light source control unit 13b causes the light source 12 to irradiate NBI light during the exposure period of the odd-numbered odd lines constituting the second pixel group Pg2, and exposes the even-numbered odd lines constituting the first pixel group Pg1. Irradiate with white light during the period.
- the light source control unit 13b emits NBI light, which is special light, from the special light source 12b during the exposure period Tc1 of line 1, which is the first odd line, and is a line that is the second odd line.
- the white light source 12a emits white light during the third exposure period Tc2.
- the light source control unit 13b emits light from the special light source 12b during the exposure period Tc3 of the line 5 that is the third odd line, and white during the exposure period Tc4 of the line 7 that is the fourth odd line.
- White light is irradiated from the light source 12a.
- the G and B pixels in the line 1 emit special light during the period Tc1.
- G light and B light included in the return light from the subject 2 by irradiation are received.
- the first half of the exposure period of line 2 corresponds to the second half of this period Tc1.
- the G pixel in the line 2 receives the G light included in the return light from the subject 2 by the special light irradiation in the second half of the period Tc1.
- the R pixel in the line 2 does not accumulate charges during the period Tc1, since the R wavelength component is not included in the return light from the subject 2 caused by the special light irradiation.
- the period Tc2 corresponds to the second half of the exposure period of the line 2 having R and G pixels, the entire exposure period of the line 3 having G and B pixels, and the first half of the exposure period of the line 3 having R and G pixels.
- the light received by the R pixel of line 2 is the return light from the subject 2 due to the white light irradiation during the period Tc2. Only the R light contained in.
- the G pixel in the line 2 returns light from the subject 2 due to the special light irradiation during the period Tc1 in addition to the G light included in the return light from the subject 2 due to the white light irradiation during the period Tc2. G light contained in the light is also received.
- the light source control unit 13b irradiates special light from the special light source 12b during the exposure period (period Tc3) of the line 5 having G and B pixels
- the G and B pixels of the line 5 are in the period Tc3.
- the G light and the B light included in the return light from the subject 2 by the special light irradiation are respectively received.
- the G pixel of the line 4 has a period in addition to the G light included in the return light from the subject 2 by the white light irradiation in the period Tc2.
- the G light included in the return light from the subject 2 by the special light irradiation of Tc3 is also received.
- the R wavelength component is not included in the return light from the subject 2 due to the special light irradiation, no charge is accumulated in the R pixel of the line 4 during the period Tc3, and the light received by the R pixel of the line 4 is received. , Only the R light included in the return light from the subject 2 due to the white light irradiation in the period Tc2.
- the light source control unit 13b causes the light source 12 to irradiate the NBI light, which is special light, during each exposure period of the odd-numbered odd-numbered lines constituting the second pixel group Pg2. . Then, the light source control unit 13b causes the light source 12 to receive at least a part of the exposure period of the even-numbered odd lines that form the first pixel group Pg1 and that is adjacent to the odd-numbered lines. White light is irradiated during the period of inclusion.
- the G and B pixels of the second pixel group Pg2 respectively receive G light and B light that are return light from the subject 2 when the special light source 12b irradiates special light. Therefore, the pixel signals of the G pixel and the B pixel of the second pixel group Pg2 in the imaging signal Df correspond to the G light and B light of the return light from the subject 2 when the special light source 12b emits the special light, respectively. This is a pixel signal.
- the odd-numbered G and B pixels in the first pixel group Pg1 respectively receive G light and B light included in the return light from the subject 2 when white light is emitted by the white light source 12a.
- the R pixels in the even lines of the first pixel group Pg1 receive the R light included in the return light from the subject 2 when the white light source 12a emits white light. Therefore, the pixel signals of the G pixels and B pixels of the odd lines of the first pixel group Pg1 and the pixel signals of the R pixels of the even lines of the first pixel group Pg1 in the imaging signal Df are white by the white light source 12a. This is a pixel signal corresponding to each of R light, G light, and B light as return light from the subject 2 during light irradiation.
- FIG. 8 is a diagram for explaining image processing in the image processing unit 34 shown in FIG.
- the imaging signal Df for one frame is transmitted from the capsule endoscope 10 to the receiving device 20 and subjected to predetermined signal processing by the receiving device 20, and thereafter, as indicated by an arrow Y1 in FIG. Is output.
- the separation unit 34a receives only white light returned from the subject 2 by irradiation with white light as the first light from one frame of the imaging signal Df generated by the imaging unit 11 based on the imaging control signal from the imaging control unit 13a.
- the received image signals of the B pixel, G pixel, and R pixel of the first pixel group are separated as the first image signal.
- the separation unit 34a captures the G pixel and B pixel imaging signals of the even-numbered odd lines (line 3 and line 7) as the first pixel group Pg1 from the imaging signal Df.
- the imaging signals of the R pixels of the even lines line 2, line 4, line 6, line 8) above and below the even-numbered odd lines are extracted and separated as the first imaging signal Df1.
- the first imaging signal Df1 is output to the white light image generation unit 34b as indicated by an arrow Y4.
- the G pixels of the even lines (line 2, line 4, line 6, line 8) are generated by the special light irradiation in addition to the G light included in the return light from the subject 2 by the white light irradiation. Since the G light included in the return light from the subject 2 is also received, the imaging signal of the G pixels in the even lines is not adopted as the first imaging signal.
- the separation unit 34a receives the B light and the G pixel of the second pixel group that receive only the B light and the G light returned from the subject 2 by the irradiation of the NBI light that is the second light from the imaging signal Df.
- the imaging signal is separated as a second imaging signal.
- the separation unit 34a generates G pixels and B pixels of odd-numbered odd lines (line 1, line 5, and line N) that are the second pixel group Pg2 from the imaging signal Df. Are extracted and separated as a second imaging signal Df2.
- the second imaging signal Df2 is output to the special light image generation unit 34c as indicated by an arrow Y5.
- the white light image generation unit 34b generates white light image data G1 by performing image processing such as synchronization on the imaging signal Df1 separated by the separation unit 34a.
- the special light image generation unit 34c generates special light image data G2 by performing image processing such as synchronization on the imaging signal Df2 separated by the separation unit 34a.
- the first imaging generated based on the pixel that receives the light having the wavelength component of the return light from the subject 2 at the time of white light irradiation from the imaging signal Df of the same frame.
- the signal is separated from the second imaging signal generated based on the pixel that receives the light having the wavelength component of the return light from the subject 2 at the time of special light irradiation, and based on each separated imaging signal
- Two types of images of white light image data G1 and special light image data G2 having the same imaging area are generated.
- the two types of white light image data G1 and special light image data G2 generated by the image processing unit 34 are converted into display images by the output unit 35 and then displayed and output by the display device 30a.
- the two types of white light image data G1 and special light image data G2 generated in the image processing unit 34 are stored in the storage unit 33 under the control of the control unit 36.
- the light source control unit 13b irradiates the light source 12 with the white light and the NBI light according to the timing at which each line of the CMOS image sensor constituting the imaging unit 11 is sequentially exposed.
- the image processing unit 34 generates white light image data and special light image data from one frame of the image pickup signal generated by the image pickup unit 11.
- two images of a white light image and a special light image having the same imaging region are generated from the imaging signal of one frame. Therefore, according to the first embodiment, even when the imaging area varies between frames, the positional deviation of the imaging area between the white light image and the special light image corresponding to the white light image is increased.
- the white light image and the special light image having the same imaging area can be reliably acquired without being generated.
- FIG. 9 is a diagram illustrating an example of a pixel arrangement of the light receiving unit of the CMOS image sensor in the imaging unit of the capsule endoscope according to the second embodiment.
- the light receiving unit of the CMOS image sensor according to the second embodiment includes an odd line in which a plurality of B pixels and a plurality of G pixels are arranged in the line extending direction, and a plurality of R Even lines in which pixels and a plurality of B pixels are arranged in the extending direction of the lines are alternately arranged in a direction orthogonal to the extending direction of the lines.
- the even-numbered odd-numbered lines are defined as the second pixel group Pg2-1, and the odd-numbered odd-numbered lines and the even-numbered lines before or after the odd-numbered lines are separated.
- the first pixel group includes lines 1 and 2 and lines 4 and 5.
- the final line N is an odd-numbered odd-numbered line and is included in the first pixel group Pg1-1.
- the second pixel group Pg2-1 is an odd-numbered line for every four lines of the line 3 and the line 7.
- FIG. 10 is a timing chart for explaining control operations per one frame period of the imaging unit and the light source by the control unit of the capsule endoscope 10 according to the second embodiment.
- 10A is a timing chart of the light emission operation of the light source 12
- FIG. 10B is a timing chart of the charge reset, exposure, and charge readout operations of each line of the CMOS image sensor of the imaging unit 11.
- FIG. 10C is a timing chart of the data output operation by the CMOS image sensor.
- the imaging control unit 13a performs the charge reset operation (period Ta), the exposure operation (period 2Ta), and the charge readout and A / D conversion operation (period Ta).
- One line is performed in the period Tb, and the imaging operation is sequentially performed from the first line 1 to the last line N while shifting the start of the imaging operation by the period Ta.
- an imaging signal Dfb in which pixel data of each line is sequentially arranged from the line 1 to the line N is output as an imaging signal for one frame after the head header.
- the light source controller 13b causes the light source 12 to irradiate white light during the exposure period of the odd-numbered odd-numbered lines constituting the first pixel group Pg1-1, and to form the second pixel group Pg2-1.
- NBI light which is special light, is irradiated during the exposure period of the odd-numbered line.
- the light source control unit 13b emits white light from the white light source 12a during the exposure period Tc11 of the line 1 that is the first odd line, and the line 3 that is the second odd line. NBI light is irradiated from the special light source 12b during the exposure period Tc12. Subsequently, the light source controller 13b emits white light from the white light source 12a during the exposure period Tc13 of the line 5 that is the third odd line, and during the exposure period Tc14 of the line 7 that is the fourth odd line. NBI light is irradiated from the special light source 12b.
- the period Tc11 corresponds to the entire exposure period of the line 1 having G and B pixels and the first half of the exposure period of the line 2 having R and B pixels.
- the period Tc12 corresponds to the entire exposure period of the line 3 having G and B pixels.
- the period Tc13 corresponds to the second half of the exposure period of the line 4 having R and B pixels and the entire exposure period of the line 5 having G and B pixels.
- the period Tc14 corresponds to the entire exposure period of the line 7 having G and B pixels.
- the G and B pixels of the odd-numbered odd lines 1 and 5 respectively receive the G light and B light included in the return light from the subject 2 when the white light source 12a emits white light.
- the R pixels in the odd-numbered next even lines 2 and 4 receive the R light included in the return light from the subject 2 when the white light source 12a emits white light.
- the pixel signals of the odd-numbered and odd-numbered G pixels and B-pixels constituting the first pixel group Pg1-1 of the imaging signal Dfb, and the pixel signals of the R-pixels of the next even-numbered line after the odd-numbered lines are This is a pixel signal corresponding to each of R light, G light, and B light of return light from the subject 2 when white light is irradiated by the white light source 12a.
- the G and B pixels of the even-numbered odd lines 3 and 7 constituting the second pixel group Pg2-1 are G light that is return light from the subject 2 when the special light source 12b emits special light, Each of the B lights is received. Therefore, the pixel signals of the even-numbered and odd-numbered G pixels and B pixels constituting the second pixel group Pg2-1 of the imaging signal Dfb are returned light from the subject 2 when the special light source 12b emits the special light.
- the pixel signals correspond to the G light and B light, respectively.
- FIG. 11 is a diagram illustrating image processing in the image processing unit 34 of the image processing apparatus 30 according to the second embodiment.
- the separation unit 34a receives one frame of the imaging signal Dfb generated by the imaging unit 11 as indicated by an arrow Y11. Subsequently, as indicated by an arrow Y12, the separation unit 34a generates G pixels and B pixels of odd-numbered odd lines (line 1, line 5, line N) that are the first pixel group Pg1-1 from the imaging signal Dfb. And the imaging signal of the R pixel of the odd-numbered preceding or succeeding even line (line 2, line 4) are separated as the first imaging signal Df11.
- the B pixels in the even lines include the B light included in the return light from the subject 2 by the special light irradiation in addition to the B light included in the return light from the subject 2 by the white light irradiation. Therefore, the even-line B pixel image signal is not adopted as the first image signal.
- the R pixels on the upper and lower even lines adjacent to the odd-numbered odd-numbered lines of the first pixel group Pg1-1 may be employed as the first imaging signal.
- the separation unit 34a obtains the imaging signals of the G pixels and B pixels of the even-numbered odd lines (line 3 and line 7) that are the second pixel group Pg2-1 from the imaging signal Dfb. , And separated as the second imaging signal Df12.
- the white light image generation unit 34b generates white light image data G11 by performing image processing such as synchronization on the imaging signal Df11 input as indicated by the arrow Y14.
- the special light image generation unit 34c generates special light image data G12 by performing image processing such as synchronization on the imaging signal Df12 input as indicated by the arrow Y15.
- the lines configuring the first pixel group and the second pixel group are selected according to the pixel arrangement of the CMOS image sensor of the imaging unit 11, and the lines of the first pixel group and the second pixel group are selected.
- the imaging area is obtained from the imaging signal of one frame as in the first embodiment. Two images of the same white light image and special light image can be generated.
- the capsule endoscope system in the third embodiment has the same configuration as that of the capsule endoscope system 1 in the first embodiment.
- FIG. 12A is a diagram showing the wavelength dependence of the radiance of the white light source 12a in the third embodiment.
- FIG. 12B is a diagram showing the wavelength dependence of the radiance of the special light source 12b in the third embodiment.
- FIG. 12C is a diagram showing the wavelength dependence of the return light from the subject 2 when special light is irradiated in the third embodiment.
- FIG. 12D is a diagram illustrating the wavelength dependence of the spectral sensitivity of the B pixel (curve M b ), G pixel (curve M g ), and R pixel (curve M r ) of the CMOS image sensor of the imaging unit 11. Note that the R, G, B pixels are arranged in the pixel arrangement shown in FIG.
- the white light source 12a emits white light having a wavelength distribution similar to that of the first embodiment.
- the special light source 12b emits blue light having intensity in the wavelength range of 390 to 470 nm as fluorescence excitation light.
- the subject 2 irradiated with the fluorescence excitation light from the special light source 12b emits green fluorescence having a wavelength distribution Dc of about 540 to 560 nm.
- the fluorescence of the subject 2 can be received by the G pixels in the CMOS image sensor of the imaging unit 11.
- FIG. 13 is a timing chart for explaining control operations per one frame period of the imaging unit 11 and the light source 12 by the control unit 13 of the capsule endoscope 10 according to the third embodiment.
- 13A is a timing chart of the light emission operation of the light source 12
- FIG. 13B is a timing chart of the charge reset, exposure, and charge read operations of each line of the CMOS image sensor of the imaging unit 11.
- FIG. 13C is a timing chart of the data output operation by the CMOS image sensor.
- the odd-numbered odd-numbered lines are set as the second pixel group Pg2-2, and the even-numbered odd-numbered lines and the odd-numbered lines are separated.
- the adjacent upper and lower even lines are set as the first pixel group Pg1-2, and light source control processing, imaging control processing, and image processing are performed. That is, as shown in FIG. 13, the first pixel group Pg1-2 includes lines 2-4 and 6-8. Further, the second pixel group Pg2-2 includes a line 1 and a line 5.
- the imaging control unit 13a performs the charge reset operation (period Ta), the exposure operation (period 2Ta), and the charge readout and A / D conversion operation (period Ta).
- One line is performed in the period Tb, and the imaging operation is sequentially performed from the first line 1 to the last line N while shifting the start of the imaging operation by the period Ta.
- an imaging signal Dfc in which pixel data of each line is arranged in order from the line 1 to the line N is output as an imaging signal for one frame after the head header.
- the light source control unit 13b causes the light source 12 to irradiate white light during the exposure period of the even-numbered odd lines constituting the first pixel group Pg1-2, and to form the second pixel group Pg2-2.
- the fluorescence excitation light which is special light, is irradiated during the exposure period of the second odd line.
- the light source controller 13b irradiates the fluorescence excitation light from the special light source 12b during the exposure period Tc21 of the line 1 that is the first odd line, and the line that is the second odd line.
- the white light source 12a emits white light during the third exposure period Tc22.
- the light source controller 13b emits the fluorescence excitation light from the special light source 12b during the exposure period Tc23 of the line 5 which is the third odd line, and during the exposure period Tc14 of the line 7 which is the fourth odd line. Is irradiated with white light from the white light source 12a.
- the period Tc21 corresponds to the entire exposure period of the line 1 having G and B pixels and the first half of the exposure period of the line 2 having R and G pixels.
- the period Tc22 corresponds to the second half of the exposure period of the line 2 having R and G pixels, the entire exposure period of the line 3 having G and B pixels, and the first half of the exposure period of the line 4 having R and G pixels.
- the period Tc23 corresponds to the second half of the exposure period of the line 4 having R and G pixels, the entire exposure period of the line 5 having G and B pixels, and the first half of the exposure period of the line 6 having R and G pixels.
- the period Tc24 corresponds to the second half of the exposure period of the line 6 having R and G pixels, the entire exposure period of the line 7 having G and B pixels, and the first half of the exposure period of the line 8 having R and G pixels. To do.
- the G pixels of the odd-numbered odd lines 1 and 5 constituting the second pixel group Pg2-2 are the wavelength components of the fluorescence emitted from the subject 2 when the special light source 12b is irradiated with the fluorescence excitation light. G light is received. Therefore, the pixel signals of the odd-numbered and odd-numbered G pixels constituting the second pixel group Pg2-2 of the imaging signal Dfc are emitted from the subject 2 when the fluorescence excitation light is emitted from the special light source 12b. This is a pixel signal corresponding to fluorescence.
- the G and B pixels of the even-numbered odd lines 3 and 7 respectively receive the G light and B light included in the return light from the subject 2 when the white light source 12a irradiates the white light.
- the R pixels in the even lines 2, 4, 6, and 8 above and below the even-numbered odd lines receive R light included in the return light from the subject 2 when the white light source 12a emits white light.
- the pixel signals of the even-numbered and odd-numbered G pixels and B-pixels constituting the first pixel group Pg1-2 of the imaging signal Dfc, and the pixel signals of the R-pixels of the even-numbered lines above and below this odd-numbered line are This is a pixel signal corresponding to each of R light, G light, and B light of return light from the subject 2 when white light is irradiated by the white light source 12a.
- FIG. 14 is a diagram illustrating image processing in the image processing unit 34 of the image processing apparatus 30 according to the third embodiment.
- the separation unit 34a receives the one-frame imaging signal Dfc generated by the imaging unit 11 as indicated by an arrow Y21. Subsequently, as indicated by an arrow Y22, the separation unit 34a uses the imaging signal Dfc to capture the G pixel and B pixel imaging signals of the even-numbered odd lines (line 3 and line 7) that are the first pixel group Pg1-2. Then, the imaging signals of the R pixels of the odd-numbered upper and lower even lines (line 2, line 4, line 6, and line 8) are separated as the first imaging signal Df21.
- the first imaging signal Df21 is output to the white light image generation unit 34b as indicated by an arrow Y24, as in the first embodiment.
- the G pixels in the even lines (line 2, line 4, line 6, line 8) are fluorescent in addition to the G light included in the return light from the subject 2 by the white light irradiation. Since the fluorescence of the subject 2 due to the excitation light irradiation is also received, the imaging signal of the G pixel of the even line is not adopted as the first imaging signal.
- the separation unit 34a detects the odd-numbered odd lines (line 1 and line 5) of the second pixel group Pg2-2 corresponding to the fluorescence data from the subject 2 from the imaging signal Dfc.
- the G pixel image signal of the even-numbered odd lines (line 3 and line 7) is extracted as reference data together with the G pixel image signal, and the special light image generation unit is used as the second image signal Df22 as indicated by an arrow Y25. 34c.
- the white light image generation unit 34b generates white light image data G1 by performing image processing such as synchronization on the imaging signal Df21.
- the special light image generation unit 34c generates a special light image G22 displayed by highlighting the difference between the fluorescence data and the reference data included in the imaging signal Df22.
- the two types of white light image data G21 and special light image data G22 generated in the image processing unit 34 are displayed on the display device 30a and stored in the storage unit 33.
- the second pixel group Pg2-2 is set according to the pixel that receives the fluorescence emitted from the subject 2 by the irradiation of the fluorescence excitation light. What is necessary is just to select the line to comprise.
- the light source control is performed according to the configuration and the exposure period of the pixels included in the lines of the first pixel group Pg1-2 and the second pixel group Pg2-2. Processing, imaging control processing, and image processing are performed.
- FIG. 15 is a block diagram illustrating another example of the configuration of the receiving device and the image processing device according to the first to third embodiments.
- a separation unit 34 a, a white light image generation unit 34 b, and a special light image generation unit 34 c are provided in the reception signal processing unit 122 instead of the image processing unit 134 of the image processing device 130.
- the receiving device 120 may perform two types of image separation processing and image generation processing.
- Embodiments 1 to 3 are not limited to a capsule endoscope system using a capsule endoscope, and an insertion section inserted into a subject and a processing apparatus that performs image processing are connected.
- the present invention can also be applied to an endoscope system configured as described above.
- FIG. 16 is a block diagram showing another example of the endoscope system according to the first to third embodiments of the present invention.
- the endoscope system 201 includes an insertion unit 210 that is inserted into a subject, a processing device 230, and a light source device 240.
- the insertion unit 210 is provided with the imaging unit 11 at the tip, and is connected to the processing device 230 via the connector 238.
- the processing device 230 includes an input unit 31, a storage unit 33, an image processing unit 234, an output unit 35, a control unit 236, and an abnormality detection unit 37. Similar to the image processing unit 34, the image processing unit 234 performs predetermined image processing for creating an in-vivo image corresponding to the imaging signal generated by the imaging unit 11.
- the image processing unit 234 includes a separation unit 34a, a white light image generation unit 34b, and a special light image generation unit 34c.
- the control unit 236 is realized by using a CPU or the like, and controls processing operations of each unit of the processing device 230 and also controls processing operations of the imaging unit 11 and the light source device 240.
- the control unit 236 includes an imaging control unit 13a and a light source control unit 13b.
- the light source device 240 includes a light source driver 241, a light source 212 having a white light source 212 a and a special light source 212 b, and white light and special light are time-sequentially corresponding to exposure for each line of the imaging unit 11.
- the object can be irradiated by switching.
- the light source driver 241 supplies predetermined power to the light source 212 under the control of the light source control unit 13b. Thereby, the light emitted from the light source 212 is irradiated to the living tissue from the illumination port 244 at the distal end of the insertion portion 210 via the connector 242 and the cord 243.
- the pixel arrangement of the CMOS image sensor of the imaging unit 11 the pixels that receive white light returned from the subject when irradiated with white light, and the special light irradiation Lines constituting the first pixel group and the second pixel group are selected according to the pixels that receive the return light from the subject.
- the endoscope system 201 performs light source control processing and imaging according to the configuration of pixels included in the lines of the first pixel group and the second pixel group and the exposure period. Control processing and image processing are performed.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Abstract
本発明にかかるカプセル型内視鏡10は、白色光光源12aと、白色光の波長分布と異なる波長分布を有する特殊光を発生する特殊光光源12bとを有し、白色光と特殊光とを時系列的に切り換えて被検体に照射可能である光源12と、複数の画素から構成される画素群を複数有し、被検体からの光を複数の画素に受光し撮像信号を生成する撮像部11と、画素群ごとに、順次露光し、かつ、撮像信号を順次読み出すように撮像部11を制御する撮像制御信号を出力する撮像制御部13aと、撮像制御信号に基づき、画素群が順次露光されるタイミングに応じて白色光の照射と特殊光の照射とを切り換えるように光源12を制御する光源制御信号を出力する光源制御部13bとを備える。
Description
本発明は、被検体内に導入されて該被検体内の画像を撮像する内視鏡システムおよび内視鏡装置に関する。
被検体内を撮像する内視鏡の分野においては、複数種類の波長成分を有する光を被検体に照射して撮像を行うことによって、各色成分の分光画像を取得する技術が知られている。この一例として、白色光の他に、血液中のヘモグロビンに吸収されやすい狭帯域化された青色光および緑色光の2種の帯域を含むNBI(Narrow Band Imaging)光などを照射して被検体内を撮像し、病変部の発見を容易化できるようにした内視鏡装置が開発されている(たとえば、特許文献1参照)。また、白色光とNBI光とを1フレームごとに切り換えて照射を行い、白色光画像とNBI画像とを異なるフレームで取得する内視鏡装置が提案されている(たとえば、特許文献2参照)。さらに、近年では、被検体内に嚥下され、消化管内を移動しながら撮像を行うカプセル型内視鏡においても、白色光画像とNBI画像との双方の取得が求められている。
ところで、医師からは、同じ領域をそれぞれ撮像した白色光画像とNBI画像とを比較できるように要望されている。しかしながら、カプセル型内視鏡は、消化管の蠕動運動によって移動するため、フレーム間での撮像領域の変動が大きく、特許文献2記載の技術を適用しても白色光画像の撮像領域とNBI画像の撮像領域とのずれが発生してしまうという問題があった。
本発明は、上記に鑑みてなされたものであって、異なる種別の照明光にそれぞれ対応する画像間で撮像領域の位置ずれが発生しない内視鏡システムおよび内視鏡装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる内視鏡システムは、第1の波長分布を有する第1の光を発生する第1の光源と、前記第1の波長分布と異なる波長分布を有する第2の光を発生する第2の光源とを有し、前記第1の光と前記第2の光とを時系列的に切り換えて被検体に照射可能である光源と、複数の画素から構成される画素群を複数有し、前記被検体からの光を光電変換して撮像信号を生成する撮像部と、前記画素群ごとに、順次露光し、かつ、前記撮像信号を順次読み出すように前記撮像部を制御する撮像制御信号を出力する撮像制御部と、前記撮像制御信号に基づき、前記光源に対し、前記画素群が順次露光されるタイミングに応じて前記第1の光の照射と前記第2の光の照射とを切り換える制御を行う光源制御信号を出力する光源制御部と、前記撮像部が生成した撮像信号を処理する信号処理部と、を備えたことを特徴とする。
また、本発明にかかる内視鏡システムは、前記撮像部は、前記第1の光を前記被検体に照射した場合に前記被検体からの戻り光の波長成分である第3の波長成分を有する光を受光する画素を含む第1の画素群と、前記第2の光を前記被検体に照射した場合に前記被検体からの戻り光の波長成分である第4の波長成分を有する光を受光する画素を含む第2の画素群とを有し、前記光源制御部は、前記第1の画素群が露光されるタイミングに合わせて前記第1の光を照射し、前記第2の画素群が露光されるタイミングに合わせて前記第2の光を照射するように前記光源を制御することを特徴とする。
また、本発明にかかる内視鏡システムは、前記信号処理部は、前記撮像部が生成した1フレームの撮像信号から、前記第1の画素群のうちの前記第3の波長成分を有する光を受光した画素に基づいて生成される第1の撮像信号と、前記第2の画素群のうちの前記第4の波長成分を有する光を受光した画素に基づいて生成される第2の撮像信号とを分離する分離部と、前記第1の撮像信号をもとに前記第1の光に対応する第1の画像を生成し、前記第2の撮像信号をもとに前記第2の光に対応する第2の画像を生成する画像生成部と、を備えたことを特徴とする。
また、本発明にかかる内視鏡システムは、前記第1の光は、白色光であり、前記第2の光は、青色の波長成分を有する青色光および緑色の波長成分を有する緑色光を含む狭帯域光であり、前記第1の画素群は、前記青色光に感度を有する青色画素と前記緑色光に感度を有する緑色画素と赤色の波長成分を有する赤色光に感度を有する赤色画素とを有し、前記第2の画素群は、前記青色画素と前記緑色画素とを有することを特徴とする。
また、本発明にかかる内視鏡システムは、前記撮像部は、複数の前記青色画素と複数の前記緑色画素とがラインの延伸方向に交互に並んだ第1のラインと、複数の前記緑色画素と複数の前記赤色画素とがラインの延伸方向に交互に並んだ第2のラインとが、ラインの延伸方向と直交する方向に交互に複数ずつ配置されており、前記撮像制御部は、前記撮像部における先頭のラインから最終のラインまでラインごとに順次露光および読み出しを行い、前記第1の画素群は、複数の前記第1のラインの一部のラインと該一部のラインに隣接する前記第2のラインとによって構成され、前記第2の画素群は、複数の前記第1のラインの残りのラインによって構成され、前記光源制御部は、前記光源に、複数の前記第1のラインの一部のラインの露光期間と該一部のラインに隣接する前記第2のラインの露光期間の少なくとも一部とを含む期間に前記第1の光を照射させ、前記第2の画素群を構成する前記第1のラインの残りのラインの露光期間に前記第2の光を照射させることを特徴とする。
また、本発明にかかる内視鏡システムは、前記撮像制御部は、隣り合う前記第1のラインでは、一方の露光終了以降に他方の露光を開始させることを特徴とする。
また、本発明にかかる内視鏡システムは、前記撮像部は、複数の前記青色画素と複数の前記緑色画素とがラインの延伸方向に交互に並んだ第1のラインと、複数の前記青色画素と複数の前記赤色画素とがラインの延伸方向に交互に並んだ第2のラインとが、ラインの延伸方向と直交する方向に交互に複数ずつ配置されており、前記撮像制御部は、前記撮像部における先頭のラインから最終のラインまでラインごとに順次露光および読み出しを行い、前記第1の画素群は、複数の前記第1のラインの一部のラインと該一部のラインに隣接する前記第2のラインとによって構成され、前記第2の画素群は、複数の前記第1のラインの残りのラインによって構成され、前記光源制御部は、前記光源に、複数の前記第1のラインの一部のラインの露光期間と該一部のラインに隣接する前記第2のラインの露光期間の少なくとも一部とを含む期間に前記第1の光を照射させ、前記第2の画素群を構成する前記第1のラインの残りのラインの露光期間に前記第2の光を照射させることを特徴とする。
また、本発明にかかる内視鏡システムは、前記撮像制御部は、隣り合う前記第1のラインでは、一方の露光終了以降に他方の露光を開始させることを特徴とする。
また、本発明にかかる内視鏡システムは、前記第1の光は、白色光であり、前記第2の光は、青色の波長成分を有し、波長540~560nmの蛍光を励起する蛍光励起光であり、前記第1の画素群は、青色の波長成分を有する青色光に感度を有する青色画素と緑色の波長成分を有する緑色光に感度を有する緑色画素と赤色の波長成分を有する赤色光に感度を有する赤色画素とを有し、前記第2の画素群は、前記緑色画素を有することを特徴とする。
また、本発明にかかる内視鏡システムは、前記撮像部は、複数の前記青色画素と複数の前記緑色画素とがラインの延伸方向に交互に並んだ第1のラインと、複数の前記緑色画素と複数の前記赤色画素とがラインの延伸方向に交互に並んだ第2のラインとが、ラインの延伸方向と直交する方向に交互に配置されており、前記撮像制御部は、前記撮像部における先頭のラインから最終のラインまでラインごとに順次露光および読み出しを行い、前記第1の画素群は、複数の前記第1のラインの一部のラインと該一部のラインに隣接する前記第2のラインとによって構成され、前記第2の画素群は、複数の前記第1のラインの残りのラインによって構成され、前記光源制御部は、前記光源に、複数の前記第1のラインの一部のラインの露光期間と該一部のラインに隣接する前記第2のラインの露光期間の少なくとも一部とを含む期間に前記第1の光を照射させ、前記第2の画素群を構成する前記第1のラインのうちの残りのラインの露光期間に前記第2の光を照射させることを特徴とする。
また、本発明にかかる内視鏡システムは、前記撮像制御部は、隣り合う前記第1のラインでは、一方の露光終了以降に他方の露光を開始させることを特徴とする。
また、本発明にかかる内視鏡システムは、前記光源制御部は、前記光源に対して間欠照明を行わせることを特徴とする。
また、本発明にかかる内視鏡装置は、第1の波長分布を有する第1の光を発生する第1の光源と、前記第1の波長分布と異なる波長分布を有する第2の光を発生する第2の光源とを有し、前記第1の光と前記第2の光とを時系列的に切り換えて被検体に照射可能である光源と、複数の画素から構成される画素群を複数有し、前記被検体からの光を光電変換して撮像信号を生成する撮像部と、前記画素群ごとに、順次露光し、かつ、前記撮像信号を順次読み出すように前記撮像部を制御する撮像制御信号を出力する撮像制御部と、
前記撮像制御信号に基づき、前記光源に対し、前記画素群が順次露光されるタイミングに応じて前記第1の光の照射と前記第2の光の照射とを切り換える制御を行う光源制御信号を出力する光源制御部と、を備えたことを特徴とする。
前記撮像制御信号に基づき、前記光源に対し、前記画素群が順次露光されるタイミングに応じて前記第1の光の照射と前記第2の光の照射とを切り換える制御を行う光源制御信号を出力する光源制御部と、を備えたことを特徴とする。
本発明によれば、第1の波長分布を有する第1の光を発生する第1の光源と、第1の波長分布と異なる波長分布を有する第2の光を発生する第2の光源とを有し、第1の光と第2の光とを時系列的に切り換えて被検体に照射可能である光源と、複数の画素から構成される画素群を複数有し、被検体からの光を光電変換して撮像信号を生成する撮像部と、画素群ごとに、順次露光し、かつ、撮像信号を順次読み出すように撮像部を制御する撮像制御信号を出力する撮像制御部と、撮像制御信号に基づき、光源に対し、画素群が順次露光されるタイミングに応じて第1の光の照射と第2の光の照射とを切り換える制御を行う光源制御信号を出力する光源制御部と、を備え、画素群が順次露光されるタイミングに応じて同一フレーム中で照明光を時系列的に切り替えることによって得られた撮像信号をもとに、撮像領域の位置ずれがない、異なる種別の照明光にそれぞれ対応する画像を取得することができるという効果を奏する。
以下に、本発明にかかる実施の形態として、医療用のカプセル型内視鏡を使用する内視鏡システムについて説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。また、図面は模式的なものであり、各部材の厚みと幅との関係、各部材の比率などは、現実と異なることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている。
(実施の形態1)
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す模式図である。図1に示すように、実施の形態1にかかるカプセル型内視鏡システム1は、被検体2内に導入されて該被検体2内を撮像することにより画像データを取得し、無線信号に重畳して送信するカプセル型内視鏡10と、カプセル型内視鏡10から送信された無線信号を、被検体2に装着された複数の受信アンテナ3a~3hを備えた受信アンテナユニット3を介して受信する受信装置20と、カプセル型内視鏡10が取得した画像データを、クレードル20aを介して、受信装置20から取り込み、該画像データを用いて被検体2内の画像を作成する画像処理装置30と、を備える。画像処理装置30によって作成された被検体2内の画像は、たとえば、表示装置30aから表示出力される。
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す模式図である。図1に示すように、実施の形態1にかかるカプセル型内視鏡システム1は、被検体2内に導入されて該被検体2内を撮像することにより画像データを取得し、無線信号に重畳して送信するカプセル型内視鏡10と、カプセル型内視鏡10から送信された無線信号を、被検体2に装着された複数の受信アンテナ3a~3hを備えた受信アンテナユニット3を介して受信する受信装置20と、カプセル型内視鏡10が取得した画像データを、クレードル20aを介して、受信装置20から取り込み、該画像データを用いて被検体2内の画像を作成する画像処理装置30と、を備える。画像処理装置30によって作成された被検体2内の画像は、たとえば、表示装置30aから表示出力される。
図2は、カプセル型内視鏡10の構成を示すブロック図である。カプセル型内視鏡10は、被検体2が嚥下可能な大きさのカプセル形状の筐体に撮像素子等の各種部品を内蔵した装置である。カプセル型内視鏡10は、被検体2内を撮像する撮像部11と、被検体2内を照明する光源12と、制御部13と、信号処理部14と、送信部15と、アンテナ16と、メモリ17と、電源部18とを備える。
撮像部11は、例えば、受光面に結像された光学像から被検体2内を表す撮像信号を生成して出力するCMOS撮像素子と、該CMOS撮像素子の受光面側に配設された対物レンズ等の光学系とを含む。CMOS撮像素子は、被検体2からの光を受光する複数の画素がマトリックス状に配列され、画素が受光した光に対して光電変換を行うことにより、撮像信号である画素信号を生成する。撮像部11のCMOS撮像素子は、複数の画素から構成される画素群を複数有し、画素群ごとの露光、かつ、読み出しが可能である。撮像部11のCMOS撮像素子は、ラインごとの露光、かつ、読み出しが可能であり、電荷リセット、露光および読み出しを行う撮像動作を先頭のラインから順次実行する。したがって、撮像部11では、露光と読み出しとの間に時差が生じる。
光源12は、複数種類の波長分布の光を被検体2に照射可能である。光源12は、白色光(第1の光)を発生する白色LEDによって構成される白色光光源12a(第1の光源)と、白色光とは異なる波長分布を有する特殊光(第2の光)を発生する特殊光光源12b(第2の光源)との二つの光源を有する。特殊光光源12bは、特殊光として、たとえば、狭帯域化された青色の波長成分を有する青色光および緑色の波長成分を有する緑色光の2種の帯域を含むNBI光を発生する。光源12は、CMOS撮像素子のラインごとの露光に対応させて、白色光と特殊光とを時系列的に切り換えて被検体2に照射可能である。
制御部13は、カプセル型内視鏡10の各構成部位の動作処理の制御を行う。制御部13は、撮像制御部13aと光源制御部13bとを有する。
撮像制御部13aは、撮像部11のCMOS撮像素子に対する露光および読み出し処理を画素群単位で制御する。撮像制御部13aは、撮像信号を画素群ごとに露光し、かつ、撮像信号を順次読み出すように撮像部11のCMOS撮像素子を制御する撮像制御信号を出力する。撮像制御部13aは、撮像部11のCMOS撮像素子に対する露光および読み出し処理を、画素群であるライン単位で制御する。
光源制御部13bは、撮像制御部13aによる撮像制御信号に基づき、光源12に対し、画素群が順次露光されるタイミングに応じて白色光の照射と特殊光の照射とを切り換える制御を行う光源制御信号を出力する。光源制御部13bは、撮像部11のCMOS撮像素子のラインごとの露光に対応させて、光源12の白色光光源12aと特殊光光源12bとの照射タイミングを制御する。ここで、撮像部11は、白色光を被検体2に照射した場合に被検体2からの戻り光の波長成分である第3の波長成分を有する光を受光する画素を含む第1の画素群と、特殊光を被検体2に照射した場合に被検体2からの戻り光の波長成分である第4の波長成分を有する光を受光する画素を含む第2の画素群とを有する。したがって、撮像部11の撮像素子から出力される撮像信号には、第1の画素群のうちの第3の波長成分を有する光を受光した画素に基づいて生成される撮像信号(第1の撮像信号)と、第2の画素群のうちの第4の波長成分を有する光を受光した画素に基づいて生成される撮像信号(第2の撮像信号)と、が同一フレームに含まれる。
信号処理部14は、撮像部11から出力された撮像信号を処理する。信号処理部14は、撮像部11から出力された撮像信号に対してA/D変換及び所定の信号処理を施し、デジタル形式の撮像信号を取得する。
送信部15は、信号処理部14から出力された撮像信号を関連情報とともに無線信号に重畳して、アンテナ16から外部に送信する。関連情報には、カプセル型内視鏡10の個体を識別するために割り当てられた識別情報(例えばシリアル番号)等が含まれる。
メモリ17は、制御部13が各種動作を実行するための実行プログラム及び制御プログラムを記憶する。また、メモリ17は、信号処理部14において信号処理が施された撮像信号等を一時的に記憶してもよい。
電源部18は、ボタン電池等からなるバッテリと、該バッテリから電力を昇圧等する電源回路と、当該電源部18のオンオフ状態を切り替える電源スイッチとを含み、電源スイッチがオンとなった後、カプセル型内視鏡10内の各部に電力を供給する。なお、電源スイッチは、例えば外部の磁力によってオンオフ状態が切り替えられるリードスイッチからなり、カプセル型内視鏡10の使用前(被検体2が嚥下する前)に、該カプセル型内視鏡10に外部から磁力を印加することによりオン状態に切り替えられる。
このようなカプセル型内視鏡10は、被検体2に嚥下された後、臓器の蠕動運動等によって被検体2の消化管内を移動しつつ、生体部位(食道、胃、小腸、及び大腸等)を所定の周期(例えば0.5秒周期)で順次撮像する。そして、この撮像動作により取得された画像データ及び関連情報を受信装置20に順次無線送信する。
図3は、カプセル型内視鏡システム1における受信装置20と画像処理装置30との構成を示すブロック図である。図3に示すように、受信装置20は、受信部21と、受信信号処理部22と、制御部23と、データ送受信部24と、メモリ25と、操作部26と、表示部27と、これらの各部に電力を供給する電源部28とを備える。
受信部21は、カプセル型内視鏡10から無線送信された撮像信号および関連情報を、複数(図1においては8個)の受信アンテナ3a~3hを有する受信アンテナユニット3を介して受信する。各受信アンテナ3a~3hは、例えばループアンテナ又はダイポールアンテナを用いて実現され、被検体2の体外表面上の所定位置に配置される。
受信信号処理部22は、受信部21が受信した撮像信号に所定の信号処理を施す。制御部23は、受信装置20の各構成部を制御する。データ送受信部24は、USB、又は有線LAN、無線LAN等の通信回線と接続可能なインタフェースである。データ送受信部24は、画像処理装置30と通信可能な状態で接続された際に、メモリ25に記憶された撮像信号および関連情報を画像処理装置30に送信する。
メモリ25は、受信信号処理部22において信号処理が施された撮像信号およびその関連情報を記憶する。操作部26は、ユーザが当該受信装置20に対して各種設定情報や指示情報を入力する際に用いられる入力デバイスである。表示部27は、カプセル型内視鏡10から受信した画像データに基づく体内画像等を表示する。
このような受信装置20は、カプセル型内視鏡10により撮像が行われている間(例えば、カプセル型内視鏡10が被検体2に嚥下された後、消化管内を通過して排出されるまでの間)、被検体2に装着されて携帯される。受信装置20は、この間、受信アンテナユニット3を介して受信した撮像信号に、各受信アンテナ3a~3hにおける受信強度情報や受信時刻情報等の関連情報をさらに付加し、これらの撮像信号および関連情報をメモリ25に記憶させる。
カプセル型内視鏡10による撮像の終了後、受信装置20は被検体2から取り外され、画像処理装置30と接続されたクレードル20a(図1参照)にセットされる。これにより、受信装置20は、画像処理装置30と通信可能な状態で接続され、メモリ25に記憶された撮像信号および関連情報を画像処理装置30に転送(ダウンロード)する。
画像処理装置30は、例えば、CRTディスプレイや液晶ディスプレイ等の表示装置30aを備えたワークステーションを用いて構成される。画像処理装置30は、入力部31と、データ送受信部32と、記憶部33と、画像処理部34(信号処理部)と、出力部35と、これらの各部を統括して制御する制御部36と、異常検出部37とを備える。
入力部31は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現される。入力部31は、ユーザの操作に応じた情報や命令の入力を受け付ける。
データ送受信部32は、USB、又は有線LANや無線LAN等の通信回線と接続可能なインタフェースであり、USBポート及びLANポートを含んでいる。実施の形態1において、データ送受信部32は、USBポートに接続されるクレードル20aを介して受信装置20と接続され、受信装置20との間でデータの送受信を行う。
記憶部33は、フラッシュメモリ、RAM、ROM等の半導体メモリや、HDD、MO、CD-R、DVD-R等の記録媒体及び該記録媒体を駆動する駆動装置等によって実現される。記憶部33は、画像処理装置30を動作させて種々の機能を実行させるためのプログラム、該プログラムの実行中に使用される各種情報、並びに、受信装置20を介して取得した撮像信号および関連情報等を記憶する。
画像処理部34は、CPU等のハードウェアによって実現され、後述の記憶部33に記憶された所定のプログラムを読み込むことにより、データ送受信部32から入力された撮像信号や記憶部33に記憶された撮像信号に対応する体内画像を作成するための所定の画像処理を施す。より詳細には、画像処理部34は、撮像部11が生成した撮像信号に対し、デモザイキング、濃度変換(ガンマ変換等)、平滑化(ノイズ除去等)、同時化、鮮鋭化(エッジ強調等)等の所定の画像処理を施す。画像処理部34は、分離部34aと、白色光画像生成部34bと、特殊光画像生成部34cとを有する。
分離部34aは、カプセル型内視鏡10の撮像部11におけるCMOS撮像素子が生成した1フレームの撮像信号から、白色光を照射した場合に被検体2からの戻り光を受光した画素に基づいて生成される第1の撮像信号と、特殊光を照射した場合に被検体2からの戻り光を受光した画素が生成した第2の撮像信号とを分離する。
白色光画像生成部34bは、分離部34aによって分離された第1の撮像信号をもとに白色光に対応する白色光画像(第1の画像)を生成する。特殊光画像生成部34cは、分離部34aによって分離された第2の撮像信号をもとに特殊光に対応する特殊光画像(第2の画像)を生成する。したがって、画像処理部34は、CMOS撮像素子が生成した1フレームの撮像信号から、白色光画像と特殊光画像との2枚の画像を生成する。
出力部35は、画像処理部34が作成した各種画像やその他の情報を、表示装置30a等の外部装置に出力して表示させる。
制御部36は、CPU等のハードウェアによって実現され、記憶部33に記憶された各種プログラムを読み込むことにより、入力部31を介して入力された信号や、データ送受信部32から入力された撮像信号等に基づいて、画像処理装置30を構成する各部への指示やデータの転送等を行い、画像処理装置30全体の動作を統括的に制御する。
異常検出部37は、カプセル型内視鏡10から送信された被検体2内の画像をもとに、異常部分の検出を行う。異常検出部37は、たとえば、画像処理部34によって作成された同一フレームの白色光画像と特殊光画像とを比較することによって、異常の有無を検出する。異常検出部37は、画像処理部34によって作成された白色光画像および特殊光画像と、予め記憶部33に記憶された異常部の特徴画像とを比較することによって、異常の有無を検出する。
図4は、カプセル型内視鏡10の撮像部11におけるCMOS撮像素子の受光部における画素配置の一例を示す図である。図4の画素配置11aに示すように、CMOS撮像素子の受光部には、ベイヤ配列で、赤色(R)画素、緑色(G)画素、青色(B)画素が配置する。そして、CMOS撮像素子の受光部には、複数のB画素と複数のG画素とがラインの延伸方向に並んだ奇数ライン(第1のライン)と、複数のG画素と複数のR画素とがラインの延伸方向に並んだ偶数ライン(第2のライン)とが、ラインの延伸方向と直交する方向に交互に配置されている。
図5Aは、白色光光源12aの放射輝度の波長依存性を示す図である。図5Bは、特殊光光源12bの放射輝度の波長依存性を示す図である。図5Cは、撮像部11のCMOS撮像素子の各画素の分光感度の波長依存性を示す図である。
図5Aに示すように、白色光光源12aが放射する白色光は、約400nmから約800nmの波長範囲で強度を有する。図5Bに示すように、特殊光光源12bは、血液中のヘモグロビンに吸収されやすいように、415nmにピークをもつ狭帯域化された青色光と、540nmにピークを持つ狭帯域化された緑色光と、の2種の帯域の光を含むNBI光を発する。白色光が照射された場合には、被検体2からは白色光が戻る。NBI光が照射された場合には、被検体2からは青色光と緑色光とが戻る。
図5Cに示すように、撮像部11のCMOS撮像素子において、B画素は、曲線Mbに示すようにBの波長成分を有する青色光(B光)に感度を有し、G画素は、曲線Mgに示すようにGの波長成分を有する緑色光(G光)に感度を有し、R画素は、曲線Mrに示すようにRの波長成分を有する赤色光(R光)に感度を有する。撮像部11は、白色光の照射時における被検体2からの戻り光である白色光の波長成分であるR光、G光、B光をそれぞれ受光するR,G,B画素を有する第1の画素群と、NBI光の照射時における被検体2からの戻り光である青色光と緑色光とを受光するG,B画素を有する第2の画素群と、を備える。そして、光源制御部13bは、CMOS撮像素子が生成した1フレームの撮像信号から白色光画像と特殊光画像との2枚の画像の生成を可能とするために、第1の画素群が露光されるタイミングに合わせて白色光を照射し、第2の画素群が露光されるタイミングに合わせてNBI光を照射するように光源12を制御する。言い換えると、光源制御部13bは、光源12に、第1の画素群の露光期間に対応した期間に白色光を照射させ、第2の画素群の露光期間にNBI光とを照射させる。
カプセル型内視鏡10における照明光の発光動作タイミングと、撮像素子における露光および読み出しタイミングについて説明する。図6は、光源12による照射光の出力処理を示すタイミングチャートである。撮像部11は、CMOS撮像素子を採用するため、露光と読み出しとの間に時差が生じる。さらに、カプセル型内視鏡10では、電源保持のためにフレーム処理を間欠的に行っている。これにともない、光源12は、図6のように、期間Tiの間に照明光を出力し、その後の期間Thの間では照明光の出力を停止する間欠照明を行う。
図7は、制御部13による撮像部11および光源12の1フレーム期間あたりの制御動作を説明するためのタイミングチャートである。図7の(a)は、光源12の発光動作のタイミングチャートであり、図7の(b)は、撮像部11のCMOS撮像素子の各ラインの電荷リセット、露光、電荷読み出し動作のタイミングチャートであり、図7の(c)は、CMOS撮像素子によるデータの出力動作のタイミングチャートである。
図7の例では、撮像制御部13aは、撮像部11に、1ラインあたりの撮像動作として、電荷リセット動作(期間Ta)、露光動作(期間2Ta)、ならびに、電荷読み出しおよびA/D変換動作(期間Ta)を、1ラインにつき期間Tbで行わせている。撮像制御部13aは、撮像部11に、期間Taずつ撮像動作の開始をずらしながら、先頭のライン1から最終のラインN(Nは奇数)まで順次撮像動作を行わせる。このように、各ラインの露光動作は期間2Taで実行されている。さらに、撮像制御部13aは、撮像部11に、1番目の奇数ラインであるライン1の露光終了時間tdにおいて、2番目の奇数ラインであるライン3の露光を開始させ、以降の各奇数ラインについても同様に、一つ前の奇数ラインの露光終了時に露光を開始させる。したがって、撮像制御部13aは、隣り合う第1のラインでは、一方の露光終了以降に他方の露光を開始させている。
制御部13が、先頭のライン1から最終のラインNまで順次露光および読み出しを行うように撮像制御信号を出力して撮像部11を制御した結果、撮像部11からは、図7(c)のように、1フレーム分の撮像信号として、先頭のヘッダ以降、ライン1からラインNまで順に各ラインの画素データが配列する撮像信号Dfが出力される。
光源制御部13bは、撮像制御部13aから出力された撮像制御信号に基づき、各ラインが順次露光されるタイミングに応じて、期間Tc(2Ta)ごとに白色光の照射と、特殊光(NBI光)の照射とを切り替えるように光源12を制御する。
ここで、図4に示す画素配列において、第1の画素群Pg1を、R,G,B画素が含まれるように、奇数ラインの一部のラインと該一部のラインに隣接する上下の偶数ラインとする。第2の画素群Pg2を、G,B画素が含まれるように、奇数ラインの残りのラインとする。具体的には、第2の画素群Pg2は、奇数番目の奇数ラインであり、第1の画素群Pg1は、偶数番目の奇数ラインと、該偶数番目の奇数ラインに隣接する上下の偶数ラインとである。すなわち、図4の場合、第2の画素群Pg2は、先頭の奇数ラインであるライン1と、ライン5と、ライン9と、の4ラインごとの奇数ラインである。また、ラインNは、最終の奇数番目の奇数ラインであり、第2の画素群Pg2に含まれる。第1の画素群Pg1は、ライン2~4およびライン6~8となる。また、第1の画素群には、最終の偶数ラインであるラインN-1も含まれる。
光源制御部13bは、光源12に、第2の画素群Pg2を構成する奇数番目の奇数ラインの露光期間にNBI光を照射させ、第1の画素群Pg1を構成する偶数番目の奇数ラインの露光期間に白色光を照射させる。図7の例では、光源制御部13bは、1番目の奇数ラインであるライン1の露光期間Tc1中に特殊光光源12bから特殊光であるNBI光を照射させ、2番目の奇数ラインであるライン3の露光期間Tc2中に白色光光源12aから白色光を照射させる。続いて、光源制御部13bは、3番目の奇数ラインであるライン5の露光期間Tc3中に特殊光光源12bから光を照射させ、4番目の奇数ラインであるライン7の露光期間Tc4中に白色光光源12aから白色光を照射させる。
光源制御部13bが、G,B画素を有するライン1の露光期間(期間Tc1)に特殊光光源12bから特殊光を照射させると、ライン1のG,B画素は、期間Tc1の間の特殊光照射による被検体2からの戻り光に含まれるG、B光をそれぞれ受光する。ただし、この期間Tc1の後半には、ライン2の露光期間の前半が対応する。このため、ライン2のG画素は、期間Tc1中の後半において、特殊光照射による被検体2からの戻り光に含まれるG光を受光する。一方、ライン2のR画素は、特殊光照射による被検体2からの戻り光にRの波長成分が含まれないため、期間Tc1中での電荷の蓄積はない。
その後、光源制御部13bが、期間Tc2の間、白色光光源12aから白色光を照射させる。期間Tc2は、R,G画素を有するライン2の露光期間の後半、G,B画素を有するライン3の露光期間の全期間、R,G画素を有するライン3の露光期間の前半に対応する。前述したように、ライン2のR画素への期間Tc1中に電荷の蓄積はないため、ライン2のR画素が受光する光は、期間Tc2の間の白色光照射による被検体2からの戻り光に含まれるR光のみである。ただし、ライン2のG画素は、期間Tc2の間の白色光照射による被検体2からの戻り光に含まれるG光に加えて、期間Tc1の間の特殊光照射による被検体2からの戻り光に含まれるG光も受光している。
続いて、光源制御部13bが、G,B画素を有するライン5の露光期間(期間Tc3)に特殊光光源12bから特殊光を照射させると、ライン5のG,B画素は、期間Tc3の間の特殊光照射による被検体2からの戻り光に含まれるG、B光をそれぞれ受光する。ただし、期間Tc3の前半は、ライン4の露光期間の後半に対応するため、ライン4のG画素は、期間Tc2の白色光照射による被写体2からの戻り光に含まれるG光に加えて、期間Tc3の特殊光照射による被写体2からの戻り光に含まれるG光も受光する。また、特殊光照射による被写体2からの戻り光にRの波長成分が含まれないため、期間Tc3中にライン4のR画素には電荷が蓄積されず、ライン4のR画素が受光する光は、期間Tc2の白色光照射による被検体2からの戻り光に含まれるR光のみとなる。
以降のラインについても、同様であり、光源制御部13bは、光源12に、第2の画素群Pg2を構成する奇数番目の奇数ラインの各露光期間に特殊光であるNBI光を照射させている。そして、光源制御部13bは、光源12に、第1の画素群Pg1を構成する偶数番目の奇数ラインの各露光期間であって、該奇数ラインに隣接する偶数ラインの露光期間の少なくとも一部を含む期間に白色光を照射させている。
この結果、第2の画素群Pg2のG,B画素は、特殊光光源12bによる特殊光照射時における被検体2からの戻り光であるG光、B光をそれぞれ受光する。したがって、撮像信号Dfにおける第2の画素群Pg2のG画素およびB画素の画素信号は、特殊光光源12bによる特殊光照射時における被検体2からの戻り光のG光、B光にそれぞれ対応した画素信号である。
そして、第1の画素群Pg1の奇数ラインのG,B画素は、白色光光源12aによる白色光照射時における被検体2からの戻り光に含まれるG光、B光をそれぞれ受光する。また、第1の画素群Pg1の偶数ラインのR画素は、白色光光源12aによる白色光照射時における被検体2からの戻り光に含まれるR光を受光する。したがって、撮像信号Dfにおける第1の画素群Pg1の奇数ラインのG画素およびB画素の画素信号、ならびに、第1の画素群Pg1の偶数ラインのR画素の画素信号は、白色光光源12aによる白色光照射時における被検体2からの戻り光のR光、G光、B光にそれぞれ対応した画素信号である。
図8は、図3に示す画像処理部34における画像処理について説明する図である。1フレーム分の撮像信号Dfは、カプセル型内視鏡10から受信装置20に送信され、受信装置20で所定の信号処理を施された後に、図8の矢印Y1のように、画像処理装置30に出力される。
分離部34aは、撮像制御部13aからの撮像制御信号によって撮像部11が生成した1フレームの撮像信号Dfから、第1の光である白色光の照射によって被検体2から戻った白色光のみを受光した第1の画素群のB画素、G画素およびR画素の撮像信号を第1の撮像信号として分離する。具体的には、分離部34aは、矢印Y2のように、撮像信号Dfから、第1の画素群Pg1である偶数番目の奇数ライン(ライン3、ライン7)のG画素およびB画素の撮像信号と、該偶数番目の奇数ラインの上下の偶数ライン(ライン2、ライン4、ライン6、ライン8)のR画素の撮像信号とを抽出し、第1の撮像信号Df1として分離する。第1の撮像信号Df1は、矢印Y4のように、白色光画像生成部34bに出力される。なお、前述したように、偶数ライン(ライン2、ライン4、ライン6、ライン8)のG画素は、白色光照射による被写体2からの戻り光に含まれるG光に加えて、特殊光照射による被写体2からの戻り光に含まれるG光も受光するため、偶数ラインのG画素の撮像信号は、第1の撮像信号として採用しない。
分離部34aは、撮像信号Dfから、第2の光であるNBI光の照射によって被検体2から戻ったB光とG光とのみを受光した第2の画素群のB画素とG画素との撮像信号を第2の撮像信号として分離する。具体的には、分離部34aは、矢印Y3のように、撮像信号Dfから、第2の画素群Pg2である奇数番目の奇数ライン(ライン1、ライン5、ラインN)のG画素およびB画素の撮像信号を抽出し、第2の撮像信号Df2として分離する。第2の撮像信号Df2は、矢印Y5のように、特殊光画像生成部34cに出力される。
続いて、白色光画像生成部34bは、分離部34aによって分離された撮像信号Df1に対して、同時化等の画像処理を行うことによって、白色光画像データG1を生成する。特殊光画像生成部34cは、分離部34aによって分離された撮像信号Df2に対して、同時化等の画像処理を行うことによって、特殊光画像データG2を生成する。
このように、画像処理部34では、同フレームの撮像信号Dfから、白色光照射時における被検体2からの戻り光の波長成分を有する光を受光する画素に基づいて生成された第1の撮像信号と、特殊光照射時における被検体2からの戻り光の波長成分を有する光を受光する画素に基づいて生成された第2の撮像信号とを分離し、分離した各撮像信号をもとに、撮像領域が同一である白色光画像データG1と特殊光画像データG2との2種の画像を生成している。画像処理部34において生成された2種の白色光画像データG1と特殊光画像データG2とは、出力部35において表示用画像に変換された後に、表示装置30aにおいて表示出力される。あるいは、画像処理部34において生成された2種の白色光画像データG1と特殊光画像データG2とは、制御部36の制御のもと、記憶部33に記憶される。
以上のように、実施の形態1では、光源制御部13bが、撮像部11を構成するCMOS撮像素子の各ラインが順次露光されるタイミングに応じて光源12に白色光の照射とNBI光の照射とを切り換えさせ、画像処理部34が、撮像部11が生成した1フレーム分の撮像信号から白色光画像のデータと特殊光画像のデータとを生成する。言い換えると、実施の形態1では、1枚のフレームの撮像信号から、撮像領域が同一である白色光画像と特殊光画像との2枚の画像を生成する。したがって、本実施の形態1によれば、フレーム間で撮像領域が変動した場合であっても、白色光画像と、該白色光画像に対応する特殊光画像との間で撮像領域の位置ずれが発生することはなく、撮像領域が同一である白色光画像と特殊光画像とを確実に取得することができるという効果を奏する。
(実施の形態2)
次に、実施の形態2について説明する。実施の形態2におけるカプセル型内視鏡システムは、実施の形態1におけるカプセル型内視鏡システム1と同様の構成を有する。図9は、実施の形態2におけるカプセル型内視鏡の撮像部におけるCMOS撮像素子の受光部の画素配置の一例を示す図である。
次に、実施の形態2について説明する。実施の形態2におけるカプセル型内視鏡システムは、実施の形態1におけるカプセル型内視鏡システム1と同様の構成を有する。図9は、実施の形態2におけるカプセル型内視鏡の撮像部におけるCMOS撮像素子の受光部の画素配置の一例を示す図である。
実施の形態2のCMOS撮像素子の受光部には、図9の画素配置11bに示すように、複数のB画素と複数のG画素とがラインの延伸方向に並んだ奇数ラインと、複数のR画素と複数のB画素とがラインの延伸方向に並んだ偶数ラインとが、ラインの延伸方向と直交する方向に交互に配置されている。実施の形態2では、図9の各ラインのうち、偶数番目の奇数ラインを第2の画素群Pg2-1とし、奇数番目の奇数ラインと該奇数ラインに隣接する前または後の偶数ラインとを第1の画素群Pg1-1として、光源制御処理、撮像制御処理、ならびに、画像処理を行う場合について説明する。図9の例では、第1の画素群は、ライン1,2、ライン4,5となる。最終のラインNは、奇数番目の奇数ラインであり、第1の画素群Pg1-1に含まれる。また、第2の画素群Pg2-1は、ライン3と、ライン7と、の4ラインごとの奇数ラインである。
図10は、実施の形態2のカプセル型内視鏡10の制御部による撮像部および光源の1フレーム期間あたりの制御動作を説明するためのタイミングチャートである。図10の(a)は、光源12の発光動作のタイミングチャートであり、図10の(b)は、撮像部11のCMOS撮像素子の各ラインの電荷リセット、露光、電荷読み出し動作のタイミングチャートであり、図10の(c)は、CMOS撮像素子によるデータの出力動作のタイミングチャートである。
図10の例では、図7の例と同様に、撮像制御部13aは、電荷リセット動作(期間Ta)、露光動作(期間2Ta)、ならびに、電荷読み出しおよびA/D変換動作(期間Ta)を、1ラインにつき期間Tbで行わせるとともに、期間Taずつ撮像動作の開始をずらしながら、先頭のライン1から最終のラインNまで順次撮像動作を行わせる。この結果、1フレーム分の撮像信号として、先頭のヘッダ以降、ライン1からラインNまで順に各ラインの画素データが配列する撮像信号Dfbが出力される。
そして、光源制御部13bは、光源12に、第1の画素群Pg1-1を構成する奇数番目の奇数ラインの露光期間に白色光を照射させ、第2の画素群Pg2-1を構成する偶数番目の奇数ラインの露光期間に特殊光であるNBI光を照射させる。
すなわち、図10に示すように、光源制御部13bは、1番目の奇数ラインであるライン1の露光期間Tc11中に白色光光源12aから白色光を照射させ、2番目の奇数ラインであるライン3の露光期間Tc12中に特殊光光源12bからNBI光を照射させる。続いて、光源制御部13bは、3番目の奇数ラインであるライン5の露光期間Tc13中に白色光光源12aから白色光を照射させ、4番目の奇数ラインであるライン7の露光期間Tc14中に特殊光光源12bからNBI光を照射させる。期間Tc11は、G,B画素を有するライン1の露光期間の全期間、R,B画素を有するライン2の露光期間の前半に対応する。期間Tc12は、G,B画素を有するライン3の露光期間の全期間に対応する。期間Tc13は、R,B画素を有するライン4の露光期間の後半、G,B画素を有するライン5の露光期間の全期間に対応する。期間Tc14は、G,B画素を有するライン7の露光期間の全期間に対応する。
したがって、奇数番目の奇数ライン1,5のG,B画素は、白色光光源12aによる白色光照射時における被検体2からの戻り光に含まれるG光、B光をそれぞれ受光する。また、奇数番目の次の偶数ライン2,4のR画素は、白色光光源12aによる白色光照射時における被検体2からの戻り光に含まれるR光を受光する。すなわち、撮像信号Dfbの第1の画素群Pg1-1を構成する奇数番目の奇数ラインのG画素およびB画素の画素信号、ならびに、この奇数ラインの次の偶数ラインのR画素の画素信号は、白色光光源12aによる白色光照射時における被検体2からの戻り光のR光、G光、B光にそれぞれ対応した画素信号である。
また、第2の画素群Pg2-1を構成する偶数番目の奇数ライン3,7のG,B画素は、特殊光光源12bによる特殊光照射時における被検体2からの戻り光であるG光、B光をそれぞれ受光する。したがって、撮像信号Dfbの第2の画素群Pg2-1を構成する偶数番目の奇数ラインのG画素およびB画素の画素信号は、特殊光光源12bによる特殊光照射時における被検体2からの戻り光のG光、B光にそれぞれ対応した画素信号である。
図11は、実施の形態2の画像処理装置30の画像処理部34における画像処理について説明する図である。実施の形態2において、分離部34aは、矢印Y11のように、撮像部11が生成した1フレームの撮像信号Dfbが入力される。続いて、分離部34aは、矢印Y12のように、撮像信号Dfbから、第1の画素群Pg1-1である奇数番目の奇数ライン(ライン1、ライン5、ラインN)のG画素およびB画素の撮像信号と、該奇数番目の前または後の偶数ライン(ライン2、ライン4)のR画素の撮像信号とを、第1の撮像信号Df11として分離する。なお、偶数ライン(ライン2、ライン4)のB画素は、白色光照射による被写体2からの戻り光に含まれるB光に加えて、特殊光照射による被写体2からの戻り光に含まれるB光も受光するため、偶数ラインのB画素の撮像信号は、第1の撮像信号として採用しない。また、第1の撮像信号として、第1の画素群Pg1-1の奇数番目の奇数ラインに隣接する上下の偶数ラインのR画素を採用してもよい。
そして、分離部34aは、矢印Y13のように、撮像信号Dfbから、第2の画素群Pg2-1である偶数番目の奇数ライン(ライン3、ライン7)のG画素およびB画素の撮像信号を、第2の撮像信号Df12として分離する。
続いて、白色光画像生成部34bは、矢印Y14のように入力された撮像信号Df11に対して、同時化等の画像処理を行うことによって、白色光画像データG11を生成する。特殊光画像生成部34cは、矢印Y15のように入力された撮像信号Df12に対して、同時化等の画像処理を行うことによって、特殊光画像データG12を生成する。
このように、撮像部11のCMOS撮像素子の画素配置に応じて、第1の画素群および第2の画素群を構成するラインを選択し、第1の画素群および第2の画素群のラインに含まれる画素の構成および露光期間に応じて、光源制御処理、撮像制御処理、ならびに、画像処理を行うことによって、実施の形態1と同様に、1枚のフレームの撮像信号から、撮像領域が同一である白色光画像と特殊光画像との2枚の画像を生成することができる。
(実施の形態3)
次に、実施の形態3について説明する。実施の形態3におけるカプセル型内視鏡システムは、実施の形態1におけるカプセル型内視鏡システム1と同様の構成を有する。
次に、実施の形態3について説明する。実施の形態3におけるカプセル型内視鏡システムは、実施の形態1におけるカプセル型内視鏡システム1と同様の構成を有する。
図12Aは、実施の形態3における白色光光源12aの放射輝度の波長依存性を示す図である。図12Bは、実施の形態3における特殊光光源12bの放射輝度の波長依存性を示す図である。図12Cは、実施の形態3において特殊光照射時における被検体2からの戻り光の波長依存性を示す図である。図12Dは、撮像部11のCMOS撮像素子のB画素(曲線Mb)、G画素(曲線Mg)、R画素(曲線Mr)の分光感度の波長依存性を示す図である。なお、撮像部11のCMOS撮像素子の受光部は、図4に示す画素配置でR,G,B画素が配置する。
図12Aに示すように、白色光光源12aは、実施の形態1と同様の波長分布の白色光を発する。図12Bに示すように、特殊光光源12bは、390~470nmの波長範囲で強度を有する青色光を蛍光励起光として発する。図12Cに示すように、特殊光光源12bによる蛍光励起光を照射された被検体2は、約540~560nmの波長分布Dcを有する緑色の蛍光を発する。図12Dの曲線Mgに示すように、被検体2の蛍光は、撮像部11のCMOS撮像素子におけるG画素にて受光可能である。
図13は、実施の形態3のカプセル型内視鏡10の制御部13による撮像部11および光源12の1フレーム期間あたりの制御動作を説明するためのタイミングチャートである。図13の(a)は、光源12の発光動作のタイミングチャートであり、図13の(b)は、撮像部11のCMOS撮像素子の各ラインの電荷リセット、露光、電荷読み出し動作のタイミングチャートであり、図13の(c)は、CMOS撮像素子によるデータの出力動作のタイミングチャートである。
実施の形態3の場合には、図13に示すように、実施の形態1と同様に、奇数番目の奇数ラインを第2の画素群Pg2-2とし、偶数番目の奇数ラインと該奇数ラインに隣接する上下の偶数ラインとを第1の画素群Pg1-2として、光源制御処理、撮像制御処理、ならびに、画像処理を行う。すなわち、図13に示すように、第1の画素群Pg1-2は、ライン2~4,6~8となる。また、第2の画素群Pg2-2は、ライン1と、ライン5となる。
図13の例では、図7の例と同様に、撮像制御部13aは、電荷リセット動作(期間Ta)、露光動作(期間2Ta)、ならびに、電荷読み出しおよびA/D変換動作(期間Ta)を、1ラインにつき期間Tbで行わせるとともに、期間Taずつ撮像動作の開始をずらしながら、先頭のライン1から最終のラインNまで順次撮像動作を行わせる。この結果、1フレーム分の撮像信号として、先頭のヘッダ以降、ライン1からラインNまで順に各ラインの画素データが配列する撮像信号Dfcが出力される。
そして、光源制御部13bは、光源12に、第1の画素群Pg1-2を構成する偶数番目の奇数ラインの露光期間に白色光を照射させ、第2の画素群Pg2-2を構成する奇数番目の奇数ラインの露光期間に特殊光である蛍光励起光を照射させる。
すなわち、図13に示すように、光源制御部13bは、1番目の奇数ラインであるライン1の露光期間Tc21中に特殊光光源12bから蛍光励起光を照射させ、2番目の奇数ラインであるライン3の露光期間Tc22中に白色光光源12aから白色光を照射させる。続いて、光源制御部13bは、3番目の奇数ラインであるライン5の露光期間Tc23中に特殊光光源12bから蛍光励起光を照射させ、4番目の奇数ラインであるライン7の露光期間Tc14中に白色光光源12aから白色光を照射させる。期間Tc21は、G,B画素を有するライン1の露光期間の全期間、R,G画素を有するライン2の露光期間の前半に対応する。期間Tc22は、R,G画素を有するライン2の露光期間の後半、G,B画素を有するライン3の露光期間の全期間、ならびに、R,G画素を有するライン4の露光期間の前半に対応する。期間Tc23は、R,G画素を有するライン4の露光期間の後半、G,B画素を有するライン5の露光期間の全期間、ならびに、R,G画素を有するライン6の露光期間の前半に対応する。期間Tc24は、R,G画素を有するライン6の露光期間の後半、G,B画素を有するライン7の露光期間の全期間、ならびに、R,G画素を有するライン8の露光期間の前半に対応する。
したがって、第2の画素群Pg2-2を構成する奇数番目の奇数ライン1,5のG画素は、特殊光光源12bによる蛍光励起光照射時によって被検体2から発せられた蛍光の波長成分であるG光を受光する。したがって、撮像信号Dfcの第2の画素群Pg2-2を構成する奇数番目の奇数ラインのG画素の画素信号は、特殊光光源12bから蛍光励起光を照射した場合に被検体2から発せられた蛍光に対応した画素信号である。
また、偶数番目の奇数ライン3,7のG,B画素は、白色光光源12aによる白色光照射時における被検体2からの戻り光に含まれるG光、B光をそれぞれ受光する。また、偶数番目の奇数ラインの上下の偶数ライン2,4,6,8のR画素は、白色光光源12aによる白色光照射時における被検体2からの戻り光に含まれるR光を受光する。すなわち、撮像信号Dfcの第1の画素群Pg1-2を構成する偶数番目の奇数ラインのG画素およびB画素の画素信号、ならびに、この奇数ラインの上下の偶数ラインのR画素の画素信号は、白色光光源12aによる白色光照射時における被検体2からの戻り光のR光、G光、B光にそれぞれ対応した画素信号である。
図14は、実施の形態3の画像処理装置30の画像処理部34における画像処理について説明する図である。実施の形態3において、分離部34aは、矢印Y21のように、撮像部11が生成した1フレームの撮像信号Dfcが入力される。続いて、分離部34aは、矢印Y22のように、撮像信号Dfcから、第1の画素群Pg1-2である偶数番目の奇数ライン(ライン3、ライン7)のG画素およびB画素の撮像信号と、該奇数番目の上下の偶数ライン(ライン2、ライン4、ライン6、ライン8)のR画素の撮像信号とを、第1の撮像信号Df21として分離する。この第1の撮像信号Df21は、実施の形態1と同様に、矢印Y24のように白色光画像生成部34bに出力される。なお、実施の形態1と同様に、偶数ライン(ライン2、ライン4、ライン6、ライン8)のG画素は、白色光照射による被写体2からの戻り光に含まれるG光に加えて、蛍光励起光照射による被写体2の蛍光も受光するため、偶数ラインのG画素の撮像信号は、第1の撮像信号として採用しない。
そして、分離部34aは、矢印Y23のように、撮像信号Dfcから、被検体2からの蛍光データに対応する第2の画素群Pg2-2の奇数番目の奇数ライン(ライン1、ライン5)のG画素の撮像信号とともに、偶数番目の奇数ライン(ライン3、ライン7)のG画素の撮像信号をリファレンスデータとして抽出し、矢印Y25のように、第2の撮像信号Df22として特殊光画像生成部34cに出力する。
続いて、白色光画像生成部34bは、実施の形態1と同様に、撮像信号Df21に対して、同時化等の画像処理を行うことによって、白色光画像データG1を生成する。特殊光画像生成部34cは、撮像信号Df22に含まれる蛍光データとリファレンスデータとの差分を強調して表示した特殊光画像G22を生成する。画像処理部34において生成された2種の白色光画像データG21と特殊光画像データG22とは、表示装置30aにおいて表示出力される他、記憶部33に記憶される。
実施の形態3のように、特殊光として蛍光励起光を照射した場合も、蛍光励起光の照射によって被検体2から発せられた蛍光を受光する画素に応じて第2の画素群Pg2-2を構成するラインを選択すればよい。そして、実施の形態3でも、実施の形態1と同様に、第1の画素群Pg1-2および第2の画素群Pg2-2のラインに含まれる画素の構成および露光期間に応じて、光源制御処理、撮像制御処理、ならびに、画像処理を行う。この結果、実施の形態3においても、1枚のフレームの撮像信号から、撮像領域が同一である白色光画像と、蛍光データに対応する特殊光画像との2枚の画像を生成することができる。
なお、実施の形態1~3では、画像処理装置30が分離部、白色光画像生成部、特殊光画像生成部を備えた例について説明したが、もちろん、この構成に限ることはない。図15は、本実施の形態1~3における受信装置および画像処理装置の構成の他の例を示すブロック図である。この図15の受信装置120に示すように、画像処理装置130の画像処理部134ではなく、受信信号処理部122に、分離部34a,白色光画像生成部34b、特殊光画像生成部34cを設け、受信装置120において、2種の画像の分離処理および画像生成処理を行ってもよい。
また、本実施の形態1~3は、カプセル型内視鏡を使用するカプセル型内視鏡システムに限るものではなく、被検体内に挿入される挿入部と画像処理を行う処理装置とが連結する構成の内視鏡システムにも適用可能である。
図16は、本発明の実施の形態1~3にかかる内視鏡システムの他の例を示すブロック図である。内視鏡システム201は、被検体内に挿入される挿入部210と、処理装置230と、光源装置240とを備える。挿入部210は、先端に撮像部11が設けられ、コネクタ238を介して処理装置230と接続する。
処理装置230は、入力部31、記憶部33、画像処理部234、出力部35、制御部236、ならびに、異常検出部37を有する。画像処理部234は、画像処理部34と同様に、撮像部11によって生成された撮像信号に対応する体内画像を作成するための所定の画像処理を施す。画像処理部234は、分離部34a、白色光画像生成部34bおよび特殊光画像生成部34cを備える。制御部236は、CPU等を用いて実現され、処理装置230の各部の処理動作を制御するとともに、撮像部11および光源装置240の処理動作も制御する。制御部236は、撮像制御部13aおよび光源制御部13bを有する。
光源装置240は、光源ドライバ241と、白色光光源212aと特殊光光源212bとを有する光源212を備え、撮像部11のラインごとの露光に対応させて、白色光と特殊光とを時系列に切り換えて被検体に照射可能である。光源ドライバ241は、光源制御部13bの制御のもと、光源212に所定の電力を供給する。これにより、光源212から発せられた光は、コネクタ242およびコード243を介して挿入部210先端の照明口244から生体組織に照射される。
内視鏡システム201でも、実施の形態1~3と同様に、撮像部11のCMOS撮像素子の画素配置、白色光照射時に被検体から戻った白色光を受光する画素、ならびに、特殊光照射時に被検体からの戻り光を受光する画素に応じて、第1の画素群および第2の画素群を構成するラインを選択する。そして、内視鏡システム201は、実施の形態1~3と同様に、第1の画素群および第2の画素群のラインに含まれる画素の構成および露光期間に応じて、光源制御処理、撮像制御処理、ならびに、画像処理を行う。この結果、内視鏡システム201においても、同じフレームの撮像信号から白色光画像と特殊光画像との2種の画像を生成することができる。
また、本実施の形態にかかるカプセル型内視鏡システム1の画像処理装置30、受信装置120および内視鏡システム201の処理装置230、並びに、他の構成部で実行される各処理に対する実行プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよく、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
1 カプセル型内視鏡システム
2 被検体
3a~3h 受信アンテナ
3 受信アンテナユニット
10 カプセル型内視鏡
11 撮像部
12 光源
12a 白色光光源
12b 特殊光光源
13,23,36,236 制御部
13a 撮像制御部
13b 光源制御部
14 信号処理部
15 送信部
16 アンテナ
17,25 メモリ
18,28 電源部
20,120 受信装置
20a クレードル
21 受信部
22,122 受信信号処理部
24,32 データ送受信部
26 操作部
27 表示部
30,130 画像処理装置
30a 表示装置
31 入力部
33 記憶部
34,134,234 画像処理部
34a 分離部
34b 白色光画像生成部
34c 特殊光画像生成部
35 出力部
37 異常検出部
201 内視鏡システム
210 挿入部
230 処理装置
238,242 コネクタ
240 光源装置
241 光源ドライバ
244 照明口
2 被検体
3a~3h 受信アンテナ
3 受信アンテナユニット
10 カプセル型内視鏡
11 撮像部
12 光源
12a 白色光光源
12b 特殊光光源
13,23,36,236 制御部
13a 撮像制御部
13b 光源制御部
14 信号処理部
15 送信部
16 アンテナ
17,25 メモリ
18,28 電源部
20,120 受信装置
20a クレードル
21 受信部
22,122 受信信号処理部
24,32 データ送受信部
26 操作部
27 表示部
30,130 画像処理装置
30a 表示装置
31 入力部
33 記憶部
34,134,234 画像処理部
34a 分離部
34b 白色光画像生成部
34c 特殊光画像生成部
35 出力部
37 異常検出部
201 内視鏡システム
210 挿入部
230 処理装置
238,242 コネクタ
240 光源装置
241 光源ドライバ
244 照明口
Claims (13)
- 第1の波長分布を有する第1の光を発生する第1の光源と、前記第1の波長分布と異なる波長分布を有する第2の光を発生する第2の光源とを有し、前記第1の光と前記第2の光とを時系列的に切り換えて被検体に照射可能である光源と、
複数の画素から構成される画素群を複数有し、前記被検体からの光を光電変換して撮像信号を生成する撮像部と、
前記画素群ごとに、順次露光し、かつ、前記撮像信号を順次読み出すように前記撮像部を制御する撮像制御信号を出力する撮像制御部と、
前記撮像制御信号に基づき、前記光源に対し、前記画素群が順次露光されるタイミングに応じて前記第1の光の照射と前記第2の光の照射とを切り換える制御を行う光源制御信号を出力する光源制御部と、
前記撮像部が生成した撮像信号を処理する信号処理部と、
を備えたことを特徴とする内視鏡システム。 - 前記撮像部は、前記第1の光を前記被検体に照射した場合に前記被検体からの戻り光の波長成分である第3の波長成分を有する光を受光する画素を含む第1の画素群と、前記第2の光を前記被検体に照射した場合に前記被検体からの戻り光の波長成分である第4の波長成分を有する光を受光する画素を含む第2の画素群とを有し、
前記光源制御部は、前記第1の画素群が露光されるタイミングに合わせて前記第1の光を照射し、前記第2の画素群が露光されるタイミングに合わせて前記第2の光を照射するように前記光源を制御することを特徴とする請求項1に記載の内視鏡システム。 - 前記信号処理部は、
前記撮像部が生成した1フレームの撮像信号から、前記第1の画素群のうちの前記第3の波長成分を有する光を受光した画素に基づいて生成される第1の撮像信号と、前記第2の画素群のうちの前記第4の波長成分を有する光を受光した画素に基づいて生成される第2の撮像信号とを分離する分離部と、
前記第1の撮像信号をもとに前記第1の光に対応する第1の画像を生成し、前記第2の撮像信号をもとに前記第2の光に対応する第2の画像を生成する画像生成部と、
を備えたことを特徴とする請求項2に記載の内視鏡システム。 - 前記第1の光は、白色光であり、
前記第2の光は、青色の波長成分を有する青色光および緑色の波長成分を有する緑色光を含む狭帯域光であり、
前記第1の画素群は、前記青色光に感度を有する青色画素と前記緑色光に感度を有する緑色画素と赤色の波長成分を有する赤色光に感度を有する赤色画素とを有し、
前記第2の画素群は、前記青色画素と前記緑色画素とを有することを特徴とする請求項3に記載の内視鏡システム。 - 前記撮像部は、複数の前記青色画素と複数の前記緑色画素とがラインの延伸方向に交互に並んだ第1のラインと、複数の前記緑色画素と複数の前記赤色画素とがラインの延伸方向に交互に並んだ第2のラインとが、ラインの延伸方向と直交する方向に交互に複数ずつ配置されており、
前記撮像制御部は、前記撮像部における先頭のラインから最終のラインまでラインごとに順次露光および読み出しを行い、
前記第1の画素群は、複数の前記第1のラインの一部のラインと該一部のラインに隣接する前記第2のラインとによって構成され、
前記第2の画素群は、複数の前記第1のラインの残りのラインによって構成され、
前記光源制御部は、前記光源に、複数の前記第1のラインの一部のラインの露光期間と該一部のラインに隣接する前記第2のラインの露光期間の少なくとも一部とを含む期間に前記第1の光を照射させ、前記第2の画素群を構成する前記第1のラインの残りのラインの露光期間に前記第2の光を照射させることを特徴とする請求項4に記載の内視鏡システム。 - 前記撮像制御部は、隣り合う前記第1のラインでは、一方の露光終了以降に他方の露光を開始させることを特徴とする請求項5に記載の内視鏡システム。
- 前記撮像部は、複数の前記青色画素と複数の前記緑色画素とがラインの延伸方向に交互に並んだ第1のラインと、複数の前記青色画素と複数の前記赤色画素とがラインの延伸方向に交互に並んだ第2のラインとが、ラインの延伸方向と直交する方向に交互に複数ずつ配置されており、
前記撮像制御部は、前記撮像部における先頭のラインから最終のラインまでラインごとに順次露光および読み出しを行い、
前記第1の画素群は、複数の前記第1のラインの一部のラインと該一部のラインに隣接する前記第2のラインとによって構成され、
前記第2の画素群は、複数の前記第1のラインの残りのラインによって構成され、
前記光源制御部は、前記光源に、複数の前記第1のラインの一部のラインの露光期間と該一部のラインに隣接する前記第2のラインの露光期間の少なくとも一部とを含む期間に前記第1の光を照射させ、前記第2の画素群を構成する前記第1のラインの残りのラインの露光期間に前記第2の光を照射させることを特徴とする請求項4に記載の内視鏡システム。 - 前記撮像制御部は、隣り合う前記第1のラインでは、一方の露光終了以降に他方の露光を開始させることを特徴とする請求項7に記載の内視鏡システム。
- 前記第1の光は、白色光であり、
前記第2の光は、青色の波長成分を有し、波長540~560nmの蛍光を励起する蛍光励起光であり、
前記第1の画素群は、青色の波長成分を有する青色光に感度を有する青色画素と緑色の波長成分を有する緑色光に感度を有する緑色画素と赤色の波長成分を有する赤色光に感度を有する赤色画素とを有し、
前記第2の画素群は、前記緑色画素を有することを特徴とする請求項3に記載の内視鏡システム。 - 前記撮像部は、複数の前記青色画素と複数の前記緑色画素とがラインの延伸方向に交互に並んだ第1のラインと、複数の前記緑色画素と複数の前記赤色画素とがラインの延伸方向に交互に並んだ第2のラインとが、ラインの延伸方向と直交する方向に交互に配置されており、
前記撮像制御部は、前記撮像部における先頭のラインから最終のラインまでラインごとに順次露光および読み出しを行い、
前記第1の画素群は、複数の前記第1のラインの一部のラインと該一部のラインに隣接する前記第2のラインとによって構成され、
前記第2の画素群は、複数の前記第1のラインの残りのラインによって構成され、
前記光源制御部は、前記光源に、複数の前記第1のラインの一部のラインの露光期間と該一部のラインに隣接する前記第2のラインの露光期間の少なくとも一部とを含む期間に前記第1の光を照射させ、前記第2の画素群を構成する前記第1のラインのうちの残りのラインの露光期間に前記第2の光を照射させることを特徴とする請求項9に記載の内視鏡システム。 - 前記撮像制御部は、隣り合う前記第1のラインでは、一方の露光終了以降に他方の露光を開始させることを特徴とする請求項10に記載の内視鏡システム。
- 前記光源制御部は、前記光源に対して間欠照明を行わせることを特徴とする請求項1に記載の内視鏡システム。
- 第1の波長分布を有する第1の光を発生する第1の光源と、前記第1の波長分布と異なる波長分布を有する第2の光を発生する第2の光源とを有し、前記第1の光と前記第2の光とを時系列的に切り換えて被検体に照射可能である光源と、
複数の画素から構成される画素群を複数有し、前記被検体からの光を光電変換して撮像信号を生成する撮像部と、
前記画素群ごとに、順次露光し、かつ、前記撮像信号を順次読み出すように前記撮像部を制御する撮像制御信号を出力する撮像制御部と、
前記撮像制御信号に基づき、前記光源に対し、前記画素群が順次露光されるタイミングに応じて前記第1の光の照射と前記第2の光の照射とを切り換える制御を行う光源制御信号を出力する光源制御部と、
を備えたことを特徴とする内視鏡装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015547181A JP5927356B2 (ja) | 2014-06-04 | 2015-03-10 | 内視鏡システムおよび内視鏡装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014116252 | 2014-06-04 | ||
JP2014-116252 | 2014-06-04 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015186396A1 true WO2015186396A1 (ja) | 2015-12-10 |
Family
ID=54766477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/056910 WO2015186396A1 (ja) | 2014-06-04 | 2015-03-10 | 内視鏡システムおよび内視鏡装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5927356B2 (ja) |
WO (1) | WO2015186396A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63167577A (ja) * | 1986-12-27 | 1988-07-11 | Olympus Optical Co Ltd | 撮像装置 |
JP2007075198A (ja) * | 2005-09-12 | 2007-03-29 | Pentax Corp | 電子内視鏡システム |
JP2010184046A (ja) * | 2009-02-12 | 2010-08-26 | Fujifilm Corp | 内視鏡、内視鏡駆動方法、並びに内視鏡システム |
JP2012023492A (ja) * | 2010-07-13 | 2012-02-02 | Sony Corp | 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法 |
WO2012043771A1 (ja) * | 2010-09-30 | 2012-04-05 | オリンパスメディカルシステムズ株式会社 | 撮像装置 |
JP2012125502A (ja) * | 2010-12-17 | 2012-07-05 | Hoya Corp | 内視鏡プロセッサ |
WO2013146311A1 (ja) * | 2012-03-28 | 2013-10-03 | 富士フイルム株式会社 | 撮像装置、及びこれを備える内視鏡装置 |
-
2015
- 2015-03-10 JP JP2015547181A patent/JP5927356B2/ja active Active
- 2015-03-10 WO PCT/JP2015/056910 patent/WO2015186396A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63167577A (ja) * | 1986-12-27 | 1988-07-11 | Olympus Optical Co Ltd | 撮像装置 |
JP2007075198A (ja) * | 2005-09-12 | 2007-03-29 | Pentax Corp | 電子内視鏡システム |
JP2010184046A (ja) * | 2009-02-12 | 2010-08-26 | Fujifilm Corp | 内視鏡、内視鏡駆動方法、並びに内視鏡システム |
JP2012023492A (ja) * | 2010-07-13 | 2012-02-02 | Sony Corp | 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法 |
WO2012043771A1 (ja) * | 2010-09-30 | 2012-04-05 | オリンパスメディカルシステムズ株式会社 | 撮像装置 |
JP2012125502A (ja) * | 2010-12-17 | 2012-07-05 | Hoya Corp | 内視鏡プロセッサ |
WO2013146311A1 (ja) * | 2012-03-28 | 2013-10-03 | 富士フイルム株式会社 | 撮像装置、及びこれを備える内視鏡装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2015186396A1 (ja) | 2017-04-20 |
JP5927356B2 (ja) | 2016-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8643710B2 (en) | Image pickup apparatus | |
US10264948B2 (en) | Endoscope device | |
WO2017038774A1 (ja) | 撮像システム、処理装置、処理方法及び処理プログラム | |
WO2016129062A1 (ja) | 画像処理装置、内視鏡システム、撮像装置、画像処理方法およびプログラム | |
CN107113405B (zh) | 图像处理装置、图像处理装置的工作方法、记录介质和内窥镜装置 | |
JP5698883B1 (ja) | 内視鏡システム | |
US11571111B2 (en) | Endoscope scope, endoscope processor, and endoscope adaptor | |
WO2009087800A1 (ja) | 医療用画像処理装置及び医療用撮像システム | |
US20140321724A1 (en) | Image processing apparatus and image processing method | |
JPWO2019069414A1 (ja) | 内視鏡装置、画像処理方法およびプログラム | |
JPWO2016098171A1 (ja) | 撮像装置およびカプセル型内視鏡 | |
JP6137892B2 (ja) | 撮像システム | |
US20170276847A1 (en) | Imaging system | |
US10901199B2 (en) | Endoscope system having variable focal length lens that switches between two or more values | |
JP6945660B2 (ja) | 撮像システムおよび処理装置 | |
JP5927356B2 (ja) | 内視鏡システムおよび内視鏡装置 | |
CN109862820B (zh) | 接收天线、接收天线单元以及接收系统 | |
JP6230511B2 (ja) | 内視鏡装置 | |
JP7224963B2 (ja) | 医療用制御装置及び医療用観察システム | |
JP5932191B1 (ja) | 伝送システムおよび処理装置 | |
JP6937902B2 (ja) | 内視鏡システム | |
JP6214841B1 (ja) | 被検体内導入装置、送信方法及びプログラム | |
WO2017221468A1 (ja) | 被検体内導入装置、送信方法及びプログラム | |
JP2024089352A (ja) | 電子内視鏡システム | |
WO2017130752A1 (ja) | 撮像装置及び処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2015547181 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15803961 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15803961 Country of ref document: EP Kind code of ref document: A1 |