WO2014175044A1 - 撮像装置及び撮像システム - Google Patents

撮像装置及び撮像システム Download PDF

Info

Publication number
WO2014175044A1
WO2014175044A1 PCT/JP2014/059996 JP2014059996W WO2014175044A1 WO 2014175044 A1 WO2014175044 A1 WO 2014175044A1 JP 2014059996 W JP2014059996 W JP 2014059996W WO 2014175044 A1 WO2014175044 A1 WO 2014175044A1
Authority
WO
WIPO (PCT)
Prior art keywords
visible light
imaging
signal
unit
light
Prior art date
Application number
PCT/JP2014/059996
Other languages
English (en)
French (fr)
Inventor
塩川　淳司
雄一 野中
健 木佐貫
西澤　明仁
Original Assignee
日立マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立マクセル株式会社 filed Critical 日立マクセル株式会社
Priority to US14/786,230 priority Critical patent/US20160065865A1/en
Priority to CN201480023324.5A priority patent/CN105144688B/zh
Publication of WO2014175044A1 publication Critical patent/WO2014175044A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light

Definitions

  • the present invention relates to an imaging apparatus and an imaging system.
  • Patent Document 1 Japanese Patent Laid-Open No. 2003-189297
  • This Patent Document 1 provides “(Problem) An image processing apparatus and an imaging apparatus capable of improving the visibility of a target object. (Solution means)
  • This image processing apparatus has a luminance among pixels constituting a visible image. The luminance of the pixel of the infrared image at the address corresponding to the obtained address is decreased, and the infrared light source 4 is intermittently turned on in synchronization with the income of the infrared image. Since the user can visually observe the visible image, by reducing the luminance of the pixels of the infrared image corresponding to this portion, only the image of the object that cannot be visually observed can be selectively obtained. That is, the visibility of an object that is difficult to see can be improved. "
  • the user can visually recognize a visible image. Therefore, by reducing the luminance of the pixel of the infrared image corresponding to this portion, it is possible to selectively obtain only an image of an invisible object. It is possible to improve the visibility of a target object, that is, an object that is difficult to see. ”However, there is room for improvement because an object that cannot be seen and an object that can be seen cannot be seen at the same time.
  • the present invention provides an imaging device and an imaging system with higher visibility.
  • An imaging unit that captures a subject to obtain a visible light signal and an invisible light signal, a first luminance generation unit that generates a visible light luminance signal using a visible light signal output from the imaging unit, A second luminance generation unit that generates a non-visible light luminance signal using a non-visible light signal output from the imaging unit, a visible light luminance signal generated by the first luminance generation unit, and the second luminance generation unit
  • An image correction processing unit that performs a correction process using the invisible light luminance signal generated in step, and a control unit that controls at least the image correction processing unit.
  • An image pickup apparatus that performs correction processing by adding a correction signal generated using a light luminance signal to the visible light signal.
  • An imaging apparatus comprising: an image correction processing unit that performs correction processing by adding a signal to the visible light luminance signal generated by the first luminance generation unit; and a control unit that controls at least the image correction processing unit;
  • An image display system comprising: an image display unit configured to input and display a corrected image output from the image pickup apparatus.
  • FIG. 1 It is a figure which shows one Example of the imaging device which concerns on this invention. It is a figure which shows the pixel structural example of the image pick-up element used for the imaging part of the imaging device shown in FIG. It is a figure which shows an example of the spectral characteristic with respect to the wavelength of the light of each pixel of the image pick-up element shown in FIG. It is a figure which shows the other example of the spectral characteristic with respect to the wavelength of the light of each pixel of the image pick-up element shown in FIG. It is a figure which shows an example of the pixel structure of the visible light + invisible light sensor different from the image pick-up element shown in FIG.
  • FIG. 6 is a diagram illustrating another example of the spectral characteristic with respect to the wavelength of light of each pixel of the image sensor illustrated in FIG. 5.
  • FIG. 2 is a diagram illustrating an example of a specific configuration of an image correction processing unit of the imaging apparatus illustrated in FIG. 1. It is the figure which showed the modification of the image correction process part of the imaging device shown in FIG. It is a figure which shows the other detailed structural example of the imaging part of the imaging device shown in FIG. It is a figure which shows an example of lighting control of the isolation
  • FIG. 1 is an overall configuration diagram showing an embodiment of an imaging apparatus according to the present invention.
  • visible light is the wavelength band of all or any of green (hereinafter G), blue (hereinafter B), and red (hereinafter R), and invisible light is infrared or near infrared ( Hereinafter, it refers to the wavelength band of light of IR).
  • an imaging apparatus 100 includes an imaging unit 101, a color signal processing unit 102, a gamma processing unit 103, a color difference generation unit 104, a visible light luminance signal processing unit 105 as a first luminance generation unit, and a second
  • the invisible light luminance signal processing unit 106, the image correction processing unit 107, the luminance gamma processing unit 108, the image output processing unit 109, and the control unit 110, which are luminance generation units, are appropriately used.
  • the imaging unit 101 is configured by appropriately using an optical system component such as a pixel having sensitivity to light having a wavelength in the visible light region, which will be described later, and a pixel having sensitivity to light having a wavelength in the invisible light region, and a lens.
  • the color signal processing unit 102 generates a color signal from the output of the imaging unit 101.
  • the gamma processing unit 103 converts the color signal output from the color signal processing unit 102 into a gamma characteristic curve.
  • the color difference generation unit 104 converts the output of the gamma processing unit 103 into a color difference signal.
  • the visible light luminance signal processing unit 105 generates a visible light luminance signal from the visible light component signal output of the imaging unit 101 by demosaicing or other processing.
  • the non-visible light luminance signal processing unit 106 generates a non-visible light luminance signal from the non-visible light signal output of the imaging unit 101 by demosaicing or other processing.
  • the image correction processing unit 107 synthesizes the visible light luminance output of the visible light luminance signal processing unit 105 and the non-visible light luminance output of the non-visible light luminance signal processing unit 106 by a synthesis method described later.
  • the luminance gamma processing unit 108 converts the signal output corrected by the image correction processing unit 107 into a gamma characteristic curve and generates a luminance signal.
  • the image output processing unit 109 outputs a color difference signal output from the color difference generation unit 104 and a luminance signal output from the luminance gamma processing unit 107 to a predetermined output specification (for example, non-compressed digital output or compressed network output) Etc.).
  • the control unit 110 controls the imaging unit 101, the color signal processing unit 102, the visible light luminance signal processing unit 105, the invisible light luminance signal processing unit 106, and the image correction processing unit 107.
  • the visible light signal photoelectrically converted by the imaging unit 101 is subjected to color signal generation processing by the color signal processing unit 102, gamma correction processing by the gamma processing unit 103, and conversion processing to color difference signals by the color difference generation unit 104. And is converted into a visible light luminance signal by the visible light luminance signal processing unit 105.
  • the non-visible light signal photoelectrically converted by the imaging unit 101 is converted into a non-visible light luminance signal by the non-visible light luminance signal processing unit 106.
  • the visible light luminance signal and the invisible light luminance signal obtained by these processes are subjected to an image correction process by being subjected to a synthesizing process described later in accordance with the control of the control unit 110 described later in the image correction processing unit 107. .
  • the correction output of the image correction processing unit 107 is converted into a luminance signal that has been subjected to gamma correction processing by the luminance gamma processing unit 108.
  • the color difference signal generated by the color difference generation unit 104 and the luminance signal generated by the luminance gamma processing unit 108 are output as image signals from the image output processing unit 109 to an external display device or the like.
  • the imaging unit 101 not only the position of the image but also the visible light component signal output from the imaging unit 101 is converted into the visible light luminance signal by the visible light luminance signal processing unit 105 and the non-visible light component signal is output.
  • the non-visible light luminance signal processing unit 106 processes the non-visible light luminance signal, and the image correction processing unit 107 performs correction processing using both signals. It is possible to provide an imaging device with high visibility as a whole screen at the same time for not only a portion but also a subject portion with low visible light and low visibility.
  • FIG. 2 is a diagram illustrating a pixel configuration example of an imaging element used in the imaging unit of the imaging apparatus shown in FIG.
  • a pixel 201 having a main sensitivity to R a pixel 202 having a main sensitivity to G
  • a pixel 203 having a main sensitivity to B
  • a main sensitivity to invisible light denoted as IR
  • FIG. 3 is a diagram showing an example of sensitivity characteristics with respect to the wavelength of light of each pixel of the image sensor shown in FIG. 2, that is, spectral characteristics.
  • 301 is the spectral characteristic of the pixel 201
  • 302 is the spectral characteristic of the pixel 202
  • 303 is the spectral characteristic of the pixel 203
  • 304 is the spectral characteristic of the pixel 204.
  • the spectral characteristics 301, 302, and 303 have sensitivity in the IR wavelength region in addition to the R, G, and B visible light wavelength regions, respectively.
  • An ordinary camera only in the visible light region is composed of pixels having these spectral characteristics, and usually an optical element that blocks the IR wavelength region in order to eliminate the influence of the IR portion in order to capture only the visible light region.
  • a simple filter is inserted on the optical axis of the image sensor and lens.
  • the spectral characteristic 304 has sensitivity only to IR. By providing this pixel together with the pixel having the sensitivity in the visible light region, the color component and the luminance component in the visible light region (R, G, B) , It is possible to simultaneously image the luminance component due to IR.
  • FIG. 4 is a diagram showing another example of the spectral characteristics of light of each pixel of the image sensor shown in FIG.
  • 401 is another spectral characteristic of the pixel 201
  • 402 is another spectral characteristic of the pixel 202
  • 403 is another spectral characteristic of the pixel 203
  • 404 is a spectral characteristic of the pixel 204.
  • the spectral characteristics 401, 402, and 403 have sensitivity only in the wavelength range that is visible light of R, G, and B, respectively.
  • the spectral characteristic 404 is sensitive only to IR.
  • an optical filter that blocks the IR wavelength range is inserted on the optical axis of the image sensor and lens to eliminate the influence of the IR component.
  • R, G, and B originally do not contain an IR component, a visible light signal similar to the conventional one can be obtained with a simple configuration without using this filter. Processing can be used. Thereby, it is possible to provide an imaging apparatus that is advantageous in terms of color reproduction and the like without changing conventional signal processing.
  • FIG. 5 is a diagram illustrating an example of a pixel configuration of a visible light + invisible light sensor different from the imaging element illustrated in FIG.
  • 504 represented as W
  • pixels are repeatedly formed on the image sensor.
  • FIG. 6 is a diagram showing an example of the sensitivity characteristic with respect to the wavelength of light of each pixel of the image sensor shown in FIG. 5, that is, a spectral characteristic.
  • 601 is the spectral characteristic of the pixel 501
  • 602 is the spectral characteristic of the pixel 502
  • 603 is the spectral characteristic of the pixel 503
  • 604 is the spectral characteristic of the pixel 504.
  • the spectral characteristics 601, 602, and 603 have sensitivity in the IR wavelength region in addition to the R, G, and B visible light wavelength regions, respectively.
  • FIG. 7 is a diagram showing another example of the spectral characteristics of light of each pixel of the image sensor shown in FIG.
  • 701 is another spectral characteristic of the pixel 501
  • 702 is another spectral characteristic of the pixel 502
  • 703 is another spectral characteristic of the pixel 503
  • 704 is a spectral characteristic of the pixel 504.
  • the spectral characteristics 701, 702, and 703 have sensitivity only in the wavelength regions that are visible light of R, G, and B, respectively.
  • the spectral characteristic 704 has sensitivity to all of R, G, B, and IR. By providing this pixel together with the pixel having the sensitivity in the visible light region, the visible light region (R, G, B) is obtained. Thus, it is possible to simultaneously capture the color component and the luminance component, and the luminance component due to IR.
  • the pixel 504 has sensitivity to R, G, and B in the visible light region.
  • An imaging device with higher sensitivity in the visible light region can be provided.
  • FIG. 8 is a diagram showing an example of a specific configuration of the image correction processing unit of the imaging apparatus shown in FIG.
  • the image correction processing unit 107 includes a correction signal generation unit 801 that generates a correction signal amount according to the level of the invisible light luminance signal generated by the invisible light luminance signal processing unit 106 according to the setting of the control unit 110;
  • An addition unit 802 that adds the correction signal generated by the correction signal generation unit 801 to the visible light luminance signal generated by the visible light luminance signal processing unit 105 is appropriately provided.
  • the correction signal generation unit 801 has a configuration in which, for example, the control unit 110 sets input / output characteristics that receive the level of the invisible light luminance signal as an input and output the correction signal amount corresponding thereto.
  • a part of the non-visible light signal is added to the visible light signal according to the level of the non-visible light luminance signal, thereby adding to the visible light signal according to the level of the non-visible light luminance signal. Since there is a visible light signal, it is possible to perform image correction according to the invisible light luminance signal level, and to generate a luminance signal with better visibility than an imaging device having sensitivity of only visible light, and to set from the control unit 110 By changing the input / output characteristics from the control unit 110, it is possible to provide an imaging apparatus that can arbitrarily change the amount of the correction signal corresponding to the invisible light luminance signal level.
  • FIG. 9 is a diagram illustrating a modification of the image correction processing unit of the imaging apparatus illustrated in FIG. 1, and illustrates a specific configuration of the image correction processing unit 107 ′ as a modification of the image correction processing unit 107.
  • the image correction processing unit 107 ′ is a difference circuit that generates a difference between the visible light luminance signal generated by the visible light luminance signal processing unit 105 and the invisible light luminance signal generated by the non-visible light luminance signal processing unit 106. 8, and a correction signal generation unit 801 and an addition unit 802 are provided as appropriate as in the configuration shown in FIG. 8 except that the input to the correction signal generation unit 801 is the difference circuit 901.
  • the invisible light luminance signal and the visible light luminance signal are added. It is possible to perform image correction according to the level difference from the light luminance signal, generate a luminance signal having better visibility than an imaging device having sensitivity of only visible light, and set the invisible light luminance set from the control unit 110 It is possible to provide an imaging apparatus that can arbitrarily change the amount of the correction signal corresponding to the level difference between the signal and the visible light luminance signal by changing the input / output characteristics from the control unit 110.
  • FIG. 10 is a diagram illustrating another detailed configuration example of the imaging unit of the imaging device illustrated in FIG. 1, and illustrates a specific configuration of the imaging unit 101 ′ as a modification of the imaging unit 101 illustrated in FIG. It is a thing.
  • the imaging unit 101 ′ is configured using a lens 1001, an imaging element 1002, a visible light source 1003, and an invisible light source 1004 as appropriate.
  • the visible light source 1003 and the invisible light source 1004 may be a single light source capable of emitting visible light and invisible light (hereinafter referred to as a single light source), as shown in FIG. They may be separated (this will be referred to as a separate light source).
  • the visible light source 1003 and the invisible light source 1004 can control lighting time and timing from the control unit 110.
  • a laparoscope used for medical care depending on a desired imaging target such as a visceral surface that reflects visible light and blood vessels and lymph nodes that easily reflect non-visible light by contrast medium administration. Since a light source can be selected as appropriate, an imaging apparatus that can also view an image in which lymphatic vessels that can be imaged with non-visible light in addition to a visceral surface that can be imaged with visible light can be viewed with a single device.
  • FIG. 11 is a diagram illustrating an example of lighting control of the separation light source of the imaging unit illustrated in FIG. 10.
  • each visible light source 1003 is set to time A
  • the invisible light source 1004 is set to time B.
  • An example of lighting control that is switched on in synchronization with the exposure time every time T is shown. If comprised in this way, the light quantity of visible light and invisible light can be controlled optimally, the influence of both light sources can be eliminated at the time of imaging, and the optimal composite image of visible light brightness and invisible light brightness can be obtained.
  • the switching time T does not always have to be constant, and the length of the visible light imaging time and the invisible light imaging time may be changed depending on the situation.
  • FIG. 12 is a diagram illustrating another example of the lighting control of the separation light source of the imaging unit illustrated in FIG. 10.
  • each visible light source 1003 is set to time A
  • the invisible light source 1004 is set to An example of lighting control in which lighting is performed at time B at the same time every time T is shown.
  • FIG. 13 is a diagram illustrating an embodiment of an imaging system according to the present invention.
  • the imaging device 100 illustrated in FIG. 1 an image display device 1301 that displays a corrected image output from the imaging device 100, and the imaging device 1 illustrates an imaging system 1300 configured by appropriately using a storage device 1302 that records a corrected image output from 100.
  • the image display device 1301 is not limited as long as it has an image display function such as a personal computer or a monitor television having an interface connectable to the imaging device 100. Further, the transmission of the image signal from the imaging device 100 to the image display device 1301 may be wired or wireless.
  • the storage device 1302 is, for example, a hard disk built in a personal computer or a portable storage medium, but is not limited thereto, and various applications are possible.
  • the storage unit 1302 is a hard disk or a portable storage medium built in the personal computer, but is not limited.
  • the imaging apparatus 100 includes all the processing units.
  • the configuration of each processing function unit may be configured, for example, on the image display apparatus side, and the imaging system may be configured. These forms can be variously changed according to the application destination, such as an in-vehicle camera system and a medical camera system.
  • the imaging apparatus and the imaging system according to the present embodiment not only a subject portion having high visibility with visible light but also a subject portion with low visibility and low visibility can be simultaneously displayed on the screen. It is possible to provide an imaging device or an imaging system with high visibility.
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the above-described configurations may be configured such that a part or all of the configuration is configured by hardware, or is realized by executing a program by a processor.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
  • DESCRIPTION OF SYMBOLS 100 ... Imaging device 101 ... Imaging unit 102 ... Color signal processing unit 103 ... Gamma processing unit 104 ... Color difference generation unit 105 ... Visible light luminance signal processing unit 106... Invisible light luminance signal processing unit 107... Image correction processing unit 108... Brightness gamma processing unit 109.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　可視光と非可視光成分に感度を持つ撮像装置において、より視認性のよい撮像装置である。撮像装置は、被写体を撮像して可視光信号と非可視光信号を得る撮像部と、前記撮像部から出力される可視光信号を用いて可視光輝度信号を生成する第一輝度生成部と、前記撮像部から出力される非可視光信号を用いて非可視光輝度信号を生成する第二輝度生成部と、前記第一輝度生成部にて生成された可視光輝度信号と前記第二輝度生成部にて生成された非可視光輝度信号とを用いて補正処理を行う画像補正処理部と、少なくとも前記画像補正処理部を制御する制御部と、を備え、前記画像補正処理部は、前記非可視光輝度信号を用いて生成された補正信号を前記可視光信号に加算することで補正処理を行う。

Description

撮像装置及び撮像システム
　本発明は、撮像装置及び撮像システムに関する。
　本技術分野の背景技術として、特許文献１（特開２００３－１８９２９７号公報）がある。この特許文献１には、「（課題）目的対象物の視認性を向上可能な画像処理装置及び撮像装置を提供する。（解決手段）この画像処理装置は、可視画像を構成する画素のうち輝度の高い画素のアドレスを求め、求められたアドレスに対応するアドレスの赤外画像の画素の輝度を低下させる。また、赤外光源４を赤外画像の所得時に同期して間欠的に点灯させる。使用者は可視画像を目視することができるので、この部分に対応する赤外画像の画素の輝度を低下させることにより、目視できない物体の画像のみを選択的に得ることができ、目的対象物、すなわち見えにくい物体の視認性を向上させることができる。」と記載されている。
特開２００３－１８９２９７号公報
　前記特許文献１では、「使用者は可視画像を目視することができるので、この部分に対応する赤外画像の画素の輝度を低下させることにより、目視できない物体の画像のみを選択的に得ることができ、目的対象物、すなわち見えにくい物体の視認性を向上させることができる。」と記載されているが、目視できない物体と目視できる物体を同時に見ることができないので改善の余地がある。
　本発明は、より視認性を高めた撮像装置及び撮像システムを提供するものである。
　本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次の通りである。
（１）被写体を撮像して可視光信号と非可視光信号を得る撮像部と、前記撮像部から出力される可視光信号を用いて可視光輝度信号を生成する第一輝度生成部と、前記撮像部から出力される非可視光信号を用いて非可視光輝度信号を生成する第二輝度生成部と、前記第一輝度生成部にて生成された可視光輝度信号と前記第二輝度生成部にて生成された非可視光輝度信号とを用いて補正処理を行う画像補正処理部と、少なくとも前記画像補正処理部を制御する制御部と、を備え、前記画像補正処理部は、前記非可視光輝度信号を用いて生成された補正信号を前記可視光信号に加算することで補正処理を行うことを特徴とする撮像装置である。
（２）被写体を撮像して可視光信号と非可視光信号を得る撮像部と、前記撮像部から出力される可視光信号を用いて可視光輝度信号を生成する第一輝度生成部と、前記撮像部から出力される非可視光信号を用いて非可視光輝度信号を生成する第二輝度生成部と、前記第二輝度生成部により生成された非可視光輝度信号を用いて生成された補正信号を前記第一輝度生成部により生成された可視光輝度信号に加算することで補正処理を行う画像補正処理部と、少なくとも前記画像補正処理部を制御する制御部と、を有する撮像装置と、前記撮像装置から出力される補正処理後の補正画像を入力して表示する画像表示手段と、を備えることを特徴とする撮像システムである。
　本発明によれば、より視認性を高めた撮像装置及び撮像システムを提供することができる。
本発明に係る撮像装置の一実施例を示す図である。 図１に示した撮像装置の撮像部に用いられる撮像素子の画素構成例を示す図である。 図２で示した撮像素子の各画素の光の波長に対する分光特性の一例を示す図である。 図２で示した撮像素子の各画素の光の波長に対する分光特性の他の例を示す図である。 図２に示した撮像素子と異なる可視光＋非可視光センサの画素構成の一例を示す図である。 図５に示した撮像素子の各画素の光の波長に対する分光特性の一例を示す図である。 図５に示した撮像素子の各画素の光の波長に対する分光特性の他の例を示す図である。 図１に示した撮像装置の画像補正処理部の具体的な構成の一例を示した図である。 図１に示した撮像装置の画像補正処理部の変形例を示した図である。 図１に示した撮像装置の撮像部の他の詳細構成例を示す図である。 図１０に示した撮像部の分離光源の点灯制御の一例を示す図である。 図１０に示した撮像部の分離光源の点灯制御の他の例を示す図である。 本発明に係る撮像システムの一実施例を示す図である。
　以下、本発明の実施形態について図面を用いて説明する。
　図１は、本発明に係る撮像装置の一実施例を示す全体構成図である。ここで、これ以降、可視光とは緑(以下Ｇ)、青(以下Ｂ)、赤(以下Ｒ)のすべてもしくはいずれかの光の波長帯域、非可視光とは赤外または近赤外(以下ＩＲ)の光の波長帯域のことを言うこととする。
　図１において撮像装置１００は、撮像部１０１と、色信号処理部１０２と、ガンマ処理部１０３と、色差生成部１０４と、第一輝度生成部である可視光輝度信号処理部１０５と、第二輝度生成部である非可視光輝度信号処理部１０６と、画像補正処理部１０７と、輝度ガンマ処理部１０８と、画像出力処理部１０９と、制御部１１０と、を適宜用いて構成される。
　撮像部１０１は、後述する可視光領域波長の光に感度を持つ画素と、非可視光領域の波長の光に感度を持つ画素を持つ撮像素子とレンズなどの光学系部品を適宜用いて構成される。色信号処理部１０２は、撮像部１０１の出力より色信号を生成する。ガンマ処理部１０３は、色信号処理部１０２から出力される色信号からガンマ特性カーブに変換する。色差生成部１０４は、ガンマ処理部１０３の出力を色差信号に変換する。
　可視光輝度信号処理部１０５は、撮像部１０１の可視光成分信号出力からデモザイキングその他の処理により可視光輝度信号を生成する。非可視光輝度信号処理部１０６は、撮像部１０１の非可視光信号出力からデモザイキングその他の処理により非可視光輝度信号を生成する。
　画像補正処理部１０７は、可視光輝度信号処理部１０５の可視光輝度出力と非可視光輝度信号処理部１０６の非可視光輝度出力とを後述する合成方法で合成処理する。輝度ガンマ処理部１０８は、画像補正処理部１０７で補正処理した信号出力にガンマ特性カーブに変換して輝度信号を生成する。
　画像出力処理部１０９は、色差生成部１０４の出力の色差信号と輝度ガンマ処理部１０７の出力の輝度信号とを所定の出力仕様（例えば非圧縮デジタル出力するものや、圧縮してネットワーク出力するものなど、内容は選ばない）にて出力する。制御部１１０は、撮像部１０１や色信号処理部１０２や可視光輝度信号処理部１０５や非可視光輝度信号処理部１０６や画像補正処理部１０７を制御する。
　撮像部１０１にて光電変換された可視光信号は、色信号処理部１０２にて色信号生成処理が施され、ガンマ処理部１０３にてガンマ補正処理、色差生成部１０４にて色差信号に変換処理が施されるとともに、可視光輝度信号処理部１０５にて可視光輝度信号に変換される。撮像部１０１にて光電変換された非可視光信号は、非可視光輝度信号処理部１０６にて非可視光輝度信号に変換処理される。
　これらの処理により得られた可視光輝度信号と非可視光輝度信号は、画像補正処理部１０７にて後述する制御部１１０の制御にしたがって後述する合成処理がなされることにより画像補正処理が行われる。画像補正処理部１０７の補正出力は輝度ガンマ処理部１０８にてガンマ補正処理が行われた輝度信号に変換される。色差生成部１０４にて生成された色差信号と輝度ガンマ処理部１０８にて生成された輝度信号とは、画像出力処理部１０９より画像信号として外部の表示装置などへ出力される。
　本実施例によれば、とくに画像の位置に限らず、撮像部１０１から出力される可視光成分の信号を可視光輝度信号処理部１０５にて可視光輝度信号に、非可視光成分の信号を非可視光輝度信号処理部１０６にて非可視光輝度信号に処理し、その双方の信号を用いて画像補正処理部１０７で補正処理を行うので、画面内に可視光にて視認性の高い被写体部分だけでなく、可視光の少ない視認性の低い被写体部分を同時に、画面全体として視認性の高い撮像装置を提供できる。
　図２は、図１に示した撮像装置の撮像部に用いられる撮像素子の画素構成例を示す図である。同一の撮像素子上にＲに主な感度を持つ画素２０１、Ｇに主な感度を持つ画素２０２、Ｂに主な感度を持つ画素２０３、非可視光（ＩＲと表す）に主な感度を持つ画素２０４、を格子状に並べた一例である。画素２０１～画素２０４の配置で撮像素子上に繰り返し画素が構成されている。
　図３は、図２に示した撮像素子の各画素の光の波長に対する感度特性、すなわち分光特性の一例を示す図である。同図において３０１は画素２０１の分光特性であり、３０２は画素２０２の分光特性であり、３０３は画素２０３の分光特性であり、３０４は画素２０４の分光特性である。
　分光特性３０１、３０２、３０３は、それぞれＲ、Ｇ、Ｂの可視光である波長域に加えて、ＩＲの波長域にも感度を持つものである。通常の可視光域のみのカメラはこれらの分光特性をもつ画素で構成されており、通常は可視光域のみを撮像するためにＩＲ部分の影響をなくすためにＩＲの波長域を遮断する光学的なフィルターを撮像素子とレンズの光軸上に挿入して使用されている。分光特性３０４はＩＲのみに感度を持つものであり、この画素を上記可視光域の感度を持つ画素と併せて備えることにより、可視光域（Ｒ、Ｇ、Ｂ）の色成分及び輝度成分と、ＩＲによる輝度成分を同時に撮像可能となる。
　図４は、図２に示した撮像素子の各画素の光の分光特性の他の例を示す図である。同図において４０１は画素２０１の他の分光特性であり、４０２は画素２０２の他の分光特性であり、４０３は画素２０３の他の分光特性であり、４０４は画素２０４の分光特性である。分光特性４０１、４０２、４０３は、それぞれＲ、Ｇ、Ｂの可視光である波長域のみに感度を持つものである。分光特性４０４はＩＲのみに感度を持つものであり、この画素を上記可視光域の感度を持つ画素と併せて供えることにより、可視光域（Ｒ、Ｇ、Ｂ）の色成分及び輝度成分と、ＩＲによる輝度成分を同時に撮像可能となる。
　通常、可視光域のみを撮像するためには、ＩＲ成分の影響をなくすべく、ＩＲの波長域を遮断する光学的なフィルターを撮像素子とレンズの光軸上に挿入して使用し、可視光信号処理を行う必要があるが、本実施例によれば、もともとＲ、Ｇ、ＢがＩＲ成分を含んでいないため、このフィルターを用いることなく、簡易な構成で、従来と同様の可視光信号処理を用いることが出来る。これにより、従来からの信号処理を変更することなく色再現などの点で有利な撮像装置を提供することができる。
　図５は、図２に示した撮像素子と異なる可視光＋非可視光センサの画素構成の一例を示す図である。同一の撮像素子上にＲに主な感度を持つ画素５０１、Ｇに主な感度を持つ画素５０２、Ｂに主な感度を持つ画素５０３、Ｒ、Ｇ、Ｂ、ＩＲのすべてに感度を持つ画素（Ｗとあらわす）５０４を格子状に並べた一例である。画素５０１～画素５０４の配置で撮像素子上に繰り返し画素が構成されている。
　図６は、図５に示した撮像素子の各画素の光の波長に対する感度特性、すなわち分光特性の一例を示す図である。同図において６０１は画素５０１の分光特性であり、６０２は画素５０２の分光特性であり、６０３は画素５０３の分光特性であり、６０４は画素５０４の分光特性である。分光特性６０１、６０２、６０３はそれぞれＲ、Ｇ、Ｂの可視光である波長域に加えて、ＩＲの波長域にも感度を持つものである。
　図７は、図５に示した撮像素子の各画素の光の分光特性の他の例を示す図である。同図において７０１は画素５０１の他の分光特性であり、７０２は画素５０２の他の分光特性であり、７０３は画素５０３の他の分光特性であり、７０４は画素５０４の分光特性である。分光特性７０１、７０２、７０３は、それぞれＲ、Ｇ、Ｂの可視光である波長域のみに感度を持つものである。分光特性７０４はＲ、Ｇ、Ｂ、ＩＲのすべてに感度を持つものであり、この画素を上記可視光域の感度を持つ画素と併せて備えることにより、可視光域（Ｒ、Ｇ、Ｂ）の色成分及び輝度成分と、ＩＲによる輝度成分を同時に撮像可能となる。
　本画素構成の撮像素子では、画素５０１～画素５０３のＲ，Ｇ，Ｂの各感度をもつ画素のほかに画素５０４にても可視光域のＲ，Ｇ，Ｂに感度を持っているため、可視光域にさらに感度の高い撮像装置を提供することができる。
　図８は、図１に示した撮像装置の画像補正処理部の具体的な構成の一例を示した図である。画像補正処理部１０７は、制御部１１０の設定により、非可視光輝度信号処理部１０６にて生成された非可視光輝度信号のレベルに応じて補正信号量を生成する補正信号生成部８０１と、可視光輝度信号処理部１０５で生成される可視光輝度信号に、補正信号生成部８０１で生成された補正信号を加算する加算部８０２とを適宜備える。補正信号生成部８０１は、たとえば非可視光輝度信号のレベルを入力とし、それに対する補正信号量を出力とする入出力特性を制御部１１０から設定する構成とする。
　本構成によれば、非可視光輝度信号のレベルに応じて非可視光信号の一部を可視光信号に加算することで、非可視光輝度信号のレベルに応じて可視光信号に加算する非可視光信号がため、非可視光輝度信号レベルに応じた画像補正を行うことができ、可視光のみの感度を持つ撮像装置よりも視認性のよい輝度信号を生成できるとともに、制御部１１０から設定する非可視光輝度信号レベルに応じた補正信号の量を、制御部１１０からの入出力特性を変更する事で任意に変更可能な撮像装置を提供できる。
　図９は、図１に示した撮像装置の画像補正処理部の変形例を示した図であり、画像補正処理部１０７の変形例として、画像補正処理部１０７’の具体的な構成を示した図である。画像補正処理部１０７’は、可視光輝度信号処理部１０５で生成された可視光輝度信号と非可視光輝度信号処理部１０６にて生成された非可視光輝度信号との差分を生成する差分回路９０１を備えており、補正信号生成部８０１への入力が差分回路９０１になった点以外は図８に示した構成と同様、補正信号生成部８０１、加算部８０２を適宜備える。
　本構成によれば、非可視光輝度信号のレベルと可視光輝度信号のレベルとの差に応じて非可視光信号の一部を可視光信号に加算することで、非可視光輝度信号と可視光輝度信号とのレベル差に応じた画像補正を行うことができ、可視光のみの感度を持つ撮像装置よりも視認性のよい輝度信号を生成できるとともに、制御部１１０から設定する非可視光輝度信号と可視光輝度信号とのレベル差に応じた補正信号の量を、制御部１１０からの入出力特性を変更する事で任意に変更可能な撮像装置を提供できる。
　図１０は、図１に示した撮像装置の撮像部の他の詳細構成例を示す図であり、図１に示すの撮像部１０１の変形例として、撮像部１０１’の具体的な構成を示したものである。
　撮像部１０１’は、レンズ１００１と、撮像素子１００２と、可視光光源１００３と、非可視光光源１００４と、を適宜用いて構成される。なお、可視光光源１００３と非可視光光源１００４は一つで可視光と非可視光が発光可能な光源（これを単一光源ということにする）であってもよいし、図１０のように分かれていてもよい（これを分離光源ということにする）。可視光光源１００３と非可視光光源１００４は制御部１１０から点灯時間やタイミングを制御可能である。
　このような構成にすれば、医療に使用される腹腔鏡などにおいて、可視光に反射する内臓表面と造影剤投与により非可視光に反射し易い血管やリンパ節など、所望の撮影対象に応じて光源を適宜選択出来るため、一の装置で、可視光で撮像できる内臓表面に加えて非可視光で撮像できるリンパ管を強調した画像をも見ることができる撮像装置を提供することができる。
　図１１は、図１０に示した撮像部の分離光源の点灯制御の一例を示す図であり、制御部１１０にて、それぞれの可視光光源１００３を時間Ａで、非可視光光源１００４を時間Ｂで点灯させ、時間Ｔごとに露光時間に同期させて切り替える点灯制御の一例を表している。このように構成すれば、可視光及び非可視光の光量を最適に制御でき、また双方の光源の影響を撮像時になくし、可視光輝度と非可視光輝度の最適な合成画像を得ることができる。なお、切り替えの時間Ｔは常に一定である必要はなく、状況に応じて、可視光撮像の時間と非可視光撮像の時間の長さを変えても構わない。
　図１２は、図１０に示した撮像部の分離光源の点灯制御の他の例を示す図であり、制御部１１０にて、それぞれの可視光光源１００３を時間Ａで、非可視光光源１００４を時間Ｂで、時間Ｔごとに同時に点灯させる点灯制御の一例を表している。このように点灯制御することにより、可視光及び非可視光の光量を最適に制御でき、可視光輝度と非可視光輝度の最適な合成画像の取得フレームレートを図１１の場合に比べて速くすることができる。
　図１３は、本発明に係る撮像システムの一実施例を示す図であり、図１に示した撮像装置１００と、撮像装置１００から出力される補正画像を表示する画像表示装置１３０１と、撮像装置１００から出力される補正画像を記録する記憶装置１３０２とを適宜用いて構成される撮像システム１３００を示したものである。
　画像表示装置１３０１は、撮像装置１００と接続可能なインターフェースを持つパーソナルコンピュータやモニタテレビなど画像表示機能を持つものであれば制限はない。また、撮像装置１００から画像表示装置１３０１への画像信号の送信は有線であっても無線であっても構わない。記憶装置１３０２は、たとえばパーソナルコンピュータに内蔵のハードディスクや可搬型の記憶媒体などであるがこれに限られるものではなく種々適用可能である。
　このように構築すれば医療などでの腹腔鏡の可視光及び非可視光の双方の合成画像を表示してリアルタイムで把握できる。さらに記憶装置１３０２を用いて本撮像システムを構成すれば、記録したい画像を記憶部に記憶できる。記憶部１３０２はパーソナルコンピュータに内蔵のハードディスクや可搬型の記憶媒体などであるが制限はない。
　本撮像システムによれば、本実施例に係る撮像装置の上記した各効果を享受することが可能であり、従来より視認性を高めた画像を取得・確認することが可能となる。なお、本実施例では、撮像装置１００内に全ての処理部を備える構成としたが、各処理機能部の構成がたとえば画像表示装置側で備えた形態にて撮像システムを構成してもよく、これらの形態は車載カメラシステムや医療用カメラシステム等、適用先に応じて種々変更可能である。
　上記の通り、本実施例に係る撮像装置、撮像システムによれば、画面内に可視光にて視認性の高い被写体部分だけでなく、可視光の少ない視認性の低い被写体部分を同時に、画面全体として視認性の高い撮像装置、もしくは撮像システムの提供が可能となる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１００・・・・撮像装置
１０１・・・・撮像部
１０２・・・・色信号処理部
１０３・・・・ガンマ処理部
１０４・・・・色差生成部
１０５・・・・可視光輝度信号処理部
１０６・・・・非可視光輝度信号処理部
１０７・・・・画像補正処理部
１０８・・・・輝度ガンマ処理部
１０９・・・・画像出力処理部
１１０・・・・制御部

Claims (11)

  1. 　被写体を撮像して可視光信号と非可視光信号を得る撮像部と、
    　前記撮像部から出力される可視光信号を用いて可視光輝度信号を生成する第一輝度生成部と、
    　前記撮像部から出力される非可視光信号を用いて非可視光輝度信号を生成する第二輝度生成部と、
    　前記第一輝度生成部にて生成された可視光輝度信号と前記第二輝度生成部にて生成された非可視光輝度信号とを用いて補正処理を行う画像補正処理部と、
    　少なくとも前記画像補正処理部を制御する制御部と、
    を備え、
    　前記画像補正処理部は、前記非可視光輝度信号を用いて生成された補正信号を前記可視光信号に加算することで補正処理を行う、撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　前記補正信号は、前記制御部により設定された入出力特性を用いて、前記非可視光輝度信号のレベルに応じて生成される、撮像装置。
  3. 　請求項１に記載の撮像装置において、
    　前記補正信号は、前記制御部により設定された入出力特性を用いて、前記非可視光輝度信号と前記可視光輝度信号との差分のレベルに応じて生成される、撮像装置。
  4. 　請求項１に記載の撮像装置において、
    　前記撮像部はさらに可視光及び非可視光の光源を具備し、
    前記制御部は、前記光源を露光時間に同期して点灯制御する、撮像装置。
  5. 　請求項１に記載の撮像装置において、
    　前記撮像部はさらに可視光及び非可視光の光源を具備し、
    　前記制御部は、前記光源の可視光と非可視光とを露光時間に同期して切り替えて点灯するように制御する、撮像装置。
  6. 　請求項１に記載の撮像装置において、
    　前記撮像部が備える撮像素子は、赤の光に主な感度をもつ画素と、青の光に主な感度をもつ画素と、緑の光に主な感度をもつ画素と、非可視光に主な感度をもつ画素と、
    を備える、撮像装置。
  7. 　請求項１に記載の撮像装置において、
    　前記撮像部が備える撮像素子は、赤の光に主な感度をもつ画素と、青の光に主な感度をもつ画素と、緑の光に主な感度をもつ画素と、赤、青、緑、非可視光に感度をもつ画素と、を備える、撮像装置。
  8. 　被写体を撮像して可視光信号と非可視光信号を得る撮像部と、
    　前記撮像部から出力される可視光信号を用いて可視光輝度信号を生成する第一輝度生成部と、
    　前記撮像部から出力される非可視光信号を用いて非可視光輝度信号を生成する第二輝度生成部と、
    　前記第二輝度生成部により生成された非可視光輝度信号を用いて生成された補正信号を前記第一輝度生成部により生成された可視光輝度信号に加算することで補正処理を行う画像補正処理部と、
    　少なくとも前記画像補正処理部を制御する制御部と、
    を有する撮像装置と、
    　前記撮像装置から出力される補正処理後の補正画像を入力して表示する画像表示手段と、
    を備える、撮像システム。
  9. 　請求項８に記載の撮像システムにおいて、
    　前記補正信号は、前記制御部により設定された入出力特性を用いて、前記非可視光輝度信号のレベルに応じて生成される、撮像システム。
  10. 　請求項８に記載の撮像システムにおいて、
    　前記補正信号は、前記制御部により設定された入出力特性を用いて、前記非可視光輝度信号と前記可視光輝度信号との差分のレベルに応じて生成される、撮像システム。
  11. 　請求項８に記載の撮像システムにおいて、
    　さらに、前記補正画像を記録可能な記録装置を備える、撮像システム。
PCT/JP2014/059996 2013-04-24 2014-04-04 撮像装置及び撮像システム WO2014175044A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/786,230 US20160065865A1 (en) 2013-04-24 2014-04-04 Imaging device and imaging system
CN201480023324.5A CN105144688B (zh) 2013-04-24 2014-04-04 摄像装置和摄像系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-090882 2013-04-24
JP2013090882A JP2014216734A (ja) 2013-04-24 2013-04-24 撮像装置及び撮像システム

Publications (1)

Publication Number Publication Date
WO2014175044A1 true WO2014175044A1 (ja) 2014-10-30

Family

ID=51791625

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/059996 WO2014175044A1 (ja) 2013-04-24 2014-04-04 撮像装置及び撮像システム

Country Status (4)

Country Link
US (1) US20160065865A1 (ja)
JP (1) JP2014216734A (ja)
CN (1) CN105144688B (ja)
WO (1) WO2014175044A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107431791A (zh) * 2015-03-31 2017-12-01 株式会社尼康 拍摄装置
CN107534759A (zh) * 2015-02-26 2018-01-02 索尼半导体解决方案公司 摄像装置、摄像方法和程序

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017118191A (ja) * 2015-12-21 2017-06-29 ソニー株式会社 撮像素子及びその駆動方法、並びに撮像装置
TWI590659B (zh) 2016-05-25 2017-07-01 宏碁股份有限公司 影像處理方法及攝像裝置
CN107438170B (zh) 2016-05-25 2020-01-17 杭州海康威视数字技术股份有限公司 一种图像透雾方法及实现图像透雾的图像采集设备
CN107465864B (zh) * 2016-06-03 2021-02-26 宏碁股份有限公司 摄像装置及影像处理方法
CN109804619B (zh) * 2016-10-14 2021-01-15 三菱电机株式会社 图像处理装置、图像处理方法和摄影装置
WO2018100614A1 (ja) * 2016-11-29 2018-06-07 三菱電機株式会社 情報伝送方法および車載カメラシステム
CN112788249B (zh) * 2017-12-20 2022-12-06 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN110830675B (zh) 2018-08-10 2022-05-03 株式会社理光 读取装置、图像形成装置及读取方法
JP7155737B2 (ja) * 2018-08-10 2022-10-19 株式会社リコー 画像処理装置、画像処理システム、プログラムおよび画像処理方法
CN110248105B (zh) 2018-12-10 2020-12-08 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
JP6713239B2 (ja) * 2019-01-16 2020-06-24 株式会社ユニバーサルエンターテインメント 遊技機
CN110493495B (zh) * 2019-05-31 2022-03-08 杭州海康威视数字技术股份有限公司 图像采集装置和图像采集的方法
CN110505377B (zh) * 2019-05-31 2021-06-01 杭州海康威视数字技术股份有限公司 图像融合设备和方法
CN110493493B (zh) * 2019-05-31 2022-04-29 杭州海康威视数字技术股份有限公司 全景细节摄像机及获取图像信号的方法
CN113114926B (zh) * 2021-03-10 2022-11-25 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及摄像机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229317A (ja) * 2004-02-12 2005-08-25 Sumitomo Electric Ind Ltd 画像表示システム及び撮像装置
JP2007053731A (ja) * 2005-07-21 2007-03-01 Sony Corp 物理情報取得方法および物理情報取得装置並びに半導体装置
JP2007184805A (ja) * 2006-01-10 2007-07-19 Toyota Central Res & Dev Lab Inc カラー画像再生装置
JP2007215088A (ja) * 2006-02-13 2007-08-23 Jai Corporation 面順次方式カラーカメラシステム
JP2008252639A (ja) * 2007-03-30 2008-10-16 Fujifilm Corp 撮像装置及び方法
JP2010161459A (ja) * 2009-01-06 2010-07-22 Olympus Corp 赤外線照射式撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL135571A0 (en) * 2000-04-10 2001-05-20 Doron Adler Minimal invasive surgery imaging system
US7821552B2 (en) * 2005-12-27 2010-10-26 Sanyo Electric Co., Ltd. Imaging apparatus provided with imaging device having sensitivity in visible and infrared regions
JP4779780B2 (ja) * 2006-04-10 2011-09-28 トヨタ自動車株式会社 画像表示装置
JP4949806B2 (ja) * 2006-11-10 2012-06-13 オンセミコンダクター・トレーディング・リミテッド 撮像装置及び画像信号処理装置
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
JP4341695B2 (ja) * 2007-05-17 2009-10-07 ソニー株式会社 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法
JP5184016B2 (ja) * 2007-09-12 2013-04-17 オンセミコンダクター・トレーディング・リミテッド 撮像装置
JP2009099867A (ja) * 2007-10-18 2009-05-07 Fujifilm Corp 光電変換素子及び撮像素子
JP2009182379A (ja) * 2008-01-29 2009-08-13 Canon Inc 画像読取装置及び画像処理方法
JP2010022700A (ja) * 2008-07-23 2010-02-04 Fujifilm Corp 内視鏡システム
JP2010093472A (ja) * 2008-10-07 2010-04-22 Panasonic Corp 撮像装置および撮像装置用信号処理回路
JP5067638B2 (ja) * 2009-04-13 2012-11-07 Ｎｅｃエンジニアリング株式会社 画像読取装置
JP5485004B2 (ja) * 2010-04-23 2014-05-07 パナソニック株式会社 撮像装置
JPWO2011155136A1 (ja) * 2010-06-07 2013-08-01 コニカミノルタ株式会社 撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229317A (ja) * 2004-02-12 2005-08-25 Sumitomo Electric Ind Ltd 画像表示システム及び撮像装置
JP2007053731A (ja) * 2005-07-21 2007-03-01 Sony Corp 物理情報取得方法および物理情報取得装置並びに半導体装置
JP2007184805A (ja) * 2006-01-10 2007-07-19 Toyota Central Res & Dev Lab Inc カラー画像再生装置
JP2007215088A (ja) * 2006-02-13 2007-08-23 Jai Corporation 面順次方式カラーカメラシステム
JP2008252639A (ja) * 2007-03-30 2008-10-16 Fujifilm Corp 撮像装置及び方法
JP2010161459A (ja) * 2009-01-06 2010-07-22 Olympus Corp 赤外線照射式撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107534759A (zh) * 2015-02-26 2018-01-02 索尼半导体解决方案公司 摄像装置、摄像方法和程序
CN107534759B (zh) * 2015-02-26 2020-06-16 索尼半导体解决方案公司 摄像装置、摄像方法和计算机可读介质
CN107431791A (zh) * 2015-03-31 2017-12-01 株式会社尼康 拍摄装置
CN107431791B (zh) * 2015-03-31 2019-08-13 株式会社尼康 拍摄装置

Also Published As

Publication number Publication date
CN105144688B (zh) 2018-06-26
JP2014216734A (ja) 2014-11-17
CN105144688A (zh) 2015-12-09
US20160065865A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
WO2014175044A1 (ja) 撮像装置及び撮像システム
JP5683745B2 (ja) 画像表示装置及び方法
JP6027242B2 (ja) 撮像装置
US9502072B2 (en) Imaging apparatus that generates motion image data having a first frame rate for a slow speed stretch and motion image data having a second frame rate for a normal speed stretch
US8368775B2 (en) Imaging apparatus and live-view image display method thereof
JP5186021B2 (ja) 撮像装置、画像処理装置、及び撮像方法
JP2010093472A (ja) 撮像装置および撮像装置用信号処理回路
JP4796871B2 (ja) 撮像装置
JP2014082731A (ja) 動画像データ処理装置及び動画像データ処理方法
KR20120034412A (ko) 디지털 촬영 장치 및 이의 제어 방법
JP2003032695A (ja) 画像信号処理装置
JP2017175319A (ja) 画像処理装置、画像処理方法及びプログラム
JP2017157902A (ja) 信号処理装置、撮像装置および信号処理方法
US10762600B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable recording medium
JP4810807B2 (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP2010028452A (ja) 画像処理装置および電子カメラ
JP6091311B2 (ja) 撮像装置
JP2013003339A (ja) 画像表示システム及びその制御方法
JP5866826B2 (ja) 撮像装置
JP6202238B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2015126416A (ja) 画像処理装置、制御方法およびプログラム
JP2003304543A (ja) 撮像装置
JP2005159916A (ja) 撮像装置
JP5094686B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP2010258757A (ja) 動画記録装置、撮像装置、動画記録方法、動画記録プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480023324.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14788993

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14786230

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14788993

Country of ref document: EP

Kind code of ref document: A1