JP6412364B2 - Imaging apparatus and imaging method - Google Patents
Imaging apparatus and imaging method Download PDFInfo
- Publication number
- JP6412364B2 JP6412364B2 JP2014159071A JP2014159071A JP6412364B2 JP 6412364 B2 JP6412364 B2 JP 6412364B2 JP 2014159071 A JP2014159071 A JP 2014159071A JP 2014159071 A JP2014159071 A JP 2014159071A JP 6412364 B2 JP6412364 B2 JP 6412364B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- subframe
- imaging
- period
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 100
- 230000015654 memory Effects 0.000 claims description 42
- 238000005286 illumination Methods 0.000 claims description 35
- 230000004397 blinking Effects 0.000 claims description 22
- 238000000034 method Methods 0.000 description 13
- 208000032005 Spinocerebellar ataxia with axonal neuropathy type 2 Diseases 0.000 description 2
- 208000033361 autosomal recessive with axonal neuropathy 2 spinocerebellar ataxia Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、電源周波数が５０Ｈｚ圏であるために、強度変化が１００Ｈｚとなる照明下において、フレーム周波数が１２０Ｈｚの撮像を行う際に生じるフリッカを低減し得るＣＭＯＳ型の撮像素子を用いた、撮像装置および撮像方法に関するものである。 In the present invention, since the power supply frequency is in the 50 Hz range, imaging using a CMOS-type imaging device capable of reducing flicker that occurs when imaging with a frame frequency of 120 Hz is performed under illumination with an intensity change of 100 Hz. The present invention relates to an apparatus and an imaging method.
現在、スーパーハイビジョン等に代表される、高解像度の動画像の撮像方式が注目されている。さらに、解像度の向上だけでなく、画質の向上を図るために、ハイビジョン（フレーム周波数：60Hz）よりも高いフレーム周波数で撮像可能な撮像装置も研究・試作されている。なお、ITU−R規格（Rec. ITU−R BT. 2020）では、スーパーハイビジョンのフレーム周波数として120Hzが採用されている。 Currently, high-resolution moving image capturing methods such as Super Hi-Vision are attracting attention. Furthermore, in order to improve not only the resolution but also the image quality, an imaging device capable of imaging at a frame frequency higher than that of high vision (frame frequency: 60 Hz) has been studied and prototyped. In the ITU-R standard (Rec. ITU-R BT. 2020), 120 Hz is adopted as the frame frequency of Super Hi-Vision.
このような高いフレーム周波数で動画像の撮像を行う場合の課題として、フリッカ（画像のちらつき）の発生が挙げられる。フリッカは、ハロゲンランプや水銀ランプ、蛍光灯などの輝度変化（光量変化）が大きい照明下において、フレーム周波数が照明光の点滅周波数より大きい撮像装置で動画像を撮像した場合に生じる。 An issue in capturing moving images at such a high frame frequency is the occurrence of flicker (image flicker). Flicker occurs when a moving image is captured by an imaging apparatus having a frame frequency larger than the blinking frequency of illumination light under illumination with a large luminance change (light quantity change) such as a halogen lamp, a mercury lamp, or a fluorescent lamp.
ここで、照明光の点滅周波数は、電源周波数の２倍となる。例えば、東日本においては、照明の電源周波数は50Hzである。この場合、撮像装置のフレーム周波数が上述した120Hzであるとすると、｛撮像装置のフレーム周波数−（照明の電源周波数×２）｝により、撮像装置のフレーム周波数が照明光の点滅周波数よりも20Hz大きくなるため、この周波数差に対応する、20Hzのフリッカが生じることになる。 Here, the blinking frequency of the illumination light is twice the power supply frequency. For example, in eastern Japan, the power supply frequency of lighting is 50 Hz. In this case, if the frame frequency of the imaging device is 120 Hz as described above, the frame frequency of the imaging device is 20 Hz higher than the blinking frequency of the illumination light by {frame frequency of the imaging device− (power supply frequency of illumination × 2)}. Therefore, 20 Hz flicker corresponding to this frequency difference is generated.
そこで、ハイビジョンカメラのようにフレーム周波数が60Hzとされている場合には、電源周波数が50Hzのとき、撮像時に1／100秒のシャッタを挿入し、照明光の輝度変化の周期とシャッタスピードの周期とを合わせることでフリッカを防ぐ手法が考えられている。 Therefore, when the frame frequency is set to 60 Hz as in a high-definition camera, when the power supply frequency is 50 Hz, a 1/100 second shutter is inserted during imaging, and the brightness change cycle and the shutter speed cycle In order to prevent flicker by combining the
しかしながら、照明の電源周波数が50Hzの地域でフレーム周波数が120Hzのスーパーハイビジョンカメラを用いて撮像する場合には、1フレーム時間（8.33ミリ秒）よりも長いシャッタ（10ミリ秒）を挿入することは原理的に不可能であるため、撮像時にシャッタ速度を調整する従来の手法によっては、フリッカの発生を抑制することが困難であった。 However, when shooting using a Super Hi-Vision camera with a frame frequency of 120 Hz in an area where the power supply frequency of the lighting is 50 Hz, it is not possible to insert a shutter (10 milliseconds) longer than one frame time (8.33 milliseconds). Since it is impossible in principle, it is difficult to suppress the occurrence of flicker by the conventional method of adjusting the shutter speed during imaging.
その一方、従来より、一旦発生したフリッカを除去する手法も知られている。例えば、撮像画像中に含まれるフリッカ成分を推定し、この推定されたフリッカ成分を撮像画像から除去するいくつかの提案がなされている（特許文献１，２を参照）。 On the other hand, a technique for removing flicker once generated is also known. For example, some proposals have been made to estimate a flicker component included in a captured image and remove the estimated flicker component from the captured image (see Patent Documents 1 and 2).
しかしながら、撮像画像からフリッカ成分を推定して除去する上記いずれかの手法においては、例えば、動きの速い被写体をフリッカ成分と誤判定してしまう推定誤差が生じやすく、フリッカ成分を高精度に除去することが困難であった。 However, in any of the above methods for estimating and removing the flicker component from the captured image, for example, an estimation error that erroneously determines a fast-moving subject as a flicker component is likely to occur, and the flicker component is removed with high accuracy. It was difficult.
そこで、本発明は、フリッカ成分を含まない撮像画像を取得可能な撮像装置および撮像方法を提供することを目的とするものである。 Accordingly, an object of the present invention is to provide an imaging apparatus and an imaging method that can acquire a captured image that does not include a flicker component.
前記した課題を解決するため、本発明の第１の撮像装置は、
２種類以上の露光時間で撮像が可能な撮像素子と、
該撮像素子から出力された映像信号を記憶するフレームメモリと、
該フレームメモリに記憶された映像信号を加算する信号処理手段と、を備え、
前記撮像素子は、照明光の点滅周波数をｆＬ（Ｈｚ）、撮像装置のフレーム周波数をｆＣ（Ｈｚ）、とした場合に、ｆＬ＜ｆＣ＜２ｆＬとの条件を満足するように構成され、かつ１フレームを、ｎ個の期間に分割し、これらｎ個の期間の各々毎に撮像を行うように構成され、
前記信号処理手段は、前記ｎ個の期間の各々毎に撮像して得られたサブフレームを撮像順に、第１のサブフレーム、第２のサブフレーム、……第ｎのサブフレームと規定した場合に、現フレームの該第１のサブフレーム、該第２のサブフレーム、……第ｎのサブフレームによる各映像信号と、現フレームの直前のフレームの、現フレームに隣接する少なくとも１つのサブフレームによる映像信号を、互いに加算し、前記照明光の点滅周波数ｆＬの１周期をフレーム期間として有する疑似的拡張フレームの映像信号として出力することを特徴とするものである。
In order to solve the above-described problem, the first imaging device of the present invention includes:
An image sensor capable of imaging with two or more types of exposure time;
A frame memory for storing a video signal output from the image sensor;
Signal processing means for adding the video signals stored in the frame memory,
The imaging element satisfies the condition of f L <f C <2f L when the blinking frequency of the illumination light is f L (Hz) and the frame frequency of the imaging device is f C (Hz). Configured to divide one frame into n periods, and to perform imaging for each of these n periods,
The signal processing means defines subframes obtained by imaging every n periods as a first subframe, a second subframe,..., An nth subframe in the imaging order. In addition, the first subframe of the current frame, the second subframe,..., Each video signal of the nth subframe, and at least one subframe adjacent to the current frame of the frame immediately before the current frame a video signal by, and is characterized in that by adding together, and outputs it as a video signal of the pseudo extension frame having one period of the flicker frequency f L of the illumination light as the frame period.
ここで、上記「現フレームの直前のフレームの、現フレームに隣接する少なくとも１つのサブフレーム」について説明する。現フレームの直前のフレームも、現フレームと同様のサブフレームを有することが前提とされており、直前のフレームのサブフレームのうち現フレームに最も近い側の１つのサブフレーム、または現フレームに最も近いサブフレームから連続する複数のサブフレーム」のことを意味するものとする。 Here, the “at least one subframe adjacent to the current frame of the frame immediately before the current frame” will be described. The frame immediately before the current frame is also assumed to have the same subframe as the current frame, and the subframe closest to the current frame among the subframes of the immediately previous frame, or the current frame It means “a plurality of consecutive subframes from near subframes”.
また、本発明の第２の撮像装置は、
２種類の露光時間で撮像が可能な撮像素子と、
該撮像素子から出力された映像信号を記憶するフレームメモリと、
該フレームメモリに記憶された映像信号を加算する信号処理手段と、を備え、
前記撮像素子は、照明光の点滅周波数をｆＬ（Ｈｚ）、撮像装置のフレーム周波数をｆＣ（Ｈｚ）、とした場合に、ｆＬ＜ｆＣ＜２ｆＬとの条件を満足するように構成され、かつ１フレームを、下式（１）により求められる露光時間ｔ１に設定された第１の期間と、下式（２）により求められる露光時間ｔ２（ｔ１＞ｔ２）に設定された第２の期間とに分割し、これら第１の期間および第２の期間の各々毎に撮像を行うように構成され、
前記第１の期間に撮像して得られたサブフレームを第１のサブフレームと規定するとともに、前記第２の期間に撮像して得られたサブフレームを第２のサブフレームと規定した場合に、現フレームの該第１のサブフレームによる映像信号と、現フレームの該第２のサブフレームによる映像信号と、現フレームの直前のフレームの該第２のサブフレームによる映像信号を、互いに加算し、前記照明光の点滅周波数ｆＬの１周期をフレーム期間として有する疑似的拡張フレームの映像信号として出力することを特徴とするものである。
An image sensor capable of imaging with two types of exposure times;
A frame memory for storing a video signal output from the image sensor;
Signal processing means for adding the video signals stored in the frame memory,
The imaging element satisfies the condition of f L <f C <2f L when the blinking frequency of the illumination light is f L (Hz) and the frame frequency of the imaging device is f C (Hz). One frame is composed of a first period set to an exposure time t 1 obtained by the following equation (1) and an exposure time t 2 (t 1 > t 2 ) obtained by the following equation (2). Divided into a set second period and configured to perform imaging for each of the first period and the second period,
When the subframe obtained by imaging in the first period is defined as the first subframe, and the subframe obtained by imaging in the second period is defined as the second subframe. The video signal of the first subframe of the current frame, the video signal of the second subframe of the current frame, and the video signal of the second subframe of the frame immediately before the current frame are added together. it is intended to and outputs one cycle of flicker frequency f L of the illumination light as an image signal of a pseudo extension frame having a frame period.
また、照明光の点滅周波数ｆＬが１００Ｈｚである場合に、１つの前記フレームの間隔が８．３３３ミリ秒または８．３４２ミリ秒のいずれかに設定されるとともに、１つの前記疑似的拡張フレームの期間が１０ミリ秒に設定されることが好ましい。
また、前記露光時間ｔ１とされた長時間露光時間が６．６６ミリ秒に設定されるとともに前記露光時間ｔ２とされた短時間露光時間が１．６６ミリ秒に設定されることが好ましい。
Further, when the blinking frequency f L of the illumination light is 100 Hz, the interval between one frame is set to either 8.333 milliseconds or 8.342 milliseconds, and one pseudo extended frame Is preferably set to 10 milliseconds.
Further, it is preferable that the long exposure time set to the exposure time t 1 is set to 6.66 milliseconds and the short exposure time set to the exposure time t 2 is set to 1.66 milliseconds. .
また、前記フレームメモリは、現フレームの１フレーム前の露光時間ｔ２の撮像で得られた映像信号を記憶する第１のメモリ領域、現フレームの露光時間ｔ１の撮像で得られた映像信号を記憶する第２のメモリ領域、および現フレームの露光時間ｔ２の撮像で得られた映像信号を記憶する第３のメモリ領域、を備えてなることが好ましい。
また、前記撮像素子の画素は、例えば、一方向に７６８０画素で、この一方向と直交する他方向に４３２０画素、または一方向に３８４０画素で、この一方向と直交する他方向に２１６０画素に設定することができる。
Further, the frame memory comprises a first memory area, a video signal obtained by the imaging exposure time t 1 of the current frame for storing the video signal obtained in the previous frame of the image exposure time t 2 of the current frame second memory area for storing, and a third memory area for storing an image signal obtained by the imaging exposure time t 2 of the current frame is preferably made comprise.
The number of pixels of the image sensor is, for example, 7680 pixels in one direction, 4320 pixels in another direction orthogonal to the one direction, or 3840 pixels in one direction, and 2160 pixels in the other direction orthogonal to the one direction. Can be set.
さらに、本発明の撮像方法は、
２種類の露光時間で撮像が可能な撮像素子を用いる撮像方法において、
照明光の点滅周波数をｆＬ（Ｈｚ）、撮像装置のフレーム周波数をｆＣ（Ｈｚ）、とした場合に、ｆＬ＜ｆＣ＜２ｆＬとの条件を満足するように設定し、かつ１フレームを、下式（３）により求められる露光時間ｔ１に設定された第１の期間と、下式（４）により求められる露光時間ｔ２（ｔ１＞ｔ２）に設定された第２の期間とに分割し、これら第１の期間および第２の期間の各々毎に撮像を行い、
前記第１の期間に撮像して得られたサブフレームを第１のサブフレームと規定するとともに、前記第２の期間に撮像して得られたサブフレームを第２のサブフレームと規定した場合に、現フレームの該第１のサブフレームによる映像信号と、現フレームの該第２のサブフレームによる映像信号と、現フレームの直前のフレームの該第２のサブフレームによる映像信号を、互いに加算し、前記照明光の点滅周波数ｆＬの１周期をフレーム期間として有する疑似的拡張フレームの映像信号として出力せしめることを特徴とするものである。
In an imaging method using an imaging device capable of imaging with two types of exposure times,
When the blinking frequency of the illumination light is f L (Hz) and the frame frequency of the imaging device is f C (Hz), it is set so as to satisfy the condition of f L <f C <2f L , and 1 The frame is set to the first period set to the exposure time t 1 obtained by the following equation (3) and the second period set to the exposure time t 2 (t 1 > t 2 ) obtained by the following equation (4). And taking an image for each of the first period and the second period,
When the subframe obtained by imaging in the first period is defined as the first subframe, and the subframe obtained by imaging in the second period is defined as the second subframe. The video signal of the first subframe of the current frame, the video signal of the second subframe of the current frame, and the video signal of the second subframe of the frame immediately before the current frame are added together. and it is characterized in that allowed to output one cycle of the flicker frequency f L of the illumination light as an image signal of a pseudo extension frame having a frame period.
撮像装置のフレーム周波数が、照明光の点滅周波数（電源周波数の２倍の周波数）よりも大きいと、フレーム周波数と照明光の点滅周波数の差分に相当する周波数のフリッカが生じる。
そこで、本発明の第１の撮像装置によれば、照明光の点滅周波数の周期に一致するフレームの周期を、以下のような手法により構成してフリッカが生じないようにしている。
When the frame frequency of the imaging device is higher than the blinking frequency of illumination light (a frequency twice the power supply frequency), flicker occurs at a frequency corresponding to the difference between the frame frequency and the blinking frequency of illumination light.
Therefore, according to the first image pickup apparatus of the present invention, the period of the frame that matches the period of the blinking frequency of the illumination light is configured by the following method so that flicker does not occur.
すなわち、１フレームを複数の期間に分割し、これら期間の各々毎に撮像を行い、現フレームのすべてのサブフレームの映像信号と、現フレームの直前のフレームの、現フレームに隣接する少なくとも１つのサブフレームの映像信号を互いに加算して、前記照明光の点滅周波数ｆＬ（Ｈｚ）の１周期をフレーム周期として有する疑似的拡張フレームの映像信号として出力する。
これにより、疑似的拡張フレームの周期は、照明光の点滅周波数の周期と一致させることができるので、従来技術のようなフリッカの発生を抑制することができる。
That is, one frame is divided into a plurality of periods, imaging is performed for each of these periods, and at least one video signal of all subframes of the current frame and at least one of the frames immediately before the current frame adjacent to the current frame The subframe video signals are added together and output as a pseudo extended frame video signal having one cycle of the flicker frequency f L (Hz) of the illumination light as a frame cycle.
As a result, the period of the pseudo extension frame can be made to coincide with the period of the blinking frequency of the illumination light, so that occurrence of flicker as in the prior art can be suppressed.
なお、本発明の第２の撮像装置および撮像方法によれば、１フレームを第１および第２の期間に分割し、第１の期間ｔ１に撮像して得られたフレームを第１のサブフレームと規定するとともに、第２の期間ｔ２（ｔ１＞ｔ２）に撮像して得られたフレームを第２のサブフレームと規定した場合に、現フレームの該第１のサブフレームによる映像信号と、現フレームの該第２のサブフレームによる映像信号と、現フレームの直前のフレームの該第２のサブフレームによる映像信号を、互いに加算して、照明光の点滅周波数ｆＬの周期をフレーム期間として有する疑似的拡張フレームの映像信号として出力する。 According to the second imaging device and imaging method of the present invention, one frame is divided into the first and second periods, and the frame obtained by imaging in the first period t 1 is the first sub-frame. When a frame obtained by imaging in the second period t 2 (t 1 > t 2 ) is defined as a second sub-frame, and the frame is defined as a second sub-frame, an image of the current sub-frame The signal, the video signal of the second subframe of the current frame, and the video signal of the second subframe of the frame immediately before the current frame are added to each other, and the cycle of the illumination light blinking frequency f L is obtained. It is output as a video signal of a pseudo extension frame having a frame period.
これにより、各疑似的拡張フレームの周期は、照明光の点滅周波数ｆＬの周期と一致するように構成しているので、従来技術のようなフリッカの発生を抑制することができる。
このように、本発明の第１の撮像装置、第２の撮像装置および撮像方法によれば、フリッカ成分を含まない撮像画像を取得することができるので、フリッカ成分による撮像画像の画質劣化を抑制することができる。
Thus, the period of the pseudo extension frame, since the configuration to match the period of the flicker frequency f L of the illumination light, it is possible to suppress the occurrence of flicker as in the prior art.
As described above, according to the first imaging device, the second imaging device, and the imaging method of the present invention, it is possible to acquire a captured image that does not include a flicker component, thereby suppressing image quality deterioration of the captured image due to the flicker component. can do.
以下、本発明の実施形態について、上記図面を参照しながら説明する。
まず、本発明の実施形態に係る撮像装置について簡単に説明する（符号については図１を参照）。
すなわち、本実施形態に係る撮像装置１０は、長短２種類の露光時間で撮像が可能な撮像素子１２と、この撮像素子から出力された映像信号を記憶するフレームメモリ１５ａ〜ｃと、このフレームメモリ１５ａ〜ｃに記憶された映像信号を加算する信号処理部１６とを備えたものであり、現フレームの長時間露光による映像信号と、現フレームの短時間露光による映像信号と、現フレームの直前のフレームの短時間露光による映像信号と、を互いに加算し、照明光の点滅周波数ｆＬの１周期をフレーム周期として有する疑似的拡張フレームの映像信号として出力するものである。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, an imaging apparatus according to an embodiment of the present invention will be briefly described (see FIG. 1 for symbols).
That is, the imaging apparatus 10 according to the present embodiment includes an imaging device 12 that can capture images with two types of exposure time, a frame memory 15a to 15c that stores video signals output from the imaging device, and the frame memory. And a signal processing unit 16 for adding the video signals stored in 15a to 15c, the video signal by the long exposure of the current frame, the video signal by the short exposure of the current frame, and immediately before the current frame. Are added together and output as a pseudo extended frame video signal having one cycle of the blinking frequency f L of the illumination light as a frame cycle.
これにより、各疑似的拡張フレームの周期は、照明光の点滅周波数ｆＬの周期と一致させることができるので、従来技術のようなフリッカの発生を抑制することができる。
このように、本願発明の第１の撮像装置、第２の撮像装置および撮像方法によれば、フリッカ成分を含まない撮像画像を取得することができるので、フリッカ成分による撮像画像の画質劣化を抑制することができる。
Thus, the period of the pseudo extension frame, it is possible to match the period of the flicker frequency f L of the illumination light, it is possible to suppress the occurrence of flicker as in the prior art.
As described above, according to the first imaging device, the second imaging device, and the imaging method of the present invention, it is possible to acquire a captured image that does not include a flicker component, thereby suppressing image quality degradation of the captured image due to the flicker component. can do.
また、上記実施形態にかかる撮像装置において、撮像素子は、照明光の点滅周波数をｆＬ（Ｈｚ）、撮像装置のフレーム周波数をｆＣ（Ｈｚ）、とした場合に、ｆＬ＜ｆＣ＜２ｆＬとの条件を満足するように構成され、かつ１フレームを、下式（５）により求められる露光時間ｔ１に設定される長時間露光と、下式（６）により求められる露光時間ｔ２（ｔ１＞ｔ２）に設定される短時間露光とに分割し、これら長時間露光および短時間露光により各々撮像が行われるように構成されている。
なお、加算により得られた疑似的拡張フレームを構成する露光時間ｔ３は、
図１は、本実施形態に係る撮像装置の概略構成をブロック図によって示すものである。
すなわち、撮像レンズ１１から入射された光情報は、上述した撮像素子１２上に結像される。この撮像素子１２のシャッタ駆動操作等は駆動回路１３から入力されるコントロール信号によって制御される。
FIG. 1 is a block diagram illustrating a schematic configuration of an imaging apparatus according to the present embodiment.
In other words, the optical information incident from the imaging lens 11 is imaged on the imaging element 12 described above. The shutter drive operation of the image sensor 12 is controlled by a control signal input from the drive circuit 13.
一方、撮像素子１２の露光（撮像）により得られた映像信号（長時間露光による映像信号および短時間露光による映像信号）は、受信回路１４を介してフレームメモリ１〜３に分配して入力される。具体的には、現フレームの短時間露光信号はフレームメモリ１（１５ａ）に記憶され、現フレームの長時間露光信号はフレームメモリ２（１５ｂ）に記憶され、現フレームの直前の短時間露光信号はフレームメモリ３（１５ｃ）に記憶される。 On the other hand, video signals obtained by exposure (imaging) of the image sensor 12 (video signals by long exposure and video signals by short exposure) are distributed and input to the frame memories 1 to 3 via the receiving circuit 14. The Specifically, the short exposure signal of the current frame is stored in the frame memory 1 (15a), the long exposure signal of the current frame is stored in the frame memory 2 (15b), and the short exposure signal immediately before the current frame is stored. Is stored in the frame memory 3 (15c).
そして、所定のタイミングで、これら３つのフレームメモリ１〜３（１５ａ〜ｃ）に一旦記憶されていた各映像信号が加算処理部１６によって同一画素毎に加算され、この後、疑似的拡張フレームの映像信号として、バッファ１７およびドライバ１８を介して外部に読み出される。 Then, at a predetermined timing, each video signal once stored in the three frame memories 1 to 3 (15a to 15c) is added for each same pixel by the addition processing unit 16, and thereafter, the pseudo extended frame A video signal is read out through the buffer 17 and the driver 18.
次に、図２を用いて、本発明の実施形態に係る、長時間露光と短時間露光の開始および終了のタイミングを説明する。
本実施形態においては、ローリングシャッターを用いており、撮像素子における長短時間露光の例を示す。なお、このような露光に関する従来技術の内容は、”Wide Intrascene Dynamic Range CMOS APS Using Dual Sampling,” IEEE TRANSACTIONS ON ELECTRON DEVICES, VOL. 44, NO. 10, pp. 1721-1723 OCTOBER 1997に記載されている。
Next, the start and end timings of long-time exposure and short-time exposure according to the embodiment of the present invention will be described with reference to FIG.
In the present embodiment, a rolling shutter is used, and an example of long and short time exposure in an image sensor is shown. The contents of the prior art relating to such exposure are described in “Wide Intrascene Dynamic Range CMOS APS Using Dual Sampling,” IEEE TRANSACTIONS ON ELECTRON DEVICES, VOL. 44, NO. 10, pp. 1721-1723 OCTOBER 1997. Yes.
図２に示すように、垂直走査を、時間をずらして２回行うことで（短時間露光用のV.scan1および長時間露光用のV.scan2）長短時間露光を実現している。
ここで、フレーム周波数が１２０Ｈｚの場合、１フレーム期間は８．３３ｍｓとなることから、照明光の点滅周波数が１００Ｈｚの場合、長時間露光の露光時間ｔ１=6.66msであり、短時間露光の露光時間ｔ２=1.66msである。
垂直走査をずらすことによる時間的なずれを、１．６６ｍｓと６．６６ｍｓに設定するための具体的な手法を以下に示す。
As shown in FIG. 2, the vertical scanning is performed twice at different times (V.scan1 for short exposure and V.scan2 for long exposure) to realize long short exposure.
Here, when the frame frequency is 120 Hz, one frame period is 8.33 ms. Therefore, when the blinking frequency of the illumination light is 100 Hz, the long exposure time t 1 = 6.66 ms, and the short exposure time. The exposure time t 2 is 1.66 ms.
A specific method for setting the time shift due to shifting the vertical scanning to 1.66 ms and 6.66 ms is shown below.
垂直方向の画素数がスーパーハイビジョンで採用されている4320画素（水平方向には7680画素）の場合、V.scan1で１ライン目（Ｌ1）を読み出した後に、V.scan2で864ライン目（Ｌ864:4320×1.66/8.33=864により計算される）を読み出す。 If the number of pixels in the vertical direction is 4320 pixels (7680 pixels in the horizontal direction) used in Super Hi-Vision, after reading the first line (L 1 ) with V.scan1, the 864th line ( L 864 : 4320 × 1.66 / 8.33 = 864).
次にV.scan1が864ライン目Ｌ864を読み出すまでの時間は１．６６ｍｓであり、864ライン目Ｌ864の画素では、それまでに１．６６ｍｓの露光（短時間露光）が行われたこととなる。
一方、V.scan1により上記短時間露光が行われた後、V.scan2が864ライン目Ｌ864を読み出すまでの時間（1729ライン目Ｌ1729〜4320ライン目Ｌ4320、および１ライン目Ｌ１〜864ライン目Ｌ864を読み出すのに要する時間）は６．６６ｍｓであり、864ライン目Ｌ864の画素では、それまでに６．６６ｍｓの露光（長時間露光）が行われることとなる。
Then V.scan1 is time 1.66ms to read the 864-th line L 864, 864 for the pixels in the line L 864, the 1.66ms exposure (short exposure) is performed so far It becomes.
On the other hand, after the short time exposure is performed by V.Scan1, time until V.scan2 reads 864 line L 864 (1729 line L 1729 ~4320 line L 4320, and the first line L 1 ~ time required to read out the 864-th line L 864) is 6.66Ms, for the pixels in the 864-th line L 864, allowing exposure of 6.66Ms (long exposure) is carried out until then.
このように、サブフレームの読出しは、短時間露光フレームＬ１、長時間露光フレームＬｎ、短時間露光フレームＬ２、長時間露光フレームＬｎ＋１、短時間露光フレームＬ３、長時間露光フレームＬｎ＋２…… という順序で行われることとなる。 As described above, the subframes are read out from the short exposure frame L 1 , the long exposure frame L n , the short exposure frame L 2 , the long exposure frame L n + 1 , the short exposure frame L 3 , and the long exposure frame L. It is performed in the order of n + 2 .
次に、図３を用い、図２の読み出し操作により得られた長短時間露光による各サブフレームを加算して、疑似的拡張フレームを構築する手法について説明する。
図３（Ａ）に示すように、周波数が１２０Ｈｚのフレーム期間は、６．６６ｍｓの長時間露光フレーム（ＬＦ）と１．６６ｍｓの短時間露光フレーム（ＳＦ）に分割される。
Next, a method for constructing a pseudo extended frame by adding the subframes obtained by the long and short exposure obtained by the read operation in FIG. 2 will be described with reference to FIG.
As shown in FIG. 3A, a frame period having a frequency of 120 Hz is divided into a long exposure frame (LF) of 6.66 ms and a short exposure frame (SF) of 1.66 ms.
換言すれば、順次読み出される各フレームは、長時間露光フレーム（ＬＦ）と短時間露光フレーム（ＳＦ）がこの順で組み合わされたものとなる（図３では、各フレームを実線で囲んでいる。（Ａ）、（Ｂ）について共通）。
例えば、図３（Ｂ）に示すように、３つの連続するフレームを直線的に並べると、第１フレームの長時間露光サブフレーム（ＬＦ）、第１フレームの短時間露光サブフレーム（ＳＦ）、第２フレームの長時間露光サブフレーム（ＬＦ）、第２フレームの短時間露光サブフレーム（ＳＦ）、第３フレームの長時間露光サブフレーム（ＬＦ）、第３フレームの短時間露光サブフレーム（ＳＦ）となる。なお、第１フレームの長時間露光フレーム（ＬＦ）の直前に第０フレーム短時間露光フレーム（ＳＦ）が位置する。
In other words, each frame that is sequentially read out is a combination of the long exposure frame (LF) and the short exposure frame (SF) in this order (in FIG. 3, each frame is surrounded by a solid line). (Common to (A) and (B)).
For example, as shown in FIG. 3B, when three consecutive frames are arranged in a straight line, the long exposure subframe (LF) of the first frame, the short exposure subframe (SF) of the first frame, The second frame long exposure subframe (LF), the second frame short exposure subframe (SF), the third frame long exposure subframe (LF), the third frame short exposure subframe (SF) ) Note that the 0th frame short exposure frame (SF) is positioned immediately before the first frame long exposure frame (LF).
このとき、注目している現フレームの長時間露光サブフレーム（ＬＦ）と短時間露光サブフレーム（ＳＦ）に、現フレームの１つ前のフレームにおける短時間露光サブフレーム（ＳＦ）を組み合わせてみると、
１．６６ｍｓ＋６．６６ｍｓ＋１．６６ｍｓ≒１０ｍｓ
となり、照明光の点滅周波数（１００Ｈｚ）の周期である１０ｍｓに一致する。
At this time, the long exposure subframe (LF) and the short exposure subframe (SF) of the current frame of interest are combined with the short exposure subframe (SF) of the frame immediately before the current frame. When,
1.66 ms + 6.66 ms + 1.66 ms≈10 ms
And coincides with 10 ms, which is the cycle of the blinking frequency (100 Hz) of the illumination light.
すなわち、図３（Ｂ）に示すように、例えば、第１フレームの長時間露光サブフレーム（ＬＦ）と短時間露光サブフレーム（ＳＦ）に、第０フレームの短時間露光サブフレーム（ＳＦ）を加えて第１疑似的拡張フレーム（各疑似的拡張フレームを一点鎖線で囲んでいる）を構成する。また、第２フレームの長時間露光サブフレーム（ＬＦ）と短時間露光サブフレーム（ＳＦ）に、第１フレームの短時間露光サブフレーム（ＳＦ）を加えて第２疑似的拡張フレームを構成する。さらに、第３フレームの長時間露光サブフレーム（ＬＦ）と短時間露光サブフレーム（ＳＦ）に、第２フレームの短時間露光サブフレーム（ＳＦ）を加えて第３疑似的拡張フレームを構成する。この後のフレームについても同様である。 That is, as shown in FIG. 3B, for example, the short exposure subframe (SF) of the 0th frame is added to the long exposure subframe (LF) and the short exposure subframe (SF) of the first frame. In addition, a first pseudo expansion frame (each pseudo expansion frame is surrounded by a one-dot chain line) is formed. Further, the second pseudo extended frame is configured by adding the short exposure subframe (SF) of the first frame to the long exposure subframe (LF) and the short exposure subframe (SF) of the second frame. Further, the third pseudo extended frame is configured by adding the second frame short exposure subframe (SF) to the third frame long exposure subframe (LF) and the short exposure subframe (SF). The same applies to the subsequent frames.
結局、上述した疑似的拡張フレームの期間は全て１０ｍｓと考えてよく、照明光の点滅周波数（１００Ｈｚ）の周期と一致するから、撮像映像にフリッカ成分を発生させないようにすることができる。 Eventually, all the periods of the above-described pseudo extended frame may be considered to be 10 ms, which coincides with the cycle of the blinking frequency (100 Hz) of the illumination light, so that flicker components can be prevented from being generated in the captured image.
次に、図４〜６を用いて、３つのフレームメモリを用い、各フレームメモリ１〜３に一時的に記憶されていた映像信号を加算する手法について説明する。
まず、図４は、現フレームがフレームｎに設定されている時の短時間露光開始のタイミング時における加算手法を示すものである。
Next, a method of adding video signals temporarily stored in the frame memories 1 to 3 using three frame memories will be described with reference to FIGS.
First, FIG. 4 shows an addition method at the timing of starting short-time exposure when the current frame is set to frame n.
すなわち、フレームｎ−１の短時間露光サブフレームｔ２（ｎ−１）における露光が開始され、このとき撮像された各画素の映像信号はフレームメモリ１（１５ａ）に記憶される。次に、この６．６６ｍｓ後にフレームｎの長時間露光サブフレームｔ１（ｎ）における露光が開始され、このとき撮像された各画素の映像信号はフレームメモリ２（１５ｂ）に記憶される。次に、この１．６６ｍｓ後にフレームｎの短時間露光サブフレームｔ２（ｎ）における露光が開始され、このとき撮像された各画素の映像信号はフレームメモリ３（１５ｃ）に記憶される。 That is, the exposure in the short-time exposure subframe t2 (n-1) of the frame n-1 is started, and the video signal of each pixel imaged at this time is stored in the frame memory 1 (15a). Next, after 6.66 ms, exposure in the long exposure subframe t1 (n) of frame n is started, and the video signal of each pixel imaged at this time is stored in the frame memory 2 (15b). Next, after 1.66 ms, exposure in the short-time exposure subframe t2 (n) of frame n is started, and the video signal of each pixel imaged at this time is stored in the frame memory 3 (15c).
そして、フレームｎの短時間露光サブフレームｔ２（ｎ）の最初の画素信号がフレームメモリ３（１５ｃ）から出力された時点で、サブフレームｔ２（ｎ−１）の最初の画素信号、サブフレームｔ１（ｎ）の最初の画素信号、およびサブフレームｔ２（ｎ）の最初の画素信号が加算処理手段１６において加算される。 Then, when the first pixel signal of the short-time exposure subframe t2 (n) of frame n is output from the frame memory 3 (15c), the first pixel signal of subframe t2 (n-1), subframe t1 The first pixel signal of (n) and the first pixel signal of subframe t2 (n) are added by the addition processing means 16.
各サブフレームｔ２（ｎ−１）、ｔ１（ｎ）、ｔ２（ｎ）についての画素信号の加算処理は、ｔ２（ｎ）の最後の画素信号がフレームメモリ３（１５ｃ）から出力されるまで繰り返し行われる。なお、図５は、現フレームがフレームｎに設定されている時の短時間露光終了のタイミングにおける加算手法を示すものである。すなわち、フレームｎの短時間露光サブフレームｔ２（ｎ）の最後の画素信号が撮像装置１０から出力された時点で、サブフレームｔ２（ｎ−１）の最後の画素信号、サブフレームｔ１（ｎ）の最後の画素信号、およびサブフレームｔ２（ｎ）の最後の画素信号が加算処理手段１６において加算される。 The pixel signal addition processing for each subframe t2 (n−1), t1 (n), and t2 (n) is repeated until the last pixel signal of t2 (n) is output from the frame memory 3 (15c). Done. FIG. 5 shows an addition method at the end of the short-time exposure when the current frame is set to frame n. That is, when the last pixel signal of the short-time exposure subframe t2 (n) of frame n is output from the imaging device 10, the last pixel signal of subframe t2 (n-1), subframe t1 (n) And the last pixel signal of the subframe t2 (n) are added by the addition processing means 16.
次に、図６は、現フレームがフレームｎ＋１に設定されている時の短時間露光開始のタイミングにおける加算手法を示すものである。
すなわち、フレームｎの短時間露光サブフレームｔ２（ｎ）における露光が開始され、このとき撮像された各画素の映像信号はフレームメモリ３（１５ｃ）に記憶される。次に、この６．６６ｍｓ後にフレームｎ＋１の長時間露光サブフレームｔ１（ｎ＋１）における露光が開始され、このとき撮像された各画素の映像信号はフレームメモリ２（１５ｂ）に記憶される。次に、この１．６６ｍｓ後にフレームｎ＋１の短時間露光サブフレームｔ２（ｎ＋１）における露光が開始され、このとき撮像された各画素の映像信号はフレームメモリ１（１５ａ）に記憶される。
Next, FIG. 6 shows an addition method at the timing of starting short-time exposure when the current frame is set to frame n + 1.
That is, exposure in the short-time exposure subframe t2 (n) of frame n is started, and the image signal of each pixel imaged at this time is stored in the frame memory 3 (15c). Next, after 6.66 ms, exposure in the long exposure subframe t1 (n + 1) of frame n + 1 is started, and the video signal of each pixel imaged at this time is stored in the frame memory 2 (15b). Next, after 1.66 ms, exposure in the short exposure subframe t2 (n + 1) of frame n + 1 is started, and the video signal of each pixel imaged at this time is stored in the frame memory 1 (15a).
そして、フレームｎ＋１の短時間露光サブフレームｔ２（ｎ＋１）の最初の画素信号がフレームメモリ１（１５ａ）から出力された時点で、サブフレームｔ２（ｎ）の最初の画素信号、サブフレームｔ１（ｎ＋１）の最初の画素信号、およびサブフレームｔ２（ｎ＋１）の最初の画素信号が加算処理手段１６において加算される。 Then, when the first pixel signal of the short-time exposure subframe t2 (n + 1) of frame n + 1 is output from the frame memory 1 (15a), the first pixel signal of subframe t2 (n), subframe t1 (n + 1) ) And the first pixel signal of subframe t2 (n + 1) are added by the addition processing means 16.
各サブフレームｔ２（ｎ）、ｔ１（ｎ＋１）、ｔ２（ｎ＋１）についての画素信号の加算処理は、ｔ２（ｎ＋１）の最後の画素信号がフレームメモリ１（１５ａ）から出力されるまで繰り返し行われる。
このように、３つのフレームメモリ１〜３の信号を各画素毎に順次加算し、全ての画素についての出力が終了するまで繰り返し行われる。
The pixel signal addition processing for each of the subframes t2 (n), t1 (n + 1), and t2 (n + 1) is repeatedly performed until the last pixel signal of t2 (n + 1) is output from the frame memory 1 (15a). .
As described above, the signals of the three frame memories 1 to 3 are sequentially added for each pixel, and the process is repeated until the output for all the pixels is completed.
なお、本発明の撮像装置および撮像方法としては、上記実施形態のものに限られるものではなく種々の態様の変更が可能である。例えば、長短時間露光の手法はこの方法に限られるものではなく、例えば３種類以上の露光時間で撮像した場合にも、現フレームと、その直前のフレームの一部のサブフレームの各期間を加算してその合計を１０ミリ秒に設定することができるのであれば、本発明を適用可能である。 Note that the imaging apparatus and imaging method of the present invention are not limited to those of the above-described embodiment, and various modifications can be made. For example, the method of long and short exposure is not limited to this method. For example, even when imaging is performed with three or more types of exposure time, the periods of the current frame and some subframes of the immediately preceding frame are added. If the total can be set to 10 milliseconds, the present invention can be applied.
また、上記実施形態のものでは、フレームメモリを３つ用いる場合について説明したが、実質的にフレームメモリに記憶させる信号データは２フレーム分程度でよいことから、２つのフレームメモリと数ライン分のラインメモリを用いるようにしてもよい。 Further, in the above embodiment, the case where three frame memories are used has been described. However, since signal data to be substantially stored in the frame memory may be about two frames, two frame memories and several lines of memory are required. A line memory may be used.
また、上記実施形態のものでは、加算された後の疑似的拡張フレームは、前後のフレームと露光がオーバーラップするものであるから残像が発生する虞がある。そこで、フリッカのレベルに応じて、上述した長時間露光の露光時間ｔ１の期間をより長く、短時間露光時間ｔ２の期間をより短くするように調整する。この場合、フリッカの程度を勘案し、状況に応じて両者の適切なバランスをとるように調整することが可能である。 Further, in the above-described embodiment, since the pseudo extended frame after the addition is one in which exposure is overlapped with the previous and subsequent frames, there is a possibility that an afterimage may occur. Therefore, in accordance with the flicker level, the above-described long exposure time t 1 is adjusted to be longer and the short exposure time t 2 is adjusted to be shorter. In this case, the degree of flicker can be taken into consideration and adjustments can be made so as to achieve an appropriate balance between the two according to the situation.
また上述した実施形態においては、１つのフレーム間隔を８．３３３ミリ秒に設定しているが、これに替えて８．３４２ミリ秒に設定することが可能である。
また、上述した実施形態においては、撮像素子の画素は、一方向に７６８０画素で、これに直交する他方向に４３２０画素として設定しているが、これら２方向の画素数としては、種々の画素数のものを適用することができ、例えば、一方向に３８４０画素で、これに直交する他方向に２１６０画素に設定することできる。
In the above-described embodiment, one frame interval is set to 8.333 milliseconds, but can be set to 8.342 milliseconds instead.
In the above-described embodiment, the number of pixels of the imaging element is set to 7680 pixels in one direction and 4320 pixels in the other direction orthogonal to the pixel. For example, 3840 pixels can be set in one direction and 2160 pixels can be set in the other direction orthogonal thereto.
また、撮像素子としては、上述したＣＭＯＳ以外にも、ＸＹアドレスを用いる種々のタイプの撮像素子について適用することが可能である。
また、上記実施形態においては、シャッタとしてローリングシャッタを用いているが、これに替えてグローバルシャッタを用いることが可能である。
In addition to the above-described CMOS, the image pickup device can be applied to various types of image pickup devices using XY addresses.
In the above embodiment, a rolling shutter is used as the shutter, but a global shutter can be used instead.
１０ 撮像装置
１１ 撮像レンズ
１２ 撮像素子
１３ 駆動回路
１４ 受信回路
１５ａ、１５ｂ、１５ｃ フレームメモリ
１６ 加算処理手段
１７ バッファ
１８ ドライバ
DESCRIPTION OF SYMBOLS 10 Imaging device 11 Imaging lens 12 Imaging element 13 Drive circuit 14 Receiving circuit 15a, 15b, 15c Frame memory 16 Addition processing means 17 Buffer 18 Driver
Claims (7)
該撮像素子から出力された映像信号を記憶するフレームメモリと、
該フレームメモリに記憶された映像信号を加算する信号処理手段と、を備え、
前記撮像素子は、照明光の点滅周波数をｆＬ（Ｈｚ）、撮像装置のフレーム周波数をｆＣ（Ｈｚ）、とした場合に、ｆＬ＜ｆＣ＜２ｆＬとの条件を満足するように構成され、かつ１フレームを、ｎ個の期間に分割し、これらｎ個の期間の各々毎に撮像を行うように構成され、
前記信号処理手段は、前記ｎ個の期間の各々毎に撮像して得られたサブフレームを撮像順に、第１のサブフレーム、第２のサブフレーム、……第ｎのサブフレームと規定した場合に、現フレームの該第１のサブフレーム、該第２のサブフレーム、……第ｎのサブフレームによる各映像信号と、現フレームの直前のフレームの、現フレームに隣接する少なくとも１つのサブフレームによる映像信号を、互いに加算し、前記照明光の点滅周波数ｆＬの１周期をフレーム期間として有する疑似的拡張フレームの映像信号として出力することを特徴とする撮像装置。 An image sensor capable of imaging with two or more types of exposure time;
A frame memory for storing a video signal output from the image sensor;
Signal processing means for adding the video signals stored in the frame memory,
The imaging element satisfies the condition of f L <f C <2f L when the blinking frequency of the illumination light is f L (Hz) and the frame frequency of the imaging device is f C (Hz). Configured to divide one frame into n periods, and to perform imaging for each of these n periods,
The signal processing means defines subframes obtained by imaging every n periods as a first subframe, a second subframe,..., An nth subframe in the imaging order. In addition, the first subframe of the current frame, the second subframe,..., Each video signal of the nth subframe, and at least one subframe adjacent to the current frame of the frame immediately before the current frame video signal by a, then added together, the imaging device and outputs a video signal of the pseudo extension frame having one period of the flicker frequency f L of the illumination light as the frame period.
該撮像素子から出力された映像信号を記憶するフレームメモリと、
該フレームメモリに記憶された映像信号を加算する信号処理手段と、を備え、
前記撮像素子は、照明光の点滅周波数をｆＬ（Ｈｚ）、撮像装置のフレーム周波数をｆＣ（Ｈｚ）、とした場合に、ｆＬ＜ｆＣ＜２ｆＬとの条件を満足するように構成され、かつ１フレームを、下式（１）により求められる露光時間ｔ１に設定された第１の期間と、下式（２）により求められる露光時間ｔ２（ｔ１＞ｔ２）に設定された第２の期間とに分割し、これら第１の期間および第２の期間の各々毎に撮像を行うように構成され、
前記第１の期間に撮像して得られたサブフレームを第１のサブフレームと規定するとともに、前記第２の期間に撮像して得られたサブフレームを第２のサブフレームと規定した場合に、現フレームの該第１のサブフレームによる映像信号と、現フレームの該第２のサブフレームによる映像信号と、現フレームの直前のフレームの該第２のサブフレームによる映像信号を、互いに加算し、前記照明光の点滅周波数ｆＬの１周期をフレーム期間として有する疑似的拡張フレームの映像信号として出力することを特徴とする撮像装置。
A frame memory for storing a video signal output from the image sensor;
Signal processing means for adding the video signals stored in the frame memory,
The imaging element satisfies the condition of f L <f C <2f L when the blinking frequency of the illumination light is f L (Hz) and the frame frequency of the imaging device is f C (Hz). One frame is composed of a first period set to an exposure time t 1 obtained by the following equation (1) and an exposure time t 2 (t 1 > t 2 ) obtained by the following equation (2). Divided into a set second period and configured to perform imaging for each of the first period and the second period,
When the subframe obtained by imaging in the first period is defined as the first subframe, and the subframe obtained by imaging in the second period is defined as the second subframe. The video signal of the first subframe of the current frame, the video signal of the second subframe of the current frame, and the video signal of the second subframe of the frame immediately before the current frame are added together. , imaging device and outputs one cycle of flicker frequency f L of the illumination light as an image signal of a pseudo extension frame having a frame period.
照明光の点滅周波数をｆＬ（Ｈｚ）、撮像装置のフレーム周波数をｆＣ（Ｈｚ）、とした場合に、ｆＬ＜ｆＣ＜２ｆＬとの条件を満足するように設定し、かつ１フレームを、下式（３）により求められる露光時間ｔ１に設定された第１の期間と、下式（４）により求められる露光時間ｔ２（ｔ１＞ｔ２）に設定された第２の期間とに分割し、これら第１の期間および第２の期間の各々毎に撮像を行い、
前記第１の期間に撮像して得られたサブフレームを第１のサブフレームと規定するとともに、前記第２の期間に撮像して得られたサブフレームを第２のサブフレームと規定した場合に、現フレームの該第１のサブフレームによる映像信号と、現フレームの該第２のサブフレームによる映像信号と、現フレームの直前のフレームの該第２のサブフレームによる映像信号を、互いに加算し、前記照明光の点滅周波数ｆＬの１周期をフレーム期間として有する疑似的拡張フレームの映像信号として出力せしめることを特徴とする撮像方法。
When the blinking frequency of the illumination light is f L (Hz) and the frame frequency of the imaging device is f C (Hz), it is set so as to satisfy the condition of f L <f C <2f L , and 1 The frame is set to the first period set to the exposure time t 1 obtained by the following equation (3) and the second period set to the exposure time t 2 (t 1 > t 2 ) obtained by the following equation (4). And taking an image for each of the first period and the second period,
When the subframe obtained by imaging in the first period is defined as the first subframe, and the subframe obtained by imaging in the second period is defined as the second subframe. The video signal of the first subframe of the current frame, the video signal of the second subframe of the current frame, and the video signal of the second subframe of the frame immediately before the current frame are added together. the imaging method characterized by allowed to output one cycle of the flicker frequency f L of the illumination light as an image signal of a pseudo extension frame having a frame period.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014159071A JP6412364B2 (en) | 2014-08-04 | 2014-08-04 | Imaging apparatus and imaging method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014159071A JP6412364B2 (en) | 2014-08-04 | 2014-08-04 | Imaging apparatus and imaging method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016036122A JP2016036122A (en) | 2016-03-17 |
| JP6412364B2 true JP6412364B2 (en) | 2018-10-24 |
Family
ID=55523749
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014159071A Active JP6412364B2 (en) | 2014-08-04 | 2014-08-04 | Imaging apparatus and imaging method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6412364B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7030703B2 (en) * | 2016-09-23 | 2022-03-07 | ソニーセミコンダクタソリューションズ株式会社 | Signal processing device, imaging device, and signal processing method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006301286A (en) * | 2005-04-20 | 2006-11-02 | Sharp Corp | Developing device |
| JP5036410B2 (en) * | 2007-05-31 | 2012-09-26 | キヤノン株式会社 | Imaging apparatus and control method thereof |
| JP5720250B2 (en) * | 2011-01-05 | 2015-05-20 | 株式会社ニコン | Imaging apparatus and image processing control program |
-
2014
- 2014-08-04 JP JP2014159071A patent/JP6412364B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016036122A (en) | 2016-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10244192B2 (en) | Image capturing apparatus and driving method of image sensor | |
| TWI390971B (en) | Imaging apparatus, imaging processing method, and imaging control program | |
| JP6700723B2 (en) | Imaging device and driving method of imaging device | |
| JP2010114834A (en) | Imaging apparatus | |
| JP2007336561A (en) | Image generating apparatus and method | |
| US8786724B2 (en) | Image-capturing device for controlling a timing for generating of image-capture data and timing control circuit for controlling a timing for generating of image-capture | |
| JP2007300595A (en) | Method of avoiding shaking during still image photographing | |
| JP2007318581A (en) | Imaging apparatus, photographing auxiliary light source emitting/imaging control method, and photographing auxiliary light source emitting/imaging control program | |
| JP2009077057A (en) | Imaging apparatus, and control method for imaging apparatus | |
| US20110310269A1 (en) | Image-capturing device and timing control circuit | |
| WO2019131346A1 (en) | Imaging device, imaging system, and method for driving imaging device | |
| JP2009124260A (en) | Imaging apparatus | |
| JP2009152919A (en) | Imaging apparatus and image signal processing method | |
| JP6412364B2 (en) | Imaging apparatus and imaging method | |
| JP6325886B2 (en) | Display processing apparatus and imaging apparatus | |
| JP6762767B2 (en) | Image sensor, image sensor, and image signal processing method | |
| JP2015142201A (en) | Imaging apparatus | |
| JP7204480B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, MOVING OBJECT, AND IMAGING DEVICE CONTROL METHOD | |
| US20130162873A1 (en) | Imaging apparatus | |
| JP2009135792A (en) | Imaging device and image signal processing method | |
| US10088770B2 (en) | Imaging display system and imaging display method | |
| JP2017169027A (en) | Flash band determination device, control method therefor, and control program, and imaging device | |
| JP2021034997A (en) | Image processing system | |
| JP2014121024A (en) | Imaging apparatus | |
| JP2007028236A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170626 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20180427 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180525 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180605 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180727 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180928 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6412364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |