JP5360589B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP5360589B2 JP5360589B2 JP2009282989A JP2009282989A JP5360589B2 JP 5360589 B2 JP5360589 B2 JP 5360589B2 JP 2009282989 A JP2009282989 A JP 2009282989A JP 2009282989 A JP2009282989 A JP 2009282989A JP 5360589 B2 JP5360589 B2 JP 5360589B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- ntsc
- frame
- image data
- frame frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、車両に搭載して用いられる車載カメラなどの画像撮像装置に係り、詳しくは、NTSC方式出力の画像撮像装置に関する。 The present invention relates to an image capturing apparatus such as an in-vehicle camera used by being mounted on a vehicle, and more particularly to an NTSC output image capturing apparatus.
一般に車載カメラは、NTSC方式の表示装置などに合わせるために、CMOSセンサなどの撮像素子により、撮影コマ数を約30fpsで撮影している。このような車載カメラで路上の例えばLED式信号機を撮影した場合、以下のような問題が発生する。 In general, in-vehicle cameras shoot at a shooting frame number of about 30 fps with an image sensor such as a CMOS sensor in order to match an NTSC display device or the like. When, for example, an LED type traffic light on the road is photographed with such a vehicle-mounted camera, the following problems occur.
LED式信号機は、商用交流電源を全波整流した駆動電圧で駆動されているので、目視では確認することができないが、信号の点灯及び消灯が微小時間で周期的に繰り返されている。そのため、あるフレームにおいて、撮像素子の電荷蓄積時間と信号の消灯期間とが重なった場合には、そのフレームに関しては、実際には赤、青、緑のいずれかが点灯状態であっても消灯状態として撮像されることとなる。そして、このようなフレームが連続すると、消灯状態の信号機が撮影された映像が数十フレームにもわたって出力されることになる。これは、ドライブレコーダにおいて特に深刻な問題である。ドライブレコーダは、車載カメラにより撮影された映像を記録しておくもので、事故分析を行う際などに広く用いられるが、事故・ヒヤリ発生時の信号機の正確な状態が判別できないと、事故処理における責任判別等に支障が生じてしまう。 Since the LED type traffic light is driven by a driving voltage obtained by full-wave rectification of a commercial AC power supply, it cannot be visually confirmed, but the lighting and extinguishing of the signal is repeated periodically in a very short time. Therefore, if the charge accumulation time of the image sensor and the signal extinction period overlap in a certain frame, the extinction state of that frame is actually off even if any of red, blue, or green is on As a result. Then, when such frames are continued, an image obtained by photographing a traffic light in an extinguished state is output over several tens of frames. This is a particularly serious problem in a drive recorder. A drive recorder records video taken by an in-vehicle camera and is widely used when conducting accident analysis. However, if the exact state of a traffic light at the time of an accident or near-miss can not be determined, Obstacles will arise in responsibility determination.
上記のような問題に対処するため、撮像素子のフレーム周波数をNTSC方式のフレーム周波数に対して所定のオフセット周波数だけオフセットさせたフレーム周波数(オフセットフレーム周波数)に設定することが知られている(例えば、特許文献1参照)。これによれば、LED方式信号機などを撮影しても、点灯時、消灯状態の映像が数十フレームにわたって出力されることはなくなるが、映像信号のフレーム周波数はNTSC方式のフレーム周波数から外れているため、このままでは、NTSC方式の表示装置に表示することができない。 In order to cope with the above problems, it is known to set the frame frequency of the image sensor to a frame frequency (offset frame frequency) offset by a predetermined offset frequency with respect to the NTSC frame frequency (for example, , See Patent Document 1). According to this, even if an LED type traffic light or the like is photographed, an unlit video is not output over several tens of frames at the time of lighting, but the frame frequency of the video signal is out of the NTSC frame frequency. Therefore, it cannot be displayed on the NTSC display device as it is.
この対策としては、NTSC方式のフレーム周波数から外したフレーム周波数(オフセットフレーム周波数)で、撮像素子から取り込んだ画像データをフレームメモリに保存し、該フレームメモリからNTSC方式のフレーム周波数で読出し、表示装置に出力することが考えられる。しかしながら、この場合、既存のNTSC方式対応の発振器に加えて、撮像素子がNTSC方式のフレーム周波数から外れたフレーム周波数で画像データを出力するための、該既存のNTSC方式対応の発振器のクロック周波数と異なるクロック周波数のクロックを発生せしめる発振器を新たに実装する必要がある。 As a countermeasure against this, image data captured from the image sensor is stored in a frame memory at a frame frequency (offset frame frequency) that is excluded from the NTSC frame frequency, and is read from the frame memory at the NTSC frame frequency. Can be output to However, in this case, in addition to the existing NTSC system oscillator, the clock frequency of the existing NTSC system oscillator for outputting image data at a frame frequency that deviates from the NTSC frame frequency. It is necessary to mount a new oscillator that generates clocks having different clock frequencies.
また、通常、撮像素子からの画像データの読出しはプログレッシブ方式で行われる。一方、NTSC方式の表示装置はインタレース方式を採用している。そのため、撮像素子から読出された画像データはプログレッシブ方式でフレームメモリに書込み、該フレームメモリからインタレース方式で読出すこととなる。この場合、上記方法では、フレームメモリに1フレームの画像データを書込む時間とフレームメモリから1フレームの画像データを読出す時間が異なるため、フレームメモリをダブルバッファとしても、インタレース方式に特有なコムノイズが発生する。コムノイズとは、異なるフレームの奇数フィールドと偶数フィールドからなるフレーム画像に発生する櫛歯状の画像ずれのことである。 Normally, reading of image data from the image sensor is performed in a progressive manner. On the other hand, an NTSC display device employs an interlace method. Therefore, the image data read from the image sensor is written to the frame memory by the progressive method, and read from the frame memory by the interlace method. In this case, in the above method, the time for writing one frame of image data to the frame memory is different from the time for reading one frame of image data from the frame memory. Therefore, even if the frame memory is a double buffer, it is peculiar to the interlace method. Comb noise is generated. Comb noise is comb-like image shift that occurs in a frame image composed of odd and even fields in different frames.
本発明は、LED信号機などの点灯機の点灯時における明滅周期の影響を受け難くし、かつ、NTSC方式の表示装置をそのまま使用できるように、NTSC方式のフレーム周波数から外したフレーム周波数で撮像素子から画像データを読出し、それをフレームメモリに書込み、該フレームメモリからNTSC方式のフレーム周波数で読出すようにした撮像装置において、装置に実装するクロック発振器はNTSC方式におけるクロック信号発生用の発振器のみとして、低コストな撮像画像装置を実現し、また、コムノイズ発生の影響を必要最小限とすることを目的とする。 The present invention makes it difficult to be affected by a blinking cycle when a lighting device such as an LED traffic light is lit, and an image pickup device at a frame frequency that is out of the NTSC frame frequency so that the NTSC display device can be used as it is. In the image pickup apparatus in which image data is read out from the frame memory, written in the frame memory, and read out from the frame memory at the frame frequency of the NTSC system, the clock oscillator mounted on the apparatus is only an oscillator for generating a clock signal in the NTSC system An object is to realize a low-cost captured image device and to minimize the influence of comb noise generation.
請求項1の発明は、被写体の光学像を結像する光学系と、前記光学系により結像される光学像を撮像し、NTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsで画像データを出力する撮像素子と、画像データを格納するフレームメモリと、前記撮像素子から出力される画像データを前記フレームメモリに書込み、該フレームメモリからNTSC方式のフレーム周波数Ffrで読み出す制御部と、NTSC方式対応のクロック信号発生用の単一の発振器を有し、前記制御部は、前記発振器からのNTSC方式対応のクロック周波数のクロックを基に、NTSC方式のフレーム周波数Ffrでのフレームメモリからの読出しを制御し、前記撮像素子は、前記発振器からNTSC方式対応のクロック周波数のクロックを入力して動作し、ブランキング期間を変更することで、NTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsで画像データを出力する画像撮像装置であって、前記撮像素子は、隣り合うフレーム周期は不定で、かつ、それらを平均するとNTSC方式のフレーム周期となる、可変のフレーム周波数Ffsで画像データを出力することを特徴とする。 According to the first aspect of the present invention, an optical system for forming an optical image of a subject and an optical image formed by the optical system are picked up, and image data is output at a frame frequency Ffs deviating from the NTSC frame frequency Ffr. an imaging device that includes a frame memory for storing image data, writing the image data output from the imaging element to the frame memory, from the frame memory and a control unit that reads the frame frequency Ffr of the NTSC system, the NTSC system corresponding A single oscillator for generating a clock signal , and the control unit controls reading from the frame memory at the frame frequency Ffr of the NTSC system based on the clock of the clock frequency corresponding to the NTSC system from the oscillator. The image sensor operates by inputting a clock having a clock frequency corresponding to the NTSC system from the oscillator. The image pickup device outputs image data at a frame frequency Ffs deviating from the NTSC frame frequency Ffr by changing the blanking period, and the image pickup device has an adjacent frame period indefinite, In addition, the image data is output at a variable frame frequency Ffs, which averages the frame period of the NTSC system.
請求項2の発明は、請求項1記載の画像撮像装置において、前記撮像素子はレジスタを有し、該レジスタに設定されるパラメータ値に従って垂直方向のブランキング期間を変更することを特徴とする。 According to a second aspect of the present invention, in the image pickup apparatus according to the first aspect , the image pickup device includes a register, and the vertical blanking period is changed according to a parameter value set in the register.
請求項3の発明は、請求項2記載の画像撮像装置において、CPUを有し、該CPUが前記撮像素子内のレジスタのパラメータ値を設定することを特徴とする。 According to a third aspect of the present invention, in the image imaging device according to the second aspect , the CPU has a CPU, and the CPU sets a parameter value of a register in the imaging element.
請求項4の発明は、被写体の光学像を結像する光学系と、前記光学系により結像される光学像を撮像し、NTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsで画像データを出力する撮像素子と、画像データを格納するフレームメモリと、前記撮像素子から出力される画像データを前記フレームメモリに書込み、該フレームメモリからNTSC方式のフレーム周波数Ffrで読み出す制御部と、NTSC方式対応のクロック信号発生用の単一の発振器を有し、前記制御部は、前記発振器からのNTSC方式対応のクAccording to a fourth aspect of the present invention, an optical system that forms an optical image of a subject and an optical image formed by the optical system are picked up, and image data is output at a frame frequency Ffs that deviates from the NTSC frame frequency Ffr. An image sensor that stores image data, a frame memory that stores image data, a controller that writes image data output from the image sensor into the frame memory and reads the frame memory at an NTSC frame frequency Ffr, and an NTSC system compatible A single oscillator for generating a clock signal is provided, and the control unit receives an NTSC-compatible clock from the oscillator.
ロック周波数のクロックを基に、NTSC方式のフレーム周波数Ffrでのフレームメモリからの読出しを制御し、前記撮像素子は、前記発振器からNTSC方式対応のクロック周波数のクロックを入力して動作し、ブランキング期間を変更することで、NTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsで画像データを出力する画像撮像装置であって、前記撮像素子は、露光時間が所定値以上の場合は、NTSC方式のフレーム周波数Ffrで画像データを出力し、露光時間が所定値以下の場合のみ、NTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsで画像データを出力することを特徴とする。Based on the clock of the lock frequency, reading from the frame memory at the frame frequency Ffr of the NTSC system is controlled, and the image sensor operates by inputting a clock of the clock frequency corresponding to the NTSC system from the oscillator, and blanking. By changing the period, the image pickup apparatus outputs image data at a frame frequency Ffs that deviates from the NTSC frame frequency Ffr. The image data is output at the frame frequency Ffr, and the image data is output at the frame frequency Ffs deviating from the NTSC frame frequency Ffr only when the exposure time is a predetermined value or less.
請求項5の発明は、請求項4記載の画像撮像装置において、前記撮像素子はレジスタを有し、該レジスタに設定されるパラメータ値に従って、NTSC方式のフレーム周波数Ffrで画像データを出力するか、あるいはNTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsで画像データを出力するように、ブランキング期間を変更することを特徴とする。 According to a fifth aspect of the present invention, in the image pickup device according to the fourth aspect , the image pickup device has a register, and outputs image data at an NTSC frame frequency Ffr according to a parameter value set in the register. Alternatively, the blanking period is changed so that image data is output at a frame frequency Ffs deviating from the NTSC frame frequency Ffr.
請求項6の発明は、請求項5記載の画像撮像装置において、CPUを有し、該CPUは、撮像素子から露光時間を取り込み、該露光時間に応じて前記撮像素子のレジスタのパラメータ値を変更することを特徴とする。 A sixth aspect of the present invention is the image pickup apparatus according to the fifth aspect , further comprising a CPU, which fetches an exposure time from the image sensor and changes a parameter value of a register of the image sensor in accordance with the exposure time. It is characterized by doing.
請求項7の発明は、被写体の光学像を結像する光学系と、前記光学系により結像される光学像を撮像し、NTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsで画像データを出力する撮像素子と、画像データを格納するフレームメモリと、前記撮像
素子から出力される画像データを前記フレームメモリに書込み、該フレームメモリからNTSC方式のフレーム周波数Ffrで読み出す制御部と、NTSC方式対応のクロック信号発生用の単一の発振器を有し、前記制御部は、前記発振器からのNTSC方式対応のクロック周波数のクロックを基に、NTSC方式のフレーム周波数Ffrでのフレームメモリからの読出しを制御し、前記撮像素子は、前記発振器からNTSC方式対応のクロック周波数のクロックを入力して動作し、ブランキング期間を変更することで、NTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsで画像データを出力する画像撮像装置であって、前記制御部は、前記撮像素子から出力される画像データを前記フレームメモリにプログレッシブに書込み、該フレームメモリからインタレースに読み出すことを特徴とする。
According to the seventh aspect of the present invention, an optical system that forms an optical image of a subject and an optical image formed by the optical system are picked up, and image data is output at a frame frequency Ffs that deviates from the NTSC frame frequency Ffr. An imaging device, a frame memory for storing image data, and the imaging
A control unit for writing image data output from the element into the frame memory and reading out from the frame memory at a frame frequency Ffr of the NTSC system; and a single oscillator for generating a clock signal compatible with the NTSC system, the control unit Controls reading from the frame memory at the frame frequency Ffr of the NTSC system based on the clock of the clock frequency corresponding to the NTSC system from the oscillator, and the imaging device has a clock frequency of the NTSC system compatible from the oscillator. An image pickup apparatus that operates by inputting a clock and changes the blanking period to output image data at a frame frequency Ffs deviating from the NTSC frame frequency Ffr, wherein the control unit includes the image pickup element. Progressively writes image data output from the Look, characterized in that the read from the frame memory in interlaced.
請求項10の発明は、請求項1乃至9のいずれか1項に記載の画像撮像装置において、前記制御部は、前記フレームメモリから画像データを読出す際に、所定の画像変換処理を行うことを特徴とする。 According to a tenth aspect of the present invention, in the image pickup device according to any one of the first to ninth aspects, the control unit performs a predetermined image conversion process when reading image data from the frame memory. It is characterized by.
本発明では、LED信号機などの点灯機の点灯時における明滅周期の影響を受け難くし、かつ、NTSC方式の表示装置をそのまま使用できるように、NTSC方式のフレーム周波数から外したフレーム周波数で撮像素子から画像データを読出し、それをフレームメモリに書込み、該フレームメモリからNTSC方式のフレーム周波数で読出すようにした撮像装置において、装置に実装するクロック発振器はNTSC方式対応のクロック信号発生用の発振器のみとし、撮像素子を、該発振器からのNTSC方式対応のクロック周波数のクロックで動作せしめ、ブランキング期間を変更して、NTSC方式のフレーム周波数から外れたフレーム周波数で画像データを出力するようにすることで、低コストな撮像画像装置を提供できる。 In the present invention, an image sensor is used at a frame frequency that is out of the NTSC frame frequency so that it is not easily affected by the blinking cycle when the lighting device such as an LED traffic light is turned on, and the NTSC display device can be used as it is. In the image pickup apparatus in which image data is read out from the frame memory, written in the frame memory, and read out from the frame memory at the frame frequency of the NTSC system, the clock oscillator mounted on the apparatus is only an oscillator for generating a clock signal compatible with the NTSC system The image sensor is operated with the clock of the clock frequency corresponding to the NTSC system from the oscillator, and the blanking period is changed so that the image data is output at a frame frequency that is out of the frame frequency of the NTSC system. Thus, a low-cost captured image device can be provided.
また、本発明の画像撮像装置では、露光時間が所定時間以下の場合、すなわち、被写体が一定以上明るい場合のみ、撮像素子がNTSC方式のフレーム周波数から外れたフレーム周波数で画像データを出力するようにしたことで、非常に明るい被写体を撮影するとき以外は、コムノイズ発生を回避することができる。 In the image capturing apparatus of the present invention, the image sensor outputs image data at a frame frequency that deviates from the NTSC frame frequency only when the exposure time is a predetermined time or less, that is, when the subject is brighter than a certain level. As a result, generation of comb noise can be avoided except when shooting a very bright subject.
なお、本発明の画像撮像装置の上記以外の種々の作用効果は、次の実施形態の説明で明らかになる。 Note that various functions and effects of the image pickup apparatus of the present invention other than those described above will become apparent from the description of the following embodiment.
以下、本発明の実施の形態について図面を参照して詳しく説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1に、本発明に係る画像撮像装置の一実施形態の全体構成図を示す。本画像撮像装置は、光学系101、撮像素子102、処理部103、NTSCエンコーダ104、及び、全体の動作を制御するCPU108などを備えている。処理部103は、その内部にフレームメモリ105、制御部106、発振器107を有する。NTSCエンコーダ104は、NTSC方式の表示装置や画像レコーダに接続されるが、図1では省略してある。ここで、発振器107は、NTSC方式対応のクロック信号発生用の水晶素子であり、具体的には、クロック周波数は13.5MHzである。該発振器107のクロック(CK)は、当該処理部10内の制御部106に与えられると同時に、撮像素子102にも与えられる。
FIG. 1 shows an overall configuration diagram of an embodiment of an image pickup apparatus according to the present invention. The image capturing apparatus includes an optical system 101, an image sensor 102, a processing unit 103, an
撮像素子102は、発振器107からNTSC方式対応のクロック周波数(13.5MHz)のクロックを入力として、NTSC方式のフレーム周波数Ffr(約30FPS)に対して所定のオフセット周波数だけオフセットさせたオフセットフレーム周波数Ffs(例えば、27FPS)でもって、光学系101を通して撮影された画像データをプログレッシブに読出し、処理部103に送る。具体的には、撮像素子102はレジスタ(センサレジスタ)を備え、CPU108から該レジスタに設定されるパラメータ値に応じて垂直方向乃至水平方向のブランキング期間を変更することで、画像データのフレーム周波数がFfs(例えば、27FPS)になるようにしている。撮像素子102は、画像データと共に、このフレーム周波数Ffsの垂直同期信号Svを処理部103に送る。
The image sensor 102 receives an NTSC clock frequency (13.5 MHz) clock from the
撮像素子102から出力される画像データは、そのフレーム周波数Ffs(例えば、27FPS)のタイミングで、処理部103内のフレームメモリ105に例えばプログレシッブに順次書込まれる。そして、このフレームメモリ105に書込まれた画像データは、制御部106の制御下で、NTSC方式のフレーム周波数Ffr(約30FPS)のタイミングで例えばインタレースに順次読出される。制御部106は、フレームメモリ105に対して読出しアドレスを指定すると共に、撮像素子102からの垂直同期信号Svを基にフレームメモリ105の読出しタイミングを制御し、また、発振器107からNTSC方式対応のクロック周波数(13.5MHz)のクロックを受け取って、NTSC方式のフレーム周波数Ffrのタイミングによるフレームメモリ105からのインタレース読出しを制御する。この制御部106の構成については後述する。
Image data output from the image sensor 102 is sequentially written, for example progressively, into the
フレームメモリ105から読出された画像データは、NTSCエンコーダ104でデジタル・アナログ変換処理を施されてNTSC方式の映像信号に変換され、図示しない表示装置やレコーダに送られる。
The image data read from the
図1の構成のように、NTSC方式のフレーム周波数Ffrに対して所定のオフセット周波数だけオフセットさせたオフセットフレーム周波数Ffsで撮像素子102から画像データを取り込み、フレームメモリ105に書込み、該フレームメモリからNTSC方式のフレーム周波数Ffrで読出すことで、LED信号機などの点灯機の点灯時における明滅周期の影響を受け難くし、かつ、NTSC方式の表示装置などをそのまま使用可能な画像撮像装置を実現することができる。
As shown in FIG. 1, image data is captured from the image sensor 102 at an offset frame frequency Ffs offset by a predetermined offset frequency with respect to the NTSC frame frequency Ffr, written into the
また、撮像素子102は、処理部103内に実装される発振器107からNTSC方式対応のクロック周波数のクロック(CK)を入力して動作し、垂直方向乃至水平方向のブランキング期間を変更して、当該撮像素子102から出力される画像データが、NTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsになるようにしたことで、別途、該フレーム周波数Ffs用の発振器が不要であり、低コストな撮像装置を実現することができる。以下、これについて詳述する。
Further, the image sensor 102 operates by inputting a clock (CK) having a clock frequency corresponding to the NTSC system from an
図2は、従来の撮像素子からの出力信号とフレームメモリからの読出し信号の関係を示したもので、図2(A)は撮像素子からの出力信号(プログレッシブ)であり、図2(B)はフレームメモリからの読出し信号(インタレース)である。すなわち、従来は、NTSC方式に合わせて、撮像素子からの出力信号とフレームメモリからの読出し信号との垂直方向のブランキング期間を同じにしている。このため、撮像素子から出力される画像データを、NTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsになるようにするためには、フレームメモリからの画像データ読出し用のNTSC方式対応のクロック信号発生用の発振器(13.5MHz)とは別に、そのクロック周波数を異にする発振器(例えば、12.2MHz)を、撮像素子からの画像データ読出しのために用意する必要がある。本発明の実施形態では、このような発振器は不要となる。 FIG. 2 shows the relationship between the output signal from the conventional image sensor and the read signal from the frame memory. FIG. 2 (A) shows the output signal (progressive) from the image sensor, and FIG. Is a read signal (interlace) from the frame memory. That is, conventionally, in accordance with the NTSC system, the vertical blanking period of the output signal from the image sensor and the read signal from the frame memory is made the same. For this reason, in order to set the image data output from the image sensor to a frame frequency Ffs that is out of the NTSC frame frequency Ffr, an NTSC-compatible clock signal generation for reading image data from the frame memory is generated. It is necessary to prepare an oscillator (for example, 12.2 MHz) having a different clock frequency in addition to the oscillator (13.5 MHz) for reading image data from the image sensor. In the embodiment of the present invention, such an oscillator is not necessary.
図3は、本発明の実施形態における撮像素子からの出力信号とフレームメモリからの読出し信号の関係を示したもので、図3(A)は撮像素子からの出力信号(プログレッシブ)であり、図3(B)はフレームメモリからの読出し信号(インタレース)である。ここで、フレームメモリからの読出し信号は、図2(B)と同様である。一方、撮像素子からの出力信号は、垂直方向のブランキング期間が変更されている。すなわち、本実施形態では、NTSC方式対応のクロック信号発生用の発振器107からの同一のクロック(13.5MHz)でもって、撮像素子102からの画像データ読出しとフレームメモリ105からの画像データ読出しを実施し、この時、撮像素子102からの画像データ読出しの垂直方向のブランキング期間を変更することで、該撮像素子102の出力画像データをNTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsになるようにしている。先に述べたように、撮像素子102はレジスタ(センサレジスタ)を備え、CPU108から該レジスタに設定されるパラメータ値に応じて垂直方向のブランキング期間を変更する。図3の例は、Ffs<Ffrとする場合であるが、センサレジスタのパラメータ値を変更することで、Ffs>Ffrとすることも可能である。また、CPU108によりフレームごとにセンサレジスタのパラメータ値を逐次変更することで、後述するように、隣り合うフレーム周期を不定にして、かつ、それらを平均すると、NTSC方式のフレーム周波数Ffrで撮像素子を駆動することが可能となる。
なお、図3は、垂直方向のブランキング期間を変更する例であるが、水平方向あるいは垂直/水平両方向のブランキング期間を変更して、撮像素子102の出力画像データをNTSC方向のフレーム周波数Ffrから外れたフレーム周波数Ffsとしてもよいことは云うまでもない。
FIG. 3 shows the relationship between the output signal from the image sensor and the readout signal from the frame memory in the embodiment of the present invention, and FIG. 3 (A) is the output signal (progressive) from the image sensor. 3 (B) is a read signal (interlace) from the frame memory. Here, the read signal from the frame memory is the same as in FIG. On the other hand, the vertical blanking period of the output signal from the image sensor is changed. That is, in the present embodiment , image data reading from the image sensor 102 and image data reading from the
FIG. 3 shows an example of changing the blanking period in the vertical direction. However, the blanking period in the horizontal direction or both the vertical / horizontal directions is changed to change the output image data of the image sensor 102 to the frame frequency Ffr in the NTSC direction. Needless to say, the frame frequency Ffs may be out of the range.
次に、制御部106の構成動作について説明する。図4に制御部106の詳細構成図を示す。制御部106は、フレームメモリ読出し開始トリガ作成部201、出力用垂直水平同期信号作成部202、アドレス作成部203を有する。なお、アドレス作成部203には、歪み補正や視点変換などのための座標計算手段204を含めてもよい。
Next, the configuration operation of the
フレームメモリ読出し開始トリガ作成部201は、撮像素子102から垂直同期信号Svを受け取り、撮像装置の電源投入直後に次のように作動する。なお、撮像素子102はプログレッシブ読出しを想定している。撮像装置の電源投入直後のSvを1つ見送って、2つ目のSvでフレームメモリ読出し開始トリガ(Tr)をアサートする(有効)する。
The frame memory read start
このようにすることで、フレームメモリ105ら画像データが存在しない時点で、フレームメモリ105から画像データを読出すことがないようできる。
By doing so, it is possible to prevent image data from being read out from the
出力用垂直水平同期信号作成部202は、発振器107からNTSC方式対応のクロック周波数(13.5MHz)のクロックを用いて、フレームメモリ105からの画像読出しがNTSC方式のフレーム周波数Ffr(約30FPS)になるように、垂直同期信号及び水平同期信号を作成する。
The output vertical horizontal synchronizing
アドレス作成部203は、発振器107からのクロック(CK)、出力用垂直水平同期信号作成部202からの垂直同期信号及び水平同期信号を基に、フレームメモリ105の読出しアドレスを順次指定し、該フレームメモリ105に書込まれた画像データをNTSC方式のフレーム周波数Ffr(約30FPS)のタイミングで読出していく。
The
ここで、アドレス作成部203は、フレームメモリ105の読出しアドレスを順次指定するのではなく、ある座標変換ルール(例えば、歪み補正、見下ろし画像のような視点変換、中央切出し変換、サイド切出し変換、三面鏡変換など)に従って指定していく座標計算手段204を含めてもよい。
Here, the
図5に座標計算手段204の処理イメージを示す。これは、撮像素子からの画像データ(入力画像)を90°回転変形した画像を出力する例を示したものである。ここで、図5(a)は、ある二つの画素の変換前と変換後の座標上の位置関係を示し、図5(b)は、フレームメモリ105に記憶された入力画像と出力画像上の対応する画素の位置関係を示す。
FIG. 5 shows a processing image of the coordinate calculation means 204. This is an example of outputting an image obtained by rotating and deforming image data (input image) from an image sensor by 90 °. Here, FIG. 5A shows a positional relationship between coordinates before and after conversion of a certain two pixels, and FIG. 5B shows an input image and an output image stored in the
座標計算手段204では、フレームメモリ105からの画像データの読出しの際に、出力画像上の座標(X1,Y1)の画素として、入力画像上の座標(x1,y1)の画素の画素データが読出されるように、読出しアドレスを計算する。また、出力画像の座標(X2,Y2)の画素としては、入力画像上の座標(x2,y2)の画素の画像データが読出されるように読出しアドレスを計算する。この読出しアドレスに基づき、フレームメモリ105の対応するアドレスから画像データを読出すことにより、出力画像として、入力画像を90°回転変形した画像を得ることができる。
When the image data is read from the
同様にして、魚眼カメラの画像を変形し、魚眼画像に起因する画像の歪みを補正したり、視点変換に基づいた画像変形により真上から見た画像に変形することができ、車の後方部分を見るバックモニターなどにおいて、ドライバーに見やすい画像を表示することができる。なお、座標計算手段204の構成、処理アルゴリズムは従来から種々提案されているので、詳しい説明は省略する。 Similarly, the image of the fisheye camera can be transformed to correct the distortion of the image caused by the fisheye image, or it can be transformed into an image seen from directly above by image transformation based on viewpoint transformation. An easy-to-see image can be displayed on the driver on a back monitor or the like that looks at the rear part. Since various configurations and processing algorithms of the coordinate calculation means 204 have been proposed in the past, detailed description thereof will be omitted.
次に、NTSC方式のフレーム周波数Ffrに対して所定のオフセット周波数だけオフセットさせたフレーム周波数(オフセットフレーム周波数)Ffsで撮像素子102から画像データを読出すことで、LED信号機などの点灯機の点灯時における明滅周期の影響が改善されることを具体的に説明する。 Next, by reading out image data from the image sensor 102 at a frame frequency (offset frame frequency) Ffs offset by a predetermined offset frequency with respect to the NTSC frame frequency Ffr, a lighting device such as an LED traffic light is turned on. The effect of the flicker cycle in the case will be specifically described.
図6、図7に、フレームのサンプリング周期をNTSC方式から外した一定の周期で行う場合を示す。この場合、撮像素子102内のセンサレジスタのパラメータ値は一定である。 FIG. 6 and FIG. 7 show the case where the sampling period of the frame is performed at a constant period excluded from the NTSC system. In this case, the parameter value of the sensor register in the image sensor 102 is constant.
図6において、1番上のグラフは、周期Toで明滅する照明光(例えば、60Hzの信号機)の光量変化を表わしている。該グラフの凸部の部分が1番明るい状態(明)、谷の部分が暗い状態(滅)である。ここで、消灯期間をtoとする。 6, the graph on the 1st, represents the light amount change of the illumination light flashing period T o (e.g., 60 Hz signal machine). The convex part of the graph is the brightest state (bright) and the valley part is dark (dark). Here, the turn-off period and t o.
図6(a)および(b)は、グローバルシャッターで、プログレッシブ読出しの撮像素子の露光タイミングを表わしている。図中、tiが露光時間である。(a)が撮像素子を30FPSで駆動する場合、(b)が30FPSから外した場合である。(a)の場合、NTSC方式のフレーム周波数Ffr(29.97Hz)とほぼ同期しているので、露光が照明光の滅のタイミングに入り込んでしまうと、滅の照明光が数秒間続いて撮像される。一方、(b)の場合は、NTSC方式のフレーム周波数Ffrと同期していないので、露光が照明光の滅のタイミングに入り込んでしまっても、それから抜け出しやすいので、滅の照明光が数秒間続いて撮像されることは避けられる。 FIGS. 6A and 6B show the exposure timing of an image sensor for progressive readout with a global shutter. In the figure, t i is the exposure time. (A) is a case where the image sensor is driven at 30 FPS, and (b) is a case where the image sensor is removed from 30 FPS. In the case of (a), since it is almost synchronized with the frame frequency Ffr (29.97 Hz) of the NTSC system, when the exposure enters the timing of the illumination light extinction, the illumination light of the extinction is continuously captured for several seconds. The On the other hand, in the case of (b), since it does not synchronize with the frame frequency Ffr of the NTSC system, even if the exposure enters the timing of extinction of the illumination light, it is easy to escape from it. It is avoided that the image is taken.
同様のことは、ローリングシャッターでもいえる。図6(c)および(d)は、ローリングシャッターで、プログレッシブ読出しの撮像素子の露光タイミングを表わしている。図中、tiが露光時間である。ローリングシャッターは、グローバルシャッターと異なり、行毎に独立して露光する。図6(c)および(d)では、1行目、2行目、3行目、…というように露光時間が少しずつ長時間側に移行していることを表わしている。(c)が撮像素子を30FPSで駆動する場合、(d)が30FPSから外した場合で、図中の斜線部分で露光した行は、その行に明滅する照明光が映っている場合、滅の状態で撮像されてしまう。(c)の場合、NTSC方式のフレーム周波数Ffr(29.97Hz)とほぼ同期しているので、露光が照明光の滅のタイミングに入り込んでしまうと、滅の照明光が数秒間続いて撮像される。一方、(d)の場合は、NTSC方式のフレーム周波数Ffrと同期していないので、露光が照明光の滅のタイミングに入り込んでしまっても、それから抜け出し易いので、滅の照明光が数秒間続いても撮像されることは避けられる。 The same can be said for the rolling shutter. FIGS. 6C and 6D show the exposure timing of an image sensor for progressive reading with a rolling shutter. In the figure, t i is the exposure time. Unlike the global shutter, the rolling shutter exposes each line independently. FIGS. 6C and 6D show that the exposure time gradually shifts to the long side, such as the first row, the second row, the third row,... (C) When the image sensor is driven at 30 FPS, (d) is removed from 30 FPS, and the line exposed in the shaded area in the figure shows the blinking illumination light in that line. The image is captured in a state. In the case of (c), since it is almost synchronized with the NTSC frame frequency Ffr (29.97 Hz), if the exposure enters the timing of the extinction of the illumination light, the extinction illumination light is continuously captured for several seconds. The On the other hand, in the case of (d), since it is not synchronized with the frame frequency Ffr of the NTSC system, even if the exposure enters the timing of extinction of the illumination light, it is easy to escape from it, and the illumination light of the extinction continues for several seconds. However, imaging is avoided.
図7は、周期Toで明滅する照明光と、ローリングシャッターで、プログレッシブ読出しの撮像素子の露光タイミングによる信号機の映り方を示したものである。図7の左側では、露光が照明光の滅のタイミングに入り込んでいるので、信号機の色が撮像されないが、右側では、露光が照明光の滅のタイミングから外れているので、信号機の色が(例えば、青)が撮像される。 7, an illumination light flashing period T o, a rolling shutter, shows the reflected how traffic by the exposure timing of the image pickup device of the progressive read. On the left side of FIG. 7, since the exposure has entered the illumination light extinction timing, the color of the traffic light is not imaged. On the right side, since the exposure is out of the illumination light extinction timing, the color of the traffic light is ( For example, blue) is imaged.
次に、図8に、隣り合うフレームのサンプリング周期を不定にして、かつ、それらを平均してNTSC方式(1秒間に30フレーム)に対応させる場合を示す。この場合、撮像素子102内のセンサレジスタのパラメータ値はフレーム毎に変化することとなる。 Next, FIG. 8 shows a case in which the sampling period of adjacent frames is indefinite and averaged so as to correspond to the NTSC system (30 frames per second). In this case, the parameter value of the sensor register in the image sensor 102 changes for each frame.
図8の1番上のグラフは、図6と同様に、周期Toで明滅する照明光(例えば、60Hzの信号機)の光量変化を表わしている。該グラフの凸部の部分が1番明るい状態(明)、谷の部分が暗い状態(滅)である。ここでも、消灯期間をtoとする。 Graph top of FIG. 8, similarly to FIG. 6 represent the light amount change of the illumination light flashing period T o (e.g., 60 Hz signal machine). The convex part of the graph is the brightest state (bright) and the valley part is dark (dark). Again, the turn-off period and t o.
図8(a)〜(d)において、tiが露光時間、Tf,Tf’,Tf”はフレームのサンプリング周期である。ここで、TfはNTSC方式のサンプリング周期で、Tf’,Tf”はNTSC方式のサンプリング周期から短時間側または長時間側にずらした周期である。ただし、NTSC方式に対応させるため、1秒間に30フレームを出力できるようにする。 8A to 8D, ti is an exposure time, Tf, Tf ′, Tf ″ is a frame sampling period. Here, Tf is an NTSC sampling period, and Tf ′, Tf ″ is NTSC. This is a period shifted from the sampling period of the system to the short time side or the long time side. However, in order to support the NTSC system, 30 frames can be output per second.
図8(a)および(b)は、グローバルシャッターで、プログレッシブ読出しの撮像素子の露光タイミングを表わしている。(a)はサンプリング周期を一定(Tf)にして、撮像素子を駆動する場合、(b)はサンプリング周期を不定(Tf’,Tf”など)にして、撮像素子を駆動する場合である。(a)の場合、露光が照明光の滅のタイミングに入り込んでしまうと、滅の照明光が数秒間続いて撮像される。一方、(b)の場合は、露光が照明光の滅のタイミングに入り込んでしまっても、滅のタイミングから抜け出し易いので、滅の照明光が数秒間続いて撮像されることは避けられる。しかも、隣り合うフレームのサンプリング周期を不定にし、かつ、それらを平均して、1秒間に30フレームを出力するようにすることで、NTSC方式に対応させることができる。 FIGS. 8A and 8B show the exposure timing of an image sensor for progressive readout with a global shutter. (A) shows a case where the sampling period is fixed (Tf) to drive the image sensor, and (b) shows a case where the sampling period is indefinite (Tf ′, Tf ″, etc.) and the image sensor is driven. In the case of a), if the exposure enters the timing of extinction of the illumination light, the extinction illumination light is continuously imaged for several seconds, whereas in the case of (b), the exposure is performed at the timing of extinction of the illumination light. Even if it enters, it is easy to escape from the timing of extinction, so it is avoided that the extinction illumination light is continuously imaged for several seconds, and the sampling period of adjacent frames is made indefinite and averaged. By outputting 30 frames per second, it is possible to correspond to the NTSC system.
同様のことは、ローリングシャッターでもいえる。図8(c)および(d)は、ローリンナグシャッターで、プログッレシブ読出しの撮像素子の露光タイミングを表わしている。ローリングシャッターは、グローバルシャッターと異なり、行毎に独立して露光する。先の図6(c)および(d)と同様に、図8(c)および(d)でも、1行目、2行目、3行目、…というように露光時間が少しずつ長時間側に移行していることを表わしている。図中の斜線部分で露光した行は、その行に明滅する照明光が移している場合、滅の状態で撮像されてしまう。(c)がサンプリング周期を一定(Tf)にして、撮像素子を駆動する場合、(d)はサンプリング周期を不定(Tf’,Tf”など)にして、撮像素子を駆動する場合である。(c)の場合、露光が照明光の滅のタイミングに入り込んでしまうと、滅の照明光が数秒間続いて撮像される。一方、(d)の場合は、露光が照明光の滅のタイミングに入り込んでしまっても、滅のタイミングから抜け出し易いので、滅の照明光が数秒間続いて撮像されることは避けられる。しかも、隣り合うフレームのサンプリング周期を不定にし、かつ、それらを平均して、1秒間に30フレームを出力するようにすることで、NTSC方式に対応させることができる。 The same can be said for the rolling shutter. FIGS. 8C and 8D show the exposure timing of the progressive reading image sensor with a rolling shutter. Unlike the global shutter, the rolling shutter exposes each line independently. Similarly to FIGS. 6C and 6D, in FIGS. 8C and 8D, the exposure time is gradually increased as shown in the first row, the second row, the third row,... It shows that it has moved to. The row exposed in the shaded area in the figure is imaged in a blinking state when the blinking illumination light is transferred to that row. (C) shows a case where the sampling period is fixed (Tf) and the image pickup element is driven, and (d) shows a case where the sampling period is set indefinite (Tf ′, Tf ″, etc.) and the image pickup element is driven. In the case of c), if the exposure enters the timing of extinction of the illumination light, the extinction illumination light is continuously imaged for several seconds, whereas in the case of (d), the exposure is performed at the timing of extinction of the illumination light. Even if it enters, it is easy to escape from the timing of extinction, so it is avoided that the extinction illumination light is continuously imaged for several seconds, and the sampling period of adjacent frames is made indefinite and averaged. By outputting 30 frames per second, it is possible to correspond to the NTSC system.
さて、NTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsで撮像素子102からプログレッシブ読出しされた画像データは、そのままフレームメモリ105にプログレッシブに書込まれ、該フレームメモリ105からNTSC方式のフレーム周波数でインタレースに読出される。これにより、NTSC方式の表示装置や画像レコーダをそのまま利用できる。しかし、フレームメモリ105に1フレームの画像データを書込む時間とフレームメモリ105から1フレームの画像データを読出す時間が異なることにより、インタレース方式に特有なコムノイズが発生する。以下、これについて具体的に説明する。
The image data progressively read out from the image sensor 102 at the frame frequency Ffs deviating from the NTSC frame frequency Ffr is written in the
初めに、NTSC方式のフレーム周波数Ffrでフレームメモリ105へプログレッシブ書込みを行い、同じくNTSC方式のフレーム周波数Ffrでフレームメモリ105からインタレース読出しを行う場合について説明する。この場合、フレームメモリ105を領域A、領域Bというような少なくとも2つの領域に分け(ダブルバッファ)、各領域を書込み領域・読出し領域とし、その役割を順次切り替えるようにすると、コムノイズは発生しない。
First, a case will be described in which progressive writing is performed to the
図9は、この場合の領域A、領域Bの書込み・読出しの遷移及び出力画像(受け手側)の状態を示したものである。ここで、書込みは、30フレーム/秒、プログレッシブであり、読出しは60フィールド/秒、インタレースである。なお、図中の同じ紋様は撮像素子102から出力される同じフレームの画像データであることを表わしている。これは以後の各図面でも同様である。 FIG. 9 shows the transition of writing / reading in area A and area B and the state of the output image (receiver side) in this case. Here, writing is 30 frames / second, progressive, and reading is 60 fields / second, interlaced. Note that the same pattern in the figure represents image data of the same frame output from the image sensor 102. The same applies to the subsequent drawings.
図9の場合、フレームメモリ105の一方の領域に1フレームの画像データを書込む時間と他方の領域から1フレーム(奇数フィールド+偶数フィールド)の画像データを読出す時間が同じであるため、書込みスタートと読出しスタートのタイミングを一度合わせれば(例えば(a))、書込みエンドと読出しエンドが永久的に揃う。したがって、書込みエンドのタイミングで、書込み領域と読出し領域を切り替えることができる。例えば、領域Aへの書込みが終了したなら、領域Bへの書込みを始め、領域Aから読出しを始める(例えば(d))。これにより、常に同一フレームの奇数フィールドと偶数フィールドからなるフレームを出力することができるので、コムノイズが発生しない(例えば(c),(e))。
In the case of FIG. 9, the time for writing one frame of image data to one area of the
次に、NTSC方式のフレーム周波数Ffrから外したフレーム周波数Ffsでフレームメモリ105へプログレッシブ書込みを行い、NTSC方式のフレーム周波数Ffrでフレームメモリ105からインタレース読出しを行う場合について説明する。この場合、フレームメモリ105をダブルバッファとしてもコムノイズが発生する。
Next, a case will be described in which progressive writing is performed to the
まず、Ffs<Ffrとした場合、すなわち、1フレームの画像データの読出し時間に対して1フレームの画像データの書込み時間が長い場合について説明する。 First, a case where Ffs <Ffr, that is, a case where the writing time of one frame of image data is longer than the reading time of one frame of image data will be described.
図10は、この場合のダブルバッファ(領域A、領域B)への書込み・読出しのタイミングチャートを示したものである。いま、図10の点線、すなわち、領域Aからの読出しが終了したタイミングに注目する。領域Aからの読出しが終わったので、書込み・読出し領域を切り替えて、領域Bから読出しを開始し、領域Aへの書込みを開始したい。しかし、この時点では、領域Bでは書込みが終わっていない。このため、領域Aから再び読出し(インタレース)を行い、領域Bの書込みが終了した時点で、読出し・書込み領域を切り替えて、領域Bから読出しを開始し、領域Aへの書込みを開始することとなる。この場合、出力画像に異なるフレームの奇数フィールド行、偶数フィールド行を混在したコムノイズが発生する。注目する読出し領域と書込み領域の関係が逆の場合でも同様である。 FIG. 10 shows a timing chart of writing / reading to / from the double buffer (area A, area B) in this case. Attention is now paid to the dotted line in FIG. 10, that is, the timing when reading from the region A is completed. Since the reading from the area A is completed, it is desired to start the reading from the area B and to start the writing to the area A by switching the writing / reading area. However, at this time, the writing is not finished in the region B. For this reason, reading (interlacing) is performed again from the area A, and when the writing of the area B is completed, the reading / writing area is switched, reading from the area B is started, and writing to the area A is started. It becomes. In this case, comb noise in which odd field rows and even field rows of different frames are mixed in the output image occurs. The same applies to the case where the relationship between the target read area and the write area is reversed.
図11は、上記Ffs<Ffrの場合、すなわち、1フレームの画像データの読出し時間に対して、1フレームの画像データの書込み時間が長い場合のダブルバッファ(領域A、領域B)の書込み・読出しの遷移及び出力画像(受け手側)の状態を示したものである。なお、図11では、読出しはNTSC方式対応に30フレーム/秒、インタレース読出しとし、これに対して、書込みは27フレーム/秒、プログレッシブ書込みとした場合を示している。 FIG. 11 shows the writing / reading of the double buffer (area A, area B) when Ffs <Ffr, that is, when the writing time of one frame of image data is longer than the reading time of one frame of image data. And the state of the output image (receiver side). FIG. 11 shows a case where reading is performed at 30 frames / second and interlaced reading corresponding to the NTSC system, while writing is performed at 27 frames / second and progressive writing.
いま、領域Aへのプログレッシブ書込みを開始し、同時に領域Bからインタレース読出しを開始して(a)、領域Bからの読出しが終了した時点に注目する(c)。この時、領域Aでは、また、書込みが行われている最中である。このため、領域Bから再びインタレース読出しを開始し、領域Aの書込みが終了した時点で(d)、書込み・読出し領域を切り替え、領域Bを書込み、領域Aを読出しとする。この時、領域Aからは、(d)の状態以降のインタレース読出しが継続して行われることとなる(e)。この結果、1フレームの画像データが読出された時点での出力画像は(f)のようになる。すなわち、コムノイズが発生する。 Now, progressive writing to the area A is started, and at the same time, interlaced reading is started from the area B (a), and attention is paid to the time when the reading from the area B is completed (c). At this time, in the area A, writing is in progress. For this reason, the interlace reading is started again from the area B, and when the writing of the area A is completed (d), the writing / reading area is switched, the area B is written, and the area A is read. At this time, from area A, interlaced reading after the state of (d) is continued (e). As a result, the output image when one frame of image data is read is as shown in (f). That is, comb noise is generated.
次に、Ffs>Ffrとした場合、すなわち、1フレームの画像データの読出し時間に対して1フレームの画像データの書込み時間が短い場合について説明する。 Next, a case where Ffs> Ffr, that is, a case where the writing time of one frame of image data is shorter than the reading time of one frame of image data will be described.
図12は、この場合のダブルバッファ(領域A、領域B)への書込み・読出しのタイミングチャートを示したものである。いま、図12の点線、すなわち、領域Bへの書込みが終了したタイミングに注目する。領域Bへの書込みが終わったので、書込み・読出し領域を切り替えて、領域Aへの書込みを開始し、領域Bから読出しを開始することとなる。しかし、この時点では、領域Aでは読出しが行われている最中である。この状態で書込み・読出し領域を切り替えると、先のFfs<Ffrの場合と同様に、出力画像に、異なるフレームの奇数フィールド行、偶数フィールド行が混在したコムノイズが発生する。注目する書込み領域と読出し領域の関係が逆の場合でも同様である。 FIG. 12 shows a timing chart of writing / reading to / from the double buffer (area A, area B) in this case. Attention is now paid to the dotted line in FIG. 12, that is, the timing at which writing to the region B is completed. Since the writing to the area B is completed, the writing / reading area is switched, the writing to the area A is started, and the reading from the area B is started. However, at this point, the area A is being read out. When the write / read area is switched in this state, comb noise in which odd field rows and even field rows of different frames are mixed is generated in the output image as in the case of Ffs <Ffr. The same applies when the relationship between the noted write area and read area is reversed.
図13は、上記Ffs>Ffrの場合、すなわち、1フレームの画像データの読出し時間に対して、1フレームの画像データの書込み時間が短い場合のダブルバッファ(領域A、領域B)の書込み・読出しの遷移及び出力画像(受け手側)の状態を示したものである。なお、図13では、読出しはNTSC方式対応に30フレーム/秒、インタレース読出しとし、これに対して、書込みは33フレーム/秒、プログレッシブ書込みとした場合を示している。 FIG. 13 shows writing / reading of the double buffer (area A, area B) when Ffs> Ffr, that is, when the writing time of one frame of image data is shorter than the reading time of one frame of image data. And the state of the output image (receiver side). FIG. 13 shows a case where reading is performed at 30 frames / second and interlaced reading corresponding to the NTSC system, while writing is performed at 33 frames / second and progressive writing.
いま、領域Aへのプログレッシブ書込みを開始し、同時に領域Bからのインタレース読出しを開始して(a)、領域Aへの書込みが終了した時点に注目する(b)。この時、領域Bでは、まだ読出しが行われている最中である。詳しくは、奇数フィールドの読出しは終了しているが、偶数フィールドが、まだ、読出し中である。しかし、領域Aへの書込みが終了したので、書込み・読出し領域を切り替え、領域Bを書込み、領域Aを読出しとする。この時、領域Aからは(b)の状態以降のインタレース読出しが継続して行われることとなる。この結果、1フレームの画像データが読出された時点での出力画像は(c)のようになる。すなわち、コムノイズが発生する。 Now, the progressive writing to the area A is started, and at the same time, the interlaced reading from the area B is started (a), and attention is paid to the time when the writing to the area A is completed (b). At this time, in the region B, reading is still in progress. Specifically, the reading of the odd field has been completed, but the even field is still being read. However, since the writing to the area A is completed, the writing / reading area is switched, the area B is written, and the area A is read. At this time, interlaced reading from the area A after the state of (b) is continued. As a result, the output image when one frame of image data is read is as shown in (c). That is, comb noise is generated.
図14に出力画像の一例を示す。図14(a)は、NTSC方式のフレーム周波数Ffrで撮像素子を駆動し、該撮像素子からの出力画像データをフレームメモリにプログレッシブに書込み、該フレームメモリから同じくNTSC方式のフレーム周波数Ffrでインタレースに読出した場合の画像であり、コムノイズは発生していない。一方、図14(b)は、NTSC方式のフレーム周波数から外れたフレーム周波数Ffs(ここでは、Ffs<Ffr)で撮像素子を駆動し、該撮像素子からの出力画像データをフレームメモリにプログレッシブに書込み、該フレームメモリからNTSC方式のフレーム周波数Ffrでインタレースに読出した場合の画像であり、該画像の一部でコムノイズが発生していることが分かる。 FIG. 14 shows an example of the output image. FIG. 14A shows an image sensor driven at an NTSC frame frequency Ffr, and progressively writes image data output from the image sensor to a frame memory. The frame memory is also interlaced at an NTSC frame frequency Ffr. No noise is generated. On the other hand, FIG. 14B shows that the image sensor is driven at a frame frequency Ffs (here, Ffs <Ffr) deviating from the NTSC frame frequency, and output image data from the image sensor is progressively written to the frame memory. It can be seen that the image is an interlaced read from the frame memory at the NTSC frame frequency Ffr, and that comb noise is generated in a part of the image.
以下に、このようなコムノイズ発生の対策を説明する。例えば、図7から分かるように、露光時間tiが十分長い場合には、たとえ、撮像素子からの画像データ読出しフレーム周波数がNTSC方式のフレーム周波数Ffr(29.97Hz)であっても、信号機が完全に消灯して撮影されることはない。露光時間tiが短くなるにつれ、信号機の明状態が暗くなっていき、ついには全く見えなくなるタイミングが発生する。そのため、露光時間が一定以下の場合、つまり、被写体が一定以上明るい場合のみ、撮像素子のフレーム周波数をNTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsとすることで、コムノイズ発生を最小限におさえることができる。すなわち、非常に明るい被写体を撮影する場合以外は、コムノイズ発生を回避することができる。 Hereinafter, countermeasures against such comb noise will be described. For example, as can be seen from FIG. 7, when the exposure time ti is sufficiently long, the traffic light is completely transmitted even if the frame frequency for reading image data from the image sensor is the frame frequency Ffr (29.97 Hz) of the NTSC system. The camera will not shoot with the light turned off. As the exposure time ti becomes shorter, the light state of the traffic light becomes darker and finally the timing at which it becomes completely invisible occurs. Therefore, only when the exposure time is below a certain level, that is, only when the subject is brighter than a certain level, comb noise is minimized by setting the frame frequency of the image sensor to a frame frequency Ffs that is out of the NTSC frame frequency Ffr. be able to. That is, generation of comb noise can be avoided except when shooting a very bright subject.
撮像素子は、一般に電子シャッタ機能を備えている。電子シャッタ時間は、受光量に応じて変化し、被写体の明るさが暗い場合は長く、明るくにつれて短くなる。この電子シャッタ時間が、すなわち、露光時間tiを表わしている。 An image sensor generally has an electronic shutter function. The electronic shutter time changes according to the amount of received light, and is long when the subject is dark and shortens as it is brighter. This electronic shutter time, that is, the exposure time ti is represented.
図1の構成において、撮像素子102に、先のセンサレジスタ(以下、第1のレジスタ)とは別に、第2のレジスタを設けて、この第2のレジスタに電子シャツタ時間(以下、露光時間)を設定するようにする。CPU108は、撮像素子102内の第2のレジスタの露光時間を読み込み、予め定めた閾値と比較する。ここで、露光時間≧閾値の場合、CPU108は、撮像素子102からの出力画像データのフレーム周波数がNTSC方式のフレーム周波数Ffrになるように撮像素子102内の第1のレジスタに所定のパラメータ値(以下、第1のパラメータ値)を設定し、露光時間<閾値の場合にのみ、撮像素子102からの出力画像データのフレーム周波数がNTSC方式のフレーム周波数Ffrから所定のオフセット周波数だけオフセットさせたフレーム周波数(オフセットフレーム周波数)Ffsになるように撮像素子102内の第1のレジスタに所定のパラメータ値(以下、第2のパラメータ)を設定する。
In the configuration of FIG. 1, the image sensor 102 is provided with a second register in addition to the previous sensor register (hereinafter referred to as the first register), and the electronic register time (hereinafter referred to as exposure time) is provided in the second register. To set. The
撮像素子102は、先に述べたように該撮像素子102内の第1のレジスタ(センサレジスタ)に設定されるパラメータ値に応じて垂直方向乃至水平方向のブランキング期間を変更するようになっている。撮像素子102は、CPU108から第1のレジスタに第1のパラメータ値が設定されると、NTSC方式のフレーム周波数Ffrで画像データが出力されるように垂直方向のブランキング期間を定める。一方、CPU108から第1のレジスタに第2のパラメータ値が設定されると、NTSC方式のフレーム周波数Ffrから所定のオフセット周波数だけオフセットさせたフレーム周波数Ffsで画像データが出力されるように垂直方向乃至水平方向のブランキング期間を変更する。
The image sensor 102 changes the blanking period in the vertical direction or the horizontal direction according to the parameter value set in the first register (sensor register) in the image sensor 102 as described above. Yes. When the first parameter value is set in the first register from the
図15に、CPU108の処理フローチャートを示す。CPU108は、撮像素子102内の第2のレジスタの露光時間を読み込み(ステップ1)、あらかじめ定めた閾値と比較する(ステップ2)。閾値は、例えば1/180秒などであるが、信号機や撮像素子の種類などによって外部から調整可能とする。ここで、露光時間≧閾値ならば、撮像素子101からの出力画像データがNTSC方式のフレーム周波数になるように撮像素子102内のセンサレジスタ(第1のレジスタ)に所定のパラメータ値(第1のパラメータ値)を設定する(ステップ3)。また、露光時間<閾値ならば、すなわち、被写体が一定以上明るい場合、撮像素子101からの出力画像データがNTSC方式のフレーム周波数Ffrから所定の値外れたフレーム周波数Ffsになるようにセンサレジスタに所定のパラメータ値(第2のパラメータ値)を設定する(ステップ4)。
FIG. 15 shows a processing flowchart of the
ここでは、CPU108は撮像素子102から露光時間を読み込んで、所定閾値と比較するとしたが、CPU108は撮像素子102からの出力画像データを取り込み、画面全体の輝度の和などにより明度(被写体の明るさ)を算出し、該明度を所定閾値と比較して、撮像素子102内のセンサレジスタに値を設定することでもよい。さらには、別途照度センサを設け、CPU108は、該照度センサの出力を取り込み、所定閾値と比較して、同様に撮像素子102内のセンサレジスタに値を設定することでもよい。これにより、被写体が一定以上明るい場合のみ、撮像素子102のフレーム周波数をNTSC方式のフレーム周波数からずらして、コムノイズ発生を回避することができる。
Here, the
101 光学系
102 撮像素子
103 処理部
104 NTSCエンコーダ
105 フレームメモリ
106 制御部
107 発振器
108 CPU
201 フレームメモリ読出し開始トリガ作成部
202 出力用垂直水平同期信号作成部
203 アドレス作成部
204 座標計算手段
DESCRIPTION OF SYMBOLS 101 Optical system 102 Image pick-up element 103
201 frame memory read start
Claims (8)
前記光学系により結像される光学像を撮像し、NTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsで画像データを出力する撮像素子と、
画像データを格納するフレームメモリと、
前記撮像素子から出力される画像データを前記フレームメモリに書込み、該フレームメモリからNTSC方式のフレーム周波数Ffrで読み出す制御部と、
NTSC方式対応のクロック信号発生用の単一の発振器を有し、
前記制御部は、前記発振器からのNTSC方式対応のクロック周波数のクロックを基に、NTSC方式のフレーム周波数Ffrでのフレームメモリからの読出しを制御し、
前記撮像素子は、前記発振器からNTSC方式対応のクロック周波数のクロックを入力して動作し、ブランキング期間を変更することで、NTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsで画像データを出力する画像撮像装置であって、
前記撮像素子は、隣り合うフレーム周期は不定で、かつ、それらを平均するとNTSC方式のフレーム周期となる、可変のフレーム周波数Ffsで画像データを出力することを特徴とする画像撮像装置。 An optical system that forms an optical image of the subject;
An image pickup device that picks up an optical image formed by the optical system and outputs image data at a frame frequency Ffs deviating from the NTSC frame frequency Ffr;
A frame memory for storing image data;
A controller that writes image data output from the image sensor into the frame memory and reads out from the frame memory at an NTSC frame frequency Ffr ;
It has a single oscillator for clock signal generation compatible with the NTSC system ,
The control unit controls reading from the frame memory at the frame frequency Ffr of the NTSC system based on the clock of the clock frequency corresponding to the NTSC system from the oscillator,
The image pickup device operates by inputting a clock having a clock frequency corresponding to the NTSC system from the oscillator, and outputs image data at a frame frequency Ffs deviating from the frame frequency Ffr of the NTSC system by changing the blanking period. An imaging device,
The image pickup device outputs image data at a variable frame frequency Ffs, in which adjacent frame periods are indefinite, and when averaged, an NTSC frame period is obtained.
前記光学系により結像される光学像を撮像し、NTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsで画像データを出力する撮像素子と、An image pickup device that picks up an optical image formed by the optical system and outputs image data at a frame frequency Ffs deviating from the NTSC frame frequency Ffr;
画像データを格納するフレームメモリと、A frame memory for storing image data;
前記撮像素子から出力される画像データを前記フレームメモリに書込み、該フレームメモリからNTSC方式のフレーム周波数Ffrで読み出す制御部と、A controller that writes image data output from the image sensor into the frame memory and reads out from the frame memory at an NTSC frame frequency Ffr;
NTSC方式対応のクロック信号発生用の単一の発振器を有し、It has a single oscillator for clock signal generation compatible with the NTSC system,
前記制御部は、前記発振器からのNTSC方式対応のクロック周波数のクロックを基に、NTSC方式のフレーム周波数Ffrでのフレームメモリからの読出しを制御し、The control unit controls reading from the frame memory at the frame frequency Ffr of the NTSC system based on the clock of the clock frequency corresponding to the NTSC system from the oscillator,
前記撮像素子は、前記発振器からNTSC方式対応のクロック周波数のクロックを入力して動作し、ブランキング期間を変更することで、NTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsで画像データを出力する画像撮像装置であって、The image pickup device operates by inputting a clock having a clock frequency corresponding to the NTSC system from the oscillator, and outputs image data at a frame frequency Ffs deviating from the frame frequency Ffr of the NTSC system by changing the blanking period. An imaging device,
前記撮像素子は、露光時間が所定値以上の場合は、NTSC方式のフレーム周波数Ffrで画像データを出力し、露光時間が所定値以下の場合のみ、NTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsで画像データを出力することを特徴とする画像撮像装置。The image sensor outputs image data at the NTSC frame frequency Ffr when the exposure time is equal to or greater than a predetermined value, and only when the exposure time is equal to or less than the predetermined value, the frame frequency Ffs deviates from the NTSC frame frequency Ffr. And outputting image data.
前記光学系により結像される光学像を撮像し、NTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsで画像データを出力する撮像素子と、An image pickup device that picks up an optical image formed by the optical system and outputs image data at a frame frequency Ffs deviating from the NTSC frame frequency Ffr;
画像データを格納するフレームメモリと、A frame memory for storing image data;
前記撮像素子から出力される画像データを前記フレームメモリに書込み、該フレームメモリからNTSC方式のフレーム周波数Ffrで読み出す制御部と、A controller that writes image data output from the image sensor into the frame memory and reads out from the frame memory at an NTSC frame frequency Ffr;
NTSC方式対応のクロック信号発生用の単一の発振器を有し、It has a single oscillator for clock signal generation compatible with the NTSC system,
前記制御部は、前記発振器からのNTSC方式対応のクロック周波数のクロックを基に、NTSC方式のフレーム周波数Ffrでのフレームメモリからの読出しを制御し、The control unit controls reading from the frame memory at the frame frequency Ffr of the NTSC system based on the clock of the clock frequency corresponding to the NTSC system from the oscillator,
前記撮像素子は、前記発振器からNTSC方式対応のクロック周波数のクロックを入力して動作し、ブランキング期間を変更することで、NTSC方式のフレーム周波数Ffrから外れたフレーム周波数Ffsで画像データを出力する画像撮像装置であって、The image pickup device operates by inputting a clock having a clock frequency corresponding to the NTSC system from the oscillator, and outputs image data at a frame frequency Ffs deviating from the frame frequency Ffr of the NTSC system by changing the blanking period. An imaging device,
前記制御部は、前記撮像素子から出力される画像データを前記フレームメモリにプログレッシブに書込み、該フレームメモリからインタレースに読み出すことを特徴とする画像撮像装置。The image pickup apparatus, wherein the control unit writes the image data output from the image pickup device progressively to the frame memory and reads the image data from the frame memory in an interlaced manner.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009282989A JP5360589B2 (en) | 2009-12-14 | 2009-12-14 | Imaging device |
US12/913,933 US8624999B2 (en) | 2009-12-01 | 2010-10-28 | Imaging apparatus |
EP10190610.5A EP2334064A3 (en) | 2009-12-01 | 2010-11-10 | Imaging Apparatus |
CN201010571892.2A CN102082901B (en) | 2009-12-01 | 2010-11-30 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009282989A JP5360589B2 (en) | 2009-12-14 | 2009-12-14 | Imaging device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011124928A JP2011124928A (en) | 2011-06-23 |
JP2011124928A5 JP2011124928A5 (en) | 2012-11-22 |
JP5360589B2 true JP5360589B2 (en) | 2013-12-04 |
Family
ID=44288353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009282989A Expired - Fee Related JP5360589B2 (en) | 2009-12-01 | 2009-12-14 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5360589B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111938543A (en) * | 2012-07-26 | 2020-11-17 | 德普伊辛迪斯制品公司 | Camera system with minimum area monolithic CMOS image sensor |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4306536B2 (en) * | 2004-05-31 | 2009-08-05 | パナソニック電工株式会社 | Scan converter |
JP4561452B2 (en) * | 2005-04-15 | 2010-10-13 | ソニー株式会社 | IMAGING DEVICE, VIDEO OUTPUT METHOD, AND VIDEO REPRODUCTION PROGRAM |
JP4937851B2 (en) * | 2007-07-05 | 2012-05-23 | パナソニック株式会社 | Imaging device |
-
2009
- 2009-12-14 JP JP2009282989A patent/JP5360589B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011124928A (en) | 2011-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9106831B2 (en) | Image capturing apparatus capable of capturing panoramic image | |
RU2570354C2 (en) | Real-time image capture and display | |
US20080101721A1 (en) | Device and method for image correction, and image shooting apparatus | |
JP2009130771A (en) | Imaging apparatus, and video recording device | |
JP2007006021A (en) | Imaging apparatus and image processing program | |
JP2010273141A (en) | Image processing apparatus and information processing method | |
JP2011234318A (en) | Imaging device | |
JP2006277085A (en) | Optical pointing controller and pointing system using same device | |
US8624999B2 (en) | Imaging apparatus | |
JP6700731B2 (en) | Projection device and projection system | |
KR20050109190A (en) | Wide image generating apparatus and method using a dual camera | |
JP4853434B2 (en) | Image processing device | |
JP5360589B2 (en) | Imaging device | |
WO2015087582A1 (en) | Image processing device, display device, image pickup device, and image processing method and program | |
WO2018105097A1 (en) | Image synthesis device, image synthesis method, and image synthesis program | |
JP2011139432A (en) | Imaging apparatus | |
WO2004008743A1 (en) | Image pickup system | |
JP2009296224A (en) | Imaging means and program | |
US11394856B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
JP5965173B2 (en) | Moving image processing system, image processing apparatus, and moving image processing system operating method | |
JP7237164B2 (en) | IMAGING DEVICE, IMAGING METHOD, AND VIDEO PROCESSING PROGRAM | |
JP2011114815A (en) | Electronic camera | |
JP4292963B2 (en) | Imaging device | |
JP4846394B2 (en) | Imaging apparatus and imaging method | |
JP6338062B2 (en) | Image processing apparatus, imaging apparatus, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121003 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121003 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130716 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130725 |
|
TRDD | Decision of grant or rejection written | ||
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130801 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130801 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130822 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5360589 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |