JP4313907B2

JP4313907B2 - Imaging apparatus and control method thereof

Info

Publication number: JP4313907B2
Application number: JP23971699A
Authority: JP
Inventors: 秀行蓮覚寺
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-08-26
Filing date: 1999-08-26
Publication date: 2009-08-12
Anticipated expiration: 2019-08-26
Also published as: JP2001069518A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル画像信号処理を行う撮像装置、特に静止画の良好な信号処理を実現可能な撮像装置及びその制御方法に関するものである。
【０００２】
【従来の技術】
従来より、例えばデジタルカメラでは、ＣＣＤ等の撮像センサから出力される映像信号をリアルタイムに処理してＥＶＦ画像を作成する動画の信号処理と、同撮像センサから出力される映像信号を一旦ＤＲＡＭ等に記憶した後に信号処理を行う静止画の信号処理とが行われている。この信号処理は、複数の水平フィルタ処理、垂直フィルタ処理等から構成されており、水平Ｈ０、垂直Ｖ０画素の入力された映像信号を信号処理し、有効領域が水平Ｈ１、垂直Ｖ１画素の画像データを現像して出力するようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記のような従来の撮像装置にあっては、撮像センサから出力される画像データの左辺及び右辺では、信号処理の内部のフィルタにおいて幾何学的に連続した映像信号が入力されず、適切なフィルタ処理ができない。
【０００４】
このため、水平Ｈ１は必ずＨ０より小さくなり、その量は信号処理が水平Ｎタップのフィルタと等価であるとした場合、次のようになる。
【０００５】
Ｈ１＝Ｈ０−Ｎ（Ｎが偶数の場合）
＝Ｈ０−（Ｎ−１）（Ｎが奇数の場合）
同様に垂直に対しても、信号処理が水平Ｍタップのフィルタと等価であるとした場合、次のようになる。
【０００６】
Ｖ１＝Ｖ０−Ｍ（Ｍが偶数の場合）
＝Ｖ０−（Ｍ−１）（Ｍが奇数の場合）
したがって、カメラの記録画像サイズよりも大きい有効領域を有する撮像センサを使用する必要があった。また、撮像センサの有効領域を大きくするには該撮像センサの面積を大きくする必要があり、コストがかかっていた。
【０００７】
本発明の目的は、撮像センサの有効領域により近い画像出力を実現することができ、小型で安価な撮像装置及びその制御方法を提供することである。
【０００８】
【課題を解決するための手段】
本発明に係る撮像装置及びその制御方法は、次のように構成したものである。
【０００９】
（１）映像を電気信号に変換する撮像素子と、前記撮像素子からのアナログ映像信号をデジタル信号に変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換器により変換されたデジタル映像信号を記憶する記憶手段と、前記記憶手段から読み出した映像信号を遅延する遅延手段と、前記遅延手段により遅延された映像信号を保持する保持手段と、前記遅延手段からの映像信号と前記保持手段からの映像信号の何れかを選択する選択手段と、前記選択手段により選択された映像信号に所定の信号処理を施す信号処理回路と、を備え、映像の左端の画素データを前記保持手段に保持し、該左端の次の画素データが前記遅延手段から出力された状態で映像信号の読み出し動作と遅延動作を停止し、所定期間前記保持手段の出力と前記遅延手段の出力を交互に選択して信号処理を行うとともに、映像の右端の一つ手前の画素データを前記保持手段に保持し、該右端の画素データが前記遅延手段から出力された状態で映像信号の読み出し動作と遅延動作を停止し、所定期間前記保持手段の出力と前記遅延手段の出力を交互に選択して信号処理を行うことを特徴とする撮像装置。
（２）前記記憶手段から映像信号が読み出されているとき以外は該記憶手段と前記遅延手段の動作を停止しないことを特徴とする前記（１）記載の撮像装置。
（３）撮像素子により映像を電気信号に変換し、前記撮像素子からのアナログ映像信号をデジタル信号に変換して記憶手段に格納し、前記記憶手段から読み出した映像信号を遅延し、遅延された映像信号を保持し、前記遅延した映像信号と保持した映像信号の何れかを選択し、選択された映像信号に所定の信号処理を施し、その際映像の左端の画素データを保持し、該左端の次の画素データが遅延された状態で映像信号の読み出し動作と遅延動作を停止し、所定期間保持された信号と遅延された信号を交互に選択して信号処理を行うとともに、映像の右端の一つ手前の画素データを保持し、該右端の画素データが遅延された状態で映像信号の読み出し動作と遅延動作を停止し、所定期間保持された信号と遅延された信号を交互に選択して信号処理を行うようにしたことを特徴とする撮像装置の制御方法。
（４）前記記憶手段から映像信号が読み出されているとき以外は記憶動作と遅延動作を停止しないようにしたことを特徴とする前記（３）記載の撮像装置の制御方法。
【００１９】
【発明の実施の形態】
以下、本発明の実施例を図面について説明する。
【００２０】
図１は本発明の第１の実施例の構成を示すブロック図であり、前述のデジタルカメラの要部を示している。
【００２１】
図１において、１は映像を電気信号に変換する撮像素子であるＣＣＤ、２はＣＣＤ１からのアナログ映像信号をデジタル信号にＡ／Ｄ変換するＡ／Ｄ変換器、３はＡ／Ｄ変換されたデジタル映像信号を記憶（保持）する記憶手段であるＤＲＡＭで、メモリ書き込み手段であるメモリコントローラ４を通じて映像信号が書き込まれる。
【００２２】
５はメモリ読み出し手段を兼ねたメモリコントローラ４によってＤＲＡＭ３から読み出された映像信号と上記Ａ／Ｄ変換された映像信号とを選択するセレクタ、６〜８はセレクタ５から出力される映像信号を遅延する遅延ライン（遅延手段）、９は映像信号に所定の信号処理を施す信号処理回路で、ここでは遅延ライン６〜８によって遅延された映像信号に対して信号処理を行う。１０は全体を制御するＣＰＵである。
【００２３】
上記ＣＣＤ１はカラーフィルタ配列を備えており、１Ｈの映像信号は点順次に二つのカラーフィルタに対応する信号を出力する。このため、図２に示すように、映像信号をＡ，Ｂの二つのグループに分けて示す。図２は映像信号を複製する領域を示す図であり、領域Ｐ１はＡ／Ｄ変換器２の出力をメモリコントローラ４がＤＲＡＭ３に書き込む領域である。ＣＰＵ１０は図２に示すように、１ライン毎に、ＣＣＤ１のカラーフィルタの１周期と等しい画素分である２画素を、１ラインの先頭と最後から所定回数複製し、それぞれ領域Ｐ２、領域Ｐ３の映像信号を作成する。
【００２４】
そして、ＣＰＵ１０からの指示によって、メモリコントローラ４は領域Ｐ１，Ｐ２，Ｐ３の映像信号を読み出し、セレクタ５を通して１Ｈの遅延ライン６に出力する。この遅延ライン６の出力は、遅延ライン７と信号処理回路９へ出力される。また遅延ライン７の出力は遅延ライン８と信号処理回路９へ出力される。これらの遅延ライン６，７，８によって３Ｈの遅延ラインが構成され、その出力を信号処理回路９が信号処理する。信号処理回路９から出力された映像信号は、メモリコントローラ４を通じてＤＲＡＭ３に書き込まれる。
【００２５】
このように、映像の両端でＣＣＤ１の水平カラーフィルタ配列の繰り返し周期と等しい画素分の画像データを複数回複製し、該複製した領域を含む映像信号に対して信号処理を行うことにより、ＣＣＤ１の有効領域により近い画像出力を実現することができ、小型で安価な撮像装置とすることができる。
【００２６】
図３は本発明の第２の実施例の構成を示すブロック図であり、図１と同一符号は同一構成要素を示している。
【００２７】
図３において、１１〜１３は遅延ライン６〜８によって遅延された映像信号を保持するラッチ（保持手段）、１４〜１６は遅延ライン６〜８からの映像信号とラッチ１１〜１３からの映像信号の何れかを選択するセレクタ（選択手段）で、選択された映像信号が信号処理回路９によって信号処理される。１７はＤＲＡＭ３に対する映像信号の書き込み手段及び読み出し手段を構成しているメモリコントローラ４、遅延ライン６〜８、ラッチ１１〜１３及びセレクタ１４〜１６を制御して映像の左右両端（両辺）で画像データの複製を行う複製コントローラ（制御手段）である。
【００２８】
上記のように構成されたデジタルカメラにおいて、映像信号の左端においては、複製コントローラ１７の制御によって左端の映像信号をラッチ６に保持し、左端から２番目の映像信号が遅延ライン６から出力された状態でメモリ読み出し動作と遅延動作を停止し、所定期間セレクタ１４によって遅延ライン６とラッチ１１の出力を交互に選択して信号処理回路９で信号処理を行う。
【００２９】
また、映像信号の右端においては、同様に複製コントローラ１７の制御によって右端の一つ手前の映像信号をラッチ１１に保持し、右端の映像信号が遅延ライン６から出力された状態でメモリ読み出し動作と遅延動作を停止し、所定期間セレクタ１４によって遅延ライン６とラッチ１１の出力を交互に選択して信号処理回路９で信号処理を行う。
【００３０】
そして、ＤＲＡＭ３から映像信号が読み出されているとき以外は、ＤＲＡＭ３の記憶動作と遅延ライン６〜８の遅延動作は停止しないようにしている。
【００３１】
すなわち、静止画の信号処理時には、デジタル化された映像信号はメモリコントローラ４によってＤＲＡＭ３に書き込まれた後に、メモリコントローラ４によって読み出され、セレクタ５を通り、１Ｈの遅延ライン６に送られる。このとき、遅延ライン６、遅延ライン７、遅延ライン８の三つの遅延ラインによって３Ｈの遅延ラインが構成されている。
【００３２】
上記各遅延ライン６，７，８の出力は、複製コントローラ１７の制御によってラッチ１１，１２，１３にそれぞれ保持される。また信号処理回路９に入力される映像信号は、セレクタ１４，１５，１６の出力であり、セレクタ１４は複製コントローラ１７の制御によって、遅延ライン６の出力とラッチ１１の出力から何れかを選択し、セレクタ１５は複製コントローラ１７の制御によって、遅延ライン７の出力とラッチ１２の出力から何れかを選択し、セレクタ１６は複製コントローラ１７の制御によって、遅延ライン８の出力とラッチ１３の出力から何れかを選択する。
【００３３】
また、信号処理回路９は入力された映像信号を信号処理し、画像データを作成して出力する。この信号処理回路９から出力された画像データは、メモリコントローラ４によってＤＲＡＭ３に書き込まれる。
【００３４】
図４は映像信号の左端での画像データの複製を行うタイミングを示す図であり、遅延ライン６の出力（ＣＬＫ）、ラッチ１１の出力、セレクタ１４の出力、メモリコントローラ４の制御信号、遅延ライン６の動作制御信号、ラッチ１１の保持制御信号、及びセレクタ１４の選択制御信号を示している。同様に、図５は映像信号の右端での画像データの複製を行うタイミングを示す図である。
【００３５】
映像信号の左端においては、複製コントローラ１７は図４に示すように、メモリコントローラ４の映像信号の読み出しと、遅延ライン６，７，８の遅延動作と、ラッチ１１，１２，１３の保持動作と、セレクタ１４，１５，１６の選択動作を制御することによって、映像信号の複製を行う。また、ＣＣＤ１はカラーフィルタ配列を備えており、１Ｈの映像信号は点順次に二つのカラーフィルタに対応する信号を出力する。このため図４においては、映像信号をＡ，Ｂの２つのグループに分けて示している。
【００３６】
図４において、時刻ｔ１では、メモリコントローラ４の制御信号はＨｉｇｈ（高レベル）であり、この制御信号がＨｉｇｈの期間はメモリコントローラ４はＤＲＡＭ３からデジタル化された映像信号を読み出す。遅延ライン６の動作制御信号もＨｉｇｈであり、この制御信号がＨｉｇｈの期間は遅延ライン６はメモリコントローラ４からの出力を取り込み、１Ｈ遅延した映像信号を出力する。また、ラッチ１１の保持動作制御信号はＨｉｇｈであり、この制御信号がＨｉｇｈの期間はラッチ１１はラッチしたデータを保持する。セレクタ１４の選択制御信号はＬｏｗ（低レベル）であり、この制御信号がＬｏｗの期間はセレクタ１４は遅延ライン６の出力を選択する。
【００３７】
時刻ｔ２では、遅延ライン６から左端の最初の映像信号であるＡ０が出力される。複製コントローラ１７はラッチ１１の保持制御信号をＨｉｇｈにし、次のサイクルにおいてラッチ１１がデータを取り込むように制御する。
【００３８】
時刻ｔ３においては、遅延ライン６から左端から２番目の映像信号であるＢ０が出力される。複製コントローラ１７は、メモリコントローラ４の制御信号をＬｏｗにし、時刻ｔ６までの期間ＤＲＡＭ３からの読み出しを停止する。また、遅延ライン６の動作制御信号をＬｏｗにし、時刻ｔ６までの期間遅延ライン６の動作を停止する。また、ラッチ１１の保持動作制御信号をＨｉｇｈにし、ラッチ１１に映像信号Ａ０を保持させる。
【００３９】
時刻ｔ４においては、遅延ライン６の制御信号（Ｌｏｗ）によって遅延ライン６の出力は前のサイクルの状態のまま保持される。複製コントローラ１７はセレクタ１４の選択制御信号をＨｉｇｈにする。これによって、セレクタ１４はラッチ１１の出力を選択する。このサイクルから時刻ｔ６までは、セレクタ１４の選択制御信号はトグル動作を行い、これによってセレクタ１４は映像信号Ａ０とＢ０を交互に出力する。
【００４０】
時刻ｔ５においては、メモリコントローラ４の制御信号及び遅延ライン６の動作制御信号はＨｉｇｈになり、次のサイクルからＤＲＡＭ３からの映像信号の読み出しと遅延ライン６の動作を再開する。
【００４１】
時刻ｔ６では、遅延ライン６から左端から３番目の映像信号Ａ１が出力される。複製コントローラ１７はセレクタ１４の選択制御信号のトグル動作を停止し、Ｌｏｗの状態を続ける。同様に、複製コントローラ１７は、遅延ライン７，８とラッチ１２，１３とセレクタ１５，１６をそれぞれ制御することによって、左端での映像信号の複製を行う。
【００４２】
また、映像信号の右端においては、複製コントローラ１７は図５に示すように、メモリコントローラ４の映像信号の読み出しと、遅延ライン６，７，８の動作と、ラッチ１１，１２，１３の保持動作と、セレクタ１４，１５，１６の選択を制御することによって、映像信号の複製を行う。
【００４３】
図５の時刻ｔ７においては、複製コントローラ１７はメモリコントローラ４の制御信号をＨｉｇｈにかつ遅延ライン６の動作制御信号もＨｉｇｈにし、これにより遅延ライン６から映像信号が読み出される。このとき読み出される映像信号は、１ラインの水平サイズを２ｎとするＢｎ−２である。セレクタ１４の選択制御信号はＬｏｗであり、セレクタ１４は遅延ライン６の出力を選択する。
【００４４】
時刻ｔ８においては、複製コントローラ１７はラッチ１１の保持動作制御信号をＬｏｗにし、これによって次のサイクルにラッチ１１は遅延ライン６の出力をラッチする。
【００４５】
時刻ｔ９においては、複製コントローラ１７はメモリコントローラ４の制御信号及び遅延ライン６の動作制御信号をＬｏｗにし、これによって次のサイクルからＤＲＡＭ３からの映像信号の読み出しと遅延ライン６の動作を停止する。また、ラッチ１１の保持動作制御信号をＨｉｇｈにし、１ラインの最後から２番目の映像信号であるＡｎ−１の保持を行う。
【００４６】
時刻ｔ９では、遅延ライン６から１ラインの最後の映像信号であるＢｎ−１が読み出される。
【００４７】
時刻ｔ１０では、複製コントローラ１７はセレクタ１４の選択制御信号をＨｉｇｈにする。これによって、セレクタ１４はラッチ１１の出力を選択する。このサイクルから時刻ｔ１２までは、セレクタ１４の選択制御信号はトグル動作を行い、これによってセレクタ１４は映像信号Ａｎ−１とＢｎ−１を交互に出力する。
【００４８】
時刻ｔ１１では、メモリコントローラ４の制御信号及び遅延ライン６の動作制御信号はＨｉｇｈになり、次のサイクルからＤＲＡＭ３からの映像信号の読み出しと遅延ライン６の動作を再開する。
【００４９】
時刻ｔ１２では、複製コントローラ１７はセレクタ１４の選択制御信号のトグル動作を停止し、Ｌｏｗの状態を続ける。同様に、複製コントローラ１７は、遅延ライン７，８とラッチ１２，１３とセレクタ１５，１６をそれぞれ制御することによって、右端での映像信号の複製を行う。
【００５０】
また、動画の信号処理時には、ＣＣＤ１から出力される映像信号を停止することはできない。このため、遅延ライン６，７，８の動作を停止することができない。したがって、複製コントローラ１７は、遅延ライン６，７，８の動作制御信号を常にＨｉｇｈにし、ラッチ１１，１２，１３の保持動作制御信号も常にＨｉｇｈにし、セレクタ１４，１５，１６の選択制御信号は常にＬｏｗにし、セレクタ１４，１５，１６がそれぞれ遅延ライン６，７，８の出力を選択するように制御を行い、映像信号の複製は行わない。
【００５１】
なお、本実施例においては、撮像センサのカラーフィルタの水平繰り返し周期を２として、遅延ライン６，７，８の出力を保持するためにラッチ１１，１２，１３を使用したが、水平繰り返し周期が２より大きい場合には、遅延ライン６，７，８の出力を保持するためのラッチの段数を増やし、セレクタ１４，１５，１６の選択制御を変更することによって容易に対応することができる。この場合、必要なラッチの数は遅延ライン一つに対して（撮像センサのカラーフィルタの水平繰り返し周期−１）個である。
【００５２】
【発明の効果】
以上説明したように、本発明によれば、映像の左右両端において画像データの複製を行うことによって、映像の左右両端での信号処理におけるデジタルフィルタの演算が安定する。このため、撮像素子の有効映像信号領域により近い画像データを記録することができる。また、記録する画像データの大きさが従来と同じ大きさの場合、従来より少ない画素数の撮像素子を使用することができ、コストダウン、装置の小型化、少消費電力化を図ることができる。
【００５３】
また、遅延手段からの読み出し後に映像信号の複製を行うことにより、複製のために遅延手段の記憶容量を増やす必要がなくなり、かつＣＰＵで映像信号の左右両端の複製をする必要がなく、ＣＰＵのタイム及び映像信号を格納する記憶手段の容量を削減することができ、経済的である。
【図面の簡単な説明】
【図１】本発明の第１の実施例の構成を示すブロック図
【図２】映像信号の複製を行う領域を示す図
【図３】本発明の第２の実施例の構成を示すブロック図
【図４】映像信号の左端での複製を行うタイミングを示す図
【図５】映像信号の右端での複製を行うタイミングを示す図
【符号の説明】
１ＣＣＤ（撮像素子）
２Ａ／Ｄ変換器
３ＤＲＡＭ（記憶手段）
４メモリコントローラ（書き込み手段，読み出し手段）
５セレクタ
６遅延ライン（遅延手段）
７遅延ライン（遅延手段）
８遅延ライン（遅延手段）
９信号処理回路
１０ＣＰＵ
１１ラッチ（保持手段）
１２ラッチ（保持手段）
１３ラッチ（保持手段）
１４セレクタ（選択手段）
１５セレクタ（選択手段）
１６セレクタ（選択手段）
１７複製コントローラ（制御手段）[0001]
BACKGROUND OF THE INVENTION
The present invention, digital image signal processing image pickup apparatus which performs, and in particular good signal processable imaging equipment realizing a still image and a control method thereof.
[0002]
[Prior art]
Conventionally, for example, in a digital camera, a video signal output from an image sensor such as a CCD is processed in real time to create an EVF image, and a video signal output from the image sensor is once stored in a DRAM or the like. The still image signal processing is performed in which signal processing is performed after storage. This signal processing is composed of a plurality of horizontal filter processes, vertical filter processes, etc., and performs signal processing on the input video signal of horizontal H0 and vertical V0 pixels, and image data of which the effective area is horizontal H1 and vertical V1 pixels. Is developed and output.
[0003]
[Problems to be solved by the invention]
However, in the conventional imaging apparatus as described above, a geometrically continuous video signal is not input to the left side and the right side of the image data output from the imaging sensor in the internal filter of the signal processing. Cannot perform proper filtering.
[0004]
Therefore, the horizontal H1 is always smaller than H0, and the amount thereof is as follows when the signal processing is equivalent to a horizontal N-tap filter.
[0005]
H1 = H0-N (when N is an even number)
= H0- (N-1) (when N is an odd number)
Similarly, assuming that signal processing is equivalent to a horizontal M-tap filter with respect to the vertical, it is as follows.
[0006]
V1 = V0-M (when M is an even number)
= V0- (M-1) (when M is an odd number)
Therefore, it is necessary to use an image sensor having an effective area larger than the recorded image size of the camera. Further, to increase the effective area of the image sensor, it is necessary to increase the area of the image sensor, which is costly.
[0007]
An object of the present invention, Ki out to realize an image output closer to the effective area of the image sensor is to provide an inexpensive image pickup apparatus and a control method in a small size.
[0008]
[Means for Solving the Problems]
An imaging apparatus and a control method thereof according to the present invention are configured as follows.
[0009]
(1) An image sensor that converts video into an electrical signal, an A / D converter that converts an analog video signal from the image sensor into a digital signal, and a digital video signal converted by the A / D converter are stored. Storage means, delay means for delaying the video signal read from the storage means, holding means for holding the video signal delayed by the delay means, video signal from the delay means and video from the holding means A selection means for selecting one of the signals, and a signal processing circuit for performing predetermined signal processing on the video signal selected by the selection means, and holding the pixel data at the left end of the video in the holding means, While the next pixel data at the left end is output from the delay means, the video signal readout operation and the delay operation are stopped, and the output of the holding means and the output of the delay means are alternately selected for a predetermined period. Then, the pixel data immediately before the right end of the video is held in the holding means, and the readout operation and the delay operation of the video signal are performed in a state where the pixel data on the right end is output from the delay means. An image pickup apparatus that stops and performs signal processing by alternately selecting the output of the holding unit and the output of the delay unit for a predetermined period.
(2) The imaging apparatus according to (1), wherein the operations of the storage unit and the delay unit are not stopped except when a video signal is read from the storage unit.
(3) The image is converted into an electric signal by the image pickup device, the analog video signal from the image pickup device is converted into a digital signal and stored in the storage means, and the video signal read from the storage means is delayed and delayed. Holding a video signal, selecting either the delayed video signal or the held video signal, performing a predetermined signal processing on the selected video signal, holding the pixel data at the left end of the video, In the state where the next pixel data is delayed, the readout operation and the delay operation of the video signal are stopped, and the signal processing is performed by alternately selecting the signal held for a predetermined period and the delayed signal, and at the right end of the video Holds the previous pixel data, stops the video signal readout operation and delay operation in a state where the rightmost pixel data is delayed, and alternately selects the signal held for a predetermined period and the delayed signal. signal Control method for an imaging apparatus which is characterized in that to perform the management.
(4) The control method for an image pickup apparatus according to (3), wherein the storage operation and the delay operation are not stopped except when a video signal is read from the storage means.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0020]
FIG. 1 is a block diagram showing the configuration of the first embodiment of the present invention, and shows the main part of the digital camera.
[0021]
In FIG. 1, 1 is a CCD which is an image pickup device for converting an image into an electric signal, 2 is an A / D converter for A / D converting an analog image signal from the CCD 1 into a digital signal, and 3 is A / D converted. In a DRAM that is a storage unit that stores (holds) a digital video signal, the video signal is written through a memory controller 4 that is a memory writing unit.
[0022]
Reference numeral 5 denotes a selector for selecting a video signal read from the DRAM 3 by the memory controller 4 also serving as a memory reading means and the A / D converted video signal, and 6 to 8 delay the video signal output from the selector 5. A delay line (delay means) 9 is a signal processing circuit for performing predetermined signal processing on the video signal. Here, the signal processing is performed on the video signal delayed by the delay lines 6-8. Reference numeral 10 denotes a CPU that controls the whole.
[0023]
The CCD 1 has a color filter array, and a 1H video signal outputs signals corresponding to two color filters dot-sequentially. For this reason, as shown in FIG. 2, the video signals are divided into two groups A and B. FIG. 2 is a diagram showing an area where the video signal is duplicated, and an area P1 is an area where the memory controller 4 writes the output of the A / D converter 2 into the DRAM 3. As shown in FIG. 2, the CPU 10 duplicates two pixels, which are equal to one cycle of the color filter of the CCD 1 for each line, a predetermined number of times from the beginning and end of one line, and respectively stores the areas P2 and P3. Create a video signal.
[0024]
Then, in response to an instruction from the CPU 10, the memory controller 4 reads the video signals in the areas P 1, P 2 and P 3 and outputs them to the 1H delay line 6 through the selector 5. The output of the delay line 6 is output to the delay line 7 and the signal processing circuit 9. The output of the delay line 7 is output to the delay line 8 and the signal processing circuit 9. These delay lines 6, 7, and 8 constitute a 3H delay line, and the signal processing circuit 9 performs signal processing on the output. The video signal output from the signal processing circuit 9 is written into the DRAM 3 through the memory controller 4.
[0025]
As described above, the image data of pixels equal to the repetition period of the horizontal color filter array of the CCD 1 is duplicated a plurality of times at both ends of the video, and signal processing is performed on the video signal including the duplicated region, thereby An image output closer to the effective area can be realized, and a small and inexpensive imaging apparatus can be obtained.
[0026]
FIG. 3 is a block diagram showing the configuration of the second embodiment of the present invention. The same reference numerals as those in FIG. 1 denote the same components.
[0027]
In FIG. 3, 11-13 are latches (holding means) for holding the video signals delayed by the delay lines 6-8, and 14-16 are the video signals from the delay lines 6-8 and the video signals from the latches 11-13. The selected video signal is signal-processed by the signal processing circuit 9 by a selector (selection means) for selecting any one of the above. Reference numeral 17 denotes a memory controller 4, delay lines 6 to 8, latches 11 to 13, and selectors 14 to 16 that constitute video signal writing means and reading means for the DRAM 3, and image data at the left and right ends (both sides) of the video. Is a replication controller (control means) for performing the replication.
[0028]
In the digital camera configured as described above, at the left end of the video signal, the video signal at the left end is held in the latch 6 under the control of the duplication controller 17, and the second video signal from the left end is output from the delay line 6. In this state, the memory read operation and the delay operation are stopped, the output of the delay line 6 and the latch 11 is alternately selected by the selector 14 for a predetermined period, and the signal processing circuit 9 performs signal processing.
[0029]
Similarly, at the right end of the video signal, the video signal immediately before the right end is held in the latch 11 under the control of the duplication controller 17, and the memory read operation is performed with the right end video signal being output from the delay line 6. The delay operation is stopped, the selector 14 alternately selects the output of the delay line 6 and the latch 11, and the signal processing circuit 9 performs signal processing.
[0030]
The storage operation of the DRAM 3 and the delay operations of the delay lines 6 to 8 are not stopped except when the video signal is read from the DRAM 3.
[0031]
That is, at the time of still image signal processing, the digitized video signal is written into the DRAM 3 by the memory controller 4, read out by the memory controller 4, passes through the selector 5, and is sent to the delay line 6 of 1H. At this time, the 3H delay line is constituted by the three delay lines of the delay line 6, the delay line 7, and the delay line 8.
[0032]
The outputs of the delay lines 6, 7 and 8 are held in the latches 11, 12 and 13, respectively, under the control of the replication controller 17. The video signal input to the signal processing circuit 9 is the output of the selectors 14, 15, and 16. The selector 14 selects either the output of the delay line 6 or the output of the latch 11 under the control of the duplication controller 17. The selector 15 selects either the output of the delay line 7 or the output of the latch 12 under the control of the duplication controller 17. The selector 16 selects either the output of the delay line 8 or the output of the latch 13 under the control of the duplication controller 17. Select.
[0033]
Further, the signal processing circuit 9 performs signal processing on the input video signal to create and output image data. The image data output from the signal processing circuit 9 is written into the DRAM 3 by the memory controller 4.
[0034]
FIG. 4 is a diagram showing the timing of duplicating image data at the left end of the video signal. The output of the delay line 6 (CLK), the output of the latch 11, the output of the selector 14, the control signal of the memory controller 4, the delay line 6 shows an operation control signal 6, a holding control signal of the latch 11, and a selection control signal of the selector 14. Similarly, FIG. 5 is a diagram showing the timing of copying image data at the right end of the video signal.
[0035]
At the left end of the video signal, the duplication controller 17 reads out the video signal from the memory controller 4, delays the delay lines 6, 7, and 8, and holds the latches 11, 12, and 13, as shown in FIG. By controlling the selection operation of the selectors 14, 15, and 16, the video signal is duplicated. The CCD 1 has a color filter array, and the 1H video signal outputs signals corresponding to the two color filters in a dot-sequential manner. For this reason, in FIG. 4, the video signals are divided into two groups A and B.
[0036]
In FIG. 4, at time t <b> 1, the control signal of the memory controller 4 is High (high level), and the memory controller 4 reads the digitized video signal from the DRAM 3 while the control signal is High. The operation control signal of the delay line 6 is also High, and when the control signal is High, the delay line 6 takes in the output from the memory controller 4 and outputs a video signal delayed by 1H. Further, the holding operation control signal of the latch 11 is High, and the latch 11 holds the latched data while the control signal is High. The selection control signal of the selector 14 is Low (low level), and the selector 14 selects the output of the delay line 6 while the control signal is Low.
[0037]
At time t2, A0 which is the first video signal at the left end is output from the delay line 6. The replication controller 17 sets the holding control signal of the latch 11 to High, and controls the latch 11 to capture data in the next cycle.
[0038]
At time t3, B0 which is the second video signal from the left end is output from the delay line 6. The replication controller 17 sets the control signal of the memory controller 4 to Low, and stops reading from the DRAM 3 for a period until time t6. Further, the operation control signal of the delay line 6 is set to Low, and the operation of the delay line 6 is stopped for a period until time t6. Further, the holding operation control signal of the latch 11 is set to High, and the video signal A0 is held in the latch 11.
[0039]
At time t4, the output of the delay line 6 is held in the state of the previous cycle by the control signal (Low) of the delay line 6. The duplication controller 17 sets the selection control signal of the selector 14 to High. Thereby, the selector 14 selects the output of the latch 11. From this cycle until time t6, the selection control signal of the selector 14 performs a toggle operation, whereby the selector 14 alternately outputs the video signals A0 and B0.
[0040]
At time t5, the control signal of the memory controller 4 and the operation control signal of the delay line 6 become High, and the reading of the video signal from the DRAM 3 and the operation of the delay line 6 are restarted from the next cycle.
[0041]
At time t6, the third video signal A1 from the left end is output from the delay line 6. The duplication controller 17 stops the toggle operation of the selection control signal of the selector 14 and continues the Low state. Similarly, the duplication controller 17 duplicates the video signal at the left end by controlling the delay lines 7 and 8, the latches 12 and 13, and the selectors 15 and 16, respectively.
[0042]
At the right end of the video signal, the duplication controller 17 reads the video signal from the memory controller 4, operates the delay lines 6, 7, 8 and holds the latches 11, 12, 13 as shown in FIG. By controlling the selection of the selectors 14, 15, and 16, the video signal is duplicated.
[0043]
At time t7 in FIG. 5, the duplication controller 17 sets the control signal of the memory controller 4 to High and the operation control signal of the delay line 6 to High, whereby the video signal is read from the delay line 6. The video signal read at this time is Bn-2 where the horizontal size of one line is 2n. The selection control signal of the selector 14 is Low, and the selector 14 selects the output of the delay line 6.
[0044]
At time t8, the replication controller 17 sets the holding operation control signal of the latch 11 to Low, and thereby the latch 11 latches the output of the delay line 6 in the next cycle.
[0045]
At time t9, the duplication controller 17 sets the control signal of the memory controller 4 and the operation control signal of the delay line 6 to Low, thereby stopping the reading of the video signal from the DRAM 3 and the operation of the delay line 6 from the next cycle. Further, the holding operation control signal of the latch 11 is set to High, and An-1 that is the second video signal from the end of one line is held.
[0046]
At time t9, Bn-1 which is the last video signal of one line is read from the delay line 6.
[0047]
At time t10, the replication controller 17 sets the selection control signal of the selector 14 to High. Thereby, the selector 14 selects the output of the latch 11. From this cycle to time t12, the selection control signal of the selector 14 performs a toggle operation, whereby the selector 14 alternately outputs the video signals An-1 and Bn-1.
[0048]
At time t11, the control signal of the memory controller 4 and the operation control signal of the delay line 6 become High, and the reading of the video signal from the DRAM 3 and the operation of the delay line 6 are restarted from the next cycle.
[0049]
At time t12, the duplication controller 17 stops the toggle operation of the selection control signal of the selector 14 and continues the Low state. Similarly, the duplication controller 17 duplicates the video signal at the right end by controlling the delay lines 7 and 8, the latches 12 and 13, and the selectors 15 and 16, respectively.
[0050]
In addition, the video signal output from the CCD 1 cannot be stopped during video signal processing. For this reason, the operation of the delay lines 6, 7, and 8 cannot be stopped. Therefore, the duplication controller 17 always sets the operation control signals of the delay lines 6, 7, and 8 to High, the holding operation control signals of the latches 11, 12, and 13 always also High, and the selection control signals of the selectors 14, 15, and 16 are Control is always performed so that the selectors 14, 15, and 16 select the outputs of the delay lines 6, 7, and 8, respectively, and the video signal is not duplicated.
[0051]
In this embodiment, the horizontal repetition period of the color filter of the image sensor is set to 2, and the latches 11, 12, and 13 are used to hold the outputs of the delay lines 6, 7, and 8. However, the horizontal repetition period is If it is larger than 2, it can be easily handled by increasing the number of stages of latches for holding the outputs of the delay lines 6, 7, 8 and changing the selection control of the selectors 14, 15, 16. In this case, the number of latches required is (horizontal repetition period-1 of the color filter of the image sensor) for one delay line.
[0052]
【The invention's effect】
As described above, according to the present invention, by duplicating the image data at the left and right ends of the video, the digital filter operation in the signal processing at the left and right ends of the video is stabilized. For this reason, image data closer to the effective video signal area of the image sensor can be recorded. Further, when the size of the image data to be recorded is the same as the conventional size, it is possible to use an image sensor having a smaller number of pixels than the conventional size, thereby reducing the cost, downsizing the apparatus, and reducing the power consumption. .
[0053]
Further, by duplicating the video signal after reading from the delay means, it is not necessary to increase the storage capacity of the delay means for duplication, and it is not necessary for the CPU to duplicate the left and right ends of the video signal. The capacity of the storage means for storing the time and the video signal can be reduced, which is economical.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a first embodiment of the present invention. FIG. 2 is a diagram showing a region where a video signal is duplicated. FIG. 3 is a block diagram showing a configuration of a second embodiment of the present invention. FIG. 4 is a diagram showing the timing of duplicating the video signal at the left end. FIG. 5 is a diagram showing the timing of duplicating the video signal at the right end.
1 CCD (imaging device)
2 A / D converter 3 DRAM (memory means)
4 Memory controller (writing means, reading means)
5 selector 6 delay line (delay means)
7 Delay line (delay means)
8 Delay line (delay means)
9 Signal processing circuit 10 CPU
11 Latch (holding means)
12 Latch (holding means)
13 Latch (holding means)
14 Selector (selection means)
15 Selector (selection means)
16 Selector (selection means)
17 Duplication controller (control means)

Claims

An imaging device for converting an image into an electrical signal, an A / D converter for converting an analog video signal from the imaging device into a digital signal, storage means for storing the digital video signal converted by the A / D converter When a delay means for delaying the video signal read from said memory means, and holding means for holding a video signal delayed by said delay means, one of the video signal from the video signal and said holding means from said delay means And a signal processing circuit for performing predetermined signal processing on the video signal selected by the selection unit , the pixel data at the left end of the video is held in the holding unit, and next to the left end stop video signal in a state in which the pixel data is output from the delay means of the read operation and the delay operation, and alternately selects the output of said delay means and an output for a predetermined period said holding means Performs No. process, holds the right end one in front of the pixel data of the image in the holding means, to stop the reading operation and the delay operation of the video signal in a state where the right edge of the pixel data is output from the delay means , imaging device and performing selected and signal processing are alternately output of said delay means and an output for a predetermined period said holding means.

Imaging device according to claim 1, wherein it does not stop the operation of the delay means and the storage means except when being read video signal from said memory means.

Converts the image into an electrical signal by the image pickup device, an analog video signal from the imaging device and stored in the conversion and storing means into a digital signal, delays the video signal read from said memory means, a video signal delayed Hold, select either the delayed video signal or the held video signal, apply a predetermined signal processing to the selected video signal, hold the pixel data at the left end of the video, and While the pixel data is delayed, the video signal readout operation and the delay operation are stopped, and the signal processing is performed by alternately selecting the signal held for a predetermined period and the delayed signal, and immediately before the right end of the video. the pixel data held, stops reading operation and delay the operation of the video signal in a state where the right edge of the pixel data is delayed, the selected and signal processing alternately signal delayed for a predetermined period held signal Control method for an imaging apparatus which is characterized in that the Migihitsuji.

4. The method according to claim 3, wherein the storage operation and the delay operation are not stopped except when the video signal is read from the storage means.