JP3671448B2 - Image signal processing device - Google Patents

Image signal processing device Download PDF

Info

Publication number
JP3671448B2
JP3671448B2 JP02290795A JP2290795A JP3671448B2 JP 3671448 B2 JP3671448 B2 JP 3671448B2 JP 02290795 A JP02290795 A JP 02290795A JP 2290795 A JP2290795 A JP 2290795A JP 3671448 B2 JP3671448 B2 JP 3671448B2
Authority
JP
Japan
Prior art keywords
line
data signal
signal
memory
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP02290795A
Other languages
Japanese (ja)
Other versions
JPH08221562A (en
Inventor
耕史 浅田
宏安 大坪
英一 前田
知弘 阪口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Ricoh Co Ltd
Original Assignee
Hitachi Ltd
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, Ricoh Co Ltd filed Critical Hitachi Ltd
Priority to JP02290795A priority Critical patent/JP3671448B2/en
Publication of JPH08221562A publication Critical patent/JPH08221562A/en
Application granted granted Critical
Publication of JP3671448B2 publication Critical patent/JP3671448B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【産業上の利用分野】
本発明は、ビデオカメラ等において動画データや静止画データを生成する画像信号処理装置に関する。
【０００２】
【従来の技術】
マルチメディアの普及に伴い、動画データや静止画データをコンピュータやワークステーション等に取り込むためのインタフェースとして、デジタルスチルカメラが注目されている。多量の画像を取り込むときなどには、スチルカメラは、従来から使用されているスキャナに比べて即時性や経済性に優れ、また、小型軽量化が可能であるので手軽に使用できるという利点がある。この経緯については、テレビジョン学会誌Ｖｏｌ．４６、Ｎｏ．７（１９９２）第８２７頁〜８２８頁において論じられている。
【０００３】
デジタルスチルカメラを実現するために使用する撮像素子としては、汎用性や従来のビデオカメラの技術を応用できる等の点から、現在のビデオカメラで一般的に使用されている画素混合方式の撮像素子を用いるのが望ましい。また、画素混合方式の撮像素子を用いた場合は、その読み出し方式を変更することにより、動画撮影に加えて静止画撮影にも使用することができる利点がある。次に、その説明を行なう。
【０００４】
画素混合方式の撮像素子を用いた動画撮影では、フィールド蓄積読み出しを行なう。フィールド蓄積読み出しは、画素混合方式のＣＣＤ撮像素子において上下２画素のデータを素子内で混合して読み出すもので、その代表的なフィルタ配列を図２に示している。最初のフィールドにおいては、図２に示すように、水平走査毎に上下ラインが加算されて、Ａ１，Ａ２の順番で信号が順次読み出される。また、次のフィールドにおいては、同様に、水平走査毎に上下ラインが加算されて、Ｂ１，Ｂ２の順番で順次読み出される。この結果、センサーからは、水平走査毎に、(Ｍｇ＋Ｙｅ），（Ｇ＋Ｃｙ）と(Ｇ＋Ｙｅ），（Ｍｇ＋Ｃｙ）が交互に出力される。ここで、Ｗｒ＝Ｍｇ＋Ｙｅ，Ｇｂ＝Ｇ＋Ｃｙ，Ｇｒ＝Ｇ＋Ｙｅ，Ｗｂ＝Ｍｇ＋Ｃｙとすれば、撮像素子からのデータ信号は、現データ信号をＳL、１ライン遅延したデータ信号をＳL-1、２ライン遅延したデータ信号をＳL-2として、図３に示すように表わされる。
【０００５】
画素混合方式の撮像素子を用いた静止画記録には、画素混合された各フィールドの出力データ信号をインターリーブして１フレームの画像を記録するフレームスチル画記録方式と、１フィールドの画像のみを記録するフィールドスチル画記録方式とがある。フィールドスチル画記録方式の場合には、
（１）特開平１−１４３４８２号公報に記載されているようなマトリクス補正ができなくなり垂直色モアレが増加する。
（２）垂直方向の解像度が不足し、静止画としては十分な画質が得られない。
という問題がある。従って、静止画記録にはフレームスチル画記録方式が望ましいが、フレームスチル画記録方式の場合、移動量の大きい被写体ではブレが生じて２重像となる問題点がある。
【０００６】
このような問題を解決するため、図４に示すように、最初のフィールドにおいては、水平走査毎に１ラインずつ撮像素子内で画素データを混合せずにデータ信号を読み出し、また次のフィールドにおいても同様に、水平走査毎に１ラインずつデータ信号を読み出して静止画記録を行なう方式が開発されている。このように読み出されたデータ信号は、図５に示すようになる。この方式によれば、ブレが無く解像度が劣化しない静止画を得ることが可能となる。この読み出し方法をフレーム蓄積読み出し方法と呼び、この静止画記録方式をフルフレームスチル画記録方式と名付ける。この詳細は、特開平４−２７４０３６号公報及び特開平４−３３１３９３号公報に述べられている。以下、その方法について述べる。
【０００７】
画素混合方式の撮像素子から画素混合をしないでデータ信号を読み出すことは、この撮像素子の駆動パルスを制御することで実現できる。そして、フルフレームスチル画記録方式を実現するためには、撮像素子上に配列されたフィルタ配置の順に画像データ信号を１Ｈ（ライン）ずつ順次読み出すことが必要がある。しかしながら、撮像素子からは、１枚のフレーム画を構成する画像データが、１ラインおきに１フィールドずつ出力されるので、このままでは信号処理を行なうことができない。そこで検討を行なった結果、撮像素子から出力される２フィールド（１フレーム）分の画像データを蓄積可能なフレームメモリを用い、撮像素子から出力されるデータ信号の１フレーム分をフレームメモリに記憶した後に該メモリーからノンインタレース読み出しを行えば、フルフレームスチル画記録が可能になるという結論に達した。そして画像シミュレーションによる検討の結果では、画素混合方式の撮像素子を用いたフルフレームスチル画記録でも、スチル画としては十分な画質の記録が得られることがわかった。
【０００８】
撮像素子からフィールド蓄積読み出しを行なって動画処理を行なうときには、色信号及び輝度信号を、共に、現データ信号，１ライン遅延データ信号，２ライン遅延データ信号の３ライン分のデータ信号から生成する。また、フレーム蓄積読み出しを行なって静止画処理を行なうときには、色信号に関しては、１ライン遅延データ信号，２ライン遅延データ信号，３ライン遅延データ信号の３ライン分のデータ信号から生成し、輝度信号は、現データ信号，１ライン遅延データ信号，２ライン遅延データ信号，３ライン遅延データ信号，４ライン遅延データ信号の５ライン分のデータ信号から生成する。図６は、この様子を示している。
【０００９】
このような画像信号処理を行なうためには、ビデオカメラ及びその他の映像機器には、画像データ信号の遅延信号を生成するための遅延回路が不可欠であることがわかる。
【００１０】
【発明が解決しようとする課題】
従来のデジタル信号処理では、遅延回路としてメモリを用いている。しかし、全信号処理回路を１つのＩＣに１チップ化しようとするときには、チップ面積や消費電力に占める前記メモリの比重が大きくなる。静止画信号処理を行なうときには現データ信号〜４ライン遅延データ信号を生成するための４Ｈ（ライン）分のラインメモリが必要となるが、これらのラインメモリをＩＣに内蔵しようとすると該ＩＣのチップ面積の増加や消費電力が増大するといった問題が発生する。
【００１１】
従って、本発明の目的は、画像データ信号を遅延するために使用するメモリを少なくすることができる画像信号処理装置を提供することにある。
【００１２】
【課題を解決するための手段】
本発明は、この目的を達成するために、１画面分のデータを記憶するフレームメモリと、１画面を水平方向にｎ分割して各ブロック毎にデータを読み出すようにフレームメモリを制御するメモリコントロール部と、フレームメモリから読み出された１ライン分（（１／ｎ）Ｈ分）のデータを記憶する第１の（１／ｎ）Ｈラインメモリと、第１のラインメモリから出力されるデータ信号を記憶する第２の（１／ｎ）Ｈラインメモリと、第２のラインメモリから出力されるデータ信号を記憶する第３の（１／ｎ）Ｈラインメモリと、以下第（ｍ−１）のラインメモリから出力されるデータ信号を記憶する第ｍの（１／ｎ）Ｈラインメモリと、これらのメモリを制御するメモリコントロール部を設けたことにある。
【００１３】
【作用】
画素混合方式の撮像素子で静止画を撮影する場合、その出力データ信号はフィールド単位となる。データ信号は、フレームメモリにノンインタレースで記憶した後に読み出しを行ない処理をする。静止画の場合は動画と違ってリアルタイムの処理が要求されないため、画面を水平方向に分割して処理することが可能となる。以下、水平方向に２分割して画像処理をする場合の手順を説明する。
【００１４】
（１）フレームメモリに書き込んだデータを、（１／２）Ｈ分づつ左半画面分を読み出して処理を行なう。
【００１５】
（２）左半画面分の処理データを再びフレームメモリに書き込む。
【００１６】
（３）残り右半画面分のデータを読み出し処理を行なう。
【００１７】
（４）右半画面分の処理データを再びフレームメモリに書き込む。
【００１８】
この方式により静止画処理を行なう場合は、１ライン分のデータを遅延させるには（１／２）Ｈ分の容量のメモリですむ。そのため、４ライン分の遅延データ信号を、
（１／２）Ｈ×４＝２Ｈ分
の容量のメモリで生成できる。動画処理の場合には従来どおり２Ｈ分の容量のメモリを用いたリアルタイム処理となるため、２Ｈ分のメモリにより動画及び静止画の両方の処理が可能となる。
【００１９】
なお、一枚の画面を左半画面と右半画面とに分けて処理をする場合、完全に左半分と右半分とで独立した信号処理を行なえば、左右の画面の境目で不連続部分が生じ画面上で歪となる。これは信号処理で水平方向のフィルタ処理を行なっているためであり、この不連続が生じないようにするために次のような工夫を行なう。
【００２０】
撮像素子からフレームメモリにデータを書き込む際には、あらかじめ数画素分のオフセットを水平方向のアドレスにもたせて書き込むようにする。次に左半画面分の処理結果を再びフレームメモリに書き込む際にはアドレス０から書き始めるようにすれば、水平方向に数画素分の上書きされないデータが残る。そうすれば、右半面分の処理をする際に、水平方向のフィルタ処理が左画面から右画面に連続して行なうことができ、画面中央部で歪を生じることなくフレーム静止画を得ることができる。
【００２１】
以上、デジタルカメラの信号処理について、現データ信号〜４ライン遅延データ信号までを２Ｈ分の容量のラインメモリで生成する信号遅延処理を述べたが、フレームメモリを用いて静止画処理を行なう場合は、水平分割数を増やすことによりより多くの遅延データ信号が得られる。
【００２２】
ここで、フレームメモリと１Ｈ分のラインメモリから現データ信号〜ｍライン遅延データ信号を生成する方法につき説明する。フレームメモリに記憶した１画面分のデータを遅延回路に出力するとき、１画面を水平方向にｎ等分したブロック毎にデータを読みだす。読み出したデータは第１の（１／ｎ）Ｈラインメモリに記憶し、１ライン遅延データ信号を生成する。次に第１のラインメモリから出力されるデータ信号を第２の（１／ｎ）Ｈラインメモリに記憶することにより２ライン遅延データ信号を生成し、以下同様に、第ｍの（１／ｎ）Ｈラインメモリによりｍライン遅延データ信号を生成することができる。
【００２３】
このようにすれば、１ライン分の遅延データ信号を生成するのに（１／ｎ）Ｈ分の容量のメモリで足りるので、現データ信号〜ｍライン遅延データ信号を（１／ｎ）Ｈ×ｍ＝（ｍ／ｎ）Ｈの容量のメモリで生成でき、垂直方向のフィルタリング等で多数のラインを使用するときなどにメモリの量を軽減できる。また、動画のリアルタイム処理を行なう場合には（ｍ／ｎ）Ｈのラインメモリとして使用することができる。
【００２４】
【実施例】
以下、本発明の実施例を図面を参照して説明する。
【００２５】
図１は、本発明になる画像信号処理装置のブロック図である。この画像信号処理装置は、フレームメモリと（１／ｎ）Ｈ分の容量のラインメモリをｍ個用いて現データ信号〜ｍライン遅延データ信号を生成する回路構成のものである。ここで、Ｈは、水平方向１ライン分の画像データ（画素）数である。
【００２６】
図１において、１は入力データ信号、２はフレームメモリ、３は前記フレームメモリ３から出力されるデータ信号、４は信号遅延回路、５は前記信号遅延回路４から出力される現データ信号、６は同１ライン遅延データ信号、７は同２ライン遅延データ信号、８は同ｎライン遅延データ信号、９は信号処理回路、１０は前記信号処理回路９で処理して出力されたデータ信号、８２は前記フレームメモリ２のアドレス信号、８３は前記アドレス８２を発生するメモリコントロール部である。
【００２７】
フレームメモリ２は、１フレーム分の入力データ信号１を記憶する。フレームメモリ２に記憶した画像データ信号は、メモリコントロール部８３により制御されるアドレス信号８２により、画面を水平方向にｎ等分して区分した各ブロック毎に読み出される。読み出された画像データ信号は、水平方向の長さが（１／ｎ）Ｈとなるので、（１／ｎ）Ｈの容量のメモリで１ライン遅延データ信号を生成することができる。信号遅延回路４は、フレームメモリ２から読み出したデータ信号３から現データ信号５，１ライン遅延データ信号６，２ライン遅延データ信号７…ｍライン遅延データ信号８までのデータ信号を生成し、信号処理回路９に出力する。
【００２８】
信号処理回路９は、信号遅延回路４で生成した現データ信号５〜ｍライン遅延データ信号８を処理した処理結果を出力データ信号１０として出力する。出力データ信号１０は、再びフレームメモリ２の前記読み出したデータ上に書き込むか、または、他の記憶装置に出力される。このような処理を１画面にわたりｎ回繰り返すことで、処理された１画面分の画像データ信号をフレームメモリ２に得ることができる。フレームメモリ２に記憶した画像データ信号（処理結果）は、外部出力データ信号９４として外部に出力される。
【００２９】
ここで、フレームメモリ２からのデータ読み出し方法について、図７を参照して説明する。同図において、２はフレームメモリ、１１はフレームメモリ内の画像データ信号をｎ等分したうちの最初の１ブロック、１２は次の１ブロック、１３は最後の１ブロック、３は該フレームメモリ２から読み出されるデータ信号である。
【００３０】
フレームメモリ２に記憶された１画面分の画像データは、図７に示すように、水平方向にｎ等分した状態で、メモリコントロール部８３により制御されたアドレス信号８２により、最初の１ブロック１１から読み出される。読み出したデータ信号３は、信号遅延回路４に送られる。信号遅延回路４で生成した現データ信号５〜ｍライン遅延データ信号８に対しては信号処理回路９で所定の信号処理を行ない、処理した結果を再びフレームメモリ２のブロック１１に上書きする。次に、ブロック１２のデータを同様に読み出し、処理した結果をブロック１２に上書きする。この処理を最後のブロック１３まで繰り返せば、１フレーム全体の画像データに対する処理が完了し、この処理結果がフレームメモリ２に記憶されることになる。
【００３１】
次に、前記信号遅延回路４による現データ信号５〜ｍライン遅延データ信号８の生成について、図８を参照して説明する。同図において、１は入力データ信号、２はフレームメモリ、３は前記フレームメモリ２から出力されるデータ信号、４は信号遅延回路、１４は１ライン遅延データ信号を生成するための（１／ｎ）Ｈの容量をもつラインメモリ、６は前記ラインメモリ１４により生成した１ライン遅延データ信号、１５は２ライン遅延データ信号を生成するための（１／ｎ）Ｈの容量をもつラインメモリ、６は前記ラインメモリ１５により生成した２ライン遅延データ信号、１６はｍライン遅延データ信号を生成するための（１／ｎ）Ｈの容量をもつラインメモリ、８は前記ラインメモリ１６により生成したｍライン遅延データ信号、８２は前記フレームメモリ２に対するアドレス信号、８３は前記アドレス信号８２を発生するメモリコントロール部である。
【００３２】
フレームメモリ２からは、図７に示すように、画面を水平方向にｎ等分して区分した各ブロック毎にデータを読み出す。これはメモリコントロール部８３によりフレームメモリ２のアドレス信号８２を制御して行なう。読み出したデータは、水平方向の長さが（１／ｎ）Ｈであるので、（１／ｎ）Ｈの容量のラインメモリで１ライン（Ｈ／ｎライン長）分の遅延データ信号を生成できる。信号遅延回路４では、フレームメモリ２から読み出したデータ信号３を現データ信号５として出力すると共に（１／ｎ）Ｈラインメモリ１４に記憶する。次の１ライン（Ｈ／ｎライン長）分のデータ信号３がフレームメモリ２から入力されると、（１／ｎ）Ｈラインメモリ１４からは１ライン遅延データ信号６が出力され、同データ信号６が（１／ｎ）Ｈラインメモリ１５に記憶される。以下、同様の遅延処理を行なってｎライン目のデータ信号が信号遅延回路４に入力したとき、（１／ｎ）Ｈラインメモリ１６からｍライン遅延データ信号８が出力される。このように、フレームメモリ２内部のデータを水平方向にｎ分割して各ブロック毎に処理すれば、１Ｈ分のメモリ容量で現データ信号５〜ｍライン遅延データ信号８を生成することができ、遅延データ信号生成のためのラインメモリの容量を軽減することができる。
【００３３】
次に、前記信号遅延回路４によりリアルタイムで１ライン遅延データ信号を生成するための遅延処理について、図９を参照して説明する。同図において、１は入力データ信号、４は信号遅延回路、１４，１５…１６は（１／ｎ）Ｈの容量をもつラインメモリ、１７は１ライン遅延データ信号である。
【００３４】
信号遅延回路４に入力される入力データ信号１のうちの最初の（１／ｎ）Ｈ分がラインメモリ１４に記憶される。次に新たな（１／ｎ）Ｈ分のデータ信号１が入力されると、ラインメモリ１４の内容（記憶データ）が押し出されて後段のラインメモリ１５に記憶（移動）され、新たに入力した入力データ信号１は前段のラインメモリ１４に記憶される。以下同様に、更に新たなデータが前段のラインメモリ１４に入力されると、ラインメモリ１４，１５に記憶されているデータは、順次に後段のラインメモリに記憶（移動）されていき、ｍ／ｎＨ分のデータ信号が入力されたときには、信号遅延回路４内部のラインメモリ１４〜１６がデータ信号で満ちてリアルタイムで１ライン遅延データ信号１７が生成される。
【００３５】
図１０は、本発明になる画像信号処理装置を使用したビデオカメラ等においてフレーム静止画を生成，記録するときの信号処理方式を示している。同図において、１８は画素混合方式の撮像素子、２はデータ信号を１フレーム分記憶するためのフレームメモリ、８２は前記フレームメモリ２のアドレス信号、８３は前記アドレス信号８２を生成するメモリコントロール部、３は前記フレームメモリ２から読み出した０．５Ｈ分のデータ信号、４は現データ信号〜４ライン遅延データ信号を生成するための信号遅延回路、５は前記信号遅延回路４で生成した現データ信号、６は同１ライン遅延データ信号、７は同２ライン遅延データ信号、１９は同３ライン遅延データ信号、２０は同４ライン遅延データ信号、９は色信号及び輝度信号を生成するための信号処理回路、２１は前記信号処理回路９で生成した色信号、２２は同輝度信号である。
【００３６】
画素混合方式の撮像素子１８からフレーム読み出しにより得た入力データ信号１は、１フレーム分をフレームメモリ２に書き込む。このとき、水平方向のアドレスには数画素分のオフセットをもたせて書き込むようにする。これは、画面中央部の処理を連続した状態で行なえるようにするためである。次に、メモリコントロール部８３によりフレームメモリ２へのアドレス信号８２を制御して、このフレームメモリ２から左半画面分のデータ（１水平走査あたり０．５Ｈ分）を順次に読み出して信号遅延回路４に入力する。信号遅延回路４に入力したデータ信号３は、図１１に示す遅延方式で遅延することにより、現データ信号５，１ライン遅延データ信号６，２ライン遅延データ信号７、３ライン遅延データ信号１９、４ライン遅延データ信号２０を生成する。遅延回路４で生成した現データ信号５〜４ライン遅延データ信号２０は、信号処理回路９に送り、色信号２１及び輝度信号２２を生成する。生成した色信号２１及び輝度信号２２は、外部の記憶装置に出力されるか、もしくはフレームメモリ２の左半画面分の領域にアドレス０から書き込む。右半画面についても同様の処理を行なえば、２ライン分の容量のメモリで現データ信号〜４ライン遅延データ信号を用いた静止画処理を行なうことができ、高精細のフルフレーム静止画をフレームメモリ２に得ることができる。フレームメモリ２からは外部に画像データ信号９４を出力する。
【００３７】
図１１は、本発明になる画像信号処理装置を使用したデジタルスチルカメラの静止画処理における回路構成を示している。同図において、１は入力データ信号、２はフレームメモリ、３は前記フレームメモリ２から読み出されるデータ信号、５は現データ信号、２３は１ライン遅延データ信号生成用ラインメモリ、６は１ライン遅延データ信号、２４は２ライン遅延データ信号生成用ラインメモリ、７は２ライン遅延データ信号、２５は３ライン遅延データ信号生成用ラインメモリ、１９は３ライン遅延データ信号、２６は４ライン遅延データ信号生成用ラインメモリ、２０は４ライン遅延データ信号、２７は各ラインメモリ２３〜２６に供給するアドレス信号、４は現データ信号〜４ライン遅延データ信号を生成する前記信号遅延回路である。
【００３８】
入力されるデータ信号１は、一旦、フレームメモリ２に１画面分記憶する。このとき、水平方向のアドレスには数画素分のオフセットをもたせて書き込むようにする。次に、フレームメモリ２からデータをノンインタレースで左半画面分（０．５Ｈ分）だけ読み出して信号遅延回路４に入力する。
【００３９】
信号遅延回路４は、入力したデータ信号３を０．５Ｈ分の容量の１ライン遅延データ信号生成用ラインメモリ２３に送り、１ライン遅延データ信号６を生成する。以下同様に、２ライン遅延データ信号生成用メモリ２４，３ライン遅延データ信号生成用メモリ２５，４ライン遅延データ信号生成用メモリ２６で、それぞれ、２ライン遅延データ信号７，３ライン遅延データ信号１９，４ライン遅延データ信号２０を生成し、後段の信号処理回路９に送る。
【００４０】
図１２は、本発明になる画像信号処理装置における前記静止画処理の際に各ラインメモリ２３〜２６にデータを書き込む場合のアドレス信号及び書き込み信号のタイミングを示している。同図において、２８は信号遅延回路４の入力データ信号（３）、２７は各ラインメモリ２３〜２６のアドレス信号、２９はラインメモリ２３の書き込み信号、３０はラインメモリ２４の書き込み信号、３１はラインメモリ２５の書き込み信号、３２はラインメモリ２６の書き込み信号、３３はラインメモリ２３に記憶したデータ、３４はラインメモリ２４に記憶したデータ、３５はラインメモリ２５に記憶したデータ、３６はラインメモリ２６に記憶したデータである。なお、各ラインメモリ２３〜２６は、図１１における各ラインメモリ２３〜２６に対応する。
【００４１】
入力データ信号２８及びアドレス信号２７は、同じ周期でラインメモリ２３に入力する。入力データ信号２８は、書き込み信号２９によってラインメモリ２３におけるアドレス信号２７の番地に書き込む。また、ラインメモリ２３から出力されるデータ信号は、書き込み信号３０によってラインメモリ２４におけるアドレス信号２７の番地に書き込む。以下同様に、書き込み信号３１と書き込み信号３２により、ラインメモリ２４，２５からの出力データをそれぞれラインメモリ２５，２６に書き込む。
【００４２】
図１３は、本発明になる画像信号処理装置における前記静止画処理の際に各ラインメモリ２３〜２６からデータを読み出す場合のアドレス信号及び読み出し信号のタイミングを示している。同図において、２７は各ラインメモリ２３〜２７のアドレス信号、３７はラインメモリ２３の読み出し信号、３８はラインメモリ２４の読み出し信号、３９はラインメモリ２５の読み出し信号、４０はラインメモリ２６の読み出し信号、４１はラインメモリ２３から読み出される読み出しデータ信号、４２はラインメモリ２４から読み出される読み出しデータ信号、４３はラインメモリ２５から読み出される読み出しデータ信号、４４はラインメモリ２６から読み出される読み出しデータ信号、４５は各ラインメモリ２３〜２６から読み出される各読み出しデータ信号の位相を揃えるための同期信号、４６は読み出しデータ信号４１を同期信号４５と同相にした出力データ信号、４７は読み出しデータ信号４２を同期信号４５と同相にした出力データ信号、４８は読み出しデータ信号４３を同期信号４５と同相にした出力データ信号、４９は読み出しデータ信号４４を同期信号４５と同相にした出力データ信号を表わしている。なお、各ラインメモリ２３〜２６は、図１１の各ラインメモリ２３〜２６に対応している。
【００４３】
アドレス信号２７及びメモリ読み出し信号３７は同じ周期でラインメモリ２３に入力する。ラインメモリ２３に記憶されているデータは、アドレス信号２７の番地から読み出し信号３７により該ラインメモリ２３の読み出しデータ信号４１として読み出される。以下同様に、読み出し信号３８，読み出し信号３９，読み出し信号４０により各ラインメモリ２４〜２６のデータを読み出してデータ信号４２〜４４を出力する。読み出した各読み出しデータ信号４１〜４４は、同期信号４５により同期化してそれぞれ出力データ信号４６〜４９とし、該信号遅延回路４から出力する。
【００４４】
図１４は、本発明になる画像信号処理装置による動画処理のための遅延処理回路構成を示している。同図において、４は信号遅延回路、３はこの信号遅延回路４の入力データ信号、２３，２４は１ライン遅延データ信号生成用ラインメモリ、５０，５１は２系統のデータ信号を同時化するための選択器、５３は１ライン遅延データ信号、２５，２６は２ライン遅延データ信号生成用ラインメモリ、５４は２ライン遅延データ信号、２７は各ラインメモリ２３〜２６にデータを書き込み、または読み出すためのアドレス信号、５２は２系統のデータ信号を同時化するために前記選択器５０，５１を切り換える切り換え信号である。
【００４５】
信号遅延回路４に入力した１Ｈ分のデータ信号３は、０．５Ｈ分をラインメモリ２３に記憶し、残りの０．５Ｈ分をラインメモリ２４に記憶する。次の１Ｈ分の処理では、ラインメモリ２３から出力されるデータ信号をラインメモリ２５に記憶し、ラインメモリ２４から出力されるデータ信号をラインメモリ２６に記憶する。
【００４６】
また、ラインメモリ２３，２４から出力されたデータ信号は、選択器５０で同時化して１ライン遅延データ信号５３を生成する。そして、ラインメモリ２５，２６から出力されたデータ信号は、選択器５１で同時化して２ライン遅延データ信号５４を生成する。
【００４７】
図１５は、本発明になる画像信号処理装置による前記動画処理の際にラインメモリ２３〜２６にデータを書き込む場合のアドレス信号と書き込み信号のタイミングを示している。同図において、５５は入力データ信号（３）、２７は各ラインメモリ２３〜２６に供給するアドレス信号、２９はラインメモリ２３に対する書き込み信号、３０はラインメモリ２４に対する書き込み信号、３１はラインメモリ２５に対する書き込み信号、３２はラインメモリ２６に対する書き込み信号、５６はラインメモリ２３に記憶された０．５Ｈ分のデータ信号、５７はラインメモリ２４に記憶された０．５Ｈ分のデータ信号、５８はラインメモリ２５に記憶された０．５Ｈ分のデータ信号、５９はラインメモリ２６に記憶された０．５Ｈ分のデータ信号である。なお、各ラインメモリ２３〜２６は、図１４の各ラインメモリ２３〜２６に対応する。
【００４８】
撮像素子からサンプリング周波数ｆｓ（周期１／ｆｓ）で読み出された入力データ信号５５は、その２倍の周期（２／ｆｓ）のアドレス信号２７でラインメモリ２３，２４に書き込まれる。
【００４９】
ラインメモリ２３に対する書き込み信号２９は、入力データ信号５５の奇数番目のデータ信号（図中でＤ11，Ｄ13，Ｄ15…）に同期した形で該ラインメモリ２３に入力する。その結果、図に示すように、ラインメモリ２３のアドレス０にはデータ信号Ｄ11が、アドレス１にはデータ信号Ｄ13が、アドレス２にはデータ信号Ｄ15がそれぞれ書き込まれることになる。
【００５０】
ラインメモリ２４に対する書き込み信号３０は、入力データ信号５５の偶数番目の信号（図中でＤ12，Ｄ14，Ｄ16…）に同期した形で該ラインメモリ２４に入力する。その結果、図に示すように、ラインメモリ２４のアドレス０にはデータ信号Ｄ12が、アドレス１にはデータ信号Ｄ14が、アドレス２には信号Ｄ16がそれぞれ書き込まれることになる。このように、０．５Ｈの容量をもつ２つのラインメモリ２３，２４に対して１ライン目の１Ｈ分のデータ信号を記憶する。２ライン目の１Ｈ分のデータ信号５５が入力されたときは、入力した２ライン目のデータ信号５５は、ラインメモリ２３，２４にそれぞれ０．５Ｈ分記憶される。そして、ラインメモリ２３から出力される１ライン目の０．５Ｈ分のデータ信号はラインメモリ２５に、ラインメモリ２４から出力される残りの０．５Ｈ分のデータ信号はメモリ６にそれぞれ記憶される。
【００５１】
図１６は、本発明になる画像信号処理装置による前記動画処理の際にラインメモリ２３〜２６からデータを読み出す場合のアドレス信号と読み出し信号のタイミングを示している。同図において、２７はラインメモリ２３〜２６からデータを読み出す際のアドレスを示すアドレス信号、３７はラインメモリ２３からデータを読み出すための読み出し信号、３８はラインメモリ２４からデータを読み出すための読み出し信号、３９はラインメモリ２５からデータを読み出すための読み出し信号、４０はラインメモリ２６からデータを読み出すための読み出し信号、６０はラインメモリ２３から読み出した読み出しデータ信号、６１はラインメモリ２４から読み出した読み出しデータ信号、６２はラインメモリ２５から読み出した読み出しデータ信号、６３はラインメモリ２６から読み出した読み出しデータ信号、４５は、ラインメモリ２３，２４からの読み出しデータ信号６０，６１の位相を揃え、ラインメモリ２５からの読み出しデータ信号６２，６３の位相を揃えるための同期信号、６４は読み出しデータ信号６０を同期信号４５と同相にした読み出しデータ信号、６５は読み出しデータ信号６１を同期信号４５と同相にした読み出しデータ信号、６６は読み出しデータ信号６２を同期信号４５と同相にした読み出しデータ信号、６７は読み出しデータ信号６３を同期信号４５と同相にした読み出しデータ信号である。なお、各ラインメモリ２３〜２６は、図１４の各ラインメモリ２３〜２６に対応する。
【００５２】
アドレス信号２７とラインメモリ２３に対する読み出し信号３７，ラインメモリ２４に対する読み出し信号３８，ラインメモリ２５に対する読み出し信号３９及びラインメモリ２５に対する読み出し信号４０は、メモリにデータを書き込むときと同じ周期（２／ｆｓ）で、各ラインメモリ２３〜２６に入力される。ラインメモリ２３では、入力したアドレス信号２７の番地に記憶しているデータを読み出し信号３７により読み出す。また、ラインメモリ２４〜２６でも同様に、入力したアドレス信号２７の番地に記憶しているデータを各読み出し信号３８〜４０により読み出す。その結果、各ラインメモリ２３〜２６の各読み出しデータ信号６０〜６３は、各読み出し信号３７〜４０と同じ周期（２／ｆｓ）で読み出される。
【００５３】
そして、各読み出しデータ信号６０〜６３は、同期信号４５により位相が揃えられ、出力データ信号６４〜６７として出力される。
【００５４】
図１７は、本発明になる前記画像信号処理装置による前記動画処理において、各ラインメモリ２３〜２６から読み出した出力データ信号６４〜６７を選択器５０，５１により同時化する方法を示している。同図において、６４はラインメモリ２３からの出力データ信号、６５はラインメモリ２４からの出力データ信号、６６はラインメモリ２５からの出力データ信号、６７はラインメモリ２６からの出力データ信号、５０はデータ信号６４とデータ信号６５を同時化するための選択器、５１はデータ信号６６とデータ信号６７を同時化するための選択器、５２はこれらの選択器５０，５１の入力を切り換える切り換え信号、６８はデータ信号６４とデータ信号６５を同時化した出力データ信号、６９はデータ信号６６とデータ信号６７を同時化した出力データ信号を表わしている。
【００５５】
選択器５０，５１は、切り換え信号５２がハイレベルのときに上側の入力データ信号を選択し、切り換え信号５２がローレベルのときに下側の入力データ信号を選択する。切り換え信号５２のレベルの変化と選択器５０，５１の各出力データ信号６８，６９の関係は、図示のようになる。
【００５６】
図１８は、本発明になる画像信号処理装置において入力される画像（入力データ信号）をフレームメモリ２に記録する際の記録方式を示している。同図において、２はフレームメモリ、７０はこのフレームメモリ２に記憶した１画面分の入力データのうちの左半画面分のデータ、７１は残りの右半画面分のデータ、７２は処理して再記憶した左半画面分の画像データ信号、７３は最初に記憶したデータ信号７０，７１を処理た画像データ信号７２をフレームメモリ２に再書き込みする際のアドレスの差分、７４は最初に記憶したデータ信号７０のうちで処理済みデータ信号７２により上書きされずに残ったデータ信号７０のアドレスの差分である。
【００５７】
図１０に示した方式で静止画を処理する場合、最初に、撮像素子１８から出力される１フレーム分の入力データ信号１をフレームメモリ２に記憶する。このときは、水平方向にｎ画素分ずらした位置（水平方向のアドレスｎの場所）からデータ信号７０，７１を書き始めるようにする。次に、記憶したデータのうち左半画面分のデータ信号７０を読み出して信号処理を行ない、処理結果を処理済みデータ信号７２として水平方向のアドレスが０の位置より書き始める。これによって、中央部より左のｎ画素が上書きされずに残るため、次に右半画面分のデータ信号７１に対して水平方向の信号処理を行なうとき、中央部のデータ（左半画面のデータ７０と右半画面のデータ７１の境目）に対し連続的な処理が行なえるようになる。従って、画像に歪を生じることなくフルフレームの静止画を生成できるようになる。なお、この処理は、画面を水平方向にｎ分割し、現データ信号〜ｎライン遅延データ信号を生成し、処理する場合にも適用すると有効である。
【００５８】
図１９は、本発明になる画像信号処理装置における静止画処理のための遅延データ信号と動画処理のための遅延データ信号と共通の回路で生成するようにした信号遅延回路４の実施例を示している。同図において、１は入力データ信号、２はフレームメモリ、８２はこのフレームメモリ２のアドレス信号、８３はこのアドレス信号８２を生成するメモリコントロール部、３は前記フレームメモリ２から出力したデータ信号、７５は静止画処理と動画処理のときに該信号遅延回路４に入力するデータ信号を切り換える選択器、４はこの信号遅延回路、２３は０．５Ｈの容量をもつ第１のラインメモリ、６は第１のラインメモリ２３から出力されるデータ信号、２４は０．５Ｈの容量をもつ第２のラインメモリ、７は第２のラインメモリ２４から出力されるデータ信号、２５は０．５Ｈの容量をもつ第３のラインメモリ、１９は第３のラインメモリ２５から出力されるデータ信号、２６は０．５Ｈの容量をもつ第４のラインメモリ、２０は第４のラインメモリ２６から出力される手データ信号、５０は第１のラインメモリ２３から出力されたデータ信号６と第２のラインメモリ２４から出力されたデータ信号７を切り換える選択器、５３は選択器５０から出力されるデータ信号、５１は第３のラインメモリ２４から出力されたデータ信号１９と第４のラインメモリ２６から出力されたデータ信号２０を切り換える選択器、５４は選択器５１から出力されるデータ信号、２７は前記各ラインメモリ２３〜２６に供給するアドレス信号、５２は２系統のデータ信号を同時化するための切り換え信号、７６は静止画処理と動画処理のときに第２のラインメモリ２４の入力データ信号を切り換える選択器、７７は静止画処理と動画処理のときに１ライン遅延データ信号の出力データを切り換える選択器、７８は選択器７７からの出力データ信号、７９は静止画処理と動画処理のときに２ライン遅延データ信号の出力出たを切り換える選択器、８０は選択器７９からの出力データ信号、８１は静止画処理と動画処理を切り換える切り換え信号を示している。
【００５９】
静止画処理を行なう場合は、静止画処理／動画処理切り換え信号８１をローレベルにする。そのとき、この信号遅延回路４の構成は、図１１に示す信号遅延回路と等価になる。入力データ信号１は、フレームメモリ２に１画面分記憶する。このとき、水平方向のアドレスに数画素分のオフセットをもたせて書き込むようにする。次に、フレームメモリ２から、メモリコントロール部８３によりノンインタレースで左半画面分（０．５Ｈ分）だけデータを読み出す。選択器７５は、このとき、フレームメモリ２から出力されるデータ信号３を選択するので、信号遅延回路４にはこのデータ信号３が入力する。
【００６０】
信号遅延回路４は、入力した現データ信号３を第１のラインメモリ２３に送り、１ライン分遅延したデータ信号６を生成する。以下同様に、第２のラインメモリ２４，第３のラインメモリ２５，第４のラインメモリ２６で、それぞれ、２ライン遅延デー信号７，３ライン遅延データ信号１９，４ライン遅延データ信号２０を生成する。選択器７７では第１のラインメモリ２３から出力されるデータ信号６を選択し、選択器７９では第３のラインメモリ２５から出力されるデータ信号１９を選択することにより、該信号遅延回路４から１ライン遅延データ信号７８と２ライン遅延データ信号８０として出力する。選択器７６では第３のラインメモリ２５から出力されるデータ信号１９を選択することにより、第２のラインメモリ２４には第３のラインメモリ２５から出力されるデータ信号１９が入力して３ライン遅延データ信号７を生成する。また、第４のラインメモリ２６には第２のラインメモリ２４から出力されるデータ信号７が入力して４ライン遅延データ信号２０を生成する。
【００６１】
動画処理をする場合は、静止画処理／動画処理切り換え信号８１をハイレベルにする。そのとき、この信号遅延回路４の構成は、図１４に示す信号処理回路と等価になる。選択器７５は、このとき、入力データ信号１を選択するので、信号遅延回路４にはこの入力データ信号１が入力する。信号遅延回路４に入力した入力データ信号１は、現データ信号２１となる。この現データ信号２１は、１Ｈ分のうちの０．５Ｈ分をラインメモリ２３に記憶する。選択器７６は現データ信号２１を選択して、残りの０．５Ｈ分をラインメモリ２４に記憶する。次の１Ｈ分の信号処理では、ラインメモリ２３から出力されるデータ信号６をラインメモリ２５に、ラインメモリ２４から出力されるデータ信号７をラインメモリ２６にそれぞれ記憶する。このときの入力データ信号，アドレス信号及びメモリ書き込み信号のタイミングは、図１５に示すとおりである。
【００６２】
また、ラインメモリ２３，２４から出力したデータ信号６，７は、選択器５０で同時化して１ライン遅延データ信号５３を生成する。そして、ラインメモリ２５，２６から出力したデータ信号１９，２０は、選択器５１で同時化して２ライン遅延データ信号５４を生成する。
【００６３】
選択器７７は１ライン遅延データ信号５３を選択し、選択器７９は２ライン遅延データ信号５４を選択するので、この信号遅延回路４は、１ライン遅延データ信号７８としてデータ信号５３を出力し、２ライン遅延データ信号８０としてデータ信号５４を出力する。
【００６４】
なお、各メモリに供給する書き込み信号，読み出し信号，アドレス信号は、図１２，図１３，図１５，図１６からわかるように、静止画処理と動画処理とで共通になり、同じタイミングで静止画／動画の信号処理ができるので回路規模を少なくすることができる。
【００６５】
この結果、この処理回路によれば、フレームメモリ２及び２Ｈ分の容量のラインメモリ２３〜２６で、現データ信号〜４ライン遅延データ信号を使用する静止画処理と、現データ信号〜２ライン遅延データ信号を使用する動画処理とに対応することができ、回路規模とメモリ容量の削減を実現することができる。
【００６６】
図２０は、本発明になる画像信号処理装置における信号処理回路９のブロック図である。同図において、５は信号遅延回路４から出力される現データ信号、６は１ライン遅延データ信号、７は２ライン遅延データ信号、１９は３ライン遅延データ信号、２０は４ライン遅延データ信号、８４は色信号生成回路、８５は補色信号を分離及び補間する色分離回路、８６は補色信号からＲＧＢ原色信号を生成するマトリクス回路、８７はホワイトバランス回路、８８はγ補正回路、８９はＲＧＢ原色信号から色差信号を生成する色差マトリクス回路、２１は色差信号、９０は輝度信号生成回路、９１は低域輝度信号生成回路、９２は垂直エンハンサ信号生成回路、９３は加算回路、２２は輝度信号である。
【００６７】
信号遅延回路４から出力される現データ信号５〜４ライン遅延データ信号２０のうち、１ライン遅延データ信号６，２ライン遅延データ信号７，３ライン遅延データ信号１９は、色分離回路８５に入力する。色分離回路８５は、入力した３ラインのデータ信号６，７，１９から補色信号を分離及び補間し、マトリクス回路８６に送る。マトリクス回路８６は、入力した補色信号に対してマトリクス演算を行なってＲＧＢ原色信号を生成し、ホワイトバランス回路８７に送る。ホワイトバランス回路８７は、光源の明るさに応じてＲＧＢ原色信号のゲインを調節してγ補正回路８８に送る。γ補正回路８８は、入力したＲＧＢ原色信号にγ補正を施して色差マトリクス回路８９に送る。色差マトリクス回路８９は、入力したＲＧＢ原色信号に対してマトリクス演算を施して、Ｒ−Ｙ，Ｂ−Ｙの色差信号２１を生成する。
【００６８】
輝度信号生成回路９０は、現データ信号５〜４ライン遅延データ信号２０を入力する。低域輝度信号生成回路９１は、入力した２ライン遅延データ信号に対して、水平方向のフィルタ処理と輪郭補正を施して低域輝度信号を生成する。垂直エンハンサ信号生成回路９２は、現データ信号５〜４ライン遅延データ信号２０から垂直輪郭補正信号を生成する。加算回路９３は、前記低域輝度信号と垂直輪郭補正信号を加算して輝度信号２２を生成する。
【００６９】
【発明の効果】
本発明によれば、１Ｈ分のメモリ容量があれば現データ信号〜ｎライン遅延データ信号を生成できるので、映像機器等において多数ラインによる垂直方向のフィルタリング等を行なうときなどに少ない容量のメモリで高画質な画像を得ることができる。
【００７０】
また、デジタルカメにおける信号処理では、２Ｈ分の容量のメモリにより、現データ信号〜４ライン遅延データ信号を用いた静止画処理と現データ信号〜２ライン遅延データ信号を用いた動画処理を実現するることができ、高精細のフレーム静止画及びフィールド画（動画）を得ることができる。
【図面の簡単な説明】
【図１】本発明になる画像信号処理装置のブロック図である。
【図２】ＣＣＤ撮像素子における画素混合読み出しの説明図である。
【図３】画素混合読み出しによる現データ信号，１ライン遅延データ信号，２ライン遅延データ信号の信号成分を示す説明図である。
【図４】ＣＣＤ撮像素子におけるフレーム読み出しの説明図である。
【図５】フレーム読み出しによる現データ信号，１ライン遅延データ信号，２ライン遅延データ信号の信号成分を示す説明図である。
【図６】動画処理及び静止画処理における遅延データ信号を示す説明図である。
【図７】フレームメモリからデータを読み出す方法の説明図である。
【図８】本発明になる画像信号処理装置における信号遅延回路で現データ信号〜ｍライン遅延データ信号を得るための回路構成を詳述したブロック図である。
【図９】本発明になる画像信号処理装置における信号遅延回路で１ライン遅延データ信号を得るための回路構成を詳述したブロック図である。
【図１０】本発明になる画像信号処理装置によりビデオカメラでフレーム静止画を生成及び記録するときの信号処理方式を説明するブロック図である。
【図１１】本発明になる画像信号処理装置によりデジタルスチルカメラにおける静止画処理を行なうときのブロック図である。
【図１２】静止画処理の際にメモリにデータを書き込むときのアドレス信号及び書き込み信号のタイミングを示すタイムチャートである。
【図１３】静止画処理の際にメモリからデータを読み出すときのアドレス信号及び書き込み信号のタイミングを示すタイムチャートである。
【図１４】本発明になる画像信号処理装置により動画処理を行なうときのブロック図である。
【図１５】動画処理の際にメモリにデータを書き込むときのアドレス信号及び書き込み信号のタイミングを示すタイムチャートである。
【図１６】動画処理の際にメモリからデータを読み出すときのアドレス信号及び書き込み信号のタイミングを示すタイムチャートである。
【図１７】動画処理の際にメモリから読み出したデータを同時化するタイミングを示すタイムチャートである。
【図１８】画面中央部の処理を連続した状態で行なうためにフレームメモリに対するデータの書き込みと読み出し方法を示す説明図である。
【図１９】本発明になる画像信号処理装置により静止画処理なおけるデータ遅延と動画処理におけるデータ遅延と行なうためのブロック図である。
【図２０】本発明になる画像信号処理装置における信号処理回路の詳細を示すブロック図である。
【符号の説明】
１…入力データ信号、 ２…フレームメモリ、 ４…信号処理回路、 ３…読み出しデータ信号、 ９…信号処理回路、 １８…画素混合方式の撮像素子、 ８３…メモリコントロール部、２３〜２６…ラインメモリ。[0001]
[Industrial application fields]
The present invention relates to an image signal processing apparatus that generates moving image data and still image data in a video camera or the like.
[0002]
[Prior art]
With the spread of multimedia, a digital still camera has attracted attention as an interface for taking moving image data and still image data into a computer, a workstation or the like. When capturing a large amount of images, a still camera has advantages such as immediacy and economic efficiency compared to conventional scanners, and can be easily used because it can be reduced in size and weight. . For details about this process, see Television Society Vol. 46, no. 7 (1992) pp. 827-828.
[0003]
As an image sensor used to realize a digital still camera, a pixel mixture type image sensor generally used in current video cameras from the viewpoints of versatility and application of conventional video camera technology. It is desirable to use Further, in the case of using a pixel-mixing type image pickup device, there is an advantage that it can be used not only for moving image shooting but also for still image shooting by changing the readout method. Next, the explanation will be given.
[0004]
In moving image shooting using a pixel mixing type image sensor, field accumulation reading is performed. Field accumulation readout is a pixel mixing type CCD image pickup device in which data of upper and lower two pixels are mixed and read out in the device, and a typical filter arrangement is shown in FIG. In the first field, as shown in FIG. 2, the upper and lower lines are added for each horizontal scan, and signals are sequentially read out in the order of A1 and A2. Similarly, in the next field, the upper and lower lines are added for each horizontal scan, and are sequentially read out in the order of B1 and B2. As a result, (Mg + Ye), (G + Cy) and (G + Ye), (Mg + Cy) are alternately output from the sensor for each horizontal scan. Here, if Wr = Mg + Ye, Gb = G + Cy, Gr = G + Ye, and Wb = Mg + Cy, the data signal from the image sensor is the current data signal S. L 1 line delayed data signal S L-1 The data signal delayed by 2 lines is converted to S L-2 As shown in FIG.
[0005]
For still image recording using a pixel-mixing type image sensor, a frame-still image recording method for recording an image of one frame by interleaving the output data signal of each pixel-mixed field, and recording only an image of one field Field still image recording system. For the field still image recording method,
(1) Matrix correction as described in JP-A-1-143482 cannot be performed, and vertical color moire increases.
(2) The resolution in the vertical direction is insufficient and sufficient image quality cannot be obtained as a still image.
There is a problem. Accordingly, the frame still image recording method is desirable for still image recording. However, in the case of the frame still image recording method, there is a problem that a subject with a large amount of movement is blurred and a double image is formed.
[0006]
In order to solve such a problem, as shown in FIG. 4, in the first field, the data signal is read out without mixing the pixel data in the image sensor by one line every horizontal scanning, and in the next field. Similarly, a method has been developed in which a still image is recorded by reading out a data signal line by line for each horizontal scan. The data signal read in this way is as shown in FIG. According to this method, it is possible to obtain a still image that is free from blurring and does not deteriorate in resolution. This reading method is called a frame accumulation reading method, and this still image recording method is named a full frame still image recording method. Details of this are described in JP-A-4-274036 and JP-A-4-331393. The method will be described below.
[0007]
Reading a data signal from a pixel mixing type image sensor without pixel mixing can be realized by controlling the drive pulse of the image sensor. In order to realize the full frame still image recording method, it is necessary to sequentially read out image data signals by 1H (lines) in the order of filter arrangement arranged on the image sensor. However, since image data constituting one frame image is output from the image sensor every other line, one field at a time, and signal processing cannot be performed as it is. As a result of examination, a frame memory capable of storing image data for two fields (one frame) output from the image sensor was used, and one frame of the data signal output from the image sensor was stored in the frame memory. It was concluded that full frame still image recording would be possible if non-interlaced reading was performed later from the memory. As a result of examination by image simulation, it has been found that even with full-frame still image recording using a pixel-mixing type image sensor, recording with sufficient image quality can be obtained as a still image.
[0008]
When moving image processing is performed by performing field accumulation reading from the image sensor, both a color signal and a luminance signal are generated from data signals for three lines of a current data signal, a one-line delayed data signal, and a two-line delayed data signal. When still image processing is performed by performing frame accumulation and readout, the color signal is generated from the data signals for three lines of the 1-line delayed data signal, the 2-line delayed data signal, and the 3-line delayed data signal, and the luminance signal Are generated from the data signals for five lines of the current data signal, the 1-line delayed data signal, the 2-line delayed data signal, the 3-line delayed data signal, and the 4-line delayed data signal. FIG. 6 shows this state.
[0009]
In order to perform such image signal processing, it is understood that a delay circuit for generating a delay signal of an image data signal is indispensable for a video camera and other video equipment.
[0010]
[Problems to be solved by the invention]
In conventional digital signal processing, a memory is used as a delay circuit. However, when all the signal processing circuits are made into one chip in one IC, the specific gravity of the memory in the chip area and power consumption increases. When still image signal processing is performed, a line memory for 4H (lines) for generating a current data signal to a 4-line delayed data signal is required. If these line memories are to be built in an IC, the chip of the IC is used. Problems such as increased area and increased power consumption occur.
[0011]
Accordingly, an object of the present invention is to provide an image signal processing apparatus capable of reducing the memory used for delaying the image data signal.
[0012]
[Means for Solving the Problems]
In order to achieve this object, the present invention provides a frame memory for storing data for one screen, and a memory control for controlling the frame memory so as to read out data for each block by dividing one screen into n portions in the horizontal direction. , A first (1 / n) H line memory that stores data for one line ((1 / n) H) read from the frame memory, and data output from the first line memory A second (1 / n) H line memory for storing signals, a third (1 / n) H line memory for storing data signals output from the second line memory, and (m−1) The (m) (1 / n) H line memory for storing data signals output from the line memory and a memory control unit for controlling these memories are provided.
[0013]
[Action]
When a still image is taken with a pixel mixing type imaging device, the output data signal is in field units. The data signal is read and processed after being stored non-interlaced in the frame memory. In the case of a still image, unlike a moving image, real-time processing is not required, so that the screen can be divided and processed in the horizontal direction. Hereinafter, a procedure in the case of performing image processing by dividing into two in the horizontal direction will be described.
[0014]
(1) The data written in the frame memory is processed by reading the left half screen by (1/2) H.
[0015]
(2) The processing data for the left half screen is written again into the frame memory.
[0016]
(3) The remaining right half screen data is read and processed.
[0017]
(4) The processing data for the right half screen is written again into the frame memory.
[0018]
When still image processing is performed by this method, a memory of (1/2) H capacity is sufficient to delay data for one line. Therefore, the delayed data signal for 4 lines
(1/2) H × 4 = 2H min
It is possible to generate with the memory of capacity. In the case of moving image processing, real-time processing using a memory with a capacity of 2H is performed as usual, so that both moving images and still images can be processed with the memory for 2H.
[0019]
If a single screen is divided into a left half screen and a right half screen, if the signal processing is completely independent on the left half and the right half, discontinuous parts will appear at the boundary between the left and right screens. Resulting in distortion on the screen. This is because horizontal filtering is performed in signal processing, and the following measures are taken to prevent this discontinuity.
[0020]
When data is written from the image sensor to the frame memory, an offset for several pixels is previously given to the address in the horizontal direction. Next, when the processing result for the left half screen is written again into the frame memory, if the writing is started from address 0, data that is not overwritten for several pixels remains in the horizontal direction. Then, when processing the right half plane, horizontal filtering can be performed continuously from the left screen to the right screen, and a frame still image can be obtained without causing distortion at the center of the screen. it can.
[0021]
As described above, the signal delay processing for generating the current data signal to the 4-line delayed data signal in the line memory having a capacity of 2H has been described for the signal processing of the digital camera. However, when still image processing is performed using the frame memory. More delayed data signals can be obtained by increasing the number of horizontal divisions.
[0022]
Here, a method of generating the current data signal to m line delayed data signal from the frame memory and the line memory for 1H will be described. When the data for one screen stored in the frame memory is output to the delay circuit, the data is read out for each block obtained by dividing one screen into n equal parts in the horizontal direction. The read data is stored in the first (1 / n) H line memory, and a one-line delayed data signal is generated. Next, a data signal output from the first line memory is stored in the second (1 / n) H line memory to generate a two-line delayed data signal. Similarly, the m-th (1 / n) ) The m line delayed data signal can be generated by the H line memory.
[0023]
In this manner, since a memory having a capacity of (1 / n) H is sufficient to generate a delayed data signal for one line, the current data signal to m-line delayed data signal are converted to (1 / n) H ×. It can be generated with a memory having a capacity of m = (m / n) H, and the amount of memory can be reduced when a large number of lines are used for vertical filtering or the like. Further, when performing real-time processing of a moving image, it can be used as an (m / n) H line memory.
[0024]
【Example】
Embodiments of the present invention will be described below with reference to the drawings.
[0025]
FIG. 1 is a block diagram of an image signal processing apparatus according to the present invention. This image signal processing apparatus has a circuit configuration that generates a current data signal to an m-line delayed data signal using m frame memories and m line memories having a capacity of (1 / n) H. Here, H is the number of image data (pixels) for one line in the horizontal direction.
[0026]
In FIG. 1, 1 is an input data signal, 2 is a frame memory, 3 is a data signal output from the frame memory 3, 4 is a signal delay circuit, 5 is a current data signal output from the signal delay circuit 4, 6 Is a 1-line delayed data signal, 7 is a 2-line delayed data signal, 8 is a n-line delayed data signal, 9 is a signal processing circuit, 10 is a data signal processed and output by the signal processing circuit 9, 82 Is an address signal of the frame memory 2, and 83 is a memory control unit for generating the address 82.
[0027]
The frame memory 2 stores the input data signal 1 for one frame. The image data signal stored in the frame memory 2 is read for each block obtained by dividing the screen into n equal parts in the horizontal direction by the address signal 82 controlled by the memory control unit 83. Since the read image data signal has a horizontal length of (1 / n) H, a one-line delayed data signal can be generated with a memory having a capacity of (1 / n) H. The signal delay circuit 4 generates data signals from the data signal 3 read from the frame memory 2 to the current data signal 5, the 1-line delayed data signal 6, the 2-line delayed data signal 7. Output to the processing circuit 9.
[0028]
The signal processing circuit 9 outputs a processing result obtained by processing the current data signal 5 to m line delayed data signal 8 generated by the signal delay circuit 4 as an output data signal 10. The output data signal 10 is written again on the read data in the frame memory 2 or outputted to another storage device. By repeating such processing n times over one screen, the processed image data signal for one screen can be obtained in the frame memory 2. The image data signal (processing result) stored in the frame memory 2 is output to the outside as an external output data signal 94.
[0029]
Here, a method of reading data from the frame memory 2 will be described with reference to FIG. In the figure, 2 is a frame memory, 11 is the first block of image data signals in the frame memory divided into n, 12 is the next block, 13 is the last block, and 3 is the frame memory 2. This is a data signal read out from.
[0030]
As shown in FIG. 7, the image data for one screen stored in the frame memory 2 is divided into n equal parts in the horizontal direction, and the first one block 11 is received by the address signal 82 controlled by the memory control unit 83. Read from. The read data signal 3 is sent to the signal delay circuit 4. The current data signal 5 to m line delayed data signal 8 generated by the signal delay circuit 4 is subjected to predetermined signal processing by the signal processing circuit 9 and the processed result is overwritten in the block 11 of the frame memory 2 again. Next, the data in the block 12 is similarly read, and the processed result is overwritten on the block 12. If this process is repeated up to the last block 13, the process for the entire image data of one frame is completed, and the result of this process is stored in the frame memory 2.
[0031]
Next, generation of the current data signal 5 to m-line delayed data signal 8 by the signal delay circuit 4 will be described with reference to FIG. In the figure, 1 is an input data signal, 2 is a frame memory, 3 is a data signal output from the frame memory 2, 4 is a signal delay circuit, and 14 is a (1 / n) for generating a 1-line delayed data signal. ) A line memory having a capacity of H, 6 is a 1-line delayed data signal generated by the line memory 14, 15 is a line memory having a (1 / n) H capacity for generating a 2-line delayed data signal, 6 Is a two-line delayed data signal generated by the line memory 15, 16 is a line memory having a (1 / n) H capacity for generating an m-line delayed data signal, and 8 is an m line generated by the line memory 16. A delayed data signal 82 is an address signal for the frame memory 2, and 83 is a memory control unit for generating the address signal 82.
[0032]
As shown in FIG. 7, data is read from the frame memory 2 for each block obtained by dividing the screen into n equal parts. This is done by controlling the address signal 82 of the frame memory 2 by the memory control unit 83. Since the read data has a horizontal length of (1 / n) H, a delayed data signal for one line (H / n line length) can be generated by a line memory having a capacity of (1 / n) H. . The signal delay circuit 4 outputs the data signal 3 read from the frame memory 2 as the current data signal 5 and stores it in the (1 / n) H line memory 14. When the data signal 3 for the next one line (H / n line length) is input from the frame memory 2, the one-line delayed data signal 6 is output from the (1 / n) H line memory 14, and the data signal 6 is stored in the (1 / n) H line memory 15. Thereafter, when the same delay processing is performed and the n-th line data signal is input to the signal delay circuit 4, the (1 / n) H line memory 16 outputs the m-line delayed data signal 8. Thus, if the data in the frame memory 2 is divided into n in the horizontal direction and processed for each block, the current data signal 5 to m-line delayed data signal 8 can be generated with a memory capacity of 1H, The capacity of the line memory for generating the delayed data signal can be reduced.
[0033]
Next, delay processing for generating a one-line delayed data signal in real time by the signal delay circuit 4 will be described with reference to FIG. In the figure, 1 is an input data signal, 4 is a signal delay circuit, 14, 15... 16 are line memories having a (1 / n) H capacity, and 17 is a 1-line delayed data signal.
[0034]
The first (1 / n) H portion of the input data signal 1 input to the signal delay circuit 4 is stored in the line memory 14. Next, when a new (1 / n) H worth of data signal 1 is input, the contents (stored data) of the line memory 14 are pushed out and stored (moved) in the subsequent line memory 15 and newly input. The input data signal 1 is stored in the previous line memory 14. Similarly, when new data is input to the preceding line memory 14, the data stored in the line memories 14 and 15 are sequentially stored (moved) in the succeeding line memory, and m / When nH worth of data signals are input, the line memories 14 to 16 in the signal delay circuit 4 are filled with data signals, and a one-line delayed data signal 17 is generated in real time.
[0035]
FIG. 10 shows a signal processing method when a frame still image is generated and recorded in a video camera or the like using the image signal processing apparatus according to the present invention. In the figure, reference numeral 18 denotes a pixel mixing type imaging device, 2 denotes a frame memory for storing one frame of a data signal, 82 denotes an address signal of the frame memory 2, and 83 denotes a memory control unit for generating the address signal 82. 3 is a data signal for 0.5 H read from the frame memory 2, 4 is a signal delay circuit for generating a current data signal to a 4-line delayed data signal, and 5 is current data generated by the signal delay circuit 4. Signal 6, 1 line delayed data signal 7, 2 line delayed data signal 19, 3 line delayed data signal 19, 4 line delayed data signal 20, 9 for generating color signal and luminance signal A signal processing circuit, 21 is a color signal generated by the signal processing circuit 9, and 22 is the same luminance signal.
[0036]
The input data signal 1 obtained by frame reading from the pixel-mixing type image sensor 18 writes one frame into the frame memory 2. At this time, the horizontal address is written with an offset of several pixels. This is because the processing in the center of the screen can be performed in a continuous state. Next, an address signal 82 to the frame memory 2 is controlled by the memory control unit 83, and data for the left half screen (0.5H per horizontal scanning) is sequentially read out from the frame memory 2 and a signal delay circuit. 4 The data signal 3 input to the signal delay circuit 4 is delayed by the delay method shown in FIG. 11, so that the current data signal 5, the 1-line delayed data signal 6, the 2-line delayed data signal 7, the 3-line delayed data signal 19, A 4-line delayed data signal 20 is generated. The current data signal 5 to 4 line delayed data signal 20 generated by the delay circuit 4 is sent to the signal processing circuit 9 to generate a color signal 21 and a luminance signal 22. The generated color signal 21 and luminance signal 22 are output to an external storage device, or are written from the address 0 in an area corresponding to the left half screen of the frame memory 2. If the same processing is performed on the right half screen, still image processing using the current data signal to the 4-line delayed data signal can be performed with a memory having a capacity of 2 lines, and a high-definition full-frame still image is framed. It can be obtained in the memory 2. An image data signal 94 is output from the frame memory 2 to the outside.
[0037]
FIG. 11 shows a circuit configuration in still image processing of a digital still camera using the image signal processing apparatus according to the present invention. In the figure, 1 is an input data signal, 2 is a frame memory, 3 is a data signal read from the frame memory 2, 5 is a current data signal, 23 is a line memory for generating a 1-line delayed data signal, and 6 is a 1-line delay. Data signal, 24 is a line memory for generating a 2-line delayed data signal, 7 is a 2-line delayed data signal, 25 is a line memory for generating a 3-line delayed data signal, 19 is a 3-line delayed data signal, and 26 is a 4-line delayed data signal The generation line memory, 20 is a 4-line delayed data signal, 27 is an address signal supplied to each of the line memories 23 to 26, and 4 is the signal delay circuit for generating a current data signal to a 4-line delayed data signal.
[0038]
The input data signal 1 is temporarily stored in the frame memory 2 for one screen. At this time, the horizontal address is written with an offset of several pixels. Next, data is read from the frame memory 2 for the left half screen (0.5 H) in a non-interlaced manner and input to the signal delay circuit 4.
[0039]
The signal delay circuit 4 sends the input data signal 3 to the 1-line delayed data signal generating line memory 23 having a capacity of 0.5H, and generates a 1-line delayed data signal 6. Similarly, in the 2-line delay data signal generation memory 24, the 3-line delay data signal generation memory 25, and the 4-line delay data signal generation memory 26, the 2-line delay data signal 7 and the 3-line delay data signal 19 respectively. , 4-line delayed data signal 20 is generated and sent to signal processing circuit 9 at the subsequent stage.
[0040]
FIG. 12 shows the timing of the address signal and the write signal when data is written to each of the line memories 23 to 26 during the still image processing in the image signal processing apparatus according to the present invention. In the figure, 28 is an input data signal (3) of the signal delay circuit 4, 27 is an address signal of each line memory 23 to 26, 29 is a write signal of the line memory 23, 30 is a write signal of the line memory 24, 31 is Write signal of the line memory 25, 32 is a write signal of the line memory 26, 33 is data stored in the line memory 23, 34 is data stored in the line memory 24, 35 is data stored in the line memory 25, and 36 is line memory 26 is stored in the data. The line memories 23 to 26 correspond to the line memories 23 to 26 in FIG.
[0041]
The input data signal 28 and the address signal 27 are input to the line memory 23 at the same cycle. The input data signal 28 is written at the address of the address signal 27 in the line memory 23 by the write signal 29. The data signal output from the line memory 23 is written to the address of the address signal 27 in the line memory 24 by the write signal 30. Similarly, the output data from the line memories 24 and 25 are written to the line memories 25 and 26 by the write signal 31 and the write signal 32, respectively.
[0042]
FIG. 13 shows the timing of the address signal and read signal when reading data from each of the line memories 23 to 26 during the still image processing in the image signal processing apparatus according to the present invention. In the figure, 27 is an address signal of each line memory 23-27, 37 is a read signal of the line memory 23, 38 is a read signal of the line memory 24, 39 is a read signal of the line memory 25, and 40 is a read of the line memory 26. 41, a read data signal read from the line memory 23, a read data signal read from the line memory 24, a read data signal read from the line memory 25, and a read data signal read from the line memory 26. 45 is a synchronization signal for aligning the phases of the read data signals read from the line memories 23 to 26, 46 is an output data signal in which the read data signal 41 is in phase with the synchronization signal 45, and 47 is for synchronizing the read data signal 42. Output in phase with signal 45 Data signal, 48 is an output data signal to the synchronization signal 45 and the phase of the read data signal 43, 49 represents the output data signal to the synchronization signal 45 and the phase of the read data signal 44. The line memories 23 to 26 correspond to the line memories 23 to 26 in FIG.
[0043]
The address signal 27 and the memory read signal 37 are input to the line memory 23 at the same cycle. Data stored in the line memory 23 is read from the address of the address signal 27 as a read data signal 41 of the line memory 23 by a read signal 37. Similarly, the data in the line memories 24 to 26 is read out by the read signal 38, the read signal 39, and the read signal 40, and the data signals 42 to 44 are output. The read data signals 41 to 44 that have been read are synchronized with a synchronization signal 45 to be output data signals 46 to 49, respectively, and are output from the signal delay circuit 4.
[0044]
FIG. 14 shows a delay processing circuit configuration for moving image processing by the image signal processing apparatus according to the present invention. In the figure, 4 is a signal delay circuit, 3 is an input data signal of the signal delay circuit 4, 23 and 24 are line memories for generating a one-line delayed data signal, and 50 and 51 are for synchronizing two systems of data signals. , 53 is a 1-line delayed data signal, 25 and 26 are line memories for generating a 2-line delayed data signal, 54 is a 2-line delayed data signal, and 27 is for writing / reading data to / from each of the line memories 23 to 26. The address signal 52 is a switching signal for switching the selectors 50 and 51 in order to synchronize the two systems of data signals.
[0045]
The data signal 3 for 1H input to the signal delay circuit 4 stores 0.5H in the line memory 23 and stores the remaining 0.5H in the line memory 24. In the next processing for 1H, the data signal output from the line memory 23 is stored in the line memory 25, and the data signal output from the line memory 24 is stored in the line memory 26.
[0046]
The data signals output from the line memories 23 and 24 are synchronized by the selector 50 to generate a one-line delayed data signal 53. The data signals output from the line memories 25 and 26 are synchronized by the selector 51 to generate a two-line delayed data signal 54.
[0047]
FIG. 15 shows the timing of the address signal and write signal when data is written to the line memories 23 to 26 during the moving image processing by the image signal processing apparatus according to the present invention. In the figure, 55 is an input data signal (3), 27 is an address signal supplied to each of the line memories 23 to 26, 29 is a write signal for the line memory 23, 30 is a write signal for the line memory 24, and 31 is a line memory 25. Is a write signal for the line memory 26, 56 is a data signal for 0.5H stored in the line memory 23, 57 is a data signal for 0.5H stored in the line memory 24, and 58 is a line. A data signal for 0.5H stored in the memory 25 and 59 is a data signal for 0.5H stored in the line memory 26. The line memories 23 to 26 correspond to the line memories 23 to 26 in FIG.
[0048]
The input data signal 55 read from the image sensor at the sampling frequency fs (cycle 1 / fs) is written to the line memories 23 and 24 by the address signal 27 having a cycle (2 / fs) twice that of the input data signal 55.
[0049]
The write signal 29 for the line memory 23 is an odd-numbered data signal of the input data signal 55 (D in the figure). 11 , D 13 , D 15 To the line memory 23 in a synchronized manner. As a result, as shown in FIG. 11 However, the address 1 has a data signal D 13 However, the address 2 has a data signal D 15 Will be written respectively.
[0050]
The write signal 30 for the line memory 24 is an even-numbered signal of the input data signal 55 (D in the figure). 12 , D 14 , D 16 To the line memory 24 in a form synchronized with. As a result, as shown in FIG. 12 However, the address 1 has a data signal D 14 However, at address 2, signal D 16 Will be written respectively. In this way, the data signals for 1H of the first line are stored in the two line memories 23 and 24 having a capacity of 0.5H. When the data signal 55 for 1H of the second line is input, the input data signal 55 of the second line is stored in the line memories 23 and 24 for 0.5H, respectively. The data signal for 0.5H for the first line output from the line memory 23 is stored in the line memory 25, and the data signal for the remaining 0.5H output from the line memory 24 is stored in the memory 6, respectively. .
[0051]
FIG. 16 shows the timing of the address signal and read signal when data is read from the line memories 23 to 26 during the moving image processing by the image signal processing apparatus according to the present invention. In the figure, 27 is an address signal indicating an address when reading data from the line memories 23 to 26, 37 is a read signal for reading data from the line memory 23, and 38 is a read signal for reading data from the line memory 24. , 39 is a read signal for reading data from the line memory 25, 40 is a read signal for reading data from the line memory 26, 60 is a read data signal read from the line memory 23, and 61 is a read signal read from the line memory 24. Data signal 62 is a read data signal read from the line memory 25, 63 is a read data signal read from the line memory 26, and 45 is a line memory that aligns the phases of the read data signals 60 and 61 from the line memories 23 and 24. From 25 A synchronization signal for aligning the phases of the read data signals 62 and 63, 64 is a read data signal in which the read data signal 60 is in phase with the synchronization signal 45, and 65 is read data in which the read data signal 61 is in phase with the synchronization signal 45. A signal 66 is a read data signal in which the read data signal 62 is in phase with the synchronization signal 45, and 67 is a read data signal in which the read data signal 63 is in phase with the synchronization signal 45. The line memories 23 to 26 correspond to the line memories 23 to 26 in FIG.
[0052]
The address signal 27, the read signal 37 for the line memory 23, the read signal 38 for the line memory 24, the read signal 39 for the line memory 25, and the read signal 40 for the line memory 25 have the same period (2 / fs) as when data is written to the memory. ) Is input to each line memory 23-26. In the line memory 23, the data stored at the address of the input address signal 27 is read by the read signal 37. Similarly, in the line memories 24 to 26, the data stored at the address of the input address signal 27 is read by the read signals 38 to 40. As a result, the read data signals 60 to 63 of the line memories 23 to 26 are read at the same cycle (2 / fs) as the read signals 37 to 40.
[0053]
The read data signals 60 to 63 are aligned in phase by the synchronization signal 45 and output as output data signals 64 to 67.
[0054]
FIG. 17 shows a method of synchronizing the output data signals 64 to 67 read from the line memories 23 to 26 by the selectors 50 and 51 in the moving image processing by the image signal processing apparatus according to the present invention. In the figure, 64 is an output data signal from the line memory 23, 65 is an output data signal from the line memory 24, 66 is an output data signal from the line memory 25, 67 is an output data signal from the line memory 26, and 50 is an output data signal. A selector for synchronizing the data signal 64 and the data signal 65; 51, a selector for synchronizing the data signal 66 and the data signal 67; 52, a switching signal for switching the inputs of these selectors 50, 51; 68 represents an output data signal obtained by synchronizing the data signal 64 and the data signal 65, and 69 represents an output data signal obtained by synchronizing the data signal 66 and the data signal 67.
[0055]
The selectors 50 and 51 select the upper input data signal when the switching signal 52 is at the high level, and select the lower input data signal when the switching signal 52 is at the low level. The relationship between the level change of the switching signal 52 and the output data signals 68 and 69 of the selectors 50 and 51 is as shown in the figure.
[0056]
FIG. 18 shows a recording method when an image (input data signal) input in the image signal processing apparatus according to the present invention is recorded in the frame memory 2. In the figure, 2 is a frame memory, 70 is data for the left half screen of the input data for one screen stored in the frame memory 2, 71 is data for the remaining right half screen, and 72 is processed. The re-stored image data signal for the left half screen, 73 is the address difference when rewriting the image data signal 72 processed from the first stored data signals 70 and 71 to the frame memory 2, and 74 is the first stored This is the difference in the address of the data signal 70 that is not overwritten by the processed data signal 72 in the data signal 70.
[0057]
When a still image is processed by the method shown in FIG. 10, first, the input data signal 1 for one frame output from the image sensor 18 is stored in the frame memory 2. At this time, the data signals 70 and 71 are started to be written from a position shifted by n pixels in the horizontal direction (location of the address n in the horizontal direction). Next, the data signal 70 for the left half screen is read out from the stored data, signal processing is performed, and the processing result is started as a processed data signal 72 from the position where the horizontal address is 0. As a result, the n pixels to the left of the central portion remain without being overwritten. Therefore, when the horizontal signal processing is next performed on the data signal 71 for the right half screen, the data in the central portion (the data on the left half screen is displayed). 70 and the data 71 on the right half screen) can be continuously processed. Therefore, a full frame still image can be generated without causing distortion in the image. This process is also effective when applied to a case where the screen is divided into n in the horizontal direction to generate and process a current data signal to an n-line delayed data signal.
[0058]
FIG. 19 shows an embodiment of the signal delay circuit 4 in which the delayed data signal for still image processing and the delayed data signal for moving image processing are generated by a common circuit in the image signal processing apparatus according to the present invention. ing. In the figure, 1 is an input data signal, 2 is a frame memory, 82 is an address signal of the frame memory 2, 83 is a memory control unit for generating the address signal 82, 3 is a data signal output from the frame memory 2, 75 is a selector for switching data signals to be input to the signal delay circuit 4 during still image processing and moving image processing, 4 is this signal delay circuit, 23 is a first line memory having a capacity of 0.5H, and 6 is A data signal output from the first line memory 23, 24 is a second line memory having a capacity of 0.5H, 7 is a data signal output from the second line memory 24, and 25 is a capacity of 0.5H. , 19 is a data signal output from the third line memory 25, 26 is a fourth line memory having a capacity of 0.5H, and 20 is the fourth line memory. A hand data signal output from the line memory 26, 50 is a selector for switching between the data signal 6 output from the first line memory 23 and the data signal 7 output from the second line memory 24, and 53 is a selector 50. A data signal 51 is output from the third line memory 24. The selector 51 switches between the data signal 19 output from the third line memory 24 and the data signal 20 output from the fourth line memory 26. 54 is output from the selector 51. 27, an address signal supplied to each of the line memories 23 to 26, 52, a switching signal for synchronizing two systems of data signals, and 76, a second line memory during still image processing and moving image processing. Selector for switching 24 input data signals, 77 for switching output data of 1-line delayed data signal during still image processing and moving image processing A selector, 78 is an output data signal from the selector 77, 79 is a selector for switching the output of the 2-line delayed data signal during still image processing and moving image processing, and 80 is an output data signal from the selector 79, Reference numeral 81 denotes a switching signal for switching between still image processing and moving image processing.
[0059]
When performing still image processing, the still image processing / moving image processing switching signal 81 is set to a low level. At that time, the configuration of the signal delay circuit 4 is equivalent to the signal delay circuit shown in FIG. The input data signal 1 is stored in the frame memory 2 for one screen. At this time, the horizontal address is written with an offset of several pixels. Next, the memory controller 83 reads data from the frame memory 2 for the left half screen (0.5H) in a non-interlace manner. At this time, the selector 75 selects the data signal 3 output from the frame memory 2, so that the data signal 3 is input to the signal delay circuit 4.
[0060]
The signal delay circuit 4 sends the input current data signal 3 to the first line memory 23 and generates a data signal 6 delayed by one line. Similarly, the second line memory 24, the third line memory 25, and the fourth line memory 26 generate the 2-line delayed data signal 7, the 3-line delayed data signal 19, and the 4-line delayed data signal 20, respectively. To do. The selector 77 selects the data signal 6 output from the first line memory 23, and the selector 79 selects the data signal 19 output from the third line memory 25, whereby the signal delay circuit 4 A 1-line delayed data signal 78 and a 2-line delayed data signal 80 are output. The selector 76 selects the data signal 19 output from the third line memory 25, so that the data signal 19 output from the third line memory 25 is input to the second line memory 24 and three lines are input. A delayed data signal 7 is generated. The fourth line memory 26 receives the data signal 7 output from the second line memory 24 and generates a four-line delayed data signal 20.
[0061]
When performing moving image processing, the still image processing / moving image processing switching signal 81 is set to the high level. At that time, the configuration of the signal delay circuit 4 is equivalent to the signal processing circuit shown in FIG. Since the selector 75 selects the input data signal 1 at this time, the input data signal 1 is input to the signal delay circuit 4. The input data signal 1 input to the signal delay circuit 4 becomes the current data signal 21. The current data signal 21 stores 0.5H out of 1H in the line memory 23. The selector 76 selects the current data signal 21 and stores the remaining 0.5H in the line memory 24. In the next signal processing for 1H, the data signal 6 output from the line memory 23 is stored in the line memory 25, and the data signal 7 output from the line memory 24 is stored in the line memory 26. The timings of the input data signal, address signal and memory write signal at this time are as shown in FIG.
[0062]
The data signals 6 and 7 output from the line memories 23 and 24 are synchronized by the selector 50 to generate a one-line delayed data signal 53. The data signals 19 and 20 output from the line memories 25 and 26 are synchronized by the selector 51 to generate a two-line delayed data signal 54.
[0063]
Since the selector 77 selects the 1-line delayed data signal 53 and the selector 79 selects the 2-line delayed data signal 54, the signal delay circuit 4 outputs the data signal 53 as the 1-line delayed data signal 78, The data signal 54 is output as the two-line delayed data signal 80.
[0064]
As can be seen from FIGS. 12, 13, 15, and 16, the write signal, read signal, and address signal supplied to each memory are common to the still image processing and the moving image processing. / Because video signal processing can be performed, the circuit scale can be reduced.
[0065]
As a result, according to this processing circuit, still image processing using the current data signal to the 4-line delayed data signal and the current data signal to the 2-line delay in the frame memory 2 and the line memories 23 to 26 having a capacity of 2H. It is possible to cope with moving image processing using a data signal, and it is possible to realize a reduction in circuit scale and memory capacity.
[0066]
FIG. 20 is a block diagram of the signal processing circuit 9 in the image signal processing apparatus according to the present invention. In the figure, 5 is a current data signal output from the signal delay circuit 4, 6 is a 1-line delayed data signal, 7 is a 2-line delayed data signal, 19 is a 3-line delayed data signal, 20 is a 4-line delayed data signal, 84 is a color signal generation circuit, 85 is a color separation circuit that separates and interpolates complementary color signals, 86 is a matrix circuit that generates RGB primary color signals from the complementary color signals, 87 is a white balance circuit, 88 is a γ correction circuit, and 89 is an RGB primary color. A color difference matrix circuit that generates a color difference signal from the signal, 21 is a color difference signal, 90 is a luminance signal generation circuit, 91 is a low-frequency luminance signal generation circuit, 92 is a vertical enhancer signal generation circuit, 93 is an addition circuit, and 22 is a luminance signal is there.
[0067]
Of the current data signal 5 to 4 line delay data signal 20 output from the signal delay circuit 4, the 1 line delay data signal 6, the 2 line delay data signal 7, and the 3 line delay data signal 19 are input to the color separation circuit 85. To do. The color separation circuit 85 separates and interpolates complementary color signals from the input three lines of data signals 6, 7, and 19, and sends them to the matrix circuit 86. The matrix circuit 86 performs a matrix operation on the input complementary color signal to generate an RGB primary color signal and sends it to the white balance circuit 87. The white balance circuit 87 adjusts the gains of the RGB primary color signals according to the brightness of the light source and sends the adjusted signals to the γ correction circuit 88. The γ correction circuit 88 performs γ correction on the input RGB primary color signal and sends it to the color difference matrix circuit 89. The color difference matrix circuit 89 performs matrix calculation on the input RGB primary color signals to generate RY and BY color difference signals 21.
[0068]
The luminance signal generation circuit 90 inputs the current data signal 5 to 4 line delayed data signal 20. The low-frequency luminance signal generation circuit 91 generates a low-frequency luminance signal by performing horizontal filtering and contour correction on the input two-line delayed data signal. The vertical enhancer signal generation circuit 92 generates a vertical contour correction signal from the current data signal 5 to 4 line delayed data signal 20. The adder circuit 93 adds the low-frequency luminance signal and the vertical contour correction signal to generate a luminance signal 22.
[0069]
【The invention's effect】
According to the present invention, a current data signal to an n-line delayed data signal can be generated if there is a memory capacity for 1H, so that a memory with a small capacity can be used when performing vertical filtering by a large number of lines in video equipment or the like. A high-quality image can be obtained.
[0070]
In the signal processing in the digital camera, a still image processing using the current data signal to the 4-line delayed data signal and a moving image processing using the current data signal to the 2-line delayed data signal are realized by a memory having a capacity of 2H. High-definition frame still images and field images (moving images) can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image signal processing apparatus according to the present invention.
FIG. 2 is an explanatory diagram of pixel mixture readout in a CCD image sensor.
FIG. 3 is an explanatory diagram showing signal components of a current data signal, a one-line delayed data signal, and a two-line delayed data signal by pixel mixed readout.
FIG. 4 is an explanatory diagram of frame readout in a CCD image sensor.
FIG. 5 is an explanatory diagram showing signal components of a current data signal, a 1-line delayed data signal, and a 2-line delayed data signal by frame reading.
FIG. 6 is an explanatory diagram showing delayed data signals in moving image processing and still image processing.
FIG. 7 is an explanatory diagram of a method for reading data from a frame memory.
FIG. 8 is a block diagram detailing a circuit configuration for obtaining a current data signal to m-line delayed data signal by a signal delay circuit in the image signal processing apparatus according to the present invention;
FIG. 9 is a block diagram detailing a circuit configuration for obtaining a one-line delayed data signal by the signal delay circuit in the image signal processing apparatus according to the present invention;
FIG. 10 is a block diagram for explaining a signal processing method when a frame still image is generated and recorded by a video camera by the image signal processing apparatus according to the present invention.
FIG. 11 is a block diagram when still image processing is performed in a digital still camera by the image signal processing apparatus according to the present invention.
FIG. 12 is a time chart showing the timing of an address signal and a write signal when data is written to a memory during still image processing.
FIG. 13 is a time chart showing timings of an address signal and a write signal when data is read from the memory during still image processing.
FIG. 14 is a block diagram when moving image processing is performed by the image signal processing apparatus according to the present invention;
FIG. 15 is a time chart showing the timing of an address signal and a write signal when data is written to a memory during moving image processing.
FIG. 16 is a time chart showing the timing of an address signal and a write signal when reading data from a memory during moving image processing.
FIG. 17 is a time chart showing timing for synchronizing data read from a memory during moving image processing;
FIG. 18 is an explanatory diagram showing a method for writing and reading data to and from the frame memory in order to perform processing at the center of the screen in a continuous state.
FIG. 19 is a block diagram for performing data delay in still image processing and data delay in moving image processing by the image signal processing apparatus according to the present invention.
FIG. 20 is a block diagram showing details of a signal processing circuit in the image signal processing apparatus according to the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Input data signal, 2 ... Frame memory, 4 ... Signal processing circuit, 3 ... Read-out data signal, 9 ... Signal processing circuit, 18 ... Image sensor of a pixel mixing system, 83 ... Memory control part, 23-26 ... Line memory .

Claims (5)

フレームメモリ（２）と、メモリコントロール部（８３）と、信号遅延回路（４）と、信号処理回路（９）と、静止画処理モードと動画処理モードの２種類の処理モードを切り替える手段（７５，７６）を備えた画像信号処理装置において、
前記メモリコントロール部（８３）は、入力データ信号（１）を前記フレームメモリ（２）に記憶するように該フレームメモリ（２）を制御する第１の制御と、前記フレームメモリ（２）に記憶したデータを、画面を水平方向にｎ個のブロックに分割して分割したブロック毎に水平方向のデータ数が（１／ｎ）Ｈ分のデータ信号（３）をライン順に読み出すようにフレームメモリ（２）のアドレス（８２）を制御する第２の制御と、前記信号処理回路（９）の処理結果を再び前記フレームメモリ（２）の読み出したデータに上書きするか他の記憶媒体に記憶し、同様の処理をｎ個の全水平ブロックについて繰り返し行うことで、１画面分の信号処理を完了するように該フレームメモリ（２）または他の記憶媒体を制御し、処理結果の画像を出力する第３の制御を実行し、
前記信号遅延回路（４）は、（１／ｎ）Ｈ分の容量のｍ個のラインメモリ（１４〜１６）を備え、前記第２の制御によりフレームメモリ（２）から読み出した画面を水平方向にｎ個のブロックに分割して該分割したブロック毎に水平方向のデータ数が（１／ｎ）Ｈ分のデータ信号（３）をｍライン分記憶することで、順次、各ブロック毎に現データ信号（５）〜ｍライン遅延データ信号（８）を生成することができる構成であって、静止画処理モードにおいては、前記フレームメモリ（２）から読み出したデータ信号（３）をｍライン分記憶することで、順次、現データ信号（５）〜ｍライン遅延データ信号（８）を生成し、動画処理モードにおいては、前記入力データ信号（１）は、該フレームメモリ（２）を介在せず該信号遅延回路（４）に導びいて前記ｍ個のラインメモリ（１４〜１６）をＨ分の記憶装置として使用し、
前記信号処理回路（９）は、各ブロック毎に、前記信号遅延回路（４）で生成した各遅延データ信号から画像信号を生成することを特徴とする画像信号処理装置。A frame memory (2), a memory control unit (83), a signal delay circuit (4), a signal processing circuit (9), and means for switching between two types of processing modes, a still image processing mode and a moving image processing mode (75) , 76) ,
The memory control unit (83) stores in the frame memory (2) a first control for controlling the frame memory (2) so as to store the input data signal (1) in the frame memory (2). The frame memory (1) reads the data signal (3) corresponding to the number of data in the horizontal direction (1 / n) H for each block obtained by dividing the screen into n blocks in the horizontal direction. 2) the second control for controlling the address (82) and the processing result of the signal processing circuit (9) are overwritten again on the data read from the frame memory (2) or stored in another storage medium, By repeating the same process for all n horizontal blocks, the frame memory (2) or other storage medium is controlled so that the signal processing for one screen is completed, and an image of the processing result is output. Run the third control that,
The signal delay circuit (4) includes m line memories (14 to 16) having a capacity of (1 / n) H, and the screen read from the frame memory (2) by the second control is horizontally By dividing the block into n blocks and storing the data signal (3) corresponding to (1 / n) H in the horizontal direction for each divided block for m lines, each block is The data signal (5) to the m-line delayed data signal (8) can be generated . In the still image processing mode, the data signal (3) read from the frame memory (2) is output for m lines. The current data signal (5) to m-line delayed data signal (8) are sequentially generated by storing, and in the moving image processing mode, the input data signal (1) is interposed in the frame memory (2). The signal delay circuit (4 Using the Te Shirubebii m pieces of line memories (14-16) as H min of the storage device,
The image signal processing apparatus, wherein the signal processing circuit (9) generates an image signal from each delayed data signal generated by the signal delay circuit (4) for each block. 請求項１において、前記メモリコントロール部（８３）は、入力データ信号（１）をフレームメモリ（２）に記憶する際には水平方向にアドレスをオフセットした位置から書き込み、最初に処理したブロックのデータ信号（７２）を再び該フレームメモリ（２）に記憶するときには水平方向のアドレスを０の位置から書き込むことで、次のブロックの処理をするときには水平方向に前記オフセット量に相当する画素分前から処理を行ない、両ブロックの境目部分において連続したデータ処理を行なうようにしたことを特徴とする画像信号処理装置。  The memory control unit (83) according to claim 1, wherein when the input data signal (1) is stored in the frame memory (2), the data is written from the position where the address is offset in the horizontal direction, and the first processed block data When the signal (72) is stored again in the frame memory (2), the horizontal address is written from the position of 0, and when processing the next block, the pixel corresponding to the offset amount is processed in the horizontal direction from the previous pixel. An image signal processing apparatus that performs processing and performs continuous data processing at the boundary between both blocks. 分光感度の異なる複数の色フィルタをもち、１水平ラインにおいては、第１の色及び第２の色に対応する色フィルタをもつ光電変換素子から生成されるデータ信号を出力し、次の水平ラインにおいては、第３の色及び第４の色に対応する色フィルタをもつ光電変換素子から生成されるデータ信号を出力する撮像素子（１８）と、フレームメモリ（２）と、メモリコントロール部（８３）と、信号遅延回路（４）と、信号処理回路（９）を備えた画像信号処理装置において、
この画像信号処理装置は、静止画処理モードと動画処理モードの２種の処理モードを切り替える手段を備え、
静止画処理モードにおいては、
前記撮像素子（１８）から出力したデータ信号（１）をフレームメモリ（２）に１フレーム分記憶し、記憶したデータを左半画面ブロックと右半画面ブロックとに分けて各ブロック毎に前記データを１ラインづつライン順に出力するようにフレームメモリ（２）を制御するメモリコントロール部（８２）と、
前記フレームメモリ（２）から出力した１／２Ｈ分の現データ信号（３）と、該現データ信号（３）を１ライン遅延した１ライン遅延データ信号（６）と、該１ライン遅延データ信号（６）を１ライン遅延した２ライン遅延データ信号（７）と、該２ライン遅延データ信号（７）を１ライン遅延した３ライン遅延データ信号（１９）と、該３ライン遅延データ信号（１９）を１ライン遅延した４ライン遅延データ信号（２０）とを生成する信号遅延回路（４）と、
前記信号遅延回路（４）で生成した前記現データ信号（５）と１ライン遅延データ信号（６）と２ライン遅延データ信号（７）と３ライン遅延データ信号（１９）と４ライン遅延データ信号（２０）から映像の色信号（２１）と輝度信号（２２）を生成する信号処理回路（９）とを有効にして、
前記メモリコントロール部（８２）により前記フレームメモリ（２）を制御し、前記信号処理回路（９）で生成した前記色信号（２１）と輝度信号（２１）を前記フレームメモリ（２）から読み出したデータ信号（３）上に上書きするか他の記憶媒体に出力することで静止画を得、
動画処理モードにおいては、
前記撮像素子（１８）から出力されたデータ信号（１）より、１Ｈ分の現データ信号（３）と、該現データ信号（３）を１ライン遅延した１ライン遅延データ信号（５３）と、該１ライン遅延データ信号（５３）を１ライン遅延した２ライン遅延データ信号（５４）とを生成する信号遅延回路（４）と、
前記信号遅延回路（４）で生成した前記現データ信号（３）と１ライン遅延データ信号（５３）と２ライン遅延データ信号（５４）から映像の色信号（２１）と輝度信号（２２）を生成する信号処理回路（９）とを有効にして動画を得ることを特徴とする画像信号処理装置。A plurality of color filters having different spectral sensitivities are provided, and in one horizontal line, a data signal generated from a photoelectric conversion element having a color filter corresponding to the first color and the second color is output, and the next horizontal line , An image sensor (18) that outputs a data signal generated from a photoelectric conversion element having color filters corresponding to the third color and the fourth color, a frame memory (2), and a memory control unit (83) ), A signal delay circuit (4), and a signal processing circuit (9),
The image signal processing apparatus includes means for switching between two processing modes, a still image processing mode and a moving image processing mode,
In still image processing mode,
The data signal (1) output from the image sensor (18) is stored in the frame memory (2) for one frame, and the stored data is divided into a left half screen block and a right half screen block, and the data for each block. A memory control unit (82) for controlling the frame memory (2) so as to output in order line by line,
The current data signal (3) for 1 / 2H output from the frame memory (2), a one-line delayed data signal (6) obtained by delaying the current data signal (3) by one line, and the one-line delayed data signal A two-line delayed data signal (7) obtained by delaying (6) by one line, a three-line delayed data signal (19) obtained by delaying the two-line delayed data signal (7) by one line, and the three-line delayed data signal (19) A signal delay circuit (4) for generating a 4-line delayed data signal (20) delayed by 1 line;
The current data signal (5), 1-line delayed data signal (6), 2-line delayed data signal (7), 3-line delayed data signal (19), and 4-line delayed data signal generated by the signal delay circuit (4). The signal processing circuit (9) that generates the color signal (21) and the luminance signal (22) of the video from (20) is enabled,
The frame controller (82) is controlled by the memory control unit (82), and the color signal (21) and the luminance signal (21) generated by the signal processing circuit (9) are read from the frame memory (2). A still image is obtained by overwriting on the data signal (3) or outputting to another storage medium,
In the video processing mode,
From the data signal (1) output from the image sensor (18), a current data signal (3) for 1H, a one-line delayed data signal (53) obtained by delaying the current data signal (3) by one line, A signal delay circuit (4) for generating a two-line delayed data signal (54) obtained by delaying the one-line delayed data signal (53) by one line;
An image color signal (21) and a luminance signal (22) are generated from the current data signal (3), the one-line delayed data signal (53), and the two-line delayed data signal (54) generated by the signal delay circuit (4). An image signal processing apparatus characterized in that a moving image is obtained by enabling a signal processing circuit (9) to be generated. 請求項３において、前記信号遅延回路（４）は、（１／２）Ｈ分の容量をもつ第１のラインメモリ（２３）と、（１／２）Ｈ分の容量をもつ第２のラインメモリ（２４）と、（１／２）Ｈ分の容量をもつ第３のラインメモリ（２５）と、（１／２）Ｈ分の容量をもつ第４のラインメモリ（２６）とを備え、該信号遅延回路（４）は静止画処理モードと動画処理モードの２種の処理モードとそれらを切り替える手段を備え、
静止画処理モードにおいては、
前記フレームメモリ（２）より出力される半画面分のデータ信号を前記第１のラインメモリ（２３）に１ライン（（１／２）Ｈ）分記憶して１ライン遅延データ信号（６）を生成し、第１のラインメモリ（２３）より出力されるデータ信号を前記第２のラインメモリ（２４）に１ライン分記憶して２ライン遅延データ信号（７）を生成し、
前記第２のラインメモリ（２４）より出力されるデータ信号を前記第３のラインメモリ（２５）に１ライン分記憶して３ライン遅延データ信号（１９）を生成し、
前記第３のラインメモリ（２５）より出力されるデータ信号を前記第４のラインメモリ（２５）に１ライン分記憶して４ライン遅延データ信号（２０）を生成し、
動画処理モードにおいては、
１Ｈづつ入力される入力データ信号（１）に対して、該入力データ信号（１）を、前記第１のラインメモリ（２３）と第２のラインメモリ（２４）に記憶し、
前記第１のラインメモリ（２３）から読み出されるデータ信号を前記第３のラインメモリ（２５）に記憶し、
前記第２のラインメモリ（２４）から読み出されるデータ信号を前記第４のラインメモリ（２６）に記憶し、
前記第１のラインメモリ（２３）と第２のラインメモリ（２４）から出力されるデータ信号を第１の選択器（５０）により切り換えることで１ライン遅延データ信号（６）をリアルタイムで生成し、
前記第３のラインメモリ（２５）と第４のラインメモリ（２６）から出力されるデータ信号を第２の選択器（５１）により切り換えることで２ライン遅延データ信号（７）をリアルタイムで生成することを特徴とする画像信号処理装置。4. The signal delay circuit (4) according to claim 3 , wherein the signal delay circuit (4) includes a first line memory (23) having a capacity of (1/2) H and a second line having a capacity of (1/2) H. A memory (24), a third line memory (25) having a capacity of (1/2) H, and a fourth line memory (26) having a capacity of (1/2) H, The signal delay circuit (4) includes two processing modes, a still image processing mode and a moving image processing mode, and means for switching between them.
In still image processing mode,
A half-screen data signal output from the frame memory (2) is stored in the first line memory (23) for one line ((1/2) H), and a one-line delayed data signal (6) is stored. Generating a data signal output from the first line memory (23) for one line in the second line memory (24) to generate a two-line delayed data signal (7);
A data signal output from the second line memory (24) is stored for one line in the third line memory (25) to generate a three-line delayed data signal (19),
A data signal output from the third line memory (25) is stored for one line in the fourth line memory (25) to generate a four-line delayed data signal (20),
In the video processing mode,
With respect to the input data signal (1) inputted in 1H increments, the input data signal (1) is stored in the first line memory (23) and the second line memory (24),
Storing a data signal read from the first line memory (23) in the third line memory (25);
Storing the data signal read from the second line memory (24) in the fourth line memory (26);
By switching the data signals output from the first line memory (23) and the second line memory (24) by the first selector (50), a one-line delayed data signal (6) is generated in real time. ,
A data signal output from the third line memory (25) and the fourth line memory (26) is switched by a second selector (51) to generate a two-line delayed data signal (7) in real time. An image signal processing apparatus. 入力データ信号（１）を１フレーム分記憶するフレームメモリ（２）と、該入力データ信号（１）と該フレームメモリ（２）から出力されるデータ（３）を切り換える第１の選択器（７５）と、
前記入力データ信号（１）を前記フレームメモリ（２）に１フレーム分記憶し、記憶したデータを左半画面ブロックと右半画面ブロックとに分けて各ブロック毎に読み出すように前記フレームメモリ（２）を制御するメモリコントロール部（８２）と、
（１／２）Ｈ分の容量をもち、前記第１の選択器（７５）から出力されるデータ信号を（１／２）Ｈ分記憶する第１のラインメモリ（２３）と、
（１／２）Ｈ分の容量をもち、前記第１のラインメモリ（２３）から出力されるデータ信号（６）を（１／２）Ｈ分記憶する第２のラインメモリ（２５）と、
前記入力データ信号（１）とラインメモリ（２５）から出力されるデータ（１９）を切り換える第２の選択器（７６）と、
（１／２）Ｈ分の容量をもち、前記第２の選択器（７６）から出力されるデータ信号を（１／２）Ｈ分記憶する第３のラインメモリ（２４）と、
（１／２）Ｈ分の容量をもち、前記第３のラインメモリ（２４）から出力されるデータ信号を（１／２）Ｈ分記憶する第４のラインメモリ（２６）と、
前記第１のラインメモリ（２３）と第３のラインメモリ（２４）から出力されるデータ信号を切り換えて１ライン遅延データ信号を生成するする第３の選択器（５０）と、
前記第２のラインメモリ（２５）と第４のラインメモリ（２６）から出力されるデータ信号を切り換えて２ライン遅延データ信号を生成する第４の選択器（５１）と、
前記第１のラインメモリ（２３）から出力されるデータ信号（６）と第３の選択器（５０）から出力されるデータ信号（５３）を切り換える第５の選択器（７８）と、
前記第２のラインメモリ（２５）から出力されるデータ信号（１９）と第４の選択器（５１）から出力されるデータ信号（５４）を切り換える第６の選択器（７９）とを備え、
前記第１の選択器（７５）と第２の選択器（７６）と第５の選択器（７７）と第６の選択器（７９）を同時に切り換えることで、
静止画処理の場合は、前記フレームメモリ（２）から出力されるデータ信号（３）を前記ラインメモリ（２３）に記憶し、該ラインメモリ（２３）から出力されるデータ信号は前記ラインメモリ（２５）に記憶し、前記ラインメモリ（２５）から出力されるデータ信号はラインメモリ（２４）に記憶し、前記ラインメモリ（２４）から出力されるデータ信号はラインメモリ（２６）に記憶し、
前記フレームメモリ（２）から入力した現データ信号（３）と、該第１のラインメモリ（２３）で生成した１ライン遅延データ信号（６）と、該第２のラインメモリ（２４）で生成した２ライン遅延データ信号（７）と、該第３のラインメモリ（２５）で生成した３ライン遅延データ信号（１９）と、該第４のラインメモリ（２６）で生成した４ライン遅延データ信号（２０）とを出力し、
動画処理の場合は、入力データ信号（１）を第１のラインメモリ（２３）と第２のラインメモリ（２４）に記憶し、
前記第１のラインメモリ（２３）から読み出されるデータ信号を第３のラインメモリ（２５）記憶し、前記第２のラインメモリ（２４）から読み出されるデータ信号を第４のラインメモリ（２６）に記憶し、
前記第１のラインメモリ（２３）と第２のラインメモリ（２４）から出力されるデータ信号から第１の選択器（５０）で１ライン遅延データ信号（６）を生成し、
前記第３のラインメモリ（２５）と第４のラインメモリ（２６）から出力されるデータ信号から第２の選択器（５１）で２ライン遅延データ信号（７）を生成することを特徴とする画像信号処理装置。A frame memory (2) for storing the input data signal (1) for one frame, and a first selector (75) for switching between the input data signal (1) and the data (3) output from the frame memory (2) )When,
The input data signal (1) is stored in the frame memory (2) for one frame, and the stored data is divided into a left half screen block and a right half screen block, and the frame memory (2 A memory control unit (82) for controlling
A first line memory (23) having a capacity of (1/2) H and storing the data signal output from the first selector (75) for (1/2) H;
A second line memory (25) having a capacity of (1/2) H and storing the data signal (6) output from the first line memory (23) for (1/2) H;
A second selector (76) for switching the input data signal (1) and the data (19) output from the line memory (25);
A third line memory (24) having a capacity of (1/2) H and storing a data signal output from the second selector (76) for (1/2) H;
A fourth line memory (26) having a capacity of (1/2) H and storing the data signal output from the third line memory (24) for (1/2) H;
A third selector (50) for generating a one-line delayed data signal by switching data signals output from the first line memory (23) and the third line memory (24);
A fourth selector (51) for switching data signals output from the second line memory (25) and the fourth line memory (26) to generate a two-line delayed data signal;
A fifth selector (78) for switching the data signal (6) output from the first line memory (23) and the data signal (53) output from the third selector (50);
A sixth selector (79) for switching a data signal (19) output from the second line memory (25) and a data signal (54) output from the fourth selector (51);
By simultaneously switching the first selector (75), the second selector (76), the fifth selector (77), and the sixth selector (79),
In the case of still image processing, the data signal (3) output from the frame memory (2) is stored in the line memory (23), and the data signal output from the line memory (23) is stored in the line memory (23). 25), the data signal output from the line memory (25) is stored in the line memory (24), the data signal output from the line memory (24) is stored in the line memory (26),
Generated by the current data signal (3) input from the frame memory (2), the one-line delayed data signal (6) generated by the first line memory (23), and the second line memory (24) 2-line delayed data signal (7), 3-line delayed data signal (19) generated by the third line memory (25), and 4-line delayed data signal generated by the fourth line memory (26) (20) is output,
In the case of moving image processing, the input data signal (1) is stored in the first line memory (23) and the second line memory (24),
A data signal read from the first line memory (23) is stored in a third line memory (25), and a data signal read from the second line memory (24) is stored in a fourth line memory (26). Remember,
A 1-line delayed data signal (6) is generated by a first selector (50) from data signals output from the first line memory (23) and the second line memory (24),
A two-line delayed data signal (7) is generated by a second selector (51) from data signals output from the third line memory (25) and the fourth line memory (26). Image signal processing device.
JP02290795A 1995-02-10 1995-02-10 Image signal processing device Expired - Fee Related JP3671448B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02290795A JP3671448B2 (en) 1995-02-10 1995-02-10 Image signal processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02290795A JP3671448B2 (en) 1995-02-10 1995-02-10 Image signal processing device

Publications (2)

Publication Number Publication Date
JPH08221562A JPH08221562A (en) 1996-08-30
JP3671448B2 true JP3671448B2 (en) 2005-07-13

Family

ID=12095717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02290795A Expired - Fee Related JP3671448B2 (en) 1995-02-10 1995-02-10 Image signal processing device

Country Status (1)

Country Link
JP (1) JP3671448B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3932006B2 (en) 1998-12-02 2007-06-20 株式会社日立製作所 Imaging device

Also Published As

Publication number Publication date
JPH08221562A (en) 1996-08-30

Similar Documents

Publication Publication Date Title
US7034868B2 (en) Image processing circuit
US6342921B1 (en) Lattice-type solid state image pickup device
JP2000092376A (en) Image pickup device
JP2000092361A (en) Image pickup device
US20020196349A1 (en) Image processing of video signal for display
US6762792B1 (en) Digital still camera
JP2000092375A (en) Signal processing unit and its control method
JP3962928B2 (en) Image data conversion method, conversion circuit, and imaging apparatus
JP3671448B2 (en) Image signal processing device
JP2004260265A (en) Pixel extracting circuit having pixel turning over function, and image pickup apparatus
JP4260769B2 (en) Image processing circuit
JP2000092365A (en) Signal processing unit
US6266101B1 (en) Y/C separator
JP3489852B2 (en) High-definition imaging device
JP2002258814A (en) Liquid crystal drive device
JP2002359856A (en) Data conversion circuit and digital camera
JPH08149361A (en) Digital camera
JP2000092349A (en) Image processor
JP3615154B2 (en) Image conversion apparatus and image conversion method
JP2000228774A (en) Image signal processing unit and electronic still camera provided with the same
JP2007243819A (en) Image processing apparatus
JP4249909B2 (en) Signal processing apparatus and signal processing method
JP3603683B2 (en) Video encoder circuit and television system conversion method
JP3400649B2 (en) Image synthesizing method in monitor device and monitoring camera device
JP2005006078A (en) Image pickup device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040712

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041216

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050411

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees