JP4377997B2 - 信号処理装置及び撮像装置 - Google Patents
信号処理装置及び撮像装置 Download PDFInfo
- Publication number
- JP4377997B2 JP4377997B2 JP24186799A JP24186799A JP4377997B2 JP 4377997 B2 JP4377997 B2 JP 4377997B2 JP 24186799 A JP24186799 A JP 24186799A JP 24186799 A JP24186799 A JP 24186799A JP 4377997 B2 JP4377997 B2 JP 4377997B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- delay line
- signal processing
- image signal
- ram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、例えば、ディジタルカメラでのディジタル画像信号処理における遅延ラインの構成に用いられる、信号処理装置及び撮像装置に関するものである。
【0002】
【従来の技術】
従来より例えば、ディジタルカメラでは、様々な色フィルタ配列のセンサが使用されている。
【0003】
図17(a)〜(c)は、上記センサでの色フィルタ配列の一例を示したものである。
上記図17(a)は2×2の色フィルタ配列、同図(b)は2×4の色フィルタ配列、同図(c)は2×8の色フィルタ配列を示している。
【0004】
【発明が解決しようとする課題】
ところで、上記図17(a)〜(c)のそれぞれに示したような色フィルタ配列を有するセンサから出力される信号に色処理を施す場合、当該センサに使用されている色フィルタ配列に対応した色補間フィルタを使用する必要がある。
すなわち、上記図17(a)に示した2×2の色フィルタ配列を有するセンサから出力される信号を色処理する場合、垂直方向に3タップの色補間フィルタを使用する必要があり、同図(b)に示した2×4の色フィルタ配列を有するセンサから出力される信号を色処理する場合、垂直方向に5タップの色補間フィルタを使用する必要があり、同図(c)に示した2×8の色フィルタ配列を有するセンサから出力される信号を色処理する場合、垂直方向に7タップの色補間フィルタを使用する必要がある。
【0005】
したがって、上記図17(a)〜(c)に示した3種類の色フィルタ配列に対応する信号処理(色処理を含むディジタル画像信号処理)をIC等のハードウエアで実現した場合、図18に示すように、上記ディジタル画像信号処理を行なう信号処理回路910の前段に、使用する色補間フィルタの垂直方向の最大タップ数(ここでは7タップ)に応じた6H(水平同期)分の遅延ライン921〜926が設けられる。
【0006】
しかしながら、上述のような遅延ライン921〜926は、一般的に、RAMによって実現されており、その容量は、センサから出力される信号をアナログからディジタルへ変換(A/D変換)する時のサンプリンクビット数と、それをディジタル画像信号処理する水平サイズとに比例するため、ディジタルカメラの高画質化及び高精細化を図ろうとすると、その分上記サンプリンクビット数及び水平サイズの2つのパラメータが大きくなることにより、ディジタル画像信号処理のためのIC内部に遅延ラインを設けた場合には、上記パラメータの増加に伴ってICのゲート数が増加していた。したがって、この場合にはICの製造コストが増加する問題があった。
【0007】
一方、IC内部にRAMによる遅延ラインを設ける代わりに、IC外部にDRAM等による遅延ラインを設ける場合もあるが、この場合には、遅延ラインをRAMで実現する場合よりも消費電力が増大する問題があった。
【0008】
そこで、上述のような問題点を解決するために、センサから出力される信号をA/D変換した後、一旦DRAM等のメモリに記憶し、それを長方形状のブロックに分割して信号処理することによって、IC内部に設ける遅延ラインとしてのRAMを小規模なものとする方法が提案されている。この方法により、ICの製造コストを抑えることができる。
【0009】
しかしながら、上記の方法では、A/D変換後の信号を一旦DRAM等のメモリに記憶させるため、例えば、ディジタルカメラでEVF(電子ビューファインダ)のON表示動作が行なわれた場合、被写体が撮影された時間と、それにより得られた撮影画像が表示される時間とのタイムラグが大きくなるという問題があった。
【0010】
また、上記のタイムラグの問題を解決するために、A/D変換後の信号をDRAM等のメモリを経由しないでディジタル画像信号処理を行い、且つ6Hの遅延ラインを実現することが考えられるが、このためには、大きなRAMを設ける必要がある。
【0011】
そこで、本発明は、上記の欠点を除去するために成されたもので、信号処理の目的に応じて最適な遅延ラインを構成することにより、効率的な信号処理を実現すると共に、当該信号処理時間の短縮化を図った、信号処理装置及び撮像装置を提供することを目的とする。
【0012】
【課題を解決するための手段】
本発明の信号処理装置は、入力画像信号を任意のライン数分遅延して出力する遅延手段と、上記遅延手段の出力に対して信号処理を行なう信号処理手段とを備える信号処理装置であって、上記遅延手段は、上記入力画像信号の書込及び読出が行なわれるn個(n:整数)の記憶手段と、上記入力画像信号の読出対象となる記憶手段を上記n個の記憶手段から選択する選択手段と、上記n個の記憶手段に対する上記入力画像信号の書込及び読出、及び上記選択手段での選択を制御する制御手段とを含み、上記信号処理手段は、上記入力画像信号に対して、垂直方向の(n−m+1)タップのフィルタ処理及び垂直方向の(n−k+1)タップのフィルタ処理のいずれかのフィルタ処理(m,kは互いに異なる整数)を切り替えて行うことが可能であり、上記制御手段は、上記信号処理手段でのフィルタ処理の切り替えに対応させて上記n個の記憶手段を(n−m)個又は(n−k)個にグループ分けし、そのグループ化された記憶手段に対して、上記入力画像信号の書込及び読出及び上記入力画像信号の読出対象となる記憶手段の選択が行われるように上記複数の記憶手段及び上記選択手段を制御することで、上記遅延手段に(n−m)ライン又は(n−k)ラインの遅延ラインとしての機能を持たせることを特徴とする。
【0024】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【0025】
本発明は、例えば、図1に示すような撮像装置100に適用される。
この撮像装置100は、ディジタルカメラ等に適用される装置であり、上記図1に示すように、撮像対象となる被写体の映像を電気信号(画像信号)に変換して出力する撮像素子(ここでは、”CCDセンサ”とする)101と、CCDセンサ101からの画像信号をクランプ、増幅、及びサンプルホールドする処理を実行するS/H及びCDS回路102と、S/H&CDS回路102での処理後の画像信号をディジタル化するA/D変換器103と、A/D変換器103でのディジタル化後の画像信号の供給先の経路を選択するためのセレクタ113と、セレクタ113により選択された画像信号を遅延して出力する可変遅延ライン104と、可変遅延ライン104からの画像信号からYCrCb信号(輝度信号及び色差信号)を生成する等の信号処理を実行する信号処理回路105と、信号処理回路105での処理後の画像信号を所定のサイズ及びアスペクトの信号に変換する拡大縮小回路106と、拡大縮小回路106での処理後の画像信号を圧縮する画像圧縮回路107と、信号処理回路105、拡大縮小回路106、及び画像圧縮回路107での画像信号に対する各処理のために当該画像信号を一時記憶するため等に用いられるDRAM1108と、DRAM1108へのデータの書込及び読出動作を制御するDRAMコントローラ109と、LCDやモニタ等からなる表示部111と、DRAMコントローラ109によりDRAM108から読み出されたデータを表示部111に表示可能な信号形式のデータに変換する表示制御回路110と、DRAMコントローラ109を介してDRAM108から読み込んだデータを加算する加算器112と、セレクタ113の一方の入力としてDRAMコントローラ109の出力又は加算器112の出力を選択するセレクタ114とを備えている。
【0026】
上述のような撮像装置100の最も特徴とする構成は、可変遅延ライン104の構成にあり、この可変遅延ライン104は、設定によって遅延ライン数が変更可能になっている。
【0027】
可変遅延ライン104は、例えば、図2に示すように、6つのRAM(RAM(#1)201、RAM(#2)202、RAM(#3)203、RAM(#4)204、RAM(#5)205、RAM(#6)206)と、6つのRAM201〜206の出力から1H遅延のデータを選択するためセレクタ207と、6つのRAM201〜206の出力から2H遅延のデータを選択するためセレクタ208と、6つのRAM201〜296の出力から3H遅延のデータを選択するためセレクタ209と、6つのRAM201〜206の出力から4H遅延のデータを選択するためセレクタ210と、6つのRAM201〜206の出力から5H遅延のデータを選択するためセレクタ211と、6つのRAM201〜206の出力から6H遅延のデータを選択するためセレクタ212と、6つのRAM201〜206に対するのアクセスアドレス、Read/Write制御信号、及び6つのセレクタ207〜212の選択制御信号を発生する遅延ラインコントローラ213とを備えている。
【0028】
上述のような可変遅延ライン104は、2H、4H、及び6Hの3つの遅延ライン数で動作することが可能となっている。
【0029】
また、ここでは、A/D変換器103でのサンプリンクビット数を10bitとしており、したがって、RAM(#1)201、RAM(#2)202、RAM(#3)203、RAM(#4)204、RAM〈#5)205、及びRAM(#6)206のそれぞれは全て、10bit幅で640word、すなわち、
10(bit)×640(word)=6400(bit)
のメモリ容量を持つものとしている。
【0030】
また、6つのセレクタ207〜212に対する選択制御信号(遅延コントローラ213が発生する選択制御信号)を6bitの信号としており、6つのセレクタ207〜212はそれぞれ、遅延コントローラ213からの6bitの制御信号に従って動作する。
例えば、当該選択制御信号のビット5が「H」の時にはRAM(#6)206の出力を選択し、ビット4が「H」の時にはRAM(#5)205の出力を選択し、ビット3が「H」の時にはRAM(#4)204の出力を選択し、ビット2が「H」の時にはRAM(#3)203の出力を選択し、ビット1が「H」の時にはRAM(#2)202の出力を選択し、ビット0が「H」の時にはRAM(#1)201の出力を選択し、全てのビットが0の時には”0”を出力する、といった動作を実行する。
【0031】
尚、6つのセレクタ207〜212への選択制御信号は、同時に2つ以上のビットが「H」になることは無い。
【0032】
遅延ラインコントローラ213は、例えば、図3に示すような構成により、次のようにして、6つのRAM201(#1)〜206(#6)に対するのアクセスアドレス及びRead/Write制御信号と、6つのセレクタ207〜212の選択制御信号とを発生する。
【0033】
まず、上記図2に示した可変遅延ライン104に入力されるデータ(セレクタ113から出力される画像信号:上記図1参照)には、そのデータサイクルのデータが有効であるか無効であるかを判別するためのフラグビットが附加されている。
【0034】
そこで、遅延ラインコントローラ213において、先ず、データ入力検出回路301は、入力データに附加されているフラグビットを検出する
Hカウンタ302(バイナリカウンタ)は、データ検出回路301にてフラグビットが検出される毎に、カウンタを1カウントアップする。
【0035】
レジスタ304には、本装置全体の動作制御を司るCPU(図示せず)によって予め、可変遅延ライン104への入力データの(水平サイズ−1)の値が設定されている。
【0036】
コンパレータ303(比較器)は、Hカウンタ302のカウント値と、レジスタ304に予め設定された値とを比較し、その比較結果として、両者が一致した場合には「H」レベルの信号を出力し、不一致の場合には「L」レベルの信号を出力する。
このコンパレータ303の出力は、Vカウンタ305に供給されると共に、Hカウンタ302にも供給される。
【0037】
Hカウンタ303は、コンパレータ303の出力が「H」になると、”0”にリセットされる。
【0038】
一方、Vカウンタ305(バイナリカウンタ)は、コンパレータ303の出力が「H」になると、カウンタを1つカウントアップする。すなわち、Vカウンタ305は、Hカウンタ303がリセットされる毎にカウントアップする。
【0039】
レジスタ307には、上述したレジスタ304と同様に、本装置全体の動作制御を司るCPU(図示せず)によって予め、所定値が設定されている。
例えば、6H遅延ライン動作では”5”、4H遅延ライン動作では”3”、2H遅延ライン動作では”1”が設定される。
【0040】
コンパレータ306(比較器)は、Vカウンタ305のカウント値と、レジスタ307に予め設定された値とを比較し、その比較結果として、両者が一致した場合には「H」レベルの信号を出力し、不一致の場合には「L」レベルの信号を出力する。
このコンパレータ306の出力は、Vカウンタ305に供給される。
【0041】
Vカウンタ305は、コンパレータ303の出力が「H」、且つコンパレータ306の出力が「H」になると、”0”にリセットされる。
【0042】
Vカウンタ305の出力は、Vカウントデコーダ308に供給され、ここでデコードされる。
具体的には例えば、Vカウントデコーダ308は、図4に示すように、Vカウンタ305の出力に応じてその出力値をデコード値(2進)に変換する。このデコード値は、6H遅延ライン用制御信号デコーダ314、4H遅延ライン用制御信号デコーダ315、及び2H遅延ライン用制御信号デコーダ316へそれぞれ供給される。
【0043】
6H遅延ライン用制御信号デコーダ314、4H遅延ライン用制御信号デコーダ315、及び2H遅延ライン用制御信号デコーダ316には、Vカウントデコーダ308の出力の他、上述したHカウンタ302の出力、及び次のようなコンパレータ311〜309の出力も供給される。
【0044】
コンパレータ309は、Hカウンタ302のカウント値と、レジスタ312の設定値とを比較し、その比較結果として、Hカウンタ302のカウント値がレジスタ312の設定値よりも小さい場合には「H」レベルの信号を出力し、それ以外の場合には「L」レベルの信号を出力する。
【0045】
コンパレータ310は、Hカウンタ302のカウント値、レジスタ312の設定値、及びレジスタ313の設定値を比較し、その比較結果として、Hカウンタ302のカウント値がレジスタ312の設定値以上であり且つレジスタ313の設定値より小さい場合には「H」レベルの信号を出力し、それ以外の場合には「L」レベルの信号を出力する。
【0046】
コンパレータ311は、Hカウンタ302のカウント値と、レジスタ313の設定値とを比較し、その比較結果として、Hカウンタ302のカウント値がレジスタ313の設定値以上である場合には「H」レベルの信号を出力し、それ以外の場合には「L」レベルの信号を出力する。
【0047】
上述のようなコンパレータ309〜311での比較の対象となるレジスタ312及び313の設定値は、可変遅延ライン104で使用されるRAM(#1)201〜RAM(#6)206の容量に依存した値としており、現在のHカウンタ302のカウント値においてどのRAMを使用するのかを判定するために用いる。
【0048】
具体的には、ここでは、RAM(#1)201〜RAM(#6)206の容量を、上述したように10(bit)×640(word)としており、6H遅延ライン動作時には、図5に示すように、RAM(#1)201〜RAM(#6)206を6つの遅延ラインに分けて使用するので、レジスタ312及び313にはそれぞれ、
レジスタ312の設定値:640(RAMのワード数)
レジスタ313の設定値:640(RAMのワード数)
を設定する。
【0049】
また、4H遅延ライン動作時には、図6に示すように、RAM(#1)201〜RAM(#6)206を4つの遅延ラインに分けて使用するので、レジスタ312及び313にはそれぞれ、
レジスタ312の設定値:320(RAMのワード数の半分)
レジスタ313の設定値:640(RAMのワード数)
を設定する。
【0050】
尚、上記図6において、“RAM(#1)201の下位”というのは、RAM(#1)201のアドレス空間の真ん中より小さいアドレス空間、すなわち0〜319までのアドレス空間のメモリ領域を示し、“RAM(#1)201の上位”とは、RAM(#1)201のアドレス空間の真ん中以上、すなわち320〜639までのアドレス空間のメモリ領域を示す。他のRAMに関しても“下位“、”上位”は同様の意味である。
【0051】
また、2H遅延ライン動作時には、図7に示すように、RAM(#1)201〜RAM(#6)206を2つの遅延ラインに分けて使用するので、レジスタ312及び313にはそれぞれ、
レジスタ312の設定値:640(RAMのワード数)
レジスタ313の設定値:1280(RAMのワード数の2倍)
を設定する。
【0052】
上述したようなコンパレータ311〜309の出力と共に、Hカウンタ302の出力、及びVカウントデコーダ308の出力が供給される6H遅延ライン用制御信号デコーダ314、4H遅延ライン用制御信号デコーダ315、及び2H遅延ライン用制御信号デコーダ316はそれぞれ、供給された各信号からセレクタ制御信号(選択制御信号)、Read/Write制御信号、及びアクセスアドレス信号を生成する。
【0053】
具体的には例えば、6H遅延ライン用制御信号デコーダ314は、図8に示すように、Vカウントデコーダ308の出力から、State6H−1〜State6H−2の状態を判別し、図9に示すように、当該判別結果に従って、セレクタ制御信号、Read/Write制御信号、及びアクセスアドレスをデコードする。
【0054】
4Hライン用制御信号デコーダ315は、図10に示すように、Vカウントデコーダ308の出力と、コンパレータ309〜311の各出力とから、State4H−1〜State4H−12の状態を判別し、図11に示すように、当該判別結果に従って、セレクタ制御信号、Read/Write制御信号、及びアクセスアドレスをデコードする。
【0055】
2Hライン用制御信号デコーダ316は、図12に示すように、Vカウントデコーダ308の出力と、コンパレータ309〜311の各出力とから、State2H−1〜State2H−6の状態を判別し、図13に示すように、当該判別結果に従って、セレクタ制御信号、Read/Write制御信号、及びアクセスアドレスをデコードする。
【0056】
上述のような6H遅延ライン用制御信号デコーダ314、4H遅延ライン用制御信号デコーダ315、及び2H遅延ライン用制御信号デコーダ316にて生成されたセレクタ制御信号、Read/Write制御信号、及びアクセスアドレス信号は、セレクタ317〜319に対応して供給される。
【0057】
セレクタ317には、6H遅延ライン用制御信号デコーダ314、4H遅延ライン用制御信号デコーダ315、及び2H遅延ライン用制御信号デコーダ316にて生成されたセレクタ制御信号が供給される。
セレクタ317は、モード・レジスタ320に設定されたモードに従って、6H遅延ライン用制御信号デコーダ314のセレクタ制御信号、4H遅延ライン用制御信号デコーダ315のセレクタ制御信号、及び2H遅延ライン用制御信号デコーダ316のセレクタ制御信号の何れかのセレクタ制御信号を選択して出力する。
【0058】
セレクタ317から出力されるセレクタ制御信号は、36ビット幅の信号であり、6ビット毎の、
bit35〜bit30はセレクタ207の制御信号、
bit29〜bit24はセレクタ208の制御信号、
bit23〜bit18はセレクタ209の制御信号、
bit17〜bit12はセレクタ210の制御信号、
bit11〜bit6はセレクタ211の制御信号、
bit5〜bit0はセレクタ212の制御信号、
から構成されている。
【0059】
セレクタ318には、6H遅延ライン用制御信号デコーダ314、4H遅延ライン用制御信号デコーダ315、及び2H遅延ライン用制御信号デコーダ316にて生成されたRead/Write制御信号が供給される。
セレクタ318は、モード・レジスタ320に設定されたモードに従って、6H遅延ライン用制御信号デコーダ314のRead/Write制御信号、4H遅延ライン用制御信号デコーダ315のRead/Write制御信号、及び2H遅延ライン用制御信号デコーダ316のRead/Write制御信号の何れかのRead/Write制御信号を選択して出力する。
【0060】
セレクタ318から出力されるRead/Write制御信号は、詳細は後述するが、「H」レベルで“Write after Read”動作を示し、「L」レベルで“Read”動作を示す信号である。
Read/Writeタイミング信号発生器321は、セレクタ318からのRead/Write制御信号に従って、RAM(#1)201〜RAM(#6)206に対するRead/Write信号を発生する。
【0061】
セレクタ319には、6H遅延ライン用制御信号デコーダ314、4H遅延ライン用制御信号デコーダ315、及び2H遅延ライン用制御信号デコーダ316にて生成されたセレクタアドレスが供給される。
セレクタ319は、モード・レジスタ320に設定されたモードに従って、6H遅延ライン用制御信号デコーダ314のセレクタアドレス、4H遅延ライン用制御信号デコーダ315のセレクタアドレス、及び2H遅延ライン用制御信号デコーダ316のセレクタアドレスの何れかのセレクタアドレスを選択して出力する。
【0062】
上述のようにして、セレクタ317、セレクタ318、及びセレクタ319でそれぞれセレクタ制御信号、Read/Write制御信号、及びアクセスアドレスを選択することによって、可変遅延ライン104での遅延ライン数の変更を実現している。
【0063】
可変遅延ライン104により得られたセレクタ制御信号、Read/Write制御信号、及びアクセスアドレスは、セレクタ207〜212、及びRAM(#1)201〜RAM(#6)206(上記図1参照)にそれぞれ供給される。
すなわち、セレクタ317により選択されたセレクタ制御信号(選択制御信号)は、セレクタ207〜212にそれぞれ供給され、セレクタ318により選択されたRead/Write制御信号に基づいたRead/Write信号(Read/Writeタイミング信号発生器321の出力)、及びセレクタ319により選択されたアクセスアドレスは、RAM(#1)201〜RAM(#6)206にそれぞれ供給される。
【0064】
ここで、RAM(#1)201〜RAM(#6)206に対するRead/Write動作には、遅延データを読み出した後に新たなデータを書き込む“Write after Read”動作と、遅延データの読み出しのみを行う“Read”動作とがある。
【0065】
これらの動作の何れかを実行するかは、上述したように、RAM(#1)201〜RAM(#6)206に供給されるRead/Write信号の基となるRead/Write制御信号(セレクタ318の出力)によって決定される。
すなわち、セレクタ318にて選択されたRead/Write制御信号が「H」レベルの信号である時には、“Write after Read”動作の実行を示し、「L」レベルの信号であるときには、“Read”動作の実行を示し、このRead/Write制御信号に基づいたRead/Write信号が、RAM(#1)201〜RAM(#6)206の書込及び読出の動作制御の信号としてRAM(#1)201〜RAM(#6)206に供給される。
【0066】
Read/Write信号は、6ビットの信号であり、
ビット0がRAM(#1)201のRead/Write信号、
ビット1がRAM(#2)202のRead/Write信号、
ビット2がRAM(#3)203のRead/Write信号、
ビット3がRAM(#4)204のRead/Write信号、
ビット4がRAM(#5)205のRead/Write信号、
ビット5がRAM(#6)206のRead/Write信号、
から構成されている。
【0067】
RAM(#1)201〜RAM(#6)206として、例えば、SCRAM(Single port Clocked RAM )を使用した場合、この場合の“Write after Read”動作、及び“Read”動作は、図14に示すようになる。
【0068】
上記図14において、“CLK”はSCRAMへのクロックであり、“アドレス”はSCRAMへのアクセスアドレス(セレクタ319の出力)であり、“データ入力”はSCRAMへ書き込むデータである。
また、“Write/Read信号”は、上述したWrite/Read制御信号に基づいた信号であり、「H」で読み出し、「L」で書き込みを示す。
また、“データ出力”は、SCRAMから出力されるデータである。
また、時間t1から時間t3までが、“Write after Read”動作、或いは“Read”動作の1サイクルとしている。
【0069】
そこで、”Write afte Read”動作時では、先ず、時間t1において、SCRAMは、クロック(CLK)の立ち上がりで、アクセスアドレス(An)と、データ入力(Dn)と、Write/Read信号とをラッチする。
そして、SCRAMは、Write/Read信号が「H」レベルであることを判別すると、アクセスアドレス(An)の遅延データ(Qn)を読み出して出力する。
【0070】
次に、時間t2において、SCRAMは、クロック(CLK)の立ち上がりで、アクセスアドレス(An)と、データ入力(Dn)と、Read/Write信号とをラッチする。
そして、SCRAMは、Write/Read信号が「L」レベルであることを判別すると、アクセスアドレス(An)にデータ入力(Dn)を書き込む。
したがって、この時間t2のSCRAMの出力データが可変遅延ライン104の有効出力となる。
【0071】
一方、“Read”動作では、Write/Read信号が常に「L」レベルであるため、SCRAMは、アクセスアドレス(An)の遅延データ(Qn)を読み出して出力するのみの動作となる。
【0072】
上述のようにして、遅延ラインコントローラ213により得られるWrite/Read信号及びアクセスアドレスによって、RAM(#1)201〜RAM(#6)206の書込及び読出動作が制御される。
【0073】
上述のような遅延ラインコントローラ213を備える可変遅延ライン104に対して設定する遅延ライン数は、信号処理の目的によって異なる。
例えば、撮像装置100をディジタルカメラに適用した場合、信号処理回路105による信号処理を実行する目的としては、
・EVF:撮影する構図を決める。
・記録 :撮影して得られた被写体の画像を記録する。
・記録画像レビュー:撮影して得られた画像を確認する。
等がある。
【0074】
上述のような信号処理の目的における信号処理経路と遅延ライン数を以下に説明する。
尚、以下の説明においては、CCDセンサ101は、水平方向1600画素、垂直方向1200ラインの、全体でおよそ200万画素から構成されるものとする。また、可変遅延ライン104では、10(bit)×640(word)のメモリ容量を有するRAM(#1)201〜RAM(#6)206の6つのRAMを使用するものとする。
【0075】
(1)EVF動作時
EVF動作時には、リアルタイムに信号処理を行う必要がある。また、信号処理回路105での信号処理後の画像信号を、LCDやモニター等の表示部111で表示するために、CCDセンサ101から水平方向1600画素、垂直1200ラインの画素を全て読み出そうとすると、十分なフレームレートを得ることが困難である。さらに、信号処理回路105での信号処理後の画像信号は、拡大縮小回路106により、VRAM用に縮小されるので、全画素を読み出す必要性が低い。
【0076】
そこで、ここでのEVF動作時では、先ず、CCDセンサ101から画像信号を読み出す際に、画素信号の加算及び間引きを行う。
【0077】
例えば、CCDセンサ101が有する色フィルタ配列を、上記図17(c)に示したような、2×8の色フィルタ配列とした場合、CCDセンサ101から出力される画像信号に対して、図15に示すような加算及び間引きを行なって画像信号を読み出し、フレーム・レートを全画素読み出しの4倍にする。
【0078】
すなわち、EVF動作時には、
なる式によって示される関係から、CCDセンサ101から出力される画像信号は、上記図15に示すような2×2の配列を持った画像信号となる。
【0079】
上述のようなCCDセンサ101から出力された画像信号は、A/D変換器103でデジタル化される。
このとき、上述した本装置全体の動作制御を司るCPU(図示せず)によって、セレクタ113に対する入力が、A/D変換器103の出力に選択される。これによりA/D変換器103の出力が、セレクタ113を介して可変遅延ライン104に対して入力される。
【0080】
可変遅延ライン104では、上述したような構成によって、セレクタ113からの画像信号に遅延を与えるが、この可変遅延ライン104での遅延後の画像信号が供給される信号処理回路105では、EVF動作時には2×2の配列の画像信号を扱うことになるので、垂直方向に3タップの色補間フィルタを使用した色処理等の信号処理を行なうことになる。
【0081】
このため、可変遅延ライン104に対しては、上記CPUによって、2Hの遅延ライン(2H遅延ライン動作)となるような設定が予め行なわれる。
2H遅延ライン動作では、可変遅延ライン104は、上述したように6つのRAM(#1)201〜(#6)206を2つの遅延ラインに分けて使用するため、最大で、
640(word)×3(個)=1920画素
の水平ラインを扱うことが可能であるので、DRAM108を経由しないで信号処理を行える。
【0082】
可変遅延ライン104にて遅延された画像信号は、信号処理回路105で信号処理され、この信号処理回路105からYCrCb信号として出力される。
【0083】
拡大縮小回路106は、信号処理回路105から出力されたYCrCb信号に対して、表示部111に適したサイズ及びアスペクトとなるような拡大若しくは縮小処理を行って、VRAMデータを生成する。
【0084】
拡大縮小回路106にて得られたVRAMデータは、DRAMコントローラ107を介してDRAM108に書き込まれる。
DRAM108に書き込まれたVRAMデータは、DRAMコントローラ109を介して表示制御回路110により読み出され、ビデオ信号にエンコードされて、表示部111に供給される。
【0085】
(2)記録動作時
記録動作時では、撮影して得られた画像信号を、ある記録媒体に記録するための信号処理を行なう。
【0086】
そこで、記録動作時では、先ず、A/D変換器103から出力される画像信号(デジタル画像データ)を、一旦DRAMコントローラ109を介してDRAM108に書き込む。
【0087】
このとき、例えば、CCDセンサ101が有する色フィルタ配列を、上記図17(c)に示したような、2×8の色フィルタ配列とした場合、DRAM108に書き込まれる画像信号は、CCDセンサ101の色フィルタ配列と同様の配列となる。
【0088】
したがって、信号処理回路105は、2×8の配列の画像信号を扱うことになり、垂直方向に7タップの色補間フィルタを使用した色処理等の信号処理を行なうことになる。
【0089】
信号処理回路105は、上記信号処理として、任意にブロック分割された画像信号に対する信号処理を行う。
【0090】
このため、可変遅延ライン104に対しては、上記CPUによって、6Hの遅延ライン(6H遅延ライン動作)となるような設定が予め行なわれる。
【0091】
また、上記CPUによって、セレクタ113に対する入力が、DRAMコントローラ109の出力に選択される。これによりDRAMコントローラ109を介したDRAM108の出力が、可変遅延ライン104に対して入力される。すなわち、DRAMコントローラ109によって、ブロック分割されたかたちで画像信号がDRAM108から読み出され、この画像信号が可変遅延ライン104に供給される。
【0092】
可変遅延ライン104において、上述したような6H遅延ライン動作によって遅延された画像信号は、信号処理回路105に供給され、この信号処理回路105からYCrCb信号として出力される。
【0093】
拡大縮小回路106は、信号処理回路105から出力されたYCrCb信号に対して、記録媒体(図示せず)への記録に適した割合で拡大或いは縮小処理を行う。
【0094】
圧縮回路112は、拡大縮小回路106での処理後の画像信号を圧縮し、その圧縮後の画像信号を、DRAMコントローラ109を介してDRAM108に書き込む。
【0095】
DRAM108に書き込まれた画像信号は、上記CPUによって、上記記録媒体に記録される。
【0096】
(3)記録画像レビュー動作時
記録画像レビュー動作では、撮影者が撮影画像を確認できるようにするために、例えば、DRAM108に一旦書き込まれた画像信号(撮影画像)を表示部111に表示するための信号処理を行なう。
【0097】
この記録画像レビュー動作では、先ず、A/D変換器103から出力される画像信号(デジタル画像データ)を、一旦DRAMコントローラ109を介してDRAM108に書き込む。
【0098】
DRAM108に書き込まれた画像信号のEVENラインとCCDラインは、DRAMコントローラ109により同時に読み出される。この読み出された信号は、加算器112、セレクタ113、及びセレクタ114を介して可変遅延ライン104へと供給される。このとき、セレクタ113及びセレクタ114での信号選択動作は、上述した本装置全体の動作制御を司るCPU(図示せず)によって制御される。
これにより、可変遅延ライン104に対しては、加算器112によりEVENラインとCCDラインが加算された結果、又は当該加算結果を1/2した結果が供給されることになる。
【0099】
可変遅延ライン104に供給される画像信号は、例えば、図16に示すような2×4の配列となっており、したがって、可変遅延ライン104にて遅延された画像信号が供給される信号処理回路105では、垂直方向に5タップの色補間フィルタを使用した色処理等の信号処理が行なわれることになる。
【0100】
信号処理回路105は、上記信号処理として、上述した(2)記録動作時での信号処理と同様の、ブロック分割された画像信号に対する信号処理を行う。
【0101】
ここで、信号処理回路105での信号処理、すなわち垂直方向に5タップの信号処理に対応できる可変遅延ライン104の動作モードとしては、4H遅延と6H遅延がある。
【0102】
上述したように、4H遅延ライン動作では、6つのRAM(#1)201〜(#6)206を4つの遅延ラインに分けて使用するため、最大で、
320(word)×3=960画素
扱えるため、画像を水平方向に2つのブロックに分割した分割画像信号に対しての信号処理が行える。
【0103】
一方、6H遅延ライン動作では、6つのRAM(#1)201〜(#6)206を6つの遅延ラインに分けて使用するため、最大で640画素しか扱えないため、画像を水平方向に3つのブロックに分割した分割画像信号に対しての信号処理を行う必要がある。
【0104】
したがって、ここでは、より短い時間で信号処理を行なうために、可変遅延ライン104に対して、上記CPUによって予め、4H遅延ライン動作となるような設定を行う。
この設定に従って動作する可変遅延ライン104の出力は、信号処理回路105で信号処理され、YCrCb信号となって、拡大縮小回路106に供給される。
【0105】
拡大縮小回路106は、信号処理回路105からのYCrCb信号に対して、表示部111での表示に適したサイズ及びアスペクトとなるような拡大又は縮小処理を行なって、VRAMデータを生成する。
【0106】
拡大縮小回路106にて生成されたVRAMデータは、DRAMコントローラ107を介してDRAM108に書き込まれる。
【0107】
DRAM108に書き込まれたVRAMデータは、DRAMコントローラ109を介して表示制御回路110により読み出され、ビデオ信号にエンコードされて、表示部111に供給される。
【0108】
上述のように、本実施の形態では、6つのRAM(#1)201〜(#6)206と、これらのRAM(#1)201〜(#6)206での書込及び読出動作を制御すると共に、遅延ラインの出力としてRAM(#1)201〜(#6)206の何れのRAMの出力を選択するかを制御する遅延ラインコントローラ213とを備える可変遅延ライン104は、信号処理回路105での信号処理に応じて、2H遅延ライン、4H遅延ライン、及び6H遅延ラインの何れかで動作する。
【0109】
すなわち、信号処理回路105での目的(EVF、記録、記録画像レビュー等)に応じた信号処理が、垂直方向に7タップのフィルタ処理である場合には、6つのRAM(#1)201〜(#6)206を6つのグループに分けることによって、6ラインの遅延ラインとして動作し(RAMの個数n=6、m=0として、(6−0=6)ラインの遅延ライン)、垂直方向に5タップのフィルタ処理である場合には、6つのRAM(#1)201〜(#6)206をそのアドレス空間も含めて4つのグループに分けることによって、4ラインの遅延ラインとして動作し(RAMの個数n=6、m=2として、(6−2=4)ラインの遅延ライン)、垂直方向に3タップのフィルタ処理である場合には、6つのRAM(#1)201〜(#6)206を2つのグループに分けてることによって、2ラインの遅延ラインとして動作する(RAMの個数n=6、m=4として、(6−4=2)ラインの遅延ライン)。
【0110】
したがって、例えば、水平方向1600画素、垂直方向1200ラインのCCDセンサ101において、EVF動作時にDRAM108を経由しないで信号処理を行う場合、従来の構成では、
10(bit)×1600(word)
のメモリ容量を有するRAMが必要となるが、これに対して本実施の形態の構成では、
のメモリ容量を有するRAMで十分である。
【0111】
また、DRAM108を経由しないでVRAMデータを作成できるので、従来と比較して、撮影してから表示部111に映像が表示されるまでのタイムラグが短縮される。
【0112】
また、記録画像レビューのための信号処理を行う際には、加算器112でライン加算を行うので、信号処理を行うライン数を半分にすることができる。これによって信号処理時間が半分に短縮される。
【0113】
また、4H遅延ライン動作では、6H遅延ライン動作と比べて扱える水平サイズが1.5倍になるので、画像の分割回数も減少する。
【0114】
また、従来では、上記図18に示したように、データが1つ入力されたときに、他のRAMの出力を書き込む動作を行うような構成としていたので、遅延ラインに1つのデータが入力される毎に全てのRAMで書き込み動作が行われていた。これに対して、本実施の形態での構成では、データが1つ入力されたときに1つのRAMに対してのみ書き込み動作を行うので、従来に比べてRAMでの消費電力が減少する。
【0115】
尚、本発明の目的は、上述した実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が本実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ROM、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、本実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS等が実際の処理の一部又は全部を行い、その処理によって本実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によって本実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0116】
【発明の効果】
以上説明したように本発明によれば、信号処理を行う目的に最適化された遅延ラインを提供することが可能となる。また、これによってIC内部に実装可能な限られた遅延ラインとしてのメモリを効率よく使用することが可能になり、ICのゲート数を削減することができる。この結果、ICの開発コストの削減が図られる。
【図面の簡単な説明】
【図1】本発明を適用した撮像装置の構成を説明するための図である。
【図2】上記撮像装置の可変遅延ラインの構成を示すブロック図である。
【図3】上記可変遅延ラインの遅延ラインコントローラの構成を示すブロック図である。
【図4】上記遅延ラインコントローラにおいて、Vカウントデコーダのデコード方法を説明するための図である。
【図5】上記可変遅延ラインにおいて、6H遅延ライン動作時のRAMの使用方法を説明するための図である。
【図6】上記可変遅延ラインにおいて、4H遅延ライン動作時のRAMの使用方法を説明するための図である。
【図7】上記可変遅延ラインにおいて、2H遅延ライン動作時のRAMの使用方法を説明するための図である。
【図8】上記6H遅延ライン動作時の状態のデコード方法を説明するための図である。
【図9】上記6H遅延ライン動作時の各制御信号のデコード方法を説明するための図である。
【図10】上記4H遅延ライン動作時の状態のデコード方法を説明するための図である。
【図11】上記4H遅延ライン動作時の各制御信号のデコード方法を説明するための図である。
【図12】上記2H遅延ライン動作時の状態のデコード方法を説明するための図である。
【図13】上記2H遅延ライン動作時の各制御信号のデコード方法を説明するための図である。
【図14】上記RAMのアクセスタイミングを説明するための図である。
【図15】上記撮像装置において、EVF動作時のCCDセンサでEVF用のデータ読み出しをした場合のデータ配列を説明するための図である。
【図16】上記撮像装置において、記録画像レビュー動作時に加算器で加算したあとのデータ配列を説明するための図である。
【図17】CCDセンサの色フィルタ配列の一例を説明するための図である。
【図18】従来の遅延ラインの構成を示すブロック図である。
【符号の説明】
100 撮像装置
101 CCD
102 S/H&CDS回路
103 A/D変換器
104 可変遅延ライン
105 信号処理回路
106 拡大縮小回路
107 画像圧縮回路
108 SRAM
109 DRAMコントローラ
110 表示制御回路
111 表示部
112 加算器
113,114 セレクタ
201〜206 RAM
207〜212 セレクタ
213 遅延ラインコントローラ
Claims (5)
- 入力画像信号を任意のライン数分遅延して出力する遅延手段と、
上記遅延手段の出力に対して信号処理を行なう信号処理手段とを備える信号処理装置であって、
上記遅延手段は、
上記入力画像信号の書込及び読出が行なわれるn個(n:整数)の記憶手段と、
上記入力画像信号の読出対象となる記憶手段を上記n個の記憶手段から選択する選択手段と、
上記n個の記憶手段に対する上記入力画像信号の書込及び読出、及び上記選択手段での選択を制御する制御手段とを含み、
上記信号処理手段は、上記入力画像信号に対して、垂直方向の(n−m+1)タップのフィルタ処理及び垂直方向の(n−k+1)タップのフィルタ処理のいずれかのフィルタ処理(m,kは互いに異なる整数)を切り替えて行うことが可能であり、
上記制御手段は、上記信号処理手段でのフィルタ処理の切り替えに対応させて上記n個の記憶手段を(n−m)個又は(n−k)個にグループ分けし、そのグループ化された記憶手段に対して、上記入力画像信号の書込及び読出及び上記入力画像信号の読出対象となる記憶手段の選択が行われるように上記複数の記憶手段及び上記選択手段を制御することで、上記遅延手段に(n−m)ライン又は(n−k)ラインの遅延ラインとしての機能を持たせることを特徴とする信号処理装置。 - 上記信号処理手段は、上記入力画像信号の色フィルタ配列に応じて、垂直方向の(n−m+1)タップのフィルタ処理及び垂直方向の(n−k+1)タップのフィルタ処理のいずれかに切り替えることを特徴とする請求項1に記載の信号処理装置。
- 上記遅延手段の制御手段は、上記入力画像信号に基づいて、上記n個の記憶手段のうち任意の記憶手段のみに対して書込が行なわれるように制御することを特徴とする請求項1に記載の信号処理装置。
- 請求項1〜3の何れかに記載の信号処理装置を含み、上記入力画像信号を提供する撮像手段を備えることを特徴とする撮像装置。
- 上記撮像手段が画像信号を画素加算することにより上記入力画像信号を提供する場合において、上記信号処理手段は、(n−m+1)タップのフィルタ処理を行い、上記撮像手段が画像信号を画素加算することなく上記入力画像信号を提供する場合において、上記信号処理手段は、整数k<mとする(n−k+1)タップのフィルタ処理を行うように上記フィルタ処理を切り替えることを特徴とする請求項4に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24186799A JP4377997B2 (ja) | 1999-08-27 | 1999-08-27 | 信号処理装置及び撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24186799A JP4377997B2 (ja) | 1999-08-27 | 1999-08-27 | 信号処理装置及び撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001069521A JP2001069521A (ja) | 2001-03-16 |
JP4377997B2 true JP4377997B2 (ja) | 2009-12-02 |
Family
ID=17080715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24186799A Expired - Fee Related JP4377997B2 (ja) | 1999-08-27 | 1999-08-27 | 信号処理装置及び撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4377997B2 (ja) |
-
1999
- 1999-08-27 JP JP24186799A patent/JP4377997B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001069521A (ja) | 2001-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3748489B2 (ja) | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 | |
JP4320658B2 (ja) | 撮像装置、制御方法、並びにプログラム | |
JP2005323411A (ja) | 画像合成装置 | |
JP2004304387A (ja) | 画像処理装置 | |
JP4225241B2 (ja) | 画像表示装置 | |
JP4377997B2 (ja) | 信号処理装置及び撮像装置 | |
US7391932B2 (en) | Apparatus and method for selecting image to be displayed | |
JP5011289B2 (ja) | 撮像装置 | |
JP4313907B2 (ja) | 撮像装置及びその制御方法 | |
JPH0549000A (ja) | 電子カメラ | |
US7573511B2 (en) | Digital camera | |
JP4281161B2 (ja) | 電子カメラ | |
JPH11308560A (ja) | 電子カメラ装置 | |
US20090167916A1 (en) | Imaging apparatus and methods, and storing medium having computer program to perform the methods | |
JP2009033438A (ja) | 撮像装置 | |
JP4905080B2 (ja) | 転送回路、転送制御方法、撮像装置、制御プログラム | |
US6434281B1 (en) | Signal processing apparatus | |
JP3895946B2 (ja) | 表示装置及びその制御回路 | |
JP4137097B2 (ja) | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 | |
JP3363761B2 (ja) | 信号変換回路 | |
JP2000050127A (ja) | 電子スチルカメラ及びその制御方法 | |
KR100195112B1 (ko) | 윈도우 기능을 갖는 디지털 캠코더 | |
JP5008380B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4407475B2 (ja) | カメラ画像処理装置 | |
KR100290843B1 (ko) | 디지털비디오카메라시스템의영상신호보간장치및방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090908 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090914 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130918 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |