JP5667796B2 - 信号処理装置 - Google Patents

Description

本発明は、画像データを処理する信号処理装置に関するものである。

従来デジタルカメラ等の一般的なデジタル信号処理回路ではクロック１サイクルにつき１つサンプリングデータが入力され、多段構成されたフィルタ等の処理回路を通過するのにかかる所定のサイクルの遅延後に有効な処理結果がクロック１サイクルにつき１サンプル以下のデータとして出力されるのが一般的である。デジタルカメラにおいても１画素あたりに必要な処理サイクル数が１サイクルになるような多段構成の処理回路として設計する場合が多い。しかしながら半導体技術の進歩により、デジタルカメラの画素数が年々増加しており、それに対して連写速度や動画機能など、より高い処理速度が要求される傾向にある。増加した画素数に比例して撮像素子からの読み出し時間が長くなるという問題を解決するために、撮像素子から１サイクルあたり２画素や４画素の単位で読み出すという方法がとられるようになった。それに加え撮像素子からの未処理のデータを蓄積する一時メモリーの容量を余分に持つ事によって、連写性能を確保する事が可能となる。一時メモリーを使う方法の場合、メモリーに蓄積する空き容量がなくなると、しばらく撮影できないという問題がある。この問題を解決するため、１サイクルあたり複数画素を同時に処理可能なデジタル信号処理回路を構成にすることが考えられる。

このような回路として、特許文献１では複数信号を１サイクルで同時に複数信号を処理するFIRデジタルフィルターが開示されている。また、特許文献２では複数信号を１サイクルで同時に複数信号を処理するIIRデジタルフィルターが開示されている。

特開2001-036383号公報 特開2001-036382号公報

しかしながら、上述の特許文献１、２に開示された従来技術では、最適な遅延素子の段数で回路を構成した時に位相がずれてしてしまうという問題がある。以下、図２を用いてかかる点を説明する。図２（Ａ）は６タップのＦＩＲフィルタを１サイクルで１サンプル処理する回路である。フィルタ回路に入力された順序で出力側からデータが出力される。図２（Ａ）の例だと最初のデータ入力から５サイクル後に、有効な最初の演算結果が出力される。図２（Ｂ）は図２（Ａ）の回路を２つ並列に配置し、１サイクルで同時に２つのデータを入力し、処理する構成に拡張した回路である。最初の２つのデータが入力されてから２サイクル後に有効な最初のデータが出力されるが、それは一方のみであり、他方には無効なデータが出力される。このように無効なデータと有効なデータが同時に出力されると、非常に扱いにくいデータになるという問題がある。また、デジタルカメラの場合、高画素数で高速処理が必要なカメラと低画素数で低速処理のカメラを同じＬＳＩを使用して製品化するといった事が行われており、図２（Ａ）のように１サイクルあたり１画素処理する回路と１サイクルあたり複数画素処理する回路を１つのＬＳＩに実装しなければならないという課題がある。

本発明は、１サイクルあたり複数画素処理する回路を実装する場合にその出力データの位相を合わせて扱い易くすることを可能とする技術を提供しようとするものである。

この課題を解決するため、本発明の信号処理装置は以下の構成を備える。すなわち、
複数の入力端子と、複数のフィルタ回路で構成されるフィルタ手段と、第１の遅延手段と、第２の遅延手段を有する信号処理装置であって、
前記複数の入力端子は、１サイクルごとに、撮像素子から読み出された複数の画素に対応する複数のデータを入力し、
前記複数のフィルタ回路のそれぞれは、前記複数の入力端子のうち予め設定されたタップ数の入力端子であって、互いに異なる組み合わせの入力端子からのデータを入力し、フィルタ処理後のデータを出力し、
前記第１の遅延手段は、前記複数のフィルタ回路のうち予め設定されたフィルタ回路と、前記複数の入力端子のうち予め設定された入力端子との間に設けられ、
前記第２の遅延手段は、前記複数のフィルタ回路のうち、前記第１の遅延手段を介在しないフィルタ回路のフィルタ処理後のデータを遅延させることを特徴とする。

本発明によれば、１サイクルあたり複数画素処理する回路を実装する場合にその出力データの位相を合わせて扱い易くすることを可能とする。

第１の実施形態を示す回路図。 従来の問題点を示す回路図および概念図。 第１の実施形態のタイミングチャート。 第２の実施形態の回路図および概念図。 第３の実施形態のフィルタ前段回路の回路図。 第４の実施形態の回路図。 第３の実施形態の位相調整回路の回路図。 第２の実施形態のフィルタ回路と装置を示す図。

以下、添付図面に従って本発明にかかる実施形態を詳細に説明する。本実施形態の信号処理装置は、所定サイクルで複数の信号を同時処理する１段または多段のフィルタ回路と、前記フィルタ回路から出力（発生）された複数の信号の遅延の合計が同時処理数の倍数となるように各信号を遅延させる遅延調整回路とを備えるものである。図１は、本発明の実施形態にかかわるデジタル信号処理装置のブロック図である。

［第１の実施形態］
以下、図１を参照して、本発明の第１の実施形態によるデジタル信号処理装置について説明する。図１（Ａ）は、１サイクルあたり１データの処理を行う３タップのＦＩＲフィルタである。１０２および１０３はそれぞれ１サイクルの遅延を行う遅延素子、１０１は演算回路である。１０１の演算回路の中身は図１（Ｃ）のような構成になっており、遅延ごとに所定の係数で加算される。この係数の選び方によって所定の周波数特性のフィルタとなるが、フィルタの特性に関しては本発明の本質に関係しないので説明を省略する。図１（Ｂ）は図１（Ａ）と等価な処理を行う、１サイクルあたり連続する４つの画素データを入力する入力部、及び、１サイクルあたり４つのフィルタ処理結果を出力する出力部を有するフィルタ処理装置のブロック図である。図示において、参照符号１０５、１０６、１０７、１０８は演算回路であり、それらの中身は図１（Ｂ）の演算回路１０１と同じである。

図１（Ａ）の構成では、１サイクル１データ処理で順次１番目、２番目、３番目の処理対象のデータ（画素データ）が入力されるが、図１（Ｂ）の回路におけるバス幅は、連続する４画素分あり、１番目のデータがＷ端子、２番目のデータがＸ端子、３番目のデータがＹ端子、４番目のデータがＺ端子というふうに４番目まで１サイクルで入力される。そして、次のサイクルで５番目のデータがＷ端子、６番目のデータがＸ端子、７番目のデータがＹ端子、８番目のデータがＺ端子というふうに１サイクルで４つのデータが並列に入力される。１０９、１１０、１１１、１１２は遅延素子である。演算回路１０５乃至１０８の出力端子Ｗ１、Ｘ１、Ｙ１、Ｚ１には、各フィルタ回路のフィルタ演算結果が出力される。そして、本装置の最終的に出力される出力端子をＺ２、Ｙ２、Ｘ２、Ｗ２と定義する。

以下、図３のタイミングチャートを用いて信号の流れを説明する。１サイクル目において入力端子Ｗ，Ｘ，Ｙ，Ｚの入力に対し１番目〜４番目までのデータが入力される。同じサイクルでフィルタ出力Ｙ１、Ｚ１に最初の有効な演算結果が出力される。２サイクル目において入力端子Ｗ，Ｘ，Ｙ，Ｚに５番目〜８番目のデータが入力される。同じサイクルで出力端子Ｗ１、Ｘ１、Ｙ１，Ｚ１からは３番目〜６番目の演算結果が出力される。１サイクル目では出力端子Ｙ１、Ｚ１には有効な演算結果が出力されるが、出力端子Ｗ１、Ｘ１からはまだ有効な演算結果が出力されていない。このような有効なデータと無効なデータが混じって出力されると扱いにくい。たとえば、演算結果はＤＭＡ転送によりメモリーに蓄積されるが、最初のサイクルに無効なデータが混じっているとメモリーの記憶効率を悪化させる事になる。図１（Ｂ）の参照符号１０４の点線で囲ったブロックは本実施形態の特徴である位相遅延調整回路である。出力端子Ｙ１、Ｚ１の信号に対し遅延素子１１１、１１２が接続され、その出力が出力端子Ｗ２、Ｘ２へと接続するべく配線されている。出力端子Ｗ１、Ｘ１はそのまま出力端子Ｙ２、Ｚ２に接続されるように配線されている。これは、入力部の入力端子Ｗ、Ｘ、Ｙ、Ｚと同じ位相順番に４つのフィルタ処理結果を並べるためである。図３のタイミング図において、２サイクル目で出力端子Ｗ２、Ｘ２、Ｙ２、Ｚ２に１番目から４番目までの出力が同時に出力されている。同じサイクルですべて有効な演算結果が出力されている。

上記実施形態では、演算回路は３タップのフィルタ回路の例であり、４つのフィルタ回路を並列に配置し、４データ入力、４データ出力を行う例であった。しかしこれは一例である。たとえば図２のような５タップのフィルタを２つ並列にした回路においても同様に後段または前段に遅延素子を１つ追加して処理順序が逆にならないようＹとＺを交換して位相を調整すれば同様の効果がある。また、同時処理の数は２のべき条である必要がなく奇数でもよい。

なお同時処理数とフィルタのタップ数には特別な関係はなく、どちらが大きくてもかまわない。

［第２の実施形態］
以下、図４を参照して、本発明の第２の実施形態による、信号処理回路について説明する。

図４は第２の実施形態による信号処理回路モジュールのブロック図と、信号の位相の関係を示した図である。図４の回路は全システム中でまとまった単位の仕事を成し遂げる単位の回路でモジュールと呼ばれる設計の単位である。回路はモジュール単位で置き換えや追加、検証といった設計の活動がなされるため、この単位で入出力を規定するのが一般的である。W、X、Y、Zがモジュールの入力である。このモジュールの例では４０１、４０２、４０３という特性の異なるフィルタ回路を直列に接続して、最後に位相遅延調整回路４０４が接続されている。図８（Ａ）は図４のフィルタ回路４０１の詳細を説明する回路図である。図８（Ｂ）は図８（Ａ）の４タップのフィルタと同等な回路を１サイクルあたり４データ処理可能な構成に拡張したものである。４タップのフィルタには原理的に３つの遅延素子が必要となる。８１１、８１０、８０９が遅延素子であり、８０５、８０６、８０７、８０８は図８（Ａ）の回路８０４と同一の演算回路である。ここで、演算回路８０５の入力に対しては遅延素子からの入力が接続されておらず、データが入力されたサイクルで出力もされる。したがって、最初のサイクルではＺ１のみ出力がされ、Ｗ１、Ｘ１、Ｙ１には有効な演算結果が出力されない。このようにフィルタのタップ数に依存して最初に出力されるデータの位相が決まる。ここで図４の説明に戻り、４１１は入力のサイクルにおけるデータ順序の図である。また４１２はフィルタ回路４０１の演算結果が最初に出力されるサイクルにおける有効なデータの並びをあらわしている。フィルタ回路４０１の演算結果が最初に出力されるサイクルにおいて、Z1に一番目のデータが出力される。2番目以降の演算結果は次のサイクルから出力される。図４のフィルタ回路４０２は図１で説明したフィルタ回路と同じ構成のもので、位相が２つづれる特性をもっている。図４の４１３はフィルタ回路４０１の出力W1、X1、Y1、Z1がフィルタ回路４０２に入力され、最初に有効なデータがW2、X2,Y2、Z2へ出力されるサイクルにおけるデータの並びを示している。フィルタ回路４０１で位相が１つ分ずれているデータがフィルタ回路４０２に入力され、フィルタ回路４０２でさらに位相が２つ分ずれているのため、フィルタ回路４０１と４０２の位相遅延の総和として、フィルタ回路４０２の出力の位相ずれは３つ分のずれとして出力される。このように位相遅延の総和として例えば図１のフィルタ回路のように位相が２データ分ずれている回路を２段直列に接続すると、位相が元に戻るような特性がある。

フィルタ回路４０２の出力では最初のサイクルで一番目のデータがX2から出力されている。同様にフィルタ回路４０２の出力がフィルタ回路４０３の入力となり、フィルタ回路４０３の出力位相はフィルタ回路４０１、４０２、４０３の位相遅延の総和となる。フィルタ回路４０３の詳細に関して図示しての説明は省略するが、２タップのフィルタによる位相が３つ分ずれる回路である。図４の４１４はフィルタ回路４０３の出力W3、X3、Y3、Z3を示している。Y3に一番目、Z3に２番目のデータが出力されている。このモジュールにおいて設計された特性はフィルタ回路４０３の出力において達成されているが、位相がずれた状態となっている。そこで本実施形態の特徴である位相遅延調整回路４０４によって最終出力の位相を調整している。位相遅延調整回路４０４は図１の位相遅延調整回路１０４とまったく同一のもので２データ分の位相を調整する回路である。

第２の実施形態では位相遅延調整回路をモジュールの最終段として挿入しているが、どの位置に挿入しても同等の効果がある。

［第３の実施形態］
一般に、撮像画素数や単位時間当たりの連写撮像枚数等が異なるスペックのデジタルカメラを製品化する場合、ＬＳＩ設計コスト、部品管理コストの面から、それぞれのスペック毎に異なるＬＳＩを使用するよりも、同じＬＳＩを使用することの方が有利である。また、比較的低いスペックのデジタルカメラではデータバス幅を減らし、１サイクルで１画素のフィルタ処理を行えば十分であることがある。また、高スペックのデジタルカメラでは１サイクルで複数画素のフィルタ処理しなければならない場合もある。同じＬＳＩで、これらのケースに適用するためには、１サイクル当たりの処理可能なデータ数を外部から与える信号によって切り換えるようにすることである。例えば、第１の実施形態で示した図１の構成で、１サイクル当たり１画素のデータを処理するようにすることを考察する。この場合、図１（Ｂ）の４つのフィルタ回路のうち、１つのみをアクティブにする。入力した１個のデータをＤｉとする。フィルタ回路は３タップであるので、そのフィルタ回路にはデータ｛Ｄi，Ｄi-1,Ｄi-2｝を供給しなければならない。図示の場合、フィルタ回路の入力側には遅延素子１０９、１１０が存在するので、この遅延素子を直列接続するのと等価の関係に切り換えれば、データ｛Ｄi，Ｄi-1,Ｄi-2｝を生成できる。すなわち、１サイクルで１画素のフィルタ処理を行うような制御信号を受信したとき、１つのフィルタ回路のみをアクティブにし（他のフィルタ回路の出力は無視してもよい）、遅延素子１０９、１１０を直列に並ぶようにして、データＤi-1,Ｄi-2を保持するように切り換える。図１（Ｂ）のＺ入力のみにＤｉ、Ｄｉ−１、Ｄｉ−２と順次入力し遅延素子１０９、１１０によって遅延させた出力を１０５に入力する。また、１サイクル当たり２画素のデータを処理するようにした場合、２つのフィルタ回路をアクティブにする。そして、入力部を介して入力した２つのデータをＺ入力及びＹ入力より｛Ｄi、Ｄi+1｝、｛Ｄｉ−１、Ｄｉ−２｝と順次とするなら、アクティブになっている１０５、１０６の２つのフィルタ回路には、それぞれ１個のデータ分の位相差を持つ３つ（タップ数）データを供給すれば良い。すなわち、一方のフィルタ回路には｛Ｄi,Ｄ-1，Ｄi-2｝を供給し、もう一方のフィルタ回路には｛Ｄi+1,Ｄi,Ｄi-1｝を供給すればよい。このためには、制御信号に応じて遅延素子の論理的な並びを変えるゲート回路等を追加すればよい。以下では、遅延素子の論理的な並びを変える回路の具体例を説明する。

図５は本第３の実施形態の回路図である。図５のXMODE入力は２ビットの同時処理数を指定する信号入力である。入力信号はIN_W〜IN_Zまでの４つ、それに対してWX、WY、WZが図１のフィルタ回路１０８への入力、YX、YY、YZが図１のフィルタ１０７への入力に相当する。XMODEが０の場合はIN_Zからの入力を処理すべくZX,ZY,ZZに対して遅延素子５０１、５０２によって遅延した信号が出力される。図１（Ａ）の回路として機能する。その場合、IN_W,IN_X,IN_Yの入力は利用されない。また、WX〜YZの出力も演算する意味のある信号にはならない。遅延素子５０１、５０２は１サイクルあたり１画素のモードの時も１サイクル２画素処理モードの時も１サイクル４画素処理モードの時にもそれぞれ接続を変更して使用される。したがって、出力ZX,ZY,ZZ以外には遅延の途中の信号が出力されている。XMODEが１に設定されている場合はIN_Y、IN_Zの信号がYX,YY,YZおよびZX,ZY,ZZに対して出力される。XMODEが２のときはIN_W、IN_X、IN_Y、IN_Zの入力に対してWX〜ZZまでの全出力が有効となる。図５の遅延素子５０１は図１の遅延素子１１０に、５０２は１０９にそれぞれ対応している。
このように構成することにより、比較的回路規模の増大につながる遅延素子を最小にした共通設計が可能となる。

図７は第３の実施形態の位相遅延調整回路である。この回路では２つ分ずれた位相を調整するものである。XMODEが０の時は１サイクル１データ処理なのでZ_INの入力がそのままZ_OUTに出力される。XMODEが１の時は１サイクル２データ処理なので２つ分の位相調整はなくても２の倍数になるので不要である。したがってY_INがY_OUT、Z_INがZ_OUTにそのまま出力される。XMODEが２の時は１サイクル４データ処理モードなので、W_INがY_OUT、X_INがZ_OUT、Y_INの入力が遅延素子７０１によって遅延した信号Y1がW_OUTに、Z_INの入力が遅延素子７０２によって遅延した信号Z1がY_OUTに出力される。このように、同時処理数を変更した時に、位相調整回路も切り替わる。第３の実施形態では同時処理数が１データ、２データ、４データとしたが、同時処理数が奇数でも同等の効果がある。

［第４の実施形態］
図６は本発明の第４の実施形態を示す回路図である。プログラマブル周波数特性（特性設定）を変更可能とするフィルタの場合、フィルタ係数を変更するとそれに連動して遅延の重心が移動する事がある。また、特定のフィルタをON/OFFする機能などもよく用いられ、その場合も遅延段数が変化する事になる。図６はそのような、遅延段数が可変な回路と直列に接続する位相調整回路の実施形態である。第４の実施形態では１サイクルで４データ処理を前提としており入力信号はW_IN、X_IN、Y_IN、Z_INの４本である。それに対して出力もW_OUT、X_OUT、Y_OUT、Z_OUTの４本である。位相をずらす量をSHIFT端子から入力すると出力のセレクタ回路から所定の位相調整に相当する入力を選択的に出力する。６０１、６０２、６０３は１サイクル前の値を用いるための遅延素子、６０４はSHIFT入力の値から４本のいずれかの信号のみをアクティブにするデコーダである。

［第５の実施形態］
すべてのフィルタに遅延調整回路を付加し、すなわちすべてのフィルタ単位で遅延素子の数が同時処理数の倍数として設計したものを、単体、もしくは直列に接続して設計しても同等の効果がある。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (4)

1. 複数の入力端子と、複数のフィルタ回路で構成されるフィルタ手段と、第１の遅延手段と、第２の遅延手段を有する信号処理装置であって、
   前記複数の入力端子は、１サイクルごとに、撮像素子から読み出された複数の画素に対応する複数のデータを入力し、
   前記複数のフィルタ回路のそれぞれは、前記複数の入力端子のうち予め設定されたタップ数の入力端子であって、互いに異なる組み合わせの入力端子からのデータを入力し、フィルタ処理後のデータを出力し、
   前記第１の遅延手段は、前記複数のフィルタ回路のうち予め設定されたフィルタ回路と、前記複数の入力端子のうち予め設定された入力端子との間に設けられ、
   前記第２の遅延手段は、前記複数のフィルタ回路のうち、前記第１の遅延手段を介在しないフィルタ回路のフィルタ処理後のデータを遅延させる
   ことを特徴とする信号処理装置。
2. 前記フィルタ手段を直列に多段に接続し、
   前記第２の遅延手段は、前記多段に接続した最後のフィルタ手段におけるフィルタ回路が出力するデータを遅延させることを特徴とする請求項１に記載の信号処理装置。
3. 前記第１の遅延手段は、複数の遅延素子で構成され、
   前記信号処理装置は、外部からの制御信号に従い、複数のモードのいずれか１つに切り換える切換手段を更に有し、
   前記複数のモードには、
   前記複数の遅延素子と前記複数のフィルタ回路に従って並列にフィルタ処理を行う第１のモードと、
   前記遅延素子を電気的に直列に接続し、１つの入力端子に供給されたデータから時間的に連続する前記タップ数のデータ｛Ｄi,Ｄi-1，Ｄi-2…｝を生成して１つのフィルタ回路に供給し、当該１つのフィルタ回路によりフィルタ処理を行う第２のモード
   が含まれることを特徴とする請求項１に記載の信号処理装置。
4. 前記第１の遅延手段は、複数の遅延素子で構成され、
   前記信号処理装置は、外部からの制御信号に従い、複数のモードのいずれか１つに切り換える切換手段を更に有し、
   前記複数のモードには、
   前記複数の遅延素子と前記複数のフィルタ回路に従って並列にフィルタ処理を行う第１のモードと、
   前記遅延素子を電気的に直列に接続し、２つの入力端子に供給された、時間的に隣接する２つのデータから、時間的に連続する２組のデータ｛Ｄi,Ｄi-1，Ｄi-2…｝及び｛Ｄi+1,Ｄi、Ｄi-1…｝を生成し、２つのフィルタ回路それぞれに供給し、当該２つのフィルタ回路によりフィルタ処理を行う第３のモード
   が含まれることを特徴とする請求項１に記載の信号処理装置。

Images