JP6132610B2 - 画像処理装置、及び、画像処理方法 - Google Patents

Description

本発明は、画像処理装置、及び、画像処理方法に関する。

撮像素子から読み出された画像データのノイズ成分を精度良く除去するために多階層処理を行うことがある。また、画像データから特徴点追跡を効率良く行うために同様に多階層処理を行うこともある。

一般的に多階層処理では、撮像素子から読み出した画像データを階層的な複数の処理ステップでの低域通過フィルタ処理とダウンサンプリング処理とを行なうことにより、入力画像を複数の周波数成分に分離している。分離された各階層において、ノイズ除去など各種フィルタ処理を行う。その後、下位階層の画像を拡大して各階層の画像を合成することにより最終的な出力画像データとしている。

上記多階層処理では、各階層でローパスフィルタ等のフィルタ処理において多タップ処理を行う。各階層の画像端で多タップ処理を行う場合は、階層ごとに無効画素領域に余分画素を確保する必要がある。無効画素領域においてもローパスフィルタとダウンサンプリング処理が行われるため、下位階層において余分画素を確保するときは上位階層ではほぼ倍の画素数が必要となり、最上位階層においては多くの余分画素が必要になってしまう。例えば、５階層処理で各階層のローパスフィルタを水平３タップにした場合、各階層で必要な余分画素数を図７を参照して説明する。

図７は、従来の各階層の画像端の処理方法を示す図である。図７において、右側が有効画素領域で左側が無効画素領域である。無効画素領域に注目すると、第４階層では１画素必要である。さらに第３階層では３画素、第２階層では７画素、第１階層では１５画素必要となる。

フィルタ精度や画質を向上させるためにはフィルタのタップ数は多いほうが良い。しかしフィルタのタップ数を増やすと、入力画像データにおいて必要な余分画素数はさらに多くなる傾向にある。

無効画素領域の余分画素数が多くなると、その分だけ入力画像全体に対して有効画素領域で確保できる画素数が少なくなり、出力画像の画角が狭くなってしまうという問題があった。さらに、各階層の無効画素領域に対しても有効画素領域と同様にローパスフィルタ，ダウンサンプリング処理を行うため、有効画素領域のみ処理する場合に比較して余分な処理時間がかかってしまうという問題があった。

上記問題に対して特許文献１では、多階層処理の際に各階層において無効画素領域の余分画素を近傍の有効画素領域からコピー行うことにより、各階層における余分画素を確保している。

特許文献２では、追跡する特徴点が画像端の無効画素領域にある場合、上位階層の画像をアフィン変換し、特徴点を画像の中心方向を移動することによって抽出し、その後逆アフィン変換を施している。上記処理によって、多階層処理において視野率が低下しても無効画素領域で特徴点を抽出することができる。

特開平０５−３０４６２１号公報 特願２０１０−７９３７５号公報

しかしながら、上述の特許文献１に開示された従来技術では、無効画素領域の画素を同じ階層の有効領域の画素からコピーするため、下位階層において画像端における画素の重心が中心からずれてしまい、画質が低下してしまうという問題があった。

また、上述の特許文献２に開示された従来技術では、アフィン変換回路が必要になるため、回路規模が増大してしまう。また、変換処理により画質が劣化してしまうため、ノイズ除去などの現像処理には適応が困難である。

そこで本発明は、多階層処理において、簡単な回路で無効画素領域の画素数を最小限にし、各階層における画像端の画素の重心ずれが少なくなる画像処理技術を提供する。

上記目的を達成するために、本発明は、
原画像データに対してダウンサンプリング処理を繰り返し行って、画素数が夫々異なる複数の階層の画像データを生成する画像処理装置であって、
入力された画像データにおける有効画素領域外の無効画素領域に余分画素を生成する処理を施す余分画素生成手段と、
前記余分画素を含む画像データに対して、所定タップ数に応じたフィルタ処理及びダウンサンプリング処理を施すサンプリング処理手段と、
を備え、
前記余分画素生成手段は、
第２の階層の画像データを生成する処理において、前記第２の階層よりも上位階層である第１の階層の画像データを生成する処理において用いられた余分画素を複製して余分画素を生成することを特徴とする。

本発明によれば、多階層処理において、簡単な回路で無効画素領域の画素数を最小限にし、各階層における画像端の画素の重心ずれが少なくなる画像処理技術を提供できる。

発明の実施形態に対応する画像処理装置の構成例を示す機能ブロック図 多階層画像生成部１０４の構成例を示すブロック図 実施形態１による各階層の画像端の処理方法を説明する図 有効画素領域のコピーによる従来の各階層の画像端の処理方法を説明する図 実施形態２による各階層の画像端の処理方法をを説明する図 実施形態３による各階層の画像端の処理方法を説明する図 従来の各階層の画像端の処理方法を説明する図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［実施形態１］
以下、図１乃至５を参照して、本発明の実施形態１について説明する。図１は、本発明の画像処理装置の実施形態１の機能ブロック図である。当該画像処理装置は、例えば、カメラなどの撮像装置として実現することができる。また、カメラに限らず、撮影機能を有する装置であれば、ビデオカメラ、携帯電話、スマートフォン、パーソナルコンピュータ等であってもよい。また、撮影機能が無い場合であっても、メモリに記憶されたＲＡＷデータを処理する装置として実現することもできる。

図１において、結像光学部１０１はレンズや絞り等からなり、フォーカス調節や露出調節を行う。撮像素子１０２は光学像を電気信号に変換するＣＣＤ、ＣＭＯＳ等である。Ａ／Ｄ変換回路１０３は撮像素子１０２からのアナログ画像信号をデジタル画像データに変換する。多階層画像生成部１０４はＡ／Ｄ変換回路１０３から出力された原画像データから複数の異なる帯域のデジタル画像データを生成し、多階層画像を出力する。信号処理部１０５には多階層画像生成部１０４から入力された多階層画像に対し、ノイズ除去、ガンマ処理、補間処理、マトリクス変換、合成処理等を施して映像データを作成する。メモリインタフェース（Ｉ／Ｆ）１０６はメモリ（ＤＲＡＭ）１０８との間で映像データや各種制御データの書き込み／読み出しを行う。ＣＰＵ１０７は各種制御を司る制御部として機能する。表示部１０９は液晶モニター等からなり、信号処理部１０５にて作成された映像データを随時表示し、使用者がリアルタイムで被写体の様子を観察できるようにする。

なお、図１の画像処理装置において、所定のブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

以上の構成において結像光学部１０１に入射した光は撮像素子１０２の受光面に結像され、撮像素子１０２からアナログ画像信号として出力される。アナログ画像信号はＡ／Ｄ変換回路１０３でデジタル画像データ（ＲＡＷデータ）に変換され、多階層画像生成部１０４に入力される。

図２は、多階層画像生成部１０４の構成を示すブロック図である。図２において多階層画像生成部１０４は、余分画素生成部、ディレイライン（ＤＬ）ブロック、低域通過フィルタ（ＬＰＦ）ブロックおよびダウンサンプリング（ＤＳ）ブロックを含む処理回路２０１から２０４を複数段直列に接続して構成される。本実施形態では、ＬＰＦは例えば水平、垂直３タップフィルタで構成することができる。

図２を参照して多階層画像生成部１０４における処理について説明する。多階層画像生成部１０４に入力画像データＳｉｎが入力される。Ｓｉｎは、Ａ／Ｄ変換回路から出力された原画像データである。Ｓｉｎは分岐し、一方はそのまま出力されて、入力画像と同じサイズの第１階層画像Ｓｏｕｔ１となる。Ｓｉｎのもう一方は余分画素生成部１に入力される。余分画素生成部１は画像端の無効画素領域に余分画素を生成し、ＤＬ１に出力する。ＤＬ１は後段で垂直方向にローパスフィルタを掛けるために異なるラインの画像データを保管し、待ち合わせて出力する。ＤＬ１から出力された画像データに対してＬＰＦ１は水平・垂直方向にローパスフィルタ処理を行う。そしてＤＳ１で水平・垂直方向に２分の１サイズにダウンサンプリングされ、第２階層の出力画像データＳｏｕｔ２として生成されて後段及び外部に出力される。同様の処理を複数回実行することで、Ｓｏｕｔ２、Ｓｏｕｔ３、Ｓｏｕｔ４から入力される画像データを使用して第３階層の出力画像データＳｏｕｔ３および第４階層の出力画像データＳｏｕｔ４、第５階層の出力画像データＳｏｕｔ５が生成される。

上記の処理により、本実施形態では多階層画像生成部１０４は入力画像を５つの階層に分割し、各階層画像Ｓｏｕｔ１〜Ｓｏｕｔ５は、最上位階層である第１階層に対して等倍、２分の１、４分の１、８分の１、１６分の１の画像データを出力する。また、ローパスフィルタ処理を段階的に施しているので、高周波成分が段階的に除去され、生成されるデジタル画像データの帯域も段階的に低域寄りになる。なお、階層数およびダウンサンプリング倍率はこの限りではなく、また、適用するフィルタを変更して入力画像を他の周波数帯域に分割する等の構成にしてもよい。

図３を参照して、実施形態１における各階層の画像端の処理方法について説明する。図３において、入力される画像データの左端部における画素をＡ１からＭ１とする。したがってＡ１〜Ｍ１は第１階層（Ｓｏｕｔ１）、Ａ２〜Ｇ２は第２階層（Ｓｏｕｔ２）、Ａ３〜Ｄ３は第３階層（Ｓｏｕｔ３）、Ａ４〜Ｃ４は第４階層（Ｓｏｕｔ４）、Ａ５は第５階層（Ｓｏｕｔ５）となる。第１階層から第４階層までの画像データは、処理回路２０１から２０４での処理対象の画像データである。それと同時に、第２階層から第５階層の画像データは、処理回路２０１から２０４からの出力画像データである。

点線より左側が無効画素領域、右側が有効画素領域である。有効画素領域の左端画素の座標を０とし、横軸をとっている。無効画素領域の余分画素の画素数は水平方向が１画素である。説明を簡単にするためにローパスフィルタの水平方向タップ数を３タップ、フィルタ係数を[１，２，１]とし、上位階層の同位置および左右の３画素に対してフィルタを掛ける。なお、ここでは３タップのフィルタを用いるために余分画素は１画素で足りるが、タップ数に応じて余分画素の画素数も増加する。例えば、５タップであれば、２画素、７タップであれば３画素になる。

ダウンサンプリングはローパスフィルタ出力を１画素ごとに間引いて出力する。画素と画素をつなぐ線は、ＤＳにおける上位階層と下位階層の画素の関係を表している。例えばＢ２の画素値は（Ａ１＋Ｂ１＋Ｃ１）／４で表すことができる。無効画素領域におけるハッチングブロックは、無効画素のうち、本実施形態では使用されないものを示している。各階層における余分画素を、すべて無効画素領域の画素からのローパスフィルタおよびダウンサンプリングによって生成する場合であれば、これらのハッチングされた画素も必要となる。なお、本実施形態では第1階層における無効画素数は１５画素必要になる。

本実施形態では、各下位階層におけるＬＰＦ処理時に必要な無効画素領域の画素を、第１階層の余分画素のコピーにより生成する。即ち、第２階層の余分画素Ａ２、第３階層の余分画素Ａ３、及び、第４階層の余分画素Ａ４の各画素値は、余分画素Ａ１の画素値をコピーして用いる。

しかし、必ず第１階層の余分画素を使用しなければならないわけではない。例えば、ＬＰＦ処理を行う階層よりも上位の階層の余分画素をコピーして使うこともできる。この場合、第３階層の余分画素Ａ３の画素値は、余分画素Ａ２の画素値をコピーして用い、第４階層の余分画素Ａ４の画素値は、余分画素Ａ３の画素値をコピーして用いることができる。上位階層の余分画素は、上段の処理回路或いは当該処理回路の余分画素生成部から取得することができる。

次に図３および図４を参照して、実施形態１における余分画素の生成方法と、特許文献１における無効画素領域の画素を近傍の有効画素領域からコピーする方法とで、重心のずれがどの程度違ってくるかを説明する。フィルタ処理に際し、画素の空間的配置に起因して特に第３階層以下の階層で、有効画素領域方向各階層の画像端において余分画素の重心のずれが生じる。図３を参照して本実施形態による画像端の各画素の重心のずれについて説明する。

まず、画素Ｂ２の重心は（−１＋０×２＋１）／４＝０である。画素Ａ２は最上位階層のＡ１からコピーしているので、画素の座標はＡ１と同一となる。よって、画素Ｂ３の重心は（−１＋０×２＋２）／４＝１／４＝０．２５となる。同様にして上記の方法で算出すると、Ｂ４の重心は（−１＋１／４×２＋４）／４＝７／８≒０．９、Ａ５の重心は（−１＋７／８×２＋８）／４＝３５／１６≒２．２となる。次に、図４を参照して、無効画素領域の画素を近傍の有効画素領域からコピーした場合の、画像端における各画素の重心のずれ量について説明する。図４は図３の方法と比較して、第２から第４階層における余分画素の生成方法が、同じ階層で近傍の有効画素領域の画素からコピーする方法である点で異なる。即ち、余分画素Ａ２の画素値は、画素Ｂ２の画素値をコピーしたものであり、同様に余分画素Ａ３、Ａ４の画素値はそれぞれ画素Ｂ３、Ｂ４の画素値をコピーしたものである。

この場合画素Ｂ２の重心は（−１＋０×２＋１）／４＝０である。画素Ａ２は画素Ｂ２からコピーして、画素Ｂ３の重心は（０＋０×２＋２）／４＝１／２＝０．５となる。Ｂ４の重心は（１／２＋１／２×２＋４）／４＝１１／８≒１．４、Ａ５の重心は（１１／８＋１１／８×２＋８）／４＝９７／３２≒３．０となり、下位階層ほど重心のずれは大きくなる。

以上の計算結果を比較すると、本実施形態の場合は、第２、第３、第４、第５階層の順で、０：０．２５：０，９：２．２ に対し、従来方法では、０：０．５：１．４：３．０ となる。なお、値が０に近いほどずれが小さくなる。このように、本実施形態による余分画素生成方法によれば、無効画素領域の画素を近傍の有効画素領域からコピーする場合に比べて重心のずれを小さくすることができる。

以上の本実施形態では、多階層処理において無効画素領域の余分画素数を最小限にすることで、無効画素領域の余分画素をローパスフィルタとダウンサンプリング処理によって生成する方法に比較して処理効率と入力画像に対する出力画像の視野率改善することができる。また、余分画素を有効画素領域からコピーする方法に比較して画像端における画素の重心ずれを少なくすることができる。さらに上記の処理は簡単な回路で実現することができるので回路規模の削減効果が期待できる。

［実施形態２］
次に実施形態２について説明する。上記の実施形態１では、下位階層における余分画素を、第１階層又は上位階層の余分画素のコピーにより生成した。これに対して実施形態２では、上位階層における無効領域の画素を縮小して下位階層の余分画素を生成する方法と、帯域の異なる上位階層の余分画素をコピーして下位階層の余分画素を生成する方法とを組み合わせて用いる。
実施形態１では、最上位階層である第１階層における無効画素領域の画素をコピーして、第２階層以下の下位階層の余分画素として用いた。しかし無効画素領域と有効画素領域の境界付近にエッジやノイズがあり高周波成分が大きい場合は、低周波数成分の多い下位階層における画像端で高周波成分の影響を大きく受けてしまう可能性がある。そこで本実施形態では、第１階層における余分画素数を実施形態１よりも多く確保する。具体的に実施形態１では１画素だけだったのに対し、後述する図５の例では７画素を確保している。その上で上位階層における余分画素は画素のダウンサンプリングにより生成し、下位階層における余分画素は上位階層の余分画素内から同じ画素数をコピーする。なお、確保すべき画素数は、フィルタのタップ数と処理回路の段数に基づいて決定できる。

図５を用いて実施形態２における余分画素の生成方法について説明する。図５において無効画素領域における水平画素数はＡ１からＧ１の７画素である。第２から第４階層における余分画素は以下の手順により生成する。第２、第３階層の画像データにおける余分画素はそれぞれ１階層上位の階層、即ち第１、第２階層の画像データの画素をダウンサンプリングすることにより生成する。第４階層の余分画素は第３階層の余分画素をコピーすることにより生成する。なお、ダウンサンプリングの際にローパスフィルタ処理を施してもよい。例えば、Ａ２の余分画素値を決定する際にＡ１、Ｂ１、Ｃ１の画素値につき３タップ、フィルタ係数を[１，２，１]のローパスフィルタ処理を施しても良い。以上の処理により、第２、第３、第４階層における画素Ｄ２、Ｂ３、Ｂ４の重心は０となりずれが無くなる。また、画素Ａ５についても、余分画素Ａ３をコピーしているので、（−４＋０×２＋８）／４＝１となり、実施形態１における２．２と比較して、重心のずれが大幅に減少していることが分かる。

以上の実施形態２では、必要な無効画素領域の画素数は、全階層の余分画素をすべて上位階層の画素からダウンサンプリングによって生成する場合の半分程度になり、重心のずれもより少なくなる。よって、実施形態２における余分画素の生成方法は、実施形態１よりも無効画素領域の画素数を多く確保できる場合に有効な方法である。

［実施形態３］
次に実施形態３を説明する。上記の実施形態１では、下位階層における余分画素を、第１階層又は上位階層の余分画素のコピーにより生成した。これに対して実施形態３では、下位階層の余分画素を、帯域の異なる上位階層の無効画素領域における余分画素と、同じ階層の有効画素領域における余分画素とをある係数比で重み付け加算して生成する。図６を用いて実施形態３における余分画素の生成方法について説明する。図６において無効画素領域における水平画素数はＡ１の１画素である。第２から第４階層における余分画素は以下の手順により生成する。画素Ａ２は第１階層の無効画素領域における余分画素Ａ１のα１倍と第２階層の有効画素領域における近傍の画素Ｂ２の（１−α１）倍とを足し合わせた値を生成する。同様にしてＡ３およびＡ４画素を算出することにより各階層の余分画素を生成する。なお、下位階層で用いる係数α２、α３はα１と同じ値であっても良いし、異なる値であっても良い。

係数αの値が１に近くなるほどＡ１の画素値の割合が大きくなり、値が０に近くなるほど同じ階層の有効画素領域の画素の割合が大きくなる。従って、無効画素領域と有効画素領域の境界付近にエッジやノイズがあり高周波成分が大きい場合は、高周波を含むＡ１の画素値の割合を少なくし、同階層の有効画素領域の画素の割合を大きくする方が画像端での高周波成分の影響を少なくすることができる。一方、無効画素領域と有効画素領域の境界付近で特に高周波成分が大きくない場合、Ａ１の画素値の割合を高くして、重心のずれを少なくすることができる。この傾向は、階層が下に行くほど強くなり、例えば、第４階層では、有効画素は高周波成分がかなり欠落しているので、無効画素領域と有効画素領域の境界付近に高周波成分が多く含まれている場合にはＡ１の割合を上位階層よりも更に下げる方が望ましい。例えばα１＞α２＞α３とすることができる。逆に境界付近に高周波成分が多く含まれていない場合には、例えばα１＝α２＝α３とすることができる。

本実施形態では、必要な無効画素領域の画素数は、実施形態１と同じで１画素である。また、実施形態２と同様、無効画素領域と有効画素領域の境界付近にエッジやノイズがあり高周波成分が大きい場合で、無効画素領域の画素数をあまり確保できない場合に有効である。すなわち、無効画素領域の画素数を最小限にしながら、係数αの値を制御することで境界付近に高周波成分が大きい場合に対応することができる。

なお、原画像データの全体を有効画素領域とすることもできる。この場合、最上段の処理回路２０１の余分画素生成部１は、第１階層の無効画素領域のＡ１画素を、原画像データの有効画素領域端部の画素Ｂ１をコピーして生成する。２段目以降の余分画素生成部では上位階層の余分画素を使って対象階層の余分画素を算出することができる。よって、すべての階層で有効画素領域からコピーする場合に比べて、下位階層における余分画素の重心ずれを少なくすることができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 原画像データに対してダウンサンプリング処理を繰り返し行って、画素数が夫々異なる複数の階層の画像データを生成する画像処理装置であって、
   入力された画像データにおける有効画素領域外の無効画素領域に余分画素を生成する処理を施す余分画素生成手段と、
   前記余分画素を含む画像データに対して、所定タップ数に応じたフィルタ処理及びダウンサンプリング処理を施すサンプリング処理手段と、
   を備え、
   前記余分画素生成手段は、
   第２の階層の画像データを生成する処理において、前記第２の階層よりも上位階層である第１の階層の画像データを生成する処理において用いられた余分画素を複製して余分画素を生成することを特徴とする画像処理装置。
2. 前記余分画素生成手段は、
   上位階層の画像データを生成する処理において用いられた余分画素と同じ画素数の余分画素を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記余分画素生成手段は、
   所定の階層以下においてのみ、上位階層の画像データを生成する処理において用いられた余分画素を複製して余分画素を生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記原画像データの有効画素領域の端部の画素を余分画素として用いて最初のダウンサンプリング処理を行うことを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 原画像データに対してダウンサンプリング処理を繰り返し行って、画素数が夫々異なる複数の階層の画像データを生成する画像処理装置であって、
   入力された画像データにおける有効画素領域外の無効画素領域に余分画素を生成する処理を施す余分画素生成手段と、
   前記余分画素を含む画像データに対して、所定タップ数に応じたフィルタ処理及びダウンサンプリング処理を施すサンプリング処理手段と、
   を備え、
   前記余分画素生成手段は、
   第２の階層の画像データを生成する処理において、前記第２の階層よりも上位階層である第１の階層の画像データを生成する処理において用いられた余分画素と、前記入力された画像データの有効画素領域の端部の画素とを重み付け加算して余分画素を生成することを特徴とする画像処理装置。
6. 前記重み付けは、下位階層の画像データを生成する処理ほど、前記第１の階層の画像データを生成する処理において用いられた余分画素に対する重みを小さくすることを特徴とする請求項５に記載の画像処理装置。
7. 原画像データに対してダウンサンプリング処理を繰り返し行って、画素数が夫々異なる複数の階層の画像データを生成する画像処理方法であって、
   入力された画像データにおける有効画素領域外の無効画素領域に余分画素を生成する処理を施す工程と、
   前記余分画素を含む画像データに対して、所定タップ数に応じたフィルタ処理及びダウンサンプリング処理を施すサンプリング処理工程と、
   を含み、
   第２の階層の画像データを生成する処理において、前記第２の階層よりも上位階層である第１の階層の画像データを生成する処理において用いられた余分画素を複製して余分画素を生成することを特徴とする画像処理方法。
8. 原画像データに対してダウンサンプリング処理を繰り返し行って、画素数が夫々異なる複数の階層の画像データを生成する画像処理方法であって、
   入力された画像データに対して、前記画像データの有効画素領域に含まれる画素と前記有効画素領域に含まれない余分画素とを用いて、所定タップ数に応じたフィルタ処理及びダウンサンプリング処理を施すサンプリング処理工程を含み、
   第２の階層の画像データを生成する処理で用いられる余分画素の画素値は、前記第２の階層よりも上位階層である第１の階層の画像データを生成する処理において用いられた余分画素の画素値と同値であることを特徴とする画像処理方法。

Images