JP6562687B2 - 画像変形装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は画像変形処理を行うための画像処理装置、画像処理方法、およびプログラムに関する。

画像処理装置においては画像変形処理が必要とされる場合が多々ある。例えばプロジェクタ製品においてはキーストーン（台形）補正処理と呼ばれる画像変形処理が行われている。具体的に説明すると、プロジェクタの出力光がスクリーンに投影されると、スクリーン上に投影される有効領域はプロジェクタの設置傾き角や、光学的なレンズシフトなどに起因して台形状に歪みが生じる。この台形状の歪みがあるままではユーザにとって見づらいため、逆台形状に有効領域を画像変形し、スクリーン上に投影される有効領域が矩形状になるよう画像変形する処理が行われている。この画像変形処理はキーストーン（台形）補正処理として一般に知られている。

キーストーン（台形）補正処理などの目的で画像変形処理を行うためには、入力画像をフレームメモリに記憶した後に、出力画像の各座標に対応する入力画像座標の近傍画素から、出力画像の各座標を補間して生成する必要がある。この補間方法として、例えばバイキュービック補間方式などの方法が一般に知られている。

ところで映像に対する変形処理として、拡大縮小等のスケーリング、回転等のアフィン変形、プロジェクタのキーストーン（台形）補正、レンズ歪み補正、樽型歪曲補正、糸巻き型歪曲補正、円柱・角柱投影時の歪み補正等の種々の変形処理が知られている。これらの変形処理を行うためには、入力画像における座標と、出力される変形画像における座標の変換処理が必要となる。このような変形処理の実現方法としては、必要とされる変形処理ごとに座標変換処理を実装する方法があるが、この方法では予め決められた変形処理しか出来ないという課題がある。

これに対し、特許文献１には、画像を格子状に区切って格子の交差する点（以降、格子点と呼ぶ）を予め与え、変形装置の座標変換処理ではこれらの格子点を参照して内部の座標を補間計算によって得る方法が開示されている。この方法によれば、画像の画素数に対して格子点数は間引かれているので計算時間が短縮され、ソフトウエアによる実装が可能になる。また、変形装置の座標変換処理は格子点から各画素の変形前座標を補間計算するというシンプルな構成で済むのでハードウエアで実装可能となる。この結果、ソフトウエアによって必要な座標変換処理を実装すれば、多様な座標変換処理に対応できるという利点がある。

しかしながらこの方法にも課題がある。前述の画像を格子状に分割して格子点間に存在する座標を補間演算する方法は、構成が容易な反面、格子点が保持すべきデータ量が比較的大きい。そのため、変形装置の座標変換処理のために必要な記憶装置のサイズが増大するという課題がある。

この課題に対し、特許文献２には、格子点が保持する変形前座標を、原点からの座標値ではなく、変形後座標からの相対座標とすることにより、保持すべきデータサイズを削減できることが記載されている。具体的には、仮に、格子点が保持するｘ、ｙ座標が、それぞれ符号１ｂｉｔ、整数１３ｂｉｔ、小数１０ｂｉｔの計２６ｂｉｔで表された値であったのを従来例とする。これに対し、相対座標で整数２ｂｉｔまで変形を許容するとするなら、格子点が保持するｘ、ｙ座標は、それぞれ符号１ｂｉｔ、整数２ｂｉｔ、小数１０ｂｉｔの計１３ｂｉｔで表された値となり、格子点が保持すべきデータサイズが半減できる。

特許第４６５７３６７号公報 特開２０１０−２５７３５７号公報

近年、映像処理装置の高解像度化や高フレームレート化に伴い、ＬＳＩの動作周波数に対する画像処理の処理レート（ドットクロック）は相対的に増大している。高い処理レートを低い動作周波数で満たすための方法としては並列化があるが、Ｎ並列の実装には基本的にＮ倍のリソースが必要になる。変形装置の座標変換処理に必要となる記憶装置のサイズは前述のとおり比較的大きく、並列処理数に比例したリソースをＬＳＩ上に確保することは困難になってきている。

本発明は上述の課題を解決するためのものであり、画像変形処理を行う装置において、回路量を低減しつつ並列処理数を増加させることを目的とする。

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を有する。すなわち、入力画像に対して変形処理を行うことにより変形画像を出力する画像処理装置であって、前記変形画像の座標系において、複数の画素を包含するように配置された格子点の座標を、該格子点の座標に対応する前記入力画像の座標系における座標と関連付けて記憶する記憶手段と、前記記憶手段に記憶される前記格子点の座標に基づいて、前記変形画像の座標系におけるＰ個（Ｐは自然数）の着目画素の座標に対応する前記入力画像の座標系における座標を補間演算により生成する生成手段とを有し、前記変形画像の座標系において前記Ｐ個の着目画素はＭ個（Ｍは自然数）の格子点により形成される領域に包含され、前記記憶手段は、該Ｍ個の格子点の座標を、Ｍ並列にアクセス可能に記憶することを特徴とする。

本発明によれば、画像変形処理を行う装置において、回路量を低減しつつ並列処理数を増加させることが可能になる。

実施形態１における画像処理装置の構成の一例を示す図。 格子点座標と着目画素の関係を示す図（その１）。 格子点座標と着目画素の関係を示す図（その２）。 変形前座標の生成処理を説明する図。 実施形態１における走査部の処理フローを示す図。 実施形態１における参照部の処理フローを示す図。 実施形態１における記憶部の処理フローを示す図。 実施形態１における生成部の処理フローを示す図。 実施形態１における参照部の処理を説明する図。 従来技術における画像処理装置の構成の一例を示す図。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［実施形態１］
図１に、実施形態１における画像処理装置１０１の構成の一例を示す。画像処理装置１０１は、入力画像１００に対して画像変形処理を行い、変形画像１０２を出力する。具体的には、画像処理装置１０１は、変形後座標系において変形画像１０２を走査することにより、変形画像１０２の各画素の座標を取得する。そして、取得された変形画像１０２の各画素の座標値に対応する、変形前である入力画像１００の座標を求め、求められた座標値の近傍画素に基づいて補間演算して変形画像１０２の各画素を生成する。以降、画像処理装置１０１の処理の流れを、順を追って説明する。なお、以降では説明のために、入力画像１００の座標系を変形前の座標系、変形画像１０２の座標系を変形後の座標系と呼ぶ。

画像処理装置１０１において、まず、走査部１０３は、変形後の座標系を走査し、該座標系において、並列処理される画素数であるＰ個（Ｐは自然数）の画素を１つの組とする着目画素を生成する。この処理を図２を用いて説明する。図２は、変形後の座標系２００において、格子点座標２０１と着目画素２０２の関係の一例を示す図である。格子点座標２０１には、変形後の座標系２００の各座標位置に関連付けられる変形前の座標系における座標位置が記憶されている。本実施形態では、図２に示すように、格子点座標２０１は領域毎にＡ〜Ｄの４つに分類され、これらは記憶部１０５において保持される。記憶部１０５は、Ａ〜Ｄで分類される４つの群の格子点座標２０１を並列にアクセス可能である。このようにすることで、変形後の座標系２００において、いずれの着目画素２０２が選択された場合でも、記憶部１０５は、着目画素２０２を包含する４つの格子点座標２０１を並列にアクセス可能となる。

走査部１０３は、４つの格子点座標２０１で形成される領域内に存在するように、着目画素２０２を生成する。格子点は、複数の画素を挟むように配置されている。図２は、格子点間隔（格子点座標２０１間の間隔）が４画素の例を示しており、また、走査部１０３が、Ｘ軸方向に２画素（Ｐ＝２）を１つの組として着目画素をラスタ順に走査する場合を示している。すなわち、本実施形態では、格子点間隔はＰの整数倍である。この場合、走査部１０３は、４つの格子点座標２０１で形成される領域の中で、原点（左上）の側にある座標から右下の画素の順に、具体的には、数字１〜８で示されるラスタ順に着目画素２０２を生成する。

２個の着目画素２０２の選び方は必ずしも図２に示したとおりでなくともよく、Ｙ軸方向に２画素連続する２つの画素が１つの組として選択されても良い。また、２個の着目画素は隣接している必要もないので、市松状に離れた２画素が選択されても良い。またＰは、特定の数に限定されない。ただし、走査部１０３は、Ｐ個の着目画素２０２を、Ｍ個（Ｍは自然数）に分割された格子点座標２０１で形成される１つの領域に収まるように決定する。

一方、図３は、変形後の座標系３００において、格子点座標３０１と着目画素３０２の関係の他の一例を示す図である。図３では、並列に選択されるＰ個の着目画素３０２が、Ｍ個に分類された格子点座標３０１（Ａ，Ｂ，Ｃ，Ｄ）で形成される１つの領域に収まらない例が示されている。この例では、Ｘ軸方向に隣接する着目画素２０２が、２つの格子の領域にまたがっている。走査部１０３は、図３のようにならないように、着目画素を決定する。

再度図１に戻って説明を続ける。走査部１０３は、Ｐ個の着目画素それぞれの座標を参照部１０４へ出力する。参照部１０４は、Ｐ個の着目画素の座標に基づいて、Ｐ個の着目画素を包含する格子点座標の識別子を決定し、記憶部１０５に対する読出しアドレスとして出力する。この処理を図９を用いて説明する。

図９は、参照部１０４の処理を説明する図である。図９には、変形後座標系９００、格子点座標９０１、着目画素９０２の関係が示されている。なお、図９においては、格子点座標９０１を識別するために、括弧内にｘ、ｙ方向の識別子が付与されている。すなわち、格子点座標９０１は、Ａ〜Ｄ［ｙ］［ｘ］の形式で示されており、例えばＡ［０］［１］は、格子点座標ＡのＸ軸方向１番目、Ｙ軸方向０番目であることを示す。図９において着目画素９０２の位置が選択された場合は、参照部１０４は、「ＮＮ」で示される組の着目画素９０２の座標を包含する格子点座標を決定する。具体的には、参照部１０４は、着目画素９０２の座標を包含する格子点座標の識別子として、Ｄ［０］［０］、Ｃ［０］［１］、Ｂ［０］［１］、Ａ［１］［１］を選択する。参照部１０４は、選択した識別子を、Ｐ個の着目画素の座標（以下、着目座標）を包含する読出しアドレスとして出力する。

記憶部１０５は、入力されたＰ個の着目座標を包含する格子点座標の読出しアドレスに対応する格子点座標で保持される変形前座標を出力する。図９において説明すると、記憶部１０５は、着目画素９０２を包含する４つの格子点座標、Ｄ［０］［０］、Ｃ［０］［１］、Ｂ［０］［１］、Ａ［１］［１］のそれぞれで保持される変形前座標を生成部１０６へ出力する。

生成部１０６は、４つの格子点座標で保持される変形前座標と、Ｐ個の着目座標に基づいて、Ｐ個の着目座標に対応する変形前座標を補間演算によって生成する。この処理を図４を用いて説明する。図４は、変形前座標の生成処理を説明する図である。生成部１０６は、着目画素４０４に対し、格子点座標４０１Ａ〜Ｄから、まずＹ軸方向の変形前座標を補間演算により求める。具体的には、生成部１０６は、格子点座標４０１のＡとＣから第１の補間点４０２を、格子点座標４０１のＢとＤから第２の補間点４０３を、それぞれ補間演算により求める。次に生成部１０６は、第１の補間点４０２と第２の補間点４０３とから着目画素４０４の変形前座標を、Ｘ軸方向において補間演算により求める。

このとき、本実施形態では、生成部１０６が着目画素４０４の並ぶ方向と垂直の方向の補間演算を最初に行うことを特徴とする。この処理により、回路リソースが削減される。仮に、生成部１０６が着目画素４０４の並ぶ方向と同じ方向の補間演算を先に行った場合は、まずＸ軸方向の補間点の計算が、上端、下端に対して、それぞれ着目画素４０４の画素の数、すなわち並列処理画素数分必要になる。具体的には、図４の例では、並列処理画素数Ｐ＝２であるから、それぞれ上端、下端について、計２×２＝４回の補間演算が必要になる。次に、個々の画素に対してＹ軸方向の補間演算が必要となるので、加えてＰ＝２回の補間演算が必要となり、計４＋２＝６回の補間演算が必要になる。このことを一般化すると、並列処理画素数をＰとした場合に、補間演算の回数は２Ｐ＋Ｐ＝３Ｐ回となる。

一方、生成部１０６が着目画素４０４の並ぶ方向と垂直の方向の補間演算を最初に行った場合の補間演算の回数は、並列処理画素数Ｐによらず垂直方向分は２回である。これに加えて、水平方向分の補間演算がＰ回必要となる。従って、補間演算の回数は、２＋Ｐ回となる。２つの演算方法を比較すると、並列処理画素数Ｐ＝１のときは、演算回数は両者同じであるが、並列処理画素数Ｐ＞２のときは、着目画素４０４の並ぶ方向とは垂直方向の補間演算を最初に行う演算方法の方が補間計算回数が少ない、という利点がある。

生成部１０６は、上述のように生成した、Ｐ個の着目座標に対応する変形前座標を画像バッファ１０７と補間部１０８へ出力する。画像バッファ１０７には、入力画像１００とＰ個の着目座標に対応する変形前座標が入力され、画像バッファ１０７は、入力画像１００において、入力された変形前座標により指示される座標を中心とする参照画素を決定し、補間部１０８へ出力する。参照画素のサイズは、一般的に知られるバイキュービック法を用いる場合は４×４の１６画素であり、同様に公知技術のバイリニア法を用いる場合は２×２の４画素である。

補間部１０８は、画像バッファ１０７から入力された参照画素と、生成部１０６から入力された変形前座標の画素に基づいて、ピクセル補間処理により変形画像を算出して出力する。ピクセル補間処理として、例えばバイキュービック法やバイリニア法があるが、いずれも公知技術であるため説明を割愛する。補間部１０８は、得られた変形画像１０２を出力し、画像処理装置１０１は一連の処理を終える。

次に、図５〜図８を用いて、図１に示す各構成要素の処理フローを説明する。図５は、走査部１０３の処理フローを示す。走査部１０３の処理は、Ｓｔａｒｔ（ステップ５００）から開始し、走査部１０３は、変形後座標系において全ピクセルに対して以下の繰り返し処理を行う（ステップ５０１〜５０６）。すなわち、走査部１０３は、記憶部１０５の並列アクセス可能な領域に包含されるよう着目座標を生成する処理（ステップ５０３）をＰ回並列に繰り返す（ステップ５０２〜５０４）。次に、走査部１０３は、生成したＰ個の着目座標を並列出力する（ステップ５０５）。走査部１０３は、ステップ５０２〜５０５の処理を変形後座標系において全ピクセルに繰り返し実施する。その後、走査部１０３の処理はＥｎｄ（ステップ５０７）で終了する。

図６は、参照部１０４の処理フローを示す。参照部１０４の処理は、Ｓｔａｒｔ（ステップ６００）から開始し、参照部１０４は、入力されたＰ個の着目座標を包含する４つの格子点座標に対応する読出しアドレスを特定・出力する処理（ステップ６０２）を、走査部１０３から出力された着目座標すべてについて繰り返す（ステップ６０１〜６０３）。その後、参照部１０４の処理はＥｎｄ（ステップ６０４）で終了する。

図７は、記憶部１０５の処理フローを示す。記憶部１０５の処理は、Ｓｔａｒｔ（ステップ７００）から開始し、記憶部１０５は、入力されたアドレスにもとづき、変形前座標をＭ並列で取得、出力する処理（ステップ７０２）を、参照部１０４から出力された読出しアドレスすべてについて繰り返す（ステップ７０１〜７０３）。その後、記憶部１０５の処理はＥｎｄ（ステップ７０４）で終了する。

図８は、生成部１０６の処理フローを示す。生成部１０６の処理は、Ｓｔａｒｔ（ステップ８００）から開始し、生成部１０６は、Ｐ個の着目座標を包含する格子点座標で保持される変形前座標と、着目座標から、着目画素の変形前座標を生成する処理を（ステップ８０３）をＰ回並列に繰り返す（ステップ８０２〜ステップ８０４）。次に、生成部１０６は、生成したＰ個の変形前座標を並列出力する（ステップ８０５）。生成部１０６は、この処理を、走査部１０３から出力された着目座標すべてについて繰り返す（ステップ８０１〜８０６）。その後、生成部１０６の処理はＥｎｄ（ステップ８０７）で終了する。

このように、本実施形態における画像処理装置は、上述の処理により入力画像１００から変形画像１０２を生成する。この処理に際して、記憶部１０５で保持されるべきデータ量は、１並列処理の時と同じままでＰ並列処理が可能となる。また、生成部１０６において、補間演算処理の順番を着目画素の並びに応じて変えることで、補間演算に必要となる回路リソースを削減できる。

なお比較のために、着目画素Ｐ個を並列に変形処理する画像処理装置の構成を図１０に示す。図１０について、本実施形態における画像処理装置１０１の構成を示した図１との差分を説明する。走査部１００３は、着目画素Ｐ個を並列に出力する。この際、走査部１０３は、図１の走査部１０３とは異なり、４つの格子点座標で囲まれる１つの領域に包含されるよう着目画素Ｐ個を生成する制御をしない。こうして出力されたＰ個の着目画素は、Ｐ個の座標変換ブロック１０１０に各々入力される。個々の座標変換ブロック１０１０は、参照部１００４、記憶部１００５、生成部１００６とから成り、これらは図１においてそれぞれ対応するブロックに対して１並列で処理を行うという差異がある。これらのブロックの中で、記憶部１００５は比較的大きなサイズの回路規模を要する。

仮に、画像サイズが４０９６×２４００画素、格子点間隔が１６画素、個々の格子点に保持するビット精度を２６ｂｉｔでｘ、ｙの変形前座標を保持し、４並列処理を行うと仮定すると、少なくとも７，９８７，２００ ｂｉｔの記憶容量が必要となる。この計算は以下のとおりである。
７，９８７，２００
＝ ４０９６ × ２４００ ／ １６^２ × ２６ × ２ × ４

画像処理装置１００１においては上記の記憶容量を実現するための回路量が全体において支配的である。これに対し図１に示す実施形態１では、記憶部１０５は１並列時と同じ記憶容量で実現が可能であるため、仮に同条件で４並列処理を想定するならば、従来例に対して１／４の記憶容量で済むという利点がある。このことにより図１０の画像処理装置１００１の回路量において支配的であった記憶容量のサイズを少なくとも１／４に低減し、結果として全体の回路量の削減に寄与する。

このように本実施形態における画像処理装置では、記憶部へのＭ並列のアクセスを許容することにより、回路量を増やさずに、画像変形処理をＭ並列に行うことが可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は画像変形処理を行うための画像処理装置に関する。利用用途の例としては、拡大縮小等のスケーリング処理、回転等のアフィン変形処理、プロジェクタのキーストーン（台形）補正処理、樽型歪曲補正処理、糸巻き型歪曲補正処理などの画像変形処理全般が挙げられる。

１００ 入力画像、１０１ 画像処理装置、１０２ 変形画像、１０３ 走査部、１０４ 参照部、１０５ 記憶部、１０６ 変形前座標、１０７ 生成部、１０８ 生成部１０６、１０９ 補間部、２００ 変形後座標系、２０１ 格子点座標、２０２ 着目画素、３００ 変形後座標系、３０１ 格子点座標、３０２ 着目画素、４００ 変形後座標系、４０１ 格子点座標、４０２ 第１の補間点、４０３ 第２の補間点、４０４ 着目画素、９００ 変形後座標系、９０１ 格子点座標、９０２ 着目画素

Claims (10)

1. 入力画像に対して変形処理を行うことにより変形画像を出力する画像処理装置であって、
   前記変形画像の座標系において、複数の画素を包含するように配置された格子点の座標を、該格子点の座標に対応する前記入力画像の座標系における座標と関連付けて記憶する記憶手段と、
   前記記憶手段に記憶される前記格子点の座標に基づいて、前記変形画像の座標系におけるＰ個（Ｐは自然数）の着目画素の座標に対応する前記入力画像の座標系における座標を補間演算により生成する生成手段と
   を有し、
   前記変形画像の座標系において前記Ｐ個の着目画素はＭ個（Ｍは自然数）の格子点により形成される領域に包含され、前記記憶手段は、該Ｍ個の格子点の座標を、Ｍ並列にアクセス可能に記憶することを特徴とする画像処理装置。
2. 前記Ｍ個の格子点により形成される領域内に前記Ｐ個の着目画素を決定する決定手段を更に有することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記変形画像の座標系における画素をラスタ順に走査し、前記Ｐ個の着目画素を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記Ｍ個の格子点の座標を前記記憶手段から読み出すための前記記憶手段におけるアドレスを、前記決定手段により決定された前記Ｐ個の着目画素のうちの少なくとも一つの位置から特定する特定手段を更に有し、
   前記記憶手段は前記特定手段により特定された前記アドレスに対応する前記格子点の座標を前記生成手段へ出力することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記入力画像における前記生成手段により生成された前記座標の画素を用いて補間処理を行うことにより、前記変形画像の画素を生成する補間手段を更に有することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記入力画像において前記生成手段により生成された前記座標で指示される座標を中心とする画素を参照画素として生成する画像バッファを更に有し、
   前記補間手段は、前記画像バッファにより取得した前記参照画素と前記生成手段により生成された前記座標の画素を用いて、補間処理により前記変形画像の画素を生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記Ｐ個の着目画素が前記変形画像の座標系の第１の軸に沿って並列に並んでいる場合、前記生成手段は、前記第１の軸の方向と垂直の第２の方向の補間演算を行い、その後に、前記第１の方向の補間演算を行うことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記変形画像の座標系において、格子は前記Ｐ個の画素の整数倍の間隔で並ぶことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 入力画像に対して変形処理を行うことにより変形画像を出力する画像処理装置の制御方法であって、
   前記変形画像の座標系において、複数の画素を包含するように配置された格子点の座標を、該格子点の座標に対応する前記入力画像の座標系における座標と関連付けて記憶手段に記憶する記憶工程と、
   前記記憶手段に記憶される格子点の座標に基づいて、前記変形画像の座標系におけるＰ個（Ｐは自然数）の着目画素の座標に対応する前記入力画像の座標系における座標を補間演算により生成する生成工程と
   を有し、
   前記変形画像の座標系において前記Ｐ個の着目画素はＭ個（Ｍは自然数）の格子点により形成される領域に包含され、前記記憶工程では、該Ｍ個の格子点の座標を、Ｍ並列にアクセス可能に前記記憶手段に記憶することを特徴とする制御方法。
10. 請求項１から８のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。

Images