JP6273881B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

従来から、テレビ会議システム、監視カメラ等の映像機器に魚眼レンズ等の広角レンズが広く用いられていることが知られている。これは、１枚のレンズで画角の広い映像を取得することができるからである。

ところで、広角レンズは、レンズの歪曲収差特性のため、その周辺部にいくほど歪曲率が大きく、画像の歪みが著しい。このため、そのままでは画像の視認性が悪いため、多くの場合、入力画像に対して、歪みを補正するための画像処理を施すことが知られている。

この画像処理の実現手段の１つとして、出力１画素ごとに、対応する入力画像の座標値とサブピクセル値を変形パラメータとして入力し、指定した入力画素に対してバイリニア補間、バイキュービック補間といった補間演算処理を行い、出力画素を生成する手法が既に知られている。

上記に関し、特許文献１には、参照パラメータテーブル容量の削減による外部メモリアクセス回数の低減により処理速度を向上させるため、フレームの領域に応じて、参照する参照パラメータを削減するように予め選択して参照パラメータテーブルメモリに格納し、予め選択された参照パラメータを用いて歪み補正処理を実行する画像処理装置が記載されている。

特許文献１に記載された画像処理装置によれば、歪み補正処理の処理速度を向上させることができる。

ところで、レンズを通して得られた入力画素を一旦格納しておくフレームメモリにはＤＤＲ ＳＤＲＡＭ（Double Data Rate Synchronous dynamic Random Access Memory）を用いることが多い。ところが、出力画素に対応する入力画素をＤＤＲ ＳＤＲＡＭから読み出す処理を、出力画素１画素ごとに順に実行すれば次のような問題が発生する。つまり、ＤＤＲ ＳＤＲＡＭに対してランダムアクセスを行うことになり、膨大な処理時間を必要とするという問題である。この問題は特に任意画像変形において顕著となる。

これに対し、出力画像を複数の出力画像エリアに分割し、それぞれの出力画像エリアで必要とする入力画像の一部の領域（以下「参照画像」という。）を切り出し、高速にリード／ライトが可能なＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）に一旦取り込んだ後、補正演算により出力画素を生成していく手法が考えられる。

しかし、上述した歪曲収差により、それぞれの出力画像エリアで必要とする参照画像サイズが大きく異なるため、参照画像サイズが大きい場合、用意したＳＲＡＭに入りきらなくなるという問題がある。この場合、ＳＲＡＭに格納できた部分の画像でのみ補正を行うことになるため、結果として補正後の出力画像の画質を劣化させてしまうことになる。

本発明は、このような実情に鑑みてなされたものであって、出力画像の画質を劣化させることなく画像処理を行う画像処理装置を提供することを目的とする。

上記の課題を解決するため、本発明の画像処理装置は、複数の画素データからなる入力画像に対し所定の画像処理を行い出力画像を生成する画像処理装置であって、出力画像を生成するために必要な入力画像を参照画像として内部記憶回路に読み込んで画像処理を行う画像処理手段と、参照画像のデータサイズが内部記憶回路の記憶容量範囲内かどうかを判定する記憶容量判定手段と、記憶容量判定手段により参照画像のデータサイズが内部記憶回路の記憶容量を超えるとき、参照画像のデータサイズを分割する参照画像分割手段と、前記入力画像の入力時に前記入力画像を変形させる外的要因又は内的要因を数値化した変形要因パラメータと前記入力画像の初期パラメータに基づいて前記入力画像を補正する補正パラメータを生成する補正パラメータ生成手段とを備え、前記画像処理手段は、前記出力画像を複数エリアに分割した分割エリアごとに画像処理を行い、前記記憶容量判定手段は、前記補正パラメータ生成手段により生成された補正パラメータに基づいて前記参照画像のデータサイズが前記内部記憶回路の記憶容量範囲内かどうかを判定することを特徴とする。

本発明によれば、出力画像の画質を劣化させることなく画像処理を行うことが可能となる。

本発明の実施形態における画像処理装置の概略構成を示すブロック図である。 本発明の実施形態における参照画像分割処理手順を示すフローチャートである。 歪みのある入力画像の例を示す模式図である。 歪みを補正した出力画像の例を示す模式図である。 入力画像から出力画像を生成するイメージを示す模式図である。 本発明の実施形態において入力画像から出力画像を生成するイメージを示す模式図である。 本発明の実施形態において参照画像の分割処理イメージを示す模式図である。

本発明の実施形態の画像処理装置に関し以下図面を用いて説明するが、本発明の趣旨を越えない限り、何ら本実施形態に限定されるものではない。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。

本実施形態における画像処理装置は、複数の画素データからなる入力画像に対し所定の画像処理を行い出力画像を生成する。また、本実施形態における画像処理装置は、概略的には入力画像を参照画像として出力画像を生成する際、入力画像の歪みを補正して歪みの影響のない出力画像を生成する画像処理を行う。この場合、本実施形態における画像処理装置は、画像処理手段の内部記憶回路の容量を参照画像のデータサイズが超えているとき、参照画像のデータサイズを分割する。

本発明の実施形態における画像処理装置１の概略構成について図１を参照して説明する。本実施形態の画像処理装置１は、入力インタフェース（以下「入力Ｉ／Ｆ」という。）１１と、インターコネクト回路１２と、外部記憶回路１３と、画像変形回路１４と、フォーマット変換回路１５と、パラメータ補正回路１６と、出力インタフェース（以下「出力Ｉ／Ｆ」という。）１７を含み構成されている。

入力Ｉ／Ｆ１１は、カメラ等の撮像手段により撮影した入力画像を画像処理装置１内に取り込むインタフェースである。出力Ｉ／Ｆ１７は、画像処理後の出力画像を例えばディスプレイ等の出力デバイスに出力するためのインタフェースである。

インターコネクト回路１２は、後述する画像変形回路１４、フォーマット変換回路１５、パラメータ補正回路１６から外部記憶回路１３へのアクセス競合を防ぐため各回路のアクセス優先順位を行う等、各回路から外部記憶回路１３へのデータのやり取りをスムーズに行うデータインタフェースである。

外部記憶回路１３は、入力画像データ、出力画像データ等を記憶するＨＤＤ等の記憶手段である。また、外部記憶回路１３には、入力画像データにどの程度歪みが発生しているかについて数値化された種パラメータも記憶される。

画像変形回路１４は、出力画像を生成するために必要な入力画像を参照画像として内部記憶回路１４１に読み込んで画像処理を行う画像処理手段である。また、画像変形回路１４は、出力画像を複数エリアに分割した分割エリアごとに画像処理を行う。本実施形態では、データの高速なリード／ライトを行う観点から、画像変形回路１４に内蔵される内部記憶回路１４１として例えばＳＲＡＭを採用している。

フォーマット変換回路１５は、参照画像のデータサイズが前記内部記憶回路１４１の記憶容量範囲内かどうかを判定する記憶容量判定手段として機能する。また、フォーマット変換回路１５は、後述するパラメーラ補正回路において生成された補正パラメータに基づいて参照画像のデータサイズが内部記憶回路１４１の記憶容量範囲内かどうかを判定する。

また、フォーマット変換回路１５は、参照画像のデータサイズが内部記憶回路１４１の記憶容量を超えると判定したとき、参照画像のデータサイズを分割する参照画像分割手段として機能する。

パラメータ補正回路１６は、入力画像の入力時に入力画像を変形させる外的要因又は内的要因を数値化した変形要因パラメータと入力画像の初期パラメータに基づいて入力画像を補正する補正パラメータを生成する補正パラメータ生成手段である。

より具体的には、パラメータ補正回路１６は、入力画像の初期パラメータとして種パラメータを外部記憶回路１３から読み出す。種パラメータには、例えば、歪みのない適正な入力画像を数値化したパラメータや、歪みが発生した場合の入力画像を数値化したパラメータが含まれる。

そして、パラメータ補正回路１６は、例えば、熱、角度、又はズレ等のような、上述した外的要因又は内的要因に基づいて入力画像データについてパラメータ補正を実施する。パラメータ補正結果は、フォーマット変換回路１５に転送される。

フォーマット変換回路１５は、補正パラメータに基づいて、画像変形回路１４において処理されるデータフォーマットにあわせた変形パラメータを生成する。生成された変形パラメータはインターコネクト回路１２を介して外部記憶回路１３に記憶される。

画像変形回路１４は出力画像を生成するため、外部記憶回路１３に記憶された変形パラメータと変形パラメータ内部に格納されている参照画素を読み出す。このとき、出力画像はエリアを分割されており、画像変形回路１４はエリア単位で変形パラメータ及び参照画素を外部記憶回路１３からリードする。そして、画像変形回路１４は、エリア内の出力画像の処理を終えると、外部記憶回路１３に処理後の出力画像が記憶される。全エリアの画像処理終了により出力画像の完成となる。

上述において、フォーマット変換回路１５は画像変形回路１４内にある内部記憶回路１４１のサイズ情報を記憶している。そして、フォーマット変換回路１５は外部記憶回路１３から変形パラメータを取得して内部記憶回路１４１に参照画像が格納可能かどうかを判断する。

フォーマット変換回路１５は、参照画像のデータサイズが内部記憶回路１４１に格納可能であると判断したとき、画像変形回路１４のフォーマットに変更する処理を行う。一方、フォーマット変換回路１５は、参照画像のデータサイズが内部記憶回路１４１を超えるサイズと判断したとき、内部記憶回路１４１のサイズ情報に基づいて画像変形回路１４において処理される参照画像を分割する処理を行う。

次に、本実施形態における参照画像の分割処理手順について図２を参照して説明する。まず、パラメータ補正回路１６は、外部記憶回路１３に記憶されている種パラメータを取得する（ステップＳ１）。

次に、パラメータ補正回路１６は、外的要因又は内的要因を数値化した変形要因パラメータに基づいてパラメータの補正を行い、補正パラメータがフォーマット変換回路１５に転送される（ステップＳ２）。

フォーマット変換回路１５は、補正パラメータが転送されると、エリア分割ごとの出力画像を生成するための参照画像のデータサイズが画像変形回路１４の内部記憶回路１４１に格納できるかどうかの判断を行う（ステップＳ３）。

フォーマット変換回路１５は、ステップＳ３において、参照画像のデータサイズが内部記憶回路１４１に格納できるサイズと判断したとき（ステップＳ３、ＹＥＳ）、画像変形回路１４のフォーマットにあわせた変形パラメータを出力し、外部記憶回路１３に記憶する（ステップＳ４）。

他方、フォーマット変換回路１５は、参照画像のデータサイズが内部記憶回路１４１に格納できないサイズと判断したとき（ステップＳ３、ＮＯ）、参照画素の分割処理を行う（ステップＳ５）。そして、分割処理後の画像変形回路１４のフォーマットにあわせた変形パラメータを出力し、外部記憶回路に記憶する。

上述した本実施形態における画像処理により、画像変形回路１４において参照画像のデータサイズに合わせて内部記憶回路の変更等が不要になり、チップサイズへの影響もなくなる。また、本実施形態により、出力画像の画質劣化を防止することが可能となる。

なお、フォーマット変換回路１５から出力された変形パラメータは、フレーム単位又は分割エリア単位で行ってもフォーマット変換回路１５から外部記憶回路１３に記憶される内容としては同じである。なお、外部記憶回路１３へのアクセス回数を削減することができ、変形パラメータの生成時間を高速とする、フレーム単位で処理する方が望ましい。

次に、歪みのある入力画像の例について図３を参照して説明する。図３は、例えば、カメラ等の撮像手段で撮像した映像が、使用した魚眼レンズの歪曲収差特性のため、その周辺部において画像の歪みが発生する様子を示したものである。ここでは、図示において左上に発生している歪み画像Ｚに着目する。

図４は、本実施形態における画像変形回路１４によって歪みを補正した出力画像の例を示したものである。図３における歪み画像Ｚが歪みのない画像Ｚ’に補正される。本実施形態において、歪みのない画像Ｚ’を得るため、図３における歪み画像Ｚを参照画像として指定する。

次に、入力画像から出力画像を生成するイメージについて図５及び図６を参照して説明する。パラメータ補正回路１６は、外部記憶回路１３に記憶されている種パラメータを読み込む。そして、パラメータ補正回路１６は、レンズ特性差や周囲温度状況データ等の変形要因パラメータに基づき、出力画像エリアとして、図５に示すように、Ａ’、Ｂ’、Ｃ’、Ｄ’で囲まれた領域の画像を生成する。そのため、パラメータ補正回路１６は、図５に示すように、入力画像におけるＡ、Ｂ、Ｃ、Ｄ４点の座標を出力することにより参照画像領域を指定する。

フォーマット変換回路１５は、パラメータ補正回路１６から転送された参照画像領域の座標情報に基づいて変形パラメーラを生成するための算出処理を行う。入力画像は、画像データのフレーム先頭から順に外部記憶回路１３に記憶されている。このため、画像変形回路１４は、例えば、２次元ＤＭＡＣ処理にてデータ取得を行い、図６に示すような矩形領域を指定する。矩形領域を指定するのは、Ａ、Ｂ、Ｃ、Ｄ４点の座標で囲まれた領域の指定は処理が複雑となり処理速度に影響を与えるため、これを避けるためである。

本実施形態では、図６において２次元ＤＭＡＣ処理のために、例えばｘ方向への走査と、ｙ方向への走査を行っている。なお、『ｐｉｘ』は画素単位ｐｉｘｅｌの略であるが一例にすぎない。

本実施形態においては、画像変形回路１４は、入力画像におけるＡ、Ｂ、Ｃ、Ｄ４点から、（ｘｍｉｎ、ｙｍｉｎ）、（ｘｂ、ｙｂ）、（ｘｃ、ｙｃ）、（ｘｍａｘ、ｙｍａｘ）を算出する。画像変形回路１４は、（ｘｍｉｎ、ｘｍａｘ）の座標位置から、矩形領域を生成するためのＡ、Ｂ、Ｃ、Ｄ４点からのオフセットアドレスを算出し、参照画像を取得する。

また、画像変形回路１４は、オフセットアドレスを算出するとともに、（ｘｍｉｎ、ｙｍｉｎ）、（ｘｂ、ｙｂ）、（ｘｃ、ｙｃ）、（ｘｍａｘ、ｙｍａｘ）で囲まれた画像サイズを算出する。これにより図６に示すような斜線で囲まれた出力画像を生成するための参照画像を取得することができる。

フォーマット変換回路１５は、次式により、取得した参照画像のデータサイズが画像形成回路１４の内部記憶回路１４１に格納可能かどうかを算出する。次式における『Ｍｓｉｚｅ』は、内部記憶回路１４１の許容記憶容量を示すものである。
（ｘｍａｘ−ｘｍｉｎ）×（ｙｍａｘ−ｙｍｉｎ）＜Ｍｓｉｚｅ・・・［１］
（ｘｍａｘ−ｘｍｉｎ）×（ｙｍａｘ−ｙｍｉｎ）＝Ｍｓｉｚｅ・・・［２］
（ｘｍａｘ−ｘｍｉｎ）×（ｙｍａｘ−ｙｍｉｎ）＞Ｍｓｉｚｅ・・・［３］

フォーマット変換回路１５は、上の式［１］及び［２］により内部記憶回路１４１に参照画像が格納可能と判断した場合、上述したように画像形成回路１４の変形パラメータフォーマットにあわせた処理をすればよい。

一方、フォーマット変換回路１５は、上の式［３］により参照画像のデータサイズが内部記憶回路１４１の許容記憶容量を超えてしまうと判断した場合、画像形成回路１４の変形パラメータフォーマットにあわせた処理は行わない。これは、出力画像を生成するために必要な参照画像が不足し、出力画像の画質への影響が大きくなるからである。

そこで、フォーマット変換回路１５は、図７に示す参照画像の分割処理を行う。まず、フォーマット変換回路１５は、図６で示したＡ、Ｂ、Ｃ、Ｄ４点の座標に基づき、例えばＡ点とＢ点の中点となるＡＢ点と、Ｃ点とＤ点の中点ＣＤを算出する。

そして、フォーマット変換回路１５は、Ａ、Ｂ、Ｃ、Ｄ４点の座標で囲まれる参照画像領域を、Ａ点、ＡＢ点、ＣＤ点、Ｃ点の４点からなる参照画像領域Ｍと、ＡＢ，Ｂ，ＣＤ，Ｄの４点からなる参照画像領域Ｎに分割する処理を施す。

その後、フォーマット変換回路１５は、上記２つの参照画像領域が得られた後、再度、それぞれの領域が内部記憶回路１４１に格納可能なサイズであるかどうか判定を行う。なお、例えば参照画像が内部記憶回路１４１に格納可能なデータサイズになるまで、本処理を繰り返すこととしてもよい。

ここでは、分割された２領域が内部記憶回路１４１に格納可能な例を示している。外部記憶回路１３が格納されている各参照画像領域のオフセットアドレスを算出することで、上述した各式による処理を施すことができる。これにより、内部記憶回路１４１の許容記憶容量を変更する必要もなく、出力画像の画質劣化を防止することができる。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、上述した本実施形態の画像処理装置における各処理を、ハードウェア、又は、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

また、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

１ 画像処理装置
１１ 入力Ｉ／Ｆ
１２ インターコネクト回路
１３ 外部記憶回路
１４ 画像変形回路
１５ フォーマット変換回路
１６ パラメータ補正回路
１７ 出力Ｉ／Ｆ

特開２０１３−１８７６３０

Claims (3)

1. 複数の画素データからなる入力画像に対し所定の画像処理を行い出力画像を生成する画像処理装置であって、
   前記出力画像を生成するために必要な入力画像を参照画像として内部記憶回路に読み込んで画像処理を行う画像処理手段と、
   前記参照画像のデータサイズが前記内部記憶回路の記憶容量範囲内かどうかを判定する記憶容量判定手段と、
   前記記憶容量判定手段により前記参照画像のデータサイズが前記内部記憶回路の記憶容量を超えるとき、前記参照画像のデータサイズを分割する参照画像分割手段と、
   前記入力画像の入力時に前記入力画像を変形させる外的要因又は内的要因を数値化した変形要因パラメータと前記入力画像の初期パラメータに基づいて前記入力画像を補正する補正パラメータを生成する補正パラメータ生成手段とを備え、
   前記画像処理手段は、前記出力画像を複数エリアに分割した分割エリアごとに画像処理を行い、
   前記記憶容量判定手段は、前記補正パラメータ生成手段により生成された補正パラメータに基づいて前記参照画像のデータサイズが前記内部記憶回路の記憶容量範囲内かどうかを判定することを特徴とする画像処理装置。
2. 複数の画素データからなる入力画像に対し所定の画像処理を行い出力画像を生成する画像処理方法であって、
   前記出力画像を生成するために必要な入力画像を参照画像として内部記憶回路に読み込んで画像処理を行う工程と、
   前記参照画像のデータサイズが前記内部記憶回路の記憶容量範囲内かどうかを判定する工程と、
   前記参照画像のデータサイズが前記内部記憶回路の記憶容量を超えるとき、前記参照画像を分割し記憶部に記憶する工程と、
   前記入力画像の入力時に前記入力画像を変形させる外的要因又は内的要因を数値化した変形要因パラメータと前記入力画像の初期パラメータに基づいて前記入力画像を補正する補正パラメータを生成する工程とを備え、
   前記画像処理を行う工程は、前記出力画像を複数エリアに分割した分割エリアごとに画像処理を行う工程を含み、
   前記判定する工程は、前記補正パラメータを生成する工程により生成された補正パラメータに基づいて前記参照画像のデータサイズが前記内部記憶回路の記憶容量範囲内かどうかを判定することを特徴とする画像処理方法。
3. 複数の画素データからなる入力画像に対し所定の画像処理を行い出力画像を生成する画像処理装置に実行させるコンピュータ読み取り可能なプログラムであって、
   前記出力画像を生成するために必要な入力画像を参照画像として内部記憶回路に読み込んで画像処理を行う処理と、
   前記参照画像のデータサイズが前記内部記憶回路の記憶容量範囲内かどうかを判定する処理と、
   前記参照画像のデータサイズが前記内部記憶回路の記憶容量を超えるとき、前記参照画像を分割し記憶部に記憶する処理と、
   前記入力画像の入力時に前記入力画像を変形させる外的要因又は内的要因を数値化した変形要因パラメータと前記入力画像の初期パラメータに基づいて前記入力画像を補正する補正パラメータを生成する処理とを含み、
   前記画像処理を行う処理は、前記出力画像を複数エリアに分割した分割エリアごとに画像処理を行う処理を含み、
   前記判定する処理は、前記補正パラメータを生成する処理により生成された補正パラメータに基づいて前記参照画像のデータサイズが前記内部記憶回路の記憶容量範囲内かどうかを判定することを特徴とするプログラム。

Images