JP6467940B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は画像処理装置、画像処理方法及び画像処理プログラムに関し、特に、入力画像データに対して所定の画像変形処理を施して出力画像得データを出力する画像処理装置、画像処理方法及び画像処理プログラムに関する。

テレビ会議システム、監視カメラ等の映像機器においては、画角の広い映像を取得することが望ましい。従来から、１枚のレンズで画角の広い映像を取得することができる、魚眼レンズ等の広角レンズが用いられている。

広角レンズでは、レンズの歪曲収差特性のため、その周辺部に行くほど歪曲率が大きくなるため、画像の歪みを補正するための画像処理を施す必要がある。画像処理方法の１つとして、出力画像の１画素ごとに、対応する入力画像の画素の座標値とサブピクセル値等を変形パラメータとして入力し、バイリニア補間、バイキュービック補間等の補間演算処理を行って、出力画像の画素を生成していく方法が知られている。

特許文献１には、ズームによって撮影された画像の光学歪み補正を行う際に、画像データを圧縮し内部記憶回路内に格納する際に、内部記憶回路の容量に収まるように圧縮を行う技術が記載されている。

入力画像に対する歪みを補正する方法として、出力画像を複数のエリアに分割し、分割された各エリアに対応する入力画像中の領域である参照画像を参照画像用内部記憶回路に格納し、参照画像毎に補正処理を行う方法が考えられる。

この場合、出力画像中の各エリアの大きさが同じであれば各エリアの画像データのサイズは同じになるが、入力画像中の各参照画像の大きさは同じではないため、各参照画像の画像データのサイズは異なる。参照画像用内部記憶回路の容量は、設計段階で、画像データが最大となる参照画像を考慮した一定の容量となっているため、比較的画像データが小さい参照画像を読み込む場合は、参照画像用内部記憶回路の記憶容量のうち、使用されていない部分が比較的大きくなる。また、比較的大容量であるが比較的アクセス速度が遅い外部記憶回路等の記憶装置から、比較的小容量であるが比較的アクセス速度が速い参照画像用内部記憶回路に各エリアに対応する参照画像を一つずつ読み取って補正処理を行うことを繰り返すため、参照画像を一つ読み取る度に、比較的アクセス速度が遅い外部記憶回路等へのアクセスが発生する。

特許文献１に記載されている技術は、限られた容量で画像データの光学歪みを補正することを目的としているが、出力画像のエリアを分割して光学歪みを補正する方法については何ら記載されていない。

そこで、入力画像に対する歪みを補正する際に、入力画像中の所定の領域の画像である参照画像を外部記憶回路等から読み込む回数を減らすことができる画像処理装置を提供することを目的とする。

画像処理装置において、歪みを有する入力画像中の所定の領域の画像である参照画像毎の大きさに関する情報である参照画像領域情報を取得する参照画像領域情報取得手段と、前記参照画像領域情報取得手段により取得した前記参照画像領域情報と、前記参照画像を読み込む内部記憶手段の記憶容量とに基づいて、前記内部記憶手段に一度に読み込む複数の前記参照画像の組み合わせを決定する判断手段と、前記判断手段により決定された組み合わせに含まれる複数の前記参照画像を、前記内部記憶手段に一度に読み込み、前記内部記憶手段に読み込んだ前記参照画像毎に歪み補正処理を行い、前記参照画像に対応する、歪みを補正された出力画像が分割された領域であるエリア画像を生成する画像変形手段と、を備える。

開示の技術によれば、入力画像に対する歪みを補正する際に、入力画像中の所定の領域の画像である参照画像を外部記憶回路等から読み込む回数を減らすことができる。

第１の実施形態の画像処理装置の構成を示すブロック図である。 入力画像及び入力画像中の参照画像を示す図である。 出力画像及び出力画像中のエリア画像を示す図である。 本発明の一実施形態に係る画像変形回路のブロック図である。 第１の実施形態における判断回路による参照画像の組み合わせ決定処理のフローチャートである。 参照画像の組み合わせを説明する図である。 第２の実施形態の画像処理装置の構成を示すブロック図である。 第２の実施形態における判断回路による参照画像の組み合わせ決定処理のフローチャートである。 休止復帰制御回路１８のフローチャートである。

＜第１の実施形態＞
図１は、第１の実施形態の画像処理装置１の構成を示すブロック図である。図１に示すように、画像処理装置１は、入力インターフェース回路１１、画像信号処理部１２、インターコネクト回路１３、判断回路１４、画像変形回路１５、出力インターフェース回路１６を有し、インターコネクト回路１３を介して外部記憶回路２と接続される。

入力インターフェース回路１１は、例えばカメラ等から画像データを入力し、画像信号処理部１２に出力する。

画像信号処理部１２は、入力される画像データに対して、イメージセンサのばらつきなどから発生する傷補正等の画像処理を行った後、入力画像２００を、インターコネクト回路１３を介して外部記憶回路２に出力する。

インターコネクト回路１３は、外部記憶回路２に接続される各回路間を相互に接続する。外部記憶回路２と、画像変形回路１５と、判断回路１４と、出力インターフェース回路１６とが接続される。

外部記憶回路２は、インターコネクト回路１３を介して入力された、画像信号処理部１２による画像処理後の入力画像２００と、入力画像２００中の参照画像毎の、歪み率のパラメータおよび参照画像に対応するエリア画像の出力画像中の４隅の点の位置情報（アドレス）を含む変形パラメータ４００と、参照画像を構成する４隅の点の位置情報（アドレス）である参照画像領域情報５００と、画像変形回路１５による画像変形処理後の出力画像３００を記憶する。変形パラメータ４００および参照画像領域情報５００は、入力インターフェース回路１１に接続するカメラ等のレンズに応じて、工場出荷時等に予め設定される。なお、外部記憶回路２は、比較的大容量のデータを格納できればよいため、画像処理装置１内に設けてもよい。

判断回路１４は、予め設定されている画像変形回路１５の参照画像用内部記憶回路１５６が記憶できる容量と、外部記憶回路２から取得した、入力画像２００中の全ての参照画像に対する参照画像領域情報５００とに基づき、全ての参照画像について、参照画像用内部記憶回路１５６が同時に記憶できる参照画像の組み合わせを決定し、決定した組み合わせを画像変形回路１５に出力する。なお、画像変形回路１５の参照画像用内部記憶回路１５６が記憶できる容量は、判断回路１４が画像変形回路１５から取得するようにしてもよい。

ここで、参照画像とは、出力画像３００を所定の大きさに分割した画像であるエリア画像を算出するために画像変形回路１５に入力される画像である。例えば、図２に示す入力画像２００中の参照画像２０１Ａ、２０２Ａ、２０３Ａは、図３に示す出力画像３００中のエリア画像３０１、３０２、３０３にそれぞれ対応する。なお、参照画像用内部記憶回路１５６およびエリア画像用内部記憶回路１５７に格納する画像のデータは圧縮されていないため、格納する画像の画素数に応じて画像のデータサイズが決定される。また、参照画像領域情報５００は参照画像を構成する４隅の点の位置情報であるため、参照画像の画素数およびデータサイズを知ることができる。

画像変形回路１５は、判断回路１４から入力された参照画像の組み合わせに従って、外部記憶回路２から、当該組み合わせに含まれる参照画像および当該参照画像に対する変形パラメータ４００を一度に読み出して参照画像用内部記憶回路１５６に記憶する。そして、読み出した参照画像毎に、例えば歪み補正処理などの画像変形処理を行ってエリア画像を作成し、エリア画像用内部記憶回路１５７に記憶した後、エリア画像用内部記憶回路１５７から外部記憶回路２に出力する。入力画像２００中の全ての参照画像について上記処理を行うことにより、出力画像３００中の全てのエリア画像が生成され、出力画像３００が完成する。なお、参照画像用内部記憶回路１５６およびエリア画像用内部記憶回路１５７は、物理的に一つの内部記憶回路を、論理的に二つに分けて実現してもよい。

出力インターフェース回路１６は、外部記憶回路２に格納されている出力画像３００を、インターコネクト回路１３を経由して入力し、各種映像表示装置に出力する。

図４は図１の画像変形回路１５の構成を示すブロック図である。図４において、画像変形回路１５は、補正演算回路１５１と、参照画像用内部記憶回路１５６と、エリア画像用内部記憶回路１５７と、シーケンサ回路１５２と、インターフェース回路１５３と、設定レジスタ回路１５４と、レジスタ制御回路１５５とを備えて構成される。

インターフェース回路１５３は、インターコネクト回路１３を介して外部記憶回路２に接続され、参照画像領域情報５００、変形パラメータ４００、参照画像及びエリア画像について、外部記憶回路２と情報のやり取りを行う。また、判断回路１４から、参照画像の組み合わせを入力する。具体的には、インターフェース回路１５３は、判断回路１４から入力された参照画像の組み合わせを、外部記憶回路２に出力し、外部記憶回路２から、当該組み合わせに含まれる参照画像および当該参照画像に対する変形パラメータ４００を入力し、画像変形処理後のエリア画像を外部記憶回路２に出力する。

レジスタ制御回路１５５は、ＣＰＵ１７からの制御信号に基づいて、補正演算回路１５１及びシーケンサ回路１５２のための設定レジスタ回路１５４に対するリード・ライト制御を行う。シーケンサ回路１５２は、当該画像変形回路１５の全体の動作を制御する。

なお、画像変形回路１５には、外部回路からクロック信号、リセット信号及び動作制御信号が供給される。

補正演算回路１５１は、参照画像用内部記憶回路１５６から読み出した参照画像および当該参照画像に対する変形パラメータ４００に基づいて画像変形処理を行うことによりエリア画像を生成し、エリア画像用内部記憶回路１５７に出力する。

ここで、参照画像の組み合わせ決定処理ついて説明する。参照画像用内部記憶回路１５６の記憶容量は一定であるが、参照画像用内部記憶回路１５６に記憶する、１つのエリア画像に対応する参照画像は、図２に示す２０１Ａや２０２Ａのように大きさが異なる。図３の３０１のエリア画像を得るためには、図２の２０１の領域を含む２０１Ａに示す領域の参照画像が必要となる。図３の３０２のエリア画像を得るためには、図２の２０２の領域を含む２０２Ａに示す領域の参照画像が必要となる。参照画像用内部記憶回路１５６の記憶容量は、比較的大きい参照画像２０１Ａを記憶できるように設計されているため、比較的小さい参照画像２０２Ａを記憶する場合は、参照画像用内部記憶回路１５６中で使用されない部分比較的大きくなる。

例えば、図２に示す２０３の領域を含む参照画像２０３Ａを読み込む場合、参照画像用内部記憶回路１５６には、少なくとも２０１Ａと２０３Ａの大きさの差の分、図２に示す斜線エリア分の空き容量が発生する。そこで、その空き容量内に、例えば２０２Ａ等の他の参照画像を同時に読み込む。同時に読み込む領域は、連続した領域であってもよいし、連続していなくてもよい。それにより、外部記憶回路２から参照画像を読み込む回数を減らすことができるため、動作効率を高めることができる。

なお、図３では、各エリア画像の大きさが等しい例を示しているが、各エリア画像の大きさは同一でなくともよい。各エリア画像が、エリア画像用内部記憶回路１５７の記憶容量を全て使用する大きさとなるように変形パラメータ４００および参照画像領域情報５００を設定すれば、外部記憶回路２にエリア画像を書き込む回数を最小限にできる。しかし、出力画像の縦方向および横方向の画素数が、エリア画像用内部記憶回路１５７に記憶可能な画素数で割り切れない場合など、出力画像の大きさとエリア画像用内部記憶回路１５７の記憶容量によっては、出力画像を等分せずに、中央部や一番外側の行や列のエリア画像を比較的小さくなるように変形パラメータ４００および参照画像領域情報５００を設定してもよい。

図５は、判断回路１４による参照画像の組み合わせ決定処理のフローチャートである。まず、判断回路１４は、画像信号処理部１２から入力画像２００が外部記憶回路２に格納されると、外部記憶回路２に格納されている参照画像領域情報５００を取得する（ステップＳ１）。次に、入力画像２００中の参照画像を、領域の大きい（記憶するために必要な容量が大きい）順にソートする（ステップＳ２）。そして、未選択の領域があるか判断する（ステップＳ３）。あると判断した場合（ステップＳ３でＹＥＳ）、ソートした順に、未選択の領域のうち、先頭の領域を選択するとともに、選択した領域について選択済みである旨を記憶する（ステップＳ４）。そして、参照画像用内部記憶回路１５６の記憶容量と、選択した一または複数の領域を記憶するために必要な容量の差分により、空き容量を計算する（ステップＳ５）。当該空き容量に記憶できる他の未選択の領域があるか判断する（ステップＳ６）。あると判断した場合（ステップＳ６でＹＥＳ）、当該空き容量に記憶できる他の未選択の領域のうち、大きさが最大の参照画像を選択するとともに、選択した領域について選択済みである旨を記憶し（ステップＳ７）、ステップＳ５に戻る。ステップＳ６でないと判断した場合（ステップＳ６でＮＯ）、選択した一または複数の領域の組み合わせを画像変形回路１５に出力し（ステップＳ８）、ステップＳ３に戻る。ステップＳ３でないと判断した場合（ステップＳ３でＮＯ）、処理を終了する。

例えば、図６（Ａ）に示すように、入力画像２００中の左上の参照画像（図２の参照画像２０１Ａ）を「０Ａ」とし、「０Ａ」の右側の参照画像を、順に「０Ｂ」、「０Ｃ」・・・「０Ｑ」とし、「０Ａ」の下側の参照画像を、順に「１Ａ」、「２Ａ」・・・「４Ａ」とする。なお、参照画像の領域を示す破線は、「０Ａ」以外は省略している。この場合、判断回路１４は、図６（Ｂ）に示すように、「０Ａ」、・・・、「０Ｂ／１Ｇ」、・・・、「０Ｃ／０Ｇ／１Ｆ」、・・・のように、一または複数の参照画像の組み合わせを順次決定する。そして、当該参照画像を構成する４隅の点の位置情報である参照画像領域情報５００を、画像変形回路１５に出力する。４隅の点の位置情報は、フルＨＤ画像の場合は（0,0）から（1920,1080）の範囲で示される。図６（Ａ）の「０Ａ」であれば、例えば「（0,0）（63,0）（0,87）（63,87）」のようになる。画像変形回路１５は、この位置情報に基づいて、外部記憶回路２に保存されている入力画像２００から参照画像を読み込む。

なお、広角レンズで撮像された入力画像２００が上下、左右に概ね対称であることを利用し、判断回路１４が、参照画像の組み合わせを決定した際に、当該組み合わせに含まれる各参照画像と上下、左右に対称な位置にある各参照画像を、次の組み合わせとして決定してもよい。例えば、図６（Ｂ）に示す「０Ａ」を選択した際に、上下、左右に対称な「０Ｑ」、「４Ａ」、「４Ｑ」を選択し、「０Ｂ／１Ｇ」を選択した際に、それぞれ上下、左右に対称な「０Ｐ／１Ｋ」、「４Ｂ／３Ｇ」、「４Ｐ／３Ｋ」を選択する。それにより、組み合わせを１つ算出すると、当該組み合わせに対し上下、左右に対称な３つの組み合わせを決定できるため、より高速に参照画像の組み合わせ決定処理を実行できる。

また、判断回路１４が、図５のステップＳ２で、入力画像２００中の参照画像を、領域の小さい（記憶するために必要な容量が小さい）順にソートし、ステップＳ６で、複数の領域を選択できなかった場合は、未選択の領域を順に画像変形回路１５に出力するようにしてもよい。小さい順にソートされた領域に対し、組み合わせられる他の領域が見つからなくなった場合は、それ以降のより大きいため、そのような領域についても、組み合わせられる他の領域が見つからないためである。それにより、より高速に参照画像の組み合わせ決定処理を実行できる。

＜第２の実施形態＞
図７は、第２の実施形態の画像処理装置１の構成を示すブロック図である。第１の実施形態と比較して、休止復帰制御回路１８と、判断回路１４の組み合わせ記憶回路１４１とが加わっている。

休止復帰制御回路１８は、判断回路１４から、参照画像の組み合わせ決定処理が完了した際に、判断処理完了信号を入力され、判断回路１４を休止させる休止制御信号を送信する。また、画像信号処理部１２等から、外部記憶回路へ新しい入力画像２００を転送完了した際に、転送完了信号を入力され、判断回路１４を復帰させる復帰制御信号を送信する。

組み合わせ記憶回路１４１は、図６に示すように、判断回路１４にて選択した参照画像の組み合わせを記憶する。

図８は、第２の実施形態における判断回路１４による参照画像の組み合わせ決定処理のフローチャートである。図５に示す第１の実施形態のフローチャートと比較し、ステップ８にて、選択した組み合わせを画像変形回路１５に順次出力する代わりに、ステップ８−２にて、組み合わせ記憶回路１４１に記憶させる。そして、ステップＳ３でＮＯと判断した場合に組み合わせ記憶回路１４１に記憶している情報を画像変形回路１５に出力するとともに、組み合わせ記憶回路１４１に、組み合わせ決定処理が完了したことを示すデータを書き込む（ステップＳ９−２）。なお、画像変形回路１５が、補正処理を完了する度に、組み合わせ記憶回路１４１から次の組み合わせを取得するようにしてもよい。

判断回路１４は、選択した領域について選択済みである旨を記憶するために、未選択の領域を所定の記憶領域に記憶しておき、選択した領域を組み合わせ記憶回路１４１に移す。それにより、未選択の領域を選択する処理にかかる時間を短縮できる。

図９は、休止復帰制御回路１８のフローチャートである。休止復帰制御回路１８は、入力された信号を判断し（ステップＳ２−１）、入力された信号が判断回路１４からの判断処理完了信号であれば、判断回路１４に休止制御信号を送信して判断回路１４を休止させる（ステップＳ２−２）。入力された信号が画像信号処理部１２等からの転送完了信号であれば、判断回路１４に復帰制御信号を送信して判断回路１４を復帰させる（ステップＳ２−３）。それにより、判断回路１４の動作不要時に省エネ効果を得られる。

なお、ステップＳ２−１で、判断回路１４から判断処理完了信号を入力される代わりに、休止復帰制御回路１８が、組み合わせ記憶回路１４１に、組み合わせ決定処理が完了したことを示すデータを書き込まれたことを検知した場合に、ステップＳ２−２の処理を実行するようにしてもよい。

また、転送完了信号は、入力インターフェース回路１１やインターコネクト回路１３から入力されるようにしてもよい。

なお、上記の実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

なお、参照画像領域情報５００は、参照画像を構成する４隅の点の位置情報を例に説明したが、入力画像２００中の参照画像を識別する情報と、画素数またはデータサイズ（容量）の情報等であってもよい。

また、図２等で示している歪み画像は、一例を示しているため、図２等とは逆に中心部の参照画像が大きく、外側の参照画像が小さい場合などもあるが、その場合も本発明は適用することができる。

上記の実施形態で行われる処理を実行させる画像処理プログラムを、パーソナルコンピュータ、画像処理装置、画像形成装置等のコンピュータにインストールするようにしても良い。また、上記の実施形態で行われる処理を実行させる構成を、半導体集積回路上に実装してもよい。

１ 画像処理装置
１１ 入力インターフェース回路
１２ 画像信号処理部
１３ インターコネクト回路（「参照画像領域情報取得手段」の一例）
１４ 判断回路（「判断手段」の一例）
１４１ 組み合わせ記憶回路
１５ 画像変形回路（「画像変形手段」の一例）
１５６ 参照画像用内部記憶回路（「内部記憶手段」の一例）
１５７ エリア画像用内部記憶回路
１６ 出力インターフェース回路
１８ 休止復帰制御回路（「復帰制御手段」の一例）
２ 外部記憶回路

特開２０１３−１１０６４７号公報

Claims (7)

1. 歪みを有する入力画像中の所定の領域の画像である参照画像毎の大きさに関する情報である参照画像領域情報を取得する参照画像領域情報取得手段と、
   前記参照画像領域情報取得手段により取得した前記参照画像領域情報と、前記参照画像を読み込む内部記憶手段の記憶容量とに基づいて、前記内部記憶手段に一度に読み込む複数の前記参照画像の組み合わせを決定する判断手段と、
   前記判断手段により決定された組み合わせに含まれる複数の前記参照画像を、前記内部記憶手段に一度に読み込み、前記内部記憶手段に読み込んだ前記参照画像毎に歪み補正処理を行い、前記参照画像に対応する、歪みを補正された出力画像が分割された領域であるエリア画像を生成する画像変形手段と、
   を備える画像処理装置。
2. 前記判断手段は、
   一の組み合わせとして既に選択した一または複数の前記参照画像の容量と、内部記憶手段の記憶容量との差分を算出し、当該差分に基づいて、未だ選択されていない全ての前記参照画像の中から、前記一の組み合わせに含める他の前記参照画像を選択する請求項１記載の画像処理装置。
3. 前記判断手段は、
   前記組み合わせを一つ決定すると、当該組み合わせに含まれる複数の参照画像毎に、上下または左右に対称の位置にある前記参照画像を選択し、当該選択した複数の参照画像を、新たな一つの組み合わせとして決定する、
   請求項１または２記載の画像処理装置。
4. 前記判断手段は、
   参照画像領域情報に基づいて、小さい順に前記参照画像をソートし、前記組み合わせに含める他の前記参照画像を選択できなかった場合は、以降の順の前記参照画像についての前記組み合わせを決定する処理を行わない請求項１乃至３いずれか一項に記載の画像処理装置。
5. 前記判断手段により前記入力画像中の全ての前記参照画像について、組み合わせを決定する処理が決定したことを検知すると、前記判断手段に対して休止の制御を行い、前記入力画像が入力されたことを検知すると、前記判断手段に対して復帰の制御を行う復帰制御手段を備える、請求項１乃至４いずれか一項に記載の画像処理装置。
6. 画像処理装置が実行する画像処理方法であって、
   歪みを有する入力画像中の所定の領域の画像である参照画像毎の大きさに関する情報である参照画像領域情報を取得する参照画像領域情報取得ステップと、
   前記参照画像領域情報取得ステップにより取得した前記参照画像領域情報と、前記参照画像を読み込む内部記憶手段の記憶容量とに基づいて、前記内部記憶手段に一度に読み込む複数の前記参照画像の組み合わせを決定する判断ステップと、
   前記判断ステップにより決定された組み合わせに含まれる複数の前記参照画像を、前記内部記憶手段に一度に読み込み、前記内部記憶手段に読み込んだ前記参照画像毎に歪み補正処理を行い、前記参照画像に対応する、歪みを補正された出力画像が分割された領域であるエリア画像を生成する画像変形ステップと、
   を実行する画像処理方法。
7. コンピュータに、請求項６に記載の各ステップを実行させるためのプログラム。

Images