JP6825458B2 - 画像処理装置、撮影装置、及び画像処理方法 - Google Patents

Description

本発明は、複数の撮像素子から取得した各画像に対して画像処理を行う発明に関する。

近年、一度の撮影で、３６０°の全天球画像の元になる２つの半球画像データを得る特殊なデジタルカメラが提供されている（特許文献１参照）。この特殊な全天球撮影用のデジタルカメラは、２つの半球画像データに基づいて１つの正距円筒射影画像データを作成し、スマートフォン等の通信端末に正距円筒射影画像データを送信する。正距円筒射影画像データを得た通信端末は、正距円筒射影画像データに基づいて全天球画像を作成する。但し、そのままでは画像が湾曲して利用者が見えづらいため、通信端末に全天球画像の一部の所定領域を示す所定領域画像を表示させることで、利用者は一般のデジタルカメラで撮影された平面画像と同じ感覚で閲覧することができる。

また、全天球画像を作成する際に、２つの半球画像を繋ぎ合わせる処理が必要である。各半球画像は、１８０°以上の画角の魚眼レンズを介して得られているため、従来、特殊なデジタルカメラは、３６０°の全天球画像を作成するためには、各半球画像の繋ぎ目領域の画像を取り出して、歪み補正処理を行った後に、テンプレートマッチングを実施する事で高画質化を実現している（特許文献２参照）。この技術による繋ぎ目処理としては、対応するそれぞれの領域を基準画像及び比較画像として切り出して、歪み補正後の画像に対して、テンプレートマッチングを行っている。

ところで、全天球撮影用のデジタルカメラは、２つの撮像素子が異なる方向を向いているため、一方の撮像素子で太陽等の非常に明るい風景を撮影し、他方の撮像素子で路地裏等の非常に暗い風景を撮影することになる場合がある。このような場合、半球画像間で輝度、色差が非常に異なってしまう。そのまま２つの半球画像を結合すると画像間の輝度差が目立ってしまい、違和感を与えてしまう。この問題を解決するために、複数枚の画像から高輝度画像を判定し、高輝度画像に補正を施すことで複数枚の映像間の輝度差を低減する画像処理装置が既に知られている（特許文献３参照）。

しかし、今までの複数毎の画像から高輝度画像を判定し、高輝度画像に補正を施すことで複数毎の映像間の輝度差を低減する画像処理装置は、画像データを転送するパスと、高輝度画像を判定し、その際に得られた補正用のデータを転送するパスとが独立して存在している。そのため、共にインターコネクト回路を介して同一のメモリへと書き込みを行うので、メモリへのアクセス効率が悪いという問題があった。

上記課題を解決するために、請求項１に係る発明は、複数の撮像素子から取得した各画像に対して画像処理を行う画像処理装置であって、前記複数の画像のそれぞれの画素の画素値に基づいて、前記複数の画像の中から補正対象画像を判断する補正対象判断手段と、前記各画像の画素値に基づき、前記補正対象画像を補正するための補正量を算出する補正量算出手段と、前記複数の画像のいずれかのケラレ領域に前記補正量に関する情報を埋め込む埋込手段と、を有し、前記画像処理装置は、前記埋込手段で前記補正量に関する情報が埋め込まれた画像を含む前記複数の画像を、メモリに転送することを特徴とする画像処理装置である。

本発明によれば、複数の画像のいずれかのケラレ領域に前記補正量に関する情報を埋め込むため、メモリへのアクセス効率が向上するという効果を奏する。

（ａ）は特殊撮影装置の右側面図であり、（ｂ）は特殊撮影装置の背面図であり、（ｃ）は特殊撮影装置の平面図であり、（ｄ）は特殊撮影装置の底面図である。 特殊撮影装置の使用イメージ図である。 （ａ）は特殊撮影装置で撮影された半球画像（前）、（ｂ）は特殊撮影装置で撮影された半球画像（後）、（ｃ）は正距円筒図法により表された画像を示した図である。 （ａ）は正距円筒射影画像で球を被う状態を示した概念図、（ｂ）は全天球画像を示した図である。 全天球画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。 所定領域情報と所定領域Ｔの画像との関係を示した図である。 本実施形態に係る撮影装置内の画像処理装置のハードウェア構成図である。 本実施形態に係る撮影装置内の画像処理装置の機能ブロック図である。 全天球画像を作成するための基本的な処理を示すフローチャートである。 全天球撮影用のデジタルカメラの単一の撮像素子で撮像された画像データの概念図である。 全天球撮影用のデジタルカメラの２つの撮像素子で撮像された画像データの概念図である。 円形画像を矩形画像に変換する処理を示した概念図である。 各矩形画像の重複領域について説明する図である。 撮像素子から出力される画像データの概念図である。 黒レベル補正に使用されるケラレ領域（黒領域）を示した概念図である。 黒レベル補正に使用されるケラレ領域（黒領域）を示した概念図である。 フレア画像の判断処理を示したフローチャートである。 画像内の全ての分割エリアを示した概念図である。 重複領域及び重複領域付近の分割エリアを示した概念図である。 補正除外マップ及び仮補正マップを作成する処理を示したシーケンス図である。 フレア画像を複数エリアに分割した概念図である。 フレア画像の各分割エリアに除外フラグが格納された状態を示した概念図である。 （ａ）はフレア画像における重複領域及び重複領域付近の分割エリアを示した概念図、（ｂ）は（ａ）の一部の分割エリアのみを示した拡大図、（ｃ）は基準画像における重複領域及び重複領域付近の分割エリアを示した概念図、（ｂ）は（ｃ）の一部の分割エリアのみを示した拡大図である。 フレア画像の補正量を定めるための概念図である。 補正マップの作成及びこの補正マップを埋め込む処理を示したフローチャートである。 フレア画像の補正量を定めるための概念図である。 補正マップの分割エリアを補正対象画像の解像度に合わせて変倍した場合の概念図である。 補正マップを埋め込む前の半球画像の各ライン分のデータと、半球画像におけるケラレ領域を示す概念図である。 補正マップを埋め込んだ後の半球画像の各ライン分のデータと、半球画像におけるケラレ領域を示す概念図である。 １フレームあたりの転送データを示した概念図である。 撮像素子から出力される画像データの変形例の概念図である。

以下、図面を用いて、本発明の実施形態について説明する。

＜＜実施形態の概略＞＞
まずは、図１乃至図７を用いて、本実施形態の概略について説明する。

まず、図１を用いて、撮影装置１の外観を説明する。撮影装置１は、全天球画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は特殊撮影装置の右側面図であり、図１（ｂ）は特殊撮影装置の背面図であり、図１（ｃ）は特殊撮影装置の平面図であり、図１（ｄ）は特殊撮影装置の底面図である。

図１（ａ），図１（ｂ），図１（ｃ），図（ｄ）に示されているように、特殊撮影装置１ａの上部には、正面側（前側）に魚眼型のレンズ１０２ａ及び背面側（後側）に魚眼型のレンズ１０２ｂが設けられている。特殊撮影装置１ａの内部には、後述の撮像素子（画像センサ）１０３ａ，１０３ｂが設けられており、それぞれレンズ１０２ａ、１０２ｂを介して被写体や風景を撮影することで、半球画像（画角１８０°以上）を得ることができる。特殊撮影装置１ａの正面側と反対側の面には、シャッターボタン１１５ａが設けられている。また、特殊撮影装置１ａの側面には、電源ボタン１１５ｂ、WiFi(Wireless Fidelity)ボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄが設けられている。電源ボタン１１５ｂ、及びWiFiボタン１１５ｃは、いずれも押下される度に、オンとオフが切り替えられる。また、撮影モード切替ボタン１１５ｄは、押下される度に、静止画の撮影モードと動画の撮影モードが切り替えられる。なお、シャッターボタン１１５ａ、電源ボタン１１５ｂ、WiFiボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄは、操作部１１５の一種であり、操作部１１５は、これらのボタンに限られない。

また、特殊撮影装置１ａの底部１５０の中央には、カメラ用三脚又は一般撮影装置３ａに特殊撮影装置１ａを取り付けるための三脚ねじ穴１５１が設けられている。また、底部１５０の左端側には、Micro USB(Universal Serial Bus)端子１５２が設けられている。底部１５０の右端側には、HDMI(High-Definition Multimedia Interface)端子が設けられている。なお、HDMIは登録商標である。

次に、図２を用いて、特殊撮影装置１ａの使用状況を説明する。なお、図２は、特殊撮影装置の使用イメージ図である。特殊撮影装置１ａは、図２に示されているように、例えば、利用者（撮影者）が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれ利用者の周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図３及び図４を用いて、特殊撮影装置１ａで撮影された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図３（ａ）は特殊撮影装置１ａで撮影された半球画像（前側）、図３（ｂ）は特殊撮影装置で撮影された半球画像（後側）、図３（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図４（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（ｂ）は全天球画像を示した図である。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、特殊撮影装置１ａによって合成され、図３（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）等が利用されることで、図４（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。

なお、図５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球画像が、三次元の立体球ＣＳで表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域である。所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。したがって、所定領域Ｔは画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる（図７参照）。

そして、図６（ａ）に示されている所定領域画像Ｑは、図６（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。なお、所定領域Ｔは、画角αと距離ｆではなく、所定領域Ｔである仮想カメラＩＣの撮影領域（Ｘ，Ｙ，Ｚ）によって示してもよい。

次に、図７を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図７は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図７に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角画角をαとした場合の中心点ＣＰが、所定領域情報の（ｘ，ｙ）パラメータとなる。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図７では、一般的に以下の（式１）で示される三角関数が成り立つ。

Ｌ／ｆ＝ｔａｎ（α／２）・・・（式１）
以下、本発明の実施形態の詳細内容について説明する。

＜＜実施形態の詳細＞＞
＜ハードウェア構成＞
続いて、図８を用いて、本実施形態に係る撮影装置１内の画像処理装置１０のハードウェア構成図について説明する。図８は、本実施形態に係る撮影装置内の画像処理装置のハードウェア構成図である。

図８に示されているように、撮影装置１は、２つの撮像素子１０３ａ，１０３ｂ、画像処理装置２０、及び外部メモリ２９を有している。更に、画像処理装置１０は、画像処理部２１、補正量作成部２２、画像補正部２３、射影変換部２４、画像出力部２５、ＣＰＵ２６、及び外部メモリＩ／Ｆを含み、各々がバスに接続されている。なお、撮像装置１は、複数の撮像素子で重複する画像領域（重複領域）を撮影し、撮影した複数の画像を、その重複領域で繋ぎ合わせることができる撮像機器であってもよい。また、撮影して得られたた複数の画像を、その重複領域で繋ぎ合わせる処理は、画像処理ＩＣやソフトウェアを用いて実行することができる。

撮像素子１０３ａ，１０３ｂは、Ａ／Ｄ変換器により変換した半球画像Ａ，Ｂのデジタルータを画像処理部２１へ出力する。

ＣＰＵ２６は、画像処理装置１０全体の制御を行う。ＲＯＭ２７は、撮像装置１を起動させるプログラムや変換テーブル等を記憶する。

画像処理部２１は、ＣＰＵ２６等とともに所定の画像処理を実行する。画像処理部２１としては、特定用途向けの集積回路であるＡＳＩＣ(Application Specific Integrated Circuit)を用いることができる。画像処理部２１は、ＣＰＵ２６等とともに、所定の画像処理として画像を繋ぎ合わせて全天球画像を生成する処理を行い、生成した全天球画像のデータを、外部メモリＩ／Ｆ２８を介して外部メモリ２９に格納する。また、画像処理部２１は、撮像素子１０３ａ，１０３ｂから入力された画像を外部メモリ２９に格納するとともに補正量作成部２２へ引き渡す。

補正量作成部２２は、撮像素子１０３ａ，１０３ｂからの画像に基づき、補正量を作成する。補正量の作成にあたっては、補正対象画像の判定処理を実行し、該判定処理において、前のフレームの画像の評価値を参照する。補正量は、画像が外部メモリ２９に格納される前に作成される。

画像補正部２３は、補正量作成部２２による補正量の作成処理が終了した後、外部メモリ２９に格納されている画像を読み込み、作成された補正量に基づき画像の補正を実施することで、図３（ｃ）に示されているような正距円筒射影画像(Equi画像）を作成する。

射影変換部２４は、図４に示されているように、正距円筒射影画像を全天球画像に射影変換する。すなわち、射影変換部２４への入力前に補正処理が実施される。

画像出力部２５は、射影変換部２４によって射影変換された画像を出力する。

＜機能構成＞
続いて、図９を用いて、画像処理装置１０の機能構成につい説明する。図９は、本実施形態に係る撮影装置１内の画像処理装置１０の機能ブロック図である。ここでは、本実施形態で特に詳細に説明する補正作成部２２の機能構成について説明する。

図９に示されているように、補正量作成部２２は、補正対象判断部３１、補正量算出部３２、補正マップ作成部３３及び埋込部３４の各機構を実現することができる。

補正対象判断部３１は、複数の画像のそれぞれの画素の画素値に基づいて、複数の画像の中から補正対象画像を判断する。補正量算出部３２は、各画像の画素値に基づき、補正対象画像を補正するための補正量を算出する。補正マップ作成部３３は、補正対象画像を補正するための補正マップ（Ｍ４）を作成する。埋込部３４は、複数の画像のいずれかのケラレ領域に、補正マップ（Ｍ４）のデータ等の補正量に関する情報を埋め込む。各部３１〜３４に関しては、後ほど詳細に説明する。

＜＜実施形態の処理＞＞
続いて、図１０乃至図３１を用いて、本実施形態の処理について説明する。

まず、図１０乃至図１７を用いて、全天球画像を作成するための基本的な処理を説明する。図１０は、全天球画像を作成するための基本的な処理を示すフローチャートである。図１０に示されているように、画像処理部２１は、２つの撮像素子１０３ａ，１０３ｂから取得した半球画像Ａ，Ｂの歪み補正を行うことで、各半球画像（円形画像）を各平面画像（矩形画像）に変換する（ステップＳ１１）。この処理について、図１１乃至図１３を用いて説明する。

図１１は、全天球撮影用のデジタルカメラの単一の撮像素子で撮像された画像データの概念図である。

図１１に示されているように、撮像素子１０３ａで得られた半球画像データは、図１１のように示すことができる。撮影装置１のレンズ１０２ａは魚眼レンズであるため、撮像素子１０３ａ全体に対して白抜きされた円形画像が撮像素子１０３ａの撮像面に形成される。尚、黒色部分は光が当たっていない箇所を示している。

図１２は、全天球撮影用のデジタルカメラの２つの撮像素子で撮像された画像データの概念図である。２つの撮像素子１０３ａ，１０３ｂによって得られた２枚の画像から全天球画像を形成する際、２つの画像に重複する領域がある必要がある。撮影装置１では画角１８０度を越える魚眼レンズを用いている。そのため、半球画像Ａ（図１２（ａ）参照）及び半球画像（図１２（ｂ）参照）のように、各撮像面で重複する領域（図中車線部分）が発生する。この重複領域を用いて２枚の画像データの繋ぎ合わせを行なう。しかし、像点が画像の中心から離れるほど歪みや収差が発生しやすい。また、魚眼レンズの外枠などが移りこむ可能性がある。そのため、半球画像（魚眼画像）の外枠（斜線領域と黒領域の境目付近）を使用することは望ましくない。したがって、半球画像Ａ（図１２（ｃ）参照）及び半球画像（図１２（ｄ）参照）のように、重複領域３０は、各内側の所定幅を有する斜線で示された領域に限定する。

図１３は、半球画像である円形画像を矩形画像に変換する処理を示した概念図である。図１３に示されているように、撮像面に形成された円形画像は変換テーブルを用いた歪み補正によって矩形の画像データへと変換される。これにより、ステップＳ１１の処理が終了する。

次に、画像処理部２１は、２つの半球画像Ａ，Ｂから変換された矩形画像ａ、ｂの繋ぎ部分を探索する（ステップＳ１２）。そして、画像処理部２１は、矩形画像ａ、ｂの重複領域を重複して、ブレンド処理（合成処理）を行なうことで、図３に示されているような、１つの正距円筒射影画像を作成する（ステップＳ１３）。

図１４は、各矩形画像の重複領域について説明する図である。ステップＳ１３によって、２つの矩形画像ａ，ｂを重畳すると、図１４に示されているような１つの正距１つの正距円筒射影画像が作成される。この際、画像処理部２１は、テンプレートマッチングなどの処理で、重複領域３０における矩形画像ａと矩形画像ｂとの類似箇所を検出する。テンプレートマッチングを行う単位は、任意の分割画像サイズ単位で良い。但し、画像処理部２１は、テンプレートマッチング後に、２つの矩形画像ａ，ｂを合成する。

続いて、次の処理を説明する前に、図１５乃至図１７を用いて、撮像素子から出力される画像データにおけるケラレ領域（黒領域）について説明する。

図１５は、撮像素子から出力される画像データの概念図である。上述したように、撮像素子から出力される画像データは、魚眼レンズを用いているため、図１１に示されているような概念図となる。図１１において、中白色部分は画像が形成されている領域で、黒部分は画像が形成されてない黒領域（ケラレ領域）である。そこで、無駄な領域を減らすために、本実施形態の撮像素子１０３ａ，ｂは、図１５のように左右の黒領域を削除した画像データを出力する。図１５中の破線内は、削除された黒領域を示す。但し、画像データにはまだ無駄な黒領域が残ったままである。

図１６は、黒レベル補正に使用されるケラレ領域（黒領域）を示した概念図である。この残っている黒領域は、画像処理部２１内のISP(Image Signal Processing)部で、画像データの黒レベル補正に使用される。尚、図１６では、黒レベル補正に使用される領域は、四つ角の領域であるが、位置はこれに限定されない。但し、画像データには、まだ無駄な黒領域が残っている。

図１７は、黒レベル補正に使用されるケラレ領域（黒領域）を示した概念図である。黒レベル補正後、即ち、ISP部通過後は、この無駄な黒領域（ケラレ領域）は一切各種画像処理に使用されない。しかし、画像データは、この無駄な黒領域を含め、一度外部メモリ２９へと格納される。即ち、無駄なデータが外部メモリ２９へ格納されるのである。本実施形態は、以降に示すように、ISP通過後のこの無駄な黒領域（ケラレ領域）に、「付加情報」を埋め込むことで、外部メモリ２９のアクセス効率を向上させる。この付加情報は、例えば、２つの半球画像Ａ，Ｂのうち、太陽や照明等を撮像することで一方の半球画像にフレア発生している場合に、このフレアが発生した画像（フレア画像）を他方の半球画像の輝度に合わせるための補正量の情報である。

続いて、付加情報を埋め込むにあたり、まずは、図１８乃図２０を用いて、半球画像Ａ，Ｂのうち、補正対象画像としてのフレア画像を判断する処理について説明する。図１８は、フレア画像の判断処理を示したフローチャートである。図１８の処理は、全て、図９の補正対象判断部３１が行なう。

まず、補正対象判断部３１は、重複領域３０の輝度値に関して、平均値を算出する（ステップＳ２１）。これに関して、図１９及び図２０を用いて、補足説明する。

図１９は、画像内の全ての分割エリアを示した概念図である。上述したように、半球画像において、画像外枠付近は重複領域３０となっている。補正対象判断部３１は、重複領域３０の画素値（輝度値）を測定し、平均値（又は分散値）を算出する。

次に、補正対象判断部３１は、半球画像Ａ，Ｂの相対的なエリア間で平均値の絶対値を比較する（ステップＳ２２）。そして、補正対象判断部３１は、比較した差分が閾値より大きいか否かを判断する（ステップＳ２３）。

ステップＳ２３において、大きい場合には、補正対象判断部３１は、閾値を超える方の半球画像を補正対象画像（ここでは、フレア画像）と判断する（ステップＳ２４）。また、ステップＳ２３において、大きくない場合には、補正対象判断部３１は、補正対象画像（ここでは、フレア画像）がないと判断する（ステップ２５）。

尚、画像データフォーマットはＲＧＢであっても、ＹＣｂＣｒであっても構わない。また、この場合、平均値算出した結果は算出したエリアが画像データのどこに位置するかで異なる。これに関して、図２０を用いて説明する。図２０は、重複領域及び重複領域付近の分割エリアを示した概念図である。図２０のように、重複領域付近の場合は２つの半球画像データのうち、どちらが補正対象であるかを判定するのに用いる。具体的には上記の平均値や分散値を２つの半球画像の相対エリア間で差分の絶対値を取り、その値が閾値を超える画像を補正対象画像と判断し、その画像がある場合に補正対象画像(フレア画像)があると判断する。全天球撮像用のカメラの場合は、一方が補正対象画像であれば、他方の画像を補正基準画像として決定することができる。基本的に同時露光により撮像した場合、重複領域３０は同じ被写体の画像が同じ明るさで撮影されるはずであるが、一方の半球画像にフレアが発生している際は重複領域３０の平均値が大きくなるため、上述のように閾値を設け、その閾値より大きいときにフレア画像であると判断される。

続いて、補正対象判断部３１によって、フレア画像があると判断された場合、補正量算出部３２は、補正マップの作成を行なう。ここで、補正マップの作成について詳細に説明する。
まずは、図２１乃至図２５を用いて、補正マップの作成に使用するための補正除外マップ及び仮補正マップを作成する処理を説明する。図２１は、補正除外マップ及び仮補正マップを作成する処理を示したシーケンス図である。図２１の処理は、全て、補正量算出部３２が行う。

フレア画像に対して補正を行う際、フレア画像全体を補正するため、画像が全体的に暗くなる。すると、２つの半球画像Ａ，Ｂを重畳結合した場合に、目で見て不自然な画像になることがある。そこで、フレア補正をする必要がない箇所（光源など）を区別するために補正除外マップＭ２の作成を行なう。

補正除外マップＭ２は上述した重複領域３０以外の半球画像内のエリアにおける輝度値の最大値で求めることができる。補正除外領域の条件は（条件１）で示される「高輝度かつ無彩色」または（条件２）で示される「高輝度かつ輝度の最大値が閾値以上」とすることが出来る。高輝度であるかの閾値はレジスタ等で設定出来るとしても良い。

補正除外条件としては（条件１）及び（条件２）の両方で判断することが望ましい。1つの評価領域全体が均一な輝度や色を有している場合は（条件１）のみで判断することができる。しかし、１つの評価領域内に光源などの高輝度の被写体と木などの低輝度の被写体が存在する場合、（条件１）による演算に適合しなくなるため、光源の画像が補正され、光源が暗く不自然な画像になってしまうからである。（条件２）を含めることで光源と木などを含む画像も補正除外領域として適切に抽出ができるようになる。

図２２は、フレア画像を複数エリアに分割した概念図である。図２３は、フレア画像の各分割エリアに除外フラグが格納された状態を示した概念図である。補正除外マップＭ２は補正対象画像（ここでは、フレア画像）を複数の評価領域に分割した際と同様の形態を持つ。補正量算出部３２は、補正除外対象があるか否かを判断する（ステップＳ３１）。そして、補正除外対象がある場合には（ＹＥＳ）、補正量算出部３２は、図２２の複数の分割エリアに対して、図２３に示されているように、補正除外するブロックには「１」を格納する（ステップＳ３２）。一方、補正除外対象がない場合には（ＮＯ）、補正量算出部３２は、図２２の複数の分割エリアに対して、図２３に示されているように、補正除外しないブロックには「１」をマッピングする。またこのとき、補正量算出部３２は、除外するか否かを示すフラグ「１」、「０」だけでなく、ブロックごとの評価値（例えば、画素値（輝度値）の平均値又は分散値）も格納する（ステップＳ３４）。そして、補正量算出部３２は、全ての分割エリアに対して、ステップＳ３１〜３４の処理を繰り返して行なう（ステップＳ３５，ＮＯ）。全ての分割エリアでの処理が終了すると、補正量算出部３２は、補正除外マップＭ２を作成が終了する（ステップＳ３６）。

続いて、補正量算出部３２は、補正量の算出を行い（ステップＳ３７）、仮補正マップＭ１を作成する（ステップ３８）。ここで、図２４及び図２５を用いて、補正量の算出及び仮補正マップＭ１の作成について詳細に説明する。図２４において、（ａ）はフレア画像における重複領域及び重複領域付近の分割エリアを示した概念図、（ｂ）は（ａ）の一部の分割エリアのみを示した拡大図、（ｃ）は基準画像における重複領域及び重複領域付近の分割エリアを示した概念図、（ｂ）は（ｃ）の一部の分割エリアのみを示した拡大図である。

補正量の算出は、フレア画像と基準画像の重複領域を比較して行われる。Ch0（図２４（ａ）参照）とCh1（図２４（ｃ）参照）の重複領域３０で繋ぎ合わせる領域を破線枠で示しており、この右側にそれぞれの拡大図（図２４（ｂ）、（ｄ）参照）を示している。全天球撮像用のデジタルカメラは表裏同時に撮影する。そのため、重複領域３０内の同じ画像は、図３（ａ），（ｂ）に示されているように、１８０度回転した位置となっている。つなぎ合わせる際、エリアＡで示された評価領域の値は、一方はフレアが発生しているため高い値で、もう一方がそれより低い値を示す。本実施形態では、これを同じ値にするような補正を行う。補正に用いる値は以下の（式２）又は（式３）のいずれかを用いる。

補正量＝（基準画像の評価値／フレア画像の評価値）・・・（式２）
補正量＝ 基準画像の評価値−フレア画像の評価値・・・（式３）
算出された補正量の値はフレア画像のエリアＡに格納される。この処理を重複領域３０の全てに対して実施する。

図２５は、フレア画像の補正量を定めるための概念図である。算出された重複領域３０の補正量を用いて、重複領域３０の内側の補正量を算出する。具体的には重複領域３０から、図２５のように、半球画像内の中心へ向けて補正量を補間し、重複領域内側の各領域の補正量を決定する。

続いて、図２６乃至図２８を用いて、補正マップＭ４の作成及びこの補正マップＭ４を補正対象画像（半球画像）のケラレ領域に埋め込む処理について説明する。図２６のステップＳ４１，Ｓ４２の処理は、補正マップ作成部３３が行なう。図２６のステップＳ４３の処理は、埋込部３４が行なう。

図２６に示されているように、補正マップ作成部３３は、仮補正マップＭ１に補正除外マップＭ２を適用する（ステップＳ４１）。この処理に関して、図２７を用いて詳細に説明する。

図２７は、フレア画像の補正量を定めるための概念図である。補正マップ作成部３３は、仮補正マップＭ１と補正除外マップ（高輝度マップ）Ｍ２を用いて、補正マップＭ３を作成する。具体的な手法は、例えば、特開２０１５−２２６１４４号公報に記載されているため、ここでは簡単に説明する。図２７（ａ）に示す仮補正マップＭ１の各分割エリアにおいて、図２７（ｂ）の補正除外マップＭ２の対応する分割エリアの除外フラグが「１」であれば、図２７（ｃ）の補正マップの値を「1.0」に置き換える。一方、除外フラグ「０」であれば、仮補正マップＭ１で得られた値をそのまま用いる。この処理を全ての分割エリアに対して実施し、補正マップＭ３を作成する。

なお、補正除外マップＭ２適用後の補正マップＭ３は、分割エリア間で値が大きく変動している場合がある。そのため、算出された補正マップＭ１に対してガウシアンフィルタなどの平滑化フィルタをかけてもよい。

次に、補正マップ作成部３３は、補正マップＭ３を変倍する（ステップＳ４２）。この処理に関して、図２８を用いて詳細に説明する。

図２８は、補正マップの分割エリアを補正対象画像の解像度に合わせて変倍した場合の概念図である。補正マップＭ３は任意のブロックサイズの解像度になっている。これを補正対象画像全域に適用するために、図２８（ａ）に示す補正マップＭ３を変倍し、図２８（ｂ）に示すように補正対象画像の解像度へと変換した補正マップＭ４を作成する。変倍方法としてはニアレストネイバー、バイリニア、バイキュービックなどの変倍方法を用いる。変倍後の補正マップＭ４を補正対象画像全体に適用し、補正後の画像を得る。

補正量を算出する場合に、（式２）を使用したのであれば、補正画像に対して補正量の乗算を行う。一方、（式３）使用したのであれば、補正画像に対して補正量の加算を行なう。尚、以上の補正演算に関して特開２０１５−２２６１４４号公報に開示されているように、算出値が極端に小さい又は大きくなりすぎないように、上限又は下限を設けて算出される算出値の量を制限してもよい。

最後に、埋込部３４は、補正マップＭ４を補正対象画像（半球画像）のケラレ領域に埋め込む（ステップＳ４３）。この処理に関して、図２９乃至図３１を用いて詳細に説明する。

図２９は、補正マップを埋め込む前の半球画像の各ライン分のデータと、半球画像におけるケラレ領域を示す概念図である。半球画像はケラレ領域を含めて全て外部メモリ２９へと転送される。しかし、上述のように、ISP通過後の半球画像におけるケラレ領域は、後段の処理では不要であるため、無駄な領域となっている。この場合、同じ１ラインの転送であっても、図２９に示されているように、半球画像の中心部分の画像データの１ライン分（Ｌ１）と、半球画像の端部の画像データの１ライン分（Ｌ２）とでは、同じ１ライン分の転送であっても、ケラレ領域が占める割合が異なる。更に、ケラレ領域は後段の画像補正部２３、」射影変換部２４等では使用されない。したがって、このケラレ領域にデータを埋め込むことが可能である。

図３０は、補正マップを埋め込んだ後の半球画像の各ライン分のデータと、半球画像におけるケラレ領域を示す概念図である。埋込部３４は、半球画像の下部のようにケラレ領域に補正マップＭ４を埋め込むことで、半球画像とは別に補正マップＭを外部メモリ２９へと転送する必要がなくなる。これにより、図３１に示されているように、１フレームあたりのメモリ帯域は、半球画像（魚眼画像）が２つ分で済む。即ち、半球画像Ａ（例えば、補正対象画像ではない）と、補正マップＭ４を埋め込んだ状態の半球画像Ｂ（例えば、補正対象画像）との２つの画像の転送で済むことができる。なお、図３１は、１フレームあたりの転送データを示した概念図である。なお、図３１では、補正対象画像の場合の半球画像Ｂ側に補正マップＭ４を埋め込んだ例を示したが、補正対象画像でない場合の半球画像Ａ側に埋め込んでもよい。

＜＜実施形態の効果＞＞
以上説明したように、本実施形態によれば、半球画像のケラレ領域に補正マップＭ４の出データ等の補正に関する情報を埋め込むことで、外部メモリ２９へのアクセス効率が向上するという効果を奏する。

〔変形例〕
図３２は、撮像素子から出力される画像データの変形例の概念図である。撮像素子１０３ａ，ｂの撮像面が白抜きされた円形画像で示されており、この変形画像が左側に寄っている。このような場合、各分割エリアの最終ライン（右側）のケラレ領域に埋め込んでもよい。本実施形態としてはケラレ領域に補正マップＭ４を埋め込み、メモリ帯域を減らすことを目的としているため、ケラレ領域における埋め込む位置は問わない。

また、埋め込むデータは上述した補正マップＭ４に限られない。例えば、図８において、画像補正部２３が、外部メモリ２９に画像データが任意のライン数書き込まれたときに動作する場合、埋め込まれた補正マップＭ４の末尾に画像補正部２３を起動させるためのトリガ情報を埋め込むことも可能である。外部メモリＩ／Ｆ２８が、そのトリガ情報を検出した際、起動トリガを画像補正部２３に対して出力し、動作させることが可能である。また、書き込んだライン数を数える必要がなくなるため、回路規模を削減するという効果も奏する。

１ 撮像装置
２０ 画像処理装置
２１ 画像処理部
２２ 補正量作成部
２３ 画像処理部
２４ 射影変換部
２５ 画像出力部
２６ ＣＰＵ
２７ ＲＯＭ
２８ 外部メモリＩ／Ｆ
２９ 外部メモリ
３１ 補正対象判断部（補正対象判断手段の一例）
３２ 補正量算出部（補正量算出手段の一例）
３３ 補正マップ作成部（補正マップ作成手段の一例）
３４ 埋込部（埋込手段の一例）

特開２０１４−１２０８７８号公報 特開２０１６−０２７７４４号公報 特開２０１３−２４３６１０号公報

Claims (6)

1. 複数の撮像素子から取得した各画像に対して画像処理を行う画像処理装置であって、
   前記複数の画像のそれぞれの画素の画素値に基づいて、前記複数の画像の中から補正対象画像を判断する補正対象判断手段と、
   前記各画像の画素値に基づき、前記補正対象画像を補正するための補正量を算出する補正量算出手段と、
   前記複数の画像のいずれかのケラレ領域に前記補正量に関する情報を埋め込む埋込手段と、
   を有し、
   前記画像処理装置は、前記埋込手段で前記補正量に関する情報が埋め込まれた画像を含む前記複数の画像を、メモリに転送することを特徴とする画像処理装置。
2. 前記複数の画像のいずれかのケラレ領域は、前記補正対象画像のケラレ領域であることを特徴とする請求項１に記載の画像処理装置。
3. 前記補正量に関する情報は、前記補正対象画像を補正するための補正マップであることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記ケラレ領域の位置は、レジスタ設定されることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記埋込手段は、前記複数の画像のうち、ケラレ領域に前記補正量に関する情報を埋め込む所定の画像を選択することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 請求項１乃至５の何れか一項に記載の画像処理装置と、
   被写体を撮影して得られた第１の画像データを前記画像処理装置に送る第１の撮像素子と、
   被写体を撮影して得られた第２の画像データを前記画像処理装置に送る第２の撮像素子と、
   を有する撮影装置。