JP6885158B2

JP6885158B2 - 画像処理装置、撮影装置、及び画像処理方法

Info

Publication number: JP6885158B2
Application number: JP2017070889A
Authority: JP
Inventors: 重朗水谷
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2017-03-31
Filing date: 2017-03-31
Publication date: 2021-06-09
Anticipated expiration: 2037-03-31
Also published as: JP2018174429A

Description

本発明は、第１及び第２の画像データによって表現される複数の画像をつなぎ合わせる合成を行う発明に関する。

近年、一度の撮影で、３６０°の全天球画像の元になる２つの半球画像データを得る特殊なデジタルカメラが提供されている（特許文献１参照）。この特殊なデジタルカメラは、２つの半球画像データに基づいて１つの正距円筒射影画像データを作成し、スマートフォン等の通信端末に正距円筒射影画像データを送信する。正距円筒射影画像データを得た通信端末は、正距円筒射影画像データに基づいて全天球画像を作成する。但し、そのままでは画像が湾曲して利用者が見えづらいため、通信端末に全天球画像の一部の所定領域を示す所定領域画像を表示させることで、利用者は一般のデジタルカメラで撮影された平面画像と同じ感覚で閲覧することができる。

また、全天球画像を作成する際に、２つの半球画像を繋ぎ合わせる処理が必要である。各半球画像は、１８０°以上の画角の魚眼レンズを介して得られているため、従来、特殊なデジタルカメラは、３６０°の全天球画像を作成するためには、各半球画像の繋ぎ目領域の画像を取り出して、歪み補正処理を行った後に、テンプレートマッチングを実施する事で高画質化を実現している（特許文献２参照）。この技術による繋ぎ目処理としては、対応するそれぞれの領域を基準画像及び比較画像として切り出して、歪み補正後の画像に対して、テンプレートマッチングを行っている。

しかし、画像解像度が高解像度化していく中で、基準画像及び比較画像も、高解像度化に合わせて大きく取得していく方法を採用すると、特殊なデジタルカメラ内の画像処理装置におけるメモリ帯域を切迫する事になるという課題が生じる。

上記課題を解決するために、請求項１に係る発明は、第１及び第２の画像データによって表現される複数の画像を繋ぎ合わせる画像処理装置であって、前記第１及び第２の画像データに対し、画像の歪みを補正する処理をそれぞれ行う第１の歪み補正部と、前記第１の歪み補正部による処理が行われた前記第１の画像データに係る第１の画像と前記第１の歪み補正部による処理が行われた前記第２の画像データに係る第２の画像とを繋ぎ合わせる場合の重複領域において、前記第２の画像のうちの比較領域を示す比較画像に対して、前記第１の画像のうちの基準領域を示す基準画像をパターンマッチング処理するパターンマッチング部と、前記パターンマッチング部によるパターンマッチング処理により、前記重複領域のズレ量を算出するズレ量算出部と、前記ズレ量に応じて、前記第１の画像及び第２の画像のうちの少なくとも一方の歪みを補正するための歪み補正パラメータを作成するパラメータ作成部と、前記パラメータ作成部によって作成された前記歪み補正パラメータを用いて、前記第１及び第２の画像データのうちの少なくとも一方に対して画像の歪みを補正する処理を行う第２の歪み補正部と、を有し、前記ズレ量算出部は、少なくとも前記第１の画像及び前記第２の画像の前記重複領域において前記パターンマッチング処理に利用するテストパターンを、前記画像処理装置を所定の撮影装置に組み立てる際に撮影して得られた画像データであって、当該撮影装置の記憶部に記憶された画像データを利用して前記パターンマッチングすることを特徴とする画像処理装置である。

本発明によれば、特殊なデジタルカメラ等の撮影装置内の画像処理装置におけるメモリ帯域を切迫する事を回避することができるという効果を奏する。

（ａ）は特殊撮影装置の右側面図であり、（ｂ）は特殊撮影装置の背面図であり、（ｃ）は特殊撮影装置の平面図であり、（ｄ）は特殊撮影装置の底面図である。特殊撮影装置の使用イメージ図である。（ａ）は特殊撮影装置で撮影された半球画像（前）、（ｂ）は特殊撮影装置で撮影された半球画像（後）、（ｃ）は正距円筒図法により表された画像を示した図である。（ａ）は正距円筒射影画像で球を被う状態を示した概念図、（ｂ）は全天球画像を示した図である。全天球画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。（ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。所定領域情報と所定領域Ｔの画像との関係を示した図である。本実施形態に係る撮影装置内の画像処理装置のハードウェア構成図である。本実施形態に係る撮影装置内の画像処理装置の機能ブロック図である。マッチング処理を終えるまでのフローについて説明する図である。各半球画像の重複領域について説明する図である。各半球画像の重複領域について説明する図である。各半球画像でそれぞれ重複領域を分割した場合の図である。（ａ）基準画像の概念図、（ｂ）比較画像の概念図である。マッチング処理ブロックによるズレ量の算出方法例を説明する図である。被写体を表した画像を示した図である。（ａ）は被写体を表したＦＨＤ画像における基本画像を示した図であり、（ｂ）は被写体を表した４Ｋ画像における基本画像を示した図である。（ａ）は被写体を表したＦＨＤ画像の場合の比較画像におけるマッチングエリアを示した図であり、（ｂ）は被写体を表した４Ｋ画像の場合の比較画像におけるマッチングエリアを示した図である。図８の構成図を基にメモリ帯域に関連するデータ転送イメージを示した図である。テンプレートのテストパターンの概念図である。図２０の右上部の拡大図である。図２２は、基準画像（半球画像Ａ）の重複領域を歪み補正した場合の例を示した図である。図２３は、比較画像（半球画像Ｂ）の重複領域を歪み補正した場合の例示した図である。図２２に示されている領域Ａａと、図２３に示されている領域Ａｂとを重ね合わせた場合の拡大図である。本実施形態と従来のマッチング領域を設定した図である。

以下、図面を用いて、本発明の実施形態について説明する。

＜＜実施形態の概略＞＞
まずは、図１乃至図７を用いて、本実施形態の概略について説明する。

まず、図１を用いて、撮影装置１の外観を説明する。撮影装置１は、全天球画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は特殊撮影装置の右側面図であり、図１（ｂ）は特殊撮影装置の背面図であり、図１（ｃ）は特殊撮影装置の平面図であり、図１（ｄ）は特殊撮影装置の底面図である。

図１（ａ），図１（ｂ），図１（ｃ），図（ｄ）に示されているように、特殊撮影装置１ａの上部には、正面側（前側）に魚眼型のレンズ１０２ａ及び背面側（後側）に魚眼型のレンズ１０２ｂが設けられている。特殊撮影装置１ａの内部には、後述の撮像素子（画像センサ）１０３ａ，１０３ｂが設けられており、それぞれレンズ１０２ａ、１０２ｂを介して被写体や風景を撮影することで、半球画像（画角１８０°以上）を得ることができる。特殊撮影装置１ａの正面側と反対側の面には、シャッターボタン１１５ａが設けられている。また、特殊撮影装置１ａの側面には、電源ボタン１１５ｂ、WiFi(Wireless Fidelity)ボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄが設けられている。電源ボタン１１５ｂ、及びWiFiボタン１１５ｃは、いずれも押下される度に、オンとオフが切り替えられる。また、撮影モード切替ボタン１１５ｄは、押下される度に、静止画の撮影モードと動画の撮影モードが切り替えられる。なお、シャッターボタン１１５ａ、電源ボタン１１５ｂ、WiFiボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄは、操作部１１５の一種であり、操作部１１５は、これらのボタンに限られない。

また、特殊撮影装置１ａの底部１５０の中央には、カメラ用三脚又は一般撮影装置３ａに特殊撮影装置１ａを取り付けるための三脚ねじ穴１５１が設けられている。また、底部１５０の左端側には、Micro USB(Universal Serial Bus)端子１５２が設けられている。底部１５０の右端側には、HDMI(High-Definition Multimedia Interface)端子が設けられている。なお、HDMIは登録商標である。

次に、図２を用いて、特殊撮影装置１ａの使用状況を説明する。なお、図２は、特殊撮影装置の使用イメージ図である。特殊撮影装置１ａは、図２に示されているように、例えば、利用者（撮影者）が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれ利用者の周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図３及び図４を用いて、特殊撮影装置１ａで撮影された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図３（ａ）は特殊撮影装置１ａで撮影された半球画像（前側）、図３（ｂ）は特殊撮影装置で撮影された半球画像（後側）、図３（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図４（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（ｂ）は全天球画像を示した図である。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、特殊撮影装置１ａによって合成され、図３（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）等が利用されることで、図４（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。

なお、図５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球画像が、三次元の立体球ＣＳで表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域である。所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。したがって、所定領域Ｔは画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる（図７参照）。

そして、図６（ａ）に示されている所定領域画像Ｑは、図６（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。なお、所定領域Ｔは、画角αと距離ｆではなく、所定領域Ｔである仮想カメラＩＣの撮影領域（Ｘ，Ｙ，Ｚ）によって示してもよい。

次に、図７を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図７は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図７に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角画角をαとした場合の中心点ＣＰが、所定領域情報の（ｘ，ｙ）パラメータとなる。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図７では、一般的に以下の（式１）で示される三角関数が成り立つ。

Ｌ／ｆ＝ｔａｎ（α／２）・・・（式１）
以下、本発明の実施形態の詳細内容について説明する。

＜＜実施形態の詳細＞＞
＜ハードウェア構成＞
続いて、図８を用いて、画像処理装置１のハードウェア構成につい説明する。図８は、本実施形態に係る撮影装置内の画像処理装置のハードウェア構成図である。図８に示されているように、撮影装置１内の画像処理装置１０は、入力Ｉ／Ｆ１１ａ、１１ｂ、各ISP（Image Signal Processor）１２ａ，１２ｂ、各ＤＭＡＣ(Direct Memory Access Controler)１３ａ〜１３ｇ、マッチング処理ブロック１４、歪み補正ブロック１５、インターコネクト２０，３０、ＭＥＭＣ(Motion Estimation Motion Com- pensation)２１、ＣＰＵ４０を有している。また、撮影装置１は、画像処理装置１０以外に、撮像素子１０３ａ，１０３ｂ、外部記憶装置５０、フラッシュＲＯＭ(Read Only Memory)６０を有している。外部記憶装置５０は、例えば、ＤＲＡＭ(Dynamic Random Access Memory)である。

そして、各撮像素子１０３ａ，１０３ｂからそれぞれ入力された半球画像Ａ，Ｂのデータとしてのフレーム画像データがISP(Image Signal Processing)回路１１ａ、１１ｂを経由する事で、マッチング処理０ブロック１４及び歪み補正ブロック１５で画像処理が行われ、最終的にMEMC２１を利用して外部記憶装置５０へ転送される構成になっている。

マッチング処理ブロック１４、歪み補正ブロック１５は、共に、歪み補正処理を行った画像を使用する為、インターコネクト３０は、マッチング用の歪み補正を行うパラメータ（以降、「パラメータＰａ」という）を予めフラッシュROM６０に格納しておく、そして、電源の投入後に、マッチング処理ブロック１４は、インターコネクト３０，２０によってフラッシュROM６０から外部記憶装置５０に展開された各半球画像データを読み込むと共に、フレッシュＲＯＭ６０からパラメータＰａを読み込む。

更に、マッチング処理ブロック１４は、パラメータＰａに従って、各半球画像のマッチング対象領域（重複領域）を歪み補正処理を行ない、半球画像Ａ側を基準画像として、半球画像Ｂ側を比較画像とすることで、パターンマッチング処理を行なう。このとき、マッチング処理ブロック１４は、半球画像Ａ，Ｂの魚眼画像で重複領域は円状になっているものを、それぞれEqui画像（正距円筒射影画像）に変換する。なお、各Equi画像の作成に関し、分割エリア数は任意である。マッチング処理ブロック１４に搭載されたSRAM（Static Random Access Memory：歪み補正後の画像格納領域）のサイズによって影響を受ける為である。分割エリア数のマッチング処理を繰り返し行う事で、重複領域の各々のズレ量を算出する事ができるため、フラッシュROM６０に格納して外部記憶装置５０に展開しているレンズの種パラメータを使用する。CPU４０は、算出されたズレ量に基づいて、予め外部記憶装置５０に記憶されていた半球画像Ｂの歪み補正パラメータＰａをずらす（補間する）ことで、半球画像Ｂの最終的な歪み補正パラメータ（以下、「パラメータＰｂ」という）を作成し、外部記憶装置５０に記憶する。

そして、歪み補正ブロック１５は、外部記憶装置５０に予め記憶されていた半球画像Ａ用のパラメータＰａと、作成されて外部記憶装置５０に記憶された半球画像Ｂ用のパラメータＰｂとを、外部記憶装置５０から読み出す。更に、歪み補正ブロック１５は、外部記憶装置５０に記憶されていた半球画像Ａ，Ｂのデータを読み出す。そして、歪み補正ブロック１５は、歪み補正パラメータＰａ，Ｐｂを利用して、図３（ａ）、（ｂ）に示されているように歪んでいる半球画像Ａ，Ｂに対して繋ぎ処理を行なうことで、図３（ｃ）に示されている１枚のEqui画像（正距円筒射影画像）を作成する。この作成された１枚のEqui画像のデータは、一旦外部記憶装置５０に記憶され、その後、インターコネクト回路２０及びDMAC１３ｇを介して、画像処理装置１０から出力される。なお、歪み補正ブロック１５が、１枚になったEqui画像のデータを外部記憶装置５０に記憶せずに、インターコネクト回路２０及びDMAC１３ｇを介して、画像処理装置１０から出力してもよい。

＜機能構成＞
続いて、図９を用いて、画像処理装置１０の機能構成につい説明する。図９は、本実施形態に係る撮影装置内の画像処理装置の機能ブロック図である。

図９に示されているように、マッチング処理ブロック１４は、第１の歪み補正部２４、パターンマッチング部２５、ズレ量算出部２６、パラメータ作成部２７の各機能を実現することができる。また、歪み補正ブロック１５は、第２の歪み補正部２８の機能を実現することができる。なお、外部記憶装置５０は、記憶部の一例であり、工場で、撮影装置１に組み付けられた後、所定のテストパターンを撮影することで得られたテストパターンの画像データが記憶されている。このテストパターンについては、後ほど詳細に説明する。

第１の歪み補正部２４は、インターコネクト回路３０を介して半球画像Ａ，Ｂ（画像データ）を記憶部としての外部記憶装置５０から読み出して、円状の画像から矩形状の画像(Equi画像)に変形させる歪み補正を行う。その歪み補正は、予め用意された（マッチング用歪み補正）パラメータＰａを用いて行われる。その歪み補正を行った後の各画像は、インターコネクト回路２０を介して外部記憶装置５０に保存される。予め用意されたパラメータＰａ、撮影装置１の光学系に合わせたものであることから、固定である。この第１の歪み補正部２４は、図８のマッチング処理ブロック２４によって実現される機能である。

なお、以降、半球画像Ａが第１の歪み補正部２４によって歪み補正された後の画像データに係る画像を「変形画像Ａ」として示し、半球画像Ｂが第１の歪み補正部２４によって歪み補正された後の画像データに係る画像を「変形画像Ｂ」として示す。

パターンマッチング部２５は、変形画像Ａと変形画像Ｂとを繋ぎ合わせる場合の重複領域において、変形画像Ｂのうちの比較領域を示す比較画像に対して、変形画像Ａのうちの基準領域を示す基準画像をパターンマッチング処理する。

ズレ量算出部２６は、パターンマッチング部２５によるパターンマッチング処理により、
重複領域のズレ量を算出（特定）する機能である。

パラメータ作成部２７は、ズレ量算出部２６によって算出されたズレ量に応じて、変形画像Ａ及び変形画像Ｂのうちの少なくとも一方の歪みを補正するための（歪み補正）パラメータＰｂを作成する。このパラメータＰｂは、補正後の重複部分を除く変形画像Ｂが変形画像Ａと自然な感じで連続するように、変形画像Ｂの歪み補正を行うためのものである。それにより、パラメータ補正部１７は、予め用意されたパラメータＰａで想定するズレ量（例えば重複部分の幅）と、実際のズレ量との差を用いて、その予め用意されたパラメータＰａの補間処理により、歪み補正に用いるべきパラメータPｂを領域単位で作成する。

第２の歪み補正部２８は、確定した後の領域毎のパラメータＰｂを用いて、変形画像Ｂに対し、領域単位の歪み補正を行うことで変形画像Ｂ’を作成する。この変形画像Ｂ’のデータは、インターコネクト回路２０を介して外部記憶装置５０に保存される。この変形画像Ｂ’のデータは、例えば重複部分の画像データを除いたものである。変形画像Ａのデータ及び変形画像Ｂ’のデータは、外部記憶装置５０から、インターコネクト回路２０及びＤＭＡＣ１３ｇを介して外部に出力される。なお、変形画像Ａのデータ及び変形画像Ｂ’のデータは、外部記憶装置５０に一旦記憶されないで、歪み補正ブロック１５から、インターコネクト回路２０及びＤＭＡＣ１３ｇを介して直接外部に出力されるようにしてもよい。

＜＜実施形態の処理＞＞
続いて、図１０乃至図２５を用いて、本実施形態の処理について説明する。図１０は、マッチング処理を終えるまでのフローについて説明する図である。

図１０において、「開始」は、画像処理装置１０が搭載された撮影装置１の電源を投入することを示している。色々な部品で撮影装置１等の製品を組み立てる為、製品それぞれに組み付け誤差を含んだズレが発生する。繋ぎ目の（マッチング用歪み補正）パラメータＰａを最初に作成する際には、製品の出荷前に所定のテストパターン（又は、テストチャート、又はガイド）のテンプレート用いて作成する必要がある。テストパターンを撮影したフレーム画像から、半球画像Ａ，Ｂのズレ量（水平方向、垂直方向）を算出し、パラメータＰａが作成される（ステップＳ１１）。この作成されたパラメータＰａを製品で使用できるように、フラッシュROMのデータに格納される（ステップＳ１２）。そして、撮影装置１を使用する際に電源をONされた場合に、ソフト処理にてフラッシュROM６０に格納されたパラメータＰａが外部記憶装置に展開される（ステップＳ１３）。そして、マッチング処理ブロック１４は、パラメータＰａ等を各々のDMAC１３ｅ，１３ｆ介して読み出す（ステップＳ１４）。また、マッチング処理ブロック１４は、パラメータＰａに基づき、半球画像Ａ，ＢからそれぞれEqui画像を作成する（ステップＳ１５）。半球画像ＡのEqui画像は基準画像となり、半球画像ＢのEqui画像は比較画像となる。更に、マッチング処理ブロック１４は、比較画像に対して基準画像のパターンマッチングを行なう（ステップＳ１６）。なお、半球画像Ａと半球画像Ｂのうち、どちらが基準画像であるかは、パラメータＰａの作り方次第である。そして、マッチング処理ブロック１４は、パターンマッチング後に、ズレ量を得ることで、パラメータＰｂが作成される（ステップＳ１７）。これにより、マッチング処理を終えるまでの一通りの処理は終了する。以降、上述のパターンマッチングに関して、更に詳細に説明する。

まず、パターンマッチングを説明するにあたって、図１１及び図１２を用いて、各半球画像（魚眼画像）Ａ，Ｂの重複領域について説明する。図１１及び図１２は、各半球画像の重複領域について説明する図である。

図１１に示されている半球画像Ａ，Ｂの一番外側の円は、画像領域が配置されている範囲を示している。画角が１８０°を超える広角レンズの場合、黒線で示されている部分が重複領域である事を示す。半球画像Ａ，Ｂをマッチングする為には、図１２ように歪み補正を行い、半球画像Ａ，Ｂそれぞれの重複領域に対してマッチング処理を行う。図１２に示されている画像を生成する為に使用するのが（マッチング用歪み補正）パラメータＰａとなる。

続いて、図１３乃至図１５を用いて、テンプレートマッチング方法について説明する。図１３は、各半球画像でそれぞれ重複領域を分割した場合の図である。

図１３では、重複領域（黒塗り箇所）に対して、パターンマッチング（テンプレートマッチング）を行うために、基準画像としての半球画像Ａ、比較画像としての半球画像Ｂのそれぞれの重複領域に対して、任意の分割数でエリア分けしていることを示している。分割エリア数の考え方は、半球画像Ａ、半球画像Ｂのそれぞれに写っている画像をマッチングすることになり、遠方に写るもの、近方に写るもの、または、レンガ調のように繰り返しているものに対してのマッチングとなる。その際に、マッチング領域が小さすぎると繰り返しパターンのマッチングでは精度が落ちるのに対し、マッチング領域を大きくすると動的な物体が繋ぎ目領域に入っていた場合に、遠方及び近方でのマッチング処理にて大きなズレ量及び小さなズレ量が発生し、どちらを優先するべきかを判断する必要がある。そのため、一概にマッチングサイズを決めるのは困難である。

図１４（ａ）は基準画像の概念図、図１４（ｂ）は比較画像の概念図である。基準画像に対して、比較画像は、マッチング処理の際に上下左右にマッチング探索する為の領域が必要となる。基準画像の一つのエリアを”Aエリア０”とすると、このAエリア０のXSIZE,YSIZEを設定は、画素数とライン数になる。また、比較画像において、基準画像の”Aエリア０”と比較するエリアを”Bエリア０”とすると、水平方向に±α、垂直方向に±βの領域幅を持つ。精度を上げるためには、時間をかけてより広範囲でのマッチングを進めるべきであるが、マッチング領域のサイズを大きくするという事は、前エリアのマッチング処理に時間を要する事になる。処理時間を短くするためには、並列処理で行えば良いという考えもあるが、マッチングするエリア毎に基準画像及び比較画像は処理が終わるまで保持しておかなければならず、更に、撮影装置１の設計を考慮すると、マッチング処理ブロック１４に内蔵されたSRAMの容量が大きくなることにもつながる。

図１５は、マッチング処理ブロックによるズレ量の算出方法例を説明する図である。図１５では、重複領域をＮ分割し、エリア毎に処理を行いＮ個のズレ量が出力される事になる。
半球画像Ｂの±α，±β領域を含んだ画像領域をマッチング用歪み補正パラメータＰａで画像生成をする必要がある。すなわち、マッチング処理ブロック１４は、領域単位でズレ量の算出を行う。図５中の「α」「β」は、ズレ量を探索するうえでのＸ方向上、Ｙ方向上の幅を示すシンボルである。

以上までが、図２に示されたフローに沿った処理内容となる。

続いて、図１６乃至図１８を用いて、画像解像度について説明する。図１６は、被写体を表した画像を示した図である。図１７（ａ）は被写体を表したＦＨＤ(Full High Definition)画像における基本画像を示した図であり、図１７（ｂ）は被写体を表した４Ｋ画像における基本画像を示した図である。図１８（ａ）は被写体を表したＦＨＤ画像の場合の比較画像におけるマッチングエリアを示した図であり、図１８（ｂ）は被写体を表した４Ｋ画像の場合の比較画像におけるマッチングエリアを示した図である。

まず、図１６に示されているように、被写体を表す画像があり、上述したマッチングエリアの一つを示しているものとする。画像解像度は、年々高解像度化が進んでおり、ＦＨＤ画像が主流であった時代から、４Ｋ画像が主流となる時代へと変化が進んでいる中で、図１７に示す画像のような課題が発生する。即ち、マッチングエリアをＦＨＤ画像の場合に指定している画像領域全てを含む事が必要であると単純に考えた場合、４Ｋ画像の場合には、４倍の画素数（画像フォーマットは、任意）が必要になるという課題が生じる。また、図１８に示されているように、比較画像の時も同様に、4倍の画素数が必要になるという課題も生じる。更に、探索幅(±α,±β)の範囲を大きくすることも、高解像度化すると一つのエリア処理に必要な画像サイズが大きくなる事に影響を与えてしまうという課題も生じる。

続いて、図１９を用いて、メモリ領域について説明する。図１９は、図８の構成図を基にメモリ帯域に関連するデータ転送イメージを示した図である。なお、CPUなど他の機能からのメモリアクセスに関しては、画像転送量に対して微量と判断し、省略している。

図１９では、フレーム単位での処理を示しており、入力された画像が出力されるのは３フレーム後になる。１フレーム目では、入力された半球画像Ａ，Ｂがメモリに格納される。２フレーム目では、マッチング処理が行なわれる。３フレーム目では、歪み補正が行なわれる。４フレーム目では、作成後のパラメータＰｂが外部記憶装置５０へ出力される。

入力Ｉ／Ｆ１１ａ，１１ｂからのフレーム画像転送は、フレーム期間内にデータを転送してくる為、図１９にライン単位でのメモリアクセス処理を示していないが、一定の間隔でメモリアクセスを行なっている。

図１９で示すように、７つのDMAC１３ａ〜１３ｇからメモリアクセスのコマンド発行が行なわれるシステムが通常のシステムとして考えられる。画像解像度が高解像度化し、フレームレートが高速化する事によってメモリ帯域が切迫している。メモリの動作周波数を高速化し、データ幅を広く設定する事で対応可能な範囲を広げる事は可能であるが、撮影装置１の製品としての消費電力の増加、実装面積の増加など撮影装置１全体に対するメリットが見いだせなくなる。これに対して、歪み補正処理に関するメモリ帯域削減の検討及び実施は行っている為、本実施形態は、マッチング精度を落とすことなく、最適なマッチング領域を設定する事でメモリ帯域を削減するができる。そこで、メモリ帯域を削減するための方法を以下に示す。

図２０は、テンプレートのテストパターンの概念図である。図２１は、図２０の右上部の拡大図である。このテストパターンＴＰは、同心円上に同じ中心から放射状の複数の直線が表されている。まず、矢印が示している範囲は、テンプレートマッチングを行うエリアの範囲である。そのため、図２０では、テンプレートマッチングを行うエリア数が８である事を示している。

なお、撮影装置１に実装されている回路に見合ったサイズである必要はあるが、特に分割数は、任意であってもよい。ここでは、説明の便宜上、８分割にしている。円状の太い黒線部分が、今回のマッチング領域を決定する為のテストパターンである。半球画像Ａ，Ｂそれぞれに、図２０に示されているように、黒線部が現れるテストパターンＴＰを用意している。なお、黒線部分がクロスする点もまた任意であり、個数に制約ない。

マッチング処理ブロック１４は、入力された半球画像Ａ，Ｂのそれぞれに対して、歪み補正を行なう。同じテストパターンＴＰを使用して入力された画像に対して、それぞれにパラメータＰａを使用すると、図２２及び図２３に示すようになる。

図２２は、基準画像（半球画像Ａ）の重複領域を歪み補正した場合の例を示した図である。図２３は、比較画像（半球画像Ｂ）の重複領域を歪み補正した場合の例示した図である。このままであれば、基本画像のグレーで塗りつぶされた領域Ａａと比較画像のグレーで塗りつぶされた領域Ａｂとをテンプレートマッチングすることになるが、基本画像のテストパターンＴＰａと比較画像のテストパターンＴＰｂとで予めズレ量を確認する事が、上述のマッチング処理ブロック１４によるズレ量の算出方法で可能となる。ここで、図２４及び図２５を用いて、テストパターンＴＰａ，ＴＰｂを利用したズレ量の算出方法について説明する。

図２４は、図２２に示されている領域Ａａと、図２３に示されている領域Ａｂとを重ね合わせた場合の拡大図である。領域Ａａにおける一画素Ｐｉａと領域Ａｂにおける一画素Ｐｉｂが、本来重なっている事が理想である。ところが、図２４のように各画素Ｐｉａ，Ｐｉｂがずれることがある。ずれる主な原因は、画像処理装置１の撮像装置１への組み付け誤差によるものであり、本来は３画素分のずれ量を想定している。また、利用者が撮像装置１を使用する場合に誤って落としたりすることで、ずれ量が３画素分よりも拡大することがあるため、より広い範囲でのパターンマッチングを行なう必要がある。更に、図１８に示したように、４Ｋ画像による撮影の場合、ＦＨＤ画像に比べて、画素が４倍になるだけでなく、ずれ量も考慮すると、より広い範囲の画素部分までパターンマッチングしなければならない。これに対して、本実施形態では、撮影装置１の組み立て工程において、図２１乃至図２３に示すように、テストパターンＴＰ（ＴＰａ，ＴＰｂ）を撮影して外部記憶装置５０に記憶しておき、パターンマッチング処理の際に利用することで、図２５に示すように、マッチング領域を小さくすることができる。

図２５は、本実施形態と従来のマッチング領域を設定した図である。ここでは、半球画像Ａである基準画像がXa×Yaサイズであるのに対し、半球画像Ｂである比較画像がXb×Ybサイズとして設定されている。図２５において、テンプレートマッチングに以前必要としていた領域である分割した１つのエリア幅Ｗ１に対して、今回必要な領域である分割した１つのエリア幅Ｗ２を小さくすることができる。

＜＜実施形態の効果＞＞
以上説明したように、本実施形態によれば、メモリ帯域の圧迫を軽減する事が出来る。更に、マッチング処理ブロック１４は、図２５に示されているように、エリア幅Ｗ１においてエリア幅Ｗ２を除く両脇の無駄な領域Ｗ３，Ｗ４を、外部記憶装置から読み出して来る必要が無くなるため、テンプレートマッチングの処理速度が向上するという効果を奏する。

１撮影装置
１０画像処理装置
１４マッチング処理ブロック
１５歪み補正ブロック
２４第１の歪み補正部
２５パターンマッチング部
５０外部記憶装置

特開２０１４−１２０８７８号公報特開２０１６−０２７７４４号公報

Claims

第１及び第２の画像データによって表現される複数の画像を繋ぎ合わせる画像処理装置であって、
前記第１及び第２の画像データに対し、画像の歪みを補正する処理をそれぞれ行う第１の歪み補正部と、
前記第１の歪み補正部による処理が行われた前記第１の画像データに係る第１の画像と前記第１の歪み補正部による処理が行われた前記第２の画像データに係る第２の画像とを繋ぎ合わせる場合の重複領域において、前記第２の画像のうちの比較領域を示す比較画像に対して、前記第１の画像のうちの基準領域を示す基準画像をパターンマッチング処理するパターンマッチング部と、
前記パターンマッチング部によるパターンマッチング処理により、前記重複領域のズレ量を算出するズレ量算出部と、
前記ズレ量に応じて、前記第１の画像及び第２の画像のうちの少なくとも一方の歪みを補正するための歪み補正パラメータを作成するパラメータ作成部と、
前記パラメータ作成部によって作成された前記歪み補正パラメータを用いて、前記第１及び第２の画像データのうちの少なくとも一方に対して画像の歪みを補正する処理を行う第２の歪み補正部と、
を有し、
前記ズレ量算出部は、少なくとも前記第１の画像及び前記第２の画像の前記重複領域において前記パターンマッチング処理に利用するテストパターンを、前記画像処理装置を所定の撮影装置に組み立てる際に撮影して得られた画像データであって、当該撮影装置の記憶部に記憶された画像データを利用して前記パターンマッチングすることを特徴とする画像処理装置。
前記テストパターンは、同心円上に同じ中心から放射状の複数の直線が表されていることを特徴とする請求項１に記載の画像処理装置。
前記第１及び第２の画像は半球画像であり、前記第２の歪み補正によって補正された後に作成される画像は、全天球画像の元になる正距円筒射影画像であることを特徴とする請求項１または２記載の画像処理装置。
請求項１乃至３の何れか一項に記載の画像処理装置と、
被写体を撮影して得られた前記第１の画像データを前記画像処理装置に送る第１の撮像部と、
被写体を撮影して得られた前記第２の画像データを前記画像処理装置に送る第２の撮像部と、
を有する撮影装置。
第１及び第２の画像データによって表現される複数の画像を繋ぎ合わせる画像処理方法であって、
前記第１及び第２の画像データに対し、画像の歪みを補正する処理をそれぞれ行う第１の歪み補正ステップと、
前記第１の歪み補正ステップによる処理が行われた前記第１の画像データに係る第１の画像と前記第１の歪み補正ステップによる処理が行われた前記第２の画像データに係る第２の画像とを繋ぎ合わせる場合の重複領域において、前記第２の画像のうちの比較領域を示す比較画像に対して、前記第１の画像のうちの基準領域を示す基準画像をパターンマッチング処理することで、前記重複領域のズレ量を算出するズレ量算出ステップと、
前記ズレ量に応じて、前記第１の画像及び第２の画像のうちの少なくとも一方の歪みを補正するための歪み補正パラメータを作成するパラメータ作成ステップと、
前記パラメータ作成ステップによって作成された前記歪み補正パラメータを用いて、前記第１及び第２の画像データのうちの少なくとも一方に対して画像の歪みを補正する処理を行う第２の歪み補正ステップと、
を実行し、
前記ズレ量算出ステップは、少なくとも前記第１の画像及び前記第２の画像の前記重複領域において前記パターンマッチング処理に利用するテストパターンを、所定の撮影装置に組み立てる際に撮影して得られた画像データであって、当該撮影装置の記憶部に記憶された画像データを利用して前記パターンマッチングすることを特徴とする画像処理方法。