JP6837211B2 - 画像処理装置、及び、画像処理方法 - Google Patents

Description

本発明は、一部が重複する複数の撮影画像を合成する画像処理装置及び画像処理方法に関する。

複数のカメラのそれぞれが撮影した撮影画像を連結してパノラマ画像を生成する技術が普及している。しかし、各カメラの撮影条件が異なるため、撮影画像をそのまま連結すると、パノラマ画像の連結部分に繋ぎ目が生じてしまう。そこで、特許文献１では、連結対象の２つの撮影画像の画素の階調を補正して、当該２つの撮影画像の重複部分を合成することにより、パノラマ画像における連結部分の繋ぎ目を目立たなくしている。

特開平９−９３４３０号公報

しかしながら、視点を任意の方向に向けられる天球パノラマ画像を生成する場合、特許文献１の技術では、視点を特定の方向（特許文献１においては上下）に向けた場合に天球パノラマ画像の連結部分の繋ぎ目が目立ってしまうという問題がある。これは、複数の撮影画像を合成して天球パノラマ画像を生成する場合、天球パノラマ画像において一点に集約されてしまう座標が存在することに起因する。すなわち、このような座標の近傍では、補正の結果も狭い範囲に集約されてしまうため、補正の効果が十分に得られない。

本発明は、連結部分の繋ぎ目が目立たない天球パノラマ画像を生成する技術を提供することを目的とする。

本発明の一態様に係る画像処理装置は、一部の撮影範囲が重複している複数の撮影画像を連結して天球パノラマ画像を生成する画像処理装置であって、少なくとも２つの撮影画像の重複している撮影範囲における合成領域を、前記天球パノラマ画像の赤道に投影される部分から前記天球パノラマ画像の極点に投影される部分までのうち、前記極点に投影される部分において最も広くなるように設定する合成領域設定部と、前記合成領域内の重複している画像に合成処理を行い、前記複数の撮影画像を連結し、前記天球パノラマ画像を生成する画像合成部と、を備える。

本発明によれば、連結部分の繋ぎ目が目立たない天球パノラマ画像を生成することができる。

画像処理装置を用いた画像処理システムの一例を示す模式図。 画像処理装置が有する機能の一例を示すブロック図。 投影領域を説明するための模式図。 天球面の領域と投影領域との関係を説明するための模式図。 合成領域を説明するための模式図。 拡張投影領域に対する撮影画像の投影を説明するための模式図。 合成処理を説明するための模式図。 アルファブレンディングの一例を説明するための模式図。 視点を極点に向けたときの天球パノラマ画像の一例を示す模式図。 画像処理装置における全体の処理を示すフローチャート。 投影領域の変形例を説明するための模式図。 投影領域の変形例を説明するための模式図。 合成領域の変形例を説明するための模式図。 合成領域の変形例を説明するための模式図。 画像処理装置のハードゥエア構成の一例を示すブロック図。

以下、図面を参照しながら、実施の形態を説明する。

なお、同種の要素を区別して説明する場合には、「カメラ１１Ｆ」、「カメラ１１Ｒ」のように参照符号を使用し、同種の要素を区別しないで説明する場合には、「カメラ１１」のように参照符号のうちの共通番号のみを使用することがある。

＜画像処理システム＞
まず、図１を用いて、本実施の形態に係る画像処理システムの構成を説明する。画像処理システムは、撮影装置１０と、画像処理装置２０と、表示装置３０と、を備える。

撮影装置１０は、複数のカメラ１１Ｆ、１１Ｒ、１１Ｂ、１１Ｌを備える。隣接する２つのカメラ１１は、撮影範囲が一部重複するように配置されている。例えば、図１において、前方を撮影するカメラ１１Ｆと、右方を撮影するカメラ１１Ｒとは、撮影範囲が一部重複するように配置されている。撮影装置１０は、各カメラ１１が撮影した撮影画像１２を、所定のケーブル（又はネットワーク）を介して、画像処理装置２０へ送信する。

画像処理装置２０は、撮影装置１０から受信した複数の撮影画像１２をスティッチング（パノラマ合成）し、天球パノラマ画像４００Ａを生成する。天球パノラマ画像４００Ａは、前後左右の方向に加えて、上下の方向にも視点を移動させることができる画像である。画像処理装置２０は、生成した天球パノラマ画像４００Ａを、所定のケーブル（又はネットワーク）を介して、表示装置３０へ送信する。

表示装置３０は、画像処理装置２０から受信した天球パノラマ画像４００Ａを表示する。ユーザが視点方向を画像処理装置２０に入力すると、画像処理装置２０は、その入力された視点方向に見える天球パノラマ画像４００Ａを生成し、表示装置３０に表示する。例えば、ユーザが、上方向の視点を画像処理装置２０に入力すると、画像処理装置２０は、図１に示すように、撮影装置１０の位置から上方に見える天球パノラマ画像４００Ａを表示する。

なお、本実施の形態では、撮影装置１０が４台のカメラを備えているとして説明するが、撮影装置１０が備えるカメラの台数はこれに限られない。例えば、撮影装置１０は、２台、３台又は５台以上のカメラを備えてもよい。

また、撮影画像１２は、静止画であっても良いし、動画であっても良い。動画の場合、本実施の形態における撮影画像１２は、動画を構成する１つのフレームであってよい。

＜画像処理装置＞
次に、図２を用いて、画像処理装置２０が有する機能について説明する。画像処理装置２０は、画像受信部１０１と、投影領域設定部１０２と、合成領域設定部１０３と、画像投影部１０４と、画像合成部１０５と、画像送信部１０６と、を有する。また、画像処理装置２０は、撮影装置１０から送信された撮影画像のデータを一時的に格納する入力バッファ２０１と、表示装置３０へ送信する天球パノラマ画像４００のデータを一時的に格納する出力バッファ２０２とを備える。

画像受信部１０１は、撮影装置１０から各カメラ１１で撮影された撮影画像を受信し、その受信した撮影画像を入力バッファ２０１に格納する。

投影領域設定部１０２は、カメラ１１と、当該カメラ１１による撮影画像が投影される投影領域との対応関係を設定する。なお、投影領域設定部１０２が行う処理の具体例については後述する。

合成領域設定部１０３は、隣接する投影領域の境界線付近に合成領域を設定し、投影領域と合成領域とを合わせた拡張投影領域を設定する。なお、合成領域設定部１０３が行う処理の具体例については後述する。

画像投影部１０４は、撮影画像を拡張投影領域にマッピングする。なお、画像投影部１０４が行う処理の具体例については後述する。

画像合成部１０５は、合成領域内の画像に合成処理を行い、隣接する２つの拡張投影領域の画像を連結し、天球パノラマ画像４００を生成する。画像合成部１０５は、その生成した天球パノラマ画像４００を、出力バッファ２０２に格納する。なお、画像合成部１０５が行う処理の具体例については後述する。

画像送信部１０６は、出力バッファ２０２に格納された天球パノラマ画像４００を、表示装置３０へ送信する。これにより、天球パノラマ画像４００が、表示装置３０に表示される。

＜投影領域設定部の詳細＞
次に、図３を用いて、投影領域設定部１０２が行う処理の具体例を説明する。

図３に示すように、投影領域設定部１０２は、右方を撮影するカメラ１１Ｒと、天球パノラマ画像４００における右方の投影領域３０１Ｒと、を対応付ける。同様に、投影領域設定部１０２は、前方、後方、及び左方を撮影するカメラ１１Ｆ、１１Ｂ、１１Ｌと、天球パノラマ画像４００における前方、後方、及び左方の投影領域３０１Ｆ、３０１Ｂ、３０１Ｌとを、それぞれ対応付ける。

また、投影領域設定部１０２は、天球パノラマ画像４００において、全ての投影領域３０１がお互いに隣接するように設定し、前方と右方、右方と後方、後方と左方、及び左方と前方の間にはそれぞれ境界線３０７ＦＲ、３０７ＲＢ、３０７ＢＬ、３０７ＬＦが形成される。ただし、図３は左方と前方において繋がっている天球パノラマ画像４００を展開した図であるため、境界線３０７ＬＦが、天球パノラマ画像４００の右端と左端の両方に示されている。境界線３０７は、例えば、投影領域３０１の境界に相当する部分に設定される。また、投影領域３０１のそれぞれの幅は、例えば、天球パノラマ画像４００をカメラ１１の数に応じて等分した長さである。ただし、カメラ１１の画角及び／又は設置の角度などに応じて、各カメラ１１が担当する投影領域の幅を不均等なものとしたり、可変なものとしたりしてもよい。

なお、図４に示すように、例えば、右方の投影領域３０１Ｒは、天球面における右方の領域を平面上に投影した領域に相当する。したがって、投影領域３０１における水平方向の座標は、天球面における経度で表現し、投影領域３０１における垂直方向の座標は、天球面における緯度で表現することができる。そこで、本実施の形態では、投影領域３０１における緯度０度（赤道）に相当する水平線を赤道線３６０、投影領域３０１における緯度±９０度（上極点、下極点）に相当する水平線を極線３６１Ｎ、３６１Ｓと呼ぶ。

＜合成領域設定部の詳細＞
次に、図５を用いて、合成領域設定部１０３が行う処理の具体例を説明する。なお、ここでは、投影領域３０１Ｒと３０１Ｂとの境界付近における処理を代表例として説明するが、他の境界付近についても同様の処理が行われる。

図５に示すように、合成領域設定部１０３は、隣接する２つの投影領域３０１Ｒ、３０１Ｂの境界線３０７ＲＢ付近に、合成領域３０２Ｒｒ（斜線部分）を設定する。また同様に、隣接する２つの投影領域３０１Ｆ、３０１Ｒの境界線３０７ＦＲ付近に合成領域３０２Ｒl（斜線部分）を設定する。本実施の形態では、投影領域３０１と合成領域３０２とを合わせて拡張投影領域３０３と呼ぶ。合成領域３０２における境界線３０７に垂直な方向（すなわち緯線に平行な方向）の幅を、合成幅と呼ぶ。

後述するように、画像合成部１０５において、合成領域３０２内の画像に、画像の繋ぎ目を目立たなくするための画像処理が行われる。一般的に、繋ぎ目を目立たなくするためには、或る程度広い合成幅が必要であり、合成幅が狭すぎると、繋ぎ目が目立ってしまう。従来は、投影領域の境界線付近に一定の合成幅を設定しているため、天球面の座標で見ると、極点近傍における合成幅（緯線に平行な弧長）が、赤道近傍における合成幅と比較して、かなり狭くなる。このため、従来は、極点方向の視点の天球パノラマ画像において、繋ぎ目が目立ってしまうという問題が発生する。

そこで、合成領域設定部１０３は、緯度θを変数とするコサイン関数の逆数に応じて合成幅Ｗが広くなるような合成領域３０２を設定する。具体的には、合成領域設定部１０３は、緯度θにおいて合成幅Ｗ＝Ｌ／ｃｏｓθとなるような合成領域３０２を設定する。ここで、Ｌは定数であり、緯度θ＝０度（つまり赤道）における合成幅に相当する。また、緯度θが±９０度のときに合成幅Ｗが∞とならないように、合成幅Ｗには所定の最大値を設ける。

上記の合成幅Ｗは、緯度０度（赤道線３６０）に近いほど狭く、緯度±９０度（極線３６１Ｎ、３６１Ｓ）に近いほど広くなる値である。これにより、極点近傍においても、天球面の座標で見た場合の合成幅が十分に確保されるので、極点方向の視点の天球パノラマ画像４００においても、繋ぎ目が目立たなくなる。

また、コサイン関数を用いることにより、天球面の座標で見た場合の合成幅が概ね一定となる。これにより、繋ぎ目がさらに目立たなくなる。

＜画像投影部の詳細＞
次に、図６を用いて、画像投影部１０４が行う処理の具体例を説明する。

図６に示すように、画像投影部１０４は、投影領域設定部１０２によってカメラ１１Ｒに対応付けられた投影領域３０１Ｒを含む拡張投影領域３０３Ｒに対して、当該カメラ１１Ｒによる撮影画像１２Ｒを投影する。具体的には、画像投影部１０４は、撮影画像１２Ｒの各画素を、拡張投影領域３０３Ｒの対応する座標にマッピングする。

なお、撮影画像１２Ｒの画素と拡張投影領域３０３Ｒにおける座標との対応関係は、カメラ１１Ｒの焦点距離及び歪曲係数等の内部パラメータと、カメラ１１Ｒの向き及び姿勢等の外部パラメータとに基づいて算出することができる。

また、拡張投影領域３０３Ｒにマッピングされる画素は、撮影画像１２Ｒにおける画素値とその周辺の画素値とを用いて生成される補完画素であってもよい。

＜画像合成部の詳細＞
次に、図７を用いて、画像合成部１０５が行う処理の具体例を説明する。

図７に示すように、画像合成部１０５は、隣接する拡張投影領域３０３Ｒ、３０３Ｂにマッピングされた画像を連結し、天球パノラマ画像４００Ｂを生成する。このとき、画像合成部１０５は、合成領域３０２Ｒｒ、３０２Ｂｌ内の画像に合成処理を行い、連結部分の繋ぎ目を目立たなくする。例えば、画像合成部１０５は、合成領域３０２Ｒｒ、３０２Ｂｌ内の画像にアルファブレンディングを行う。以下、アルファブレンディングの処理を説明する。

画像合成部１０５は、拡張投影領域３０３Ｒの合成領域３０２Ｒｒ内の第１の画素値Ｐ_１と、拡張投影領域３０３Ｂの合成領域３０２Ｂｌ内の第２の画素値Ｐ_２と、を下記の式１に代入し、合成後の画素値Ｐ_ｒを算出する。

Ｐ_ｒ＝Ｐ_１×α＋Ｐ_２×（１−α） …（式１）

ここで、αは第１の画素値の合成比率である。合成比率αは、合成領域３０２Ｒｒ、３０２Ｂｌにおける全ての画素値に対して一定値とする。ただし、合成比率αは、図８に示すように、第１の画素値Ｐ_１を含む拡張投影領域３０３Ｒの中心から離れるに従って小さくなる値であってもよい。

画像合成部１０５は、３つ以上の拡張投影領域３０３の画像を連結する場合、まず、２つの拡張投影領域の合成領域内の画像にアルファブレンディングを行って連結し、次に、その連結した拡張投影領域の別の合成領域内の画像と、別の１つの拡張投影領域の合成領域内の画像とにアルファブレンディングを行って連結する、という処理を繰り返して、天球パノラマ画像４００Ｃを生成する。

このように、極線３６１近傍において十分な合成幅でアルファブレンディングを行うことにより、例えば図９に示すように、極点３６１Ｎ方向の視点の天球パノラマ画像４００Ｄにおいても、境界線３０７の繋ぎ目が目立たなくなる。

＜画像処理装置における処理フロー＞
次に、図１０のフローチャートを用いて、画像処理装置２０における全体処理フローを説明する。

まず、画像受信部１０１は、各カメラ１１にて撮影された撮影画像１２を撮影装置１０から受信し、その受信した各撮影画像１２を入力バッファ２０１に格納する（ＳＴ１０１）。

次に、投影領域設定部１０２は、カメラ１１と投影領域３０１との対応関係を設定する（ＳＴ１０２）。

次に、合成領域設定部１０３は、投影領域３０１の境界線３０７付近に合成領域３０２を設定し、拡張投影領域３０３を生成する（ＳＴ１０３）。

次に、画像投影部１０４は、カメラ１１と対応関係にある拡張投影領域３０３に、当該カメラ１１による撮影画像１２をマッピングする（ＳＴ１０４）。

次に、画像合成部１０５は、拡張投影領域３０３の合成領域内の画像に合成処理を行って画像を連結することにより天球パノラマ画像４００を生成し、その生成した天球パノラマ画像４００を出力バッファ２０２に格納する（ＳＴ１０５）。

次に、画像送信部１０６は、出力バッファ２０２に格納された天球パノラマ画像４００を、表示装置３０へ送信する（ＳＴ１０６）。これにより、表示装置３０には、天球パノラマ画像４００が表示される。

＜投影領域の変形例＞
次に、投影領域の変形例を説明する。

（Ａ１）投影領域設定部１０２は、隣接するカメラ１１の間隔及び／又はカメラ１１の画角が異なる場合、図１１に示すように、各投影領域３０１を異なるサイズに設定する。このとき、投影領域設定部１０２は、隣接するカメラ１１の間隔及び／又はカメラ１１の画角に応じて、投影領域３０１のサイズを決定する。具体的には、隣接するカメラ１１の間隔が大きい場合及び／又はカメラ１１の画角が大きい場合、投影領域３０１のサイズを大きく設定する。

（Ａ２）撮影装置１０がさらに上下を撮影するカメラ１１を備える場合、投影領域設定部１０２は、図１２に示すように、前後左右の投影領域３０１の上部に、上方を撮影するカメラ１１に係る投影領域３０１Ｕを設け、当該前後左右の投影領域３０１の下部に、下方を撮影するカメラ１１に係る投影領域３０１Ｄを設ける。この場合、合成領域設定部１０３は、図１２に示すように、前後左右の投影領域３０１と上方の投影領域３０１Ｕとの境界線付近に合成領域３０２Ｕを設け、前後左右の投影領域３０１と下方の投影領域３０１Ｄとの境界線付近に合成領域３０２Ｄを設ける。また、図１２に示すように、下方の投影領域３０１Ｄが、上方の投影領域３０１Ｕよりも小さい場合、下方の投影領域３０１Ｄの境界線の方が、上方の投影領域３０１Ｕの境界線よりも、極線までの距離が近い（つまり赤道線からの距離が遠い）。よって、この場合、下方の投影領域３０１Ｄとの境界線付近の合成領域３０２Ｄの合成幅Ｗ_Ｄを、上方の投影領域３０１Ｕとの境界線付近の合成領域３０２Ｕの合成幅Ｗ_Ｕよりも、広くする。

天球面の座標系において経線に平行な方向における間隔は、極点までの距離と関係なく一定であるため、（Ａ２）で説明したように、上下の撮影画像と前後左右の撮影画像との間の合成幅（例えばＷ_Ｕ、Ｗ_Ｂ）を、極線３６１までの距離が近いほど広げたとしても、天球パノラマ画像４００の経線に平行な方向を滑らかにする効果は薄い。しかし、緯線に平行な方向おける間隔の狭まり方は、極点に近づくほど急になるため、極線までの距離が近いほど、前後左右の撮影画像の合成幅の調整を行っても繋ぎ目が滑らかになりにくくなる。そのため、（Ａ２）で説明したように、上下の撮影画像と前後左右の撮影画像との間の合成幅（例えばＷ_Ｕ、Ｗ_Ｂ）についても、極線３６１までの距離が近いほど広くすることにより、極線３６１近傍における緯線に平行な方向の繋ぎ目をより目立たなくすることができる。

＜合成領域の変形例＞
次に、合成領域の変形例を説明する。

（Ｂ１）合成領域設定部１０３は、図１３に示すように、合成幅Ｗが、赤道線上３６０において最小で、極線３６１Ｎ、３６１Ｓへ向かうに連れて段階的に広くなる合成領域３０２を設定する。

（Ｂ２）合成領域設定部１０３は、図１４に示すように、合成幅Ｗが、赤道線３６０において最小で、極線３６１Ｎ、３６１Ｓへ向かうに連れて一定の割合で広くなる合成領域３０２を設定する。

（Ｂ３）例えば、三脚に撮影装置１０を設置して撮影する場合等、下極点方向の視点の天球パノラマ画像を表示することがない場合、合成領域設定部１０３は、上極線３６１Ｎ近傍の合成幅のみを広く設定する。また、例えば、吊り棒に撮影装置１０を設置して撮影する場合等、上極点方向の視点の天球パノラマ画像を表示することがない場合、合成領域設定部１０３は、下極線３６１Ｓ近傍の合成幅のみを広く設定する。

（Ｂ４）合成領域設定部１０３は、隣接するカメラ１１で撮影された２つの撮影画像１２における、重複する撮影範囲内の画像の差分に応じて、合成幅を設定する。具体的には、合成領域設定部１０３は、重複する撮影範囲内の画像の差分が大きいほど、繋ぎ目を滑らかにするために、合成幅を広く設定する。

（Ｂ５）一般的に、合成幅を広く設定するほど繋ぎ目が滑らかになるが、その分、演算量が増え、画像処理装置２０の処理負荷が増大する。したがって、合成領域設定部１０３は、画像処理装置２０の演算能力の高低に応じて、合成幅を決定する。具体的には、合成領域設定部１０３は、画像処理装置２０の演算能力が低いほど、合成幅を狭く設定する。なお、画像処理装置２０の演算能力は、例えば、プロセッサの最大動作周波数、及び／又は、プロセッサの現時点における使用率によって算出される。

＜本実施の形態の効果＞
以上のように、画像処理装置２０は、複数のカメラ１１にて撮影された複数の撮影画像１２を連結して天球パノラマ画像４００を生成するにあたり、極線３６１近傍の合成幅を、赤道線３６０近傍の合成幅よりも広く設定する。これにより、極点方向の視点の天球パノラマ画像４００においても、繋ぎ目が目立たなくなる。また、このように合成幅を設定することにより、合成幅全体を広く設定した場合と比較して、合成処理の演算量を減らすことができる。

＜ハードウェア構成＞
次に、図１５を用いて、画像処理装置２０のハードウェア構成を説明する。

画像処理装置２０は、入力バッファ２０１と、出力バッファ２０２と、ＲＯＭ２０３と、ＲＡＭ２０４と、プロセッサ２０５と、を備える。

入力バッファ２０１は、上述のとおり、撮影装置１０から送信される撮影画像１２のデータを記憶する記憶デバイスである。入力バッファ２０１は、例えば、揮発性半導体メモリによって構成される。

ＲＯＭ２０３は、プロセッサ２０５に実行されるプログラム及び各種データを記憶する記憶デバイスである。ＲＯＭ２０３は、例えば、不揮発性半導体メモリによって構成される。ＲＡＭ２０４は、プロセッサ２０５が利用する各種データを記憶する記憶デバイスである。ＲＡＭ２０４は、例えば、揮発性半導体メモリによって構成される。

プロセッサ２０５は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、又はＤＳＰ（Digital Signal Processor）等のプロセッサである。プロセッサ２０５は、ＲＯＭ２０３に記憶されているプログラムに従って、画像処理装置２０が有する機能を実現する。図２に示した画像受信部１０１、投影領域設定部１０２、合成領域設定部１０３、画像投影部１０４、画像合成部１０５、及び画像送信部１０６の機能は、例えば、プロセッサ２０５によって実現される。

出力バッファ２０２は、プロセッサ２０５が生成した天球パノラマ画像４００のデータを記憶する記憶デバイスである。出力バッファ２０２は、例えば、揮発性半導体メモリによって構成される。出力バッファ２０２に記憶された天球パノラマ画像４００は、表示装置３０に出力される。

＜注記＞
なお、上記の実施の形態では、魚眼レンズによる撮影画像１２を図面に例示して説明しているが、本実施の形態の適用範囲は、これに限られない。すなわち、本実施の形態は、極点近傍が撮影範囲に含まれる画像であれば、魚眼レンズ以外の撮影画像にも適用可能である。この場合も、図４に示すように、撮影画像を合成した天球パノラマ画像の極点方向の視点では、極点近傍が１点の座標に集約され、天球パノラマ画像に投影された合成幅もこれに伴って狭くなる。この現象は、撮影画像１２の撮影に用いられたレンズの種類とは無関係であり、撮影画像を天球面に投影すると発生するものである。すなわち、本実施の形態の内容は、この現象によって繋ぎ目が目立ってしまうことを抑制するものである。したがって、撮影画像を合成して天球パノラマ画像を生成する構成であれば、撮影に用いたレンズの種類を問わず、本実施の形態を適用することで繋ぎ目を滑らかにすることができる。なお、通常のレンズを用いて極点近傍を撮影する構成は、例えば、カメラ１１を極点に相当する方向に傾けることによって実現できる。

また、上記の実施の形態では、境界線３０７を中心に対称な合成幅を設定しているが、合成幅の設定方法は、これに限られない。例えば、境界線３０７に対して非対称な合成幅を設定してもよい。すなわち、本実施の形態に係る合成幅は、赤道近傍よりも極点近傍の方が広くなるように設定されていれば、どのような形状であってもよい。

また、上記の実施の形態では、境界線３０７の位置を基準に合成幅を設定しているが、合成幅の設定方法は、これに限られない。すなわち、カメラ１１間で撮影範囲が重複している部分について合成幅を設定すればよく、必ずしも境界線３０７を基準に合成幅を設定する必要はない。例えば、カメラ１１の撮影範囲及び設置位置から各撮影画像１２の重複範囲を特定し、その特定した重複範囲の中心位置又は所定割合の位置を基準に、合成幅を設定する。このように、本実施の形態の内容は、境界線３０７自体を設定せずとも実現可能である。

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

上述した実施の形態は、本発明の説明のための例示であり、本発明の範囲を実施の形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。

本発明に係る画像処理装置及び画像処理方法は、複数のカメラによって撮影された複数の画像データの合成に適用することができる。

１０ 撮影装置
１１ カメラ
２０ 画像処理装置
３０ 表示装置
１０１ 画像受信部
１０２ 投影領域設定部
１０３ 合成領域設定部
１０４ 画像投影部
１０５ 画像合成部
１０６ 画像送信部
２０１ 入力バッファ
２０２ 出力バッファ

Claims (6)

1. 一部の撮影範囲が重複している複数の撮影画像を連結して天球パノラマ画像を生成する画像処理装置であって、
   少なくとも２つの撮影画像の重複している撮影範囲における合成領域を、前記天球パノラマ画像の赤道に投影される部分から前記天球パノラマ画像の極点に投影される部分までのうち、前記極点に投影される部分において最も広くなるように設定する合成領域設定部と、
   前記合成領域内の重複している画像に合成処理を行い、前記複数の撮影画像を連結し、前記天球パノラマ画像を生成する画像合成部と、
   を備える画像処理装置。
2. 前記複数の撮影画像は、前記赤道に略平行な方向に撮影範囲が重複しており、
   前記合成領域設定部は、
   前記赤道に略平行な方向における、前記重複している撮影範囲の合成幅が、前記赤道に投影される部分から前記極点に投影される部分までのうち、前記極点に投影される部分において最も広くなるように前記合成領域を設定する、
   請求項１に記載の画像処理装置。
3. 前記合成領域設定部は、
   前記赤道に投影される部分から前記極点に投影される部分までの間の一部において、前記合成幅が広がらない部分が存在するように前記合成領域を設定する、
   請求項２に記載の画像処理装置。
4. 前記合成領域設定部は、
   前記赤道に投影される部分から前記極点に投影される部分に向かうにつれて前記合成幅が段階的に広くなるように前記合成領域を設定する、
   請求項３に記載の画像処理装置。
5. 前記合成領域設定部は、
   演算能力の高低に応じて、前記合成幅を決定する、
   請求項２から４の何れか１項に記載の画像処理装置。
6. 一部の撮影範囲が重複している複数の撮影画像を連結して天球パノラマ画像を生成する画像処理方法であって、
   少なくとも２つの撮影画像の重複している撮影範囲における合成領域を、前記天球パノラマ画像の赤道に投影される部分から前記天球パノラマ画像の極点に投影される部分までのうち、前記極点に投影される部分において最も広くなるように設定し、
   前記合成領域内の重複している画像に合成処理を行い、前記複数の撮影画像を連結し、前記天球パノラマ画像を生成する、
   画像処理方法。