JP7199613B2 - 画像合成装置、画像合成方法、及びプログラム - Google Patents

Description

本開示は、画像合成装置、画像合成方法、及びプログラムに関する。

複数の画像を合成する場合、Ｉｍａｇｅ Ｓｔｉｔｃｈｉｎｇ技術が用いられる。この技術の分野では、異なる位置・姿勢のカメラで撮影された（すなわち、異なる視点から撮影された）複数の画像のうちの、互いに隣接する画像どうしを幾何学的にどのように重複させるか、及び画像どうしが重なり合う領域である重複領域の画像をどのようにブレンディングするか、という課題に対する様々な提案がなされている。

例えば、特許文献１は、部分的に重複する複数の被撮影領域の画像を複数のカメラで撮影し、複数の撮影画像を俯瞰画像に変換すると共に繋ぎ合わせる（すなわち、合成する）ことで、１つの連続した俯瞰表示画像（すなわち、合成画像）として表示装置に表示する装置を提案している。この装置は、俯瞰表示画像の繋ぎ目部分（すなわち、境界線）に対応する領域に障害物が存在するか否かを判断して、この領域に障害物が存在する場合には、俯瞰表示画像の繋ぎ目部分となる位置を変化させる。

また、非特許文献１は、仮想の投影面を設定し、そこにカメラで撮影された画像を張り付けることで合成画像を生成する技術を説明している。隣接する画像どうしは部分的に重複するため、隣接する画像間の境界線を決め、その境界線に基づいて、隣接する画像間の重複領域の画像をブレンディングすることで、隣接する画像を合成している。

特開２００７－４１７９１号公報

Ｍａｔｔｈｅｗ Ｂｒｏｗｎ、外１名著、 "Ａｕｔｏｍａｔｉｃ Ｐａｎｏｒａｍｉｃ Ｉｍａｇｅ Ｓｔｉｔｃｈｉｎｇ ｕｓｉｎｇ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅｓ"、 Ｉｎｔｅｒｎａｔｉｏｎａｌ ｊｏｕｒｎａｌ ｏｆ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ、 ７４（１）、ｐｐ．５９－７３、２００７年

しかしながら、上記従来の方法は、複数の画像の合成が行われた後に、合成画像上に優先的に表示させたい領域（「優先領域」とも言う）の画像である優先領域画像をブレンドしたいという要求を考慮していない。具体的に言えば、従来の方法は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の画像、ＣＧ（Ｃｏｍｐｔｅｒ Ｇｒａｐｈｉｃｓ）、加工されたＣＧＩ（Ｃｏｍｐｕｔｅｒ Ｇｅｎｅｒａｔｅｄ Ｉｍａｇｅｒｙ）、などの優先領域画像を重畳することを考慮していない。そのため、優先領域を含む画像を合成する場合に、隣接する画像の重複領域の境界線における画像の滑らかな接合ができない場合がある。

本開示は、上記課題を解決するためになされたものであり、隣接する画像の重複領域の境界線における画像の滑らかな接合を可能にする画像合成装置、画像合成方法、及びプログラムを提供することを目的とする。

本開示の画像合成装置は、異なる視点から撮影された複数の画像を取得し、前記複数の画像から互いに隣接する画像を選択する画像取得部と、前記隣接する画像が互いに重複する領域である重複領域を計算する重複領域計算部と、前記重複領域において画像の間の境界線を決定する境界線決定部と、前記重複領域において画像をブレンディングするブレンディング部と、を有し、前記隣接する画像の少なくとも一方が優先領域を含む場合、前記境界線決定部は、前記優先領域の画像のブレンディングに使用されるブレンディング方法に応じて決まる領域である、前記優先領域の周辺のブレンド領域に重ならない前記境界線を決定し、前記ブレンディング部は、前記境界線に基づいて前記重複領域において画像をブレンディングし、前記境界線決定部は、前記複数の画像の重複領域を前記境界線で分割する領域分割の処理を、異なる重複領域について順に実行する場合、他の画像よりも上のレイヤの画像として存在させたい画像についての領域分割ほど、後の処理として行うことを特徴とする。

本開示の画像合成方法は、画像合成装置が実行する方法であって、異なる視点から撮影された複数の画像を取得し、前記複数の画像から互いに隣接する画像を選択するステップと、前記隣接する画像が互いに重複する領域である重複領域を計算するステップと、前記重複領域において画像の間の境界線を決定するステップと、前記重複領域において画像をブレンディングするステップと、を有し、前記隣接する画像の少なくとも一方が優先領域を含む場合、前記境界線を形成する前記ステップで、前記優先領域の画像のブレンディングに使用されるブレンディング方法に応じて決まる領域である、前記優先領域の周辺のブレンド領域に重ならない前記境界線を決定し、前記画像をブレンディングする前記ステップで、前記境界線に基づいて前記重複領域において画像をブレンディングし、前記複数の画像の重複領域を前記境界線で分割する領域分割の処理を、異なる重複領域について順に実行する場合、他の画像よりも上のレイヤの画像として存在させたい画像についての領域分割ほど、後の処理として行うことを特徴とする。

本開示によれば、隣接する画像の重複領域の境界線における画像の滑らかな接合が可能になる。

実施の形態１に係る画像合成装置の構成を概略的に示す機能ブロック図である。 実施の形態１に係る画像合成装置に画像データを送信するカメラと撮影対象の例を示す図である。 実施の形態１に係る画像合成装置の画像取得部によって取得される画像の例を示す図である。 実施の形態１に係る画像合成装置の画像取得部によって選択される画像の例を示す図である。 実施の形態１に係る画像合成装置の重複領域計算部によって計算される重複領域の例を示す図である。 実施の形態１に係る画像合成装置のブレンディング部によって決定されたブレンディング方法に基づいて決まるブレンド領域の例を示す図である。 実施の形態１に係る画像合成装置の境界線決定部によって決定される境界線の例を示す図である。 実施の形態１に係る画像合成装置のハードウェア構成の例を示す図である。 実施の形態１に係る画像合成装置により実行される処理を示すフローチャートである。 図９における境界線の決定処理を示すフローチャートである。 （ａ）及び（ｂ）は、カメラ＃１、＃２、＃３によって撮影された画像のワープ画像とマスク画像を示す図である。 重みマップの生成処理の例を示す図である。 実施の形態２に係る画像合成装置の画像取得部によって取得される画像の例を示す図である。 実施の形態２に係る画像合成装置の画像取得部によって選択される画像の例を示す図である。 実施の形態２に係る画像合成装置の重複領域計算部によって計算される重複領域の例を示す図である。 実施の形態２に係る画像合成装置のブレンディング部によって決定されるブレンディング方法に基づくブレンド領域の例を示す図である。 実施の形態２に係る画像合成装置の境界線決定部によって決定される境界線の例を示す図である。 実施の形態２に係る画像合成装置によって統合された１枚の画像の例を示す図である。 実施の形態２に係る画像合成装置により実行される処理を示すフローチャートである。 実施の形態３に係る画像合成装置の境界線決定部によって決定される境界線の例を示す図である。 実施の形態４に係る画像合成装置の画像取得部によって取得される画像の例を示す図である。 実施の形態４に係る画像合成装置の境界線決定部によって決定される境界線の例を示す図である。 重複する画像の領域分割の順序を示す図である。

以下に、実施の形態に係る画像合成装置、画像合成方法、及びプログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び実施の形態を適宜変更することが可能である。

《１》実施の形態１
図１は、実施の形態１に係る画像合成装置１０の構成を概略的に示す機能ブロック図である。画像合成装置１０は、実施の形態１に係る画像合成方法を実行することができる装置である。図１に示されるように、画像合成装置１０は、画像取得部１１と、重複領域計算部１２と、境界線決定部１３と、座標系統合部１４と、ブレンディング部１５とを備える。

図２は、実施の形態１に係る画像合成装置１０に画像データを送信するカメラと撮影対象の例を示す図である。図２は、撮像装置としてのカメラ１１０、１２０、１３０、１４０が、撮影範囲１１１、１２１、１３１、１４１を撮影する様子を示している。カメラ１１０、１２０、１３０、１４０は、互いに異なる位置・姿勢で設置されている。図２の例では、カメラ１１０、１２０、１３０、１４０が、家及び木を含む撮影対象１５０を撮影して、画像データを画像合成装置１０に送信している。図２には、４台のカメラ１１０、１２０、１３０、１４０が示されているが、異なる視点から撮影された画像を送信できる構成であれば、カメラは１台の移動可能なカメラであってもよい。また、各カメラ１１０、１２０、１３０、１４０は、パン・チルト・ズーム機能を備えた可動式カメラ、又は、パン・チルト・ズーム機能のうちの１つ以上を備えた可動式カメラであってもよい。

図３は、画像合成装置１０の画像取得部１１によって取得される画像の例を示す図である。画像取得部１１は、異なる視点から撮影された複数の画像１１２、１２２、１３２、１４２を取得する。取得される画像は、静止画像又は動画像のいずれであってもよい。図３には、画像１２２が、優先領域１２３を有する例が示されている。優先領域は、狭義では、合成画像上に優先的に表示させたい領域であるが、広義では、合成画像上に優先的に表示させたい領域及び合成画像上に表示させたくない領域（実施の形態４における「除去領域」）である。本出願では、優先領域は、広義の意味で用いる。つまり、優先領域は、合成画像上に優先的に表示させたい画像の領域又は表示させたくない画像の領域（「除去領域」とも言う。）である。実施の形態１では、優先領域は、例えば、ＡＲの画像、ＣＧ、加工されたＣＧＩ、などが表示される領域である。

図４は、画像合成装置１０の画像取得部１１によって選択される画像の例を示す図である。画像取得部１１は、取得された複数の画像から、部分的に重複する領域を有し、互いに隣接する２枚の画像を選択する。図４には、画像１１２と１２２が選択された場合が示されている。画像取得部１１は、取得された複数の画像から、部分的に重複する領域を有し、互いに隣接する３枚以上の画像を選択してもよい。

図５は、画像合成装置１０の重複領域計算部１２によって計算される重複領域の例を示す図である。重複領域計算部１２は、選択された画像が互いに重複する領域である重複領域１６０を計算する。図５には、優先領域１２３が重複領域１６０内にある場合が示されている。優先領域１２３が重複領域１６０内にある場合は、優先領域１２３の全体が重複領域１６０内に存在する場合だけでなく、優先領域１２３の一部が重複領域１６０内に存在する場合も含む。

ブレンディング部１５は、重複領域１６０において画像のブレンディング方法を決定する。図５の例では、ブレンディング部１５は、優先領域１２３の画像のブレンディング方法（例えば、優先領域１２３の画像と画像１２２とのブレンディング方法）と、優先領域１２３の画像を含む画像１２２と画像１１２とのブレンディング方法とを決定する。

境界線決定部１３は、重複領域１６０において画像の間の境界線を決定する。具立的には、境界線決定部１３は、選択された画像の間の境界線を決定する。つまり、境界線決定部１３は、選択された画像の間の境界線を重複領域１６０内のどの位置にひくかを決定する。画像取得部１１によって選択された画像が優先領域１２３を含む場合、境界線決定部１３は、優先領域１２３の画像のブレンディングに使用されるブレンディング方法に応じて決まる領域である、優先領域１２３の周辺のブレンド領域（例えば、後述の図６における１６１）に基づいて、重複領域１６０においてブレンド領域に重ならない境界線１６２を決定する。隣接する画像間の境界線を決めるために用いられる方法として、様々な領域分割アルゴリズムが存在する。境界線を決めるために用いられる方法としては、重複領域１６０において一方の画像の面積と他方の画像の面積とが同じになるように重複領域１６０を分けるためにボロノイ図を用いる方法、被写体を避けるように重複領域１６０を分けるグラフカットを用いる方法、などが存在する。例えば、非特許文献２を参照。

Ｖｉｖｅｋ Ｋｗａｔｒａ、外４名著、 "Ｇｒａｐｈｃｕｔ Ｔｅｘｔｕｒｅｓ： Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｓｙｎｔｈｅｓｉｓ Ｕｓｉｎｇ Ｇｒａｐｈ Ｃｕｔｓ"、 Ｉｎ ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ （ＴｏＧ）、Ｖｏｌ．２２、ｐｐ．２７７－２８６、ＡＣＭ、２００３年

座標系統合部１４は、選択された画像の座標系を同じ座標系にするための処理を行う。選択された画像の座標系が同じである場合又は同じであるとみなしても合成画像に与える影響が少ない場合には、座標系統合部１４による処理を行う必要はない。

図６は、画像合成装置１０のブレンディング部１５によって決定されたブレンディング方法に基づいて決まるブレンド領域の例を示す図である。ブレンディング部１５が重複領域１６０おける優先領域１２３の画像のブレンディング方法を決定すると、図６に示されるように、優先領域１２３の周囲におけるブレンド領域１６１の形状が決まる。例えば、ブレンディング方法としてマルチバンドブレンディングを用いる場合には、バンド数に応じてガウシアンフィルタを画像にかけるため、ブレンド領域１６１を計算することができる。ただし、使用されるブレンディング方法は、マルチバンドブレンディングに限定されない。

ブレンド領域１６１は、優先領域１２３の周辺領域であり、ブレンディング方法に応じて決められる領域である。ブレンド領域１６１は、予め決められたルールに従って決められた予想領域であってもよい。例えば、ブレンド領域１６１は、優先領域１２３からの距離に比例して重みが変化する重みマップ（つまり、予め決められたルールに基づく重みマップ）を使用して生成された領域であってもよい。このとき、重みマップによって決まる重みの変化は、優先領域１２３からの距離に応じて増加又は減少する線形的な変化（すなわち、一次方程式における傾き）で設定されてもよい。また、重みマップによって決まる重みの変化は、線形的な変化ではなく、優先領域１２３からの距離に応じて指数的又は対数的に変化するように設定されてもよい。

図７は、画像合成装置１０の境界線決定部１３によって決定された境界線の例を示す図である。ブレンディング部１５は、境界線決定部１３によって決定された境界線１６２に基づいて重複領域１６０において画像をブレンディングする。図７の例では、互いに隣接する２枚の画像の重複領域１６０内の画像部分がブレンディングされる。

重複領域１６０の画像のブレンディングには、マルチバンドブレンディングを使用することができる。例えば、非特許文献３を参照。マルチバンドブレンディングは、画像を複数の周波数帯（バンド）に分けて、複数の画像ピラミッドを作成し、周波数帯毎に画像をブレンドするというアルゴリズムである。例えば、各画像ピラミッドは、画像の解像度を半分ずつ順次下げることで得られた複数の画像を有する。

Ｐｅｔｅｒ Ｊ Ｂｕｒｔ、外１名著、 "Ａ Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ Ｓｐｌｉｎｅ Ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｉｍａｇｅ Ｍｏｓａｉｃｓ"、 ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ （ＴＯＧ）、Ｖｏｌ．２、Ｎｏ．４、ｐｐ．２１７－２３６、 １９８３年

ただし、重複領域１６０の画像のブレンディングには、フェザリングによるブレンディング方法、ポアソンブレンディング、などのような他のブレンディング方法を用いてもよい。

図７は、選択された画像に優先領域１２３がある場合を示している。この場合、境界線決定部１３は、重複領域１６０内においてブレンディング方法に応じて決まる領域であるブレンド領域１６１に基づいて、隣接する画像の間の境界線１６２を重複領域１６０内のどの位置にひくかを決定する。境界線決定部１３は、重複領域１６０内においてブレンド領域１６１に重ならないように境界線１６２を決定する。境界線１６２の決定方法の一例を以下に示す。

境界線決定部１３は、重複領域１６０における画像の画素値の重みを示す重みマップを生成する。一般的に、境界線を決める場合、画像と同じサイズのマスク画像を生成し、マスク画像が白どうしの領域が重複領域１６０と判定される。境界線決定部１３は、この重複領域１６０おいて、優先領域１２３とブレンド領域１６１とを考慮して、重みマップを生成する。

非特許文献２に示されるグラフカットを用いた場合、２つの画像の重複領域における画素と画素との関係からデータ項を定義し、重複領域内の画素間の関係から平滑化項を定義し、データ項と平滑化項との和として表現されるエネルギー関数が最小値になるように境界線を決定する。このとき、重複する画像は、対等な立場であることから、データ項には、「０」又は０より大きな予め決められた数値（例えば、「１」であり、以下「大きな数値」とも称する。）のように定義した値を入れる。例えば、優先領域１２３を含む画像１２２において優先領域１２３とブレンド領域１６１のデータ項の値を、「大きな数値」とし、優先領域１２３とブレンド領域１６１から離れるほど（すなわち、距離が増すほど）データ項の値が減るようにすれば、優先領域１２３の近くに境界線１６２が決まる。

なお、他方の画像１１２におけるデータ項の値は、画像１２２のデータ項の値には依存しない。

図８は、画像合成装置１０のハードウェア構成の例を示す図である。ただし、画像合成装置１０のハードウェア構成は、図８に示される構成に限定されない。

画像合成装置１０は、例えば、コンピュータである。画像合成装置１０は、ＣＰＵ（Ｃｅｎｔａｒａｌ Ｐｒｏｃｅｓｓｉｏｎｇ Ｕｎｉｔ）２１と、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２と、メモリ２３と、ストレージ２４と、モニタ２５と、インタフェース２６と、バス２７とを備える。バス２７は、画像合成装置１０のハードウェアがデータを交換するために用いるデータ転送路である。インタフェース２６は、例えば、カメラに接続される。

画像合成装置１０の各機能は、処理回路により実現される。処理回路は、専用のハードウェアであっても、メモリ２３に格納されるソフトウェアであるプログラム（例えば、画像合成プログラム）を実行するＣＰＵ２１であってもよい。ＣＰＵ２１は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、及びＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のいずれであってもよい。

処理回路が専用のハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらのうちのいずれかを組み合わせたものである。

処理回路がＣＰＵ２１を含む場合、画像合成装置１０の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、メモリ２３に格納される。処理回路は、メモリ２３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、画像合成装置１０は、処理回路により処理が実行されるときに、実施の形態１に係る画像合成方法を実行するものである。

ここで、メモリ２３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの、不揮発性又は揮発性の半導体メモリ、或いは、磁気ディスク、光ディスク、コンパクトディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、などのうちのいずれかであることができる。

なお、画像合成装置１０の一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらのうちのいずれかの組み合わせによって、各機能を実現することができる。なお、図８の構成は、後述の実施の形態２から５の画像合成装置にも適用可能である。

図９は、画像合成装置１０により実行される処理を示すフローチャートである。ただし、画像合成装置１０が実行する処理は、図９に示されるものに限定されない。

画像取得部１１は、ステップＳ１１において、異なる視点からカメラ撮影された複数の画像を取得し、ステップＳ１２において、複数の画像のうちから、互いに隣接する２枚の画像を選択する。ステップＳ１３において、重複領域計算部１２は、画像取得部１１によって選択された２枚の画像の重複領域１６０を計算する。

ステップＳ１４において、ブレンディング部１５は、画像取得部１１によって選択された２枚の画像（優先領域１２３が存在する場合には、優先領域１２３内の画像を含む）の合成に用いるブレンディング方法を決定する。ステップＳ１５において、境界線決定部１３は、重複領域計算部１２によって計算された重複領域１６０における境界線１６２を決定する。ステップＳ１６において、境界線１６２を決定した後に、ブレンディング部１５は、重複領域１６０において画像をブレンディングする。なお、必要な場合には、ブレンディングの前に、座標系統合部１４による座標系の統合が行われる。

図１０は、図９における境界線の決定処理（ステップＳ１５）を示すフローチャートである。ただし、境界線の決定処理は、図１０に示されるものに限定されない。ステップＳ１５１において、境界線決定部１３は、ブレンド領域を考慮した重みマップを生成する。

図１１（ａ）及び（ｂ）は、カメラ＃１、＃２、＃３によって撮影された画像のワープ画像とマスク画像を示す図である。例えば、一般的に、境界線を決める場合、図１１（ａ）にワープ画像として示されるように、画像と同サイズの白いマスク画像を生成し、図１１（ｂ）にマスク画像として示されるように、白いマスク画像どうしの重複領域をマスクと判定する。この重複領域内に、優先領域とブレンド領域が存在する場合には、境界線決定部１３は、これらを考慮に入れて、重複領域における重みマップを生成する。

図１２は、重みマップの生成処理の例を示す図である。図１２に示されるルールでは、カメラ＃１、＃２、＃３の各々の撮影画像が優先領域（例えば、図２における木の領域、すなわち、除去領域）を有し、カメラ＃１、＃２、＃３の撮影画像について、優先領域のマスク画像と領域分割後のマスク画像の積集合が計算される。さらに、積集合として得られたカメラ＃１、＃２、＃３のマスク画像の和集合が計算される。この結果、合成画像（例えば、カメラ＃１、＃２、＃３の撮影画像からなるパノラマ画像）における優先領域（図１２では、除去領域）のマスク画像が得られる。なお、マスク画像を形成するためのルールは、図１２に示されるものに限定されない。

ステップＳ１５２において、ブレンディング部１５は、重みマップに基づいて各画素の画素値を決定し、境界線１６２に基づいて重複領域内の画像をブレンディングする。つまり、ブレンディング部１５は、例えば、図１２に示されるカメラ＃１、＃２、＃３の領域分割後の３枚のマスク画像と、図１２に示される合成画像における優先領域の１枚のマスク画像とに基づいて、重複領域内の画像をブレンディングする。境界線とブレンディング方法が決められた後に、ブレンディング部１５は、各画像の画素を、合成画像を格納するメモリに並列的に書き込むことも可能である。

以上に説明したように、実施の形態１に係る画像合成装置１０によれば、優先領域がない画像どうしを合成して合成画像を生成する場合だけでなく、優先領域を含む画像を合成して合成画像を生成する場合にも、画像の重複領域１６０の境界線１６２における画像の滑らかな接合が可能である。

また、実施の形態１に係る画像合成装置１０によれば、選択された画像の境界線を決めて接合する処理である１回目のブレンディングと、画像の重複領域に優先領域の画像を合成する処理である２回目のブレンディングとを別々に行う装置又は方法に比べ、複数の画像の合成処理を効率的に行うことが可能である。言い換えれば、実施の形態１に係る画像合成装置１０によれば、優先領域及びブレンド領域に基づいて生成された重みマップを用いて境界線を決定し、この境界線に基づいて重複領域において画像をブレンディングする処理を行うので、画像の合成処理を効率的に行うことが可能である。

《２》実施の形態２．
実施の形態２では、画像合成装置１０の画像取得部１１が優先領域を有する複数の画像を取得し、合成する例を説明する。この点以外に関し、実施の形態２は、実施の形態１と同じである。したがって、実施の形態２の説明に際しては、図１、図２、図８、及び図１０も参照する。

図１３は、画像合成装置１０の画像取得部１１によって取得される画像の例を示す図である。画像取得部１１は、異なる視点から撮影された複数の画像１１２、１２２、１３２、１４２を取得する。図１３には、画像１２２が、優先領域１２３を有し、画像１３２が優先領域１３３を有する例が示されている。

図１４は、画像合成装置１０の画像取得部１１によって選択される画像の例を示す図である。画像取得部１１は、取得された複数の画像から、部分的に重複する領域を有し、互いに隣接する２枚の画像を選択する。図１４には、画像１２２と１３２が選択された場合が示されている。

図１５は、画像合成装置１０の重複領域計算部１２によって計算される重複領域の例を示す図である。重複領域計算部１２は、選択された画像が互いに重複する領域である重複領域１７０を計算する。図５には、優先領域１２３と１３３が重複領域１７０内にあり、優先領域１２３と１３３が部分的に重複している場合が示されている。

ブレンディング部１５は、重複領域１７０におけるブレンディング方法を決定する。また、ブレンディング部１５は、優先領域１２３と１３３とが重複する領域のブレンディング方法を決定してもよい。

境界線決定部１３は、選択された画像の間の境界線を重複領域１７０内のどの位置にひくかを決定する。また、境界線決定部１３は、選択された画像の優先領域１２３と１３３の間の境界線をどの位置にひくかを決定する。

座標系統合部１４は、選択された画像の座標系を同じ座標系にするための処理を行う。選択された画像の座標系が同じである場合又は同じであるとみなしても合成画像に与える影響が少ない場合には、座標系統合部１４による処理を行う必要はない。

図１６は、画像合成装置１０のブレンディング部１５によって決定されたブレンディング方法に基づいて決まるブレンド領域の例を示す図である。ブレンディング部１５が重複領域１７０おけるブレンディング方法を決定すると、図１６に示されるように、優先領域１２３と１３３の周囲におけるブレンド領域１７１の形状が決まる。ブレンディング方法は、実施の形態１のものと同じである。

図１７は、画像合成装置１０の境界線決定部１３によって決定された境界線の例を示す図である。ブレンディング部１５は、境界線決定部１３によって決定された境界線１７２に基づいて、互いに隣接する２枚の画像の重複領域１７０をブレンディングする。

図１８は、画像合成装置１０によって統合された１枚の画像の例を示す図である。図１８の例では、１枚に統合された画像１２２ａは、１つに統合された優先領域１２３ａを有する。

図１９は、画像合成装置１０により実行される処理を示すフローチャートである。図１０に示されるフローチャートは、ステップＳ２１～Ｓ２７が追加されている点において、図９に示される実施の形態１のフローチャートと異なる。ただし、画像合成装置１０が実行する処理は、図１９に示されるものに限定されない。

ステップＳ２１において、画像取得部１１は、異なる視点からカメラ撮影された複数の画像を取得し、ステップＳ２２において、複数の画像のうちから、互いに隣接する２枚の画像（優先領域有り）を選択する。ステップＳ２３において、重複領域計算部１２は、画像取得部１１によって選択された２枚の画像の重複領域１７０を計算する。

ステップＳ２４において、ブレンディング部１５は、画像取得部１１によって選択された２枚の画像の合成に用いるブレンディング方法を決定する。ステップＳ２５において、境界線決定部１３は、図１７に示されるように、重複領域計算部１２によって計算された重複領域１７０に基づいて重複領域１７０における画像１３２と１２２の間の境界線１７２と優先領域１２３と１３３の画像の間の境界線１２５を決定する。ステップＳ２６において、境界線１６２を決定した後に、ブレンディング部１５は、重複領域１７０をブレンディングして、ステップＳ２７において、１つの優先領域１２３ａを有する１つの画像１２２ａが形成される。なお、ブレンディングの前に、座標系統合部１４による座標系の統合が行われてもよい。また、ステップＳ２６における処理では、図１０に示される処理が用いられる。

ステップＳ１１～Ｓ１６の処理は、図９に示されるものと同じである。

以上に説明したように、実施の形態２に係る画像合成装置１０によれば、優先領域がない画像どうしを合成して合成画像を生成する場合だけでなく、優先領域を含む画像を合成して合成画像を生成する場合にも、画像の重複領域１７０の境界線１７２における画像の滑らかな接合が可能である。

また、実施の形態２では、画像取得部１１によって取得された複数の画像に、優先領域１２３、１３３を有する２つ以上の画像１２２、１３２がある場合、重複領域計算部１２、ブレンディング部１５、及び境界線決定部１３は、優先領域１２３、１３３を持つ画像１２２、１３２を統合された画像１２２ａに変換する統合処理を行う（ステップＳ２１～Ｓ２７）。また、優先領域１２３、１３３が重複する場合、重複領域計算部１２、ブレンディング部１５、及び境界線決定部１３は、２つの優先領域１２３、１３３を合成して１つの統合された優先領域１２３ａに変換する。したがって、優先領域１２３、１３３を含む複数の画像１２２、１３２が入力された場合であっても、画像の重複領域１７０の境界線１７２における画像の滑らかな接合が可能である。

また、実施の形態２に係る画像合成装置１０によれば、選択された画像の境界線を決めて接合する処理である１回目のブレンディングと、画像の重複領域に優先領域の画像を合成する処理である２回目のブレンディングとを別々に行う装置又は方法に比べ、複数の画像の合成処理を効率的に行うことが可能である。言い換えれば、実施の形態２に係る画像合成装置１０によれば、統合された画像１２２ａ及びブレンド領域に基づいて生成された重みマップを用いて境界線を決定し、この境界線に基づいて重複領域において画像をブレンディングする処理を行うので、画像の合成処理を効率的に行うことが可能である。

《３》実施の形態３．
上記実施の形態１及び２では、画像合成装置１０において優先領域の画像の画素値が１００％になり、優先領域に重なる画像の画素値が０％である場合を例示したが、実施の形態３では、優先領域の画像の画素値が０％より大きく１００％より小さい例、すなわち、優先領域の画像が半透明である例を説明する。実施の形態３は、実施の形態１及び２に適用可能である。この点以外に関し、実施の形態３は、実施の形態１又は２と同じである。したがって、実施の形態３の説明に際しては、図１、図２、及び図８から図１０も参照する。

図２０は、実施の形態３に係る画像合成装置１０の境界線決定部１３によって決定される境界線の例を示す図である。実施の形態３では、優先領域１２３の画像の画素値を７０％にし、優先領域１２３に重なる背景の画像も表示される場合を説明する。実施の形態３の動作は、図９及び図１０に示されるものと同様であるが、優先領域１２３の画素値が７０％でαブレンディングするなどの半透明表示とし、優先領域１２３の四角形の境界線でα値が７０％になるように決定する。また、その場合、優先領域１２３の背景が必要となるため、図９のステップＳ１５において、背景の画像も決定する。α値は、１００％より小さい他の値（すなわち、７０％以外の値）であってもよい。

以上に説明したように、実施の形態３に係る画像合成装置１０によれば、優先領域がない画像どうしを合成して合成画像を生成する場合だけでなく、優先領域を含む画像を合成して合成画像を生成する場合にも、画像の重複領域１６０の境界線１６２における画像の滑らかな接合が可能である。また、半透明の優先領域を含む画像を合成して合成画像を生成する場合であっても、画像の重複領域の境界線における画像の滑らかな接合が可能である。

また、実施の形態３に係る画像合成装置１０によれば、選択された画像の境界線を決めて接合する処理である１回目のブレンディングと、画像の重複領域に優先領域の画像を合成する処理である２回目のブレンディングとを別々に行う装置又は方法に比べ、複数の画像の合成処理を効率的に行うことが可能である。言い換えれば、実施の形態３に係る画像合成装置１０によれば、優先領域及びブレンド領域に基づいて生成された重みマップを用いて境界線を決定し、この境界線に基づいて重複領域において半透明な画像をブレンディングする処理を行うので、画像の合成処理を効率的に行うことが可能である。

《４》実施の形態４
上記実施の形態１から３では、画像合成装置１０において優先領域を有する画像の合成処理について説明した。実施の形態４では、優先領域が、隠消現実感（Ｄｉｍｉｎｉｓｈｅｄ Ｒｅａｌｉｔｙ：ＤＲ）技術における除去対象が存在する領域（すなわち、除去領域）であり、優先領域画像が除去対象によって隠されていた背景である隠背景の領域の画像である例を説明する。実施の形態４は、実施の形態１から３に適用可能である。この点以外に関し、実施の形態４は、実施の形態１から３のいずれかと同じである。したがって、実施の形態４の説明に際しては、図１、図２、及び図８から図１０も参照する。

例えば、ＡＲの応用形態のひとつであるＤＲ技術では（非特許文献４を参照）、除去対象（例えば、図２における木）が遮蔽した背景（隠背景）である家を別視点のカメラ（隠背景観測用カメラ）の画像を用いて生成し、隠背景の領域が隠されないように、画像を合成したい場合がある。つまり、除去対象が除去された画像を生成したい場合がある。

森尚平、一刈良介、柴田史久、木村朝子、田村秀行著、 「隠消現実感の技術的枠組と諸問題～現実世界に実在する物体を視覚的に隠蔽・消去・透視する技術について～」、 日本バーチャルリアリティ学会論文誌、Ｖｏｌ．１６、Ｎｏ．２、ｐｐ．２３９－２５０、２０１１年６月

既存の方法によって境界線を決めた場合、優先領域（除去領域含む）を重畳領域に含まないようにマスク処理することで、優先領域に境界線が入ることはない。しかし、その後のブレンドにおいて重複する画像間の画素値を混ぜるが、境界線が優先領域に近すぎる場合、滑らかにブレンドされない可能性がある。

実施の形態４では、優先領域が除去対象を含む領域である例を説明する。この場合、優先領域は、「除去領域」と称する。この場合にも、実施の形態１から３の場合と同様に、優先領域に重ならないよう境界線を決める。

図２１は、実施の形態４に係る画像合成装置１０の画像取得部１１によって取得される画像の例を示す図である。図２２は、実施の形態４に係る画像合成装置１０の境界線決定部１３によって決定される境界線の例を示す図である。

画像取得部１１は、異なる視点から撮影された複数の画像１１２、１２２、１３２、１４２を取得する。図２１には、画像１２２が、除去領域１２４を有する例が示されている。

実施の形態４の動作は、基本的には、図９及び図１０に示される実施の形態１の動作と同じであるが、ステップＳ１５１で生成される、重みマップが、実施の形態１のものと異なる。非特許文献２に示されるグラフカットを用い、マスク画像として黒画像を用いた場合、除去領域１２４とブレンド領域１８１の画像のデータ項は、０である。ブレンド領域１８１の外の領域の定義は、実施の形態１の場合と同じである。例えば、除去領域１２４を含む画像１２２において除去領域１２４とブレンド領域１８１のデータ項の値を、０とし、除去領域１２４とブレンド領域１８１から離れるほど（すなわち、距離が増すほど）データ項の値が徐々に増えるようにする。この場合には、除去領域１２４の近くに境界線１８２が決まる。境界線１８２を決定した後に、ブレンディング部１５は、重複領域１６０において画像をブレンディングする。なお、必要な場合には、ブレンディングの前に、座標系統合部１４による座標系の統合が行われる。

以上に説明したように、実施の形態４に係る画像合成装置１０によれば、優先領域の一種である除去領域を含む画像を合成して合成画像を生成する場合であっても、画像の重複領域の境界線における画像の滑らかな接合が可能である。

また、実施の形態４に係る画像合成装置１０によれば、選択された画像の境界線を決めて接合する処理である１回目のブレンディングと、画像の重複領域に除去領域の画像を合成する処理である２回目のブレンディングとを別々に行う装置又は方法に比べ、複数の画像の合成処理を効率的に行うことが可能である。言い換えれば、実施の形態４に係る画像合成装置１０によれば、除去領域及びブレンド領域に基づいて生成された重みマップを用いて境界線を決定し、この境界線に基づいて重複領域において画像をブレンディングする処理を行うので、画像の合成処理を効率的に行うことが可能である。

《５》実施の形態５
上記実施の形態１から４では、２つの画像の合成処理について説明した。実施の形態５では、３枚の画像が互いに重複領域を持ち、これらの画像から合成画像を生成する場合を説明する。なお、４枚以上の画像から合成画像を生成する方法は、３枚の画像から合成画像を生成する方法と同様に行うことができる。実施の形態５は、実施の形態１から４に適用可能である。この点以外に関し、実施の形態５は、実施の形態１から４のいずれかと同じである。したがって、実施の形態４の説明に際しては、図１、図２、及び図８から図１０も参照する。

図２３は、重複する画像の領域分割の順序を示す図である。一般に、複数（３以上）の画像が重複する領域における境界線は、選択された複数枚の画像のうちの任意の２枚の画像の領域分割を、全ての組み合わせについて行うことで決定できる。

実施の形態５に係る画像合成装置１０の境界線決定部１３は、隣接する画像として、選択された３枚の画像Ａ０、Ｂ０、Ｃ０の間の境界線５１、５２、５３の決定の順番、すなわち、境界線５１、５２、５３によって重複領域を分割する処理である領域分割の順番を、複数の画像のレイヤのうちの、存在してほしいレイヤほど後で実施する。例えば、合成画像の生成において使用されない領域の面積が狭くなるようにするために、他の画像よりも上のレイヤの画像として存在させたい画像ほど、後の処理で領域分割を行うことが望ましい。

図２３の例では、先ず、画像Ａ０と画像Ｂ０との重複領域における境界線５１が計算され、使用されない領域を除いた画像Ａ１と画像Ｂ１とが生成される。次に、画像Ａ１と画像Ｃ０との重複領域における境界線５２が計算され、使用されない領域を除いた画像Ａ２と画像Ｃ１とが生成される。次に、画像Ｂ１と画像Ｃ１との重複領域における境界線５３が計算され、使用されない領域を除いた画像Ｂ２と画像Ｃ２とが生成される。合成画像の生成において使用されない領域は、図２３の画像Ａ２、Ｂ２、Ｃ２において黒塗りされた領域である。また、合成画像は、図２３の画像Ａ２、Ｂ２、Ｃ２からなる画像である。

図２３から理解できるように、他の画像よりも上のレイヤとして存在してほしい画像において使用されない画像領域の面積が狭くなるようにするためには、他の画像よりも上のレイヤとして存在してほしい画像ほど、後の処理で領域分割を行うことが望ましい。

以上に説明したように、実施の形態５に係る画像合成装置１０によれば、優先領域（除去領域であってもよい。）の画像を合成して合成画像を生成する場合であっても、画像の重複領域の境界線における画像の滑らかな接合が可能である。また、重複する３枚以上の画像を合成する場合に、他の画像よりも上のレイヤとして存在してほしい画像において、使用されない領域の面積を狭くすることができる。

また、実施の形態５に係る画像合成装置１０によれば、選択された画像の境界線を決めて接合する処理である１回目のブレンディングと、画像の重複領域に優先領域の画像を合成する処理である２回目のブレンディングとを別々に行う装置又は方法に比べ、複数の画像の合成処理を効率的に行うことが可能である。

１０ 画像合成装置、 １１ 画像取得部、 １２ 重複領域計算部、 １３ 境界線決定部、 １４ 座標系統合部、 １５ ブレンディング部、 １１０、１２０、１３０、１４０ カメラ、 １１２、１２２、１３２、１４２ 画像、 １２３、１３３ 優先領域、 １２２ａ 統合された画像、 １２３ａ 統合された優先領域、 １２４ 除去領域、 １２５ 優先領域の境界線、 １５０ 撮影対象、 １６０、１７０ 重複領域、 １６２、１７２、１８２ 境界線、 １６１、１７１、１８１ ブレンド領域。

Claims (9)

1. 異なる視点から撮影された複数の画像を取得し、前記複数の画像から互いに隣接する画像を選択する画像取得部と、
   前記隣接する画像が互いに重複する領域である重複領域を計算する重複領域計算部と、
   前記重複領域において画像の間の境界線を決定する境界線決定部と、
   前記重複領域において画像をブレンディングするブレンディング部と、
   を有し、
   前記隣接する画像の少なくとも一方が優先領域を含む場合、前記境界線決定部は、前記優先領域の画像のブレンディングに使用されるブレンディング方法に応じて決まる領域である、前記優先領域の周辺のブレンド領域に重ならない前記境界線を決定し、前記ブレンディング部は、前記境界線に基づいて前記重複領域において画像をブレンディングし、
   前記境界線決定部は、前記複数の画像の重複領域を前記境界線で分割する領域分割の処理を、異なる重複領域について順に実行する場合、他の画像よりも上のレイヤの画像として存在させたい画像についての領域分割ほど、後の処理として行う
   画像合成装置。
2. 前記ブレンディング部は、前記ブレンド領域に基づいて前記重複領域における画素値の重みマップを作成し、
   前記境界線決定部は、前記重みマップに基づいて前記境界線を決定する
   請求項１に記載の画像合成装置。
3. 前記重みマップは、前記ブレンド領域で予め決められた大きな数値の重みを有し、
   前記重みは、前記ブレンド領域から離れるほど小さくなる
   請求項２に記載の画像合成装置。
4. 前記優先領域の画像が半透明画像であり、前記ブレンディング部がαブレンディングを用いる場合、前記優先領域の境界におけるα値を１００％より小さい値に設定する
   請求項１又は２に記載の画像合成装置。
5. 前記重みマップは、前記ブレンド領域で０の重みを有し、
   前記重みは、前記ブレンド領域から離れるほど大きくなる
   請求項２に記載の画像合成装置。
6. 前記画像取得部によって取得された前記複数の画像に、優先領域を有する２つ以上の画像がある場合、
   前記重複領域計算部、前記ブレンディング部、及び前記境界線決定部は、前記優先領域を持つ画像を統合された画像に変換する統合処理を行い、前記統合された画像と、前記画像取得部によって取得された複数の画像の内の統合処理されていない画像とから合成画像を生成する
   請求項１から５のいずれか１項に記載の画像合成装置。
7. 前記優先領域を有する２つ以上の画像の前記優先領域が互いに重複する場合、前記ブレンディング部は、２つの前記優先領域を合成して１つの統合された優先領域にする
   請求項１から５のいずれか１項に記載の画像合成装置。
8. 画像合成装置が実行する画像合成方法であって、
   異なる視点から撮影された複数の画像を取得し、前記複数の画像から互いに隣接する画像を選択するステップと、
   前記隣接する画像が互いに重複する領域である重複領域を計算するステップと、
   前記重複領域において画像の間の境界線を決定するステップと、
   前記重複領域において画像をブレンディングするステップと、
   を有し、
   前記隣接する画像の少なくとも一方が優先領域を含む場合、前記境界線を形成する前記ステップで、前記優先領域の画像のブレンディングに使用されるブレンディング方法に応じて決まる領域である、前記優先領域の周辺のブレンド領域に重ならない前記境界線を決定し、前記画像をブレンディングする前記ステップで、前記境界線に基づいて前記重複領域において画像をブレンディングし、
   前記複数の画像の重複領域を前記境界線で分割する領域分割の処理を、異なる重複領域について順に実行する場合、他の画像よりも上のレイヤの画像として存在させたい画像についての領域分割ほど、後の処理として行う
   画像合成方法。
9. 異なる視点から撮影された複数の画像を取得し、前記複数の画像から互いに隣接する画像を選択するステップと、
   前記隣接する画像が互いに重複する領域である重複領域を計算するステップと、
   前記重複領域において画像の間の境界線を決定するステップと、
   前記重複領域において画像をブレンディングするステップと、
   を有する処理であって、
   前記隣接する画像の少なくとも一方が優先領域を含む場合、前記境界線を形成する前記ステップで、前記優先領域の画像のブレンディングに使用されるブレンディング方法に応じて決まる領域である、前記優先領域の周辺のブレンド領域に重ならない前記境界線を決定し、前記画像をブレンディングする前記ステップで、前記境界線に基づいて前記重複領域において画像をブレンディングし、前記複数の画像の重複領域を前記境界線で分割する領域分割の処理を、異なる重複領域について順に実行する場合、他の画像よりも上のレイヤの画像として存在させたい画像についての領域分割ほど、後の処理として行う前記処理を
   コンピュータに実行させるプログラム。

Images