JP5189568B2 - 画像合成装置，画像合成方法および画像合成プログラム - Google Patents

Description

本発明は，連続して撮影した画像や映像などから撮影対象の全景を表現したパノラマ背景画像を合成する装置や方法に関する。

動物体（移動物体ともいう）を含むシーンに対して，連続して撮影した画像や映像などから撮影対象の全景を表現したパノラマ背景画像を合成する従来技術として，次の方法がある。

撮影された画像列から選択した２つの画像について，２つの画像間でのカメラ運動を推定し，カメラ運動に応じて画像の位置，大きさ，射影ひずみなどを補正して，２つの画像を張り合わせる。この操作を入力された画像列に順次適用することでパノラマ背景画像を生成することができる。ここで，画像を張り合わせたときに複数の画素が重なっている場合に，どのように画素値を決定するかが重要である。非特許文献１では，どちらか一方の画像を上書きしている。

また，非特許文献２では，複数の画素が重なっているときに，それらのメディアンを画素値とする仮のパノラマ画像を生成し，仮のパノラマ画像と撮影された画像列との差分から動物体領域を検出し，動物体領域を削除した画像列について上書きすることでパノラマ画像を生成している。

谷口行信，阿久津明人，外村佳伸，「PanoramaExcerpts: パノラマ画像の自動生成・レイアウトによる映像一覧」，電子情報通信学会論文誌 D-II Vol.J82-D-II，No.3，pp.390-398，1999． 秦泉寺久美，渡辺裕，岡田重樹，小林直樹，「MPEG-4スプライト符号化を用いた超低レート動画像圧縮」，電子情報通信学会論文誌 D-II Vol.J84-D-II，No.5，pp.758-768，2001．

非特許文献１に記載された従来技術のパノラマ画像生成方法は，上書きする画像の画素値をそのままパノラマ背景画像の画素値とするのでボケたりすることはないが，最後に上書きする画像における移動物体がパノラマ背景画像に残るという問題がある。

この問題を解決するために，非特許文献２の従来技術では，複数の画素が重なっているときに，それらのメディアンを画素値として移動物体を含まない仮のパノラマ画像を生成し，仮のパノラマ画像を用いて移動物体領域を削除している。

しかしながら，入力された画像列において移動物体が長く滞留する場合に問題がある。例えば，ビデオの最後にオブジェクトが出現し続けている場合などには，複数の画素が重なっているときに，それらのメディアンを画素値として採用することにより移動物体の影響を受けることになる。

本発明の目的は，移動物体が通過するようなシーンではなく最後に滞留したシーンについても，移動物体の影響をなくしてパノラマ背景画像を正しく生成する方法を提供することである。

本発明では，上記目的を達成するために，画像を張り合わせたパノラマ画像の生成において，張り合わせる複数の画像が重なっている部分の画素の画素値を決定する複数の方法を統合することでパノラマ背景画像を正しく生成する。

例えば本発明では，パノラマ画像の背景画像を作成する際に，移動物体を画像から排除するために，前優先パノラマ画像および後優先パノラマ画像という複数のパノラマ画像の候補を作成する。前優先パノラマ画像とは，時間的に前に撮影された画像の画素を優先したもので，移動物体が時間的に後から現れても時間的には前で現れていなかった画素（背景）が優先されるので，移動物体が残るとすれば，最初のころに撮影された領域だけとなる。後優先パノラマ画像はその逆である（図４参照）。前優先パノラマ画像と後優先パノラマ画像とが異なる場合に，時間的に前方の部分は後優先パノラマ画像から得られる画素領域，時間的に後方の部分は前優先パノラマ画像から得られる画素領域を背景画像として採用する。これにより，移動物体が残っていないほうを採用することができる。

詳しくは本発明は，カメラの位置または方向を変えながら撮影された画像列が入力されたときに，撮影されている背景全体を表したパノラマ背景画像を生成する画像合成装置であって，撮影された画像列から選択した２つの画像について，片方の画像にもう一方の画像を重ね合わせてパノラマ画像を合成できるように，２つの画像間の空間的な変換関係を算出する画像変換関係算出手段と，前記２つの画像間の空間的な変換関係を用いて合成するパノラマ画像における同一画素位置に対応する各画像の画素値から，前記パノラマ画像の前記画素位置における画素値を複数通り決定して，複数のパノラマ画像を生成するパノラマ画像候補生成手段と，前記パノラマ画像候補生成手段により生成した複数のパノラマ画像を統合してパノラマ背景画像を生成するパノラマ画像統合手段とを備えることを特徴とする。

さらに本発明は，前記画像合成装置において，前記パノラマ画像候補生成手段は，前記パノラマ画像の前記画素位置における画素値として，前記各画像の中で撮影時刻が遅い画像の画素値を優先的に採用することで求めた後優先パノラマ画像と，撮影時刻が早い画像の画素値を優先的に採用することで求めた前優先パノラマ画像とを，前記複数のパノラマ画像として生成し，前記パノラマ画像統合手段は，前記後優先パノラマ画像と前記前優先パノラマ画像とで画素値が一致する領域を算出し，一致領域はその領域をパノラマ背景画像として採用し，一致領域以外のエリアで，一致領域部分の画像より早い時刻に撮影された画像を用いてパノラマ画像が生成されたエリア部分は，前記後優先パノラマ画像から該当するエリアをパノラマ背景画像として採用し，一致領域以外のエリアで，一致領域部分の画像より遅い時刻に撮影された画像を用いてパノラマ画像が生成されたエリア部分は，前記前優先パノラマ画像から該当するエリアをパノラマ背景画像として採用することでパノラマ背景画像を生成することを特徴とする。

上記のように本発明によれば，合成するパノラマ画像において，同一の画素に対応する各画像の画素値からパノラマ画像の画素値を複数通り決定して，複数のパノラマ画像を生成するパノラマ画像候補生成手段とパノラマ候補生成手段で生成した複数のパノラマ画像を統合してパノラマ背景画像を生成するパノラマ画像統合手段により，移動物体がシーンの最初から登場していたり，移動物体が通過することなく滞留したシーンについてもパノラマ背景画像を正しく生成することができる。

本発明の一実施例に係る装置構成例を示す図である。 入力画像列の例を示す図である。 画像合成処理のフローチャートである。 パノラマ画像候補の例を示す図である。 パノラマ画像候補統合処理のフローチャートである。 パノラマ画像候補統合処理の例を説明する図である。

以下，本発明の実施の形態を図面を用いて説明する。

図１は，本発明の一実施例における装置構成を説明するための図である。画像合成装置１０は，画像取得部１１，画像変換関係算出部１２，画像変換関係・画像列記憶部１３，前優先パノラマ画像生成部１４，前優先パノラマ画像記憶部１５，後優先パノラマ画像生成部１６，後優先パノラマ画像記憶部１７，パノラマ画像候補統合部１８から構成される。これらの各部は，ＣＰＵやメモリなどの汎用コンピュータのハードウェアとソフトウェアプログラムとによって実現されるが，一部または全部を専用のプロセッサまたは回路によって構成することもできる。

画像取得部１１は，カメラの位置や方向を変えながら撮影された画像列を読み取り，読み取った画像列を画像変換関係算出部１２に出力する。入力される画像列としては，ビデオカメラを移動させながら撮影して得られる映像のフレーム画像列や，ディジタルカメラを移動させながら連写で大量の画像を撮影した場合などの画像列である。このような画像列は撮影したときの時間の順番が既知であり，以下では，映像のフレーム番号や，静止画像のファイル名や転送する順番などで撮影した順番に関する情報も画像情報と一緒に転送されるものとする。

画像変換関係算出部１２は，画像取得部１１から受け取った画像列において，撮影した順番に２つの画像間のカメラ運動を推定し，２つの画像を張り合わせられるようにカメラ運動に応じて画像の位置，大きさ，射影ひずみなどの空間的な画像変換関係を算出する。算出した２つの画像間における画像変換関係と画像列を，画像変換関係・画像列記憶部１３に格納する。

画像変換関係を算出する方法として，非特許文献１に記載されているように，画像全体に対して拡大・縮小，位置変動などの想定される変換を施し，最適な変換関係を網羅的に探索する方法や，非特許文献２に記載されているように，局所的な動きベクトルからカメラ運動と考えられる候補を求め，その中から検定により最適なカメラ運動を選定する方法を用いればよい。

前優先パノラマ画像生成部１４は，画像変換関係算出部１２が画像変換関係・画像列記憶部１３に格納した画像列と，撮影した順番の２つの画像間の画像変換関係とから，最後に撮影した画像を基準に，前に撮影した画像を大きさや射影ひずみや位置を合わせて画素値を上書きすることで，撮影時刻が早い画像の画素値を優先的に採用することで求めた「前優先パノラマ画像」を生成し，生成した「前優先パノラマ画像」を前優先パノラマ画像記憶部１５に格納する。

後優先パノラマ画像生成部１６は，画像変換関係算出部１２が画像変換関係・画像列記憶部１３に格納した画像列と，撮影した順番の２つの画像間の画像変換関係とから，最初に撮影した画像を基準に，後に撮影した画像を大きさや射影ひずみや位置を合わせて画素値を上書きすることで，撮影時刻が遅い画像の画素値を優先的に採用することで求めた「後優先パノラマ画像」を生成し，生成した「後優先パノラマ画像」を後優先パノラマ画像記憶部１７に格納する。

パノラマ画像候補統合部１８は，前優先パノラマ画像生成部１４が前優先パノラマ画像記憶部１５に格納した「前優先パノラマ画像」と，後優先パノラマ画像生成部１６が後優先パノラマ画像記憶部１７に格納した「後優先パノラマ画像」とを統合することにより，撮影されている背景全体を表したパノラマ背景画像を生成して出力する。統合処理の具体的な方法は後述する。

次に，画像取得部１１に入力された画像列が図２に示す映像であった場合を例に，図３に示す処理フローに従って各部の動作を説明する。図２は，画像列がＦ１からＦ２００までの２００枚の映像として撮影された場合の例で，Ｆ１に動物体（移動物体）２０が出現しており，動物体２０が画像の中央に位置するようにカメラワークを行った場合の例を示している。最後のＦ２００においても動物体２０が写っている。

図３のステップＳ１では，図２に示す画像列を画像取得部１１で読み取る。ステップＳ２では，画像変換関係算出部１２により，Ｆ１とＦ２，Ｆ２とＦ３，…，Ｆ１９９とＦ２００のように撮影時刻が連続する２つの画像間の変換関係を算出する。

次に，ステップＳ３では，前優先パノラマ画像生成部１４により前優先パノラマ画像を生成する。生成した前優先パノラマ画像の例を，図４（Ａ）に示す。

また，ステップＳ４では，後優先パノラマ画像生成部１６により後優先パノラマ画像を生成する。生成した後優先パノラマ画像の例を，図４（Ｂ）に示す。

ステップＳ５では，パノラマ画像候補統合部１８により，前優先パノラマ画像と後優先パノラマ画像を統合し，パノラマ画像を生成する。

パノラマ画像候補統合部１８における統合処理の処理手順を，図５に示すパノラマ画像候補統合処理のフローチャートに従って説明する。図５は，図３に示すステップＳ５の詳細な処理手順を示している。

ステップＳ５１では，前優先パノラマ画像と後優先パノラマ画像の２つのパノラマ画像を，それぞれ前優先パノラマ画像記憶部１５および後優先パノラマ画像記憶部１７から読み取る。

次に，ステップＳ５２では，前優先パノラマ画像と後優先パノラマ画像とで画素値が一致している領域を検出する。一致領域の検出は，前優先パノラマ画像の位置を横方向と縦方向にΔｘ，Δｙだけずらし，ずらした後で，後優先パノラマ画像との差分画像を求めたときに，差分の小さい連結領域の面積が最大となるときのΔｘ，Δｙにおける差分の小さい連結領域を一致領域とすればよい。

図６（Ａ）の前優先パノラマ画像と図６（Ｂ）の後優先パノラマ画像の例では，Δｘ＝０，Δｙ＝０のときに，差分の小さい連結領域の面積が最大となり，図６（Ｃ）に示す領域が一致エリアとして検出されている。

一致領域算出の別の方法として，前優先パノラマ画像と後優先パノラマ画像を複数の小領域に分割し，小領域毎に一致しているか否かを判別し，一致していると判別された小領域をマージした領域を一致領域とする方法も有効である。

ステップＳ５３では，前優先パノラマ画像からパノラマ背景画像として採用する領域を算出する。前優先パノラマ画像において，ステップＳ５２で検出された一致領域に対応する画像を撮影したときより遅い時刻に撮影された画像を用いて前優先パノラマ画像が生成されたエリアで，ステップＳ５２で検出された一致領域に隣接する領域を採用する領域として求める。図６の例では，同図（Ｅ）に示す領域が，前優先パノラマ画像から選択エリアとして採用する領域となる。

ステップＳ５４では，後優先パノラマ画像からパノラマ背景画像として採用する領域を算出する。後優先パノラマ画像において，ステップＳ５２で検出された一致領域に対応する画像を撮影したときより早い時刻に撮影された画像を用いて後優先パノラマ画像が生成されたエリアで，ステップＳ５２で検出された一致領域に隣接する領域を採用する領域として求める。図６の例では，同図（Ｄ）に示す領域が，後優先パノラマ画像から選択エリアとして採用する領域となる。

ステップＳ５５では，ステップＳ５２で検出された後優先パノラマ画像と前優先パノラマ画像の一致領域，ステップＳ５３で検出された前優先パノラマ画像からパノラマ背景画像として採用する領域，ステップＳ５４で検出された後優先パノラマ画像からパノラマ背景画像として採用する領域の３つの領域をマージした領域をパノラマ背景画像として求める。図６の例では，同図（Ｆ）に示す画像が統合後のパノラマ背景画像として得られることになる。

以上説明したように，本発明によれば，図２に示すように動物体２０が最初から最後のシーンに登場している場合でも，図６（Ｆ）のように動物体を含まないパノラマ背景画像を求めることができる。

以上の画像合成処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。

１０ 画像合成装置
１１ 画像取得部
１２ 画像変換関係算出部
１３ 画像変換関係・画像列記憶部
１４ 前優先パノラマ画像生成部
１５ 前優先パノラマ画像記憶部
１６ 後優先パノラマ画像生成部
１７ 後優先パノラマ画像記憶部
１８ パノラマ画像候補統合部

Claims (3)

1. カメラの位置または方向を変えながら撮影された画像列が入力されたときに，撮影されている背景全体を表したパノラマ背景画像を生成する画像合成装置であって，
   撮影された画像列から選択した２つの画像について，片方の画像にもう一方の画像を重ね合わせてパノラマ画像を合成できるように，２つの画像間の空間的な変換関係を算出する画像変換関係算出手段と，
   前記２つの画像間の空間的な変換関係を用いて合成するパノラマ画像における同一画素位置に対応する各画像の画素値から，前記パノラマ画像の前記画素位置における画素値を複数通り決定して，複数のパノラマ画像を生成するパノラマ画像候補生成手段と，
   前記パノラマ画像候補生成手段により生成した複数のパノラマ画像を統合してパノラマ背景画像を生成するパノラマ画像統合手段とを備え，
   前記パノラマ画像候補生成手段は，
   前記パノラマ画像の前記画素位置における画素値として，前記各画像の中で撮影時刻が遅い画像の画素値を優先的に採用することで求めた後優先パノラマ画像と，撮影時刻が早い画像の画素値を優先的に採用することで求めた前優先パノラマ画像とを，前記複数のパノラマ画像として生成し，
   前記パノラマ画像統合手段は，
   前記後優先パノラマ画像と前記前優先パノラマ画像とで画素値が一致する領域を算出し，一致領域はその領域をパノラマ背景画像として採用し，一致領域以外のエリアで，一致領域部分の画像より早い時刻に撮影された画像を用いてパノラマ画像が生成されたエリア部分は，前記後優先パノラマ画像から該当するエリアをパノラマ背景画像として採用し，一致領域以外のエリアで，一致領域部分の画像より遅い時刻に撮影された画像を用いてパノラマ画像が生成されたエリア部分は，前記前優先パノラマ画像から該当するエリアをパノラマ背景画像として採用することでパノラマ背景画像を生成する
   ことを特徴とする画像合成装置。
2. カメラの位置または方向を変えながら撮影された画像列が入力されたときに，撮影されている背景全体を表したパノラマ背景画像を生成する画像合成方法であって，
   撮影された画像列から選択した２つの画像について，片方の画像にもう一方の画像を重ね合わせてパノラマ画像を合成できるように，２つの画像間の空間的な変換関係を算出する画像変換関係算出ステップと，
   前記２つの画像間の空間的な変換関係を用いて合成するパノラマ画像における同一画素位置に対応する各画像の画素値から，前記パノラマ画像の前記画素位置における画素値を複数通り決定して，複数のパノラマ画像を生成するパノラマ画像候補生成ステップと，
   前記パノラマ画像候補生成ステップにより生成した複数のパノラマ画像を統合してパノラマ背景画像を生成するパノラマ画像統合ステップとを有し，
   前記パノラマ画像候補生成ステップでは，
   前記パノラマ画像の前記画素位置における画素値として，前記各画像の中で撮影時刻が遅い画像の画素値を優先的に採用することで求めた後優先パノラマ画像と，撮影時刻が早い画像の画素値を優先的に採用することで求めた前優先パノラマ画像とを，前記複数のパノラマ画像として生成し，
   前記パノラマ画像統合ステップでは，
   前記後優先パノラマ画像と前記前優先パノラマ画像とで画素値が一致する領域を算出し，一致領域はその領域をパノラマ背景画像として採用し，一致領域以外のエリアで，一致領域部分の画像より早い時刻に撮影された画像を用いてパノラマ画像が生成されたエリア部分は，前記後優先パノラマ画像から該当するエリアをパノラマ背景画像として採用し，一致領域以外のエリアで，一致領域部分の画像より遅い時刻に撮影された画像を用いてパノラマ画像が生成されたエリア部分は，前記前優先パノラマ画像から該当するエリアをパノラマ背景画像として採用することでパノラマ背景画像を生成する
   ことを特徴とする画像合成方法。
3. 請求項２に記載の画像合成方法を，コンピュータに実行させるための画像合成プログラム。

Images