JP3548071B2

JP3548071B2 - Intermediate image synthesizing method, intermediate image synthesizing device, recording medium storing intermediate image synthesizing program

Info

Publication number: JP3548071B2
Application number: JP2000030394A
Authority: JP
Inventors: 直樹千葉
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2000-02-08
Filing date: 2000-02-08
Publication date: 2004-07-28
Anticipated expiration: 2020-02-08
Also published as: JP2001222707A

Description

【０００１】
【発明の属する技術分野】
この発明は、中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
２枚の画像からオプティカルフローを計算し、得られたオプティカルフローに基づいて、２枚の画像間での位置合わせを行う技術が知られている。従来のオプテカルフローの算出方法について説明する。
【０００３】
（１）Ｌｕｃａｓ−Ｋａｎａｄｅ法
従来から、動画像における運動物体の見かけの速度場（オプティカルフロー）を計算する手法が数多く提案されている。中でも局所勾配法であるＬｕｃａｓ−Ｋａｎａｄｅ法は、最も良い手法の一つである。その理由は、処理が高速、実装が容易、結果が信頼度を持つことである。
【０００４】
Ｌｕｃａｓ−Ｋａｎａｄｅ法の詳細については、文献：Ｂ．ＬｕｃａｓａｎｄＴ．Ｋａｎａｄｅ，”ＡｎＩｔｅｒａｔｉｖｅＩｍａｇｅＲｅｇｉｓｔｒａｔｉｏｎＴｅｃｈｎｉｑｕｅｗｉｔｈａｎＡｐｐｌｉｃａｔｉｏｎｔｏＳｔｅｒｅｏＶｉｓｉｏｎ，”ＩｎＳｅｖｅｎｔｈＩｎｔｅｒｎａｔｉｏｎａｌＪｏｉｎｔＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ（ＩＪＣＡＩ−８１），ｐｐ．６７４−９７９，１９８１を参照のこと。
【０００５】
以下に、Ｌｕｃａｓ−Ｋａｎａｄｅ法の概要を述べる。
ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃淡パターンＩ（ｘ，ｙ，ｔ）が、ある微小時間後（δｔ）に座標（ｘ＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったまま移動した時、次のオプティカルフロー拘束式１が成り立つ。
【０００６】
【数１】

【０００７】
２次元画像でオプティカルフロー｛ｖ＝（δｘ／δｔ，δｙ／δｔ）＝（ｕ，ｖ）｝を計算するには、未知パラメータ数が２個であるので、もう一個拘束式が必要である。ＬｕｃａｓとＫａｎａｄｅ（金出）は、同一物体の局所領域では、同一のオプティカルフローを持つと仮定した。
【０００８】
例えば、画像上の局所領域ω内で、オプティカルフローが一定であるとすると、最小化したい濃淡パターンの二乗誤差Ｅは、
Ｉ_０（ｐ）＝Ｉ（ｘ，ｙ，ｔ），
Ｉ_１（ｐ＋ｖ）＝Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋δｔ）
と書き改めると、次式２で定義できる。
【０００９】
【数２】

【００１０】
ここで、ｖが微少な場合には、テーラー展開の２次以上の項を無視できるので、次式３の関係が成り立つ。
【００１１】
【数３】

【００１２】
ここで、ｇ（ｐ）は、Ｉ_１（ｐ）の一次微分である。
【００１３】
誤差Ｅが最小になるのは、Ｅのｖに対する微分値が０の時であるので、次式４の関係が成り立つ。
【００１４】
【数４】

【００１５】
故にオプティカルフローｖは次式５で求められる。
【００１６】
【数５】

【００１７】
更に、次式６に示すように、ニュートン・ラフソン的な反復演算によって精度良く求めることができる。
【００１８】
【数６】

【００１９】
（２）階層的推定法
Ｌｕｃａｓ−Ｋａｎａｄｅ法を含む勾配法の最も大きな問題点は、良好な初期値が必要なために、大きな動きに対しては適用できないことである。そこで、従来からピラミッド階層構造型に数段回の解像度の異なる画像を作成して解決する方法が提案されている。
【００２０】
これは、まず、２枚の連続した画像から、予めそれぞれの画像の数段階の解像度の異なる画像を作成する。次に、最も解像度の低い画像間において、おおまかなオプティカルフローを計算する。そして、この結果を参考にして、一段解像度の高い画像間においてより精密なオプティカルフローを計算する。この処理を最も解像度の高い画像間まで順次繰り返す。
【００２１】
図４は原画像を、図３は図４の原画像より解像度の低い画像を、図２は図３の低解像度画像より解像度の低い画像を、図１は図２の低解像度画像より解像度の低い画像を、それぞれ示している。図１〜図４において、Ｓは、１つのパッチを示している。
【００２２】
図１の画像（階層１の画像）、図２の画像（階層２の画像）、図３の画像（階層３の画像）および図４の画像（階層４の画像）の順番で段階的にオプティカルフローが求められる。図１〜図４において矢印は、パッチ毎に求められたオプティカルフローベクトルを示している。
【００２３】
しかしながら、ここでの問題点は、実画像では、十分な模様（テクスチャ）を含む領域が少なく、信頼性のあるオプティカルフローが得られないことにある。
【００２４】
ところで、周辺環境を画像に記録し、表示するために動画像が利用されるが、データ量が多いという問題がある。また、動画像は撮像された順にしか表示できないため、対話的な表示方法ができない。そこで、遠隔地の実画像を蓄積し、その３次元空間をウォークスルーするような人工現実感システムが開発されている。
【００２５】
これは、複数の静止画を蓄積し、ユーザの位置とその視線方向に応じて画像を提示するものである。しかしながら、従来の技術では、視線を徐々に変えた際に、動作が不連続になるという問題がある。なぜなら、画像を提示する際に、ユーザの位置とその視線方向に応じて、幾何学的に最近傍の静止画像を選択するため、画像の切り替え時に静止画像間で差異が生じ、結果として、ユーザは不連続にウォークスルーしている印象を受ける。
【００２６】
この差異を少なくするために、密に静止画像を撮像すると、データ量が増える。あるいは、その差異を目立たなくするために、ユーザの位置や視線方向に応じて提示する画像の画素値を各静止画像の重みを変えて、単純に合成することが考えられるが、撮像された対象物が二重に表示されるなど、合成精度が良くない。
【００２７】
【発明が解決しようとする課題】
この発明の目的は、２つの静止画像の中間画像を精度良く合成することができる中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体を提供することにある。
【００２８】
【課題を解決するための手段】
この発明による第１の中間画像合成方法は、第１画像と第２画像との中間画像を合成する中間画像合成方法であって、第１画像と第２画像との間の幾何変換係数を算出する第１ステップ、第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２ステップ、および各画像を中間画像に変換するための幾何変換係数にもとづいて、第１画像と第２画像との中間画像を生成する第３ステップを備えていることを特徴とする。
【００２９】
第１ステップは、たとえば、第１画像と第２画像との重なり部を抽出するステップ、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップ、および上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出するステップを備えている。
【００３０】
この発明による第２の中間画像合成方法は、第１画像と第２画像との中間画像を合成する中間画像合成方法であって、第１画像と第２画像との間の幾何変換係数を算出する第１ステップ、第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２ステップ、第１画像と第２画像との重なり部の画素値を調合するための画素値調合係数を算出する第３ステップ、および各画像を中間画像に変換するための幾何変換係数および画素値調合係数に基づいて、第１画像と第２画像との中間画像を生成する第４ステップを備えていることを特徴とする。
【００３１】
第１ステップは、たとえば、第１画像と第２画像との重なり部を抽出するステップ、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップ、および上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出するステップを備えている。
【００３２】
画素値調合係数は、たとえば、中間画像合成後の各画像の重心から画素値調合対象画素までの距離に基づいて算出される。画素値調合係数は、たとえば、内分比に基づいて算出される。
【００３３】
この発明による第１の中間画像合成装置は、第１画像と第２画像との中間画像を合成する中間画像合成装置であって、第１画像と第２画像との間の幾何変換係数を算出する第１手段、第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２手段、および各画像を中間画像に変換するための幾何変換係数にもとづいて、第１画像と第２画像との中間画像を生成する第３手段を備えていることを特徴とする。
【００３４】
第１手段としては、たとえば、第１画像と第２画像との重なり部を抽出する手段、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出する手段、上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡する手段、および上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出する手段を備えているものが用いられる。
【００３５】
この発明による第２の中間画像合成装置は、第１画像と第２画像との中間画像を合成する中間画像合成装置であって、第１画像と第２画像との間の幾何変換係数を算出する第１手段、第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２手段、第１画像と第２画像との重なり部の画素値を調合するための画素値調合係数を算出する第３手段、および各画像を中間画像に変換するための幾何変換係数および画素値調合係数に基づいて、第１画像と第２画像との中間画像を生成する第４手段を備えていることを特徴とする。
【００３６】
第１手段としては、たとえば、第１画像と第２画像との重なり部を抽出する手段、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出する手段、上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡する手段、および上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出する手段を備えているものが用いられる。
【００３７】
画素値調合係数は、たとえば、中間画像合成後の各画像の重心から画素値調合対象画素までの距離に基づいて算出される。画素値調合係数は、たとえば、内分比に基づいて算出される。
【００３８】
この発明による第１の中間画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体は、第１画像と第２画像との中間画像を合成する中間画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体であって、第１画像と第２画像との間の幾何変換係数を算出する第１ステップ、第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２ステップ、および各画像を中間画像に変換するための幾何変換係数にもとづいて、第１画像と第２画像との中間画像を生成する第３ステップをコンピュータに実行させるための中間画像合成プログラムを記録していることを特徴とする。
【００３９】
第１ステップは、たとえば、第１画像と第２画像との重なり部を抽出するステップ、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップ、および上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出するステップを備えている。
【００４０】
この発明による第２の中間画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体は、第１画像と第２画像との中間画像を合成する中間画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体であって、第１画像と第２画像との間の幾何変換係数を算出する第１ステップ、第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２ステップ、第１画像と第２画像との重なり部の画素値を調合するための画素値調合係数を算出する第３ステップ、および各画像を中間画像に変換するための幾何変換係数および画素値調合係数に基づいて、第１画像と第２画像との中間画像を生成する第４ステップをコンピュータに実行させるための中間画像合成プログラムを記録していることを特徴とする。
【００４１】
第１ステップは、たとえば、第１画像と第２画像との重なり部を抽出するステップ、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップ、および上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出するステップを備えている。
【００４２】
画素値調合係数は、たとえば、中間画像合成後の各画像の重心から画素値調合対象画素までの距離に基づいて算出される。画素値調合係数は、たとえば、内分比に基づいて算出される。
【００４３】
【発明の実施の形態】
以下、この発明の実施の形態について説明する。
【００４４】
中間画像の合成方法を説明する前に、中間画像の合成方法において採用されるオプティカルフロー推定方法について説明しておく。
【００４５】
〔１〕オプティカルフロー推定方法についての説明。
【００４６】
この実施例で採用されるオプティカルフロー推定方法は、ピラミッド階層型に数段回の解像度の異なる画像を作成して、オプティカルフローを段階的に計算する階層的推定を前提としている。オプティカルフローの計算方法は、Ｌｕｃａｓ−Ｋａｎａｄｅ法等の勾配法に従う。つまり、階層構造化した勾配法によるオプティカルフロー推定法を前提としている。ここでは、勾配法としてＬｕｃａｓ−Ｋａｎａｄｅ法が用いられている。
【００４７】
この実施例で採用されるオプティカルフロー推定方法の特徴は、階層構造化したＬｕｃａｓ−Ｋａｎａｄｅ法によるオプティカルフロー推定法の各段階において得られたオプティカルフローを、膨張処理によって補完することにある。以下、これについて詳しく説明する。
【００４８】
Ｌｕｃａｓ−Ｋａｎａｄｅ法の長所の一つは、追跡結果が信頼性を持つことである。ＴｏｍａｓｉとＫａｎａｄｅとは、ある領域の追跡可能性が、以下のように微分画像から算出できることを示した（Ｃ．ＴｏｍａｓｉａｎｄＴ．Ｋａｎａｄｅ，”ＳｈａｐｅａｎｄＭｏｔｉｏｎｆｒｏｍＩｍａｇｅＳｔｒｅａｍｓ：ａＦａｃｔｏｒｉｚａｔｉｏｎｍｅｔｈｏｄ−Ｐａｒｔ３ＤｅｔｅｃｔｉｏｎａｎｄＴｒａｃｋｉｎｇｏｆＰｏｉｎｔＦｅａｔｕｒｅｓ，”ＣＭＵ−ＣＳ−９１−１３２，ＣａｒｎｅｇｉｅＭｅｌｌｏｎＵｎｉｖｅｒｓｉｔｙ，１９９１．）。
【００４９】
ある領域画像ωの垂直・水平方向の微分の２乗を要素に持つ次式７の２×２の係数行列Ｇから、その固有値を計算することで、その領域の追跡可能性を決定することができる。
【００５０】
【数７】

【００５１】
この行列Ｇの固有値が両方とも大きい場合には、その領域は直交方向に変化を持ち、一意の位置決めが可能である。従って、小さい方の固有値λ_ｍｉｎと、追跡後の領域間の濃淡残差Ｅから、追跡結果の信頼度γを次式８によって得ることができる。
【００５２】
【数８】

【００５３】
本発明者らは、オプティカルフローの同一階層内で信頼度の高い結果を用いて、信頼度の低い領域を補間する方法を開発した。これは、一段階粗い階層での結果を、追跡の初期値だけに用いて、着目している現段階の階層の結果には何も利用しない。代わりに、テクスチャの少ない領域のオプティカルフローはその周囲のオプティカルフローに近い値を持つと仮定し、モルフォロジー処理によりフロー場を補完するものである。
【００５４】
図５にフローベクトルの膨張処理の様子を示す。
【００５５】
左図は、フローベクトルの信頼度のマップを濃淡で表したものである。ここで、黒ければ黒い程信頼度が高いとする。
【００５６】
まず、得られたフローをしきい値処理する。白い部分は、結果の信頼度が低いために、しきい値処理されたものである。
【００５７】
次に、２値画像でのモルフォロジー演算による穴埋め処理を模して、フロー場において結果の膨張処理を次のように行う。ある領域ｉ，ｊのフローベクトルｕ（ｉ，ｊ）は、その４近傍のフローベクトルから信頼度γに応じて重み付けを行って次式９のように計算できる。
【００５８】
【数９】

【００５９】
この処理を、しきい値処理されたすべての信頼度の低い領域が埋まるまで、繰り返す。この補完処理を、各階層において行う。なお、ある領域ｉ，ｊのフローベクトルｕ（ｉ，ｊ）を、その８近傍のフローベクトルから信頼度γに応じて重み付けを行って算出するようにしてもよい。
【００６０】
図６（ａ）は、ある階層の画像に対してしきい値処理されたオプティカルフローを示し、図６（ｂ）は補完後のオプティカルフローを示している。図６（ａ）において、矢印はしきい値処理によって信頼度が高いと判定されたオプティカルフローベクトルであり、×印は信頼度が低いとされた部分を示している。
【００６１】
〔２〕中間画像合成装置の説明
【００６２】
以下、図７または図８に示すように、第１画像Ａ１と第２画像Ａ２とから、中間画像Ａ１２を生成するための中間画像合成装置について説明する。
【００６３】
図７の第１画像Ａ１と第２画像Ａ２とは、ユーザ（撮像者）の位置を固定して、ユーザの視線方向のみを変化させた場合に得られた画像である。図８の第１画像Ａ１と第２画像Ａ２とは、ユーザ（撮像者）の視線方向を固定して、ユーザの位置を視線方向に対して平行に前進または後退させることにより得られた画像である。
【００６４】
図９は、中間画像合成装置の構成を示している。
【００６５】
パーソナルコンピュータ１０には、ディスプレイ２１、マウス２２およびキーボード２３が接続されている。パーソナルコンピュータ１０は、ＣＰＵ１１、メモリ１２、ハードディスク１３、ＣＤ−ＲＯＭのようなリムーバブルディスクのドライブ（ディスクドライブ）１４を備えている。
【００６６】
ハードディスク１３には、ＯＳ（オペレーティングシステム）等の他、中間画像合成プログラムが格納されている。中間画像合成プログラムは、それが格納されたＣＤ−ＲＯＭ２０を用いて、ハードディスク１３にインストールされる。また、ハードディスク１３には、中間画像を合成するための２つの静止画像が予め格納されているものとする。
【００６７】
図１０は、中間画像合成プログラムが起動せしめられた場合にＣＰＵ１１によって行われる中間画像合成処理手順を示している。
【００６８】
（Ｉ）まず、ユーザによって指定された２枚の画像（第１画像Ａ１及び第２画像Ａ２）がメモリ１２に読み込まれる（ステップ１）。
【００６９】
（ＩＩ）次に、第１画像Ａ１と第２画像Ａ２との重なり部の抽出処理が行われる（ステップ２）。この重なり部の抽出処理は、たとえば、ＳＳＤ法（ＳｕｍｏｆＳｑｕａｒｅｄ
Ｄｉｆｆｅｒｅｎｃｅ）、正規化相互相関法に基づいて行われる。
【００７０】
（ａ）ＳＳＤ法の説明
ＳＳＤ法では、まず、重なり部を抽出すべき２枚の画像Ａ１、Ａ２それぞれについて、原画像より解像度の低い画像Ｉ_１，Ｉ_２が生成される。２枚の低解像度画像Ｉ_１，Ｉ_２の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式１０に示すように画素あたりの２乗誤差Ｅを用いて求められる。画像間の移動量（ｄ）が可能な範囲で変化せしめられ、Ｅが最も小さい移動量（ｄ）から、重なり部が抽出される。
【００７１】
【数１０】

【００７２】
（ｂ）正規化相互相関法の説明
正規化相互相関法では、まず、重なり部を抽出すべき２枚の画像Ａ１、Ａ２それぞれについて、原画像より解像度の低い画像Ｉ_１，Ｉ_２が生成される。２枚の低解像度画像Ｉ_１，Ｉ_２の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式１１に示すように正規化相互相関係数Ｃを用いて求められる。画像間の移動量（ｄ）が可能な範囲で変化せしめられ、Ｃが最も大きな移動量（ｄ）から、重なり部が抽出される。
【００７３】
【数１１】

【００７４】
式１１において、Ｉ_１￣、Ｉ_２￣は、第１画像を固定させ、第２画像をｄだけ移動させたときの、両画像の重なり部における各画像それぞれの濃淡値の平均である。また、σ_１、σ_２は、第１画像Ｉ_１を固定させ、第２画像Ｉ_２をｄだけ移動させたときの、両画像の重なり部における各画像それぞれの濃淡値の分散である。
【００７５】
（ＩＩＩ）次に、特徴点抽出処理が行われる（ステップ３）。つまり、第１画像Ａ１における第２画像Ａ２との重なり部分から、追跡に有効な複数の部分画像（矩形領域）が特徴点として抽出される。ただし、各特徴点は互いに重ならないように抽出される。具体的には、上述した固有値λ_ｍｉｎ（式８参照）の高い部分が特徴点として抽出される。
【００７６】
（ＩＶ）次に、特徴点追跡処理が行われる（ステップ４）。つまり、抽出された第１画像Ａ１上の特徴点に対する第２画像Ａ２上の位置が追跡される。
【００７７】
具体的には、まず、〔１〕で説明したオプティカルフロー推定方法で、適当なサイズ（例えば、１３×１３）のパッチ毎のオプティカルフローベクトルが求められる。第１画像Ａ１上の特徴点に対応する第２画像Ａ２上の位置は、第１画像Ａ１上の特徴点の４近傍のパッチのフローベクトルから線形補間により画素単位以下で求められる。これにより、第１画像Ａ１と第２画像Ａ２との重なり部において、両画像の対応点の座標が得られる。
【００７８】
（Ｖ）次に、上記ステップ４で求められた第１画像Ａ１と第２画像Ａ２との対応点の座標に基づいて、第２画像Ａ２内の各画素を第１画像Ａ１に変換するための幾何変換行列（幾何変換係数）Ｈ_２１と、第１画像Ａ１内の各画素を第２画像Ａ２に変換するための幾何変換行列（幾何変換係数）Ｈ_１２とを算出する（ステップ５）。
【００７９】
幾何変換行列としては、平面射影変換行列、アフィン変換行列等が用いられる。第１の画像Ａ１上の点Ｉ_１と、点Ｉ_１に対応する第２の画像Ａ２上の点Ｉ_２との関係は、幾何変換行列Ｈ_２１、Ｈ_１２を用いて、次式１２で表される。
【００８０】
【数１２】

【００８１】
ここで、＝は、射影的に等しいことを表す。また、Ｈ_１２は、Ｈ_２１の逆行列である。
【００８２】
平面射影変換行列は次の数式１３で表される。
【００８３】
【数１３】

【００８４】
平面射影変換行列Ｈの未知パラメータ数は、８個であるので、４組以上の対応点があれば、最小２乗法によりこの行列Ｈを求めることができる。
【００８５】
アフィン変換行列は次の数式１４で表される。
【００８６】
【数１４】

【００８７】
アフィン変換行列の未知パラメータ数は、６個であるので、３組以上の対応点があれば、最小２乗法によりこの行列Ｈを求めることができる。
【００８８】
（ＶＩ）次に、第１画像および第２画像を中間画像に変換するため変換行列（幾何変換係数）を算出する（ステップ６）。
【００８９】
まず、第１画像Ｉ_１を中間画像Ｉ_ｉに変換するための変換行列Ｈ_１ｉを、パーソナルコンピュータ１０に入力された内分比ｘ：ｙを用いて次式１５により算出する。内分比ｘ：ｙは、キーボード２３上の矢印キーの操作、マウス２２の操作、あるいは位置移動や視線変化を抽出する他の装置からパーソナルコンピュータ１０に入力される。
【００９０】
【数１５】

【００９１】
次に、第２画像Ｉ_２を中間画像Ｉ_ｉに変換するための変換行列Ｈ_２ｉを、変換行列Ｈ_１ｉを用いて次式１６により算出する。
【００９２】
【数１６】

【００９３】
なお、まず、次式１７により、第２画像Ｉ_２を中間画像Ｉ_ｉに変換するための変換行列Ｈ_２ｉを求めた後、次式１８により、第１画像Ｉ_１を中間画像Ｉ_ｉに変換するための変換行列Ｈ_１ｉを求めてもよい。
【００９４】
【数１７】

【００９５】
【数１８】

【００９６】
この段階では、中間画像への変換は行なわないが、第１画像Ｉ_１の中間画像Ｉ_１’への変換式は次式１９で表され、第２画像Ｉ_２の中間画像Ｉ_２’への変換式は次式２０で表される。
【００９７】
【数１９】

【００９８】
【数２０】

【００９９】
（ＶＩＩ）次に、画素値調合の重み（画素値調合係数）を算出する（ステップ７）。
【０１００】
カメラを移動させて複数の画像を撮像した場合、自動露出調整機能が動作することにより、画像間の明るさが異なってしまう。そこで、次式２１に示すように、中間画像Ｉ_ｉの画素値Ｐ_ｉを、第１画像Ｉ_１の画素値Ｐ_１と、第２画像Ｉ_２の画素値Ｐ_２との単なる画素値の平均で算出することが考えられるが、このようにすると、つなぎ目が目立ってしまう。
【０１０１】
【数２１】

【０１０２】
そこで、第１画像と第２画像とが重なる領域では、各画像の画素値を調合する処理を後処理として行なう。画素値調合処理は、両画像の重なり領域の画素値を画像間で滑らかに変化させることにより、明るさの差異を目立たなくさせる処理である。また、この処理は、同時に、幾何学変換による合成誤差も目立たなくさせることができる。
【０１０３】
この実施の形態では、人工現実感システムにおけるユーザの視線や位置が変化する方向に応じて、以下の２つの画素値調合方法のいずれかが自動的に選択される。一方の画素値調合方法は各画像の重心からの距離に基づいて両画像の重なり領域の画素値を調合する方法であり、他方の画素値調合方法は画像間の内分比に基づいて両画像の重なり領域の画素値を調合する方法である。
【０１０４】
（ａ）各画像の重心からの距離に基づいて両画像の重なり領域の画素値を調合する方法
【０１０５】
図７に示すように、第１画像Ａ１と第２画像Ａ２とが、ユーザ（撮像者）の位置を固定して、ユーザの視線方向のみを変化させた場合に得られた画像である場合には、各画像の重心からの距離に基づいて両画像の重なり領域の画素値を調合する。
【０１０６】
まず、第１画像Ｉ_１および第２画像Ｉ_２の重心の位置Ｇ_１、Ｇ_２をそれぞれ求める。第１画像Ｉ_１の重心位置Ｇ_１の中間画像上での位置Ｇ_１’を、上記式１９に基づいて求める。同様に、第２画像Ｉ_２の重心位置Ｇ_２の中間画像上での位置Ｇ_２’を、上記式２０に基づいて求める。
【０１０７】
次に、第１画像Ｉ_１の４頂点（４隅）の中間画像上での位置を上記式１９に基づいてそれぞれ求める。同様に、第２画像Ｉ_２の４頂点の中間画像上での位置を上記式２０に基づいてそれぞれ求める。これにより、中間画像上における第１画像Ｉ_１’の４頂点の位置および第２画像Ｉ_２’の４頂点の位置が分かるので、中間画像上において第１画像Ｉ_１’と第２画像Ｉ_２’との重なり領域を抽出する。
【０１０８】
中間画像での第１画像Ｉ_１’と第２画像Ｉ_２’との重なり領域内の各画素（画素値調合対象画素）から第１画像Ｉ_１’と第２画像Ｉ_２’のそれぞれの画像の重心位置Ｇ_１’、Ｇ_２’までの距離に応じて、当該画素値調合対象画素の画素値の重みを決定する。この重みは、画素値調合対象画素から重心までの距離が近い方の画像の画素値を大きくするように決定する。
【０１０９】
つまり、中間画像に幾何学変換された第１画像Ｉ_１’と第２画像Ｉ_２’との重なり領域内の画素値調合対象画素の座標から、中間画像に幾何学変換された第１画像Ｉ_１’の重心位置Ｇ_１’までのユークリッド距離をｄ_１、中間画像に幾何学変換された第２画像Ｉ_２’の重心位置Ｇ_２’までのユークリッド距離をｄ_２とすると、画素値調合対象画素における第１画像Ｉ_１’の画素値に対する重みｗ_１および第２画像Ｉ_２’の画素値に対する重みｗ_２は、次式２２で表される。
【０１１０】
【数２２】

【０１１１】
各画素値調合対象画素に対して式２２に基づいて重みｗ_１およびｗ_２を算出し、画素値調合対象画素に対する重みｗ_１およびｗ_２のテーブル（重みテーブル）を作成する。
【０１１２】
（ｂ）画像間の内分比に基づいて両画像の重なり領域の画素値を調合する方法
一方、図８に示すように、第１画像Ａ１と第２画像Ａ２とが、ユーザ（撮像者）の視線方向を固定して、ユーザの位置を視線方向に対して平行に前進または後退させることにより得られた画像である場合には、画像間の内分比（ｘ：ｙ）に基づいて両画像の重なり領域の画素値を調合する。
【０１１３】
まず、第１画像Ｉ_１の４頂点の中間画像上での位置を上記式１９に基づいてそれぞれ求める。同様に、第２画像Ｉ_２の４頂点の中間画像上での位置を上記式２０に基づいてそれぞれ求める。これにより、中間画像上における第１画像Ｉ_１’の４頂点の位置および第２画像Ｉ_２’の４頂点の位置が分かるので、中間画像上において第１画像Ｉ_１’と第２画像Ｉ_２’との重なり領域を抽出する。
【０１１４】
中間画像に幾何学変換された第１画像Ｉ_１’と第２画像Ｉ_２’との重なり領域内の各画素（各画素値調合対象画素）における第１画像Ｉ_１’の画素値に対する重みｗ_１および第２画像Ｉ_２’の画素値に対する重みｗ_２を、次式２３によって求め、各画素値調合対象画素に対する重みｗ_１およびｗ_２のテーブル（重みテーブル）を作成する。
【０１１５】
【数２３】

【０１１６】
（ＶＩＩＩ）次に、中間画像を合成する（ステップ８）。
【０１１７】
まず、上記式１９を用いて第１画像Ｉ_１を中間画像の座標系に描画する。同様に、上記式２０を用いて第２画像Ｉ_２を中間画像の座標系に描画する。
【０１１８】
この際、ステップ７で得られた重みテーブルに基づいて、中間画像に幾何学変換された第１画像Ｉ_１’と第２画像Ｉ_２’の重なり領域の画素値Ｐ_１’、Ｐ_２’を画素調合する。すなわち、次式２４により、各画素値調合対象画素の画素値Ｐ_ｉを算出する。
【０１１９】
【数２４】

【０１２０】
【発明の効果】
この発明によれば、２つの静止画像の中間画像を精度良く合成することができるようになる。
【図面の簡単な説明】
【図１】図１は、階層的推定法を説明するための図であって、階層１の画像を示す模式図である。
【図２】図２は、階層的推定法を説明するための図であって、階層２の画像を示す模式図である。
【図３】図３は、階層的推定法を説明するための図であって、階層３の画像を示す模式図である。
【図４】図４は、階層的推定法を説明するための図であって、階層４の画像を示す模式図である。
【図５】図５は、実施例で採用されたオプティカルフロー推定方法において行われる膨張処理を説明するための模式図である。
【図６】図６（ａ）は、ある階層の画像に対してしきい値処理されたオプティカルフローの例を示す模式図であり、図６（ｂ）は、補完後のオプティカルフローを示す模式図である。
【図７】第１画像、第２画像およびこれらの中間合成画像の一例を示す模式図である。
【図８】第１画像、第２画像およびこれらの中間合成画像の他の例を示す模式図である。
【図９】中間画像合成装置の構成を示すブロック図である。
【図１０】中間画像合成処理手順を示すフローチャートである。
【符号の説明】
１０パーソナルコンピュータ
１１ＣＰＵ
１２メモリ
１３ハードディスク
１４ディスクドライブ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an intermediate image synthesizing method, an intermediate image synthesizing device, and a recording medium on which an intermediate image synthesizing program is recorded.
[0002]
[Prior art]
There is known a technique of calculating an optical flow from two images and performing position alignment between the two images based on the obtained optical flow. A conventional method of calculating an optical flow will be described.
[0003]
(1) Lucas-Kanade Method Conventionally, many methods for calculating an apparent velocity field (optical flow) of a moving object in a moving image have been proposed. Among them, the Lucas-Kanade method, which is a local gradient method, is one of the best methods. The reason is that processing is fast, easy to implement, and the results are reliable.
[0004]
For details of the Lucas-Kanade method, see the literature: Lucas and T.C. Kanade, "An Iterative Image Registration Technology with an Application to Stereo Vision," In Seventh International Joint Ionization International Artifaction Artifact. See 674-979, 1981.
[0005]
The outline of the Lucas-Kanade method is described below.
The grayscale pattern I (x, y, t) of the image coordinates p = (x, y) at a certain time t maintains its grayscale distribution constant at a coordinate (x + δx, y + δy) after a certain short time (δt). When it moves as it is, the following optical flow constraint equation 1 holds.
[0006]
(Equation 1)

[0007]
In order to calculate the optical flow {v = (δx / δt, δy / δt) = (u, v)} using a two-dimensional image, the number of unknown parameters is two, so another constraint equation is required. Lucas and Kanade assumed that they had the same optical flow in the local area of the same object.
[0008]
For example, assuming that the optical flow is constant in the local region ω on the image, the square error E of the grayscale pattern to be minimized is
I ₀ (p) = I (x, y, t),
I ₁ (p + v) = I (x + u, y + v, t + δt)
Can be defined by the following equation (2).
[0009]
(Equation 2)

[0010]
Here, when v is small, the second-order or higher-order term of the Taylor expansion can be neglected, so that the following equation 3 holds.
[0011]
[Equation 3]

[0012]
Here, g (p) is the first derivative of I ₁ (p).
[0013]
Since the error E is minimized when the differential value of E with respect to v is 0, the following equation 4 holds.
[0014]
(Equation 4)

[0015]
Therefore, the optical flow v is obtained by the following equation (5).
[0016]
(Equation 5)

[0017]
Further, as shown in the following equation 6, the value can be accurately obtained by a Newton-Raphson-like iterative operation.
[0018]
(Equation 6)

[0019]
(2) Hierarchical estimation method The biggest problem of the gradient method including the Lucas-Kanade method is that it cannot be applied to a large motion because a good initial value is required. In view of the above, a method has been proposed in which an image having different resolutions is generated several times in a pyramid hierarchical structure type to solve the problem.
[0020]
In this method, first, from two consecutive images, images having different resolutions in several stages of each image are created in advance. Next, a rough optical flow is calculated between the images having the lowest resolution. Then, by referring to the result, a more precise optical flow is calculated between the images having a higher resolution. This processing is sequentially repeated up to the image with the highest resolution.
[0021]
4 is an original image, FIG. 3 is an image having a lower resolution than the original image of FIG. 4, FIG. 2 is an image having a lower resolution than the low-resolution image of FIG. 3, and FIG. Low images are shown, respectively. In FIGS. 1 to 4, S indicates one patch.
[0022]
The image of FIG. 1 (the image of the layer 1), the image of FIG. 2 (the image of the layer 2), the image of FIG. 3 (the image of the layer 3), and the image of FIG. A flow is required. Arrows in FIGS. 1 to 4 indicate optical flow vectors obtained for each patch.
[0023]
However, the problem here is that in an actual image, there are few regions including a sufficient pattern (texture), and a reliable optical flow cannot be obtained.
[0024]
By the way, a moving image is used to record and display the surrounding environment on an image, but there is a problem that the data amount is large. In addition, since moving images can be displayed only in the order in which they were captured, an interactive display method cannot be used. Therefore, an artificial reality system has been developed which accumulates a real image of a remote place and walks through the three-dimensional space.
[0025]
This accumulates a plurality of still images and presents the images according to the position of the user and the gaze direction thereof. However, the conventional technique has a problem that the operation is discontinuous when the line of sight is gradually changed. This is because when presenting an image, a still image that is geometrically closest is selected according to the position of the user and the line of sight of the user. Has the impression of walking through discontinuously.
[0026]
If still images are taken densely in order to reduce this difference, the data amount increases. Alternatively, in order to make the difference inconspicuous, it is conceivable to simply combine pixel values of an image to be presented according to the user's position and gaze direction by changing the weight of each still image. Composition accuracy is not good, for example, objects are displayed twice.
[0027]
[Problems to be solved by the invention]
An object of the present invention is to provide an intermediate image synthesizing method, an intermediate image synthesizing apparatus, and a recording medium on which an intermediate image synthesizing program is recorded, which can synthesize an intermediate image of two still images with high accuracy.
[0028]
[Means for Solving the Problems]
A first intermediate image synthesizing method according to the present invention is an intermediate image synthesizing method for synthesizing an intermediate image between a first image and a second image, wherein a geometric transformation coefficient between the first image and the second image is calculated. A first step of obtaining a geometric transformation coefficient for transforming each image into an intermediate image based on a geometric transformation coefficient between the first image and the second image and a given internal division ratio. , And a third step of generating an intermediate image between the first image and the second image based on a geometric conversion coefficient for converting each image into an intermediate image.
[0029]
The first step is, for example, a step of extracting an overlapping portion between the first image and the second image. From the overlapping portion of one image with the other image, a plurality of portions effective for tracking by an optical flow between the two images Extracting an image as a feature point, tracking the point on the other image corresponding to each feature point on the one image based on an optical flow between the two images, and based on the tracking result , Calculating a geometric transformation coefficient between the first image and the second image.
[0030]
A second intermediate image synthesizing method according to the present invention is an intermediate image synthesizing method for synthesizing an intermediate image between a first image and a second image, and calculates a geometric transformation coefficient between the first image and the second image. A first step of obtaining a geometric transformation coefficient for transforming each image into an intermediate image based on a geometric transformation coefficient between the first image and the second image and a given internal division ratio. A third step of calculating a pixel value blending coefficient for blending a pixel value of an overlapping portion between the first image and the second image, and a geometric transformation coefficient and a pixel value blending coefficient for transforming each image into an intermediate image And a fourth step of generating an intermediate image between the first image and the second image based on the first and second images.
[0031]
The first step is, for example, a step of extracting an overlapping portion between the first image and the second image. From the overlapping portion of one image with the other image, a plurality of portions effective for tracking by an optical flow between the two images Extracting an image as a feature point, tracking the point on the other image corresponding to each feature point on the one image based on an optical flow between the two images, and based on the tracking result , Calculating a geometric transformation coefficient between the first image and the second image.
[0032]
The pixel value blending coefficient is calculated based on, for example, the distance from the center of gravity of each image after the synthesis of the intermediate image to the pixel value blending target pixel. The pixel value mixing coefficient is calculated based on, for example, the internal division ratio.
[0033]
A first intermediate image synthesizing device according to the present invention is an intermediate image synthesizing device for synthesizing an intermediate image between a first image and a second image, and calculates a geometric transformation coefficient between the first image and the second image. A first means for calculating a geometric transformation coefficient for transforming each image into an intermediate image based on a geometric transformation coefficient between the first image and the second image and a given internal division ratio. And a third means for generating an intermediate image between the first image and the second image based on a geometric transformation coefficient for converting each image into an intermediate image.
[0034]
As the first means, for example, a means for extracting an overlapping portion between the first image and the second image, a plurality of effective portions for tracking by an optical flow between the two images based on an overlapping portion of one image with the other image. Means for extracting a partial image as a feature point, means for tracking a point on the other image corresponding to each feature point on the one image based on an optical flow between the two images, and based on the tracking result For this purpose, an apparatus having means for calculating a geometric conversion coefficient between the first image and the second image is used.
[0035]
A second intermediate image synthesizing device according to the present invention is an intermediate image synthesizing device for synthesizing an intermediate image between a first image and a second image, and calculates a geometric transformation coefficient between the first image and the second image. A first means for calculating a geometric transformation coefficient for transforming each image into an intermediate image based on a geometric transformation coefficient between the first image and the second image and a given internal division ratio. Third means for calculating a pixel value blending coefficient for blending a pixel value of an overlapping portion between the first image and the second image, and a geometric transformation coefficient and a pixel value blending coefficient for transforming each image into an intermediate image And a fourth means for generating an intermediate image between the first image and the second image based on the first and second images.
[0036]
As the first means, for example, a means for extracting an overlapping portion between the first image and the second image, a plurality of effective portions for tracking by an optical flow between the two images based on an overlapping portion of one image with the other image. Means for extracting a partial image as a feature point, means for tracking a point on the other image corresponding to each feature point on the one image based on an optical flow between the two images, and based on the tracking result For this purpose, an apparatus having means for calculating a geometric conversion coefficient between the first image and the second image is used.
[0037]
The pixel value blending coefficient is calculated based on, for example, the distance from the center of gravity of each image after the synthesis of the intermediate image to the pixel value blending target pixel. The pixel value mixing coefficient is calculated based on, for example, the internal division ratio.
[0038]
The computer-readable recording medium storing the first intermediate image synthesizing program according to the present invention is a computer-readable recording medium storing an intermediate image synthesizing program for synthesizing an intermediate image between the first image and the second image. A first step of calculating a geometric transformation coefficient between the first image and the second image, based on the geometric transformation coefficient between the first image and the second image and a given internal division ratio, Generating an intermediate image between the first image and the second image based on a second step of obtaining a geometric conversion coefficient for converting the image into an intermediate image and a geometric conversion coefficient for converting each image into an intermediate image; And recording an intermediate image synthesizing program for causing a computer to execute the third step.
[0039]
The first step is, for example, a step of extracting an overlapping portion between the first image and the second image. From the overlapping portion of one image with the other image, a plurality of portions effective for tracking by an optical flow between the two images Extracting an image as a feature point, tracking the point on the other image corresponding to each feature point on the one image based on an optical flow between the two images, and based on the tracking result , Calculating a geometric transformation coefficient between the first image and the second image.
[0040]
The computer-readable recording medium storing the second intermediate image synthesizing program according to the present invention is a computer-readable recording medium storing an intermediate image synthesizing program for synthesizing an intermediate image between the first image and the second image. A first step of calculating a geometric transformation coefficient between the first image and the second image, based on the geometric transformation coefficient between the first image and the second image and a given internal division ratio, A second step of calculating a geometric transformation coefficient for converting the image into an intermediate image, a third step of calculating a pixel value blending coefficient for blending a pixel value of an overlapping portion between the first image and the second image, and A fourth step for causing a computer to execute a fourth step of generating an intermediate image between the first image and the second image based on a geometric conversion coefficient and a pixel value blending coefficient for converting each image into an intermediate image. Characterized in that it is recorded between image synthesizing program.
[0041]
The first step is, for example, a step of extracting an overlapping portion between the first image and the second image. From the overlapping portion of one image with the other image, a plurality of portions effective for tracking by an optical flow between the two images Extracting an image as a feature point, tracking the point on the other image corresponding to each feature point on the one image based on an optical flow between the two images, and based on the tracking result , Calculating a geometric transformation coefficient between the first image and the second image.
[0042]
The pixel value blending coefficient is calculated based on, for example, the distance from the center of gravity of each image after the synthesis of the intermediate image to the pixel value blending target pixel. The pixel value mixing coefficient is calculated based on, for example, the internal division ratio.
[0043]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described.
[0044]
Before describing the method for synthesizing an intermediate image, an optical flow estimation method employed in the method for synthesizing an intermediate image will be described.
[0045]
[1] Description of Optical Flow Estimation Method
[0046]
The optical flow estimating method employed in this embodiment is based on a hierarchical estimation in which images having different resolutions are generated several times in a pyramid hierarchy and the optical flow is calculated in stages. The optical flow is calculated according to a gradient method such as the Lucas-Kanade method. That is, the optical flow estimation method based on the hierarchically structured gradient method is assumed. Here, the Lucas-Kanade method is used as the gradient method.
[0047]
The feature of the optical flow estimating method employed in this embodiment is that the optical flow obtained in each stage of the optical flow estimating method using the hierarchically structured Lucas-Kanade method is complemented by dilation processing. Hereinafter, this will be described in detail.
[0048]
One of the advantages of the Lucas-Kanade method is that the tracking results are reliable. Tomasi and Kanade have shown that the traceability of a certain area can be calculated from a differential image as follows (C. Tomasi and T. Kanade, "Shape and Motion from Image Streams: a Factorization Dimension Animation: and Tracking of Point Features, "CMU-CS-91-132, Carnegie Mellon University, 1991.).
[0049]
By calculating the eigenvalue from a 2 × 2 coefficient matrix G of the following equation 7 having the square of the vertical and horizontal derivatives of an area image ω as an element, it is possible to determine the traceability of the area. it can.
[0050]
(Equation 7)

[0051]
If the eigenvalues of the matrix G are both large, the area has a change in the orthogonal direction, and unique positioning is possible. Therefore, the reliability γ of the tracking result can be obtained by the following equation 8 from the smaller eigenvalue λ _min and the grayscale residual E between the areas after tracking.
[0052]
(Equation 8)

[0053]
The present inventors have developed a method for interpolating a region having low reliability using a result having high reliability in the same layer of an optical flow. In this method, the result of the one-stage coarse hierarchy is used only for the initial value of tracking, and nothing is used for the result of the current stage of interest. Instead, it is assumed that the optical flow in an area with a small texture has a value close to the optical flow around the area, and the flow field is complemented by morphological processing.
[0054]
FIG. 5 shows how the flow vector is expanded.
[0055]
The figure on the left shows a map of the reliability of the flow vector in shades. Here, it is assumed that the darker the black, the higher the reliability.
[0056]
First, threshold processing is performed on the obtained flow. The white part has been subjected to threshold processing because the reliability of the result is low.
[0057]
Next, in order to simulate the filling process by the morphology operation in the binary image, the expansion process of the result is performed in the flow field as follows. The flow vector u (i, j) of a certain area i, j can be calculated as in the following equation 9 by weighting the flow vectors in the vicinity of the four in accordance with the reliability γ.
[0058]
(Equation 9)

[0059]
This process is repeated until all the low-reliability areas subjected to the threshold processing are filled. This complementing process is performed in each layer. Note that the flow vector u (i, j) of a certain region i, j may be calculated by weighting the flow vectors in the vicinity of the eight in accordance with the reliability γ.
[0060]
FIG. 6A shows an optical flow obtained by performing threshold processing on an image of a certain hierarchy, and FIG. 6B shows an optical flow after interpolation. In FIG. 6A, an arrow is an optical flow vector determined to have high reliability by the threshold processing, and a cross mark indicates a portion having low reliability.
[0061]
[2] Description of Intermediate Image Compositing Apparatus
Hereinafter, an intermediate image synthesizing device for generating an intermediate image A12 from the first image A1 and the second image A2 as shown in FIG. 7 or FIG. 8 will be described.
[0063]
The first image A1 and the second image A2 in FIG. 7 are images obtained when the position of the user (image capture person) is fixed and only the user's line of sight is changed. The first image A1 and the second image A2 in FIG. 8 are images obtained by fixing the line of sight of the user (imager) and moving the user forward or backward in parallel with the line of sight. is there.
[0064]
FIG. 9 shows the configuration of the intermediate image synthesizing device.
[0065]
A display 21, a mouse 22, and a keyboard 23 are connected to the personal computer 10. The personal computer 10 includes a CPU 11, a memory 12, a hard disk 13, and a drive (disk drive) 14 of a removable disk such as a CD-ROM.
[0066]
The hard disk 13 stores an intermediate image synthesis program in addition to an OS (operating system). The intermediate image synthesizing program is installed on the hard disk 13 using the CD-ROM 20 in which the intermediate image synthesizing program is stored. It is assumed that two still images for synthesizing the intermediate image are stored in the hard disk 13 in advance.
[0067]
FIG. 10 shows the procedure of the intermediate image synthesizing process performed by the CPU 11 when the intermediate image synthesizing program is activated.
[0068]
(I) First, two images (first image A1 and second image A2) specified by the user are read into the memory 12 (step 1).
[0069]
(II) Next, a process of extracting an overlapping portion between the first image A1 and the second image A2 is performed (Step 2). The extraction process of the overlapping portion is performed by, for example, the SSD method (Sum of Squared).
Difference), based on the normalized cross-correlation method.
[0070]
(A) Description of SSD Method In the SSD method, first, images I ₁ and I ₂ having lower resolution than the original image are generated for each of two images A1 and A2 from which an overlapping portion is to be extracted. An overlapping portion ω (size: M × N) of the _two low-resolution images I ₁ and I ₂ is obtained by using a square error E per pixel as shown in the following Expression 10. The moving amount (d) between the images is changed within a possible range, and the overlapping portion is extracted from the moving amount (d) where E is the smallest.
[0071]
(Equation 10)

[0072]
(B) Description of Normalized Cross-Correlation Method In the normalized cross-correlation method, first, images I ₁ and I ₂ having lower resolution than the original image are generated for each of two images A1 and A2 from which an overlapped portion is to be extracted. You. The overlapping portion ω (size: M × N) of the _two low-resolution images I ₁ and I ₂ is obtained using the normalized cross-correlation coefficient C as shown in the following Expression 11. The moving amount (d) between the images is changed within a possible range, and the overlapping portion is extracted from the moving amount (d) where C is the largest.
[0073]
(Equation 11)

[0074]
In Expression 11, I ₁ ￣ and I ₂で are the average of the grayscale values of the respective images in the overlapping portion of the two images when the first image is fixed and the second image is moved by d. Further, sigma _1, sigma ₂ causes the fixing of the first image I _1, when the second image I ₂ are moved by d, the variance of each image the respective gray value in the overlap portion of both images.
[0075]
(III) Next, feature point extraction processing is performed (step 3). That is, a plurality of partial images (rectangular regions) effective for tracking are extracted as feature points from the overlapping portion of the first image A1 with the second image A2. However, each feature point is extracted so as not to overlap each other. Specifically, a portion having a high eigenvalue λ _min (see Expression 8) is extracted as a feature point.
[0076]
(IV) Next, a feature point tracking process is performed (step 4). That is, the position on the second image A2 with respect to the extracted feature point on the first image A1 is tracked.
[0077]
Specifically, first, an optical flow vector for each patch of an appropriate size (for example, 13 × 13) is obtained by the optical flow estimation method described in [1]. The position on the second image A2 corresponding to the feature point on the first image A1 is obtained in units of pixels or less by linear interpolation from the flow vectors of the patches near the four feature points on the first image A1. As a result, in the overlapping portion between the first image A1 and the second image A2, the coordinates of the corresponding points of the two images are obtained.
[0078]
(V) Next, for converting each pixel in the second image A2 into the first image A1 based on the coordinates of the corresponding point between the first image A1 and the second image A2 obtained in step 4 described above. calculated geometric transformation matrix (the geometric conversion coefficient) H _21, a geometric transformation matrix (geometric conversion coefficient) H ₁₂ for converting each pixel in the first image A1 to the second image A2 (step 5).
[0079]
As the geometric transformation matrix, a plane projection transformation matrix, an affine transformation matrix, or the like is used. The point _{I 1} on the first image A1, the relationship between the points _{I 2} on the second image A2 that corresponds to the point _{I 1,} using a geometric transformation matrix _H _{21, H 12,} Table by the following equation 12 Is done.
[0080]
(Equation 12)

[0081]
Here, = indicates that they are projectively equal. _{Also, H 12} _is the inverse matrix of _{H 21.}
[0082]
The plane projection transformation matrix is represented by the following Expression 13.
[0083]
(Equation 13)

[0084]
Since the number of unknown parameters of the plane projection transformation matrix H is eight, if there are four or more corresponding points, this matrix H can be obtained by the least squares method.
[0085]
The affine transformation matrix is represented by the following Expression 14.
[0086]
[Equation 14]

[0087]
Since the number of unknown parameters in the affine transformation matrix is 6, if there are three or more corresponding points, this matrix H can be obtained by the least squares method.
[0088]
(VI) Next, a conversion matrix (geometric conversion coefficient) for converting the first image and the second image into an intermediate image is calculated (Step 6).
[0089]
First, a conversion matrix H _1i for converting the first image I ₁ into the intermediate image I _i is calculated by the following equation 15 using the internal division ratio x: y input to the personal computer 10. The internal division ratio x: y is input to the personal computer 10 from an operation of an arrow key on the keyboard 23, an operation of the mouse 22, or another device that extracts a position shift or a line-of-sight change.
[0090]
(Equation 15)

[0091]
Next, a conversion matrix H _2i for converting the second image I ₂ into the intermediate image I _i is calculated by the following equation 16 using the conversion matrix H _1i .
[0092]
(Equation 16)

[0093]
First, a conversion matrix H _2i for converting the second image I ₂ to the intermediate image I _i is obtained by the following equation 17, and then the first image I ₁ is converted to the intermediate image I _i by the following equation 18. A conversion matrix H _1i for performing the conversion may be obtained.
[0094]
[Equation 17]

[0095]
(Equation 18)

[0096]
At this stage, the conversion to the intermediate image is not performed, but the conversion formula of the first image I _{1 to} the intermediate image I ₁ ′ is represented by the following Expression 19, and the conversion of the second image I _{2 to} the intermediate image I ₂ ′ The conversion equation is represented by the following equation 20.
[0097]
[Equation 19]

[0098]
(Equation 20)

[0099]
(VII) Next, the weight of the pixel value preparation (pixel value preparation coefficient) is calculated (step 7).
[0100]
When a plurality of images are captured by moving the camera, the brightness between the images differs due to the operation of the automatic exposure adjustment function. Therefore, as shown in the following equation 21, the pixel value _{P i} of the intermediate image _{I i,} the pixel value _{P 1} of the first image _{I 1,} the average of just pixel values of the pixel value _{P 2} of the second image _{I 2} Although it is conceivable to calculate by the following formula, the joint becomes conspicuous.
[0101]
(Equation 21)

[0102]
Therefore, in a region where the first image and the second image overlap, processing for blending pixel values of each image is performed as post-processing. The pixel value blending process is a process for making the difference in brightness inconspicuous by smoothly changing the pixel value of the overlapping area between the two images between the images. In addition, this processing can also make the synthesis error due to the geometric transformation inconspicuous.
[0103]
In this embodiment, one of the following two pixel value adjustment methods is automatically selected according to the direction in which the user's line of sight or position in the virtual reality system changes. One pixel value blending method is a method of blending the pixel values of the overlapping area of both images based on the distance from the center of gravity of each image, and the other pixel value blending method is a method of blending the two images based on the internal division ratio between the images. Is a method of blending the pixel values of the overlapping region of.
[0104]
(A) Method of Formulating Pixel Values of Overlapping Region of Both Images Based on Distance from Center of Gravity of Each Image
As shown in FIG. 7, when the first image A1 and the second image A2 are images obtained when the position of the user (image capture person) is fixed and only the user's line of sight is changed. Blends the pixel values of the overlap region of both images based on the distance from the center of gravity of each image.
[0106]
First, the positions G ₁ and G ₂ of the centers of gravity of the first image I ₁ and the second image I ₂ are obtained. The position G ₁ ′ on the intermediate image of the center of gravity position G ₁ of the first image I ₁ is obtained based on the above equation (19). Similarly, the position G _{2 'on} the second image I ₂ of the intermediate image of the center of gravity position G _2, obtained based on the equation 20.
[0107]
Then, the position on the intermediate image of the first four vertices of the image I ₁ (4 corners) respectively obtained based on the equation 19. Likewise, the position on the four vertexes of the intermediate image of the second image I ₂ respectively obtained based on the equation 20. With this, the positions of the four vertices of the first image I ₁ ′ and the positions of the four vertices of the second image I ₂ ′ on the intermediate image are known, so that the first image I ₁ ′ and the second image I ₂ on the intermediate image. 'And the overlapping area is extracted.
[0108]
From each pixel (pixel value adjustment target pixel) in the overlapping area of the first image I ₁ ′ and the second image I ₂ ′ in the intermediate image, respective images of the first image I ₁ ′ and the second image I ₂ ′ The weight of the pixel value of the pixel value adjustment target pixel is determined according to the distance to the center of gravity G ₁ ′, G ₂ ′. This weight is determined so as to increase the pixel value of the image whose distance from the pixel value preparation target pixel to the center of gravity is shorter.
[0109]
That is, from the coordinates of the pixel value adjustment target pixel in the overlapping area of the first image I ₁ ′ and the second image I ₂ ′ geometrically transformed to the intermediate image, the first image I geometrically transformed to the intermediate image d ₁ Euclidean distance to the _'center of gravity position G _1' _{_1,} the Euclidean distance to the _'center of gravity position G _2' of the second image I ₂ which is geometrically converted to an intermediate image When d _2, pixel values formulated target weight w ₂ with respect to the pixel values of the _'weights w ₁ and the second image I ₂ to the pixel value of _the' first image I ₁ in the pixel is expressed by the following equation 22.
[0110]
(Equation 22)

[0111]
It calculates the weights w ₁ and w ₂ based on Equation 22 with respect to each pixel value Formulation target pixel, creating a table (weight table) of the weight w ₁ and w ₂ with respect to the pixel value Formulation target pixel.
[0112]
(B) Method of Formulating Pixel Values of Overlapping Region of Both Images Based on Internal Division Ratio between Images On the other hand, as shown in FIG. 8, the first image A1 and the second image A2 correspond to the user (photographer) Is fixed and the user's position is moved forward or backward parallel to the direction of the line of sight, the image is obtained based on the internal division ratio (x: y) between the images. Mix the pixel values of the overlapping areas of the images.
[0113]
First, the position on the four vertexes of the intermediate image of the first image I ₁ respectively obtained based on the equation 19. Likewise, the position on the four vertexes of the intermediate image of the second image I ₂ respectively obtained based on the equation 20. With this, the positions of the four vertices of the first image I ₁ ′ and the positions of the four vertices of the second image I ₂ ′ on the intermediate image are known, so that the first image I ₁ ′ and the second image I ₂ on the intermediate image. 'And the overlapping area is extracted.
[0114]
The weight w for the pixel value of the first image I ₁ ′ in each pixel (each pixel value adjustment target pixel) in the overlap region between the first image I ₁ ′ and the second image I ₂ ′ geometrically transformed into the intermediate image ₁ and the weight w ₂ with respect to pixel values of the second image I _{2 ',} calculated by the following equation 23, creates a table (weight table) of the weight w ₁ and w ₂ with respect to each pixel value formulation target pixel.
[0115]
(Equation 23)

[0116]
(VIII) Next, an intermediate image is synthesized (step 8).
[0117]
First, draw the first image I ₁ by using the above equation 19 in the coordinate system of the intermediate image. Likewise, to draw a second image I ₂ into the coordinate system of the intermediate image by using the above equation 20.
[0118]
At this time, based on the weight table obtained in step 7, the pixel values P ₁ ′, P ₂ ′ of the overlapping area of the first image I ₁ ′ and the second image I ₂ ′ geometrically transformed into the intermediate image are obtained. Mix the pixels. That is, the following equation 24 to calculate the pixel value P _i of each pixel value Formulation target pixel.
[0119]
(Equation 24)

[0120]
【The invention's effect】
According to the present invention, an intermediate image between two still images can be accurately synthesized.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a hierarchical estimation method, and is a schematic diagram illustrating an image of a hierarchy 1;
FIG. 2 is a diagram for explaining a hierarchical estimation method, and is a schematic diagram illustrating an image of a hierarchy 2;
FIG. 3 is a diagram for explaining a hierarchical estimation method, and is a schematic diagram illustrating an image of a hierarchy 3;
FIG. 4 is a diagram for explaining a hierarchical estimation method, and is a schematic diagram illustrating an image of a hierarchy 4;
FIG. 5 is a schematic diagram for explaining an expansion process performed in the optical flow estimation method employed in the embodiment;
FIG. 6A is a schematic diagram illustrating an example of an optical flow obtained by performing threshold processing on an image of a certain hierarchy, and FIG. 6B is a schematic diagram illustrating an optical flow after interpolation; FIG.
FIG. 7 is a schematic diagram illustrating an example of a first image, a second image, and an intermediate composite image thereof.
FIG. 8 is a schematic diagram illustrating another example of a first image, a second image, and an intermediate composite image thereof.
FIG. 9 is a block diagram illustrating a configuration of an intermediate image combining device.
FIG. 10 is a flowchart illustrating an intermediate image synthesis processing procedure.
[Explanation of symbols]
10 Personal computer 11 CPU
12 memory 13 hard disk 14 disk drive

Claims

An intermediate image synthesizing method for synthesizing an intermediate image between a first image and a second image,
A first step of calculating a geometric transformation coefficient between the first image and the second image;
A second step of determining a geometric transformation coefficient for transforming each image into an intermediate image based on a geometric transformation coefficient between the first image and the second image and a given internal division ratio; A third step of generating an intermediate image between the first image and the second image based on a geometric conversion coefficient for converting into an intermediate image ,
The first step is
Extracting an overlapping portion between the first image and the second image;
Extracting a plurality of partial images effective for tracking by an optical flow between the two images as feature points from an overlapping portion of the one image with the other image,
Tracking points on the other image corresponding to each feature point on the one image based on an optical flow between the two images; and
Calculating a geometric transformation coefficient between the first image and the second image based on the tracking result;
An image synthesizing method, comprising:

An intermediate image synthesizing method for synthesizing an intermediate image between a first image and a second image,
A first step of calculating a geometric transformation coefficient between the first image and the second image;
A second step of determining a geometric transformation coefficient for transforming each image into an intermediate image based on a geometric transformation coefficient between the first image and the second image and a given internal division ratio,
A third step of calculating a pixel value blending coefficient for blending a pixel value of an overlapping portion between the first image and the second image; and
A fourth step of generating an intermediate image between the first image and the second image based on a geometric conversion coefficient and a pixel value blending coefficient for converting each image into an intermediate image,
The first step is
Extracting an overlapping portion between the first image and the second image;
Extracting a plurality of partial images effective for tracking by an optical flow between the two images as feature points from an overlapping portion of the one image with the other image,
Tracking points on the other image corresponding to each feature point on the one image based on an optical flow between the two images; and
Calculating a geometric transformation coefficient between the first image and the second image based on the tracking result;
An image synthesizing method, comprising:

3. The image synthesizing method according to claim 2, wherein the pixel value mixing coefficient is calculated based on a distance from a center of gravity of each image after the synthesis of the intermediate image to a pixel value mixing target pixel .

4. The image synthesizing method according to claim 2, wherein the pixel value blending coefficient is calculated based on an internal division ratio .

An intermediate image synthesizing device that synthesizes an intermediate image between a first image and a second image,
First means for calculating a geometric transformation coefficient between the first image and the second image;
Second means for respectively determining a geometric transformation coefficient for transforming each image into an intermediate image based on a geometric transformation coefficient between the first image and the second image and a given internal division ratio; and
Third means for generating an intermediate image between the first image and the second image based on a geometric conversion coefficient for converting each image into an intermediate image;
With
The first means is
Means for extracting an overlapping portion between the first image and the second image;
From the overlap between one image and the other, the optical flow between the two images Means for extracting, as feature points, a plurality of partial images effective for tracking by
Means for tracking a point on the other image corresponding to each feature point on the one image based on an optical flow between the two images; and
Means for calculating a geometric transformation coefficient between the first image and the second image based on the tracking result;
An image synthesizing device, comprising:

An intermediate image synthesizing device that synthesizes an intermediate image between a first image and a second image,
First means for calculating a geometric transformation coefficient between the first image and the second image;
Second means for respectively determining a geometric transformation coefficient for transforming each image into an intermediate image based on a geometric transformation coefficient between the first image and the second image and a given internal division ratio;
Third means for calculating a pixel value blending coefficient for blending a pixel value of an overlapping portion between the first image and the second image, and
Fourth means for generating an intermediate image between the first image and the second image based on a geometric conversion coefficient and a pixel value blending coefficient for converting each image into an intermediate image,
The first means is
Means for extracting an overlapping portion between the first image and the second image;
Means for extracting a plurality of partial images effective for tracking by an optical flow between the two images as feature points from an overlapping portion of the one image and the other image,
Means for tracking a point on the other image corresponding to each feature point on the one image based on an optical flow between the two images; and
Means for calculating a geometric transformation coefficient between the first image and the second image based on the tracking result;
An image synthesizing device, comprising:

The image synthesizing apparatus according to claim 6, wherein the pixel value mixing coefficient is calculated based on a distance from the center of gravity of each image after the intermediate image synthesis to the pixel value adjustment target pixel.

The image synthesizing device according to claim 6, wherein the pixel value mixing coefficient is calculated based on an internal division ratio.

A computer-readable recording medium recording an intermediate image synthesizing program for synthesizing an intermediate image between a first image and a second image,
A first step of calculating a geometric transformation coefficient between the first image and the second image;
A second step of determining a geometric transformation coefficient for transforming each image into an intermediate image based on the geometric transformation coefficient between the first image and the second image and a given internal division ratio; and
Causing the computer to execute a third step of generating an intermediate image between the first image and the second image based on a geometric conversion coefficient for converting each image into an intermediate image;
The first step is
Extracting an overlapping portion between the first image and the second image;
Extracting a plurality of partial images effective for tracking by an optical flow between the two images as feature points from an overlapping portion of the one image with the other image,
Tracking points on the other image corresponding to each feature point on the one image based on an optical flow between the two images; and
Calculating a geometric transformation coefficient between the first image and the second image based on the tracking result;
A computer-readable recording medium on which an intermediate image synthesizing program is recorded.

A computer-readable recording medium recording an intermediate image synthesizing program for synthesizing an intermediate image between a first image and a second image,
A first step of calculating a geometric transformation coefficient between the first image and the second image;
A second step of determining a geometric transformation coefficient for transforming each image into an intermediate image based on a geometric transformation coefficient between the first image and the second image and a given internal division ratio,
A third step of calculating a pixel value blending coefficient for blending a pixel value of an overlapping portion between the first image and the second image; and
Causing the computer to execute a fourth step of generating an intermediate image between the first image and the second image based on a geometric conversion coefficient and a pixel value blending coefficient for converting each image into an intermediate image ;
The first step is
Extracting an overlapping portion between the first image and the second image;
Extracting a plurality of partial images effective for tracking by an optical flow between the two images as feature points from an overlapping portion of the one image with the other image,
Tracking points on the other image corresponding to each feature point on the one image based on an optical flow between the two images; and
Calculating a geometric transformation coefficient between the first image and the second image based on the tracking result;
A computer-readable recording medium on which an intermediate image synthesizing program is recorded.

The computer-readable recording medium recording the intermediate image synthesizing program according to claim 10, wherein the pixel value mixing coefficient is calculated based on a distance from the center of gravity of each image after the intermediate image synthesis to the pixel value adjustment target pixel.

12. A computer-readable recording medium recording the intermediate image synthesizing program according to claim 10, wherein the pixel value mixing coefficient is calculated based on an internal division ratio.