JP4410007B2 - 画像作成方法および画像作成プログラム - Google Patents

Description

本発明は、２つの画像から、その２つの画像の間にある任意の視点から見た画像を作成する画像作成方法と、その画像作成方法の実現に用いられる画像作成プログラムとに関する。

コンピュータによって、任意の視点方向から見た物体の画像を表示するという処理を行うことが行われている。

このような処理を行うために、従来技術では、表示対象となる物体の３次元モデルを構築して、それを使って、任意の視点方向から見た物体の画像を表示するという処理を行うようにしている（例えば、特許文献１参照）。
特開２００１−２４３４９７

しかしながら、このような従来技術に従っていると、任意の視点方向から見た物体の画像を表示できるようにするために、その物体の３次元モデルを作成しなければならないことになる。

この３次元モデルの作成には多大な計算量が強いられることになり、これから、従来技術に従っていると、任意の視点方向から見た物体の画像を簡単に表示することができないという問題があった。

本発明はかかる事情に鑑みてなされたものであって、３次元モデルを作成することなく、２つの画像の間にある任意の視点から見た画像を作成することを実現する新たな画像作成技術の提供を目的とする。

この目的を達成するために、本発明の画像作成装置は、２つの画像から、その２つの画像の間にある任意の視点から見た画像を作成する処理を行うために、（１）処理対象となる２つの画像の持つある処理方向に並ぶ画像列間のすべての画像列間の組に対して動的計画法（Dynamic Programming)によるマッチング（ＤＰマッチング）を行うことで、その処理方向に並ぶ２つの画像列間のすべての画像列間の組に対するミニマムコストを算出し、上記画像列間の組における画像列構成要素間の対応関係を求める手段と、（２）算出手段の算出したミニマムコストを、その算出元となった処理方向位置の指すマトリックス位置に割り当てることで、ＤＰコスト格子空間を生成する生成手段と、（３）生成手段の生成したＤＰコスト格子空間におけるマトリックスの始点から終点に至るまでのＤＰマッチングの処理結果が最も小さな値を示すＤＰパスを求めることで、２つの画像の持つ処理方向に並ぶ画像列間の対応関係を決定する決定手段と、（４）決定手段の決定した画像列間の対応関係と、その画像列間の組に対するミニマムコストの算出により求められた上記画像列構成要素間の対応関係とに基づいて、指定される視点から見た画像を作成する作成手段と、（５）画像の作成対象となる視点の位置情報として、２つの画像の割合を示す比率値で表現されるものを入力する入力手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の画像作成方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の画像作成装置では、先ず最初に、処理対象となっている２つの画像の持つある処理方向に並ぶ画像列間のすべての画像列間の組に対してＤＰマッチングを行うことで、その処理方向に並ぶ２つの画像列間のすべての画像列間の組に対するミニマムコストを算出し、上記画像列間の組における画像列構成要素間の対応関係を求める。

続いて、その算出したコストを、その算出元となった処理方向位置の指すマトリックス位置に割り当てることで、ＤＰコスト格子空間を生成する。

続いて、その生成したＤＰコスト格子空間におけるマトリックスの始点から終点に至るまでのＤＰマッチングの処理結果が最も小さな値を示すＤＰパスを求めることで、２つの画像の持つ処理方向に並ぶ画像列間の対応関係を決定する。

最後に、決定した画像列間の対応関係と、その画像列間の組に対するミニマムコストの算出により求められた画像列構成要素間の対応関係とに基づいて、指定される視点（その位置情報として、例えば、２つの画像の割合を示す比率値で表現される）から見た画像を作成する。

以上説明したように、本発明では、ＤＰマッチングを多段に用い、縦方向及び横方向のずれを考慮にいれて２つの画像の間の対応関係を求めて、その対応関係に基づいて、２つの画像の間にある任意の視点から見た画像を作成するように処理することから、３次元モデルを作成することなく、２つの画像の間にある任意の視点から見た画像を作成できるようになる。

これから、本発明によれば、２つの画像の間にある任意の視点から見た画像を極めて簡単に作成できるようになる。

以下、実施の形態に従って本発明を詳細に説明する。

図１に、本発明を具備する画像作成装置１の装置構成の一実施形態例を図示する。

この図に示すように、本発明の画像作成装置１は、第１の画像と第２の画像という２つの画像を記憶する画像メモリ１０と、格子化手段１１と、第１の処理画像用メモリ１２と、第２の処理画像用メモリ１３と、列画像選択手段１４と、ｉ列ｊ列コスト算出手段１５と、ＤＰパス記録手段１６と、ＤＰコスト格子空間生成手段１７と、ＤＰパス決定手段１８と、画像作成手段１９と、視点位置情報入力手段２０とを備える。

この格子化手段１１は、画像メモリ１０に記憶される第１の画像を格子化することで第１の処理画像を生成して第１の処理画像用メモリ１２に書き込むとともに、画像メモリ１０に記憶される第２の画像を格子化することで第２の処理画像を生成して第２の処理画像用メモリ１３に書き込む。

このようにして、格子化手段１１の処理に従って、第１の処理画像用メモリ１２には、例えば図２に示すように、（ｎ＋１）×（ｍ＋１）の格子に分割された第１の処理画像が記憶され、第２の処理画像用メモリ１３には、例えば図３に示すように、（ｑ＋１）×（ｐ＋１）の格子に分割された第２の処理画像が記憶されることになる。

列画像選択手段１４は、第１の処理画像用メモリ１２に記憶される第１の処理画像の持つ第ｉ列（ｉ＝０〜ｍ）の列画像（第ｉ列に並ぶ画像列の画像）を選択して読み出すとともに、第２の処理画像用メモリ１３に記憶される第２の処理画像の持つ第ｊ列（ｊ＝０〜ｐ）の列画像（第ｊ列に並ぶ画像列の画像）を選択して読み出す。

ｉ列ｊ列コスト算出手段１５は、図４に示すように、列画像選択手段１４の出力する第１の処理画像の持つ第ｉ列の列画像と、列画像選択手段１４の出力する第２の処理画像の持つ第ｊ列の列画像とに対してＤＰマッチングを行うことで、最短路に対応するＤＰパスを求めるとともに、そのＤＰパスに対応するミニマムコストｄ[i,j] を算出する。

このとき求められるＤＰパスに従って、第１の処理画像の持つ第ｉ列の列画像を構成する画像要素と、第２の処理画像の持つ第ｊ列の列画像を構成する画像要素との間の対応関係が求められることになる。

ＤＰパス記録手段１６は、ｉ列ｊ列コスト算出手段１５により求められたＤＰパスの情報を記録する。

ＤＰコスト格子空間生成手段１７は、ｉ列ｊ列コスト算出手段１５の算出したミニマムコストｄ[i,j] をマトリックス位置（ｉ，ｊ）に割り当てることで、ＤＰコスト格子空間を生成する。

このようにして、ＤＰコスト格子空間生成手段１７の処理に従って、マトリックス位置（ｉ，ｊ）に、ｉ列ｊ列コスト算出手段１５の算出したミニマムコストｄ[i,j] が割り当てられる、図５に示すような（ｍ＋１）×（ｐ＋１）の大きさを持つＤＰコスト格子空間が生成されることになる。

ＤＰパス決定手段１８は、ＤＰマッチングを行い、ＤＰコスト格子空間のマトリックス位置（０，０）からマトリックス位置（ｍ，ｐ）に至るまでの様々な経路の持つミニマムコストｄ[i,j] の総和を評価することで、その総和が最も小さな値を示すＤＰパスを求める。

このようにして、ＤＰパス決定手段１８の処理に従って、図６に示すようなＤＰコスト格子空間におけるＤＰパスが求められることになるが、このＤＰパスは、第１の処理画像の持つ列画像と第２の処理画像の持つ列画像との対応関係を示している。

すなわち、図６に示すＤＰパスは、第１の処理画像の持つ第０列〜第２列の列画像が第２の処理画像の持つ第０列の列画像に対応し、第１の処理画像の持つ第３列の列画像が第２の処理画像の持つ第１列の列画像に対応するというように、第１の処理画像の持つ列画像と第２の処理画像の持つ列画像との対応関係を示しているのである。

画像作成手段１９は、視点位置情報入力手段２０の入力する視点位置の情報を受けて、ＤＰパス決定手段１８の決定したＤＰパスの規定する列画像間の対応関係と、その列画像間のコストの算出の際にｉ列ｊ列コスト算出手段１５が行ったＤＰマンチッグにより求められた列画像要素間の対応関係とに基づいて、第１の処理画像と第２の処理画像との間にあるその視点から見た画像を作成する。

視点位置情報入力手段２０は、ユーザと対話することで、第１の処理画像と第２の処理画像との間にある任意の視点の位置情報を入力する。この視点の位置情報は、２つの画像の割合を示す比率値で表現されることになる。

図７に、このように構成される本発明の画像作成装置１の実行するフローチャートを図示する。

次に、このフローチャートに従って、本発明の画像作成装置１の実行する処理について詳細に説明する。

本発明の画像作成装置１は、ユーザから視点画像（２つの画像の間にある視点から見た画像）の作成要求があると、このフローチャートに示すように、先ず最初に、ステップ１０で、ユーザからの指示に従って、視点画像の作成に用いる２枚の画像（画像メモリ１０に記憶されている）を選択する。

続いて、ステップ１１で、２つの画像の割合を示す比率値（内分け比）で表現される視点位置情報を入力する。例えば、「０.5：０.5」という比率値で表現される視点位置情報を入力するのである。

続いて、ステップ１２で、画像メモリ１０から視点画像の作成に用いる２枚の画像を読み出して格子化することで、第１の処理画像と第２の処理画像という２枚の処理画像を生成する。

続いて、ステップ１３で、第１の処理画像の第ｉ列（ｉ＝０〜ｍ）と、第２の処理画像の第ｊ列（ｊ＝０〜ｐ）とのそれぞれにＤＰマッチングを行ってＤＰパスを求めて、そのＤＰパスに対応するミニマムコストｄ[i,j] を算出する。

続いて、ステップ１４で、その求めたＤＰパスの情報（２つの列画像を構成する画像要素間の対応関係を表している）をＤＰパス記録手段１６に記録する。

続いて、ステップ１５で、ミニマムコストｄ[i,j] をマトリックス位置（ｉ，ｊ）に割り当てることで、図５に示すようなＤＰコスト格子空間を生成する。

続いて、ステップ１６で、ＤＰコスト格子空間におけるＤＰパスを求めることで、第１の処理画像の持つ列画像と第２の処理画像の持つ列画像との対応関係を決定する。

続いて、ステップ１７で、入力した視点位置情報と、対応関係にある列画像の情報と、対応関係にある列画像同士のＤＰパスの情報（ＤＰパス記録手段１６に記録されている）とに基づいて、入力した視点位置情報の指定する視点から見た視点画像を作成して、処理を終了する。

図８に、この視点画像の作成処理の一例を図示する。

この図に示すように、視点画像を作成する場合には、対応関係にある列を結ぶ線分を視点位置情報の指定する比率値に応じて分割して、その切断方向に新規画像列を配列することで視点画像を生成するものであり、配列する幅と配列する高さと配列する画像値とについては、２つの処理画像の持つ値を視点位置情報の指定する比率値に応じて混合することにより算出することになる。

このようにして、図９に示すように、３次元モデルを作成することなく、２つの画像の間にある任意の視点から見た画像を作成できるようになるのである。

本発明の画像作成装置の装置構成の一実施形態例である。 第１の処理画像の説明図である。 第２の処理画像の説明図である。 ｉ列ｊ列コスト算出手段の実行する処理の説明図である。 ＤＰコスト格子空間の説明図である。 ＤＰパス決定手段の決定するＤＰパスの説明図である。 本発明の画像作成装置の実行するフローチャートである。 視点画像の作成処理の説明図である。 視点画像の作成処理の説明図である。

符号の説明

１ 画像作成装置
１０ 画像メモリ
１１ 格子化手段
１２ 第１の処理画像用メモリ
１３ 第２の処理画像用メモリ
１４ 列画像選択手段
１５ ｉ列ｊ列コスト算出手段
１６ ＤＰパス記録手段
１７ ＤＰコスト格子空間生成手段
１８ ＤＰパス決定手段
１９ 画像作成手段
２０ 視点位置情報入力手段

Claims (3)

1. ２つの画像から、その２つの画像の間にある任意の視点から見た画像を作成する画像作成方法であって、
   処理対象となる２つの画像の持つある処理方向に並ぶ画像列間のすべての画像列間の組に対してＤＰマッチングを行うことで、その処理方向に並ぶ２つの画像列間のすべての画像列間の組に対するミニマムコストを算出し、上記画像列間の組における画像列構成要素間の対応関係を求める過程と、
   上記算出されたミニマムコストを、その算出元となった上記処理方向位置の指すマトリックス位置に割り当てることで、ＤＰコスト格子空間を生成する過程と、
   上記ＤＰコスト格子空間におけるマトリックスの始点から終点に至るまでのＤＰマッチングの処理結果が最も小さな値を示すＤＰパスを求めることで、２つの画像の持つ上記処理方向に並ぶ画像列間の対応関係を決定する過程と、
   上記決定した画像列間の対応関係と、その画像列間の組に対するミニマムコストの算出により求められた上記画像列構成要素間の対応関係とに基づいて、指定される視点から見た画像を作成する過程とを備えることを、
   特徴とする画像作成方法。
2. 請求項１に記載の画像作成方法において、
   画像の作成対象となる視点の位置情報として、２つの画像の割合を示す比率値で表現されるものを入力する過程を備えることを、
   特徴とする画像作成方法。
3. 請求項１又は２に記載の画像作成方法の実現に用いられる処理をコンピュータに実行させるための画像作成プログラム。

Images