JP2024042540A - 画像生成装置、画像生成方法およびプログラム - Google Patents

Abstract

【課題】撮影装置により取得した画像データ有効利用を図る。【解決手段】視差を有する複数の画像データを取得するデータ取得部と、複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する第１画像生成部と、複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する第２画像生成部と、を備える。【選択図】図１

Description

本発明は、画像生成装置、画像生成方法およびプログラムに関する。

近年、ステレオカメラを用いた三次元計測が注目されている。ステレオカメラは、一方のカメラで撮像された画像と他方のカメラで撮像された画像に基づいて３次元画像を生成する。すなわち、一方のカメラで撮像された画像の画素ブロックと相関を有する画素ブロックを、他方のカメで撮像された画像において特定し、２つの画像における相対的なずれ量である視差からフォトグラメトリー技術を用いて奥行き情報を算出する。三次元計測技術としては、例えば、下記特許文献１に記載されたものがある。

特開２００１－２８５６９２号公報

ステレオカメラは、視差を有する複数の異なる画像から３次元画像を生成するものである。今後、視差を有する複数の画像から生成され３次元画像の新たな有効利用が望まれている。

本発明は、上記に鑑みてなされたものであって、撮影装置により取得した画像データの有効利用を図ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像生成装置は、視差を有する複数の画像データを取得するデータ取得部と、前記複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する第１画像生成部と、前記複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する第２画像生成部と、を備える。

本発明に係る画像生成方法は、視差を有する複数の画像データを取得する工程と、前記複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する工程と、前記複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する工程と、を含む。

本発明に係るプログラムは、視差を有する複数の画像データを取得する工程と、前記複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する工程と、前記複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する工程と、を画像生成装置として動作するコンピュータに実行させる。

本発明によれば、撮影装置により取得した画像データの有効利用を図ることができるという効果を奏する。

図１は、本実施形態に係る表示システムを表す概略構成図である。 図２は、カメラ装置を表す概略図である。 図３は、空間遊泳画像の概念を説明するための概略図である。 図４は、３次元画像の生成方法を表す概略図である。 図５は、画像生成方法を表すフローチャートである。 図６は、第１画像生成部の具体的な構成を表すブロック図である。 図７は、フォトグラメトリー原理を適用する２つの画像の位置関係を表す説明図である。 図８は、２つの画像の位置関係を表す説明図である。

以下に添付図面を参照して、本発明に係る画像生成装置、画像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

＜表示システムの構成＞
図１は、本実施形態に係る撮影システムを表す概念図である。

図１に示すように、表示システム１０は、異なる位置に配置される複数のカメラから周囲の複数の画像データを取得する。複数の画像データは、視差を有する複数の画像データである。表示システム１０は、視差を有する複数の画像データに基づいて特定の領域ごとの３次元画像を生成する。この場合、周囲の領域のうちの特定の１つの領域に対して１つの３次元画像を生成することで、周囲の複数の領域に対して複数の３次元画像を生成することとなる。

表示システム１０は、ユーザから特定の空間を浮遊する所望の移動軌跡の画像表示の指示があったとき、複数の３次元画像のデータを用いて指示された移動軌跡に応じた空間遊泳画像を生成して表示する。

表示システム１０は、カメラ装置１１と、画像生成装置１２と、記憶部１３と、操作部１４と、表示制御部１５と、表示部１６とを備える。

カメラ装置１１は、正多面体（プラトン立体）の外周部に複数のカメラ２１，２２，２３，２４，２５，２６・・・が装着されて構成される。正多面体は、例えば、正四面体、正六面体、正八面体、正十二面体、正二十面体などである。本実施形態では、正多面体を正十二面体として説明する。カメラ２１，２２，２３，２４，２５，２６・・・は、正二十面体における正五角形の各面に装着される。カメラ装置１１の詳細については、後述する。

画像生成装置１２は、カメラ装置１１（カメラ２１，２２，２３，２４，２５，２６・・・）が接続される。画像生成装置１２は、カメラ装置１１が撮影した複数の画像データが入力される。画像生成装置１２は、入力した複数の画像データに基づいて３次元画像を生成する。画像生成装置１２は、生成した３次元画像に基づいて、特定の移動軌跡に応じた空間遊泳画像を生成する。画像生成装置１２の詳細については、後述する。なお、画像生成装置１２、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算回路によって構成される。

記憶部１３は、画像生成装置１２に接続される。記憶部１３は、画像生成装置１２が生成した３次元画像のデータを記憶する。後述するが、画像生成装置１２は、空間を複数の領域に分割し、複数の領域ごとの３次元画像を生成する。そのため、記憶部１３は、画像生成装置１２が生成した複数の３次元画像のデータを記憶する。記憶部１３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置やメモリなどである。

操作部１４は、画像生成装置１２に接続される。操作部１４は、ユーザが操作可能である。操作部１４は、画像生成装置１２に対して指令信号を出力可能である。操作部１４は、画像生成装置１２に対して、表示部１６に表示させる画像の指令信号を出力可能である。具体的に、ユーザは、操作部１４を用いて、所定の空間を移動する移動軌跡データを入力する。すると、画像生成装置１２は、操作部１４から入力された移動軌跡データに応じた空間遊泳画像を生成する。

また、操作部１４は、表示部１６の表示の開始および終了を行うことができる。操作部１４は、表示部１６の表示内容を切り替えることができる。なお、操作部１４は、キーボード、マウス、タッチパネル、ボタン、スイッチなどである。

表示制御部１５は、画像生成装置１２に接続される。表示制御部１５は、画像生成装置１２が生成した空間遊泳画像の表示制御を行う。すなわち、表示制御部１５は、画像生成装置１２が生成した空間遊泳画像を表示部１６に表示する。なお、表示制御部１５は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算回路によって構成される。

表示部１６は、表示制御部１５に接続される。表示部１６は、表示制御部１５により表示制御可能である。表示部１６は、表示制御部１５から入力される空間遊泳画像を表示する。表示部１６は、例えば、例えば、ディスプレイである。但し、表示部１６は、は、この構成に限定されるものではなく、例えば、操作部１４と表示部１６などが一体に構成されたタッチパネル式のディスプレイであってもよい。

＜画像生成装置＞
画像生成装置１２は、データ取得部３１と、第１画像生成部３２と、第２画像生成部３３とを有する。

データ取得部３１は、カメラ装置１１を構成する複数のカメラ２１，２２，２３，２４，２５，２６・・・が取得した複数の画像データを取得する。複数のカメラ２１，２２，２３，２４，２５，２６・・・は、特定の空間における全周囲を撮影可能である。そのため、データ取得部３１は、複数のカメラ２１，２２，２３，２４，２５，２６・・・から複数の画像データを取得することで、特定の空間における全周囲の画像データを取得することとなる。

第１画像生成部３２は、データ取得部３１が取得した複数の画像データに基づいて３次元画像（３次元モデル）を生成する。カメラ装置１１は、複数のカメラ２１，２２，２３，２４，２５，２６・・・のうち、隣接する２つのカメラは、位置が相違することで視差を有し、撮影視野の一部が重複する。例えば、隣接する２つのカメラ２１，２２は、カメラ装置１１に配置される位置が相違することから、視差を有する。第１画像生成部３２は、カメラ２１，２２が撮影した視差を有する２つの画像データ（ステレオ画像）に基づいて３次元画像（３次元モデル）を生成する。この場合、カメラ２１の撮影視野の一部とカメラ２２の撮影視野の一部が重なっている。また、第１画像生成部３２は、カメラ２１，２２に加えてカメラ２１，２２に隣接するカメラ２３が撮影した視差を有する３つの画像データ（ステレオ画像）に基づいて３次元画像（３次元モデル）を生成する。

ここで、３次元画像とは、縦横高さの情報を持つ立体（３次元）のデジタルデータが特定のルールで配列されているものである。また、視差とは、二地点での観測地点の位置の違いにより対象点の見える方向が異なること、または、その角度差のことである。

第１画像生成部３２が生成した３次元画像は、特定の領域における３次元画像である。つまり、カメラ２１，２２（２３）は、撮影視野が設定されている。すると、第１画像生成部３２がカメラ２１，２２（２３）から取得した画像データは、カメラ２１，２２（２３）の撮影視野における画像データとなる。そのため、第１画像生成部３２が生成した３次元画像は、カメラ２１，２２（２３）の撮影視野の領域における３次元画像である。

第１画像生成部３２は、複数のカメラ２１，２２，２３，２４，２５，２６・・・のうち、互いに隣接する２つまたは３つ以上のカメラが撮影した複数の画像データに基づいて、複数のカメラの撮影視野内の領域の１つの３次元画像を生成する。第１画像生成部３２は、特定の空間に対して、隣接する複数のカメラの組合せを変更し、異なる組合せの複数のカメラが撮影した複数の画像データに基づいて、複数のカメラの撮影視野内の領域の１つの３次元画像を生成する。

第１画像生成部３２は、１つの領域（複数のカメラの視野）に対する複数の画像データに基づいて１つの３次元画像を生成する。その結果、第１画像生成部３２は、複数のカメラ２１，２２，２３，２４，２５，２６・・・から取得した複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する。

第２画像生成部３３は、第１画像生成部３２が生成した複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する。特定の移動軌跡は、ユーザが操作部１４を用いて第２画像生成部３３に入力される。ここで、移動軌跡とは、特定の空間における空間座標と、空間座標における移動方向とからなる地点データが複数連続して構成されたものである。

第１画像生成部３２が生成した３次元画像は、カメラ装置１１（カメラ２１，２２，２３，２４，２５，２６・・・）の位置から撮影した複数の画像データに基づいて生成されたものである。一方、地点データの空間座標は、カメラ装置１１の撮影視野内であれば、どの地点であってもよい。また、地点データの移動方向は、カメラ装置１１の撮影方向とは異なる方向であってもよい。第２画像生成部３３は、第１画像生成部３２が生成した３次元画像に対して、透視変換することで、地点データに応じた空間の２次元画像を生成する。透視変換とは、３次元正規座標系から２次元透視座標系への変換である。この場合、２次元画像の視点を設定する必要があり、第２画像生成部３３は、カメラ装置１１の位置から見える空間の３次元画像を透視変換し、視点をユーザが指示した位置（地点データ）とする。

移動軌跡は、複数の地点データが連続して構成されたものであることから、第２画像生成部３３は、複数の地点データにおける２次元画像を連続させることで、空間遊泳画像を生成する。

なお、第１画像生成部３２と第２画像生成部３３とは、ハードウェアとして同一でもよいものであり、それぞれハードウェアとして個別に存在していなくてもよい。また、画像生成装置１２は、前述したように、ＣＰＵなどの演算回路によって構成されるものであり、第１画像生成部３２および第２画像生成部３３も、ＣＰＵなどの演算回路によって構成されてもよい。

なお、画像生成装置１２は、画像補間部を有していてもよい。画像補間部は、第２画像生成部３３が生成した地点データに応じた２次元画像に対して、画像データの補間を行う。画像補間部は、第２画像生成部３３が空間の２次元画像を生成するときにデータ取得部３１が取得することができなかった領域の画像を推定して補間する。ここで、補間とは、オクルージョン部分を補うことである。オクルージョンとは、上下方向や左右方向の他に前後方向に関係があり、手前にある物体が背後にある物体を隠して見えない状態により発生する奥行き情報の欠損した領域のことである。

すなわち、カメラ装置１１の位置と地点データの位置とが相違することから、カメラ装置１１から見える領域と、地点データの領域とが相違する。そのため、第２画像生成部３３が２次元画像を生成するとき、地点データでの領域の画像が不足し、オクルージョンが発生することがある。そのため、画像補間部は、地点データでの領域における不足している画像を追加し、オクルージョンをなくす。

画像補間部は、例えば、不足している領域に隣接する画像（テクスチャ）の線や色などを延長することで、不足している領域の画像を追加する。また、画像補間部は、例えば、カメラ装置１１を移動させたり、カメラ装置１１を複数配置したりすることで、不足している領域を撮影し、撮影画像から不足している領域の画像を追加する。また、画像補間部は、例えば、空間の全体の形状や色などを認識し、不足している領域の画像を予測することで、不足している領域の画像を追加する。また、画像補間部は、例えば、機械学習により不足している領域の画像を追加する。

＜カメラ装置＞
図２は、カメラ装置を表す概略図である。

カメラ装置１１は、正十二面体の支持体４１と、カメラ２１，２２，２３，２４，２５，２６・・・と、支持ロッド４２と、支持台４３とを有する。

支持体４１は、正五角形をなす１２個の面４１ａ，４１ｂ，４１ｃ，４１ｄ，４１ｅ，４１ｆ・・・を有する。支持体４１は、面４１ａ，４１ｂ，４１ｃ，４１ｄ，４１ｅ，４１ｆ・・・にカメラ２１，２２，２３，２４，２５，２６・・・が装着される。カメラ２１，２２，２３，２４，２５，２６・・・は、面４１ａ，４１ｂ，４１ｃ，４１ｄ，４１ｅ，４１ｆ・・・の法線方向の外方に撮影視野の中心線が設定される。また、カメラ２１，２２，２３，２４，２５，２６・・・は、周囲に１８０度、つまり、法線に対して９０度の撮影視野を有することが好ましい。

支持体４１は、下部に支持ロッド４２を介して支持台４３が連結される。カメラ装置１１は、支持台４３が所定の床面に設置されることで、特定の空間に配置される。

＜空間遊泳画像＞
図３は、空間遊泳画像の概念を説明するための概略図、図４は、３次元画像の生成方法を表す概略図である。

図３および図４に示すように、特定の空間５１に対してカメラ装置１１が配置される。特定の空間５１は、例えば、建物の部屋であってもよいし、屋外における所定の地点などであってもよい。カメラ装置１１は、複数のカメラ２１，２２，２３，２４，２５，２６・・・が空間５１の全周囲（３６０度）を撮影可能である。このとき、隣接するカメラ２１，２２，２３，２４，２５，２６・・・は、撮影視野の一部が重なる。

例えば、隣接する２つのカメラ２１，２２は、それぞれ所定の撮影視野を有する画像データ２１ａ，２２ａを取得する。カメラ２１，２２は、視差（角度差）α１を有し、互いの撮影視野が一部重なる。すなわち、画像データ２１ａ，２２ａは、一部の画像データが重複する画像データである。また、例えば、カメラ２１，２２の撮影視野内に目標物Ｂがあるとき、画像データ２１ａ，２２ａは、少なくとも、目標物Ｂに対する撮影範囲（角度）β１の画像データを含む。そのため、第１画像生成部３２は、カメラ２１，２２が撮影した視差を有する画像データ２１ａ，２２ａに基づいて目標物Ｂを含む撮影範囲β１における３次元画像を生成することができる。第１画像生成部３２は、目標物Ｂを撮影可能な全てのカメラの画像データを用いて目標物Ｂを含む撮影範囲β１における３次元画像を生成することが望ましい。

同様に、第１画像生成部３２は、複数のカメラ２１，２２，２３，２４，２５，２６・・・が撮影した視差を有する複数の画像データに基づいて目標物Ａ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇを含む撮影範囲における複数の３次元画像をそれぞれ生成する。すなわち、第１画像生成部３２は、特定の空間５１に対して、目標物Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇを含む複数の領域に対応する複数の３次元画像を生成する。この場合、第１画像生成部３２が生成した複数の領域に対応する複数の３次元画像は、一部の画像が重複することが好ましい。

ユーザは、操作部１４を用いて特定の移動軌跡を第２画像生成部３３に入力する。移動軌跡は、例えば、目標物Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇにおける空間座標（Ｘ，Ｙ，Ｚ）と、空間座標（Ｘ，Ｙ，Ｚ）における移動方向とからなる地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａが複数連続して構成される。すなわち、移動軌跡は、地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａが連続する軌道である。第２画像生成部３３は、地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａが連続する移動軌跡に応じた空間遊泳画像を生成する。空間遊泳画像は、地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａでの２次元画像が連続する画像である。なお、移動軌跡は、地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａが連続する軌道に限るものではなく、ユーザが操作部１４を用いて適宜設定することができる。

なお、上述の説明では、特定の空間５１を一方側から見た場合について説明したが、空間５１は、３次元空間である。

すなわち、第１画像生成部３２は、特定の空間５１にて、目標物Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇを含む複数の領域に対応する複数の３次元画像を生成する。第２画像生成部３３は、第１画像生成部３２が生成した複数の３次元画像に基づいて、ユーザから指示された移動軌跡としての空間座標（Ｘ，Ｙ，Ｚ）と移動方向とからなる地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａに応じた空間遊泳画像を生成する。

この場合、ユーザが指示する移動軌跡は、事前に特定しておいてもよいし、事前に特定した対象物を認識したら自動的に空間遊泳画像を生成するようにしてもよい。そして、記憶部１３は、予め、対象物と移動軌跡とを紐づけた情報を記憶する。次に、第１画像生成部３２は、記憶部１３から対象物と移動軌跡とを紐づけた情報を取得する。第１画像生成部３２は、複数のカメラ２１，２２，２３，２４，２５，２６・・・が撮影した複数の画像データに、対象物と移動軌跡とを紐づけた情報の対象物が写っているか否かを判定する。対象物が写っているか否かを判定には、パターンマッチングによる画像認識等の種々の公知技術を利用すればよい。第１画像生成部３２は、画像データに対象物が写っていると判定した場合、対象物と移動軌跡とを紐づけた情報の移動軌跡を、ユーザから指示された移動軌跡とする。なお、第１画像生成部３２は、所定数の画像データに対象物が写っている場合に、対象物が写っていると判定としてもよく、複数の画像データ全てに対象物が写っている場合に、対象物が写っていると判定としてもよい。また、空間座標（Ｘ，Ｙ，Ｚ）は、複数の映像が導き出される対象物の中点や重心位置であってもよい。移動方向は、カメラ装置１１を中心とした円運動に限るものではなく、適宜設定すればよいものである。移動軌跡上に対象物や周辺物があった場合、対象物や周辺物などを回避するような移動軌跡に補正してもよい。

また、ユーザが指示した移動軌跡を必要に応じて適宜変更してもよい。対象物（目標物Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ）は、人または物体（家具など）である。この場合、対象物ごとに見たい位置が異なることから、空間遊泳画像を異ならせる。例えば、画像認識により対象物が物体であると判定した場合、例えば、移動軌跡は、物体を中心とした水平に対して斜めの円運動とすることが好ましい。また、画像認識により対象物が人であると判定した場合、例えば、移動軌跡は、物体を中心とした水平な円運動とすることが好ましい。具体的には、記憶部１３は、予め、対象物ごとに移動軌跡が異なる、対象物と移動軌跡とを紐づけた情報を記憶する。

また、対象物の空間座標に応じて移動軌跡を変更してもよい。この場合、対象物が高い位置にあるものと低い位置にあるものとでアングルが異なる。そのため、対象物の空間座標に応じて、移動軌跡の高さを変更することで、違和感のない空間遊泳画像を生成することができる。この場合、記憶部１３は、予め、空間座標の閾値を記憶する。第１画像生成部３２は、記憶部１３から空間座標の閾値を取得する。第１画像生成部３２は、画像データに対象物が写っていると判定した場合、対象物に基づく空間座標（Ｘ，Ｙ，Ｚ）と、対象物と移動軌跡とを紐づけた情報の移動軌跡の移動方向とからなる地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａなどが、空間座標の閾値内であるか否かを判定する。第１画像生成部３２は、空間座標の閾値内ではないと判定した場合に、空間座標の閾値内へと変更した移動軌跡を生成し、ユーザから指示された移動軌跡とする。

＜画像生成方法＞
図５は、画像生成方法を表すフローチャートである。

図１および図３、図５に示すように、ステップＳ１１にて、データ取得部３１は、カメラ装置１１における複数のカメラ２１，２２，２３，２４，２５，２６・・・が取得した複数の画像データを取得する。ステップＳ１２にて、第１画像生成部３２は、データ取得部３１が取得した複数の画像データに基づいて３次元画像を生成する。第１画像生成部５２が生成した３次元画像は、例えば、特定の空間５１に対して、目標物Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇをそれぞれ含む複数の領域に対応する複数の３次元画像である。

ステップＳ１３にて、第１画像生成部３２が生成した複数の３次元画像を記憶部１３に記憶する。記憶部１３に記憶する複数の３次元画像は、例えば、特定の空間５１に対して、目標物Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇをそれぞれ含む複数の領域に対応する複数の３次元画像である。ステップＳ１４にて、第２画像生成部３３は、操作部１４から特定の移動軌跡が入力したか否かを判定する。ここで、第２画像生成部３３は、操作部１４から特定の移動軌跡が入力していないと判定（Ｎｏ）すると、このまま待機する。

一方、第２画像生成部３３は、操作部１４から特定の移動軌跡が入力したと判定（Ｙｅｓ）すると、ステップＳ１５に移行する。ステップＳ１５にて、第２画像生成部３３は、第１画像生成部３２が生成した複数の３次元画像に対して、移動軌跡（地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａ）に応じた透視変換（視点変換）をすることで、地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａに応じた複数の２次元画像を生成する。なお、第１画像生成部が、移動軌跡を生成又は補正した場合は、操作部１４から特定の移動軌跡が入力したと判定してもよい。

ステップＳ１６にて、第２画像生成部３３は、地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａに応じた複数の２次元画像を連続させることで、空間遊泳画像を生成する。そして、ステップＳ１７にて、第２画像生成部３３は、生成した空間遊泳画像を表示制御部１５に出力すると、表示制御部１５は、表示部１６に空間遊泳画像を表示する。

なお、ステップＳ１４にて、異なる移動軌跡の入力があったと判定されると、新たに入力された移動軌跡に応じた複数の２次元画像を生成し、複数の２次元画像を連続させることで生成した空間遊泳画像を表示する。

＜空間遊泳画像の生成方向の具体例＞
図６は、第１画像生成部の具体的な構成を表すブロック図、図７は、フォトグラメトリー原理を適用する２つの画像の位置関係を表す説明図、図８は、２つの画像の位置関係を表す説明図である。

図６に示すように、第１画像生成部３２は、エピポーラ線方向計算器６１と、エピポーラ線直交方向計算器６２と、探索範囲決定器６３と、対応点検出器６４と、距離計算器６５とを有する。

エピポーラ線方向計算器６１は、データ取得部３１が取得した複数（例えば、２つ）の画像データに基づいて、目標物Ａを含む領域に対する複数の画像データの相対応する複数の画素点間を結ぶエピポーラ線の方向を計算する。エピポーラ線方向計算器６１は、算出したエピポーラ線の方向をエピポーラ線直交方向計算器６２に送出する。

エピポーラ線直交方向計算器６２は、エピポーラ線に対して直交する直交方向を計算する。エピポーラ線直交方向計算器６２が算出したエピポーラ線に対する直交方向を探索範囲決定器６３に出力する。

探索範囲決定器６３は、エピポーラ線の方向とエピポーラ線の直交方向に相対応する複数の画素点を含むように画面上の２次元探索範囲を決定する。探索範囲決定器６３は、決定した２次元探索範囲を対応点検出器６４に出力する。

対応点検出器６４は、データ取得部３１が取得した複数の画像データと、決定された２次元探索範囲内に基づいて、対応点探索を行って視差ベクトルを求める。対応点検出器６４は、求めた視差ベクトルを距離計算器６５に送出する。

距離計算器６５は、視差ベクトルに対して、エピポーラ線への写像を行って視差ベクトルのエピポーラ線方向成分を求め、求められたエピポーラ線方向成分に基づいて対象物Ｔまでの距離を計算する。距離計算器６５は、算出した対象物Ｔまでの距離を第２画像生成部５３に送出する。

以下、第１画像生成部３２による３次元画像（３次元モデル）の生成方法において具体的に説明する。ここでは、２つの画像データから３次元画像を生成する場合について説明する。

データ取得部３１は、カメラ２１，２２から目標物Ａを含む領域を撮影した２つの画像データを１組として取得する。この１組となる画像データを三角測量することで３次元点群が求まり、これらを集めていくことで相対的な位置と点群の画像を広げていく。また、この画像データに対応する部分のテクスチャをあとでマッピングするために対応付けてメモリに管理する。

まず、目標物Ａに対してカメラ２１およびカメラ２２によって２組セット画像データを得る。次に、対応点検出器６４は、２組セットの画像データに基づいて特徴点の対応点探索を行う。対応点検出器６４は、例えば、画素毎の対応付けを行い、差が最小になる位置を探す。ここで、図６および図７に示すように、２視点に同時に存在しているとする第２カメラ２６，２７は、光軸Ｏｌ，Ｏｒが同一のＸ－Ｚ座標平面上に含まれるように、Ｙｌ＝Ｙｒの関係に配置されているものとする。対応点検出器６４により探索された対応点を用いて画素毎の角度の差に相当する視差ベクトルを計算する。

距離計算器６５は、得られた視差ベクトルが奥行き方向のカメラ２１，２２からの距離に相当するので、遠近法により視差の大きさに比例させて距離計算を行う。カメラ２１，２２がほぼ水平にしか移動しないと仮定すれば、カメラ２１，２２をその光軸Ｏｌ，Ｏｒが同一のＸ－Ｚ座標平面上に含まれるように配置しておくことにより、対応点の探索はエピポーラ線Ｅｐｌ，Ｅｐｒである走査線上のみで行えばよいことになる。距離計算器６５は、対象物Ｔの２つの画像データと、カメラ２１，２２から対象物Ｔまでのそれぞれの距離を用いて対象物Ｔの３次元画像を生成する。

一方、左画像上の点Ｑｌ（Ｘｌ，Ｙｌ）と右画像上の点Ｑｒ（Ｘｒ，Ｙｒ）とが対応する場合、点Ｑｌ（Ｘｌ，Ｙｌ）における視差ベクトルはＶｐ（Ｘｌ－Ｘｒ，Ｙｌ－Ｙｒ）である。ここで、２つの点Ｑｌ，Ｑｒは同じ走査線（エピポーラ線）上にあるので、Ｙｌ＝Ｙｒであり、視差ベクトルは、Ｖｐ（Ｘｌ－Ｘｒ，０）と表されることになる。エピポーラ線方向計算器６１は、このような視差ベクトルＶｐを、画像上の全ての画素点について求め、視差ベクトル群を作成することで画像の奥行き方向の情報を得る。ところで、エピポーラ線が水平ではないセットに関しては、片方のカメラ位置の高さが違っている（確率は低い）ことがある。この場合、エピポーラ線直交方向計算器６２は、大きな探索範囲を、対応点マッチングを意識することなく大きな２次元領域で対応点探索をする場合に比べ、エピポーラ線方向と、エピポーラ線に対し直交方向でその水平からのずれ具合程度の長方形内で探索することで、最低限の長方形の計算量は少なくなり合理的になる。そして、探索範囲決定器６３は、図８に示すように、最低限の長方形に関するエピポーラ線方向探索範囲をａ～ｂ＝ｃ～ｄとし、直交方向探索範囲をｂ～ｃ＝ｄ～ａとした場合の探索範囲を示す。この場合、エピポーラ線方向の探索幅は、ΔＥ、エピポーラ線と直交する方向Ｆの探索幅はΔＦとする。最低限の傾斜した長方形ａｂｃｄを含む傾斜しない最小の長方形ＡＢＣＤが求める領域となる。

図６に示すように、第１画像生成部３２は、複数のカメラ２１，２２の特徴点の対応点からエピポーラ拘束条件にて視差ベクトルを求め、各点の奥行き方向の情報を得て、３次元形状の表面上のテクスチャをマッピングして、３次元画像を生成する。これにより、計算に使用する画像データにある部分のモデルは、その前面側半球からの見る空間画像、つまり、カメラ装置１１から見た３次元画像を再現することができる。第１画像生成部３２は、生成した３次元画像を第２画像生成部３３に送出する。

第２画像生成部３３は、入力された移動軌跡の地点データに応じた透過変換を用い、第１画像生成部３２と同様の手法を用いて３次元画像を、地点データに応じた２次元画像に変換し、再構成することができる。第２画像生成部３３は、生成した複数の２次元画像を連続させることで、移動軌跡に応じた空間遊泳画像を生成することができる。

なお、上述の説明では、特定の空間５１の中心位置にカメラ装置１１を配置した場合について接類したが、このような配置に限定されるものではない。例えば、特定の空間に位置する対象物の周囲にカメラ装置１１を配置してもよい。この場合、対象物の周囲に複数のカメラ装置１１を配置することが好ましい。

［本実施形態の作用効果］
本実施形態の画像生成装置は、視差を有する複数の画像データを取得するデータ取得部３１と、複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する第１画像生成部３２と、複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する第２画像生成部３３とを備える。

そのため、視差を有する複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成し、複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する。そのため、ユーザがいない場所から見た空間の画像を連続して見ることができ、カメラ装置（撮影装置）１１により取得した画像データ有効利用を図ることができる。

本実施形態の画像生成装置は、移動軌跡は、特定の空間座標における移動方向とからなる地点データが複数連続して構成され、第２画像生成部３３は、複数の地点データにおける２次元画像を連続させることで空間遊泳画像を生成する。そのため、ユーザは、自身がいない場所から見た空間の遊泳画像を容易に見ることができる。

本実施形態の画像生成装置は、第１画像生成部３２は、複数の画像データに事前に特定した対象物が写っているか否かを判定し、写っている場合には対象物と紐づけた移動軌跡を、特定の移動軌跡とする。そのため、ユーザは、自身がいない場所から見た空間の遊泳画像を容易に見ることができる。

これまで本発明に係る画像生成装置について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。

図示した画像生成装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

画像生成装置の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

１０ 表示システム
１１ カメラ装置
１２ 画像生成装置
１３ 記憶部
１４ 操作部
１５ 表示制御部
１６ 表示部
２１，２２，２３，２４，２５ カメラ
３１ データ取得部
３２ 第１画像生成部
３３ 第２画像生成部
４１ 支持体
４２ 支持ロッド
４３ 支持台
５１ 空間
６１ エピポーラ線方向計算器
６２ エピポーラ線直交方向計算器
６３ 探索範囲決定器
６４ 対応点検出器
６５ 距離計算器
Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ 目標物

Claims (5)

1. 視差を有する複数の画像データを取得するデータ取得部と、
   前記複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する第１画像生成部と、
   前記複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する第２画像生成部と、
   を備える画像生成装置。
2. 前記移動軌跡は、特定の空間座標における移動方向とからなる地点データが複数連続して構成され、
   前記第２画像生成部は、複数の前記地点データにおける２次元画像を連続させることで前記空間遊泳画像を生成する、
   請求項１に記載の画像生成装置。
3. 前記第１画像生成部は、前記複数の画像データに事前に特定した対象物が写っているか否かを判定し、写っている場合には対象物と紐づけた移動軌跡を、特定の移動軌跡とする、
   請求項１または請求項２に記載の画像生成装置。
4. 視差を有する複数の画像データを取得する工程と、
   前記複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する工程と、
   前記複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する工程と、
   を含む画像生成方法。
5. 視差を有する複数の画像データを取得する工程と、
   前記複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する工程と、
   前記複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する工程と、
   を画像生成装置として動作するコンピュータに実行させるプログラム。

Images