JP4696018B2 - 観察位置追従式映像提示装置及び観察位置追従式映像提示プログラム，映像提示装置及び映像提示プログラム - Google Patents

Description

本発明は、投影される映像の歪みを観察者の位置に応じて補正する観察位置追従式映像提示装置及び観察位置追従式映像提示プログラム，映像提示装置及び映像提示プログラムに関するものである。

従来の映像提示装置では、観察者の観察点の変化によって投影装置（例えば、プロジェクタなど）によって、投影される映像の投影方向を変更し、提示位置を変更することを可能としている。

例えば、次のような方法を実装した観察位置追従式映像提示装置が知られている。

まず、観察者が存在する空間の三次元形状を測距装置で計測する。

次に、その計測した結果として得られた距離画像を処理することによって、観察者の位置や方向を示す観察点の情報を抽出する。

そして、前記の観察点の情報に基づいて映像提示方向を決定し、該映像提示方向に応じてプロジェクタの投影方向を変更する（例えば、特許文献１参照）。

また、投影装置の光軸と投影面（即ち、スクリーン）の法線が一致しない部分で投影された映像に生じる歪みを、あらかじめ格納しておいた投影面の形状を利用して投影装置に入力される投影画像を補正して投影する方法も知られている。

なお、映像提示装置における技術としては、投影画像に対する補正方法（例えば、非特許文献１参照）、ステレオ視の原理に基づいて投影装置と撮像装置間の対応点の組から撮像装置の外部パラメータを算出する方法（例えば、非特許文献２参照）、投影装置と撮像装置間の対応点の組から投影面中の平面領域を決定する方法（例えば、非特許文献３参照）などが知られている。
特開２００５−１２３８５５号公報（段落［００２５］〜［００３１］等）。 島村 潤，荒川 賢一、「プロジェクタを用いた動的実環境における観測位置依存映像提示」、日本バーチャルリアリティ学会論文誌、２００５年（平成１７年）９月、Ｖｏｌ．１０、Ｎｏ．２、ｐｐ．１４５−１５３。 川崎 洋，古川 亮，大澤 裕、「空間コード化法を用いた未校正ステレオシステムによる密な三次元形状復元」、画像の認識・理解シンポジウム（ＭＩＲＵ２００５）、Ｊｕｌ．２００５（平成１７年７月）、Ｖｏｌ．２００５、Ｎｏ．７、ｐｐ．１２６８−１２７５。 島村 潤，荒川 賢一、「プロジェクタ・カメラシステムにおける射影変換行列と直線パターン検出に基づく複数平面の検出」、Ｊｕｌ．２００５（平成１７年７月）、画像の認識・理解シンポジウム（ＭＩＲＵ２００５）、Ｖｏｌ．２００５、Ｎｏ．７、ｐｐ．１２９０−１２９６。

上述のような観察位置追従式映像提示装置では、測距装置等によって得られた距離画像を利用して観察点情報を決定するため、装置構成が大掛かりになり、可搬性に欠けるといった問題が存在する。

また、上述の測距装置は未だ高価な装置であって、観察位置追従式映像提示装置に該測距装置を含んで構成することは、利用者に多大なる金銭的負担を強いることになる。

本発明は、前記課題に基づいてなされたものであって、測距装置を利用することなく観察者の観察点と投影面の形状を検出し、観察点に応じて映像提示位置を変更する観察位置追従式映像提示装置及び観察位置追従式映像提示プログラム，幾何学的歪みのない正確な投影画像を投影する映像提示装置及び映像提示プログラムを提供することにある。

本発明は、前記課題の解決を図るために、請求項１記載の発明は、三次元空間内に存在する投影面に対して映像を投影出力する投影装置と、投影面のみを撮像範囲に収めて撮像する第１撮像装置と、該投影装置によって投影出力された投影画像を観察する観察者と投影面を、撮像範囲内に映す位置に設置された１台以上の第２撮像装置と、を備え、該投影装置に入力される投影画像と、第１撮像装置から入力される第１撮像画像と、第２撮像装置から入力される第２撮像画像と、に基づいて、該投影面上に表示される投影画像の幾何学歪みを補正する観察位置追従式映像提示装置であって、前記第１撮像装置によって撮像された撮像画像上で任意の２点を基準点とし、その２点の三次元距離を基準距離として算出し、第２撮像装置によって撮像された撮像画像上で基準点に対応する２点を決定して夫々の三次元距離を算出し、算出した夫々の三次元距離と基準距離を用い、前記投影装置に対する第１撮像装置および第２撮像装置の位置関係を表すパラメータを求める校正手段と、前記投影画像を前記投影装置に入力する映像入力手段と、前記観察者が投影された投影画像を観察する位置を観察点と見做し、その観察点を前記第２撮像画像と前記投影装置に対する第１撮像装置および第２撮像装置の位置関係を示すパラメータとから検出する観察点検出手段と、前記投影装置によって前記投影面に投影出力される対応付け用パターンと第１撮像装置の撮影画像上の画素との対応点と、予め与えられた投影装置の焦点距離を表すパラメータと、予め与えられた第１撮像装置の焦点距離を表すパラメータと、を用いて前記投影面の三次元形状を測定する投影面形状計測手段と、その観察点と測定された投影面の三次元形状を用いて、その投影画像に対して幾何変換を施し補正映像を生成する映像補正手段と、を備えることを特徴とする。

請求項２記載の発明は、請求項１記載の発明において、前記観察点検出手段が、複数の第２撮像装置で取得した撮像画像中から楕円領域を各々抽出し、複数の第２撮像装置間におけるステレオ視の原理に基づいて、その楕円領域の三次元位置を求め、その楕円領域の中心座標の三次元位置を観察点と見做す、ことを特徴とする。

請求項３記載の発明は、請求項１記載の発明において、前記観察点検出手段が、単数の第２撮像装置で取得した撮像画像中から楕円領域を抽出し、該楕円領域の三次元位置を、予め入力しておいた実空間における楕円体の大きさと抽出した画像上における楕円領域の大きさを射影することによって、観測点を求める、ことを特徴とする。

請求項４記載の発明は、コンピュータに、三次元空間内に存在する投影面に対して映像を投影出力する投影装置と、投影面のみを撮像範囲に収めて撮像する第１撮像装置と、該投影装置によって投影出力された投影画像を観察する観察者と投影面を、撮像範囲内に映す位置に設置された１台以上の第２撮像装置と、を制御させ、該投影装置に入力される投影画像と、第１撮像装置から入力される第１撮像画像と、第２撮像装置から入力される第２撮像画像と、に基づいて、該投影面上に表示される投影画像の幾何学歪みを補正させる観察位置追従式映像提示プログラムであって、前記第１撮像装置によって撮像された撮像画像上で任意の２点を基準点とし、その２点の三次元距離を基準距離として算出し、第２撮像装置によって撮像された撮像画像上で基準点に対応する２点を決定して夫々の三次元距離を算出し、算出した夫々の三次元距離と基準距離を用い、前記投影装置に対する第１撮像装置および第２撮像装置の位置関係を表すパラメータを求める校正ステップと、前記投影画像を前記投影装置に入力する映像入力ステップと、前記観察者が投影された投影画像を観察する位置を観察点と見做し、その観察点を前記第２撮像画像と前記投影装置に対する第１撮像装置および第２撮像装置の位置関係を示すパラメータとから検出する観察点検出ステップと、前記投影装置によって前記投影面に投影出力される対応付け用パターンと第１撮像装置の撮影画像上の画素との対応点と、予め与えられた投影装置の焦点距離を表すパラメータと、予め与えられた第１撮像装置の焦点距離を表すパラメータと、を用いて前記投影面の三次元形状を測定する投影面形状計測ステップと、その観察点と測定された投影面の三次元形状を用いて、その投影画像に対して幾何変換を施し補正映像を生成する映像補正ステップと、を実行させることを特徴とする。

請求項５記載の発明は、請求項４記載の発明において、前記観察点検出ステップで、複数の第２撮像装置で取得した撮像画像中から楕円領域を各々抽出し、複数の第２撮像装置間におけるステレオ視の原理に基づいて、その楕円領域の三次元位置を求め、その楕円領域の中心座標の三次元位置を観察点と見做すステップ、を実行させることを特徴とする。

請求項６記載の発明は、請求項４記載の発明において、前記観察点検出ステップで、単数の第２撮像装置で取得した撮像画像中から楕円領域を抽出し、該楕円領域の三次元位置を、予め入力しておいた実空間における楕円体の大きさと抽出した画像上における楕円領域の大きさを射影することによって、観測点を求めるステップ、を実行させることを特徴とする。

請求項７記載の発明は、三次元空間内に存在する投影面に対して映像を投影出力する投影装置と、投影面を撮像範囲に収めて撮像する複数の撮像装置を備えた映像提示装置であって、前記投影装置によって投影面に投影出力される対応付け用パターンと、この対応付け用パターンを撮像した撮像画像を前記撮像装置から入力し、その撮像装置から出力された撮像画像上で対応点を決定し、その対応点に関する情報から投影装置に対する撮像装置の位置関係を表すパラメータを算出し、その撮像装置の中から１つの基準撮像装置を選択し、該基準撮像装置によって撮像された撮像画像上で任意の２点を基準点として選択し、その２点の基準点間の三次元距離を基準距離と見做して算出し、その基準撮像装置以外の撮像装置を参照撮像装置と見做し、その参照撮像装置によって撮像された撮像画像上で基準点に対応する２点を決定して夫々の三次元距離を算出し、算出した夫々の三次元距離と基準距離を用い、撮像装置の位置関係を表すパラメータを同一縮尺に統一した位置関係を表すパラメータに決定する校正手段を備える、ことを特徴とする。

請求項８記載の発明は、三次元空間内に存在する投影面に対して映像を投影出力する投影装置と、投影面を撮像範囲に収めて撮像する複数の撮像装置を制御させる映像提示プログラムであって、前記投影装置によって投影面に投影出力される対応付け用パターンと、この対応付け用パターンを撮像した撮像画像を前記撮像装置から入力し、その撮像装置から出力された撮像画像上で対応点を決定し、その対応点に関する情報から投影装置に対する撮像装置の位置関係を表すパラメータを算出し、その撮像装置の中から１つの基準撮像装置を選択し、該基準撮像装置によって撮像された撮像画像上で任意の２点を基準点として選択し、その２点の基準点間の三次元距離を基準距離と見做して算出し、その基準撮像装置以外の撮像装置を参照撮像装置と見做し、その参照撮像装置によって撮像された撮像画像上で基準点に対応する２点を決定して夫々の三次元距離を算出し、算出した夫々の三次元距離と基準距離を用い、撮像装置の位置関係を表すパラメータを同一縮尺に統一した位置関係を表すパラメータに決定する校正ステップを実行させる、ことを特徴とする。

前記の請求項１，４の発明によれば、第１及び第２撮像装置から出力される画像に基づいて観察者の観察点の位置と投影面の形状を計測できる。また、第１及び第２撮像装置から出力される画像に基づいて第１撮像装置及び第２撮像装置の位置関係を表すパラメータを取得できる。

前記の請求項２，５記載の発明によれば、複数の第２撮像装置で取得した撮像画像中から楕円領域を各々抽出できる。

前記の請求項３，６記載の発明によれば、単数の第２撮像装置で取得した撮像画像中から楕円領域を抽出できる。

前記の請求項７，８記載の発明によれば、対応点に基づいて、縮尺情報が縮退していない撮像装置の位置関係を表すパラメータを決定できる。

以上示したように請求項１，４の発明によれば、第１及び第２撮像装置から出力される画像に基づいて投影画像に対して幾何変換を施した補正映像を取得できる。また、第１及び第２撮像装置から出力される画像に基づいて第１撮像装置及び第２撮像装置を校正できる。

請求項２，５の発明によれば、ステレオ視の原理に基づいて、楕円領域から観察点を検出できる。

請求項３，６の発明によれば、予め入力しておいた実空間における楕円体に基づいて観察点を取得できる。

請求項７，８の発明によれば、撮像装置のキャリブレーション操作における煩雑な処理を無くすことができる。

これらを以って映像提示装置分野に貢献できる。

以下、本発明の実施形態について図面を用いて説明する。

実施形態における観察位置追従式映像提示装置の基本構成を図９に基づいて説明する。

この観察位置追従式映像提示装置は、図９に示すように、観察位置追従式映像提示装置本体５０に備えられた複数台の撮像装置（例えば、撮像装置２ａ〜２ｃ；以下、撮像装置２）によって、室内に属する観察者２０の位置を検出し、非平面スクリーン１０１に対面する観察者２０に対し、観察位置追従式映像提示装置本体５０に備えられた投影装置１によって、幾何学的歪みのない映像を投影提示するものである。

なお、観察位置追従式映像提示装置本体は、コンピュータによって実現されていても良い。

［第１実施形態］
第１実施形態における観察位置追従式映像提示装置を図１乃至図４に基づいて以下に説明する。なお、図１は、第１実施形態における観察位置追従式映像提示装置の構成の概略図である。

図１中の観察位置追従式映像提示装置は、投影装置１，撮像装置群２，投影画像管理部（例えば、投影画像データベース）３，映像入力部４，観察点検出部５，投影面形状計測部６，映像補正部７から構成されている。なお、投影画像管理部３，映像入力部４，観察点検出部５，投影面形状計測部６，映像補正部７が、観察位置追従式映像提示装置本体５０を構成する。

なお、以下の説明において、観察位置追従式映像提示装置本体５０を構成する部は、手段と見做しても良い。

投影装置１は、入力された投影画像を投影面（即ち、非平面スクリーン１０１上の投影面）に対して投影表示する装置であって、例えば、液晶素子やＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）素子を内蔵したプロジェクタやレーザプロジェクタなどである。

撮像装置群２の各撮像装置２ａ〜２ｃは、例えば、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどである。

また、前記の各撮像装置２ａ〜２ｃは、投影面のみを撮像範囲に収めて撮像する第１撮像装置（例えば、撮像装置２ａ）と、投影装置１によって投影出力された投影画像を観察する観察者と投影面を撮像範囲に収めて撮像する第２撮像装置（例えば、撮像装置２ｂ及び２ｃ）に分類される。

投影画像管理部３は、動画像をフレーム毎の静止画へと分解した画像群や静止画などの予め投影する画像を格納する手段であって、例えば、パーソナルコンピュータ上のデータベースシステム及び該データベースシステムを介して記録媒体（例えば、パーソナルコンピュータ付属のハードディスク）に記録されるデータベースファイルである。

映像入力部４は、前記の投影画像管理部３から投影画像を入力する部である。

観察点検出部５は、前記の投影装置１が出力する投影画像を観察する観察者の観察点を、前記の第２撮像装置から出力される撮像画像から決定する部である。

投影面形状計測部６は、前記の第２撮像装置から出力される撮像画像から投影面の三次元形状を測定し出力する部である。

映像補正部７は、投影画像の歪み補正処理を行ない出力する部である。

観察位置追従式映像提示装置で処理される手順を図２に基づいて説明する。

まず、第１実施形態における観察位置追従式映像提示装置では、映像入力部４が起動される。映像入力部４は起動した後、投影装置１に入力される投影画像を受け取り、このステップ処理を終了する（Ｓ１１）。

次に、観察点検出部５が起動される。その観察点検出部５は起動された後、少なくとも１台以上の第２撮像装置から観察者が存在する三次元空間を撮像した少なくとも１枚以上の撮像画像を受信する。前記の撮像画像から投影像を観察する観察者の観察点を検出する。そして、検出した観察点を出力して、このステップ処理を終了する。（Ｓ１２）。

前記の観察点を検出する第１観察点検出方法は、例えば、全ての撮像画像に対して円のＨｏｕｇｈ変換を適用して観察者の頭部領域（即ち、楕円領域）を検出する。この検出された観察者の頭部領域と、予め与えられた第２撮像装置（例えば、撮像装置２ｂ，２ｃ）に関する内部パラメータ（例えば、各第２撮像装置の焦点距離）及び外部パラメータ（例えば、第２撮像装置間の位置関係）、に基づき、さらに、複数台の第２撮像装置（例えば、撮像装置２ｂ，２ｃ）を用いた三角測量の原理（即ち、ステレオ視の原理）によって、該頭部領域の中心座標の三次元位置を算出するものである。

また、前記の三次元位置を検出する第２観察点検出方法としては、１つの第２撮像装置（例えば、撮像装置２ｂ）から出力される撮像画像に対して、上述の第１観察点検出方法と同様に、撮像画像上の観察者の頭部領域を検出する。前記の頭部領域に対し、予め準備しておいた人体の頭部形状を模した三次元モデルを当てはめる方法によって観察点の三次元位置を求め、この三次元位置を第２観察点と見做すものである。

例えば、図３中の観測者２０を撮像した画像上で、観察者２０の頭部領域２０ａが、座標（２，３）を中心とし、直径を５ｍｍ（ミリメートル）の円Ｑとして観測された場合、予め準備しておいた人物頭部形状三次元モデルの円の直径を２５ｍｍとすれば、実空間を画像に射影する以下の射影式で求められる。

ただし、点（Ｘ，Ｙ，Ｚ）は人物頭部形状三次元モデル上の円の座標、点（ｘ，ｙ）は画像上の観測者の頭部領域２０ａの座標である。

従って、観測点を観測者２０の頭部領域２０ａの中心点と見做した場合、人物頭部形状三次元モデル上では、座標（１０，１５，５ｆ）を該観測点と見做すことができる。

次に、投影面形状測定部６が起動される。投影面形状測定部６は起動された後、前記の投影装置１と第１撮像装置（例えば、撮像装置２ａ）間の対応点の組を対応付け用パターン情報から決定する。前記の対応点と、予め与えられた投影装置１および撮影装置２ａの内部パラメータ（例えば、焦点距離）や外部パラメータ（例えば、位置関係）を用いて対応点の三次元座標を決定して投影面の形状を作成し、その投影面の形状を出力して、このステップ処理を終了する（Ｓ１３）。

なお、前記の対応点の組は、例えば、投影装置１によりコードパターン画像（例えば、２進コードパターン画像や２進グレイコード化パターン画像）を投影し、このパターン画像を第１撮像装置（例えば、撮像装置２ａ）で撮影した画像群に空間コーディング法を適用し処理することによって取得できる。

ここで、前記の空間コーディング法を図４に基づいて以下に説明する。

まず、図４に示すような２進コードパターン画像（以下、単にパターン画像という）Ｐ１〜Ｐ３を投影装置１（例えば、プロジェクタ）によりスクリーン１００の全面に投影出力する。例えば、パターン画像は、２色の色によって縞模様に着色された画像である。また、パターン画像には、各々の色に２進法で表された数値が意味付けられる。

次に、第１撮像装置（例えば、撮像装置２ａ）が、パターン画像Ｐ１〜Ｐ３が投影されたスクリーン１００全体を各々撮像し、パターン撮像画像ＰＰ１〜ＰＰ３として記録装置へ保存する。なお、前記の記録装置は、図４中では図示省略されている。

次に、前記パターン撮像画像ＰＰ１〜ＰＰ３の全てに対し、前記パターン画像Ｐ１〜Ｐ３で使用されている２色の色による二値化を行なう。

次に、前記の二値化された複数の画像（即ち、二値化パターン撮像画像ＰＰ１´〜ＰＰ３´）をパターン画像Ｐ１〜Ｐ３を撮像順序に並べて（或いは、重ねて）、図４中の空間コード画像ＣＰを生成する。

次に、生成された空間コード画像ＣＰから前記のパターン撮像画像ＰＰ１〜ＰＰ３の各画素における２進コードＣＤ１を復元する。

そして、縦縞横縞両方向の２進コードＣＤ１（即ち、図４中の２進コードＣＤ２）が復元できるため、図４中のパターン画像Ｐ１〜Ｐ３の全要素とパターン撮像画像ＰＰ１〜ＰＰ３の全画素の対応付けが可能である。

以上のように第１実施形態では、例えば、観察位置追従式映像提示装置に備えられたパターン埋め込み部で、対応付け用パターン画像（例えば、図４中の２進コードパターン画像や２進グレイコード化パターン画像）を埋め込み、パターン検出部で対応付け用パターン画像から検出したパターン情報に基づき、前記の空間コーディング法を用いて対応点の組を決定できる。

次に、映像補正部７が起動される。映像補正部７は起動された後、観察点，投影画像，投影面の三次元形状に基づいて投影画像に対して補正を行なう（非特許文献１参照）。補正された画像を出力して、このステップ処理を終了する（Ｓ１４）。

［第２実施形態］
第２実施形態における観察位置追従式映像提示装置を図５乃至図７に基づいて以下に説明する。なお、図５は、第２実施形態における観察位置追従式映像提示装置の構成の概略図である。図６は、第２実施形態における観察位置追従式映像提示装置の処理フローチャートである。また、以下の説明で図１乃至図２中の符号と同じものの説明は省略する。

図５中の観察位置追従式映像提示装置は、図１中の投影装置１，撮像装置群２，投影画像管理部３，映像入力部４，観察点検出部５，投影面形状計測部６，映像補正部７に加え、図５中の校正部８を具備する。

なお、校正部８は、投影装置１や撮像装置群２の外部パラメータ（例えば、各装置間の位置関係，各装置の角度関係を表すパラメータ）を算出する部である。校正部８は、観察位置追従式映像提示装置本体５０に含まれる。以下の説明において、観察位置追従式映像提示装置本体５０を構成する部は、手段と見做しても良い。

第２実施形態における観察位置追従式映像提示装置で処理される手順を図６に基づいて以下に説明する。なお、以下の説明において、校正部８以外の構成に関する処理は、図１及び図２中の観察位置追従式映像提示装置の処理となんら変わるところがないので、ここでの詳細な説明を省略する。

まず、校正部８が起動され、その校正部８が投影装置１や撮像装置群２の各装置間の位置関係を表す外部パラメータを算出及び出力する（Ｓ２１）。

次に、映像入力部４が起動され、投影画像管理部３から投影画像を受信する（Ｓ２２）。

次に、観察点検出部５が起動され、撮像画像と前記算出した外部パラメータを用いて観察点の三次元位置を求め、出力する（Ｓ２３）。

次に、投影面形状計測部６が起動され、撮像画像と前記算出した外部パラメータを用いて投影面の三次元形状を算出し、出力する（Ｓ２４）。

次に、映像補正部７が起動され、投影画像、投影面の三次元形状を用いて投影画像に対して補正を行ない出力する（Ｓ２５）。

そして、投影画像管理部３に格納されている所定の投影画像数分に対してステップＳ２３〜Ｓ２５の処理を行ったか否かをチェックする（Ｓ２６）。所定の投影画像数分にステップＳ２３〜Ｓ２５の処理を行った場合は、終了する。所定の投影画像数分にステップＳ２３〜Ｓ２５の処理を行っていない場合は、ステップＳ２２に戻る。

ここで、校正部８で行われる処理を図７に基づいて詳細に説明する。

校正部８は起動された後、先の構成の投影面形状測定部６と同様に、対応付け用パターン情報を投影装置１によって出力した結果を撮像装置群２によって撮像し、全ての撮像装置（即ち、撮像装置群２）によって撮像された画像を受信する（Ｓ３１）。

次に、パターン撮像画像から投影装置１と撮像装置群２間の対応点の組を決定する（Ｓ３２）。

次に、その対応点の組から投影装置１に対する各撮像装置２ａ〜２ｃの外部パラメータを算出する（Ｓ３３）。その外部パラメータの算出は、例えば、対応点の組から直接求める方法（例えば、非特許文献２参照）で算出しても良いし、または、対応点の組から投影面中の平面領域を決定し（例えば、非特許文献３参照）、該平面領域の平面射影変換行列を用いて外部パラメータを算出しても良い。

以上の処理によって得られる外部パラメータの並進成分は、縮尺情報が縮退している。即ち、真の並進成分を（Ｘ，Ｙ，Ｚ）とすると算出される並進成分は（ｓＸ，ｓＹ，ｓＺ）と見做される。なお、前記のｓは、スケールファクタと呼ばれ、算出した外部パラメータごとに異なる数値である。

この縮退のため、算出した各外部パラメータで表現される三次元空間は異なる縮尺を有すことになる。さらに、観察点検出部５で検出される観察点の三次元位置が投影面形状計測部６で計測される投影面の三次元形状の縮尺と異なることになるため、映像補正部７において幾何歪みを補正した補正画像を正確に生成できない。

そこで、同一の縮尺情報を持たせるために、各外部パラメータのスケールファクタを調整する。校正部８では、引き続き以下のスケールファクタ調整の処理を行う。

まず、複数の撮像装置（例えば、撮像装置２ａ〜２ｃ）のうち特定の１つの撮像装置（例えば、撮像装置２ａ）を基準撮像装置として選択し、該装置で取得した撮像画像を基準画像とし、該基準画像上で特定の２点を基準点として選択し、その２点間の三次元距離を算出済みの基準撮像装置と投影装置間の外部パラメータを用いて基準距離を算出する（Ｓ３４）。

次に、基準撮像装置以外の撮像装置（例えば、撮像装置２ｂや２ｃ）を参照撮像装置として選択し、該装置で各々撮像した画像を参照撮像画像とし、該画像上で基準点に対応する２点を決定し、２点間の三次元距離を算出済みの各参照撮像装置と投影装置間の外部パラメータを用いて算出し、参照距離とする（Ｓ３５）。

なお、各参照画像上で基準点に対応する２点は、例えば、撮像装置が３台（例えば、撮像装置２ａ〜２ｃ）備えられており、投影装置１に対する各撮像装置２ａ〜２ｃの対応点が図８中の対応点表Ｔ１に示すように求まっており、基準撮像装置が撮像装置２ａと選択され、基準点として（１０，２０）と（５００，４００）が選択されている場合、参照画像である撮像装置２ｂの撮像画像上で基準点に対応する点は（３０，５０）と（２００，１００）、撮像装置２ｃの撮像画像上で基準点に対応する点は（１００，１２０）と（４００，３００）として容易に求まる。

また、上述の画像上で基準点に対応する２点を選択するときに、精度を向上させるため、全ての画像上の２点間距離が長くなる組み合わせを選択しても良いし、対応付けの信頼度に応じて選択しても良い。

次に、算出した基準距離と参照距離を用いて投影装置１に対する各撮像装置２ａ〜２ｃの外部パラメータを再算出、更新して出力する（Ｓ３６）。なお、前記の外部パラメータの再算出の方法は、基準距離と参照距離の比を算出し、その基準距離と参照距離の比を参照撮像装置と投影装置１間の外部パラメータの並進成分に乗算する方法である。

即ち、上述のように、撮像装置３台（例えば、撮像装置２ａ〜２ｃ）が備えられており、例えば基準距離が１００、参照距離が２００、３００である場合に、基準撮像装置（例えば、撮像装置２ａ）と投影装置１間の外部パラメータで表現される空間の縮尺に参照撮像装置の縮尺を合わせるためには、第１参照撮像装置（例えば、撮像装置２ｂ）と投影装置１間の外部パラメータの並進成分に１／２を、第２参照撮像装置（例えば、撮像装置２ｃ）と投影装置１間の外部パラメータの並進成分に１／３を乗算すればよい。そして、校正部８は外部パラメータを出力し、処理を終える。

なお、第１及び第２実施形態における観察位置追従式映像提示装置で処理される手順の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行することによって、第１及び第２実施形態を実現できる。

以上のように、第１実施形態の装置構成における観察点検出部と投影面形状計測部で外部パラメータを手動入力していた。しかし、第２実施形態では校正部を設けることによって、ユーザに外部パラメータ入力に関する煩雑な操作を強いることを回避できる。

また、撮像装置から出力される画像のみから、観察者の観察点の位置と投影面の形状を計測できるため、低価格での装置構成が実現でき、かつ、装置全体の軽量化できる。

さらに、投影装置と各撮像装置間の位置や回転の関係を表す同一の縮尺に統一された外部パラメータを対応点情報から自動で算出するため、全装置のキャリブレーションに関する煩雑な処理が不要となる。

以上、本発明において、記載された具体例に対してのみ詳細に説明したが、本発明の技術思想の範囲で多彩な変形および修正が可能であることは、当業者にとって明白なことであり、このような変形および修正が特許請求の範囲に属することは当然のことである。

例えば、第１及び第２実施形態における構成の変形として、投影画像管理部で使用される記録媒体に、高速かつ大容量の不揮発性メモリを使用しても良い。

第１実施形態における構成図。 第１実施形態における処理フローチャート。 第１実施形態における人物頭部形状三次元モデルに基づく観測点計算方法の概略図。 第１実施形態における空間コーディング法に関する概略図。 第２実施形態における構成図。 第２実施形態における処理フローチャート。 第２実施形態における校正部処理フローチャート。 第２実施形態における対応点表。 第１及び第２実施形態における基本構成図。

符号の説明

１…投影装置
２…撮像装置群
２ａ，２ｂ，２ｃ…撮像装置
３…投影画像管理部
４…映像入力部
５…観察点検出部
６…投影面形状計測部
７…映像補正部
８…校正部
２０…観察者
２０ａ…観察者の頭部領域
５０…観察位置追従式映像提示装置本体
１００…スクリーン
１０１…非平面スクリーン
ＣＤ１…パターン画像中に表現された２進コード
ＣＤ２…復元された２進コード
ＣＰ…空間コード画像
Ｐ１〜Ｐ３…パターン画像
ＰＰ１〜ＰＰ３…パターン撮像画像
Ｑ…円
Ｑ１…円の直径
Ｑ２…円の中心
Ｔ１…対応点表

Claims (8)

1. 三次元空間内に存在する投影面に対して映像を投影出力する投影装置と、
   投影面のみを撮像範囲に収めて撮像する第１撮像装置と、
   該投影装置によって投影出力された投影画像を観察する観察者と投影面を、撮像範囲内に映す位置に設置された１台以上の第２撮像装置と、を備え、
   該投影装置に入力される投影画像と、第１撮像装置から入力される第１撮像画像と、第２撮像装置から入力される第２撮像画像と、に基づいて、該投影面上に表示される投影画像の幾何学歪みを補正する観察位置追従式映像提示装置であって、
   前記第１撮像装置によって撮像された撮像画像上で任意の２点を基準点とし、その２点の三次元距離を基準距離として算出し、第２撮像装置によって撮像された撮像画像上で基準点に対応する２点を決定して夫々の三次元距離を算出し、算出した夫々の三次元距離と基準距離を用い、前記投影装置に対する第１撮像装置および第２撮像装置の位置関係を表すパラメータを求める校正手段と、
   前記投影画像を前記投影装置に入力する映像入力手段と、
   前記観察者が投影された投影画像を観察する位置を観察点と見做し、その観察点を前記第２撮像画像と前記投影装置に対する第１撮像装置および第２撮像装置の位置関係を示すパラメータとから検出する観察点検出手段と、
   前記投影装置によって前記投影面に投影出力される対応付け用パターンと第１撮像装置の撮影画像上の画素との対応点と、予め与えられた投影装置の焦点距離を表すパラメータと、予め与えられた第１撮像装置の焦点距離を表すパラメータと、を用いて前記投影面の三次元形状を測定する投影面形状計測手段と、
   その観察点と測定された投影面の三次元形状を用いて、その投影画像に対して幾何変換を施し補正映像を生成する映像補正手段と、
   を備えることを特徴とする観察位置追従式映像提示装置。
2. 前記観察点検出手段が、
   複数の第２撮像装置で取得した撮像画像中から楕円領域を各々抽出し、
   複数の第２撮像装置間におけるステレオ視の原理に基づいて、その楕円領域の三次元位置を求め、その楕円領域の中心座標の三次元位置を観察点と見做す、
   ことを特徴とする請求項１記載の観察位置追従式映像提示装置。
3. 前記観察点検出手段が、
   単数の第２撮像装置で取得した撮像画像中から楕円領域を抽出し、
   該楕円領域の三次元位置を、予め入力しておいた実空間における楕円体の大きさと抽出した画像上における楕円領域の大きさを射影することによって、観測点を求める、
   ことを特徴とする請求項１記載の観察位置追従式映像提示装置。
4. コンピュータに、
   三次元空間内に存在する投影面に対して映像を投影出力する投影装置と、
   投影面のみを撮像範囲に収めて撮像する第１撮像装置と、
   該投影装置によって投影出力された投影画像を観察する観察者と投影面を、撮像範囲内に映す位置に設置された１台以上の第２撮像装置と、を制御させ、
   該投影装置に入力される投影画像と、第１撮像装置から入力される第１撮像画像と、第２撮像装置から入力される第２撮像画像と、に基づいて、該投影面上に表示される投影画像の幾何学歪みを補正させる観察位置追従式映像提示プログラムであって、
   前記第１撮像装置によって撮像された撮像画像上で任意の２点を基準点とし、その２点の三次元距離を基準距離として算出し、第２撮像装置によって撮像された撮像画像上で基準点に対応する２点を決定して夫々の三次元距離を算出し、算出した夫々の三次元距離と基準距離を用い、前記投影装置に対する第１撮像装置および第２撮像装置の位置関係を表すパラメータを求める校正ステップと、
   前記投影画像を前記投影装置に入力する映像入力ステップと、
   前記観察者が投影された投影画像を観察する位置を観察点と見做し、その観察点を前記第２撮像画像と前記投影装置に対する第１撮像装置および第２撮像装置の位置関係を示すパラメータとから検出する観察点検出ステップと、
   前記投影装置によって前記投影面に投影出力される対応付け用パターンと第１撮像装置の撮影画像上の画素との対応点と、予め与えられた投影装置の焦点距離を表すパラメータと、予め与えられた第１撮像装置の焦点距離を表すパラメータと、を用いて前記投影面の三次元形状を測定する投影面形状計測ステップと、
   その観察点と測定された投影面の三次元形状を用いて、その投影画像に対して幾何変換を施し補正映像を生成する映像補正ステップと、
   を実行させることを特徴とする観察位置追従式映像提示プログラム。
5. 前記観察点検出ステップにおいて、
   複数の第２撮像装置で取得した撮像画像中から楕円領域を各々抽出し、
   複数の第２撮像装置間におけるステレオ視の原理に基づいて、その楕円領域の三次元位置を求め、その楕円領域の中心座標の三次元位置を観察点と見做すステップ、
   を実行させることを特徴とする請求項４記載の観察位置追従式映像提示プログラム。
6. 前記観察点検出ステップにおいて、
   単数の第２撮像装置で取得した撮像画像中から楕円領域を抽出し、
   該楕円領域の三次元位置を、予め入力しておいた実空間における楕円体の大きさと抽出した画像上における楕円領域の大きさを射影することによって、観測点を求めるステップ、
   を実行させることを特徴とする請求項４記載の観察位置追従式映像提示プログラム。
7. 三次元空間内に存在する投影面に対して映像を投影出力する投影装置と、
   投影面を撮像範囲に収めて撮像する複数の撮像装置を備えた映像提示装置であって、
   前記投影装置によって投影面に投影出力される対応付け用パターンと、この対応付け用パターンを撮像した撮像画像を前記撮像装置から入力し、
   その撮像装置から出力された撮像画像上で対応点を決定し、
   その対応点に関する情報から投影装置に対する撮像装置の位置関係を表すパラメータを算出し、
   その撮像装置の中から１つの基準撮像装置を選択し、該基準撮像装置によって撮像された撮像画像上で任意の２点を基準点として選択し、その２点の基準点間の三次元距離を基準距離と見做して算出し、
   その基準撮像装置以外の撮像装置を参照撮像装置と見做し、その参照撮像装置によって撮像された撮像画像上で基準点に対応する２点を決定して夫々の三次元距離を算出し、
   算出した夫々の三次元距離と基準距離を用い、撮像装置の位置関係を表すパラメータを同一縮尺に統一した位置関係を表すパラメータに決定する校正手段を備える、
   ことを特徴とする映像提示装置。
8. 三次元空間内に存在する投影面に対して映像を投影出力する投影装置と、
   投影面を撮像範囲に収めて撮像する複数の撮像装置を制御させる映像提示プログラムであって、
   前記投影装置によって投影面に投影出力される対応付け用パターンと、この対応付け用パターンを撮像した撮像画像を前記撮像装置から入力し、
   その撮像装置から出力された撮像画像上で対応点を決定し、
   その対応点に関する情報から投影装置に対する撮像装置の位置関係を表すパラメータを算出し、
   その撮像装置の中から１つの基準撮像装置を選択し、該基準撮像装置によって撮像された撮像画像上で任意の２点を基準点として選択し、その２点の基準点間の三次元距離を基準距離と見做して算出し、
   その基準撮像装置以外の撮像装置を参照撮像装置と見做し、その参照撮像装置によって撮像された撮像画像上で基準点に対応する２点を決定して夫々の三次元距離を算出し、
   算出した夫々の三次元距離と基準距離を用い、撮像装置の位置関係を表すパラメータを同一縮尺に統一した位置関係を表すパラメータに決定する校正手段を備える、
   ことを特徴とする映像提示プログラム。