JP6318576B2

JP6318576B2 - 画像投影システム、画像処理装置、画像投影方法およびプログラム

Info

Publication number: JP6318576B2
Application number: JP2013241565A
Authority: JP
Inventors: 惟高緒方; 信一住吉
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2013-11-22
Filing date: 2013-11-22
Publication date: 2018-05-09
Anticipated expiration: 2033-11-22
Also published as: JP2015103891A

Description

本発明は、画像投影システム、画像処理装置、画像投影方法およびプログラムに関する。本発明は、より詳細には、投影対象物が提供する投影面に画像を投影するための画像投影システム、画像処理装置、画像投影方法およびプログラムに関する。

従来、デジタルサイネージなどの用途では、種々の形状の平面スクリーンや、立体物の表面上に画像を投影させたいという要望がある。近年、このような要望に応えるべく、プロジェクタなどの投影装置の出力画像を、投影対象物の表面形状に適応させて投影する技術が開発されている。

また、近年、マイクロソフト社よりＫｉｎｅｃｔセンサおよびＫｉｎｅｃｔｆｏｒＷｉｎｄｏｗｓＳＤＫ（ＫｉｎｅｃｔおよびＷｉｎｄｏｗｓは、登録商標である。）が公開され、Ｋｉｎｅｃｔ（登録商標）センサのような３次元計測装置を利用したアプリケーションの開発が活発になっている。例えば、３次元計測装置で撮像された画像を処理し、プロジェクタなどの投影装置を通じて投影するアプリケーションが開発されている。

３次元計測装置とプロジェクタとを組み合わせて、物体上に投影する技術として、R.Sodhi等による”Kinect-Projector Calibration”（非特許文献１）が知られている。上記非特許文献１の従来技術では、物理的なチェスボードを用いて、Ｋｉｎｅｃｔ（登録商標）とプロジェクタとのキャリブレーションを行い、３次元物体上に色などを投影している。

上述したように、３次元計測装置と投影装置とを組み合わせて、物体上に画像を投影する技術が知られている。しかしながら、従来技術の画像投影技術は、３次元計測されたデータに色付けして投影するというものであり、３次元計測される投影面の形状に含まれるノイズに起因して、投影像の画質の点で不充分であった。

本発明は、上記従来技術における不充分な点に鑑みてなされたものであり、本発明は、３次元形状を有する投影対象物上に高品質に画像を投影することができる画像投影システム、画像処理装置、画像投影方法およびプログラムを提供することを目的とする。

本発明は、上記課題を解決するために、下記特徴を有する画像投影システムを提供する。本画像投影システムは、
３次元計測手段の座標系と、投影手段の座標系とを対応付ける校正パラメータを計算する校正処理手段と、
上記３次元計測手段により計測された投影対象物の少なくとも一部を含む３次元データを取得する取得手段と、
上記３次元データに３次元形状モデルを当てはめて、投影対象物を表す投影体モデルを計算するモデル計算手段と、
投影する画像および前記校正パラメータに基づき、計算された投影体モデルを用いて投影画像を生成する生成手段と、
上記投影画像を出力する投影手段と
を含む。

上記構成により、３次元形状を有する投影対象物上に高品質に画像を投影することができるようになる。

本実施形態によるプロジェクション・システムの概略構成図。本実施形態によるプロジェクション・システムを構成する制御装置の機能ブロック図。本実施形態による制御装置が実行する、投影装置および３次元計測装置間の校正処理を示すフローチャート。本実施形態による校正処理で計算される校正パラメータ（透視投影行列Ｐ）を説明する図。本実施形態による校正処理で用いられる他の校正用画像を例示する図。本実施形態による投影処理部周辺の詳細な機能ブロック図。本実施形態による投影処理を示すフローチャート。本実施形態による投影処理で行われる投影対象物の３次元計測処理および投影体モデルのフィッティング処理を説明する図。本実施形態による投影処理で行われる、投影体モデルから投影画像へ変換する透視投影変換を説明する図。他の実施形態による投影処理を示すフローチャート。本実施形態による追従型の投影処理を示すフローチャート。本実施形態によるプロジェクション・システムにおいて、第１円筒スクリーンから第２円筒スクリーンに投影対象を切り替える様子を説明する図。（Ａ，Ｂ）特定の視点から、および（Ｃ，Ｄ）投影対象物表面の各局所平面の法線方向から見て、歪みのない投影を模式的に説明する図。本実施形態による制御装置のハードウェア構成図。

以下、本実施形態について説明するが、実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、画像投影システムおよび画像処理装置として、投影装置と、３次元計測装置と、制御装置とを含み構成される円筒投影システムおよび該制御装置を一例として参照して説明する。

以下、図１〜図１４を参照しながら、本実施形態による円筒投影システム１００について説明する。

（全体構成）
図１は、本実施形態による円筒投影システム１００の概略構成を示す。本実施形態による円筒投影システム１００は、本システムの全体制御を行う制御装置１１０と、記憶装置１１２と、投影装置１１４と、３次元計測装置１１６とを含む。

投影装置１１４は、制御装置１１０から当該投影装置１１４に入力された画像を投影対象物の投影面へ向けて投影する投影手段である。投影装置１１４は、特に限定されるものではないが、液晶方式、ＣＲＴ（Cathode Ray Tube）方式、ＤＬＰ（Digital Light Processing）方式、ＬＣＯＳ（Liquid Crystal On Silicon）方式などの投影方式のプロジェクなどとして構成される。

３次元計測装置１１６は、所定の視点から被写体の像を撮像するとともに深度を計測し、制御装置１１０に輝度画像（輝度値の２次元配列）およびデプス画像（深度値の２次元配列）を出力するよう構成されている。３次元計測装置１１６は、特に限定されるものではないが、ステレオカメラ、赤外線深度センサを備えたカメラなどとして構成される。説明する実施形態では、３次元計測装置１１６は、投影装置１１４とは別個の装置として投影装置１１４に治具で固定して設けられており、投影装置１１４が投影する投影像が視野に入るように、カメラ視点および視野が設定されている。

図１に示す円筒投影システム１００においては、投影面１２２を提供する投影対象物１２０が設置されており、説明する実施形態では、投影対象物１２０は、側面が投影面となる円筒形状を有した円筒スクリーン（円筒ないし円柱である。）を構成している。投影装置１１４は、自身に入力された画像を投影対象物１２０の投影面１２２上に投影する。

記憶装置１１２は、種々のデータを記憶する装置であり、円筒スクリーンに投影しようとしているコンテンツ画像、投影装置から出力する投影画像、後述する処理で用いられる種々の中間データを記憶する。

制御装置１１０は、上記３次元計測装置１１６により投影対象物の３次元形状を認識し、記憶装置１１２からコンテンツ画像を読み出して、認識された形状に応じた投影画像を生成し、投影装置１１４に対し画像の投影を行わせる。制御装置１１０は、汎用コンピュータとして実装されてもよいし、専用コントローラとして実装されてもよいし、投影装置１１４または３次元計測装置１１６に組み込まれてもよい。

また、説明する実施形態では、制御装置１１０および投影装置１１４間は、ＨＤＭＩ（High-Definition Multimedia Interface，登録商標）やＤＶＩ（Digital Visual Interface）などのディスプレイ接続で接続され、制御装置１１０および３次元計測装置１１６間は、ＵＳＢなどのデバイス接続で接続されているものとする。しかしながら、円筒投影システム１００の実装方法は、特に限定されるものではない。他の実施形態では、投影装置１１４および３次元計測装置１１６がユーザ側ロケーションに設置され、リモートロケーションに設置された制御装置１１０と、インターネットやＬＡＮ（ローカル・エリア・ネットワーク）などのネットワークを介して接続される形態であってもよい。つまり、制御装置１１０、記憶装置１１２、投影装置１１４および３次元計測装置１１６は、いかなる組み合わせで、一体的に、または個別の装置として分離して実装されてもよい。

本実施形態による制御装置１１０は、所望のコンテンツ画像を投影する前に、投影装置１１４と３次元計測装置１１６との間の関係を規定するための校正処理を実施する。校正処理では、壁Ｗなどの任意の物体（投影対象物１２０であっても、他の物体であってもよい。）に対し、投影装置１１４から校正用の画像を投影する。そして、投影された像を３次元計測装置１１６により撮像・計測を行うことによって、校正パラメータが計算される。

図２は、本実施形態による円筒投影システム１００を構成する制御装置１１０の機能ブロック図である。図２に示す制御装置１１０の制御部２００は、事前実施される校正処理を担当する校正処理部２１０と、校正後のコンテンツ画像の投影処理を担当する投影処理部２３０とを含み構成される。以下、本実施形態による事前実施される校正処理および校正後に行われる投影処理について、分けて説明する。

（校正処理）
以下、図２〜図５を参照しながら、まず校正処理について説明する。校正処理部２１０は、３次元計測装置１１６の座標系と、投影装置１１４の座標系とを対応付ける校正パラメータを計算する校正処理を実行する。校正処理部２１０は、より詳細には、校正用３次元データ取得部２１２と、校正パラメータ算出部２１４と、校正用画像出力部２１６とを含み構成される。

校正用画像出力部２１６は、投影装置１１４に対し、校正パターンを含む校正用画像を出力する出力手段である。本実施形態において、「校正パターン」とは、図形要素が所定の規則で配置されてなす、校正処理で用いられる模様をいう。また、校正処理のため、１つの校正用画像が用いられてもよく、複数の異なる校正用画像が段階的に用いられてもよい。なお、校正パターンを投影するために投影装置１１４に出力する画像を校正用画像と参照し、投影装置１１４から校正用画像を投影した場合に、壁Ｗやスクリーンなどの他の物体に投影される像を校正用投影像と参照する。

校正パターンとしては、種々の形態が考えられるが、以下では、互いにコントラストを有する２色（例えば白および黒）の正方形マスが水平および垂直方向に交互に配列されたチェックパターン（市松模様）を用いて説明する。なお、コントラストを有するとは、２種の正方形マスが区別できるような特徴の差を有することをいい、撮像された画像において明るさの差を有することの他、画像において色の所定成分（色相、彩度、明度、赤、青、緑など種々の色空間の成分を挙げることができる。）において差を有することも含まれる。

校正用３次元データ取得部２１２は、投影装置１１４から投影された校正用投影像を撮像および計測したデータを３次元計測装置１１６から受信し、投影された校正パターンにおける複数の校正点の３次元座標値を計算する。説明する実施形態では、校正用画像としてチェックパターンが投影されるので、正方形マスの頂点がなす格子点が校正点として抽出され、その３次元座標値が計算される。

校正パラメータ算出部２１４は、計測された複数の校正点各々の３次元座標値と、これらの点に対応する校正用画像における複数の対応点各々の画像座標値とに基づき、３次元計測装置１１６の３次元座標系から投影装置１１４の２次元座標系へ幾何変換するための校正パラメータを計算する。校正用画像の座標系におけるチェックパターンの各格子点の位置関係が既知であるため、３次元計測装置１１６で検出された複数の校正点の位置関係から、対応する対応点が容易に求められ、その画像座標系における座標値も既知となる。

図３は、本実施形態による制御装置１１０が実行する、３次元計測装置１１６および投影装置１１４間の校正処理を示すフローチャートである。図３に示す校正処理は、制御装置１１０が起動したことに応答して、あるいは、ユーザからの明示的な校正指示が行われたことに応答して、ステップＳ１００から開始される。

ステップＳ１０１では、校正用画像出力部２１６は、投影装置１１４に校正用画像を投影させる。ステップＳ１０２では、校正用３次元データ取得部２１２は、３次元計測装置１１６に、壁Ｗなどに投影された校正用投影像を撮像および計測させて、撮影された輝度画像および計測されたデプス画像を受信する。ステップＳ１０３では、校正用３次元データ取得部２１２は、上記輝度画像（ＲＢＧやグレースケール）から校正パターンの校正点（格子点）を検出し、該校正点に対応するデプス画像の深度値を検出し、校正点深度データを生成する。校正点深度データは、ｘ座標値（ｐｉｘｅｌ単位）、ｙ座標値（ｐｉｘｅｌ単位）および深度値ｄ（ｍｍ単位）の組の点群データである。なお、ここでは、輝度画像におけるｘｙ座標とデプス画像におけるｘｙ座標系とは、直接または間接的に対応付けられているものとする。

ステップＳ１０４では、校正用３次元データ取得部２１２は、校正点深度データを３次元実空間座標系へ変換し、Ｘ、ＹおよびＺの実空間座標値（ｍｍ単位）の組の校正点３次元データを生成する。デプス画像の座標系（ｘ，ｙ，ｄ）から実空間座標系（Ｘ，Ｙ，Ｚ）への変換は、ｘ，ｙ座標値と深度値ｄとに基づいて、既存の手法により換算可能である。

ステップＳ１０５では、校正パラメータ算出部２１４は、計測された校正点ｓ（ｓは、校正点および対応点のペアを識別する。）の３次元座標値（Ｘ_Ｓ，Ｙ_Ｓ，Ｚ_Ｓ）と、校正用画像における既知の対応点の２次元画像座標値（ｕ_Ｓ，ｖ_Ｓ）とに基づいて、校正パラメータを計算する。ここで計算される校正パラメータは、３次元計測装置１１６の３次元座標系から、投影装置１１４の２次元座標系へ透視投影する透視投影行列Ｐの係数（ｐ_１１〜ｐ_３３）である。

図４は、本実施形態による校正処理で計算される校正パラメータ（透視投影行列Ｐ）を説明する図である。図４に示すように、透視投影行列Ｐは、３次元計測装置１１６の計測に基づく実空間座標系（Ｘ，Ｙ，Ｚ）における３次元対象物（３次元面に投影された投影像）を、投影装置１１４の画像座標系（ｕ，ｖ）における２次元画像として投影する関係を規定する。

本実施形態による校正処理では、透視投影行列Ｐの係数（ｐ_１１〜ｐ_３３）を未知数として、充分な数のペアの校正点（Ｘ_Ｓ，Ｙ_Ｓ，Ｚ_Ｓ）およびその対応点（ｕ_Ｓ，ｖ_Ｓ）を用いて、最も誤差が小さくなる係数（ｐ_１１〜ｐ_３３）を求めるという、線形最小二乗問題を解く。複数の校正点（Ｘ_Ｓ，Ｙ_Ｓ，Ｚ_Ｓ）および対応点（ｕ_Ｓ，ｖ_Ｓ）の組が与えられると、ペア毎に２つの関係式が生成され、複数ペアについて生成された関係式を行列形式で表現すると、下記式（１）のようになる。

上記式（１）を、下記式（２）のように、行列Ｂと、透視投影行列Ｐの未知係数の列ベクトルｐ＝（ｐ_１１，ｐ_１２，ｐ_１３，ｐ_１４，ｐ_２１，ｐ_２２，ｐ_２３，ｐ_２４，ｐ_３１，ｐ_３２，ｐ_３３）^Ｔと、対応点の２次元座標値の列ベクトルｑ＝（ｕ_１，ｖ_１，ｕ_２，ｖ_２，・・・）^Ｔとを用いて表すと、校正パラメータの最小二乗解（ｐ_１１〜ｐ_３３）は、下記式（３）の通りとなる。下記式（３）において、（Ｂ^ＴＢ）^−１Ｂ^Ｔは、擬似逆行列に対応する。したがって、擬似逆行列（Ｂ^ＴＢ）^−１Ｂ^Ｔを計算することによって、最小二乗解（ｐ_１１〜ｐ_３３）を数値的に求めることができる。なお、線形最小二乗問題の解法としては、ＱＲ分解法、特異値分解法などを用いてもよく、特に限定されるものではない。

再び図３を参照すると、ステップＳ１０６では、校正パラメータ算出部２１４は、計算された校正パラメータを、投影処理部２３０が備える校正パラメータ記憶部２３２に記憶し、ステップＳ１０７で、後続する投影処理に進める。

なお、説明する実施形態では、チェックパターンを用いて校正処理を行うものとして説明したが、校正パターンは、特に限定されるものではない。図５は、本実施形態による校正処理で用いられる他の校正用画像を例示する。他の校正パターンの例では、背景に対してコントラストを有する円形状を２次元に配列した水玉模様（図５（Ａ））、互いにコントラストを有する２色のストライプが水平または垂直方向に交互に配列された複数の空間コードなどを挙げることができる。空間コードとしては、図５（Ｂ）に示すような２進コードであってもよいし、隣接する空間コードのハミング距離が常に１となるように構成されたグレイコードを用いてもよい。

水玉模様を用いる場合は、格子上に並べられた円形状の中心を校正点として検出すればよい。空間コードを用いる場合は、輝度画像中の任意の点を校正点として、各段階で投影される校正パターン（空間コード）による画素の輝度値の変化を観測することによって、対応点の画像座標系の座標値を復元することができる。

（投影処理）
上述した校正処理が完了すると、ユーザは、投影装置１１４の前に投影面１２２を与える円筒スクリーン（投影対象物）１２０を設置し、円筒スクリーン上に画像を投影できるようになる。以下、図６〜図１３を参照しながら、投影処理について説明する。

図２に示した投影処理部２３０は、校正処理部２１０で計算された校正パラメータに基づき、投影するためのコンテンツ画像から、投影装置１１４に出力するための投影画像を生成する投影処理を実行する。図６は、本実施形態による投影処理部２３０周辺の詳細な機能ブロックを示す。図６に示すように、投影処理部２３０は、より詳細には、校正パラメータ記憶部２３２と、投影対象物３次元データ取得部２３４と、投影体モデルフィッティング計算部２３６と、投影体モデルパラメータ記憶部２３８と、投影画像生成部２４０とを含み構成される。

投影対象物３次元データ取得部２３４は、３次元計測装置１１６から計測されたデータを受信し、少なくとも投影対象物の一部を含む３次元データを計算する。３次元計測装置１１６から提供されるデプス画像には、３次元計測装置１１６の視野に入る全体の３次元情報が含まれている。後述するモデルフィッティングの前処理として、近すぎるデータ（閾値より近い）、遠すぎるデータ（閾値より遠い）、大きなクラスタから離れた微小な点群などの除去を事前に行ってもよい。

投影体モデルフィッティング計算部２３６は、上記取得された３次元データに対し所定の３次元形状モデルを当てはめて、投影対象物を表す投影体モデルを計算する。より具体的には、３次元データに含まれる３次元点群とマッチする３次元形状モデルのモデルパラメータが計算される。ここで、３次元形状モデルは、説明する実施形態では、円筒モデルを用いることができ、モデルフィッティング計算では、円筒モデルの位置、大きさおよび姿勢を含む複数のパラメータのうちの少なくとも１つのパラメータを不定として、誤差が最小となる最も確からしいパラメータまたはパラメータの組み合わせが推定される。特定の実施形態では、円筒モデルの位置、大きさおよび姿勢のすべてのパラメータを計算により推定してもよいが、特に限定されるものではない。例えば、設置する円筒スクリーン１２０の大きさが既知である場合や、３次元計測装置１１６および円筒スクリーン１２０を水平に設置することで姿勢が既知とみなせる場合などは、１または複数のパラメータのユーザからの入力値や既定値を制約条件として、残りのパラメータを不定として算出することもできる。

計算された投影体モデルのパラメータは、投影体モデルパラメータ記憶部２３８に記憶される。事前に準備された３次元形状モデルに対しフィッティングを行うことにより、投影対象物の一部しか計測できない場合や、投影対象物以外の物体が写り込んでしまった場合でも、また、３次元測定にのるノイズが多い場合でも、投影対象物の３次元形状を好適に推定することができる。

なお、説明する実施形態では、事前に円筒スクリーンが用いられることがユーザ指定され、この指定に基づいて円筒モデルが呼び出され、当てはめが行われるものとして説明する。しかしながら、モデルフィッティングの手法は、特に限定されるものではない。他の実施形態では、他の形状の３次元形状モデル（球体、立方体、平面、楕円曲面など、なめらかな表面を有する任意の３次元モデル）を用いてもよく、また、いくつかの異なる３次元形状モデルを事前準備し、複数の３次元形状モデルのうちのもっとも確からしいモデルを決定するようにしてもよい。

投影画像生成部２４０は、投影するコンテンツ画像ＩＭＧ_Ｃおよび校正パラメータＰに基づき、上記モデルパラメータに基づき構築された投影体モデルを用いて、投影画像を生成する処理を行う。投影画像生成部２４０は、より詳細には、投影体モデル構築部２４２と、透視投影変換部２４４とを含み構成される。

投影体モデル構築部２４２は、投影するコンテンツ画像ＩＭＧ_Ｃを張り付けた投影体モデルをコンピュータ内部のＣＧ（コンピュータ・グラフィックス）モデルとして生成する手段である。透視投影変換部２４４は、上記校正パラメータに基づき、コンテンツ画像ＩＭＧ_Ｃが張り付けられた投影体モデルを透視投影して投影画像を生成する。

図７は、本実施形態による制御装置１１０が実行する、投影処理を示すフローチャートである。図７に示す投影処理は、制御装置１１０が校正処理を完了させたことに応答して、あるいは、ユーザからの明示的な投影指示が行われたことに応答して、ステップＳ２００から開始される。

ステップＳ２０１では、投影対象物３次元データ取得部２３４は、３次元計測装置１１６に、投影対象物を計測させて、計測されたデプス画像を受信する。ステップＳ２０２では、投影対象物３次元データ取得部２３４は、デプス画像から、上限値および下限値でデータを取捨し、投影対象物の少なくとも一部を含む点群の座標値および深度値を取得し、投影対象物深度データを生成する。ステップＳ２０３では、投影対象物３次元データ取得部２３４は、投影対処物深度データを３次元実空間座標系へ変換し、Ｘ、ＹおよびＺの実空間座標値（ｍｍ単位）の組の投影対象物３次元データを生成する。

図８（Ａ）は、本実施形態による投影処理で行われる投影対象物の３次元計測処理を説明する図である。図８（Ａ）に示すように、３次元計測装置１１６の３次元座標系（Ｘ，Ｙ，Ｚ）において、投影対象物の３次元点群が求められる。

再び図７を参照すると、ステップＳ２０４では、投影体モデルフィッティング計算部２３６は、投影対象物の３次元点群を所定３次元形状モデルとフィッティングし、得られたモデルパラメータを投影体モデルパラメータ記憶部２３８に記憶する。

図８（Ｂ）は、本実施形態による投影処理で行われる投影対象物の３次元点群と、投影体モデルのフィッティング処理を説明する図である。図８（Ｂ）に示すように、３次元計測装置１１６の３次元座標系において、計測された３次元点群に円筒モデルを当てはめて試行し、最小誤差でマッチする位置、大きさおよび姿勢が推定される。

再び図７を参照すると、ステップＳ２０５では、投影体モデル構築部２４２は、モデルパラメータに基づき、投影体モデルを生成し、この投影体モデルにコンテンツ画像ＩＭＧ_Ｃを張り付けて、画像が張り付けられた投影体モデルを生成する。ステップＳ２０６では、透視投影変換部２４４は、画像ＩＭＧ_Ｃが張り付けられた円筒モデルを、透視投影行列Ｐにより２次元画像系に透視投影し、投影画像に変換する。

図９は、本実施形態による投影処理で行われる、投影体モデルから投影画像へ変換する透視投影変換を説明する図である。図９に示すように、コンテンツ画像ＩＭＧ_Ｃが張り付けられた投影体モデルは、３次元計測装置１１６の３次元実空間座標系上に生成される。説明する実施形態では、モデルパラメータ（位置、大きさおよび姿勢）に基づき構築された円筒体モデルに対し、その外周面にコンテンツ画像ＩＭＧ_Ｃがテクスチャとして適切な位置に張り付けられる。

なお、３次元モデルの表面上でコンテンツ画像ＩＭＧ_Ｃを張り付ける位置およびスケールは、適宜、ユーザ指示に応答して調整することができる。また、他の実施形態では、投影装置１１４の投影像を撮像した輝度画像から、投影装置１１４の投影可能範囲を認識し、適切な張り付け位置およびスケールを計算するように構成してもよい。また、円筒内周面がスクリーンとなる場合は、モデルフィッティング時に、円筒の内面であることが識別され、この場合は、その内周面にコンテンツ画像ＩＭＧ_Ｃがテクスチャとして張り付けられる。

透視投影変換部２４４は、３次元座標系上に構築された画像張り付け済みの投影体モデルを、透視投影行列Ｐを用いて透視投影変換し、投影装置１１４の座標系における投影画像ＩＭＧ_Ｐを生成する。コンテンツ画像の画像座標値は、３次元座標系に対応づけられ、その３次元座標値は、投影画像座標系に対応付けられるので、投影画像の各画素位置の輝度値（Ｒ，Ｇ，Ｂ）がコンテンツ画像から再生される。図９に示すように、投影画像ＩＭＧ_Ｐにおいては、円筒モデルに張り付けられたコンテンツ画像が射影される領域と、それ以外の背景色の領域とが構成される。

再び図７を参照すると、ステップＳ２０７では、投影画像生成部２４０は、生成された投影画像ＩＭＧ_Ｐを投影装置１１４に出力し、投影させる。ステップＳ２０８では、ユーザによる投影終了の明示的な指示が行われたり、動画のフレームが終了したりして、投影が終了したか否かを判定する。ステップＳ２０８で、未だ終了していないと判定された場合（ＮＯ）は、ステップＳ２０９へ処理を分岐させる。

ステップＳ２０９では、投影画像生成部２４０は、コンテンツ画像ＩＭＧ_Ｃを更新し、ステップＳ２０５へ処理をループさせる。コンテンツ画像ＩＭＧ_Ｃは、静止画として与えられてもよいし、動画中の任意のタイミングのフレームとして与えられてもよい。動画中のフレームとして与えられる場合は、次のコマのフレーム画像に更新される。以降、投影終了まで、画像が張り付けられた投影体モデルの構築、透視投影変換および投影画像の出力が繰り返されることになる。

一方、ステップＳ２０８で、終了したと判定された場合（ＹＥＳ）は、ステップＳ２１０へ処理を分岐させ、本投影処理を終了させる。

なお、上述した実施形態では、投影体モデルにコンテンツ画像を張り付け、画像が張り付けられた投影体モデルを透視投影行列により変換し、投影画像を生成するものとして説明した。この順序で行う場合、画像を貼り付けた後、投影体モデルを明示的に透視投影変換せずに、透視投影行列Ｐに対応した視点位置および視野で投影体モデルを観察するように描画処理を行えば、同じ効果を得ることができるという利点がある。つまり、ＯｐｅｎＧＬのようなコンピュータ・グラフィックスのＡＰＩ（Application Programming Interface）を用いる場合、プログラム上は、コンテンツ画像ＩＭＧ_Ｃを円筒オブジェクトに貼り付けた後に描画するだけでよいので、プログラムが簡素化される。また、画像を貼り付ける時点において３次元情報があるため、例えば、立体的な照明効果を生じさせたり、他のＣＧの生成などを行ったり、３次元情報を利用した処理を組み合わせることが可能となるという利点もある。

しかしながら、他の実施形態では、投影体モデルを透視投影行列により変換した後、２次元座標系上の投影体モデルにコンテンツ画像を張り付けて投影画像を生成することもできる。

図１０は、他の実施形態による制御装置１１０が実行する、投影処理を示すフローチャートである。図１０に示すステップＳ３００〜ステップＳ３０４までの処理は、図７に示すステップＳ２００〜ステップＳ２０４までの処理と同様であるので、説明は割愛する。

ステップＳ３０５では、投影画像生成部２４０は、モデルパラメータにより投影体モデルを生成し、この投影体モデルを透視投影行列Ｐにより投影画像座標系上に変換する。ステップＳ３０６では、投影画像生成部２４０は、投影画像座標系上の投影体モデルに対し、コンテンツ画像ＩＭＧ_Ｃを張り付けて、投影画像を生成する。ステップＳ３０７では、投影画像生成部２４０は、生成された投影画像ＩＭＧ_Ｐを投影装置１１４に出力し、投影させる。ステップＳ３０８では、投影が終了したか否かを判定する。ステップＳ３０８で、未だ終了していないと判定された場合（ＮＯ）は、ステップＳ３０９へ処理を分岐させる。

ステップＳ３０９では、投影画像生成部２４０は、コンテンツ画像ＩＭＧ_Ｃを更新し、ここでは、ステップＳ３０６へ処理をループさせる。以降、投影終了まで、２次元座標系上での投影体モデルへのコンテンツ画像の張り付けおよび投影画像の出力が繰り返されることになる。

図１０を参照して説明した他の実施形態では、投影体モデルを投影画像座標系に変換した上で、コンテンツ画像を貼り付けるという、図７を参照して説明した手順とは逆の手順としている。これにより、繰り返し投影時に投影体モデルの変換を省略することができるという利点がある。

（追従型投影処理）
以上説明した投影処理では、校正処理を実施し、一度の投影対象物を認識した後は、投影装置１１４に対する投影対象物１２０の位置関係が固定されている限り、そのまま投影を続けることができる。また、３次元計測装置１１６を取り外すことも可能である。しかしながら、投影対象物１２０が移動されたり、投影装置１１４が移動されたりして、投影装置１１４と投影対象物１２０との位置関係が変化した場合は、それに追従することができない。

以下、投影対象物を随時認識し、投影装置１１４と投影対象物１２０との位置関係の変化に対応できる追従型の投影処理について説明する。

図１１は、本実施形態による制御装置１１０が実行する、追従型の投影処理を示すフローチャートである。図１１に示すステップＳ４００〜ステップＳ４０９までの処理は、図７に示したステップＳ２００〜ステップＳ２０９までの処理と同様であるので、説明は割愛する。図１１に示す追従型の投影処理では、ステップＳ４０９において、投影画像生成部２４０がコンテンツ画像ＩＭＧ_Ｃを更新した後、ステップＳ４０１へ処理をループさせる点で、図７に示した投影処理と異なっている。以降、投影終了まで、制御部２００は、投影対象物の３次元データの取得、投影体モデルの計算および画像が張り付けられた投影体モデルの生成を繰り返すよう制御する。

図１１に示した制御とすることにより、投影装置１１４および３次元計測装置１１６の位置関係さえ固定しておけば、投影装置１１４を移動させても、あるいは投影装置１１４の前の投影対象物１２０を移動させても、投影対象物１２０が提供する投影面１２２上にコンテンツ画像を適切に投影することができるようになる。

図１２は、投影装置１１４および３次元計測装置１１６を、これらの位置関係を固定しながら移動させて、第１円筒スクリーン１２０Ａから第２円筒スクリーン１２０Ｂに投影対象を切り替えた場合について説明する図である。図１２に示すように、異なる直径を有する別の円筒スクリーンに投影対象を切り替えても、円筒スクリーンの位置、大きさ、姿勢を再度認識し、適切なコンテンツ画像ＩＭＧｐｒｊが円筒スクリーン１２０Ｂに投影される。

図１３（Ａ，Ｂ）は、特定の視点から見て歪みのない投影を模式的に説明する図であり、図１３（Ｃ，Ｄ）は、投影対象物表面の各局所平面の法線方向から見て歪みのない投影を模式的に説明する図である。本実施形態による画像投影処理では、投影面上の座標系に沿ってコンテンツ画像が張り付けられて投影画像が生成される。このため、図１３（Ｃ）に示すように、投影対象物表面の各局所平面の法線方向から見た場合に、歪みがないように補正された投影像を得ることができる。

（ハードウェア構成）
以下、図１４を参照しながら、本実施形態による制御装置１１０のハードウェア構成について説明する。図１４は、本実施形態による制御装置１１０のハードウェア構成を示す図である。本実施形態による制御装置１１０は、デスクトップ型のパーソナル・コンピュータ、ワークステーションなどの汎用コンピュータなどとして構成されている。図１４に示す制御装置１１０は、シングルコアまたはマルチコアのＣＰＵ（Central Processing Unit）１２と、ＣＰＵ１２とメモリとの接続を担うノースブリッジ１４と、該ノースブリッジ１４と専用バスまたはＰＣＩバスを介して接続され、ＰＣＩバスやＵＳＢなどのＩ／Ｏとの接続を担うサウスブリッジ１６とを含む。

ノースブリッジ１４には、ＣＰＵ１２の作業領域を提供するＲＡＭ（Random Access Memory）１８と、映像信号を出力するグラフィックボード２０とが接続される。グラフィックボード２０には、映像出力インタフェースを介してディスプレイ５０や上記投影装置１１４に接続される。

サウスブリッジ１６には、ＰＣＩ（Peripheral Component Interconnect）２２、ＬＡＮポート２４、ＩＥＥＥ（、The Institute of Electrical and Electronics Engineers, Inc.）１３９４、ＵＳＢ（Universal Serial Bus）ポート２８、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの補助記憶装置３０、オーディオ入出力３２、シリアルポート３４が接続される。補助記憶装置３０は、コンピュータ装置を制御するためのＯＳ、上述した機能部を実現するための制御プログラムや各種システム情報や各種設定情報を格納する。ＬＡＮポート２４は、制御装置１１０をネットワークに接続させるインタフェース機器である。

ＵＳＢポート２８には、上述した３次元計測装置１１６が接続される。また、ＵＳＢポート２８には、キーボード５２およびマウス５４などの入力装置が接続されてもよく、当該制御装置１１０の操作者からの各種指示の入力を受け付けるためのユーザ・インタフェースを提供することができる。本実施形態による制御装置１１０は、補助記憶装置３０から制御プログラムを読み出し、ＲＡＭ１８が提供する作業空間に展開することにより、ＣＰＵ１２の制御の下、上述した各機能部および各処理を実現する。

以上説明したように、本実施形態によれば、３次元形状を有する投影対象物上に高品質に画像を投影することができる画像投影システム、画像処理装置、画像投影方法およびプログラムを提供することができる。

上述した実施形態による画像投影システムでは、投影対象物が３次元計測され、その３次元計測結果にフィットする投影体モデルが計算される。このため、投影対象物が３次元計測において形状のノイズが多く含まれても、ノイズの影響を受け難く、３次元形状を有する投影対象物上に高品質に画像を投影することができる。また、３次元計測から投影画像の出力までを繰り返す制御とすることにより、３次元計測手段１１６と投影手段１１４との位置関係さえ固定しておけば、投影対象物の相対的な移動、変更に対応できるようになる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…プロジェクション・システム、１１０…制御装置、１１２…記憶装置、１１４…投影装置、１１６…３次元計測装置、１２０…投影対象物、１２２…投影面、２００…制御部、２１０…校正処理部、２１２…校正用３次元データ取得部、２１４…校正パラメータ算出部、２１６…校正用画像出力部、２３０…投影処理部、２３２…校正パラメータ記憶部、２３４…投影対象物３次元データ取得部、２３６…投影体モデルフィッティング計算部、２３８…投影体モデルパラメータ記憶部、２４０…投影画像生成部、２４２…投影体モデル構築部、２４４…透視投影変換部、ＩＭＧ_Ｃ…コンテンツ画像、ＩＭＧ_Ｐ…投影画像、ＩＭＧ_ｐｒｊ…投影像、１２…ＣＰＵ、１４…ノースブリッジ、１６…サウスブリッジ、１８…ＲＡＭ、２０…グラフィックボード、２２…ＰＣＩ、２４…ＬＡＮポート、２６…ＩＥＥＥ１３９４、２８…ＵＳＢポート、３０…補助記憶装置、３２…オーディオ入出力、３４…シリアルポート、５２…キーボード、５４…マウス

Ｒ．Ｓｏｄｈｉ，Ｂ．Ｊｏｎｅｓ、"Kinect-Projector Calibration CS 498 Computational Photography-Final Project"、平成２２年１２月１４日、［平成２５年１１月８日検索］、インターネット〈URL：http://augmentedengineering.com/ProCamCalibration/brjones2rsodhi2Final.pdf〉

Claims

３次元計測手段の座標系と、投影手段の座標系とを対応付ける校正パラメータを計算する校正処理手段と、
前記３次元計測手段により計測された投影対象物の少なくとも一部を含む３次元データを取得する取得手段と、
前記３次元データに３次元形状モデルを当てはめて、前記投影対象物を表す投影体モデルを計算するモデル計算手段と、
投影する画像および前記校正パラメータに基づき、計算された投影体モデルを用いて投影画像を生成する生成手段と、
前記投影画像を出力する前記投影手段と
を含み、
前記３次元形状モデルは、円筒モデルであり、前記モデル計算手段は、前記３次元データを構成する３次元点群とマッチする、円筒モデルの位置、大きさおよび姿勢を含む複数のパラメータのうちの不定とされた少なくとも１つのパラメータを計算し、前記生成手段は、前記位置、大きさおよび姿勢で構築され、投影する画像が内周面または外周面に張り付けられた円筒モデルが前記投影手段の座標系へ変換された投影画像を生成する、画像投影システム。
前記３次元データの取得、前記投影体モデルの計算および前記投影画像の生成を繰り返す制御手段をさらに含む、請求項１に記載の画像投影システム。
前記生成手段は、前記投影する画像を張り付けた投影体モデルを構築する手段と、前記校正パラメータに基づき前記投影する画像を張り付けた投影体モデルを投影画像へ透視投影する手段とを含む、請求項１または２に記載の画像投影システム。
前記生成手段は、前記校正パラメータに基づき、前記３次元計測手段の座標系で計算された投影体モデルを前記投影手段の座標系へ透視投影する手段と、前記投影手段の座標系上の投影体モデルに前記投影する画像を張り付ける手段とを含む、請求項１または２に記載の画像投影システム。
前記校正処理手段は、
前記投影手段に対し校正用画像を出力する出力手段と、
前記３次元計測手段により計測された、前記投影手段から投影された校正用投影像における複数の校正点の３次元座標値を取得する校正データ取得手段と、
前記校正用投影像における複数の校正点の３次元座標値と、前記複数の校正点に対応する複数の対応点各々の画像座標値とに基づき、前記３次元計測手段の３次元座標系から前記投影手段の２次元座標系へ透視投影変換するための透視投影行列を校正パラメータとして計算する計算手段と
を含む、請求項１〜４のいずれか１項に記載の画像投影システム。
前記画像投影システムは、さらに、前記投影手段と独立して、または一体として提供される前記３次元計測手段を含む、請求項１〜５のいずれか１項に記載の画像投影システム。
投影手段および３次元計測手段と通信可能な画像処理装置であって、
前記３次元計測手段の座標系と、前記投影手段の座標系とを対応付ける校正パラメータを計算する校正処理手段と、
前記３次元計測手段により計測された投影対象物の少なくとも一部を含む３次元データを取得する取得手段と、
前記３次元データに３次元形状モデルを当てはめて、前記投影対象物を表す投影体モデルを計算するモデル計算手段と、
投影する画像および前記校正パラメータに基づき、計算された投影体モデルを用いて、前記投影手段から出力するための投影画像を生成する生成手段と、
を含み、
前記３次元形状モデルは、円筒モデルであり、前記モデル計算手段は、前記３次元データを構成する３次元点群とマッチする、円筒モデルの位置、大きさおよび姿勢を含む複数のパラメータのうちの不定とされた少なくとも１つのパラメータを計算し、前記生成手段は、前記位置、大きさおよび姿勢で構築され、投影する画像が内周面または外周面に張り付けられた円筒モデルが前記投影手段の座標系へ変換された投影画像を生成する、画像処理装置。
投影手段および３次元計測手段と通信するコンピュータ・システムが実行する画像投影方法であって、前記コンピュータ・システムが、
前記３次元計測手段の座標系と、前記投影手段の座標系とを対応付ける校正パラメータを計算するステップと、
前記３次元計測手段により計測された投影対象物の少なくとも一部を含む３次元データを取得するステップと、
前記３次元データに３次元形状モデルを当てはめて、前記投影対象物を表す投影体モデルを計算するステップと、
投影する画像および前記校正パラメータに基づき、計算された投影体モデルを用いて投影画像を生成するステップと、
生成された投影画像を前記投影手段から出力するステップと
を含み、
前記３次元形状モデルは、円筒モデルであり、前記投影体モデルを計算するステップでは、前記３次元データを構成する３次元点群とマッチする、円筒モデルの位置、大きさおよび姿勢を含む複数のパラメータのうちの不定とされた少なくとも１つのパラメータを計算し、前記生成するステップでは、前記位置、大きさおよび姿勢で構築され、投影する画像が内周面または外周面に張り付けられた円筒モデルが前記投影手段の座標系へ変換された投影画像を生成する、画像投影方法。
コンピュータ・システムを、請求項７に記載の画像処理装置の各手段として機能させるためのプログラム。