JP5592834B2

JP5592834B2 - 光学投影制御装置、光学投影制御方法、及びプログラム

Info

Publication number: JP5592834B2
Application number: JP2011118131A
Authority: JP
Inventors: 勲宮川; 啓之新井; 秀樹小池
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2011-05-26
Filing date: 2011-05-26
Publication date: 2014-09-17
Anticipated expiration: 2031-05-26
Also published as: JP2012249009A

Description

本発明は、プロジェクタからの投影像を複数のカメラで観測するとき、各画素の観測輝度値が所定の値となるようにプロジェクタからの出力輝度値を補正する光学投影制御装置、光学投影制御方法、及びプログラムに関する。

プロジェクタ・カメラシステムは、様々な用途に利用されている。例えば、会議や、学会発表でのプレゼンテーションにプロジェクタを利用する以外に、ヒューマンインタラクションや、拡張現実感の表示システムとしても利用できる。さらに、複数のプロジェクタを使うと、各プロジェクタからの画像を繋ぎ合わせて巨大な画像（タイリング）を生成でき、近年では、ＨＤＲ（High Dynamic Range）画像を表示するアプリケーションとしても期待されている。

プロジェクタから画像を投影して、カメラによりその投影像を観測するとき、そのカメラが所定の輝度を観測するように原画像を調整する。これは、輝度補正と呼ばれており、非特許文献１、２において公知である。この方法では、プロジェクタからのＲＧＢ輝度値とカメラで観測されたＲＧＢ輝度値との間の相関関係に着目し、カラー混合行列（Color Mixing Matrix）と呼ばれる３×３の行列Ｖを使って、所定のＲＧＢ輝度値Ｃ＝（Ｃ_Ｒ，Ｃ_Ｇ，Ｃ_Ｂ）を、カメラが観測するように、プロジェクタからのＲＧＢ出力値Ｐ＝（Ｐ_Ｒ，Ｐ_Ｇ，Ｐ_Ｂ）を補正する。このシステムにおいて、観測した画像の輝度値Ｃと各プロジェクタからの出力輝度Ｐとの間には、次式（１）が成り立つ。

Ｖはプロジェクタのカラー混合行列であり、Ｆはプロジェクタ以外の光源からの照明を含む環境光である（物体表面の反射率は、一定と考える）。非特許文献２によれば、４枚のサンプル画像が用意できれば、カラー混合行列と環境光とを求めることができる。

S. K. Nayar, H. Peri, M. D. Grossberg, and P. N. Belhumeur:"A Projection System with Radiometric Compensation for Screen Imperfections", Proc. of ICCV Workshop on Projector-Camera Systems (PROCAMS), 2003. K. Fujii, M. D. Grossberg, and S. K. Nayar: "A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments", Proc. of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821, 2005.

プロジェクタ・カメラシステムを利用した拡張現実感のアプリケーションでは、単体、または複数のプロジェクタがスクリーンに投影しているとき、ユーザがカメラで地点Ａからそのスクリーンを撮影すると、画像Ａが観測される。次に、ユーザは、地点Ｂからそのスクリーンを撮影すると、観測画像が位置・方向、照明環境が異なった画像Ｂが得られる。この状態は、プロジェクタ・カメラシステムにおいて、カメラが移動した状況として考えることができる。このアプリケーションにおいては、カメラを使ってプロジェクタが投影するコンテンツ画像を取得することが望ましい。

通常、プロジェクタ・カメラシステムでは、プロジェクタとカメラとは、固定されている。非特許文献２によれば、プロジェクタとカメラとの間のカラー混合行列を算出するには、４枚のサンプル画像が必要である。システムが固定された状態から、プロジェクタ、またはカメラを移動させると、カメラが観測する状況が変化してしまうので、再び、４枚のサンプル画像を取得しなければならない。

さらに、カメラが移動すると、プロジェクタとカメラ、または、投影面（例えば、スクリーン）とカメラ間の幾何的なキャリブレーションが必要となり、それらの平面射影関係を結びつけるパラメータを再び推定しなければならない。すなわち、カメラ視点の違いに応じて、それに関する幾何的キャリブレーションを行い、その対応関係に基づいて、プロジェクタとカメラとの間の輝度補正が必要になるという問題がある。

本発明は、このような事情を考慮してなされたものであり、その目的は、カメラが移動して異なる視点から撮影しても、その平面射影に基づいて容易に輝度補正することができるとともに、固定したプロジェクタ・カメラシステムで得られるのと同等の画質の画像を得ることができる光学投影制御装置、光学投影制御方法、及びプログラムを提供することにある。

上述した課題を解決するために、本発明は、プロジェクタから投影された映像を撮像するカメラから、撮像された画像を取得する画像入力部と、基準位置・姿勢のカメラで前記映像を撮像して得られた基準画像を保持する基準画像保持部と、前記画像入力部によって取得した画像と前記基準画像保持部に保持されている基準画像とに基づいて、前記カメラの位置または姿勢を推定する平面射影推定部と、前記平面射影推定部により推定された、前記カメラの位置または姿勢の変化、及び照明変化による輝度変化を検出して、輝度補正用計算に必要なサンプル画像を生成する輝度変化推定部と、前記輝度変化推定部により生成されたサンプル画像に基づいて、前記プロジェクタに出力する原画像の出力輝度を補正する輝度補正部とを備えることを特徴とする。

また、本発明は、プロジェクタから投影された映像を撮像するカメラから、撮像された画像を取得する画像入力ステップと、前記画像入力部によって取得した画像と基準位置・姿勢の前記カメラで前記映像を撮像して得られた基準画像とに基づいて、前記カメラの位置または姿勢を推定する平面射影推定ステップと、前記平面射影推定ステップで推定された、前記カメラの位置または姿勢の変化、及び照明変化による輝度変化を検出して、輝度補正用計算に必要なサンプル画像を生成する輝度変化推定ステップと、前記輝度変化推定ステップで生成されたサンプル画像に基づいて、前記プロジェクタに出力する原画像の出力輝度を補正する輝度補正ステップとを含むことを特徴とする光学投影制御方法である。

また、本発明は、光学投影制御装置のコンピュータに、プロジェクタから投影された映像を撮像するカメラから、撮像された画像を取得する画像入力機能、基準位置・姿勢の前記カメラで前記映像を撮像して得られた基準画像を保持する基準画像保持機能、前記画像入力機能によって取得した画像と前記基準画像保持機能で保持された基準画像とに基づいて、前記カメラの位置または姿勢を推定する平面射影推定機能、前記平面射影推定機能で推定された、前記カメラの位置または姿勢の変化、及び照明変化による輝度変化を検出して、輝度補正用計算に必要なサンプル画像を生成する輝度変化推定機能、前記輝度変化推定機能で生成されたサンプル画像に基づいて、前記プロジェクタに出力する原画像の出力輝度を補正する輝度補正機能を実行させることを特徴とするプログラムである。

この発明によれば、カメラが移動して異なる視点から撮影しても、その平面射影に基づいて容易に輝度補正することができるとともに、固定したプロジェクタ・カメラシステムで得られるのと同等の画質の画像を得ることができる。

本発明に係る実施形態の光学投影制御装置の構成を示すブロック図である。本実施形態による、平面射影推定部の動作を説明するためのフローチャートである。本実施形態による輝度変化推定部の動作を説明するためのフローチャートである。本実施形態による輝度補正部の動作を説明するためのフローチャートである。

本件発明は、プロジェクタから投影した画像の観測輝度値に基づいて、プロジェクタからの出力輝度値を補正する技術に関するものである。本発明では、プロジェクタ・カメラシステムにおいて、基準位置と基準姿勢の状態で撮影した画像とを用いて、カメラ視点の位置、または姿勢が異なる状態においても、幾何的なキャリブレーションを行い、その対応関係に基づいて簡易に輝度を補正して、固定したプロジェクタ・カメラシステムで得られるのとほぼ同等の画質の画像を取得する。

以下、本発明の一実施形態を、図面を参照して説明する。

図１は、本発明に係る実施形態の光学投影制御装置の構成を示すブロック図である。本実施形態は、１台のプロジェクタと１台のカメラとを備えるプロジェクタ・システムである。光学投影制御装置１０は、カメラ１から画像データを取得する画像入力部２と、基準となる位置または（基準位置・姿勢）のカメラ１で観測したコンテンツの基準画像、並びに、その状態で観測した輝度補正のための４枚のサンプル画像を保持する基準画像ＤＢ（データベース）３、画像入力部２から画像を取得し、その画像情報を用いて、カメラ１の位置または姿勢を推定する平面射影推定部４、位置または姿勢の変化、及び照明変化による輝度変化を検出して、輝度補正用計算に必要なサンプル画像を生成する輝度変化推定部５、及び、その生成されたサンプル画像から、プロジェクタ８に出力するコンテンツＤＢ（データベース）７からの映像の出力輝度を補正する輝度補正部６から構成される。

本発明では、基準となる位置または姿勢（基準位置・姿勢）で観測したコンテンツの基準画像、並びに、その状態で観測した輝度補正のための４枚のサンプル画像を基準画像ＤＢ３に格納しておき、カメラ１の位置または姿勢の変化に応じて、基準画像ＤＢ３からサンプル画像を取り出し、カメラキャリブレーションし、プロジェクタ８からの出力輝度を補正する。

この構成において、プロジェクタ８、カメラ１、基準画像ＤＢ３、並びに、コンテンツＤＢ７は、必ずしも構成要素として接続している必要はなく、処理に必要なデータを取得すればよい。画像入力部２、平面射影推定部４、輝度変化推定部５、輝度補正部６から、それぞれの矢印へのデータの流れは、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用するか、または、ネットワークを介して、リモートなデータ資源を利用する形態でもどちらでも構わない。

画像入力部２は、カメラ１等で撮像された画像を取得する手段であり、取得した画像データは、平面射影推定部４へ転送される。画像入力部２で取得する画像の例としては、スクリーン全体が隠れることなく写された画像、または、所定の領域を撮影した画像を用いる。

ある基準のカメラ１が所定の平面を撮影しているとき、プロジェクタ８と平面（例えば、スクリーン）との間、平面とカメラ１との間は、平面射影変換により対応付けることができる。プロジェクタ８上の２次元座標を（ｕ，ｖ）、その点がＺ＝０のＸＹ平面上に投影されたときの３次元座標を（Ｘ，Ｙ，０）、その投影点をカメラ１で観測したときの２次元座標を（ｘ，ｙ）とすると、プロジェクタ８と平面との間の平面射影変換Ｈ_ｐｓ、並びに平面とカメラ１との間の平面射影変換Ｈ_ｓｃは、次式（２）、（３）となる。

数式（２）、（３）の平面射影変換の関係が既知であると、次式（４）が得られるため、プロジェクタ８の画面上の２次元座標（ｕ，ｖ）とカメラ１で観測した２次元座標（ｘ，ｙ）との間を直接結び付けることができる。

この基準状態から、カメラ１が移動すると、平面とカメラ１との間の平面射影変換が変化することになる。その平面射影変換をＨ^（ｔ） _ｓｃとする。カメラ１が移動しても、平面とプロジェクタ８とは、固定されているので、次式（５）の対応付けが成り立つ。

但し、（ｘ^（ｔ），ｙ^（ｔ））は、固定状態での同一の２次元座標がカメラ１の移動により観測されたときの２次元座標である。平面射影推定部４では、（ｘ^（ｔ），ｙ^（ｔ））を求めるために、画像中の特徴点を探索し、基準となる２次元座標間（ｘ，ｙ）との対応付けを利用して、変化した平面射影変換Ｈ^（ｔ） _ｓｃを推定する。

以上の原理を踏まえた上で、本実施形態による平面射影推定部４の動作について説明する。

図２は、本実施形態による、平面射影推定部４の動作を説明するためのフローチャートである。カメラ１で撮影された画像を観測し（ステップＳａ１）、カメラ１の移動を検出する（ステップＳａ２）。カメラ１の移動は、観測している画像と、移動検出として基準となる画像との間でマッチング処理を行う。このマッチング処理は、単純な画像差分でも構わない。次に、その差分がある許容値以上の差であるか否かを判定することで、カメラ１が移動したか否かを判定する（ステップＳａ３）。そして、その差分が許容値以上の差でない場合、すなわち、カメラ１が移動していないと判定した場合には（ステップＳａ３のＮＯ）、ステップＳａ１に戻る。

一方、その差分がある許容値以上の差である場合、すなわち、カメラ１が移動したと判定した場合には（ステップＳａ３のＹＥＳ）、カメラ１が静止した状態（基準の状態）で、プロジェクタ８からコンテンツＤＢ７のコンテンツ画像を投影して、予め観測した基準画像を基準画像ＤＢ３から読み出す（ステップＳａ４）。次に、その基準画像において特徴点を検出し、移動したカメラ１で観測した画像における特徴点を探索する（ステップＳａ５）。例えば、ＳＩＦＴ（Scale Invariant Feature Transform）や、ＫＬＴ（Kanade Lucas Tomasi）などの代表的な特徴点抽出方法を利用して特徴点を探索し、次式（６）の対応付けを行い、平面射影変換Ｈ^（ｔ）を推定する（ステップＳａ６）。

このとき、数式（４）、（６）の関係を利用して、次式（７）となる。

つまり、数式（５）から次式（８）の関係が成り立つ。

この原理に従い、平面射影計算では、静止状態の平面射影変換Ｈと、先に計算した平面射影変換Ｈ^（ｔ）とを用いて、数式（８）により、新たな平面射影変換Ｈ^（ｔ） _ｓｃを計算する（ステップＳａ７）。そして、処理が終了したか否かを判定し（ステップＳａ８）、処理が終了していない場合には（ステップＳａ８のＮＯ）、ステップＳａ１に戻り、上述した処理を繰り返す。一方、処理が終了した場合には（ステップＳａ８のＹＥＳ）、当該処理を終了する。

図３は、本実施形態による輝度変化推定部５の動作を説明するためのフローチャートである。平面射影推定部５にて、移動したカメラ１の平面射影変換が計算されると、図３に示す処理が開始される。カメラ１が移動したので、輝度補正を行うためのサンプル画像が必要となる。但し、従来方法（非特許文献２）のように、４枚のサンプル画像を準備するのではなく、当該輝度変化推定部５において、１枚のサンプル画像を撮影して他の３枚のサンプル画像を推定する（ステップＳｂ１）。以下は、その処理の説明である。

従来方法（非特許文献２）では、各画素のカラー混合行列を計算するため、グレー、レッド、グリーン、ブルーを基調とする４枚の画像を観測する。例えば、グレー画像の場合には、全ての画素を（９０，９０，９０）とし、レッド画像の場合には、全ての画素を（１５０，９０，９０）とし、グリーン画像の場合には、全ての画素を（９０，１５０，９０）とし、ブルー画像の場合には、全ての画素を（９０，９０，１５０）とする。

該輝度変化推定部５のサンプル画像の取得では、グレー画像をプロジェクタ８から投影し、移動したカメラ１で観測する。このとき、移動前のカメラ１で観測した４枚の画像：グレー、レッド、グリーン、ブルーを基調とする画像の輝度値を、それぞれＣ_Ｗ、Ｃ_Ｒ、Ｃ_Ｇ、Ｃ_Ｂとし、移動後のカメラ１で観測したグレーを基調とする画像の輝度値をＣ^（ｔ） _Ｗとする。移動前のカメラ１で観測した画像、すなわち、基準画像ＤＢ３に格納されている画像での各画素（ｘ，ｙ）と、移動後のカメラ１での画像座標（ｘ^（ｔ），ｙ^（ｔ））との間には、数式（６）、（８）の関係が成り立っている。

輝度係数の計算では、移動前後の対応する画素（ｘ，ｙ）−（ｘ^（ｔ），ｙ^（ｔ））について、ホワイトバランスが一定という条件において、次式（９）で表されるモデルを仮定し、移動前のカメラ１と移動後のカメラ１とで観測したそれぞれの画像から、平面射影変換Ｈ^（ｔ）を用いて、画素（ｘ^（ｔ），ｙ^（ｔ））の輝度係数αを、次式（１０）の計算式により算出する（数式（９）から容易に導出できる）。

輝度係数が得られると、基準画像ＤＢ３からレッド、グリーン、ブルーを基調とする画像を読み出し（ステップＳｂ２）、基準画像ＤＢ３の画像の各画素の座標（ｘ，ｙ）から、平面射影変換Ｈ^（ｔ）を用いて（ステップＳｂ３）、該当する画素（ｘ^（ｔ），ｙ^（ｔ））を算出し、その画素の新しい輝度値を、次式（１１）、（１２）、（１３）により算出する（ステップＳｂ４）。

全画素について輝度を補正して、レッド、グリーン、ブルーを基調とするサンプル画像を生成する（ステップＳｂ５）。これにより、輝度補正に必要な４枚のサンプルが得られたことになる。

図４は、本実施形態による輝度補正部６の動作を説明するためのフローチャートである。輝度補正部６は、輝度変化推定部５において、４枚のサンプル画像（補正処理用画像）を準備した後、その補正処理用画像を読み込む（ステップＳｃ１）。まず、画像バッファ（最終的に、このバッファのデータを補正画像として出力する）を準備し、そのバッファ上の各画素（ｕ，ｖ）について、数式（７）に示す平面射影変換関係を用いて、画像座標（ｘ^（ｔ），ｙ^（ｔ））を算出する。

次に、輝度補正部６は、補正処理用画像の各画素（ｘ^（ｔ），ｙ^（ｔ））を順番に取り出して、補正係数の計算において、輝度を補正するためのカラー混合行列Ｖ^（ｔ）と環境光Ｆ^（ｔ）とを、公知の方法（非特許文献２）により求める（ステップＳｃ２）。全ての画素の補正係数が求まると、コンテンツＤＢ７より投影対象の画像を読み込み、各画素について、補正係数：Ｖ^（ｔ）、Ｆ^（ｔ）を用いて、次式（１４）により補正輝度値Ｐ^（ｔ）を算出し、画素（ｕ，ｖ）の新たな輝度値として保持する（ステップＳｃ４）。全画素について、この輝度補正が完了すると、補正された画像をプロジェクタ８から出力する。

上述した実施形態によれば、カメラ１が異なる視点から撮影しても、移動したカメラ１の平面射影に基づいて容易に輝度補正することができるとともに、固定したプロジェクタ・カメラシステムで得られるのと同等の画質の画像を得ることができる。

なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム、あるいは装置に供給し、そのシステム、あるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成する。

１カメラ
２画像入力部
３基準画像ＤＢ
４平面射影推定部
５輝度変化推定部
６輝度補正部
７コンテンツＤＢ
８プロジェクタ
１０光学投影制御装置

Claims

プロジェクタから投影された映像を撮像するカメラから、撮像された画像を取得する画像入力部と、
基準位置・姿勢のカメラで前記映像を撮像して得られた基準画像を保持する基準画像保持部と、
前記画像入力部によって取得した画像と前記基準画像保持部に保持されている基準画像とに基づいて、前記カメラの位置または姿勢を推定する平面射影推定部と、
前記基準画像と新たに得られた画像から輝度係数を求め、該輝度係数と、前記平面射影推定部により推定された前記カメラの位置または姿勢の変化に基づく射影変換式と、基準のサンプル画像とを用いて輝度補正用計算に必要なサンプル画像を生成する輝度変化推定部と、
前記輝度変化推定部により生成されたサンプル画像に基づいて、前記プロジェクタに出力する原画像の出力輝度を補正する輝度補正部と
を備えることを特徴とする光学投影制御装置。
プロジェクタから投影された映像を撮像するカメラから、撮像された画像を取得する画像入力ステップと、
前記画像入力ステップによって取得した画像と基準位置・姿勢の前記カメラで前記映像を撮像して得られた基準画像とに基づいて、前記カメラの位置または姿勢を推定する平面射影推定ステップと、
前記基準画像と新たに得られた画像から輝度係数を求め、該輝度係数と、前記平面射影推定ステップにより推定された前記カメラの位置または姿勢の変化に基づく射影変換式と、基準のサンプル画像とを用いて輝度補正用計算に必要なサンプル画像を生成する輝度変化推定ステップと、
前記輝度変化推定ステップで生成されたサンプル画像に基づいて、前記プロジェクタに出力する原画像の出力輝度を補正する輝度補正ステップと
を含むことを特徴とする光学投影制御方法。
コンピュータを、請求項１に記載の光学投影制御装置として機能させるための光学投影制御プログラム。