JP5560721B2 - 画像処理装置、画像表示システム、及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、画像表示システム、及び画像処理方法に関する。

人間の手や指の動きを認識し、キーボードやマウスに代表される従来型のインターフェースより直感的に利用できる次世代型のインターフェースの開発が進められている。先進的な試みとしては、P. Wellnerにより提案されたDigital Desk（The Digital Desk Calculator: Tangible Manipulation on a Desk Top Display, ACM UIST ’91, pp.27-33, 1991）が知られている。Digital Deskは机上に投影されたコンピュータ画面を指先で操作するもので、ユーザーは机上に投影されたアイコンを指でクリックしたり、机上に投影された電卓のボタンを指で押して計算をしたりすることができるものである。ユーザーの指の動きはカメラで撮影される。カメラは、机上に投影されたコンピュータ画面を撮影すると同時に、カメラとコンピュータ画面との間に配置される遮蔽物としての指を撮影する。そして、その指の位置を画像処理によって検出することにより、コンピュータ画面上の指示位置を検出する。

このような次世代型のインターフェースでは、ユーザーの指の位置を正確に検出することが重要である。例えば特許文献１には、机上に投影された画像を取得するための赤外線カメラを備え、体温を利用して画面内の手領域を抽出し、例えば机上での指先の動作を追跡できるようにしたマンマシーン・インターフェース・システムが開示されている。また特許文献２には、画像と赤外線等の非可視光とを交互に投影して、非可視光の投影期間に遮蔽物を検出するシステムが開示されている。更に、特許文献３には、プロジェクターによる投影画像と、投影画像を撮影した撮影画像との差分画像に基づいて、撮影画像に含まれる手領域を抽出するようにしたポインティング装置が開示されている。更にまた、特許文献４には、プロジェクターによる投影画像を含む投影面を撮像した撮像画像から投影画像を除去した差分画像を用いて、物体に対応する領域を検出するようにした画像投影装置が開示されている。

特開２００１−２８２４５６号公報 米国特許出願公開第２００９／０１１５７２１号明細書 特開２００８−１５２６２２号公報 特開２００９−６４１１０号公報

しかしながら、特許文献１及び特許文献２では、専用の赤外線カメラ等の専用装置を備える必要があり、設置や管理の手間が増えるという問題がある。従って、特許文献１及び特許文献２では、プロジェクターの設置性や視聴の容易性を阻害してしまい、使い勝手を悪くしてしまう場合がある。また、特許文献３及び特許文献４では、プロジェクターによってスクリーンに投影される画像が、外光のムラ、スクリーンの「なみ」、「すじ」、汚れ等に起因したノイズによって色が一様でなくなる場合に、撮影画像と投影画像との差分がノイズの影響を受けるという問題がある。従って、特許文献３及び特許文献４は、実質的には、ノイズの無い理想的な使用環境でなければ手領域を正確に抽出することができないものと考えられる。

本発明は、以上のような技術的課題に鑑みてなされたものである。本発明の幾つかの態様によれば、表示画面に表示された表示画像をユーザーの手により遮られた状態でカメラにより撮影した撮影画像から、ユーザーの指先の位置を精度良く検出することのできる画像処理装置、画像表示システム、及び画像処理方法等を提供することができる。

（１）本発明の一態様は、表示画面とカメラとの間に存在するユーザーの手を被検出物として検出し、検出された前記被検出物のうち前記ユーザーの指先に該当する位置を指示位置として検出し、前記指示位置に対応した所定の処理を行う画像処理装置であって、前記表示画面に表示されたモデル画像を前記被検出物により遮られることなく前記カメラにより撮影した撮影情報に基づき、画像データから、当該画像データを前記表示画面に表示して前記カメラで撮影した画像を推定した推定撮影画像を生成する推定撮影画像生成部と、前記画像データに基づいて前記表示画面に表示される表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影した撮影画像と、前記推定撮影画像との差分に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出部と、前記被検出物検出部により検出された前記被検出物領域のうち前記ユーザーの指先に該当する位置を指示位置として検出し、前記指示位置に対応した所定の処理を行うアプリケーション処理部と、を含む。

本態様によれば、モデル画像を撮影した撮影情報に基づいて画像データから推定撮影画像を生成し、該推定撮影画像と、上記画像データに基づいて表示された画像を撮影した撮影画像との差分により、被検出物により遮られた被検出物領域を検出するようにしたので、専用のカメラを設けることなく、低コストで被検出物領域を検出できるようになる。また、推定撮影画像を用いて撮影画像との差分により被検出物領域を検出するようにしたので、外光のムラ、表示画面の「なみ」、「すじ」、汚れ等の状態、カメラの位置や歪み等に起因したノイズの影響をなくすことができる。これにより、上記のノイズの影響を受けることなく、被検出物領域を高精度に検出できるようになる。

被検出物領域からユーザーの指先の位置を検出する方法としては、領域先端部検出や円形領域検出による指先検出方法として公知の技術を利用可能である。例えば、領域先端部検出は、被検出物領域内で表示画像の中心に最も近い画素の座標を指先の位置（指示位置）として検出するものである。円形領域検出は、指先形状の輪郭が円に近いことに基づき、円形テンプレートを用いて手領域周辺で正規化相関に基づくパターンマッチングを行うことで、指先の位置（指示位置）を検出するものである。円形領域検出については特許文献１に記載された方法を用いることができる。指先検出の方法としては、領域先端部検出や円形領域検出に限らず、画像処理が適用が可能な任意の方法を用いることができる。

（２）本発明の他の態様に係る画像処理装置では、前記モデル画像は、複数種類のグレイ画像を含み、前記推定撮影画像生成部は、前記表示画面に表示された前記複数種類のグレイ画像を前記カメラにより撮影した複数種類の撮影グレイ画像を用いて、前記画像データに対応した前記表示画像の画素値を画素毎に推定した前記推定撮影画像を生成する。

本態様によれば、モデル画像として複数のグレイ画像を採用し、これらのグレイ画を撮影した撮影グレイ画像を用いて推定撮影画像を生成するようにしたので、上記の効果に加えて、推定撮影画像を生成する際に参照される撮影画像の枚数や容量等を大幅に削減できるようになる。

（３）本発明の他の態様に係る画像処理装置は、前記撮影画像から前記表示画像の領域を抽出すると共に、前記撮影画像内の前記表示画像の形状を前記推定撮影画像の形状に揃える画像領域抽出部を含み、前記被検出物検出部が、前記画像領域抽出部によって抽出された前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出する。

本態様によれば、撮影画像内の表示画像を抽出し、該表示画像の形状を推定撮影画像の形状に揃えてから被検出物領域を検出するようにしたので、上記の効果に加えて、簡素な画素間の比較処理で被検出物領域の検出が可能となる。

（４）本発明の他の態様に係る画像処理装置は、前記推定撮影画像生成部が、前記推定撮影画像の形状を前記撮影画像内の前記表示画像の形状に揃え、前記被検出物検出部が、前記撮影画像内の前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出する。

本態様によれば、推定撮影画像の形状を撮影画像内の表示画像の形状に揃えてから、被検出物領域を検出するようにしたので、推定撮影画像の形状を補正する際のノイズによる誤差をなくし、より一層高精度の被検出物領域を検出できるようになる。

（５）本発明の他の態様に係る画像処理装置は、前記表示画面に表示された所与の初期化用画像を前記カメラにより撮影した撮影画像内の前記初期化用画像の四隅の位置に基づいて、前記推定撮影画像又は前記表示画像の形状を揃える。

本態様によれば、撮影画像内の初期化用画像の四隅の位置を基準に、推定撮影画像又は表示画像の形状を揃えるようにしたので、上記の効果に加えて、より一層被検出物領域の検出処理を簡素化できるようになる。

（６）本発明の他の態様に係る画像処理装置では、前記表示画面は、スクリーンであり、前記表示画像は、前記画像データに基づいて前記スクリーンに投影された投影画像である。

本態様によれば、スクリーンに投影される投影画像が被検出物により遮られたとしても専用装置を設けることなく、スクリーンの状態等に影響されることなく精度良く被検出物の領域を検出できるようになる。

（７）本発明の他の態様に係る画像処理装置では、前記アプリケーション処理部は、前記指示位置に表示されたアイコン画像を前記指示位置の移動軌跡に従って移動させる。また、本発明の他の態様に係る画像処理装置では、前記アプリケーション処理部は、前記指示位置の移動軌跡に従って前記表示画面内に所定の色及び太さのラインを描画する。また、本発明の他の態様に係る画像処理装置では、前記アプリケーション処理部は、前記指示位置に表示されたアイコン画像に関連付けられた所定の処理を実行する。

本態様によれば、表示画面上に表示されたアイコン画像を指先で操作することができる。アイコン画像としては任意のものを選択することができる。一般にコンピュータにおける「アイコン」とは、プログラムの内容を図や絵にして分かりやすく表示するものであるが、本発明の「アイコン」は、ボタンアイコンのように特定のプログラムと関連付けられたもの以外に、ポストイットアイコンなどのプログラムと関連付けられない単なる絵柄画像を含むものとして定義される。例えば、アイコン画像として、種々のアイデアを記載したポストイットアイコンを用いた場合、ＫＩ手法と呼ばれる業務改善手法を実物のポストイット（付箋）を用いることなく、コンピュータ画面上で容易に実現することができる。

（８）本発明の他の態様は、画像表示システムが、上記のいずれか記載の画像処理装置と、前記表示画面に表示された画像を禄影する前記カメラと、前記モデル画像又は前記表示画像の画像データに基づいて画像を表示する画像表示装置とを含む。

本態様によれば、専用装置を設けることなく、精度良く遮蔽物等の被検出物を検出できる画像表示システムを提供できるようになる。

（９）本発明の他の態様は、表示画面とカメラとの間に存在する被検出物としてのユーザーの指先を画像処理により検出し、検出された前記指先の位置を指示位置として検出し、前記指示位置に対応した所定の処理を行う画像処理方法であって、前記表示画面に表示されたモデル画像を前記被検出物により遮られること無く前記カメラにより撮影した撮影情報に基づき、画像データから、当該画像データを前記表示画面に表示して前記カメラで撮影した画像を推定した推定撮影画像を生成する推定撮影画像生成ステップと、前記画像データに基づいて前記表示画面に表示画像を表示する画像表示ステップと、前記画像表示ステップにおいて前記表示画面に表示される前記表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影する表示画像撮影ステップと、前記表示画像撮影ステップにおいて撮影された撮影画像と、前記推定撮影画像との差分に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出ステップと、前記被検出物検出ステップにおいて検出された前記被検出物領域のうち前記ユーザーの指先に該当する位置を指示位置として検出し、前記指示位置に対応した所定の処理を行うアプリケーション処理ステップと、を含む。

本態様によれば、モデル画像を撮影した撮影情報に基づいて画像データから推定撮影画像を生成し、該推定撮影画像と、上記画像データに基づいて表示された画像を撮影した撮影画像との差分により、被検出物により遮られた被検出物領域を検出するようにしたので、専用のカメラを設けることなく、低コストで被検出物領域を検出できるようになる。また、推定撮影画像を用いて撮影画像との差分により被検出物領域を検出するようにしたので、外光のムラ、表示画面の「なみ」、「すじ」、汚れ等の状態、カメラの位置や歪み等に起因したノイズの影響をなくし、上記のノイズの影響を受けることなく、被検出物領域を高精度に検出できる画像処理方法を提供できるようになる。

本発明の実施形態１における画像表示システムの構成例のブロック図。 図１の画像処理装置の構成例のブロック図。 図２の画像処理部の構成例のブロック図。 図２の画像処理装置の動作例のフロー図。 図４のステップＳ１０のキャリブレーション処理の詳細な動作例のフロー図。 図４のステップＳ１０のキャリブレーション処理の動作説明図。 図５のステップＳ２０の画像領域抽出初期化処理の詳細な動作例のフロー図。 図５のステップＳ２０の画像領域抽出初期化処理の説明図。 図５のステップＳ２８の画像領域抽出処理の詳細な動作例のフロー図。 図５のステップＳ２８の画像領域抽出処理の説明図。 図４のステップＳ１２の遮蔽物抽出処理の詳細の動作例のフロー図。 図１１のステップＳ６０の推定撮影画像生成処理の詳細な動作例のフロー図。 図１１のステップＳ６０の推定撮影画像生成処理の動作説明図。 実施形態１における画像処理部の動作説明図。 図４のステップＳ１４のアプリケーション処理の動作例のフロー図。 図１５のステップＳ１０４の入力座標取得処理の動作例のフロー図。 図１５のステップＳ１０６等のボタンアイコン選択処理の動作例のフロー図。 図１５のステップＳ１０８のポストイットドラッグ処理の動作例のフロー図。 図１５のステップＳ１１２のライン描画処理の動作例のフロー図。 遮蔽物領域からユーザーの指先の位置を検出する方法の説明図。 実施形態２における画像処理部の構成例のブロック図。 実施形態２におけるキャリブレーション処理の詳細な動作例のフロー図。 実施形態２における遮蔽物領域抽出処理の詳細な動作例のフロー図。 図２３の遮蔽物領域抽出処理における推定撮影画像生成処理の動作説明図。 実施形態２における画像処理部の動作説明図。 本発明の実施形態３における画像表示システムの構成例のブロック図。

以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが本発明の課題を解決するために必須の構成要件であるとは限らない。

以下では、本発明に係る画像表示装置として画像投影装置を例に説明するが、本発明はこれに限定されるものではなく、液晶表示装置等の画像表示装置にも適用することができる。

［実施形態１］
図１に、本発明の実施形態１における画像表示システム１０の構成例のブロック図を示す。

画像表示システム１０は、表示画面であるスクリーンＳＣＲとカメラ２０との間に配置されるユーザーの手を遮蔽物（被検出物）２００として検出し、検出された遮蔽物２００のうちユーザーの指先に該当する位置を指示位置として検出し、該指示位置に対応した所定の処理を実行するものである。画像表示システム１０は、種々の用途に用いることができるが、本実施形態ではＫＩ手法と呼ばれる会議手法に適用するものとする。

ＫＩ手法とは、日本能率協会（ＪＭＡ）グループが東京工業大学との共同研究により開発した業務改善手法の１つである。基本コンセプトは、あるプロジェクトに参画する経営者やマネジャー、エンジニアなどの問題意識を可視化して共有することにより知的生産性を高める、というものである。通常は各メンバーが技術、課題をポストイットに記述し、ボードに貼り付け、全員で議論してポストイットを移動したり、ラインを書き込んでポストイットをグループ化したりする。この作業は大量のポストイットが必要となり、ポストイットの移動や整理の作業が面倒であることから、本実施形態では、これらの作業をコンピュータ画面上で実施することとしたものである。

図１では、操作対象となる対象画像としてポストイットアイコンＰＩやボタンアイコンＢＩ１、ＢＩ２，ＢＩ３などの複数のアイコン画像が示されている。ボタンアイコンとしては、種々のものが挙げられる。一例としては、ポストイットドラッグ用ボタンアイコンＢＩ１や、ライン描画用ボタンアイコンＢＩ２や、アプリケーション終了用ボタンアイコンＢＩ３等が挙げられるが、ボタンアイコンはこれに限定されるものではない。例えば、新規のポストイットアイコンを作成し、そのポストイットアイコンに種々のアイデアを書き込むポストイット作成用ボタンアイコンや、ポストイットアイコンに記載した記載内容を修正するための修正用ボタンアイコン等を追加してもよい。

以下、画像表示システム１０の構成を具体的に示す。

画像表示システム１０は、撮像装置としてのカメラ２０と、画像処理装置３０と、画像表示装置としてのプロジェクター（画像投影装置）１００とを含み、プロジェクター１００は、スクリーンＳＣＲに画像を投影する。画像処理装置３０は、画像データを生成する機能を具備し、生成した画像データをプロジェクター１００に供給する。プロジェクター１００は、光源を有し、光源からの光を画像データにより変調した光を用いてスクリーンＳＣＲに画像を投影する。このようなプロジェクター１００は、例えば光変調素子として透過型の液晶パネルを用いたライトバルブを用い、色成分毎に画像データに基づいて光源からの光を変調し、変調後の光を合成してスクリーンＳＣＲに投影する構成を有することができる。カメラ２０は、プロジェクター１００の近傍に配置されており、プロジェクター１００による投影画像（表示画像）がスクリーンＳＣＲ上で占める領域を含む領域を撮像可能に設定されている。

このとき、プロジェクター１００と投影面（表示画面）であるスクリーンＳＣＲとの間に遮蔽物２００（被検出物）が存在すると、プロジェクター１００が投影面に投影する投影画像（表示画像）が遮られる。また、このとき、遮蔽物２００はスクリーンＳＣＲとカメラ２０との間に存在しており、スクリーンＳＣＲ上に投影された投影画像はカメラ２０に対して遮られる。このように遮蔽物２００によって投影画像が遮られると、画像処理装置３０は、カメラ２０で投影画像を撮影した撮影情報を用いて、表示画像内で遮蔽物２００により遮られた遮蔽物領域（被検出物領域）を検出する処理を行う。より具体的には、画像処理装置３０は、スクリーンＳＣＲに投影される画像に対応した画像データから、カメラ２０で撮影した状態を推定した推定撮影画像を生成し、遮蔽物２００により遮られた投影画像をカメラ２０で撮影した撮影画像と該推定撮影画像との差分に基づいて、遮蔽物領域を検出する。

このような画像処理装置３０の機能は、パーソナルコンピューター（Personal Computer：ＰＣ）や専用のハードウェアにより実現される。また、カメラ２０の機能は、可視光カメラで実現される。

これにより、専用のカメラを設ける必要がなくなり、低コストで遮蔽物２００により遮られた遮蔽物領域を検出できるようになる。また、推定撮影画像と撮影画像との差分により遮蔽物領域を検出するようにしたので、プロジェクター１００によってスクリーンＳＣＲに投影される画像が、外光やスクリーンＳＣＲの状態等に起因したノイズによって色が一様でなくなる場合であっても、ノイズの影響を受けることなく遮蔽物領域を高精度に検出できるようになる。

図２に、図１の画像処理装置３０の構成例のブロック図を示す。

画像処理装置３０は、画像データ生成部４０、画像処理部５０、アプリケーション処理部９０を含む。画像データ生成部４０は、プロジェクター１００により投影される画像に対応した画像データを生成する。画像処理部５０は、画像データ生成部４０によって生成された画像データを用いて、遮蔽物領域を検出する。この画像処理部５０には、カメラ２０がスクリーンＳＣＲの投影画像を撮影した撮影情報が入力される。画像処理部５０は、予めカメラ２０からの撮影情報に基づき画像データからの推定撮影画像を生成しており、遮蔽物２００によって遮られたスクリーンＳＣＲへの投影画像を撮影した撮影画像を該推定撮影画像と比較することで、遮蔽物領域を検出する。アプリケーション処理部９０は、画像処理部５０によって検出された遮蔽物領域に基づいて、画像データ生成部４０により生成される画像データを変更させることにより投影画像を変化させる等の遮蔽物領域の検出結果に対応した処理を行う。

図３に、図２の画像処理部５０の構成例のブロック図を示す。

画像処理部５０は、撮影情報取得部５２、画像領域抽出部５４、キャリブレーション処理部５６、撮影グレイ画像保存部５８、遮蔽物領域抽出部（被検出物検出部）６０、推定撮影画像保存部６２、画像データ出力部６４を含む。遮蔽物領域抽出部６０は、推定撮影画像生成部７０を含む。

撮影情報取得部５２は、カメラ２０により撮影された撮影画像に対応した撮影情報を取得する制御を行う。この撮影情報取得部５２は、カメラ２０を直接制御してもよいし、ユーザーにカメラ２０による撮影を促す表示を行うようにしてもよい。画像領域抽出部５４は、撮影情報取得部５２によって取得された撮影情報に対応した撮影画像内の投影画像を抽出する処理を行う。キャリブレーション処理部５６は、カメラ２０で撮影した撮影画像を用いて推定撮影画像を生成するのに先立って、キャリブレーション処理を行う。キャリブレーション処理では、スクリーンＳＣＲにモデル画像を表示させてスクリーンＳＣＲに表示されたモデル画像を、遮蔽物２００に遮られることなくカメラ２０により撮影する。この画像の色や位置を参照して、実際にカメラ２０で投影画像を撮影した画像を推定した推定撮影画像が生成される。

実施形態１では、モデル画像として、複数種類のグレイ画像が採用される。それぞれのグレイ画像では、当該グレイ画像を構成する各画素の画素値が互いに等しい。このような複数種類のグレイ画像を表示させて、キャリブレーション処理部５６は、複数種類の撮影グレイ画像を取得する。撮影グレイ画像保存部５８は、キャリブレーション処理部５６によって得られた撮影グレイ画像を保存する。これらの撮影グレイ画像の画素の画素値を参照してカメラ２０で撮影する表示画像を推定した推定撮影画像が生成されることになる。

遮蔽物領域抽出部６０は、プロジェクター１００の投影画像を遮蔽物２００により遮られた状態でカメラ２０により撮影された撮影画像と、撮影グレイ画像保存部５８に保存された撮影グレイ画像により生成された推定撮影画像との差分に基づいて、撮影画像内で遮蔽物２００によって遮られた遮蔽物領域を抽出する。この撮影画像は、推定撮影画像を生成する際に参照した画像データに基づいてプロジェクター１００によりスクリーンＳＣＲに投影した画像を撮影して得られた画像である。このため、推定撮影画像生成部７０は、プロジェクター１００によりスクリーンＳＣＲに投影される画像の画像データから、撮影グレイ画像保存部５８に保存された撮影グレイ画像を参照して推定撮影画像を生成することで、カメラ２０による撮影画像の各画素の色等を推定する。推定撮影画像生成部７０によって生成された推定撮影画像は、推定撮影画像保存部６２に保存される。

画像データ出力部６４は、画像データ生成部４０からの画像データを、画像処理部５０又はアプリケーション処理部９０からの指示によりプロジェクター１００に出力する制御を行う。

このように、画像処理部５０は、プロジェクター１００に投影される画像の画像データから、実際にカメラ２０で撮影した画像を推定した推定撮影画像を生成する。そして、この推定撮影画像と、該画像データに基づいて表示された投影画像を撮影した撮影画像との
差分に基づいて、遮蔽物領域が抽出される。こうすることで、推定撮影画像と、これを生成する際に使用したカメラ２０を用いて得られた撮影画像との差分は、外光のムラ、スクリーンＳＣＲの「なみ」、「すじ」、汚れ等の状態、プロジェクター１００の位置やズーム状態、カメラ２０の位置や歪み等に起因したノイズの影響をなくすことができる。これにより、上記のノイズの影響を受けることなく、遮蔽物領域を高精度に検出できるようになる。

以下、このような画像処理装置３０の動作例について説明する。

［動作例］
図４に、図２の画像処理装置３０の動作例のフロー図を示す。

画像処理装置３０では、まず、画像処理部５０が、キャリブレーション処理ステップとして、キャリブレーション処理を行う（ステップＳ１０）。キャリブレーション処理では、上記の撮影グレイ画像を生成する際の初期化処理を行った後に、複数種類の撮影グレイ画像を生成する処理を行い、遮蔽物２００に遮られた投影画像を撮影した画像を推定するための処理を行う。

次に、画像処理装置３０では、画像処理部５０が、遮蔽物領域抽出ステップとして、遮蔽物２００に遮られた投影画像を撮影した撮影画像内の遮蔽物領域の抽出処理を行う（ステップＳ１２）。この遮蔽物領域の抽出処理では、ステップＳ１０において生成された複数種類の撮影グレイ画像を用いて推定撮影画像が生成される。そして、プロジェクター１００の投影画像を遮蔽物２００により遮られた状態でカメラ２０により撮影した撮影画像と、撮影グレイ画像保存部５８に保存された撮影グレイ画像により生成された推定撮影画像との差分に基づいて、撮影画像内で遮蔽物２００により遮られた領域が抽出される。

そして、画像処理装置３０では、アプリケーション処理部９０が、アプリケーション処理ステップとして、ステップＳ１２において抽出された遮蔽物２００の領域に基づいて、アプリケーション処理を行い（ステップＳ１４）、一連の処理を終了する（エンド）。このアプリケーション処理では、ステップＳ１２において抽出された遮蔽物２００の領域に基づいて、画像データ生成部４０により生成される画像データを変更させることにより投影画像を変化させる等の遮蔽物領域の検出結果に対応した処理が行われる。

［キャリブレーション処理の例］
図５に、図４のステップＳ１０のキャリブレーション処理の詳細な動作例のフロー図を示す。
図６に図４のステップＳ１０のキャリブレーション処理の動作説明図を示す。

キャリブレーション処理が開始されると、画像処理装置３０は、まずキャリブレーション処理部５６において画像領域抽出初期化処理を行う（ステップＳ２０）。画像領域抽出初期化処理では、カメラ２０によりプロジェクター１００の投影画像を撮影した撮影画像内の投影画像を抽出するのに先立って、撮影画像内の投影画像の領域を特定するための処理を行う。より具体的には、画像領域抽出初期化処理では、撮影画像内の四角形状の投影画像の四隅の座標位置を抽出する処理を行う。

次に、キャリブレーション処理部５６は、グレイ画像の画素値に対応した変数ｉを「０」に設定して変数ｉを初期化する（ステップＳ２２）。続いて、キャリブレーション処理部５６では、グレイ画像表示ステップとして、例えば画像データ生成部４０により各色成分の画素値がｇ［ｉ］のグレイ画像の画像データを生成させ、画像データ出力部６４が該画像データをプロジェクター１００に出力して、画素値ｇ［ｉ］のグレイ画像をスクリーンＳＣＲに投影させる（ステップＳ２４）。そして、キャリブレーション処理部５６は、撮影グレイ画像撮影ステップとして、ステップＳ２４でスクリーンＳＣＲに投影された画像をカメラ２０で撮影し、撮影情報取得部５２においてカメラ２０の撮影画像の撮影情報を取得する（ステップＳ２６）。

ここで、キャリブレーション処理部５６を有する画像処理装置３０は、画像領域抽出部５４において、ステップＳ２６で取得されたグレイ画像を撮影した撮影画像からグレイ画像の領域を抽出する処理を行う（ステップＳ２８）。このステップＳ２８では、ステップＳ２０で得られた四隅の座標位置に基づいてグレイ画像の領域が抽出される。画像処理装置３０は、ステップＳ２８で抽出されたグレイ画像の領域を、撮影グレイ画像としてｇ［ｉ］と関連付けて撮影グレイ画像保存部５８に保存する（ステップＳ３０）。

キャリブレーション処理部５６は、変数ｉに整数ｄを加算して変数ｉを更新し（ステップＳ３２）、次のグレイ画像の撮影に備える。なお、ステップＳ３２で更新された変数ｉが所与の最大値Ｎ以上のとき（ステップＳ３４：Ｎ）、一連の処理を終了し（エンド）、更新後の変数ｉが最大値Ｎより小さいとき（ステップＳ３４：Ｙ）、ステップＳ２４に戻る。

ここで、１画素がＲ成分、Ｇ成分及びＢ成分により構成され、各色成分の画素値が８ビットの画像データで表されるものとする。実施形態１では、上記のキャリブレーション処理によって、例えば、図６に示すように、全画素の各色成分の画素値が「０」のグレイ画像ＧＰ０、全画素の各色成分の画素値が「６３」のグレイ画像ＧＰ１、・・・、全画素の各色成分の画素値が「２５５」のグレイ画像ＧＰ４等の複数種類のグレイ画像に対する撮影グレイ画像ＰＧＰ０、ＰＧＰ１、・・・、ＰＧＰ４を得ることができる。各撮影グレイ画像は、推定撮影画像を生成する際に参照され、実際にプロジェクター１００に投影される画像の画像データに対して、プロジェクター１００の使用環境やスクリーンＳＣＲの状態を反映させた推定撮影画像が生成される。また、グレイ画像を用いるようにしたので、推定撮影画像を生成する際に参照される撮影画像の枚数や容量等を大幅に削減できるようになる。

［画像領域抽出初期化処理の例］
図７に、図５のステップＳ２０の画像領域抽出初期化処理の詳細な動作例のフロー図を示す。
図８に、図５のステップＳ２０の画像領域抽出初期化処理の説明図を示す。図８は、スクリーンＳＣＲ上のカメラ２０によって撮影される領域に対応する投影面ＩＧ１と、投影面ＩＧ１における投影画像ＩＧ２の領域の一例を模式的に表す。

キャリブレーション処理部５６は、例えば画像データ生成部４０により全画素が白色である白画像の画像データを生成させる。そして、画像データ出力部６４は、白画像の画像データをプロジェクター１００に出力することで、プロジェクター１００によって白画像をスクリーンＳＣＲに投影させる（ステップＳ４０）。

続いて、キャリブレーション処理部５６は、カメラ２０によってステップＳ４０で投影された白画像を撮影させ（ステップＳ４２）、撮影情報取得部５２において白画像の撮影情報が取得される。そして、画像領域抽出部５４は、撮影画像内の白画像の四隅の座標Ｐ_１（ｘ１、ｙ１）、Ｐ_２（ｘ２、ｙ２）、Ｐ_３（ｘ３、ｙ３）、Ｐ_４（ｘ４、ｙ４）を抽出する処理を行う（ステップＳ４４）。この処理としては、投影画像ＩＧ２の境界を例えばＤ１方向に検出していきながら、閾値以上の角度がある点を角の座標として抽出すればよい。

画像領域抽出部５４は、ステップＳ４４で抽出された四隅の座標Ｐ_１（ｘ１、ｙ１）、Ｐ_２（ｘ２、ｙ２）、Ｐ_３（ｘ３、ｙ３）、Ｐ_４（ｘ４、ｙ４）を、撮影画像内の投影画像の領域を特定するための情報として保存し（ステップＳ４６）、一連の処理を終了する（エンド）。

なお、図７では白画像を投影させるものとして説明したが、本発明はこれに限定されるものではない。カメラ２０により投影画像を撮影したときに、その撮影画像内の投影画像の領域とそれ以外の領域との階調差が大きくなるような画像を投影すればよい。こうすることで、撮影画像内の投影画像の領域を精度良く抽出することができるようになる。

［撮影画像抽出処理の例］
図９に図５のステップＳ２８の画像領域抽出処理の詳細な動作例のフロー図を示す。
図１０に、図５のステップＳ２８の画像領域抽出処理の説明図を示す。図１０は、スクリーンＳＣＲ上のカメラ２０によって撮影される領域に対応する投影面ＩＧ１に投影された投影画像ＩＧ２の領域を抽出する様子を模式的に表す。

画像領域抽出部５４は、ステップＳ４４で抽出された撮影画像内の投影画像の四隅の座標位置に基づいて、ステップＳ２６で撮影された撮影画像内の撮影グレイ画像の領域を抽出する（ステップＳ５０）。例えば図１０に示すように、画像領域抽出部５４は、撮影画像内の投影画像の四隅の座標Ｐ_１（ｘ１、ｙ１）、Ｐ_２（ｘ２、ｙ２）、Ｐ_３（ｘ３、ｙ３）、Ｐ_４（ｘ４、ｙ４）を用いて、撮影画像内の撮影グレイ画像ＧＹ１を抽出する。

その後、画像領域抽出部５４は、ステップＳ５０で抽出された撮影グレイ画像の形状を矩形の形状補正し（ステップＳ５２）、一連の処理を終了する（エンド）。これにより、例えば図１０の撮影グレイ画像ＧＹ１から、長方形形状の撮影グレイ画像ＧＹ２が生成されると共に、撮影グレイ画像ＧＹ２の形状を推定撮影画像の形状に揃えることができる。

［遮蔽物領域抽出処理の例］
図１１に、図４のステップＳ１２の遮蔽物領域抽出処理の詳細の動作例のフロー図を示す。

遮蔽物領域抽出処理が開始されると、遮蔽物領域抽出部６０は、推定撮影画像生成ステップとして、推定撮影画像生成部７０において推定撮影画像生成処理を行う（ステップＳ６０）。この推定撮影画像生成処理では、ステップＳ３０において保存された撮影グレイ画像の各画素値を参照して、実際にプロジェクター１００により投影させる画像データを変換して、推定撮影画像の画像データが生成される。遮蔽物領域抽出部６０は、ステップＳ６０において生成された推定撮影画像の画像データを、推定撮影画像保存部６２に保存する。

次に、画像表示ステップとして、遮蔽物領域抽出部６０からの指示により、画像データ出力部６４は、実際にプロジェクター１００により投影させるオリジナルの画像データをプロジェクター１００に出力し、該画像データに基づく画像をプロジェクター１００によりスクリーンＳＣＲに投影させる（ステップＳ６２）。なお、このオリジナルの画像データは、ステップＳ６０の推定撮影画像生成処理において、推定撮影画像の生成元の画像データである。

続いて、遮蔽物領域抽出部６０は、表示画像撮影ステップとして、ステップＳ６２において投影された画像をカメラ２０で撮影させる制御を行い、撮影情報取得部５２を介して、この撮影画像の撮影情報を取得する（ステップＳ６４）。このとき取得された撮影画像は、プロジェクター１００による投影画像が遮蔽物２００によって遮られ、撮影画像内に遮蔽物領域が存在する。

そして、遮蔽物領域抽出部６０は、遮蔽物領域検出ステップ（被検出物検出ステップ）として、ステップＳ６４で得られた撮影画像内におけるステップＳ６２で投影された画像の領域を抽出する（ステップＳ６６）。このステップＳ６６の処理は、図５のステップＳ２８及び図９で説明した処理と同様に、ステップＳ４４で抽出された撮影画像内の投影画像の四隅の座標位置に基づいて、ステップＳ６４で撮影された撮影画像内の投影画像の領域を抽出する。

次に、遮蔽物領域抽出部６０は、推定撮影画像保存部６２に保存された推定撮影画像と、ステップＳ６６で抽出された撮影画像内の投影画像とを参照して、画素毎に、対応する画素値の差分値を計算し、差分画像を生成する（ステップＳ６８）。

そして、遮蔽物領域抽出部６０は、差分画像の画素毎に差分値の解析を行う。差分画像の全画素について、差分値の解析が終了したとき（ステップＳ７０：Ｙ）、遮蔽物領域抽出部６０は、一連の処理を終了する（エンド）。一方、全画素の差分値の解析が終了していないとき（ステップＳ７０：Ｎ）、遮蔽物領域抽出部６０は、差分値が閾値を超えているか否かを判別する（ステップＳ７２）。

ステップＳ７２において、差分値が閾値を超えていると判別されたとき（ステップＳ７２：Ｙ）、遮蔽物領域抽出部６０は、当該画素を遮蔽物２００によって遮られた遮蔽物領域の画素として登録し（ステップＳ７４）、ステップＳ７０に戻る。このステップＳ７４では、当該画素の位置を登録するようにしてもよいし、差分画像の当該画素を所定の色に変換して可視化してもよい。一方、ステップＳ７２において、差分値が閾値を超えていないと判別されたとき（ステップＳ７２：Ｎ）、遮蔽物領域抽出部６０は、ステップＳ７０に戻って処理を継続する。

［推定撮影画像生成処理の例］
図１２に、図１１のステップＳ６０の推定撮影画像生成処理の詳細な動作例のフロー図を示す。
図１３に、図１１のステップＳ６０の推定撮影画像生成処理の動作説明図を示す。図１３は、１画素を構成する複数の色成分のうち１つの色成分についての推定撮影画像の生成処理の説明図を表す。

推定撮影画像生成部７０は、プロジェクター１００に出力される画像データに対応した画像の全画素について、色成分毎に撮影グレイ画像を参照することで推定撮影画像を生成する。まず、推定撮影画像生成部７０は、全画素について終了していないとき（ステップＳ８０：Ｎ）、Ｒ成分の全画素について処理が終了したか否かを判別する（ステップＳ８２）。

ステップＳ８２において、Ｒ成分の全画素について処理が終了していないとき（ステップＳ８２：Ｎ）、推定撮影画像生成部７０は、ｇ［ｋ］（ｋは整数）≦Ｒ値（Ｒ成分の画素値）となる最大のｋを探索する（ステップＳ８４）。一方、ステップＳ８２において、Ｒ成分の全画素について処理が終了しているとき（ステップＳ８２：Ｙ）、ステップＳ８８に進み、次の色成分であるＧ成分について推定撮影画像の生成処理を行う。

ステップＳ８４に続いて、推定撮影画像生成部７０は、ステップＳ８４で探索されたｋに対応した撮影グレイ画像ＰＧＰｋにおける当該画素位置のＲ成分の画素値と、撮影グレイ画像ＰＧＰ（ｋ＋１）における当該画素位置のＲ成分の画素値とを用いた補間処理により、Ｒ値を求める（ステップＳ８６）。なお、撮影グレイ画像保存部５８に撮影グレイ画像ＰＧＰ（ｋ＋１）が保存されていないときは、求めるＲ値としてｋを採用することができる。

次に、推定撮影画像生成部７０は、Ｇ成分の全画素について処理が終了したか否かを判別する（ステップＳ８８）。ステップＳ８８において、Ｇ成分の全画素について処理が終了していないとき（ステップＳ８８：Ｎ）、推定撮影画像生成部７０は、ｇ［ｋ］（ｋは整数）≦Ｇ値（Ｇ成分の画素値）となる最大のｋを探索する（ステップＳ９０）。ステップＳ８８において、Ｇ成分の全画素について処理が終了しているとき（ステップＳ８８：Ｙ）、ステップＳ９４に進み、次の色成分であるＢ成分について推定撮影画像の生成処理を行う。

ステップＳ９０に続いて、推定撮影画像生成部７０は、ステップＳ９０で探索されたｋに対応した撮影グレイ画像ＰＧＰｋにおける当該画素位置のＧ成分の画素値と、撮影グレイ画像ＰＧＰ（ｋ＋１）における当該画素位置のＧ成分の画素値とを用いた補間処理により、Ｇ値を求める（ステップＳ９２）。なお、撮影グレイ画像保存部５８に撮影グレイ画像ＰＧＰ（ｋ＋１）が保存されていないときは、求めるＧ値としてｋを採用することができる。

最後に、推定撮影画像生成部７０は、Ｂ成分の全画素について処理が終了したか否かを判別する（ステップＳ９４）。ステップＳ９４において、Ｂ成分の全画素について処理が終了していないとき（ステップＳ９４：Ｎ）、推定撮影画像生成部７０は、ｇ［ｋ］（ｋは整数）≦Ｂ値（Ｂ成分の画素値）となる最大のｋを探索する（ステップＳ９６）。ステップＳ９４において、Ｂ成分の全画素について処理が終了しているとき（ステップＳ９４：Ｙ）、ステップＳ８０に戻る。

ステップＳ９６に続いて、推定撮影画像生成部７０は、ステップＳ９６で探索されたｋに対応した撮影グレイ画像ＰＧＰｋにおける当該画素位置のＢ成分の画素値と、撮影グレイ画像ＰＧＰ（ｋ＋１）における当該画素位置のＢ成分の画素値とを用いた補間処理により、Ｂ値を求める（ステップＳ９８）。なお、撮影グレイ画像保存部５８に撮影グレイ画像ＰＧＰ（ｋ＋１）が保存されていないときは、求めるＢ値としてｋを採用することができる。その後、推定撮影画像生成部７０は、ステップＳ８０に戻り、処理を継続する。

以上の処理により、推定撮影画像生成部７０は、図１３に示すように、オリジナルの画像データにより表される画像が画像ＩＭＧ０のとき、画素毎に、当該画素位置Ｑ_１の画素値（Ｒ値、Ｇ値又はＢ値）に近い撮影グレイ画像ＰＧＰｋを求める。そして、推定撮影画像生成部７０は、画素位置Ｑ_１に対応する撮影グレイ画像の画素位置Ｑ_０における画素値を用いて、画素位置Ｑ_１に対応する推定撮影画像ＩＭＧ１の画素位置Ｑ_２における画素値を求める。ここで、推定撮影画像生成部７０は、撮影グレイ画像ＰＧＰｋにおける画素位置Ｑ_０の画素値、又は撮影グレイ画像ＰＧＰｋ、ＰＧＰ（ｋ＋１）における画素位置Ｑ_０の画素値を用いて、推定撮影画像ＩＭＧ１の画素位置Ｑ_２における画素値を求める。推定撮影画像生成部７０は、上記の処理を、全画素について、色成分毎に繰り返すことで、推定撮影画像ＩＭＧ１を生成する。

画像処理部５０において、図５〜図１３で説明した処理を行うことで、次のように遮蔽物２００により遮られた遮蔽物領域を抽出することができる。

図１４に、画像処理部５０の動作説明図を示す。

即ち、画像処理部５０は、プロジェクター１００により投影される画像ＩＭＧ０の画像データを用いて、上記のように推定撮影画像ＩＭＧ１を生成する。その一方、画像処理部５０は、プロジェクター１００に、画像ＩＭＧ０の画像データに基づいてスクリーンＳＣＲの投影領域ＡＲ（投影面ＩＧ１）に画像ＩＭＧ２を投影させる。このとき、例えば人の指等の遮蔽物ＭＴによって投影画像ＩＭＧ２が遮られるものとすると、画像処理部５０は、投影領域ＡＲ内の投影画像ＩＭＧ２をカメラ２０で撮影し、その撮影情報を取得する。

画像処理部５０は、取得した撮影情報に基づいて、撮影画像内の投影画像ＩＭＧ３を抽出する。そして、画像処理部５０は、撮影画像内の投影画像ＩＭＧ３と推定撮影画像ＩＭＧ１との差分を画素毎にとり、その差分値に基づいて、投影画像ＩＭＧ３内の遮蔽物ＭＴの領域ＭＴＲを抽出する。

こうして抽出された遮蔽物領域に基づいて、アプリケーション処理部９０は、例えば次のようなアプリケーション処理を行うことができる。

［アプリケーション処理の例］
図１５に、図４のステップＳ１４のアプリケーション処理の動作例のフロー図を示す。図１６に、図１５の入力座標取得処理（ステップＳ１０２）のフロー図を示す。図１７に、ボタンアイコンの選択方法のフロー図を示す。図１８に、図１５のポストイットドラッグ処理（ステップＳ１０８）のフロー図を示す。図１９に、図１５のライン描画処理（ステップＳ１１２）のフロー図を示す。図２０に、遮蔽物領域からユーザーの指先の位置を指示位置として検出する方法の説明図を示す。

アプリケーション処理部９０は、ボタンアイコンＢＩ１，ＢＩ２，ＢＩ３及びポストイットアイコンＰＩを含む画像を投影させ（ステップＳ１００）、この投影画像に対して図４のステップＳ１２の遮蔽物領域抽出処理において、遮蔽物領域を抽出させる。そして、アプリケーション処理部９０は、ステップＳ１２において遮蔽物領域が抽出されると、ユーザーの指先に該当する位置の画素の座標を入力座標として算出する（ステップＳ１０２）。

手領域である遮蔽物領域からユーザーの指先の位置を検出する方法としては、領域先端部検出や円形領域検出による指先検出方法として公知の技術を利用可能である。本実施形態では、最も単純な領域先端部検出方法により、指先の位置を検出するものとする。この方法は、例えば図２０に示すように、遮蔽物領域ＭＴＲ内の画素のうち、投影画像ＩＭＧ３内の中心位置Ｏに最も近い画素Ｔの座標を入力座標として算出するものである。

アプリケーション処理部９０は、まず、投影画像に対して図４のステップＳ１２の遮蔽物領域抽出処理において、遮蔽物領域を抽出させる。そして、アプリケーション処理部９０は、ステップＳ１２において遮蔽物領域が抽出されると、図１６に示すように、遮蔽物領域内で投影画像の中心に最も近い画素の座標を算出する（ステップＳ１２０）。そして、この位置を指先の位置であると判定して、入力座標として検出する（ステップＳ１２２）。

図１５のステップＳ１０４において入力座標が検出されると、アプリケーション処理部９０は、ポストイットドラッグ指令の有無を検出する（ステップＳ１０６）。ポストイットドラッグ指令は、投影画面上に表示されたポストイットドラッグ用ボタンアイコンＢＩ１（図１参照）を指先でクリックすることにより入力される。

ボタンアイコンがクリックされたか否かは次のように判断される。まず、図１７に示すように、アプリケーション処理部９０は、ステップＳ１０４で検出された入力座標が一定時間以上移動していないか否かを監視する（ステップＳ１３０）。ステップＳ１３０において、一定時間以内に入力座標の位置が移動したことが検出されると（ステップＳ１３０：Ｎ）、アプリケーション処理部９０は、その移動が一定範囲内の移動であるか否かを判別する（ステップＳ１３４）。ステップＳ１３４において、一定範囲内の移動ではないと判別されると（ステップＳ１３４：Ｎ）、アプリケーション処理部９０は、一連の処理を終了する（エンド）。

一方、ステップＳ１３０において、一定時間以上入力座標の位置が移動していない（ステップＳ１３０：Ｙ）、又は一定範囲内の移動であることが検出されたとき（ステップＳ１３４：Ｙ）、アプリケーション処理部９０は、入力座標の位置がボタンアイコンの位置であるか否かを判別する（ステップＳ１３２）。

ステップＳ１３２において、入力座標の位置がボタンアイコンの位置であると判別されたとき（ステップＳ１３２：Ｙ）、アプリケーション処理部９０は、ボタンアイコンが選択されたと判定して、該ボタンアイコンの色を反転させて強調し（ステップＳ１３６）、予め該ボタンアイコンの選択を条件に開始される処理を行い（ステップＳ１３８）、一連の処理を終了する（エンド）。

図１５のステップＳ１０６においてポストイットドラッグ指令が検出されると（ステップＳ１０６：Ｙ）、アプリケーション処理部９０は、ポストイットドラッグ処理を実行する（ステップＳ１０８）。

ステップＳ１０８においては、図１８に示すように、アプリケーション処理部９０は、ステップＳ１０４で検出された入力座標が一定時間以上移動していないか否かを監視する（ステップＳ１４０）。ステップＳ１４０において、一定時間以内に入力座標の位置が移動したことが検出されると（ステップＳ１４０：Ｎ）、アプリケーション処理部９０は、その移動が一定範囲内の移動であるか否かを判別する（ステップＳ１４４）。ステップＳ１４４において、一定範囲内の移動ではないと判別されると（ステップＳ１４４：Ｎ）、アプリケーション処理部９０は、ステップＳ１０４に戻る（エンド）。

一方、ステップＳ１４０において、一定時間以上入力座標の位置が移動していない（ステップＳ１４０：Ｙ）、又は一定範囲内の移動であることが検出されたとき（ステップＳ１４４：Ｙ）、アプリケーション処理部９０は、入力座標の位置がポストイットアイコンの位置であるか否かを判別する（ステップＳ１４２）。

ステップＳ１４２において、入力座標の位置がポストイットアイコンの位置であると判別されたとき（ステップＳ１４２：Ｙ）、アプリケーション処理部９０は、ポストイットアイコンが選択されたと判定して、選択されたポストイットアイコンの色を反転させて強調し（ステップＳ１４６）、該ポストイットアイコンを入力座標の移動軌跡に従って移動させ（ステップＳ１４８）、ステップＳ１０４に戻る（エンド）。

一方、ステップＳ１３２において、入力座標の位置がポストイットアイコンの位置ではないと判別されたとき（ステップＳ１４２：Ｎ）、アプリケーション処理部９０は、ステップＳ１０４に戻る（エンド）。

図１５のステップＳ１０６においてポストイットドラッグ指令が検出されない場合は（ステップＳ１０６：Ｎ）、アプリケーション処理部９０は、ライン描画指令の有無を検出する（ステップＳ１１０）。ライン描画指令は、投影画面上に表示されたライン描画用ボタンアイコンＢＩ２を指先でクリックすることにより入力される。ライン描画用ボタンアイコンＢＩ２がクリックされたか否かは図１７に示した方法で判定される。

図１５のステップＳ１１０においてライン描画指令が検出されると（ステップＳ１１０：Ｙ）、アプリケーション処理部９０は、ライン描画処理を実行する（ステップＳ１１２）。

ステップＳ１１２においては、図１９に示すように、入力座標の移動軌跡に従って所定の色及び太さでラインを描画する（ステップＳ１５０）。この処理は、ラインで囲まれた複数のポストイットアイコンがグループ化されたことを明示するためのものであり、ラインで囲まれた複数のポストイットアイコンに対して実質的な処理を行うものではない。ライン描画が終了すると、ステップＳ１０４に戻る（エンド）。

図１５のステップＳ１１０においてライン描画指令が検出されない場合は（ステップＳ１１０：Ｎ）、アプリケーション処理部９０は、アプリケーション終了指令の有無を検出する（ステップＳ１０２）。アプリケーション終了指令は、投影画面上に表示されたアプリケーション終了用ボタンアイコンＢＩ３を指先でクリックすることにより入力される。アプリケーション終了用ボタンアイコンＢＩ３がクリックされたか否かは図１７に示した方法で判定される。

図１５のステップＳ１０２においてアプリケーション終了指令が検出されると（ステップＳ１０２：Ｙ）、アプリケーション処理部９０は、アプリケーション処理部９０は、一連の処理を終了する（エンド）。

一方、図１５のステップＳ１０２においてアプリケーション終了指令が検出されない場合には（ステップＳ１０２：Ｎ）、ステップＳ１０６以降の処理を繰り返す。

なお、画像処理装置３０は、中央演算処理装置（Central Processing Unit：以下、ＣＰＵ）、読み出し専用メモリー（Read Only Memory：ＲＯＭ）及びランダムアクセスメモリー（Random Access Memory：ＲＡＭ）を有し、ＲＯＭ又はＲＡＭに記憶されたプログラムを読み込んだＣＰＵが該プログラムに対応した処理を実行することで、上記の実施形態１における各処理をソフトウェア処理で実現するようにしてもよい。この場合、ＲＯＭ又はＲＡＭに、上記の処理のフロー図に対応したプログラムが格納される。

図２０では、遮蔽物領域ＭＴＲからユーザーの指先の位置を入力座標（指示位置）として検出する方法として、遮蔽物領域ＭＴＲ内で表示画像の中心に最も近い画素の座標を用いる方法（領域先端部検出）を用いた。しかし、指先の位置を検出する方法はこれに限らず、指先検出方法として公知の他の技術を用いることも可能である。一例としては、特許文献１に記載されたような円形領域検出による指先検出方法が挙げられる。この方法は、指先形状の輪郭が円に近いことに基づき、円形テンプレートを用いて手領域周辺で正規化相関に基づくパターンマッチングを行うことで、指先の位置を検出するものである。

［実施形態２］
実施形態１では、カメラ２０でスクリーンＳＣＲに投影された画像を撮影した撮影画像から投影画像を抽出していたが、これに限定されるものではく、撮影画像内の投影画像を抽出することなく、遮蔽物２００の領域を抽出するようにしてもよい。実施形態２における画像処理装置が、実施形態１における画像処理装置３０と異なる点は、画像処理部の構成及び動作である。従って、以下では、実施形態２における画像処理部の構成及び動作について説明する。

図２１に、実施形態２における画像処理部の構成例のブロック図を示す。図２１において、図３と同一部分には同一符号を付し、適宜説明を省略する。

実施形態２における画像処理部５０ａは、撮影情報取得部５２、キャリブレーション処理部５６ａ、撮影グレイ画像保存部５８、遮蔽物領域抽出部６０ａ、推定撮影画像保存部６２、画像データ出力部６４を含む。遮蔽物領域抽出部６０ａは、推定撮影画像生成部７０ａを含む。画像処理部５０ａが画像処理部５０と異なる点は、画像処理部５０ａが画像処理部５０において画像領域抽出部５４が省略された構成を有している点と、遮蔽物領域抽出部６０ａ（推定撮影画像生成部７０ａ）が、カメラ２０による撮影した画像の形状の推定撮影画像を生成する点である。そのため、撮影情報取得部５２が取得した撮影情報は、キャリブレーション処理部５６ａ及び遮蔽物領域抽出部６０ａに供給される。

キャリブレーション処理部５６ａは、実施形態１と同様にキャリブレーション処理を行うが、キャリブレーション処理における推定撮影画像を生成する際に、遮蔽物２００に遮られることなくカメラ２０で撮影された撮影情報を撮影情報取得部５２から取得する。即ち、複数種類のグレイ画像を表示させて、キャリブレーション処理部５６ａは、撮影情報取得部５２から複数種類の撮影グレイ画像の撮影情報を取得する。撮影グレイ画像保存部５８は、キャリブレーション処理部５６ａによって得られた撮影グレイ画像を保存する。これらの撮影グレイ画像のいずれかの画素の画素値を参照して、カメラ２０で撮影する表示画像を推定した推定撮影画像が生成されることになる。

遮蔽物領域抽出部６０ａにおいても、プロジェクター１００の投影画像を遮蔽物２００により遮られた状態でカメラ２０により撮影された撮影画像と、撮影グレイ画像保存部５８に保存された撮影グレイ画像により生成された推定撮影画像との差分に基づいて、撮影画像内の遮蔽物２００の領域を抽出する。この撮影画像は、撮影情報取得部５２によって取得された撮影情報に対応した画像である。推定撮影画像生成部７０ａは、プロジェクター１００によりスクリーンＳＣＲに投影される画像の画像データから、撮影グレイ画像保存部５８に保存された撮影グレイ画像を参照して推定撮影画像を生成する。推定撮影画像生成部７０ａによって生成された推定撮影画像は、推定撮影画像保存部６２に保存される。

画像処理部５０ａは、プロジェクター１００に投影される画像の画像データから、実際にカメラ２０で撮影した画像を推定した推定撮影画像を生成する。そして、この推定撮影画像と、該画像データに基づいて表示された投影画像を撮影した撮影画像との差分に基づいて、遮蔽物２００の領域が抽出される。こうすることで、推定撮影画像と、これを生成する際に使用したカメラ２０を用いて得られた撮影画像との差分は、外光のムラ、スクリーンＳＣＲの「なみ」、「すじ」、汚れ等の状態、プロジェクター１００の位置やズーム状態、カメラ２０の位置や歪み等に起因したノイズの影響をなくすことができる。これにより、上記のノイズの影響を受けることなく、遮蔽物２００の領域を高精度に検出できるようになる。この際、形状を補正することなく、差分画像に基づいて遮蔽物２００の領域を抽出するため、形状補正の際のノイズによる誤差をなくし、実施形態１より高精度に遮蔽物２００の領域を検出できるようになる。

このような画像処理部５０ａを有する実施形態２における画像処理装置は、図１の画像表示システム１０に適用することができる。この実施形態２における画像処理装置の動作は、図４の動作と同様であるが、ステップＳ１０のキャリブレーション処理とステップＳ１２の遮蔽物領域抽出処理の処理が異なる。

［キャリブレーション処理の例］
図２２に、実施形態２におけるキャリブレーション処理の詳細な動作例のフロー図を示す。

キャリブレーション処理が開始されると、キャリブレーション処理部５６ａは、実施形態１と同様の画像領域抽出初期化処理を行う（ステップＳ１６０）。より具体的には、画像領域抽出初期化処理では、撮影画像内の四角形状の投影画像の四隅の座標位置を抽出する処理を行う。

次に、キャリブレーション処理部５６ａは、グレイ画像の画素値に対応した変数ｉを「０」に設定して変数ｉを初期化する（ステップＳ１６２）。続いて、キャリブレーション処理部５６ａでは、例えば画像データ生成部４０により各色成分の画素値がｇ［ｉ］のグレイ画像の画像データを生成させ、画像データ出力部６４が該画像データをプロジェクター１００に出力して、画素値ｇ［ｉ］のグレイ画像をスクリーンＳＣＲに投影させる（ステップＳ１６４）。そして、キャリブレーション処理部５６ａは、ステップＳ１６４でスクリーンＳＣＲに投影された画像をカメラ２０で撮影し、撮影情報取得部５２においてカメラ２０の撮影画像の撮影情報を取得する（ステップＳ１６６）。

次に、キャリブレーション処理部５６ａは、ステップＳ１６６で取得された撮影グレイ画像を、該撮影グレイ画像に対応したｇ［ｉ］と関連付けて撮影グレイ画像保存部５８に保存する（ステップＳ１６８）。

キャリブレーション処理部５６ａは、変数ｉに整数ｄを加算して変数ｉを更新し（ステップＳ１７０）、次のグレイ画像の撮影に備える。なお、ステップＳ１７０で更新された変数ｉが所与の最大値Ｎ以上のとき（ステップＳ１７２：Ｎ）、一連の処理を終了し（エンド）、更新後の変数ｉが最大値Ｎより小さいとき（ステップＳ１７２：Ｙ）、ステップＳ１６４に戻る。

［遮蔽物領域抽出処理の例］
図２０に、実施形態２における遮蔽物抽出処理の詳細の動作例のフロー図を示す。
図２１に、図２０の遮蔽物抽出処理における推定撮影画像生成処理の動作説明図を示す。図２１は、１画素を構成する複数の色成分のうち１つの色成分についての推定撮影画像の生成処理の説明図を表す。

実施形態１と同様に遮蔽物抽出処理が開始されると、遮蔽物領域抽出部６０ａは、推定撮影画像生成部７０ａにおいて推定撮影画像生成処理を行う（ステップＳ１８０）。この推定撮影画像生成処理では、ステップＳ１６８において保存された撮影グレイ画像の各画素値を参照して、実際にプロジェクター１００により投影させる画像データを変換して、推定撮影画像の画像データが生成される。遮蔽物領域抽出部６０ａは、ステップＳ１８０において生成された推定撮影画像を、推定撮影画像保存部６２に保存する。

ステップＳ１５０において、推定撮影画像生成部７０ａは、実施形態１と同様に推定撮影画像を生成する。即ち、推定撮影画像生成部７０ａは、まずステップＳ１６０で取得された撮影画像内の四隅の座標位置を用いて、オリジナルの画像データにより表される画像に対して公知の形状補正を行う。そして、この形状補正後の画像に対して、実施形態１と同様にして推定撮影画像を生成する。より具体的には、図２４に示すように、オリジナルの画像データにより表される画像が画像ＩＭＧ０のとき、画素毎に、当該画素位置の画素値（Ｒ値、Ｇ時又はＢ値）に近い撮影グレイ画像を求める。そして、推定撮影画像生成部７０ａは、当該画素位置に対応する撮影グレイ画像の画素位置における画素値を用いて、当該画素位置に対応する推定撮影画像ＩＭＧ１の画素位置における画素値を求める。ここで、推定撮影画像生成部７０ａは、撮影グレイ画像ＰＧＰｋにおける画素位置の画素値、又は撮影グレイ画像ＰＧＰｋ、ＰＧＰ（ｋ+１）における画素位置の画素値を用いて、推定撮影画像ＩＭＧ１の画素位置における画素値を求める。推定撮影画像生成部７０ａは、上記の処理を、全画素について、色成分毎に繰り返すことで、推定撮影画像ＩＭＧ１を生成する。これにより、推定撮影画像生成部７０ａは、推定撮影画像の形状を撮影画像内の投影画像の形状に揃えることができる。

次に、遮蔽物領域抽出部６０ａからの指示により、画像データ出力部６４は、実際にプロジェクター１００により投影させるオリジナルの画像データをプロジェクター１００に出力し、該画像データに基づく画像をプロジェクター１００によりスクリーンＳＣＲに投影させる（ステップＳ１８２）。このオリジナルの画像データは、ステップＳ１８０の推定撮影画像生成処理において、推定撮影画像の生成元の画像データである。

続いて、遮蔽物領域抽出部６０ａは、ステップＳ１８２において投影された画像をカメラ２０で撮影させる制御を行い、撮影情報取得部５２を介して、この撮影画像の撮影情報を取得する（ステップＳ１８４）。このとき取得された撮影画像は、プロジェクター１００による投影画像が遮蔽物２００によって遮られ、撮影画像内に遮蔽物領域が存在する。

そして、遮蔽物領域抽出部６０ａは、推定撮影画像保存部６２に保存された推定撮影画像と、ステップＳ１８４で取得された投影画像とを参照して、画素毎に、対応する画素値の差分値を計算し、差分画像を生成する（ステップＳ１８６）。

そして、遮蔽物領域抽出部６０ａは、差分画像の画素毎に差分値の解析を行う。差分画像の全画素について、差分値の解析が終了したとき（ステップＳ１８８：Ｙ）、遮蔽物領域抽出部６０ａは、一連の処理を終了する（エンド）が、全画素の差分値の解析が終了していないとき（ステップＳ１８８：Ｎ）、遮蔽物領域抽出部６０ａは、差分値が閾値を超えているか否かを判別する（ステップＳ１９０）。

ステップＳ１９０において、差分値が閾値を超えていると判別されたとき（ステップＳ１９０：Ｙ）、遮蔽物領域抽出部６０ａは、当該画素を遮蔽物２００によって遮られた遮蔽物領域の画素として登録し（ステップＳ１９２）、ステップＳ１８８に戻る。このステップＳ１９２では、当該画素の位置を登録するようにしてもよいし、差分画像の当該画素を所定の色に変換して可視化してもよい。一方、ステップＳ１９０において、差分値が閾値を超えていないと判別されたとき（ステップＳ１９０：Ｎ）、遮蔽物領域抽出部６０ａは、ステップＳ１８８に戻って処理を継続する。

画像処理部５０ａにおいて、上記説明した処理を行うことで、実施形態１と同様に遮蔽物２００の領域を抽出することができる。遮蔽物領域からユーザーの指先の位置を入力座標（指示位置）として検出する方法は実施形態１と同じである。なお、実施形態２においても、画像処理装置は、ＣＰＵ、ＲＯＭ及びＲＡＭを有し、ＲＯＭ又はＲＡＭに記憶されたプログラムを読み込んだＣＰＵが該プログラムに対応した処理を実行することで、上記の実施形態２における各処理をソフトウェア処理で実現するようにしてもよい。この場合、ＲＯＭ又はＲＡＭに、上記の処理のフロー図に対応したプログラムが格納される。

図２５に、画像処理部５０ａの動作説明図を示す。

即ち、画像処理部５０ａは、プロジェクター１００により投影される画像ＩＭＧ０の画像デーダを用いて、上記のように推定撮影画像ＩＭＧ１を生成する。このとき、予め抽出された投影領域ＡＲ（投影面ＩＧ１）内の画像の四隅の座標位置を用いて形状補正後の推定撮影画像ＩＭＧ１を生成する。

その一方、画像処理部５０は、プロジェクター１００に、画像ＩＭＧ０の画像データに基づいてスクリーンＳＣＲの投影領域ＡＲ（投影面ＩＧ１）に画像ＩＭＧ２を投影させる。このとき、例えば人の指等の遮蔽物ＭＴによって投影画像ＩＭＧ２が遮られるものとすると、画像処理部５０ａは、投影領域ＡＲ内の投影画像ＩＭＧ２をカメラ２０で撮影し、その撮影情報を取得する。

画像処理部５０ａは、撮影画像内の投影画像ＩＭＧ２と推定撮影画像ＩＭＧ１との差分を画素毎にとり、その差分値に基づいて、投影画像ＩＭＧ２内の遮蔽物ＭＴの領域ＭＴＲを抽出する。

［実施形態３］
実施形態１又は実施形態２では、画像表示装置として画像投影装置であるプロジェクター１００を採用し、プロジェクター１００からの投影画像が遮蔽物２００で遮られたときの投影画像内における遮蔽物２００の領域を抽出する例について説明したが、本発明はこれに限定されるものではない。

図２６に、本発明の実施形態３における画像表示システムの構成例のブロック図を示す。図２６において、図１と同一部分には同一符号を付し、適宜説明を省略する。

実施形態３における画像表示システム１０ａは、撮像装置としてのカメラ２０と、画像処理装置３０と、画面ＧＭを有する画像表示装置３００とを含む。画像表示装置３００は、画像処理装置３０からの画像データに基づいて画面ＧＭ（広義には表示画面）に画像を表示する。このような画像表示装置としては、液晶表示装置、有機ＥＬ（Electro Luminescence）表示装置やＣＲＴ（Cathode Ray Tube）等の表示装置を採用できる。また、画像処理装置３０として、実施形態１又は実施形態２における画像処理装置を提供することができる。

このとき、カメラ２０と画面ＧＭとの間に存在する遮蔽物２００により表示画像が遮られると、画像処理装置３０は、カメラ２０で表示画像を撮影した撮影情報を用いて、表示画像内の遮蔽物２００の領域を検出する処理を行う。より具体的には、画像処理装置３０は、画面ＧＭに表示される画像に対応した画像データから、カメラ２０で撮影した状態を推定した推定撮影画像を生成し、該推定撮影画像と遮蔽物２００により遮られた表示画像をカメラ２０で撮影した撮影画像との差分に基づいて、遮蔽物２００の領域を検出する。遮蔽物領域からユーザーの指先の位置を入力座標（指示位置）として検出する方法は実施形態１と同じである。

これにより、専用のカメラを設ける必要がなくなり、低コストで遮蔽物２００の領域を検出できるようになる。また、画像表示装置３００の画面ＧＭに表示される画像が、外光や画面ＧＭの状態等に起因したノイズによって色が一様でなくなる場合であっても、推定撮影画像を用いて撮影画像との差分により遮蔽物２００の領域を検出するようにしたので、ノイズの影響を受けることなく遮蔽物２００の領域を高精度の検出できるようになる。

以上、本発明に係る画像処理装置、画像表示システム、及び画像処理方法等を上記のいずれかの実施形態形に基づいて説明したが、本発明は上記のいずれかの実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

（１）上記のいずれかの実施形態では、画像投影装置や画像表示装置を例に説明したが、本発明はこれに限定されるものではない。画像データに基づいて画像を表示する装置全般に本発明適用することができることは言うまでもない。

（２）上記の実施形態１又は実施形態２では、光変調素子として透過型の液晶パネルを用いたライトバルブを用いるものとして説明したが、本発明はこれに限定されるものではない。光変調素子として、例えばＤＬＰ（Digital Light Processing）（登録商標）、ＬＣＯＳ（Liquid Crystal On Silicon）等を採用してもよい。また、上記の実施形態１又は実施形態２において、光変調素子として、いわゆる３板式の透過型の液晶パネルを用いたライトバルブ、単板式の液晶パネルや２板又は４板式以上の透過型の液晶パネルを用いたライトバルブを採用することができる。

（３）上記のいずれかの実施形態において、本発明を、画像処理装置、画像表示システム、及び画像処理方法等として説明したが、本発明はこれに限定されるものではない。例えば、本発明を実現するための画像処理装置の処理方法（画像処理方法）、又は本発明を実現するための画像表示装置の処理方法（画像表示方法）の処理手順が記述されたプログラムや、該プログラムが記録された記録媒体であってもよい。

１０，１０ａ…画像表示システム、２０…カメラ、３０…画像処理装置、４０…画像データ生成部、５０，５０ａ…画像処理部、５２…撮影情報取得部、５４…画像領域抽出部、５６，５６ａ…キャリブレーション処理部、５８…撮影グレイ画像保存部、６０，６０ａ…遮蔽物領域抽出部、６２…推定撮影画像保存部、６４…画像データ出力部、７０，７０ａ…推定撮影画像生成部、９０…アプリケーション処理部、１００…プロジェクター、２００…遮蔽物、３００…画像表示装置、ＧＭ…画面、ＳＣＲ…スクリーン

Claims (11)

1. 表示画面とカメラとの間に存在するユーザーの手を被検出物として検出し、検出された前記被検出物のうち前記ユーザーの指先に該当する位置を指示位置として検出し、前記指示位置に対応した所定の処理を行う画像処理装置であって、
   前記表示画面に表示されたモデル画像を前記被検出物により遮られることなく前記カメラにより撮影した撮影情報に基づき、画像データから、当該画像データを前記表示画面に表示して前記カメラで撮影した画像を推定した推定撮影画像を生成する推定撮影画像生成部と、
   前記画像データに基づいて前記表示画面に表示される表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影した撮影画像と、前記推定撮影画像との差分に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出部と、
   前記被検出物検出部により検出された前記被検出物領域のうち前記ユーザーの指先に該当する位置を指示位置として検出し、前記指示位置に対応した所定の処理を行うアプリケーション処理部と、を含むことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記モデル画像は、複数種類のグレイ画像を含み、
   前記推定撮影画像生成部は、前記表示画面に表示された前記複数種類のグレイ画像を前記カメラにより撮影した複数種類の撮影グレイ画像を用いて、前記画像データに対応した前記表示画像の画素値を画素毎に推定した前記推定撮影画像を生成することを特徴とする画像処理装置。
3. 請求項１又は２に記載の画像処理装置において、
   前記撮影画像から前記表示画像の領域を抽出すると共に、前記撮影画像内の前記表示画像の形状を前記推定撮影画像の形状に揃える画像領域抽出部を含み、
   前記被検出物検出部が、前記画像領域抽出部によって抽出された前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出することを特徴とする画像処理装置。
4. 請求項１又は２に記載の画像処理装置において、
   前記推定撮影画像生成部が、前記推定撮影画像の形状を前記撮影画像内の前記表示画像の形状に揃え、
   前記被検出物検出部が、前記撮影画像内の前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出することを特徴とする画像処理装置。
5. 請求項３又は４に記載の画像処理装置において、
   前記表示画面に表示された所与の初期化用画像を前記カメラにより撮影した撮影画像内の前記初期化用画像の四隅の位置に基づいて、前記推定撮影画像又は前記表示画像の形状を揃えることを特徴とする画像処理装置。
6. 請求項１乃至５のいずれか１項に記載の画像処理装置において、
   前記表示画面は、スクリーンであり、
   前記表示画像は、前記画像データに基づいて前記スクリーンに投影された投影画像であることを特徴とする画像処理装置。
7. 請求項１乃至６のいずれか１項に記載の画像処理装置において、
   前記アプリケーション処理部は、前記指示位置に表示されたアイコン画像を前記指示位置の移動軌跡に従って移動させることを特徴とする画像処理装置。
8. 請求項１乃至６のいずれか１項に記載の画像処理装置において、
   前記アプリケーション処理部は、前記指示位置の移動軌跡に従って前記表示画面内に所定の色及び太さのラインを描画することを特徴とする画像処理装置。
9. 請求項１乃至６のいずれか１項に記載の画像処理装置において、
   前記アプリケーション処理部は、前記指示位置に表示されたアイコン画像に関連付けられた所定の処理を実行することを特徴とする画像処理装置。
10. 請求項１乃至９のいずれか１項に記載の画像処理装置と、
    前記表示画面に表示された画像を撮影する前記カメラと、
    前記モデル画像又は前記表示画像の画像データに基づいて画像を表示する画像表示装置と、を含むことを特徴とする画像表示システム。
11. 表示画面とカメラとの間に存在する被検出物としてのユーザーの指先を画像処理により検出し、検出された前記指先の位置を指示位置として検出し、前記指示位置に対応した所定の処理を行う画像処理方法であって、
    前記表示画面に表示されたモデル画像を前記被検出物により遮られること無く前記カメラにより撮影した撮影情報に基づき、画像データから、当該画像データを前記表示画面に表示して前記カメラで撮影した画像を推定した推定撮影画像を生成する推定撮影画像生成ステップと、
    前記画像データに基づいて前記表示画面に表示画像を表示する画像表示ステップと、
    前記画像表示ステップにおいて前記表示画面に表示される前記表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影する表示画像撮影ステップと、
    前記表示画像撮影ステップにおいて撮影された撮影画像と、前記推定撮影画像との差分に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出ステップと、
    前記被検出物検出ステップにおいて検出された前記被検出物領域のうち前記ユーザーの指先に該当する位置を指示位置として検出し、前記指示位置に対応した所定の処理を行うアプリケーション処理ステップと、を含むことを特徴とする画像処理方法。

Images