JP4665808B2 - 検出装置 - Google Patents

Description

本発明は、スクリーンに投射されるポインタ光を検出する検出装置に係り、特に、
プロジェクタなどによりスクリーンに投影された画像にレーザポインタなどで指示された場所を撮像した画像から検出して各種処理を行うプレゼンテーション装置におけるレーザポインタの検出に用いられる。

近年、会議や発表会においては、ＰＣ（Personal Computer）のデータをプロジェクターで表示し、レーザポインター等の光点でその表示画面を指示しながらプレゼンテーションを行うことが一般的になっている。さらには、レーザポインタの操作により表示画面上に現れる光点の動きをデジタルカメラなどで撮像された画像から検出し、画面の表示を切り換えるなどの機能を有するプレゼンテーション装置がある。

例えば、特許文献１には、スクリーンに投射された画像の所定部分をレーザポインタで指示された状態を撮像し、そのレーザポインタの指示位置を投射画像と撮影画像とを比較する、又は、撮像画像をある閾値で２値化するなどして検出し、その指示位置に応じて画像を投射するプロジェクタシステムに関する技術が開示されている。
特開２００４−２６５２３５号公報

上述したプレゼンテーション装置においては、近年の表示技術の進歩によりプロジェクタ等の輝度が向上しているため、室内の蛍光灯などの照明を点灯した下でプレゼンテーションが行われる場合がある。

この照明下におけるプレゼンテーションについて図１を参照して説明する。図１（ａ）は、照明下におけるプレゼンテーション装置の撮像画像を例示する図であり、図１（ｂ）は、照明下において左右方向にポインタＰが操作された場合における撮像画像を例示する図であり、図１（ｃ）は、撮像画像においてスクリーンＳと照明Ｌとが近い状態を例示する図である。

上述した照明下でプレゼンテーションを行う際のプレゼンテーション装置における撮像画像には、図１（ａ）に示すように、プロジェクターで表示するスクリーンＳ方向を撮像した撮像画像Ｇにおいて、ポインタＰの他に照明Ｌが入ることがある。

この場合、従来技術では、照明光をレーザポインタ等の光点と認識してしまい、レーザポインタの操作に応じたプレゼンテーション装置の操作を阻害する虞があった。具体的には、図１（ｂ）に示すように、撮像画像Ｇにおける照明ＬがポインタＰの左右方向の軌跡として認識される場合があった。さらに、図１（ｃ）に示すように、カメラの撮像角度によってはスクリーンＳと照明Ｌとが近づいてしまう場合があり、スクリーンＳ上のポインタＰが誤認される可能性が高かった。

本発明の課題は、上記従来技術の問題点に鑑みてなされたものであって、照明下でもレーザポインタなどのポインタを正確に検出する検出装置を提供することである。

上記課題を解決するために、請求項１に記載の発明は、スクリーンに表示された画像及び当該スクリーン上に投射されたポインタの投射光を撮像する撮像装置と、画像処理により前記撮像装置により取得された画像から前記ポインタの投射光像を検出する検出手段と、を備え、前記検出手段は、前記取得画像におけるスクリーン画像の左右方向に走査しつつ下部から上部に向かって順次画像処理を行うことを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明において、前記検出手段のポインタ投射光像の検出は、前記取得画像内の高輝度画像点を検出することにより行うことを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載の発明において、前記取得画像におけるスクリーン位置を指定するスクリーン位置指定手段を更に備え、前記検出手段は、前記スクリーン位置指定手段で指定された前記取得画像内のスクリーン画像の範囲を画像処理範囲として画像処理を行うことを特徴とする。

請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の発明において、前記スクリーンは、プロジェクタからの投影画像を映す映像面であることを特徴とする。

請求項５に記載の発明は、請求項１〜３のいずれか一項に記載の発明において、前記スクリーンは、表示装置の映像面であることを特徴とする。

請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の発明において、前記ポインタは、レーザポインタであることを特徴とする。

本発明によれば、スクリーンに表示された画像及び当該スクリーン上に投射されたポインタの投射光を撮像してその投射光像を検出する際に、取得画像におけるスクリーン画像の左右方向に走査しつつ下部から上部に向かって順次画像処理を行うため、照明下であってもその照明光の検出に先立ってポインタ投射光の検出を行い、より正確にポインタを検出することができる。

以下、本実施の形態について図２〜図６を参照して説明する。なお、この実施の形態は最も好ましい形態を示すものであり、特にこの形態に限定するものではない。

図２は、プレゼンテーション装置１の構成の概略を示す概略図であり、図３は、制御装置２０の機能的構成を模式的に示すブロック図であり、図４は、制御装置２０におけるポインタ検出処理を示すフローチャートであり、図５は、制御装置２０におけるポインタ検出処理の変形例を示すフローチャートであり、図６（ａ）は、撮像画像Ｇにおけるポインタ検出走査を例示する図であり、図６（ｂ）は、撮像画像Ｇにおけるスクリーン領域の設定を例示する図である。

先ず、プレゼンテーション装置１の概要を説明する。プレゼンテーション装置１は、図２に示すように、スクリーンＳに画像を投射するプロジェクタ１０と、そのプロジェクタ１０で投射すべき画像を出力する制御装置２０と、スクリーンＳ方向を向いて当該スクリーンＳを含む撮像範囲Ｗで撮像してその撮像画像を制御装置２０に出力するカメラ３０を有する構成である。このプレゼンテーション装置１により、発表者は、スクリーンＳ上にプロジェクタ１０から投射される画像をレーザポインタＬＰから投射されるポインタＰで指し示しながらプレゼンテーションを行う。

プロジェクタ１０は、制御装置２０から入力される画像信号に基づいて、光源ランプが出力する光をＤＭＤ（Digital Micromirror Device）や液晶スクリーンなどを介して変調し、光学レンズを通してスクリーン面に投射することによって、スクリーンＳ上に画像を表示する装置である。

制御装置２０は、例えばノートＰＣ（Personal Computer）などの情報機器であり、図３に示すように、制御部２１、画像処理部２２、記憶部２３、Ｉ／Ｆ部２４、操作部２５及び表示部２６を備え、各部はバス２７により電気的に接続されている。

制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える。制御部２１は、ＣＰＵがＲＯＭや記憶部２３に格納された制御プログラムなどを順次実行することで各部の動作を制御し、制御装置２０を統括制御する。

画像処理部２２は、ＤＳＰ（Digital Signal Processor）などであり、制御部２１の制御の下、入力されたデジタル画像信号に対し、輝度処理、色処理、又は所定の閾値に基づいた対象検出などの各種画像処理を施して、その結果を制御部２１に出力する。

記憶部２３は、光学的・磁気的記憶媒体や半導体メモリ、ＨＤＤ（Hard Disk Drive）などであり、制御装置２０で処理を行うアプリケーションプログラムや各種データを格納する。

Ｉ／Ｆ部２４は、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４（Institute of Electrical and Electronic Engineers 1394）などの通信インターフェイスであり、カメラ３０からの撮像画像データの入力やプロジェクタ１０で投射する画像データの出力を行う。

操作部２５は、数字キー、文字キー、各種機能キー等から構成されるキーボードや、マウス、タッチパネル等のポインティングデバイスを含んで構成され、利用者からの各種指示を受け付けて制御部２１へ出力する。

表示部２６は、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、有機又は無機ＥＬＤ（ElectroLuminescence Display）、プラズマディスプレイ等から構成されており、制御部２１による制御の下、当該制御部２１から入力される表示データを画面上に表示する。

カメラ３０は、ガラスやプラスチックなどからなる光学レンズからの光をＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子上に光学像として結像するデジタルカメラであり、図２に示すように、スクリーンＳ方向の撮像範囲Ｗを撮像し、その撮像画像データを制御装置２０に出力する。

上述した構成により、プレゼンテーション装置１は、制御部２１が記憶部２３に格納されたプレゼンテーション用のアプリケーションプログラムを順次実行することで、記憶部２３などに格納される表示用の画像データを読み出してプロジェクタ１０へ出力する。この際に、制御部２１は、ポインタ検出用プログラムを実行して、プロジェクタ１０へ出力する画像データを操作部２５からの指示や後述するポインタ検出処理を行う。そして、制御部２１は、そのポインタ検出処理で検出されるポインタの位置や軌跡に応じて表示制御処理を行う。この表示制御とは、例えば表示画像の切り換えや拡大／縮小などである。利用者は、操作部２５からの操作入力の他に、レーザポインタＬＰの操作により撮像範囲ＷにあるポインタＰを動かすなどして、プレゼンテーション時にスクリーンＳに表示される画像の表示切り換え等の指示をすることができる。

次に、制御部２１がプレゼンテーション用のアプリケーションプログラムの実行時などに行うポインタ検出処理について詳細に説明する。

図４に示すように、先ず、制御部２１は、カメラ３０からの撮像画像データを受信し（ステップＡ１１）、当該撮像画像データ（取得画像）を記憶部２３やＲＡＭなどに一時的に格納する（ステップＡ１２）。

次いで、その格納された撮像画像データにおける撮像画像のうちで、左下角の画素から一画素ずつ右方向に読み出され（ステップＡ１３）、その読み出された画素における輝度値などがＲＯＭや記憶部２３などで予め設定された閾値を超えたか否かが判定されて（ステップＡ１４）、その閾値を超えるまでステップＡ１３、Ａ１４の処理が繰り返される。つまり、ステップＡ１３、Ａ１４の処理で、取得画像における高輝度画像点の検出を行う。

この所定の閾値を超えるまで行われる撮像画像データの読み出しは、図６（ａ）に示すように、撮像画像Ｇにおける画素ラインＹ１の左端から順次行われ、右端に達したところで一つ上のラインである画素ラインＹ２の左端からまた順次行われて、画素ラインＹｎの右端まで行う構成である。また、画素の読み出しは、撮像画像データにおける下のラインから上のラインに向かって読み出す構成であれば、右端から左端に行う場合や、左又は右端である一端側から他端側に到達した場合に一つ上のラインの他端側から一端側に戻る場合などであってよく、特に限定するものではない。

ステップＡ１４において、所定の閾値を超えたと判定された場合は、その判定された画素の位置（撮像画像における座標）がポインタの位置として検出され（ステップＡ１５）、そのポインタの位置に応じて予めＲＯＭや記憶部２３などで設定された所定のコマンド、例えば表示画像の切換などが実行され（ステップＡ１６）、そのステップＡ１６で実行されるコマンドや操作部２５からの操作指示が処理の終了であるか否かが判定されて（ステップＡ１７）、終了である場合はそのまま終了し、終了でない場合はステップＡ１１に戻る。なお、ステップＡ１６においては、ステップＡ１１〜Ａ１５の処理を一定時間ループして行って得られるポインタ位置の軌跡に基づいて所定のコマンドを実行する構成であってもよい。

［変形例］
次に、制御部２１が制御して行う上述したポインタ検出処理の変形例であり、ポインタ検出処理に先立って、制御装置２０で撮像範囲ＷにおけるスクリーンＳの領域（位置）を予め設定しておき、その設定されたスクリーンＳの領域でポインタ検出を行うポインタ検出処理について詳細に説明する。

撮像範囲ＷにおけるスクリーンＳの領域の設定は、図６（ｂ）に示すように、カメラ３０で撮像した撮像画像Ｇを表示部２６に表示させ、その表示された撮像画像ＧにおいてスクリーンＳの角に合わせて操作部２５から指定される指定ポイントＸ１〜Ｘ４の座標を記憶部２３に格納するなどして行われる。

また、スクリーンＳの領域の設定は、上述した操作部２５での設定の他に、ポインタにより設定する構成であってよい。具体的には、後述するスクリーンＳの領域でのポインタ検出処理に先立って、ステップＡ１１〜Ａ１７で示したポインタ検出処理で検出されるポインタ位置と、図６（ｂ）に示すような指定ポイントＸ１〜Ｘ４位置でのポインタのクロス軌跡に基づいてスクリーンＳの位置の設定を行う構成である。

スクリーンＳ領域でのポインタ検出を行うポインタ検出処理が開始されると、制御部２１は、前述したステップＡ１１〜Ａ１３と同様に、プロジェクタ１０で撮像された撮像画像から順次画素の読み出しを行う（ステップＡ２１〜Ａ２３）。

次いで、その読み出された画素がスクリーンＳ上の画素であるか否か、つまり先立って設定されたスクリーンＳの領域内の画素であるか否かが判定され（ステップＡ２４）、その領域内でない場合は画素の読み出し処理であるステップＡ２３に戻り、領域内である場合は前述したステップＡ１４〜Ａ１７と同様に、その画素の輝度値が所定の閾値を超えたか否かの判定によるポインタ位置検出とそれに応じたコマンドの実行や終了判定が行われて終了する（ステップＡ２５〜Ａ２８）。

なお、上述したポインタ検出処理は、スクリーンＳ領域でのポインタ検出を行う構成としたが、スクリーンＳの位置以下の領域（例えば図６（ｂ）における指定ポイントＸ１、Ｘ２以下）であってもよく、予め設定された位置に応じた領域でポインタ検出を行うものでもよい。

以上のように、プレゼンテーション装置１は、発表者がレーザポインタＬＰなどを操作してスクリーンＳに現れるポインタＰをカメラ３０で撮像した撮像画像から画像処理により検出する際に、撮像画像を左右方向に走査しつつ下部領域から上部領域に向かって画像処理を行う構成である。

このため、プレゼンテーション装置１は、天井などに設置された照明下でポインタ検出を行う場合であっても、その照明光の検出に先立ってポインタの検出を行うことができ、確実にポインタの検出を行うことができる。

また、プレゼンテーション装置１は、左右方向に走査しつつ下部領域から上部領域に向かって高輝度画像点を検出する画像処理によりポインタの検出を行う構成であり、ポインタの投射光像を確実に検出することができる。

また、プレゼンテーション装置１は、撮像画像に含まれるスクリーンＳの領域（位置）を指定し、その指定された位置に応じた領域、つまりこの場合はスクリーンＳの領域でポインタ検出を行う構成である。

このため、プレゼンテーション装置１は、ポインタの検出に際して撮像した撮像画像の中にポインタと誤認されやすい照明光が多く含まれる場合であっても、ポインタの検出精度の低下を防止することができる。

なお、本実施の形態における記述は、一例を示すものであり、これに限定することを意味するものではない。本実施の形態におけるプレゼンテーション装置１の構成及び動作に関しては、適宜変更が可能なものである。

例えば、プレゼンテーション装置１ではスクリーンＳにプロジェクタ１０から画像を投射する構成を例示したが、スクリーンＳは、液晶ディスプレイ、プラズマディスプレイ、リアプロジェクションモニタなどの表示画面であってよい。プレゼンテーション装置１は、プロジェクタからの投射画像を映すスクリーンＳや、上記表示装置の映像面に現れるポインタの検出を行うことで、その検出に応じた表示制御を行うプレゼンテーション装置に対して円滑な指示を行うことができる。

また、プレゼンテーション装置１では、ポインタＰはレーザポインタＬＰから投射される構成を例示したが、先端がＬＥＤ（Light Emitting Diode）などで光る指示棒などであってよい。プレゼンテーション装置１は、レーザポインタや光る指示棒などの検出を行うことで、その検出に応じた表示制御を行うプレゼンテーション装置に対して円滑な指示を行うことができる。

（ａ）は、照明下におけるプレゼンテーション装置の撮像画像を例示する図であり、（ｂ）は、照明下において左右方向にポインタＰが操作された場合における撮像画像を例示する図であり、（ｃ）は、撮像画像においてスクリーンＳと照明Ｌとが近い状態を例示する図である。 プレゼンテーション装置１の構成の概略を示す概略図である。 制御装置２０の機能的構成を模式的に示すブロック図である。 制御装置２０におけるポインタ検出処理を示すフローチャートである。 制御装置２０におけるポインタ検出処理の変形例を示すフローチャートである。 （ａ）は、撮像画像Ｇにおけるポインタ検出走査を例示する図であり、（ｂ）は、撮像画像Ｇにおけるスクリーン領域の設定を例示する図である。

符号の説明

１ プレゼンテーション装置（検出装置）
１０ プロジェクタ
２０ 制御装置
２１ 制御部（検出手段）
２２ 画像処理部（検出手段）
２３ 記憶部
２４ Ｉ／Ｆ部
２５ 操作部（スクリーン位置指定手段）
２６ 表示部（スクリーン位置指定手段）
２７ バス
３０ カメラ（撮像装置）
Ｇ 撮像画像
Ｌ 照明
ＬＰ レーザポインタ（スクリーン位置指定手段）
Ｐ ポインタ
Ｓ スクリーン
Ｗ 撮像範囲
Ｙ１、Ｙ２、Ｙｎ 画素ライン
Ｘ１〜Ｘ４ 指定ポイント

Claims (6)

1. スクリーンに表示された画像及び当該スクリーン上に投射されたポインタの投射光を撮像する撮像装置と、画像処理により前記撮像装置により取得された画像から前記ポインタの投射光像を検出する検出手段と、を備え、
   前記検出手段は、前記取得画像におけるスクリーン画像の左右方向に走査しつつ下部から上部に向かって順次画像処理を行うことを特徴とするポインタ投射光像の検出装置。
2. 前記検出手段のポインタ投射光像の検出は、前記取得画像内の高輝度画像点を検出することにより行うことを特徴とする請求項１に記載の検出装置。
3. 前記取得画像におけるスクリーン位置を指定するスクリーン位置指定手段を更に備え、
   前記検出手段は、前記スクリーン位置指定手段で指定された前記取得画像内のスクリーン画像の範囲を画像処理範囲として画像処理を行うことを特徴とする請求項１又は２に記載の検出装置。
4. 前記スクリーンは、プロジェクタからの投影画像を映す映像面であることを特徴とする請求項１〜３のいずれか一項に記載の検出装置。
5. 前記スクリーンは、表示装置の映像面であることを特徴とする請求項１〜３のいずれか一項に記載の検出装置。
6. 前記ポインタは、レーザポインタであることを特徴とする請求項１〜５のいずれか一項に記載の検出装置。

Images