《第1の実施形態》
以下、第1の実施形態について、図1〜図8に基づいて、詳細に説明する。図1は投影システム100の概要を示す図であり、図2は、投影システム100の構成を示すブロック図である。
本第1の実施形態の投影システム100は、プレゼンテーションを行う人(プレゼンター)のジェスチャーに基づいて、スクリーンに投影される画像の制御を行うシステムである。投影システム100は、図1に示すように、パーソナルコンピュータ12(以下、パソコンと呼ぶ)と、撮像装置32と、スクリーン16と、投影装置10と、を備える。
パソコン12は、図2に示すように、CPU(Central Processing Unit)60と、液晶ディスプレイ(LCD:Liquid Crystal Display)を有する表示部62と、表示部62や投影装置10に投影するプレゼン資料などのデータを記憶している不揮発性のメモリ64と、投影装置10と通信を行う通信部66と、を有する。なお、通信部66の通信方式としては無線通信及び有線通信のいずれを採用してもよい。なお、パソコン12に代えて、種々の情報処理装置を用いることとしてもよい。
撮像装置32は、撮影レンズや、CCD(Charge Coupled Device)イメージセンサやCMOS(Complimentary Metal Oxide Semiconductor)イメージセンサなどの矩形状の撮像素子、及びこの撮像素子を制御する制御回路などを有しており、投影装置10に内蔵されており、後述の不揮発性メモリ40には、撮像装置32と後述の投影部50との位置関係が装置定数として記憶されている。
撮影レンズとしては、撮像装置32が、投影装置10の投影する投影領域よりも広い範囲を撮像できるように広角レンズが用いられている。また、撮影レンズは、フォーカスレンズを有しており、焦点検出装置の焦点検出結果に応じてフォーカスレンズの位置が調節可能となっている。撮像装置32は、投影装置10との間で通信を行うための通信機能を有しており、当該通信機能を用いて撮像した画像データを投影装置10に送信する。
なお、図1では、撮像装置32を投影装置10に内蔵しているが、これに限らず、パソコン12の近傍に配置してもよい。また、撮像装置32をパソコン12に接続するようにしてもよい。この場合、撮像装置32の通信機能を用いて、撮像した画像データをパソコン12に送信し、パソコン12から投影装置10に対して画像データを送信するようにすればよい。また、撮像装置32を、投影装置10から独立させて、投影装置10の近傍に配置してもよい。この場合は、撮像装置32が投影装置10の投影領域よりも広い範囲を撮像したり、もしくは、後述の2つのマーク28を撮像したりすることにより、投影システム100は、投影装置10と撮像装置32との位置関係を認識することができる。
なお、本第1の実施形態では、広角レンズを用いて投影装置10の投影する投影領域よりも広い範囲を撮像するようにしたが、これに限られるものではない。例えば、撮像装置32を複数用いることで、投影領域よりも広い範囲を撮像するようにしてもよい。
スクリーン16は、壁等に設けられる白色の(又はほぼ白色の)矩形状の幕である。スクリーン16には、図1に示すように、投影装置10によりプレゼンテーションの資料画像(メイン画像)18が投影されるとともに、プレゼンターがジェスチャーをして資料画像を操作する際に用いるメニュー画像20が投影される。スクリーン16の右上隅と左下隅には、矩形状のマーク28が設けられているものとする。このマーク28は、撮像装置32がスクリーン16の大きさを視認するためのマークである。マーク28は、例えば、一辺が2cmの正方形であるものとする。撮像装置32では、撮像装置32が有する撮像レンズの焦点距離と、撮像素子のサイズが既知であるので、撮像素子の画素出力により、撮像装置32とスクリーン16との距離を検出することができる。なお、撮像装置32を投影装置10から独立した場合でも、撮像装置32と投影装置10とをスクリーン16から同距離の位置に配置する場合には、スクリーン16と投影装置10との距離を検出することができる。
なお、スクリーン16にマーク28を設ける代わりに、投影装置10により投影したマークを撮像して撮像装置32とスクリーン16との距離を検出するようにしてもよい。また、撮像装置32と投影装置10とをスクリーン16から同距離の位置に配置する場合には、投影装置10により投影したマークを撮像してスクリーン16と投影装置10との距離を検出するようにしてもよい。この場合、スクリーン16と投影装置10との距離に応じてマークの大きさがどのように変化するかを示すテーブルを不揮発性メモリ40(後述)に記憶しておいてもよい。
なお、上記においては、マーク28の大きさに基づいて、スクリーン16と撮像装置32又は投影装置10との距離を検出する場合について説明したが、これに限らず、2つのマーク28間の距離に基づいて、スクリーン16と撮像装置32又は投影装置10との距離を検出することとしてもよい。また、2つのマーク28を撮像した画像の大きさや形状の違いに基づいて、スクリーン16に対する撮像装置32又は投影装置10の設置姿勢(角度)を検出するようにしてもよい。
投影装置10は、図2に示すように、制御装置30と、投影部50と、メニュー表示部42と、ポインタ投影部38と、不揮発性メモリ40と、通信部54と、を有する。通信部54は、パソコン12の通信部66からプレゼンテーションの資料などの画像データを受信する。
制御装置30は、投影装置10全体を統括的に制御する。図3には、制御装置30のハードウェア構成が示されている。図3に示すように、制御装置30は、CPU90、ROM92、RAM94、記憶部(ここではHDD(Hard Disk Drive))96等を備えており、制御装置30の構成各部は、バス98に接続されている。制御装置30では、ROM92あるいはHDD96に格納されているプログラムをCPU90が実行することにより、図4の各部の機能が実現される。すなわち、制御装置30では、CPU90がプログラムを実行することにより、図4に示す、制御部150、画像処理部52、顔認識部34、ジェスチャー認識部36、位置検出部37としての機能が実現される。
制御部150は、制御装置30において実現される各機能、及び制御装置30に接続される各部を統括的に制御する。
画像処理部52は、プレゼンテーションの資料などの画像データや撮像装置32で撮像された画像データを処理する。具体的には、画像処理部52は、画像データの画像サイズやコントラストを処理し、当該画像データを投影部50の光変調素子48に出力する。
顔認識部34は、撮像装置32が撮像した画像を制御部150から取得して、当該画像からプレゼンターの顔を検出する。また、顔認識部34は、画像から検出した顔と、不揮発性メモリ40に記憶されている顔データとを比較(例えばパターンマッチング)して、プレゼンターを認識(特定)する。
ジェスチャー認識部36は、撮像装置32と協働して、プレゼンターのジェスチャーを認識するものである。本第1の実施形態においては、ジェスチャー認識部36は、ジェスチャー認識用のメニュー画像20の前にプレゼンターの手があることを撮像装置32が撮像した画像中の色認識(肌色認識等)により認識して、ジェスチャーを認識する。
位置検出部37は、例えば、投影部50が投影する投影領域と撮像装置32の撮像素子が撮像する領域とを対応付けることにより、撮像装置32が撮像した画像から、プレゼンターの位置を検出することができる。
図2に戻り、投影部50は、光源44と、照明光学系46と、光変調素子48と、投射光学系49と、を有する。光源44は、例えば光を出射するランプである。照明光学系46は、光源44から出射された光束を光変調素子48に照明する。光変調素子48は、例えば液晶パネルであり、スクリーン16上に投影する画像(画像処理部52から入力された画像データに基づく画像)を生成する。投射光学系49は、光変調素子48からの光束をスクリ−ン16に向けて投射する。なお、投射光学系49は、投影する像の大きさを調整するズームレンズと、フォーカス位置を調整するフォーカスレンズとを有する。
メニュー表示部42は、制御部150の指示の下、撮像装置32が撮像した画像に基づいて位置検出部37が検出したプレゼンターの位置に応じて、ジェスチャー認識用のメニュー画像20(図1参照)をスクリーン16上に表示する。メニュー表示部42の具体的構成は、投影部50とほぼ同様の構成とすることができる。すなわち、本実施の形態においては、投影装置10は2つの投影部(メイン画像を投影する投影部50と、ジェスチャーメニューを投影するメニュー表示部42)を有することになり、この2つの投影部の位置関係も装置定数として不揮発性メモリ40に記憶されている。
メニュー表示部42が表示するメニュー画像20には、例えば、図1に示すように、拡大、縮小、ポインタ発光、ページ送り、ページ戻し、終了などの領域(以下、選択領域と呼ぶ)が含まれるものとする。ジェスチャー認識部36では、例えば、撮像装置32が撮像した画像に基づいて、プレゼンターがページ送りの選択領域の前に手を置いたことを検出したときには、プレゼンターがページ送りを行うジェスチャーを行っていると認識する。また、ジェスチャー認識部36では、ページ送りの選択領域の前に存在するプレゼンターの手が3本指を示していれば、プレゼンターは3ページ分のページ送りを行うジェスチャーを行っていると認識する。なお、メニュー表示部42は、制御部150の指示の下、プレゼンターの身長や位置に応じて、メニュー画像20を表示する位置(高さ位置、左右位置など)を調整してスクリーン16上に投影するものとする。
ポインタ投影部38は、制御部150の指示の下、撮像装置32が撮像した画像からジェスチャー認識部36が認識したプレゼンターの手(指)の位置に応じて、スクリーン16にポインタ(例えばレーザポインタ)を投影する。本第1の実施形態においては、図1に示すようにプレゼンターがメニュー画像20のポインタ発光の選択領域の前に手を所定時間置いた後に、指でスクリーン16上に線を引くジェスチャーや、領域を示すジェスチャー(楕円を描くジェスチャー)を行った場合に、ポインタ投影部38は、制御部150の指示の下、ジェスチャーを行った部分にポインタを投影(照射)する。
不揮発性メモリ40は、フラッシュメモリ等を含み、制御部150の制御において用いるデータ(顔の画像データ)や、撮像装置32で撮像された画像のデータなどを記憶する。また不揮発性メモリ40には、ジェスチャーに関するデータも記憶する。具体的には、不揮発性メモリ40は、右手や左手の画像に関するデータや、指を用いた数字(1、2、3…)を表す画像のデータを記憶している。なお、不揮発性メモリ40には、プレゼンターの顔のデータと関連付けて(紐付けて)、そのプレゼンターの身長や、手が届く範囲(高さ)の情報を格納してもよい。このように、不揮発性メモリ40にプレゼンターの身長や、手が届く範囲(高さ)の情報を格納する場合、制御部150は、当該情報と、顔認識部34の認識結果と基づいて、メニュー画像20を表示する高さ位置を決定することができる。また、不揮発性メモリ40又は制御装置30のHDD96内にメニュー画像を予め複数格納しておき、制御部150は、顔認識部34の認識結果に応じて、プレゼンターごとにメニュー画像を使い分けるようにしてもよい。この場合、メニュー画像に対してプレゼンターを予め対応付けておいてもよい。
次に、第1の実施形態の投影システム100の動作について、図5〜図8に基づいて説明する。なお、本実施形態では、不揮発性メモリ40には、図5のようなデータベース(プレゼンターと、顔データと、身長とが関連付けられたデータベース)が格納されているものとする。
図6は、プレゼンターが投影システム100を用いたプレゼンテーションを行う際の、制御部150による処理を示すフローチャートである。この処理が開始される前提として、パソコン12、投影装置10、撮像装置32、及びスクリーン16が図1のように設置され、各装置が起動された状態にあるものとする。
図6の処理では、まず、ステップS10において、制御部150が、撮像装置32が撮像した2つのマーク28の位置を確認する。制御部150は、2つのマーク28を撮像した撮像素子の画素の情報から、撮像装置32とスクリーン16との位置関係及び距離、並びに、投影装置10とスクリーン16との位置関係及び距離を求める。
次いで、ステップS12では、制御部150が、顔認識部34に対して、撮像装置32が撮像した画像からプレゼンターの顔を認識するよう、指示を出す。この場合、顔認識部34は、画像中に存在する顔と、不揮発性メモリ40に記憶されている顔のデータ(図5参照)とを比較(パターンマッチング等)して、プレゼンターを特定する。なお、顔認識部34が、プレゼンターの顔を認識できなかった場合、すなわち、画像中の顔が、不揮発性メモリ40に記憶されている顔データと合致しなかった場合には、プレゼンターを未登録の人物として特定する。
なお、ステップS10とステップS12では、撮像装置32により撮像された同一の画像を用いてもよいし、異なる画像を用いてもよい。また、ステップS10とステップS12の実行順を入れ替えてもよい。
次いで、ステップS14では、制御部150等が、メニュー画像20の位置を決定する処理を実行する。具体的には、図7のフローチャートに沿った処理が実行される。
図7の処理では、制御部150が、ステップS35において、メニュー画像20の高さを決定する。通常、プレゼンテーションの冒頭ではプレゼンターは立っている場合が多い。このため、制御部150は、顔(頭頂部近傍)を撮像した画素位置と、図5のデータベースに格納されている身長とを比較することにより撮像装置32の撮像素子の画素と高さ方向の位置とを関連付けることができる。なお、身長の情報がデータベースに格納されていない場合、又はプレゼンターが未登録の人物である場合でも、手の届く範囲は、おおよそ頭頂部から35〜55cm程度であるので、制御部150は、これに基づいて、メニュー画像20を表示する高さ位置を決定することができる。なお、ここで必要な高さ情報は、絶対的な高さ情報である必要はなく、投影装置10とプレゼンターとの相対的な高さ情報が検出できればよい。
なお、制御部150は、本ステップS35において、マーク28を撮像した撮像素子の画素から、メニュー画像20が投影される座標(スクリーン16の平面内の座標(x,y))と、撮像素子のx,y画素との対応付けを行うこととする。これにより、ジェスチャー認識部36は、プレゼンターの手が撮像素子のどの画素に撮像されたかに基づいて、プレゼンターがメニュー画像20のどの選択領域の前でジェスチャーを行っているかを認識することができることになる。
次いで、ステップS36では、制御部150は、投影装置10側から見たプレゼンターの左右位置を確認する。この場合、制御部150は、位置検出部37によるプレゼンターの位置検出結果に基づいて、プレゼンターがスクリーン16の左右どちらに存在しているのかを確認する。以上のようにして、図5の処理が終了すると、図6のステップS16に移行する。
図6のステップS16では、制御部150が、画像処理部52及び光源44を制御して、パソコン12から送信される画像データから生成されるメイン画像18を、投影部50を介してスクリーン16上に投影する。また、制御部150は、メニュー表示部42を制御して、メニュー画像20をスクリーン16上に投影する。この場合、メニュー表示部42は、メニュー画像20を、ステップS14において決定された高さ位置、及びスクリーン16の左右位置のうちプレゼンターに近いほうの位置に投影する。なお、制御部150は、ステップS10で取得した距離情報に応じて、投射光学系49の投影倍率やフォーカス位置、及びメニュー表示部42が有する投射光学系の投影倍率やフォーカス位置を調整するようにしてもよい。
次いで、ステップS18では、制御部150は、撮像装置32の撮像に基づいてジェスチャー動作があったか否かを判断する。具体的には、制御部150は、図1に示すように、スクリーン16に投影されているメニュー画像20の前に、プレゼンターの手が所定時間(例えば1〜3秒)存在していた場合に、ジェスチャー動作があったと判断する。このように、プレゼンターの手の位置を検出してジェスチャー動作の判断をすることにより、例えばプレゼンターの体がメニュー画像20の前に位置する場合に、制御部50はこのプレゼンターの動作がジェスチャー動作ではないと判断でき、ジェスチャー認識の精度を向上することができる。なお、投影装置10側から見てプレゼンターがスクリーン16の左側にいる場合には、左手によりメニュー画像20に対するジェスチャー動作を行う可能性があり(右手による操作では自分の体で右手が遮られる可能性があり)、投影装置10側から見てプレゼンターがスクリーン16の右側にいる場合には、右手によりメニュー画像20に対するジェスチャー動作を行なう可能性がある(左手による操作では自分の体で左手が遮られる可能性がある)。このため、制御部150は、プレゼンターがスクリーン16の右側にいる場合には、プレゼンターの右手を優先的に探すようなアルゴリズムを採用してジェスチャーの有無を判断するようにしてもよい。ステップS18の判断が肯定されるとステップS20に移行するが、ステップS18の判断が否定されると、ステップS22に移行する。
ステップS18の判断が肯定され、ステップS20に移行した場合、制御部150は、ジェスチャー認識部36で認識されたプレゼンターのジェスチャーに応じたメイン画像18の制御処理を実行する。具体的には、制御部150は、図8のフローチャートに沿った処理を実行する。
図8の処理では、まず、ステップS50において、制御部150が、ジェスチャー認識部36の認識結果に基づいて、プレゼンターの手の位置を確認する。次いで、ステップS54では、制御部150が、手の位置が特定の選択領域の前にあるか否かを判断する。なお、特定の選択領域とは、指の本数に応じた特別なジェスチャーが可能な選択領域を意味する。例えば、選択領域“拡大”や“縮小”では、プレゼンターが指の本数で倍率を指示することができるため、特定の選択領域であるものとする。また、例えば、選択領域“ページ送り”や“ページ戻し”では、プレゼンターが指の本数でページの送り数及び戻し数を指示することができるため、特定の選択領域であるものとする。これに対し、選択領域“ポインタ発光”や“終了”は指の本数では特別な指示を行えないので、特定の選択領域ではないものとする。ステップS54における判断が肯定された場合には、ステップS56に移行するが、否定された場合には、ステップS62に移行する。
プレゼンターの手が特定の選択領域の前に無く、ステップS56の判断が否定され、ステップS62に移行した場合には、制御部150は、プレゼンターの手が位置している選択領域に応じた処理を行う。例えば、プレゼンターの手が位置している選択領域が“ポインタ発光”である場合には、制御部150は、ポインタ投影部38を介して、前述したようにしてポインタをスクリーン16上に投影する。また、例えば、プレゼンターの手が位置している選択領域が“終了”である場合には、制御部150は、画像処理部52を介してスクリーン16上へのメイン画像18及びメニュー画像20の投影を終了する。
一方、ステップS54の判断が肯定されて、ステップS56に移行すると、ジェスチャー認識部36は、制御部150の指示の下、プレゼンターの行っているジェスチャーを認識する。具体的には、ジェスチャー認識部36は、手の形(指の本数など)を認識する。この場合、ジェスチャー認識部36は、手の形と、予め不揮発性メモリ40に記憶されている手の形(1本指、2本指…などの手の形)のテンプレートとを比較(パターンマッチング等)することで、プレゼンターのジェスチャーを認識する。
次いで、ステップS58では、制御部150は、ステップS56で認識したプレゼンターのジェスチャーが、特定のジェスチャーか否かを判断する。ここでは、例えば、特定のジェスチャーが、2本指、3本指、4本指、5本指などの手の形であるものとする。ステップS58の判断が否定された場合には、ステップS62に移行し、制御部150は、プレゼンターの手が位置している選択領域に応じた処理(手の形を考慮しない処理)を行う。すなわち、例えば、プレゼンターの手が位置している選択領域が“ページ送り”であれば、制御部150は、1ページだけページ送りを行う指示を、通信部54、66を介して、パソコン12のCPU60に対して通知する。パソコン12のCPU60は、制御部150の指示に応じたページの画像データを、通信部66、54を介して画像処理部52に対して送信する。
一方、ステップS58の判断が肯定された場合には、ステップS60に移行する。ステップS60では、制御部150が、特定のジェスチャー及び選択領域に応じた処理を行う。具体的には、例えば、プレゼンターの手が位置している選択領域が“ページ送り”であり、手の形が3本指であれば、制御部150は、3ページだけページ送りを行う指示を、通信部54、66を介して、パソコン12のCPU60に対して通知する。パソコン12のCPU60は、投影装置10の指示に応じたページの画像データを、通信部66、54を介して画像処理部52に対して送信する。
以上のようにして、図8の処理が終了すると、図6のステップS22に移行する。ステップS22では、制御部150は、プレゼンテーションが終了か否かを判断する。なお、制御部150は、前述したメニュー画像20の選択領域“終了”の前でのジェスチャーを認識した場合や、パソコン12の電源がOFFにされたことを認識した場合、あるいは撮像装置32によりプレゼンターを所定時間撮像できない場合に、プレゼンテーションが終了したと判断することができる。ステップS22の判断が肯定された場合には、制御部150は、図6の全処理を終了する。この場合、制御部150は、プレゼンテーションが終了ことを、通信部54、66を介して、パソコン12のCPU60に対して通知する。
一方、ステップS22の判断が否定された場合には、ステップS24に移行し、制御部150は、プレゼンターの位置が変化したか否かを判断する。なお、プレゼンターの位置とは、スクリーン16を基準とした左右位置を意味する。ここでの判断が否定された場合には、ステップS18に移行する。そして、制御部150は、ステップS18以降の処理を実行する。すなわち、前回のステップS20においてジェスチャーによる制御を行った後もメニュー画面20の前にプレゼンターの手がある場合は、ジェスチャーによる制御を引続き行うことになる。なお、ステップS20を経た後に再度ステップS18に移行し、当該ステップS18の判断が否定された場合、すなわち、ジェスチャーによるメイン画像18の制御を行った後にメニュー画像20の前からプレゼンターの手がなくなった場合は、ジェスチャーによるメイン画像18の制御が終了となる。なお、制御部150は、ステップS18が行われる間隔を所定時間(例えば0.5秒から1秒)として、1つのジェスチャー操作が終わった後、次のジェスチャー操作を認識するまでの間にインターバルを設けるようにしてもよい。
なお、ステップS24の判断が肯定された場合には、ステップS16に戻る。ステップS16では、制御部150は、プレゼンターの位置に応じて、メニュー表示部42を介してメニュー画像20の投影位置(表示位置)を変更する。その後は、制御部150は、ステップS18以降の処理を前述したのと同様に実行する。
以上のような図6〜図8のフローチャートに沿った処理が行われることで、プレゼンターの位置に応じてメニュー画像20が投影され、また、プレゼンターがメニュー画像20の前でジェスチャーしたときには、当該ジェスチャーに応じてメイン画像18の操作(表示の変更)がなされるようになっている。
以上、詳細に説明したように、本第1の実施形態によると、投影装置10の制御部150は、撮像装置32が撮像したプレゼンターの画像を受け付け、当該画像におけるプレゼンターの位置に応じて、メニュー表示部42を介して、メニュー画像20をスクリーン16に投影するので、プレゼンターが使用しやすい(ジェスチャーしやすい)位置にメニュー画像20を投影することができる。これにより、ユーザにとって、使い勝手のよい投影装置を実現することができる。
また、本実施形態によると、制御部150は、プレゼンターの画像からプレゼンターの高さに関する情報(プレゼンターの身長など)を検出するので、プレゼンターの使用しやすい高さ位置にメニュー画像20を投影することができる。この場合、制御部150は、データベースに、プレゼンターの顔データに関連付けてプレゼンターの身長等を登録しておくことで、プレゼンターの高さに関する情報を簡易に検出(取得)することが可能である。
また、本実施形態によると、制御部150は、プレゼンターの手の届く高さ(頭頂部から所定高さの位置)を検出することとしているので、プレゼンターの手が届く範囲にメニュー画像20を投影することができ、使い勝手がよくなる。
また、本実施形態によると、不揮発性メモリ40に、プレゼンターの高さに関する情報(身長など)を記憶しているので、身長と撮像装置32の撮像素子の画素とを比較することで、撮像装置32の撮像素子の画素と高さ方向の位置とを関連付けることができる。これにより、メニュー画像20の投影位置を簡易に決定することが可能となる。
また、本実施形態によると、制御部150は、プレゼンターのスクリーン16に対する左右位置に応じて、メニュー表示部42を介してメニュー画像20をスクリーン16に投影するので、プレゼンターはメニュー画像20の前でのジェスチャーをしやすくなる。
また、本実施形態によると、ジエスチャー認識部36が、メニュー画像20にプレゼンターの手が位置することを認識した場合に、制御部150は、投影部50を介して、メイン画像18の少なくとも一部を変更するので、プレゼンターは、手をメニュー画像20の前に位置させるだけで、メイン画像18の操作を行なうことができる。
また、本実施形態によると、制御部150は、ジエスチャー認識部36が認識したプレゼンターの手の形に応じて、投影装置10が投影するメイン画像18の操作量を変更するので、例えば拡大、縮小の倍率や、ページ送りの送り量などを手の形を変更するのみで、簡易に行うことができる。
なお、上記第1の実施形態では、例えば図1のスクリーン16のメイン画像18の左側(図1においてプレゼンターが存在していない側)に、メニュー画像20を投影するための余白を予め設けておいてもよい。このようにすることで、メニュー画像20の位置を変更する際に(ステップS16が2回目以降行われる際に)、メイン画像18の位置を変更(左右方向にずらすなど)しなくてもよくなる。
なお、上記第1の実施形態では、プレゼンターがスクリーン16の左右で位置を変えるたびに、メニュー画像20の投影位置が変更される場合について説明したが、これに限られるものではない。すなわち、一度メニュー画像20が投影された後は、その投影位置を固定することとしてもよい。ただし、メニュー画像20の投影位置を固定した場合、プレゼンターが位置を変更すると、ジェスチャーによる操作を行いにくくなるおそれがある。この点を考慮した実施形態が、以下に説明する、第2の実施形態である。
《第2の実施形態》
次に、第2の実施形態について、図9(a)、図9(b)に基づいて説明する。本第2の実施形態は、装置構成等は、上述した第1の実施形態と同一又は同等である。したがって、これらの説明については省略するものとする。
前述した第1の実施形態では、プレゼンターがジェスチャーを行える範囲が、メニュー画像20の選択領域の前に限られていたが、本第2の実施形態では、ジェスチャーを行える範囲を第1の実施形態よりも広げている。
具体的には、図9(a)に示すように、スクリーン16上にメイン画像18とメニュー画像20が表示された状態で、メニュー画像20に含まれる選択領域22a〜22fと同一高さの横方向に延びる領域(図9(a)においてダブルハッチングにて示す領域)を新たにジェスチャーを行える領域(ジェスチャー領域23a〜23f)として設定する。なお、ジェスチャー領域23a〜23fそれぞれの間には、隙間(緩衝部分)を設けている。
すなわち、図9(a)では、選択領域22aが“拡大”操作可能な領域であるのに対応して、ジェスチャー領域23aも“拡大”操作が可能な領域とする。また、選択領域22bが“縮小”操作可能な領域であるのに対応して、ジェスチャー領域23bも“縮小”操作が可能な領域とする。同様に、ジェスチャー領域23cが、“ポインタ発光”、ジェスチャー領域23dが、“ページ送り”操作、ジェスチャー領域23eが、“ページ戻し”操作、ジェスチャー領域23fが、“終了”操作が可能な領域とする。
これらジェスチャー領域23a〜23fは、2つのマーク28の高さ方向に挟まれるように、例えばプレゼンターが見える半透明の線で投影されるものとする。この場合、ジェスチャー領域の境界を示す線のみを半透明の線で投影することとしてもよい。なお、制御部150は、図6のステップS10にて2つのマーク28を確認する際に、図9(b)に示すように、ジェスチャー領域23a〜23fを撮像装置32の撮像素子の撮像領域と対応付けるものとする。ただし、実際に、スクリーン16上にジェスチャー領域23a〜23fを投影する場合には、ステップS12で得られるプレゼンターの高さ情報(身長など)を考慮する。
このように、ジェスチャー領域を設けた場合、プレゼンターがジェスチャー動作を行っているのか、単にスクリーン16上の注目部分を指さしているのかを識別する必要がある。
そこで、本第2の実施形態では、一例として、ジェスチャー動作の場合は、人差し指でジェスチャー領域23a〜23fを指さすようにし、メイン画像18の注目部分を示すときは5本の指(手全体)で指し示すように決めておく。一方、投影装置10では、不揮発性メモリ40に、1本指としている手の画像データを、操作内容(ジェスチャー動作)と関連付けて登録しておく。そして、ジェスチャー認識部36は、制御部150の指示の下、位置検出部37の検出結果からプレゼンターがメニュー画像20の近傍(スクリーンの端部)に位置していると判断できる場合には、上記第1の実施形態と同様にして、メニュー画像20(選択領域22a〜22f)の前でのジェスチャーを認識する。すなわち、プレゼンターがメニュー画像20の近傍に位置している場合には、ジェスチャー認識部36は、プレゼンターの手が1本指でも5本指でもジェスチャーと認識する。
一方、位置検出部37の検出結果からプレゼンターがメニュー画像20から離れた位置(スクリーン中央などメニュー画像20から離れた位置)に位置していると判断できる場合には、ジェスチャー認識部36は、制御部150の指示の下、手の画像と登録されている画像データ(1本指の画像データ)とを比較(パターンマッチング)することで、ジェスチャーを認識する。すなわち、ジェスチャー認識部36は、プレゼンターが5本指でジェスチャー領域23a〜23fを指さしたとき(不揮発性メモリ40に登録されている画像データと一致しないとき)には、ジェスチャーと認識せず、プレゼンターが1本指でジェスチャー領域23a〜23fを指し示したとき(不揮発性メモリ40に登録されている画像データと一致する)には、ジェスチャーと認識する。これにより、プレゼンターがメニュー画像20から離れた位置にいる場合に、ジェスチャーと注目部分の指差し動作とを差別化することが可能となる。なお、不揮発性メモリ40には、1本指の画像以外に、例えば2本指、3本指、4本指の画像を操作量と関連付けて登録しておくこともできる。これにより、例えばプレゼンターが3本指でジェスチャー領域23aを指し示したときには、制御部150は、倍率3倍でメイン画像18を拡大するようにすることができる。
以上、説明したように、本第2の実施形態によると、制御部150がメニュー画像20の投影位置を一度固定した後は、移動しないような制御を行うこととしても、ジェスチャー領域23a〜23fを設けることで、プレゼンターは立ち位置にかかわらず簡易にジェスチャー操作を行うことができる。これにより、プレゼンターは、メニュー画像20の位置まで戻ってジェスチャーを行う必要が無くなるため、プレゼンターの使い勝手を向上することができる。
また、本第2の実施形態によると、撮像装置32が撮像した画像に基づいて、プレゼンターがメニュー画像から離れた位置にいると判断できる場合に、制御部150は、不揮発性メモリ40に登録されているジェスチャー(1本指で指さすジェスチャー)を行っていればそのジェスチャーを受け付け(制御に用い)、不揮発性メモリ40に登録されていないジェスチャー(5本指で指し示すジェスチャー)を行っていればそのジェスチャーを受け付けない(制御に用いない)こととしている。これにより、メイン画像18上にジェスチャー領域23a〜23fを設定しても、制御部150は、プレゼンターが単にメイン画像18の注目部分を指し示している場合と、ジェスチャー領域23a〜23fの前でジェスチャーを行っている場合とを区別することができる。これにより、ユーザのジェスチャーをメイン画像18の操作に適切に反映させることができる。したがって、プレゼンターの使い勝手を向上することができる。
なお、上記第2の実施形態では、不揮発性メモリ40に、手の画像データ(1本指など)を、操作内容(ジェスチャー動作)と関連付けて登録しておく場合、すなわち、プレゼンターが誰であっても、予め定められた共通のジェスチャーを行う必要がある場合について説明したが、これに限られるものではない。すなわち、プレゼンターごとに、手の画像データを不揮発性メモリ40に登録するようにしてもよい。これにより、各プレゼンターの使い勝手を向上することができる。なお、不揮発性メモリ40への登録の際には、例えば、図5のデータベースにおいて、手の画像データを顔画像と関連付けて登録することとしてもよい。
なお、上記実施形態では、ジェスチャー領域23a〜23fを半透明の線で投影する場合について説明したが、これに限らず、ジェスチャー領域23a〜23fはスクリーン16上に表示(投影)しなくてもよい。この場合、プレゼンターは、メニュー画像20の選択領域の位置からジェスチャー領域を類推するようにすればよい。
なお、上記第2の実施形態では、メニュー画像20を、スクリーン16の左右方向端部に配置する場合について説明したが、これに限られるものではない。例えば、図10に示すように、メニュー画像20をスクリーン16の下端部近傍に設けることとしてもよい。この場合でもステップS10(図6)で確認したマーク28の位置から撮像素子の画素の座標と、スクリーン16の平面内座標(x、y座標)とを対応付けすることができる。
なお、上記第1、第2の実施形態では、メニュー画像20をメイン画像18とは異なる位置に投影する場合について説明したが、これに限らず、図11に示すように、メニュー画像20をメイン画像18の一部に重畳するように投影することとしてもよい。この場合、例えば、プレゼンターがメイン画像18の前に手を出し、特定のジェスチャーを行ったと、ジェスチャー認識部36が認識したときに、制御部150が、メニュー表示部42を介してプレゼンターの手の近傍にメニュー画像70を表示するようにしてもよい。これにより、プレゼンターの手が届く位置にメニュー画像70を表示(投影)することができるので、プレゼンターの使い勝手が良好となる。
なお、上記第1、第2の実施形態において、ジェスチャー認識部36がプレゼンターが人差し指で”ポインタ発光”の選択領域を示したことを認識した場合には、制御部150は、ポインタ発光のジェスチャー動作が行われたと判定して、その後にプレゼンターの手が示した位置に、ポインタ投影部38からレーザポインタを照射し続けるようにしてもよい。この場合、手の軌跡を検出する方法としては、周知技術を用いることができる。
ジェスチャー認識部36がジェスチャー動作(指の移動動作)を有効とする期間(ポインタ発光を終了するまでの期間)は、時間(例えば5〜15秒)で設定することができる。このようにジェスチャー動作を有効とする期間を設定することで、プレゼンターは、“ポインタ発光”の前でジェスチャーをし、かつ有効期間内に指を移動させるのみで、レーザポインタを適切に表示することができる。ジェスチャー動作を有効とする期間を時間で設定する場合、当該時間を一律所定時間(例えば10秒程度)と設定してもよいが、例えば、不揮発性メモリ40にプレゼンターを登録する際にプレゼンターごとに時間を設定することとしてもよい。なお、制御部150は、プレゼンターがジェスチャー動作(指の移動動作)の終了を示すジェスチャー(例えば、掌を撮像装置32に向ける動作)を行ったことをジェスチャー認識部36が認識した場合に、ポインタ投影部38によるポインタ発光を終了することとしてもよい。このようにすることで、プレゼンターは、必要なだけレーザポインタを表示することができる。
なお、上記各実施形態では、パソコン12と投影装置10とを通信可能にし、パソコン12から投影装置10に対して資料データを送付する場合について説明したが、これに限らず、パソコン12に代えて、デジタルカメラを採用してもよい。この場合、スクリーン16上にデジタルカメラで撮像された画像を表示することができる。なお、デジタルカメラは、撮像機能と顔認識機能とを有しているので、これらの機能で図2の撮像装置32や図4の顔認識部34を代替し、図2の撮像装置32や図4の顔認識部34を省略してもよい。
なお、上記各実施形態では、プレゼンターは、メニュー画像20の前でジェスチャーを行うことにより、メイン画像18の操作を行うこととしたが、これに限らず、メニュー画像20の前でのジェスチャーによりメニュー画像20自体を操作することとしてもよい。メニュー画像20の操作には、メニュー画像20の拡大、縮小、移動、閉じる、などの操作が含まれる。
なお、上記各実施形態では、スクリーン16の左下及び右上に矩形状のマーク28を設けることとしたが、これに限られるものではない。マーク28の位置や個数は種々選択可能であり、また、マーク28の形状も円形、ひし形など種々の形状を採用することができる。
なお、上記各実施形態では、メニュー表示部42が、投影部50とは別に設けられる場合について説明したが、これに限られるものではない。例えば、投影部50がメイン画像18とメニュー画像20の両方をスクリーン16上に投影することとしてもよい。この場合、パソコン12のCPU60がメイン画像とメニュー画像を合成して、通信部66,54を介して画像処理部52に送信するようにする。なお、この場合には、プレゼンターの位置(高さ位置、左右位置)を投影装置10側からパソコン12のCPU60に送信し、CPU60では、プレゼンターの位置に応じて、メニュー画像の位置を調整するようにすればよい。
なお、上記各実施形態の構成は、一例である。例えば、図2の構成や図4の機能ブロック図は一例であり、種々変更が可能である。例えば、図4では、顔認識部34、ジェスチャー認識部36、位置検出部37、画像処理部52が、制御装置30の一部機能であるとして説明したが、これに限らず、これらの機能が、ハードウェアにより実現されてもよい。この場合、各部は別々のCPU等により実現されることになる。
以上、本発明の実施例について詳述したが、本発明はかかる特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。