JP4848521B2 - プロジェクタ投影映像のマウス代替操作方法およびそのマウス代替操作システム - Google Patents
プロジェクタ投影映像のマウス代替操作方法およびそのマウス代替操作システム Download PDFInfo
- Publication number
- JP4848521B2 JP4848521B2 JP2007088827A JP2007088827A JP4848521B2 JP 4848521 B2 JP4848521 B2 JP 4848521B2 JP 2007088827 A JP2007088827 A JP 2007088827A JP 2007088827 A JP2007088827 A JP 2007088827A JP 4848521 B2 JP4848521 B2 JP 4848521B2
- Authority
- JP
- Japan
- Prior art keywords
- projector
- hand
- mouse
- image
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Description
また、入力手段も、従来のように、ボタン、マウス、またはキーボードによるものだけでなく、投影映像(以下、単に映像ともいう)に対する直感的な入力操作を可能とする技術が、多数提案されている。代表的な例としては、映像に書き込んだ文字が、そのままコンピュータ側にも反映されるシステム、指示者が映像の特定部分を指し棒で指したときにその位置を検出するシステム、または映像の特定部分を赤外光を用いた走査基で指したときにその位置を検出するシステムがある(例えば、特許文献1、2参照)。
第1の発明に係るプロジェクタ投影映像のマウス代替操作方法において、前記手の肌の色は、色相、彩度、および明度の閾値処理により検出することが好ましい。
前記演算処理装置には、前記プロジェクタから前記投影面に前記映像を投影する際に、前記撮像装置により撮像した前記手の部分を含む所定領域を適切な明るさに設定する半透明マスク処理手段が設けられ、しかも、前記所定領域の照度を他の部分よりも暗く設定している。
第2の発明に係るプロジェクタ投影映像のマウス代替操作システムにおいて、前記指先検出手段は、色相、彩度、および明度の閾値処理を行うことが好ましい。
従って、プロジェクタから投影面に投影された映像の一部を、手の指によって直接指差す際に、その指差した位置を、特別な入力手段を用いることなく、簡単な装置構成で検出できる。
請求項2記載のプロジェクタ投影映像のマウス代替操作方法、および請求項5記載のプロジェクタ投影映像のマウス代替操作システムは、撮像装置による手の検出を、手の肌の色を判別することにより行うので、指が指差した位置を簡単な手法で容易に判別できる。
請求項3記載のプロジェクタ投影映像のマウス代替操作方法、および請求項6記載のプロジェクタ投影映像のマウス代替操作システムは、手の肌の色を、色相、彩度、および明度の閾値処理により検出するので、撮像装置の三原色であるRGBと比較して、色の種類による分離が容易である。
ここで、図1は本発明の一実施の形態に係るプロジェクタ投影映像のマウス代替操作方法を適用するマウス代替操作システムの説明図、図2(A)、(B)はそれぞれ同プロジェクタ投影映像のマウス代替操作方法の位置データマップの説明図、図3(A)、(B)はそれぞれ同プロジェクタ投影映像のマウス代替操作方法の平滑化処理の説明図、図4は同プロジェクタ投影映像のマウス代替操作方法のフローチャートである。
図1に示すように、プロジェクタ投影映像のマウス代替操作システム(以下、単にマウス代替操作システムともいう)10は、投影面11に映像12を投影するプロジェクタ13と、このプロジェクタ13により投影された映像12の一部を指差す手14の指15を撮像可能なUSBカメラ(撮像装置の一例、以下、単にカメラともいう)16と、このプロジェクタ13およびUSBカメラ16に接続され、USBカメラ16からの映像信号を基にプロジェクタ13の出力を制御する演算処理装置とを有する。なお、演算処理装置としては、通常のパソコン(以下、コンピュータともいう)17が利用できる。以下、詳しく説明する。
製品名:マルチメディアプロジェクター ELP−73(EPSON製)
方式 :三原色液晶シャッタ式投影方式
輝度 :1500lm(ルーメン)
コントラスト比:500対1
液晶パネル画素数:1024×768
色再現性:1677万色フルカラー
なお、使用するプロジェクタは、上記した構成以外のものでも勿論よい。
USBカメラ16は、本実施の形態では、以下の仕様のものを使用した。
製品名 :Logitech Qcam Instant Messenger
映像素子:True30万画素 CMOSセンサー
有効画素数:True30万画素 640×480ピクセル
フレームレート:最大30フレーム/秒
なお、USBカメラ以外の撮像装置、例えば、CCDカメラを使用することもできる。
投影面位置検出手段は、カメラ16の画像内座標と、プロジェクタ13が投影した画像内座標を対応付けるため、投影面11のコーナー(角部)4隅のカメラ16の画像内座標を取得するものである。
まず、プロジェクタ13が投影する画面全体を白(単色)で描画した状態と、黒で描画した状態を、カメラ16でそれぞれ撮影する。なお、カメラ16による撮像範囲は、投影される画面全体を含むようにする。
次に、得られた2枚の画像の差分を取り、閾値処理を施すことで、投影面11の映像12部分とそうでない部分とに分かれた二値画像を得ることができる。そして、この二値画像を多角形(本実施の形態では、四辺形)で近似することにより、映像12部分の4隅の座標を得ることができる。
ここで、二次元の射影変換について説明する。
この二次元の射影変換とは、形状の異なる二つの四辺形の各位置の座標を対応付けたいときに利用するものである。
図2(A)に示すように、一方の四辺形を単位の正方形とし、その左下隅を原点とする。そして、任意の形状の四辺形同士を射影する場合は、まず変換元の四辺形の逆変換を求め、単位正方形にして、変換先に適応させる。
X=(a1x+b1y+c1)/(a0x+b0y+c0)、
Y=(a2x+b2y+c2)/(a0x+b0y+c0) ・・・(1)
x=(A1X+B1Y+C1)/(A0X+B0Y+C0)、
y=(A2X+B2Y+C2)/(A0X+B0Y+C0) ・・・(2)
本実施の形態では、カメラ16の画像内の指先座標を投影画像に対応付けするため、X、Yを変換前の指先座標とし、式(2)を用いて、変換後の座標x、yを計算する。なお、各係数は、変換前の四辺形の四隅座標から求めることができる。
(x,y)⇔(X,Y)
(0,0)⇔(0,0)
(1,0)⇔(X2,Y2)
(1,1)⇔(X3,Y3)
(0,1)⇔(X4,Y4)
a1=Δ134X2
b1=Δ123X4
a2=Δ134Y2
b2=Δ123X4
a0=Δ134−Δ234
b0=Δ123−Δ234
c0=Δ234
B1=Δ123Δ234X4
A2=Δ134Δ234Y2
B2=−Δ134Δ234Y4
A0=δ11Δ123Y4+δ22Δ134Y2
B0=δ11Δ123X4+δ22Δ134X2
C0=−Δ123Δ124Δ134
Δ124=X2Y4−X4Y2
Δ134=X3Y4−X4Y3
Δ1234=Δ123+Δ134
Δ234=Δ1234−Δ124
δ11=Δ123−Δ124
δ22=Δ134−Δ124
以上に示したように、位置データマップ作成手段により、カメラ16の画像内の全座標を計算し、データマップとして記憶手段に保存しておくことで、指先検出時にこのマップを参照して、即座に対応する映像座標に、カーソルを移動させることができる。
ここで、手14の部分の照度を他の部分よりも暗く設定するとは、例えば、他の部分の照度を100%とした場合、映像12の視認性を妨げない範囲で、手14の部分の照度を20%以上80%以下(好ましくは、下限を40%、上限を60%)程度とすることが好ましい。この照度をルクス(lx)に換算すれば、例えば、50〜3000ルクス程度である。
従って、マスクする所定領域が手14の部分であれば、照度の比較の対象となる他の部分は、映像12上の手14が存在しない領域であり、また、マスクする所定領域が映像12全体であれば、他の部分は、映像12以外の投影面11の領域となる。
なお、映像12の視認性から考慮すれば、マスクする所定領域を手14の部分のみとすればよいが、コンピュータの処理能力を考慮すれば、手14およびその周辺部をマスクすることが好ましく、その形状を、例えば、四角形、円、または楕円とすることが好ましい。このとき、マスクする所定領域の最大幅を0.1〜1mの範囲にすることが好ましい。
平滑化処理とは、カメラ16の画像に平滑化を施すことで、細かいノイズなどを除去する処理である。よく知られた平滑化手法としては、例えば、平均値フィルタ、メディアンフィルタ、またはガウシアンフィルタがある。
平均値フィルタは、最も基本的な平滑化手法であり、例えば、対象が3×3画素の平方領域の場合、中心となる画素の濃度値を、その8近傍の点を含めた9画素の濃度の平均値とすることで、平滑化を行う手法である。
また、ガウシアンフィルタは、単純に平均値をとるのではなく、ガウス関数に基づいて対象の中心に近い画素の重みを大きくし、遠い画素の重みを小さくした加重平均をとる手法である。このガウス関数の係数σの値を変えることで、画像のぼかし具合を調節することができる。
この2次元のガウス関数は、次式で表される。
f(x,y)=en
ここで、n=−(x2+y2)/2σ2 ・・・(3)
この式(3)によって得られるf(x,y)の値を、対象領域の大きさに合わせて正規化する。これに従って加重平均をとることで平滑化処理を行う。
なお、図3(A)、(B)に示すように、σの値が大きくなるほど、対象の点に近い画素と離れた画素の重みの差が小さくなっていくため、画像の輪郭はよりぼやけたものとなる。この図3(A)はσ=1.0のとき、(B)はσ=1.5のときの2次元ガウス関数を示している。
ここで、カメラ16の三原色であるRGBからHSVへの変換式を示す。
H=tan−1{(g−b)/(2r−g−b)} ・・・(4)
S={(b−r)2+(r−g)2+(g−b)2}/3 ・・・(5)
V=R+G+B ・・・(6)
上記したr、g、bは、それぞれ次の式から得られる。
r=R/(R+G+B)、g=G/(R+G+B)、b=B/(R+G+B) ・・・(7)
そして、HSV表色系の閾値処理により、肌色領域を検出する。なお、この閾値処理は、手14全体の50%以上(好ましくは70%以上)が判別できるように、色相、彩度、および明度を調整する。
ここで、画素(x,y)の値f(x,y)を高さとすると、映像12は一枚の曲面とみなすことができる。この曲面の特徴点を微分に基づいて求める。
これにより、得られた固有値λ1、λ2が、min(λ1、λ2)>Thλとなる画素を特徴点とする。なお、Thλは閾値である。
このアルゴリズムにより、変化の大きい点を複数個検出することができる。
そこで、前記したアルゴリズムで検出された複数個の特徴点のうち、指示者18の手14が左側から入ってきている場合は最も右の点、右側から入ってきている場合は最も左の点を、それぞれ指先として選択した。なお、手14が映像12の左右のいずれの側から入ってきたかは、最初に映像12上で手14が検出されたときの特徴点群の重心位置によって判断し、手14が映像12上から外へ出るとリセットされる。
以上の各種処理により、マスクがかかっている範囲内で、色の閾値処理による肌色検出を行い、得られた手14の輪郭に特徴点抽出を施して、指先の座標を得ることができる。
ボタンの動作は、指先を一定時間(例えば、3秒以上)停止させることで行う。
まず、指先を、ボタン動作を行いたい映像12の特定部分の位置で一定時間以上停止する。これにより、その近傍に「クリック」、「ドラッグ」と書かれたボタンのメニューが表示される。その状態で、行いたい動作のメニューボタン上に指を移動し、再び一定時間停止することで、選択された動作が行われる。また、メニューが表示された状態で、それ以外の位置に指を動かした場合には、表示されたメニューが消える。
以上に示したように、本発明はマウスの代替として指示者18の手14を使用するものであり、必要なハードウェアーは、プロジェクタ13、USBカメラ16、およびコンピュータ17のみを基本構成(他の装置を含んでもよい)としているので、指示者18の身体に特殊な機器を装着する必要もないため、システムが安価でその構成が簡単である。
まず、図4に示すように、ステップ1(ST1)で、プロジェクタ13のスイッチをオンにし、例えば、スクリーン、掲示板、または建物の壁面のような投影面11に対して、映像12を投影する。このとき、カメラ16とコンピュータ17の電源もオンにする。なお、プロジェクタ13とカメラ16は、投影面11に対して同一方向に配置されている。
そして、ステップ2(ST2)で、コンピュータ17の投影面位置検出手段により、映像12部分の4隅の座標を算出し、カメラ16の画像内座標と、プロジェクタ13が投影した画像内座標とを対応付ける。
ステップ3(ST3)で、コンピュータ17の位置データマップ作成手段により、カメラ16の画像内座標とプロジェクタ13が投影した画像内座標の対応を計算した位置データマップを作成する。
そして、指示者18は、投影面11に投影された映像12の特定部分を、手14の指15で差し示しながら、例えば、映像12の説明を行う。
このとき、ステップ4(ST4)で、コンピュータ17の半透明マスク処理手段により、プロジェクタ13から照射された手14の部分の照度を、映像12の他の部分よりも暗く設定する。
そして、ステップ6(ST6)で、コンピュータ17のマウス動作手段により、カーソルを移動させ、指示者18は、必要に応じて映像12上にメニュー画面を表示し、これらのメニューから必要事項を検索できる。
更に、ステップ7(ST7)で、終了ボタンが押されなければ、再度、以上に示したステップ4〜ステップ6の半透明マスク処理、指先位置検出、およびマウス動作を、順次実行する。
そして、指示者18による説明が終了すれば、ステップ8(ST8)で終了ボタンを押し、プロジェクタ13、カメラ16、およびコンピュータ17の電源をオフにする。
Claims (6)
- プロジェクタから投影面に投影された映像の一部を、手の指によって指差す際に、前記プロジェクタから照射された前記手の部分を含む所定領域を適切な明るさに設定し、該手を撮像装置により撮像して前記指が指差した位置を検出するプロジェクタ投影映像のマウス代替操作方法であって、前記所定領域の照度を他の部分よりも暗く設定することを特徴とするプロジェクタ投影映像のマウス代替操作方法。
- 請求項1記載のプロジェクタ投影映像のマウス代替操作方法において、前記撮像装置による前記手の検出は、該手の肌の色を判別することにより行うことを特徴とするプロジェクタ投影映像のマウス代替操作方法。
- 請求項2記載のプロジェクタ投影映像のマウス代替操作方法において、前記手の肌の色は、色相、彩度、および明度の閾値処理により検出することを特徴とするプロジェクタ投影映像のマウス代替操作方法。
- 投影面に映像を投影するプロジェクタと、該プロジェクタにより投影された前記映像の一部を指差す手の指を撮像可能な撮像装置と、該プロジェクタおよび該撮像装置に接続され、該撮像装置からの映像信号を基に前記プロジェクタの出力を制御する演算処理装置とを有するプロジェクタ投影映像のマウス代替操作システムであって、
前記演算処理装置には、前記プロジェクタから前記投影面に前記映像を投影する際に、前記撮像装置により撮像した前記手の部分を含む所定領域を適切な明るさに設定する半透明マスク処理手段が設けられ、しかも、前記所定領域の照度を他の部分よりも暗く設定することを特徴とするプロジェクタ投影映像のマウス代替操作システム。 - 請求項4記載のプロジェクタ投影映像のマウス代替操作システムにおいて、前記演算処理装置には、更に、前記半透明マスク処理手段で調整された前記映像の前記手の部分を、該手の肌の色で判別する指先検出手段が設けられていることを特徴とするプロジェクタ投影映像のマウス代替操作システム。
- 請求項5記載のプロジェクタ投影映像のマウス代替操作システムにおいて、前記指先検出手段は、色相、彩度、および明度の閾値処理を行うことを特徴とするプロジェクタ投影映像のマウス代替操作システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007088827A JP4848521B2 (ja) | 2007-03-29 | 2007-03-29 | プロジェクタ投影映像のマウス代替操作方法およびそのマウス代替操作システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007088827A JP4848521B2 (ja) | 2007-03-29 | 2007-03-29 | プロジェクタ投影映像のマウス代替操作方法およびそのマウス代替操作システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008250482A JP2008250482A (ja) | 2008-10-16 |
JP4848521B2 true JP4848521B2 (ja) | 2011-12-28 |
Family
ID=39975388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007088827A Active JP4848521B2 (ja) | 2007-03-29 | 2007-03-29 | プロジェクタ投影映像のマウス代替操作方法およびそのマウス代替操作システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4848521B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244484A (ja) | 2009-04-10 | 2010-10-28 | Funai Electric Co Ltd | 画像表示装置、画像表示方法および画像表示プログラム |
JP5197777B2 (ja) | 2011-02-01 | 2013-05-15 | 株式会社東芝 | インターフェイス装置、方法、およびプログラム |
JP6028372B2 (ja) * | 2012-04-05 | 2016-11-16 | カシオ計算機株式会社 | 表示制御装置、画像処理装置、画像制御方法及びプログラム |
JP2013257686A (ja) * | 2012-06-12 | 2013-12-26 | Sony Corp | 投影型画像表示装置及び画像投影方法、並びにコンピューター・プログラム |
JP5988295B2 (ja) * | 2012-08-08 | 2016-09-07 | アルプス電気株式会社 | 入力装置 |
JPWO2016063404A1 (ja) * | 2014-10-23 | 2017-06-29 | 富士通株式会社 | 入出力装置、入出力方法および入出力プログラム |
JP5877914B1 (ja) * | 2015-02-14 | 2016-03-08 | 真人 田村 | プロジェクター付き携帯電話装置 |
WO2019167527A1 (ja) * | 2018-02-28 | 2019-09-06 | 富士フイルム株式会社 | 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001306254A (ja) * | 2000-02-17 | 2001-11-02 | Seiko Epson Corp | 打音検出による入力機能 |
JP3834766B2 (ja) * | 2000-04-03 | 2006-10-18 | 独立行政法人科学技術振興機構 | マンマシーン・インターフェース・システム |
US7609908B2 (en) * | 2003-04-30 | 2009-10-27 | Eastman Kodak Company | Method for adjusting the brightness of a digital image utilizing belief values |
JP4544195B2 (ja) * | 2005-05-16 | 2010-09-15 | 日本ビクター株式会社 | 電子機器 |
JP2007052609A (ja) * | 2005-08-17 | 2007-03-01 | Sony Corp | 手領域検出装置及び手領域検出方法、並びにプログラム |
-
2007
- 2007-03-29 JP JP2007088827A patent/JP4848521B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008250482A (ja) | 2008-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4848521B2 (ja) | プロジェクタ投影映像のマウス代替操作方法およびそのマウス代替操作システム | |
JP6153564B2 (ja) | カメラとマーク出力とによるポインティング装置 | |
JP5710589B2 (ja) | 改良されたハンドヘルド画面検知ポインタ | |
US6788289B2 (en) | System and method of pointed position detection system, projector and program | |
US8941687B2 (en) | System and method of user interaction for augmented reality | |
US9055267B2 (en) | System and method of input processing for augmented reality | |
JP5197777B2 (ja) | インターフェイス装置、方法、およびプログラム | |
US9507437B2 (en) | Algorithms, software and an interaction system that support the operation of an on the fly mouse | |
US20090141937A1 (en) | Subject Extracting Method, Subject Tracking Method, Image Synthesizing Method, Computer Program for Extracting Subject, Computer Program for Tracking Subject, Computer Program for Synthesizing Images, Subject Extracting Device, Subject Tracking Device, and Image Synthesizing Device | |
JP6028589B2 (ja) | 入力プログラム、入力装置および入力方法 | |
JP3862389B2 (ja) | 座標入力装置及び座標入力システム及び方法及び記憶媒体 | |
JP2004355494A (ja) | 表示インタフェース方法および装置 | |
JP2000081950A (ja) | 画像処理装置、画像処理方法、及び提供媒体、並びにプレゼンテーションシステム | |
US20090103811A1 (en) | Document camera and its method to make an element distinguished from others on a projected image | |
Sugaya et al. | Contrasting shadow for occluder light suppression from one-shot image | |
JP2007194724A (ja) | 投影型表示装置、書き込み画像抽出方法及びそのプログラム並びにこれが記録されたコンピュータが読み取り可能な情報記録媒体 | |
JP6762544B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
Kale et al. | Epipolar constrained user pushbutton selection in projected interfaces | |
JP2017182672A (ja) | 情報処理方法および情報処理装置、プログラム | |
KR20040088166A (ko) | 그림자를 이용한 인터액티브 동영상 시스템 | |
JP6338463B2 (ja) | 情報機器、画像処理方法およびプログラム | |
JP5854704B2 (ja) | 撮像装置及びその制御方法、並びに、プログラム | |
Rahman et al. | Implementation of multimedia touch system with colour detection based computer vision algorithm | |
JPH11248413A (ja) | 画像推定装置および画像推定プログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110920 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |