JP6547366B2 - インタラクティブプロジェクター - Google Patents
インタラクティブプロジェクター Download PDFInfo
- Publication number
- JP6547366B2 JP6547366B2 JP2015065674A JP2015065674A JP6547366B2 JP 6547366 B2 JP6547366 B2 JP 6547366B2 JP 2015065674 A JP2015065674 A JP 2015065674A JP 2015065674 A JP2015065674 A JP 2015065674A JP 6547366 B2 JP6547366 B2 JP 6547366B2
- Authority
- JP
- Japan
- Prior art keywords
- indicator
- image
- correlation value
- captured image
- projection screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Position Input By Displaying (AREA)
Description
[形態1]
投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターであって、
スクリーン面上に前記投写画面を投写する投写部と、
前記投写画面の領域を撮像する撮像部と、
前記撮像部によって撮像された前記指示体を含む撮像画像に基づいて、前記指示体を検出するための検出処理を実施する指示体検出部と、
前記投写画面が記憶された投写画面記憶部と、
を備え、
前記指示体検出部は、
前記撮像画像を複数の小領域に区分して、少なくとも一つの前記小領域では他の前記小領域と異なるパラメーターを用いて、前記検出処理を実施し、
前記指示体検出部は、前記撮像画像に含まれる前記投写画面の、前記投写画面記憶部における前記投写画面に対する変形率を前記小領域ごとに導いて、前記変形率に基づいて前記検出処理のパラメーターを決定する、
インタラクティブプロジェクター。
このインタラクティブプロジェクターでは、撮像画像を複数の小領域に区分して、小領域ごとに適したパラメーターを用いて検出処理を行うことにより、検出処理の精度を向上させて、指示体の検出精度を向上させることができる。さらに、この構成によれば、所定の区分方法で区分された各小領域の変形率に応じた適切なパラメーターを用いて、指示体の検出処理が実施されるため、指示体の検出精度を向上させることができる。
[形態2]
投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターであって、
スクリーン面上に前記投写画面を投写する投写部と、
前記投写画面の領域を撮像する撮像部と、
前記撮像部によって撮像された前記指示体を含む撮像画像に基づいて、前記指示体を検出するための検出処理を実施する指示体検出部と、
を備え、
前記指示体検出部は、
前記撮像画像を複数の小領域に区分して、少なくとも一つの前記小領域では他の前記小領域と異なるパラメーターを用いて、前記検出処理を実施し、
前記検出処理として、前記指示体を検出するためのテンプレート画像を用いたテンプレートマッチングを実施し、
さらに、前記撮像画像の解像度を変換した画像に相当する解像度変換後画像と前記テンプレート画像とを用いて相関値を算出し、前記撮像画像を用いた相関値と、前記解像度変換後画像を用いた相関値とを加算した結果に基づいて、前記指示体を検出し、
前記パラメーターは、前記撮像画像を用いた相関値と、前記解像度変換後画像を用いた相関値とを加算する際の重み付けである、インタラクティブプロジェクター。
このインタラクティブプロジェクターでは、撮像画像を複数の小領域に区分して、小領域ごとに適したパラメーターを用いて検出処理を行うことにより、検出処理の精度を向上させて、指示体の検出精度を向上させることができる。
ここで、重み付けは、0を含まない。上述の通り、撮像画像に含まれる指示体の大きさは同じではなく、解像度変換後画像と1サイズのテンプレート画像との相関値は、小領域に応じて異なる。そのため、高い相関値を得られる小領域の加算の重み付けを高く設定することにより、解像度変換後画像を用いて算出された相関値を加算した結果の精度が向上され、指示体の検出精度を向上させることができる。
[形態3]
投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターであって、
スクリーン面上に前記投写画面を投写する投写部と、
前記投写画面の領域を撮像する撮像部と、
前記撮像部によって撮像された前記指示体を含む撮像画像に基づいて、前記指示体を検出するための検出処理を実施する指示体検出部と、
を備え、
前記指示体検出部は、
前記撮像画像を複数の小領域に区分して、少なくとも一つの前記小領域では他の前記小領域と異なるパラメーターを用いて、前記検出処理を実施し、
前記検出処理として、前記指示体を検出するためのテンプレート画像を用いたテンプレートマッチングを実施し、
前記撮像画像と前記テンプレート画像との相関値を示す相関値マップを生成し、前記相関値マップにおいて所定の閾値より大きい相関値を有する高相関値領域を抽出し、前記高相関値領域における前記相関値の重心を1画素未満の精度で算出し、前記重心を前記指示体の先端位置として検出し、
前記パラメーターは、前記高相関値領域の画素数である、インタラクティブプロジェクター。
このインタラクティブプロジェクターでは、撮像画像を複数の小領域に区分して、小領域ごとに適したパラメーターを用いて検出処理を行うことにより、検出処理の精度を向上させて、指示体の検出精度を向上させることができる。
さらに、このようにすると、指示体位置が1画素未満の精度で得られるため、指示体の検出精度が向上される。また、上述の通り、小領域ごとに指示体の大きさが異なるため、小領域ごとに適した大きさの高相関度領域を用いて重心を算出することにより、指示体の検出精度を向上させることができる。
[形態4]
投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターであって、
スクリーン面上に前記投写画面を投写する投写部と、
前記投写画面の領域を撮像する撮像部と、
前記撮像部によって撮像された前記指示体を含む撮像画像に基づいて、前記指示体を検出するための検出処理を実施する指示体検出部と、
を備え、
前記指示体検出部は、
前記撮像画像を複数の小領域に区分して、少なくとも一つの前記小領域では他の前記小領域と異なるパラメーターを用いて、前記検出処理を実施し、
前記撮像画像の解像度を変換した画像に相当する解像度変換後画像に対して前記検出処理を実施して、前記指示体を検出し、
前記パラメーターは、前記解像度の変換における倍率である、インタラクティブプロジェクター。
このインタラクティブプロジェクターでは、撮像画像を複数の小領域に区分して、小領域ごとに適したパラメーターを用いて検出処理を行うことにより、検出処理の精度を向上させて、指示体の検出精度を向上させることができる。
撮像画像の解像度を上げると、概念的には指示体が拡大され、解像度を下げると、概念的には指示体が縮小される。そのため、各小領域に含まれる指示体の大きさに応じて解像度を変換して指示体の検出処理を実施することにより、指示体の検出精度を向上させることができる。
[形態5]
投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターであって、
スクリーン面上に前記投写画面を投写する投写部と、
前記投写画面の領域を撮像する撮像部と、
前記撮像部によって撮像された前記指示体を含む撮像画像に基づいて、前記指示体を検出するための検出処理を実施する指示体検出部と、
を備え、
前記指示体検出部は、
前記撮像画像を複数の小領域に区分して、少なくとも一つの前記小領域では他の前記小領域と異なるパラメーターを用いて、前記検出処理を実施し、
前記撮像画像に対してローパスフィルター処理を施してフィルター処理後画像を生成し、前記フィルター処理後画像を用いて前記検出処理を実施し、
前記パラメーターは、前記ローパスフィルターのカットオフ周波数である、インタラクティブプロジェクター。
このインタラクティブプロジェクターでは、撮像画像を複数の小領域に区分して、小領域ごとに適したパラメーターを用いて検出処理を行うことにより、検出処理の精度を向上させて、指示体の検出精度を向上させることができる。
例えば、指示体の大きさが相対的に小さい小領域において、ローパスフィルターのカットオフ周波数を低く設定してぼかしの程度を大きくすることにより、指示体の検出精度を向上させることができる。一方、指示体の大きさが相対的に大きい領域では、ローパスフィルターのカットオフ周波数を高く設定してぼかしの程度を小さくすることにより、指示体の検出精度を向上させることができる。
撮像画像は、撮像部の撮像方向に起因する歪みや撮像レンズに起因する歪みを有することがあり、撮像画像内の位置(領域)に応じて指示体の大きさや形状が異なることがある。そのため、単一のパラメーターを用いて検出処理を行うと、適切な検出結果が得られない場合がある。このインタラクティブプロジェクターでは、撮像画像を複数の小領域に区分して、小領域ごとに適したパラメーターを用いて検出処理を行うことにより、検出処理の精度を向上させて、指示体の検出精度を向上させることができる。なお、小領域ごとに全て異なるパラメーターを用いてもよいし、同じパラメーターを用いる領域があってもよい。
撮像画像に含まれる指示体の大きさは、上記の変形率に応じて異なる。ここで、変形率は、拡大率および縮小率を含む概念である。この構成によれば、小領域が変形率に基づいて区分されるため、変形率に応じた適切なパラメーターを用いて指示体の検出処理を行うことにより、指示体の検出精度を向上させることができる。
図1は、本発明の一実施形態におけるインタラクティブプロジェクションシステム900の斜視図である。このシステム900は、インタラクティブプロジェクター100と、スクリーン板920と、自発光指示体70とを有している。スクリーン板920の前面は、投写スクリーン面SS(projection Screen Surface)として利用される。プロジェクター100は、支持部材910によってスクリーン板920の前方かつ上方に固定されている。なお、図1では投写スクリーン面SSを鉛直に配置しているが、投写スクリーン面SSを水平に配置してこのシステム900を使用することも可能である。
N×Q≦2M …(1)
ここで、Qは自発光指示体70のスイッチ73,76で区別される状態の数であり、本実施形態の例ではQ=2又はQ=4である。例えば、Q=4の場合には、N=2のときにはMを3以上の整数に設定し、N=2〜4のときにはMを4以上の整数に設定することが好ましい。このとき、位置検出部600(又は制御部700)がN個の自発光指示体70と非発光指示体80、及び、各自発光指示体70のスイッチ73,76の状態を識別する際には、1組の発光パターンのM個の単位発光期間において各カメラ310,320でそれぞれ撮像されたM枚の画像を用いてその識別を実行する。なお、このMビットの発光パターンは、照射検出光IDLをオフの状態に維持した状態で指示体信号光PSLをオン又はオフに設定したパターンであり、カメラ310,320で撮像される画像には非発光指示体80が写らない。そこで、非発光指示体80の位置を検出するために用いる画像を撮像するために、照射検出光IDLをオン状態とした1ビットの単位発光期間を更に追加することが好ましい。但し、位置検出用の単位発光期間では、指示体信号光PSLはオン/オフのいずれでも良い。この位置検出用の単位発光期間で得られた画像は、自発光指示体70の位置検出にも利用することが可能である。
(1)投写画像光IML:スクリーン面SSに投写画面PSを投写するために、投写レンズ210によってスクリーン面SS上に投写される画像光(可視光)である。
(2)照射検出光IDL: 指示体780(自発光指示体70及び非発光指示体80)の先端部を検出するために、検出光照射部410によってスクリーン面SSとその前方の空間にわたって照射される近赤外光である。
(3)反射検出光RDL:照射検出光IDLとして照射された近赤外光のうち、指示体780(自発光指示体70及び非発光指示体80)によって反射され、2台のカメラ310,320によって受光される近赤外光である。
(4)装置信号光ASL:プロジェクター100と自発光指示体70との同期をとるために、プロジェクター100の信号光送信部430から定期的に発せられる近赤外光である。
(5)指示体信号光PSL:装置信号光ASLに同期したタイミングで、自発光指示体70の先端発光部77から発せられる近赤外光である。指示体信号光PSLの発光パターンは、自発光指示体70のスイッチ73,76のオン/オフ状態に応じて変更される。また、複数の自発光指示体70を識別する固有の発光パターンを有する。
図5は、位置検出部600(図3)の概略構成を示すブロック図である。位置検出部600は、相関値算出部620と、相関値マップ生成部640と、指示体検出部660と、三次元位置算出部680と、を備える。相関値算出部620は、複数のテンプレートセット(ここでは3つのテンプレートセットS1〜S3)を備える。各テンプレートセットは、複数種類のテンプレート画像(図5に示すテンプレートセットS1は3種のテンプレート画像T11〜T13)を備える。以下、3つのテンプレートセットS1〜S3を区別しない場合には、テンプレートセットSとも称する。また、3種のテンプレート画像T11〜T13を区別しない場合には、テンプレート画像Tとも称する。相関値算出部620は、撮像部300にて投写画面PSの領域を撮像した撮像画像と各テンプレート画像Tとの相関値を算出する。相関値算出部620は、第1カメラ310による第1撮像画像、第2カメラ320による第2撮像画像、それぞれに対して、3つのテンプレート画像T11〜T13に対応する3種類の相関値を算出する。すなわち、相関値算出部620では、一度の撮像タイミングに対して、6種類の相関値が算出される。
図12は、第2実施形態の位置検出部600Aの構成を示すブロック図である。第2実施形態の位置検出部600Aは、第1実施形態の位置検出部600における相関値算出部620に換えて相関値算出部620Aを備える。相関値算出部620Aは、複数のテンプレート画像(ここでは3つのテンプレート画像T1〜T3)を備える。本実施形態におけるテンプレート画像T1〜T3は、第1実施形態におけるテンプレート画像T21〜T23(図8)と同一であり、サイズが13×13画素である。本実施形態においてテンプレート画像T1〜T3は、所定の指で上記の角度で、撮像画像M0の小領域MR2に相当するスクリーン面SSの領域を指した状態を、撮像部300で撮像した画像を用いて生成されている。すなわち、テンプレート画像Tに含まれる指の大きさは、撮像画像M0の小領域MR2に含まれる非発光指示体80の平均的な大きさに相当する。
SRL2(i,j)=Pi−1,j−1×T11+Pi−1,j×(T12+T13)+Pi,j−1×T21+Pi,j×(T22+T23)+Pi,j−1×T31+Pi,j×(T32+T33)・・・(2)
SRL1/2(i,j)=1/4{(Pi−2,j−2+Pi−2,j−1+Pi−1,j−2+Pi−1,j−1)×T11+(Pi−2,j+Pi−2,j+1+Pi−1,j+Pi−1,j+1)×T12+・・・+(Pi+2,j+2+Pi+2,j+3+Pi+3,j+2+Pi+3,j+3)×T33} ・・・(3)
ここでは、1/2倍の解像度を有する1/2倍変換画像における画素の画素値として、変換前の4つの画素の画素値の平均値を使用している。式(3)において、変換前の4つの画素の画素値を平均化するために、1/4を乗算している。
第3実施形態のインタラクティブプロジェクターの相関値算出部は、第2実施形態の相関値算出部620Aと同様に、3つのテンプレート画像T1〜T3を備える。本実施形態におけるテンプレート画像T1〜T3は、第2実施形態のテンプレート画像と相似形の画像であり、サイズが15×15画素である。本実施形態においてテンプレート画像T1〜T3は、撮像画像M0の小領域MR3に相当するスクリーン面SSの領域を所定の指で指した状態を、撮像部300で撮像した画像を用いて生成されている。すなわち、テンプレート画像Tに含まれる指の大きさは、撮像画像M0の小領域MR3に含まれる非発光指示体80の平均的な大きさに相当する。
図19は、第4実施形態の非発光指示体80に関する指示体位置検出処理の流れを示すフローチャートである。図20は、第4実施形態における指示体位置の決定方法を説明するための説明図である。
XG=ΣαiXi/Σαi・・・(4a)
YG=ΣαiYi/Σαi・・・(4b)
ここで、αiは、高相関値領域R12内の各画素の相関値,Xi,Yiは、各画素のX座標およびY座標である。
図22は、第5実施形態の位置検出部600Bの概略構成を示すブロック図である。本実施形態の位置検出部600Bは、第2実施形態の位置検出部600A(図12)の構成に加え、フィルター処理部610を備える。フィルター処理部610は、撮像部300より位置検出部600Bに入力される撮像画像M0に対してローパスフィルターを用いたフィルター処理を実行してフィルター処理後画像MFを生成する。フィルター処理部610は、撮像画像M0の小領域MRごとに異なるカットオフ周波数のローパスフィルターを用いる。具体的には、各小領域MRで用いられるローパスフィルターのカットオフ周波数は、小領域MR1<小領域MR2<小領域MR3である。すなわち、局所倍率Mが小さいほど、ローパスフィルターのカットオフ周波数を低く設定している。局所倍率Mが小さな小領域MR1に含まれる非発光指示体80の大きさは小さいため、ローパスフィルターのカットオフ周波数を低くすると、非発光指示体80の輪郭がぼやけて大きくなり、非発光指示体80の検出精度を向上させることができる。一方、局所倍率Mが大きな小領域MR3に含まれる非発光指示体80の大きさは十分大きいため、ローパスフィルターのカットオフ周波数を高くしてぼかし度合いを小さくした方が検出精度が向上される。相関値算出部620は、フィルター処理後画像MFを用いて、第2実施形態と同様に、相関値を算出する。
図23は、第6実施形態の位置検出部600Cの構成を示すブロック図である。第6実施形態の位置検出部600Cは、第1実施形態の位置検出部600における相関値算出部620に換えて相関値算出部620Cを備える。相関値算出部620Cは、複数のテンプレートセット(ここでは9つのテンプレートセットS1〜S9)を備える。各テンプレートセットは、複数種類のテンプレート画像(ここでは2種のテンプレート画像T1,T2)を備える。
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
上記実施形態では、自発光指示体70と非発光指示体80の両方を、指示体として利用可能なインタラクティブプロジェクターを例示したが、非発光指示体80のみを利用可能に構成してもよい。
上記実施形態では、撮像部300が2台のカメラ310,320を有しているものとしたが、撮像部300は、1台のカメラを有する構成としてもよいし、3台以上のカメラを有する構成としてもよい。後者の場合には、m台(mは3以上の整数)のカメラで撮像されたm個の画像に基づいて、三次元座標(X,Y,Z)が決定される。例えば、m個の画像から2個の画像を任意に選択して得られるmC2個の組み合わせを用いてそれぞれ三次元座標を求め、それらの平均値を用いて最終的な三次元座標を決定しても良い。こうすれば、三次元座標の検出精度を更に高めることが可能である。
上記実施形態では、インタラクティブプロジェクションシステム900がホワイトボードモードとPCインタラクティブモードとで動作可能であるものとしたが、これらのうちの一方のモードのみで動作するようにシステムが構成されていても良い。また、インタラクティブプロジェクションシステム900は、これら2つのモード以外の他のモードのみで動作するように構成されていても良く、更に、これら2つのモードを含む複数のモードで動作可能に構成されていてもよい。
上記実施形態では、図3に示した照射検出光IDLと、反射検出光RDLと、装置信号光ASLと、指示体信号光PSLとがすべて近赤外光であるものとしたが、これらのうちの一部又は全部を近赤外光以外の光としてもよい。
上記実施形態では、複数のテンプレート画像Tを用いて相関値マップRLTを生成する場合に、各テンプレート画像Tに対応する相関値RLを加算する例を示したが、例えば、最も高い相関関係を示したテンプレート画像Tに対応する相関値Rを選択する構成にしてもよい。
上記実施形態の指示体検出部660において、相関値マップRLTに対して所定の閾値に基づく2値化を行って、非発光指示体80を検出する構成にしてもよい。この場合、小領域ごとに異なる閾値を用いてもよい。例えば、投写画面PSと撮像部300との距離が小さいほど、閾値を大きく設定してもよい。具体的には、閾値をMR3>MR2>MR1にしてもよい。上述の通り、非発光指示体80と撮像部300との距離が小さいほど、撮像画像M0内の非発光指示体80は明るい(画素値が大きい)。すなわち、非発光指示体80と撮像部300との距離が大きいと、撮像画像M0内の非発光指示体80は暗い(画素値が小さい)ため、閾値を小さく設定することにより、非発光指示体80を適切に検出することができる。一方、非発光指示体80と撮像部300との距離が小さい小領域では、閾値が小さいと、2値化により検出される領域が大きく、検出精度が低くなるため、閾値を大きく設定することにより、非発光指示体80を適切に検出することができる。このように、小領域MRに応じて閾値を変更することにより、適切に非発光指示体80を検出することができる。
上記した複数の実施形態を適宜組み合わせてもよい。例えば、第1〜3,6実施形態のそれぞれに、第4実施形態を組み合わせてもよいし、さらに、第5実施形態を組み合わせてもよい。また、例えば、第1実施形態において、小領域MRごとにテンプレート画像Tのサイズとテンプレート画像Tの種類(指の向き)の両方を変えてもよい。このようにしても、非発光指示体80の検出精度を向上させることができる。
上記実施形態において、局所倍率Mに基づいて小領域MRを区分する例と、撮像画像M0の位置(画素座標)に基づいて小領域DRを区分する例を示したが、上記実施形態に限定されない。例えば、カメラ310,320と、スクリーン面SSとの距離に基づいて小領域を区分してもよい。
上記実施形態において、局所倍率Mや撮像画像M0の位置(画素座標)に基づいて小領域DRを区分し、小領域MRごとに異なるテンプレートマッチングのパラメーターを用いる例を示したが、所定の区分方法で区分された各小領域の局所倍率に基づいて、パラメーターを決定する構成にしてもよい。例えば、第6実施形態において示したように、撮像画像M0を9等分に区分して、各小領域DR1〜DR9の局所倍率Mに応じてパラメーターを決定してもよい。
上記実施形態では、テンプレートマッチングにより非発光指示体80を検出する例を示したが、非発光指示体80を検出する方法は、上記実施形態に限定されない。例えば、特徴抽出処理やエッジ検出処理によって、非発光指示体80を検出してもよい。特徴抽出処理やエッジ検出処理によって、非発光指示体80を検出する場合に、指示体検出を行う際の対象画像(撮像画像)の解像度変換倍率を、小領域ごとに変更してもよい。また、自発光指示体70も、テンプレートマッチング,特徴抽出処理,エッジ検出処理等によって検出してもよい。
上記実施形態では、インタラクティブプロジェクター100が検出光照射部410を備える構成を例示したが、検出光照射部410を備えない構成にしてもよい。インタラクティブプロジェクター100が検出光照射部410を備えない場合、非発光指示体80の先端を検出するための照射検出光をスクリーン面SSとその前方の空間にわたって照射する構成を、支持部材910等が備えてもよい。なお、上記実施形態のように、インタラクティブプロジェクターが検出光照射部を備える構成の場合、プロジェクターによって、検出光の照射タイミングを、カメラによる撮像タイミングに関連づけて、容易に制御することができるため、好ましい。また、インタラクティブプロジェクター100が検出光照射部410を備えない場合に、2台のカメラ310,320の両方を、可視光を含む光を受光して撮像する撮像機能を有する構成とし、非発光指示体80の先端を、可視光を含む光を受光して撮像した撮像画像に基づいて検出する構成にしてもよい。なお、上記実施形態のように、インタラクティブプロジェクターが検出光照射部を備える構成の場合は、可視光を含む光を受光して撮像した撮像画像に基づいて検出する構成に比較して、容易に、精度よく非発光指示体を検出することができる。
上記実施形態では、インタラクティブプロジェクター100として、いわゆる超短焦点プロジェクターを例示したが、これに限定されない。すなわち、メモリー画像MPの投写画像PPが、キーストーン補正により逆台形に形成されていてもよい。この場合も、投写画面PSは、図6に示す矩形状を成し、撮像画像M0の投写画面領域PSRは、図6に示す形状を成す。局所倍率として、上記実施形態と同様に、メモリー画像MPの投写画像PPの個々の局所的な領域に対する、撮像画像M0の投写画面領域PSRの対応する領域の倍率を用いることができる。
71…先端部
72…軸部
73…ボタンスイッチ
74…信号光受信部
75…制御部
76…先端スイッチ
77…先端発光部
80…非発光指示体
81…先端部
100…インタラクティブプロジェクター
200…投写部
210…投写レンズ
220…光変調部
230…光源
300…撮像部
310…第1カメラ
320…第2カメラ
410…検出光照射部
430…信号光送信部
500…投写画像生成部
510…投写画像メモリー
600…位置検出部
610…フィルター処理部
620…相関値算出部
640…相関値マップ生成部
660…指示体検出部
680…三次元位置算出部
700…制御部
800…接触検出部
900…インタラクティブプロジェクションシステム
910…支持部材
920…スクリーン板
Claims (6)
- 投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターであって、
スクリーン面上に前記投写画面を投写する投写部と、
前記投写画面の領域を撮像する撮像部と、
前記撮像部によって撮像された前記指示体を含む撮像画像に基づいて、前記指示体を検出するための検出処理を実施する指示体検出部と、
を備え、
前記指示体検出部は、
前記撮像画像を複数の小領域に区分して、少なくとも一つの前記小領域では他の前記小領域と異なるパラメーターを用いて、前記検出処理を実施し、
前記検出処理として、前記指示体を検出するためのテンプレート画像を用いたテンプレートマッチングを実施し、
さらに、前記撮像画像の解像度を変換した画像に相当する解像度変換後画像と前記テンプレート画像とを用いて相関値を算出し、前記撮像画像を用いた相関値と、前記解像度変換後画像を用いた相関値とを加算した結果に基づいて、前記指示体を検出し、
前記パラメーターは、前記撮像画像を用いた相関値と、前記解像度変換後画像を用いた相関値とを加算する際の重み付けである、インタラクティブプロジェクター。 - 投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターであって、
スクリーン面上に前記投写画面を投写する投写部と、
前記投写画面の領域を撮像する撮像部と、
前記撮像部によって撮像された前記指示体を含む撮像画像に基づいて、前記指示体を検出するための検出処理を実施する指示体検出部と、
を備え、
前記指示体検出部は、
前記撮像画像を複数の小領域に区分して、少なくとも一つの前記小領域では他の前記小領域と異なるパラメーターを用いて、前記検出処理を実施し、
前記検出処理として、前記指示体を検出するためのテンプレート画像を用いたテンプレートマッチングを実施し、
前記撮像画像と前記テンプレート画像との相関値を示す相関値マップを生成し、前記相関値マップにおいて所定の閾値より大きい相関値を有する高相関値領域を抽出し、前記高相関値領域における前記相関値の重心を1画素未満の精度で算出し、前記重心を前記指示体の先端位置として検出し、
前記パラメーターは、前記高相関値領域の画素数である、インタラクティブプロジェクター。 - 投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターであって、
スクリーン面上に前記投写画面を投写する投写部と、
前記投写画面の領域を撮像する撮像部と、
前記撮像部によって撮像された前記指示体を含む撮像画像に基づいて、前記指示体を検出するための検出処理を実施する指示体検出部と、
を備え、
前記指示体検出部は、
前記撮像画像を複数の小領域に区分して、少なくとも一つの前記小領域では他の前記小領域と異なるパラメーターを用いて、前記検出処理を実施し、
前記撮像画像の解像度を変換した画像に相当する解像度変換後画像に対して前記検出処理を実施して、前記指示体を検出し、
前記パラメーターは、前記解像度の変換における倍率である、インタラクティブプロジェクター。 - 投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターであって、
スクリーン面上に前記投写画面を投写する投写部と、
前記投写画面の領域を撮像する撮像部と、
前記撮像部によって撮像された前記指示体を含む撮像画像に基づいて、前記指示体を検出するための検出処理を実施する指示体検出部と、
を備え、
前記指示体検出部は、
前記撮像画像を複数の小領域に区分して、少なくとも一つの前記小領域では他の前記小領域と異なるパラメーターを用いて、前記検出処理を実施し、
前記撮像画像に対してローパスフィルター処理を施してフィルター処理後画像を生成し、前記フィルター処理後画像を用いて前記検出処理を実施し、
前記パラメーターは、前記ローパスフィルターのカットオフ周波数である、インタラクティブプロジェクター。 - 請求項3に記載のインタラクティブプロジェクターにおいて、
前記投写画面が記憶された投写画面記憶部を備え、
前記撮像画像に含まれる前記投写画面の、前記投写画面記憶部における前記投写画面に対する変形率に基づいて、前記小領域が区分される、
インタラクティブプロジェクター。 - 請求項4に記載のインタラクティブプロジェクターにおいて、
前記投写画面が記憶された投写画面記憶部を備え、
前記撮像画像に含まれる前記投写画面の、前記投写画面記憶部における前記投写画面に対する変形率に基づいて、前記小領域が区分される、
インタラクティブプロジェクター。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015065674A JP6547366B2 (ja) | 2015-03-27 | 2015-03-27 | インタラクティブプロジェクター |
US15/077,843 US10055026B2 (en) | 2015-03-27 | 2016-03-22 | Interactive projector and method of controlling interactive projector |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015065674A JP6547366B2 (ja) | 2015-03-27 | 2015-03-27 | インタラクティブプロジェクター |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016186680A JP2016186680A (ja) | 2016-10-27 |
JP6547366B2 true JP6547366B2 (ja) | 2019-07-24 |
Family
ID=56975333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015065674A Expired - Fee Related JP6547366B2 (ja) | 2015-03-27 | 2015-03-27 | インタラクティブプロジェクター |
Country Status (2)
Country | Link |
---|---|
US (1) | US10055026B2 (ja) |
JP (1) | JP6547366B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018088663A (ja) * | 2016-11-30 | 2018-06-07 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001052230A1 (en) * | 2000-01-10 | 2001-07-19 | Ic Tech, Inc. | Method and system for interacting with a display |
JP3640156B2 (ja) * | 2000-02-22 | 2005-04-20 | セイコーエプソン株式会社 | 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体 |
JP2004125664A (ja) * | 2002-10-03 | 2004-04-22 | Hamamatsu Photonics Kk | 位相分布計測装置 |
JP4560023B2 (ja) * | 2006-09-14 | 2010-10-13 | 三菱スペース・ソフトウエア株式会社 | 画像マッチング装置、画像マッチングプログラム及び画像マッチング方法 |
JP5365387B2 (ja) * | 2009-07-17 | 2013-12-11 | 株式会社ニコン | 位置検出装置 |
JP2012150636A (ja) | 2011-01-19 | 2012-08-09 | Seiko Epson Corp | 投写型表示装置及び情報処理システム |
CN102859320A (zh) * | 2011-04-28 | 2013-01-02 | 三洋电机株式会社 | 信息取得装置以及物体检测装置 |
US9111135B2 (en) * | 2012-06-25 | 2015-08-18 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera |
WO2014128749A1 (ja) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | 形状認識装置、形状認識プログラム、および形状認識方法 |
JP6037901B2 (ja) * | 2013-03-11 | 2016-12-07 | 日立マクセル株式会社 | 操作検出装置、操作検出方法及び表示制御データ生成方法 |
JP6425416B2 (ja) * | 2013-05-10 | 2018-11-21 | 国立大学法人電気通信大学 | ユーザインタフェース装置およびユーザインタフェース制御プログラム |
-
2015
- 2015-03-27 JP JP2015065674A patent/JP6547366B2/ja not_active Expired - Fee Related
-
2016
- 2016-03-22 US US15/077,843 patent/US10055026B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10055026B2 (en) | 2018-08-21 |
US20160282959A1 (en) | 2016-09-29 |
JP2016186680A (ja) | 2016-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6477131B2 (ja) | インタラクティブプロジェクター,インタラクティブプロジェクションシステム,およびインタラクティブプロジェクターの制御方法 | |
CN107094247B (zh) | 位置检测装置及其对比度调整方法 | |
US9535538B2 (en) | System, information processing apparatus, and information processing method | |
JP6477130B2 (ja) | インタラクティブプロジェクター及びインタラクティブプロジェクションシステム | |
JP2020123118A (ja) | 位置検出方法、位置検出装置、及び、インタラクティブプロジェクター | |
US20200264729A1 (en) | Display method, display device, and interactive projector | |
CN107407995B (zh) | 交互式投影仪、交互式投影系统以及交互式投影仪的控制方法 | |
US10073614B2 (en) | Information processing device, image projection apparatus, and information processing method | |
JP2016009396A (ja) | 入力装置 | |
US11093085B2 (en) | Position detection method, position detection device, and interactive projector | |
JP6547366B2 (ja) | インタラクティブプロジェクター | |
US10551972B2 (en) | Interactive projector and method of controlling interactive projector | |
JP6503828B2 (ja) | インタラクティブプロジェクションシステム,指示体,およびインタラクティブプロジェクションシステムの制御方法 | |
US11144164B2 (en) | Position detection method, position detection device, and interactive projector | |
JP6690271B2 (ja) | 位置検出システム、位置検出装置、および位置検出方法 | |
US9958958B2 (en) | Interactive projector and method of controlling interactive projector | |
JP6631281B2 (ja) | インタラクティブプロジェクター、及び、そのオートキャリブレーション実行方法 | |
JP2018098598A (ja) | 入出力装置、情報共有方法及び情報共有プログラム | |
JP2017125764A (ja) | 物体検出装置、及び物体検出装置を備えた画像表示装置 | |
JP2020071573A (ja) | 表示装置、表示システム、及び表示方法 | |
JP2016186679A (ja) | インタラクティブプロジェクターおよびインタラクティブプロジェクターの制御方法 | |
JP2020123113A (ja) | 位置検出方法、位置検出装置、及び、インタラクティブプロジェクター |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190121 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190422 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6547366 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |