JP6477131B2 - インタラクティブプロジェクター,インタラクティブプロジェクションシステム,およびインタラクティブプロジェクターの制御方法 - Google Patents

インタラクティブプロジェクター,インタラクティブプロジェクションシステム,およびインタラクティブプロジェクターの制御方法 Download PDF

Info

Publication number
JP6477131B2
JP6477131B2 JP2015065669A JP2015065669A JP6477131B2 JP 6477131 B2 JP6477131 B2 JP 6477131B2 JP 2015065669 A JP2015065669 A JP 2015065669A JP 2015065669 A JP2015065669 A JP 2015065669A JP 6477131 B2 JP6477131 B2 JP 6477131B2
Authority
JP
Japan
Prior art keywords
indicator
light
projection screen
self
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015065669A
Other languages
English (en)
Other versions
JP2016186676A5 (ja
JP2016186676A (ja
Inventor
健児 田中
健児 田中
ポラック,カロル,マルチン
ニュルスタッド、トルモド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015065669A priority Critical patent/JP6477131B2/ja
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to KR1020177027896A priority patent/KR20170122259A/ko
Priority to CN201680012869.5A priority patent/CN107430465B/zh
Priority to EP16771700.8A priority patent/EP3276466A4/en
Priority to PCT/JP2016/001606 priority patent/WO2016157807A1/ja
Priority to US15/559,365 priority patent/US10275097B2/en
Priority to TW105109279A priority patent/TW201636786A/zh
Publication of JP2016186676A publication Critical patent/JP2016186676A/ja
Publication of JP2016186676A5 publication Critical patent/JP2016186676A5/ja
Application granted granted Critical
Publication of JP6477131B2 publication Critical patent/JP6477131B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542Light pens for emitting or receiving light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • Projection Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクター、及び、そのシステムに関する。
特許文献1,2には、投写画をスクリーンに投写するとともに、指や発光するペンなどの対象物(object)を含む画像をカメラで撮像し、この撮像画像を用いて対象物の位置を検出することが可能な投写型表示装置(プロジェクター)が開示されている。指などの対象物は、投写画面に対して指示を行うための指示体として利用される。すなわち、プロジェクターは、対象物の先端がスクリーンに接しているときに投写画面に対して描画等の所定の指示が入力されているものと認識し、その指示に応じて投写画面を再描画する。従って、ユーザーは、投写画面をユーザーインターフェースとして用いて、各種の指示を入力することが可能である。このように、スクリーン上の投写画面を入力可能ユーザーインターフェースとして利用できるタイプのプロジェクターを、「インタラクティブプロジェクター」と呼ぶ。また、投写画面に対して指示を行うために利用される対象物を「指示体(pointing element)」と呼ぶ。
特開2012−150636号公報 特表2008−520034号公報
典型的なインタラクティブプロジェクターでは、指示体の先端がスクリーンに接しているか否かに応じて、指示体によって指示がなされているか否かを判定する。指示体の接触は、指示体の先端とスクリーンとの間の距離に基づいて検出することができる。しかしながら、複数台のカメラを用いて、指示体の先端の3次元位置を検出する構成のインタラクティブプロジェクターにおいて、指示体として発光するペンを用いた場合、ペンがスクリーン面に接触した状態ではペンが発する光がスクリーン面で反射されるため、ペンの先端位置の検出精度が高くなく、ペンの接触の検出精度が十分でなかった。そのため、発光するペン等の自発光指示体の接触の検出精度の向上が望まれていた。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
(1)本発明の一形態によれば、投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターが提供される。このインタラクティブプロジェクターは、前記指示体として、前記投写画面への接触時と非接触時とで異なる発光パターンで指示体信号光を発光する発光部を備える自発光指示体と、前記発光部を備えない非発光指示体との両方を同時に使用可能であり、前記インタラクティブプロジェクターは、スクリーン面上に前記投写画面を投写する投写部と、前記投写画面の領域を撮像する第1カメラ及び第2カメラを含む複数台のカメラと、前記複数台のカメラによって撮像された前記指示体を含む複数の画像に基づいて、前記投写画面に対する前記指示体の3次元位置を検出する位置検出部と、前記指示体の前記投写画面への接触を検出する接触検出部と、を備え、前記接触検出部は、前記自発光指示体の前記投写画面への接触の検出は、前記発光パターンに基づいて実行し、前記非発光指示体の前記投写画面への接触の検出は、前記位置検出部によって検出された前記3次元位置に基づいて実行する。
このインタラクティブプロジェクターでは、自発光指示体と非発光指示体とで、異なる方法で指示体の投写画面への接触を検出している。自発光指示体の投写画面への接触の検出は、発光パターンに基づいて実行されるので、指示体の投写画面への接触の検出精度を向上させることができる。
(2)上記インタラクティブプロジェクターにおいて、前記非発光指示体の検出に用いる検出光を前記投写画面に向けて照射する検出光照射部をさらに備え、前記複数台のカメラは、前記指示体信号光および前記検出光の波長を含む波長領域の光を受光して前記投写画面の領域を撮像してもよい。
この構成によれば、例えば、検出光として近赤外光を用いて、容易に、精度よく非発光指示体を検出することができる。また、インタラクティブプロジェクターが検出光照射部を備えることにより、プロジェクターによって、検出光の照射タイミングを、カメラによる撮像タイミングに関連づけて、容易に制御することができる。
(3)上記インタラクティブプロジェクターにおいて、前記検出光照射部は、前記検出光を間欠的に前記投写画面に向けて照射し、前記位置検出部は、前記検出光が照射される第1の期間に撮像された第1の画像と、前記検出光が照射されない第2の期間に撮像された第2の画像と、に基づいて、前記自発光指示体と前記非発光指示体とを判別してもよい。
この構成によれば、検出光が間欠的に照射されるため、検出光の照射有無に対応する画像に基づいて、容易に自発光指示体と非発光指示体とを判別することができる。
本発明は、種々の形態で実現することが可能であり、例えば、自発光指示体と、平面状又は曲面状のスクリーンと、インタラクティブプロジェクターを備えるシステム、インタラクティブプロジェクターの制御方法又は制御装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体(non-transitory storage medium)等の様々な形態で実現することができる。
インタラクティブプロジェクションシステムの斜視図である。 インタラクティブプロジェクションシステムの側面図および正面図である。 インタラクティブプロジェクターと自発光指示体の内部構成を示すブロック図である。 自発光指示体と非発光指示体を利用した操作の様子を示す説明図である。 プロジェクターおよび指示体の発光タイミングを示すタイミングチャートである。 プロジェクターおよび指示体の発光タイミングの他の例を示すタイミングチャートである。
A1.システムの概要:
図1は、本発明の一実施形態におけるインタラクティブプロジェクションシステム900の斜視図である。このシステム900は、インタラクティブプロジェクター100と、スクリーン板920と、自発光指示体70とを有している。スクリーン板920の前面は、投写スクリーン面SS(projection Screen Surface)として利用される。プロジェクター100は、支持部材910によってスクリーン板920の前方かつ上方に固定されている。なお、図1では投写スクリーン面SSを鉛直に配置しているが、投写スクリーン面SSを水平に配置してこのシステム900を使用することも可能である。
プロジェクター100は、投写スクリーン面SS上に投写画面PS(Projected Screen)を投写する。投写画面PSは、通常は、プロジェクター100内で描画された画像を含んでいる。プロジェクター100内で描画された画像がない場合には、プロジェクター100から投写画面PSに光が照射されて、白色画像が表示される。本明細書において、「投写スクリーン面SS」(又は「スクリーン面SS」)とは、画像が投写される部材の表面を意味する。また、「投写画面PS」とは、プロジェクター100によって投写スクリーン面SS上に投写された画像の領域を意味する。通常は、投写スクリーン面SSの一部に投写画面PSが投写される。
自発光指示体70は、発光可能な先端部71と、使用者が保持する軸部72と、軸部72に設けられたボタンスイッチ73とを有するペン型の指示体である。自発光指示体70の構成や機能については後述する。このシステム900では、1つ又は複数の自発光指示体70とともに、1つ又は複数の非発光指示体80(非発光のペンや指など)を利用可能である。以下、自発光指示体70と非発光指示体80とを区別しない場合は、単に、指示体780とも呼ぶ。
図2(A)は、インタラクティブプロジェクションシステム900の側面図であり、図2(B)はその正面図である。本明細書では、スクリーン面SSの左右に沿った方向をX方向と定義し、スクリーン面SSの上下に沿った方向をY方向と定義し、スクリーン面SSの法線に沿った方向をZ方向と定義している。なお、便宜上、X方向を「左右方向」とも呼び、Y方向を「上下方向」とも呼び、Z方向を「前後方向」とも呼ぶ。また、Y方向(上下方向)のうち、プロジェクター100から見て投写画面PSが存在する方向を「下方向」と呼ぶ。なお、図2(A)では、図示の便宜上、スクリーン板920のうちの投写画面PSの範囲にハッチングを付している。
プロジェクター100は、投写画面PSをスクリーン面SS上に投写する投写レンズ210と、投写画面PSの領域を撮像する第1カメラ310及び第2カメラ320と、指示体780に検出光を照明するための検出光照射部410とを有している。検出光としては、例えば近赤外光が使用される。2台のカメラ310,320は、検出光の波長を含む波長領域の光を受光して撮像する第1の撮像機能を少なくとも有している。2台のカメラ310,320のうちの少なくとも一方は、更に、可視光を含む光を受光して撮像する第2の撮像機能を有し、これらの2つの撮像機能を切り替え可能に構成されていることが好ましい。例えば、2台のカメラ310,320は、可視光を遮断して近赤外光のみを通過させる近赤外フィルターをレンズの前に配置したりレンズの前から後退させたりすることが可能な近赤外フィルター切換機構(図示せず)をそれぞれ備えることが好ましい。2台のカメラ310,320は、左右方向(X方向)の位置が同じで、前後方向(Z方向)に所定の距離を空けて並んで配置されている。2台のカメラ310,320は、本実施形態に限定されない。例えば、前後方向(Z方向)の位置が同じで、左右方向(X方向)に所定の距離を空けて並んで配置されてもよい。また、X,Y,Z全ての方向において位置が異なってもよい。2台のカメラをZ方向の位置を変えて(前後方向にずらして)配置すると、三角測量による3次元位置の算出におけるZ座標の精度が高いため、好ましい。
図2(B)の例は、インタラクティブプロジェクションシステム900がホワイトボードモードで動作している様子を示している。ホワイトボードモードは、自発光指示体70や非発光指示体80を用いて投写画面PS上にユーザーが任意に描画できるモードである。スクリーン面SS上には、ツールボックスTBを含む投写画面PSが投写されている。このツールボックスTBは、処理を元に戻す取消ボタンUDBと、マウスポインターを選択するポインターボタンPTBと、描画用のペンツールを選択するペンボタンPEBと、描画された画像を消去する消しゴムツールを選択する消しゴムボタンERBと、画面を次に進めたり前に戻したりする前方/後方ボタンFRBと、を含んでいる。ユーザーは、指示体を用いてこれらのボタンにタッチすることによって、そのボタンに応じた処理を行ったり、ツールを選択したりすることが可能である。なお、システム900の起動直後は、マウスポインターがデフォールトツールとして選択されるようにしてもよい。図2(B)の例では、ユーザーがペンツールを選択した後、自発光指示体70の先端部71をスクリーン面SSに接した状態で投写画面PS内で移動させることにより、投写画面PS内に線が描画されてゆく様子が描かれている。この線の描画は、プロジェクター100の内部の投写画像作成部(後述)によって行われる。
なお、インタラクティブプロジェクションシステム900は、ホワイトボードモード以外の他のモードでも動作可能である。例えば、このシステム900は、パーソナルコンピューター(図示せず)から通信回線を介して転送されたデータの画像を投写画面PSに表示するPCインタラクティブモードでも動作可能である。PCインタラクティブモードにおいては、例えば表計算ソフトウェアなどのデータの画像が表示され、その画像内に表示された各種のツールやアイコンを利用してデータの入力、作成、修正等を行うことが可能となる。
図3は、インタラクティブプロジェクター100と自発光指示体70の内部構成を示すブロック図である。プロジェクター100は、制御部700と、投写部200と、投写画像生成部500と、位置検出部600と、接触検出部800と、撮像部300と、検出光照射部410と、信号光送信部430とを有している。
制御部700は、プロジェクター100内部の各部の制御を行う。また、制御部700は、位置検出部600で検出された指示体780の3次元位置、および接触検出部800による指示体780の接触検出に基づいて、指示体780によって投写画面PS上で行われた指示の内容を判定するとともに、その指示の内容に従って投写画像を作成又は変更することを投写画像生成部500に指令する。
投写画像生成部500は、投写画像を記憶する投写画像メモリー510を有しており、投写部200によってスクリーン面SS上に投写される投写画像を生成する機能を有する。投写画像生成部500は、更に、投写画面PS(図2(B))の台形歪みを補正するキーストーン補正部としての機能を有することが好ましい。
投写部200は、投写画像生成部500で生成された投写画像をスクリーン面SS上に投写する機能を有する。投写部200は、図2で説明した投写レンズ210の他に、光変調部220と、光源230とを有する。光変調部220は、投写画像メモリー510から与えられる投写画像データに応じて光源230からの光を変調することによって投写画像光IMLを形成する。この投写画像光IMLは、典型的には、RGBの3色の可視光を含むカラー画像光であり、投写レンズ210によってスクリーン面SS上に投写される。なお、光源230としては、超高圧水銀ランプ等の光源ランプの他、発光ダイオードやレーザーダイオード等の種々の光源を採用可能である。また、光変調部220としては、透過型又は反射型の液晶パネルやデジタルミラーデバイス等を採用可能であり、色光別に複数の変調部220を備えた構成としてもよい。
検出光照射部410は、指示体780の先端部を検出するための照射検出光IDLをスクリーン面SSとその前方の空間にわたって照射する。照射検出光IDLとしては、例えば近赤外光が使用される。検出光照射部410における照射検出光IDLの照射タイミングについては、後に詳述する。
信号光送信部430は、同期用の近赤外光信号である装置信号光ASLを送信する機能を有する。プロジェクター100が起動されると、信号光送信部430は、装置信号光ASLを定期的に発する。自発光指示体70の先端発光部77は、装置信号光ASLに同期して、予め定められた発光パターン(発光シーケンス)を有する近赤外光である指示体信号光PSL(後に詳述する)を発する。また、撮像部300のカメラ310,320は、指示体780の位置検出を行う際に、装置信号光ASLに同期した所定のタイミングで撮像を実行する。
撮像部300は、図2で説明した第1カメラ310と第2カメラ320とを有している。前述したように、2台のカメラ310,320は、検出光の波長を含む波長領域の光を受光して撮像する機能を有する。図3の例では、検出光照射部410によって照射された照射検出光IDLが指示体780で反射され、その反射検出光RDLが2台のカメラ310,320によって受光されて撮像される様子が描かれている。2台のカメラ310,320は、更に、自発光指示体70の先端発光部77から発せられる近赤外光である指示体信号光PSLも受光して撮像する。2台のカメラ310,320の撮像は、検出光照射部410から照射検出光IDLが照射される第1の期間と、検出光照射部410から照射検出光IDLが照射されない第2の期間と、の両方で実行される。
なお、2台のカメラ310,320の少なくとも一方は、近赤外光を含む光を用いて撮像する機能に加えて、可視光を含む光を用いて撮像する機能を有することが好ましい。こうすれば、スクリーン面SS上に投写された投写画面PSをそのカメラで撮像し、その画像を利用して投写画像生成部500がキーストーン補正を実行することが可能である。1台以上のカメラを利用したキーストーン補正の方法は周知なので、ここではその説明は省略する。
位置検出部600は、2台のカメラ310,320で撮像された画像(以下、「撮像画像」とも呼ぶ。)を分析して、三角測量を利用して指示体780の先端部の三次元位置座標を算出する機能を有する。この際、位置検出部600は、上述の第1の期間と第2の期間における撮像画像を比較することによって、画像内に含まれる個々の指示体780が、自発光指示体70と非発光指示体80のいずれであるかを判定する(後に詳述する)。
接触検出部800は、位置検出部600による撮像画像の分析結果(位置座標)に基づいて、指示体780の投写画面PS(スクリーン面SS)への接触を検出する。本実施形態のインタラクティブプロジェクター100において、接触検出部800は、自発光指示体70の投写画面PSへの接触の検出は、自発光指示体70が発する指示体信号光PSLの発光パターンに基づいて実行し、非発光指示体80の投写画面PSへの接触の検出は、位置検出部600によって検出された3次元位置座標に基づいて実行する。接触検出部800における指示体780の接触の検出方法については、後に詳述する。
自発光指示体70には、ボタンスイッチ73の他に、信号光受信部74と、制御部75と、先端スイッチ76と、先端発光部77とが設けられている。信号光受信部74は、プロジェクター100の信号光送信部430から発せられた装置信号光ASLを受信する機能を有する。先端スイッチ76は、自発光指示体70の先端部71が押されるとオン状態になり、先端部71が解放されるとオフ状態になるスイッチである。先端スイッチ76は、通常はオフ状態にあり、自発光指示体70の先端部71がスクリーン面SSに接触するとその接触圧によってオン状態になる。先端スイッチ76がオフ状態のときには、制御部75は、先端スイッチ76がオフ状態であることを示す特定の第1の発光パターンで先端発光部77を発光させることによって、第1の発光パターンを有する指示体信号光PSLを発する。一方、先端スイッチ76がオン状態になると、制御部75は、先端スイッチ76がオン状態であることを示す特定の第2の発光パターンで先端発光部77を発光させることによって、第2の発光パターンを有する指示体信号光PSLを発する。これらの第1の発光パターンと第2の発光パターンは、互いに異なるので、接触検出部800は、2台のカメラ310,320で撮像された画像の分析結果を位置検出部600から取得して、分析結果に基づいて、先端スイッチ76がオン状態かオフ状態かを識別することが可能である。
自発光指示体70のボタンスイッチ73は、先端スイッチ76と同じ機能を有する。従って、制御部75は、ユーザーによってボタンスイッチ73が押された状態では上記第2の発光パターンで先端発光部77を発光させ、ボタンスイッチ73が押されていない状態では上記第1の発光パターンで先端発光部77を発光させる。換言すれば、制御部75は、先端スイッチ76とボタンスイッチ73の少なくとも一方がオンの状態では上記第2の発光パターンで先端発光部77を発光させ、先端スイッチ76とボタンスイッチ73の両方がオフの状態では上記第1の発光パターンで先端発光部77を発光させる。
但し、ボタンスイッチ73に対して先端スイッチ76と異なる機能を割り当てるようにしてもよい。例えば、ボタンスイッチ73に対してマウスの右クリックボタンと同じ機能を割り当てた場合には、ユーザーがボタンスイッチ73を押すと、右クリックの指示がプロジェクター100の制御部700に伝達され、その指示に応じた処理が実行される。このように、ボタンスイッチ73に対して先端スイッチ76と異なる機能を割り当てた場合には、先端発光部77は、先端スイッチ76のオン/オフ状態及びボタンスイッチ73のオン/オフ状態に応じて、互いに異なる4つの発光パターンで発光する。この場合には、自発光指示体70は、先端スイッチ76とボタンスイッチ73のオン/オフ状態の4つの組み合わせを区別しつつ、プロジェクター100に伝達することが可能である。
図4は、自発光指示体70と非発光指示体80を利用した操作の様子を示す説明図である。この例では、自発光指示体70の先端部71と非発光指示体80の先端部81はいずれもスクリーン面SSから離れている。自発光指示体70の先端部71のXY座標(X71,Y71)は、ツールボックスTBの消しゴムボタンERBの上にある。また、ここでは、自発光指示体70の先端部71の機能を表すツールとしてマウスポインターPTが選択されており、マウスポインターPTの先端OP71が消しゴムボタンERBの上に存在するように、マウスポインターPTが投写画面PSに描画されている。前述したように、自発光指示体70の先端部71の三次元位置は、2台のカメラ310,320で撮像された画像を用いた三角測量で決定される。従って、投写画面PS上において、三角測量で決定された先端部71の三次元座標(X71,Y71,Z71)のうちのXY座標(X71,Y71)の位置にマウスポインターPTの先端にある操作ポイントOP71が配置されようにマウスポインターPTが描画される。すなわち、マウスポインターPTの先端OP71は、自発光指示体70の先端部71の三次元座標(X71,Y71,Z71)のうちのXY座標(X71,Y71)に配置され、この位置においてユーザーの指示が行われる。例えば、ユーザーは、この状態で自発光指示体70の先端部71を投写画面PS上に接触させて、消しゴムツールを選択することが可能である。また、ユーザーは、この状態で自発光指示体70のボタンスイッチ73を押すことによって、消しゴムツールを選択することも可能である。このように、本実施形態では、自発光指示体70がスクリーン面SSから離間した状態にある場合にも、ボタンスイッチ73を押すことによって、先端部71のXY座標(X71,Y71)に配置される操作ポイントOP71における投写画面PSの内容に応じた指示をプロジェクター100に与えることが可能である。
図4(B)では、また、非発光指示体80の先端部81の機能を表すツールとしてペンツールPEが選択されており、ペンツールPEが投写画面PSに描画されている。前述したように、非発光指示体80の先端部81の三次元位置も、2台のカメラ310,320で撮像された画像を用いた三角測量で決定される。従って、投写画面PS上において、三角測量で決定された先端部81の三次元座標(X81,Y81,Z81)のうちのXY座標(X81,Y81)の位置にペンツールPEの先端にある操作ポイントOP81が配置されようにペンツールPEが描画される。但し、非発光指示体80を利用してユーザーが指示をプロジェクター100に与える際には、非発光指示体80の先端部81を投写画面PS上に接触させた状態でその指示(描画やツールの選択など)が行なわれる。
図4の例では、指示体780の先端部が投写画面PSから離れている場合にも、個々の指示体によって選択されたツール(マウスポインターPTやペンツールPE)が投写画面PSに描画されて表示される。従って、ユーザーが指示体の先端部を投写画面PSに接触していない場合にも、その指示体によってどのツールが選択されているのかを理解し易く、操作が容易であるという利点がある。また、ツールの操作ポイントOPが指示体の先端部の三次元座標のうちのXY座標の位置に配置されるようにそのツールが描画されるので、ユーザーが、利用中のツールの位置を適切に認識できるという利点がある。
なお、このインタラクティブプロジェクションシステム900は、複数の自発光指示体70を同時に利用可能に構成されてもよい。この場合には、上述した指示体信号光PSLの発光パターンは、複数の自発光指示体70を識別できる固有の発光パターンであることが好ましい。より具体的に言えば、N個(Nは2以上の整数)の自発光指示体70を同時に利用可能な場合には、指示体信号光PSLの発光パターンは、N個の自発光指示体70を区別できるものであることが好ましい。なお、1組の発光パターンに複数回の単位発光期間が含まれている場合に、1回の単位発光期間では、発光と非発光の2値を表現することができる。ここで、1回の単位発光期間は、自発光指示体70の先端発光部77が、オン/オフの1ビットの情報を表現する期間に相当する。1組の発光パターンがM個(Mは2以上の整数)の単位発光期間で構成される場合には、1組の発光パターンによって2個の状態を区別できる。従って、1組の発光パターンを構成する単位発光期間の数Mは、次式を満足するように設定されることが好ましい。
N×Q≦2 …(1)
ここで、Qは自発光指示体70のスイッチ73,76で区別される状態の数であり、本実施形態の例ではQ=2又はQ=4である。例えば、Q=4の場合には、N=2のときにはMを3以上の整数に設定し、N=2〜4のときにはMを4以上の整数に設定することが好ましい。このとき、位置検出部600(又は制御部700)がN個の自発光指示体70と非発光指示体80、及び、各自発光指示体70のスイッチ73,76の状態を識別する際には、1組の発光パターンのM個の単位発光期間において各カメラ310,320でそれぞれ撮像されたM枚の画像を用いてその識別を実行する。なお、このMビットの発光パターンは、照射検出光IDLをオフの状態に維持した状態で指示体信号光PSLをオン又はオフに設定したパターンであり、カメラ310,320で撮像される画像には非発光指示体80が写らない。そこで、非発光指示体80の位置を検出するために用いる画像を撮像するために、照射検出光IDLをオン状態とした1ビットの単位発光期間を更に追加することが好ましい。但し、位置検出用の単位発光期間では、指示体信号光PSLはオン/オフのいずれでも良い。この位置検出用の単位発光期間で得られた画像は、自発光指示体70の位置検出にも利用することが可能である。
図3に描かれている5種類の信号光の具体例をまとめると以下の通りである。
(1)投写画像光IML:スクリーン面SSに投写画面PSを投写するために、投写レンズ210によってスクリーン面SS上に投写される画像光(可視光)である。
(2)照射検出光IDL: 指示体780(自発光指示体70及び非発光指示体80)の先端部を検出するために、検出光照射部410によってスクリーン面SSとその前方の空間にわたって照射される近赤外光である。
(3)反射検出光RDL:照射検出光IDLとして照射された近赤外光のうち、指示体780(自発光指示体70及び非発光指示体80)によって反射され、2台のカメラ310,320によって受光される近赤外光である。
(4)装置信号光ASL:プロジェクター100と自発光指示体70との同期をとるために、プロジェクター100の信号光送信部430から定期的に発せられる近赤外光である。
(5)指示体信号光PSL:装置信号光ASLに同期したタイミングで、自発光指示体70の先端発光部77から発せられる近赤外光である。指示体信号光PSLの発光パターンは、自発光指示体70のスイッチ73,76のオン/オフ状態に応じて変更される。また、複数の自発光指示体70を識別する固有の発光パターンを有する。
本実施形態において、自発光指示体70と非発光指示体80の先端部の位置検出、及び、自発光指示体70と非発光指示体80により指示される内容の判別は、それぞれ以下のように実行される。
A2.指示体の位置検出および接触検出:
図5は、プロジェクターおよび指示体の発光タイミングを示すタイミングチャートである。本実施形態におけるインタラクティブプロジェクションシステム900では、図5に示すシーケンスに従って、指示体780(自発光指示体70,非発光指示体80)の位置検出および接触検出(指示体780の先端のスクリーン面SSへの接触の検出)が行われる。図5に示すシーケンスは、第1サイクルCY1〜第4サイクルCY4の4つのサイクルを備え、各サイクルは、第1フェーズPH1〜第4フェーズPH4の4つのフェーズを備える。すなわち、本シーケンスでは、第1フェーズPH1から第4フェーズPH4を4回繰り返すことによって、複数の自発光指示体70と非発光指示体80とを区別して位置を特定すると共に、複数の自発光指示体70を区別して接触を検出することができる。1つのフェーズが前述した単位発光期間に相当する。図5では、自発光指示体70としてペン1,ペン2を用いた例を示している。ペン1のペンIDは「10」、ペン2のペンIDは「01」である。これに、ボタンスイッチフラグ(OFF=「0」,ON=「1」)、および接触フラグ(非接触=「0」,接触=「1」)を加えたものを、上記した発光パターン(発光ID)としている。自発光指示体70は、第3フェーズPH3において、設定された発光IDに従って発光する。なお、撮像部300のカメラ310,320は、装置信号光ASLに同期して、第2フェースPH2,第3フェーズPH3,第4フェーズPH4において、撮像を実行する。図5では、ボタンスイッチフラグが「0」、接触フラグが「0」の場合を図示している。
本実施形態におけるインタラクティブプロジェクションシステム900では、インタラクティブプロジェクター100の信号光送信部430が発する装置信号光ASL(同期信号)に同期して、自発光指示体70と検出光照射部410が、それぞれ発光する。
プロジェクター100が起動されると、プロジェクター100の信号光送信部430から同期用の装置信号光ASLが発せられ、第1サイクルCY1の第1フェーズPHが開始される。信号光送信部430は、各サイクルの第1フェーズPH1の開始のタイミングで装置信号光ASLを発光する。本実施形態において、装置信号光ASLとして、2つの同期バースト信号が発光される。
自発光指示体70は、信号光受信部74において装置信号光ASLを受信すると、第2フェーズPH2および第4フェーズPH4において、指示体信号光PSLを発光する。本シーケンスにおいて、第1〜第4フェーズの各時間は、同一の時間に設定されているため、自発光指示体70は、信号光受信部74において装置信号光ASLを受信して、第1フェーズの開始タイミングを認識すると、第2〜第4フェーズの開始タイミングを認識することができる。
また、自発光指示体70は、上述の通り、第3フェーズでは、設定された発光IDに従って発光する。すなわち、第3フェーズPH3では、自発光指示体70の個体および接触の有無によって、サイクル毎に発光/非発光が異なる。すなわち、後述するように、第3フェーズPH3は、自発光指示体70の個体の判別および自発光指示体70の接触を検出するフェーズである。
インタラクティブプロジェクター100の検出光照射部410は、装置信号光ASLに同期して、第2フェーズPH2および第4フェーズPH4において、照射検出光IDLを発光し、第3フェーズPH3においては照射検出光IDLを発光しない。照射検出光IDLは、指示体780によって反射されるため、第2フェーズPH2および第4フェーズPH4において反射検出光RDLが生じる。本実施形態における第2フェーズPH2および第4フェーズPH4が、請求項における第1の期間に相当し、第3フェーズPH3が、請求項における第2の期間に相当する。
撮像部300のカメラ310,320は、装置信号光ASLに同期して、第2フェースPH2,第3フェーズ,第4フェーズにおいて、撮像を実行する。カメラ310,320は、自発光指示体70の発光に応じたタイミングで、撮像を実行する。この際、指示体信号光PSLのパルス幅よりわずかに長い露光時間で、撮像を実行することが好ましい。露光時間をこのように設定することにより、他の光源からのノイズを抑制することができる。本実施形態において、第kサイクル(k=1,2,3,4)の第hフェーズ(h=1,2,3,4)において、撮像部300によって撮像された画像を、撮像画像Mkhと呼ぶ(図5)。
第2フェーズPH2および第4フェーズPH4は、位置検出のフェーズである。第2フェーズPH2および第4フェーズPH4において、第1カメラ310,第2カメラ320によって撮像された画像には、自発光指示体70が発した指示体信号光PSLと、指示体780(自発光指示体70,非発光指示体80)による反射光RDLが含まれる。位置検出部600は、2台のカメラ310,320によって撮像された画像に基づいて、三角測量に従って、指示体780(自発光指示体70,非発光指示体80)の先端の3次元位置を検出する。
自発光指示体70の場合は、自発光指示体70の先端部71に配置された先端発光部77から発せられる指示体信号光PSLが、撮像画像に含まれる。そのため、自発光指示体70の先端部71の3次元位置は、撮像画像に含まれる輝点に基づいて、三角測量に従って算出される。
一方、非発光指示体80の場合は、非発光指示体80によって反射された反射検出光RDLが、撮像画像に含まれる。2台のカメラ310,320により撮像された2枚の画像における非発光指示体80の先端部81の位置は、テンプレートマッチングや特徴抽出等の周知の技術を利用して決定することができる。例えば、テンプレートマッチングによって指である非発光指示体80の先端部81を認識する場合には、指に関する複数のテンプレートを予め準備しておき、2台のカメラ310,320により撮像された画像において、これらのテンプレートに適合する部分を検索することによって指の先端部81を認識することが可能である。非発光指示体80の先端部81の3次元位置は、テンプレートマッチング等によって認識された先端部81に基づいて、三角測量にしたがって算出される。
第3フェーズPH3は、指示体780の判別を行うフェーズである。上述の通り、第3フェーズPH3において、インタラクティブプロジェクター100の検出光照射部410は、照射検出光IDLを照射しない。そのため、照射検出光IDLの反射光である反射検出光RDLは生じない。一方、自発光指示体70は、上述の通り、第3フェーズPH3において発光IDに従って発光するため、サイクル毎に発光/非発光が異なる。すなわち、第3フェーズPH3において撮像部300によって撮像された画像に含まれる光は、自発光指示体70が発する指示体信号光PSLである。図5に示す例の場合、ペン1は、第1サイクルCY1の第3フェーズPH3において発光し、ペン2は、第2サイクルCY2の第3フェーズPH3において発光する。そのため、例えば、第2フェーズPH2および第4フェーズPH4において撮像された画像に3つの光(反射検出光RDLについては、パターンマッチング等により検出された非発光指示体80先端部81の光)が含まれている場合に、位置検出部600は、これら3つの光のうち、第1サイクルCY1の第3フェーズPH3において撮像された画像に含まれる光の3次元位置(座標)に略一致する座標の光が、ペン1の3次元位置(座標)であると判別する。ここで、2つの位置が略一致するか否かは、X,Y,Z座標それぞれにおける2点間の距離が2mm以内か否かに応じて判別する。本実施形態において、2つの位置が略一致すると判定する閾値を、2mmに設定しているが、これに限定されない。例えば、2mm〜6mm程度の小さな値を使用することが好ましい。位置検出部600は、同様に、第2サイクルCY2の第3フェーズPH3において撮像された画像に含まれる光の3次元位置(座標)に略一致する座標の光が、ペン2の3次元位置(座標)であると判別する。位置検出部600は、自発光指示体70の判別が終了すると、第2フェーズPH2および第4フェーズPH4において撮像された画像に含まれる3つの光のうち、残りの1点の3次元位置が非発光指示体80の先端部81の3次元位置であると判別する。また、自発光指示体70のボタンスイッチ73がONの場合には、第3サイクルCY3の第3フェーズにおいて発光する。位置検出部600は、上記と同様に、ペン1およびペン2を区別して、ボタンスイッチ73のON/OFFを判別する。
また、第3フェーズPH3は、自発光指示体70の先端部71のスクリーン面SSへの接触を検出する接触検出を行うフェーズでもある。上述の通り、自発光指示体70が発光する指示体信号光PSLの発光IDの4ビットめは、接触フラグである。したがって、第4サイクルCY4の第3フェーズPH3において撮像された画像(撮像画像M43)に光が含まれるか否かに基づいて、自発光指示体70の接触を検出することができる。接触検出部800は、位置検出部600が撮像画像M13,23,43(図5)を分析した結果に基づいて、自発光指示体70の個体(ペン1,2)を区別して接触を検出する。接触検出部800は、撮像画像43に光が含まれないと判定すると、ペン1,2共に非接触であると判定する。撮像画像M43に1つの光が含まれる場合は、接触検出部800は、ペン1,2のいずれか一方が接触していると判定する。具体的には、接触検出部800は、撮像画像M43に含まれる光の3次元位置が、撮像画像M13(第1サイクル第3フェーズ)に含まれる光の3次元位置と略一致する場合、「ペン1は接触」、「ペン2は非接触」と判定する。一方、撮像画像M43に含まれる光の3次元位置が、撮像画像M23(第2サイクル第3フェーズ)に含まれる光の3次元位置と略一致する場合、「ペン1は非接触」、「ペン2は接触」と判定する。撮像画像43に2つの光が含まれる場合は、「ペン1,2共に接触」と判定する。このように、接触検出部800は、自発光指示体70が発する指示体信号光PSLの発光パターン(発光ID)に基づいて、自発光指示体70の接触を検出する。
接触検出部800は、非発光指示体80の接触検出については、三角測量で決定した先端部81のZ座標値と、スクリーン面SSの表面のZ座標値との差が微小な許容差以下か否か、すなわち、先端部81がスクリーン面SSの表面に十分に近いか否かに応じて検出する。本実施形態において、許容差を2mmに設定しているが、これに限定されない。例えば、2mm〜6mm程度の小さな値を使用することが好ましい。
指示体780の先端部の3次元位置の検出と接触検出およびボタンスイッチ73のON/OFF判別が終了すると、制御部700は、位置検出部600および接触検出部800の検出結果に基づいて、指示体780(自発光指示体70,非発光指示体80)による指示内容を判別して、指示内容に応じた画像を投写画像生成部500に生成させて、投写部200によってスクリーン面SS上に指示内容に応じた画像を投写させる。例えば、先端部71のXY座標の位置がツールボックスTB(図2(B))内のいずれかのボタンの上にある状態で先端スイッチ76またはボタンスイッチ73がオンになった場合には、そのボタンのツールが選択される。また、図2(B)に例示したように、先端部71のXY座標が投写画面PS内のツールボックスTB以外の位置にある状態で先端スイッチ76またはボタンスイッチ73がオンになった場合には、選択されたツールによる処理(例えば描画)が選択される。制御部700は、自発光指示体70の先端部71のXY座標(X71,Y71),非発光指示体80の先端部81のXY座標(X81,Y81)を利用し、予め選択されているポインターやマークが投写画面PS内の位置(X71,Y71),(X81,Y81)に配置されるように、そのポインターやマークを投写画像生成部500に描画させる。また、制御部700は、自発光指示体70、非発光指示体80によって指示された内容に従った処理を実行して、投写画像生成部500にその処理結果を含む画像を描画させる。
上述のように、本実施形態では、自発光指示体70の接触検出を、自発光指示体70が発する指示体信号光PSLの発光パターンに基づいて行っている。自発光指示体70の先端部71の三次元位置は、2台のカメラ310,320で撮像された画像を用いた三角測量によって求めることができるので、この三次元位置を用いて自発光指示体70の先端部71の接触検出を実行することも可能である。しかしながら、自発光指示体70がスクリーン面SSに接触した状態では自発光指示体70が発する指示体信号光PSLがスクリーン面SSで反射されるため、三角測量による自発光指示体70の先端位置のZ座標の検出精度が、非発光指示体80に比べて低くなる傾向がある。これに対して、本実施形態のインタラクティブプロジェクター100によれば、自発光指示体70の接触検出を、自発光指示体70が発する指示体信号光PSLの発光パターンに基づいて行うため、自発光指示体70の接触検出をより精度良く実行できる。
A3.他の例:
図6は、プロジェクターおよび指示体の発光タイミングの他の例を示すタイミングチャートである。図6に示すシーケンスは、1サイクルが第1フェーズPH1〜第5フェーズPH5の5つのフェーズを備える。この例では、第1フェーズPH1から第5フェーズPH5を1回実行することによって、複数の自発光指示体70と非発光指示体80とを区別して位置を特定すると共に、複数の自発光指示体70を区別して接触を検出することができる。この例では、自発光指示体70が上記の例におけるボタンスイッチ73を備えない構成を示す。図6では、自発光指示体70としてペン21,ペン22を用いた例を示している。ペン21のペンIDは「10」、ペン22のペンIDは「11」である。これに、接触フラグ(非接触=「0」,接触=「1」)を加えたものを、上記した発光パターン(発光ID)としている。自発光指示体70は、第2フェーズPH2〜第4フェーズPH4において、設定された発光IDに従って発光する。撮像部300のカメラ310,320は、装置信号光ASLに同期して、第2フェーズPH2〜第5フェーズPH5において、撮像を実行する。図6では、接触フラグが「0」の場合を図示している。
この例において、第2フェーズPH2は自発光指示体70と非発光指示体80との判別を行うフェーズである。例えば、第2フェーズPH2において撮像された撮像画像M12にも、第5フェーズPH5において撮像された撮像画像M15にも光が含まれる場合には、位置検出部600は、撮像画像M15に含まれる光は自発光指示体70による反射検出光RDLであると判別する。一方、撮像画像M12に光が含まれず、撮像画像M15に光が含まれる場合には、位置検出部600は、撮像画像M15に含まれる光は非発光指示体80による反射検出光RDLであると判別する。
第3フェーズPH3は、ペン21とペン22の判別を行うフェーズである。上述の通り、第3フェーズPH3において、ペン21は発光せず、ペン22は発光する。そのため、例えば、ペン21,22両方を用いている場合に、撮像画像M13に含まれる輝点の3次元位置(座標)と、撮像画像M15に含まれる輝点の3次元位置(座標)とを比較することにより、ペン21とペン22の判別を行うことができる。
第4フェーズPH4は、自発光指示体70の先端部71のスクリーン面SSへの接触を検出する接触検出を行うフェーズである。上記の例と同様に、接触を検出することができる。第5フェーズPH5は、位置検出のフェーズである。上記の例と同様に、3次元位置を検出することができる。このように、この例では、第1フェーズPH1〜第5フェーズPH5を1回実行すること(1サイクル)で、指示体780(ペン21,ペン22,非発光指示体80)を区別して、3次元位置および接触を検出することができる。
B.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
・変形例1:
上記実施形態では、自発光指示体70が発する指示体信号光PSLの発光パターン(発光ID)として4ビットの発光IDを例示したが、指示体信号光PSLの発光パターンは上記実施形態に限定されず、複数の自発光指示体70を識別して、接触/非接触を判定可能に構成されればよい。また、上記実施形態において、指示体780の位置検出および接触判定は、図5に示すシーケンスに従って撮像された画像に基づいて実行されているが、図5に示すシーケンスに限定されない。例えば、第4フェーズPH4を省略してもよい。
・変形例2:
上記実施形態では、撮像部300が2台のカメラ310,320を有しているものとしたが、撮像部300は3台以上のカメラを有していてもよい。後者の場合には、m台(mは3以上の整数)のカメラで撮像されたm個の画像に基づいて、三次元座標(X,Y,Z)が決定される。例えば、m個の画像から2個の画像を任意に選択して得られる個の組み合わせを用いてそれぞれ三次元座標を求め、それらの平均値を用いて最終的な三次元座標を決定しても良い。こうすれば、三次元座標の検出精度を更に高めることが可能である。
・変形例3:
上記実施形態では、インタラクティブプロジェクションシステム900がホワイトボードモードとPCインタラクティブモードとで動作可能であるものとしたが、これらのうちの一方のモードのみで動作するようにシステムが構成されていても良い。また、インタラクティブプロジェクションシステム900は、これら2つのモード以外の他のモードのみで動作するように構成されていても良く、更に、これら2つのモードを含む複数のモードで動作可能に構成されていてもよい。
・変形例4:
上記実施形態では、図3に示した照射検出光IDLと、反射検出光RDLと、装置信号光ASLと、指示体信号光PSLとがすべて近赤外光であるものとしたが、これらのうちの一部又は全部を近赤外光以外の光としてもよい。
・変形例5:
上記実施形態では、投写画面が平面状のスクリーン板920に投写されるものとしていたが、投写画面が曲面状のスクリーンに投写されるものとしても良い。この場合にも、2台のカメラで撮像された画像を用い、三角測量を利用して指示体の先端部の三次元位置を決定できるので、指示体の先端部と投写画面の位置関係を決定することが可能である。
・変形例6:
上記実施形態では、インタラクティブプロジェクター100が検出光照射部410を備える構成を例示したが、検出光照射部410を備えない構成にしてもよい。インタラクティブプロジェクター100が検出光照射部410を備えない場合、非発光指示体80の先端を検出するための照射検出光をスクリーン面SSとその前方の空間にわたって照射する構成を、支持部材910等が備えてもよい。また、2台のカメラ310,320の両方を、可視光を含む光を受光して撮像する撮像機能を有する構成とし、非発光指示体80の先端を、可視光を含む光を受光して撮像した撮像画像に基づいて検出する構成にしてもよい。
以上、いくつかの実施例に基づいて本発明の実施の形態について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物が含まれることはもちろんである。
70…自発光指示体
71…先端部
72…軸部
73…ボタンスイッチ
74…信号光受信部
75…制御部
76…先端スイッチ
77…先端発光部
80…非発光指示体
81…先端部
100…インタラクティブプロジェクター
200…投写部
210…投写レンズ
220…光変調部
230…光源
300…撮像部
310…第1カメラ
320…第2カメラ
410…検出光照射部
430…信号光送信部
500…投写画像生成部
510…投写画像メモリー
600…位置検出部
700…制御部
900…インタラクティブプロジェクションシステム
910…支持部材
920…スクリーン板

Claims (5)

  1. 投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターであって、
    前記指示体として、前記投写画面への接触時と非接触時とで異なる発光パターンで指示体信号光を発光する発光部を備える自発光指示体と、前記発光部を備えない非発光指示体との両方を同時に使用可能であり、
    前記インタラクティブプロジェクターは、
    スクリーン面上に前記投写画面を投写する投写部と、
    前記投写画面の領域を撮像する第1カメラ及び第2カメラを含む複数台のカメラと、
    前記複数台のカメラによって撮像された前記指示体を含む複数の画像に基づいて、前記投写画面に対する前記指示体の3次元位置を検出する位置検出部と、
    前記指示体の前記投写画面への接触を検出する接触検出部と、
    を備え、
    前記接触検出部は、
    前記自発光指示体の前記投写画面への接触は、前記発光パターンに基づいて検出し、
    前記非発光指示体の前記投写画面への接触は、前記位置検出部によって検出された前記3次元位置に基づいて検出する、インタラクティブプロジェクター。
  2. 請求項1に記載のインタラクティブプロジェクターにおいて、
    前記非発光指示体の検出に用いる検出光を前記投写画面に向けて照射する検出光照射部をさらに備え、
    前記複数台のカメラは、前記指示体信号光および前記検出光の波長を含む波長領域の光を受光して前記投写画面の領域を撮像する、
    インタラクティブプロジェクター。
  3. 請求項2に記載のインタラクティブプロジェクターにおいて、
    前記検出光照射部は、
    前記検出光を間欠的に前記投写画面に向けて照射し、
    前記位置検出部は、
    前記検出光が照射される第1の期間に撮像された第1の画像と、前記検出光が照射されない第2の期間に撮像された第2の画像と、に基づいて、前記自発光指示体と前記非発光指示体とを判別する、
    インタラクティブプロジェクター。
  4. インタラクティブプロジェクションシステムであって、
    請求項1から請求項3のいずれか一項に記載のインタラクティブプロジェクターと、
    前記投写画面が投写されるスクリーン面を有するスクリーンと、
    前記投写画面への接触時と非接触時とで異なる発光パターンで指示体信号光を発光する発光部を備える自発光指示体と、を備えるインタラクティブプロジェクションシステム。
  5. 投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターの制御方法であって、
    前記インタラクティブプロジェクターは、前記指示体として、前記投写画面への接触時と非接触時とで異なる発光パターンで指示体信号光を発光する発光部を備える自発光指示体と、前記発光部を備えない非発光指示体との両方を同時に使用可能であり、
    スクリーン面上に前記投写画面を投写し、
    第1カメラ及び第2カメラを含む複数台のカメラによって前記投写画面の領域を撮像し、
    前記複数台のカメラによって撮像された前記指示体を含む複数の画像に基づいて、前記投写画面に対する前記指示体の3次元位置を検出し、
    前記自発光指示体の前記投写画面への接触を、前記発光パターンに基づいて検出し、
    前記非発光指示体の前記投写画面への接触を、前記指示体の前記3次元位置に基づいて検出する、インタラクティブプロジェクターの制御方法。
JP2015065669A 2015-03-27 2015-03-27 インタラクティブプロジェクター,インタラクティブプロジェクションシステム,およびインタラクティブプロジェクターの制御方法 Expired - Fee Related JP6477131B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2015065669A JP6477131B2 (ja) 2015-03-27 2015-03-27 インタラクティブプロジェクター,インタラクティブプロジェクションシステム,およびインタラクティブプロジェクターの制御方法
CN201680012869.5A CN107430465B (zh) 2015-03-27 2016-03-18 交互式投影仪、交互式投影系统和交互式投影仪的控制方法
EP16771700.8A EP3276466A4 (en) 2015-03-27 2016-03-18 Interactive projector, interactive projection system, and method for controlling interactive projector
PCT/JP2016/001606 WO2016157807A1 (ja) 2015-03-27 2016-03-18 インタラクティブプロジェクター,インタラクティブプロジェクションシステム,およびインタラクティブプロジェクターの制御方法
KR1020177027896A KR20170122259A (ko) 2015-03-27 2016-03-18 인터랙티브 프로젝터, 인터랙티브 프로젝션 시스템 및, 인터랙티브 프로젝터의 제어 방법
US15/559,365 US10275097B2 (en) 2015-03-27 2016-03-18 Interactive projector, interactive projection system, and interactive projector control method
TW105109279A TW201636786A (zh) 2015-03-27 2016-03-24 互動式投影機、互動式投影系統及互動式投影機之控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015065669A JP6477131B2 (ja) 2015-03-27 2015-03-27 インタラクティブプロジェクター,インタラクティブプロジェクションシステム,およびインタラクティブプロジェクターの制御方法

Publications (3)

Publication Number Publication Date
JP2016186676A JP2016186676A (ja) 2016-10-27
JP2016186676A5 JP2016186676A5 (ja) 2018-04-12
JP6477131B2 true JP6477131B2 (ja) 2019-03-06

Family

ID=57006658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015065669A Expired - Fee Related JP6477131B2 (ja) 2015-03-27 2015-03-27 インタラクティブプロジェクター,インタラクティブプロジェクションシステム,およびインタラクティブプロジェクターの制御方法

Country Status (7)

Country Link
US (1) US10275097B2 (ja)
EP (1) EP3276466A4 (ja)
JP (1) JP6477131B2 (ja)
KR (1) KR20170122259A (ja)
CN (1) CN107430465B (ja)
TW (1) TW201636786A (ja)
WO (1) WO2016157807A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10296142B2 (en) * 2015-12-22 2019-05-21 Ricoh Company, Ltd. Information display device, system, and recording medium
KR101989998B1 (ko) * 2016-11-09 2019-06-17 (주)이즈커뮤니케이션즈 가상의 터치 스크린이 구현되는 컴퓨터 입력 시스템
WO2018116462A1 (ja) * 2016-12-22 2018-06-28 Necディスプレイソリューションズ株式会社 カメラ装置、電子黒板システム及び描画信号生成方法
JP6733566B2 (ja) * 2017-01-25 2020-08-05 富士通株式会社 情報処理方法、情報処理システム、及び光学装置
WO2018147782A1 (en) * 2017-02-07 2018-08-16 Flatfrog Laboratories Ab Improved stylus button control
CN117311543A (zh) 2017-09-01 2023-12-29 平蛙实验室股份公司 触摸感测设备
JP6935713B2 (ja) * 2017-09-27 2021-09-15 セイコーエプソン株式会社 位置検出装置、位置検出システム及び位置検出装置の制御方法
JP7124375B2 (ja) 2018-03-26 2022-08-24 セイコーエプソン株式会社 電子ペン、表示システムおよび電子ペンの制御方法
JP2019174513A (ja) * 2018-03-27 2019-10-10 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP7014009B2 (ja) * 2018-03-29 2022-02-01 セイコーエプソン株式会社 操作デバイス、位置検出システム及び操作デバイスの制御方法
JP6787363B2 (ja) * 2018-05-10 2020-11-18 セイコーエプソン株式会社 操作デバイス、位置検出システム及び操作デバイスの制御方法
US10983553B2 (en) * 2018-08-24 2021-04-20 Synaptics Incorporated System and method for synchronizing sensing signals of integrated circuit chips
CN112889016A (zh) 2018-10-20 2021-06-01 平蛙实验室股份公司 用于触摸敏感装置的框架及其工具
JP7251095B2 (ja) * 2018-10-22 2023-04-04 セイコーエプソン株式会社 位置検出装置、表示装置、表示システム、及び、位置検出方法
JP7251094B2 (ja) 2018-10-22 2023-04-04 セイコーエプソン株式会社 位置検出装置、表示システム、及び、位置検出方法
JP2020135593A (ja) * 2019-02-22 2020-08-31 セイコーエプソン株式会社 指示体、指示体の制御方法、及びインタラクティブシステム
WO2020183519A1 (ja) * 2019-03-08 2020-09-17 Necディスプレイソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、表示システム、表示方法及び電子筆記具
JP7283958B2 (ja) 2019-04-11 2023-05-30 株式会社ソニー・インタラクティブエンタテインメント 複数のマーカを備えたデバイス
JP2020177283A (ja) 2019-04-15 2020-10-29 株式会社ソニー・インタラクティブエンタテインメント 複数のマーカを備えたデバイス
JP7288792B2 (ja) * 2019-04-24 2023-06-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびデバイス情報導出方法
JP2021026609A (ja) 2019-08-07 2021-02-22 セイコーエプソン株式会社 プロジェクションシステム、位置検出システム、及び位置検出システムの制御方法
KR102216804B1 (ko) * 2019-11-15 2021-02-17 (주)이즈커뮤니케이션즈 정보 기기에 정보를 입력하는 정보 입력 장치
CN114730228A (zh) 2019-11-25 2022-07-08 平蛙实验室股份公司 一种触摸感应设备
JP2023512682A (ja) 2020-02-10 2023-03-28 フラットフロッグ ラボラトリーズ アーベー 改良型タッチ検知装置
JP7338659B2 (ja) * 2021-03-30 2023-09-05 セイコーエプソン株式会社 指示体の検出方法及びプロジェクションシステム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5914783A (en) * 1997-03-24 1999-06-22 Mistubishi Electric Information Technology Center America, Inc. Method and apparatus for detecting the location of a light source
US6275214B1 (en) * 1999-07-06 2001-08-14 Karl C. Hansen Computer presentation system and method with optical tracking of wireless pointer
US6710770B2 (en) * 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
CN1459705A (zh) * 2002-05-23 2003-12-03 高启烈 具有光学位置侦测的触碰面板装置
US20030234346A1 (en) 2002-06-21 2003-12-25 Chi-Lei Kao Touch panel apparatus with optical detection for location
NO323926B1 (no) 2004-11-12 2007-07-23 New Index As Visuelt system samt styringsobjekt og apparat til bruk i systemet.
GB2486445B (en) * 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction apparatus system and method
CN102566827A (zh) * 2010-12-30 2012-07-11 株式会社理光 虚拟触摸屏系统中对象检测方法和系统
JP2012150636A (ja) 2011-01-19 2012-08-09 Seiko Epson Corp 投写型表示装置及び情報処理システム
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
JP6141596B2 (ja) * 2011-12-27 2017-06-07 セイコーエプソン株式会社 表示装置、表示システム及び表示装置のデータ供給方法
US9904414B2 (en) 2012-12-10 2018-02-27 Seiko Epson Corporation Display device, and method of controlling display device
JP6244627B2 (ja) 2013-01-09 2017-12-13 セイコーエプソン株式会社 画像表示装置、プロジェクター、および画像表示装置の制御方法
JP6286846B2 (ja) * 2013-03-25 2018-03-07 セイコーエプソン株式会社 プロジェクター、指示体、インタラクティブシステムおよび制御方法
JP5888393B2 (ja) * 2014-11-12 2016-03-22 セイコーエプソン株式会社 位置検出システム、表示システム及び情報処理システム

Also Published As

Publication number Publication date
WO2016157807A1 (ja) 2016-10-06
EP3276466A1 (en) 2018-01-31
US10275097B2 (en) 2019-04-30
KR20170122259A (ko) 2017-11-03
CN107430465B (zh) 2020-06-09
CN107430465A (zh) 2017-12-01
EP3276466A4 (en) 2018-10-17
TW201636786A (zh) 2016-10-16
JP2016186676A (ja) 2016-10-27
US20180074654A1 (en) 2018-03-15

Similar Documents

Publication Publication Date Title
JP6477131B2 (ja) インタラクティブプロジェクター,インタラクティブプロジェクションシステム,およびインタラクティブプロジェクターの制御方法
CN107094247B (zh) 位置检测装置及其对比度调整方法
US10133366B2 (en) Interactive projector and interactive projection system
JP6477130B2 (ja) インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
JP2018072495A (ja) プロジェクター、プロジェクションシステム及び検出光照射装置
CN107407995B (zh) 交互式投影仪、交互式投影系统以及交互式投影仪的控制方法
JP6485160B2 (ja) インタラクティブプロジェクター、及び、インタラクティブプロジェクターの制御方法
JP6459706B2 (ja) インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
JP6503828B2 (ja) インタラクティブプロジェクションシステム,指示体,およびインタラクティブプロジェクションシステムの制御方法
JP6451446B2 (ja) インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
JP6690271B2 (ja) 位置検出システム、位置検出装置、および位置検出方法
US9958958B2 (en) Interactive projector and method of controlling interactive projector
JP6690272B2 (ja) 位置検出システム、自発光指示体、および固有情報取得方法
JP2016186679A (ja) インタラクティブプロジェクターおよびインタラクティブプロジェクターの制御方法
JP2016186680A (ja) インタラクティブプロジェクターおよびインタラクティブプロジェクターの制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180301

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190121

R150 Certificate of patent or registration of utility model

Ref document number: 6477131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees