JP6822209B2 - プロジェクターおよびプロジェクターの制御方法 - Google Patents

プロジェクターおよびプロジェクターの制御方法 Download PDF

Info

Publication number
JP6822209B2
JP6822209B2 JP2017033042A JP2017033042A JP6822209B2 JP 6822209 B2 JP6822209 B2 JP 6822209B2 JP 2017033042 A JP2017033042 A JP 2017033042A JP 2017033042 A JP2017033042 A JP 2017033042A JP 6822209 B2 JP6822209 B2 JP 6822209B2
Authority
JP
Japan
Prior art keywords
image
unit
marker
projection
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017033042A
Other languages
English (en)
Other versions
JP2018139028A (ja
Inventor
志紀 古井
志紀 古井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2017033042A priority Critical patent/JP6822209B2/ja
Priority to US15/899,859 priority patent/US10860144B2/en
Publication of JP2018139028A publication Critical patent/JP2018139028A/ja
Application granted granted Critical
Publication of JP6822209B2 publication Critical patent/JP6822209B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、プロジェクターおよびプロジェクターの制御方法に関する。
特許文献1には、投射面に投射されたアイコン画像への使用者の操作を検出し、その検出に応じて所定の処理を行う表示制御システムが記載されている。この表示制御システムでは、プロジェクターがアイコン画像を投射面に投射し、カメラが投射面を撮像して撮像画像を生成し、処理制御装置が撮像画像に基づいてアイコン画像への使用者の操作を検出する。処理制御装置は、使用者がアイコン画像を操作していないときに撮像された撮像画像を初期状態として記憶し、その後に撮像された撮像画像と初期状態との差分が閾値を超えた場合に、使用者の操作があったと判定する。
特開2011−129068号公報
使用者が指等の操作体でアイコン画像を操作していない状況では、アイコン画像は投射面に投射される。このため、初期状態の撮像画像には、投射面で反射されたアイコン画像が示される。
一方、使用者が操作体でアイコン画像を操作している状況では、プロジェクターと投射面との間に操作体が存在するため、アイコン画像は操作体に投射される。このため、この状況での撮像画像(以下「操作撮像画像」とも称する)には、操作体で反射されたアイコン画像が示される。
したがって、初期状態の撮像画像と操作撮像画像との間には、投射面と操作体との反射特性の違いおよび形状の違いに起因する輝度の変化が生じる。特許文献1に記載の処理制御装置は、この輝度の変化に基づいて、使用者の操作の有無を判定する。
しかしながら、操作体が、投射面と似通った反射特性を有する場合(例えば、投射面が白色のスクリーンであり、操作体が手のひらまたは白い紙等の平らで高い反射率を有する場合)、初期状態の撮像画像と操作撮像画像との間で輝度の差が小さくなり、アイコン画像への操作を検出できない場合が生じ得る。この場合、使用者がアイコン画像を操作しても、その操作に応じた所定の処理が実行されないという問題が生じてしまう。
本発明は上述した事情に鑑みてなされたものであり、アイコン等のマーカーを操作する操作体が投射面と似通った反射特性を有していても、操作体にてマーカーが操作された際に所定の処理が不実行となることを抑制可能な技術を提供することを解決課題とする。
本発明に係るプロジェクターの一態様は、投射面に投射画像を投射する投射部と、前記投射画像にマーカーを表示する表示制御部と、前記投射面を撮像して撮像画像を生成する撮像部と、前記撮像画像に基づいて前記マーカーの位置の変化を検出する検出部と、前記マーカーの位置の変化が検出された場合に、所定の処理を実行する処理部と、を有することを特徴とする。
使用者が投射面に表示されたマーカーを手のひら等の操作体で操作すると、マーカーは、投射面よりも投射部側に位置する操作体に投射され、撮像部は、その操作体で反射されたマーカーを撮像することになる。
ここで、投射部の光軸と撮像部の光軸は一致していない(視差がある)ため、撮像部が生成した撮像画像において、操作体により操作されている場合のマーカーの位置は、操作されていない場合のマーカーの位置から変化する。
本態様によれば、マーカーの位置が変化した場合に所定の処理が実行される。このため、マーカーを操作する操作体が投射面と似通った反射特性を有していても、操作体にてマーカーが操作された際に所定の処理が不実行となることを抑制可能になる。
上述したプロジェクターの一態様において、前記表示制御部は、前記投射画像内に複数の前記マーカーを表示することが望ましい。
この態様によれば、複数のマーカーの各々について、操作体にてマーカーが操作された際に所定の処理が不実行となることを抑制可能になる。
上述したプロジェクターの一態様において、前記表示制御部は、前記投射画像の辺のうち当該投射画像の垂直方向に平行な辺に沿って、前記マーカーを前記投射画像内に表示することが望ましい。
この態様によれば、複数のマーカーを使用者が操作しやすいように投射画像に表示することが可能になる。
上述したプロジェクターの一態様において、前記処理部は、前記複数のマーカーのいずれか1つの位置が変化した場合には、前記位置が変化したマーカーに対応する処理を前記所定の処理として実行し、前記複数のマーカーの位置が一度に変化した場合には、前記所定の処理を実行しないことが望ましい。
複数のマーカーの位置が同時に変化する状況は、マーカーに対する使用者の操作ではなく、例えば、複数のマーカーの前を使用者が横切る状況、マーカーに対して使用者が誤操作する状況、および、プロジェクターと投射面との相対角度が変化する状況で生じうる。このため、この態様によれば、マーカーに対する操作の意図がないときに所定の処理が実行されることを抑制可能になる。
上述したプロジェクターの一態様において、前記処理部は、前記マーカーの位置が特定の方向に変化した場合に前記所定の処理を実行することが望ましい。
投射部の光軸と撮像部の光軸は一致していない(視差がある)ため、操作体でマーカーが操作されると、撮像画像におけるマーカーの位置は、特定の方向(投射部の光軸と撮像部の光軸とのズレの方向)に変化する。このため、この態様によれば、操作体でのマーカーの操作に応じて所定の処理を実行することが可能になる。
上述したプロジェクターの一態様において、前記処理部は、前記マーカーの位置の変化量が所定量よりも大きい場合に前記所定の処理を実行することが望ましい。
この態様によれば、例えば、一時的な振動等に起因するマーカーの移動に対して所定の処理を実行してしまうことを抑制可能になる。
本発明に係るプロジェクターの制御方法の一態様は、投射面に投射画像を投射するステップと、前記投射画像にマーカーを表示するステップと、前記投射面を撮像して撮像画像を生成するステップと、前記撮像画像に基づいて前記マーカーの位置の変化を検出するステップと、前記マーカーの位置の変化が検出された場合に、所定の処理を実行するステップとを有することを特徴とする。
この態様によれば、マーカーを操作する操作体が投射面と似通った反射特性を有していても、操作体にてマーカーが操作された際に所定の処理が不実行となることを抑制可能になる。
本発明を適用した第1実施形態に係るプロジェクター1を示した図である。 アイコン31の投射位置の変化を説明するための図である。 アイコン31の撮像画像上での位置の変化を説明するための図である。 プロジェクター1を模式的に示した図である。 追加画像情報に応じた追加画像36の一例を示した図である。 受信画像情報に応じた画像37の一例を示した図である。 投射部104の一例を示した図である。 撮像部105の一例を示した図である。 キャリブレーションを説明するためのフローチャートである。 第1キャリブレーション画像201の一例を示した図である。 第2キャリブレーション画像204の一例を示した図である。 アイコンの移動に応じた動作を説明するためのフローチャートである。 アイコン300の一例を示した図である。
以下、図面を参照しながら本発明に係る実施の形態を説明する。なお、図面において各部の寸法および縮尺は実際のものと適宜異なる。また、以下に記載する実施の形態は、本発明の好適な具体例である。このため、本実施形態には、技術的に好ましい種々の限定が付されている。しかしながら、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
<第1実施形態>
図1は、本発明を適用した第1実施形態に係るプロジェクター1を示した図である。
プロジェクター1は、投射部104で投射面2に投射画像3を投射する。投射面2は、例えば、スクリーンまたは壁である。プロジェクター1は、撮像部105で投射面2を繰り返し撮像して撮像画像を時系列で生成する。
投射画像3は、画像30とアイコン31〜33とを含む。画像30は、プロジェクター1がPC(パーソナルコンピューター)4から受信した画像情報に応じた画像である。PC4は、画像情報出力装置の一例である。
アイコン31〜33の各々は、マーカーの一例である。アイコン31〜33の各々には、特定の機能が関連づけられている。プロジェクター1は、時系列で生成された撮像画像を用いて、使用者5によるアイコン31〜33への操作を検出する。具体的には、プロジェクター1は、使用者5が投射面2へのアイコン31〜33の投射を遮るように手などをかざす操作を検出する。本実施形態では、プロジェクター1は、撮像画像上でのアイコン31〜33の各々の位置の変化に基づいて、使用者5によるアイコン31〜33のいずれかへの操作を検出する。プロジェクター1は、使用者5によるアイコン31〜33のいずれかへの操作を検出すると、操作されたアイコンに関連づけられた機能を実行する。
図2は、使用者5がアイコン31を操作したときのアイコン31の投射位置の変化を説明するための図である。図2では、説明を容易にするために、アイコン31は立体的に示されているが、アイコン31は立体ではない。なお、使用者5がアイコン32または33を操作したときのアイコン32または33の投射位置の変化は、アイコン31の投射位置の変化に準ずるため、説明を割愛する。
使用者5がアイコン31を操作していないときには、アイコン31は、投射面2の位置Aに表示される。この状況で、使用者5が、操作体の一例である手5aでアイコン31を操作すると、手5aが位置Aと投射部104との間に位置する。このため、アイコン31は、投射面2ではなく手5aに投射されることになる。以下、手5aに投射されたアイコン31を、図2に示したように「アイコン31a」とも称する。
投射部104の光軸と撮像部105の光軸は一致していない(視差がある)ため、撮像105が生成する撮像画像6上では、位置Aに投射されたアイコン31と、手5aに投射されたアイコン31aは、異なる位置に表示される。
このため、使用者5がアイコン31を操作していない状態からアイコン31を操作する状態に変化すると、撮像画像6においては、図2および図3に示したように、アイコン31の位置が方向Hの方向に移動する。ここで、方向Hは、投射部104の光軸と撮像部105の光軸とのズレの方向に一致する。
図4は、プロジェクター1を模式的に示した図である。プロジェクター1は、受取部101と、記憶部102と、制御部103と、投射部104と、撮像部105とを含む。
受取部101は、例えば、各種の操作ボタン、操作キーまたはタッチパネルである。受取部101は、使用者5の入力操作を受け取る。
例えば、受取部101は、アイコン31〜33を表示する旨の表示指示の入力操作を受け取る。受取部101は、表示指示の入力操作を受け取ると、表示指示を制御部103に出力する。また、受取部101は、電源オン操作とキャリブレーション開始操作とを受け取る。受取部101は、電源オン操作またはキャリブレーション開始操作を受け取ると、キャリブレーション開始指示を制御部103に出力する。また、受取部101は、アイコン操作を終了する旨の終了指示の入力操作を受け取る。受取部101は、終了指示の入力操作を受け取ると、終了指示を制御部103に出力する。
なお、受取部101は、入力操作に応じた情報を無線または有線で送信するリモートコントローラー等であってもよい。その場合、プロジェクター1は、リモートコントローラーが送信した情報を受信する受信部を備える。リモートコントローラーは、入力操作を受け取る各種の操作ボタン、操作キーまたはタッチパネルを備える。
記憶部102は、コンピューターが読み取り可能な記録媒体である。記憶部102は、プロジェクター1の動作を規定するプログラムと、種々の情報とを記憶する。
制御部103は、CPU(Central Processing Unit)等のコンピューターである。制御部103は、記憶部102に記憶されているプログラムを読み取り実行することによって、画像処理部106、表示制御部107、検出部108、処理部109、およびキャリブレーション実行部110を実現する。図4においては、制御部103内の構成と記憶部102との間を結ぶ信号線は省略されている。
画像処理部106は、例えば、PC4から受信した画像情報(以下「受信画像情報」とも称する)に画像処理を施して画像信号を生成する。
表示制御部107は、投射画像3の表示を制御する。表示制御部107は、例えば、表示指示(アイコン31〜33を表示する旨の表示指示)を受取部101から受け取ると、投射画像3内にアイコン31〜33を表示する。アイコン31〜33は、複数のマーカーの一例である。なお、表示制御部107は、表示指示を受け取らなくても、投射画像3内にアイコン31〜33を表示してもよい。
表示制御部107は、例えば、アイコン31〜33を示す追加画像情報を画像処理部106に出力して、投射画像3内にアイコン31〜33を表示させる。
図5は、追加画像情報に応じた追加画像36の一例を示した図である。図6は、受信画像情報に応じた画像37の一例を示した図である。
例えば、追加画像情報が図5に示した追加画像36を示し、受信画像情報が図6に示した画像37を示す場合、画像処理部106は、追加画像情報と受信画像情報を合成して、追加画像36の領域36cに画像37が組み込まれた投射画像3(図1参照)を示す画像信号を生成する。なお、追加画像情報は、記憶部102に記憶されており、表示制御部107は、記憶部102から追加画像情報を読み取る。
投射部104は、投射面2に投射画像3を投射する。
図7は、投射部104の一例を示した図である。投射部104は、光源11、光変調装置の一例である3つの液晶ライトバルブ12(12R,12G,12B)、投射光学系の一例である投射レンズ13、ライトバルブ駆動部14等を含む。投射部104は、光源11から射出された光を液晶ライトバルブ12で変調して投射画像(画像光)を形成し、この投射画像を投射レンズ13から拡大投射する。
光源11は、キセノンランプ、超高圧水銀ランプ、LED(Light Emitting Diode)、またはレーザー光源等からなる光源部11aと、光源部11aが放射した光の方向のばらつきを低減するリフレクター11bとを含む。光源11から射出された光は、不図示のインテグレーター光学系によって輝度分布のばらつきが低減され、その後、不図示の色分離光学系によって光の3原色である赤色(R)、緑色(G)、青色(B)の色光成分に分離される。R,G,Bの色光成分は、それぞれ液晶ライトバルブ12R,12G,12Bに入射する。
液晶ライトバルブ12は、一対の透明基板間に液晶が封入された液晶パネル等によって構成される。液晶ライトバルブ12には、マトリクス状に配列された複数の画素12pからなる矩形の画素領域12aが形成されており、液晶に対して画素12pごとに駆動電圧を印加可能である。ライトバルブ駆動部14が、画像処理部106から入力される画像信号に応じた駆動電圧を各画素12pに印加すると、各画素12pは、画像信号に応じた光透過率に設定される。このため、光源11から射出された光は、画素領域12aを透過することで変調され、画像信号に応じた画像が色光ごとに形成される。
各色の画像は、図示しない色合成光学系によって画素12pごとに合成され、カラー画像光(カラー画像)である投射画像光(投射画像3)が生成される。投射画像光(投射画像3)は、投射レンズ13によって投射面2に拡大投射される。
図4に戻って、撮像部105は、投射面2を撮像して撮像画像を生成する。
図8は、撮像部105の一例を示した図である。撮像部105は、レンズ等の光学系21と、光学系21にて集光された光を電気信号に変換する撮像素子22等を備えたカメラである。撮像素子22は、例えば、CCD(Charge Coupled Device)イメージセンサーまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサーである。撮像部105は、投射面2を繰り返し撮像して撮像画像を時系列で生成する。
図4に戻って、検出部108は、撮像画像に基づいて、アイコン31〜33の各々について撮像画像における位置の変化を検出する。撮像画像上でのアイコン31〜33の各々の位置の変化の原理については、既に図2を用いて説明した通りである。
処理部109は、検出部108の検出結果に基づいて、位置が変化したアイコンに関連づけられた機能(処理)を実行する。具体的には、処理部109は、複数のマーカー31〜33のいずれか1つの位置が変化した場合に、位置が変化したマーカーに対応する機能を所定の処理として実行する。
例えば、アイコン31が画像30に対するスクロール機能と関連づけられている場合、アイコン31が操作されてアイコン31の撮像画像上での位置が変化すると、処理部109は、PC4にスクロール指示を出力する処理を実行する。PC4は、スクロール指示に従って画像30をスクロールする。
また、アイコン32が、投射画像3を明るくする機能と関連づけられている場合、アイコン32が操作されてアイコン32の撮像画像上での位置が変化すると、処理部109は、画像処理部106に、投射画像3を明るくする指示を出力する処理を実行する。画像処理部106は、投射画像3を明るくする指示に応じて、投射画像3に応じた画像信号において輝度値を高くする。
キャリブレーション実行部110は、投射面2に表示されている投射画像3を撮像した撮像画像と、画像情報に基づく投射画像3との間で位置を対応づけるキャリブレーションを実行する。本実施形態では、キャリブレーション実行部110は、受取部101からキャリブレーション開始指示を受け取ると、キャリブレーションを実行し、キャリブレーション結果を検出部108に出力する。
検出部108は、キャリブレーション結果に基づいて、撮像画像上におけるアイコン31〜33の位置を推定する。そして、順次入力される撮像画像において、推定した位置の周辺を探索してアイコン31〜33の各々の位置を特定し、位置の変化を検出する。
次に、動作を説明する。
まず、キャリブレーションについて説明する。本実施形態では、記憶部102は、キャリブレーション用の画像を示すキャリブレーション画像情報を記憶している。具体的には、記憶部102は、第1キャリブレーション画像情報と、第2キャリブレーション画像情報とを記憶している。
図9は、キャリブレーションを説明するためのフローチャートである。
受取部101は、電源オン操作またはキャリブレーション開始操作を受け取ると、キャリブレーション開始指示をキャリブレーション実行部110に出力する。キャリブレーション実行部110は、キャリブレーション開始指示を受け取ると、記憶部102から第1キャリブレーション画像情報を読み取り、第1キャリブレーション画像情報を画像処理部106に出力する。画像処理部106は、第1キャリブレーション画像情報に応じた画像信号を生成し、投射部104は、この画像信号に応じた第1キャリブレーション画像を投射面2に投射する(ステップS1)。
図10は、第1キャリブレーション画像201の一例を示した図である。第1キャリブレーション画像201では、黒色の背景202の上に、白色の矩形パターン203が重畳されている。
続いて、撮像部105は、投射面2に表示されている第1キャリブレーション画像201を撮像して第1撮像画像を生成する(ステップS2)。撮像部105は、第1撮像画像をキャリブレーション実行部110に出力する。
キャリブレーション実行部110は、第1撮像画像を受け取ると、記憶部102から第2キャリブレーション画像情報を読み取り、第2キャリブレーション画像情報を画像処理部106に出力する。画像処理部106は、第2キャリブレーション画像情報に応じた画像信号を生成し、投射部104は、この画像信号に応じた第2キャリブレーション画像を投射面2に投射する(ステップS3)。
図11は、第2キャリブレーション画像204の一例を示した図である。第2キャリブレーション画像204は全体が黒色の画像である。
続いて、撮像部105は、投射面2に表示されている第2キャリブレーション画像204を撮像して第2撮像画像を生成する(ステップS4)。撮像部105は、第2撮像画像をキャリブレーション実行部110に出力する。
キャリブレーション実行部110は、第2撮像画像を受け取ると、第1撮像画像と第2撮像画像との差分を取って矩形パターン203を検出する(ステップS5)。続いて、キャリブレーション実行部110は、撮像画像上での矩形パターン203の四隅の座標を検出する(ステップS6)。
続いて、キャリブレーション実行部110は、第1キャリブレーション画像情報で特定される矩形パターン203の四隅の座標(図7に示した液晶ライトバルブ12上の矩形パターン203の四隅の座標)と、撮像画像における矩形パターン203の四隅の座標と、の位置関係に基づいて、射影変換行列を算出する(ステップS7)。射影変換行列は、液晶ライトバルブ12における画像を撮像画像に射影変換するための行列である。射影変換行列は、キャリブレーション結果の一例である。続いて、キャリブレーション実行部110は、射影変換行列を検出部108に出力する。
検出部108は、射影変換行列が入力されると、画像情報に基づく投射画像3におけるアイコン31〜33の位置と、入力された射影変換行列とに基づいて、撮像画像におけるアイコン31〜33の位置を推定する。検出部108はアイコン31〜33の位置を検出する際には、順次入力される撮像画像のうち、推定した位置の周辺でアイコン31〜33を探索する。
次に、アイコン31〜33の移動に基づいて種々の機能を実行する動作を説明する。図12は、この動作を説明するためのフローチャートである。
受取部101は、表示指示の入力操作を受け取ると、表示指示を表示制御部107に出力する。表示制御部107は、表示指示を受け取ると、記憶部102から追加画像情報を読み取り、追加画像情報と合成禁止指示とを画像処理部106に出力する。合成禁止指示は、追加画像情報を受信画像情報と合成することを禁止する指示である。
画像処理部106は、追加画像情報と合成禁止指示とを受け取ると、追加画像情報に応じた画像信号を生成する。投射部104は、この画像信号に応じた追加画像36(図5参照)を投射面2に投射する(ステップS11)。
続いて、撮像部105は、投射面2に表示されている追加画像36を撮像して撮像画像を生成する(ステップS12)。この際、使用者5は投射面2に投射された追加画像36に対して操作を行っていない。以下、ステップS12で生成された撮像画像を「基準画像」と称する。撮像部105は、基準画像を検出部108に出力する。
検出部108は、基準画像を用いて、アイコン31〜33の各々の特徴点の基準画像(撮像画像)上での座標(以下「初期位置」と称する)を算出する(ステップS13)。特徴点は、例えば重心である。
図13は、アイコン31〜33の各々として使用可能なアイコン300の一例を示した図である。アイコン300では、重心位置301の輝度が最も高く、重心位置301からの距離が長くなるほど輝度が段階的に低くなる。このため、アイコン31〜33として、アイコン300が用いられると、アイコン31〜33の重心(特徴点)を精度よく検出することが可能になる。
検出部108は、初期位置を記憶部102に記憶する。
続いて、表示制御部107は、追加画像情報と合成指示とを画像処理部106に出力する。画像処理部106は、追加画像情報と合成指示とを受け取ると、追加画像情報と受信画像情報とを合成して投射画像3(図1参照)に応じた画像信号を生成する。投射部104は、この画像信号に応じた投射画像3の投射面2への投射を開始する(ステップS14)。
続いて、撮像部105は、投射面2に表示されている投射画像3を撮像して撮像画像を生成する(ステップS15)。撮像部105は、撮像画像を検出部108に出力する。
検出部108は、撮像画像を受け取ると、アイコン31〜33の各々の特徴点の撮像画像上での座標を算出する。続いて、検出部108は、アイコン31〜33の特徴点の各々について、記憶部102に記憶した初期位置からの移動量(位置の変化量)および移動方向を算出する。
続いて、検出部108は、アイコン31〜33のいずれか1つのみが、特徴点の移動方向が特定の方向でかつ特徴点の移動量が所定量以上という判定条件を満たしている場合(ステップS16:YES)、判定条件を満たしたアイコンに対して使用者5が操作を行ったと判断する。検出部108は、この判断結果を処理部109に出力する。
ここで、特定の方向(特定方向)は、投射部104の光軸と撮像部105の光軸とのズレの方向、つまり「方向H」である(図2、図3参照)。
ここで、判定条件について説明する。
アイコン31〜33は、投射部104から常に決まった方向に投射されている。このため、例えば、使用者5が手5aでアイコン31が投射面2に到達するのを遮るなどして、アイコン31の投射位置が変化した場合、撮像画像上ではアイコン31は常に特定方向H(投射レンズ13に近づく方向)にしか動かない(図2参照)。よって、特定方向H以外の方向に特徴点が移動した場合は、使用者5による操作以外の原因で特徴点が移動した可能性が高いので、検出部108は、使用者5による操作とはみなさない。
また、使用者5がアイコン31〜33のいずれも操作していない場合でも、スクリーン等の投射面2が揺れるなどしてアイコン31〜33の投射位置が僅かに変化する場合がある。このため、移動量が所定量未満である場合(移動量が少なすぎる場合)も、検出部108は、使用者5による操作とはみなさない。
処理部109は、検出部108の検出結果に基づいて、判定条件を満たすアイコンに関連づけられている機能、すなわち、使用者5によって操作されたアイコンに関連づけられている機能を実行する(ステップS17)。
ステップS17が実行された後、および、検出部108がアイコン31〜33のいずれかへの使用者5の操作を検出していない場合(ステップS16:NO)、表示制御部107は、PC4または受取部101からアイコン操作を終了する旨の終了指示を受け取ったか否かを判断する(ステップS18)。
表示制御部107は、終了指示を受け取った場合には(ステップS18:YES)、追加画像情報と合成指示との画像処理部106への出力を停止し、アイコン31〜33の表示を終了させる。この場合、画像処理部106は、受信画像情報に応じた画像信号を生成し、投射部104は、この画像信号に応じた画像37(図6参照)を投射面2に投射する。
一方、表示制御部107が終了指示を受け取っていない場合(ステップS18:NO)、処理がステップS15に戻る。
本実施形態に係るプロジェクター1およびプロジェクター1の制御方法によれば、例えば、アイコン31〜33のいずれかを操作する操作体が投射面2と似通った反射特性を有していても、操作体にてアイコン31〜33のいずれかが操作された際に所定の処理が不実行となることを抑制可能になる。
<変形例>
本発明は、上述した実施形態に限定されるものではなく、例えば、次に述べるような各種の変形が可能である。また、次に述べる変形の態様の中から任意に選択された一または複数の変形を適宜組み合わせることもできる。
<変形例1>
操作体は、使用者5の手5aに限らず適宜変更可能である。例えば、操作体は、使用者5の手のひら、または紙でもよい。
<変形例2>
アイコン31〜33の各々の形状は、図13に示したアイコン300の形状に限らず適宜変更可能である。例えば、円形、楕円形、多角形、矢印、または単なるドット状の画像でもよい。また、アイコン31〜33の各々の特徴点は、重心に限らず適宜変更可能である。例えば、アイコン31〜33が多角形である場合、特徴点として、多角形の頂点が用いられてもよい。アイコン31〜33の形状は互いに異なってもよい。
<変形例3>
表示制御部107は、図1、図5に示すように、アイコン31〜33を、投射画像3の4つの辺のうち左辺36aに沿って投射画像3内に表示したが、アイコン31〜33の配置はこれに限定されず、他の辺に沿って配置してもよい。ただし、使用者は、投射画像3の左右いずれかの外側から操作を行うことが想定されるため、使用者にとって操作がしやすい左辺36aおよび右辺36bの少なくとも一方に沿ってアイコン31〜33を配置することが望ましい。なお、左辺36aおよび右辺36bは、投射画像3の垂直方向(上下方向)yに平行な辺である。また、アイコンの数は3に限らず2以下でもよいし4以上でもよい。
<変形例4>
アイコン31〜33の特徴点を検出する際には、表示制御部107が、アイコン31〜33を白色で表示し、アイコン31〜33の周囲の領域を黒色で表示すれば、アイコン31〜33を検出しやすくなる。この際、図5に示した追加画像36において白色で表示される領域36cを黒色としてもよい。
<変形例5>
アイコン31〜33の各々に関連づけられる機能は、スクロール機能および投射画像3を明るくする機能に限らず適宜変更可能である。例えば、投射画像3をフリーズ(固定)させる機能、投射画像3をブラックアウトさせる機能、または操作メニューを表示させる機能でもよい。
<変形例6>
処理部109は、図12で説明した動作に加え、アイコン31〜33の各々の位置が一度に(同時に)変化したことを検出部108が検出した場合、誤操作または誤検出の可能性があるため、処理部109はステップS17を実行せず、アイコン31〜33の各々の位置が元の位置に戻るまで待ってもよい。
さらに、アイコン31〜33の各々の位置が同時に変化した後に、アイコン31〜33の各々の位置が一定時間以上継続した場合は、プロジェクター1と投射面2との位置関係が変化した可能性があるため、キャリブレーションを再実行した上で、処理がステップS11に戻されてもよい。
<変形例7>
判定条件は、「特徴点の移動方向が特定の方向でかつ特徴点の移動量が所定量以上」という条件に限らず、適宜変更可能である。例えば、判定条件として、「特徴点の位置が変化した」という条件、「特徴点の位置が特定の方向に変化した」という条件、「特徴点の移動量が所定量よりも大きい」という条件、またはこれらの条件の組合せが用いられてもよい。
<変形例8>
記憶部102が画像情報を記憶している場合には、画像処理部106は、受信画像情報の代わりに、記憶部102が記憶している画像情報を用いてもよい。
<変形例9>
制御部103がプログラムを実行することによって実現される要素の全部または一部は、例えばFPGA(field programmable gate array)またはASIC(Application Specific IC)等の電子回路によりハードウェアで実現されてもよいし、ソフトウェアとハードウェアとの協働により実現されてもよい。
<変形例10>
投射部104では、光変調装置として液晶ライトバルブが用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置として、3枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、1枚の液晶パネルとカラーホイールを組み合わせた方式、3枚のデジタルミラーデバイス(DMD)を用いた方式、1枚のデジタルミラーデバイスとカラーホイールを組み合わせた方式等の構成であってもよい。光変調装置として1枚のみの液晶パネルまたはDMDが用いられる場合には、色分離光学系や色合成光学系に相当する部材は不要である。また、液晶パネルおよびDMD以外にも、光源が発した光を変調可能な構成は、光変調装置として採用できる。
1…プロジェクター、101…受取部、102…記憶部、103…制御部、104…投射部、105…撮像部、106…画像処理部、107…表示制御部、108…検出部、109…処理部、110…キャリブレーション実行部。

Claims (6)

  1. 投射面に投射画像を投射する投射部と、
    前記投射画像にマーカーを表示する表示制御部と、
    前記投射面を撮像して撮像画像を生成する撮像部と、
    前記撮像画像に基づいて前記マーカーの位置の変化を検出する検出部と、
    前記マーカーの位置の変化が検出された場合に、所定の処理を実行する処理部と、
    を有し、
    前記処理部は、前記マーカーの位置が特定の方向に変化した場合に前記所定の処理を実行する、
    ことを特徴とするプロジェクター。
  2. 前記表示制御部は、前記投射画像内に複数の前記マーカーを表示することを特徴とする請求項1に記載のプロジェクター。
  3. 前記表示制御部は、前記投射画像の辺のうち当該投射画像の垂直方向に平行な辺に沿って、前記マーカーを前記投射画像内に表示することを特徴とする請求項2に記載のプロジェクター。
  4. 前記処理部は、前記複数のマーカーのいずれか1つの位置が変化した場合には、前記位置が変化したマーカーに対応する処理を前記所定の処理として実行し、前記複数のマーカーの位置が一度に変化した場合には、前記所定の処理を実行しないことを特徴とする請求項2または3に記載のプロジェクター。
  5. 前記処理部は、前記マーカーの位置の変化量が所定量よりも大きい場合に前記所定の処理を実行することを特徴とする請求項1から4のいずれか一項に記載のプロジェクター。
  6. 投射面に投射画像を投射するステップと、
    前記投射画像にマーカーを表示するステップと、
    前記投射面を撮像して撮像画像を生成するステップと、
    前記撮像画像に基づいて前記マーカーの位置の変化を検出するステップと、
    前記マーカーの位置の変化が検出された場合に、所定の処理を実行するステップと、
    を有し、
    前記所定の処理を実行するステップは、前記マーカーの位置が特定の方向に変化した場合に前記所定の処理を実行する、
    ことを特徴とするプロジェクターの制御方法。
JP2017033042A 2017-02-24 2017-02-24 プロジェクターおよびプロジェクターの制御方法 Active JP6822209B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017033042A JP6822209B2 (ja) 2017-02-24 2017-02-24 プロジェクターおよびプロジェクターの制御方法
US15/899,859 US10860144B2 (en) 2017-02-24 2018-02-20 Projector and method for controlling projector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017033042A JP6822209B2 (ja) 2017-02-24 2017-02-24 プロジェクターおよびプロジェクターの制御方法

Publications (2)

Publication Number Publication Date
JP2018139028A JP2018139028A (ja) 2018-09-06
JP6822209B2 true JP6822209B2 (ja) 2021-01-27

Family

ID=63246226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017033042A Active JP6822209B2 (ja) 2017-02-24 2017-02-24 プロジェクターおよびプロジェクターの制御方法

Country Status (2)

Country Link
US (1) US10860144B2 (ja)
JP (1) JP6822209B2 (ja)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141151A (ja) * 2003-11-10 2005-06-02 Seiko Epson Corp プロジェクタおよびプロジェクタの機能設定方法
JP3880609B1 (ja) 2006-02-10 2007-02-14 シャープ株式会社 画像投影方法及びプロジェクタ
JP4991458B2 (ja) * 2007-09-04 2012-08-01 キヤノン株式会社 画像表示装置及びその制御方法
JP5244084B2 (ja) 2009-12-21 2013-07-24 パナソニック株式会社 表示制御システムおよび表示制御方法
JP5560721B2 (ja) * 2010-01-12 2014-07-30 セイコーエプソン株式会社 画像処理装置、画像表示システム、及び画像処理方法
JP5740822B2 (ja) * 2010-03-04 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8818027B2 (en) * 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
JP5488306B2 (ja) 2010-07-29 2014-05-14 船井電機株式会社 プロジェクタ
JP5304848B2 (ja) * 2010-10-14 2013-10-02 株式会社ニコン プロジェクタ
JP2012108771A (ja) * 2010-11-18 2012-06-07 Panasonic Corp 画面操作システム
JP6135239B2 (ja) 2012-05-18 2017-05-31 株式会社リコー 画像処理装置、画像処理プログラム、画像処理方法
JP6039248B2 (ja) * 2012-06-04 2016-12-07 キヤノン株式会社 情報処理装置およびその制御方法
US9218090B2 (en) * 2013-04-03 2015-12-22 Dell Products, Lp System and method for controlling a projector via a passive control strip
JP6307852B2 (ja) * 2013-11-26 2018-04-11 セイコーエプソン株式会社 画像表示装置、及び、画像表示装置の制御方法
JP6237326B2 (ja) * 2014-02-25 2017-11-29 富士通株式会社 姿勢推定装置、姿勢推定方法及び姿勢推定用コンピュータプログラム
WO2016018327A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Camera alignment based on an image captured by the camera that contains a reference marker
JP6275312B1 (ja) * 2017-06-02 2018-02-07 キヤノン株式会社 投写装置およびその制御方法、プログラム

Also Published As

Publication number Publication date
JP2018139028A (ja) 2018-09-06
US10860144B2 (en) 2020-12-08
US20180246618A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
JP6784280B2 (ja) プロジェクターおよびプロジェクターの制御方法
JP7167503B2 (ja) プロジェクター
CN110463191B (zh) 投影仪及投影仪的控制方法
JP2020112711A (ja) プロジェクターの制御方法、プロジェクターおよび投写システム
JP6809292B2 (ja) プロジェクターおよびプロジェクターの制御方法
US20190124309A1 (en) Projector and method for controlling projector
CN113286133B (zh) 投影系统、投影仪的控制方法以及投影仪
JP2012018214A (ja) 投写型映像表示装置
JP2015139087A (ja) 投影装置
JP6806220B2 (ja) 電子デバイス、及び電子デバイスの制御方法
JP6634904B2 (ja) 電子デバイス、及び電子デバイスの制御方法
JP6822209B2 (ja) プロジェクターおよびプロジェクターの制御方法
JP6569259B2 (ja) 位置検出装置、表示装置、位置検出方法、及び、表示方法
JP2012181721A (ja) 位置入力装置、プロジェクター、プロジェクターの制御方法、及び、表示システム
US10474020B2 (en) Display apparatus and method for controlling display apparatus to display an image with an orientation based on a user's position
JP7347205B2 (ja) 投写システムの制御方法、投写システム及び制御プログラム
JP2014187515A (ja) プロジェクター及びプロジェクターの制御方法
JP2020191045A (ja) 指示体、表示システムおよび動作方法
JP2018136889A (ja) プロジェクターおよびプロジェクターの制御方法
JP2020005049A (ja) 投射システム、プロジェクター、投射システムの制御方法およびプロジェクターの制御方法
CN114115582B (zh) 位置检测方法、投影仪的控制方法、位置检测装置和投影仪
JP6291912B2 (ja) 位置検出装置、及び、位置検出方法
WO2023127501A1 (ja) 制御装置、制御方法、及び制御プログラム
JP7314425B2 (ja) 制御装置、制御方法、制御プログラム、及び投影システム
JP2021189826A (ja) 位置検出方法、位置検出装置、及びプロジェクター

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180910

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190402

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191219

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20200806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201221

R150 Certificate of patent or registration of utility model

Ref document number: 6822209

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150