JP5773036B2 - 投影システム、投影装置、投影方法、および制御プログラム - Google Patents
投影システム、投影装置、投影方法、および制御プログラム Download PDFInfo
- Publication number
- JP5773036B2 JP5773036B2 JP2014120414A JP2014120414A JP5773036B2 JP 5773036 B2 JP5773036 B2 JP 5773036B2 JP 2014120414 A JP2014120414 A JP 2014120414A JP 2014120414 A JP2014120414 A JP 2014120414A JP 5773036 B2 JP5773036 B2 JP 5773036B2
- Authority
- JP
- Japan
- Prior art keywords
- mark
- display
- screen
- projection
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
Description
この発明は投影システム、投影装置、投影方法、および制御プログラムに関し、特に、目標位置に画像を投影する投影システム、投影装置、投影方法、および制御プログラムに関する。
昨今のオフィス環境などにおいては、机上にディスプレイを設置し、当該ディスプレイに画像を表示して作業を行なうことが多くなされている。この場合、ディスプレイの面積が広いほど表示面積が増加するために作業効率が向上する。
しかしながら、オフィス環境などにおいては各自の作業スペースに制限があるため、ディスプレイの面積にも制限が生じる。
また一方で、必ずしもディスプレイ全面を用いて作業するとは限られないため、ディスプレイの面積を増加させても作業効率には直接的に結びつかない場合もある。
このような問題に対して、下記の特許文献1〜5は画像を投影する技術や、その投影方法などを開示している。
しかしながら、これらの技術を用いても、作業対象であるディスプレイを必要な時に面積を拡大して用いることは実現できず、ディスプレイを用いた作業の効率の向上に寄与するものではない。
本発明はこのような問題に鑑みてなされたものであって、ディスプレイの面積を仮想的に拡大させ、作業効率を向上させることのできる投影システム、投影装置、投影方法、および制御プログラムを提供することを目的としている。
上記目的を達成するために、本発明のある局面に従うと、投影システムは、投影装置と、ディスプレイと、カメラと、投影装置での投影とディスプレイでの表示とを制御するための制御装置とを備える。投影システムは、カメラでの撮影画像を解析してディスプレイに表示された、投影装置が画面を投影する位置をディスプレイに対して特定するためのマークを検出するための第1の検出手段と、投影装置の投影する画面データを投影装置に対して送信し、前記投影装置での、検出されたマークに基づいて規定される位置への画面データに基づく画面の投影を管理するための投影管理手段とを備え、投影管理手段は、マークが変更された場合に、マークに応じて、投影装置が投影する画面のディスプレイに対する位置または大きさを変更する。
好ましくは、投影システムはマークのディスプレイでの表示を管理するためのマーク管理手段をさらに備え、マーク管理手段は、ディスプレイにマークを表示する位置を特定してディスプレイの特定した位置にマークを表示させ、投影装置が投影する画面の位置または大きさを変更するためにマークを変更する。
より好ましくは、マーク管理手段は、マークを少なくとも1つディスプレイに表示させ、第1の検出手段は、投影装置は、予め記憶しているディスプレイの形状を用いて撮影画像をマッチングすることでディスプレイを検出し、予め記憶しているマークの形状を用いて撮影画像をマッチングすることでマークを検出し、投影管理手段は、ディスプレイに対するマークの位置に基づいて規定される位置に画面を投影させる。
より好ましくは、マーク管理手段は、マークを少なくとも1つディスプレイに表示させ、第1の検出手段は、投影装置は、予め記憶しているディスプレイの形状を用いて撮影画像をマッチングすることでディスプレイを検出し、予め記憶しているマークの形状を用いて撮影画像をマッチングすることでマークを検出し、投影管理手段は、ディスプレイに対するマークの位置に基づいて規定される位置に画面を投影させる。
好ましくは、マーク管理手段は、マークを少なくとも1つ、ディスプレイから画面を表示させる位置への方向およびディスプレイから画面までの距離の少なくとも一方に応じた形状でディスプレイに表示させ、第1の検出手段は、予め記憶しているマークの形状を用いて撮影画像をマッチングすることでマークを検出し、さらに記憶しているマークの形状と検出されたマークの形状とを比較することでその変化量を検出し、投影管理手段は、マークの位置およびマークの形状の変化量に応じて規定される位置に画面を投影させる。
好ましくは、マーク管理手段は、マークを2つ以上ディスプレイに表示させ、第1の検出手段は、予め記憶している2つ以上のマークの形状を用いて撮影画像をマッチングすることで2つ以上のマークをそれぞれ検出し、投影管理手段は、それらの位置関係に応じて規定される位置に画面を投影させる。
好ましくは、マークはディスプレイのサイズを特定する情報を含み、マーク管理手段は、マークを少なくとも1つディスプレイに表示させ、第1の検出手段は、予め記憶しているディスプレイの形状を用いて撮影画像をマッチングすることでディスプレイを検出し、さらに検出されたマークを解析することでディスプレイのサイズを特定し、投影管理手段は、マークの位置およびディスプレイのサイズに応じて規定される位置に画面を投影する。
好ましくは、マークは、複数の画面の内の投影装置が投影する画面を特定する情報を含み、第1の検出手段は、予め記憶しているディスプレイの形状を用いて撮影画像をマッチングすることでディスプレイを検出し、さらに検出されたマークを解析することで投影する画面を特定し、投影管理手段は、マークの位置に応じて規定される位置に、特定された画面を投影させる。
好ましくは、投影システムはユーザの視線を検出するための第2の検出手段をさらに備え、マーク管理手段は、マークをディスプレイに表示させる処理において、ユーザの視線の向かう方向を、画面を投影する位置が設定される方向と特定して、該方向に画面を投影する位置を設定し、当該投影する位置に応じたディスプレイ上の位置にマークを表示させる。
好ましくは、投影システムはユーザの指示入力を受け付けるための入力手段をさらに備え、マーク管理手段は、入力手段で受け付けた指示入力に従ってマークのディスプレイでの表示位置を更新する。
好ましくは、投影管理手段は、撮影画像におけるマークの形状の変化量に応じて画面データを補正する。
本発明の他の局面に従うと、投影装置は、カメラから撮影画像の入力を受け付けるための入力手段と、撮影画像を解析し、撮影画像内のディスプレイに表示された所定のマークを検出するための検出手段と、マークから予め規定された位置を投影位置と特定して、画面を投影するための投影手段とを備え、投影手段は、マークの変更に応じて、投影位置または投影する画面の大きさを変更する。
本発明のさらに他の局面に従うと、投影方法は投影装置によって画面を投影させるための投影方法であって、投影装置が画面を投影する位置をディスプレイに対して特定するためのマークを、ディスプレイに表示するステップと、カメラでの撮影画像を解析し、撮影画像に含まれたディスプレイ上のマークを検出するステップと、検出されたマークに基づいて規定される位置を画面を投影する位置と特定し、投影装置から画面を投影するステップとを備え、投影するステップでは、マークの変更に応じて、画面を投影する位置または投影する画面の大きさを変更する。
本発明のさらに他の局面に従うと、制御プログラムは投影装置によって画面を投影させる制御をコンピュータに実行させるためのプログラムであって、投影装置が画面を投影する位置をディスプレイに対して特定するためのマークを、ディスプレイに表示するステップと、投影装置から所定位置に設置されたカメラでの撮影画像を解析し、撮影画像に含まれたディスプレイ上のマークを検出するステップと、検出されたマークに基づいて規定される位置を画面を投影する位置と特定し、投影装置から画面を投影するステップとをコンピュータに実行させ、投影するステップでは、マークの変更に応じて、画面を投影する位置または投影する画面の大きさを変更する。
この発明によると、ディスプレイの面積を仮想的に拡大させ、作業効率を向上させることができる。
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。
<システム構成>
図1は、本実施の形態にかかる投影システム1の構成の具体例を示す図である。
図1は、本実施の形態にかかる投影システム1の構成の具体例を示す図である。
図1を参照して、本実施の形態にかかる投影システム1は、ディスプレイ500と、投影装置としてのヘッドマウンテンディスプレイ(以下、HMD)300と、ディスプレイ500の表示およびHMD300における画像の投影を制御するための制御装置としてのパーソナルコンピュータ(以下、PC)200と、HMD300における画像の投影を制御するための制御装置としてのPC100とを含む。
PC100はHMD300に接続されて、HMD300に対して画像データと共に制御信号を送信して、HMD300での画像の投影を制御する。
HMD300にはカメラ400が接続されており、カメラ400からの撮影画像がPC100に入力される。PC100は当該撮影画像を用いて、HMD300での画像の投影の制御を実行する。
PC200はディスプレイ500に接続されて、画像データのうちのディスプレイ500に表示させるデータから表示データを生成し、制御信号と共にディスプレイ500に送信することで、ディスプレイ500での画面表示を実行させる。
また、PC200はPC100に接続されて、上記画像データのうちのHMD300で投影させるデータを制御信号と共にPC100に送信することで、HMD300での画像の投影を実行させる。PC100は当該制御信号に従って、当該画像データからHMD300で投影させるための投影データを生成し、投影させるための処理を実行する。
PC100とHMD300およびカメラ400との間の通信、PC200とディスプレイ500との間の通信、およびPC100とPC200との間の通信は図1に示されるように専用回線などを介した有線の通信であってもよいし、無線LANや赤外線通信などの無線通信であってもよい。
なお、図1に表わされた投影システム1の形態は一例であって、この形態に限定されるものではない。たとえば、図2、図3に他の構成の投影システム1A,1Bの具体例を示す。
すなわち、図2に示されるように、上記PC100とPC200とが一台のPC200Aで構成されてもよい。または、図3に示されるように、上記PC100とPC200とが一台のPC200Bで構成され、さらに、当該PC200Bとディスプレイ500およびHMD300との間の通信がインターネットを介した通信であってもよい。すなわち、PC200Bは後述する処理を実行して必要な情報をディスプレイ500およびHMD300に対してインターネットを介して送信する。このような形態は、クラウドとも称される。
<装置構成>
図4は、PC100の装置構成の具体例を示すブロック図である。図4に示されたPC100の装置構成は、一般的なパーソナルコンピュータの装置構成である。すなわち、図4を参照して、PC100は、装置全体を制御するためのCPU10と、CPU10で実行されるプログラムなどを記憶するためのメモリ11と、HMD300やPC200などの他の装置と通信するための通信インタフェース(I/F)12とを含む。
図4は、PC100の装置構成の具体例を示すブロック図である。図4に示されたPC100の装置構成は、一般的なパーソナルコンピュータの装置構成である。すなわち、図4を参照して、PC100は、装置全体を制御するためのCPU10と、CPU10で実行されるプログラムなどを記憶するためのメモリ11と、HMD300やPC200などの他の装置と通信するための通信インタフェース(I/F)12とを含む。
図5は、PC200の装置構成の具体例を示すブロック図である。図5に示されたPC200の装置構成もまた、一般的なパーソナルコンピュータの装置構成であり、図4に示された構成と概ね同じ構成である。すなわち、図5を参照して、PC200もまた、装置全体を制御するためのCPU20と、CPU20で実行されるプログラムなどを記憶するためのメモリ21と、PC100やディスプレイ500などの他の装置と通信するための通信I/F22とを含む。PC200は、さらに、マウスやキーボードなどの入力装置23を備える。
図6は、HMD300の装置構成の具体例を示すブロック図である。図6を参照して、HMD300は、装置全体を制御するためのCPU30と、CPU30で実行されるプログラムなどを記憶するためのメモリ31と、PC100やカメラ400などの他の装置と通信するための通信I/F32と、図示しないディスプレイを含んで、画像データに基づく画面を当該ディスプレイに投影するための投影部33を含む。
本実施の形態において、投影部33は透過性を有するディスプレイを含み、当該ディスプレイに対して画像を投影する。投影部33に含まれるディスプレイは図示しない装着部によって、投影方向と視線方向とを略一致させるようにユーザの頭部等に装着可能である。
そのため、HMD300を装着したユーザは、当該ディスプレイを介して背景を視認しつつ当該背景に重ねて投影された画面を視認することができる。
図7は、カメラ400の装置構成の具体例を示すブロック図である。図7を参照して、カメラ400は、装置全体を制御するためのCPU40と、CPU40で実行されるプログラムなどを記憶するためのメモリ41と、HMD300などの他の装置と通信するための通信I/F42と、第1撮影部43および第2撮影部44とを含む。
第1撮影部43は、その撮影方向をHMD300の投影部33での投影方向に略一致させた位置に設置される。そのため、第1撮影部43は、HMD300の図示しないディスプレイを介してユーザが視認することのできる、当該HMD300によって画面が投影された先の背景を撮影することになる。以降の説明において、第1撮影部43が撮影することによって得られた画像を第1カメラ画像とも称する。
第2撮影部44は、その撮影方向をHMD300の投影部33での投影方向と反対向きとさせた位置に設置される。そのため、第2撮影部44は、HMD300を装着したユーザの目の付近を撮影することになる。以降の説明において、第2撮影部44が撮影することによって得られた画像を第2カメラ画像とも称する。
<動作概要>
図8は、投影システム1での動作の概要を説明するための図である。
図8は、投影システム1での動作の概要を説明するための図である。
図8を参照して、投影システム1では、PC200の入力装置23による指示入力に従ってPC200において画像が生成されて、当該画像に基づいた画面501がディスプレイ500に表示される。画面501には、図8に示すように、HMD300で投影される画面の表示位置に関するマーク5が表示される。マーク5の詳細については後述する。さらに、HMD300によってディスプレイ500から所定の位置に上記画像に基づいた画面601,602が投影される。
これにより、HMD300を装着したユーザは、ディスプレイ500の面積分の表示画面501に加えて、当該ディスプレイ500から所定位置に拡張された表示画面601,602も視認することができる。
<機能構成>
図9は、上記動作を行なうためのPC100の機能構成の具体例を示すブロック図である。図9に示される各機能は、PC100のCPU10がメモリ11に記憶されるプログラムを読み込んで実行することで、主にCPU10上に形成されるものであるが、少なくとも一部が電気回路等のハードウェア構成によって実現されてもよい。
図9は、上記動作を行なうためのPC100の機能構成の具体例を示すブロック図である。図9に示される各機能は、PC100のCPU10がメモリ11に記憶されるプログラムを読み込んで実行することで、主にCPU10上に形成されるものであるが、少なくとも一部が電気回路等のハードウェア構成によって実現されてもよい。
図9を参照して、CPU10は、通信I/F12を介してデータを受信するためのデータ受信部101と、受信したデータを解析するためのデータ解析部102と、データ管理を行なうためのPC・HMD用データマネージメント部103と、カメラ400の第1撮影部43を制御するためのカメラ管理部(Outside)105と、第1カメラ画像から後述するマークを検出するためのマーク検出部104と、カメラ400の第2撮影部44を制御するためのカメラ管理部(Inside)107と、第2カメラ画像から視線を検出するための視線検出部106と、HMD300での投影を制御するためのディスプレイ管理部108と、その他処理を行なうためのその他処理部109と、送信用のデータを特定のデータ形式に整形するためのデータ作成部110と、通信I/F12を介してデータを送信するためのデータ送信部111とを含む。
データ受信部101は、上述の通信によって送信されるデータのうち、必要なデータ(パケット)を受信する。データ解析部102は受信されたデータの中から必要なデータを抽出し、当該PC100での処理に必要なデータであるか否かを解析する。そして、必要なデータである場合、解析結果に従って当該データがPC・HMD用データマネージメント部103またはその他処理部109に渡される。すなわち、データ受信部101がPC200からHMD300で投影される画面データを受信すると、データ解析部102での解析結果に従って当該データがPC・HMD用データマネージメント部103に渡される。
マーク検出部104は予めマークの形状を記憶している。そして、カメラ管理部105から第1カメラ画像を受け取り、当該画像と記憶しているマークの形状とをマッチングすることで、第1カメラ画像の中からマークを検出する。また、第1カメラ画像中のマークの形状の変化から、カメラ400からマークまでの距離および傾き具合を検出する。さらに、マーク検出部104はたとえば矩形形状などのディスプレイ500の形状を予め記憶し、第1カメラ画像と当該形状とをマッチングすることで、第1カメラ画像からディスプレイ500を検出する。そして、マーク検出部104は、これらの検出結果をPC・HMD用データマネージメント部103に渡す。
なお、マーク検出部104での検出のうちの上述のディスプレイ500の形状の検出は、後述するマークの表示の具体例において必ずしも必要でない場合もある。すなわち、後述するように、複数のマークの位置関係に基づいて表示位置を決定する場合には、ディスプレイ500の形状の検出を不要とすることができる。
視線検出部106は、カメラ管理部107から第2カメラ画像を受け取り、その中からHMD300を装着しているユーザの目を検出して、その視線方向を検出する。そして、その検出結果をPC・HMD用データマネージメント部103に渡す。
PC・HMD用データマネージメント部103は、マーク検出部104からの検出結果に基づいて表示位置を決定する。この決定方法については、以降に具体例を挙げて説明する。そして、PC・HMD用データマネージメント部103は、画面データをディスプレイ管理部108に渡して、HMD300での画面を当該位置に表示させるように画面の投影を実行させる。
また、PC・HMD用データマネージメント部103は、マーク検出部104からの検出結果および視線検出部106からの検出結果をPC200に送信する処理を行なう。
図10は、上記動作を行なうためのPC200の機能構成の具体例を示すブロック図である。図10に示される各機能は、PC200のCPU20がメモリ21に記憶されるプログラムを読み込んで実行することで、主にCPU20上に形成されるものであるが、少なくとも一部が電気回路等のハードウェア構成によって実現されてもよい。PC200は図10の各機能を備えて、サーバとして機能する。
図10を参照して、CPU20は、通信I/F22を介してデータを受信するためのデータ受信部201と、受信したデータを解析するためのデータ解析部202と、PC100から送信されるデータを管理するための入力データ管理部203と、ディスプレイ500でのマークの表示を管理するためのマーク管理部204と、HMD300で投影させる画面データを管理するためのVAD描画管理部205と、ユーザ管理などのその他のPCに関する管理を行なうためのその他管理部207と、マークを表示させるためのデータであるマーク情報などの各種データを保持するためのデータ保持部206と、送信用のデータを特定のデータ形式に整形するためのデータ作成部208と、通信I/F22を介してデータを送信するためのデータ送信部209とを含む。
データ受信部201は、上述の通信によって送信されるデータのうち、必要なデータ(パケット)を受信する。データ解析部202は受信されたデータの中から必要なデータを抽出し、当該PC200での処理に必要なデータであるか否かを解析する。そして、必要なデータである場合、解析結果に従って当該データが入力データ管理部203、マーク管理部204、VAD描画管理部205、またはその他管理部207に渡される。
入力データ管理部203は、PC100から入力されたデータから第1カメラ画像からのマークの検出結果およびHMD300を装着したユーザの視線の検出結果を抽出してマーク管理部204に渡す。また、入力データ管理部203は、PC100から入力されたデータからカメラ400からマークまでの距離および傾き具合の検出結果を抽出してVAD描画管理部205に渡す。また、入力装置23からの操作信号に基づいて、ユーザによる操作情報も取得する。
マーク管理部204は、ユーザからの指示入力またはHMD300での投影開始を指示する指示入力に応じてディスプレイ500に表示させるマークを生成し、当該マークを表示させるための制御信号と共にディスプレイ500に対して送信する。
また、マーク管理部204は、入力装置23からの操作信号からマークの位置変更などのマークに対する操作や、HMD300を装着したユーザの視線の検出結果などに基づいてマークを表示する位置を決定し、当該位置に表示位置を更新する。
VAD描画管理部205は、HMD300で投影させる画面データを生成し、PC100に対して当該画面データを送信する。
HMD300で投影させる画面データの一例として、入力装置23からの操作信号に従う画像データから生成されたディスプレイ500に表示させる画面データに対応した画面データが挙げられる。このような画面データをHMD300に投影させることで、ディスプレイ500の表示画面501がマークの表示位置の方向に拡張されて、画像データがより広い範囲で表示されることになる。もちろん、HMD300で投影させる画面データはこの例に限定されず、以降の具体例に示されるような、他の画面データであってもよい。
VAD描画管理部205は、さらに、カメラ400からマークまでの距離および傾き具合の検出結果に基づいて画面データを補正してもよい。このような補正を行なうことで、HMD300を装着したユーザがディスプレイ500を視認する角度、距離に応じて、ディスプレイ500での表示画面501と同じような見え方となるようにHMD300から画面が投影されることになり、視認性が高まる。
<動作フロー>
図11は、PC100での、第1カメラ画像に基づいた投影動作の流れの具体例を示すフローチャートである。図11のフローチャートに示される動作は、PC100のCPU10がメモリ11に記憶されるプログラムを読み出して図9の各機能を発揮させることで実現される。
図11は、PC100での、第1カメラ画像に基づいた投影動作の流れの具体例を示すフローチャートである。図11のフローチャートに示される動作は、PC100のCPU10がメモリ11に記憶されるプログラムを読み出して図9の各機能を発揮させることで実現される。
図11を参照して、CPU10は、第1カメラ画像が入力されると(ステップS101でYES)、ステップS103で当該画像を解析し、予め記憶しているマークの形状とマッチングすることで当該画像中のマークを検出する。また、予め記憶している、たとえば矩形形状などとマッチングすることで、当該画像中のディスプレイ500を検出する。
第1カメラ画像からマークが検出されると(ステップS105でYES)、ステップS107でCPU10は、予め記憶されているマークとディスプレイ500との位置関係ごとに規定されている表示位置に基づいて、検出されたマークとディスプレイ500との位置関係に応じて表示位置を特定し、ステップS109で当該位置にPC200からの画面データに基づいた画面が表示されるようにHMD300に投影させる。
図11に示される投影動作とは別に、PC100のCPU10は、第1カメラ画像および第2カメラ画像に基づいて検出動作を行ない、その検出結果をPC200に送信する処理を実行している。すなわち、CPU10は、第1カメラ画像から上述のようにマークが検出されると、検出されたマークの形状と予め記憶しているマークの形状とを比較し、その変化量を検出する。予め変化量とカメラ400からディスプレイ500までの距離との関係を記憶している場合には、CPU10は検出された変化量から上記距離を特定してもよい。また、予め変化量とカメラ400に対するディスプレイ500の傾きとの関係を記憶している場合には、CPU10は検出された変化量から上記傾きを特定してもよい。
また、第2カメラ画像が入力されると当該画像を解析し、その画像から目を検出した上で、その視線方向を特定する。
そして、CPU10は、これらの検出結果をPC200に対して送信する。
この動作は、たとえばPC200からの要求があったときやHMD300での投影を開始する指示入力があったときなどの所定のタイミングや、予め規定された時間間隔などで実行される。
この動作は、たとえばPC200からの要求があったときやHMD300での投影を開始する指示入力があったときなどの所定のタイミングや、予め規定された時間間隔などで実行される。
図12は、PC200での動作の流れの具体例を示すフローチャートである。図12のフローチャートに示される動作は、PC200のCPU20がメモリ21に記憶されるプログラムを読み出して図10の各機能を発揮させることで実現される。
図12を参照して、ステップS201でCPU20は、マークを表示する位置を特定し、その位置にマークを表示させるよう、ステップS203でマーク情報を生成して、ステップS205で表示処理を実行する。
上記ステップS201では、PC100から上記検出結果の入力を受け付けている場合には、当該検出結果に基づいてマークを表示する位置を特定する。または、入力装置23からの位置を変更する指示入力を受け付けている場合には、その指示に基づいてマークを表示する位置を特定する。また、デフォルト設定されている場合には、当該設定に従ってマークを表示する位置を特定する。
また、ステップS207でCPU20は、HMD300で投影するための画像を特定し、ステップS209で当該画像に基づいて画面データを生成する。
上記ステップS207では、入力装置23などからHMD300で投影する画像を特定する指示入力を受け付けた場合には、当該指示入力に従って画像を特定する。または、ディスプレイ500での表示画面に関連した画像がある場合には、当該画像をHMD300で投影する画像として特定してもよい。
上記ステップS209で特定された画像から画面データを生成する際、CPU20は、好ましくは、PC100からのカメラ400からマークまでの距離および傾き具合の検出結果に基づいて補正する。
そして、ステップS211でCPU20は、生成された画面データをPC100に送信する。
以降、具体的な実施例を挙げて、それぞれの処理について説明する。
<実施例1>
第1の実施例でPC100は、ディスプレイ500に表示された1つのマークを利用してHMD300での画面の表示位置を特定する。
<実施例1>
第1の実施例でPC100は、ディスプレイ500に表示された1つのマークを利用してHMD300での画面の表示位置を特定する。
図13は、第1の実施例での、ディスプレイ500での表示画面501とHMD200での表示画面601との位置関係の具体例を示す図である。
図13を参照して、第1の実施例として、PC200はHMD300での画面601の位置を特定するために、ディスプレイ500の表示画面501上に1つのマーク5を表示する。
この場合、PC100は予め検出されたマークの位置と画面601の表示位置との位置関係を図13のように記憶しておく。すなわち、図13の例では、マーク5の検出位置から左に所定距離離れた位置を画面中心とした位置を表示位置とする、と予め記憶しておく。そして、PC100は、第1カメラ画像に含まれるマーク5を検出し、その位置から予め規定された距離だけ離れた位置を表示画面601の中心と表示位置を特定して、当該位置に表示画面601を表示するようHMD300に投影させる。上記距離は、予めPC100に対して設定されているものであってもよいし、所定操作によって設定、更新されてもよい。
ここで、マーク5の形状は、カメラ画像において認識し得る形状であれば特定の形状に限定されない。所定位置から視認されるマーク5の形状、大きさは予めPC100に記憶されており、当該形状、大きさと第1カメラ画像から検出された形状、大きさとの差分(変化量)に応じて上記所定位置からの変化量を算出することで、カメラ400に接続されたHMD300のディスプレイ500に対する距離、傾きを得ることができる。
他の例として、ディスプレイ500の備えている図示しない枠の形状である矩形形状を第1カメラ画像から検出し、当該枠とマーク5との位置関係に基づいて画面601の表示位置を特定する場合、3次元位置表示のためのセンサとしてステレオカメラを用いてもよい。すなわち、カメラ400にディスプレイ500を撮影するための2つのカメラが備えられ、これらからの撮影画像に対して三角測量の原理を利用してディスプレイ500の位置を特定するようにしてもよい。
また、他の例として、図14のように、HDM300からの画面を表示する位置をマークの形状によって特定するようにしてもよい。すなわち、図14を参照して、PC200はHMD300での画面601の位置を特定するために、ディスプレイ500の表示画面501上に、当該画面601の方向を頂点で指した三角のマーク5を表示する。
この場合、PC100は予め検出されたマークの位置および形状と画面601の表示位置との位置関係を図14のように記憶しておく。すなわち、図14の例では、マーク5の検出位置から、その頂点が指す方向である左側に所定距離離れた位置を画面中心とした位置を表示位置とする、と予め記憶しておく。そして、PC100は、第1カメラ画像に含まれるマーク5を検出し、その頂点が指す方向に、マーク5の位置から予め規定された距離だけ離れた位置を表示画面601の中心と表示位置を特定して、当該位置に表示画面601を表示するようHMD300に投影させる。この場合、マーク5の頂点の角度によって上記所定距離が特定されるようにしてもよい。また、図14に示されるように、マーク5を複数表示することで、複数の画面をHMD300から投影させるようにしてもよい。
また、さらに他の例として、PC100でのディスプレイ500の枠の形状の検出に変えて、PC200が予めディスプレイ500の枠の形状を記憶しておき、マーク5でディスプレイ500の枠の形状を表わすようにしてもよい。枠の形状の表わし方として、具体的にマーク5を枠のサイズを表わす数値としてもよいし、枠のサイズを表わしたバーコードなどとしてもよい。
この場合、PC100は第1カメラ画像からマーク5を検出するとさらにその画像を解析して、ディスプレイ500の枠の形状を抽出する。PC100は、予め枠の形状とマーク5からの表示位置とを表わした式を記憶している。そして、抽出されたディスプレイ500の枠の形状を上記式に代入することで検出されたマーク5からの表示位置を特定することができる。
<実施例2>
第2の実施例でPC100は、ディスプレイ500に表示された1つのマークの位置関係に基づいてHMD300での画面の表示位置を特定する。
第2の実施例でPC100は、ディスプレイ500に表示された1つのマークの位置関係に基づいてHMD300での画面の表示位置を特定する。
図15は、第2の実施例での、ディスプレイ500の表示画面501とHMD300での表示画面601,602との位置関係の具体例を示す図である。
図15を参照して、第2の実施例として、PC200は、ディスプレイ500の表示画面501上に基準となるマーク(以下、基準マーク)5Aと、基準マーク5Aとは異なる表示態様として、HMD300での画面601,602の位置を示すための(以下、位置マーク)5B,5Cとを表示する。図15の例では、異なる表示態様としてたとえば表示色を異ならせる例が該当する。他の例として、形状を異ならせてもよい。
この場合、PC100は、予め基準マークの表示態様と位置マークの表示態様とを記憶しており、第1カメラ画像から、それぞれのマークを検出する。そして、検出された基準マーク5Aと位置マーク5B,5Cとの位置関係に基づいてHMD300での画面601,602の位置を特定する。
PC100での位置の特定方法の一例として、PC100は、基準マーク5Aから位置マーク5B,5Cへ向かう方向を単純な4方向に変換し、位置マーク5B,5Cからその方向に予め記憶された距離分離れた点をそれぞれ画面601,602の中心とした位置を表示位置と特定する。他の例として、基準マーク5Aから位置マーク5B,5Cへ向かう方向に位置マーク5B,5Cからその方向に予め記憶された距離分離れた点をそれぞれ画面601,602の中心とした位置を表示位置と特定してもよい。
さらに、他の例として、図16に示されるように、位置マーク5B,5Cにそれぞれが画面601,602の識別情報を付加し、位置マーク5B,5Cによって画面601,602のそれぞれを識別して位置を指定するようにしてもよい。図16の例では、位置マーク5B内に付加された「1」の文字が画面601を識別し、位置マーク5C内に付加された「2」の文字が画面602を識別している。
さらに、この位置マーク5B,5Cは、入力装置23を用いたユーザによる位置の変更の指示入力を受け付けて、PC200によって表示位置が変更されてもよい。一例として、図15、図16に表わされた状態においてマーク5Cを表示画面501の右辺の中央付近に移動させることで、画面602を表示画面501の右横に表示させることができる。
この場合、特に図16に表わされたように位置マーク5B,5Cにそれぞれが画面601,602の識別情報を付加されていることで、位置を変更したい画面に応じた位置マークを操作しやすくなる。
<実施例3>
第3の実施例でPC100は、ディスプレイ500に表示されたマークのサイズに基づいてHMD300での画面のサイズを特定する。ここでは、第2の実施例と同様に、基準マーク5Aと位置マーク5B,5Cとを利用してHMD300での画面の位置を特定し、それに併せて、位置マーク5B,5Cの大きさに基づいて画面のサイズを特定する。
第3の実施例でPC100は、ディスプレイ500に表示されたマークのサイズに基づいてHMD300での画面のサイズを特定する。ここでは、第2の実施例と同様に、基準マーク5Aと位置マーク5B,5Cとを利用してHMD300での画面の位置を特定し、それに併せて、位置マーク5B,5Cの大きさに基づいて画面のサイズを特定する。
図17は、第3の実施例での、ディスプレイ500の表示画面501に表示されるマークの具体例を示す図である。
図17を参照して、第3の実施例でPC200は、位置マーク5B,5Cとして、HMD300での画面のサイズを特定し得る形状のマークを用いる。図17の例では矩形形状のマーク5B,5Cを表示し、その形状がHMD300での画面の形状(サイズ)に対応している。
この場合、PC200のCPU20は、HMD300での画面のサイズに応じて予め記憶されている位置マークの形状を変更する。この例では、画面602が横長形状のサイズであるため、当該サイズに応じて位置マーク5Cの形状を横長形状に変更し、表示画面501上に表示させる。一例として、位置マーク5Cの形状(縦横比)を画面602の縦横比に応じたサイズに変更することが挙げられる。
図18は、この場合、PC200での動作を表わしたフローチャートであって、図11のフローチャートに示された動作の一部の変更箇所のみが示されている。
図18を参照して、この場合、PC200のCPU20は、第1カメラ画像からマーク5A,5B,5Cを検出すると(ステップS105でYES)、ステップS107でこれらマークの位置関係に基づいてHMD300での画面の表示位置を特定すると共に、ステップS108で位置マーク5B,5Cの形状に基づいて表示サイズを特定する。そして、ステップS109で、特定された位置に特定されたサイズで画面601,602が表示されるように、HMD300に画面を投影させる。
図17の例では、位置マーク5Cの形状が横長形状で表示画面501に表示されている。
PC100は第1カメラ画像から位置マーク5Cの形状としてこの形状を検出すると、上記ステップS108で一例として、画面602の表示サイズとして、その縦横比と同じ縦横比のサイズと特定する。そして、ステップS109で画面データを変換して、当該画面を表示するようHMD300に投影させる。
なお、この場合も、第2の実施例と同様に、図17に示されたように位置マーク5B,5Cにそれぞれが画面601,602の識別情報を付加し、位置マーク5B,5Cによって画面601,602のそれぞれを識別して位置を指定するようにしてもよい。
また、さらに、位置マークの形状の変更を、入力装置23を用いたユーザからの指示入力に従って行なうようにしてもよい。図17の例の場合、位置マーク5Cの形状は、正方形形状であった当該マークの形状がマウスでドラッグするなどの操作に応じて変更されたものであってよい。
この場合、位置マークの基本形状としてHMD300による画面の形状に対応した形状が用いられる。または、基本形状からの変化率をHMD300による画面の形状に対する変化率として検出し、画面データを変換するようにしてもよい。
<実施例4>
第4の実施例として、位置マークをウィンドウ移動アイコンとしても用い、直観的に表示画面501からHMD300による画面にウィンドウやファイルなどを移動することを可能とする。
第4の実施例として、位置マークをウィンドウ移動アイコンとしても用い、直観的に表示画面501からHMD300による画面にウィンドウやファイルなどを移動することを可能とする。
図19は、第4の実施例での動作を表わした図である。
図19を参照して、表示画面501に表示された、HMD300での画面601の表示位置を表わしたマーク5に対して、入力装置23を用いた、ウィンドウをドラッグアンドドロップする操作を受け付けると、PC200は当該ウィンドウを画面601に移動させて表示させる。
図19を参照して、表示画面501に表示された、HMD300での画面601の表示位置を表わしたマーク5に対して、入力装置23を用いた、ウィンドウをドラッグアンドドロップする操作を受け付けると、PC200は当該ウィンドウを画面601に移動させて表示させる。
図20は、この場合のPC200での動作の流れを表わすフローチャートである。この動作は、たとえば、図12のフローチャートに示された動作の後に行なわれてもよい。
図20を参照して、PC200のCPU20は入力装置23からのウィンドウをドラッグアンドドロップする操作を受け付けると(ステップS301でYES)、ドロップされた位置がHMD300での画面の表示位置を表わしたマークから所定範囲内である場合(ステップS303でYES)、そのマークの表わす画面に当該ウィンドウを移動させると判断する。そして、ステップS305でCPU20は、表示画面501から当該ウィンドウを除くと共に、指定されたHMD300での画面に当該ウィンドウを表示するよう、それぞれの画面データを更新し、ステップS307で当該画面データをPC100に対して送信する。
このような動作が行なわれることで、HMD300での画面によってあたかもディスプレイ500の表示領域が拡張されたように操作することが可能となる。
なお、HMD300での画面に表示されたウィンドウを表示画面501に移動させてもよい。この場合、HMD300での画面を最小化したとき、HMD300での画面に表示されたウィンドウをディスプレイ500との境界から所定範囲内まで移動させたとき、または、HMD300での画面に専用のマークなどの領域を設けておき、当該領域に対象のウィンドウをドラッグアンドドロップしたとき、などの検出結果に応じてPC200が画面データを更新することで、ウィンドウの移動が実現される。
また、他の例として、PC200は、たとえばHMD300での画面の表示位置を表わしたマークをダブルクリックするなどの所定操作に従って、HMD300での画面の表示内容と表示画面501の表示内容を入れ替えてもよい。
<実施例5>
第5の実施例では、HMD300を装着したユーザの視線方向を検出し、その方向にHMD300による画面が表示されるようにする。これにより、ユーザが視認する方向に画面が表示されることになり、使い勝手が向上する。
第5の実施例では、HMD300を装着したユーザの視線方向を検出し、その方向にHMD300による画面が表示されるようにする。これにより、ユーザが視認する方向に画面が表示されることになり、使い勝手が向上する。
図21は、第5の実施例での動作を表わした図である。
図21を参照して、HMD300を装着したユーザの視線方向が表示画面501に対して左側に向いていることが検出されると、HMD300から表示画面501の左側に画面601が表示されるように投影され、この場合に、右側の表示画面602が表示されなくなる。
図21を参照して、HMD300を装着したユーザの視線方向が表示画面501に対して左側に向いていることが検出されると、HMD300から表示画面501の左側に画面601が表示されるように投影され、この場合に、右側の表示画面602が表示されなくなる。
この場合、PC100は第2カメラ画像を解析することで、HMD300を装着したユーザの視線方向を検出し、その検出結果をPC200に対して送信する。
この検出結果を受け付けたPC200では、HMD300での画面の表示位置を表わしたマークを、その視線方向に表示させるよう、当該マークの表示位置を決定し、表示画面501上の当該位置にマーク5Aを表示させる。
これにより、PC100で第1カメラ画像を解析して当該マークの位置が検出されて、ユーザの視線方向の所定位置にHMD300からの画面が表示されるように画面データが投影されることになる。
<実施例6>
以上の例では、HMD300による画面の表示位置を主にディスプレイ500の周囲として、マークを用いて、そのうちのいずれの位置に表示するかを特定するものとしていた。しかしながら、表示位置を予め特定しておき、その画面での表示内容を同様にして特定するようにしてもよい。
以上の例では、HMD300による画面の表示位置を主にディスプレイ500の周囲として、マークを用いて、そのうちのいずれの位置に表示するかを特定するものとしていた。しかしながら、表示位置を予め特定しておき、その画面での表示内容を同様にして特定するようにしてもよい。
図22は、第6の実施例での動作を表わした図である。
図22を参照して、第6の実施例では、PC200は、たとえばディスプレイ500の左側、などとHMD300による画面601を表示させる位置を予め特定しておく。そして、入力装置23によって、表示画面501に表示されるウィンドウのうちの1つの選択を受け付けると、当該ウィンドウに関連した画面を画面601に表示させるために画面データをPC100に対して送信する。
図22を参照して、第6の実施例では、PC200は、たとえばディスプレイ500の左側、などとHMD300による画面601を表示させる位置を予め特定しておく。そして、入力装置23によって、表示画面501に表示されるウィンドウのうちの1つの選択を受け付けると、当該ウィンドウに関連した画面を画面601に表示させるために画面データをPC100に対して送信する。
図22(A)においては、表示画面501に表示された3つのウィンドウのうちの右端のウィンドウ(図22(A)においてウィンドウ1)が選択されている状態が示されており、この例では、選択されたウィンドウ1がアクティブ表示されている。そして、この場合、当該ウィンドウ1に関連した画面がVAD1として表示画面501の左側にHMD300で投影されることによって表示されている。画面601での表示内容はウィンドウ1での表示内容と同じものであってもよいし、予め関連付けて記憶されている画像に基づくものであってもよいし、ウィンドウ1で使用しているアプリケーションの実行画面などであってもよい。
図22(B)は、図22(A)の状態から異なるウィンドウが選択された場合を表わしており、具体的に、中央のウィンドウ(図22(B)においてウィンドウ2)が選択されている状態が示されている。図22(B)では、選択されたウィンドウ2がアクティブ表示されている。そして、この場合、画面601の表示内容は、当該ウィンドウ2に関連した画面に切り替わる。
以上の動作が行なわれることで、投影システム1ではディスプレイ500の表示面積を仮想的に拡大させることができる。これにより、限られた作業スペースにディスプレイ500が設置されていた場合であっても、その作業スペースを圧迫することなく表示面積を拡大することができ、ディスプレイ500を用いた作業の効率を向上させることができる。
<他の例>
なお、以上の例では、PC200がディスプレイ500の表示画面501上にマークを表示し、PC100がその位置によってHMD300での画面の表示位置をするものとしていた。
なお、以上の例では、PC200がディスプレイ500の表示画面501上にマークを表示し、PC100がその位置によってHMD300での画面の表示位置をするものとしていた。
しかしながら、上記マークに替えて、ディスプレイ500の枠自体をマークとして用いることができる。
すなわち、PC100は予めディスプレイ500の枠とHMD300での画面表示位置との対応関係を記憶しており、第1カメラ画像からディスプレイ500の枠を検出すると、当該枠のサイズに応じてHMD300での画面の表示位置を特定するようにしてもよい。この処理のために、PC100には、予め何種類かディスプレイの枠の形状がテンプレートとして記憶されていてもよい。または、第1カメラ画像を解析することで、枠のサイズを特定するようにしてもよい。
この場合、ディスプレイ500の枠の形状に応じてHMD300での画面表示位置が決定されるため、上述のような、様々な条件に基づいてPC200がマークを表示する位置を決定する処理が不要となる。すなわち、PC200においてマークを表示する位置を決定したり、マークの形状を決定したりする処理は不要とできる。
さらに、上述のPC200での動作およびPC100での動作を実行させるためのプログラムを提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、CD−ROM(Compact Disk-Read Only Memory)、ROM(Read Only Memory)、RAM(Random Access Memory)およびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
なお、本発明にかかるプログラムは、コンピュータのオペレーティングシステム(OS)の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずOSと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。
また、本発明にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明にかかるプログラムに含まれ得る。
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1,1A,1B 投影システム、5,5A,5B,5C マーク、10,20,30,40 CPU、11,21,31,41 メモリ、12,22,32,42 通信I/F、3 入力装置、33 投影部、43 第1撮影部、44 第2撮影部、101,201 データ受信部、102,202 データ解析部、103 PC・HMD用データマネージメント部、104 マーク検出部、105,107 カメラ管理部、106 視線検出部、108 ディスプレイ管理部、109 その他処理部、110,208 データ作成部、111,209 データ送信部、203 入力データ管理部、204 マーク管理部、205 VAD描画管理部、206 データ保持部、207 その他管理部、300 HMD、400 カメラ、500 ディスプレイ、501,601,602,603 画面。
Claims (13)
- 投影装置と、
ディスプレイと、
カメラと、
前記投影装置での投影と前記ディスプレイでの表示とを制御するための制御装置とを含む投影システムであって、
前記カメラでの撮影画像を解析して前記ディスプレイに表示された、前記投影装置が画面を投影する位置を前記ディスプレイに対して特定するためのマークを検出するための第1の検出手段と、
前記投影装置の投影する画面データを前記投影装置に対して送信し、前記投影装置での、前記検出されたマークに基づいて規定される位置への前記画面データに基づく画面の投影を管理するための投影管理手段とを備え、
前記投影管理手段は、前記マークが変更された場合に、前記マークに応じて、前記投影装置が投影する画面の前記ディスプレイに対する位置または大きさを変更する、投影システム。 - 前記マークの、前記ディスプレイでの表示を管理するためのマーク管理手段をさらに備え、
前記マーク管理手段は、前記ディスプレイに前記マークを表示する位置を特定して前記ディスプレイの特定した位置に前記マークを表示させ、前記投影装置が投影する画面の位置または大きさを変更するために前記マークを変更する、請求項1に記載の投影システム。 - 前記マーク管理手段は、前記マークを少なくとも1つ前記ディスプレイに表示させ、
前記第1の検出手段は、予め記憶している前記ディスプレイの形状を用いて前記撮影画像をマッチングすることで前記ディスプレイを検出し、予め記憶している前記マークの形状を用いて前記撮影画像をマッチングすることで前記マークを検出し、
前記投影管理手段は、前記ディスプレイに対する前記マークの位置に基づいて規定される位置に前記画面を投影させる、請求項2に記載の投影システム。 - 前記マーク管理手段は、前記マークを少なくとも1つ、前記ディスプレイから前記画面を表示させる位置への方向および前記ディスプレイから前記画面までの距離の少なくとも一方に応じた形状で前記ディスプレイに表示させ、
前記第1の検出手段は、予め記憶している前記マークの形状を用いて前記撮影画像をマッチングすることで前記マークを検出し、さらに前記記憶しているマークの形状と前記検出されたマークの形状とを比較することでその変化量を検出し、
前記投影管理手段は、前記マークの位置および前記マークの形状の変化量に応じて規定される位置に前記画面を投影させる、請求項2に記載の投影システム。 - 前記マーク管理手段は、前記マークを2つ以上前記ディスプレイに表示させ、
前記第1の検出手段は、予め記憶している前記2つ以上のマークの形状を用いて前記撮影画像をマッチングすることで前記2つ以上のマークをそれぞれ検出し、
前記投影管理手段は、それらの位置関係に応じて規定される位置に前記画面を投影させる、請求項2に記載の投影システム。 - 前記マークは前記ディスプレイのサイズを特定する情報を含み、
前記マーク管理手段は、前記マークを少なくとも1つ前記ディスプレイに表示させ、
前記第1の検出手段は、予め記憶している前記ディスプレイの形状を用いて前記撮影画像をマッチングすることで前記ディスプレイを検出し、さらに前記検出されたマークを解析することで前記ディスプレイのサイズを特定し、
前記投影管理手段は、前記マークの位置および前記ディスプレイのサイズに応じて規定される位置に前記画面を投影させる、請求項2に記載の投影システム。 - 前記マークは、複数の画面の内の前記投影装置が投影する画面を特定する情報を含み、
前記第1の検出手段は、予め記憶している前記ディスプレイの形状を用いて前記撮影画像をマッチングすることで前記ディスプレイを検出し、さらに前記検出されたマークを解析することで投影する画面を特定し、
前記投影管理手段は、前記マークの位置に応じて規定される位置に、前記特定された画面を投影させる、請求項2に記載の投影システム。 - ユーザの視線を検出するための第2の検出手段をさらに備え、
前記マーク管理手段は、前記マークを前記ディスプレイに表示させる処理において、前記ユーザの視線の向かう方向を、前記画面を投影する位置が設定される方向と特定して、該方向に前記画面を投影する位置を設定し、当該投影する位置に応じた前記ディスプレイ上の位置に前記マークを表示させる、請求項2に記載の投影システム。 - ユーザの指示入力を受け付けるための入力手段をさらに備え、
前記マーク管理手段は、前記入力手段で受け付けた前記指示入力に従って前記マークの前記ディスプレイでの表示位置を更新する、請求項2〜8のいずれかに記載の投影システム。 - 前記投影管理手段は、前記撮影画像における前記マークの形状の変化量に応じて前記画面データを補正する、請求項4に記載の投影システム。
- カメラから撮影画像の入力を受け付けるための入力手段と、
前記撮影画像を解析し、前記撮影画像内のディスプレイに表示された所定のマークを検出するための検出手段と、
前記マークから予め規定された位置を投影位置と特定して、画面を投影するための投影手段とを備え、
前記投影手段は、前記マークの変更に応じて、前記投影位置または投影する画面の大きさを変更する、投影装置。 - 投影装置によって画面を投影させるための投影方法であって、
前記投影装置が前記画面を投影する位置をディスプレイに対して特定するためのマークを、前記ディスプレイに表示するステップと、
カメラでの撮影画像を解析し、前記撮影画像に含まれた前記ディスプレイ上の前記マークを検出するステップと、
前記検出されたマークに基づいて規定される位置を前記画面を投影する位置と特定し、前記投影装置から前記画面を投影するステップとを備え、
前記投影するステップでは、前記マークの変更に応じて、前記画面を投影する位置または投影する画面の大きさを変更する、投影方法。 - 投影装置によって画面を投影させる制御をコンピュータに実行させるためのプログラムであって、
前記投影装置が前記画面を投影する位置をディスプレイに対して特定するためのマークを、前記ディスプレイに表示するステップと、
カメラでの撮影画像を解析し、前記撮影画像に含まれた前記ディスプレイ上の前記マークを検出するステップと、
前記検出されたマークに基づいて規定される位置を前記画面を投影する位置と特定し、前記投影装置から前記画面を投影するステップとを前記コンピュータに実行させ、
前記投影するステップでは、前記マークの変更に応じて、前記画面を投影する位置または投影する画面の大きさを変更する、制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014120414A JP5773036B2 (ja) | 2014-06-11 | 2014-06-11 | 投影システム、投影装置、投影方法、および制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014120414A JP5773036B2 (ja) | 2014-06-11 | 2014-06-11 | 投影システム、投影装置、投影方法、および制御プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011100972A Division JP5691802B2 (ja) | 2011-04-28 | 2011-04-28 | 投影システム、投影装置、投影方法、および制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014211643A JP2014211643A (ja) | 2014-11-13 |
JP5773036B2 true JP5773036B2 (ja) | 2015-09-02 |
Family
ID=51931399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014120414A Expired - Fee Related JP5773036B2 (ja) | 2014-06-11 | 2014-06-11 | 投影システム、投影装置、投影方法、および制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5773036B2 (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4211097B2 (ja) * | 1998-10-27 | 2009-01-21 | ソニー株式会社 | 受像機、その位置認識装置、その位置認識方法及び仮想画像立体合成装置 |
JP4250814B2 (ja) * | 1999-07-14 | 2009-04-08 | ソニー株式会社 | 3次元映像の送受信システム及びその送受信方法 |
JP2009245390A (ja) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | 表示処理装置及び表示処理システム |
JP2010237522A (ja) * | 2009-03-31 | 2010-10-21 | Brother Ind Ltd | 画像提示システム及びこの画像提示システムに用いられるヘッドマウントディスプレイ |
JPWO2011004612A1 (ja) * | 2009-07-10 | 2012-12-20 | パナソニック株式会社 | マーカ表示制御装置、集積回路、及び、マーカ表示制御方法 |
JP5681850B2 (ja) * | 2010-03-09 | 2015-03-11 | レノボ・イノベーションズ・リミテッド(香港) | ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 |
JP2012220602A (ja) * | 2011-04-06 | 2012-11-12 | Konica Minolta Holdings Inc | 投影装置、制御装置、および制御方法 |
JP5691802B2 (ja) * | 2011-04-28 | 2015-04-01 | コニカミノルタ株式会社 | 投影システム、投影装置、投影方法、および制御プログラム |
JP2012233963A (ja) * | 2011-04-28 | 2012-11-29 | Konica Minolta Holdings Inc | 投影システム、投影装置、投影方法、および制御プログラム |
-
2014
- 2014-06-11 JP JP2014120414A patent/JP5773036B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014211643A (ja) | 2014-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5691802B2 (ja) | 投影システム、投影装置、投影方法、および制御プログラム | |
US10514842B2 (en) | Input techniques for virtual reality headset devices with front touch screens | |
JP5966510B2 (ja) | 情報処理システム | |
JP5740884B2 (ja) | 繰り返し撮影用arナビゲーション及び差異抽出のシステム、方法及びプログラム | |
US10234955B2 (en) | Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program | |
JP2016194799A (ja) | 画像解析装置及び画像解析方法 | |
US10176556B2 (en) | Display control apparatus, display control method, and non-transitory computer readable medium | |
EP3032375B1 (en) | Input operation system | |
JP5565331B2 (ja) | 表示システム、表示処理装置、表示方法、および表示プログラム | |
JP2012233963A (ja) | 投影システム、投影装置、投影方法、および制御プログラム | |
KR102159767B1 (ko) | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 | |
JP2012238293A (ja) | 入力装置 | |
JP7499819B2 (ja) | ヘッドマウントディスプレイ | |
JP2010205223A (ja) | 仮想対象に対するジェスチャーに従う制御を行うシステム及び装置 | |
JP2010117917A (ja) | 動作検出装置および操作システム | |
KR101308184B1 (ko) | 윈도우 형태의 증강현실을 제공하는 장치 및 방법 | |
WO2021004413A1 (zh) | 一种手持输入设备及其指示图标的消隐控制方法和装置 | |
EP4246281A1 (en) | Information display system, information display method, and carrier means | |
JP6632298B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5773036B2 (ja) | 投影システム、投影装置、投影方法、および制御プログラム | |
JP6374203B2 (ja) | 表示システム及びプログラム | |
JP6452658B2 (ja) | 情報処理装置、およびその制御方法ならびにプログラム | |
KR20200111144A (ko) | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 | |
JP6057407B2 (ja) | タッチ位置入力装置及びタッチ位置入力方法 | |
US20240118751A1 (en) | Information processing device and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5773036 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |