JPWO2009125481A1 - 画面表示システム及び画面表示プログラム - Google Patents
画面表示システム及び画面表示プログラム Download PDFInfo
- Publication number
- JPWO2009125481A1 JPWO2009125481A1 JP2010507089A JP2010507089A JPWO2009125481A1 JP WO2009125481 A1 JPWO2009125481 A1 JP WO2009125481A1 JP 2010507089 A JP2010507089 A JP 2010507089A JP 2010507089 A JP2010507089 A JP 2010507089A JP WO2009125481 A1 JPWO2009125481 A1 JP WO2009125481A1
- Authority
- JP
- Japan
- Prior art keywords
- screen
- user
- small screen
- line
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 107
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims description 86
- 230000037237 body shape Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 80
- 238000013459 approach Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 9
- 230000036544 posture Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 5
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
小画面表示システム100は、大画面11を有する表示装置1と、大画面11の前方の検知範囲Sに存在する利用者Hの視線位置を検出する位置検出手段(センサ装置2及び位置検出装置4)と、位置検出手段が検出した利用者Hの視線位置に合わせて、大画面11上に小画面7を表示する画面処理装置6と、を有する。
Description
本発明は、画面を表示する技術に関し、特に、大型ディスプレイに小画面を表示する画面表示システム及び画面表示プログラムに好適に適用できる。
昨今、大型ディスプレイを街頭やイベント会場に設けて、大型ディスプレイに広告画像やプレゼンテーション画像を表示することがある。大型ディスプレイは同時に多数の聴衆に対して情報を表示することできる便利なツールであるが、個々の聴衆それぞれがインタラクティブに操作して、個々の操作に応じた情報を大型ディスプレイに表示できるとさらに便利である。
このようなインタラクティブ性を備える大型ディスプレイシステムとしては、例えば、タッチパネルを設置した大型ディスプレイにおいて、複数の利用者がタッチパネルを操作すると、複数の利用者ごとに大型ディスプレイ上に子ウィンドウを表示する技術が提案されている(例えば、特許文献1参照)。
しかしながら、タッチパネルを設置した大型ディスプレイにおいては、利用者は画面に触れて操作しなければならないので、その操作が煩わしいと感じる利用者も存在する。特に、子ウィンドウを表示させる際の操作はまだしも、表示させた子ウィンドウを消去する際の操作は煩わしく感じる。また、手が塞がっているような状況においては、操作ができないという問題もある。
一方、このような大型ディスプレイシステムを管理する側においても、子ウィンドウを表示させたままユーザが立ち去ってしまうことが想定されるので、子ウィンドウを消去するシステム保守要員を必要とするという問題もある。
本発明は、上記の事情を鑑みてなされたものであり、その課題の一例としては、大型ディスプレイ上に小画面を表示するに際して、ユーザが操作に煩わしさを感じることがないとともに、システム保守が容易な画面表示システム及び画面表示プログラムを提供することにある。
上記の課題を達成するため、請求項1に記載の発明は、第1の大きさの画像表示面を有する表示手段と、前記画像表示面の前方の所定領域に存在する利用者の視線位置を検出する位置検出手段と、前記位置検出手段が検出した前記利用者の視線位置に合わせて、前記画像表示面上に前記第1の大きさよりも小さな第2の大きさの小画面を表示する画面処理手段と、を有する画面表示システムである。
また、請求項14に記載の発明は、第1の大きさの画像表示面を有する表示手段に情報を表示するコンピュータが読み取り可能な画面表示プログラムであって、前記画像表示面の前方の所定領域に存在する利用者の視線位置を検出する位置検出ステップと、前記位置検出ステップで検出した前記利用者の視線位置に合わせて、前記画像表示面上に前記第1の大きさよりも小さな第2の大きさの小画面を表示する画面処理ステップと、を前記コンピュータに実行させる画面表示プログラムである。
1 表示装置
2 センサ装置
3 表示制御装置
4 位置検出装置
5 記憶装置
6 画面処理装置
7 小画面
10 位置検出部
20 記憶部
30 画面処理部
100 小画面表示システム
H 利用者
S 検知範囲
P10 範囲検出処理
P20 詳細位置検出処理
P30 画面表示処理
P40 画面消去処理
2 センサ装置
3 表示制御装置
4 位置検出装置
5 記憶装置
6 画面処理装置
7 小画面
10 位置検出部
20 記憶部
30 画面処理部
100 小画面表示システム
H 利用者
S 検知範囲
P10 範囲検出処理
P20 詳細位置検出処理
P30 画面表示処理
P40 画面消去処理
以下、本発明の実施の形態を図面を用いて説明する。
<構成>
図1は、本発明の実施の形態に係る大型ディスプレイを用いた小画面表示システム(以下、小画面表示システムと略す)100の概観構成を示す図である。小画面表示システム100は、例えば、100インチを超えるような大画面11を有する表示装置1と、大画面11前方の検知範囲Sにおける利用者Hを検出するセンサ装置2と、センサ装置2の利用者検出の態様に応じて、表示装置1の大画面11上に利用者Hごとの小画面7を生成して表示する表示制御装置3と、を備えて構成され、個々の利用者Hの目線に応じて最適な位置に最適な小画面7を表示するようになっている。なお、本実施の形態においては、図1に示すような座標軸、すなわち、矩形の大画面11の横方向をx軸、縦方向をz軸(大画面11はxz平面上にある)、大画面11に垂直な方向をy軸とした座標軸を用いて、以下、説明を行う。
図1は、本発明の実施の形態に係る大型ディスプレイを用いた小画面表示システム(以下、小画面表示システムと略す)100の概観構成を示す図である。小画面表示システム100は、例えば、100インチを超えるような大画面11を有する表示装置1と、大画面11前方の検知範囲Sにおける利用者Hを検出するセンサ装置2と、センサ装置2の利用者検出の態様に応じて、表示装置1の大画面11上に利用者Hごとの小画面7を生成して表示する表示制御装置3と、を備えて構成され、個々の利用者Hの目線に応じて最適な位置に最適な小画面7を表示するようになっている。なお、本実施の形態においては、図1に示すような座標軸、すなわち、矩形の大画面11の横方向をx軸、縦方向をz軸(大画面11はxz平面上にある)、大画面11に垂直な方向をy軸とした座標軸を用いて、以下、説明を行う。
また、表示制御装置3は、センサ装置2と接続され、利用者Hの位置を検出する位置検出装置4と、小画面7を表示するための各種情報を記憶する記憶装置5と、表示装置1と接続され、位置検出装置4による位置検出状況に応じて、大画面11上に小画面7を表示したり、大画面11上に表示された小画面7を消去したりする画面処理装置6と、を備えている。なお、表示制御装置3の形態は、物理的に一つからなる装置、または複数の装置がネットワーク接続されたシステム構成のいずれであってもよい。
図2は、図1に示した小画面表示システム100の機能構成図である。小画面表示システム100は、機能的には大別して、位置検出部10と、記憶部20と、画面処理部30と、を備える。
位置検出部10は、センサ装置2と、位置検出装置4と、から構成されている。センサ装置2は、検知範囲Sに利用者Hが存在すること、並びに存在する利用者Hの三次元位置を検出できる非接触型のセンサ装置であれば何であってもよい。本実施の形態では、図1及び図3に示すように、センサ装置2として、赤外線センサ8と、超音波センサ9を検知範囲Sの上方の天井に配設し、検知範囲Sに存在する利用者Hを監視可能としている。すなわち、赤外線センサ8及び超音波センサ9は、検知範囲Sの真上に碁盤目状に等間隔に配置され、赤外線及び超音波を下方に向かって照射することにより、検知範囲Sに存在する物体を検出するようになっている。本実施の形態では、赤外線センサ8は、検出した物体(利用者H)の二次元位置(xy座標)を検出し、超音波センサ9は、検出した物体(利用者H)の三次元位置(xyz座標)を検出するようになっている。なお、本実施の形態では、赤外線センサ8は、物体の大まかな位置を検出するのに用いているため、配置密度は超音波センサ9と比べて低くてもよい。
位置検出装置4は、センサ装置2が検出した情報を用いて、位置検出処理を行うようになっている。本実施の形態における位置検出処理は、範囲検出処理P10と、詳細位置検出処理P20に大別される。範囲検出処理P10は、赤外線センサ8を稼働させて、赤外線センサ8が取得した情報に基づいて、物体が存在する大まかな範囲を検出する処理である。一方、詳細位置検出処理P20は、範囲検出処理P10の結果を受けて、超音波センサ9を稼働させて、超音波センサ9が取得した情報に基づいて、範囲検出処理P10で検出された物体が人であるか否かを判断し、人である場合には、利用者Hの視線位置を算出する処理である。
記憶部20は、記憶装置5から構成され、小画面7を表示するための各種情報を記憶している。詳しくは、記憶部20は、検知範囲Sにおける各利用者Hの視線位置を管理している構造体配列A、表示されている各小画面7の表示位置及び当該小画面7を見ている利用者Hを管理している構造体配列B、新たに視聴を開始した人を管理する新規人ID、視聴を終了した人を管理する消去人IDなどの情報を記憶している。
構造体配列Aは、利用者Hに関する情報を管理しており、利用者Hを一意に識別可能な人ID(HIDと表記する)、当該利用者Hの視線位置(3次元座標で表し、EL(x,y,z)と表記する)、及び当該配列番号のデータが使われているか否かを示す人ID使用フラグ(HIDFと表記する)を構成要素とする構造体配列である。本実施の形態では、構造体配列Aの配列番号をHIDとして用いており、また、HIDFには、当該配列番号のデータが使用されているときは1、使用されていないときは0が設定されるようになっている。
構造体配列Bは、表示する小画面7に関する情報を管理しており、小画面7を一意に識別可能な小画面ID(DIDと表記する)、当該小画面7の表示位置(2次元座標で表し、DL(dx,dz)と表記する)、当該小画面7を見ている人の人ID(WIDと表記する)、当該配列番号のデータが使われているか否かを示す小画面ID使用フラグ(DIDFと表記する)、及び当該小画面7を表示開始した時刻(DTと表記する)を構成要素とする構造体配列である。本実施の形態では、構造体配列Bの配列番号をDIDとして用いており、また、DIDFには、当該配列番号のデータが使用されているときは1、使用されていないときは0が設定される。
新規人IDは、位置検出部10の処理において、新たに視聴を開始した利用者Hを検出したときに記録される情報であり、当該利用者Hの人ID(HID)が新規人ID(NewHIDと表記する)として設定される。
消去人IDは、位置検出部10の処理において、視聴を終了した利用者Hを検出したときに記録される情報であり、当該利用者Hの人ID(HID)が消去人ID(DelHIDと表記する)として設定される。
画面処理部30は、画面処理装置6と、表示装置1から構成されている。画面処理装置6は、位置検出部10における位置検出状況に応じて、表示装置1の大画面11に小画面7を表示する画面表示処理P30、及び表示装置1の大画面11に表示されていた小画面7を消去する画面消去処理P40を実行するようになっている。
画面表示処理P30は、位置検出部10の処理において、新たに視聴を開始した利用者Hを検出したときに、検出された利用者Hの視線位置に小画面7を表示する処理である。ただし、既に近傍に小画面7が表示されている場合や、ほぼ同時に複数人の利用者Hが現れた場合には、新しく小画面7を表示しない、または既に表示されている小画面7を複数人の利用者Hにとって好適な位置に再表示するようになっている。画面表示処理P30のこのような表示制御に関しては、詳しくは後述する。
画面消去処理P40は、位置検出部10の処理において、視聴を終了した利用者Hを検出したときに、当該利用者Hが見ていた小画面7を消去する処理である。ただし、当該利用者Hが見ていた小画面7を他の利用者Hも見ていた場合には、小画面7を消去せずに、他の利用者Hにとって好適な位置に小画面7を再表示するようになっている。画面消去処理P40のこのような表示制御に関しては、詳しくは後述する。
なお、小画面表示システム100は、具体的には、少なくとも演算・制御機能を備えた中央演算装置(CPU)、プログラムやデータを格納する記憶機能を備えたROM、RAM等からなる主記憶装置(メモリ)及びハードディスクなどの補助記憶装置から構成されている。このうち、位置検出部10及び画面処理部30は、小画面表示システム100における演算・制御機能、記憶部20は、小画面表示システム100における記憶機能を具体的に示したものに他ならない。
また、本実施の形態に係る各種処理(具体的には、範囲検出処理P10、詳細位置検出処理P20、画面表示処理P30、画面消去処理P40)を実行するプログラムは、上述した主記憶装置またはハードディスクに格納されているものであるが、当該プログラムを携行可能なフラッシュメモリ、CD−ROM、MO、DVD−ROMなどのAV機器やコンピュータが読み取り可能な記録媒体に記録することも、通信ネットワークを介して配信することも可能である。
<動作>
次に、図4〜図7を用いて、本発明の実施の形態に係る小画面表示システム100の動作について説明する。ここで、図4は、小画面表示システム100の位置検出部10における範囲検出処理P10の流れを示すフローチャートであり、図5は、小画面表示システム100の位置検出部10における詳細位置検出処理P20の流れを示すフローチャートである。また、図6は、小画面表示システム100の画面処理部30における画面表示処理P30の流れを示すフローチャートであり、図7は、小画面表示システム100の画面処理部30における画面消去処理P40の流れを示すフローチャートである。
次に、図4〜図7を用いて、本発明の実施の形態に係る小画面表示システム100の動作について説明する。ここで、図4は、小画面表示システム100の位置検出部10における範囲検出処理P10の流れを示すフローチャートであり、図5は、小画面表示システム100の位置検出部10における詳細位置検出処理P20の流れを示すフローチャートである。また、図6は、小画面表示システム100の画面処理部30における画面表示処理P30の流れを示すフローチャートであり、図7は、小画面表示システム100の画面処理部30における画面消去処理P40の流れを示すフローチャートである。
(範囲検出処理)
範囲検出処理P10は、上述したように、物体が存在する大まかな位置を検出する処理であり、位置検出部10において常時、稼働している。
範囲検出処理P10は、上述したように、物体が存在する大まかな位置を検出する処理であり、位置検出部10において常時、稼働している。
まず、位置検出装置4は、赤外線センサ8から周期dt1ごとに、検知範囲S全体の値を取得する(ステップS10)。
次いで、位置検出装置4は、取得した値から、大画面11を見ている物体がいるか否かを判定する(ステップS20)、具体的には、取得した赤外線センサ8の値から、温度T1(人間の体温に近い値が設定されている)以上の熱を有して、面積S1(人間が占める面積に近い値が設定されている)以上の物体が検出され、かつ、この物体がほとんど動かないか否か(具体的には、周期dt1ごとに検出される物体の位置の変化から判断する)を判定する。すなわち、本実施の形態では、温度T1以上の熱を有して、面積S1以上の物体が検出され、かつ、この物体がほとんど動かない場合は、物体は大画面11を見ていると判断する。
大画面11を見ている物体がいると判断した場合には(ステップS20:YES)、位置検出装置4は、物体が占める範囲a1の面積s1を計算し(ステップS30)、次いで、詳細位置検出処理P20を生成して、範囲a1及び面積s1を引数として渡し(ステップS40)、ステップS10に戻る。一方、大画面11を見ている物体がいないと判断した場合には(ステップS20:NO)、ステップS10に戻る。
なお、ステップS20において、同時に複数の大画面11を見ている物体を検出した場合には、それぞれの物体に合わせて、詳細位置検出処理P20を複数生成し、並列に動作させる。また、ステップS20において、大画面11を見ている物体を検出した場合の以降の範囲検出処理P10においては、当該物体の再度の検出を防止するため、赤外線センサ8を当該範囲a1においては稼働させないようにする。
(詳細検出処理)
詳細位置検出処理P20は、上述したように、範囲検出処理P10で検出された物体が人であるか否かを判断し、人である場合には、人の視線位置を算出する処理であり、範囲検出処理P10からの指示により起動する。
詳細位置検出処理P20は、上述したように、範囲検出処理P10で検出された物体が人であるか否かを判断し、人である場合には、人の視線位置を算出する処理であり、範囲検出処理P10からの指示により起動する。
まず、位置検出装置4は、範囲検出処理P10から範囲a1及び面積s1(ステップS40参照)を受け取ると、範囲a1において超音波センサ9を稼働させ(ステップS110)、超音波センサ9からの範囲a1における値を取得し、物体の三次元形状を検出する(ステップS120)。
次いで、位置検出装置4は、検出した物体の三次元形状と、予め登録されている人の形状パターンとのマッチングを行い、検出した物体の三次元形状が人の形状であるか否かを判定する(ステップS130)。この判定処理は、人間以外の物体(例えば、動物等)に対する誤作動をなくすための処理である。ここで、人の形状パターンとは、例えば、立っている状態、前かがみの状態、地面に座っている状態など想定される人の姿勢に関する複数のパターンを意味し、この人の姿勢に関する複数のパターンは、予め位置検出装置4に登録されている。このように、複数の人間の姿勢に関するパターンを保持しておくことにより、直立姿勢の人を検出するほか、腰の曲がった老人など様々な体型及び姿勢の人を検出することが可能となる。なお、除外パターン(例えば、犬や猫などの動物の姿勢パターン)を予め登録しておき、除外パターンに合致するか否かの判定機能も加え、除外パターンに合致する場合には、検出した物体の三次元形状が人の形状ではないと判断するようにしてもよい。この場合には、人間以外の物体に対する誤作動をさらに減少させることができる。
検出した物体の三次元形状から、物体が人であると判定したときは(ステップS130:YES)、位置検出装置4は、利用者Hのxy平面上における中心位置(x1,y1)と、利用者Hの高さz1を検出し(ステップS140)、次いで、利用者Hの高さz1から目の高さz2を算出する(ステップS150)。ここで、利用者Hの高さz1は、頭頂部の高さであるので、目の視線位置を算出するためは、z1を補正する必要がある。本実施の形態では、目の位置は頭の長さの略中央に位置すると考え、三次元形状から検出される人の頭頂部の高さと肩の高さの差から頭部の長さを算出し、それを2で割った値Z1を引くことにより、目の高さz2を算出するようにしている(例えば、頭部の長さを略20cmとすると、Z1は略10cmとなる)。なお、より精密に目の高さを算出する場合には、頭頂部の高さに合わせた補正値テーブルを作成しておき、当該補正値テーブルを用いて目の高さを算出するようにしてもよい。
次いで、位置検出装置4は、記憶装置5の構造体配列Aを参照して、使用していない配列番号(HIDF=0)のデータ、かつ最も小さい配列番号のデータを取得し(ステップS160)、当該データの視線位置EL(x,y,z)に算出した利用者Hの視線座標(x1,y1,z2)を設定し、HIDFに1を設定して更新する(ステップS170)。例えば、構造体配列Aの中で、配列番号N1のデータが使用されてなく、かつ使用されていないデータのうち配列番号N1が最も小さい場合には、構造体配列AのN1番目のデータの視線位置ELに(x1,y1,z2)を設定し、HIDFに1を設定して、データを更新する。
また、位置検出装置4は、記憶装置5の新規ID(NewHID)に当該利用者HのHID(配列番号)を設定し(ステップS170)、画面処理装置6に対して画面表示処理P30を生成するように命令する(ステップS180)。例えば、構造体配列AのN1番目のデータに対して視線位置ELを更新した場合には、NewHIDにはN1を設定して、記憶装置5に記録する。この結果、画面処理装置6は、後述する画面表示処理P30において、どの人に対して新たに小画面7を表示すればよいのかを把握することができる。なお、記憶装置5に新規人IDを記録する際には、初期化処理が行われるため、それまでに記録されていた新規人IDに対応する要素はクリアされることとなる。
次いで、位置検出装置4は、利用者Hの三次元形状に基づいて、利用者Hの占める体積v1をdt2の時間間隔ごとに計算する(ステップS190)。これは、利用者Hの位置を検出した後、当該利用者Hが大画面11(小画面7)前を離れるか否か(留まっているか)を監視するための処理である。
位置検出装置4は、計算した体積v1の変化から人が移動したか否かを判定する(ステップS200)。詳しくは、体積v1の変化が大きい、例えば、体積v1の減少率が予め定めた閾値より大きい場合には、人が視聴位置から離れたと判定し、そうでない場合には、人が視聴位置に留まって、小画面7を見ているものと判定する。
体積v1の変化から利用者Hが移動したと判定したときには(ステップS200:YES)、位置検出装置4は、利用者Hは小画面7を見ることを止めたと判断して、記憶装置5の消去人ID(DelHID)に当該利用者HのHIDを設定して、画面処理装置6に対して画面消去処理P40を生成するように命令して(ステップS210)、処理を終了する。例えば、この利用者HのHID(配列番号)がN1である場合には、DelHIDにはN1を設定して、記憶装置5に記録する。この結果、画面処理装置6は、後述する画面消去処理P40においては、どの小画面7を消去すればよいのかを把握することができる。なお、記憶装置5の消去人IDを記録する際には、初期化処理が行われるため、それまでに記録されていた消去人IDに対応する要素はクリアされることとなる。また、体積v1の変化から利用者Hが移動していないと判定したときには(ステップS200:NO)、ステップS190の処理を繰り返す。
これに対して、検出した物体の三次元形状から、物体が人でないと判定したとき(ステップS130:NO)、位置検出装置4は、範囲a1において稼働していた超音波センサ9を停止させる(ステップS220)。さらに、範囲a1に関しては、別の詳細位置検出処理P30からも超音波センサ9を稼働させないように、超音波センサ9をロックした状態とする。これは、人でない物体を何度も検出することを防止するためである。
次いで、位置検出装置4は、検出した物体が移動したか否かを判定する(ステップS230)。詳しくは、範囲a1のうち、温度T1以上の部分の面積s2が最初の面積s1と比べて大きな変化があった、例えば、面積s2が面積s1より著しく小さくなったときは、検出した物体が移動したものと判断する。
検出した物体が移動したときは(ステップS230:YES)、位置検出装置4は、ロックした状態の超音波センサ9を解除し、範囲a1における超音波センサ9の稼働を可能として(ステップS240)、処理を終了する。これは、当該地点に他の物体が来るかもしれないので、他の物体の検出を可能とするためである。一方、検出した物体が移動しなかったときは(ステップS230:NO)、ステップS230の処理を繰り返す。
(画面表示処理)
画面表示処理P30は、上述したように、位置検出部10で新たに検出された利用者Hの視線位置に小画面7を表示する処理であり、詳細位置検出処理P20からの指示により起動する。
画面表示処理P30は、上述したように、位置検出部10で新たに検出された利用者Hの視線位置に小画面7を表示する処理であり、詳細位置検出処理P20からの指示により起動する。
まず、画面処理装置6は、記憶装置5に記録された新規人ID(NewHID)を読み出し、読み出した新規人IDに従って、構造体配列Aから該当するデータの視線位置ELを取得する(ステップS310)。例えば、NewHIDがN1であり、構造体配列AのN1番目のデータの視線位置ELが(x3,y3,z3)であるとする。
次いで、画面処理装置6は、小画面7が表示されるべき位置(x3,z3)の近傍に別の小画面7があるか否かを判定する(ステップS320)。これは、(x3,z3)の近傍に小画面7が表示されている場合には、当該小画面7の近傍にさらに新たな小画面7を表示すると、却って邪魔になり適切でないので、小画面7を表示させないようにするため、当該判定を行うものである。詳しくは、位置(x3,z3)から予め定めた半径R1以内に別の小画面7が存在するか否かを、構造体配列Bの表示位置DLを参照して、判定する。
小画面7が表示されるべき位置(x3,z3)の近傍に別の小画面7がないときは(ステップS320:NO)、画面処理装置6は、小画面7が表示されるべき位置(x3,z3)に小画面7を表示する(ステップS350)。本実施の形態においては、画面処理装置6は、x軸方向に関してはx3を中心に、また、z軸方向に関してはz3を上限にして、約12インチ程度の小画面7を表示する。すなわち、利用者Hはやや見下げる姿勢で小画面7を見ることができる。
次いで、画面処理装置6は、記憶装置5の構造体配列Bを参照して、使用していない配列番号(DIDF=0)、かつ最も小さい配列番号のデータを取得し(ステップS360)、当該データの表示位置DLに小画面7が表示された位置(x3,z3)を設定し、WIDにNewHIDを設定し、DTに現在時刻を設定し、DIDFに1を設定して、データを更新し(ステップS370)、処理を終了する。例えば、構造体配列Bの中で、配列番号N2のデータが使用されてなく、かつ使用されていないデータのうち配列番号N2が最も小さい場合には、構造体配列BのN2番目のデータの表示位置DLに(x3,z3)を設定し、WIDにNewHIDを設定し、DTに現在時刻を設定し、DIDFに1を設定して、データを更新する。
一方、小画面7が表示されるべき位置(x3,z3)の近傍に別の小画面7があるときは(ステップS320:YES)、構造体配列Bを参照して、最も近い位置にある小画面7(以下、最近接小画面7という)の表示位置DL(dx,dz)を取得し(ステップS330)、最近接小画面7のz座標dzとz3を比較し、その差がZ2以上あるか否かを判定する(ステップS340)。例えば、最近接小画面7のDIDをN3とし、その表示位置DLを(dxN3,dzN3)とした場合には、z3とdzN3の差がZ2以上あるか否かを判定する。これは、xy位置が略同一または近くても、z位置があまりに離れている場合には(例えば、大人が見ている小画面7を子供が見ようとする場合など)、高さに応じて異なる小画面7を表示したほうがよいので、このような場合に該当するか否かを判定するものである。
z3とdzN3の差がZ2以上あるとき(ステップS340:YES)、すなわち、高さの差が予め定めた閾値Z2以上あるときは、画面処理装置6は、新たな小画面7を表示すべく、上述したステップS350〜S370の処理を実行する。この結果、新たに現れた利用者Hは、新たに表示された小画面7を見ることができる。
これに対して、z3とdzN3の差がZ2未満であるときは(ステップS340:NO)、最近接小画面7を表示してから一定時間TT1以上経過しているか否かを判定する(ステップS380)。これは、複数人の利用者Hが略同時に検知範囲Sに現れたときの小画面表示において、複数人のうち最初に検出された利用者Hの視線に合わせて小画面7が表示されることを防止するために当該判定を行うものである。本実施の形態では、TT1は数秒程度の値が設定されている。なお、最近接小画面7を表示してからの時間は、DTと現在時刻から算出される。
最近接小画面7を表示してから一定時間TT1以上経過しているときは(ステップS380:YES)、画面処理装置6は、最近接小画面7の位置補正を行わず、構造体配列Bから、最近接小画面7のDIDを有するデータを取得して、当該データのWIDにNewHIDを追加して、データを更新する(ステップS410)。例えば、最近接小画面7のDIDがN3の場合には、構造体配列BのN3番目のデータのWIDにNewHIDを追加して、データを更新する。
このように、最近接小画面7が表示されてから長い時間が経過した後、別の利用者Hが当該最近接小画面7の近傍に来た場合には、画面処理装置6は、先の利用者Hに対して表示していた最近接小画面7の位置を変更せずにそのままの位置で表示を継続する。
これに対して、最近接小画面7を表示してから一定時間TT1以上経過していないときは(ステップS380:NO)、画面処理装置6は、構造体配列Bから、最近接小画面7のDIDを有するデータを取得して、当該データのWIDから最近接小画面7を見ている人全員の人IDを参照し、参照した人IDに基づいて、構造体配列Aを参照して、最近接小画面7を見ている人全員の視線位置ELのx座標及びz座標の平均値を計算する(ステップS390)。ここで、最近接小画面7を見ている人全員の視線位置ELのx座標の平均をxav1、z座標の平均をzav1とする。
次いで、画面処理装置6は、(xav1,zav1)に小画面7を表示し、構造体配列Bから、最近接小画面7のDIDを有するデータを取得して、当該データの表示位置DLに(xav1,zav1)を設定し(ステップS400)、さらに、WIDにNewHIDを追加して、データを更新する(ステップS410)。例えば、最近接小画面7のDIDがN3の場合には、構造体配列BのN3番目のデータの表示位置DLに(xav1,zav1)を設定し、WIDにNewHIDを追加して、データを更新する。
このように、最近接小画面7が表示されてからあまり時間が経過していないときに、別の利用者Hが当該最近接小画面7の近傍に来た場合には(ほぼ同時に複数人の利用者Hが大画面11に近づいて来た場合)、画面処理装置6は、複数人の利用者Hの視線の平均位置を計算し、計算した平均位置に最近接小画面7を移動して表示する。
(画面消去処理)
画面消去処理P40は、上述したように、利用者Hが小画面7を見ることを止めたときに当該利用者Hが見ていた小画面7を消去する処理であり、詳細位置検出処理P20からの指示により起動する。
画面消去処理P40は、上述したように、利用者Hが小画面7を見ることを止めたときに当該利用者Hが見ていた小画面7を消去する処理であり、詳細位置検出処理P20からの指示により起動する。
まず、画面処理装置6は、記憶装置5に記録された消去人ID(DelHID)を読み出し、読み出した消去人IDに基づいて、構造体配列BのWIDを参照して、該当するデータを取得する(ステップS510)。例えば、DelHIDがN1であり、構造体配列Bの中で、WIDにN1が含まれているデータのDIDがN4であるとする。
次いで、画面処理装置6は、構造体配列BのN4番目のデータのWIDに含まれる要素、すなわち、WIDに含まれる人IDの数を数える(ステップS520)。ここでは、WIDに含まれる人IDがN5個あるものとする。
次いで、画面処理装置6は、上述したN5の値を用いて、DIDがN4の小画面7(以下、消去対象小画面7という)を見ている利用者Hが1人か否かを判定する(ステップS530)。
消去対象小画面7を見ている利用者Hが1人であるときは(ステップS530:YES)、画面処理装置6は、消去対象小画面7を消去するとともに、構造体配列BのN4番目のデータを初期化する(ステップS540)。ここで、構造体配列Bのデータの初期化とは、具体的には、該当データの表示位置、WID、DIDF、及びDTを初期化すること意味する。なお、DIDFには0が設定される。
次いで、画面処理装置6は、消去人IDをHIDとする構造体配列Aのデータを取得し、取得したデータを初期化して(ステップS590)、処理を終了する。ここで、構造体配列Aのデータの初期化とは、具体的には、該当データの視線位置EL、及びHIDFを初期化することを意味する。なお、HIDFには0が設定される。例えば、DelHIDがN1である場合には、構造体配列AのN1番目のデータを初期化する。
消去対象小画面7を見ている利用者Hが1人でないときは(ステップS530:NO)、 画面処理装置6は、消去対象小画面7を見ている利用者Hが3人以上であるか否かを判定する(ステップS550)。
消去対象小画面7を見ている利用者Hが3人以上でない、すなわち、利用者Hが2人のときは(ステップS550:NO)、その後消去対象小画面7を見続ける利用者H(残された利用者Hという)は1人なので、消去対象小画面7の表示位置を残された利用者Hの視線位置に合わせて移動し、構造体配列BのN4番目のデータの表示位置DLに残された利用者Hの視線位置を設定して、更新する(ステップS560)。例えば、構造体配列BのN4番目のデータのWIDから、残された利用者の人IDがN5の場合には、構造体配列AのHIDがN5のデータの視線位置ELを取得し、取得した視線位置ELのx座標及びz座標に消去対象小画面7を表示し、取得した視線位置ELのx座標及びz座標を構造体配列BのN4番目のデータの表示位置DLに設定する。なお、消去対象小画面7の表示位置DLを変更し、構造体配列Bを更新した後は、上述したステップS590に進み、画面処理装置6は、DelHIDをHIDとする構造体配列Aのデータを取得し、取得したデータを初期化して、処理を終了する。
一方、消去対象小画面7を見ている利用者Hが3人以上のときは(ステップS550:YES)、その後消去対象小画面7を見続ける利用者Hは2人以上いるので、残された利用者Hの視線位置の平均を算出する(ステップS570)。例えば、構造体配列BのN4番目のデータのWIDから、残された利用者の人IDがN5及びN6の場合には、構造体配列AのHIDがN5及びN6のデータの視線位置ELを取得し、取得した視線位置ELの平均を算出する。ここで、残された利用者Hの視線位置ELのx座標の平均をxav2、y座標の平均をyav2、z座標の平均をzav2とする。
次いで、画面処理装置6は、(xav2,zav2)に消去対象小画面7を表示し、構造体配列BのN4番目のデータの表示位置DLに(xav2,zav2)を設定し、データを更新する(ステップS580)。なお、消去対象小画面7の表示位置DLを変更し、構造体配列Bを更新した後は、上述したステップS590に進み、画面処理装置6は、DelHIDをHIDとする構造体配列Aのデータを取得し、取得したデータを初期化して、処理を終了する。
<小画面表示制御の具体例>
次に、上述した小画面表示システム100の小画面表示制御を利用者Hの行動と対比して具体的に説明する。
次に、上述した小画面表示システム100の小画面表示制御を利用者Hの行動と対比して具体的に説明する。
(別々の小画面7を見ていた2人の利用者Hが近づく場合)
図8を参照して、利用者HAが小画面7A、利用者HBが小画面7Bをそれぞれ見ている状態から、利用者HBが利用者HAに近づく場合について説明する。
図8を参照して、利用者HAが小画面7A、利用者HBが小画面7Bをそれぞれ見ている状態から、利用者HBが利用者HAに近づく場合について説明する。
まず、利用者HBが小画面7Bから離れると、小画面表示システム100は、利用者HBが見ていた小画面7Bを消去する(詳細位置検出処理のステップS200、S210、画面消去処理のステップS530(NO)、S540参照)。
次いで、利用者HBが利用者HAに近づいて、小画面7Aに近い場合には、小画面表示システム100は、新たな小画面7を表示しないとともに、小画面7Aの表示位置も変更しない(画面表示処理のステップS320(YES)、ステップS340(NO)、ステップS380(YES)、ステップS410参照)。従って、利用者HBは、表示位置の変わらない小画面7Aを見ることとなる。
一方、利用者HBが利用者HAに近づいたが、利用者HBと小画面7Aと遠い場合には、小画面表示システム100は、利用者HBの視線に合わせた新たな小画面7Bを表示する(画面表示処理のステップS320(NO)、S350参照)。この結果、利用者HBは新たな小画面7Bを見ることとなる。
(小画面7を見ていた利用者Hに別の利用者Hが近づく場合)
図9を参照して、利用者HAが小画面7Aを見ているときに、別の利用者HBが近づいて来る場合について説明する。
図9を参照して、利用者HAが小画面7Aを見ているときに、別の利用者HBが近づいて来る場合について説明する。
まず、利用者HBが利用者HAに近づいて、小画面7Aに近い場合には、小画面表示システム100は、新たな小画面7を表示しないとともに、小画面7Aの表示位置も変更しない(画面表示処理のステップS320(YES)、ステップS340(NO)、ステップS380(YES)、ステップS410参照)。従って、利用者HBは、表示位置の変わらない小画面7Aを見ることとなる。
一方、利用者HBが利用者HAに近づいて、小画面7Aに近いが、利用者HBの視線位置の高さが利用者HAの視線位置の高さと大きく離れている場合には、小画面表示システム100は、利用者HBの視線に合わせて新たな小画面7Bを表示する(画面表示処理のステップS320(YES)、ステップS340(YES)、ステップS350参照)。
また、利用者HBが利用者HAに近づいたが、小画面7Aと遠い場合には、小画面表示システム100は、利用者HBの視線に合わせた新たな小画面7Bを表示する(画面表示処理のステップS320(NO)、S350参照)。この結果、利用者HBは小画面7Bを見ることとなる。
(複数人の利用者Hが同時に小画面7を見に来た場合)
図10を参照して、利用者HAと利用者HBがほぼ同時に検知範囲Sに進入してきて、小画面7を見る場合について説明する。
図10を参照して、利用者HAと利用者HBがほぼ同時に検知範囲Sに進入してきて、小画面7を見る場合について説明する。
利用者HAと利用者HBの距離が近い場合には、小画面表示システム100は、二人の視線平均位置(視線位置のx座標及びz座標の平均)に小画面7Aを表示する(画面表示処理のステップS320(YES)、S340(NO)、S380(NO)、S390、S400参照)。したがって、利用者HA及び利用者HBは、二人の間の中間位置に表示された小画面7Aを見ることとなる。
一方、利用者HAと利用者HBの距離が遠い場合には、小画面表示システム100は、利用者HA及びHBの視線に合わせた新たな小画面7A及び7Bをそれぞれ表示する(画面表示処理のステップS320(NO)、S350参照)。この結果、利用者HAは小画面7A、利用者HBは小画面7Bをそれぞれ見ることとなる。
(複数人の利用者Hが1つの小画面7を見ている状態からいずれかの利用者Hが立ち去る場合)
図11を参照して、まず、利用者HA及び利用者HBが小画面7Aを見ている状態から、利用者HBが立ち去る場合について説明する。この場合には、利用者HAだけが小画面7Aを見ることになるので、小画面表示システム100は、利用者HAの視線位置に合わせて、小画面7Aを移動して表示する(画面消去処理のステップS530(NO)、S550(NO)、S560参照)。この結果、利用者HAは自分の視線位置に表示された小画面7Aを見ることとなる。
図11を参照して、まず、利用者HA及び利用者HBが小画面7Aを見ている状態から、利用者HBが立ち去る場合について説明する。この場合には、利用者HAだけが小画面7Aを見ることになるので、小画面表示システム100は、利用者HAの視線位置に合わせて、小画面7Aを移動して表示する(画面消去処理のステップS530(NO)、S550(NO)、S560参照)。この結果、利用者HAは自分の視線位置に表示された小画面7Aを見ることとなる。
次に、利用者HA、利用者HB及び利用者HCが小画面7Aを見ている状態から、利用者HCが立ち去る場合について説明する。この場合には、利用者HA及びHBが小画面7Aを見ることになるので、小画面表示システム100は、利用者HA及びHBの視線平均位置(x座標及びy座標の平均)に合わせて、小画面7Aを移動して表示する(画面消去処理のステップS530(NO)、S550(YES)、S570、S580参照)。この結果、利用者HA及び利用者HBは、二人の間の中間位置に表示された小画面7Aを見ることとなる。
以上、本実施の形態に係る小画面表示システム100によれば、大画面11を有する表示装置1と、大画面11の前方の検知範囲Sに存在する利用者Hの視線位置を検出する位置検出部10と、位置検出部10が検出した利用者Hの視線位置に合わせて、大画面11上に小画面7を表示する画面処理装置6と、を有するので、大型ディスプレイ上に小画面7を表示するに際して、利用者Hが操作に煩わしさを感じることがない。すなわち、本実施の形態に係る小画面表示システム100は、位置検出部10のセンサ装置2を非接触センサとするので、利用者Hが表示操作をすることなく、位置検出装置4が自動的に利用者Hの視線位置を検出して、画面処理装置6が利用者Hの視線位置に合わせて小画面を表示するので、利用者Hは表示操作に煩わしさを感じることがない。また、本実施の形態に係る小画面表示システム100は、利用者Hが消去操作をすることなく、位置検出装置4が自動的に利用者Hの移動を検出して、画面処理装置6が表示されていた小画面7を消去するので、利用者Hは消去操作に煩わしさを感じることがないとともに、小画面7を消去するためのシステム保守要員を必要としないので、システム保守を容易とすることができる。
また、本実施の形態に係る小画面表示システム100によれば、複数の利用者Hの集まり状況に応じて最適な位置に小画面7を表示する表示制御アルゴリズムを備えているので、複数の利用者Hが同時に大画面11の前に存在する場合でも、複数の利用者Hそれぞれにとって最適な位置に小画面7を表示することができる。例えば、複数の利用者Hが離れて存在する場合には、それぞれの利用者Hの視線位置に合わせて、好適な位置に小画面7をそれぞれ表示する。また、複数の利用者Hが近接して存在する場合には、それぞれの利用者Hの視線位置の平均位置に共通の小画面7を表示したり、最初に見ていた利用者Hの小画面7の表示位置に固定して表示したりするので、近接していてもそれぞれの利用者Hに邪魔にならずに小画面7を表示することができる。また、複数の利用者Hが近接していても、視線の高さ位置が大きく離れている場合には、利用者Hごとに小画面7を表示するので、背の高さを考慮した小画面表示をすることができる。さらには、複数の利用者Hが1つの小画面7を見ていたときに利用者のいずれかが立ち去るような場合においても、残された利用者Hの数に応じて、最適な視線位置に小画面7を移動して表示することができる。例えば、残された利用者Hが1人の場合には、残された利用者Hの視線位置に合わせて小画面7を表示し、また、残された利用者Hが2人以上の場合には、残された利用者Hそれぞれの視線位置の平均位置に小画面7を表示するので、残された利用者Hにとってより好適な位置に小画面7が表示されることとなる。
また、本実施の形態に係る小画面表示システム100によれば、人と判断した場合に利用者Hの視線位置を検出するので、不要な物体に対する誤作動を排除することができる。
なお、本実施の形態に係る小画面表示システム100においては、小画面7の大きさを12インチ程度としたが、小画面7の大きさはこれに限定されるものではない。また、本実施の形態に係る小画面表示システム100においては、小画面7の大きさを固定して表示したが、小画面7の大きさを可変させて表示するようにしてもよい。例えば、表示装置1の大画面11からの距離(y座標)に応じて、小画面7の大きさを変化させるようにしてもよい。この場合には、大画面11からの距離が離れるに従って、小画面7の大きさを大きくするように制御してもよい。また、1人の利用者Hが1つの小画面7を見ている場合だけに、このような小画面7の大きさを変化させる制御を適用してもよい。また、複数の利用者Hが1つの小画面7を見ている場合においても、複数の利用者Hのy座標の平均に基づいて、小画面7の大きさを決定するようにしてもよい。
また、本実施の形態に係る小画面表示システム100においては、利用者Hの位置を検出する装置としてセンサ装置2(赤外線センサ8、超音波センサ9)を用いたが、利用者Hの位置を検出する装置はこれに限定されるものではない。例えば、動画を撮影できるカメラを用いて、検知範囲Sの画像を撮影し、撮影した画像を処理して、検知範囲Sに存在する利用者Hを検出するようにしてもよい。また、利用者Hに自分の身長などの情報(高さ情報)が記憶された電子タグを装着してもらい、利用者Hが装着した電子タグと通信を行って、電子タグの位置情報(xy座標)を検出するとともに、高さ情報(z座標)を取得するようにしてもよい。特に屋外に表示装置1を設置するなどして天井にセンサ装置2を配設することができない場合には、上述したカメラや電子タグを用いた方法が有効である。
また、本実施の形態に係る小画面表示システム100は、種々の施設に適用が可能であるが、特に表示装置1を広告用ディスプレイとして使用する場合に好適である。例えば、街頭に設置された超大型ディスプレイに近づくと、利用者Hの存在位置を検出して、利用者Hの視線位置に広告画像を表示するようにしてもよい。この場合には、利用者Hが荷物等を持っていて両手が空いていなくても、超大型ディスプレイに近づくだけで自分に向けた広告が表示されるので、便利である。
また、超大型ディスプレイに表示される画像の大きさを距離に応じて変化させるようにしてもよい。例えば、超大型ディスプレイとの距離が遠い場合には、超大型ディスプレイの表示画面全体に広告画像を表示し、超大型ディスプレイとの距離が近い場合には、小画面7に同一の広告映像を表示するようにしてもよい。超大型ディスプレイの場合には、近づき過ぎると、何が映っているかよくわからないので、近づいても表示画像を把握できるようにするためである。
なお、本実施の形態に係る小画面表示システム100においては、利用者Hが移動すると小画面7を消去するように制御していたが、これに代えて、利用者Hの視線位置に追随して、小画面7を移動させて表示するようにしてもよい。この場合には、例えば、上述した表示装置1を広告用ディスプレイとして使用すると、利用者Hは歩きながらその横に広告画像を見ることが可能となる。
また、利用者Hの視線位置に追随して、小画面7を移動させて表示するような小画面表示システム100の場合には、アミューズメント施設に好適である。例えば、大画面11の前において複数人で遊ぶようなシューティングゲームの場合には、利用者Hの視線位置に追随して、ゲームに必要な情報を視線位置に表示することができる。また、水族館などにおいて水槽に透過型のディスプレイが貼られている場合には、利用者Hの移動に追随して、視線位置にガイド情報を表示するようにしてもよい。
以上、本発明の実施の形態について説明してきたが、本発明は、上述した実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲において、本発明の実施の形態に対して種々の変形や変更を施すことができ、そのような変形や変更を伴うものもまた、本発明の技術的範囲に含まれるものである。
【0002】
型ディスプレイ上に小画面を表示するに際して、ユーザが操作に煩わしさを感じることがないとともに、システム保守が容易な画面表示システム及び画面表示プログラムを提供することにある。
課題を解決するための手段
[0008]
上記の課題を達成するため、請求項1に記載の発明は、第1の大きさの画像表示面を有する表示手段と、前記画像表示面の前方の所定領域に存在する利用者の視線位置を検出する位置検出手段と、前記位置検出手段が検出した前記利用者の視線位置に合わせて、前記画像表示面上に前記第1の大きさよりも小さな第2の大きさの小画面を表示する画面処理手段とを有し、前記位置検出手段は、複数の人の体型及び姿勢に関する三次元形状パターンを備えており、検出した形状と、前記三次元形状パターンと比較することで検出した物体が人であるか否かを判定する第1の検出手段と、検出した物体が人である場合には、検出した利用者の頭部の三次元位置を検出する第2の検出手段と、前記検出した利用者の頭部の三次元位置から予め定められた方法により視線位置を算出する補正手段と、を備える画面表示システムである。
[0009]
また、請求項14に記載の発明は、第1の大きさの画像表示面を有する表示手段に情報を表示するコンピュータが読み取り可能な画面表示プログラムであって、前記画像表示面の前方の所定領域に存在する利用者の視線位置を検出する位置検出ステップと、前記位置検出ステップで検出した前記利用者の視線位置に合わせて、前記画像表示面上に前記第1の大きさよりも小さな第2の大きさの小画面を表示する画面処理ステップと、を前記コンピュータに実行させ、前記コンピュータは、複数の人の体型及び姿勢に関する三次元形状パターンを備えており、前記位置検出ステップは、検出した形状と、前記三次元形状パターンと比較することで検出した物体が人であるか否かを判定する第1の検出ステップと、検出した物体が人である場合には、検出した利用者の頭部の三次元位置を検出する第2の検出ステップと、前記検出した利用者の頭部の三次元位置から予め定められた方法により視線位置を算出する補正ステップと、を備える画面表示プログラムである。
図面の簡単な説明
[0010]
[図1]本発明の実施の形態に係る小画面表示システムの概観構成を示す図である。
[図2]本発明の実施の形態に係る小画面表示システムの機能構成図である。
[図3]本発明の実施の形態に係る小画面表示システムのセンサ装置の概観構成を示す図である。
[図4]本発明の実施の形態に係る小画面表示システムの範囲検出処理の流れを示すフローチャートである。
[図5]本発明の実施の形態に係る小画面表示システムの範囲検出処理の流れを示すフローチャートである。
[図6]本発明の実施の形態に係る小画面表示システムの画面表示処理の流れを示すフローチャートである。
[図7]本発明の実施の形態に係る小画面表示システムの画面消去処理の流れを示すフローチャートである。
型ディスプレイ上に小画面を表示するに際して、ユーザが操作に煩わしさを感じることがないとともに、システム保守が容易な画面表示システム及び画面表示プログラムを提供することにある。
課題を解決するための手段
[0008]
上記の課題を達成するため、請求項1に記載の発明は、第1の大きさの画像表示面を有する表示手段と、前記画像表示面の前方の所定領域に存在する利用者の視線位置を検出する位置検出手段と、前記位置検出手段が検出した前記利用者の視線位置に合わせて、前記画像表示面上に前記第1の大きさよりも小さな第2の大きさの小画面を表示する画面処理手段とを有し、前記位置検出手段は、複数の人の体型及び姿勢に関する三次元形状パターンを備えており、検出した形状と、前記三次元形状パターンと比較することで検出した物体が人であるか否かを判定する第1の検出手段と、検出した物体が人である場合には、検出した利用者の頭部の三次元位置を検出する第2の検出手段と、前記検出した利用者の頭部の三次元位置から予め定められた方法により視線位置を算出する補正手段と、を備える画面表示システムである。
[0009]
また、請求項14に記載の発明は、第1の大きさの画像表示面を有する表示手段に情報を表示するコンピュータが読み取り可能な画面表示プログラムであって、前記画像表示面の前方の所定領域に存在する利用者の視線位置を検出する位置検出ステップと、前記位置検出ステップで検出した前記利用者の視線位置に合わせて、前記画像表示面上に前記第1の大きさよりも小さな第2の大きさの小画面を表示する画面処理ステップと、を前記コンピュータに実行させ、前記コンピュータは、複数の人の体型及び姿勢に関する三次元形状パターンを備えており、前記位置検出ステップは、検出した形状と、前記三次元形状パターンと比較することで検出した物体が人であるか否かを判定する第1の検出ステップと、検出した物体が人である場合には、検出した利用者の頭部の三次元位置を検出する第2の検出ステップと、前記検出した利用者の頭部の三次元位置から予め定められた方法により視線位置を算出する補正ステップと、を備える画面表示プログラムである。
図面の簡単な説明
[0010]
[図1]本発明の実施の形態に係る小画面表示システムの概観構成を示す図である。
[図2]本発明の実施の形態に係る小画面表示システムの機能構成図である。
[図3]本発明の実施の形態に係る小画面表示システムのセンサ装置の概観構成を示す図である。
[図4]本発明の実施の形態に係る小画面表示システムの範囲検出処理の流れを示すフローチャートである。
[図5]本発明の実施の形態に係る小画面表示システムの範囲検出処理の流れを示すフローチャートである。
[図6]本発明の実施の形態に係る小画面表示システムの画面表示処理の流れを示すフローチャートである。
[図7]本発明の実施の形態に係る小画面表示システムの画面消去処理の流れを示すフローチャートである。
また、請求項13に記載の発明は、第1の大きさの画像表示面を有する表示手段に情報を表示するコンピュータが読み取り可能な画面表示プログラムであって、前記画像表示面の前方の所定領域に存在する利用者の視線位置を検出する位置検出ステップと、前記位置検出ステップで検出した前記利用者の視線位置に合わせて、前記画像表示面上に前記第1の大きさよりも小さな第2の大きさの小画面を表示する画面処理ステップと、を前記コンピュータに実行させ、前記コンピュータは、複数の人の体型及び姿勢に関する三次元形状パターンを備えており、前記位置検出ステップは、検出した形状と、前記三次元形状パターンと比較することで検出した物体が人であるか否かを判定する第1の検出ステップと、検出した物体が人である場合には、検出した利用者の頭部の三次元位置を検出する第2の検出ステップと、前記検出した利用者の頭部の三次元位置から予め定められた方法により視線位置を算出する補正ステップと、を備える画面表示プログラムである。
Claims (15)
- 第1の大きさの画像表示面を有する表示手段と、
前記画像表示面の前方の所定領域に存在する利用者の視線位置を検出する位置検出手段と、
前記位置検出手段が検出した前記利用者の視線位置に合わせて、前記画像表示面上に前記第1の大きさよりも小さな第2の大きさの小画面を表示する画面処理手段と、
を有することを特徴とする画面表示システム。 - 前記画面処理手段は、
前記位置検出手段が検出した前記利用者が移動したと判断した場合には、前記利用者の視線に合わせて表示した小画面を消去することを特徴とする請求項1記載の画面表示システム。 - 前記位置検出手段は、
前記画像表示面の前方の所定領域に存在する複数の利用者それぞれの視線位置を検出し、
前記画面処理手段は、
前記位置検出手段が検出した前記複数の利用者それぞれの視線位置に合わせて、前記第2の大きさの小画面をそれぞれ表示することを特徴とする請求項1記載の画面表示システム。 - 前記画面処理手段は、
前記位置検出手段が検出した複数の利用者それぞれの視線位置が予め定めた範囲内にある場合には、前記複数の利用者の視線位置に基づいて、前記第2の大きさの共通小画面を1つ表示することを特徴とする請求項3記載の画面表示システム。 - 前記画面処理手段は、
前記共通小画面を前記複数の利用者それぞれの視線位置を平均した位置に表示することを特徴とする請求項4記載の画面表示システム。 - 前記画面処理手段は、
前記複数の利用者のうち、前記位置検出手段が検出した最初の利用者の視線位置に合わせて、前記共通小画面を表示することを特徴とする請求項4記載の画面表示システム。 - 前記画面処理手段は、
前記位置検出手段が前記複数の利用者のうち、いずれかの利用者の移動を判断した場合には、残された利用者の視線位置に基づいて、前記共通小画面を移動して表示することを特徴とする請求項4乃至6のいずれか1項に記載の画面表示システム。 - 前記画面処理手段は、
前記残された利用者が2人以上の場合には、前記共通小画面を前記残された利用者の視線位置を平均した位置に表示することを特徴とする請求項7記載の画面表示システム。 - 前記画面処理手段は、
前記残された利用者が1人の場合には、前記共通小画面を前記残された利用者の視線位置に合わせて表示することを特徴とする請求項7記載の画面表示システム。 - 前記画面処理手段は、
前記位置検出手段が検出した複数の利用者それぞれの視線位置が予め定めた範囲内にあって、複数の利用者それぞれの視線位置の高さの差異が予め定めた閾値以上の場合には、前記複数の利用者それぞれの視線位置に合わせて、前記第2の大きさの小画面をそれぞれ表示することを特徴とする請求項4記載の画面表示システム。 - 前記位置検出手段は、
複数の人の体型及び姿勢に関する三次元形状パターンを備えており、
検出した形状と、前記三次元形状パターンと比較することで検出した物体が人であるか否かを判定する第1の検出手段と、
検出した物体が人である場合には、検出した利用者の頭頂の3次元位置を検出する第2の検出手段と、
前記検出した利用者の頭頂の3次元位置から予め定められた方法により視線位置を算出する補正手段と、
を備えることを特徴とする請求項1乃至10のいずれか1項に記載の画面表示システム。 - 前記画面処理手段は、
前記位置検出手段が検出した前記利用者の視線位置の前記画像表示面からの距離に基づいて、前記第2の大きさを変化させることを特徴とする請求項1乃至11のいずれか1項に記載の画面表示システム。 - 前記画面処理手段は、
前記位置検出手段が検出した前記利用者の視線位置の移動に追随して、前記第2の大きさの小画面を表示することを特徴とする請求項1記載の画面表示システム。 - 第1の大きさの画像表示面を有する表示手段に情報を表示するコンピュータが読み取り可能な画面表示プログラムであって、
前記画像表示面の前方の所定領域に存在する利用者の視線位置を検出する位置検出ステップと、
前記位置検出ステップで検出した前記利用者の視線位置に合わせて、前記画像表示面上に前記第1の大きさよりも小さな第2の大きさの小画面を表示する画面処理ステップと、
を前記コンピュータに実行させることを特徴とする画面表示プログラム。 - 前記画面処理ステップは、
前記位置検出ステップで検出した前記利用者が移動したと判断した場合には、前記第2の大きさの小画面を消去することを特徴とする請求項13記載の画面表示プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2008/057071 WO2009125481A1 (ja) | 2008-04-10 | 2008-04-10 | 画面表示システム及び画面表示プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2009125481A1 true JPWO2009125481A1 (ja) | 2011-07-28 |
JP5058335B2 JP5058335B2 (ja) | 2012-10-24 |
Family
ID=41161624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010507089A Expired - Fee Related JP5058335B2 (ja) | 2008-04-10 | 2008-04-10 | 画面表示システム及び画面表示プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20110032274A1 (ja) |
JP (1) | JP5058335B2 (ja) |
WO (1) | WO2009125481A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017228848A (ja) * | 2016-06-20 | 2017-12-28 | パナソニックIpマネジメント株式会社 | 映像表示システム |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010137009A (ja) * | 2008-12-15 | 2010-06-24 | Nintendo Co Ltd | キャリブレーションプログラム及び座標検出装置 |
JP5310456B2 (ja) * | 2009-10-05 | 2013-10-09 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理システム |
KR20110069563A (ko) * | 2009-12-17 | 2011-06-23 | 엘지전자 주식회사 | 영상표시장치 및 그 동작 방법 |
US20110211738A1 (en) * | 2009-12-23 | 2011-09-01 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual |
US9875719B2 (en) | 2009-12-23 | 2018-01-23 | Gearbox, Llc | Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual |
JP5643543B2 (ja) * | 2010-05-20 | 2014-12-17 | キヤノン株式会社 | 情報提示システム及びその制御方法、プログラム |
JP5606281B2 (ja) * | 2010-11-08 | 2014-10-15 | シャープ株式会社 | 表示装置 |
US8990682B1 (en) * | 2011-10-05 | 2015-03-24 | Google Inc. | Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display |
JP2013152711A (ja) * | 2011-12-28 | 2013-08-08 | Nikon Corp | 投影装置及び表示装置 |
JP6116273B2 (ja) * | 2013-02-13 | 2017-04-19 | 三菱電機株式会社 | 広告提示装置 |
JP6421754B2 (ja) | 2013-09-02 | 2018-11-14 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2015056141A (ja) * | 2013-09-13 | 2015-03-23 | ソニー株式会社 | 情報処理装置、および情報処理方法 |
WO2015049931A1 (ja) * | 2013-10-04 | 2015-04-09 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2015127897A (ja) * | 2013-12-27 | 2015-07-09 | ソニー株式会社 | 表示制御装置、表示制御システム、表示制御方法、およびプログラム |
CN106464959B (zh) | 2014-06-10 | 2019-07-26 | 株式会社索思未来 | 半导体集成电路和具备该半导体集成电路的显示装置及控制方法 |
JP6398938B2 (ja) * | 2015-09-30 | 2018-10-03 | ブラザー工業株式会社 | 投影制御装置、及びプログラム |
CN106970697B (zh) * | 2016-01-13 | 2020-09-08 | 华为技术有限公司 | 界面交互装置及方法 |
JP2019514136A (ja) * | 2016-06-16 | 2019-05-30 | シェンジェン ロイオル テクノロジーズ カンパニー リミテッドShenzhen Royole Technologies Co., Ltd. | マルチユーザ対話方法、装置及びシャペロンロボット |
CN107493495B (zh) * | 2017-08-14 | 2019-12-13 | 深圳市国华识别科技开发有限公司 | 交互位置确定方法、系统、存储介质和智能终端 |
US10155166B1 (en) * | 2017-09-08 | 2018-12-18 | Sony Interactive Entertainment Inc. | Spatially and user aware second screen projection from a companion robot or device |
US10623815B2 (en) * | 2017-10-02 | 2020-04-14 | International Business Machines Corporation | Masking screen responsive to viewpoint |
JP2019177973A (ja) * | 2018-03-30 | 2019-10-17 | 三菱電機株式会社 | 入力装置及び入力方法 |
WO2021214981A1 (ja) | 2020-04-24 | 2021-10-28 | シャープNecディスプレイソリューションズ株式会社 | コンテンツ表示装置、コンテンツ表示方法およびプログラム |
JP7504723B2 (ja) * | 2020-08-25 | 2024-06-24 | 株式会社ワコム | 入力システム及び入力方法 |
GB2607569A (en) * | 2021-05-21 | 2022-12-14 | Everseen Ltd | A user interface system and method |
TWI823469B (zh) * | 2022-07-11 | 2023-11-21 | 矽統科技股份有限公司 | 電子系統振動回饋方法以及振動回饋電子系統 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08278758A (ja) * | 1995-04-10 | 1996-10-22 | Fujitsu General Ltd | 画像表示装置 |
US6353764B1 (en) * | 1997-11-27 | 2002-03-05 | Matsushita Electric Industrial Co., Ltd. | Control method |
JPH11327753A (ja) * | 1997-11-27 | 1999-11-30 | Matsushita Electric Ind Co Ltd | 制御方法及びプログラム記録媒体 |
JP2001319217A (ja) * | 2000-05-09 | 2001-11-16 | Fuji Photo Film Co Ltd | 画像表示方法 |
US20020046100A1 (en) * | 2000-04-18 | 2002-04-18 | Naoto Kinjo | Image display method |
AU2003208096A1 (en) * | 2002-02-04 | 2003-09-02 | Matsushita Electric Industrial Co., Ltd. | Advertisement program providing system |
US20030161505A1 (en) * | 2002-02-12 | 2003-08-28 | Lawrence Schrank | System and method for biometric data capture and comparison |
JP2003330697A (ja) * | 2002-05-14 | 2003-11-21 | Takenaka Komuten Co Ltd | 情報表示装置 |
JP4644870B2 (ja) * | 2006-03-30 | 2011-03-09 | 株式会社国際電気通信基礎技術研究所 | コンテンツ提示装置 |
US8115877B2 (en) * | 2008-01-04 | 2012-02-14 | International Business Machines Corporation | System and method of adjusting viewing angle for display based on viewer positions and lighting conditions |
-
2008
- 2008-04-10 JP JP2010507089A patent/JP5058335B2/ja not_active Expired - Fee Related
- 2008-04-10 US US12/937,437 patent/US20110032274A1/en not_active Abandoned
- 2008-04-10 WO PCT/JP2008/057071 patent/WO2009125481A1/ja active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017228848A (ja) * | 2016-06-20 | 2017-12-28 | パナソニックIpマネジメント株式会社 | 映像表示システム |
Also Published As
Publication number | Publication date |
---|---|
JP5058335B2 (ja) | 2012-10-24 |
US20110032274A1 (en) | 2011-02-10 |
WO2009125481A1 (ja) | 2009-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5058335B2 (ja) | 画面表示システム及び画面表示プログラム | |
JP7389855B2 (ja) | 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム | |
KR102553190B1 (ko) | 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어 | |
CN106170083B (zh) | 用于头戴式显示器设备的图像处理 | |
JP7423683B2 (ja) | 画像表示システム | |
CN107015638B (zh) | 用于向头戴式显示器用户报警的方法和装置 | |
KR20230048554A (ko) | 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들 | |
US20070002037A1 (en) | Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program | |
US9843772B2 (en) | Method for providing telepresence using avatars, and system and computer-readable recording medium using the same | |
US20120169583A1 (en) | Scene profiles for non-tactile user interfaces | |
JP6340464B1 (ja) | プログラム、情報処理方法、情報処理システム、頭部装着型表示装置、情報処理装置 | |
KR101892735B1 (ko) | 직관적인 상호작용 장치 및 방법 | |
JP6915829B2 (ja) | 親近アンビエントエージェントシステムおよびプログラム | |
US20210014468A1 (en) | Information processing apparatus, information processing method, and recording medium | |
KR101993836B1 (ko) | 게임 제어장치 및 이를 포함하는 가상현실 게임 시스템 | |
CN103513768A (zh) | 一种基于移动终端姿态变化的控制方法及装置、移动终端 | |
JP6947661B2 (ja) | ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法 | |
CN109782968A (zh) | 一种界面调整方法及终端设备 | |
JP2010273276A (ja) | テレビ制御装置 | |
CN111515946B (zh) | 一种人体辅助机器人的控制方法及装置 | |
JP2020192171A (ja) | 掃除支援装置、掃除支援システム、電気掃除機、及び掃除支援方法 | |
TWI628466B (zh) | 佩戴顯示裝置 | |
JP2022000697A (ja) | 表示装置、表示装置の制御方法 | |
CN112365605A (zh) | 场地进入对象的提示方法和系统及其vr眼镜 | |
US20230345084A1 (en) | System, method, and program for distributing video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120724 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120731 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |