JP6428020B2 - Ｇｕｉ装置 - Google Patents

Description

本発明はＧＵＩ（Graphical User Interface）装置に関する。

近年、電子機器のＧＵＩには、タッチパネルディスプレイが幅広く用いられるようになっている。また、特許文献１に記載されているように空中にＧＵＩ画像を表示する技術や、特許文献２に記載されているように空中に設定された仮想的な操作面に対する操作を検出する技術も開発されている。

特開２０１０−７８６２３号公報 特開２０１３ー１７１５２９号公報

空中にＧＵＩ画像を表示する従来のＧＵＩ装置の使い勝手は良いとは言えないものであった。

本発明は、ユーザーがより便利に使うことができる空中にＧＵＩ画像を表示するＧＵＩ装置を提供することを目的の１つとする。

（１）上記目的を達成するためのＧＵＩ装置は、所定の視線方向に重なる複数の空中画面に画像を投写する投写部と、空中における指示部の位置を検出する検出部と、検出される前記指示部の前記視線方向の動きに応じて前記複数の空中画面のいずれかを操作対象として選択する選択部と、を備える。

本発明によると、ユーザーは、視線方向における指等の指示部の動きで所望の空中画面を選択できる。例えば視線方向に指を動かすことにより、現在選択されている空中画面よりも手前または奥の空中画面を選択することができる。ここで空中画面とは、投写部が画像を投写する空中の平面または曲面の領域である。またユーザーの視線方向は、ＧＵＩ装置の形態に応じて予め想定される方向である。また空中画面を操作対象として選択することには、当該空中画面に投写された画像、当該画像に含まれるオブジェクト、当該オブジェクトに対応付けられた処理を選択することが含まれる。

（２、３）上記目的を達成するためのＧＵＩ装置において、前記投写部は、前記操作対象として選択された前記空中画面に投写する前記画像を強調してもよい。具体的には、前記投写部は、透過率、シャープネス、明度、彩度の少なくともいずれかを調整することにより、前記操作対象として選択された前記空中画面に投写する前記画像を強調してもよい。
この構成を採用することにより、いずれの空中画面が選択されているかを認識することが容易になる。

（４）上記目的を達成するためのＧＵＩ装置において、前記選択部は、前記視線方向における前記指示部の位置が前記複数の空中画面のいずれかの前記視線方向における位置を基準とする所定の範囲内にある場合に当該空中画面を操作対象として選択し、前記所定の範囲は、前記複数の空中画面の前記視線方向における間隔よりも狭くてもよい。
この構成を採用することにより、空中画面の選択が容易になる。

本発明の一実施形態を示すブロック図。 本発明の一実施形態を示す画面構成図。 本発明の一実施形態を示すフローチャート。

以下、本発明の実施の形態を添付図面を参照しながら説明する。尚、各図において対応する構成要素には同一の符号が付され、重複する説明は省略される。
１．概要
図１に本発明の一実施形態としてのＧＵＩ装置１を示す。ＧＵＩ装置１は、プリンター、スキャナー、固定電話機等の設置型の装置でも、スマートフォン、タブレットＰＣ（Personal Computer）、腕時計型ＰＣ、眼鏡型ＰＣ等の携帯型の装置でも良い。ＧＵＩ装置１は、ユーザーの視線方向に少なくとも一部が互いに重なる複数の空中画面Ｐ１、Ｐ２、Ｐ３にアイコンを含む画像を投写する。ユーザーは指Ｕの先端を空中画面Ｐ１、Ｐ２、Ｐ３に投写されたアイコンの領域に動かすことにより、アイコンに対応する処理を起動することができる。空中画面Ｐ１、Ｐ２、Ｐ３が視線方向に重なっていても、ＧＵＩ装置１は、視線方向における指Ｕの位置を検出するため、いずれの空中画面に属するアイコンが選択されたかを特定することができる。また、ユーザーは空中画面のうちアイコンが表示されていない領域で指Ｕの先端を動かすことで別の空中画面に切り替えることができる。このような機能を実現するため、ＧＵＩ装置１は、第一投写部１１、第二投写部１２、第三投写部１３、位置センサー２０および制御部３０を備えている。

２．構成
第一投写部１１、第二投写部１２および第三投写部１３は、空中画面Ｐ１、Ｐ２、Ｐ３に画像を投写する装置である。空中画面Ｐ１、Ｐ２、Ｐ３は、第一投写部１１、第二投写部１２および第三投写部１３が画像を投写する空中の平面領域である。空中画面Ｐ１、Ｐ２、Ｐ３のそれぞれは平面でも曲面でもよい。空中に画像を表示する原理と装置の構成は、特開２００３−２３３３３９号公報、特開２００７−２０６５８８号公報等に開示されているように公知であるため、説明を省略する。

位置センサー２０は、空中画面Ｐ１、Ｐ２、Ｐ３を含む３次元領域において指Ｕの先端位置を検出する装置である。３次元領域において予め決められた特徴を有する物体の位置を検出する原理と装置の構成は周知であるため説明を省略する。

制御部３０は、第一投写部１１、第二投写部１２、第三投写部１３および位置センサー２０に接続されたコンピューターであって、図示しないプロセッサ、メモリ、入出力機構を備える。制御部３０のメモリには、位置センサー２０、第一投写部１１、第二投写部１２、および第三投写部１３を制御するためのＧＵＩ制御プログラムが記憶されている。

３．作動
次に図２および図３に基づいてＧＵＩ装置１の作動を説明する。図２は、視線方向に見た空中画面Ｐ１、Ｐ２、Ｐ３を表している。

第一投写部１１、第二投写部１２、第三投写部１３は、図２に示すように空中画面Ｐ１、Ｐ２、Ｐ３に同時に画像を表示することが可能である。図２には、第一投写部１１が空中画面Ｐ１にアイコンＰ１１、Ｐ１２、Ｐ１３、Ｐ１４を含む画像を投写し、第二投写部１２が空中画面Ｐ２にアイコンＰ２１、Ｐ２２、Ｐ２３、Ｐ２４を含む画像を投写し、第三投写部１３が空中画面Ｐ３にアイコンＰ３１、Ｐ３２、Ｐ３３、Ｐ３４を含む画像を投写している状態を示している。それぞれのアイコンが結像する領域には、予め決められた処理が対応付けられている。

空中画面Ｐ１、Ｐ２、Ｐ３は、ユーザーの視線方向において重なるように設定される。ユーザーの視線方向は、ＧＵＩ装置１の形態に応じて予め想定される方向である。例えばプリンターであれば、印刷された用紙の排出口に対して正対して立つユーザーの目の位置を基準に視線方向を想定することができる。また眼鏡型ＰＣであれば、眼鏡型ＰＣを装着したユーザーの顔の正面方向を視線方向として想定できる。空中画面Ｐ１、Ｐ２、Ｐ３は、ユーザーの視線方向において互いに一部が重なるように設定しても良いし、互いに完全に重なるように設定しても良い。また合同の領域に空中画面Ｐ１、Ｐ２、Ｐ３を設定しても良いし、相似の領域に空中画面Ｐ１、Ｐ２、Ｐ３を設定しても良いし、相似でない領域に空中画面Ｐ１、Ｐ２、Ｐ３を設定しても良い。図２には、ユーザーの視線方向において一部が重なる合同の領域に空中画面Ｐ１、Ｐ２、Ｐ３を設定した場合に、ユーザーに観察される投写画像を表している。図２において空中画面Ｐ１、Ｐ２、Ｐ３の大きさが異なるのは、空中画面Ｐ１、Ｐ２、Ｐ３が合同であっても、ユーザーから見て手前の空中画面ほど大きく見えるからである。

空中画面Ｐ１、Ｐ２、Ｐ３は、その垂線方向に距離をおいて設定される。空中画面Ｐ１、Ｐ２、Ｐ３を等間隔に設定しても、不等間隔に設定しても良いし、互いに平行に設定しても良いし、互いに非平行に設定しても良い。本実施形態では、図１に示すように空中画面Ｐ１、Ｐ２、Ｐ３の領域を距離２ｄの等間隔で平行に設定するとする。

ユーザーの視線方向に重なる空中画面Ｐ１、Ｐ２、Ｐ３の視認性を高めるため、第一投写部１１、第二投写部１２、第三投写部１３は、選択された空中画面に投写する画像を強調する。例えば第一投写部１１、第二投写部１２、第三投写部１３は、選択されている空中画面に投写する画像の透過率を相対的に下げ、選択されていない空中画面に投写する画像の透過率を相対的に上げることにより、選択されている空中画面の画像を他の空中画面よりも見やすくする。また例えば第一投写部１１、第二投写部１２、第三投写部１３は、選択されている空中画面に投写する画像のシャープネス、明度、彩度を相対的に上げ、選択されていない空中画面に投写する画像のシャープネス、明度、彩度を相対的に下げることにより、選択されている空中画面の画像を他の空中画面よりも見やすくする。第一投写部１１、第二投写部１２、第三投写部１３は、選択されている空中画面に投写する画像を強調するために透過率、シャープネス、明度、彩度のいずれか１つを調整しても良いし、いずれか２つ以上を調整しても良いし、すべてを調整してもよい。

図３は、ＧＵＩ装置１の操作入力処理を示すフローチャートである。図３に示す操作入力処理は、ＧＵＩ装置１の起動後から、指Ｕの動きを例えば１ｍｍ以下の精度で追跡できる程度の短い時間間隔で繰り返し実行される。

まず制御部３０は位置センサー２０から指Ｕの先端位置を取得する（Ｓ１）。
次に制御部３０は、指Ｕの先端が空中画面の選択領域にあるか否かを判定する（Ｓ２）。空中画面の選択領域は、各空中画面の領域にその周辺領域を加えて設定すればよい。本実施形態では、間隔２ｄで設定される空中画面Ｐ１、Ｐ２、Ｐ３のそれぞれについて、画面の垂直方向に画面から距離ｄ未満であり、画面に対して平行な方向において画面の表示領域と一致する領域を選択領域とする。各空中画面を中央（基準）とする奥行き２ｄの領域が選択領域になるため、例えば指Ｕの先端が図１に示す位置にある場合、制御部３０は指Ｕの先端が空中画面Ｐ２の選択領域にあると判定する。

指Ｕの先端が空中画面の選択領域にない場合、制御部３０は図３に示す操作入力処理を終了する。指Ｕの先端が空中画面Ｐ１、Ｐ２、Ｐ３のいずれかの選択領域にある場合、制御部３０は、当該空中画面を操作対象として選択する（Ｓ３）。例えば指Ｕの先端が図１に示す位置にある場合、空中画面Ｐ２が操作対象として選択される。

空中画面のいずれかを操作対象として選択すると、第一投写部１１、第二投写部１２、第三投写部１３は、操作対象として選択された空中画面に投写する画像を強調する（Ｓ４）。具体的には、第一投写部１１、第二投写部１２、第三投写部１３に投写対象として出力する画像の透過率、シャープネス、明度、彩度を制御部３０が調整することにより、操作対象として選択された空中画面に投写される画像が強調される。

次に制御部３０は、指Ｕの先端が選択された空中画面に投写されているいずれかのアイコンの選択領域にあるか否かを判定する（Ｓ５）。アイコンの選択領域は、各アイコンの表示領域にその周辺領域を加えて設定すればよい。アイコンの選択領域は、画面の垂直方向において空中画面の選択領域以下の広さであり、画面に対して平行な方向においてアイコンの表示領域と一致するように設定される。アイコンの選択領域を、視線方向において空中画面の選択領域よりも狭く設定すると、指Ｕの先端を視線方向に動かして空中画面を選択した後に、指Ｕの先端を視線方向にさらに動かさなければアイコンが選択されないことになるため、ユーザーは空中画面の選択操作とアイコンの選択操作とを区別して行いやすくなる。

指Ｕの先端が選択された空中画面に投写されているいずれかのアイコンの選択領域にある場合、制御部３０は当該アイコンに対応する処理を起動し（Ｓ６）、操作入力処理を終了する。指Ｕの先端が選択された空中画面に投写されているいずれかのアイコンの選択領域にない場合、制御部３０はアイコンに対応する処理を起動せずに操作入力処理を終了する。

以上説明した実施形態によると、ユーザーは視線方向に指Ｕを動かすことにより、所望の空中画面を選択することができる。また空中画面の選択領域が空中画面の領域よりも視線方向に広いため、ユーザーは容易に空中画面を選択できる。また、選択された空中画面に投写される画像が強調されるため、ユーザーは、いずれの空中画面が選択されているかを容易に認識できる。

４．他の実施形態
尚、本発明の技術的範囲は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

例えば、ＧＵＩ装置は、いずれかの空中画面の選択領域に指の先端が予め決められた時間以上ある場合に、当該空中画面を選択するようにしても良い。ＧＵＩ装置がこのような場合に空中画面を選択する場合、所望の空中画面を選択しようとするユーザーが当該空中画面の領域周辺に指先を留めた場合にのみ当該空中画面が選択される。したがって所望の空中画面の手前に別の空中画面が存在していても、ユーザーは当該別の空中画面を突き抜くように指を動かして所望の空中画面を選択することができる。

また例えば、ＧＵＩ装置は、いずれかのアイコンの選択領域に指の先端が予め決められた時間以上ある場合に、当該アイコンに対応付けられた処理を起動するようにしても良い。ＧＵＩ装置がこのような場合にアイコンに対応付けられた処理を起動する場合、所望のアイコンを選択しようとするユーザーが当該アイコンの領域周辺に指先を留めた場合にのみ当該アイコンに対応付けられた処理が起動される。また、アイコンの選択領域とその外部領域とを所定時間内に往復した場合にアイコンに対応付けられた処理を起動するようにしてもよい。

また例えば、ＧＵＩ装置は、選択された空中画面に投写された画像を、視線方向に見て最も手前の空中画面に投写することにより強調してもよい。例えば、図１に示す空中画面Ｐ１が選択された場合には、空中画面Ｐ１に投写していた画像を空中画面Ｐ３に表示し、空中画面Ｐ３に投写していた画像を空中画面Ｐ２に投写し、空中画面Ｐ２に投写していた画像を空中画面Ｐ１に投写しても良い。さらに、このように空中画面Ｐ３が選択されることにより投写画像を入れ替える場合、空中画面Ｐ３に投写されていた画像が新たに投写される空中画面Ｐ１を自動的に選択し、アイコンが選択されたり、他の空中画面が選択されたりするまで、空中画面Ｐ１の選択状態を維持するようにしても良い。

また例えば、ＧＵＩ装置は、指先が視線方向に素早く所定距離以上動いた場合には、予め決められた空中画面を選択するようにしても良い。具体的には、図１において指Ｕの先端が０．５秒以内に視線方向に２ｄ以上動いたことを検出した場合に、指先の位置にかかわらず、視線方向に見て最も奥にある空中画面Ｐ１を選択してもよい。また指Ｕの先端が０．５秒以内に視線方向と逆方向に２ｄ以上動いたことを検出した場合に、指先の位置にかかわらず、視線方向に見て最も手前にある空中画面Ｐ３を選択しても良い。

また例えば、ＧＵＩ装置は、１つの空中画面の選択領域で予め決められた指先の動きを検出した場合には、予め決められた別の指先の動きを検出するまで、当該空中画面の選択状態を維持しても良い。具体的には、空中画面Ｐ２の選択領域において指先が空中画面Ｐ２とほぼ平行に往復移動したことを検出した場合に、空中画面Ｐ１または空中画面Ｐ３の選択領域で同様の指先の動きを検出するまで、指先の位置に関わらず、空中画面Ｐ２の選択状態を維持しても良い。

また例えば、ＧＵＩ装置は、指先がアイコンの選択領域の中でアイコンに向かって移動した場合や画面に対して視線奥行方向に移動した場合に、アイコンに対応付けられた処理を起動してもよい。

また例えば、ＧＵＩ装置は、画面と平行な方向において空中画面やアイコンよりも広い領域を空中画面の選択領域やアイコンの選択領域としてもよい。さらに、画面に対して視線手前方向の選択領域の広さ（深さ）と視線奥行方向の選択領域の広さ（深さ）とは、異なっていてもよい。特にアイコンの選択領域は、視線手前方向の広さ（深さ）を視線奥行方向の広さ（深さ）よりも大きくすることが望ましい。

また例えば、ＧＵＩ装置は、いわゆるドラッグ操作やドラッグ＆ドロップ操作を受け付けるようにしてもよい。具体的には、１つの空中画面の選択領域中の操作領域で指の先端が画面に沿うように移動した場合に、ドラッグ操作が行われているものとする。そして指の先端が操作領域から外れた場合にドラッグ操作が終了し、ドロップしたものとする。この選択領域は、空中画面の選択領域と等しいかこれよりも小さい領域とするが空中画面からの距離がアイコンの選択領域と同じである領域とすることが望ましい。このようにすれば、選択された空中画面が通常の２次元のタッチパネルディスプレイである場合と同様の操作感覚をユーザーに提供できる。

また例えば、操作を検出するための対象物としての指示部は、指先に限らず、鉛筆、ペン、棒等の先などでもよい。また指示部と検出部とに赤外線等を用いた通信機能を持たせることにより、指示部の位置を検出しても良い。

また例えば、指示部は複数用いることができるようにしてもよい。この場合、空中画面の選択は、複数の指示部のうち最も優先度が高い指示部で行うようにすることが望ましい。優先度は、利き手人差し指の優先度を最も高くするなど、指示部ごとに予め決めていてもよいし、全ての空中画面の選択領域を包含するような領域などの特定の領域に侵入した順番で優先度を高くしてもよい。

また例えば、空中画面の数は２以上であればよく、４以上でも良い。また、投写対象の画像に配置するアイコンの数は、１つでも、２つでも、３つ以上でもよい。また投写対象の画像にアイコンを配置せずに、投写対象の画像自体が選択対象になっていてもよい。具体的には、複数の空中画面のそれぞれに写真画像を投写し、選択された空中画面に投写していた写真画像を、視線方向に見て最も手前にある空中画面に投写するようにしても良い。

１…ＧＵＩ装置、１１…第一投写部、１２…第二投写部、１３…第三投写部、２０…位置センサー、３０…制御部、Ｐ１…空中画面、Ｐ２…空中画面、Ｐ３…空中画面、Ｐ１１…アイコン、Ｐ１２…アイコン、Ｐ１３…アイコン、Ｐ１４…アイコン、Ｐ２１…アイコン、Ｐ２２…アイコン、Ｐ２３…アイコン、Ｐ２４…アイコン、Ｐ３１…アイコン、Ｐ３２…アイコン、Ｐ３３…アイコン、Ｐ３４…アイコン、Ｕ…指

Claims (3)

1. 所定の視線方向に重なる複数の空中画面に画像を投写する投写部と、
   空中における指示部の位置を検出する検出部と、
   検出される前記指示部の前記視線方向の動きに応じて前記複数の空中画面のいずれかを操作対象として選択する画面選択部と、
   操作対象として選択された前記空中画面に表示されているアイコンを、検出される前記指示部の動きに応じて選択するアイコン選択部と、
   を備え、
   前記画面選択部が前記空中画面が選択されたと判断する前記指示部の前記視線方向の位置の範囲よりも、前記アイコン選択部が前記アイコンが選択されたと判断する前記指示部の前記視線方向の位置の範囲が狭い、
   ＧＵＩ装置。
2. 所定の視線方向に重なる複数の空中画面に画像を投写する投写部と、
   空中における指示部の位置を検出する検出部と、
   検出される前記指示部の前記空中画面の垂直方向の動きに応じて前記複数の空中画面のいずれかを操作対象として選択する画面選択部と、
   操作対象として選択された前記空中画面に表示されているアイコンを、検出される前記指示部の動きに応じて選択するアイコン選択部と、
   を備え、
   前記画面選択部が前記空中画面が選択されたと判断する前記指示部の前記垂直方向の位置の範囲よりも、前記アイコン選択部が前記アイコンが選択されたと判断する前記指示部の前記垂直方向の位置の範囲が狭い、
   ＧＵＩ装置。
3. 前記アイコン選択部は、前記空中画面の手前側の第１領域及び前記空中画面の奥側の第２領域における前記指示部の動きに応じて前記アイコンを選択し、
   前記第１領域は前記第２領域よりも前記視線方向又は前記垂直方向に広い、
   請求項１又は２に記載のＧＵＩ装置。

Images