JP5734422B2 - 設備制御装置、操作受付方法及びプログラム - Google Patents

設備制御装置、操作受付方法及びプログラム Download PDF

Info

Publication number
JP5734422B2
JP5734422B2 JP2013516109A JP2013516109A JP5734422B2 JP 5734422 B2 JP5734422 B2 JP 5734422B2 JP 2013516109 A JP2013516109 A JP 2013516109A JP 2013516109 A JP2013516109 A JP 2013516109A JP 5734422 B2 JP5734422 B2 JP 5734422B2
Authority
JP
Japan
Prior art keywords
unit
icon
equipment
operable range
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013516109A
Other languages
English (en)
Other versions
JPWO2012160653A1 (ja
Inventor
太一 石阪
太一 石阪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2012160653A1 publication Critical patent/JPWO2012160653A1/ja
Application granted granted Critical
Publication of JP5734422B2 publication Critical patent/JP5734422B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423Input/output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/23Pc programming
    • G05B2219/23037Touch key integrated in display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、例えば、ビル等に設置された複数の設備機器を制御する設備制御装置、操作受付方法及びプログラムに関する。
映画やテレビ等の画像表示において、複数の画像を作成して液晶装置上に表示し、視差を利用して画像を立体視できる技術が一般に知られている。
映画館で上映される3D(3次元)映画では、一般に偏光フィルタ方式が利用されている。偏光フィルタ方式では、左右の映像に直線偏光をかけて重ねて投影し、観客は、偏光フィルタにより左右の画像を分離できる偏光メガネをかけて視聴することで立体的な映像を見ることができる。
また、家庭用の3D液晶テレビでは、一般に液晶シャッタ方式が利用されている。液晶シャッタ方式では、左右の映像を一定周期ごとに切り換えて表示し、視聴者は、液晶の表示周期と合わせて左右別々に開閉する液晶シャッタメガネをかけて視聴することで立体的な映像を見ることができる。
その他にも、各画素の手前に遮蔽板を立てて左右それぞれの映像を表示することで、裸眼で立体映像が視聴可能なパララックスバリア方式、レンチキュラーレンズ方式などが存在する。
例えば、特許文献1には、これらの立体視技術を利用して3次元表示用の指示画像を生成し、入力部上における制御範囲を立体視される位置に対応する位置に切り替え、ユーザは立体視されるボタンに触れるように入力部に触れることにより、自身が意図した指示を装置に入力することができるという技術が開示されている。
特開2010−55266号公報
上記特許文献1の技術において、立体視可能な表示装置と、指示位置を検出可能な入力装置とを用いて、立体的に見えている指示領域と実際に画面上に表示されている指示領域の水平方向誤差を補正することは可能である。しかしながら、入力装置自体は通常のタッチパネルを利用しているため、実際の操作では見えている立体画像を突き抜けて、後方の入力装置の画面をタッチしなければボタンが反応しない。このため、操作において、ユーザに違和感を与えてしまうことは否定できない。
本発明は、上記実情に鑑みてなされたものであり、立体的に表示する操作部品について、高さ位置を加味した操作可能範囲を設定することで、当該操作部品に対して、立体的に見えている位置で操作可能とした設備制御装置、操作受付方法及びプログラムを提供することを目的とする。
上記目的を達成するため、本発明に係る設備制御装置は、
設備機器とデータ通信可能に接続し、前記設備機器の動作状態を管理する設備制御装置であって、
アイコンを立体表示する表示部と、
該表示部の表示面上に設置され、ユーザからの操作体を用いた操作入力を受け付ける操作入力部と、
前記アイコン毎に、画像データと、立体表示するための位置情報と、操作された際に実行すべきコマンドと、を対応付けたデータを管理するデータ管理部と、
前記アイコンの位置情報に基づいて、当該アイコンの立体的な操作可能範囲を算出する操作可能範囲算出部と、
前記操作体の位置を検出する操作位置検出部と、
前記操作体が前記操作可能範囲に入った場合に、当該アイコンに対応付けられた前記コマンドを実行する操作実行部と、
前記操作体が前記操作可能範囲に入った場合に、ユーザの操作内容を判別し、判別した操作内容を前記操作実行部に通知する操作内容判別部と、を備え、
前記データ管理部は、前記アイコン毎に、複数の操作内容にそれぞれ対応した複数のコマンドを対応付けて管理し、
前記操作実行部は、前記操作内容判別部によって判別された前記操作内容に対応したコマンドを実行する。
本発明によれば、立体的に表示する操作部品について、高さ位置を加味した操作可能範囲を設定することで、ユーザは、当該操作部品に対して、立体的に見えている位置で操作できるようになり、直感的な操作が可能となる。したがって、ユーザ操作の利便性が向上する。
本発明の実施の形態1に係る設備制御装置を備えた設備システムの全体構成を示す図である。 図1に示す設備制御装置の構成を示すブロック図である。 図2に示す所属部品管理テーブルの構成を示す図である。 図1に示す設備制御装置が実行する画面表示処理の手順を示すフローチャートである。 図4に示す画面表示処理の結果、表示装置に表示された画面の一例を示す図である。 図1に示す設備制御装置が実行する操作受付処理の手順を示すフローチャートである。 実施の形態1において、各操作部品の操作可能範囲の例を示した図である。 本発明の実施の形態2に係る設備制御装置の構成を示すブロック図である。 タッチ操作について説明するための図である。 摘み操作について説明するための図である。 図8に示す設備制御装置が実行する操作受付処理の手順を示すフローチャートである。 実施の形態2において、操作部品を複数重ね合わせて表示した場合の例を示す図である。 本発明の実施の形態3に係る設備制御装置の構成を示すブロック図である。 図13に示す平面図管理テーブルの構成を示す図である。 図13に示す設備制御装置が実行するフロア選択処理の手順を示すフローチャートである。 実施の形態3の変形例を説明するための図である。
以下、本発明の実施の形態に係る設備制御装置について図面を参照して詳細に説明する。
実施の形態1.
図1には、本発明の実施の形態1に係る設備システム1の構成が示されている。設備システム1は、例えば、オフィスビル内に設置される空調機器や照明機器等を制御し、管理するためのシステムである。図1に示すように、設備システム1は、空調機器や照明機器等の複数の設備機器2と、設備制御装置3と、から構成される。各設備機器2及び設備制御装置3は、専用通信線4で互いに通信可能に接続されている。
各設備機器2は、所定の居室空間において異なる位置にそれぞれ設置されている。各設備機器2は、設備制御装置3の制御の下で監視、制御される。設備機器2は、例えば、空調機器の場合では、居室空間の空気調和を行い、照明機器の場合では、点灯、消灯などの照明動作を行う。この複数の設備機器2を、以下では設備機器群5とも呼ぶ。
設備制御装置3は、複数の設備機器2を含む設備機器群5を統括的に制御、管理する。図2に示すように、設備制御装置3は、表示装置20、入力装置30、通信管理部40、データ管理部50及び制御部60を備える。
表示装置20は、周知の技法で3次元(立体)画像が表示可能な表示装置であり、例えば、液晶表示器等で構成される。表示装置20は、制御部60の制御の下、各設備機器2の運転状態の監視画面や操作画面等を表示する。
入力装置30は、表示装置20の表示画面上に設置され、操作者であるユーザが操作入力すると、その操作内容(例えば、監視画面の切り換え、設備機器群5の操作、各種設定等の指示)に応じた信号を制御部60に出力する。より詳細には、入力装置30は、静電容量方式のタッチパネルで構成される。また、入力装置30は、タッチパネルのセンサによって、ユーザの指(操作体)を検出する機能も有する。さらに、入力装置30は、検出したユーザの指までの距離を計測できる機能(距離計測機能)も有する。この距離計測機能として、例えば、特開2008−153025号公報に開示される技術が採用され得る。
通信管理部40は、専用通信線4のインタフェースである。この通信管理部40を介して各設備機器2とのデータの送受信が行われる。
データ管理部50は、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリやハードディスクドライブ等から構成される。データ管理部50は、制御部60が設備機器群5の制御や立体画像の表示制御を行うために必要となる各種データを管理する。データ管理部50で管理されるデータには、大別して、空調機器データ51、画面データ52及び立体画像データ53がある。
空調機器データ51には、各設備機器2の接続情報71、運転状態データ72、設置位置データ73等が含まれる。
接続情報71には、設備制御装置3によって管理される各設備機器2のアドレス番号、操作グループ番号、機種識別情報などが含まれる。接続情報71は、各設備機器2を制御するために必要なデータである。
運転状態データ72には、各設備機器2の運転・停止状態や、冷房や暖房などの運転モード、設定温度、室内温度など、設備機器2の現在の運転状態を示すデータが含まれる。運転状態データ72は、設備機器2とのデータ送受信により、随時更新される。
設置位置データ73には、各設備機器2の設置位置(フロア番号、位置座標など)を示すデータが含まれる。例えば、このデータは、居住空間の室内平面図の画像上に、設備機器2を示す画像を重ねて表示する際のその平面図上の位置座標(ドット単位)で表したものである。あるいは、このデータは、平面図上のある位置(例えば左上の隅位置)を基準としたときの、居住空間のフロア全体の縦横のサイズに対するその位置の割合をパーセントで表したものであってもよい。
画面データ52には、所属部品管理テーブル81などが含まれる。所属部品管理テーブル81は、表示装置20に表示する各画面に配置されている操作部品(アイコン)を管理するためのデータテーブルである。所属部品管理テーブル81は、一画面毎に分別して管理されている。
所属部品管理テーブル81には、図3に示すように、部品ID8100と、位置情報8101と、命令8102と、データポインタ8103と、から構成されたレコードが、操作部品数分、エントリされている。部品ID8100は、操作部品(アイコン)を識別するために予め割り振られたIDである。
位置情報8101は、画面上の操作部品の表示位置を示すデータであり、2次元表示に用いられるX座標(横)、Y座標(縦)の位置情報に加え、3次元表示に用いられるZ座標(高さ)情報が含まれる。
命令8102は、当該部品ID8100が示す操作部品をユーザが操作した場合に、制御部60が実行するコマンドを示す。
データポインタ8103は、当該部品ID8100に対応する部品画像データ91の格納先(メモリアドレス)を示す情報(ポインタ)である。なお、当該部品ID8100に対応する操作部品を3次元表示する場合には、一の部品ID8100、即ち、一の操作部品に対して、複数の部品画像データ91が対応する場合もある。この場合、データポインタ8103には、複数の部品画像データ91の格納先を示す情報が設定される。
立体画像データ53には、上述した所属部品管理テーブル81で管理される操作部品に対応する部品画像データ91が含まれる。部品画像データ91は、例えば、操作画面のボタンや設備イメージなどに対応する画像データである。部品画像データ91は、各操作部品あるいはその一部をBitmap形式やGif形式、動画形式などで作成したものである。
制御部60は、何れも図示しないが、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を備える。制御部60の後述する各機能は、CPUがROM等に格納されたプログラムを実行することにより実現される。
制御部60は、各設備機器2の監視、制御を行い、その結果等を表示装置20に表示する。制御部60には、設備制御部61、立体画像生成部62、操作位置検出部63、操作可能範囲算出部64、操作検出部65、操作実行部66等が含まれる。
設備制御部61は、空調機器等の設備機器2の各種監視、制御を行う。設備制御部61は、各設備機器2から取得した各運転状態を運転状態データ72としてデータ管理部50の空調機器データ51に格納する。
立体画像生成部62は、操作部品を立体表示するための画像データを立体画像データ53内に格納されている1又は複数の対応する部品画像データ91を用いて生成する。
操作位置検出部63は、操作者の指(操作体)の位置に関する情報(操作位置情報)を入力装置30から取得し、取得した位置情報をRAM等に保存する。入力装置30は、操作者の指先の位置を、X軸(横方向)、Y軸(縦方向)、Z軸(高さ方向)の3軸方向で検出し、その結果(操作位置情報)を操作位置検出部63に供給する。
操作可能範囲算出部64は、各操作部品の位置情報(X座標(横方向)、Y座標(縦方向)、Z座標(高さ方向))に基づいて、各操作部品における立体的な操作可能範囲を算出する。操作可能範囲算出部64は、算出した各操作部品の操作可能範囲を部品ID8100と対応付けてRAM等に保存する。
操作検出部65は、操作位置検出部63が取得した操作位置情報と、操作可能範囲算出部64の上記の算出結果と、に基づいて、操作者の指先が、表示中の何れかの操作部品の操作可能範囲に入っているか否かを判定する。操作検出部65は、操作者の指先が、表示中の何れかの操作部品の操作可能範囲に入っている場合には、その旨及び当該操作部品の部品ID8100を操作実行部66に通知する。
操作実行部66は、操作検出部65から上記の通知を受けると、当該操作部品(アイコン)に関連付けられた所定処理を実行する。より詳細には、操作実行部66は、所属部品管理テーブル81を参照して、操作検出部65から通知された部品ID8100に対応する命令8102が示すコマンドを実行する。
次に、以上のように構成された設備制御装置3の動作について説明する。まず、表示装置20に所定の画面を表示する処理(画面表示処理)について説明する。図4は、画面表示処理の手順を示すフローチャートである。この処理は、操作者によって入力装置30を介した所定操作が行われることで開始される。
先ず、制御部60は、画面データ52から、操作者が指定した画面に対応する所属部品管理テーブル81を読み出し、RAM等に保存する(ステップS101)。
制御部60は、読み出した所属部品管理テーブル81から、一の操作部品の位置情報、即ち、X座標(横位置)、Y座標(縦位置)、Z座標(高さ位置)を取得する(ステップS102)。
続いて、制御部60は、当該操作部品のZ座標が0であるか否かを判定する(ステップS103)。Z座標が0である場合(ステップS103;YES)、立体画像を生成する必要がないため、制御部60は、立体画像データ53から、当該操作部品に対応する部品画像データ91を取り出し、当該部品画像データ91に基づく画像を表示装置20に表示する(ステップS104)。この場合、当該操作部品の画像は、2次元表示される。
一方、Z座標が0でない場合(ステップS103;NO)、立体画像を生成する必要があるため、制御部60は、当該操作部品の画像を立体表示するための画像データの生成を立体画像生成部62に対して要求する。かかる要求を受けると、立体画像生成部62は、立体画像データ53内の当該操作部品に対応する1又は複数の部品画像データ91を用いて、当該操作部品の立体表示用の画像データを生成する(ステップS105)。制御部60は、立体画像生成部62により生成された立体表示用の画像データに基づく画像を表示装置20に表示する(ステップS106)。これにより、当該操作部品の画像は、3次元表示される。即ち、当該操作部品は、Z座標の値に応じた高さで、画面から浮き出た態様で見えるようになる。
制御部60は、操作者が指定した画面に属する全ての操作部品について、画像表示が完了したか否かを判定する(ステップS107)。全ての操作部品について、画像表示が完了していない場合(ステップS107;NO)、制御部60は、ステップS102の処理に戻って、再度上述した処理を実行する。一方、全ての操作部品について、画像表示が完了した場合(ステップS107;YES)、制御部60は、当該画面表示処理を終了する。
図5に、上記の画面表示処理にて、表示装置20に表示された画面の一例を示す。この画面では、空調機器を示すアイコンを高さ10の位置に、操作画面を高さ30の位置に立体的に表示している。
次に、上記のようにして表示された各操作部品に対して、操作者により操作が行われる際の処理(操作受付処理)について説明する。図6は、操作受付処理の手順を示すフローチャートである。この処理は、上記画面表示処理の終了後、開始される。
先ず、操作可能範囲算出部64は、当該画面を構成する各操作部品の位置情報に基づいて、各操作部品の操作可能範囲を算出する(ステップS201)。
操作位置検出部63は、操作者の現在の指先の位置に関する情報(操作位置情報)を入力装置30から取得する(ステップS202)。
操作検出部65は、操作位置検出部63が取得した操作位置情報と、操作可能範囲算出部64によって算出された各操作部品の操作可能範囲と、に基づいて、操作者の指先が、表示中の何れかの操作部品の操作可能範囲に入っているか否かを判定する(ステップS203)。操作者の指先が表示中の何れかの操作部品の操作可能範囲に入っている場合(ステップS203;YES)、操作検出部65は、その旨及び当該操作部品の部品ID8100を操作実行部66に通知する。この場合、操作者により、当該操作部品に対するタッチ操作が行われたものとみなされる。
かかる通知を受けると、操作実行部66は、所属部品管理テーブル81を参照して、操作検出部65から通知された部品ID8100に対応する命令8102が示すコマンドを実行する(ステップS204)。
制御部60は、操作者により、別の画面への切り替え操作が行われたか否かを判定する(ステップS205)。別の画面への切り替え操作が行われていない場合(ステップS205;NO)、制御部60は、ステップS202の処理に戻って、再度上述した処理を実行する。一方、別の画面への切り替え操作が行われた場合(ステップS205;YES)、制御部60は、当該操作受付処理を終了する。
図7は、表示装置20を斜め横から見た場合における各操作部品の立体的な操作可能範囲を図示したものである。この例では、空調アイコン(空調機器を示すアイコン)、運転ボタン及び停止ボタンのそれぞれの操作可能範囲が、X座標、Y座標、Z座標で囲まれた立方体で構成されていることが示されている。そして、何れかの操作可能範囲の中に操作者の指先が入った時に、当該操作部品に関連付けられた所定の処理が実行されることになる。
なお、本実施の形態では、入力装置30を、操作体までの距離が計測可能な静電容量型のタッチパネルとしたが、入力装置30は特に静電容量型のタッチパネルに限定するものではなく、また、他の距離測定方法を用いて実現してもよい。
また、本実施の形態では、静止画像を例として説明したが、利用可能な画像は静止画像に限定されず、例えば、動画を利用してもよい。
以上詳細に説明したように、本実施の形態1に係る設備制御装置3は、各操作部品の位置情報として、2次元表示に用いられるX座標(横)、Y座標(縦)に加え、Z座標(高さ)を含めて管理する。そして、設備制御装置3は、かかる位置情報に基づいて、各操作部品に対する操作が可能な空間範囲を算出する機能を備える。
これにより、操作者は、立体的に表示された操作部品の画像を、実際に見える位置(空中)で操作することが可能となり、直感的な操作を行うことができる。
このように、空中での操作が可能となることにより,操作の度にタッチパネルに指を接触させる必要がないため、タッチパネル表面の油脂汚れ等を防ぐと共に、タッチパネルの寿命を延ばすことも期待できる。
また、表示装置20の表示画面上にタッチパネル型の入力装置30を設置しているため、操作者の指先の位置から表示装置20までの距離と、操作者の指先の位置から入力装置30までの距離とが、ほぼ同一となる。したがって、操作の際の誤差を極力抑えることが可能となる。
また、操作部品のZ軸(高さ)情報を適宜設定することで、複数の操作部品の画像を重ねて表示することができ、平面表示で行っているタブ表示などを縦方向にも行うことが可能となる。したがって、サイズの小さい画面でもより多くの情報を表示することが可能となる。
実施の形態2.
次に、本発明の実施の形態2について説明する。
図8には、本発明の実施の形態2に係る設備制御装置6の構成が示されている。図8に示すように、この設備制御装置6は、制御部60の構成に操作内容判別部67が追加されている点が、実施の形態1と異なっている。
操作内容判別部67は、操作者が操作部品に対して、どのような操作を行ったのかを判断する。具体的には、操作内容判別部67は、操作者の指(操作体)が、表示中の何れかの操作部品の操作可能範囲に入っている場合に、入力装置30が、同一のタイミングで検出した当該操作体の数に基づいて、タッチ操作又は摘み操作の何れの操作が行われたかを判断する。
図9は、立体表示された操作部品に対して、ボタン押下等のタッチ操作をする場合の操作者の指の動きを示したものである。この図で示すように、タッチ操作の際は、操作者は、1本の指で操作するのが自然である。このため、入力装置30において検出される指(操作体)の座標位置は1点である。即ち、この場合、1つの操作体(1本の指)が検出されたことになる。
一方、図10は、立体表示された操作部品に対して、摘もうとする場合の操作者の指の動きを示したものである。この図で示すように、操作者は、操作部品を摘もうとした場合、通常、2本の指を用いて操作する。この際、操作者が操作部品を摘み始めた時は、入力装置30によって、2つの操作体(2本の指)が検出される。そして、操作者が当該操作部品を摘み終えたときは、双方の指が接触するため、入力装置30によって、1つの操作体(1本の指)が検出されることになる。
次に、本実施の形態における操作受付処理について、図11のフローチャートを参照して説明する。
先ず、操作可能範囲算出部64は、当該画面を構成する各操作部品の位置情報に基づいて、各操作部品の操作可能範囲を算出する(ステップS301)。
操作位置検出部63は、操作者の現在の指の位置に関する情報(操作位置情報)を入力装置30から取得する(ステップS302)。
操作検出部65は、操作位置検出部63が取得した操作位置情報と、操作可能範囲算出部64によって算出された各操作部品の操作可能範囲と、に基づいて、操作者の指先が、表示中の何れかの操作部品の操作可能範囲に入っているか否かを判定する(ステップS303)。操作者の指先が表示中の何れかの操作部品の操作可能範囲に入っている場合(ステップS303;YES)、操作検出部65は、その旨と、当該操作部品の部品ID8100と、操作位置情報と、を操作内容判別部67に通知する。
操作内容判別部67は、操作位置情報に基づいて、操作者の指先の検出点(検出座標位置)が2点であるか否かを判定する(ステップS304)。検出点が2点でない場合、即ち、1点である場合(ステップS304;NO)、操作内容判別部67は、その旨及び当該操作部品の部品ID8100を操作実行部66に通知する。この場合、操作者により、当該操作部品に対するタッチ操作が行われたものとみなされる。
かかる通知を受けると、操作実行部66は、所属部品管理テーブル81を参照して、操作検出部65から通知された部品ID8100に対応する命令8102が示す複数のコマンドの内、タッチ操作に対応するコマンドを実行する(ステップS305)。本実施の形態では、所属部品管理テーブル81の命令8102には、タッチ操作された場合のコマンドと、摘み操作された場合のコマンドとが分別されて設定されているものとする。
一方、操作者の指先の検出点が2点である場合(ステップS304;YES)、操作内容判別部67は、検出点の変化を監視する。そして、検出点が2点から1点に変化すると(ステップS306;YES)、操作内容判別部67は、その旨及び当該操作部品の部品ID8100を操作実行部66に通知する。この場合、操作者により、当該操作部品に対する摘み操作が行われたものとみなされる。
かかる通知を受けると、操作実行部66は、所属部品管理テーブル81を参照して、操作検出部65から通知された部品ID8100に対応する命令8102が示す複数のコマンドの内、摘み操作に対応するコマンドを実行する(ステップS307)。
制御部60は、操作者により、別の画面への切り替え操作が行われたか否かを判定する(ステップS308)。別の画面への切り替え操作が行われていない場合(ステップS308;NO)、制御部60は、ステップS302の処理に戻って、再度上述した処理を実行する。一方、別の画面への切り替え操作が行われた場合(ステップS308;YES)、制御部60は、当該操作受付処理を終了する。
図12は、操作部品を複数重ね合わせて表示した場合の例であり、部屋を示す操作部品(部屋アイコン)の中に、設備機器(例えば、空調機器)を示す操作部品(設備機器アイコン)が複数配置されている様子を示している。
上記のような画面が表示されている際、例えば、操作者は、部屋全体の空調を一括操作したい場合は、1本の指でタッチ操作をすることにより、現在の画面を一括操作画面へ遷移させることができる。また、何れかの空調機器1台を操作したい場合は、当該空調機器を示す操作部品に対して摘み操作することで、現在の画面を当該空調機器についての操作画面へ遷移させることができる。
なお、本実施の形態では、操作者による操作内容、換言すると、指の操作区分を、タッチ操作、摘み操作の2区分だけで説明したが、操作内容(操作区分)はこれに限ったものではない。例えば、操作者が1本の指を用いて、操作部品をはじく動作を行った場合、設備制御装置6は、画面スクロールや表示画像の切り替えを実行してもよい。また、操作者が2本の指を用いて、ダイヤル等の操作部品を回転させる動作を行った場合、設備制御装置6は、当該操作部品を回転させて、その回転の度合いに応じた処理を実行してもよい。このように、操作者の指により空中で行われる様々な動作を、指の操作区分として割り当てることが可能である。
また、操作者が操作部品を摘んだまま指を移動すると、それに応じて摘まれた操作部品の位置を変更して表示するようにしてもよい。このようにすると、初期設定時などにおいて、設備機器2を示す操作部品(アイコン)を平面図上に配置する作業等が容易となる。
以上詳細に説明したように、本実施の形態2に係る設備制御装置6は、操作者の指(操作体)の数により、タッチ操作又は摘み操作の何れの操作が行われたかを判別し、その判別結果に応じて、別々の動作を行う。これにより、小画面の設備制御装置であっても多彩な動作を実現することができる。
また、本実施の形態2に係る設備制御装置6によれば、立体表示された操作部品の中に、さらに複数の操作部品が表示された画面であっても、操作者は、タッチ操作又は摘み操作を使い分けることで、外側、内側を問わず、何れの操作部品も操作することが可能である。したがって、例えば、[一括操作]ボタンや[個別操作]ボタンなどの操作対象を選択するためのボタンの配置が不要となり、より小さい表示領域で同一の操作性能を実現することが可能となる。
実施の形態3.
次に、本発明の実施の形態3について説明する。
図13には、本発明の実施の形態3に係る設備制御装置7の構成が示されている。図13に示すように、この設備制御装置7は、データ管理部50が管理するデータに、平面図データ54が追加されている点が、実施の形態1と異なっている。
平面図データ54には、平面図管理テーブル101、平面図画像データ102などが含まれる。平面図管理テーブル101は、表示装置20に表示する平面図を管理するためのデータテーブルである。
平面図管理テーブル101には、図14に示すように、平面図ID1010と、位置情報1011と、データポインタ1012と、から構成されたレコードが、平面図数分、エントリされている。平面図ID1010は、各平面図を識別するために予め割り振られたIDである。
位置情報1011は、画面上の平面図の表示位置を示すデータであり、2次元表示に用いられるX座標(横)、Y座標(縦)の位置情報に加え、3次元表示に用いられるZ座標(高さ)情報が含まれる。
データポインタ1012は、当該平面図ID1010に対応する平面図画像データ102の格納先(メモリアドレス)を示す情報(ポインタ)である。平面図画像データ102は、ビル内の各フロアの平面図に対応した画像データである。平面図画像データ102は、各平面図の画像をBitmap形式やGif形式、動画形式などで作成したものである。
本実施の形態では、各フロアの平面図(フロア画像)を階層的に表示する。したがって、平面図の位置情報におけるZ座標の値は、対応するフロアに応じて順次高くなるように設定されている。
次に、設備制御装置7で実行される、操作者の指の動きに応じて表示フロアを変化させる処理(フロア選択処理)について説明する。
図15は、フロア選択処理の手順を示すフローチャートである。この処理は、操作者の操作により、各フロアの平面図を表示する画面(フロア平面図表示画面)が指定された際に実行される。
先ず、制御部60の操作位置検出部63は、操作者の現在の指の位置に関する情報(操作位置情報)を入力装置30から取得する(ステップS401)。
操作実行部66は、操作位置検出部63によって取得された操作位置情報に含まれるZ座標の値(即ち、高さ位置)と、各平面図の位置情報に含まれるZ座標の値(即ち、高さ位置)と、に基づいて、操作者が選択したフロアを決定する(ステップS402)。例えば、あるフロアAに対応する平面図のZ座標の値がZA(ドット)であり、フロアAよりも1つ上のフロアBに対応する平面図のZ座標の値がZB(ドット)であるとする。この場合、操作体(操作者の指)が、ZA以上且つZB未満の位置に存在すると、操作実行部66は、フロアAを操作者の選択したフロアとして決定する。また、最も上に位置するフロアについては、操作体の高さ位置が、当該フロアに対応する平面図のZ座標の値(ZT)以上で、且つ、ZT+所定の高さ未満である場合に、操作実行部66は、当該フロアを操作者の選択したフロアとして決定する。
操作実行部66は、平面図データ54から、決定したフロアに対応する平面図画像データ102を取得する(ステップS403)。そして、操作実行部66は、取得した平面図画像データ102に基づく画像を表示装置20に表示する(ステップS404)。この際、操作実行部66は、当該フロアに設置される各設備機器2の運転状態などを、当該平面図の高さ位置と合わせて表示装置20に表示する。これにより、操作者が選択したフロアの平面図上に設備機器2の運転状態が表示される。
なお、操作者の指の位置がさらに移動して、別のフロアが選択された場合、表示されているフロアの平面図は非表示状態となる。また、操作者の指が大きく離れる等して、何れのフロアも選択されていない状態では、全てのフロアの平面図は非表示状態となる。
制御部60は、操作者により、別の画面への切り替え操作が行われたか否かを判定する(ステップS405)。別の画面への切り替え操作が行われていない場合(ステップS405;NO)、制御部60は、ステップS401の処理に戻って、再度上述した処理を実行する。一方、別の画面への切り替え操作が行われた場合(ステップS405;YES)、制御部60は、当該フロア選択処理を終了する。
なお、図16に示すように、操作者が、指の位置と階数との関係を直ちに認識できるように、表示対象でないフロアについても、例えば、フロア枠のみを表示する等してもよい。
また、操作者が指を離して、何れのフロアも選択されていない状態となった場合、最後に選択されたフロアの平面図を一定時間表示し続けてもよい。
また、フロアを示す画像は、平面図画像に限定されず、壁や仕切り板などを立体的に表示する等した立体画像であってもよい。
以上詳細に説明したように、本実施の形態3に係る設備制御装置7によれば、操作者は、ビル内の各フロア毎の監視画面を、指を入力装置30(即ち、タッチパネル)に近づけたり、離したりすることで、簡単に切り換えることが可能となる。したがって、簡易且つ直感的な操作で、各フロアにおける各設備機器2の状態を監視することが可能になる。
また、このように、指をタッチパネルに近づけたり、離したりすることで、フロア表示の切り換えができるため、フロア選択用のボタンなどを画面上に配置する必要がない。したがって、画面サイズの小さい表示装置を備える設備制御装置であっても、画面表示領域を有効に活用することが可能となる。
なお、上記実施の形態1〜3において、設備制御装置3、6及び7のそれぞれが実行したプログラムを、既存のパーソナルコンピュータ(PC)等に適用することで、当該PCを本発明に係る設備制御装置として機能させることも可能である。即ち、上述した制御部60が実行したようなプログラムを既存のPC等に適用し、そのPC等のCPU等が当該プログラムを実行することで、当該PC等を本発明に係る設備制御装置として機能させることができる。
このようなプログラムの配布方法は任意であり、例えば、フレキシブルディスク、CD−ROM(Compact Disk Read−Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto Optical Disk)、メモリカードなどのコンピュータ読み取り可能な記録媒体に格納して配布してもよい。あるいは、インターネット等の通信ネットワーク上のサーバ装置が有するディスク装置等に上記プログラムを格納しておき、かかるサーバ装置から、当該通信ネットワークを介して、上記プログラムを搬送波に重畳させて配信してもよい。
この場合、上述した本発明に係る機能を、OS(オペレーティングシステム)とアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などでは、アプリケーションプログラム部分のみを記録媒体等に格納してもよい。
本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
本発明は、オフィスビル等に設置される設備システムに好適に採用され得る。
1 設備システム
2 設備機器
3、6、7 設備制御装置
4 専用通信線
5 設備機器群
20 表示装置
30 入力装置
40 通信管理部
50 データ管理部
51 空調機器データ
52 画面データ
53 立体画像データ
54 平面図データ
60 制御部
61 設備制御部
62 立体画像生成部
63 操作位置検出部
64 操作可能範囲算出部
65 操作検出部
66 操作実行部
67 操作内容判別部
71 接続情報
72 運転状態データ
73 設置位置データ
81 所属部品管理テーブル
91 部品画像データ
101 平面図管理テーブル
102 平面図画像データ

Claims (8)

  1. 設備機器とデータ通信可能に接続し、前記設備機器の動作状態を管理する設備制御装置であって、
    アイコンを立体表示する表示部と、
    該表示部の表示面上に設置され、ユーザからの操作体を用いた操作入力を受け付ける操作入力部と、
    前記アイコン毎に、画像データと、立体表示するための位置情報と、操作された際に実行すべきコマンドと、を対応付けたデータを管理するデータ管理部と、
    前記アイコンの位置情報に基づいて、当該アイコンの立体的な操作可能範囲を算出する操作可能範囲算出部と、
    前記操作体の位置を検出する操作位置検出部と、
    前記操作体が前記操作可能範囲に入った場合に、当該アイコンに対応付けられた前記コマンドを実行する操作実行部と、
    前記操作体が前記操作可能範囲に入った場合に、ユーザの操作内容を判別し、判別した操作内容を前記操作実行部に通知する操作内容判別部と、を備え、
    前記データ管理部は、前記アイコン毎に、複数の操作内容にそれぞれ対応した複数のコマンドを対応付けて管理し、
    前記操作実行部は、前記操作内容判別部によって判別された前記操作内容に対応したコマンドを実行する設備制御装置。
  2. 前記操作内容判別部は、前記操作可能範囲に入った前記操作体の数に基づいて、ユーザの操作内容を判別する請求項に記載の設備制御装置。
  3. 前記操作内容判別部は、前記操作可能範囲に入った前記操作体が複数の場合、当該操作可能範囲内の前記操作体の数を監視し、前記操作体の数が1つに変化した場合、その旨を前記操作内容として前記操作実行部に通知する請求項に記載の設備制御装置。
  4. 前記操作入力部は、静電容量方式のタッチパネルで構成される請求項1から3の何れか1項に記載の設備制御装置。
  5. 前記操作体がユーザの指である請求項に記載の設備制御装置。
  6. 前記表示部は、さらに、前記設備機器を設置する建物における各フロアに対応したフロア画像を立体表示し、
    前記データ管理部は、さらに、前記フロア画像毎に、画像データと、立体表示するための位置情報と、を対応付けたデータを管理し、
    前記操作実行部は、前記操作体の位置と、前記各フロア画像の位置情報と、に基づいて、ユーザが選択したフロアを決定し、該決定したフロアに対応する前記フロア画像を前記表示部に立体表示させる請求項1から5の何れか1項に記載の設備制御装置。
  7. 設備機器とデータ通信可能に接続し、前記設備機器の動作状態を管理する設備制御装置における操作受付方法であって、
    立体表示部でアイコンを立体表示し、
    前記アイコン毎に、画像データと、立体表示するための位置情報と、複数の操作内容にそれぞれ対応した複数のコマンドと、を対応付けたデータを管理し、
    前記アイコンの位置情報に基づいて、当該アイコンの立体的な操作可能範囲を算出し、
    操作体の位置を検出し、
    前記操作体が前記操作可能範囲に入った場合に、ユーザの操作内容を判別し、
    前記判別した操作内容に対応したコマンドを実行する操作受付方法。
  8. 設備機器とデータ通信可能に接続し、前記設備機器の動作状態を管理するコンピュータを、
    アイコンを立体表示する表示部、
    前記表示部の表示面上に設置され、ユーザからの操作体を用いた操作入力を受け付ける操作入力部、
    前記アイコン毎に、画像データと、立体表示するための位置情報と、操作された際に実行すべきコマンドと、を対応付けたデータを管理するデータ管理部、
    前記アイコンの位置情報に基づいて、当該アイコンの立体的な操作可能範囲を算出する操作可能範囲算出部、
    前記操作体の位置を検出する操作位置検出部、
    前記操作体が前記操作可能範囲に入った場合に、当該アイコンに対応付けられた前記コマンドを実行する操作実行部、
    前記操作体が前記操作可能範囲に入った場合に、ユーザの操作内容を判別し、判別した操作内容を前記操作実行部に通知する操作内容判別部、として機能させるプログラムであって、
    前記データ管理部は、前記アイコン毎に、複数の操作内容にそれぞれ対応した複数のコマンドを対応付けて管理し、
    前記操作実行部は、前記操作内容判別部によって判別された前記操作内容に対応したコマンドを実行するプログラム。
JP2013516109A 2011-05-24 2011-05-24 設備制御装置、操作受付方法及びプログラム Active JP5734422B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/061890 WO2012160653A1 (ja) 2011-05-24 2011-05-24 設備制御装置、操作受付方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2012160653A1 JPWO2012160653A1 (ja) 2014-07-31
JP5734422B2 true JP5734422B2 (ja) 2015-06-17

Family

ID=47216756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013516109A Active JP5734422B2 (ja) 2011-05-24 2011-05-24 設備制御装置、操作受付方法及びプログラム

Country Status (5)

Country Link
US (1) US20140089859A1 (ja)
EP (1) EP2717140B1 (ja)
JP (1) JP5734422B2 (ja)
CN (1) CN103547985B (ja)
WO (1) WO2012160653A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012190183A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
US9800428B2 (en) * 2013-02-20 2017-10-24 Panasonic Intellectual Property Corporation Of America Control method for information apparatus and computer-readable recording medium
MY181880A (en) 2013-02-20 2021-01-12 Panasonic Ip Corp America Method for controlling information apparatus and program
US9766799B2 (en) * 2013-02-20 2017-09-19 Panasonic Intellectual Property Corporation Of America Control method for information apparatus and computer-readable recording medium
JP5666754B1 (ja) * 2013-02-20 2015-02-12 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 情報端末の制御方法及びプログラム
US9634852B2 (en) * 2013-02-20 2017-04-25 Panasonic Intellectual Property Corporation Of America Control method for information apparatus and computer-readable recording medium
WO2014128768A1 (ja) 2013-02-20 2014-08-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 携帯情報端末の制御方法及びプログラム
WO2014128770A1 (ja) 2013-02-20 2014-08-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 携帯情報端末の制御方法及びプログラム
US10969925B1 (en) 2015-06-26 2021-04-06 Amdocs Development Limited System, method, and computer program for generating a three-dimensional navigable interactive model of a home
JP7424047B2 (ja) * 2019-12-25 2024-01-30 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
WO2024150561A1 (ja) * 2023-01-10 2024-07-18 株式会社ジャパンディスプレイ センサシステム、プログラム、およびセンサモジュール

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11110455A (ja) * 1997-10-08 1999-04-23 Oki Electric Ind Co Ltd ビルマネジメントシステムの表示装置における表示画面の切替え方法
JP2009070416A (ja) * 2009-01-05 2009-04-02 Sony Computer Entertainment Inc 制御システムおよび制御方法
US20100211920A1 (en) * 2007-01-06 2010-08-19 Wayne Carl Westerman Detecting and Interpreting Real-World and Security Gestures on Touch and Hover Sensitive Devices
JP2011013778A (ja) * 2009-06-30 2011-01-20 Sony Corp 立体画像表示装置、物体近接検出装置および電子機器
JP2011503709A (ja) * 2007-11-07 2011-01-27 エヌ−トリグ リミテッド デジタイザのためのジェスチャ検出
JP2011081480A (ja) * 2009-10-05 2011-04-21 Seiko Epson Corp 画像入力システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US20010034754A1 (en) * 2000-03-17 2001-10-25 Elwahab Amgad Mazen Device, system and method for providing web browser access and control of devices on customer premise gateways
US6756998B1 (en) * 2000-10-19 2004-06-29 Destiny Networks, Inc. User interface and method for home automation system
US8279168B2 (en) * 2005-12-09 2012-10-02 Edge 3 Technologies Llc Three-dimensional virtual-touch human-machine interface system and method therefor
DE102006033134A1 (de) * 2006-07-18 2008-01-24 Abb Patent Gmbh Anzeige- und Bediengerät der Gebäudesystemtechnik
JP4916863B2 (ja) 2006-12-15 2012-04-18 三菱電機株式会社 近接検出装置
US8947421B2 (en) * 2007-10-29 2015-02-03 Interman Corporation Method and server computer for generating map images for creating virtual spaces representing the real world
JP4725595B2 (ja) * 2008-04-24 2011-07-13 ソニー株式会社 映像処理装置、映像処理方法、プログラム及び記録媒体
JP4657331B2 (ja) 2008-08-27 2011-03-23 富士フイルム株式会社 3次元表示時における指示位置設定装置および方法並びにプログラム
KR20100041006A (ko) * 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
KR101639383B1 (ko) * 2009-11-12 2016-07-22 삼성전자주식회사 근접 터치 동작 감지 장치 및 방법
US8570273B1 (en) * 2010-05-20 2013-10-29 Lockheed Martin Corporation Input device configured to control a computing device
US9207859B2 (en) * 2010-09-14 2015-12-08 Lg Electronics Inc. Method and mobile terminal for displaying fixed objects independent of shifting background images on a touchscreen
KR101781908B1 (ko) * 2011-03-24 2017-09-26 엘지전자 주식회사 이동 단말기 및 그것의 제어방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11110455A (ja) * 1997-10-08 1999-04-23 Oki Electric Ind Co Ltd ビルマネジメントシステムの表示装置における表示画面の切替え方法
US20100211920A1 (en) * 2007-01-06 2010-08-19 Wayne Carl Westerman Detecting and Interpreting Real-World and Security Gestures on Touch and Hover Sensitive Devices
JP2011503709A (ja) * 2007-11-07 2011-01-27 エヌ−トリグ リミテッド デジタイザのためのジェスチャ検出
JP2009070416A (ja) * 2009-01-05 2009-04-02 Sony Computer Entertainment Inc 制御システムおよび制御方法
JP2011013778A (ja) * 2009-06-30 2011-01-20 Sony Corp 立体画像表示装置、物体近接検出装置および電子機器
JP2011081480A (ja) * 2009-10-05 2011-04-21 Seiko Epson Corp 画像入力システム

Also Published As

Publication number Publication date
EP2717140A4 (en) 2014-12-03
US20140089859A1 (en) 2014-03-27
CN103547985B (zh) 2016-08-24
WO2012160653A1 (ja) 2012-11-29
EP2717140B1 (en) 2019-01-09
CN103547985A (zh) 2014-01-29
JPWO2012160653A1 (ja) 2014-07-31
EP2717140A1 (en) 2014-04-09

Similar Documents

Publication Publication Date Title
JP5734422B2 (ja) 設備制御装置、操作受付方法及びプログラム
US8923686B2 (en) Dynamically configurable 3D display
JP6569496B2 (ja) 入力装置、入力方法、及びプログラム
US20110083106A1 (en) Image input system
US20130106694A1 (en) Three-dimensional display device, three-dimensional image capturing device, and pointing determination method
CN103052928B (zh) 能使多显示输入实现的系统和方法
US9330489B2 (en) Mobile apparatus displaying a 3D image comprising a plurality of layers and display method thereof
JP2012003742A (ja) 入力装置、入力方法、プログラム及び記録媒体
US20160110078A1 (en) Information processing device, information processing method and program
CN109690472B (zh) 具有多个显示器的电子设备及其操作方法
US20120306738A1 (en) Image processing apparatus capable of displaying operation item, method of controlling the same, image pickup apparatus, and storage medium
WO2012053033A1 (ja) 3次元立体表示装置
CN104040457A (zh) 移动显示设备
JP2011210239A (ja) 乗り物の電子デバイスのための乗り物のユーザーインターフェースユニット
KR20140055703A (ko) 컨텐츠 공유 방법 및 시스템
CN103999018A (zh) 响应三维显示对象的用户选择姿势的方法和系统
US10356493B2 (en) Methods, systems, and media for presenting interactive elements within video content
WO2008062586A1 (fr) Dispositif d'affichage, procédé d'affichage, programme d'affichage, et support d'enregistrement
TW201336294A (zh) 立體成像系統及其方法
CN104094209A (zh) 信息处理设备、信息处理方法和计算机程序
US20130326426A1 (en) User Interface For Navigating In a Three-Dimensional Environment
US20120146901A1 (en) Operation control device, operation control method, and input device
JP2012068495A (ja) 情報処理装置、情報処理端末、情報処理方法およびコンピュータプログラム
JP2010107685A (ja) 3次元表示装置および方法並びにプログラム
US20180032128A1 (en) Cognitive Navigation and Manipulation (CogiNav) Method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150414

R150 Certificate of patent or registration of utility model

Ref document number: 5734422

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250