JP5176112B2 - 制御システム及び制御方法 - Google Patents
制御システム及び制御方法 Download PDFInfo
- Publication number
- JP5176112B2 JP5176112B2 JP2008174402A JP2008174402A JP5176112B2 JP 5176112 B2 JP5176112 B2 JP 5176112B2 JP 2008174402 A JP2008174402 A JP 2008174402A JP 2008174402 A JP2008174402 A JP 2008174402A JP 5176112 B2 JP5176112 B2 JP 5176112B2
- Authority
- JP
- Japan
- Prior art keywords
- icon
- image
- information
- operation image
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Input From Keyboards Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Description
利用者が移動する場合のように、利用環境(利用者の生活環境)が変化して、操作対象となるスイッチが変化する場合には、対応できない。
生活環境にある操作対象の存在を示す情報を検出する検出手段と、
前記検出手段が前記操作対象の存在を示す情報を検出したことに応答し、アイコンを含む操作画像を特定する情報を記憶手段から読み出す読出手段と、
前記読出手段により読み出された情報に従って、アイコンを含む操作画像を生成し、生成した操作画像を表示装置に表示する表示制御手段と、
前記表示装置に表示されている操作画像に含まれるアイコンのうち、利用者が注目しているアイコンを判別する注目アイコン判別手段と、
前記注目アイコン判別手段により判別されたアイコンに対応する制御信号を出力する制御出力手段と、
を備え、
前記表示制御手段は、前記操作画像に含まれるアイコンを順次強調表示し、
前記注目アイコン判別手段は、前記利用者の脳波信号を取得し、取得した脳波信号の変化を検出する手段と、検出した脳波信号の変化時点において強調状態にあるアイコンを前記利用者が注目しているアイコンとして判別する手段と、を備える、
ことを特徴とする。
本実施の形態のスイッチ制御システム100は、利用者の手近な位置に設置された表示盤(モニター)に表示されるアイコン(選択指標)により生活環境に存在する機器を操作可能とするものである。
信号処理回路112は、アナログ信号処理回路、A/Dコンバータ、ディジタル信号処理回路等から構成され、プローブ111で検出された電圧信号を整形し、ノイズを除去して、脳波を示す検出信号を出力する。
次に、上記構成のスイッチ制御装置100の動作を説明する。
まず、設備の施工段階で、操作対象機器の種類に応じて、図10(a)、(b)に示すような構成のスイッチ(ボリュームを含む)17を設置する。
まず、情報処理装置13の制御部134は、機器制御装置14を介して供給された撮像画像を取り込む(ステップS11)。
こうした表示が繰り返されることになる。
この場合、利用者19は、図13(a)に示すようにアイコンI11が強調表示されているタイミングで、アイコンの選択指定を思考する。
この場合、利用者19は、13(e)に示すようにアイコンI41が強調表示されているタイミングで、アイコンの選択指定を思考する。
上記実施の形態においては、操作画像124を対応する識別タグ18に重ねて(半透明状態)で表示したが、操作画像124の表示位置は任意である。例えば、図14に示すように画面の端部に配置してもよい。
上記第1の実施の形態においては、操作対象の各スイッチ17について、スイッチ制御情報をタグ情報記憶部132に予め登録させておく必要がある。しかし、利用者19の生活環境にある(移動可能範囲にある)全てのスイッチ17のスイッチ制御情報をタグ情報記憶部132に予め登録するのは容易ではない。そこで、このような問題を解決できる第2の実施の形態を以下に説明する。
各識別タグ18をRFID等の非接触情報記憶媒体から構成し、対応するスイッチ17を制御するためのスイッチ制御情報を格納するようにしてもよい。
この場合、識別タグ18は、例えば、図17に示す構成を有し、メモリ231に隣接するスイッチ17を操作するためのスイッチ制御情報を格納しており、識別タグ18の表面には、識別図形が描かれている。
また、情報処理装置13は、識別タグ18と交信するための通信機能を備える。
以後の、情報処理装置13の動作は上述の第1の実施の形態における動作と同一である。
このような構成とすれば、情報処理装置13は、周囲の識別タグ18と交信することにより、周囲のスイッチ17を制御するためのスイッチ制御情報を自動的に取得して、操作可能とすることができ、利用者が移動する場合にも対応できる。
上記実施の形態においては、表示装置12として、設置型のものを例示したが、例えば、装着型のヘッドマウントディスプレイ等を利用することも可能である。
この場合、図19に示すように、ヘッドマウントディスプレイ(表示装置)125と撮像装置15とを一体化し、利用者が向いている方向の画像を撮像装置15で取得するようにしてもよい。また、取得した画像をヘッドマウントディスプレイ125に表示しても、或いは、ヘッドマウントディスプレイ125を半透過状態として、外部が見えるようにしてもよい。
また、表示画面の下部に定常操作パネルを表示するようにしてもよい。
上記実施の形態では、スイッチと識別タグとを1:1に対応付ける例を示したが、1:多或いは多:1に対応付けることも可能である。
以下、一例として、操作対象のスイッチと識別タグとを1:多に対応つける例を説明する。
この場合、図20に示すように、スイッチ制御システム100からコントローラ101に制御データが送信され、コントローラ101は、この制御データに従って、車両104のドライブ機構(駆動機構)102を制御する。
さらに、図22(b−1)に示すようなアイコンを生成し、図22(b−3)に示すように表示装置12に表示する。利用者は、行きたい方向を指示するアイコンを選択する。スイッチ制御装置100は、選択されたアイコンを検出し、コントローラ101に指示する。コントローラ101は、ドライブ機構102を制御して、指示された方向に車両104を進める。
第3の実施の形態では、利用者19が車両104を自らの意志で制御する例を示したが、車両104等を自動制御することも可能である。以下、車両104を自動制御する例を説明する。
コントローラ101は、スペードが描かれた識別タグ18の設置位置から「衣料品」が陳列されている位置(2Fの所定エリア)に到る経路を経路メモリ312から読み出す。
このような構成によれば、車両104を、自動制御することが可能となる。
第3、第4の実施の形態では、電動車椅子を制御する例を示したが制御対象は任意である。
例えば、デパートの例で示すと、エレベータを制御する場合などにも適用可能である。以下、本発明をエレベータを制御するシステムに適用した例を説明する。
本実施の形態においては、エレベータ内、例えば、ドアの内側に、識別タグ18が配置され、この識別タグ18に、図24(a)に示すような操作画像124が対応付けられている。
利用者19が、例えば、図24(b)の状態で、選択を意識すれば、アイコン「衣料品」が選択され、スイッチ制御システム100は、「衣料品」が選択されたことを判別し、衣料品が2階に相当することを検出する。制御部134は、機器制御装置14を制御して、エレベータに設置された受信機171に、「2階」を指示するコマンドを送信する。
エレベータのコントローラ172は、行き先階を2階にセットする。
上記実施の形態においては、撮像画像中の識別画像を検出し、これにより、アイコンを表示したが、非接触情報記憶媒体221を検出することにより、アイコンを表示するように構成してもよい。
この場合、非接触情報記憶媒体221は、図17に例示した構成を有し、メモリ231には、例えば、図25に例示する構成のスイッチ制御情報が格納される。
このスイッチ制御情報は、識別図形に関する情報を含んでいない。また、無線通信部232は、例えば、数メートル程度の通信距離を有する。
また、スイッチ制御システム100は、図18に示す構成又は無線通信部16を介して非接触情報記憶媒体221と交信する構成を有する。
次に、制御部134は、交信できた非接触情報記憶媒体221が存在するか否かを判別する(ステップS42)。
そして、利用者19が、所望のアイコンが強調表示されているタイミングで、そのアイコンの選択を希望することにより、脳波に変化が現れ、この変化が検出され、そのタイミングで強調されていたアイコンが特定され、そのアイコンに対応付けられている操作が実行される。
また、例えば、図27に示すように、利用者19の顔を撮影する撮像装置を配置し、撮像装置で撮影した画像から、利用者19の視線の方向を判別し、視線の位置にあるアイコンを選択するように構成してもよい。この場合には、アイコンを順次強調表示する必要はない。
12 表示装置
13 情報処理装置
14 機器制御装置
15 撮像装置
16 無線通信機
17 スイッチ
18 識別タグ
19 利用者
20 データベース(DB)サーバ
100 スイッチ制御システム
111 プローブ
112 信号処理回路
113 出力部
121 操作用画面
122 撮像画像
124 操作画像
123 定常操作パネル画像
125 ヘッドマウントディスプレイ
131 入力部
132 タグ情報記憶部
133 通信部
134 制御部
135 脳波記憶部
141 通信部
142 入出力部
143 制御部
171 受信機
172 コントローラ
173 アクチュエータ
Claims (7)
- 生活環境にある操作対象の存在を示す情報を検出する検出手段と、
前記検出手段が前記操作対象の存在を示す情報を検出したことに応答し、アイコンを含む操作画像を特定する情報を記憶手段から読み出す読出手段と、
前記読出手段により読み出された情報に従って、アイコンを含む操作画像を生成し、生成した操作画像を表示装置に表示する表示制御手段と、
前記表示装置に表示されている操作画像に含まれるアイコンのうち、利用者が注目しているアイコンを判別する注目アイコン判別手段と、
前記注目アイコン判別手段により判別されたアイコンに対応する制御信号を出力する制御出力手段と、
を備え、
前記表示制御手段は、前記操作画像に含まれるアイコンを順次強調表示し、
前記注目アイコン判別手段は、前記利用者の脳波信号を取得し、取得した脳波信号の変化を検出する手段と、検出した脳波信号の変化時点において強調状態にあるアイコンを前記利用者が注目しているアイコンとして判別する手段と、を備える、
ことを特徴とする制御システム。 - 前記検出手段は、画像信号を入力し、該画像信号が表す画像中の特定の図形を検出する特定図形検出手段から構成され、
前記記憶手段は、特定の図形と操作画像特定情報とを対応付けて記憶し、
前記読出手段は、前記特定図形検出手段により検出された特定の図形に対応する操作画像特定情報を読み出し、
前記表示制御手段は、読出手段により読み出された操作画像特定情報により特定される操作画像を前記表示装置に表示する、
ことを特徴とする請求項1に記載の制御システム。 - 前記検出手段は、前記操作対象の存在を指示する無線信号を検出する手段を備える、ことを特徴とする請求項1に記載の制御システム。
- 前記検出手段は、前記操作対象の近傍に配置された非接触情報記憶媒体を検出する手段を備え、
前記読出手段は、前記検出手段により検出された非接触情報記憶媒体に記憶されている操作画像を特定する情報を読み出す、ことを特徴とする請求項1に記載の制御システム。 - 前記表示制御手段は、撮像装置からの画像信号を受信し、受信した画像信号が定義する画像と操作画像特定情報により特定される操作画像とを合成して前記表示装置に表示する、ことを特徴とする請求項1に記載の制御システム。
- 前記表示装置は、透過型の表示装置から構成され、
前記表示制御手段は、前記表示装置に操作画像を表示する、ことを特徴とする請求項1に記載の制御システム。 - 生活環境にある操作対象の存在を検出し、
検出に応答し、操作画像を特定する情報を読み出し、
読み出した情報に従って、アイコンを含む操作画像を生成して表示し、
前記操作画像に含まれるアイコンを順次強調表示し、
利用者の脳波信号の変化を検出し、
検出した脳波信号の変化時点において強調状態にあるアイコンを前記利用者が注目しているアイコンとして判別し、
判別されたアイコンに対応する制御信号を前記操作対象に出力する、
ことを特徴とする制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008174402A JP5176112B2 (ja) | 2008-07-03 | 2008-07-03 | 制御システム及び制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008174402A JP5176112B2 (ja) | 2008-07-03 | 2008-07-03 | 制御システム及び制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010015360A JP2010015360A (ja) | 2010-01-21 |
JP5176112B2 true JP5176112B2 (ja) | 2013-04-03 |
Family
ID=41701428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008174402A Active JP5176112B2 (ja) | 2008-07-03 | 2008-07-03 | 制御システム及び制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5176112B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5630041B2 (ja) * | 2010-03-15 | 2014-11-26 | 株式会社ニコン | 電子装置 |
JP5743416B2 (ja) * | 2010-03-29 | 2015-07-01 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2013114466A (ja) * | 2011-11-29 | 2013-06-10 | Nikon Corp | 表示システム、表示方法およびプログラム |
US9927949B2 (en) | 2013-05-09 | 2018-03-27 | Amazon Technologies, Inc. | Recognition interfaces for computing devices |
US9448621B2 (en) * | 2013-12-20 | 2016-09-20 | Nokia Technologies Oy | Causation of display of information on a see through display |
US10613627B2 (en) | 2014-05-12 | 2020-04-07 | Immersion Corporation | Systems and methods for providing haptic feedback for remote interactions |
JP6656673B2 (ja) * | 2015-06-10 | 2020-03-04 | 株式会社Doog | 自律移動システム |
JP6373920B2 (ja) * | 2016-09-14 | 2018-08-15 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
JP6298130B2 (ja) * | 2016-09-14 | 2018-03-20 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
JP6790856B2 (ja) * | 2017-01-18 | 2020-11-25 | 株式会社デンソー | 電子情報処理システム及びコンピュータプログラム |
JP6794390B2 (ja) * | 2018-02-22 | 2020-12-02 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
JP2020013623A (ja) * | 2019-10-29 | 2020-01-23 | 株式会社Doog | 自律移動システム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4178697B2 (ja) * | 1999-11-18 | 2008-11-12 | ソニー株式会社 | 携帯型情報処理端末、情報入出力システム及び情報入出力方法 |
JP3949469B2 (ja) * | 2002-02-22 | 2007-07-25 | 三菱電機株式会社 | 脳波信号を用いた制御装置及び制御方法 |
JP4189440B2 (ja) * | 2006-06-21 | 2008-12-03 | パナソニック株式会社 | サービス提供システム |
JP4804263B2 (ja) * | 2006-08-08 | 2011-11-02 | 生活協同組合コープさっぽろ | 商品情報提供システム、商品情報提供方法、及びサーバシステム |
JP4272702B2 (ja) * | 2006-11-15 | 2009-06-03 | パナソニック株式会社 | 脳波識別方法の調整装置、方法およびコンピュータプログラム |
-
2008
- 2008-07-03 JP JP2008174402A patent/JP5176112B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010015360A (ja) | 2010-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5176112B2 (ja) | 制御システム及び制御方法 | |
US11783345B2 (en) | Cyber life electronic networking and commerce operating exchange | |
US10717189B2 (en) | Display control device, display control method, computer program product, and communication system | |
EP2890223B1 (en) | Method for controlling mobile terminal and program for controlling mobile terminal | |
JP5214968B2 (ja) | オブジェクト発見方法及びシステム、装置制御方法及びシステム及びインターフェース、ポインティング装置 | |
JP5356633B1 (ja) | 医療用内視鏡システム | |
ES2806025T3 (es) | Uso de HDMI-CEC para identificar un conjunto de códigos | |
CN105573492B (zh) | 交互式屏幕控制方法与装置 | |
CN101375235B (zh) | 信息处理装置 | |
CN110456782B (zh) | 控制装置和控制方法 | |
US20180203518A1 (en) | Control of a real world object user interface | |
CN103116397A (zh) | 运动识别装置、运动识别方法、操作装置、电子装置和程序 | |
CN107113544A (zh) | 物联网设备的3d映射 | |
KR20170026164A (ko) | 가상 현실 디스플레이 장치 및 그 장치의 표시 방법 | |
US20180104816A1 (en) | Robot device and non-transitory computer readable medium | |
US11163367B2 (en) | Method of obtaining gesture zone definition data for a control system based on user input | |
KR20130100881A (ko) | 홈 디바이스의 제어 장치, 제어 방법 및 제어를 위한 타임라인 ui | |
CN102668556A (zh) | 医疗支援装置,医疗支援方法以及医疗支援系统 | |
JP6439806B2 (ja) | ロボット装置及びプログラム | |
JP2007078270A (ja) | 空調システム | |
JP2006146803A (ja) | 操作装置及び遠隔操作システム | |
KR20190104495A (ko) | 식품 보관 장치 및 그 제어 방법 | |
JP2012156834A (ja) | リモコン装置及びプログラム | |
US11661007B2 (en) | Wireless mirror control device | |
JP6721023B2 (ja) | 情報処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121009 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5176112 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |