JP5756730B2 - 情報入力装置及びそのプログラム - Google Patents
情報入力装置及びそのプログラム Download PDFInfo
- Publication number
- JP5756730B2 JP5756730B2 JP2011221251A JP2011221251A JP5756730B2 JP 5756730 B2 JP5756730 B2 JP 5756730B2 JP 2011221251 A JP2011221251 A JP 2011221251A JP 2011221251 A JP2011221251 A JP 2011221251A JP 5756730 B2 JP5756730 B2 JP 5756730B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- graphic
- stroke
- display
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
さらに、上記タグ情報表示制御手段は、上記ディスプレイの表示画面を予め定めた任意の位置を中心に複数の表示領域に分割しておく。そして、一筆書きにより描画された一次元図形データを取り込んでこの一次元図形データの描画軌跡とその終始点の座標から当該一次元図形の描画方向を判定し、この判定された一次元図形の描画方向に対応する表示領域を上記複数の表示領域の中から選択する。そして、上記表示画面の一部であってかつ上記選択された表示領域に表示されているリンク情報に対し、上記固有の図形タグ情報を割り当て、この図形タグ情報を上記リンク情報に関連付けた状態で表示させるようにしたものである。
[構成]
図1は、この発明の一実施形態に係わる情報入力装置を用いた操作情報入力システムの概略構成図である。このシステムは、テレビジョン受信機2にカメラ4を装着すると共に、テレビジョン受信機2に情報処理装置3を接続したものとなっている。カメラ4は、ユーザ1の指の動きを用いたジェスチャを撮像し、その撮像画像データをUSBケーブルを介してテレビジョン受信機2へ出力する。なお、ユーザ1の指先には、指先の動きをより認識し易くするために例えばLED(Light Emitting Diode)を用いた発光マーカ6が装着される。
(1) 一筆書きジェスチャ認識処理部320の機能がOFFに設定されている状態で、カメラ4による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域(ジェスチャ開始領域)を設定する。そして、上記指位置検出部311により検出された発光マーカ5の描画点が上記ジェスチャ開始領域内に存在するか否かを判定し、存在すると判定された場合に上記一筆書きジェスチャ認識処理部320の機能をONに設定すると共に、ジェスチャの終点を検出するための検出ゾーン(Detection zone)を上記ジェスチャの認識領域内に設定する機能。
(1) テレビジョン受信機2の表示画面を上下左右の4つの表示領域に分割する処理。
(2) 一筆書きジェスチャにより描画された一次元図形データ(Unicursal Line)を取り込み、この取り込んだUnicursal Lineの描画軌跡とその終始点の座標から当該Unicursal Lineの描画方向を判定する機能。
(3) 上記(1) で分割された4つの表示領域のうち、上記(2) により判定されたUnicursal Lineの描画方向に対応する表示領域を選択し、この選択された表示領域に表示されているメニューに対し、上記一筆書き図形タグ蓄積部26に記憶されている各UFTの中から予め定められた選択条件を満たすものを選択して割り当てる処理。選択条件は、分割された4つの表示領域ごとに、当該表示領域の表示画面中心からの方向と描画方向が同一方向となるようなUFTを選択するように定められている。
(4) 上記割り当てられたUFTを、上記メニューに関連付けた状態でテレビジョン受信機2の表示画面に表示させる処理。
次に、以上のように構成された情報処理装置3による、ジェスチャを用いた入力情報の認識動作を説明する。
図3は、その全体の処理手順と処理内容を示すフローチャートである。なお、ここではテレビジョン受信機2のディスプレイに電子番組案内(Electronic Program Guide:EPG)情報を表示させ、このEPG情報に対しユーザ1がジェスチャにより番組の選択操作を行う場合を例にとって説明する。
ジェスチャ入力モードが設定されると、ステップS10によりリアルタイム処理発生ユニット40が起動し、タイマの計時時間Tが予め設定された時間、例えば33msecになるごとにステップS11においてイベント信号が発生される。すなわち、ジェスチァ入力モードでは33msec周期でイベント信号が発生される。なお、タイマの計時時間Tはイベント信号が発生されるごとにステップS12でリセットされる。
上記リアルタイム処理発生ユニット40からイベント信号が発生されると、先ずステップS20において撮像画像取得ユニット10が起動し、そのカメラ画像取得部11の制御の下で、カメラ4により撮像されたユーザ1の画像データが取り込まれてカメラ画像蓄積部21に記憶される。
上記指位置蓄積部25に新たな指位置座標が記憶されるごとに、ステップS30のステップS31において一筆書きジェスチャ認識処理ユニット30の一筆書きジェスチャ認識機能ON/OFF切替部310が起動され、この一筆書きジェスチャ認識機能ON/OFF切替部310の制御の下で以下のような処理が実行される。図4中のステップS312はその処理手順と処理内容を示すフローチャートである。
先ずステップS3121により一筆書きジェスチャ認識処理部320の機能がONであるか否かが判定される。そして、ここではまだONになっていないのでステップS3126に移行し、カメラ4による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域(ジェスチャ開始領域)を設定する。例えば図5(a)に示すように、ジェスチャの認識領域Cの中央にジェスチャ開始領域E1を設定する。そして、上記指位置検出処理(ステップS311)により検出された発光マーカ5の描画点の位置座標が上記ジェスチャ開始領域E1内に存在するか否かを判定する。
上記一筆書きジェスチャ認識機能がONとなった状態で、ユーザ1がジェスチャによるテレビジョン受信機2の操作を一旦中止するべく、指の位置を例えば図6(a)のL2に示すようにカメラ4の撮像範囲外、つまりジェスチャの認識領域Cの外へ移動させたとする。そうすると、一筆書きジェスチャ認識機能ON/OFF切替部310は、ステップS3121により一筆書きジェスチャ認識処理部320の機能がONであるか否かを判定し、ここではONになっているのでステップS3122に移行する。そして、指位置検出処理(ステップS311)により検出された発光マーカ5の描画点の位置座標が、上記ジェスチャの認識領域Cの外に出たか否かを判定する。
上記一筆書きジェスチャ認識機能がONとなった状態で、一筆書きジェスチャ認識処理部320は以下のようにジェスチャの認識処理を実行する。図7はその全体の処理手順と処理内容を示すフローチャートである。
さて、この状態でユーザ1の指に装着された発光マーカ5による描画点が上記検出ゾーンE2内に入ったことが検出されたとする。そうすると、ステップS3212によりジェスチャフラグが“TRUE”になっていることを確認した後、先ずステップS322により一筆書き図形の方向識別処理を実行する。
次にステップS323により一筆書き図形識別処理を実行する。この一筆書き図形識別処理は、指位置蓄積部25に記憶された指位置座標、つまり描画点の位置情報の集合を読み出し、この描画点の位置座標の集合により表される指の軌跡、つまりジェスチャにより描かれた図形の形状を、一筆書き図形蓄積部22に記憶された一筆書き図形モデルと照合することで識別する。
そして、上記ジェスチャにより描かれた図形の描画方向及び図形形状の識別処理が終了すると、ステップS3213によりジェスチャフラグ(Gesture Flag)を“False”にリセットする。
上記一筆書きジェスチャの認識処理が終了すると、ステップS40において表示画像処理ユニット50が起動され、この表示画像処理ユニット50の制御の下で、表示画像の更新処理が以下のように行われる。
すなわち、上記一筆書き図形の方向識別部322及び一筆書き図形識別部323によりそれぞれ識別されたジェスチャ図形の描画方向及び図形の種類をもとに、操作内容データベース23から対応する操作内容を表す情報が読出される。そして、この読み出された操作内容を表す情報をもとに、表示画像・映像蓄積部24から対応する画像や映像の表示データが読出され、この表示データをもとにテレビジョン受信機2の表示画面が更新される。
ところで、上記一筆書きジェスチャによる入力操作が行われる前に、表示画面処理ユニット50はステップS40において、メニューに対するUFTの割り当て及びその表示処理を以下のように実行する。図8はその処理手順と処理内容を示すフローチャートである。
表示画面処理ユニット50は、先ずステップS4011により、メニュー状態把握処理部51の制御の下でUnicursal Tag Flagが“TRUE”か否か、つまりWebページに表示中のメニューに対しUFTが割り当てられているか否かを判定する。この判定の結果、UFTがまだ割り当てられていなければ、ステップS402により一筆書き図形タグ表示部52を起動し、この一筆書き図形タグ表示部52の制御の下で以下のようにUFTの割り当て及び表示処理を実行する。
上記したようにメニューにUFTが割り当てられて表示された状態で、ユーザが所望のメニューを選択するべく、当該メニューに割り当てられたUFTにより表される図形を一筆書きジェスチャにより入力したとする。そうすると、この入力された図形は上記一筆書きジェスチャ認識処理部320により、図形の形状と描画方向をもとに認識される。
以上詳述したようにこの実施形態では、テレビジョン受信機2の表示画面に表示中のメニュー群に対し一筆書き図形タグ(UFT)を割り当て表示させる機能と、この表示されたUFTに応じジェスチャ入力が行われた場合に対応するリンク選択処理を行う機能とを備えている。このうち、UFTの割り当て表示機能は、テレビジョン受信機2の表示画面を上下左右の4つの表示領域に分割し、この状態で一筆書きジェスチャにより描画されたUnicursal Lineの描画方向を判定して、この判定されたUnicursal Lineの描画方向に対応する表示領域を上記分割された4つの表示領域の中から選択する。そして、この選択された表示領域に表示されているメニュー群に対し、一筆書き図形タグ蓄積部26に記憶されている各UFTの中から予め定められた選択条件を満たすものを選択して割り当てると共に、割り当てられたUFTを上記メニューに関連付けてテレビジョン受信機2の表示画面に表示させるようにしている。
Claims (3)
- ディスプレイに表示された情報ページに設定された、他の情報ページにアクセスするためのリンク情報に対し、一筆書きにより描かれる二次元図形の種類とその描画方向により表現される固有の図形タグ情報を割り当て、この図形タグ情報を前記リンク情報に関連付けた状態で前記情報ページに表示させるタグ情報表示制御手段と、
一筆書きにより描画された二次元図形データを取り込み、この取り込んだ二次元図形データの描画軌跡と終始点の座標から二次元図形の種類と描画方向を判定する図形判定手段と、
前記判定された二次元図形の種類と描画方向を前記情報ページに表示中の図形タグ情報と照合し、両者が一致した場合に当該表示中の図形タグ情報が関連付けられたリンク情報を選択するリンク情報選択手段と
を具備し、
前記タグ情報表示制御手段は、
前記ディスプレイの表示画面を予め定めた任意の位置を中心に複数の表示領域に分割する第1の手段と、
一筆書きにより描画された一次元図形データを取り込み、この取り込んだ一次元図形データの描画軌跡とその終始点の座標から当該一次元図形の描画方向を判定する第2の手段と、
前記分割された複数の表示領域のうち、前記判定された一次元図形の描画方向に対応する表示領域を選択し、前記表示画面の一部であってかつ前記選択された表示領域に表示されているリンク情報に対し、前記固有の図形タグ情報を割り当て、この図形タグ情報を前記リンク情報に関連付けた状態で表示させる第3の手段と
を備えることを特徴とする情報入力装置。 - 前記第3の手段は、前記分割された複数の表示領域の各々について、その分割中心となる位置からの当該表示領域の方向と描画方向が同一の図形タグ情報を選択し、この選択された図形タグ情報を当該表示領域に表示されているリンク情報に対し割り当て、この図形タグ情報を前記リンク情報に関連付けた状態で表示させることを特徴とする請求項1記載の情報入力装置。
- 請求項1又は請求項2に記載の情報入力装置が具備する各手段の処理をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011221251A JP5756730B2 (ja) | 2011-10-05 | 2011-10-05 | 情報入力装置及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011221251A JP5756730B2 (ja) | 2011-10-05 | 2011-10-05 | 情報入力装置及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013080439A JP2013080439A (ja) | 2013-05-02 |
JP5756730B2 true JP5756730B2 (ja) | 2015-07-29 |
Family
ID=48526750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011221251A Active JP5756730B2 (ja) | 2011-10-05 | 2011-10-05 | 情報入力装置及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5756730B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5873766B2 (ja) * | 2012-06-19 | 2016-03-01 | 日本電信電話株式会社 | 情報入力装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4524795B2 (ja) * | 2004-11-25 | 2010-08-18 | 富士ゼロックス株式会社 | 情報処理装置 |
JP4396586B2 (ja) * | 2005-06-22 | 2010-01-13 | ソニー株式会社 | プログラム、情報処理方法、情報処理装置 |
JP4926125B2 (ja) * | 2008-02-04 | 2012-05-09 | 日本電信電話株式会社 | ウェブページ情報表示装置および方法 |
EP2323019A4 (en) * | 2008-09-03 | 2014-04-16 | Nec Corp | GESTURE INPUT OPERATING DEVICE, METHOD, PROGRAM, AND PORTABLE DEVICE |
-
2011
- 2011-10-05 JP JP2011221251A patent/JP5756730B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013080439A (ja) | 2013-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105339900B (zh) | 代理手势识别器 | |
US9207806B2 (en) | Creating a virtual mouse input device | |
US20120176308A1 (en) | Method for supporting multiple menus and interactive input system employing same | |
US20130191768A1 (en) | Method for manipulating a graphical object and an interactive input system employing the same | |
US9623329B2 (en) | Operations for selecting and changing a number of selected objects | |
US9430089B2 (en) | Information processing apparatus and method for controlling the same | |
US9619134B2 (en) | Information processing device, control method for information processing device, program, and information storage medium | |
JP5756730B2 (ja) | 情報入力装置及びそのプログラム | |
JP5756762B2 (ja) | ジェスチャ認識装置及びそのプログラム | |
CN105378636B (zh) | 触摸用户界面方法和成像装置 | |
JP5668005B2 (ja) | ジェスチャ認識装置及びそのプログラム | |
JP5062898B2 (ja) | ユーザインタフェイス装置 | |
JP2013080433A (ja) | ジェスチャ認識装置及びそのプログラム | |
JP5873766B2 (ja) | 情報入力装置 | |
KR102067295B1 (ko) | 전자 장치, 표시 제어 방법, 및 기록 매체 | |
JP5917461B2 (ja) | 情報処理装置、プログラム | |
JP5756729B2 (ja) | ジェスチャ認識装置及びそのプログラム | |
JP5431911B2 (ja) | コンテンツ表示装置 | |
CN113093961B (zh) | 窗口切换方法、存储介质及相关设备 | |
US20130187893A1 (en) | Entering a command | |
US9950542B2 (en) | Processing digital ink input subject to monitoring and intervention by an application program | |
JP5449088B2 (ja) | 情報入力装置 | |
JP5546029B2 (ja) | ジェスチャ認識装置及びそのプログラム | |
CN103885673B (zh) | 对象选择设备和对象选择方法 | |
JP2014215815A (ja) | 入力装置および入力制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130515 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5756730 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |