JP3851601B2 - 携帯端末装置 - Google Patents

携帯端末装置 Download PDF

Info

Publication number
JP3851601B2
JP3851601B2 JP2002282953A JP2002282953A JP3851601B2 JP 3851601 B2 JP3851601 B2 JP 3851601B2 JP 2002282953 A JP2002282953 A JP 2002282953A JP 2002282953 A JP2002282953 A JP 2002282953A JP 3851601 B2 JP3851601 B2 JP 3851601B2
Authority
JP
Japan
Prior art keywords
cursor
terminal device
movement
mobile terminal
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002282953A
Other languages
English (en)
Other versions
JP2004120514A (ja
Inventor
斉藤  均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2002282953A priority Critical patent/JP3851601B2/ja
Publication of JP2004120514A publication Critical patent/JP2004120514A/ja
Application granted granted Critical
Publication of JP3851601B2 publication Critical patent/JP3851601B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Calculators And Similar Devices (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Set Structure (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は携帯端末装置に関するものである。
【0002】
【従来の技術】
携帯端末装置(PDA)において、マウスカーソルを動かす信号を生成する方法として操作者の画像を取りこみ、視線の動きや瞬きでクリック、頷きや首振りなどでカーソル移動を行なうアイデアは従来から存在する。これらはマウスカーソルの動作に手指の動きを必要としないのでキー入力に集中できる利点がある。(例えば、特許文献1、2参照)
しかし同時に、マウスカーソルの操作に顔面の動きなどを必要とし、手の動きだけではマウスカーソルを操作できないので操作がどうしても遅くなる欠点がある。また、手指以外の場所でマウスカーソル操作を行なうので意図せず瞬きや首振りをした結果、誤操作となることもある。
【0003】
文字入力にタッチパネルを使用した例もあるが、携帯端末装置では表示板が小さいため、五十音表などを使用すると表示が非常に細かくなり、押し間違いをしやすくなる。
【0004】
【特許文献1】
特開平11−345073号公報(第2〜3頁、第3図)
【特許文献2】
特開平7−23263号公報(第2〜3頁、第6頁)
【0005】
【発明が解決しようとする課題】
本発明は上記事実を考慮し、カメラからの画像を元にしてポインティングを行ない、文字入力時のカーソル移動を行なう携帯端末装置を提供することを課題とする。
【0006】
【課題を解決するための手段】
請求項1に記載の携帯端末装置は、携帯端末全体を上下左右に振っても撮影可能な位置にある外部の映像を撮影して取り込むことのできる撮影手段と、前記映像を表示する表示部と、前記表示部に表示された映像内の特定の箇所を座標基準として設定可能な設定手段と、前記撮影手段で撮影され基準として設定された前記特定箇所の前記座標基準に対する移動量を検出する検出手段と、前記表示部にソフトウェアキーボードを表示し表示されたキーをX方向成分とY方向成分に基づいて移動するカーソルで選択し決定することで入力が可能な入力画面に切替え可能な切替え手段と、前記移動量を前記入力画面上のX方向成分とY方向成分とに数値化する解析手段と、を備えたことを特徴とする。
【0007】
上記構成の発明では、撮影した画像のうち特定の2箇所をそれぞれX方向の座標基準及びY方向の座標基準とした時に、撮影手段から随時取り込まれる画像の特定箇所のX方向およびY方向の移動量を表示部に表示されたソフトウェアキーボード上のX成分とY成分に換算し、このX成分とY成分に基づいてカーソルを動かし、決定する。
【0008】
請求項2に記載の携帯端末装置は、座標基準に対する前記特定箇所の移動に対応する前記カーソルの移動方向をX方向、Y方向とも独立して切替え可能であることを特徴とする。
【0009】
上記構成の発明では、例えば携帯端末装置を上に向けるとカーソルが下に動く所謂リバース操作と、カーソルが上に動く所謂ノーマル操作とを使用者が使い分けることができる。左右方向に関しても同様である。
【0010】
請求項3に記載の携帯端末装置は、カーソルの移動量が映像内での前記特定箇所の移動速度に対応することを特徴とする。
【0011】
上記構成の発明では、携帯端末装置をゆっくり振った時にはカーソルが少し動き、素早く振った時にはカーソルが大きく動くため、操作が迅速に行なえる。
【0012】
請求項4に記載の携帯端末装置は、カーソルリターンは装置本体に設けられたリターンキーで行なわれることを特徴とする。
【0013】
上記構成の発明では、カーソルリターンを装置本体に設けられたリターンキーで行なうことができるため、決定するために再度装置を動かす必要がない。
請求項5に記載の携帯端末装置は、本体に内蔵したセンサからの検知信号で前記カーソルの移動を行うことを特徴とする。
上記構成の発明では、周囲に適当な映像が存在しない場合でも本体に内蔵した水準器や速度センサからの検知信号でカーソルの移動を行える。
【0014】
【発明の実施の形態】
図1には、第1形態に係る携帯端末装置の斜視図が示されている。
【0015】
図1に示すように、携帯端末装置10は表示部12と操作部14が連結部18で開閉可能に連結された構造となっている。
【0016】
表示部12の表示面20にはディスプレイ26が設けられ、電話帳やWEBブラウザなどの他に文字入力のための五十音表を含む入力画面や、文字入力用のカーソル移動の基準箇所を決定する初期設定画面などを表示する。
【0017】
連結部18にはカメラ16が設けられ、使用時には光軸がディスプレイ26と直交する。カメラ16で撮影し、取りこんだ画像の特定箇所は座標基準として設定することができる。
【0018】
操作部14の操作面22には操作ボタン24が設けられ、電話のダイヤル等の他に、文字入力時の決定、取り消しなどの操作を行なう。
【0019】
図2には、第1形態に係る携帯端末装置のブロック図が示されている。
【0020】
図2に示すように、カメラ16でカーソル移動のための座標基準となる外部の映像を撮影し、画像処理回路32で後述する白黒の二値化を行なう。基準値はメモリ36上に記憶され、次いでカーソル移動のための画像解析が開始される。
【0021】
カーソル移動のために使用者がカメラ16ごと携帯端末装置10を上下左右に振ると、撮影画像も同時に動き、前記座標基準となった画像からズレが発生する。このズレを画像解析回路34にて解析し、座標基準からの移動量としてCPU30に送る。CPU30ではメモリ36に記憶された基準値と前記移動量を比較し、カーソル移動量に換算する。得られたカーソル移動量はディスプレイ回路38に送られ、ディスプレイ26上でカーソルの移動として表示される。
【0022】
図3には、第1形態に係る携帯端末装置の動作説明図が示されている。
【0023】
図3に示すように、カーソル移動のための座標基準を設定するためには、使用者はまずカメラ16で何らかの画像を撮影する(a)。ここでは使用者自身を背景ごと撮影している(b)。撮影された画像は表示部16のディスプレイ26に表示画面40として表示される。表示画面40を確認した使用者が操作ボタン24で決定すれば、撮影された画像は初期値設定画像として記憶される。
【0024】
次に撮影した画像を解析し、白黒の二値に分離する。各画素の明るさを求め、ある一定の値すなわち閾値を越えたものを白、閾値に達しないものを黒として区分する。屋外であれば空、室内であれば明るい窓などを背景として使用者自身を撮影し、二値化すれば撮影者のシルエットとなり、ディスプレイ26に表示される(c)。このシルエットの顔部分を、ポインティングの基準となるエリア42とする。
【0025】
ここで、表示画面に記されたxおよびy座標の規準線28xおよび28yと、エリア42の交点が1箇所づつ選択され、それぞれx1およびy1として記憶される。輪郭が明瞭でない、背景との明暗差が足りないなどの理由で明確なエリア42が定義できない場合は、エラーメッセージがディスプレイ26に表示され、(a)に戻る。
【0026】
エリア42が正しく定義され、28xおよび28yとの交点x1およびy1が操作キーの操作により確定し、記憶されたのち文字入力モードとなる。
【0027】
図4に示すようなソフトウェアキーボード44が表示され、カーソル46により選択された文字が画面上方に表示される。この実施例では10行×7段の表示となる。
【0028】
ここで図3(d)のようにディスプレイ26の表示画面40上で左端からx1までをdx、上端からy1までをdyとし、左右長をH、上下長をVとすると、カーソル46の初期位置はx=10dx/H(行目)、y=7dy/V(段目)となる。(端数切捨て、原点は画面左上)
ここからカーソル46を上下左右に移動させるためには、図5のように携帯端末装置10全体を上下左右に振る。これによって図6のようにカメラ16で撮影されているエリア42が上下左右に動き、dxおよびdyが変化する。
【0029】
このとき図3(c)で記憶されたx1、y1におけるdx、dyを基準として、携帯端末装置10を振ったことによるdx、dyの変位量をソフトウェアキーボード44上のカーソル46の移動量に換算し、カーソル46を移動させる。
【0030】
たとえば図7のように「通信」と入力する場合はカーソル46を「つ」に移動させ操作ボタン24で決定、同様に「う」「し」「ん」と入力して操作ボタン24で変換を選択すると図7のような変換候補一覧48が表示される。
【0031】
変換候補一覧48の中から、携帯端末装置10を上下に振ることによりカーソル50を移動させて希望する候補を選択し、操作ボタン24で決定する。以上の操作、すなわちボタン操作6回で「通信」と入力することができる。
【0032】
ここでカーソル46の移動量は本実施例のように10行×7段の場合、縦Vドット、横Hドットとして、dxがH/10ドット移動すればカーソル46が横に1マス移動するように設定してもよいが、ディスプレイ26がLCD表示板の場合は、余り正面から外れた位置から角度を付けて見ると明暗が識別しにくくなるため、携帯端末装置10の振れ量とカーソル46の移動量に適宜係数を設定し、少しの振れ量でカーソル46が移動するようにしてもよい。
【0033】
しかし、カーソル46をソフトウェアキーボード44の端から端へ移動させたい場合など、ディスプレイ26を目視しながら携帯端末装置10を傾けるのは操作性が悪い。さらに、カーソル46を1マスだけ移動させる際には移動量が敏感過ぎても操作性が悪い。そこで携帯端末装置10をゆっくり振ったとき、カーソル46は振れ量よりも少なく移動し、素早く振ったときはカーソル46は大きく移動するようにすれば、カーソル46を迅速かつ正確に移動できる。この場合、エリア42の移動量とカーソル46の移動量をカーソル移動後に補正する必要がある。
【0034】
さらに本実施例では、図6のように携帯端末装置10を上に向ければカーソル46が下へ移動する、所謂リバース操作が基本となるが、使用者の好みで適宜変更できる機能を持たせ、携帯端末装置10を上に向けるとカーソル46も上に移動する、所謂ノーマル操作と切替えられるようにすれば更に使い易くなる。
【0035】
さらに、本願のx、y方向に加えて斜め方向の動きも検出できるようにすることで更に複雑な処理も可能となる。
【0036】
すなわち、z1(x1、y1)からz2(x2、y2)への移動量Δzを
Δz=z1−z2=√((x1−x2)^2 + (y1−y2)^2)
として検出し、目や鼻などの座標をピンポイントで基準に設定することで、より高速にカーソルを制御できる。
【0037】
なお、本実施例では操作ボタン24で決定を行なっているが、ソフトウェアキーボード44上のリターンキーにより決定を行なってもよい。この場合、リターンキー上にカーソル46を1秒以上置けばリターンとなる等の設定を行なう。
【0038】
また、カメラ16による撮影映像ではなく、水準器や速度センサを本体に内蔵させ、携帯端末装置10のxy方向の傾きを検知することでカーソル46を移動させてもよい。
【0039】
【発明の効果】
本発明は上記構成としたので、カメラからの画像を元にしてポインティングを行ない、文字入力時のカーソル移動を行なう携帯端末装置を提供することができた。
【図面の簡単な説明】
【図1】本実施形態1に係る携帯端末装置の斜視図である。
【図2】本実施形態1に係る携帯端末装置のブロック図である。
【図3】本実施形態1に係る携帯端末装置の使用説明図である。
【図4】本実施形態1に係る携帯端末装置の文字入力画面である。
【図5】本実施形態1に係る携帯端末装置の使用説明図である。
【図6】本実施形態1に係る携帯端末装置の文字入力概念図である。
【図7】本実施形態1に係る携帯端末装置の漢字変換画面である。
【符号の説明】
10 携帯端末装置
12 表示部
14 操作部
16 カメラ
18 連結部
20 表示面
22 操作面
24 操作ボタン
26 ディスプレイ
30 CPU
40 表示画面
44 五十音表
46 カーソル
48 変換候補一覧

Claims (5)

  1. 携帯端末全体を上下左右に振っても撮影可能な位置にある外部の映像を撮影して取り込むことのできる撮影手段と、
    前記映像を表示する表示部と、
    前記表示部に表示された映像内の特定の箇所を座標基準として設定可能な設定手段と、
    前記撮影手段で撮影され基準として設定された前記特定箇所の前記座標基準に対する移動量を検出する検出手段と、
    前記表示部にソフトウェアキーボードを表示し表示されたキーをX方向成分とY方向成分に基づいて移動するカーソルで選択し決定することで入力が可能な入力画面に切替え可能な切替え手段と
    前記移動量を前記入力画面上のX方向成分とY方向成分とに数値化する解析手段と、
    を備えたことを特徴とする携帯端末装置。
  2. 前記座標基準に対する前記特定箇所の移動に対応する前記カーソルの移動方向をX方向、Y方向とも独立して切替え可能であることを特徴とする請求項1に記載の携帯端末装置。
  3. 前記カーソルの移動量が映像内での前記特定箇所の移動速度に対応することを特徴とする請求項1に記載の携帯端末装置。
  4. カーソルリターンは装置本体に設けられたリターンキーで行なわれることを特徴とする請求項1に記載の携帯端末装置。
  5. 本体に内蔵したセンサからの検知信号で前記カーソルの移動を行うことを特徴とする請求項1乃至請求項4の何れかに記載の携帯端末装置。
JP2002282953A 2002-09-27 2002-09-27 携帯端末装置 Expired - Fee Related JP3851601B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002282953A JP3851601B2 (ja) 2002-09-27 2002-09-27 携帯端末装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002282953A JP3851601B2 (ja) 2002-09-27 2002-09-27 携帯端末装置

Publications (2)

Publication Number Publication Date
JP2004120514A JP2004120514A (ja) 2004-04-15
JP3851601B2 true JP3851601B2 (ja) 2006-11-29

Family

ID=32276964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002282953A Expired - Fee Related JP3851601B2 (ja) 2002-09-27 2002-09-27 携帯端末装置

Country Status (1)

Country Link
JP (1) JP3851601B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3926837B2 (ja) 2004-06-04 2007-06-06 松下電器産業株式会社 表示制御方法および装置、プログラム、並びに携帯機器
FI20045300A (fi) 2004-08-17 2006-02-18 Nokia Corp Elektroninen laite ja menetelmä elektronisen laitteen toimintojen ohjaamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi
US7808478B2 (en) 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Autonomous handheld device having a drawing tool
US7864982B2 (en) * 2005-08-22 2011-01-04 Samsung Electronics Co., Ltd. Displacement and tilt detection method for a portable autonomous device having an integrated image sensor and a device therefor
KR100772909B1 (ko) 2006-05-30 2007-11-05 삼성전자주식회사 이미지 검색 방법 및 장치
JP5477833B2 (ja) * 2007-01-15 2014-04-23 カシオ計算機株式会社 ポインティング装置、ポインティング方法及びプログラム
JP2009070369A (ja) * 2007-08-23 2009-04-02 Fujifilm Corp 携帯型電子機器
DE102007059273A1 (de) * 2007-12-08 2009-06-18 T-Mobile Internationale Ag Virtuelle Tastatur eines mobilen Endgerätes
TWI526879B (zh) 2015-01-30 2016-03-21 原相科技股份有限公司 互動系統、遙控器及其運作方法

Also Published As

Publication number Publication date
JP2004120514A (ja) 2004-04-15

Similar Documents

Publication Publication Date Title
US10768714B2 (en) Electronic device and a method for controlling the functions of the electronic device as well as program product for implementing the method
JP6153564B2 (ja) カメラとマーク出力とによるポインティング装置
US7315751B2 (en) Portable apparatus including improved pointing device
KR20020052217A (ko) 이미지 센서를 이용한 전자 기기
JP2006010489A (ja) 情報装置、情報入力方法およびプログラム
JP2002351603A (ja) 携帯情報処理装置
JP3649242B2 (ja) 携帯電話装置および携帯電話装置の文字入力方法
US20100085469A1 (en) User input apparatus, digital camera, input control method, and computer product
JP3851601B2 (ja) 携帯端末装置
JPH0757103A (ja) 情報処理装置
JP2005301583A (ja) タイピング入力装置
JP4685708B2 (ja) 携帯端末装置
US9785253B2 (en) Pointing device using camera and outputting mark
KR20070054569A (ko) 휴대폰 카메라를 이용한 사용자 인터페이스 장치 및 그제공 방법
JP2005346453A (ja) 画像表示装置
JP2003099196A (ja) 会議等支援用画像投影装置
JP2007102415A (ja) 2つの入力モードを有する携帯端末、プログラム及び携帯端末への指令入力方法
CN102902468A (zh) 移动终端地图浏览方法和装置
JP2002049455A (ja) 入力インタフェース装置、及び該装置を具備する携帯情報装置
JP2006099228A (ja) データ処理装置及びプログラム
JP2010122735A (ja) インタフェース装置及びインタフェース用プログラム
KR100734022B1 (ko) 카메라를 이용한 키 선택 인식이 가능한 이동 통신 단말기및 그 인식 방법
JP2005092839A (ja) 操作者微小部分を基準とする情報端末
JP3749810B2 (ja) 映像情報入力装置
JP2015216484A (ja) 撮像装置、画像処理方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060901

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090908

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090908

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090908

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100908

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100908

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110908

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130908

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees