JP3649242B2 - Mobile phone device and character input method for mobile phone device - Google Patents
Mobile phone device and character input method for mobile phone device Download PDFInfo
- Publication number
- JP3649242B2 JP3649242B2 JP2004027880A JP2004027880A JP3649242B2 JP 3649242 B2 JP3649242 B2 JP 3649242B2 JP 2004027880 A JP2004027880 A JP 2004027880A JP 2004027880 A JP2004027880 A JP 2004027880A JP 3649242 B2 JP3649242 B2 JP 3649242B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- character
- mobile phone
- unit
- phone device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephone Function (AREA)
- Input From Keyboards Or The Like (AREA)
Description
この発明は、電話帳や電子メールの作成のための文字入力機能を備えた携帯電話機に代表される携帯端末装置に関する。 The present invention relates to a mobile terminal device typified by a mobile phone having a character input function for creating a telephone book or an e-mail.
従来、携帯電話機などの携帯端末装置では、電話帳や電子メールなどを作成するための文字入力手段として、一般にキーパッドのテンキーと、マルチファンクションキーなどの機能キーとが用いられ、以下の操作により文字入力を行っている。先ずテンキーのトグル入力操作により入力すべき文字の読み仮名を入力し、次に機能キーを用いた変換操作により前記入力済み読み仮名に対応する複数の漢字変換候補を表示し、最後に機能キーを用いた確定操作により前記漢字変換候補の中から所望の漢字を選択し確定するようにしている。すなわち、前記文字入力手段では、文字入力操作のすべてをキー操作に頼っている。 Conventionally, in a mobile terminal device such as a mobile phone, a numeric keypad of a keypad and a function key such as a multifunction key are generally used as character input means for creating a telephone book, an e-mail, etc. You are entering characters. First, input the kana of the character to be input by the toggle input operation of the numeric keypad, then display a plurality of kanji conversion candidates corresponding to the input kana by the conversion operation using the function key, and finally press the function key. A desired kanji is selected from the kanji conversion candidates and confirmed by the confirmation operation used. That is, the character input means relies on key operations for all character input operations.
具体例として、例えば一般的な携帯電話機では、前記読み仮名入力の方式として、テンキーを構成する「1」〜「0」キーのそれぞれに50音の各行の仮名を割り当て、それらの中からいずれかのキーを選択して押下すると、そのキーに割り当てられた行の仮名がキーを押下した回数により順次変化して表示される方式が採用されている。 As a specific example, for example, in a general mobile phone, as a method of inputting the reading kana, kana of each line of 50 tones is assigned to each of “1” to “0” keys constituting the numeric keypad, and any one of them is selected. When a key is selected and pressed, a method is adopted in which the kana of the line assigned to the key is sequentially changed and displayed according to the number of times the key is pressed.
この場合、例えば「1」キーを5回押下すると、あ行の「お」が入力される。また、濁点付きの仮名入力では、例えば「か」を入力した後に、濁点を付けるキー入力操作を行うことにより、「が」が入力される。また拗音の入力では、濁点付きの仮名入力と同様に、先に通常の仮名を入力した後に、拗音用の特殊キーを押下して通常の仮名を拗音に切り替えるか、同じキーを6回押下する方式が採用される。 In this case, for example, when the “1” key is pressed five times, “o” in the line is input. In the kana input with a cloud point, for example, “ga” is input by performing a key input operation for adding a cloud point after inputting “ka”. In the input of stuttering, as in the case of kana input with a muddy point, after inputting a normal kana first, the special key for stuttering is pressed to switch the normal kana to stuttering, or the same key is pressed six times. The method is adopted.
しかし、このような文字入力操作では、目的の文字を入力するために、テンキーの押下回数が多くなり、操作性が悪いという問題点を有する。 However, such a character input operation has a problem in that the number of times the numeric keypad is pressed increases in order to input a target character, and the operability is poor.
そこで、従来例におけるこのような操作性の悪さを解消するようにした携帯端末の一例として、50音をマトリックス状に配置して、文字入力操作時のキーの押下回数を少なくしたものが提案されている(例えば特許文献1)。 Therefore, as an example of a portable terminal that eliminates such poor operability in the conventional example, a device in which 50 sounds are arranged in a matrix and the number of key presses during character input operation is reduced is proposed. (For example, Patent Document 1).
また、他の例として、加速度センサを用いた加速度検出手段を設け、この加速度検出手段の検出出力に基づき、携帯端末装置に加えられた動きの移動軌跡を求めて表示器にその移動軌跡を表示し、その移動軌跡が表示された状態で確定操作が行われると、前記移動軌跡を入力文字として認識するようにした携帯端末装置も提案されている(例えば特許文献2)。この場合、あたかも手書き入力のように読み仮名を入力できる。また、この特許文献2では、動きの方向および移動量を検出することで、ファンクションキーの操作に頼ることなく、入力文字の選択や確定を行うことが提案されている。
As another example, acceleration detection means using an acceleration sensor is provided, and based on the detection output of the acceleration detection means, a movement locus of movement applied to the mobile terminal device is obtained and the movement locus is displayed on the display. A mobile terminal device has also been proposed that recognizes a moving locus as an input character when a confirmation operation is performed in a state where the moving locus is displayed (for example, Patent Document 2). In this case, the reading kana can be input as if it were handwritten input. Further, in
しかしながら、上述した特許文献1の携帯端末装置の場合も、文字入力のために仮名1文字あたり最低2回のキー押下が必要となる。また、1回目のキー押下により、次のキー押下とそれにより入力される文字との対応一覧表を表示することで操作性を向上させようとすると、1回目の入力操作→表示→2回目の入力操作と、前後の入力処理の間に表示処理を入れる必要があり、処理が複雑になって入力操作の高速化に対応できないという問題がある。
However, in the case of the above-described portable terminal device of
また、特許文献2の携帯端末装置の場合には、本来の携帯端末装置には必要でない加速度センサを付加する必要があるばかりか、その出力を2回積分して移動方向および移動量を検出する機能も必要となり、この機能を精度良く実現するためには処理が複雑で高価になるという問題がある。
In addition, in the case of the portable terminal device of
この発明は、上述の点に鑑みてなされたもので、最小限のキー押下で確実な文字入力が可能で、文字入力操作性を向上させることができる携帯端末装置を提供することを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to provide a portable terminal device capable of reliably inputting characters with minimum key presses and improving character input operability. .
本発明に係る携帯電話装置は、
映像を撮像する撮像部と、
前記撮像部から出力される映像信号から、画面を構成する領域毎に動きベクトルを検出し、前記検出された複数の動きベクトルに基づく画面全体の動きベクトルを検出する動きベクトル検出部と、
複数のキーを有するキー操作部と、
前記キー操作部からの出力及び前記動きベクトル検出部からの出力と、文字とを対応付けたデータテーブルに基づいて、入力文字を選択する文字入力確定部と、
前記文字入力確定部で選択された文字を表示する表示部と
を備える。
The mobile phone device according to the present invention is
An imaging unit for imaging video;
A motion vector detection unit that detects a motion vector for each area constituting the screen from the video signal output from the imaging unit, and detects a motion vector of the entire screen based on the detected plurality of motion vectors ;
A key operation unit having a plurality of keys;
An output from the output and the motion vector detecting unit from the key operation unit, and based on the data table associating a character, and a character input confirmation unit for selecting an input character,
Obtain Bei a display unit <br/> displaying the character input determination unit at selected character.
本発明に係る携帯電話装置によれば、映像を撮像する撮像部と、前記撮像部から出力される映像信号から、画面を構成する領域毎に動きベクトルを検出し、前記検出された複数の動きベクトルに基づく画面全体の動きベクトルを検出する動きベクトル検出部と、複数のキーを有するキー操作部と、前記キー操作部からの出力及び前記動きベクトル検出部からの出力と、文字とを対応付けたデータテーブルに基づいて、入力文字を選択する文字入力確定部と、前記文字入力確定部で選択された文字を表示する表示部とを備えているので、携帯電話装置を上下左右に振るジェスチャー操作を動きベクトル検出手段で検出して、文字入力情報に用いることが可能となる。
According to the mobile phone device of the present invention, a motion vector is detected for each region constituting a screen from an image capturing unit that captures an image and a video signal output from the image capturing unit, and the detected plurality of motions associating a motion vector detecting section for detecting a motion vector of the entire screen based on the vector, a key operation unit having a plurality of keys, and the output from the output and the motion vector detecting unit from the key operation unit, and a character and in based on the data table, and a character input confirmation unit for selecting an input character, because a display unit that displays the character input determination unit at selected character, vertically and horizontally mobile telephone device A shaking gesture operation can be detected by the motion vector detection means and used for character input information.
実施の形態1.
図1はこの発明の実施の形態による携帯端末装置における文字入力機構の概略構成を示すブロック図であり、図2にはその携帯端末装置の外観斜視図を示す。この携帯端末装置1(図2)は撮像機能付きの携帯電話機であって、その文字入力機構2(図1)は、撮像部3、動きベクトル検出部4、キー操作部5、文字入力確定部6、および表示部7を備えている。
FIG. 1 is a block diagram showing a schematic configuration of a character input mechanism in a mobile terminal device according to an embodiment of the present invention, and FIG. 2 shows an external perspective view of the mobile terminal device. The mobile terminal device 1 (FIG. 2) is a mobile phone with an imaging function, and its character input mechanism 2 (FIG. 1) includes an
撮像部3は、静止画および動画を撮像する手段であって、光学レンズ、CCDやCMOS等のイメージセンサ、駆動回路等で構成され、その映像出力は圧縮回路部(図示せず)によりJPEGやMPEG等の各種フォーマットに圧縮される。
The
動きベクトル検出部4は、撮像部3の映像出力から動きベクトルを検出する手段であって、具体的には、前後のフレーム間の画像の相対関係を利用して前後のフレーム間でどの方向にどれだけ画像が移動したかを演算する。この動きベクトル検出部4には、動画を送信するときの動画圧縮のための符号化手段として用意された動きベクトル検出回路(画面における各マクロブロック単位の動きベクトルを検出する)が一部兼用される。
The motion
ここで、図3に示すブロック図を用いて動きベクトル検出部4の構成の一例を説明する。
撮像部3から出力される映像信号はA/Dコンバータ41でA/D変換され、それらの信号が画面における各マクロブロック単位で前フレームブロックメモリ42に記憶される。これと並行して、画素シフト回路43は、各マクロブロックの画素位置(アドレス)からシフト方向およびシフト量の異なる各位置にシフトした画素の映像信号を取り込み、これらの信号が次段の絶対値総和回路44に入力される。絶対値総和回路44では、前フレームブロックメモリ42から読み出された前フレームでの各マクロブロックの画素の絶対値と、画素シフタ43で画素位置をシフトさせた次フレームの各マクロブロックの画素の絶対値との総和が、各マクロブロック単位で求められる。
Here, an example of the configuration of the motion
The video signal output from the
次段の各ブロック最小検出回路45では、各マクロブロックにおける絶対値総和の最小値を求めて動きベクトルを検出する。そして、次段の平均化回路46では、マクロブロックごとの動きベクトル値を画面内で平均化することで、画面全体の動きベクトルとする。
Each block
この動きベクトル検出部4において、A/Dコンバータ41から絶対値総和回路44にわたる部分は、動画圧縮のための符号化手段として動画機能付きの携帯電話機に備わっている回路を兼用した回路部分である。これにより、動きベクトル検出部4の構成を簡略化でき、コスト低減が可能となる。
In this motion
また、図4に示すブロック図を用いて動きベクトル検出部4の他の構成例について説明する。なお、より具体的な説明は特許第2641599号にてなされているので、以下においては簡単な説明に止める。
Further, another configuration example of the motion
この例では、手ぶれ補正に用いられるような代表点マッチング法により画面全体の動きベクトルを検出するようにしている。すなわち、代表点マッチング法とは、画面内に複数の代表点を設定し、前フレームの代表点の信号値を記憶するとともに、現フレームの代表点の周囲にあたる画素の信号値との差の絶対値を求め、当該絶対値に基づいて動きベクトルを検出する方法である。 In this example, the motion vector of the entire screen is detected by a representative point matching method used for camera shake correction. In other words, the representative point matching method sets a plurality of representative points in the screen, stores the signal values of the representative points of the previous frame, and calculates the absolute difference between the signal values of the pixels around the representative points of the current frame. In this method, a value is obtained and a motion vector is detected based on the absolute value.
より具体的には、図4に示すように、撮像部3から出力される映像信号はA/Dコンバータ41でA/D変換され、前フレーム代表点メモリ42Aおよび絶対値回路44Aに与えられる。
More specifically, as shown in FIG. 4, the video signal output from the
前フレーム代表点メモリ42Aには1フレーム前の前フレームの代表点の信号値を記憶しておき、1フレーム後、すなわち現フレームの代表点から、累積加算テーブル47と同じアドレス空間の距離にあたる各画素と、前フレームの代表点とのそれぞれの差の絶対値を絶対値回路44Aで求める。
In the previous frame
そして、この絶対値を、累積加算テーブル47の対応するアドレスに代表点の点数分だけ累積加算し、次段のテーブル比較回路48では、累積加算値の一番小さいアドレスをもって1フレームで画像位置がどの方向にどれだけ移動したか、すなわち動きベクトル値を算出する。
Then, this absolute value is cumulatively added to the corresponding address of the cumulative addition table 47 by the number of representative points, and the
このような構成を採用することで、より精度の高い動きベクトルの検出が可能となる。また、手ぶれ補正機能が動画機能付きの携帯電話機に備わっている場合には、回路を一部兼用することで動きベクトル検出部4の構成を簡略化でき、コスト低減が可能となる。
By adopting such a configuration, it is possible to detect a motion vector with higher accuracy. Further, when the camera shake correction function is provided in a mobile phone with a moving image function, the configuration of the motion
ここで、図2の説明に戻る。キー操作部5は、文字などの入力に用いられる入力手段であって、複数のキーからなり、テンキーを構成する「1」〜「0」キー、およびその他のファンクションキーを有しており、ユーザが押下したキー入力をコード化して文字入力確定部6に出力する。
Returning to the description of FIG. The
文字入力確定部6は、所定の制御プログラムに従って、キー操作部5からの出力と、動きベクトル検出部4からの出力とに基づき、入力される文字の選択,変換,および確定の動作を制御する手段であって、制御部61と記憶部62とで構成される。制御部61は、キー操作部5および動きベクトル検出部4からの入力に基づき、文字の入力モード,選択,変換,確定という各ステップを実行する。記憶部62には、複数の文字入力モードに応じて予め用意された文字選択のためのテーブル情報(キー入力および検出動きベクトルと文字とを対応付けたマトリックス)が格納されている。
The character
表示部7は、文字入力確定部6によって選択,変換,および確定されて行く各段階で選ばれるべき候補の文字等を表示する手段であり、これによりインタラクティブな文字入力操作が行われる。なお、撮像部3(図1)が設置される位置は、携帯端末装置1の本体におけるキー操作部5および表示部7が設置される操作面1a、または操作面1aの背面のどちらでもよい。
The
次に、携帯端末装置1による文字入力操作を、図2を参照して説明する。
まず、撮像部3を動作させ、何らかの被写体Mを撮影するモードにして、映像信号を得る。なお、図2では、撮影された被写体Mを表示部7に表示させているが、入力される文字や、その変換操作を表示させることが目的であるので、被写体Mを表示させる必要はない。なお、この被写体Mは基本的に何でも良いが、人物等の個々に独立した動きを有する特定の被写体より、動きがほぼ固定している風景の方が望ましい。また、動きベクトル検出には前後のフレーム間の画像の相関関係を利用しているので、フォーカス等の調整も行わない方が良い。
Next, a character input operation by the mobile
First, the
ここで、図2において、矢印a〜dは、携帯端末装置1に加えられる物理的な動きの方向を示し、(A)〜(D)の画像は、携帯端末装置1が静止した状態から矢印a〜dのように傾けられたときの、撮像部3による被写体Mの画像の動き(動きベクトル)を示している。矢印aは携帯端末装置1の上部を背面側に傾ける場合を、矢印bは同装置1の右側部を背面側に傾ける場合を、矢印cは同装置1の下部を背面側に傾ける場合を、矢印dは同装置1の左側部を背面側に傾ける場合をそれぞれ示す。
Here, in FIG. 2, arrows a to d indicate directions of physical movement applied to the mobile
矢印aの動きに対応する(A)の画像では、画像の動き(動きベクトル)が上方向となり、矢印bの動きに対応する(B)の画像では、動きベクトルが右方向となり、矢印cの動きに対応する(C)の画像では、動きベクトルが下方向となり、矢印dの動きに対応する(D)の画像では、動きベクトルが左方向となる。これらの動きベクトルを動きベクトル検出部4が検出する。
In the image of (A) corresponding to the movement of the arrow a, the movement (motion vector) of the image is upward, and in the image of (B) corresponding to the movement of the arrow b, the movement vector is rightward, and the arrow c In the image (C) corresponding to the motion, the motion vector is in the downward direction, and in the image (D) corresponding to the motion in the arrow d, the motion vector is in the left direction. The motion
したがって、動きベクトル検出部4で検出する左右方向および上下方向の動きベクトル値が所定の範囲内にある場合、例えば右方向の動きベクトルが所定の値より大きく、上下方向の動きベクトルが所定の値より小さい場合には、動きベクトル検出部4の出力を受ける文字入力確定部6は、ユーザが携帯端末装置1に対して矢印bのジェスチャー入力を行ったと判定する。
Therefore, when the left and right direction and up and down direction motion vector values detected by the motion
同様に、左右方向および上下方向ともに動きベクトルが所定の値より小さい場合、文字入力確定部6は、携帯端末装置1が「静止」していると判定する。この「静止」の場合を動きベクトルが(O)の場合であるとすると、(A),(B),(C),(D)にこの動きベクトル(O)を加えて5通りのジェスチャー入力を想定することができ、動きベクトル検出部4から文字入力確定部6には、この5通りの情報が出力される。
Similarly, when the motion vector is smaller than a predetermined value in both the left-right direction and the up-down direction, the character
以下、図5〜図8を用いて、具体的な文字入力方法について説明する。
図5〜図8は、それぞれ「全角かな」、「半角カナ」、「半角英字」および「全角英字」の各文字入力モードに対応するテーブル情報の具体例を示す図である。
Hereinafter, a specific character input method will be described with reference to FIGS.
5 to 8 are diagrams showing specific examples of table information corresponding to the character input modes of “full-width kana”, “half-width kana”, “half-width alphabet”, and “full-width alphabet”, respectively.
図5〜図8に示す各文字入力モードのマトリックスは、現在の携帯電話機で用いられている「2タッチ方式」のマトリックスを半分に分割し、2桁目の入力を(O),(A),(B),(C),(D)に変えたものである。なお、文字入力モードの決定は、キー操作部5からの入力に基づき行われ、その入力モードが表示部7に表示される。
The matrix of each character input mode shown in FIG. 5 to FIG. 8 divides the “2-touch method” matrix used in the current mobile phone in half, and inputs the second digit (O), (A). , (B), (C), (D). The character input mode is determined based on an input from the
文字入力確定部6では、先ず第1ステップである入力モード切替えステップとして、その制御部61が、キー操作部5からの入力に基づき文字入力モードを決定し、表示部7にその入力モードを表示する。次の第2ステップである入力文字選択ステップで制御部61は、その入力モードにおけるテーブル情報(マトリックス)を記憶部62から読み出し、このマトリックスに従って文字を選択する。そして、次の第3ステップである変換ステップにおいて、制御部61は選択文字を漢字に変換し、第4ステップである確定ステップで、変換漢字候補の中から所望の漢字を選び確定する。
In the character
このように、文字入力確定部6の処理動作を多段階に分けることで、1回のキー入力と1回のジェスチャー入力、あるいはこれらを同時に行うことで、入力文字の選択が可能となり、文字入力の操作性をより向上させることができる。
In this way, by dividing the processing operation of the character
次に、具体例として「変換」という漢字を入力する場合を以下に説明する。まず、キー操作部5のファンクションキーで文字入力モードを「全角かな」に設定する。「全角かな」モードでは、図5のマトリックスが記憶部62から読み出されて入力待機状態となる。その状態で、図5のマトリックスに従って、「6」キーと(C)のジェスチャー入力で「へ」を選択、「0」キーと(B)のジェスチャー入力で「ん」を選択、「2」キーと(O)のジェスチャー入力で「か」を選択、「0」キーと(B)のジェスチャー入力で「ん」を選択すると、表示部7に「へんかん」と表示される。この場合、キー操作部5からの出力と、動きベクトル検出部4の出力とは互いに独立しているため、同時に入力することが可能である。この「へんかん」の入力に用いたキー押下回数は4回である。
Next, a case where a kanji character “conversion” is input will be described as a specific example. First, the character input mode is set to “full-width kana” using the function keys of the
次にファンクションキー(一般的には「下矢印キー」)で変換操作を行う。すると、「変換」以外にも「返還」など意図しない漢字が候補に上がることがあるので、意図した漢字を選択して確定するようにファンクションキーで確定操作を行う(一般的には「上下矢印」で選択し「決定」で確定)。 Next, a conversion operation is performed with a function key (generally, a “down arrow key”). Then, in addition to “Conversion”, unintended Kanji characters such as “Return” may appear as candidates, so perform a confirmation operation with the function keys to select and confirm the intended Kanji character (generally “up / down arrow” ”To select and“ OK ”to confirm).
次に、濁音や小文字を含んだ例として「学校」という漢字を入力するために、「がっこう」を選択する場合を以下に説明する。前記例と同様に、先ず、ファンクションキーで文字入力モードを「全角かな」に設定する。その後、図5のマトリックスに従って、「2」キーと(O)のジェスチャー入力で「か」を選択、「0」キーと(C)のジェスチャー入力で濁音を付けて「が」に変更、「4」キーと(B)のジェスチャー入力で「つ」を選択、ファンクションキーで小文字「っ」に変更、「2」キーと(D)のジェスチャー入力で「こ」を選択、「1」キーと(B)のジェスチャー入力で「う」を選択する。この場合、6回のキー押下回数で「がっこう」の入力が可能である。 Next, a case where “gakukou” is selected in order to input the kanji “school” as an example including muddy sounds and lowercase letters will be described below. As in the above example, first, the character input mode is set to “full-width kana” using the function keys. After that, according to the matrix of FIG. 5, “ka” is selected by “2” key and (O) gesture input, and “0” key and (C) gesture input is added to change the sound to “ga”, “4”. ”Key and (B) gesture input to select“ tsu ”, function key to change to lower case“ tsu ”,“ 2 ”key and (D) gesture input to select“ ko ”,“ 1 ”key and ( Select “U” with the gesture input of B). In this case, it is possible to input “gakukou” with the number of times the key is pressed six times.
なお、半角カナモードの場合には、図6のマトリックスに従って入力する。この場合もファンクションキーを用いて大文字入力と小文字入力とを切り換えることができる。 In the case of half-width kana mode, input is performed according to the matrix in FIG. In this case as well, uppercase input and lowercase input can be switched using the function keys.
次に、半角で「Hello」という文字を入力する場合について説明する。この場合は、まず、「半角英字」モードに設定し、図7のマトリックスに従って、「2」キーと(B)のジェスチャー入力で「H」を選択、「8」キーと(D)のジェスチャー入力で小文字入力モードに変更、「1」キーと(D)のジェスチャー入力で「e」を選択、「3」キーと(A)のジェスチャー入力で「l」を選択、「3」キーと(A)のジェスチャー入力で「l」を選択、「3」キーと(D)のジェスチャー入力で「o」を選択する。この場合も6回のキー押下回数で「Hello」の入力が可能である。 Next, a case where the characters “Hello” are input in half-width will be described. In this case, first, the “half-width alphabet” mode is set, “H” is selected by the “2” key and (B) gesture input according to the matrix of FIG. 7, and the “8” key and (D) gesture input are selected. To change to lower case input mode, select “e” with “1” key and (D) gesture input, select “l” with “3” key and (A) gesture input, “3” key and (A ) Select “l” with gesture input, select “o” with “3” key and (D) gesture input. Also in this case, “Hello” can be input with the number of times the key is pressed six times.
なお、全角英字モードの場合には、図8のマトリックスに従って入力する。この場合も「8」キーと(D)のジェスチャー入力、およびファンクションキーを用いて大文字入力と小文字入力とを切り換えることができる。 In the case of full-width alphabetic mode, input is performed according to the matrix in FIG. In this case as well, capital letter input and small letter input can be switched using the “8” key, gesture input (D), and function keys.
以上の動作を要約すれば、携帯端末装置1の被写体に対する角度を変えることで、被写体Mの撮像角度を変え、撮像角度の変化を被写体Mの移動に見なして動きベクトルを検出するものと言うことができ、携帯端末装置1の被写体に対する角度を変えること、すなわちジェスチャーでキー操作の代わりとすることができ、最小限のキー操作で確実な文字入力が可能となって、文字入力操作性を向上させることができる。
To summarize the above operation, the angle of the portable
なお、以上の説明では、ジェスチャー入力を5通りとしたが、これは誤検出を少なくするために簡略化したものであり、静止,左右,上下のほか、斜め方向などの動きをジェスチャー入力の1つとして含めてジェスチャー入力の種類を増やしても良い。 In the above description, there are five types of gesture input. However, this is simplified in order to reduce false detections. In addition to stationary, left and right, up and down, the movement in the diagonal direction is one of the gesture inputs. The number of types of gesture input may be increased.
また、以上の説明では、キー操作とジェスチャー操作を同時に行う場合について説明したが、同時でなく、例えばキー操作後にジェスチャー操作を行うようにしても良い。この場合は、キー操作後に、次のジェスチャー操作でどの文字が選択されるかを表示部7に表示することや、一定期間ジェスチャー入力が無い場合に、これを(O)のジェスチャーであると判定するためのタイムアウト時間を設定すること等を追加することも考えられる。
In the above description, the case where the key operation and the gesture operation are performed simultaneously has been described. However, the gesture operation may be performed after the key operation, for example. In this case, after the key operation, which character is selected in the next gesture operation is displayed on the
また、以上の説明では、キー操作とジェスチャー操作とで選択される文字のマトリックスとして、現在の携帯電話機で用いられている「2タッチ方式」を基にして作成した例を示したが、他のマトリックスを用いても良い。例えば、通常の文字入力に用いているように、「2」キーに「A」「B」「C」、「3」キーに「D」「E」「F」というように英文字を割り当てると、通常入力の場合と同じキーが使え印刷表示が共用できる。 In the above description, an example has been shown in which the character matrix selected by the key operation and the gesture operation is created based on the “two-touch method” used in the current mobile phone. A matrix may be used. For example, as in the case of normal character input, if “A”, “B”, “C” are assigned to the “2” key, and “D”, “E”, “F” are assigned to the “3” key, etc. The same keys can be used as for normal input, and the print display can be shared.
また、図2に示した携帯端末装置1では、撮像部3がキー操作部5および表示部7が設置される操作面1aの背面側に設置される例を示したが、撮像部3を操作面1a側に設置しても良い。この場合、操作者自身を被写体Mとすることができ、携帯端末装置自身を動かさなくても操作者の顔を振る等の体の動きで文字入力操作を行うこともできる。
In the mobile
実施の形態2.
次に、本実施の形態では、動きベクトルの時系列的変化を検出して、動きベクトル検出の精度を向上させる方法について説明する。
実施の形態1で説明したように、撮像部3にて撮像する被写体Mとしては、個々に動きを有する人物や動物等の移動物体が存在する場面より、ほぼ動きが無く固定されている風景だけの場面の方が望ましい。この理由は、移動物体が撮像範囲にあると、その移動物体に対応する動きベクトルを検出してしまう場合があり、その結果、動きベクトルの誤検出が増え、検出精度が低くなるからである。しかし、風景だけの被写体を選択しても、人や動物等が撮像範囲を横切ることにより乱れが生じ、動きベクトルの誤検出が発生する場合がある。
Next, in the present embodiment, a method for detecting time-series changes in motion vectors and improving the accuracy of motion vector detection will be described.
As described in the first embodiment, the subject M to be imaged by the
図9は、動きベクトルの時間的変化を表す図であり、縦軸が動きベクトル、横軸が時間である。例えば、被写体として風景が選択されているとき、あるいは携帯端末装置1自体が静止しているときに、人等の移動物体が撮像部3の撮像範囲を横切った場合を想定する。この場合、動きベクトルの検出状態は、図9(A)に示すように、(a)のタイミングで移動物体が撮像部3の撮像範囲に入り、(b)のタイミングで撮像範囲から出る。このように、ほぼ動きのない風景の前を移動物体が横切った場合、検出される動きベクトルは一方向のみとなる。
FIG. 9 is a diagram showing temporal changes in motion vectors, where the vertical axis represents the motion vector and the horizontal axis represents time. For example, it is assumed that a moving object such as a person crosses the imaging range of the
一方、被写体として風景が選択されており、ユーザが文字入力操作のために、携帯端末装置1を図2の矢印a〜dのように動かした場合の動きベクトルの検出状態を図9(B)に示す。ユーザは、携帯端末装置1を例えば矢印bのように動かした後、文字入力や変換動作の状態が表示される表示部7を確認するため、さらに、矢印bとは逆の方向に携帯端末1を動かす。すなわち、(c)のタイミングで携帯端末1を矢印bの方向に動かし始め、(d)のタイミングでその動作が終了する。そして、(e)のタイミングで矢印bとは逆の方向に携帯端末1を動かし始め、(f)のタイミングでその動作が終了する。このように、文字入力を行う場合は、まず、ある方向の動きベクトルが検出され、その後、逆の動きベクトルが検出されることとなる。
On the other hand, when a landscape is selected as a subject and the user moves the mobile
したがって、図10に示すフローにて動きベクトルの検出処理を行うことにより、外乱による誤検出とユーザによる文字入力操作とを判別することができるようになる。 Therefore, by performing the motion vector detection process in the flow shown in FIG. 10, it becomes possible to discriminate between erroneous detection due to disturbance and character input operation by the user.
まず、ステップ1にて所定量の動きベクトルを検出する。次に、ステップ2にて所定期間のタイマーを設定し、タイマーの期間内に、ステップ1にて検出された動きベクトルとは逆方向の動きベクトルを検出するか否かを判別する(ステップ3、ステップ4)。逆方向の動きベクトルが検出された場合は、ユーザによる文字入力操作と判断する(ステップ5)。
First, in
このように、一方向の動きベクトルが検出された後、所定期間内に逆方向の動きベクトルを検出した場合をユーザによる文字入力操作と判断することにより、動きベクトルの誤検出を減らすことができ、検出の精度を向上させることが可能となる。 Thus, after detecting a motion vector in one direction and detecting a motion vector in the reverse direction within a predetermined period, it is possible to reduce erroneous detection of the motion vector by determining that it is a character input operation by the user. It is possible to improve the detection accuracy.
なお、図10に示した処理フローでは、ステップ1の動きベクトル検出後にステップ2にてタイマーを設定することとしている。しかし、携帯端末装置1を動かすジェスチャー入力と同時、またはジェスチャー入力の前に文字入力モードを決定するためのファンクションキーからの入力や、図5に示すマトリックスに対応するためのテンキーからの入力が存在する。したがって、これらのキー入力をトリガーとしてタイマーの設定を行ってもよい。
In the processing flow shown in FIG. 10, a timer is set in
本実施の形態における携帯電話端末装置は、例えば、図1に示した文字入力確定部6の記憶部62に、検出された動きベクトルを所定期間記憶させる機能を持たせることにより構成される。すなわち、図10に示した処理フローに基づき、動きベクトル検出部4にて検出された動きベクトル、記憶部62に格納されているテーブル情報、記憶されている動きベクトル、キー操作部5からの入力を用い、制御部62にて文字の入力モード、選択、変換、確定の各ステップを実行する。なお、記憶部62以外に、検出された動きベクトルを所定期間記憶させるため記憶部(図示せず)を設けてもよい。
The mobile phone terminal device according to the present embodiment is configured, for example, by providing the
実施の形態3.
本実施の形態では、フレームを複数の領域に分割し、領域毎に検出された動きベクトルの頻度分布を用いることにより、動きベクトルの検出精度を向上させる方法について説明する。
In this embodiment, a method for improving motion vector detection accuracy by dividing a frame into a plurality of regions and using a motion vector frequency distribution detected for each region will be described.
まず、フレームを複数の領域に分割する。図11(A)は、フレーム全体を示しており、図11(B)は、図11(A)のフレームを例えば16分割した状態を示している。なお、フレームの分割数は16以外でもよく、また、分割された各領域の形状は、矩形以外でもよい。 First, the frame is divided into a plurality of regions. FIG. 11A shows the entire frame, and FIG. 11B shows a state in which the frame of FIG. The number of frame divisions may be other than 16, and the shape of each divided area may be other than a rectangle.
次に、分割された領域毎に動きベクトルを検出する。図12(A)は、ジェスチャー入力の際、撮像範囲を移動物体が横切った場合における動きベクトルの検出状態を示している。また、図12(B)は、ジェスチャー入力の際、撮像範囲に移動物体が存在しない場合における動きベクトルの検出状態を示している。図12(A)では、移動物体が左上の9つの領域を占めており、その他、残りの7つの領域が背景である。つまり、フレーム全体に占める割合は、背景よりも移動物体の方が高い。したがって、この場合、単に、動きベクトルの頻度分布から最も高いピークを検出する方法では、移動物体に対応する動きベクトルを検出してしまうこととなる。 Next, a motion vector is detected for each divided area. FIG. 12A shows a motion vector detection state when a moving object crosses the imaging range during gesture input. FIG. 12B shows a motion vector detection state when no moving object is present in the imaging range when a gesture is input. In FIG. 12A, the moving object occupies the nine areas in the upper left, and the remaining seven areas are the background. In other words, the ratio of the moving object to the entire frame is higher than that of the background. Therefore, in this case, simply by detecting the highest peak from the frequency distribution of motion vectors, a motion vector corresponding to a moving object is detected.
しかし、図12(A)に示すような場合に、フレーム中に2つの動きベクトルが存在することを検出し、その2つの動きベクトルを、フレームを代表する動きベクトルの候補とする。そして、図12(A)に示すフレームの時間的に前、または後に存在するフレームが図12(B)に示すようなフレームであれば、両者を比較することにより、図12(A)のフレームを代表する動きベクトルは、右方向の動きベクトルであると検出することが可能となる。すなわち、各フレームにおいて動きベクトルの頻度分布のピークを2つ検出し、時間的に前後にあるフレームと比較することにより、2つの動きベクトルのうち、どちらか一方を、フレームを代表する動きベクトルと判断する。この処理により、移動物体等が存在する場合でも、動きベクトルの誤検出が減り、検出精度が向上する。 However, in the case shown in FIG. 12A, it is detected that there are two motion vectors in the frame, and the two motion vectors are used as motion vector candidates representing the frame. If the frame existing before or after the frame shown in FIG. 12A is a frame as shown in FIG. 12B, the frames shown in FIG. Can be detected as a motion vector in the right direction. That is, by detecting two peaks of the frequency distribution of the motion vector in each frame and comparing with the temporally preceding and succeeding frames, either one of the two motion vectors is represented as a motion vector representing the frame. to decide. By this processing, even when a moving object or the like exists, false detection of motion vectors is reduced and detection accuracy is improved.
図13に、本実施の形態における動きベクトルの検出方法の処理フローを示す。まず、ステップ11にて、フレームを分割した各領域において動きベクトルを検出する。次に、領域毎に検出された動きベクトルを用い、動きベクトルの頻度分布を検出する(ステップ12)。さらに、動きベクトルの頻度分布のピークが1つであるか否かを検出し(ステップ13)、1つである場合は、検出されたピークがフレームを代表する動きベクトルであると判定する(ステップ14)。この場合、移動物体等による乱れ小さく、検出されたピークが背景に対応する動きベクトルと判断できるからである。
FIG. 13 shows a processing flow of the motion vector detection method in the present embodiment. First, in
一方、ステップ13にて、動きベクトルの頻度分布のピークが1つでないと判定された場合、次に、ピークが2つあるか否かを検出する(ステップ15)。ピークが2つある場合は、処理の対象となっているフレームよりも時間的に前、または後に存在するフレームと比較し、どちらか一方のピークがフレームを代表する動きベクトルであると判定する(ステップ16)。ピークが2つ存在する場合、一方が背景に対応する動きベクトルであり、他方が移動物体に対応する動きベクトルと考えられる。したがって、両者を候補としておき、時間的に前後に存在するフレームと比較して動きベクトルの判定を行うことにより、処理の対象となっているフレームに対して背景の占める割合が低くても、背景に対応する動きベクトルの検出が可能となる。この処理により、動きベクトルの誤検出が減り、検出精度が向上する。 On the other hand, if it is determined in step 13 that there is not one peak in the frequency distribution of the motion vector, it is next detected whether there are two peaks (step 15). When there are two peaks, it is compared with a frame that exists temporally before or after the frame to be processed, and it is determined that one of the peaks is a motion vector representing the frame ( Step 16). When there are two peaks, one is a motion vector corresponding to the background, and the other is considered a motion vector corresponding to the moving object. Therefore, by setting both as candidates and performing motion vector determination in comparison with frames that exist before and after in time, even if the ratio of the background to the frame to be processed is low, the background It is possible to detect a motion vector corresponding to. By this process, erroneous detection of motion vectors is reduced and detection accuracy is improved.
ところで、ステップ15にて動きベクトルの頻度分布のピークが2つ以上と検出された場合は、フレーム内の映像が乱れていると判断し、フレームを代表する動きベクトルは検出されなかったと判定する(ステップ16)。 By the way, when it is detected in step 15 that there are two or more peaks in the frequency distribution of the motion vector, it is determined that the video in the frame is disturbed, and it is determined that a motion vector representing the frame has not been detected ( Step 16).
なお、ステップ16では、比較のために用いるフレームとして、処理の対象となっている現フレームと時間的に前後にある画面を用いると説明したが、時間的に前にある前フレームだけと比較してもよく、また、時間的に後ろにある後フレームだけと比較してもよい。さらに、比較するフレームは、処理の対象となっている現フレームの直前、または直後に存在するフレームに限られず、所定時間前にある、または後にあるフレームでもよく、または、所定数のフレームの平均値でもよい。また、フレームを代表する動きベクトル同士、候補まで含めた動きベクトル同士、または動きベクトルの頻度分布自体を比較してもよい。 In step 16, it has been described that the current frame to be processed and the screen that is temporally before and after are used as the frames used for comparison. However, only the previous frame that is temporally ahead is compared. Alternatively, it may be compared with only a subsequent frame that is behind in time. Further, the frame to be compared is not limited to a frame existing immediately before or immediately after the current frame to be processed, and may be a frame that is before or after a predetermined time, or an average of a predetermined number of frames. It may be a value. Also, motion vectors representing frames, motion vectors including candidates, or motion vector frequency distributions themselves may be compared.
また、動きベクトルの頻度分布から検出するピークは2つであったが、2以上であってもよい。 Further, although two peaks are detected from the motion vector frequency distribution, two or more peaks may be detected.
本実施の形態における携帯電話端末装置は、例えば、図1に示した文字入力確定部6の記憶部62に、検出された動きベクトルを所定期間記憶させる機能を持たせることにより構成される。すなわち、図13に示した処理フローに基づき、動きベクトル検出部4にて検出された動きベクトル、記憶部62に格納されているテーブル情報、記憶されている動きベクトル、キー操作部5からの入力を用い、制御部62にて文字の入力モード、選択、変換、確定の各ステップを実行する。なお、記憶部62以外に、検出された動きベクトルを所定期間記憶させるため記憶部(図示せず)を設けてもよい。
The mobile phone terminal device according to the present embodiment is configured, for example, by providing the
なお、本明細書では、日本語を例にとって本発明の説明を行ったが、本発明にかかる携帯電話および文字入力方法は、日本語のみならず他の言語にも適用可能である。 In the present specification, the present invention has been described using Japanese as an example. However, the mobile phone and the character input method according to the present invention can be applied not only to Japanese but also to other languages.
1 携帯端末装置
2 文字入力機構
3 撮像部
4 動きベクトル検出部
5 キー操作部
6 文字入力確定部
7 表示部
DESCRIPTION OF
Claims (16)
前記撮像部から出力される映像信号から、画面を構成する領域毎に動きベクトルを検出し、前記検出された複数の動きベクトルに基づく画面全体の動きベクトルを検出する動きベクトル検出部と、
複数のキーを有するキー操作部と、
前記キー操作部からの出力及び前記動きベクトル検出部からの出力と、文字とを対応付けたデータテーブルに基づいて、入力文字を選択する文字入力確定部と、
前記文字入力確定部で選択された文字を表示する表示部と
を備える携帯電話装置。 An imaging unit for imaging video;
A motion vector detection unit that detects a motion vector for each area constituting the screen from the video signal output from the imaging unit, and detects a motion vector of the entire screen based on the detected plurality of motion vectors ;
A key operation unit having a plurality of keys;
An output from the output and the motion vector detecting unit from the key operation unit, and based on the data table associating a character, and a character input confirmation unit for selecting an input character,
A display unit that displays the character input determination unit at selected character
Mobile phone device Ru equipped with.
前記撮像部から出力される映像信号から、代表点マッチング法により画面全体の動きベクトルを検出する動きベクトル検出部と、
複数のキーを有するキー操作部と、
前記キー操作部からの出力及び前記動きベクトル検出部からの出力と、文字とを対応付けたデータテーブルに基づいて、入力文字を選択する文字入力確定部と、
前記文字入力確定部で選択された文字を表示する表示部と
を備える携帯電話装置。 An imaging unit for imaging video;
A motion vector detection unit that detects a motion vector of the entire screen by a representative point matching method from the video signal output from the imaging unit;
A key operation unit having a plurality of keys;
A character input confirmation unit that selects an input character based on a data table in which an output from the key operation unit and an output from the motion vector detection unit are associated with characters;
A display unit for displaying the character selected by the character input confirmation unit;
A mobile phone device comprising:
文字入力確定部は、
前記行の指定、または前記列の指定のいずれか一方を動きベクトル検出部からの出力により決定し、他の一方の指定をキー操作部からの出力により決定して、入力文字を選択すること
を特徴とする請求項1または2に記載の携帯電話装置。 A data table consists of multiple rows and multiple columns.
The character input confirmation part
Either one of the row designation or the column designation is determined by the output from the motion vector detection unit, and the other one is determined by the output from the key operation unit, and an input character is selected.
The mobile phone device according to claim 1 or 2, wherein
映像信号を圧縮する符号化回路により行われること
を特徴とする請求項1または3に記載の携帯電話装置。 Motion vector detection
To be performed by an encoding circuit that compresses the video signal
The mobile phone device according to claim 1 or 3, wherein
を特徴とする請求項1から4のいずれか1項に記載の携帯電話装置。 The motion vector detection unit detects the motion vector when it detects a predetermined time-series change of the motion vector.
The mobile phone device according to any one of claims 1 to 4, wherein:
を特徴とする請求項5に記載の携帯電話装置。 The motion vector detection unit detects the one-way motion vector when a motion vector in the opposite direction to the one direction is detected within a predetermined period after the one-way motion vector is detected.
The mobile phone device according to claim 5 .
を特徴とする請求項1に記載の携帯電話装置。 The motion vector detection unit detects a motion vector frequency distribution for each area constituting the screen, and detects a motion vector of the entire screen from the motion vector frequency distribution.
The mobile phone device according to claim 1 .
を特徴とする請求項7に記載の携帯電話装置。 The motion vector detection unit detects the peak as a motion vector of the entire screen when there is one peak of the frequency distribution of the motion vector.
The mobile phone device according to claim 7 .
を特徴とする請求項7に記載の携帯電話装置。The mobile phone device according to claim 7.
を特徴とする請求項1、または3から9のいずれか1項に記載の携帯電話装置。10. The mobile phone device according to claim 1, or any one of claims 3 to 9.
映像を撮像する撮像ステップと、An imaging step for imaging video;
前記撮像ステップから出力される映像信号から、画面を構成する領域毎に動きベクトルを検出し、前記検出された複数の動きベクトルに基づく画面全体の動きベクトルを検出する動きベクトル検出ステップと、A motion vector detection step of detecting a motion vector for each region constituting the screen from the video signal output from the imaging step, and detecting a motion vector of the entire screen based on the detected plurality of motion vectors;
前記キー操作部からの出力及び前記動きベクトル検出ステップからの出力と、文字とを対応付けたデータテーブルに基づいて、入力文字を選択する文字入力確定ステップと、A character input confirmation step of selecting an input character based on a data table in which an output from the key operation unit and an output from the motion vector detection step are associated with a character;
前記文字入力確定ステップで選択された文字を表示する表示ステップとA display step for displaying the character selected in the character input confirmation step;
を備える携帯電話装置の文字入力方法。A character input method for a mobile phone device comprising:
映像を撮像する撮像ステップと、An imaging step for imaging video;
前記撮像ステップから出力される映像信号から、代表点マッチング法により画面全体の動きベクトルを検出する動きベクトル検出ステップと、A motion vector detection step of detecting a motion vector of the entire screen by a representative point matching method from the video signal output from the imaging step;
前記キー操作部からの出力及び前記動きベクトル検出ステップからの出力と、文字とを対応付けたデータテーブルに基づいて、入力文字を選択する文字入力確定ステップと、A character input confirmation step of selecting an input character based on a data table in which an output from the key operation unit and an output from the motion vector detection step are associated with a character;
前記文字入力確定ステップで選択された文字を表示する表示ステップとA display step for displaying the character selected in the character input confirmation step;
を備える携帯電話装置の文字入力方法。A character input method for a mobile phone device comprising:
文字入力確定ステップは、The character input confirmation step
前記行の指定、または前記列の指定のいずれか一方を動きベクトル検出ステップからの出力により決定し、他の一方の指定をキー操作部からの出力により決定して、入力文字を選択することEither one of the row designation or the column designation is determined by the output from the motion vector detection step, and the other one is determined by the output from the key operation unit, and an input character is selected.
を特徴とする請求項11または12に記載の携帯電話装置の文字入力方法。The character input method of the mobile phone device according to claim 11 or 12.
を特徴とする請求項11から13のいずれか1に記載の携帯電話装置の文字入力方法。The character input method for a mobile phone device according to claim 11, wherein:
を特徴とする請求項11に記載の携帯電話装置の文字入力方法。The character input method of the mobile phone device according to claim 11.
を特徴とする請求項11、または13から15のいずれか1項に記載の携帯電話装置の文字入力方法。The character input method for a mobile phone device according to any one of claims 11 and 13 to 15.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004027880A JP3649242B2 (en) | 2003-04-04 | 2004-02-04 | Mobile phone device and character input method for mobile phone device |
CNB2004100333701A CN100336375C (en) | 2003-04-04 | 2004-04-02 | Portable terminal device and character input method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003101271 | 2003-04-04 | ||
JP2004027880A JP3649242B2 (en) | 2003-04-04 | 2004-02-04 | Mobile phone device and character input method for mobile phone device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004318826A JP2004318826A (en) | 2004-11-11 |
JP3649242B2 true JP3649242B2 (en) | 2005-05-18 |
Family
ID=33478890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004027880A Expired - Fee Related JP3649242B2 (en) | 2003-04-04 | 2004-02-04 | Mobile phone device and character input method for mobile phone device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP3649242B2 (en) |
CN (1) | CN100336375C (en) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7721968B2 (en) | 2003-10-31 | 2010-05-25 | Iota Wireless, Llc | Concurrent data entry for a portable device |
JP4703173B2 (en) * | 2004-11-25 | 2011-06-15 | 株式会社東芝 | Mobile device |
CN103257684B (en) * | 2005-05-17 | 2017-06-09 | 高通股份有限公司 | The signal output method and device of orientation-sensitive |
KR100675089B1 (en) | 2006-05-10 | 2007-01-29 | (주) 엘지텔레콤 | Character input method by movement of mobile terminal |
EP1965344B1 (en) * | 2007-02-27 | 2017-06-28 | Accenture Global Services Limited | Remote object recognition |
US8788977B2 (en) * | 2008-11-20 | 2014-07-22 | Amazon Technologies, Inc. | Movement recognition as input mechanism |
US8878773B1 (en) | 2010-05-24 | 2014-11-04 | Amazon Technologies, Inc. | Determining relative motion as input |
US9123272B1 (en) | 2011-05-13 | 2015-09-01 | Amazon Technologies, Inc. | Realistic image lighting and shading |
US9041734B2 (en) | 2011-07-12 | 2015-05-26 | Amazon Technologies, Inc. | Simulating three-dimensional features |
US10088924B1 (en) | 2011-08-04 | 2018-10-02 | Amazon Technologies, Inc. | Overcoming motion effects in gesture recognition |
US8947351B1 (en) | 2011-09-27 | 2015-02-03 | Amazon Technologies, Inc. | Point of view determinations for finger tracking |
US9223415B1 (en) | 2012-01-17 | 2015-12-29 | Amazon Technologies, Inc. | Managing resource usage for task performance |
US8884928B1 (en) | 2012-01-26 | 2014-11-11 | Amazon Technologies, Inc. | Correcting for parallax in electronic displays |
US9063574B1 (en) | 2012-03-14 | 2015-06-23 | Amazon Technologies, Inc. | Motion detection systems for electronic devices |
US9285895B1 (en) | 2012-03-28 | 2016-03-15 | Amazon Technologies, Inc. | Integrated near field sensor for display devices |
JP6161244B2 (en) * | 2012-09-10 | 2017-07-12 | 株式会社メガチップス | Portable terminal device, program, and input method |
US9423886B1 (en) | 2012-10-02 | 2016-08-23 | Amazon Technologies, Inc. | Sensor connectivity approaches |
US9035874B1 (en) | 2013-03-08 | 2015-05-19 | Amazon Technologies, Inc. | Providing user input to a computing device with an eye closure |
US9269012B2 (en) | 2013-08-22 | 2016-02-23 | Amazon Technologies, Inc. | Multi-tracker object tracking |
US11199906B1 (en) | 2013-09-04 | 2021-12-14 | Amazon Technologies, Inc. | Global user input management |
US10055013B2 (en) | 2013-09-17 | 2018-08-21 | Amazon Technologies, Inc. | Dynamic object tracking for user interfaces |
US9367203B1 (en) | 2013-10-04 | 2016-06-14 | Amazon Technologies, Inc. | User interface techniques for simulating three-dimensional depth |
JP6888351B2 (en) * | 2017-03-17 | 2021-06-16 | ヤマハ株式会社 | Input device, speech synthesizer, input method, and program |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5835641A (en) * | 1992-10-14 | 1998-11-10 | Mitsubishi Denki Kabushiki Kaisha | Image pick-up apparatus for detecting and enlarging registered objects |
JP3508961B2 (en) * | 1995-07-21 | 2004-03-22 | ソニー株式会社 | Terminal device |
JP3130882B2 (en) * | 1998-12-02 | 2001-01-31 | 日本電気テレコムシステム株式会社 | Mobile phone device and character input method thereof |
US20020054135A1 (en) * | 2000-03-17 | 2002-05-09 | Masahiro Noguchi | Information processing device, information processsing method, and computer-readable storage medium storing program for executing this method on a computer |
JP2002169645A (en) * | 2000-12-01 | 2002-06-14 | Toshiba Corp | Mobile communication terminal |
JP4084582B2 (en) * | 2001-04-27 | 2008-04-30 | 俊司 加藤 | Touch type key input device |
-
2004
- 2004-02-04 JP JP2004027880A patent/JP3649242B2/en not_active Expired - Fee Related
- 2004-04-02 CN CNB2004100333701A patent/CN100336375C/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN100336375C (en) | 2007-09-05 |
JP2004318826A (en) | 2004-11-11 |
CN1536859A (en) | 2004-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3649242B2 (en) | Mobile phone device and character input method for mobile phone device | |
KR100651368B1 (en) | Method for controlling image according to movement of wireless terminal | |
US8248480B2 (en) | Imaging apparatus provided with panning mode for taking panned image | |
US8089527B2 (en) | Image capturing apparatus, image capturing method and storage medium | |
EP1925153B1 (en) | Imaging apparatus, data extraction method, and data extraction program | |
JP4852652B2 (en) | Electronic zoom device, electronic zoom method, and program | |
JP4450783B2 (en) | Imaging device | |
US20110019239A1 (en) | Image Reproducing Apparatus And Image Sensing Apparatus | |
JP2007095030A (en) | Graphic signal display apparatus and method for hand-held terminal | |
JP5289993B2 (en) | TRACKING DEVICE AND TRACKING METHOD | |
KR101503017B1 (en) | Motion detecting method and apparatus | |
KR100719841B1 (en) | Method for creation and indication of thumbnail view | |
CN105991928A (en) | Image processing apparatus and image processing method | |
CN101459770B (en) | Digital photographing apparatus and method of controlling the same | |
KR20090045643A (en) | Mobile terminal and method for executing mode photographing panorama image thereof | |
CN102598653B (en) | Mobile communication equipment and image pickup method | |
JP4685708B2 (en) | Mobile terminal device | |
JPWO2020021879A1 (en) | Image processing device, image processing method, and program | |
JP2007174149A (en) | Imaging system | |
JP3851601B2 (en) | Mobile terminal device | |
KR102429337B1 (en) | Image processing device stabilizing image and method of stabilizing image | |
JP4157003B2 (en) | Image processing device | |
KR20070054569A (en) | Apparatus for providing human interface using camera attached to mobile communication terminal and method thereof | |
JP2011211757A (en) | Electronic zoom apparatus, electronic zoom method, and program | |
KR20030085810A (en) | Image data storing method using a change detection of image data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20040903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041026 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041217 |
|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20050118 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050207 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080225 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100225 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100225 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110225 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120225 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130225 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |