JP3649242B2 - Mobile phone device and character input method for mobile phone device - Google Patents

Mobile phone device and character input method for mobile phone device Download PDF

Info

Publication number
JP3649242B2
JP3649242B2 JP2004027880A JP2004027880A JP3649242B2 JP 3649242 B2 JP3649242 B2 JP 3649242B2 JP 2004027880 A JP2004027880 A JP 2004027880A JP 2004027880 A JP2004027880 A JP 2004027880A JP 3649242 B2 JP3649242 B2 JP 3649242B2
Authority
JP
Japan
Prior art keywords
motion vector
character
mobile phone
unit
phone device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004027880A
Other languages
Japanese (ja)
Other versions
JP2004318826A (en
Inventor
好宏 西田
重男 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2004027880A priority Critical patent/JP3649242B2/en
Priority to CNB2004100333701A priority patent/CN100336375C/en
Publication of JP2004318826A publication Critical patent/JP2004318826A/en
Application granted granted Critical
Publication of JP3649242B2 publication Critical patent/JP3649242B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Input From Keyboards Or The Like (AREA)

Description

この発明は、電話帳や電子メールの作成のための文字入力機能を備えた携帯電話機に代表される携帯端末装置に関する。   The present invention relates to a mobile terminal device typified by a mobile phone having a character input function for creating a telephone book or an e-mail.

従来、携帯電話機などの携帯端末装置では、電話帳や電子メールなどを作成するための文字入力手段として、一般にキーパッドのテンキーと、マルチファンクションキーなどの機能キーとが用いられ、以下の操作により文字入力を行っている。先ずテンキーのトグル入力操作により入力すべき文字の読み仮名を入力し、次に機能キーを用いた変換操作により前記入力済み読み仮名に対応する複数の漢字変換候補を表示し、最後に機能キーを用いた確定操作により前記漢字変換候補の中から所望の漢字を選択し確定するようにしている。すなわち、前記文字入力手段では、文字入力操作のすべてをキー操作に頼っている。   Conventionally, in a mobile terminal device such as a mobile phone, a numeric keypad of a keypad and a function key such as a multifunction key are generally used as character input means for creating a telephone book, an e-mail, etc. You are entering characters. First, input the kana of the character to be input by the toggle input operation of the numeric keypad, then display a plurality of kanji conversion candidates corresponding to the input kana by the conversion operation using the function key, and finally press the function key. A desired kanji is selected from the kanji conversion candidates and confirmed by the confirmation operation used. That is, the character input means relies on key operations for all character input operations.

具体例として、例えば一般的な携帯電話機では、前記読み仮名入力の方式として、テンキーを構成する「1」〜「0」キーのそれぞれに50音の各行の仮名を割り当て、それらの中からいずれかのキーを選択して押下すると、そのキーに割り当てられた行の仮名がキーを押下した回数により順次変化して表示される方式が採用されている。   As a specific example, for example, in a general mobile phone, as a method of inputting the reading kana, kana of each line of 50 tones is assigned to each of “1” to “0” keys constituting the numeric keypad, and any one of them is selected. When a key is selected and pressed, a method is adopted in which the kana of the line assigned to the key is sequentially changed and displayed according to the number of times the key is pressed.

この場合、例えば「1」キーを5回押下すると、あ行の「お」が入力される。また、濁点付きの仮名入力では、例えば「か」を入力した後に、濁点を付けるキー入力操作を行うことにより、「が」が入力される。また拗音の入力では、濁点付きの仮名入力と同様に、先に通常の仮名を入力した後に、拗音用の特殊キーを押下して通常の仮名を拗音に切り替えるか、同じキーを6回押下する方式が採用される。   In this case, for example, when the “1” key is pressed five times, “o” in the line is input. In the kana input with a cloud point, for example, “ga” is input by performing a key input operation for adding a cloud point after inputting “ka”. In the input of stuttering, as in the case of kana input with a muddy point, after inputting a normal kana first, the special key for stuttering is pressed to switch the normal kana to stuttering, or the same key is pressed six times. The method is adopted.

しかし、このような文字入力操作では、目的の文字を入力するために、テンキーの押下回数が多くなり、操作性が悪いという問題点を有する。   However, such a character input operation has a problem in that the number of times the numeric keypad is pressed increases in order to input a target character, and the operability is poor.

そこで、従来例におけるこのような操作性の悪さを解消するようにした携帯端末の一例として、50音をマトリックス状に配置して、文字入力操作時のキーの押下回数を少なくしたものが提案されている(例えば特許文献1)。   Therefore, as an example of a portable terminal that eliminates such poor operability in the conventional example, a device in which 50 sounds are arranged in a matrix and the number of key presses during character input operation is reduced is proposed. (For example, Patent Document 1).

また、他の例として、加速度センサを用いた加速度検出手段を設け、この加速度検出手段の検出出力に基づき、携帯端末装置に加えられた動きの移動軌跡を求めて表示器にその移動軌跡を表示し、その移動軌跡が表示された状態で確定操作が行われると、前記移動軌跡を入力文字として認識するようにした携帯端末装置も提案されている(例えば特許文献2)。この場合、あたかも手書き入力のように読み仮名を入力できる。また、この特許文献2では、動きの方向および移動量を検出することで、ファンクションキーの操作に頼ることなく、入力文字の選択や確定を行うことが提案されている。   As another example, acceleration detection means using an acceleration sensor is provided, and based on the detection output of the acceleration detection means, a movement locus of movement applied to the mobile terminal device is obtained and the movement locus is displayed on the display. A mobile terminal device has also been proposed that recognizes a moving locus as an input character when a confirmation operation is performed in a state where the moving locus is displayed (for example, Patent Document 2). In this case, the reading kana can be input as if it were handwritten input. Further, in Patent Document 2, it is proposed to select and confirm an input character without depending on the operation of a function key by detecting the direction of movement and the amount of movement.

特開2000−172417号公報JP 2000-172417 A 特開2002−169645号公報JP 2002-169645 A

しかしながら、上述した特許文献1の携帯端末装置の場合も、文字入力のために仮名1文字あたり最低2回のキー押下が必要となる。また、1回目のキー押下により、次のキー押下とそれにより入力される文字との対応一覧表を表示することで操作性を向上させようとすると、1回目の入力操作→表示→2回目の入力操作と、前後の入力処理の間に表示処理を入れる必要があり、処理が複雑になって入力操作の高速化に対応できないという問題がある。   However, in the case of the above-described portable terminal device of Patent Document 1, it is necessary to press the key at least twice for each character in order to input characters. Also, if the operability is improved by displaying the correspondence list between the next key press and the character input by the first key press, the first input operation → display → second time There is a problem that it is necessary to put a display process between the input operation and the input process before and after, and the process is complicated, and the input operation cannot be performed at high speed.

また、特許文献2の携帯端末装置の場合には、本来の携帯端末装置には必要でない加速度センサを付加する必要があるばかりか、その出力を2回積分して移動方向および移動量を検出する機能も必要となり、この機能を精度良く実現するためには処理が複雑で高価になるという問題がある。   In addition, in the case of the portable terminal device of Patent Document 2, it is necessary to add an acceleration sensor that is not necessary for the original portable terminal device, and the direction and amount of movement are detected by integrating the output twice. A function is also required, and there is a problem that processing is complicated and expensive in order to realize this function with high accuracy.

この発明は、上述の点に鑑みてなされたもので、最小限のキー押下で確実な文字入力が可能で、文字入力操作性を向上させることができる携帯端末装置を提供することを目的とする。   The present invention has been made in view of the above points, and an object of the present invention is to provide a portable terminal device capable of reliably inputting characters with minimum key presses and improving character input operability. .

本発明に係る携帯電話装置は、
映像を撮像する撮像部と、
前記撮像部から出力される映像信号から、画面を構成する領域毎に動きベクトルを検出し、前記検出された複数の動きベクトルに基づく画面全体の動きベクトルを検出する動きベクトル検出部と、
複数のキーを有するキー操作部と、
前記キー操作部からの出力及び前記動きベクトル検出部からの出力と、文字とを対応付けたデータテーブルに基づいて、入力文字を選択する文字入力確定部と、
前記文字入力確定部で選択された文字を表示する表示部
を備える
The mobile phone device according to the present invention is
An imaging unit for imaging video;
A motion vector detection unit that detects a motion vector for each area constituting the screen from the video signal output from the imaging unit, and detects a motion vector of the entire screen based on the detected plurality of motion vectors ;
A key operation unit having a plurality of keys;
An output from the output and the motion vector detecting unit from the key operation unit, and based on the data table associating a character, and a character input confirmation unit for selecting an input character,
Obtain Bei a display unit <br/> displaying the character input determination unit at selected character.

本発明に係る携帯電話装置によれば、映像を撮像する撮像部と、前記撮像部から出力される映像信号から、画面を構成する領域毎に動きベクトルを検出し、前記検出された複数の動きベクトルに基づく画面全体の動きベクトルを検出する動きベクトル検出部と、複数のキーを有するキー操作部と、前記キー操作部からの出力及び前記動きベクトル検出部からの出力と、文字とを対応付けたデータテーブルに基づいて、入力文字を選択する文字入力確定部と、前記文字入力確定部で選択された文字を表示する表示部とを備えているので、携帯電話装置を上下左右に振るジェスチャー操作を動きベクトル検出手段で検出して、文字入力情報に用いることが可能となる。
According to the mobile phone device of the present invention, a motion vector is detected for each region constituting a screen from an image capturing unit that captures an image and a video signal output from the image capturing unit, and the detected plurality of motions associating a motion vector detecting section for detecting a motion vector of the entire screen based on the vector, a key operation unit having a plurality of keys, and the output from the output and the motion vector detecting unit from the key operation unit, and a character and in based on the data table, and a character input confirmation unit for selecting an input character, because a display unit that displays the character input determination unit at selected character, vertically and horizontally mobile telephone device A shaking gesture operation can be detected by the motion vector detection means and used for character input information.

実施の形態1.
図1はこの発明の実施の形態による携帯端末装置における文字入力機構の概略構成を示すブロック図であり、図2にはその携帯端末装置の外観斜視図を示す。この携帯端末装置1(図2)は撮像機能付きの携帯電話機であって、その文字入力機構2(図1)は、撮像部3、動きベクトル検出部4、キー操作部5、文字入力確定部6、および表示部7を備えている。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a schematic configuration of a character input mechanism in a mobile terminal device according to an embodiment of the present invention, and FIG. 2 shows an external perspective view of the mobile terminal device. The mobile terminal device 1 (FIG. 2) is a mobile phone with an imaging function, and its character input mechanism 2 (FIG. 1) includes an imaging unit 3, a motion vector detection unit 4, a key operation unit 5, and a character input confirmation unit. 6 and a display unit 7 are provided.

撮像部3は、静止画および動画を撮像する手段であって、光学レンズ、CCDやCMOS等のイメージセンサ、駆動回路等で構成され、その映像出力は圧縮回路部(図示せず)によりJPEGやMPEG等の各種フォーマットに圧縮される。   The image pickup unit 3 is a means for picking up still images and moving images, and includes an optical lens, an image sensor such as a CCD or a CMOS, a drive circuit, and the like, and its video output is output by a compression circuit unit (not shown) such as JPEG or Compressed into various formats such as MPEG.

動きベクトル検出部4は、撮像部3の映像出力から動きベクトルを検出する手段であって、具体的には、前後のフレーム間の画像の相対関係を利用して前後のフレーム間でどの方向にどれだけ画像が移動したかを演算する。この動きベクトル検出部4には、動画を送信するときの動画圧縮のための符号化手段として用意された動きベクトル検出回路(画面における各マクロブロック単位の動きベクトルを検出する)が一部兼用される。   The motion vector detection unit 4 is a means for detecting a motion vector from the video output of the imaging unit 3, and specifically, in which direction between the previous and next frames using the relative relationship of the images between the previous and next frames. Calculate how much the image has moved. This motion vector detection unit 4 is also used in part with a motion vector detection circuit (detecting a motion vector for each macroblock on the screen) prepared as an encoding means for moving image compression when transmitting a moving image. The

ここで、図3に示すブロック図を用いて動きベクトル検出部4の構成の一例を説明する。
撮像部3から出力される映像信号はA/Dコンバータ41でA/D変換され、それらの信号が画面における各マクロブロック単位で前フレームブロックメモリ42に記憶される。これと並行して、画素シフト回路43は、各マクロブロックの画素位置(アドレス)からシフト方向およびシフト量の異なる各位置にシフトした画素の映像信号を取り込み、これらの信号が次段の絶対値総和回路44に入力される。絶対値総和回路44では、前フレームブロックメモリ42から読み出された前フレームでの各マクロブロックの画素の絶対値と、画素シフタ43で画素位置をシフトさせた次フレームの各マクロブロックの画素の絶対値との総和が、各マクロブロック単位で求められる。
Here, an example of the configuration of the motion vector detection unit 4 will be described with reference to the block diagram shown in FIG.
The video signal output from the imaging unit 3 is A / D converted by the A / D converter 41, and these signals are stored in the previous frame block memory 42 for each macroblock on the screen. In parallel with this, the pixel shift circuit 43 takes in the video signal of the pixel shifted from the pixel position (address) of each macroblock to each position having a different shift direction and shift amount, and these signals are absolute values of the next stage. This is input to the summation circuit 44. In the absolute value summation circuit 44, the absolute value of each macroblock pixel in the previous frame read from the previous frame block memory 42 and the pixel value of each macroblock in the next frame whose pixel position is shifted by the pixel shifter 43 are displayed. The sum total with the absolute value is obtained for each macroblock.

次段の各ブロック最小検出回路45では、各マクロブロックにおける絶対値総和の最小値を求めて動きベクトルを検出する。そして、次段の平均化回路46では、マクロブロックごとの動きベクトル値を画面内で平均化することで、画面全体の動きベクトルとする。   Each block minimum detection circuit 45 in the next stage detects the motion vector by obtaining the minimum value of the sum of absolute values in each macroblock. Then, the averaging circuit 46 in the next stage averages the motion vector values for each macroblock in the screen to obtain the motion vector for the entire screen.

この動きベクトル検出部4において、A/Dコンバータ41から絶対値総和回路44にわたる部分は、動画圧縮のための符号化手段として動画機能付きの携帯電話機に備わっている回路を兼用した回路部分である。これにより、動きベクトル検出部4の構成を簡略化でき、コスト低減が可能となる。   In this motion vector detection unit 4, the part extending from the A / D converter 41 to the absolute value summation circuit 44 is a circuit part that also serves as a circuit provided in a mobile phone with a moving image function as encoding means for moving image compression. . Thereby, the structure of the motion vector detection part 4 can be simplified and cost reduction is attained.

また、図4に示すブロック図を用いて動きベクトル検出部4の他の構成例について説明する。なお、より具体的な説明は特許第2641599号にてなされているので、以下においては簡単な説明に止める。   Further, another configuration example of the motion vector detection unit 4 will be described using the block diagram shown in FIG. A more specific description is given in Japanese Patent No. 2641599, so that the following is a brief description.

この例では、手ぶれ補正に用いられるような代表点マッチング法により画面全体の動きベクトルを検出するようにしている。すなわち、代表点マッチング法とは、画面内に複数の代表点を設定し、前フレームの代表点の信号値を記憶するとともに、現フレームの代表点の周囲にあたる画素の信号値との差の絶対値を求め、当該絶対値に基づいて動きベクトルを検出する方法である。   In this example, the motion vector of the entire screen is detected by a representative point matching method used for camera shake correction. In other words, the representative point matching method sets a plurality of representative points in the screen, stores the signal values of the representative points of the previous frame, and calculates the absolute difference between the signal values of the pixels around the representative points of the current frame. In this method, a value is obtained and a motion vector is detected based on the absolute value.

より具体的には、図4に示すように、撮像部3から出力される映像信号はA/Dコンバータ41でA/D変換され、前フレーム代表点メモリ42Aおよび絶対値回路44Aに与えられる。   More specifically, as shown in FIG. 4, the video signal output from the imaging unit 3 is A / D converted by the A / D converter 41, and is supplied to the previous frame representative point memory 42A and the absolute value circuit 44A.

前フレーム代表点メモリ42Aには1フレーム前の前フレームの代表点の信号値を記憶しておき、1フレーム後、すなわち現フレームの代表点から、累積加算テーブル47と同じアドレス空間の距離にあたる各画素と、前フレームの代表点とのそれぞれの差の絶対値を絶対値回路44Aで求める。   In the previous frame representative point memory 42A, the signal value of the representative point of the previous frame one frame before is stored, and after each frame, that is, from the representative point of the current frame, each corresponding to the distance in the same address space as the cumulative addition table 47 The absolute value circuit 44A determines the absolute value of the difference between the pixel and the representative point of the previous frame.

そして、この絶対値を、累積加算テーブル47の対応するアドレスに代表点の点数分だけ累積加算し、次段のテーブル比較回路48では、累積加算値の一番小さいアドレスをもって1フレームで画像位置がどの方向にどれだけ移動したか、すなわち動きベクトル値を算出する。   Then, this absolute value is cumulatively added to the corresponding address of the cumulative addition table 47 by the number of representative points, and the table comparison circuit 48 in the next stage has the image position in one frame with the address with the smallest cumulative addition value. The amount of movement in which direction, that is, the motion vector value is calculated.

このような構成を採用することで、より精度の高い動きベクトルの検出が可能となる。また、手ぶれ補正機能が動画機能付きの携帯電話機に備わっている場合には、回路を一部兼用することで動きベクトル検出部4の構成を簡略化でき、コスト低減が可能となる。   By adopting such a configuration, it is possible to detect a motion vector with higher accuracy. Further, when the camera shake correction function is provided in a mobile phone with a moving image function, the configuration of the motion vector detection unit 4 can be simplified by using part of the circuit, and the cost can be reduced.

ここで、図2の説明に戻る。キー操作部5は、文字などの入力に用いられる入力手段であって、複数のキーからなり、テンキーを構成する「1」〜「0」キー、およびその他のファンクションキーを有しており、ユーザが押下したキー入力をコード化して文字入力確定部6に出力する。   Returning to the description of FIG. The key operation unit 5 is an input means used for inputting characters and the like, and includes a plurality of keys, and includes “1” to “0” keys constituting a numeric keypad and other function keys. The key input pressed is encoded and output to the character input confirmation unit 6.

文字入力確定部6は、所定の制御プログラムに従って、キー操作部5からの出力と、動きベクトル検出部4からの出力とに基づき、入力される文字の選択,変換,および確定の動作を制御する手段であって、制御部61と記憶部62とで構成される。制御部61は、キー操作部5および動きベクトル検出部4からの入力に基づき、文字の入力モード,選択,変換,確定という各ステップを実行する。記憶部62には、複数の文字入力モードに応じて予め用意された文字選択のためのテーブル情報(キー入力および検出動きベクトルと文字とを対応付けたマトリックス)が格納されている。   The character input confirmation unit 6 controls the operation of selecting, converting, and confirming the input character based on the output from the key operation unit 5 and the output from the motion vector detection unit 4 according to a predetermined control program. The control unit 61 and the storage unit 62 are means. Based on inputs from the key operation unit 5 and the motion vector detection unit 4, the control unit 61 executes the steps of character input mode, selection, conversion, and confirmation. The storage unit 62 stores table information (a matrix in which key input and detected motion vectors are associated with characters) prepared in advance according to a plurality of character input modes.

表示部7は、文字入力確定部6によって選択,変換,および確定されて行く各段階で選ばれるべき候補の文字等を表示する手段であり、これによりインタラクティブな文字入力操作が行われる。なお、撮像部3(図1)が設置される位置は、携帯端末装置1の本体におけるキー操作部5および表示部7が設置される操作面1a、または操作面1aの背面のどちらでもよい。   The display unit 7 is means for displaying candidate characters and the like to be selected at each stage selected, converted, and confirmed by the character input confirmation unit 6, thereby performing an interactive character input operation. In addition, the position where the imaging unit 3 (FIG. 1) is installed may be either the operation surface 1a where the key operation unit 5 and the display unit 7 in the main body of the mobile terminal device 1 are installed, or the back surface of the operation surface 1a.

次に、携帯端末装置1による文字入力操作を、図2を参照して説明する。
まず、撮像部3を動作させ、何らかの被写体Mを撮影するモードにして、映像信号を得る。なお、図2では、撮影された被写体Mを表示部7に表示させているが、入力される文字や、その変換操作を表示させることが目的であるので、被写体Mを表示させる必要はない。なお、この被写体Mは基本的に何でも良いが、人物等の個々に独立した動きを有する特定の被写体より、動きがほぼ固定している風景の方が望ましい。また、動きベクトル検出には前後のフレーム間の画像の相関関係を利用しているので、フォーカス等の調整も行わない方が良い。
Next, a character input operation by the mobile terminal device 1 will be described with reference to FIG.
First, the image pickup unit 3 is operated to enter a mode for shooting some subject M to obtain a video signal. In FIG. 2, the photographed subject M is displayed on the display unit 7, but it is not necessary to display the subject M because the purpose is to display input characters and conversion operations. The subject M may be basically anything, but a landscape with almost fixed movement is more desirable than a specific subject having individual independent movements such as a person. In addition, since the correlation between the images between the previous and next frames is used for motion vector detection, it is better not to adjust the focus or the like.

ここで、図2において、矢印a〜dは、携帯端末装置1に加えられる物理的な動きの方向を示し、(A)〜(D)の画像は、携帯端末装置1が静止した状態から矢印a〜dのように傾けられたときの、撮像部3による被写体Mの画像の動き(動きベクトル)を示している。矢印aは携帯端末装置1の上部を背面側に傾ける場合を、矢印bは同装置1の右側部を背面側に傾ける場合を、矢印cは同装置1の下部を背面側に傾ける場合を、矢印dは同装置1の左側部を背面側に傾ける場合をそれぞれ示す。   Here, in FIG. 2, arrows a to d indicate directions of physical movement applied to the mobile terminal device 1, and images (A) to (D) are arrows from the state where the mobile terminal device 1 is stationary. The movement (motion vector) of the image of the subject M by the imaging unit 3 when tilted as shown by a to d is shown. An arrow a indicates a case where the upper part of the mobile terminal device 1 is inclined to the back side, an arrow b indicates a case where the right side part of the device 1 is inclined toward the back side, and an arrow c indicates a case where the lower part of the device 1 is inclined toward the back side. An arrow d indicates a case where the left side portion of the apparatus 1 is inclined to the back side.

矢印aの動きに対応する(A)の画像では、画像の動き(動きベクトル)が上方向となり、矢印bの動きに対応する(B)の画像では、動きベクトルが右方向となり、矢印cの動きに対応する(C)の画像では、動きベクトルが下方向となり、矢印dの動きに対応する(D)の画像では、動きベクトルが左方向となる。これらの動きベクトルを動きベクトル検出部4が検出する。   In the image of (A) corresponding to the movement of the arrow a, the movement (motion vector) of the image is upward, and in the image of (B) corresponding to the movement of the arrow b, the movement vector is rightward, and the arrow c In the image (C) corresponding to the motion, the motion vector is in the downward direction, and in the image (D) corresponding to the motion in the arrow d, the motion vector is in the left direction. The motion vector detection unit 4 detects these motion vectors.

したがって、動きベクトル検出部4で検出する左右方向および上下方向の動きベクトル値が所定の範囲内にある場合、例えば右方向の動きベクトルが所定の値より大きく、上下方向の動きベクトルが所定の値より小さい場合には、動きベクトル検出部4の出力を受ける文字入力確定部6は、ユーザが携帯端末装置1に対して矢印bのジェスチャー入力を行ったと判定する。   Therefore, when the left and right direction and up and down direction motion vector values detected by the motion vector detecting unit 4 are within a predetermined range, for example, the right direction motion vector is larger than a predetermined value, and the up and down direction motion vector is a predetermined value. If smaller, the character input confirmation unit 6 that receives the output of the motion vector detection unit 4 determines that the user has performed the gesture input of the arrow b on the mobile terminal device 1.

同様に、左右方向および上下方向ともに動きベクトルが所定の値より小さい場合、文字入力確定部6は、携帯端末装置1が「静止」していると判定する。この「静止」の場合を動きベクトルが(O)の場合であるとすると、(A),(B),(C),(D)にこの動きベクトル(O)を加えて5通りのジェスチャー入力を想定することができ、動きベクトル検出部4から文字入力確定部6には、この5通りの情報が出力される。   Similarly, when the motion vector is smaller than a predetermined value in both the left-right direction and the up-down direction, the character input determination unit 6 determines that the mobile terminal device 1 is “still”. Assuming that the motion vector is (O) in the case of “still”, the motion vector (O) is added to (A), (B), (C), and (D), and five types of gesture input are performed. The five types of information are output from the motion vector detection unit 4 to the character input determination unit 6.

以下、図5〜図8を用いて、具体的な文字入力方法について説明する。
図5〜図8は、それぞれ「全角かな」、「半角カナ」、「半角英字」および「全角英字」の各文字入力モードに対応するテーブル情報の具体例を示す図である。
Hereinafter, a specific character input method will be described with reference to FIGS.
5 to 8 are diagrams showing specific examples of table information corresponding to the character input modes of “full-width kana”, “half-width kana”, “half-width alphabet”, and “full-width alphabet”, respectively.

図5〜図8に示す各文字入力モードのマトリックスは、現在の携帯電話機で用いられている「2タッチ方式」のマトリックスを半分に分割し、2桁目の入力を(O),(A),(B),(C),(D)に変えたものである。なお、文字入力モードの決定は、キー操作部5からの入力に基づき行われ、その入力モードが表示部7に表示される。   The matrix of each character input mode shown in FIG. 5 to FIG. 8 divides the “2-touch method” matrix used in the current mobile phone in half, and inputs the second digit (O), (A). , (B), (C), (D). The character input mode is determined based on an input from the key operation unit 5, and the input mode is displayed on the display unit 7.

文字入力確定部6では、先ず第1ステップである入力モード切替えステップとして、その制御部61が、キー操作部5からの入力に基づき文字入力モードを決定し、表示部7にその入力モードを表示する。次の第2ステップである入力文字選択ステップで制御部61は、その入力モードにおけるテーブル情報(マトリックス)を記憶部62から読み出し、このマトリックスに従って文字を選択する。そして、次の第3ステップである変換ステップにおいて、制御部61は選択文字を漢字に変換し、第4ステップである確定ステップで、変換漢字候補の中から所望の漢字を選び確定する。   In the character input confirming unit 6, first, as an input mode switching step as the first step, the control unit 61 determines the character input mode based on the input from the key operation unit 5 and displays the input mode on the display unit 7. To do. In the input character selection step, which is the next second step, the control unit 61 reads table information (matrix) in the input mode from the storage unit 62 and selects characters according to this matrix. In the next conversion step, which is the third step, the control unit 61 converts the selected character into kanji, and in the determination step, which is the fourth step, selects and confirms the desired kanji from the converted kanji candidates.

このように、文字入力確定部6の処理動作を多段階に分けることで、1回のキー入力と1回のジェスチャー入力、あるいはこれらを同時に行うことで、入力文字の選択が可能となり、文字入力の操作性をより向上させることができる。   In this way, by dividing the processing operation of the character input confirmation unit 6 into multiple stages, it is possible to select an input character by performing one key input and one gesture input, or performing these simultaneously, and character input The operability can be further improved.

次に、具体例として「変換」という漢字を入力する場合を以下に説明する。まず、キー操作部5のファンクションキーで文字入力モードを「全角かな」に設定する。「全角かな」モードでは、図5のマトリックスが記憶部62から読み出されて入力待機状態となる。その状態で、図5のマトリックスに従って、「6」キーと(C)のジェスチャー入力で「へ」を選択、「0」キーと(B)のジェスチャー入力で「ん」を選択、「2」キーと(O)のジェスチャー入力で「か」を選択、「0」キーと(B)のジェスチャー入力で「ん」を選択すると、表示部7に「へんかん」と表示される。この場合、キー操作部5からの出力と、動きベクトル検出部4の出力とは互いに独立しているため、同時に入力することが可能である。この「へんかん」の入力に用いたキー押下回数は4回である。   Next, a case where a kanji character “conversion” is input will be described as a specific example. First, the character input mode is set to “full-width kana” using the function keys of the key operation unit 5. In the “full-width kana” mode, the matrix of FIG. 5 is read from the storage unit 62 and enters an input standby state. In this state, according to the matrix of FIG. 5, “6” key and (C) gesture input select “to”, “0” key and (B) gesture input select “n”, “2” key When “ka” is selected with the gesture input of (O) and “n” is selected with the “0” key and the gesture input of (B), “Epikan” is displayed on the display unit 7. In this case, since the output from the key operation unit 5 and the output from the motion vector detection unit 4 are independent from each other, they can be input simultaneously. The number of key presses used for the input of this “seizure” is 4 times.

次にファンクションキー(一般的には「下矢印キー」)で変換操作を行う。すると、「変換」以外にも「返還」など意図しない漢字が候補に上がることがあるので、意図した漢字を選択して確定するようにファンクションキーで確定操作を行う(一般的には「上下矢印」で選択し「決定」で確定)。   Next, a conversion operation is performed with a function key (generally, a “down arrow key”). Then, in addition to “Conversion”, unintended Kanji characters such as “Return” may appear as candidates, so perform a confirmation operation with the function keys to select and confirm the intended Kanji character (generally “up / down arrow” ”To select and“ OK ”to confirm).

次に、濁音や小文字を含んだ例として「学校」という漢字を入力するために、「がっこう」を選択する場合を以下に説明する。前記例と同様に、先ず、ファンクションキーで文字入力モードを「全角かな」に設定する。その後、図5のマトリックスに従って、「2」キーと(O)のジェスチャー入力で「か」を選択、「0」キーと(C)のジェスチャー入力で濁音を付けて「が」に変更、「4」キーと(B)のジェスチャー入力で「つ」を選択、ファンクションキーで小文字「っ」に変更、「2」キーと(D)のジェスチャー入力で「こ」を選択、「1」キーと(B)のジェスチャー入力で「う」を選択する。この場合、6回のキー押下回数で「がっこう」の入力が可能である。   Next, a case where “gakukou” is selected in order to input the kanji “school” as an example including muddy sounds and lowercase letters will be described below. As in the above example, first, the character input mode is set to “full-width kana” using the function keys. After that, according to the matrix of FIG. 5, “ka” is selected by “2” key and (O) gesture input, and “0” key and (C) gesture input is added to change the sound to “ga”, “4”. ”Key and (B) gesture input to select“ tsu ”, function key to change to lower case“ tsu ”,“ 2 ”key and (D) gesture input to select“ ko ”,“ 1 ”key and ( Select “U” with the gesture input of B). In this case, it is possible to input “gakukou” with the number of times the key is pressed six times.

なお、半角カナモードの場合には、図6のマトリックスに従って入力する。この場合もファンクションキーを用いて大文字入力と小文字入力とを切り換えることができる。   In the case of half-width kana mode, input is performed according to the matrix in FIG. In this case as well, uppercase input and lowercase input can be switched using the function keys.

次に、半角で「Hello」という文字を入力する場合について説明する。この場合は、まず、「半角英字」モードに設定し、図7のマトリックスに従って、「2」キーと(B)のジェスチャー入力で「H」を選択、「8」キーと(D)のジェスチャー入力で小文字入力モードに変更、「1」キーと(D)のジェスチャー入力で「e」を選択、「3」キーと(A)のジェスチャー入力で「l」を選択、「3」キーと(A)のジェスチャー入力で「l」を選択、「3」キーと(D)のジェスチャー入力で「o」を選択する。この場合も6回のキー押下回数で「Hello」の入力が可能である。   Next, a case where the characters “Hello” are input in half-width will be described. In this case, first, the “half-width alphabet” mode is set, “H” is selected by the “2” key and (B) gesture input according to the matrix of FIG. 7, and the “8” key and (D) gesture input are selected. To change to lower case input mode, select “e” with “1” key and (D) gesture input, select “l” with “3” key and (A) gesture input, “3” key and (A ) Select “l” with gesture input, select “o” with “3” key and (D) gesture input. Also in this case, “Hello” can be input with the number of times the key is pressed six times.

なお、全角英字モードの場合には、図8のマトリックスに従って入力する。この場合も「8」キーと(D)のジェスチャー入力、およびファンクションキーを用いて大文字入力と小文字入力とを切り換えることができる。   In the case of full-width alphabetic mode, input is performed according to the matrix in FIG. In this case as well, capital letter input and small letter input can be switched using the “8” key, gesture input (D), and function keys.

以上の動作を要約すれば、携帯端末装置1の被写体に対する角度を変えることで、被写体Mの撮像角度を変え、撮像角度の変化を被写体Mの移動に見なして動きベクトルを検出するものと言うことができ、携帯端末装置1の被写体に対する角度を変えること、すなわちジェスチャーでキー操作の代わりとすることができ、最小限のキー操作で確実な文字入力が可能となって、文字入力操作性を向上させることができる。   To summarize the above operation, the angle of the portable terminal device 1 with respect to the subject is changed to change the imaging angle of the subject M, and the motion vector is detected by regarding the change of the imaging angle as the movement of the subject M. It is possible to change the angle of the mobile terminal device 1 with respect to the subject, that is, it can be used as a substitute for key operation with gestures, and it is possible to input characters reliably with minimum key operations, thereby improving character input operability. Can be made.

なお、以上の説明では、ジェスチャー入力を5通りとしたが、これは誤検出を少なくするために簡略化したものであり、静止,左右,上下のほか、斜め方向などの動きをジェスチャー入力の1つとして含めてジェスチャー入力の種類を増やしても良い。   In the above description, there are five types of gesture input. However, this is simplified in order to reduce false detections. In addition to stationary, left and right, up and down, the movement in the diagonal direction is one of the gesture inputs. The number of types of gesture input may be increased.

また、以上の説明では、キー操作とジェスチャー操作を同時に行う場合について説明したが、同時でなく、例えばキー操作後にジェスチャー操作を行うようにしても良い。この場合は、キー操作後に、次のジェスチャー操作でどの文字が選択されるかを表示部7に表示することや、一定期間ジェスチャー入力が無い場合に、これを(O)のジェスチャーであると判定するためのタイムアウト時間を設定すること等を追加することも考えられる。   In the above description, the case where the key operation and the gesture operation are performed simultaneously has been described. However, the gesture operation may be performed after the key operation, for example. In this case, after the key operation, which character is selected in the next gesture operation is displayed on the display unit 7, or when there is no gesture input for a certain period, this is determined as the gesture of (O). It is also conceivable to add a time-out time for performing the above.

また、以上の説明では、キー操作とジェスチャー操作とで選択される文字のマトリックスとして、現在の携帯電話機で用いられている「2タッチ方式」を基にして作成した例を示したが、他のマトリックスを用いても良い。例えば、通常の文字入力に用いているように、「2」キーに「A」「B」「C」、「3」キーに「D」「E」「F」というように英文字を割り当てると、通常入力の場合と同じキーが使え印刷表示が共用できる。   In the above description, an example has been shown in which the character matrix selected by the key operation and the gesture operation is created based on the “two-touch method” used in the current mobile phone. A matrix may be used. For example, as in the case of normal character input, if “A”, “B”, “C” are assigned to the “2” key, and “D”, “E”, “F” are assigned to the “3” key, etc. The same keys can be used as for normal input, and the print display can be shared.

また、図2に示した携帯端末装置1では、撮像部3がキー操作部5および表示部7が設置される操作面1aの背面側に設置される例を示したが、撮像部3を操作面1a側に設置しても良い。この場合、操作者自身を被写体Mとすることができ、携帯端末装置自身を動かさなくても操作者の顔を振る等の体の動きで文字入力操作を行うこともできる。   In the mobile terminal device 1 shown in FIG. 2, the example in which the imaging unit 3 is installed on the back side of the operation surface 1 a on which the key operation unit 5 and the display unit 7 are installed is shown. You may install in the surface 1a side. In this case, the operator himself can be the subject M, and the character input operation can also be performed by body movement such as shaking the operator's face without moving the mobile terminal device itself.

実施の形態2.
次に、本実施の形態では、動きベクトルの時系列的変化を検出して、動きベクトル検出の精度を向上させる方法について説明する。
実施の形態1で説明したように、撮像部3にて撮像する被写体Mとしては、個々に動きを有する人物や動物等の移動物体が存在する場面より、ほぼ動きが無く固定されている風景だけの場面の方が望ましい。この理由は、移動物体が撮像範囲にあると、その移動物体に対応する動きベクトルを検出してしまう場合があり、その結果、動きベクトルの誤検出が増え、検出精度が低くなるからである。しかし、風景だけの被写体を選択しても、人や動物等が撮像範囲を横切ることにより乱れが生じ、動きベクトルの誤検出が発生する場合がある。
Embodiment 2. FIG.
Next, in the present embodiment, a method for detecting time-series changes in motion vectors and improving the accuracy of motion vector detection will be described.
As described in the first embodiment, the subject M to be imaged by the imaging unit 3 is only a fixed scene with almost no movement from a scene where there are moving objects such as persons and animals having individual movements. Is preferable. This is because if the moving object is in the imaging range, a motion vector corresponding to the moving object may be detected, resulting in an increase in false detection of the motion vector and a decrease in detection accuracy. However, even if a subject with only a landscape is selected, disturbance may occur due to people, animals, or the like crossing the imaging range, and erroneous detection of motion vectors may occur.

図9は、動きベクトルの時間的変化を表す図であり、縦軸が動きベクトル、横軸が時間である。例えば、被写体として風景が選択されているとき、あるいは携帯端末装置1自体が静止しているときに、人等の移動物体が撮像部3の撮像範囲を横切った場合を想定する。この場合、動きベクトルの検出状態は、図9(A)に示すように、(a)のタイミングで移動物体が撮像部3の撮像範囲に入り、(b)のタイミングで撮像範囲から出る。このように、ほぼ動きのない風景の前を移動物体が横切った場合、検出される動きベクトルは一方向のみとなる。   FIG. 9 is a diagram showing temporal changes in motion vectors, where the vertical axis represents the motion vector and the horizontal axis represents time. For example, it is assumed that a moving object such as a person crosses the imaging range of the imaging unit 3 when a landscape is selected as a subject or when the mobile terminal device 1 itself is stationary. In this case, as shown in FIG. 9A, in the motion vector detection state, the moving object enters the imaging range of the imaging unit 3 at the timing (a) and exits the imaging range at the timing (b). Thus, when a moving object crosses in front of a landscape with almost no motion, the detected motion vector is only in one direction.

一方、被写体として風景が選択されており、ユーザが文字入力操作のために、携帯端末装置1を図2の矢印a〜dのように動かした場合の動きベクトルの検出状態を図9(B)に示す。ユーザは、携帯端末装置1を例えば矢印bのように動かした後、文字入力や変換動作の状態が表示される表示部7を確認するため、さらに、矢印bとは逆の方向に携帯端末1を動かす。すなわち、(c)のタイミングで携帯端末1を矢印bの方向に動かし始め、(d)のタイミングでその動作が終了する。そして、(e)のタイミングで矢印bとは逆の方向に携帯端末1を動かし始め、(f)のタイミングでその動作が終了する。このように、文字入力を行う場合は、まず、ある方向の動きベクトルが検出され、その後、逆の動きベクトルが検出されることとなる。   On the other hand, when a landscape is selected as a subject and the user moves the mobile terminal device 1 as indicated by arrows a to d in FIG. Shown in After the user moves the mobile terminal device 1 as indicated by an arrow b, for example, the mobile terminal 1 is checked in the direction opposite to the arrow b in order to check the display unit 7 on which the state of character input or conversion operation is displayed. Move. That is, the mobile terminal 1 starts to move in the direction of arrow b at the timing (c), and the operation ends at the timing (d). Then, the mobile terminal 1 starts to move in the direction opposite to the arrow b at the timing (e), and the operation ends at the timing (f). As described above, when inputting characters, a motion vector in a certain direction is first detected, and then a reverse motion vector is detected.

したがって、図10に示すフローにて動きベクトルの検出処理を行うことにより、外乱による誤検出とユーザによる文字入力操作とを判別することができるようになる。   Therefore, by performing the motion vector detection process in the flow shown in FIG. 10, it becomes possible to discriminate between erroneous detection due to disturbance and character input operation by the user.

まず、ステップ1にて所定量の動きベクトルを検出する。次に、ステップ2にて所定期間のタイマーを設定し、タイマーの期間内に、ステップ1にて検出された動きベクトルとは逆方向の動きベクトルを検出するか否かを判別する(ステップ3、ステップ4)。逆方向の動きベクトルが検出された場合は、ユーザによる文字入力操作と判断する(ステップ5)。   First, in step 1, a predetermined amount of motion vector is detected. Next, a timer for a predetermined period is set in step 2, and it is determined whether or not a motion vector in the direction opposite to the motion vector detected in step 1 is detected within the timer period (step 3, Step 4). If a motion vector in the reverse direction is detected, it is determined that the user has performed a character input operation (step 5).

このように、一方向の動きベクトルが検出された後、所定期間内に逆方向の動きベクトルを検出した場合をユーザによる文字入力操作と判断することにより、動きベクトルの誤検出を減らすことができ、検出の精度を向上させることが可能となる。   Thus, after detecting a motion vector in one direction and detecting a motion vector in the reverse direction within a predetermined period, it is possible to reduce erroneous detection of the motion vector by determining that it is a character input operation by the user. It is possible to improve the detection accuracy.

なお、図10に示した処理フローでは、ステップ1の動きベクトル検出後にステップ2にてタイマーを設定することとしている。しかし、携帯端末装置1を動かすジェスチャー入力と同時、またはジェスチャー入力の前に文字入力モードを決定するためのファンクションキーからの入力や、図5に示すマトリックスに対応するためのテンキーからの入力が存在する。したがって、これらのキー入力をトリガーとしてタイマーの設定を行ってもよい。   In the processing flow shown in FIG. 10, a timer is set in step 2 after the motion vector is detected in step 1. However, there is an input from a function key for determining a character input mode simultaneously with a gesture input for moving the mobile terminal device 1 or before a gesture input, or an input from a numeric keypad for corresponding to the matrix shown in FIG. To do. Therefore, the timer may be set using these key inputs as a trigger.

本実施の形態における携帯電話端末装置は、例えば、図1に示した文字入力確定部6の記憶部62に、検出された動きベクトルを所定期間記憶させる機能を持たせることにより構成される。すなわち、図10に示した処理フローに基づき、動きベクトル検出部4にて検出された動きベクトル、記憶部62に格納されているテーブル情報、記憶されている動きベクトル、キー操作部5からの入力を用い、制御部62にて文字の入力モード、選択、変換、確定の各ステップを実行する。なお、記憶部62以外に、検出された動きベクトルを所定期間記憶させるため記憶部(図示せず)を設けてもよい。   The mobile phone terminal device according to the present embodiment is configured, for example, by providing the storage unit 62 of the character input confirmation unit 6 shown in FIG. 1 with a function of storing the detected motion vector for a predetermined period. That is, based on the processing flow shown in FIG. 10, the motion vector detected by the motion vector detection unit 4, the table information stored in the storage unit 62, the stored motion vector, and the input from the key operation unit 5 The control unit 62 executes the steps of character input mode, selection, conversion, and confirmation. In addition to the storage unit 62, a storage unit (not shown) may be provided to store the detected motion vector for a predetermined period.

実施の形態3.
本実施の形態では、フレームを複数の領域に分割し、領域毎に検出された動きベクトルの頻度分布を用いることにより、動きベクトルの検出精度を向上させる方法について説明する。
Embodiment 3 FIG.
In this embodiment, a method for improving motion vector detection accuracy by dividing a frame into a plurality of regions and using a motion vector frequency distribution detected for each region will be described.

まず、フレームを複数の領域に分割する。図11(A)は、フレーム全体を示しており、図11(B)は、図11(A)のフレームを例えば16分割した状態を示している。なお、フレームの分割数は16以外でもよく、また、分割された各領域の形状は、矩形以外でもよい。   First, the frame is divided into a plurality of regions. FIG. 11A shows the entire frame, and FIG. 11B shows a state in which the frame of FIG. The number of frame divisions may be other than 16, and the shape of each divided area may be other than a rectangle.

次に、分割された領域毎に動きベクトルを検出する。図12(A)は、ジェスチャー入力の際、撮像範囲を移動物体が横切った場合における動きベクトルの検出状態を示している。また、図12(B)は、ジェスチャー入力の際、撮像範囲に移動物体が存在しない場合における動きベクトルの検出状態を示している。図12(A)では、移動物体が左上の9つの領域を占めており、その他、残りの7つの領域が背景である。つまり、フレーム全体に占める割合は、背景よりも移動物体の方が高い。したがって、この場合、単に、動きベクトルの頻度分布から最も高いピークを検出する方法では、移動物体に対応する動きベクトルを検出してしまうこととなる。   Next, a motion vector is detected for each divided area. FIG. 12A shows a motion vector detection state when a moving object crosses the imaging range during gesture input. FIG. 12B shows a motion vector detection state when no moving object is present in the imaging range when a gesture is input. In FIG. 12A, the moving object occupies the nine areas in the upper left, and the remaining seven areas are the background. In other words, the ratio of the moving object to the entire frame is higher than that of the background. Therefore, in this case, simply by detecting the highest peak from the frequency distribution of motion vectors, a motion vector corresponding to a moving object is detected.

しかし、図12(A)に示すような場合に、フレーム中に2つの動きベクトルが存在することを検出し、その2つの動きベクトルを、フレームを代表する動きベクトルの候補とする。そして、図12(A)に示すフレームの時間的に前、または後に存在するフレームが図12(B)に示すようなフレームであれば、両者を比較することにより、図12(A)のフレームを代表する動きベクトルは、右方向の動きベクトルであると検出することが可能となる。すなわち、各フレームにおいて動きベクトルの頻度分布のピークを2つ検出し、時間的に前後にあるフレームと比較することにより、2つの動きベクトルのうち、どちらか一方を、フレームを代表する動きベクトルと判断する。この処理により、移動物体等が存在する場合でも、動きベクトルの誤検出が減り、検出精度が向上する。   However, in the case shown in FIG. 12A, it is detected that there are two motion vectors in the frame, and the two motion vectors are used as motion vector candidates representing the frame. If the frame existing before or after the frame shown in FIG. 12A is a frame as shown in FIG. 12B, the frames shown in FIG. Can be detected as a motion vector in the right direction. That is, by detecting two peaks of the frequency distribution of the motion vector in each frame and comparing with the temporally preceding and succeeding frames, either one of the two motion vectors is represented as a motion vector representing the frame. to decide. By this processing, even when a moving object or the like exists, false detection of motion vectors is reduced and detection accuracy is improved.

図13に、本実施の形態における動きベクトルの検出方法の処理フローを示す。まず、ステップ11にて、フレームを分割した各領域において動きベクトルを検出する。次に、領域毎に検出された動きベクトルを用い、動きベクトルの頻度分布を検出する(ステップ12)。さらに、動きベクトルの頻度分布のピークが1つであるか否かを検出し(ステップ13)、1つである場合は、検出されたピークがフレームを代表する動きベクトルであると判定する(ステップ14)。この場合、移動物体等による乱れ小さく、検出されたピークが背景に対応する動きベクトルと判断できるからである。   FIG. 13 shows a processing flow of the motion vector detection method in the present embodiment. First, in step 11, a motion vector is detected in each area obtained by dividing the frame. Next, the motion vector frequency distribution is detected using the motion vector detected for each region (step 12). Further, it is detected whether or not there is one peak of the frequency distribution of the motion vector (step 13). If there is one, it is determined that the detected peak is a motion vector representing the frame (step). 14). This is because the disturbance due to a moving object or the like is small, and the detected peak can be determined as a motion vector corresponding to the background.

一方、ステップ13にて、動きベクトルの頻度分布のピークが1つでないと判定された場合、次に、ピークが2つあるか否かを検出する(ステップ15)。ピークが2つある場合は、処理の対象となっているフレームよりも時間的に前、または後に存在するフレームと比較し、どちらか一方のピークがフレームを代表する動きベクトルであると判定する(ステップ16)。ピークが2つ存在する場合、一方が背景に対応する動きベクトルであり、他方が移動物体に対応する動きベクトルと考えられる。したがって、両者を候補としておき、時間的に前後に存在するフレームと比較して動きベクトルの判定を行うことにより、処理の対象となっているフレームに対して背景の占める割合が低くても、背景に対応する動きベクトルの検出が可能となる。この処理により、動きベクトルの誤検出が減り、検出精度が向上する。   On the other hand, if it is determined in step 13 that there is not one peak in the frequency distribution of the motion vector, it is next detected whether there are two peaks (step 15). When there are two peaks, it is compared with a frame that exists temporally before or after the frame to be processed, and it is determined that one of the peaks is a motion vector representing the frame ( Step 16). When there are two peaks, one is a motion vector corresponding to the background, and the other is considered a motion vector corresponding to the moving object. Therefore, by setting both as candidates and performing motion vector determination in comparison with frames that exist before and after in time, even if the ratio of the background to the frame to be processed is low, the background It is possible to detect a motion vector corresponding to. By this process, erroneous detection of motion vectors is reduced and detection accuracy is improved.

ところで、ステップ15にて動きベクトルの頻度分布のピークが2つ以上と検出された場合は、フレーム内の映像が乱れていると判断し、フレームを代表する動きベクトルは検出されなかったと判定する(ステップ16)。   By the way, when it is detected in step 15 that there are two or more peaks in the frequency distribution of the motion vector, it is determined that the video in the frame is disturbed, and it is determined that a motion vector representing the frame has not been detected ( Step 16).

なお、ステップ16では、比較のために用いるフレームとして、処理の対象となっている現フレームと時間的に前後にある画面を用いると説明したが、時間的に前にある前フレームだけと比較してもよく、また、時間的に後ろにある後フレームだけと比較してもよい。さらに、比較するフレームは、処理の対象となっている現フレームの直前、または直後に存在するフレームに限られず、所定時間前にある、または後にあるフレームでもよく、または、所定数のフレームの平均値でもよい。また、フレームを代表する動きベクトル同士、候補まで含めた動きベクトル同士、または動きベクトルの頻度分布自体を比較してもよい。   In step 16, it has been described that the current frame to be processed and the screen that is temporally before and after are used as the frames used for comparison. However, only the previous frame that is temporally ahead is compared. Alternatively, it may be compared with only a subsequent frame that is behind in time. Further, the frame to be compared is not limited to a frame existing immediately before or immediately after the current frame to be processed, and may be a frame that is before or after a predetermined time, or an average of a predetermined number of frames. It may be a value. Also, motion vectors representing frames, motion vectors including candidates, or motion vector frequency distributions themselves may be compared.

また、動きベクトルの頻度分布から検出するピークは2つであったが、2以上であってもよい。   Further, although two peaks are detected from the motion vector frequency distribution, two or more peaks may be detected.

本実施の形態における携帯電話端末装置は、例えば、図1に示した文字入力確定部6の記憶部62に、検出された動きベクトルを所定期間記憶させる機能を持たせることにより構成される。すなわち、図13に示した処理フローに基づき、動きベクトル検出部4にて検出された動きベクトル、記憶部62に格納されているテーブル情報、記憶されている動きベクトル、キー操作部5からの入力を用い、制御部62にて文字の入力モード、選択、変換、確定の各ステップを実行する。なお、記憶部62以外に、検出された動きベクトルを所定期間記憶させるため記憶部(図示せず)を設けてもよい。   The mobile phone terminal device according to the present embodiment is configured, for example, by providing the storage unit 62 of the character input confirmation unit 6 shown in FIG. 1 with a function of storing the detected motion vector for a predetermined period. That is, based on the processing flow shown in FIG. 13, the motion vector detected by the motion vector detection unit 4, the table information stored in the storage unit 62, the stored motion vector, and the input from the key operation unit 5 The control unit 62 executes the steps of character input mode, selection, conversion, and confirmation. In addition to the storage unit 62, a storage unit (not shown) may be provided to store the detected motion vector for a predetermined period.

なお、本明細書では、日本語を例にとって本発明の説明を行ったが、本発明にかかる携帯電話および文字入力方法は、日本語のみならず他の言語にも適用可能である。   In the present specification, the present invention has been described using Japanese as an example. However, the mobile phone and the character input method according to the present invention can be applied not only to Japanese but also to other languages.

この発明の実施の形態1にかかる携帯端末装置における文字入力機構の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the character input mechanism in the portable terminal device concerning Embodiment 1 of this invention. 同携帯端末装置のジェスチャー入力動作を示す説明図である。It is explanatory drawing which shows gesture input operation | movement of the said portable terminal device. 同携帯端末装置の動きベクトル検出手段を構成する回路の一例を示すブロック図である。It is a block diagram which shows an example of the circuit which comprises the motion vector detection means of the portable terminal device. 同動きベクトル検出手段の他の回路例を示すブロック図である。It is a block diagram which shows the other circuit example of the motion vector detection means. 携帯端末装置における文字入力確定部の記憶部に格納される全角かな入力モードの文字マトリックスを示す図である。It is a figure which shows the character matrix of the full-width kana input mode stored in the memory | storage part of the character input confirmation part in a portable terminal device. 同携帯端末装置における文字入力確定部の記憶部に格納される半角カナ入力モードの文字マトリックスを示す図である。It is a figure which shows the character matrix of the half-width kana input mode stored in the memory | storage part of the character input confirmation part in the portable terminal device. 同携帯端末装置における文字入力確定部の記憶部に格納される半角英字入力モードの文字マトリックスを示す図である。It is a figure which shows the character matrix of the half-width alphabet input mode stored in the memory | storage part of the character input confirmation part in the portable terminal device. 同携帯端末装置における文字入力確定部の記憶部に格納される全角英字入力モードの文字マトリックスを示す図である。It is a figure which shows the character matrix of the full-width alphabet input mode stored in the memory | storage part of the character input confirmation part in the portable terminal device. この発明の実施の形態2にかかる携帯端末装置が検出する動きベクトルの時系列変化を示す図である。It is a figure which shows the time-sequential change of the motion vector which the portable terminal device concerning Embodiment 2 of this invention detects. 同携帯端末装置における動きベクトル検出方法の処理フローを示した図である。It is the figure which showed the processing flow of the motion vector detection method in the portable terminal device. この発明の実施の形態3にかかる携帯端末装置におけるフレームの分割状態を示す図である。It is a figure which shows the division | segmentation state of the flame | frame in the portable terminal device concerning Embodiment 3 of this invention. 同携帯端末装置における動きベクトルの検出状態を示す図である。It is a figure which shows the detection state of the motion vector in the portable terminal device. 同携帯端末装置における動きベクトル検出方法の処理フローを示した図である。It is the figure which showed the processing flow of the motion vector detection method in the portable terminal device.

符号の説明Explanation of symbols

1 携帯端末装置
2 文字入力機構
3 撮像部
4 動きベクトル検出部
5 キー操作部
6 文字入力確定部
7 表示部
DESCRIPTION OF SYMBOLS 1 Portable terminal device 2 Character input mechanism 3 Imaging part 4 Motion vector detection part 5 Key operation part 6 Character input confirmation part 7 Display part

Claims (16)

映像を撮像する撮像部と、
前記撮像部から出力される映像信号から、画面を構成する領域毎に動きベクトルを検出し、前記検出された複数の動きベクトルに基づく画面全体の動きベクトルを検出する動きベクトル検出部と、
複数のキーを有するキー操作部と、
前記キー操作部からの出力及び前記動きベクトル検出部からの出力と、文字とを対応付けたデータテーブルに基づいて、入力文字を選択する文字入力確定部と、
前記文字入力確定部で選択された文字を表示する表示部
備え携帯電話装置。
An imaging unit for imaging video;
A motion vector detection unit that detects a motion vector for each area constituting the screen from the video signal output from the imaging unit, and detects a motion vector of the entire screen based on the detected plurality of motion vectors ;
A key operation unit having a plurality of keys;
An output from the output and the motion vector detecting unit from the key operation unit, and based on the data table associating a character, and a character input confirmation unit for selecting an input character,
A display unit that displays the character input determination unit at selected character
Mobile phone device Ru equipped with.
映像を撮像する撮像部と、
前記撮像部から出力される映像信号から、代表点マッチング法により画面全体の動きベクトルを検出する動きベクトル検出部と、
複数のキーを有するキー操作部と、
前記キー操作部からの出力及び前記動きベクトル検出部からの出力と、文字とを対応付けたデータテーブルに基づいて、入力文字を選択する文字入力確定部と、
前記文字入力確定部で選択された文字を表示する表示部と
を備える携帯電話装置。
An imaging unit for imaging video;
A motion vector detection unit that detects a motion vector of the entire screen by a representative point matching method from the video signal output from the imaging unit;
A key operation unit having a plurality of keys;
A character input confirmation unit that selects an input character based on a data table in which an output from the key operation unit and an output from the motion vector detection unit are associated with characters;
A display unit for displaying the character selected by the character input confirmation unit;
A mobile phone device comprising:
データテーブルは、複数の行と複数の列とからなり、
文字入力確定部は、
前記行の指定、または前記列の指定のいずれか一方を動きベクトル検出部からの出力により決定し、他の一方の指定をキー操作部からの出力により決定して、入力文字を選択すること
を特徴とする請求項1または2に記載の携帯電話装置。
A data table consists of multiple rows and multiple columns.
The character input confirmation part
Either one of the row designation or the column designation is determined by the output from the motion vector detection unit, and the other one is determined by the output from the key operation unit, and an input character is selected.
The mobile phone device according to claim 1 or 2, wherein
動きベクトルの検出は、
映像信号を圧縮する符号化回路により行われること
を特徴とする請求項1または3に記載の携帯電話装置。
Motion vector detection
To be performed by an encoding circuit that compresses the video signal
The mobile phone device according to claim 1 or 3, wherein
動きベクトル検出部は、動きベクトルの所定の時系列変化を検出した場合に、前記動きベクトルを検出したとすること
を特徴とする請求項1から4のいずれか1項に記載の携帯電話装置。
The motion vector detection unit detects the motion vector when it detects a predetermined time-series change of the motion vector.
The mobile phone device according to any one of claims 1 to 4, wherein:
動きベクトル検出部は、一方向の動きベクトルが検出された後、所定期間内に前記一方向とは反対方向の動きベクトルが検出された場合に、前記一方向の動きベクトルを検出したとすること
を特徴とする請求項5に記載の携帯電話装置
The motion vector detection unit detects the one-way motion vector when a motion vector in the opposite direction to the one direction is detected within a predetermined period after the one-way motion vector is detected.
The mobile phone device according to claim 5 .
動きベクトル検出部は、画面を構成する領域毎の動きベクトルの頻度分布を検出し、前記動きベクトルの頻度分布から画面全体の動きベクトルを検出すること
を特徴とする請求項1に記載の携帯電話装置
The motion vector detection unit detects a motion vector frequency distribution for each area constituting the screen, and detects a motion vector of the entire screen from the motion vector frequency distribution.
The mobile phone device according to claim 1 .
動きベクトル検出部は、動きベクトルの頻度分布のピークが1つの場合、前記ピークを画面全体の動きベクトルと検出すること
を特徴とする請求項7に記載の携帯電話装置
The motion vector detection unit detects the peak as a motion vector of the entire screen when there is one peak of the frequency distribution of the motion vector.
The mobile phone device according to claim 7 .
動きベクトル検出部は、動きベクトルの頻度分布のピークが2つの場合、いずれか一方のピークを画面全体の動きベクトルと検出することWhen there are two peaks in the frequency distribution of the motion vector, the motion vector detection unit detects one of the peaks as the motion vector of the entire screen.
を特徴とする請求項7に記載の携帯電話装置。The mobile phone device according to claim 7.
画面を構成する領域は、1以上のマクロブロックからなることThe area that composes the screen must consist of one or more macroblocks
を特徴とする請求項1、または3から9のいずれか1項に記載の携帯電話装置。10. The mobile phone device according to claim 1, or any one of claims 3 to 9.
複数のキーからなるキー操作部を有する携帯電話装置を用いて文字を入力する文字入力方法であって、A character input method for inputting characters using a mobile phone device having a key operation unit composed of a plurality of keys,
映像を撮像する撮像ステップと、An imaging step for imaging video;
前記撮像ステップから出力される映像信号から、画面を構成する領域毎に動きベクトルを検出し、前記検出された複数の動きベクトルに基づく画面全体の動きベクトルを検出する動きベクトル検出ステップと、A motion vector detection step of detecting a motion vector for each region constituting the screen from the video signal output from the imaging step, and detecting a motion vector of the entire screen based on the detected plurality of motion vectors;
前記キー操作部からの出力及び前記動きベクトル検出ステップからの出力と、文字とを対応付けたデータテーブルに基づいて、入力文字を選択する文字入力確定ステップと、A character input confirmation step of selecting an input character based on a data table in which an output from the key operation unit and an output from the motion vector detection step are associated with a character;
前記文字入力確定ステップで選択された文字を表示する表示ステップとA display step for displaying the character selected in the character input confirmation step;
を備える携帯電話装置の文字入力方法。A character input method for a mobile phone device comprising:
複数のキーからなるキー操作部を有する携帯電話装置を用いて文字を入力する文字入力方法であって、A character input method for inputting characters using a mobile phone device having a key operation unit composed of a plurality of keys,
映像を撮像する撮像ステップと、An imaging step for imaging video;
前記撮像ステップから出力される映像信号から、代表点マッチング法により画面全体の動きベクトルを検出する動きベクトル検出ステップと、A motion vector detection step of detecting a motion vector of the entire screen by a representative point matching method from the video signal output from the imaging step;
前記キー操作部からの出力及び前記動きベクトル検出ステップからの出力と、文字とを対応付けたデータテーブルに基づいて、入力文字を選択する文字入力確定ステップと、A character input confirmation step of selecting an input character based on a data table in which an output from the key operation unit and an output from the motion vector detection step are associated with a character;
前記文字入力確定ステップで選択された文字を表示する表示ステップとA display step for displaying the character selected in the character input confirmation step;
を備える携帯電話装置の文字入力方法。A character input method for a mobile phone device comprising:
データテーブルは、複数の行と複数の列とからなり、A data table consists of multiple rows and multiple columns.
文字入力確定ステップは、The character input confirmation step
前記行の指定、または前記列の指定のいずれか一方を動きベクトル検出ステップからの出力により決定し、他の一方の指定をキー操作部からの出力により決定して、入力文字を選択することEither one of the row designation or the column designation is determined by the output from the motion vector detection step, and the other one is determined by the output from the key operation unit, and an input character is selected.
を特徴とする請求項11または12に記載の携帯電話装置の文字入力方法。The character input method of the mobile phone device according to claim 11 or 12.
動きベクトル検出ステップは、動きベクトルの所定の時系列変化を検出した場合に、前記動きベクトルを検出したとすることThe motion vector detecting step detects that the motion vector is detected when a predetermined time-series change of the motion vector is detected.
を特徴とする請求項11から13のいずれか1に記載の携帯電話装置の文字入力方法。The character input method for a mobile phone device according to claim 11, wherein:
動きベクトル検出ステップは、画面を構成する領域毎の動きベクトルの頻度分布を検出し、前記動きベクトルの頻度分布から画面全体の動きベクトルを検出することThe motion vector detection step detects a motion vector frequency distribution for each area constituting the screen, and detects a motion vector of the entire screen from the motion vector frequency distribution.
を特徴とする請求項11に記載の携帯電話装置の文字入力方法。The character input method of the mobile phone device according to claim 11.
画面を構成する領域は、1以上のマクロブロックからなることThe area that composes the screen must consist of one or more macroblocks
を特徴とする請求項11、または13から15のいずれか1項に記載の携帯電話装置の文字入力方法。The character input method for a mobile phone device according to any one of claims 11 and 13 to 15.
JP2004027880A 2003-04-04 2004-02-04 Mobile phone device and character input method for mobile phone device Expired - Fee Related JP3649242B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004027880A JP3649242B2 (en) 2003-04-04 2004-02-04 Mobile phone device and character input method for mobile phone device
CNB2004100333701A CN100336375C (en) 2003-04-04 2004-04-02 Portable terminal device and character input method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003101271 2003-04-04
JP2004027880A JP3649242B2 (en) 2003-04-04 2004-02-04 Mobile phone device and character input method for mobile phone device

Publications (2)

Publication Number Publication Date
JP2004318826A JP2004318826A (en) 2004-11-11
JP3649242B2 true JP3649242B2 (en) 2005-05-18

Family

ID=33478890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004027880A Expired - Fee Related JP3649242B2 (en) 2003-04-04 2004-02-04 Mobile phone device and character input method for mobile phone device

Country Status (2)

Country Link
JP (1) JP3649242B2 (en)
CN (1) CN100336375C (en)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7721968B2 (en) 2003-10-31 2010-05-25 Iota Wireless, Llc Concurrent data entry for a portable device
JP4703173B2 (en) * 2004-11-25 2011-06-15 株式会社東芝 Mobile device
CN103257684B (en) * 2005-05-17 2017-06-09 高通股份有限公司 The signal output method and device of orientation-sensitive
KR100675089B1 (en) 2006-05-10 2007-01-29 (주) 엘지텔레콤 Character input method by movement of mobile terminal
EP1965344B1 (en) * 2007-02-27 2017-06-28 Accenture Global Services Limited Remote object recognition
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US9123272B1 (en) 2011-05-13 2015-09-01 Amazon Technologies, Inc. Realistic image lighting and shading
US9041734B2 (en) 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
US10088924B1 (en) 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
US8947351B1 (en) 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
US8884928B1 (en) 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays
US9063574B1 (en) 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
US9285895B1 (en) 2012-03-28 2016-03-15 Amazon Technologies, Inc. Integrated near field sensor for display devices
JP6161244B2 (en) * 2012-09-10 2017-07-12 株式会社メガチップス Portable terminal device, program, and input method
US9423886B1 (en) 2012-10-02 2016-08-23 Amazon Technologies, Inc. Sensor connectivity approaches
US9035874B1 (en) 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US11199906B1 (en) 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
US10055013B2 (en) 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US9367203B1 (en) 2013-10-04 2016-06-14 Amazon Technologies, Inc. User interface techniques for simulating three-dimensional depth
JP6888351B2 (en) * 2017-03-17 2021-06-16 ヤマハ株式会社 Input device, speech synthesizer, input method, and program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835641A (en) * 1992-10-14 1998-11-10 Mitsubishi Denki Kabushiki Kaisha Image pick-up apparatus for detecting and enlarging registered objects
JP3508961B2 (en) * 1995-07-21 2004-03-22 ソニー株式会社 Terminal device
JP3130882B2 (en) * 1998-12-02 2001-01-31 日本電気テレコムシステム株式会社 Mobile phone device and character input method thereof
US20020054135A1 (en) * 2000-03-17 2002-05-09 Masahiro Noguchi Information processing device, information processsing method, and computer-readable storage medium storing program for executing this method on a computer
JP2002169645A (en) * 2000-12-01 2002-06-14 Toshiba Corp Mobile communication terminal
JP4084582B2 (en) * 2001-04-27 2008-04-30 俊司 加藤 Touch type key input device

Also Published As

Publication number Publication date
CN100336375C (en) 2007-09-05
JP2004318826A (en) 2004-11-11
CN1536859A (en) 2004-10-13

Similar Documents

Publication Publication Date Title
JP3649242B2 (en) Mobile phone device and character input method for mobile phone device
KR100651368B1 (en) Method for controlling image according to movement of wireless terminal
US8248480B2 (en) Imaging apparatus provided with panning mode for taking panned image
US8089527B2 (en) Image capturing apparatus, image capturing method and storage medium
EP1925153B1 (en) Imaging apparatus, data extraction method, and data extraction program
JP4852652B2 (en) Electronic zoom device, electronic zoom method, and program
JP4450783B2 (en) Imaging device
US20110019239A1 (en) Image Reproducing Apparatus And Image Sensing Apparatus
JP2007095030A (en) Graphic signal display apparatus and method for hand-held terminal
JP5289993B2 (en) TRACKING DEVICE AND TRACKING METHOD
KR101503017B1 (en) Motion detecting method and apparatus
KR100719841B1 (en) Method for creation and indication of thumbnail view
CN105991928A (en) Image processing apparatus and image processing method
CN101459770B (en) Digital photographing apparatus and method of controlling the same
KR20090045643A (en) Mobile terminal and method for executing mode photographing panorama image thereof
CN102598653B (en) Mobile communication equipment and image pickup method
JP4685708B2 (en) Mobile terminal device
JPWO2020021879A1 (en) Image processing device, image processing method, and program
JP2007174149A (en) Imaging system
JP3851601B2 (en) Mobile terminal device
KR102429337B1 (en) Image processing device stabilizing image and method of stabilizing image
JP4157003B2 (en) Image processing device
KR20070054569A (en) Apparatus for providing human interface using camera attached to mobile communication terminal and method thereof
JP2011211757A (en) Electronic zoom apparatus, electronic zoom method, and program
KR20030085810A (en) Image data storing method using a change detection of image data

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20040903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041026

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041217

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20050118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080225

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090225

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100225

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100225

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110225

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120225

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130225

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees