JP4310367B2 - Communication terminal device and communication system - Google Patents
Communication terminal device and communication system Download PDFInfo
- Publication number
- JP4310367B2 JP4310367B2 JP2008171402A JP2008171402A JP4310367B2 JP 4310367 B2 JP4310367 B2 JP 4310367B2 JP 2008171402 A JP2008171402 A JP 2008171402A JP 2008171402 A JP2008171402 A JP 2008171402A JP 4310367 B2 JP4310367 B2 JP 4310367B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- registration
- data
- character string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Mobile Radio Communication Systems (AREA)
- Telephone Function (AREA)
Description
本発明は、通信端末装置及び通信システムに関する。特に本発明は、文字認識を利用する通信端末装置及び通信システムに関する。 The present invention relates to a communication terminal device and a communication system. In particular, the present invention relates to a communication terminal device and a communication system that use character recognition.
移動体通信端末において付属のカメラで文字を撮影し、得られた画像を画像解析処理して文字認識を行い、文字情報を登録する方法が考案されている(例えば、非特許文献1参照。)。
しかしながら、従来の技術では、文字情報を含む画像から、移動体通信端末が持つ電話帳等のフォーマットに登録する場合において、電話番号やURLなど特定の情報を1行ずつ登録するため、登録に手間が掛かる等の問題があった。 However, in the conventional technology, when registering in a format such as a telephone directory held by a mobile communication terminal from an image including character information, specific information such as a telephone number and a URL is registered line by line. There was a problem such as.
そこで本発明は、上記の課題を解決することのできる通信端末装置及び通信システムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。 Then, an object of this invention is to provide the communication terminal device and communication system which can solve said subject. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.
即ち、本発明の第1の形態によると、通信回線を介して通信を行う通信端末装置であって、通信相手を示す情報である電話帳データを格納する電話帳データ格納部と、画像を取り込む画像取込部と、画像取込部が取り込んだ画像を解析して文字認識することにより、画像に含まれる電話帳データを抽出する画像解析部と、画像解析部が抽出した電話帳データを電話帳データ格納部に登録する電話帳データ登録部とを備える。 In other words, according to the first aspect of the present invention, a communication terminal apparatus that performs communication via a communication line, a telephone directory data storage unit that stores telephone directory data that is information indicating a communication partner, and an image capture An image capture unit, an image analysis unit that extracts the phone book data included in the image by analyzing the characters captured by the image capture unit, and phone calls the phone book data extracted by the image analysis unit A phone book data registration unit registered in the book data storage unit.
また、画像解析部は、文字認識によって認識された連続する文字列のなかに"@"が含まれていた場合に、文字列がメールアドレスであると判断して抽出し、電話帳データ登録部は、文字列をメールアドレスとして登録してよい。 Also, the image analysis unit determines that the character string is an e-mail address when “@” is included in a continuous character string recognized by character recognition, and extracts the phone book data registration unit. May register a character string as an email address.
また、画像解析部は、文字認識によって認識された連続する文字列のすべての文字が数字、又は数字と記号とで組み合わされている場合に、文字列が電話番号であると判断して抽出し、電話帳データ登録部は、文字列を電話番号として登録してよい。 In addition, the image analysis unit determines that the character string is a telephone number when all the characters of the continuous character string recognized by the character recognition are combined with a number or a number and a symbol, and extracts them. The telephone directory data registration unit may register a character string as a telephone number.
さらに、画像解析部は、文字列が所定の桁数であった場合に、文字列が電話番号であると判断してよい。 Further, the image analysis unit may determine that the character string is a telephone number when the character string has a predetermined number of digits.
また、画像解析部は、文字認識によって認識された連続する文字列のすべての文字が仮名であった場合に、文字列が通信相手の名称の読みであると判断して抽出し、電話帳データ登録部は、文字列を通信相手の名称の読みとして登録してよい。 Further, the image analysis unit determines that the character string is a reading of the name of the communication partner when all the characters in the continuous character string recognized by the character recognition are kana characters, and extracts the phone book data. The registration unit may register the character string as a reading of the name of the communication partner.
また、画像解析部によって文字認識された複数の文字列を表示する画像表示部と、画像表示部が表示する前記複数の文字列から、ユーザが指定する文字列を順番に選択する文字列選択部とをさらに備え、画像解析部は、文字列選択部によって選択される順番と電話帳データの種類とを対応づけて予め格納しており、文字列選択部が選択した順番に応じて、選択された文字列の前記電話帳データの種類を判断して抽出してよい。 An image display unit that displays a plurality of character strings recognized by the image analysis unit, and a character string selection unit that sequentially selects a character string designated by the user from the plurality of character strings displayed by the image display unit The image analysis unit stores the order selected by the character string selection unit and the type of the phone book data in association with each other, and is selected according to the order selected by the character string selection unit. The type of the phone book data of the character string may be judged and extracted.
通信端末装置は、画像解析部が文字認識により抽出した電話帳データを表示する、又は画像解析部が文字認識により抽出した電話帳データを予め定められた電話帳表示形式に従って表示する画像表示部を更に備えてよい。 The communication terminal device displays the phone book data extracted by the character recognition by the image analysis unit, or displays the phone book data extracted by the image analysis unit by character recognition according to a predetermined phone book display format. Further, it may be provided.
通信データの送受信を行う通信部をさらに備え、画像取込部による画像取込処理中、画像解析部による画像解析処理中、又は電話帳データ登録部による登録処理中に通信部が通信データを受信した場合、画像取込処理、画像解析処理、又は登録処理と、通信部による通信処理とを並行処理させる制御部とをさらに備えてよい。 A communication unit that transmits and receives communication data is further provided, and the communication unit receives the communication data during the image capture process by the image capture unit, the image analysis process by the image analysis unit, or the registration process by the telephone directory data registration unit. In this case, the image capturing process, the image analysis process, or the registration process, and a control unit that performs parallel processing of the communication process by the communication unit may be further provided.
特定の種類の前記電話帳データの取込領域を含む画像フォーマットに、画像取込部が取り込んだ画像を重ねて表示する画像表示部をさらに備え、画像解析部は、取込領域内に重ねて表示された画像に含まれる文字列が特定の種類の電話帳データであると判断して抽出し、電話帳データ登録部は、文字列を特定の種類の電話帳データとして登録してよい。 The image display unit further includes an image display unit that displays the image captured by the image capture unit in an image format including the capture region of the specific type of the phone book data, and the image analysis unit overlaps the capture region. The character string included in the displayed image may be determined to be a specific type of phone book data and extracted, and the phone book data registration unit may register the character string as a specific type of phone book data.
電話番号、メールアドレス、名前、又は住所の取込領域を含む画像フォーマットに、画像取込部が取り込んだ画像を重ねて表示する画像表示部をさらに備え、画像解析部は、取込領域内に重ねて表示された画像に含まれる文字列が電話番号であると判断して抽出し、電話帳データ登録部は、文字列を電話番号として登録してもよい。 The image analysis unit further includes an image display unit that displays the image captured by the image capturing unit in an image format including a telephone number, mail address, name, or address capturing region. The character string included in the superimposed image may be determined to be a telephone number and extracted, and the telephone directory data registration unit may register the character string as a telephone number.
本発明の第2の形態によると、通信回線を介して通信を行う通信端末装置と、通信端末装置からの要求に応じた処理を行う管理装置とを備える通信システムであって、管理装置は、通信端末装置から受信した画像を解析して文字認識することにより、画像に含まれる、通信相手を示す情報である電話帳データを抽出する画像解析部を有し、通信端末装置は、画像を取り込む画像取込部と、画像取込部が取り込んだ画像を管理装置に送信し、管理装置の画像解析部によって抽出された画像に含まれる電話帳データを管理装置から受信する通信部と、受信部が受信した電話帳データを電話帳データ格納部に登録する電話帳データ登録部とを有する。 According to a second aspect of the present invention, there is provided a communication system including a communication terminal device that performs communication via a communication line, and a management device that performs processing according to a request from the communication terminal device. An image analysis unit that extracts phone book data that is information indicating a communication partner included in the image by analyzing the image received from the communication terminal device and recognizing characters, and the communication terminal device captures the image An image capturing unit, a communication unit that transmits an image captured by the image capturing unit to the management device, and receives phone book data included in the image extracted by the image analysis unit of the management device from the management device, and a receiving unit Has a phone book data registration unit for registering the phone book data received in the phone book data storage unit.
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。 The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.
本発明によれば、画像を文字認識することで文字情報を適切に登録する、通信端末装置及び通信システムを提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the communication terminal device and communication system which register character information appropriately by recognizing the character of an image can be provided.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the invention according to the scope of claims, and all combinations of features described in the embodiments are included. It is not necessarily essential for the solution of the invention.
図1は、本発明の第1の実施形態に係る通信端末装置100の構成の一例を示す。通信端末装置100は、通信回線を介して通信相手に対して、音声、文字、画像等の通信データの送受信を行う。本実施形態において、通信端末装置100は、電話番号、メールアドレス、通信相手の名称、グループ名、シークレット、メモ、会社名、所属、及び連絡先等の電話帳データを示した文字情報を含む画像を、画像解析処理による文字認識を行うことで、通信端末装置100に当該電話帳データに関する情報を自動登録することを目的とする。
FIG. 1 shows an example of the configuration of a
通信端末装置100は、無線回路部10、マイク20、スピーカー30、入力部40、画像取込部50、画像表示部60、メモリ70、制御部80、及び文字選択部90を備える。
The
無線回路部10は、信号を電波へ変調して送信し、また受信した電波を信号へ復調する。マイク20は、通信端末装置100のユーザからの音声を入力し、スピーカー30は、通信相手からの音声を出力する。入力部40は、数字キー、スクロールキー、キーパッド等の、入力又は選択機能等を有する操作キーであり、通信端末装置100における情報の入力や選択を行う。
The
画像取込部60は、CCDカメラやCMOSカメラ等の撮影手段を有する。画像取込部60は、電話帳データを示す文字情報を、画像として取り込む画像取込処理を行う。本例において、画像取込部60は、フリーハンドでメモ用紙等に記入されたり、はがきや名刺等に印刷されたりした電話帳データを示す文字情報を画像として取込む。また、画像取込部60は、住所録等としてディスプレイ画面に表示された電話帳データを示す文字情報を、画像として取込んでもよい。
The
画像表示部50は、LCD等のディスプレイであり、画像取込部60が取り込んだ画像を表示する。また、画像表示部50は、例えば、通信相手の名称ごとに、対応する電話帳データのそれぞれを表示する等の、予め定められた電話帳表示形式に従って、電話帳データを表示する。制御部80は、通話、着信、メールの送受信、又は画像取込処理等の、通信端末装置100が有する機能の処理を行う。制御部80は、画像解析部82、電話帳データ登録部84、及び通信部86を有する。
The
画像解析部82は、画像取込部60が取り込んだ画像を解析して文字認識を行う。画像解析部82は、当該画像解析処理において電話帳データの種類である登録項目に対応して電話帳データのそれぞれが有する特徴と、文字認識された文字列が持つ特徴とを比較する。これにより、画像解析部82は、文字認識された文字列が、電話帳データのどの登録項目に対応するかを判断する。
The
例えば、本例において、画像解析部82は、文字認識によって認識された連続する文字列のなかに"@"(アットマーク)が含まれていた場合に、この文字列が登録項目におけるメールアドレスであると判断して抽出する。また、画像解析部82は、連続する文字列のすべての文字が数字、又は数字と記号とで組み合わされている場合に、この文字列が登録項目における電話番号であると判断して抽出し、連続する文字列のすべての文字が平仮名又は片仮名等の仮名であった場合に、この文字列が登録項目における通信相手の名称の読みであると判断して抽出する。
For example, in this example, the
また、画像解析部82は、文字認識によって認識された連続する文字列が、例えば10桁や11桁等のユーザによって予め定められた所定の桁数であった場合に、この文字列が電話番号であると判断して抽出してよい。このように、画像解析部82は、画像に含まれる電話番号、メールアドレス、及び通信相手の名称のうちの少なくとも1つの電話帳データを抽出する。
In addition, when the continuous character string recognized by the character recognition has a predetermined number of digits predetermined by the user such as 10 digits or 11 digits, the
電話帳データ登録部84は、画像解析部82が抽出した文字列を、メールアドレス、電話番号、又は、通信相手の名称を示す電話帳データとして、メモリ70に登録する。電話帳データ登録部84は、電話帳データの呼出しに応じて予め定められた表示形式として画像表示部50に表示させ、電話帳データについての修正や発信を行う。
The phone book
通信部86は、無線回路部10を制御することにより、通信相手と通信データの送受信を行う。尚、画像解析部82は、通信部86により受信した通信データの画像を、画像解析処理してもよい。また、画像取込部60による画像取込処理中、画像解析部82による画像解析処理中、又は電話帳データ登録部84による登録処理中に、通信部86が通信データを受信した場合において、制御部80は、画像取込処理、画像解析処理、又は登録処理と、通信部86による通信処理とを並行処理させる。
The
メモリ70は、電話帳データを格納する電話帳データ格納部75を有する。電話帳データ格納部75は、電話番号及びメールアドレスのうちの少なくとも1つを通信相手の名称に対応づけて格納してもよい。文字選択部90は、画像解析部82によって文字認識され、画像表示部50に表示された複数の文字列から、ユーザが指定する文字列を順番に選択する。この場合、文字選択部90は、例えば入力部40におけるカーソルキーを用いて、画像表示部50に表示された複数の文字列を囲うことで、順番に選択する。
The
以上のように構成された通信端末装置100においては、電話帳データを示した文字情報を含む画像を、画像解析処理によって文字認識を行うことで、電話帳データを素早く登録することができる。
In
図2は、通信端末装置100の第1動作例を示すフローチャートである。通信端末装置100において、例えば「電話帳キー」が選択され、自動登録の機能が起動されると、制御部80は、画像解析処理の対象となる画像を取込んでいるかの判定を行う。対象となる画像が存在する場合には(S100 YES)、画像解析部82は、画像解析処理することによって文字認識を行う。この場合、画像解析部82は、画像解析処理によって解析データを作成する(S102)。そして、画像解析部82は、作成した解析データに基づいて、認識したそれぞれの文字を表す文字コードのデータを生成する(S104)。
FIG. 2 is a flowchart showing a first operation example of the
文字コードの作成が成功すると(S106 YES)、画像表示部50は、画像解析部82が文字認識により抽出した文字列を登録項目の電話帳データとして表示する。この場合、画像表示部50は、当該文字列を、登録項目に電話帳データを対応させて格納する電話帳表示形式で表示してもよい。これにより、画像表示部50はユーザに、文字認識の結果を確認させる。ユーザは、表示された文字列に対して修正を行いたい場合は、例えば入力部40の入力機能を用いて修正を行う(S108)。
When the creation of the character code is successful (YES in S106), the
画像表示部50に表示された文字列が、登録すべき内容としてユーザに判断され、例えば確認キーが選択されると、電話帳データ登録部84は、当該文字列を、電話帳データ格納部75に登録する(S110)。電話帳データ格納部75における登録が成功すると(S112 YES)、画像表示部50は、電話帳データの登録が完了したことを示す登録完了画面を、所定の時間の間表示する(S114)。その後、画像表示部50は、着信を待つ状態である、待ち受け画面を表示する(S116)。
When the character string displayed on the
S100において、対象となる画像が無い場合(S100 NO)、ユーザは、例えば入力キー等を用いて入力をすることにより、電話帳データの登録を行う(S118)。電話帳データの登録が終了すると、画像表示部50は、待ち受け画面を表示する(S116)。
In S100, when there is no target image (NO in S100), the user registers the phone book data by inputting using, for example, an input key (S118). When the registration of the phone book data is completed, the
また、S106において文字コードの作成が失敗する等のエラーが発生した場合(S106 NO)、及び、S112において電話帳データ格納部75における登録が失敗する等のエラーが発生した場合、画像表示部50は、当該エラーについての原因や内容等を示したエラー画面を表示する(S120)。ここで、ユーザによりエラーについての確認がなされ、確認キーが選択されると(S122 YES)、画像表示部50は、待ち受け画面を表示する(S116)。確認ボタンが選択されない場合には、画像表示部50は、エラー画面を表示し続ける(S122 NO)。
Further, when an error such as failure of character code creation occurs in S106 (NO in S106), and when an error such as registration failure in the telephone directory
尚、本例において、制御部80は、制御部80によって行われる並行処理の優先順位を、ユーザに設定させてよい。例えばS102における画像解析処理中に着信等があった場合、制御部80は、画像解析処理と着信処理とを並行で処理してよい。また、制御部80は、画像解析処理を一時中断して着信処理を優先して行い、着信処理の終了後に中断していた画像解析処理を再開してもよい。また、制御部80は、画像解析処理を中止して着信処理を行い、着信処理の終了後に画像解析処理を始めから行ってもよい。また、制御部80は、着信を拒否して、画像解析処理を優先して行ってもよい。これにより、通信端末装置100は、適切に着信処理及び画像解析処理を行うことができる。
In this example, the
図3は、第1動作例において、画像表示部50が表示する画面の第1例を示す。S100において、画像表示部50は、画像取込部60が取込んだ画像である画面400を表示する。これにより、画像表示部50は、画像解析処理の対象として取り込んだ画像が電話帳データを含む画像であるかどうかを、ユーザに確認させる。尚、本例において、画像取込部60は、名前、読み、電話番号、又はメールアドレスのそれぞれを示す文字を連続させて、各行毎に改行して記入されたメモ用紙等を、画像として取り込んでよい。
FIG. 3 shows a first example of a screen displayed by the
電話帳キーや決定キー等が選択されると、画像表示部50は、S102及びS104において、画像解析処理中を示す画面402を表示する。尚、ここで、取消キーが選択されると、画像解析処理は中断される。
When a phone book key, an enter key, or the like is selected, the
画像表示部50は、S108において、抽出した電話帳データを電話帳表示形式に示した画面404を表示する。ここで、例えばユーザにより修正キーが選択されると、入力部40により、電話帳データの内容は修正される。ユーザにより取消キーが選択されると、電話帳データ格納部75は処理を中断し、確認キーが選択されると、画像表示部50は、画面406を表示する。
In S108, the
画像表示部50は、S110において、電話帳データ格納部75が電話帳データを自動で登録する最中であることを示す画面406を表示する。所定の時間が経過すると、画像表示部50は、S114における登録完了画面の一例である画面408を表示し、続けて、S116における待ち受け画面の一例である画面410を表示する。
In step S110, the
図4は、フォーマット用紙300の一例を示す。フォーマット用紙300は、登録したい電話帳データをフリーハンドで記入するための入力フォーマット310を備える。入力フォーマット310は、電話帳データに登録する為の名前、読み、電話番号、及びアドレスのそれぞれを1文字ずつ書き込むための複数のマス目を有する。また、本例において、入力フォーマット310は、例えば4つの行を有し、当該各行には、上から名前、読み、電話番号、及びアドレスが、この順番で記入される。
FIG. 4 shows an example of the
図5は、第1動作例において、画像表示部50が表示する画面の第2例を示す。尚、図5において、画面422、画像426〜430のそれぞれは、図3で説明した、画面402、画面406〜画面410と同一または同様の機能を有するので、説明を省略する。
FIG. 5 shows a second example of a screen displayed by the
画像表示部50は、画像取込部60により1つの入力フォーマット310を撮像範囲として取り込まれた画面420を表示する。画像解析部82は、S102において、文字認識された文字列のそれぞれを、フォーマット用紙に記された登録項目の順番に従い、名前、読み、電話番号、及びアドレスのそれぞれに対応する電話帳データとして判断し、抽出する。画像表示部50は、抽出された電話帳データを画面424に表示する。
The
画面426において、確認キーが選択されると、電話帳データ登録部84は、画像解析部82が抽出した電話帳データを、電話帳データ格納部75に登録する。尚、入力フォーマット310に記入されていない行が存在した場合には、電話帳データ登録部84は、対応する電話帳データの項目を、例えばNULLデータとして登録する。
When the confirmation key is selected on the
このように、フォーマット用紙300は、文字の大きさや形を揃えることにより、画像解析部82の画像解析処理の文字認識の精度を向上させることができる。また、この場合、画像解析部82は、文字認識した文字列と、対応する電話帳データの項目とを、抽出することができる。これにより、本例における通信端末装置100は、認識した文字列を電話帳データに素早く登録することができる。
Thus, the
図6は、第1動作例において、画像表示部50が表示する画面の第3例を示す。尚、図6において、画面442、画面446〜452のそれぞれは、図4で説明した、画面402、画面406〜410と同一または同様の機能を有するので、説明を省略する。
FIG. 6 shows a third example of a screen displayed by the
本例において、画像取込部60は、少なくとも1つの登録項目に対応する電話帳データが改行されずに記入されたメモ用紙等を、画像として取り込んでよい。画像表示部50は、画面440において、名前、読み、電話番号、及びメールアドレスが、改行されずに記入されたメモ用紙を、画像取込部 60が取り込りこんだ画像を表示する。
In this example, the
画像表示部50は、画像解析処理の後に生成された文字コードのデータに基づいて、文字認識された文字列を、画面444に表示する。ここで、文字選択部90は、この文字列から、ユーザが指定する文字列を順番に選択する。
The
この時、画像解析部82は、文字列選択部によって選択される順番と電話帳データの種類とを対応づけて予め格納しており、文字選択部90が選択した順番に応じて、選択された文字列の電話帳データが、どの登録項目であるかを判断して抽出する。これにより、画像表示部50は、画面446に抽出した結果を電話帳データ表示形式で表示する。
At this time, the
また、画像表示部50は、電話帳表示形式で表示された画面446において、選択された文字列を、修正可能に表示する。この場合、ユーザは入力部40を用いて修正を行う。ここで、例えば「読み」等の通信相手の名称を示す電話帳データがひとつも抽出されない場合、抽出された電話帳データを、通信相手の名称に対応づけて格納することができない。そこで、ユーザは、画面446において、電話帳表示形式で登録するために必要な「読み」等の項目についても、修正又は追加してよい。
Further, the
このように、本例においては、文字選択部90は、画像解析部82が文字認識した結果を、画像表示部50において選択することができる。この場合、通信端末装置100は、文字認識された文字列から、登録したい登録項目の電話帳データを選択させることで、確実に登録した電話帳データを登録することができる。
Thus, in this example, the
図7は、通信端末装置100の第2動作例を示すフローチャートである。また、図8は、第2動作例において、画像表示部50が表示する画面の一例を示す。
FIG. 7 is a flowchart showing a second operation example of
電話帳データを画像登録により行う場合、画像表示部50は、図8(a)に示すように、手動登録か自動登録かを選択させる電話帳登録方法を表示する。例えば入力部40におけるキーパッドにより決定キーが選択され、画像による登録が選択されると(S200 YES)、画像表示部50は、図8(b)に示すように、画像種別の一覧を示した画像種別選択画面を表示する。
When performing phone book data by image registration, the
ここで、名刺1、名刺2、はがき1、及びはがき2の画像種別から、名刺1が選択されると(S202)、画像表示部50は、図8(c)に示すように、会社名、所属、氏名、住所、及び連絡先の登録項目に対応する電話帳データの取込領域を含む画像フォーマットを表示する。そして、取り込むべき画像が表示されると(S204)、画像表示部50は、図8(d)に示すように、画像フォーマットと、画像取込部が取り込むべき画像とを重ねて表示する。本例において、画像表示部50は、画像における文字情報を示す部分に沿って、取込領域を示す枠を縮小して表示してよい。
Here, when the business card 1 is selected from the image types of the business card 1, the business card 2, the postcard 1, and the postcard 2 (S202), the
取込領域で囲まれた文字情報のそれぞれが、登録すべき登録項目に対応した電話帳データである場合、キーパッドにより決定キーが選択される(S206 YES)。画像解析部82は、取込領域内に重ねて表示された画像に含まれる文字列が特定の登録項目に対応した電話帳データであると判断して抽出する(S208)。画像表示部50は、図8(e)に示すように、抽出した文字列を、例えば電話帳表示形式で表示する。
If each piece of character information enclosed in the capture area is phonebook data corresponding to a registration item to be registered, the determination key is selected by the keypad (YES in S206). The
ここで、修正すべき内容がない場合は決定キーが選択され(S210 YES)、登録項目における名前に対応するフリガナが、例えば入力部40により入力され(S212)、電話帳データ登録部84は、当該フリガナを電話帳データとして登録する。そして、電話帳データ登録部84は、電話帳表示形式に表示された文字列を、電話帳データとして登録する(S214)。
Here, if there is no content to be corrected, the determination key is selected (S210 YES), and the reading corresponding to the name in the registration item is input by the input unit 40 (S212), for example. Register the reading as phonebook data. Then, the phone book
電話帳データを、手動登録により行う場合(S200 NO)、例えば入力部40の入力キーを用いて、電話帳データのそれぞれが入力され(S220)、電話帳データとして登録される(S214)。取込領域で囲まれた文字情報のそれぞれが、登録すべき登録項目に対応した電話帳データではない場合、キーパッドにより修正キーを選択することにより(S206 NO)、ユーザは修正を行う(S218)。 When the phone book data is manually registered (NO in S200), for example, each of the phone book data is input using the input key of the input unit 40 (S220) and registered as phone book data (S214). If each piece of character information enclosed in the capture area is not phone book data corresponding to the registration item to be registered, the user performs correction by selecting a correction key using the keypad (NO in S206) (S218). ).
図9は、S218における動作において、画像表示部50が表示する画面の一例を示す。図9(a)に示すように、画像表示部50は、住所を示す取込領域において、電話番号も表示している。本例において、ユーザが、住所を囲っている取込領域の修正を行う場合の画面の一例を示す。
FIG. 9 shows an example of a screen displayed by the
修正が開始されると、会社名を囲っていた取込領域が選択され、当該取込領域の左上の頂点が移動可能となる。尚、本例において、取込領域は略長方形であるので、ユーザは、略長方形の対角に位置する2つの頂点の位置を順番に修正することで、取込領域が示す範囲を修正する。また、この場合、画像表示部50は、取込領域を修正するために移動可能となった頂点を、例えば十字マーク等のマークにより表示する。
When the correction is started, the capture area surrounding the company name is selected, and the top left vertex of the capture area becomes movable. In this example, since the capture area is substantially rectangular, the user corrects the range indicated by the capture area by sequentially correcting the positions of the two vertices located at the diagonal of the approximately rectangular shape. Further, in this case, the
ユーザは当該頂点をキーパット等で上下左右に動かし位置を修正する。決定キーが選択されると、取込領域の左上の位置は固定され、次に会社名を囲っていた取込領域の右下の頂点の位置が移動可能となり、ユーザは、この頂点を動かして位置を修正する。ここで、決定キーが選択されると、取込領域の右下の位置は固定され、会社名に対応する取込領域は、新たに固定された左上の頂点と右下の頂点が成す略長方形の範囲に修正される。そして、登録項目における所属を囲っていた取込領域の、左上の頂点が移動可能となる。以下、同様にしてユーザは、登録項目における所属を囲っていた取込領域、氏名を囲っていた取込領域、住所を囲っていた取込領域、連絡先を囲っていた取込領域のそれぞれを、当該順番で修正する。 The user corrects the position by moving the vertex vertically and horizontally with a keypad or the like. When the Enter key is selected, the upper left position of the capture area is fixed, and then the position of the lower right vertex of the capture area that encloses the company name can be moved, and the user moves this vertex. Correct the position. Here, when the enter key is selected, the lower right position of the capture area is fixed, and the capture area corresponding to the company name is a substantially rectangular formed by the newly fixed upper left vertex and lower right vertex. The range is corrected. Then, the top left vertex of the capture area surrounding the affiliation in the registration item can be moved. In the same manner, the user selects each of the capture area surrounding the affiliation in the registration item, the capture area surrounding the name, the capture area surrounding the address, and the capture area surrounding the contact. , Correct in that order.
本例において、ユーザが、住所を囲っていた取込領域を修正する場合、画像表示部50は、図9(b)に示すように、住所を囲っていた取込領域の左上の頂点を移動可能とし、十字マークで表示する。そして、ユーザは、図9(c)に示すように、住所を示す文字列のみが取込領域に重なる位置へ、左上の頂点の位置を修正する。また、ユーザは、取込領域の右下の頂点は変更させる必要がないため、決定キーを続けて2回選択すると、次に連絡先を囲っていた取込領域の左上の頂点が移動可能となるが、同様に位置を変更させる必要がないので決定キーを選択し、図9(d)に示すように、取込領域の右下の頂点が移動可能となる。ここで、ユーザは、図9(e)に示すように、登録すべき連絡先である電話番号を含むように、頂点の位置を修正し、決定キーが選択されると、住所及び連絡先の取込領域の修正は終了する。
In this example, when the user corrects the capture area surrounding the address, the
このように、ユーザが、それぞれの登録項目を囲う取込領域を選択し、選択した取込領域の境界線を示す座標を、キーパットにより順番に修正することで、画像表示部50は、登録項目に対応した文字情報を含む画像を、取込領域に適切に重ねて表示することができる。また、画像解析部82は、修正された取込領域に含まれる文字列を、電話帳データとして抽出することができ、これにより、通信端末装置100は、様々な様式で記された文字情報を含む画像から、電話帳データを登録することができる。
In this way, the user selects the capture area that encloses each registration item, and the coordinates indicating the boundary line of the selected capture area are sequentially corrected by the keypad, so that the
図10は、通信端末装置100の第3動作例を示すフローチャートである。また、図11は、第3動作例において、画像表示部50が表示する画面の一例を示す。尚、図10において、S250、S252、S256〜S262、S266〜S268、及びS272〜S276は、図7を用いて説明した、S200、S202、S204〜S210、S212〜S220とそれぞれ同一又は同様の動作をするので、説明を省略する。
FIG. 10 is a flowchart showing a third operation example of
電話帳データを登録する場合、画像表示部50は、図11(a)に示すように、電話帳登録方法を表示する。ここで、S252において画像登録が選択されると、画像表示部50は、図11(b)に示すように、画像種別として、名刺1、名刺2、はがき1、はがき2、項目指定1、及び項目指定2を表示する。ここで、項目指定1が選択されると、画像表示部50は、図11(c)に示すように、複数の登録項目のそれぞれを表示する。ここで、決定キーが選択され登録項目として会社名が選ばれると(S254)、画像表示部50は、図11(d)に示すように、会社名の取込領域を示す画像フォーマットを表示する。
When registering phone book data, the
取り込むべき画像が表示されると(S256)、画像表示部50は、図11(e)に示すように、会社名の登録項目を示す画像フォーマットを、画像取込部が取り込むべき画像に重ねて表示する。ここで、決定キーが選択されると、画像解析部82は、図11(f)に示すように、取込領域内に重ねて表示された画像に含まれる文字列が会社名であると判断して抽出する。電話帳データ登録部86は、この文字列を会社名として登録する。
When the image to be captured is displayed (S256), the
尚、本例において、S252における登録項目として、会社名に代えて、所属、氏名、住所、及び連絡先を選択し、それぞれの取込領域を含む画像フォーマットに、画像取込部60が取り込んだ画像を重ねて表示し、取込領域内に重ねて表示された画像に含まれる文字列を、それぞれ所属、氏名、住所、連絡先等の電話帳データとして判断して抽出してよい。
In this example, instead of the company name, the affiliation, name, address, and contact information are selected as registration items in S252, and the
図12は、画像フォーマットの編集の一例を示すフローチャートを示す。図13は、図12において、画像表示部50が表示する画面の一例を示す。画像フォーマットの編集が選択されると、画像表示部50は、図13(a)に示すように、画像種別の選択画面を表示する。ここで、ユーザは、登録項目に対応した取込領域を含む画像フォーマットに、画像種別を示す名前を予め付けて格納してよい。ユーザにより、画像種別として例えば名刺1が選択されると(S280)、画像表示部50は、図13(b)に示すように、名刺1が有する登録項目の取込領域を含む画像フォーマットを表示する。
FIG. 12 is a flowchart showing an example of image format editing. FIG. 13 shows an example of a screen displayed by the
登録項目として所属を示す取込領域が選択されると(S282)、画像表示部50は、図13(c)に示すように、選択された取込領域を太枠で表示する。削除キーが選択されると(S284 YES)、選択された取込領域が削除される(S292)。
When a capture area indicating affiliation is selected as a registration item (S282), the
また、取込領域が削除されると画像表示部50は、図13(d)に示すように、別の登録項目である氏名を示した取込領域を太枠で表示する。ここで、ユーザが取込領域を削除しない場合(S292 NO)、決定キー選択すると(S286 YES)、画像表示部50は、図13(e)に示すように氏名を示す取込領域を表示する。ここで、取込領域の範囲を変更する場合(S288)、ユーザは、図13(f)に示すように、取込領域の左上の頂点の位置を修正し、図13(g)に示すように取込領域の右下の頂点の位置を選択する。そして、ユーザは、図13(h)に示すように、取込領域の右下の頂点の位置を修正することで、取込領域の範囲を変更する。すべての取込領域の編集が終了すると(S290 YES)、本フローチャートは終了する。いずれかの取込領域を続けて変更する場合には(S290 NO)、画像表示部50は、S282における画面を再び表示する。
When the capture area is deleted, the
図14は、画像フォーマットの一例を示す図である。図14(a)は、縦書きの名刺の画像フォーマットを示す。図14(b)は、横書きの名刺の画像フォーマットを示す。図14(c)は、縦書きのはがきの画像フォーマットを示す。図14(d)は、横書きの画像フォーマットを示す。 FIG. 14 is a diagram illustrating an example of an image format. FIG. 14A shows an image format of a vertically written business card. FIG. 14B shows an image format of a horizontally written business card. FIG. 14C shows an image format of a vertically written postcard. FIG. 14D shows a horizontally written image format.
画像表示部50は、図14(a)及び(b)に示すように、名刺を示す画像フォーマットとして、会社名、所属、氏名、住所、及び連絡先を登録項目とした電話帳データの取込領域を表示する。画像表示部50は、図14(c)及び(d)に示すように、はがきの画像フォーマットとして、住所、氏名、及び連絡先を登録項目とした電話帳データの取込領域を表示する。
As shown in FIGS. 14 (a) and 14 (b), the
尚、本例において、画像表示部50は、画像フォーマットを略90度回転して表示してもよい。例えば、画像表示部50は、図14(b)及び図14(d)のそれぞれを略90度回転して、図14(a)及び図14(b)に示すように、それぞれを表示してよい。
In this example, the
図15は、本発明の第2の実施形態に係る通信システム400の構成の一例を示す。通信システム400は、通信端末装置100及び管理装置200を備える。通信端末装置100は、通信回線を介して通信を行う。管理装置200は、通信端末装置100からの要求に応じた処理を行う。
FIG. 15 shows an exemplary configuration of a
通信端末装置100は、無線回路部10、マイク20、スピーカー30、入力部40、画像表示部50、画像取込部60、メモリ70、制御部80、及び文字選択部90を備える。また、管理装置200は、画像解析部210を有する。尚、図1と同じ符号を付した通信端末装置100の構成は、図1における構成と同一又は同様の機能を有するので、説明を省略する。
The
制御部80は、電話帳データ登録部84及び通信部86を有する。通信部86は、画像取込部60が取り込んだ画像を、画像解析部210に送信する。画像解析部210は、通信端末装置100から受信した画像を解析して文字認識することにより、画像に含まれる電話番号、メールアドレス、及び通信相手の名称のうちの少なくとも1つの電話帳データを抽出する。
The
この場合、通信部86は、管理装置200の画像解析部82によって抽出された画像に含まれる電話帳データを管理装置200から受信する、データ登録部84は、通信部86が受信した電話帳データを電話帳データ格納部75に登録する。
In this case, the
以上のように構成された通信システム400においては、通信部86は、画像解析部210において文字認識された電話帳データの項目を受信し、通信部86は、当該電話帳データの項目を、電話帳データ格納部75に登録する。このように、管理装置200で画像解析処理を行うことにより、通信端末装置100における処理の負荷を低減することができる。また、本実施形態において、通信システム400は、登録すべき電話帳データを、適切に通信端末装置100に登録することができる。
In the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
10・・・無線回路部、20・・・マイク、30・・・スピーカー、40・・・入力部、50・・・画像表示部、60・・・画像取込部、70・・・メモリ、75・・・電話帳データ格納部、80・・・制御部、82・・・画像解析部、84・・・電話帳データ登録部、86・・・通信部、90・・・文字選択部、100・・・通信端末装置、200・・・管理装置、210・・・画像解析部、300・・・フォーマット用紙、310・・・入力フォーマット、400・・・通信システム
DESCRIPTION OF
Claims (2)
入力又は選択機能を有する入力部と、
通信相手を示す情報であるデータを格納するデータ格納部と、
画像を取り込む画像取込部と、
取り込むべき画像と、取込領域とを重ねて表示する表示部と、
前記画像取込部により取り込まれた画像であって、前記取込領域内の画像に含まれる文字列を抽出する画像解析部と、
前記画像解析部が抽出した文字列を前記データ格納部に登録するデータ登録部と
を備え、
前記データ登録部によりデータを登録する場合に、前記表示部に複数の登録項目を表示し、前記入力部により登録項目が1つ選択され、取り込むべき画像と取込領域とが重ねて表示され、前記入力部からの指示がなされると、前記取込領域内の画像に含まれる文字列を前記選択された登録項目として抽出する処理を行い、当該処理を、前記登録項目の複数について行い、
文字列が抽出された複数の登録項目について、前記画像解析部が抽出した文字列を前記データ格納部に登録することを特徴とする無線通信端末装置。 A wireless communication terminal device that performs wireless communication via a communication line,
An input unit having an input or selection function;
And Lud over data storage unit to store the information Der Lud over data indicating a communication partner,
An image capture unit for capturing images;
A display unit that displays an image to be captured and a capture area in an overlapping manner;
An image analysis unit that is an image captured by the image capture unit and extracts a character string included in the image in the capture region;
Registering a string the image analysis unit is extracted before Kide over data storing portion and a Lud over data registration unit,
When registering data by the data registration unit, a plurality of registration items are displayed on the display unit, one registration item is selected by the input unit, and an image to be captured and a capture area are displayed in an overlapping manner, When an instruction from the input unit is made, a process of extracting a character string included in an image in the capture area as the selected registration item is performed, and the process is performed for a plurality of the registration items,
A wireless communication terminal device, wherein a character string extracted by the image analysis unit is registered in the data storage unit for a plurality of registration items from which character strings have been extracted.
入力又は選択機能を有する入力部と、An input unit having an input or selection function;
通信相手を示す情報であるデータを格納するデータ格納部と、A data storage unit for storing data which is information indicating a communication partner;
画像を取り込む画像取込部と、An image capture unit for capturing images;
取り込むべき画像と、取込領域とを重ねて表示する表示部と、A display unit that displays an image to be captured and a capture area in an overlapping manner;
前記画像取込部により取り込まれた画像であって、前記取込領域内の画像に含まれる文字列を抽出する画像解析部と、An image analysis unit that is an image captured by the image capture unit and extracts a character string included in the image in the capture region;
前記画像解析部が抽出した文字列を前記データ格納部に登録するデータ登録部とA data registration unit for registering the character string extracted by the image analysis unit in the data storage unit;
を備え、With
前記データ登録部によりデータを登録する場合に、前記表示部に複数の登録項目を表示し、前記入力部により登録項目が1つ選択され、取り込むべき画像と取込領域とが重ねて表示され、前記入力部からの指示がなされると、前記取込領域内の画像に含まれる文字列を前記選択された登録項目として抽出する処理を行い、当該処理を、前記登録項目の複数について行い、When registering data by the data registration unit, a plurality of registration items are displayed on the display unit, one registration item is selected by the input unit, and an image to be captured and a capture area are displayed in an overlapping manner, When an instruction from the input unit is made, a process of extracting a character string included in an image in the capture area as the selected registration item is performed, and the process is performed for a plurality of the registration items,
文字列が抽出された複数の登録項目のデータのうち、登録項目における名前に対応する読み仮名を前記入力部から入力して加え、前記画像解析部が抽出した文字列と前記入力された読み仮名を前記データ格納部に登録することを特徴とする無線通信端末装置。Among the data of a plurality of registration items from which character strings are extracted, a reading kana corresponding to the name in the registration item is input from the input unit, and the character string extracted by the image analysis unit and the input reading kana Is registered in the data storage unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008171402A JP4310367B2 (en) | 2008-06-30 | 2008-06-30 | Communication terminal device and communication system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008171402A JP4310367B2 (en) | 2008-06-30 | 2008-06-30 | Communication terminal device and communication system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003274338A Division JP4255328B2 (en) | 2003-07-14 | 2003-07-14 | Communication terminal device and communication system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008236809A JP2008236809A (en) | 2008-10-02 |
JP4310367B2 true JP4310367B2 (en) | 2009-08-05 |
Family
ID=39908936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008171402A Expired - Fee Related JP4310367B2 (en) | 2008-06-30 | 2008-06-30 | Communication terminal device and communication system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4310367B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5272884B2 (en) * | 2009-05-11 | 2013-08-28 | ブラザー工業株式会社 | Image display apparatus, image display method, and image display program |
JP4851604B2 (en) | 2010-01-27 | 2012-01-11 | 京セラ株式会社 | Portable electronic device and method for controlling portable electronic device |
JP5481459B2 (en) * | 2011-10-20 | 2014-04-23 | 京セラ株式会社 | Portable electronic device, method for controlling portable electronic device, program, and storage medium |
JP7187145B2 (en) * | 2017-11-02 | 2022-12-12 | キヤノン株式会社 | Image transmission device, image transmission device control method, and program |
-
2008
- 2008-06-30 JP JP2008171402A patent/JP4310367B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008236809A (en) | 2008-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9819871B2 (en) | Method of executing fast association function of camera and portable device including the same | |
JP4104605B2 (en) | Image processing device | |
US6965766B1 (en) | Mobile communication terminal | |
JP5928436B2 (en) | Remote control device, remote operation device, screen transmission control method, screen display control method, screen transmission control program, and screen display control program | |
JP4310367B2 (en) | Communication terminal device and communication system | |
JP4467519B2 (en) | Portable information terminal | |
US20060099978A1 (en) | Wireless communication terminal with function of confiirming receiver's identity by displaying image corresponding to the receiver and method thereof | |
JP4255328B2 (en) | Communication terminal device and communication system | |
US10404870B2 (en) | Image processing apparatus, setting-value setting method and computer-readable recording medium recording setting-value setting program | |
JP2012015657A (en) | Communication device, communication method and communication program | |
JP2005223783A (en) | Portable terminal device, print processing method and program | |
US20070298792A1 (en) | Mobile radio terminal device | |
JP2003036212A (en) | Personal digital assistant with camera function | |
JP5537198B2 (en) | Portable electronic devices | |
US11170546B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2007026394A (en) | Processing method of registered character, program for realizing the same, and mobile terminal | |
JP5447769B2 (en) | Content data processing method, program, and portable information processing apparatus | |
JP2001165668A (en) | Navigation device compatible with communication | |
US9521228B2 (en) | Mobile electronic apparatus and control method of mobile electronic apparatus | |
JP2019186766A (en) | Image processing device, operation support method, and operation support program | |
JP2005010903A (en) | Electronic device | |
JP2005318091A (en) | Image processor | |
JP5061838B2 (en) | Portable information processing device | |
US8761837B2 (en) | Communication device, communication history display method, and computer-readable recording medium recorded with communication history display program | |
JP2013097624A (en) | Portable information processor, cooperation method and cooperation program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090421 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090511 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4310367 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140515 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |