JP5140640B2 - Portable electronic devices - Google Patents

Portable electronic devices Download PDF

Info

Publication number
JP5140640B2
JP5140640B2 JP2009153008A JP2009153008A JP5140640B2 JP 5140640 B2 JP5140640 B2 JP 5140640B2 JP 2009153008 A JP2009153008 A JP 2009153008A JP 2009153008 A JP2009153008 A JP 2009153008A JP 5140640 B2 JP5140640 B2 JP 5140640B2
Authority
JP
Japan
Prior art keywords
unit
information
scanning
scanning information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009153008A
Other languages
Japanese (ja)
Other versions
JP2011010145A (en
Inventor
敦夫 千葉
英子 村上
智浩 須藤
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to JP2009153008A priority Critical patent/JP5140640B2/en
Publication of JP2011010145A publication Critical patent/JP2011010145A/en
Application granted granted Critical
Publication of JP5140640B2 publication Critical patent/JP5140640B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像の中から識別情報を認識することができる携帯電子機器に関する。 The present invention relates to a portable electronic device can recognize the identification information from the image.

従来より、名刺リーダ機能、すなわち名刺に記載された情報を読み取る機能を備えた携帯電子機器(携帯電話機)がある。 Conventionally, business cards reader function, that is, the portable electronic device (portable telephone) having a function of reading information written on a business card. 名刺リーダ機能は、撮像部又はスキャナのOCR(Optical Character Reader)機能を応用しており、画像として読み取った名刺画像の中から文字情報を判別し、文字データを取り込むようになっている(例えば、特許文献1,2を参照)。 Card reader function, OCR imaging unit or a scanner and applying (Optical Character Reader) function, to determine the character information from the business card image read as an image, so that the capture character data (e.g., see Patent documents 1 and 2). 具体的には、携帯電話機は、名刺に記載された情報を撮像部により撮像し、撮像した画像を名刺リーダ機能により解析し、解析後のデータ(識別情報)を項目分けしてアドレス帳に登録するようになっている。 Specifically, the mobile phone is captured by the imaging unit the information in the business card, an image captured and analyzed by a business card reader function, the address book data after analysis (identification information) and itemized It has become way.

特開2001−344562号公報 JP 2001-344562 JP 特開2002−252691号公報 JP 2002-252691 JP

ところで、携帯電話機においては、アドレス帳に登録されている識別情報と画像から認識された識別情報とが同一であった場合にも、アドレス帳への登録が行われており、重複した識別情報が登録されている。 Meanwhile, in the mobile phone, when the identification information recognized by the identification information and the image registered in the address book was the same also registered to the address book it has been performed, a duplicate identification information It is registered.
そこで、アドレス帳に登録されている識別情報と、同一の識別情報であって画像から認識されたものがアドレス帳に登録されるのを抑制するよう構成することも考えられるが、その場合、画像から識別情報を認識することが前提となるため制御に時間がかかるという問題があった。 Therefore, the identification information registered in the address book, but those recognized have the same identification information from the image is also conceivable to arranged to suppress from being registered in the address book, in which case, the image recognizing identification information from there has been a problem that it takes time to control for the premise.

したがって、本発明は、上述した問題に鑑みてなされたものであって、時間をかけずに識別情報を重複して登録するのを抑制することができる携帯電子機器を提供することを目的とする。 Accordingly, the present invention was made in view of the above problem, and an object thereof is to provide a portable electronic device can be prevented from registering duplicate identification information without taking time .

本発明に係る携帯電子機器は、表示部と、撮像部と、記憶部と、前記撮像部により撮像された画像の中の所定の領域に対して走査を行う走査部と、前記走査情報が前記記憶部に既に記憶されている走査情報と一致しているか否かを判定する判定部と、前記判定部により、前記走査情報が前記記憶部に既に記憶されている走査情報と一致しないと判定された場合に、前記画像の中から識別情報を認識する認識部と、前記認識部により、認識された前記識別情報を前記走査情報に関連付けて前記記憶部に記憶するように制御する制御部と、を有する。 Portable electronic device according to the present invention includes a display unit, an imaging unit, a storage unit, a scanning unit that performs scanning with respect to a predetermined area within the image captured by the imaging unit, wherein the scanning information is the and the storage unit already determination unit configured to determine whether or not match the scanning information stored, by the determination unit, it is determined that the scanning information does not match the previously scanned information stored in the storage unit when the a recognition unit for recognizing identification information from among the images, by the recognition unit, and a control unit which recognized the identification information has been controlled to be stored in the storage unit in association with the scanning information, having.

また、走査部は、前記画像の中の所定位置において複数の前記走査情報を取得することが好ましい。 The scanning unit preferably obtains a plurality of the scanning information in a predetermined position within the image.

また、走査部は、前記画像の中を線状に走査して前記走査情報を取得することが好ましい。 The scanning unit preferably acquires the scan data by scanning the inside of the image linearly.

また、携帯電子機器は、前記走査部により前記画像の中の所定位置において複数取得され、前記所定位置毎に異なる重み付けがなされる前記走査情報を評価する評価部を有し、前記判定部は、前記評価部の評価に基づいて、前記走査情報と前記記憶部に既に記憶されている走査情報と一致しているか否かを判定することが好ましい。 The portable electronic device, wherein a plurality acquired at a predetermined position within the image by the scanning unit has an evaluation unit for evaluating the scanning information the predetermined position different weights for each is made, the determination section, based on the evaluation of the evaluation unit, it is preferable to determine whether or not already consistent with the scan information stored in the storage unit and the scanning information.

また、走査部は、前記走査情報を2値画像に基づいて認識することが好ましい。 The scanning unit is preferably recognized based the scanning information into a binary image.

また、制御部は、前記走査情報が前記記憶部に既に記憶されている走査情報と一致していると判定された際に、前記走査情報が前記記憶部に既に記憶されている走査情報と一致している旨を前記表示部に表示するように制御することが好ましい。 The control unit, when the scanning information is determined to match the previously scanned information stored in the storage unit, and the scanning information the scanning information is already stored in the storage unit one it is preferably controlled to the fact that match displayed on the display unit.

また、制御部は、前記走査情報が前記記憶部に既に記憶されている走査情報と一致していると判定された際に、前記走査情報が前記記憶部に既に記憶されている走査情報と一致している旨を前記表示部に表示するように制御することが好ましい。 The control unit, when the scanning information is determined to match the previously scanned information stored in the storage unit, and the scanning information the scanning information is already stored in the storage unit one it is preferably controlled to the fact that match displayed on the display unit.

また、制御部は、前記走査情報が前記記憶部に既に記憶されている前記走査情報と一致していると判定された際に、前記走査情報が前記記憶部に既に記憶されている前記走査情報に関連付けて前記記憶部に記載された前記識別情報を前記表示部に表示するように制御することが好ましい。 The control unit, when the scanning information is determined to already matches the scanning information stored in the storage unit, the scanning information the scanning information is already stored in the storage unit it is preferably controlled to the identification information described in the storage unit and displays on the display unit in association with.

本発明によれば、時間をかけずに、識別情報を重複して登録するのを抑制することができる。 According to the present invention, it is possible to suppress without the time, the to register a duplicate identification information.

本発明に係る携帯電子機器の一例である携帯電話機の外観斜視図である。 It is an external perspective view of a mobile phone which is an example of a portable electronic device according to the present invention. 携帯電話機の機能を説明する機能ブロック図である。 Is a functional block diagram illustrating functions of a mobile phone. 携帯電話機における名刺の読み取り・記憶の動作を説明するフロー図である。 Is a flow diagram illustrating the operation of the reading and storage of business cards in the mobile phone. 名刺の走査情報の取得・既登録の走査情報との同一判定について説明する図である。 Is a diagram for describing the same determination that the scanning information acquisition and registered business card scanning information. アドレス帳の記憶領域におけるイメージ図である。 Is an image view in the storage area of ​​the address book.

以下、本発明の実施の形態について説明する。 The following describes embodiments of the present invention. 図1は、本発明に係る携帯電子機器の一例である携帯電話機1の外観斜視図を示す。 Figure 1 is a perspective view showing an appearance of a mobile phone 1 as an example of a portable electronic device according to the present invention. なお、以下では、携帯電話機1について説明するが、本発明はこれに限定されるものではなく、撮像機能を有するものであれば良く、例えば、PHS(Personal Handy phone System)、PDA(Personal Digital Assistant)、ノートパソコン等であっても良い。 In the following is a description of the mobile phone 1, the present invention is not limited thereto, as long as it has an imaging function, for example, PHS (Personal Handy phone System), PDA (Personal Digital Assistant ), it may be a notebook personal computer or the like.

携帯電話機1は、操作部側筐体部2と、表示部側筐体部3と、を備えて構成される。 Mobile phone 1 is configured to include an operation unit side body 2 and a display unit side body 3, a. 操作部側筐体部2は、表面部10に、操作キー群11と、携帯電話機1の使用者が通話時に発した音声が入力されるマイク12と、を備えて構成される。 Operation unit side body 2 includes, on the surface portion 10, an operation key group 11, and includes a microphone 12, a voice that the user uttered during a call of the mobile phone 1 is entered. 操作キー群11は、各種設定やアドレス帳機能やメール機能等の各種機能を動作させるための機能設定操作ボタン13と、電話番号の数字やメール等の文字等を入力するための入力操作ボタン14と、各種操作における決定やスクロール等を行う決定操作ボタン15と、から構成されている。 The operation key group 11, and the function setting operation buttons 13 for operating various settings and various features such as address book function and a mail function, input operation for inputting characters such as numbers and e-mail phone number button 14 When, and a selection operation button 15 that performs selection of the various operations and scrolling, and a.

また、表示部側筐体部3は、表面部20に、各種の情報を表示するための表示部21と、通話の相手側の音声を出力する音声出力部22と、被写体を撮像するCCD(Charge Coupled Device)カメラ等により構成される撮像部23と、音楽等を外部に出力するスピーカ24と、を備えて構成されている。 Further, the display unit side body 3, the surface portion 20, a display unit 21 for displaying various information, an audio output unit 22 for outputting sound of the other party of the conversation, CCD for imaging a subject ( a Charge Coupled Device) image pickup unit 23 constituted by a camera or the like, and is configured to include a speaker 24 for outputting music or the like to the outside. なお、本実施の形態においては、撮像部23は、表示部側筐体部3の表面部20に配置されているが、配置位置はこれに限られず、例えば、表示部側筐体部3の裏面部(図示せず)等被写体を撮像可能な位置であれば良い。 In the present embodiment, the imaging unit 23 is disposed in the display unit side body 3 of the surface portion 20, the arrangement position is not limited to this, for example, the display unit side body 3 the bottom (not shown) such as a subject may be any imaging positions.

また、操作部側筐体部2の上端部と表示部側筐体部3の下端部とは、ヒンジ機構4を介して連結されている。 Further, the lower end portion of the operation unit side upper portion and a display unit side body 3 of the casing 2, are connected via a hinge mechanism 4. また、携帯電話機1は、ヒンジ機構4を介して連結された操作部側筐体部2と表示部側筐体部3とを相対的に回転することにより、操作部側筐体部2と表示部側筐体部3とが互いに開いた状態(開放状態)にしたり、操作部側筐体部2と表示部側筐体部3とが折り畳まれた状態(折畳み状態)にしたりできる。 Moreover, the cellular telephone device 1, by relatively rotating the concatenated as the operation unit side body 2 and the display unit side body 3 via a hinge mechanism 4, the operation unit side body 2 displays or the state (open state) in which the part side body 3 are opened each other, it can be or the state where the operation unit side body 2 and the display unit side body 3 are folded (folded state).

なお、図1は、いわゆる折り畳み型の携帯電話機の形態を示しているが、本発明に係る携帯電話機1の形態としては特にこれに限られず、操作部側筐体部2と表示部側筐体部3とを重ね合わせた状態から一方の筐体を一方向にスライドさせるようにしたスライド式や、操作部側筐体部2と表示部側筐体部3との重ね合せ方向に沿う軸線を中心に一方の筐体を回転させるようにした回転式(ターンタイプ)等であっても良い。 Incidentally, although FIG. 1 shows a so-called foldable mobile phone is not particularly limited to this form of the mobile phone 1 according to the present invention, the operation unit side body 2 and the display unit side body sliding and which is from the stacked state and a part 3 so as to one of the bodies slides to one direction, an axis along the overlapping direction of the operation unit side body 2 and the display unit side body 3 center to a rotary which is adapted to rotate the one casing may be (turn type) and the like.

このように構成される携帯電話機1は、氏名、会社名、所属、電話番号及び電子メールアドレス等の識別情報をアドレス帳に登録し、表示する機能を有する。 Thus configured mobile phone 1, with full name, company name, affiliation, the function of the identification information such as a telephone number and e-mail address registered in the address book, is displayed. また、携帯電話機1は、既に登録されている識別情報と撮像した画像から取得する識別情報との重複登録を防止する機能を有する。 The mobile phone 1 has a function of preventing a double registration of the identification information acquired from images already identification information and imaging are registered.

ここで、上述したような機能を発揮するための構成について図2を用いて説明する。 Here it will be described with reference to FIG. 2 configuration for exerting the functions as described above.
携帯電話機1は、図2に示すように、表示部21と、撮像部23と、記憶部30と、走査部(OCR処理部31)と、認識部(OCR処理部31)と、判定部(OCR処理部31)と、制御部(主制御部32)とを有する。 Mobile phone 1, as shown in FIG. 2, a display unit 21, an imaging unit 23, a storage unit 30, the scanning unit and the (OCR processing unit 31), a recognition unit (OCR unit 31), the determination unit ( the OCR processing unit 31), and a control unit (main controller 32).

表示部21は、液晶表示パネルや有機EL(Electro−Luminescence)パネル等の表示デバイスから構成され、例えばアドレス帳、電話発信時における発信先の電話番号、電話受信時における発信元の電話番号、及び受信メールや送信メールの内容等を表示する。 Display unit 21 is composed of a display device such as a liquid crystal display panel or an organic EL (Electro-Luminescence) panel, for example, an address book, the telephone number of the call destination at the time of telephone call, the telephone number of the calling upon the received call, and to view the contents and the like of the received mail and outgoing mail. 表示部21は、主制御部32から供給される映像信号に応じて表示制御部33により制御されることにより文字や画像を表示する。 The display unit 21 displays characters and images by being controlled by the display control unit 33 in accordance with a video signal supplied from the main control unit 32. なお、表示制御部33は、例えば映像信号に基づく駆動電圧を表示部21に供給するデータドライバ、及び表示部21の各画素を走査線に沿って線順次駆動するゲートドライバ等から構成される。 The display control unit 33 is configured, for example, a driving voltage based on the video signal data driver supplies to the display unit 21, and the pixels of the display unit 21 from the gate driver such as line-sequentially driven along a scan line.
撮像部23は、レンズ及び撮像素子等からなり、例えば名刺等を撮像する。 Imaging unit 23 is composed of a lens and an image pickup element such as, for imaging an example business card.
記憶部30は、後述する識別情報、及び識別情報に関連付けられた後述する走査情報を登録情報として登録可能なアドレス帳を記憶する。 Storage unit 30 stores can be registered address book will be described later identification information, and the scanning information to be described later is associated with the identification information as the registration information.

走査部としてのOCR処理部31は、撮像部23により撮像された画像の中の所定の領域に対して走査を行って、走査情報を取得する。 OCR processing unit 31 as a scanning unit performs scanning with respect to a predetermined area within the image captured by the image capturing unit 23 obtains the scanned information. 走査情報としては、例えば、所定の領域における画像や所定の領域における画像を数値化したものが相当する。 The scanning information, for example, corresponds is a numeric indication of the image in the image and a predetermined area in a predetermined area.

判定部としてのOCR処理部31は、走査情報がアドレス帳に既に記憶されている走査情報と一致しているか否かを判定する。 OCR processing unit 31 as the determination unit determines whether the scanning information matches the scanned information already stored in the address book. この際、OCR処理部31は、取得した走査情報と記憶されている走査情報とが完全に同一のものを一致していると判定すると共に、所定の誤差の範囲にある走査情報も一致していると判定する。 In this case, OCR processing unit 31 is configured to determined the acquired scan data and scan information stored is completely consistent with the same thing, even coincide scanning information in a predetermined error range It determines that there. なお、判定基準は、要求される走査情報の精度等を考慮して決定される。 The determination criterion is determined by considering the accuracy of the required scanned information.

認識部としてのOCR処理部31は、走査情報がアドレス帳に既に記憶されている走査情報と一致しないと判定された場合には、画像の中から識別情報を認識する。 OCR processing unit 31 as a recognition unit, when the scanning information is determined to no longer match the scan information stored in the address book, recognizes the identification information from the image. 識別情報とは、文字等のデータである。 The identification information is data such as characters. この認識には、例えばOCR機能を利用すればよい。 This recognition, for example, may be utilized OCR function. OCR機能によりテキスト文字に変換されたものは文字と認識される。 Which has been converted to text by OCR function is recognized as characters.

ここで、OCR機能について説明する。 Here, a description will be given of optical character recognition (OCR) function. まず、撮像部23により撮像された名刺等の画像から行部分を抽出する。 First extracts a line portion from the image of the business card or the like captured by the imaging unit 23. 例えば、画像を縦方向にスキャンして、画像の濃度値を取得する。 For example, by scanning the image in a vertical direction, to obtain the density value of the image. そして、所定の閾値以上の濃度値が連続する箇所を行とする一方、閾値未満の濃度値が連続する箇所を行間とする。 Then, while a row of locations density values ​​equal to or greater than a predetermined threshold value are continuous, and line spacing of the portion where density value less than the threshold are continuous. 次に、抽出された行部分の画像から1文字単位で文字を抽出する。 Then, to extract the characters character by character from the image of the extracted line portion. 例えば、行部分の画像を横方向にスキャンして濃度値を取得する。 For example, to obtain the density value by scanning the image line portion in the lateral direction. そして、所定の閾値以上の濃度値が連続する箇所を文字とする一方、閾値未満の濃度値が連続する箇所を文字間とする。 Then, while the character portion density values ​​equal to or greater than a predetermined threshold value are continuous, the portion where density value less than the threshold are continuous and between characters. これにより、撮像部23により撮像された画像から1文字分の画像(文字画像)が抽出される。 Thus, the image of one character from the captured image (character image) is extracted by the imaging unit 23. 次に、文字画像の文字を認識し、テキストデータに変換する。 Then, to recognize the character image character, converted to text data. 例えば、文字画像を予め記憶された文字パターンと比較し、文字パターンに対する類似度を求める。 For example, by comparing the character image in advance and the stored character pattern, obtaining a similarity to the character pattern. そして、類似度の最も大きい文字パターンが文字画像中の文字と認識され、認識された文字をテキストデータとして出力する。 The largest character pattern of similarity is recognized as a character in the character image, and outputs the recognized characters as text data. このようにして、撮像部23により撮像された画像からテキスト文字が出力される。 In this way, text is output from the image captured by the imaging unit 23.

制御部としての主制御部32は、OCR処理部31により、認識された識別情報を走査情報に関連付けて記憶部30のアドレス帳に記憶するように制御する。 The main control unit 32 as a control unit, by the OCR processing unit 31, and controls to store the recognized identification information in the address book storage unit 30 in association with the scanning information.

このように構成される携帯電話機1は、撮像された画像の中の所定の領域に対して走査された走査情報と、アドレス帳に識別情報と関連付けられて記憶されている走査情報の一致・不一致を判定する。 Thus configured mobile phone 1 includes a scanning information scanned to the given region in the captured image, match or mismatch of the scanning information stored in association with identification information in the address book the judges. そして、携帯電話機1は、撮像された画像から取得された走査情報と、アドレス帳に記憶されている走査情報とが一致していないと判定した場合に、アドレス帳に存在しない新規な識別情報であるとして、OCR機能を使用して識別情報を取得する。 Then, the mobile phone 1, when judging the scanning information obtained from the captured image, and the scanning information stored in the address book does not match, a new identification information that does not exist in the address book as there obtains identification information using the OCR function. また、携帯電話機1は、取得した識別情報、及びこの識別情報に走査情報を関連付けて、1つの登録情報としてアドレス帳に登録する。 The mobile phone 1, the obtained identification information, and associates the scanning information to the identification information registered in the address book as one of the registration information.

したがって、携帯電話機1は、簡易的に走査情報の一致・不一致を判定することにより、識別情報の一致・不一致の判定を行った場合と等しい結果が得られるために、OCR機能を使用して識別情報を生成する必要がなくなる。 Thus, the cellular telephone device 1, by determining a match-mismatch simple scanned information, in order to result equal to the case of performing the determination of the match-mismatch discrimination information is obtained, identified using the OCR function We need to generate the information is eliminated. このため、携帯電話機1においては、処理が減るために、識別情報の一致・不一致に要する時間を短縮することができ、時間をかけずに識別情報を重複して登録するのを抑制することができる。 Therefore, in the portable telephone 1, for processing is reduced, it is possible to shorten the time required for matching, mismatch identification information, it can be prevented from registering duplicate identification information without taking time it can.

また、携帯電話機1は、上述したように識別情報を比較するわけではなく、走査情報を比較するため、例えば、氏名、住所、会社名等の複数の識別情報が1の登録情報として扱われている場合においては、識別情報毎に一致・不一致の判定を行う必要がないために、1つの登録情報に対する処理を減らすことができる。 The mobile phone 1, not to compare the identification information as described above, to compare the scanned information, e.g., name, address, treated as registration information of a plurality of identification information 1 such as company name in case you are, since there is no need to judge the match-mismatch for each identification information, it is possible to reduce the processing for one registration information. このため、携帯電話機1は、アドレス帳に登録される登録情報の登録数が多ければ多いほど、時間を短縮することができる。 Thus, the cellular telephone device 1, the more the registration number of the registration information registered in the address book, it is possible to reduce the time.

なお、携帯電話機1は、操作入力部34と、入力データ取得部35と、電源部36と、電源使用量検出部37と、電話発信部38と、無線LAN(Local Area Network)機能部39と、メール送信部40と、ブラウザ機能部41、電話受信部42、メール受信部43とをさらに有する。 The mobile phone 1 includes an operation input unit 34, an input data acquisition unit 35, a power unit 36, a power amount detector 37, an outgoing call part 38, a wireless LAN (Local Area Network) function unit 39 further includes a mail sending unit 40, the browsing function unit 41, the telephone receiver 42, and a mail receiving unit 43. 操作入力部34は、操作キー群11によって構成される。 The operation input unit 34 is constituted by the operation key group 11. 入力データ取得部35は、操作を検出する。 Input data acquisition unit 35 detects the operation. 入力データ取得部35は、例えば、操作入力部34がユーザによって操作された場合に、その操作内容を検出し操作内容に対応する信号を発生して、主制御部32に入力させる。 Input data acquisition unit 35, for example, when the operation input unit 34 is operated by the user, generates a signal corresponding to the operation content to detect the operation content, is input to the main control unit 32. 電源部36は、携帯電話機1に備えられる各機能に電源を供給する。 Power unit 36 ​​supplies power to each function provided in the mobile phone 1. 電源使用量検出部37は、電源の使用量を検出する。 Power consumption detecting unit 37 detects the amount of power. 電話発信部38及びメール送信部40は、移動体通信網を介して不図示の基地局と接続され、それぞれ発信信号を基地局へ発信する。 Telephone transmitter 38 and the mail sending unit 40 via the mobile communication network is connected to the base station (not shown) emits a respective oscillation signal to the base station. 電話受信部42及びメール受信部43は、移動体通信網を介して不図示の基地局と接続され、それぞれ受信信号を基地局から受信する。 Telephone reception unit 42 and the mail receiving unit 43 via the mobile communication network is connected to the base station (not shown), it receives a reception signal from the base station, respectively. 無線LAN機能部39は、無線により不図示のアクセスポイントと接続され、データの送受信を行う。 Wireless LAN function unit 39 is connected to the access point (not shown) by wireless to transmit and receive data. ブラウザ機能部41は、携帯電話機1が基地局又はアクセスポイントに接続された状態で起動されると、ウェブサーバにアクセスする機能を有している。 Browsing function unit 41, the portable telephone 1 is activated in a state of being connected to the base station or access point has a function of accessing the Web server.

また、走査部となるOCR処理部31は、画像の中を線状に走査して走査情報を取得する。 Further, OCR processing unit 31 serving as a scanning unit acquires scan data by scanning through the images in a linear shape. 名刺は、大抵の場合、氏名等の識別情報に相当する表示は、均一に並ばれ、整列された状態となっている。 Business cards, in most cases, the display corresponding to the identification information such as name is lined up evenly, and has a aligned state. このため、携帯電話機1では、撮像した画像中を線状に走査したものを走査情報として取得することで、識別情報の一致・不一致を判定可能な走査情報を取得することができる。 Therefore, in the mobile phone 1, by acquiring those scanned in images captured linearly as the scanning information, it is possible to obtain a determination can scan information match or mismatch of the identification information. また、携帯電話機1においては、撮像した画像から所定の領域を線状に走査した情報を走査情報とするために、アドレス帳に記憶する走査情報のデータ量を少なくすることができる。 Further, in the portable telephone 1, the information scanned from the captured image a predetermined region in a linear shape in order to scan information, it is possible to reduce the amount of data of the scan information stored in the address book.

また、走査部となるOCR処理部31は、画像の中の所定位置において線状に複数本の走査情報を取得する。 Further, OCR processing unit 31 serving as a scanning unit acquires scan data a plurality of linearly at a predetermined position in the image. したがって、携帯電話機1においては、画像の中で、例えば、氏名等の識別対象として主なものが配置されている位置を複数走査すれば、識別対象への走査精度が上がるために、結果として、識別情報の一致・不一致の精度を向上させることができる。 Accordingly, in the portable telephone 1, in the image, for example, if a plurality scan position are arranged mainly as an identification target such as name, in order to scan the accuracy of the identification target is increased, as a result, it is possible to improve the accuracy of the match or mismatch of the identification information.

また、評価部となるOCR処理部31は、所定位置毎に異なる重み付けがなされる走査情報を評価する。 Further, OCR processing unit 31 as the evaluation unit evaluates the scanning information different weights for each predetermined position is made. したがって、携帯電話機1においては、例えば、撮像した画像が歪みやすい画像の端部領域に対しては評価を低くして、歪みにくい画像の中央領域に対しては評価を高くすることにより、歪みにより発生する識別情報の一致・不一致の判定の精度の低下を抑制することができる。 Accordingly, in the portable telephone 1, for example, for the end region of easy image distortion image captured with a lower rating, by increasing the rating is the central region of the strain hardly image, the distortion it is possible to suppress a decrease in the accuracy of determination of coincidence-mismatch identification information generated.

また、走査部となるOCR処理部31は、走査情報を2値画像(例えば、白黒画像)に基づいて認識する。 Further, OCR processing unit 31 serving as a scanning unit recognizes, based on the scanning information binary image (e.g., black and white images). したがって、携帯電話機1は、走査情報のデータ量を少なくすることができる。 Thus, the cellular telephone device 1 can reduce the data amount of the scanned information.

また、制御部となる主制御部32は、取得した走査情報が有効なものでない場合に、さらに走査情報を取得する。 The main control unit 32 as a control unit, when the acquired scan data is not valid, further obtains the scanned information. したがって、携帯電話機1は、例えば、規定する位置よりもズレた位置で撮影された画像を使用する場合や名刺のレイアウトが異なっている等、所定の位置で走査しても識別情報の一致・不一致の判定に用いることができる有効な走査情報を取得することができない場合においても、異なる位置において再度走査情報を取得するために、有効な走査情報を確実に取得することができる。 Accordingly, the mobile phone 1, for example, match or mismatch etc., even the identification information is scanned at a predetermined position layout when and business cards that use images captured by the shift position from the position prescribed are different in the case where the it is impossible to obtain valid scan information which can be used for the determination also in order to obtain a re-scan information at different positions, it is possible to reliably acquire a valid scan information. なお、取得される走査情報の有効性の判断は、取得される走査情報の情報量を基準とすること等により判断することで、例えば、文字が表示されていない位置を走査した走査情報か否かを判断することができる。 Note that the effectiveness of the determination of the scanning information obtained, by determining the like be used as the reference information of the scanning information obtained, for example, or scanning information scans the position where the character is not displayed not whether it is possible to determine.

主制御部32は、走査情報が記憶部30に既に記憶されている走査情報と一致していると判定された際に、走査情報が記憶部30に既に記憶されている走査情報と一致している旨を表示部21に表示する。 The main control unit 32, when the scanning information is determined to match the scan information already stored in the storage unit 30, the scanning information is consistent with the scan information already stored in the storage unit 30 It is displayed on the display unit 21 to the effect that there. したがって、携帯電話機1は、同一であると判定された結果をユーザに確認させることができ、誤判定をユーザの確認の上で最終的に抑制することができる。 Thus, the cellular telephone device 1, the results are determined to be the same to be able to check the user erroneously determined can be finally suppressed on confirmation of the user.

次に、携帯電話機1の動作について、図3を参照しながら説明する。 Next, the operation of the mobile phone 1 will be described with reference to FIG.
図3に示すように、ステップS101において、名刺を携帯電話機1に登録する場合、まず、ユーザは、操作入力部34を操作して携帯電話機1の名刺リーダ機能を起動させる。 As shown in FIG. 3, in step S101, when registering a business card to the mobile phone 1, the user first activates the business card reader function of the mobile phone 1 operates the operation input section 34.

次に、ステップS201において、携帯電話機1の内部処理として、主制御部32は、ステップS101の工程による操作に基づいて、名刺リーダ機能の起動操作を入力データ取得部35により検知する。 Next, in step S201, as an internal process of the mobile phone 1, the main controller 32, based on the operation by the process of step S101, it detects the input data acquisition unit 35 to start operation of the business card reader function.
ステップS202において、撮像部23は、主制御部32の制御によりカメラ起動処理を行う。 In step S202, the imaging unit 23, a camera starting process performed by the control of the main controller 32.

次に、ステップS102において、ユーザは、操作入力部34を操作して名刺撮影操作を行わせる。 Next, in step S102, the user, to perform a business card shooting operation by operating the operation input section 34.
次に、ステップS203において、携帯電話機1の内部処理として、主制御部32は、ステップS102の工程による操作基づいて名刺撮影操作を入力データ取得部35により検知する。 Next, in step S203, as an internal process of the mobile phone 1, the main control unit 32 detects the input data acquisition unit 35 business cards photographing operation based operation by process step S102.

ステップS204において、OCR処理部31は、撮像部23により撮像された名刺の画像の傾き補正処理を行う。 In step S204, OCR processing unit 31 performs inclination correction of the captured business card image by the imaging unit 23. すなわち、OCR処理部31は、走査情報を取得可能なように、例えば、画像中の名刺の四隅部の座標値に基づいて、画像の傾き具合を判断して、傾きを補正する。 That, OCR processing unit 31, as is the scan information can be obtained, for example, on the basis of the coordinate values ​​of the four corner portions of the business card in the image, to determine the tilt of the image, to correct the inclination.

ステップS205において、OCR処理部31は、ステップS204の工程で傾き補正処理が行われた画像に対して、画像拡大率適正化処理を行う。 In step S205, OCR processor 31, the image of the inclination correction is performed in the process of step S204, it performs the image magnification optimizing. すなわち、OCR処理部31は、撮像された画像が、例えば、所定の大きさよりも小さい場合に、走査情報を取得可能なように、画像それ自体、もしくは、名刺部分の画像を、所定の大きさに拡大する。 That, OCR processing unit 31, the captured image, for example, is smaller than a predetermined size, as is the scan information can be acquired, the image itself, or an image of the business card section, predetermined size to expand to.
なお、本実施形態においては、撮像された画像が、所定の大きさよりも小さい場合を示したが、これに限られず、所定の大きさよりも大きい場合に画像を縮小するようにしても良い。 In this embodiment, the captured image is, the case is smaller than a predetermined size, a limited without this may be reduced images is larger than a predetermined size. この場合には、名刺に表示されている文字等の大きさに基づいて、縮尺倍率を決定することにより行うことができる。 In this case, based on the size of the characters or the like displayed on a business card, it can be performed by determining the scale factor.

ステップS206において、OCR処理部31は、ステップS204及びステップS205の工程において、傾きと大きさが整えられた画像から、白黒の走査情報を取得する。 In step S206, OCR processing unit 31, in the process of step S204 and step S205, the image trimmed inclination and size, and acquires the scan information of black and white.
白黒の走査情報の取得は、まず、OCR処理部31により、画像の中の名刺部分における所定の座標について走査を行い、白黒の2値画像を取得することにより行う。 Obtaining scanning information monochrome, first, by the OCR processing unit 31 performs a scan for a given coordinate in the business card portion in an image is performed by obtaining the binary black and white image. 本実施形態においては、OCR処理部31は、図4に示すように、走査情報を上段(Line1)・中段(Line2)・下段(Line3)の計3箇所において線状に取得する。 In the present embodiment, OCR processing unit 31, as shown in FIG. 4, to obtain the scanned information to the upper (Line1) · middle (Line2) · lower linear in a total of three places (Line3).

ステップS207において、OCR処理部31は、図4に示すように、取得した走査情報とアドレス帳に登録されている走査情報との比較(一致・不一致の判定)を行う。 In step S207, OCR processing unit 31, as shown in FIG. 4, and compares the acquired scan information and scan information registered in the address book (determination of match-mismatch). 取得した走査情報とアドレス帳に登録されている走査情報との一致・不一致の判定は、OCR処理部31により、走査情報の値を比較することにより行われる。 Match and determination of inconsistencies with the acquired scan information and scan information registered in the address book, by the OCR processing unit 31 is performed by comparing the values ​​of the scanning information. OCR処理部31は、比較する走査情報の値が同じであるか、又は、所定の誤差の範囲内である場合には、同一性が高いものとして、一致していると判定する。 OCR processing unit 31, whether the value of the scanning information to be compared are the same, or, if it is within a predetermined range of error, as the high identity, is determined to be coincident.

なお、本実施形態においては、OCR処理部31は、図4に示すように、撮影時のブレ等を考慮して、各走査情報において、誤差の幅を変更する。 In the present embodiment, OCR processing unit 31, as shown in FIG. 4, in consideration of the blurring and the like at the time of shooting, in each scan information, to change the width of the error. つまり、OCR処理部31は、走査情報の位置によって、同一判定を甘くしたり、厳しくしたりする。 That, OCR processor 31, the position of the scanning information, or sweeten the same determination, or severe. 具体的には、OCR処理部31は、図4に示すように、撮影時のブレが大きいLine1及びLine3については、誤差の範囲を広くして判定を甘くし、Line2については、誤差の範囲を狭くして判定を厳しくする。 Specifically, OCR processing unit 31, as shown in FIG. 4, for Line1 and Line3 blur is large at the time of shooting, and sweeten determined by wide range of error, for Line2 is the range of error narrow to be strictly determined.

また、携帯電話1は、様々な形式の名刺等が想定されるために、OCR処理部31は、走査情報が比較可能な値を有しているか否かを判断するように構成しても良い。 The mobile phone 1, to business cards of various formats are contemplated, OCR processing unit 31, the scan information may be configured to determine whether it has a comparable value . このように判断した結果、OCR処理部31は、比較可能な値を有していない場合には、再度異なる位置で走査して走査情報を取得する。 Thus the determined result, OCR processing unit 31, if they do not have comparable values ​​obtains scan information by scanning again different positions. この際、携帯電話機1は、取得する走査情報に位置情報を含ませる。 At this time, the mobile phone 1, to include location information in the scan information to be obtained. また、走査される位置は、名刺のタイプにより決定しても良いし、撮像された画像から判断して決定しても良い。 The position to be scanned may be determined by the type of business card may be determined by determining from the captured image.

ステップS208において、主制御部32は、OCR処理部31による走査情報の一致・不一致の判定に基づいて、一致していると判定された場合、アドレス帳に登録される走査情報に関連付けられた識別情報(例えば、氏名等)を表示部21に表示する。 In step S208, the main control unit 32 based on the determination of the match-mismatch scanning information by OCR processing unit 31, when it is determined that they match, associated with the scanning information registered in the address book identification information (e.g., name, etc.) is displayed on the display unit 21.

ステップS103において、ユーザは、表示部21に表示される識別情報に基づいて、OCR読み取り処理(名刺の取り込み)を行うか否かの操作を行う。 In step S103, the user, based on the identification information displayed on the display unit 21 performs an operation of whether to perform OCR reading process (business card uptake). 本ステップにより、ユーザは、誤判定があり、表示されている識別情報とは異なる名刺であった場合には、読み取りの処理を行う。 By this step, the user, there is misjudgment, when was different business cards and identification information displayed performs processing of reading.

ステップS209において、主制御部32は、ステップS103における名刺読み取り操作に基づいた処理を行う。 In step S209, the main control unit 32 performs processing based on the business card reading operation in step S103. 主制御部32は、OCR読み取り処理を行うための名刺読み取り操作が場合には、ステップS210へ進み、OCR読み取り処理を行わないための名刺読み取り操作が場合には、内部処理を終了する。 The main control unit 32, when the business card reading operation for performing OCR reading process proceeds to step S210, the business card reading operation for not performing OCR reading process is the case, terminates the internal processing.

ステップS210において、主制御部32は、OCR処理部31に対して、OCR読取処理を行って、ステップS211に進む。 In step S210, the main control unit 32, to the OCR processing unit 31, performs OCR reading process proceeds to step S211. OCR読取処理は、OCR処理部31に撮像された画像から所定のデータを認識させることにより行う。 OCR reading process is performed by recognizing the predetermined data from the captured image to the OCR processing unit 31. 所定のデータの認識は、例えば、所定領域の撮像画像の一部と記憶部30等に格納される文字データと照合したものをテキストデータ等に置き換えることにより行われる。 Recognition of a given data is performed, for example, by replacing those against the character data stored and the storage unit 30 such as a portion of the captured image in a predetermined area in the text data and the like.

ステップS211において、主制御部32は、図5に示すように、取得した識別情報と、走査情報とを関連付けて登録情報としてアドレス帳に登録して、内部処理を終了する。 In step S211, the main controller 32, as shown in FIG. 5, the acquired identification information, registered in the address book as the registration information in association with the scanning information, and ends the internal processing.

したがって、携帯電話機1は、時間をかけずに識別情報を重複して登録するのを抑制することができる。 Thus, the cellular telephone device 1 can be prevented from registering duplicate identification information without taking time.

以上、本発明に係る携帯電話機1の好適な実施形態について説明したが、本発明に係る携帯電話機1は、上述した実施形態に限定されることなく種々の形態で実施することができる。 Having described the preferred embodiments of the mobile phone 1 according to the present invention, the mobile phone 1 according to the present invention may be embodied in various forms without being limited to the embodiments described above.

なお、本発明に係る携帯電話機1において、走査情報は、白黒の2値画像に基づいたものを示したが、これに限定されることはなく、カラー画像であっても良い。 Incidentally, in the mobile phone 1 according to the present invention, the scanning information showed that the basis of the binary black and white image, is not limited thereto and may be a color image.

また、携帯電話機1においては、識別情報の一致・不一致の判定を、所定位置において複数の線状に走査した走査情報のそれぞれに重み付けをして、その重み付けに基づいた結果から行っていたが、これに限られない。 Further, in the portable telephone 1, the determination of the coincidence-mismatched identification information, by weighting on each of the scanning information scans the plurality of linear at a predetermined position, it had done Based on the results of the weighting, not limited to this. 例えば、氏名等の情報が表示されている場所に複数線状の走査を行っても良い。 For example, it may be performed scanning multiple linear to where information such as the name is displayed.

また、走査情報は、撮像した画像の中を線状に走査したものを用いたが、これに限られない。 The scanning information is used was scanned in the image captured in linear, but not limited thereto. 走査情報は、OCR取込処理前の画像において取得可能なものであれば良く、例えば、撮像した画像中の所定の領域における画像情報や、撮像した画像中の所定の領域における色の比率や、撮像した画像自体を走査情報としても良い。 Scanning information, as long as it can get in the OCR taking process before the image, for example, and image information in a predetermined region in the image captured, colors and proportions in a predetermined region in the image captured, the image itself was captured may be scanned information.

また、主制御部32は、走査情報が記憶部30に既に記憶されている走査情報と一致していると判定された際に、走査情報が記憶部30に既に記憶されている走査情報と一致している旨を表示部21に表示するよう構成したが、当該表示の代わりに、或いは共に、記憶部30に既に記憶されている走査情報に関連付けて記憶部30に記憶された識別情報を表示するよう構成しても良い。 The main control unit 32, when the scanning information is determined to match the previously scanned information stored in the storage unit 30, the scanning information scans the information is already stored in the storage unit 30 one it has has been configured to display on the display unit 21 to the effect that, instead of the display, or both, displays the identification information stored in the storage unit 30 in association with the scanning information in the storage unit 30 has already stored it may be configured to. これにより、携帯電話機1は、同一であると判定された結果をユーザに確認させることができ、さらに誤判定を抑制することができる。 Thus, the cellular telephone device 1, it is possible to confirm the results are determined to be the same to the user, it is possible to suppress further erroneous determination.

1 携帯電話機(携帯電子機器) 1 mobile phone (portable electronic devices)
21 表示部 23 撮像部 30 記憶部 31 OCR処理部(走査部、判定部、認識部、評価部) 21 display unit 23 imaging unit 30 storage unit 31 OCR processing unit (scanning unit, judgment unit, the recognition unit, evaluation unit)
32 主制御部(制御部) 32 main control unit (control unit)

Claims (8)

  1. 表示部と、 And a display unit,
    撮像部と、 An imaging unit,
    記憶部と、 A storage unit,
    前記撮像部により撮像された画像の中の所定の領域に対して走査を行い走査情報を取得する走査部と、 A scanning unit for acquiring scan information performs scanning with respect to a predetermined region in the image captured by the imaging unit,
    前記走査情報が前記記憶部に既に記憶されている走査情報と一致しているか否かを判定する判定部と、 A determination section for determining whether or not the scanning information matches the previously scanned information stored in the storage unit,
    前記判定部により、前記走査情報が前記記憶部に既に記憶されている前記走査情報と一致しないと判定された場合に、前記画像の中から識別情報を認識する認識部と、 By the determination unit, and when said scanning information is determined to no longer matches the scanning information stored in the storage unit, recognizing unit identification information from among the images,
    前記認識部により、認識された前記識別情報を前記走査情報に関連付けて前記記憶部に記憶するように制御する制御部と、を有する携帯電子機器。 Wherein the recognition unit, the portable electronic device and a control unit for controlling to store the recognized the identification information in the storage unit in association with the scanning information.
  2. 前記走査部は、前記画像の中を線状に走査して前記走査情報を取得する請求項1記載の携帯電子機器。 The scanning unit, the portable electronic device of claim 1, wherein for acquiring the scanning information scans the inside of the image linearly.
  3. 前記走査部は、前記画像の中の所定位置において線状に複数本の前記走査情報を取得する請求項2記載の携帯電子機器。 Portable electronic device according to claim 2, wherein said scanning unit for acquiring the scanning information of the plurality of linearly at a predetermined position within the image.
  4. 前記所定位置毎に異なる重み付けがなされる前記走査情報を評価する評価部を有し、 Has an evaluation unit for evaluating the scanning information different weighting is performed for each of the predetermined positions,
    前記判定部は、前記評価部の評価に基づいて、前記走査情報と前記記憶部に既に記憶されている前記走査情報と一致しているか否かを判定する請求項3記載の携帯電子機器。 The determination unit, based on the evaluation of the evaluation unit, the portable electronic device according to claim 3, wherein determining whether already matches the scanning information stored in the storage unit and the scanning information.
  5. 前記走査部は、前記走査情報を2値画像に基づいて認識する請求項1から4記載の携帯電子機器。 The scanning unit, the portable electronic device recognizes claims 1 to 4, wherein based on the scanning information into a binary image.
  6. 前記制御部は、取得した前記走査情報が有効な情報でない場合に、さらに前記走査情報を取得する請求項1から5記載の携帯電子機器。 The portable electronic device wherein, when the acquired scan data is not valid information, 5 described in more claims 1 to obtain the scanning information.
  7. 前記制御部は、前記走査情報が前記記憶部に既に記憶されている前記走査情報と一致していると判定された際に、前記走査情報が前記記憶部に既に記憶されている前記走査情報と一致している旨を前記表示部に表示するように制御する請求項1から6記載の携帯電子機器。 Wherein, when the scanning information is determined to already matches the scanning information stored in the storage unit, said scanning information the scanning information is already stored in the storage unit the portable electronic device of claims 1 to 6, wherein controlling the effect that matches to display on the display unit.
  8. 前記制御部は、前記走査情報が前記記憶部に既に記憶されている前記走査情報と一致していると判定された際に、前記走査情報が前記記憶部に既に記憶されている前記走査情報に関連付けて前記記憶部に記載された前記識別情報を前記表示部に表示するように制御する請求項1から6記載の携帯電子機器。 Wherein, when the scanning information is determined to match the previously said scanning information stored in the storage unit, the scanning information the scanning information is already stored in the storage unit portable electronic device of claims 1 6 wherein the control for displaying the identification information described on the display unit in the storage unit in association.
JP2009153008A 2009-06-26 2009-06-26 Portable electronic devices Active JP5140640B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009153008A JP5140640B2 (en) 2009-06-26 2009-06-26 Portable electronic devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009153008A JP5140640B2 (en) 2009-06-26 2009-06-26 Portable electronic devices

Publications (2)

Publication Number Publication Date
JP2011010145A JP2011010145A (en) 2011-01-13
JP5140640B2 true JP5140640B2 (en) 2013-02-06

Family

ID=43566270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009153008A Active JP5140640B2 (en) 2009-06-26 2009-06-26 Portable electronic devices

Country Status (1)

Country Link
JP (1) JP5140640B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6325604B2 (en) * 2016-06-22 2018-05-16 株式会社ランドスケイプ Personal information registration and management system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558598B2 (en) * 1999-12-01 2009-07-07 Silverbrook Research Pty Ltd Dialling a number via a coded surface
JP2001202475A (en) * 2000-01-19 2001-07-27 Sharp Corp Character recognizer and its control method
US7920896B2 (en) * 2005-09-19 2011-04-05 Kia Silverbrook Printing an almanac using a mobile device
JP4690289B2 (en) * 2006-10-31 2011-06-01 富士通株式会社 Mobile terminal with telephone call function of the image, an outgoing call processing program telephone calling method, and an image by the image

Also Published As

Publication number Publication date
JP2011010145A (en) 2011-01-13

Similar Documents

Publication Publication Date Title
US7988037B2 (en) Device and method for contact information exchange
US9195868B2 (en) Optical reader having an imager
KR100740744B1 (en) Focus state display apparatus, focus state display method, focus state determination apparatus, focus state determination method, camera, portable terminal device and recording medium
US20020003892A1 (en) Authentication system based on fingerprint and electronic device employed for the system
CN104021350B (en) Privacy Information hiding method and apparatus
US20030062419A1 (en) Optical reader having a color imager
US20050185828A1 (en) Device and method for fingerprint identification, and computer product
US7787693B2 (en) Text detection on mobile communications devices
US20100310136A1 (en) Distinguishing right-hand input and left-hand input based on finger recognition
JP4720167B2 (en) Electronic camera and program
US20060103893A1 (en) Cellular telephone based document scanner
US8160363B2 (en) Device and method for inputting characters or drawings in a mobile terminal using a virtual screen
EP1418486A2 (en) Fingerprint-based authentication apparatus
US7756292B2 (en) System and method of generic symbol recognition and user authentication using a communication device with imaging capabilities
JP4995554B2 (en) Search of personal information using a knowledge base for the optical character recognition correction
US20060164682A1 (en) System and method of improving the legibility and applicability of document pictures using form based image enhancement
US10375257B2 (en) Display of two functions of device used with data processing apparatus
US8565815B2 (en) Methods and systems responsive to features sensed from imagery or other data
US7447362B2 (en) System and method of enabling a cellular/wireless device with imaging capabilities to decode printed alphanumeric characters
US9052751B2 (en) Visual laser touchpad for mobile telephone and method
US20050052558A1 (en) Information processing apparatus, information processing method and software product
JP4552632B2 (en) Mobile equipment
EP2803016A1 (en) Systems and methods for mobile image capture and processing
US20050116945A1 (en) Mobile information terminal device, information processing method, recording medium, and program
US20050041862A1 (en) Mobile phone system with a card character recognition function

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120406

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120803

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121015

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121023

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151122

Year of fee payment: 3