JP4552632B2 - Portable device - Google Patents

Portable device Download PDF

Info

Publication number
JP4552632B2
JP4552632B2 JP2004351939A JP2004351939A JP4552632B2 JP 4552632 B2 JP4552632 B2 JP 4552632B2 JP 2004351939 A JP2004351939 A JP 2004351939A JP 2004351939 A JP2004351939 A JP 2004351939A JP 4552632 B2 JP4552632 B2 JP 4552632B2
Authority
JP
Japan
Prior art keywords
unit
person
personal information
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004351939A
Other languages
Japanese (ja)
Other versions
JP2006165821A (en
Inventor
武史 増田
晃 大村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2004351939A priority Critical patent/JP4552632B2/en
Publication of JP2006165821A publication Critical patent/JP2006165821A/en
Application granted granted Critical
Publication of JP4552632B2 publication Critical patent/JP4552632B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)

Description

本発明は、画像やその他の情報を表示する機能を有する携帯機器に関する。 The present invention relates to a portable device having a function of displaying an image and other information.

従来より、携帯電話機内の電話帳データに顔等の画像を対応づけて登録しておき、この画像を用いて、通話を行う際に相手の顔を確認したり、着信時に相手の顔を表示する技術が知られている（例えば、特許文献１参照）。このような技術では、電話帳データに対応づけて登録される画像は、主に電話帳専用の画像である。
特開平１１−４１３３９号公報 Conventionally, images such as faces are registered in association with the phone book data in the mobile phone, and this image is used to check the other party's face when making a call or to display the other party's face when receiving a call. The technique to do is known (for example, refer patent document 1). In such a technique, images registered in association with the phone book data are mainly images dedicated to the phone book.
JP 11-41339 A

近年、携帯電話機は、搭載されたカメラにより撮像した画像や、インターネットを介して取得した画像など様々な画像を取り扱うことが可能である。このような画像は、閲覧や印刷などに用いられているが、さらに多様な用途に利用するのが好ましい。
本発明は、画像を利用して、簡便に個人情報の検索を行うことができる携帯電話機を提供することを目的とする。 In recent years, a mobile phone can handle various images such as an image captured by an installed camera and an image acquired via the Internet. Such images are used for browsing and printing, but are preferably used for a variety of purposes.
An object of the present invention is to provide a mobile phone that can easily search for personal information using an image.

本発明の携帯機器は、人物ごとに、個人情報とその人物の人物認識に関わる情報とを記録する情報記録部と、画像を取得する取得部と、前記取得部により取得された前記画像に対して、前記情報記録部に記録された前記人物認識に関わる情報に基づいて人物認識を行う認識部と、前記取得部により取得された前記画像を表示する表示部と、前記認識部が、前記取得部により取得された前記画像中に、前記情報記録部に記録された人物のいずれかを認識すると、その人物の個人情報を前記情報記録部から読み出して前記表示部に表示する表示制御部と、前記表示制御部により前記表示部に表示された前記個人情報に基づいて、通信を行う通信部と備え、前記表示制御部が前記表示部に表示する前記個人情報は複数の項目を含み、前記表示部に表示された個人情報の複数の項目の中から、所定の項目の選択を受け付ける選択部と、前記選択部が選択を受け付けた項目を含む個人情報を有する画像を検索する画像検索部と、を更に備え、前記表示制御部は、前記画像検索部が検索した画像中に、当該画像に関連付けて記録された個人情報を表示することを特徴とする。 The portable device according to the present invention includes, for each person, an information recording unit that records personal information and information related to person recognition of the person, an acquisition unit that acquires an image, and the image acquired by the acquisition unit. A recognition unit that performs person recognition based on information related to the person recognition recorded in the information recording unit, a display unit that displays the image acquired by the acquisition unit, and the recognition unit A display control unit that, when recognizing any of the persons recorded in the information recording unit in the image acquired by the unit, reads the personal information of the person from the information recording unit and displays the personal information on the display unit; A communication unit that performs communication based on the personal information displayed on the display unit by the display control unit, the personal information displayed on the display unit by the display control unit includes a plurality of items, and the display Table A selection unit that accepts a selection of a predetermined item from a plurality of items of personal information that has been selected, and an image search unit that retrieves an image having personal information including the item that the selection unit has accepted the selection. The display control unit displays personal information recorded in association with the image in the image searched by the image search unit .

本発明によれば、画像を利用して、簡便に個人情報の検索を行うことができる。 According to the present invention, by utilizing the image, Ru can be easily to search for personal information.

〈第１実施形態〉
以下、図面を用いて本発明の第１実施形態について説明する。第１実施形態では、電子カメラ付き携帯電話機を用いて説明を行う。
図１は、第１実施形態の携帯電話機１の構成を示すブロック図である。
携帯電話機１は、図１に示すように、撮像部２、ユーザ操作を受け付ける操作部３、制御部４、画像処理部５、表示処理部６、情報記録部７、画像記録部８、通信部９を備えており、撮像部２、制御部４、画像処理部５、情報記録部７、画像記録部８、通信部９はバスを介して相互に接続されている。また、不図示の電源ボタン、番号ボタン、その他の選択操作などに関わる十字キーおよび決定ボタンなどを含む操作部３の状態は、制御部４により検知される。また、撮像部２、制御部４、画像処理部５、情報記録部７、画像記録部８、通信部９からの情報は、前述したバスを介して表示部６にも供給される。また、通信部９は、制御部４の指示にしたがって、通話、メールの送受信、インターネットへの接続、画像情報を含む情報の送受信などの通信を行う。 <First Embodiment>
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. In the first embodiment, a description is given using a mobile phone with an electronic camera.
FIG. 1 is a block diagram showing the configuration of the mobile phone 1 of the first embodiment.
As shown in FIG. 1, the mobile phone 1 includes an imaging unit 2, an operation unit 3 that receives user operations, a control unit 4, an image processing unit 5, a display processing unit 6, an information recording unit 7, an image recording unit 8, and a communication unit. 9, the imaging unit 2, the control unit 4, the image processing unit 5, the information recording unit 7, the image recording unit 8, and the communication unit 9 are connected to each other via a bus. In addition, the state of the operation unit 3 including a power button, a number button (not shown), a cross key related to other selection operations, a determination button, and the like is detected by the control unit 4. Information from the imaging unit 2, the control unit 4, the image processing unit 5, the information recording unit 7, the image recording unit 8, and the communication unit 9 is also supplied to the display unit 6 via the bus described above. Further, the communication unit 9 performs communication such as a call, transmission / reception of mail, connection to the Internet, transmission / reception of information including image information in accordance with an instruction of the control unit 4.

なお、撮像部２は、不図示のレンズ、被写体の明るさや撮影距離などを測定する各種センサ、撮像素子、Ａ／Ｄ変換器などを備えている。また、制御部４内の不図示のメモリには、各部の動作内容を示すプログラムが予め記録されている。また、情報記録部７は、人物ごとに、個人情報とその人物の顔部分の画像とを予め記録している（詳細は後述する）。個人情報とは、名前、電話番号、住所、メールアドレス、血液型、性別、生年月日、グループ区分、インターネットＵＲＬなどである。   The imaging unit 2 includes a lens (not shown), various sensors that measure the brightness and shooting distance of the subject, an imaging device, an A / D converter, and the like. In addition, in a memory (not shown) in the control unit 4, a program indicating the operation content of each unit is recorded in advance. The information recording unit 7 records in advance personal information and an image of the face portion of each person in advance (details will be described later). Personal information includes name, telephone number, address, mail address, blood type, gender, date of birth, group classification, Internet URL, and the like.

また、情報記録部７は、請求項の「情報記録部」に対応し、撮像部２、制御部４、通信部９は、請求項の「取得部」に対応する。また、制御部４は、請求項の「認識部」、「表示制御部」および「画像検索部」に対応し、表示部６は、請求項の「表示部」に対応する。また、画像記録部８は、請求項の「画像記録部」に対応し、制御部４、通信部９は、請求項の「通信部」に対応する。   The information recording unit 7 corresponds to an “information recording unit” in the claims, and the imaging unit 2, the control unit 4, and the communication unit 9 correspond to an “acquisition unit” in the claims. The control unit 4 corresponds to “recognition unit”, “display control unit”, and “image search unit” in claims, and the display unit 6 corresponds to “display unit” in claims. The image recording unit 8 corresponds to the “image recording unit” in the claims, and the control unit 4 and the communication unit 9 correspond to the “communication unit” in the claims.

以上説明した構成の携帯電話機１の動作について、図２のフローチャートを用いて説明する。
ステップＳ１において、制御部４は、撮像開始が指示されたか否かを判定する。撮像開始は、操作部３の不図示のレリーズボタンを介して行われる。
制御部４は、撮像開始が指示されるまで待機し、撮像開始が指示されると、ステップＳ２において、各部を介して撮像を行う。 The operation of the mobile phone 1 having the above-described configuration will be described using the flowchart of FIG.
In step S1, the control unit 4 determines whether or not an instruction to start imaging is given. Imaging is started via a release button (not shown) of the operation unit 3.
The control unit 4 stands by until an instruction to start imaging is given, and when the imaging start is instructed, imaging is performed via each unit in step S2.

ステップＳ３において、制御部４は、被写体認識を行う。制御部４は、ステップＳ２の撮像により生成した画像に対して被写体認識を行い、人物の部分を認識する。例えば、画像中に、図３に示すように３人の人物（Ａ，Ｂ，Ｃ）が存在する場合、この被写体認識により、３人の人物（Ａ，Ｂ，Ｃ）が認識される。
ステップＳ４において、制御部４は、人物認識を行う。制御部４は、ステップＳ３で認識した人物の部分に対して、人物認識を行う。ステップＳ３で説明したように、３人の人物が存在する場合、順番に（例えば、左側から）人物認識の対象とする。 In step S3, the control unit 4 performs subject recognition. The control unit 4 performs subject recognition on the image generated by the imaging in step S <b> 2 and recognizes the person portion. For example, when there are three persons (A, B, C) as shown in FIG. 3 in the image, the three persons (A, B, C) are recognized by this subject recognition.
In step S4, the control unit 4 performs person recognition. The control unit 4 performs person recognition on the person portion recognized in step S3. As described in step S <b> 3, when there are three persons, the persons are sequentially recognized (for example, from the left side).

具体的には、情報記録部７から予め記録されている人物の顔画像を読み出し、人物認識の対象である人物の画像とパターンマッチングを行う。なお、人物認識においては、パターンマッチングの他に特徴量（両眼の間の距離など）の比較など、どのような手法を用いても良い。そして、情報記録部７に予め記録されている全ての人物を比較対象として、順番に人物認識を行う。   Specifically, a face image of a person recorded in advance from the information recording unit 7 is read out, and pattern matching is performed with an image of a person who is a person recognition target. In person recognition, in addition to pattern matching, any method such as comparison of feature quantities (such as a distance between both eyes) may be used. Then, all persons recorded in advance in the information recording unit 7 are compared, and person recognition is performed in order.

ステップＳ５において、制御部４は、登録済みの人物であるか否かを判定する。制御部４は、ステップＳ４の人物認識の結果、人物認識の対象が、情報記録部７に予め記録されている人物のいずれかと一致するか否かを判定し、一致する場合（登録済みである場合）には、ステップＳ８に進み、一致しない場合（登録済みでない場合）には、ステップＳ６に進む。   In step S5, the control unit 4 determines whether or not the person is a registered person. As a result of the person recognition in step S4, the control unit 4 determines whether the person recognition target matches any of the persons recorded in advance in the information recording unit 7, and if they match (registered). In the case), the process proceeds to step S8, and if they do not match (not registered), the process proceeds to step S6.

登録済みの人物でない場合、ステップＳ６において、制御部４は、情報が入力されたか否かを判定する。制御部４は、表示部６に、登録済みの人物でない人物の顔部分の画像を拡大表示するとともに、「この人物の個人情報を入力してください。」というようなメッセージを表示し、ユーザに個人情報の入力を促す。ユーザは、操作部３を介して、名前などの個人情報を入力する。   If it is not a registered person, in step S6, the control unit 4 determines whether information has been input. The control unit 4 enlarges and displays an image of the face portion of a person who is not a registered person on the display unit 6 and displays a message such as “Please enter personal information of this person.” Prompt for personal information. The user inputs personal information such as a name via the operation unit 3.

ステップＳ７において、制御部４は、情報記録部７に、ステップＳ６で表示した人物の画像と入力された個人情報とを記録する。
ステップＳ８において、制御部４は、ステップＳ３で認識した全ての被写体に対して人物認識を行ったか否かを判定する。
全ての被写体に対して人物認識を行っていない場合、制御部４は、ステップＳ４に戻り、次の被写体を人物認識の対象として、人物認識を行う。 In step S <b> 7, the control unit 4 records the person image displayed in step S <b> 6 and the input personal information in the information recording unit 7.
In step S8, the control unit 4 determines whether person recognition has been performed for all the subjects recognized in step S3.
If person recognition has not been performed for all subjects, the control unit 4 returns to step S4 and performs person recognition with the next subject as a person recognition target.

そして、全ての被写体に対して人物認識を行うと、ステップＳ９において、制御部４は、個人情報を情報記録部７から読み出して、表示部６に表示する。
ステップＳ１０において、制御部４は、通信開始が指示されたか否かを判定する。
通信開始が指示されると、ステップＳ１１において、制御部４は、指示にしたがって通信を行う。すなわち、制御部４は、指示にしたがって、ステップＳ９で表示した電話番号に対する通話や、メールアドレスに対するメールの送信や、インターネットＵＲＬに対する接続などを行い、一連の処理を終了する。 When person recognition is performed on all subjects, the control unit 4 reads out personal information from the information recording unit 7 and displays it on the display unit 6 in step S9.
In step S10, the control unit 4 determines whether or not communication start is instructed.
When the start of communication is instructed, in step S11, the control unit 4 performs communication according to the instruction. That is, according to the instruction, the control unit 4 performs a call to the telephone number displayed in step S9, transmits a mail to the mail address, connects to the Internet URL, etc., and ends the series of processes.

なお、ステップＳ４の人物により複数の人物が人物認識された場合、複数の人物の個人情報を表示することになる。したがって、制御部４は、複数の人物の個人情報を順番に表示する。すなわち、まず、図４Ａに示すように、左側の人物の個人情報を表示し、次に中央の人物の個人情報を表示し、最後に、図４Ｂに示すように右側の人物の個人情報を表する。このとき、個人情報を表示する人物とそれ例外の人物とを異なる表示方法で表示する。図４Ａおよび図４Ｂでは、個人情報を表示する人物の顔部分を除く部分を暗転表示する例を示す。他に、個人情報を表示する人物の顔部分をハイライト表示したり、枠で囲うようにしても良い。図４Ａでは、枠ａで顔の部分を囲み、点線ｂで囲まれた部分に個人情報を表示している。また、図４Ｂでは、枠ｃで顔の部分を囲み、点線ｄで囲まれた部分に個人情報を表示している。   When a plurality of persons are recognized by the person in step S4, personal information of the plurality of persons is displayed. Therefore, the control part 4 displays the personal information of a several person in order. That is, first, the personal information of the left person is displayed as shown in FIG. 4A, then the personal information of the central person is displayed, and finally, the personal information of the right person is displayed as shown in FIG. 4B. To do. At this time, a person who displays personal information and an exceptional person are displayed by different display methods. 4A and 4B show an example in which a portion other than the face portion of a person displaying personal information is dark-displayed. In addition, the face portion of a person displaying personal information may be highlighted or surrounded by a frame. In FIG. 4A, a face part is surrounded by a frame a, and personal information is displayed in a part surrounded by a dotted line b. In FIG. 4B, the face portion is surrounded by a frame c, and personal information is displayed in the portion surrounded by a dotted line d.

また、複数の人物の個人情報を一覧に表示するようにしても良い。すなわち、図５に示すように、複数の人物の個人情報を多分割表示することにより、ユーザは、携帯電話機１をアドレス帳のように使用することができる。
また、ユーザ操作に応じて、個人情報を表示する人物を拡大表示するようにしても良い。すなわち、図６に示すように、枠ｅに顔部分の画像を拡大表示し、点線ｆで囲まれた部分に個人情報を拡大表示する。このように表示を行うことにより、特定の人物の画像および個人情報を分かり易く表示することができる。なお、図２のステップＳ６で説明した個人情報の入力の際にも、図６と同様の表示を行い、ユーザに情報の入力を促すようにすると良い。 Further, personal information of a plurality of persons may be displayed in a list. That is, as shown in FIG. 5, by displaying the personal information of a plurality of persons in multiple divisions, the user can use the mobile phone 1 like an address book.
In addition, a person who displays personal information may be enlarged and displayed in accordance with a user operation. That is, as shown in FIG. 6, the image of the face portion is enlarged and displayed in the frame e, and the personal information is enlarged and displayed in the portion surrounded by the dotted line f. By performing display in this way, it is possible to display an image and personal information of a specific person in an easy-to-understand manner. In addition, when inputting the personal information described in step S6 in FIG. 2, it is preferable to display the same as in FIG. 6 to prompt the user to input information.

さらに、図２のフローチャートでは、未登録の人物（ステップＳ３の被写体認識により認識されたが、ステップＳ４の人物認識により認識されない人物）については、ステップＳ６およびステップＳ７で個人情報の入力を促す例を示したが、登録済みの人物と未登録の人物とを異なる表示方法で表示することにより、ユーザに未登録の人物を提示するようにしても良い。例えば、図７に示すように、未登録の人物の部分を暗転表示し、それ以外の人物については、個人情報を表示するようにしても良い。図７では、左側の未登録の人物の顔部分を枠ｇで囲んで暗転表示し、未登録であることを示す文字を表示する例を示す。異なる表示方法であれば、色の違い、ハイライト表示、点滅表示などどのような表示方法を用いるようにしても良い。   Further, in the flowchart of FIG. 2, for unregistered persons (persons recognized by subject recognition in step S3 but not recognized by person recognition in step S4), an example of prompting input of personal information in steps S6 and S7 However, the registered person and the unregistered person may be displayed by different display methods to present the unregistered person to the user. For example, as shown in FIG. 7, the part of the unregistered person may be displayed in dark, and personal information may be displayed for other persons. FIG. 7 shows an example in which the face portion of the left unregistered person is surrounded by a frame g and is darkly displayed, and characters indicating unregistered are displayed. As long as the display methods are different, any display method such as a difference in color, highlight display, or blinking display may be used.

また、図２のフローチャートのステップＳ９の後に、画像を記録するステップを行うようにしても良い。このとき、制御部４は、ステップＳ２の撮像で生成した画像と、ステップＳ４で認識した人物とを関連づけて記録する。このように記録を行うことにより、画像の検索時には、人物の種類に基づいて画像の検索を行うことができる。また、その人物の個人情報を画像の検索に用いることにより、様々な検索を行うことができる。   Further, an image recording step may be performed after step S9 of the flowchart of FIG. At this time, the control unit 4 records the image generated by the imaging in step S2 in association with the person recognized in step S4. By recording in this way, when searching for an image, it is possible to search for an image based on the type of person. In addition, various searches can be performed by using the personal information of the person for the search of images.

例えば、図６に示した拡大表示の状態で、さらに枠ｈを表示し、操作部３の操作に基づいて、個人情報のいずれかを選択する。図６に示すように、例えば「グループＡ」が選択された場合、個人情報に「グループＡ」が記録されている人物の全ての画像を、容易に検索することができる。同様に、画像の並べ替えを行うこともできる。
また、スルー画像の撮像時に同様の表示を行うようにすれば、携帯電話機１を、個人情報の管理および検索用のツールとして使用することができる。なお、スルー画像の撮像時に同様の表示を行う場合には、人物の移動に合わせて、個人情報を表示する領域を移動させるのが好ましい。すなわち、人物と重複しない位置に、個人情報を表示する。 For example, in the enlarged display state shown in FIG. 6, a frame h is further displayed, and one of personal information is selected based on the operation of the operation unit 3. As shown in FIG. 6, for example, when “Group A” is selected, all images of persons whose “Group A” is recorded in the personal information can be easily searched. Similarly, the images can be rearranged.
In addition, if the same display is performed when a through image is captured, the mobile phone 1 can be used as a tool for managing and retrieving personal information. In addition, when performing the same display at the time of capturing a through image, it is preferable to move the area for displaying personal information in accordance with the movement of the person. That is, personal information is displayed at a position that does not overlap with a person.

また、図２のフローチャートのステップＳ１およびステップＳ２で説明した撮像を、画像の取得に置き換えても良い。すなわち、メールに添付された画像や、インターネット上のホームページなどからダウンロードした画像を取得した場合にも、ステップＳ３以降で説明した処理を同様に行うようにしても良い。
以上説明したように、第１実施形態によれば、人物ごとに、個人情報とその人物の人物認識に関わる情報とを記録しておき、取得した画像に対して、予め記録された人物認識に関わる情報に基づいて人物認識を行う。そして、認識の結果、取得した画像中に、予め記録された人物のいずれかを認識すると、その人物の個人情報を読み出して表示し、表示した個人情報に基づいて、通信（通話、メールの送信など）を行う。したがって、画像を利用して、簡便に個人情報を検索し、通信を行うことができる。 Further, the imaging described in step S1 and step S2 in the flowchart of FIG. 2 may be replaced with image acquisition. That is, even when an image attached to an e-mail or an image downloaded from a homepage on the Internet is acquired, the processing described in and after step S3 may be similarly performed.
As described above, according to the first embodiment, for each person, personal information and information related to the person's recognition of the person are recorded, and the acquired image is used for the person recognition recorded in advance. Person recognition is performed based on the related information. As a result of the recognition, when one of the pre-recorded persons is recognized in the acquired image, the personal information of the person is read and displayed, and communication (call, transmission of mail) is performed based on the displayed personal information. Etc.). Therefore, it is possible to simply search for personal information and perform communication using an image.

また、第１実施形態によれば、取得した画像と、認識された人物とを関連づけて記録しておく。そして、記録された画像を、その画像に関連づけて記録された人物の種類に基づいて検索可能とし、検索結果に応じて画像を読み出して表示する。したがって、顔認識技術を利用して、画像の分類および検索をさらに簡便化することができる。さらに、画像に関連づけて記録された人物の個人情報を情報記録部から読み出して表示することにより、少ない操作で、より多くの情報をユーザに対して提示することができる。   Further, according to the first embodiment, the acquired image and the recognized person are recorded in association with each other. Then, the recorded image can be searched based on the type of person recorded in association with the image, and the image is read and displayed according to the search result. Therefore, it is possible to further simplify image classification and search using face recognition technology. Furthermore, by reading out personal information of a person recorded in association with an image from the information recording unit and displaying it, more information can be presented to the user with fewer operations.

また、第１実施形態によれば、取得した画像のうち、人物の主要部分と重複しない位置に、個人情報を重ね合わせて表示する。そのため、対象人物の画像と個人情報とを同時にユーザに対して提示することができる。
また、第１実施形態によれば、人物認識により複数の人物が認識された場合、個人情報を表示する人物とそれ例外の人物とを異なる表示方法で表示する。したがって、どの人物の個人情報が表示されているのかを、分かり易くユーザに対して提示することができる。 Further, according to the first embodiment, the personal information is superimposed and displayed at a position that does not overlap with the main part of the person in the acquired image. Therefore, the image of the target person and personal information can be simultaneously presented to the user.
In addition, according to the first embodiment, when a plurality of persons are recognized by person recognition, the person displaying personal information and the exceptional person are displayed by different display methods. Therefore, it is possible to easily present to the user which person's personal information is displayed.

また、第１実施形態によれば、人物認識により複数の人物が認識された場合、個人情報を表示する人物の画像を、ユーザ操作に基づいて拡大表示する。したがって、個人情報を表示する人物の画像を、明確にユーザに対して提示することができる。
また、第１実施形態によれば、人物認識により複数の人物が認識された場合、複数の人物について、個人情報を順番にまたは一覧に表示する。したがって、複数の人物が存在する場合でも、全ての人物の個人情報を、分かり易くユーザに対して提示することができる。 According to the first embodiment, when a plurality of persons are recognized by person recognition, an image of a person displaying personal information is enlarged and displayed based on a user operation. Therefore, an image of a person displaying personal information can be clearly presented to the user.
Further, according to the first embodiment, when a plurality of persons are recognized by person recognition, personal information is displayed in order or in a list for the plurality of persons. Therefore, even when there are a plurality of persons, the personal information of all persons can be presented to the user in an easy-to-understand manner.

また、第１実施形態によれば、人物認識により複数の人物が認識された場合、複数の人物のうち、ユーザ操作に基づいて選択される少なくとも２人の人物の個人情報に基づいて通信を行う。したがって、複数の人物が存在する場合には、複数の人物を選択して、同時に通信を行うことができる。
また、第１実施形態によれば、人物認識に関わる情報に基づく人物認識を行う前に、取得した画像に対して、被写体認識を行い、被写体認識により人物と認識された部分に対して、人物認識を行う。したがって、人物認識に要する時間を短縮することができる。 According to the first embodiment, when a plurality of persons are recognized by person recognition, communication is performed based on personal information of at least two persons selected based on a user operation among the plurality of persons. . Therefore, when there are a plurality of persons, it is possible to select a plurality of persons and perform communication at the same time.
Further, according to the first embodiment, before performing person recognition based on information related to person recognition, subject recognition is performed on the acquired image, and a person recognized as a person by subject recognition is recognized as a person. Recognize. Therefore, the time required for person recognition can be shortened.

また、第１実施形態によれば、被写体認識によって人物と認識された部分のうち、人物認識により認識された人物の部分とそれ例外の部分とを異なる表示方法で表示する。したがって、個人情報を記録している人物と記録していない人物とを、分かり易くユーザに対して提示することができる。
また、第１実施形態によれば、被写体認識によって人物と認識された部分のうち、人物認識によりいずれの人物も認識されない部分について、ユーザ操作に基づいて、個人情報と人物認識に関わる情報との少なくとも一方を記録する。したがって、個人情報を記録していない人物をユーザに対して提示するとともに、その人物について、速やかに情報を記録することが可能となる。 Further, according to the first embodiment, among the parts recognized as the person by the subject recognition, the part of the person recognized by the person recognition and the exception part are displayed by different display methods. Therefore, it is possible to present to the user the person who records personal information and the person who does not record personal information in an easy-to-understand manner.
Further, according to the first embodiment, among the parts recognized as the person by the subject recognition, the part in which no person is recognized by the person recognition, the personal information and the information related to the person recognition are determined based on the user operation. Record at least one. Therefore, it is possible to present a person who has not recorded personal information to the user and to quickly record information about the person.

なお、第１実施形態では、ステップＳ３の被写体認識により認識した全ての被写体に対して、ステップＳ４で人物認識を行う例を示したが、ユーザ操作に応じて人物認識の対象を限定するようにしても良いし、人物認識の順番を指定させるようにしても良い。
また、第１実施形態では、人物認識に関わる情報として、人物の画像を記録する例を示したが、顔の特徴を示す特徴量などを記録するようにしても良い。 In the first embodiment, the example in which person recognition is performed in step S4 on all the objects recognized by the subject recognition in step S3 has been described. However, the target of person recognition is limited according to the user operation. Alternatively, the order of person recognition may be specified.
In the first embodiment, an example in which a person image is recorded as information related to person recognition has been described. However, a feature amount indicating a facial feature may be recorded.

また、個人情報の種類や、表示する個人情報の内容などは、ユーザ操作により指定可能とするのが好ましい。
〈第２実施形態〉
以下、図面を用いて本発明の第２実施形態について説明する。なお、携帯電話機の構成については第１実施形態と同様であるため図示および説明を省略し、携帯電話機１と同様の符号を用いて説明を行う。 In addition, it is preferable that the type of personal information, the content of personal information to be displayed, and the like can be specified by a user operation.
Second Embodiment
The second embodiment of the present invention will be described below with reference to the drawings. Since the configuration of the mobile phone is the same as that of the first embodiment, the illustration and description are omitted, and the description is made using the same reference numerals as those of the mobile phone 1.

第２実施形態では、通信に関わるより具体的な実施形態を説明する。
図８に、携帯電話機１の表示部６の表示例を示す。制御部４は、画像再生時に、図８に示すように、このような画像とともに、操作用アイコンｈ，ｉ，ｊを表示する。そして、操作部３を介して、電話アイコンｊが選択されると、制御部４は、図２のフローチャートと同様の処理を行う。そして、人物認識した人物の顔の部分に、図９に示すように、枠ｋ，ｌ，ｍを表示する。ユーザは、操作部３を介して３つの枠のいずれかを選択することにより、通話を行う相手を選択することができる。 In the second embodiment, a more specific embodiment related to communication will be described.
FIG. 8 shows a display example of the display unit 6 of the mobile phone 1. As shown in FIG. 8, the control unit 4 displays operation icons h, i, and j together with such an image during image reproduction. When the telephone icon j is selected via the operation unit 3, the control unit 4 performs the same processing as that in the flowchart of FIG. Then, as shown in FIG. 9, frames k, l, and m are displayed on the face portion of the person who has been recognized. The user can select the other party to call by selecting one of the three frames via the operation unit 3.

制御部４は、選択された人物の個人情報（電話番号）を情報記録部７から読み出し、枠の上部に表示する。図９は、中央の人物の枠ｌの上部に、名前と電話番号を表示する例を示す。なお、個人情報を表示する枠の色を変えるなど、個人情報を表示しない人物と異なる表示を行う。ユーザは、このような表示を目視して、通話を行う相手を確認することができる。なお、図９では、名前と電話番号を表示する例を示したが、他の個人情報を表示するようにしても良い。   The control unit 4 reads the personal information (phone number) of the selected person from the information recording unit 7 and displays it on the upper part of the frame. FIG. 9 shows an example in which a name and a telephone number are displayed on the upper part of the frame 1 of the central person. It should be noted that a display different from the person who does not display personal information is performed, such as changing the color of a frame for displaying personal information. The user can check such a display and confirm the other party who is talking. FIG. 9 shows an example in which the name and the telephone number are displayed, but other personal information may be displayed.

通話を行う相手を選択した状態で、操作部３の不図示の通話ボタンが選択されると、制御部は、表示した電話番号に発呼を開始し、通話可能状態となる。そして、通話が終了すると、制御部４は、図９に示す表示を再び行う。
なお、上述した通話を行う相手の選択を繰り返すことにより、同じ画像に存在する複数の人物を同時に選択し、同時に複数の人物に対して通話を行うことができる。 When a call button (not shown) on the operation unit 3 is selected in a state in which the other party to make a call is selected, the control unit starts calling the displayed telephone number and enters a call ready state. When the call ends, the control unit 4 performs the display shown in FIG. 9 again.
It should be noted that by repeatedly selecting the other party to make a call as described above, a plurality of persons existing in the same image can be selected at the same time, and a call can be made to a plurality of persons simultaneously.

また、図９に示す表示の状態で、全員アイコンｐが選択されると、制御部４は、全員について個人情報の表示を行う。また、図１０に示すように、人物認識した複数の人物のそれぞれについて個人情報を表示し、チェックボックスｑ，ｒ，ｓを表示して、ユーザに通話を行う相手を選択させるようにしても良い。
また、一度通話を行った後には、画像と個人情報とを関連づけて画像記録部８に記録する。このような記録を行うことにより、再度の人物認識を省くことができる。また、ある人物が対応づけられた画像が複数存在する場合には、その人物から着信した場合に、複数の画像を読み出し、表示部６にスライドショーのように表示しても良い。 In addition, when the everyone icon p is selected in the display state shown in FIG. 9, the control unit 4 displays personal information for all of them. In addition, as shown in FIG. 10, personal information may be displayed for each of a plurality of persons who have been recognized, and check boxes q, r, and s may be displayed to allow the user to select a partner to call. .
In addition, after making a call once, the image and personal information are associated and recorded in the image recording unit 8. By performing such recording, it is possible to omit the person recognition again. In addition, when there are a plurality of images associated with a certain person, a plurality of images may be read and displayed on the display unit 6 like a slide show when an incoming call is received from the person.

以上説明したように、第２実施形態によれば、人物ごとに、個人情報とその人物の人物認識に関わる情報とを記録しておき、取得した画像に対して、予め記録された人物認識に関わる情報に基づいて人物認識を行う。そして、認識の結果、取得した画像中に、予め記録された人物のいずれかを認識すると、その人物の個人情報を読み出して表示し、表示した個人情報に基づいて、通信を行う。したがって、画像を利用して、簡便に個人情報を検索し、通信を行うことができる。   As described above, according to the second embodiment, for each person, personal information and information related to the person's recognition of the person are recorded, and the acquired image can be recorded in advance. Person recognition is performed based on the related information. As a result of recognition, when one of the persons recorded in advance is recognized in the acquired image, the personal information of the person is read and displayed, and communication is performed based on the displayed personal information. Therefore, it is possible to simply search for personal information and perform communication using an image.

また、複数の人物が存在する場合には、複数の人物を選択して、同時に通話を行う（メールを送信する）ことができる。１枚の画像に集合写真のように写っている人たちは、例えば、旅行仲間などの同じ目的で行動するグループに所属している場合が多い。したがって、これらの複数の人物に対して同じ内容を報知したい場合には、電話帳に登録された電話相手を何度も探す必要が無くなる。   In addition, when there are a plurality of persons, it is possible to select a plurality of persons and make a call (send mail) at the same time. People who appear in a single image like a group photo often belong to groups that act for the same purpose, such as travel companions. Therefore, when it is desired to notify the same content to a plurality of persons, there is no need to search for the telephone partner registered in the telephone directory many times.

また、同じ人物が複数の画像に対応づけられていれば、複数の画像のいずれの画像からでも個人情報を読み出すことができるので、個人情報の検索に必要な負担を減らすことができる。
なお、人物の画像が横顔である場合には、被写体認識や人物認識を行うことが困難であるため、ユーザが手動で人物の画像を指定可能とすると良い。 Also, if the same person is associated with a plurality of images, personal information can be read from any of the plurality of images, so the burden required for searching for personal information can be reduced.
When a person image is a profile, it is difficult to perform subject recognition or person recognition, and it is preferable that the user can manually specify a person image.

また、第１実施形態および第２実施形態において、表示部６の表示部分が小さく、個人情報を表示するのが困難な場合、画像のみを表示するようにしても良い。このような場合、ユーザの指示にしたがって、その画像に対応づけられた個人情報に基づく通信を行うようにすれば良い。
また、第１実施形態および第２実施形態の発明を、コンピュータや電子手帳、ＰＤＡなどに適用しても良い。このような場合、図２に示したフローチャートの一部を各装置のＣＰＵに実行させるようにすれば良い。 In the first embodiment and the second embodiment, when the display portion of the display unit 6 is small and it is difficult to display personal information, only an image may be displayed. In such a case, the communication based on the personal information associated with the image may be performed according to the user's instruction.
The inventions of the first and second embodiments may be applied to computers, electronic notebooks, PDAs, and the like. In such a case, a part of the flowchart shown in FIG. 2 may be executed by the CPU of each device.

また、第１実施形態および第２実施形態の発明を、セキュリティの分野に応用するようにしても良い。すなわち、監視カメラや犯罪者照会用データベースに適用しても良い。
また、第１実施形態および第２実施形態の発明は、個人情報に関わる発明であるため、情報の保持および漏洩に留意する必要がある。そのため、適切なロック機能、コピー防止機能、ユーザ認証機能などを組み合わせることが好ましい。 The inventions of the first embodiment and the second embodiment may be applied to the security field. That is, it may be applied to a surveillance camera or a criminal inquiry database.
In addition, since the inventions of the first embodiment and the second embodiment are inventions related to personal information, it is necessary to pay attention to the retention and leakage of information. Therefore, it is preferable to combine an appropriate lock function, copy protection function, user authentication function, and the like.

第１実施形態の携帯電話機１の構成を示すブロック図である。It is a block diagram which shows the structure of the mobile telephone 1 of 1st Embodiment. 携帯電話機１の動作を示すフローチャートである。4 is a flowchart showing the operation of the mobile phone 1. 表示部６の表示例を示す図である。6 is a diagram illustrating a display example of the display unit 6. FIG. 表示部６の別の表示例を示す図である。11 is a diagram showing another display example of the display unit 6. FIG. 表示部６の別の表示例を示す図である。11 is a diagram showing another display example of the display unit 6. FIG. 表示部６の別の表示例を示す図である。11 is a diagram showing another display example of the display unit 6. FIG. 表示部６の別の表示例を示す図である。11 is a diagram showing another display example of the display unit 6. FIG. 表示部６の別の表示例を示す図である。11 is a diagram showing another display example of the display unit 6. FIG. 表示部６の別の表示例を示す図である。11 is a diagram showing another display example of the display unit 6. FIG. 表示部６の別の表示例を示す図である。11 is a diagram showing another display example of the display unit 6. FIG.

符号の説明Explanation of symbols

１ 携帯電話機
２ 撮像部
３ 操作部
４ 制御部
５ 画像処理部
６ 表示部
７ 情報記録部
８ 画像記録部
９ 通信部 DESCRIPTION OF SYMBOLS 1 Mobile phone 2 Imaging part 3 Operation part 4 Control part 5 Image processing part 6 Display part 7 Information recording part 8 Image recording part 9 Communication part

Claims (1)

人物ごとに、個人情報とその人物の人物認識に関わる情報とを記録する情報記録部と、
画像を取得する取得部と、
前記取得部により取得された前記画像に対して、前記情報記録部に記録された前記人物認識に関わる情報に基づいて人物認識を行う認識部と、
前記取得部により取得された前記画像を表示する表示部と、
前記認識部が、前記取得部により取得された前記画像中に、前記情報記録部に記録された人物のいずれかを認識すると、その人物の個人情報を前記情報記録部から読み出して前記表示部に表示する表示制御部と、
前記表示制御部により前記表示部に表示された前記個人情報に基づいて、通信を行う通信部と
を備え、
前記表示制御部が前記表示部に表示する前記個人情報は複数の項目を含み、
前記表示部に表示された個人情報の複数の項目の中から、所定の項目の選択を受け付ける選択部と、
前記選択部が選択を受け付けた項目を含む個人情報を有する画像を検索する画像検索部と、を更に備え、
前記表示制御部は、前記画像検索部が検索した画像中に、当該画像に関連付けて記録された個人情報を表示することを特徴とする携帯機器。 For each person, an information recording unit that records personal information and information related to person recognition of the person,
An acquisition unit for acquiring images;
A recognition unit that performs person recognition on the image acquired by the acquisition unit based on information related to the person recognition recorded in the information recording unit;
A display unit for displaying the image acquired by the acquisition unit;
When the recognizing unit recognizes one of the persons recorded in the information recording unit in the image acquired by the acquiring unit, the personal information of the person is read from the information recording unit and displayed on the display unit. A display control unit for displaying;
A communication unit that performs communication based on the personal information displayed on the display unit by the display control unit;
The personal information displayed on the display unit by the display control unit includes a plurality of items,
A selection unit that receives a selection of a predetermined item from among a plurality of items of personal information displayed on the display unit;
An image search unit for searching for an image having personal information including items for which the selection unit has accepted selection;
The display control unit displays personal information recorded in association with the image in the image searched by the image search unit .
JP2004351939A 2004-12-03 2004-12-03 Portable device Expired - Fee Related JP4552632B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004351939A JP4552632B2 (en) 2004-12-03 2004-12-03 Portable device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004351939A JP4552632B2 (en) 2004-12-03 2004-12-03 Portable device

Publications (2)

Publication Number Publication Date
JP2006165821A JP2006165821A (en) 2006-06-22
JP4552632B2 true JP4552632B2 (en) 2010-09-29

Family

ID=36667358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004351939A Expired - Fee Related JP4552632B2 (en) 2004-12-03 2004-12-03 Portable device

Country Status (1)

Country Link
JP (1) JP4552632B2 (en)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028077A (en) * 2005-07-14 2007-02-01 Noritsu Koki Co Ltd Portable terminal
JP4823135B2 (en) * 2006-05-22 2011-11-24 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 Information processing device, information processing method, information processing program, and portable terminal device
JP2008152581A (en) * 2006-12-18 2008-07-03 Digital Electronics Corp Apparatus for creating interface of facial recognition system, user interface creating program, and recording medium with it recorded thereon
JP4856585B2 (en) * 2007-06-07 2012-01-18 株式会社ユニバーサルエンターテインメント Personal identification communication system and program executed in personal identification communication system
JP5185570B2 (en) * 2007-06-07 2013-04-17 株式会社ユニバーサルエンターテインメント Personal identification communication system and program executed in personal identification communication system
KR101430522B1 (en) * 2008-06-10 2014-08-19 삼성전자주식회사 Method for using face data in mobile terminal
KR101419010B1 (en) * 2007-07-19 2014-07-15 삼성전자주식회사 Apparatus and method for providing phonebook using image in portable terminal
US8774767B2 (en) 2007-07-19 2014-07-08 Samsung Electronics Co., Ltd. Method and apparatus for providing phonebook using image in a portable terminal
KR101513616B1 (en) * 2007-07-31 2015-04-20 엘지전자 주식회사 Mobile terminal and image information managing method therefor
JP5236264B2 (en) * 2007-11-28 2013-07-17 ソフトバンクモバイル株式会社 Communication terminal, information processing method, and program
JP4775368B2 (en) 2007-12-12 2011-09-21 ブラザー工業株式会社 Image information storage device, image information processing program, and image information processing system
US8468450B2 (en) 2007-12-14 2013-06-18 Brother Kogyo Kabushiki Kaisha Output control device, computer readable medium for the same, and output control system
US8311192B2 (en) 2007-12-18 2012-11-13 Brother Kogyo Kabushiki Kaisha Communication device, communication system and computer readable medium for communication
JP4544320B2 (en) * 2008-03-13 2010-09-15 ブラザー工業株式会社 COMMUNICATION DEVICE, COMMUNICATION PROGRAM, AND COMMUNICATION SYSTEM
JP4858426B2 (en) * 2007-12-18 2012-01-18 ブラザー工業株式会社 COMMUNICATION DEVICE, COMMUNICATION PROGRAM, AND COMMUNICATION SYSTEM
JP2009159398A (en) 2007-12-27 2009-07-16 Brother Ind Ltd Image information memory device, image information processing program, and image information processing system
KR101432177B1 (en) 2008-01-21 2014-08-22 삼성전자주식회사 Portable device and method for processing the photography the same, and photography processing system having it
KR101443635B1 (en) * 2008-04-25 2014-11-03 엘지전자 주식회사 Mobile terminal and method of executing application therein
JP2010108475A (en) * 2008-10-03 2010-05-13 Sony Corp Image processing apparatus and method, program, and recording medium
KR101632747B1 (en) * 2009-09-08 2016-06-22 엘지전자 주식회사 Wireless communication device and method for transmitting image thereof
KR101615969B1 (en) * 2009-09-14 2016-04-28 엘지전자 주식회사 Mobile terminal and information providing method thereof
KR101687613B1 (en) * 2010-06-21 2016-12-20 엘지전자 주식회사 Mobile terminal and Method for generating group thereof
JP2012015657A (en) * 2010-06-29 2012-01-19 Fujitsu Ltd Communication device, communication method and communication program
JP5516549B2 (en) * 2011-11-04 2014-06-11 ブラザー工業株式会社 Information processing apparatus, information processing program, and information processing system
JP5791557B2 (en) * 2012-03-29 2015-10-07 Kddi株式会社 Contact operation support system, contact operation support device, and contact operation method
KR101978205B1 (en) * 2012-06-07 2019-05-14 엘지전자 주식회사 Mobile terminal and controlling method thereof, and recording medium thereof
KR101997444B1 (en) * 2012-11-08 2019-07-08 엘지전자 주식회사 Mobile terminal and method for controlling mobile terminal
JP6445750B2 (en) * 2013-02-25 2018-12-26 京セラ株式会社 Mobile terminal device, program, and control method for mobile terminal device
JP2014204350A (en) * 2013-04-08 2014-10-27 パナソニック株式会社 Portable terminal device
CN104901994B (en) * 2014-10-22 2018-05-25 腾讯科技（深圳）有限公司 Attribute value transfer method, the apparatus and system of user in network system
CN105120084A (en) * 2015-07-29 2015-12-02 小米科技有限责任公司 Image-based communication method and apparatus
JP7283101B2 (en) * 2019-02-12 2023-05-30 日本電気株式会社 Processing device, processing method and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092013A (en) * 2000-09-12 2002-03-29 Casio Comput Co Ltd Device and system for retrieving information, and server
JP2002232555A (en) * 2001-02-01 2002-08-16 Olympus Optical Co Ltd Phone, and retrieval method
JP2004129071A (en) * 2002-10-04 2004-04-22 Sony Corp Two-way communication system
JP2004192118A (en) * 2002-12-09 2004-07-08 Canon Inc Electronic equipment

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0855133A (en) * 1994-08-16 1996-02-27 Nippon Telegr & Teleph Corp <Ntt> Retrieving device for registered data based on image of face
US6038333A (en) * 1998-03-16 2000-03-14 Hewlett-Packard Company Person identifier and management system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092013A (en) * 2000-09-12 2002-03-29 Casio Comput Co Ltd Device and system for retrieving information, and server
JP2002232555A (en) * 2001-02-01 2002-08-16 Olympus Optical Co Ltd Phone, and retrieval method
JP2004129071A (en) * 2002-10-04 2004-04-22 Sony Corp Two-way communication system
JP2004192118A (en) * 2002-12-09 2004-07-08 Canon Inc Electronic equipment

Also Published As

Publication number Publication date
JP2006165821A (en) 2006-06-22

Similar Documents

Publication Publication Date Title
JP4552632B2 (en) Portable device
JP4720167B2 (en) Electronic camera and program
US9912870B2 (en) Method for transmitting image and image pickup apparatus applying the same
CN105117628B (en) Control method, device and the corresponding mobile device that file is shown in a kind of terminal
US9471600B2 (en) Electronic device and method for handling tags
EP2174482B1 (en) Apparatus, method and computer program product for using images in contact lists maintained in electronic devices
US8363951B2 (en) Face recognition training method and apparatus
US8224128B2 (en) Portable information terminal device
JP5522976B2 (en) How to use image information on mobile devices
JP5120777B2 (en) Electronic data editing apparatus, electronic data editing method and program
US20090280859A1 (en) Automatic tagging of photos in mobile devices
JP4998202B2 (en) Mobile communication terminal
WO2017170203A1 (en) Biological data registration support device, biological data registration support system, biological data registration support method, biological data registration support program, recording medium for storing biological data registration support program
JP2005065286A (en) Apparatus and method for managing address book in portable terminal having camera
KR20090008853A (en) Apparatus and method for providing phonebook using image in portable terminal
JP2006134008A (en) Business store system
JP2005293544A (en) Identity verification device
KR100705164B1 (en) System and method for user registration using portable device
JP2008269411A (en) Image keyword editing system, image keyword provision server and image keyword editing device
JP3982132B2 (en) Information output control method and information display device
CN112817511B (en) Text fingerprint processing method and device, electronic equipment and storage medium
JP2004146902A (en) Apparatus and program for outputting outdoor message
JP4150651B2 (en) Support information providing method, support information providing program, and information providing management system
WO2006080545A1 (en) Password managing method, device, system, recording medium, program and password table
KR20080113843A (en) Apparatus and method for user information retrieval using face detection in portable communication system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100622

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100705

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4552632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees