JP4998202B2 - Mobile communication terminal - Google Patents

Mobile communication terminal Download PDF

Info

Publication number
JP4998202B2
JP4998202B2 JP2007275399A JP2007275399A JP4998202B2 JP 4998202 B2 JP4998202 B2 JP 4998202B2 JP 2007275399 A JP2007275399 A JP 2007275399A JP 2007275399 A JP2007275399 A JP 2007275399A JP 4998202 B2 JP4998202 B2 JP 4998202B2
Authority
JP
Japan
Prior art keywords
feature point
face feature
point data
face
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007275399A
Other languages
Japanese (ja)
Other versions
JP2009105652A (en
Inventor
有紀子 勝木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2007275399A priority Critical patent/JP4998202B2/en
Publication of JP2009105652A publication Critical patent/JP2009105652A/en
Application granted granted Critical
Publication of JP4998202B2 publication Critical patent/JP4998202B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、携帯通信端末に関し、とくに、アドレス帳を有する携帯通信端末に関する。   The present invention relates to a mobile communication terminal, and more particularly to a mobile communication terminal having an address book.

近年、コンピュータにより人物の顔を認識し、誰の顔であるかを判断する顔認識技術が広く用いられるようになっている。特許文献1(特開2007−157022号公報)には、携帯電話端末を用いて、ドアの開放を制御して、人の入場を管理する入場管理システムが記載されている。当該文献には、ユーザが所持する携帯電話端末がカメラによってユーザを含む画像を撮影した画像データを生成し、生成した画像データから特徴データを生成し、生成した特徴データを記憶手段へ記憶する技術が記載されている。また、当該文献には、ドア制御装置が、携帯電話端末から出力される特徴データを含む無線データを受信し、連動カメラに撮影指示情報を送信し、連動カメラから送信される画像データを受信し、受信した画像データから特徴データを生成し、その特徴データと携帯電話端末から受信した特徴データとが一致するか否かを判定し、一致する場合にドアを開放させる技術が記載されている。   In recent years, a face recognition technique for recognizing a person's face by a computer and determining who the face is becoming widely used. Patent Document 1 (Japanese Patent Application Laid-Open No. 2007-157022) describes an entrance management system that manages the entrance of a person by controlling the opening of a door using a mobile phone terminal. In the document, a mobile phone terminal possessed by a user generates image data obtained by capturing an image including the user with a camera, generates feature data from the generated image data, and stores the generated feature data in a storage unit Is described. Further, in this document, the door control device receives wireless data including feature data output from the mobile phone terminal, transmits shooting instruction information to the interlocking camera, and receives image data transmitted from the interlocking camera. Describes a technique for generating feature data from received image data, determining whether the feature data and the feature data received from the mobile phone terminal match, and opening the door if they match.

特許文献2(特開昭63−85979号公報)には、端末を操作するオペレータの顔のイメージを撮像入力する手段と、入力されたイメージ画像から顔の特徴を抽出する手段と、予め登録されている顔の特徴情報と上記入力イメージから抽出された顔の特徴とを比較して、オペレータを個人照合する手段とを含むワークステーションが記載されている。   Patent Document 2 (Japanese Patent Laid-Open No. 63-85799) registers in advance a means for capturing and inputting an image of the face of an operator who operates the terminal, a means for extracting facial features from the input image, and A workstation is described which includes means for comparing individual facial features by comparing the facial feature information and the facial features extracted from the input image.

しかし、特許文献1および特許文献2においては、個人認証の手段として顔認識技術が用いられているだけであり、その他の機能には利用されていない。   However, in Patent Document 1 and Patent Document 2, the face recognition technique is only used as a means for personal authentication, and is not used for other functions.

ところで、近年、携帯電話端末等の携帯通信端末には、電話番号やメールアドレス等のアドレス情報を記憶するアドレス帳がついている。アドレス帳には、その携帯通信端末のユーザの知人等の名前およびアドレス情報等種々の情報が記憶されている。特許文献3(特開2002−92013号公報)には、携帯電話に発信先の顔画像データを発信先識別データと対応付けて電話帳メモリに記憶し、表示対象となる登録者氏名の50音順等で顔画像データを表示し、発信先を検索する際に顔画像データが選択されることにより対応する発信先識別データが選択されるようにした技術が記載されている。これにより、文字データを表示して発信先を選択する場合に比べて、認識しやすい顔画像データが表示され、発信先への検索が容易となるとされている。
特開2007−157022号公報 特開昭63−85979号公報 特開2002−92013号公報
Incidentally, in recent years, mobile communication terminals such as mobile phone terminals have an address book for storing address information such as telephone numbers and mail addresses. The address book stores various information such as names and address information of acquaintances of the user of the mobile communication terminal. In Patent Document 3 (Japanese Patent Laid-Open No. 2002-92013), the face image data of a destination is stored in a telephone directory memory in association with destination identification data in a mobile phone, and the syllabary of the name of the registrant to be displayed is stored. A technique is described in which face image data is displayed in order and the corresponding destination identification data is selected by selecting the face image data when searching for the destination. Thereby, compared with the case where the character data is displayed and the destination is selected, the face image data that is easy to recognize is displayed, and the search to the destination is facilitated.
JP 2007-157022 A Japanese Patent Laid-Open No. 63-85979 JP 2002-92013 A

携帯通信端末は、ユーザが常に持ち歩くものであり、携帯通信端末のアドレス帳に記憶された情報はユーザにとって有用な情報源となり得るものである。しかし、従来、アドレス帳の情報は、ユーザが電話をかけたりメールを送信したりする際に参照される程度で、それ以外に充分に活用できるようになっていなかった。   The mobile communication terminal is always carried by the user, and information stored in the address book of the mobile communication terminal can be a useful information source for the user. Conventionally, however, the address book information has only been referred to when a user makes a call or sends an e-mail, and has not been fully utilized otherwise.

たとえば、ユーザが外出先で久しぶりに知人に偶然遭遇したような場合、その知人の名前を思い出せないことがある。知人の名前を思い出せないと、スムーズな会話ができず、相手に不快感を与える等のトラブルが発生することもある。そのような場合に、その知人の情報がアドレス帳に記載されている可能性があり、アドレス帳を見れば知人の名前を思い出してスムーズな会話ができ、トラブルを回避することができるかも知れない。しかし、その人の目の前でアドレス帳の情報を順次見ていくわけにはいかず、結局知人の名前を思い出せないまま会話を続けざるを得ないことがある。特許文献3に記載の技術でも、発信先を選択する際にユーザが認識しやすいようにするために顔画像データを表示するようにしただけであり、知人の情報を見るためには、アドレス帳の情報を順次見ていく必要がある。   For example, when a user accidentally encounters an acquaintance after a long time away from home, the name of the acquaintance may not be remembered. If you do not remember the name of an acquaintance, you may not be able to have a smooth conversation and may cause troubles such as discomfort to the other party. In such a case, the information of the acquaintance may be listed in the address book, and if you look at the address book, you can remember the name of the acquaintance and have a smooth conversation and avoid trouble. . However, the information in the address book cannot be viewed sequentially in front of the person's eyes, and the conversation may be forced to continue without remembering the name of the acquaintance. In the technique described in Patent Document 3, the face image data is only displayed so that the user can easily recognize the destination when selecting the destination. It is necessary to look at the information sequentially.

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、携帯通信端末に記憶されたアドレス帳の情報をユーザが簡単に活用できるようにすることにある。   The present invention has been made in view of the above circumstances, and an object of the present invention is to enable a user to easily use information in an address book stored in a mobile communication terminal.

本発明によれば、
複数の人の名前およびアドレス情報を記憶するアドレス帳を有する携帯通信端末であって、
前記アドレス帳に記憶された各人の名前およびアドレス情報を、当該人の顔認識を行うための顔特徴点データに対応付けて記憶する記憶部と、
顔画像データを入力する顔画像データ入力部と、
前記顔画像データに基づき顔特徴点データを生成する生成部と、
前記生成部が生成した前記顔特徴点データを、前記記憶部に記憶された前記顔特徴点データと照合して、一致する顔特徴点データがあった場合、当該顔特徴点データを検出する照合部と、
前記照合部により、一致する顔特徴点データが検出された場合、当該顔特徴点データに対応付けられた前記名前および前記アドレス情報の少なくとも一部をユーザに通知する通知部と、
を含む携帯通信端末が提供される。
According to the present invention,
A mobile communication terminal having an address book for storing name and address information of a plurality of persons,
A storage unit that stores each person's name and address information stored in the address book in association with face feature point data for performing face recognition of the person;
A face image data input unit for inputting face image data;
A generating unit that generates face feature point data based on the face image data;
The face feature point data generated by the generating unit is compared with the face feature point data stored in the storage unit, and when there is matching face feature point data, the face feature point data is detected. And
A notification unit for notifying a user of at least a part of the name and the address information associated with the face feature point data when the matching unit detects matching face feature point data;
Is provided.

本発明によれば、
複数の人の名前およびアドレス情報を記憶するアドレス帳を有する携帯通信端末を制御するためのコンピュータを、
前記アドレス帳に記憶された各人の名前およびアドレス情報を、当該人の顔の顔認識を行うための顔特徴点データに対応付けて記憶する記憶手段、
顔画像データを入力する顔画像データ入力手段、
前記顔画像データに基づき顔特徴点データを生成する生成手段、
前記生成手段が生成した前記顔特徴点データを、前記記憶手段に記憶された前記顔特徴点データと照合して、一致する顔特徴点データがあった場合、当該顔特徴点データを検出する照合手段、
前記照合手段により、一致する顔特徴点データが検出された場合、当該顔特徴点データに対応付けられた前記名前および前記アドレス情報の少なくとも一部をユーザに通知する通知手段、
として機能させるプログラムが提供される。
According to the present invention,
A computer for controlling a portable communication terminal having an address book for storing names and address information of a plurality of persons;
Storage means for storing each person's name and address information stored in the address book in association with face feature point data for performing face recognition of the person's face;
Face image data input means for inputting face image data;
Generating means for generating face feature point data based on the face image data;
The face feature point data generated by the generating means is checked against the face feature point data stored in the storage means, and if there is matching face feature point data, the face feature point data is detected. means,
A notification means for notifying a user of at least part of the name and the address information associated with the face feature point data when matching face feature point data is detected by the matching means;
A program is provided that functions as:

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。   It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.

本発明によれば、携帯通信端末に記憶されたアドレス帳の情報をユーザが簡単に活用できるようにすることができる。   ADVANTAGE OF THE INVENTION According to this invention, a user can utilize easily the information of the address book memorize | stored in the mobile communication terminal.

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In all the drawings, the same reference numerals are given to the same components, and the description will be omitted as appropriate.

以下の実施の形態において、携帯通信端末が携帯電話端末である場合を例として説明する。携帯通信端末は、携帯電話端末の他、たとえばPDA(Personal Digital Assistants)やPHS(Personal Handyphone System)等とすることができる。   In the following embodiment, a case where the mobile communication terminal is a mobile phone terminal will be described as an example. The mobile communication terminal can be, for example, a PDA (Personal Digital Assistants) or a PHS (Personal Handyphone System) in addition to the mobile phone terminal.

(第1の実施の形態)
近年、携帯電話端末には、カメラが内蔵されているものも多く普及している。そのため、携帯電話端末に内蔵されたカメラを用いて、目の前にいる人の写真を撮ったりすることができるようになっている。本実施の形態において、携帯電話端末が電話帳(アドレス帳)およびカメラを有する例を説明する。
(First embodiment)
In recent years, many mobile phone terminals with a built-in camera have become widespread. Therefore, it is possible to take a picture of a person in front of the person using a camera built in the mobile phone terminal. In this embodiment, an example in which a mobile phone terminal has a phone book (address book) and a camera will be described.

本実施の形態においては、予め電話帳に記憶された各人の名前およびアドレス情報を、各人の顔特徴点データに対応付けて記憶しておく。たとえば偶然遭遇した人の名前が思い出せない等の場合に、ユーザがその人の方に携帯電話端末のカメラをかざして内蔵されたカメラで顔画像データを取得すると、携帯電話端末は、その顔画像データに基づき、顔特徴点データを生成する。次いで、携帯電話端末は、生成した顔特徴点データを予め記憶された顔特徴点データと照合することにより、対応する電話帳の名前およびアドレス情報を読み出し、その名前およびアドレス情報をディスプレイに表示したり音声で通知したりする。これにより、ユーザは、出会った人の名前等が思い出せない場合でも、その人の顔画像データを取得するだけで、その人本人に聞くことなくその人の名前等を把握することができる。   In the present embodiment, the name and address information of each person stored in advance in the telephone directory is stored in association with the face feature point data of each person. For example, when the user cannot remember the name of a person who has been accidentally encountered, if the user acquires face image data with the built-in camera while holding the camera of the mobile phone terminal toward the person, the mobile phone terminal Based on the data, face feature point data is generated. Next, the mobile phone terminal compares the generated face feature point data with the face feature point data stored in advance, thereby reading the name and address information of the corresponding phone book and displaying the name and address information on the display. Or notify by voice. As a result, even when the user cannot remember the name of the person he / she meets, the user can grasp the name of the person and the like without listening to the person himself / herself only by acquiring the face image data of the person.

図1は、本実施の形態における携帯電話端末の構成を示すブロック図である。
携帯電話端末100は、音声出力部(通知部)10、表示部(通知部)20、ROM30、作業用メモリ40、制御部50、カメラ(顔画像データ入力部)60、および操作部70を含む。ROM30は、電話帳データ部(記憶部)32を含む。作業用メモリ40は、RAMにより構成することができ、一時的に必要とされるデータを格納する。
FIG. 1 is a block diagram showing a configuration of a mobile phone terminal according to the present embodiment.
The cellular phone terminal 100 includes an audio output unit (notification unit) 10, a display unit (notification unit) 20, a ROM 30, a work memory 40, a control unit 50, a camera (face image data input unit) 60, and an operation unit 70. . The ROM 30 includes a telephone directory data part (storage part) 32. The working memory 40 can be constituted by a RAM, and stores temporarily required data.

音声出力部10は、種々の情報を音声で出力する。表示部20は、各種情報を表示する。操作部70は、ユーザからの操作を受け付ける。カメラ60は、顔画像データを入力する。ここで、顔画像データとは、人の顔にレンズを向けたときに、レンズから入ってきた光をCCD(Charged Coupled Device)等の受光素子で受け、デジタル変換したデータとすることができる。   The audio output unit 10 outputs various information as audio. The display unit 20 displays various information. The operation unit 70 receives an operation from the user. The camera 60 inputs face image data. Here, the face image data can be digitally converted data received by a light receiving element such as a CCD (Charged Coupled Device) when the lens is directed to a human face.

電話帳データ部32は、複数の人の名前およびアドレス情報を、各人の顔の顔特徴点データに対応付けて記憶する。顔特徴点データとしては、公知の種々の技術を用いることができるが、たとえば目、眉、口等の位置情報等を用いることができる。   The phone book data unit 32 stores a plurality of person names and address information in association with face feature point data of each person's face. As the face feature point data, various known techniques can be used. For example, position information of eyes, eyebrows, mouths, and the like can be used.

図2は、電話帳データ部32の内部構成であるデータテーブルを示す図である。
電話帳データ部32は、メモリ番号欄、氏名欄、電話帳データ欄、および顔特徴点データ欄とを含む。メモリ番号欄には、各電話帳データに固有に割り振られる番号が記憶される。氏名欄には、アドレス情報の対象人物の名前や名称が記憶される。電話帳データ欄には、電話番号、メールアドレス、住所等のアドレス情報が記憶される。顔特徴点データ欄には、各アドレス情報の対象人物の顔画像データに基づき生成された顔特徴点データが記憶される。なお、顔特徴点データは、電話帳データ部32のメモリ番号、氏名、電話帳データのいずれかと対応付けて記憶されていればよく、物理的に同じメモリに記憶されていなくてもよい。
FIG. 2 is a diagram illustrating a data table that is an internal configuration of the telephone directory data unit 32.
The phone book data section 32 includes a memory number column, a name column, a phone book data column, and a face feature point data column. In the memory number column, a number uniquely assigned to each phone book data is stored. The name column stores the name and name of the target person of the address information. Address information such as a telephone number, a mail address, and an address is stored in the telephone book data column. In the face feature point data column, face feature point data generated based on the face image data of the target person of each address information is stored. The face feature point data need only be stored in association with any one of the memory number, name, and phone book data in the phone book data unit 32, and may not be physically stored in the same memory.

図1に戻り、制御部50は、CPU51、顔特徴点データ生成部(生成部)52、および照合部53を含む。CPU51は、携帯電話端末100全体の制御を行う。顔特徴点データ生成部52は、カメラ60から入力した顔画像データから顔特徴点データを生成する。顔特徴点データ生成部52が生成した顔特徴点データは、作業用メモリ40に一時的に格納される。   Returning to FIG. 1, the control unit 50 includes a CPU 51, a face feature point data generation unit (generation unit) 52, and a collation unit 53. The CPU 51 controls the entire mobile phone terminal 100. The face feature point data generation unit 52 generates face feature point data from the face image data input from the camera 60. The face feature point data generated by the face feature point data generation unit 52 is temporarily stored in the work memory 40.

照合部53は、顔特徴点データ生成部52が生成した顔特徴点データを、電話帳データ部32に記憶された顔特徴点データと照合して、一致する顔特徴点データがあった場合、当該顔特徴点データを検出する。照合部53は、たとえば、顔特徴点データにおける目、眉、口等の位置情報に基づき顔の向きを推定し、顔の向きに応じて顔特徴点データの一致度合いを判断するようにすることもできる。   The collation unit 53 collates the facial feature point data generated by the facial feature point data generation unit 52 with the facial feature point data stored in the telephone directory data unit 32, and when there is matching facial feature point data, The face feature point data is detected. For example, the collation unit 53 estimates the face direction based on position information such as eyes, eyebrows, and mouth in the face feature point data, and determines the degree of matching of the face feature point data according to the face direction. You can also.

表示部20は、照合部53により、一致する顔特徴点データが検出された場合に、当該顔特徴点データに対応付けられた名前およびアドレス情報を表示する。また、音声出力部10が名前およびアドレス情報を音声で出力してもよい。ここで、名前およびアドレス情報の一部のみを通知するようにしてもよく、全部を通知するようにしてもいずれでもよい。   When the matching unit 53 detects matching face feature point data, the display unit 20 displays name and address information associated with the face feature point data. The voice output unit 10 may output the name and address information by voice. Here, only a part of the name and address information may be notified, or the whole may be notified.

図3は、本実施の形態における携帯電話端末100の処理手順を示すフローチャートである。
ユーザが目の前にいる人の顔画像データに基づき、電話帳からその人の名前やアドレス情報の検索を行いたいとき、ユーザは、操作部70を操作して、顔特徴点データ照合処理を指示する。ユーザにより、顔特徴点データ照合処理の指示があると(S100のYES)、カメラが起動される(S102)。なお、ステップS100とステップS102の処理は逆の順序で行ってもよく、カメラを起動した状態で顔特徴点データ照合処理の指示を行うようにしてもよい。たとえば、携帯電話端末100のユーザが、カメラ60を起動した状態で、対象者にカメラ60を向け、写真の撮影ではなく、顔特徴点データ照合処理用のボタンを押下するようにしてもよい。
FIG. 3 is a flowchart showing a processing procedure of the mobile phone terminal 100 according to the present embodiment.
When the user wants to search the name and address information of the person from the phone book based on the face image data of the person in front of the user, the user operates the operation unit 70 to perform face feature point data matching processing. Instruct. When the user gives an instruction for face feature point data collation processing (YES in S100), the camera is activated (S102). Note that the processes in steps S100 and S102 may be performed in the reverse order, and the facial feature point data collation process may be instructed while the camera is activated. For example, the user of the mobile phone terminal 100 may point the camera 60 at the target person with the camera 60 activated, and press the button for face feature point data matching processing instead of taking a picture.

カメラ60が顔画像データを入力すると、顔特徴点データ生成部52は、顔画像データに基づき、顔特徴点データを生成する(S104)。顔画像の認識が行えない場合は、エラー通知を行ったり、認識が行える場合は処理中である通知を行ったりすることができる。顔特徴点データ生成部52が生成した顔特徴点データは、作業用メモリ40に格納される。   When the camera 60 inputs face image data, the face feature point data generation unit 52 generates face feature point data based on the face image data (S104). If the face image cannot be recognized, an error notification can be performed. If the face image can be recognized, a notification indicating that processing is in progress can be performed. The face feature point data generated by the face feature point data generation unit 52 is stored in the work memory 40.

照合部53は、作業用メモリ40に格納された対象者の顔特徴点データを、電話帳データ部32に記憶された顔特徴点データと照合する(S106)。一致する顔特徴点データがあった場合(S108のYES)、照合部53は、一致した顔特徴点データに対応付けられた登録者の氏名や電話帳データ等の情報を読み出す。表示部20または音声出力部10は、照合部53が読み出した情報をユーザに通知する(S110)。たとえば、携帯電話端末100にイヤホンが接続されている場合には、音声での通知も行うようにすることができる。   The collation unit 53 collates the facial feature point data of the subject stored in the work memory 40 with the facial feature point data stored in the telephone directory data unit 32 (S106). If there is matching face feature point data (YES in S108), the collation unit 53 reads information such as the name of the registrant and telephone book data associated with the matched face feature point data. The display unit 20 or the audio output unit 10 notifies the user of the information read by the collation unit 53 (S110). For example, when an earphone is connected to the mobile phone terminal 100, a voice notification can also be performed.

図4は、表示部20に表示される情報の一例を示す図である。
たとえば、図3のステップS104で生成された顔特徴点データが、図2を参照して説明した電話帳データ部32に記憶されたメモリ番号「001」の顔特徴点データ「データ001」と一致したとする。この場合、照合部53は、電話帳データ部32から、一致した顔特徴点データ「データ001」に対応付けられた氏名「鈴木一郎」および電話帳データの電話番号「XXX−YYYY−1111」、メールアドレス「11@x.mail.com」等を読み出す。表示部20は、これらの情報を表示する。
FIG. 4 is a diagram illustrating an example of information displayed on the display unit 20.
For example, the face feature point data generated in step S104 of FIG. 3 matches the face feature point data “data 001” of the memory number “001” stored in the telephone directory data section 32 described with reference to FIG. Suppose that In this case, the collation unit 53 receives from the phone book data unit 32 the name “Ichiro Suzuki” associated with the matched face feature point data “data 001” and the phone number “XXX-YYYY-1111” of the phone book data, The mail address “11@x.mail.com” and the like are read out. The display unit 20 displays these pieces of information.

一方、図3のステップS108で、一致する顔特徴点データがない場合(S108のNO)、照合部53は、音声出力部10または表示部20を介して一致する顔特徴点データがないことをユーザに通知するとともに、当該対象者のデータを電話帳データ部32に登録するか否かを問い合わせる(S112)。ユーザから登録の指示があると(S112のYES)、電話帳への登録を行う(S114)。このように、新たな顔特徴点データを電話帳データ部32に登録することにより、次回からの検索をより行いやすくすることができる。一方、ステップS112において、ユーザからの登録の指示がない場合(S112のNO)、そのまま処理を終了する。   On the other hand, if there is no matching facial feature point data in step S108 of FIG. 3 (NO in S108), the collation unit 53 determines that there is no matching facial feature point data via the audio output unit 10 or the display unit 20. In addition to notifying the user, an inquiry is made as to whether or not to register the data of the target person in the telephone directory data section 32 (S112). If there is a registration instruction from the user (YES in S112), registration in the telephone directory is performed (S114). Thus, by registering new face feature point data in the telephone directory data part 32, it is possible to make the search from the next time easier. On the other hand, if there is no registration instruction from the user in step S112 (NO in S112), the process is terminated as it is.

以上のように、本実施の形態の携帯電話端末によれば、携帯通信端末に基本的に備わっている電話帳(アドレス帳)の名前およびアドレス情報と、各人の顔の顔特徴点データとを対応付けて記憶しておくだけで、ユーザが電話帳の情報を簡単に活用できるようにすることができる。   As described above, according to the mobile phone terminal of the present embodiment, the name and address information of the phone book (address book) basically provided in the mobile communication terminal, the facial feature point data of each person's face, It is possible to make it possible for the user to easily use the information in the phone book simply by storing the information in association with each other.

電話帳の情報として、人の顔画像データも記憶するという機能は、たとえば特許文献3にも記載されたように、近年の多くの携帯電話端末に搭載されている。しかし、従来、顔画像データに基づき生成した顔特徴点データを検索キーとして電話帳を検索して名前等がわからない人を探し出すという機能は搭載されていなかった。本実施の形態における携帯電話端末100によれば、たとえば、ユーザが外出先等で久しぶりに知人に偶然遭遇してその知人の名前を思い出せないときでも、簡単な操作で、リアルタイムにその人の名前やアドレス情報を通知するようにすることができる。すなわち、ユーザが携帯電話端末100の内蔵されたカメラを用いてその人の顔画像データを取得するだけで、顔特徴点データをキーとして、電話帳から該当する人の名前およびアドレス情報を検索することができるので、容易に相手の名前等を把握することができる。これにより、ユーザが知人の名前を思い出せない場合のトラブルを回避することが可能となる。また、認知症等、記憶力が低下して顔が覚えられない病気等の場合でも、人の名前を把握できるようにすることができる。   The function of storing human face image data as telephone directory information is installed in many mobile phone terminals in recent years, as described in Patent Document 3, for example. However, conventionally, there has been no function for searching for a person whose name or the like is not found by searching the phone book using face feature point data generated based on face image data as a search key. According to the mobile phone terminal 100 in the present embodiment, for example, even when a user accidentally encounters an acquaintance after a long time away from home or the like and cannot remember the name of the acquaintance, the name of the person can be obtained in real time with a simple operation. And address information can be notified. That is, the user simply acquires the person's face image data using the camera built in the mobile phone terminal 100, and searches for the corresponding person's name and address information from the phone book using the face feature point data as a key. Since it is possible, the name of the other party can be easily grasped. Thereby, it becomes possible to avoid the trouble when the user cannot remember the name of the acquaintance. Further, even in the case of a disease such as dementia in which memory ability is reduced and the face cannot be remembered, the name of the person can be grasped.

このように、本実施の形態における携帯電話端末100によれば、従来は自分で記憶する、またはメモしておく等の手段しかなかった人の顔を覚えるという部分を、普段持ち歩いている携帯電話端末のような携帯通信端末を用いて簡単に行えるようにすることができる。また、認知症等、記憶力が低下する等の症状がある人の介護機能としても有用に用いることができる。   As described above, according to the mobile phone terminal 100 in the present embodiment, the mobile phone that is usually carried around is the part of memorizing the face of a person that has conventionally only been memorized or memorized. This can be easily performed using a mobile communication terminal such as a terminal. Moreover, it can be usefully used as a care function for a person with symptoms such as dementia and decreased memory ability.

さらに、本実施の形態における携帯電話端末100によれば、顔画像データそのものを電話帳に登録するのではなく、顔画像データに基づき生成される顔特徴点データを登録するので、肖像権の問題になるような写真データを保持する必要もない。   Furthermore, according to the mobile phone terminal 100 in the present embodiment, the facial feature point data generated based on the facial image data is registered instead of registering the facial image data itself in the telephone directory. There is no need to hold such photographic data.

また、本実施の形態における携帯電話端末100によれば、顔特徴点データのみを保存すればよいため、顔画像データよりもデータ量を少なくすることができ、保存容量の小さい携帯電話端末においても、多数の人の顔特徴点データを保存するようにすることができる。これにより、人物を検索するためのデータをサーバ等に保存しておく必要がなく、検索時にネットワークを介してサーバ等にアクセスする必要もなく、通信料が余計にかかるということもない。ただし、本発明において、従来の電話帳にある顔画像データを登録するという機能を排除するものではない。   Further, according to the mobile phone terminal 100 in the present embodiment, only the face feature point data needs to be stored, so the amount of data can be reduced compared to the face image data, and even in a mobile phone terminal with a small storage capacity. The facial feature point data of a large number of people can be stored. As a result, it is not necessary to store data for searching for a person in a server or the like, and it is not necessary to access the server or the like via a network at the time of search, and there is no extra communication fee. However, in the present invention, the function of registering face image data in the conventional telephone directory is not excluded.

さらに、顔画像データを取得するのではなく、顔特徴点データを取得するだけでよいため、写真をとる必要もない。そのため、写真をとるとシャッター音がなるような携帯通信端末を用いている場合でも、シャッター音をならすことなく相手の検索を行うことができる。   Furthermore, since it is only necessary to acquire face feature point data instead of acquiring face image data, it is not necessary to take a photograph. Therefore, even when using a mobile communication terminal that produces a shutter sound when taking a picture, it is possible to search for a partner without making a shutter sound.

(第2の実施の形態)
近年、携帯電話端末には、赤外線やブルートゥース等の近距離通信機能を有するものもある。そのため、携帯電話端末にカメラが内蔵されていなくても、他のカメラで撮影した写真を近距離通信により携帯電話端末にその場で転送することも可能である。
(Second Embodiment)
In recent years, some mobile phone terminals have short-range communication functions such as infrared rays and Bluetooth. Therefore, even if a camera is not built in the mobile phone terminal, it is possible to transfer a photograph taken by another camera to the mobile phone terminal on the spot by short-range communication.

本実施の形態においては、顔画像データを携帯電話端末に内蔵されたカメラではなく外部のカメラで取得して、近距離通信等により顔画像データを取得する点で第1の実施の形態と異なる。携帯電話端末に内蔵されたカメラを用いて相手の顔画像データを取得する場合、相手に携帯電話端末を向ける必要がある。そのため、相手が不快に思ったり不審に感じたりする可能性がある。本実施の形態においては、たとえばめがね等にカメラを内蔵しておき、そのカメラで取得した相手の顔画像データを携帯電話端末に近距離通信等で転送して、携帯電話端末において顔特徴点データ照合処理を行うようにする。これにより、自然な状態で相手の名前やアドレス情報を把握することができる。   The present embodiment is different from the first embodiment in that the face image data is acquired by an external camera instead of the camera built in the mobile phone terminal, and the face image data is acquired by short-range communication or the like. . When acquiring the face image data of the other party using a camera built in the mobile phone terminal, it is necessary to point the mobile phone terminal at the other party. Therefore, the other party may feel uncomfortable or suspicious. In this embodiment, for example, a camera is built in glasses, and the face image data of the other party acquired by the camera is transferred to the mobile phone terminal by short-range communication, etc. Perform the verification process. Thereby, the name and address information of the other party can be grasped in a natural state.

図5は、本実施の形態における携帯電話端末100およびカメラ200の構成を示すブロック図である。
本実施の形態において、携帯電話端末100は、図1を参照して説明したカメラ60を有していてもよく、有していなくてもよい。以下ではカメラ60を有さない構成を例として示す。携帯電話端末100は、カメラ60を有さず、通信部80を有するという点で図1に示した例と異なるが、それ以外は同じ構成を有する。カメラ200も通信部210を有する。通信部210と通信部80とは、たとえば赤外線やブルートゥース等の近距離通信、または有線通信によりデータの送受信を行う。
FIG. 5 is a block diagram showing the configuration of mobile phone terminal 100 and camera 200 in the present embodiment.
In the present embodiment, the mobile phone terminal 100 may or may not have the camera 60 described with reference to FIG. Hereinafter, a configuration without the camera 60 is shown as an example. The cellular phone terminal 100 is different from the example shown in FIG. 1 in that it does not have the camera 60 but has the communication unit 80, but the other configuration is the same. The camera 200 also has a communication unit 210. The communication unit 210 and the communication unit 80 perform data transmission / reception by short-range communication such as infrared rays and Bluetooth, or wired communication.

なお、携帯電話端末100は、図1に示した構成と同様に、カメラ60を有していてもよい。この場合、携帯電話端末100は、内蔵されたカメラ60から入力される顔画像データとカメラ200から入力される顔画像データのいずれを用いるかを選択する選択部を有する構成とすることができる。このようにしておけば、状況に応じて、携帯電話端末100に内蔵されたカメラ60と外部のカメラ200のいずれから入力される画像データを用いるかを設定することができ、より自然に照合処理を行うことができる。   The mobile phone terminal 100 may have a camera 60 as in the configuration shown in FIG. In this case, the mobile phone terminal 100 can be configured to include a selection unit that selects which of the face image data input from the built-in camera 60 and the face image data input from the camera 200 is used. In this way, depending on the situation, it is possible to set which of the camera 60 built in the mobile phone terminal 100 or the image data input from the external camera 200 is used, and more naturally the collation process It can be performed.

本実施の形態においても、第1の実施の形態と同様の効果が得られる。   Also in this embodiment, the same effect as that of the first embodiment can be obtained.

(第3の実施の形態)
本実施の形態において、照合部53が照合したアドレス情報をそのままユーザに通知するのではなく、検出されたアドレス情報をクイズ形式のようにしてユーザに通知する点で第1の実施の形態および第2の実施の形態と異なる。
(Third embodiment)
In the present embodiment, instead of notifying the user of the address information collated by the collation unit 53 as it is, the detected address information is notified to the user in the form of a quiz. This is different from the second embodiment.

本実施の形態において、電話帳データ部32には、図2を参照して説明した情報に加えて、メモ等を記憶するようにすることができる。図6は、本実施の形態における電話帳データ部の内部構成であるデータテーブルを示す図である。電話帳データ部32は、図2に示した構成に加えて、メモ欄をさらに含む。   In the present embodiment, the telephone directory data unit 32 can store a memo or the like in addition to the information described with reference to FIG. FIG. 6 is a diagram showing a data table that is an internal configuration of the telephone directory data section in the present embodiment. The phone book data part 32 further includes a memo field in addition to the configuration shown in FIG.

本実施の形態において、第1の実施の形態において図3を参照して説明したステップS108までは、第1の実施の形態と同様の処理が行われる。ステップS108において、一致する顔特徴点データがあった場合(S108のYES)、照合部53は、一致した顔特徴点データに対応付けられた登録者の氏名や電話帳データ、ならびにメモ等の情報を読み出す。表示部20または音声出力部10は、照合部53が読み出した情報をそのままユーザに通知するのではなく、たとえばメモ欄の情報のみ、住所のみ等、予め設定された一部の情報のみをユーザに通知する。   In the present embodiment, processes similar to those in the first embodiment are performed up to step S108 described with reference to FIG. 3 in the first embodiment. If there is matching face feature point data in step S108 (YES in S108), the collation unit 53 provides information such as the name of the registrant, the phone book data, and notes associated with the matched face feature point data. Is read. The display unit 20 or the voice output unit 10 does not notify the user of the information read out by the collation unit 53 as it is, but only the preset information such as only the information in the memo column, only the address, etc. to the user. Notice.

ユーザへの通知は、たとえば携帯電話端末100にインストールされたゲームのようなアプリケーションを利用して、クイズ形式で行うようにしてもよい。これにより、ユーザにゲーム感覚で人の名前等を思い出させるようにすることができ、脳のトレーニングに用いることもできる。図7は、本実施の形態において表示部20に表示される情報の一例を示す図である。ここでは、電話帳データ部32のメモ欄の情報のみが表示され、それとともに「詳細」ボタン22が表示される。ユーザが「詳細」ボタン22を選択すると、図4に示したのと同様に、電話帳データ部32の氏名、および電話帳データの電話番号、メールアドレス等が表示される。   The notification to the user may be performed in a quiz format using an application such as a game installed in the mobile phone terminal 100, for example. As a result, the user can be reminded of a person's name and the like in a game sense, and can also be used for brain training. FIG. 7 is a diagram illustrating an example of information displayed on the display unit 20 in the present embodiment. Here, only the information in the memo column of the telephone directory data portion 32 is displayed, and a “detail” button 22 is displayed along with it. When the user selects the “details” button 22, the name of the phone book data section 32, the phone number of the phone book data, the mail address, and the like are displayed as shown in FIG. 4.

本実施の形態においても、第1の実施の形態と第2の実施の形態と同様の効果が得られる。さらに、ユーザが脳のトレーニングを行うようにすることもできる。   Also in this embodiment, the same effect as the first embodiment and the second embodiment can be obtained. Further, the user can perform brain training.

なお、図1および図5において、本発明の本質に関わらない部分の構成については省略してある。図1に示した携帯電話端末100の各構成要素は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。携帯電話端末100の各構成要素は、任意のコンピュータのCPU、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。   In FIG. 1 and FIG. 5, the configuration of parts not related to the essence of the present invention is omitted. Each component of the mobile phone terminal 100 shown in FIG. 1 is not a hardware unit configuration but a functional unit block. Each component of the cellular phone terminal 100 is centered on an arbitrary computer CPU, memory, a program that realizes the components shown in the figure loaded in the memory, a storage unit such as a hard disk for storing the program, and a network connection interface. It is realized by any combination of hardware and software. It will be understood by those skilled in the art that there are various modifications to the implementation method and apparatus.

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。   As mentioned above, although embodiment of this invention was described with reference to drawings, these are the illustrations of this invention, Various structures other than the above are also employable.

たとえば、顔特徴点データを電話帳データ部32に登録しておくことにより、顔認識技術を用いて携帯電話端末100内に保存された写真に写っている人の照合を行い、写真データの整理を行う機能に活用することもできる。たとえば、携帯電話端末100内に保存された写真データに基づき、顔特徴点データを生成し、その顔特徴点データを、電話帳データ部32に登録された顔特徴点データと照合して、一致する顔特徴点データがあった場合、当該顔特徴点データに対応付けられた名前等の情報に基づき、写真データのファイル名をリネームしたり、各人毎にフォルダを生成して振り分ける等の処理を行うことができる。   For example, by registering face feature point data in the phone book data section 32, face recognition technology is used to collate people in photos stored in the mobile phone terminal 100, and organize the photo data. It can also be used for the function to perform. For example, face feature point data is generated based on the photo data stored in the mobile phone terminal 100, and the face feature point data is compared with the face feature point data registered in the phone book data unit 32 to match. If there is face feature point data to be processed, processing such as renaming the file name of the photo data based on information such as the name associated with the face feature point data, creating a folder for each person, and distributing them It can be performed.

本発明の実施の形態における携帯電話端末の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the mobile telephone terminal in embodiment of this invention. 電話帳データ部の内部構成であるデータテーブルの一例を示す図である。It is a figure which shows an example of the data table which is an internal structure of a telephone directory data part. 本発明の実施の形態における携帯電話端末の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the mobile telephone terminal in embodiment of this invention. 表示部に表示される情報の一例を示す図である。It is a figure which shows an example of the information displayed on a display part. 本発明の実施の形態における携帯電話端末の構成の他の例を示すブロック図である。It is a block diagram which shows the other example of a structure of the mobile telephone terminal in embodiment of this invention. 電話帳データ部の内部構成であるデータテーブルの他の例を示す図である。It is a figure which shows the other example of the data table which is an internal structure of a telephone directory data part. 表示部に表示される情報の他の例を示す図である。It is a figure which shows the other example of the information displayed on a display part.

符号の説明Explanation of symbols

10 音声出力部
20 表示部
22 詳細ボタン
32 電話帳データ部
40 作業用メモリ
50 制御部
52 顔特徴点データ生成部
53 照合部
60 カメラ
70 操作部
80 通信部
100 携帯電話端末
200 カメラ
210 通信部
DESCRIPTION OF SYMBOLS 10 Audio | voice output part 20 Display part 22 Detailed button 32 Telephone directory data part 40 Work memory 50 Control part 52 Face feature point data generation part 53 Collation part 60 Camera 70 Operation part 80 Communication part 100 Cellular phone terminal 200 Camera 210 Communication part

Claims (5)

複数の人の名前およびアドレス情報を記憶するアドレス帳を有する携帯通信端末であって、
前記アドレス帳に記憶された各人の名前アドレス情報、および、前記各人の名前、電話番号、電子メールアドレスと異なる情報であって、前記各人に関連する情報であるメモ情報を、当該人の顔認識を行うための顔特徴点データに対応付けて記憶する記憶部と、
顔画像データを入力する顔画像データ入力部と、
前記顔画像データに基づき顔特徴点データを生成する生成部と、
前記生成部が生成した前記顔特徴点データを、前記記憶部に記憶された前記顔特徴点データと照合して、一致する顔特徴点データがあった場合、当該顔特徴点データを検出する照合部と、
前記照合部により、一致する顔特徴点データが検出された場合、当該顔特徴点データに対応付けられた前記メモ情報をユーザに通知し、その後、ユーザからの指示に応じて、当該顔特徴点データに対応付けられた前記名前および前記アドレス情報の少なくとも一部をユーザに通知する通知部と、
を含む携帯通信端末。
A mobile communication terminal having an address book for storing name and address information of a plurality of persons,
Each person's name , address information stored in the address book , and each person's name, phone number, and e-mail address, and different memo information , which is information related to the person, A storage unit for storing in association with face feature point data for performing human face recognition;
A face image data input unit for inputting face image data;
A generating unit that generates face feature point data based on the face image data;
The face feature point data generated by the generating unit is compared with the face feature point data stored in the storage unit, and when there is matching face feature point data, the face feature point data is detected. And
When matching face feature point data is detected by the matching unit, the memo information associated with the face feature point data is notified to the user, and then the face feature point is received in accordance with an instruction from the user. A notification unit for notifying a user of at least a part of the name and the address information associated with data;
Including mobile communication terminals.
請求項1に記載の携帯通信端末において、The mobile communication terminal according to claim 1,
前記メモ情報の中には、前記携帯通信端末のユーザと、前記複数の人各々との関係を示す情報が含まれる携帯通信端末。  A mobile communication terminal in which the memo information includes information indicating a relationship between a user of the mobile communication terminal and each of the plurality of persons.
請求項1または2に記載の携帯通信端末において、
前記顔画像データ入力部は内蔵されたカメラであって、前記顔画像データは当該カメラから入力される携帯通信端末。
The mobile communication terminal according to claim 1 or 2,
The face image data input unit is a built-in camera, and the face image data is input from the camera.
請求項1または2に記載の携帯通信端末において、
前記顔画像データ入力部は、外部のカメラから入力された前記顔画像データを近距離無線通信または有線通信により入力する携帯通信端末。
The mobile communication terminal according to claim 1 or 2,
The face image data input unit is a mobile communication terminal that inputs the face image data input from an external camera by short-range wireless communication or wired communication.
複数の人の名前およびアドレス情報を記憶するアドレス帳を有する携帯通信端末を制御するためのコンピュータを、
前記アドレス帳に記憶された各人の名前アドレス情報、および、前記各人の名前、電話番号、電子メールアドレスと異なる情報であって、前記各人に関連する情報であるメモ情報を、当該人の顔認識を行うための顔特徴点データに対応付けて記憶する記憶手段、
顔画像データを入力する顔画像データ入力手段、
前記顔画像データに基づき顔特徴点データを生成する生成手段、
前記生成手段が生成した前記顔特徴点データを、前記記憶手段に記憶された前記顔特徴点データと照合して、一致する顔特徴点データがあった場合、当該顔特徴点データを検出する照合手段、
前記照合手段により、一致する顔特徴点データが検出された場合、当該顔特徴点データに対応付けられた前記メモ情報をユーザに通知し、その後、ユーザからの指示に応じて、当該顔特徴点データに対応付けられた前記名前および前記アドレス情報の少なくとも一部をユーザに通知する通知手段、
として機能させるプログラム。
A computer for controlling a portable communication terminal having an address book for storing names and address information of a plurality of persons;
Each person's name , address information stored in the address book , and each person's name, phone number, and e-mail address, and different memo information , which is information related to the person, Storage means for storing in association with face feature point data for performing human face recognition;
Face image data input means for inputting face image data;
Generating means for generating face feature point data based on the face image data;
The face feature point data generated by the generating means is checked against the face feature point data stored in the storage means, and if there is matching face feature point data, the face feature point data is detected. means,
When matching face feature point data is detected by the matching unit, the memo information associated with the face feature point data is notified to the user, and then the face feature point is received in accordance with an instruction from the user. Notification means for notifying a user of at least a part of the name and the address information associated with data
Program to function as.
JP2007275399A 2007-10-23 2007-10-23 Mobile communication terminal Expired - Fee Related JP4998202B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007275399A JP4998202B2 (en) 2007-10-23 2007-10-23 Mobile communication terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007275399A JP4998202B2 (en) 2007-10-23 2007-10-23 Mobile communication terminal

Publications (2)

Publication Number Publication Date
JP2009105652A JP2009105652A (en) 2009-05-14
JP4998202B2 true JP4998202B2 (en) 2012-08-15

Family

ID=40706928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007275399A Expired - Fee Related JP4998202B2 (en) 2007-10-23 2007-10-23 Mobile communication terminal

Country Status (1)

Country Link
JP (1) JP4998202B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636734A (en) * 2015-02-28 2015-05-20 深圳市中兴移动通信有限公司 Terminal face recognition method and device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012195812A (en) * 2011-03-17 2012-10-11 Nec Saitama Ltd Face detection device, face detection method, and program
JP2014022921A (en) * 2012-07-18 2014-02-03 Nikon Corp Electronic apparatus and program
KR101385195B1 (en) 2012-07-31 2014-04-29 한국과학기술원 Method for displaying information for user terminal and control equipment for the same
CN107832682B (en) * 2017-10-24 2020-04-28 Oppo广东移动通信有限公司 Information display method and device and terminal

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152696A (en) * 2000-11-10 2002-05-24 Hitachi Ltd Portable terminal
JP2004201191A (en) * 2002-12-20 2004-07-15 Nec Corp Image processing and transmitting system, cellular phone, and method and program for image processing and transmission
JP2006128886A (en) * 2004-10-27 2006-05-18 Kyocera Corp Portable terminal device, and management method for its information
JP4720167B2 (en) * 2004-12-03 2011-07-13 株式会社ニコン Electronic camera and program
JP2007028077A (en) * 2005-07-14 2007-02-01 Noritsu Koki Co Ltd Portable terminal

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636734A (en) * 2015-02-28 2015-05-20 深圳市中兴移动通信有限公司 Terminal face recognition method and device

Also Published As

Publication number Publication date
JP2009105652A (en) 2009-05-14

Similar Documents

Publication Publication Date Title
JP4552632B2 (en) Portable device
JP4720167B2 (en) Electronic camera and program
TWI364977B (en) Server apparatus, server control program, and server-client system
JP5522976B2 (en) How to use image information on mobile devices
JP5120777B2 (en) Electronic data editing apparatus, electronic data editing method and program
EP1496417A1 (en) Information device
WO2009138135A1 (en) Automatic tagging of photos in mobile devices
WO2012177192A1 (en) Electronic device and method for handling tags
JP4998202B2 (en) Mobile communication terminal
JP2005293544A (en) Identity verification device
JP4555237B2 (en) Button telephone equipment
KR101584685B1 (en) A memory aid method using audio-visual data
JP4469867B2 (en) Apparatus, method and program for managing communication status
KR100705164B1 (en) System and method for user registration using portable device
JP4617482B2 (en) Designated message transfer intercom system and intercom device
JP5500639B2 (en) Terminal device, authentication system, and program
JP2006113953A (en) System, apparatus and program for setting management of information terminal, and setting method of information terminal
JP2005063342A (en) Card user verification system, card user verification method, and program of the same
JP2007037088A (en) Intercom device
JP4690289B2 (en) Mobile terminal with image calling function, image calling method and image calling processing program by image
JP2006178558A (en) Image distribution device
JP5565057B2 (en) Portable information terminal, image registration method, and image classification and arrangement method
JP2012089974A (en) Telephone directory retrieval device, telephone directory retrieval method, and telephone directory retrieval program
JP2007096833A (en) Intercom system
JP2006005537A (en) Portable terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120417

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120430

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150525

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees