「イメージ」とは、携帯端末機にカメラによって入力されたイメージ、あるいは、外部端末機又はインターネットを介してダウンロードし格納されたイメージを意味し、「顔領域」とは、イメージ中、ユーザの顔だけが含まれる領域を意味する。
「画像情報」とは、イメージから顔認識アルゴリズムによって顔領域のみを認識し、認識された顔領域から目、鼻、口のような特徴を抽出し格納された情報を意味する。
「ユーザ情報」とは、携帯端末機に格納されるユーザに関する情報を意味する。ここで、ユーザ情報には、名前、電話番号、メールアドレス、誕生日、住所、イメージ等に関する情報が含まれる。
「コーラーID(Caller ID)」とは、携帯端末機で相手の携帯端末機と通信機能を実行するために電話番号等をダイヤルする画面や、相手の携帯端末機から通信機能実行要請(例えば、呼受信等)を受ける時に表示される画面を意味する。
以下、本発明の好ましい実施形態を添付図面を参照しながら詳細に説明する。
図1は、本発明に係る携帯端末機の概略的構成を示すブロック図である。
図1によると、携帯端末機は、格納部110、表示部120、無線通信部130、入力部140、制御部150及びカメラ部160を含む。
格納部110は、携帯端末機の一般的動作を制御するための各種プログラムや携帯端末機の動作中に発生する各種情報を格納する。特に、格納部110は、制御部150の制御の下、イメージ、電話番号、名前等に該当する情報を含むユーザ情報や、イメージから認識された顔領域に該当する顔認識情報を格納する。また、イメージに該当するファイル名が設定される時、又はイメージのファイル名が再設定される時、格納部110は、制御部150の制御の下、イメージに該当するファイル名をタグ情報に含めて格納することができる。
ここで、イメージは、カメラによって入力され格納されたイメージや、外部端末機から伝送されたイメージ、インターネット等を介してダウンロードされたイメージ等を含むことができる。顔認識情報は、顔領域の目、鼻、口のような特徴に該当する画像情報や全体のイメージから認識された顔領域の位置、サイズ、認識された顔領域の画面サイズ別比率に関する情報等を含むことができる。また、顔認識情報は、イメージから認識される顔領域にリンクされるユーザ情報に関するリンク情報を含むことができる。リンク情報は、イメージ別顔領域にリンクされたユーザ情報が格納された位置を表す情報を意味する。
表示部120は、携帯端末機の状態及び動作に関する各種情報を表示する。ここで、表示部120は、制御部150の制御の下、顔認識機能を実行する時、選択されたイメージから認識される顔領域をユーザが確認できるように表示することができる。この時、顔領域を表示する方法は、認識された顔領域をフレームで表示するか、図形等を用いて表示することができる。本発明では、認識された顔領域が四角形のフレームで表示されると仮定する。また、表示部120は、制御部150の制御の下、認識された顔領域にリンクされたユーザ情報を表示することができる。ここで、表示されるユーザ情報は名前であると仮定する。
無線通信部130は、携帯端末機と基地局との通信機能を行う。無線通信部130は、送受信機能を分離するデュープレクサと、送信信号の周波数を上昇変換する送信部と、受信信号の周波数を下降変換する受信部と、から構成することができる。ここで、無線通信部130は、制御部150の制御の下、イメージから顔領域にリンクされたユーザ情報が選択されると、選択されたユーザ情報を用いて音声通話、画像通話、又はメールの送受信を行なうことができる。また、図示しないが、デジタル放送受信部をさらに備え、デジタル放送データを受信することができる。
入力部140は、ユーザが入力した数字及び文字情報、各種機能の設定、及び携帯端末機の機能制御に関連して入力される信号を制御部150へ伝達する。また、入力部140は、タッチスクリーン、又は一般的なキーで形成されることができ、数字及び文字が並べられた文字キー、機能を実行できる機能キー、ソフトキー等から構成される。
制御部150は、携帯端末機を構成する各構成の全般的動作及び状態を制御する。特に、入力部140を介して画像情報登録機能が選択されると、制御部150は、カメラ部160によって入力されるイメージ、格納部110に格納されたイメージ、外部端末機やインターネットを介してダウンロードされたイメージの中から、ユーザによって選択されたイメージを表示部120に表示する。制御部150は、表示されたイメージから顔認識アルゴリズムを用いて顔領域を認識することができる。次に、制御部150は、表示されたイメージから認識された顔領域を分析して画像情報を抽出し、抽出された画像情報を格納部110に格納することができる。そして、制御部150は、分析された画像情報に該当する顔領域にリンクされたユーザ情報があるのかを確認する。画像情報に該当するユーザ情報がある場合、制御部150は、表示部120を制御し、認識された顔領域とユーザ情報とを共に表示することができる。
ここでは、顔認識アルゴリズムによって多様な方法を使用することができる。例えば、主成分分析法(PCA;Principal Component Analysis)のように、全体映像空間から固有顔(Eigen Face)という顔全体に該当する領域を抽出する方法を使用することができ、フィッシャー判別分析法(FDA;Fisher Discriminant Analysis)のように、認識される顔領域と格納された顔領域とを比較して顔の局部的特徴を抽出する方法を使用することができ、独立成分分析法(ICA;Independent Component Analysis)のように、認識された全体の顔領域から顔の特徴を分類し、分類された顔の特徴を格納された顔領域の特徴と比較する方法を使用することができる。
制御部150は、画像情報を用いて多様な機能を実行することができる。例えば、イメージに表示された顔領域及びユーザ情報から特定の顔領域が選択されると、制御部150は選択された顔領域にリンクされたユーザ情報を確認する。そして、確認されたユーザ情報を用いて、制御部150は入力部140を介して選択される通信機能を実行することができる。ここで、実行できる通信機能は、音声通話機能、画像通話機能及びメール送信を含み、メール送信は、短文メール、マルチメディアメール、インスタントメール及びEメール(E-mail)を含む。
制御部150は、画像情報を用いてセキュリティ機能を実行することができる。ここで、セキュリティ機能は、携帯端末機の電源オン・オフ制限機能、私生活保護機能及び特定機能使用制限等を含む。例えば、DMB機能において、有料チャンネル制限機能が設定されていると仮定する。DMB機能の実行時、入力部140を介して有料チャンネルが選択されると、制御部150はセキュリティ機能が設定されているのかを判断する。セキュリティ機能が設定されていると、制御部150は、カメラ部160を制御して獲得したイメージで顔認識機能を実行する。そして、制御部150は、イメージから認識された顔領域を分析して画像情報を抽出する。次いで、制御部150は、格納部110に格納されている画像情報と認識された顔領域に該当する画像情報とを比較する。抽出された画像情報と格納部110に格納されている画像情報とが一致すれば、制御部150は、無線通信部130を制御して有料チャンネルから受信される放送データを表示部120に表示することができる。
また、制御部150は、画像情報を用いて格納部110に格納されたイメージを管理することができる。すなわち、制御部150は、イメージに含まれた顔領域を認識し、認識された顔領域に該当するユーザ情報が存在するのかを判断する。そして、制御部150は、ユーザ情報を用いてイメージをユーザ別、グループ別、設定されたフォルダ別等で分類し、表示部120に表示することができる。例えば、イメージに三人に該当する顔領域が含まれていれば、各顔領域に関する画像情報を抽出する。そして、制御部150は、抽出された画像情報を用いて格納部110に格納された画像情報と比較する。一致する画像情報が存在すれば、制御部150は格納された画像情報とリンクされたユーザ情報が存在するのかを判断する。
画像情報とリンクされたユーザ情報が存在すれば、制御部150は、それぞれの顔領域に該当するユーザ情報に応じて、イメージをユーザ別、電話帳に設定されているグループ別に分類してもよく、フォルダ別に分類してもよい。顔領域に該当するユーザ情報がない場合には、無名(Unknown)と分類して表示部120に表示することができる。
そして、制御部150は、格納部110を制御し、認識された顔領域をコーラーID(Caller ID)で格納することができる。より詳細には、入力部140を介してコーラーID設定が選択されると、制御部150はコーラーIDに設定する顔領域及びユーザ情報を確認する。そして、制御部150は、イメージから選択された顔領域のみをクロップ(crop)し、格納部110を制御して、クロップされた顔領域と選択されたユーザ情報とをマッチして、すなわち対応付けて格納する。この場合、制御部150は、クロップされた顔領域の位置、サイズ、全体画面のサイズに対するクロップされた顔領域の比率情報を格納部110に格納することができる。そして、クロップされた顔領域を表示部120に表示する時、制御部150は、クロップされた顔領域のサイズを画面サイズの比率情報に応じて顔領域が表示される画面サイズ別に調節して表示することができる。
制御部150は、複数の人たちの顔領域が含まれたイメージから各人別に顔領域を認識し、認識された顔領域別に、該当するそれぞれの画像情報を抽出することができる。そして、制御部150は、抽出されたそれぞれの画像情報と格納部110に格納された画像情報とを比較する。そして、制御部150は、抽出されたそれぞれの画像情報と一致する格納された画像情報別にリンクされたユーザ情報を確認する。次いで、制御部150は、表示部120を制御し、それぞれの顔領域にリンクされたユーザ情報を表示する。そして、入力部140を介して認識された顔領域のうち、少なくとも一つの顔領域が選択された後、通信機能のような特定の機能が選択されると、制御部150は、選択された顔領域にリンクされたユーザ情報を用いて選択された特定の機能を実行することができる。ここで、ユーザ情報は電話番号にすることができる。
カメラ部160は、制御部150の制御の下、イメージを撮影することができる。カメラ部160は、撮影された光信号をアナログ映像信号に変換するカメラセンサーと、カメラセンサーから変換されたアナログ映像信号をデジタルデータに変換する信号処理部とを備える。カメラセンサーはCCDセンサーであり、信号処理部はDSP(Digital Signal Processor)で具現することができる。また、カメラセンサー及び信号処理部は一体型で具現してもよく、別々に分離して具現してもよい。
このような構成を有する携帯端末機において、制御部150は、カメラ部160によって入力されたイメージ又は格納されているイメージを、表示部120を制御して表示する。そして、入力部140又はメニューを介して顔認識機能が選択されると、制御部150は表示されたイメージから顔領域を認識する。そして、制御部150は、認識された顔領域を分析して画像情報を抽出し、格納部110に格納されているユーザ情報中、抽出された画像情報に該当するユーザ情報を検索してリンクする。そして、制御部150は、認識された顔領域と検索されたユーザ情報とをイメージに表示する。また、認識された顔領域とユーザ情報とが表示されたイメージにおいて、入力部140を介して通信機能実行が選択されると、制御部150は、無線通信部130を制御し、ユーザ情報を用いて通信機能を実行することができる。また、制御部150は、格納部110に格納されている画像情報と、画像情報とリンクされたユーザ情報を用いて格納部110に格納されたイメージを分類して格納する。そして、制御部150は、表示部120を制御し、画像情報及びユーザ情報を用いて分類されたイメージを表示することができる。
次に、携帯端末機で画像情報を用いて機能を実行する方法について説明する。
図2は、本発明の実施形態により、携帯端末機で画像情報を用いて機能を実行する方法を示すフロー図である。図2は、図3ないし図16bを参照しながら説明する。
図2によると、携帯端末機の電源がオフの状態で、ユーザが入力部140に備えられた電源キーを入力すると、制御部150は、210ステップで携帯端末機を構成する構成要素に電源を供給し、電源をONにする。そして、制御部150は、220ステップでロック機能が設定されているのかを判断する。ロック機能が設定されていなければ、制御部150は240ステップで表示部120を制御して待機画面を表示する。
しかし、ロック機能が設定されていれば、制御部150は230ステップでロック解除機能を実行する。ここで、230ステップを図3を参照しながら説明する。
図3によると、制御部150は、310ステップで、ロックを解除するため、画像情報によるロック解除機能が設定されているのかを判断する。もし、画像情報によるロック解除機能ではなく他の解除機能が設定されていれば、制御部150は370ステップで設定されたロック解除機能を実行する。ここで、設定されたロック解除機能は、パスワードの入力、音声認識によるロック解除機能を含むことができる。
しかし、310ステップで画像情報によるロック解除機能が設定されていれば、制御部150は、320ステップでカメラ部160を制御し、カメラを駆動してイメージをキャプチャーする。そして、制御部150は、330ステップでキャプチャーされたイメージから顔領域が認識されたかどうかを判断する。顔領域が認識されれば、制御部150は、340ステップで認識された顔領域に該当する画像情報を分析する。そして、制御部150は、350ステップで、格納部110に格納されている画像情報と分析された画像情報とを比較し、分析された画像情報と一致する格納された画像情報があるのかを判断する。
格納された画像情報と分析された画像情報とが一致しなければ、制御部150は、360ステップで一致する画像情報がないことを表示部120にポップアップで表示し、310ステップへ戻る。ここで、制御部150は、表示部120に再認識を選択できる選択窓を表示し、顔領域を再認識するか否かを選択することができる。
格納された画像情報と分析された画像情報とが一致すれば、制御部150は、図2に戻り240ステップで待機画面を表示部120に表示する。この時、制御部150は、分析された画像情報と格納された画像情報との類似率を算出し、算出された類似率によってロック解除機能を実行することもできる。例えば、制御部150は、算出された類似率が70%以上であればロック解除機能を実行し、類似率が30%以上であればパスワード等を入力できるパスワード入力窓を表示部120に表示し、入力部140を介してパスワードを入力してもらうことでロック解除機能を実行するか、あるいは画像情報の再認識を要求することもできる。
ロック機能を解除し、待機画面を表示した制御部150は、250ステップで入力部140を介して画像情報を用いた機能が選択されたかどうかを判断する。この場合、画像情報を用いた機能でなければ、制御部150は260ステップで入力部140を介して選択された機能を実行する。ここで、選択された機能は、電話番号入力による通信機能、イメージを撮影できるカメラ機能、スケジュール管理機能等のように、携帯端末機で実行できる全ての機能を含むことができる。
他方、画像情報を用いた機能が選択されると、制御部150は270ステップで選択された画像機能を用いた機能を実行する。ここで、270ステップは、図4を参照しながら詳細に説明する。
図4は、本発明の実施形態に係る画像情報を用いて機能を実行する方法を示すフロー図である。図4を、図5ないし図11を参照しながら説明する。図5は、本発明の実施形態に係る画像情報登録を実行する方法を示すフロー図である。図6は、本発明の実施形態に係るユーザ情報登録を実行する方法を示すフロー図である。図7は、本発明の実施形態に係るイメージフォルダを管理する方法を示すフロー図である。図8は、本発明に係るイメージフォルダにおける機能を実行する方法を示すフロー図である。図9は、本発明の実施形態に係るコーラーIDを設定する方法を示すフロー図である。図10は、本発明の実施形態に係る通信機能を実行する方法を示すフロー図である。図11は、本発明の実施形態に係るセキュリティ機能を実行する方法を示すフロー図である。
図4によると、制御部150は、410ステップで選択された画像情報を用いた機能が画像情報登録であるかを判断する。ユーザが、メニュー又は機能キー等によって画像情報登録を選択すると、制御部150は420ステップで画像情報登録機能を実行する。420ステップは、図5ないし図6を参照しながら詳細に説明する。
図5によると、入力部140を介して画像情報登録が選択されると、制御部150は510ステップでカメラ部160を駆動する。そして、制御部150は、520ステップでカメラ部160を介して入力されるプレビューイメージを表示部120に表示し、525ステップで表示されたプレビューイメージに顔領域が存在するのかを判断する。もし、認識される顔領域が存在しなければ、制御部150は、520ステップへ戻り、カメラ部160を介して入力されているイメージのプレビューイメージを表示部120に表示する。
ここでは、入力部140を介して画像情報登録が選択されると、制御部150はカメラ部160を駆動させ、入力されるイメージから顔領域を認識すると説明している。しかし、その他にも、カメラ機能が選択され、カメラ部160が駆動された後、入力部140に備えられた機能キー又は通話キーによって顔認識機能が選択されると、制御部150はこれを感知し、カメラ部160を介して入力されたイメージから顔領域を認識することもできる。
カメラ部160を介して入力されているイメージから顔領域が認識されると、制御部150は、530ステップで、表示部120を制御し、認識されている顔領域をユーザが確認できるようにフレーム又は図形等で表示する。次いで、制御部150は、535ステップで入力部140を介してイメージキャプチャーが選択されるのかを確認する。ユーザが、入力部140を介して確認キー又は撮影キーを入力すると、制御部150は540ステップで認識された顔領域に該当する画像情報を分析する。
次に、制御部150は、545ステップで分析された画像情報に該当するユーザ情報があるのかを確認する。ここで、ユーザ情報を確認する方法は、まず、制御部150は分析された画像情報を格納部110に格納された画像情報と比較する。そして、制御部150は、分析された画像情報と類似又は一致する格納された画像情報があれば、格納された画像情報とリンクされているユーザ情報があるのかを判断することで、ユーザ情報の有無を確認することができる。
分析された画像情報に該当するユーザ情報があれば、制御部150は、550ステップで認識された顔領域とユーザ情報とをキャプチャーされたイメージと共に表示部120に表示する。そして、制御部150は、560ステップで格納が選択されるのかを判断する。入力部140を介して確認キー又は格納キーが入力されると、制御部150は、565ステップで格納部110を制御し、認識された顔領域に該当する画像情報と、画像情報とリンクされたユーザ情報、及び顔領域にリンクされたユーザ情報が格納された位置に関するリンク情報、及びイメージを格納して、図4へ戻る。このように、格納された画像情報とユーザ情報によって、制御部150は携帯端末機で行える多様な機能を実行することができる。
545ステップで、分析された画像情報に該当するユーザ情報がなければ、制御部150は、570ステップでユーザの選択に応じてユーザ情報登録を実行する。570ステップは、図6を参照しながら説明する。
図6によると、制御部150は、610ステップで分析された画像情報に該当するユーザ情報がないことと、認識された顔領域とを表示部120に表示する。そして、制御部150は、615ステップで入力部140を介してユーザ情報登録が選択されるのかを判断する。この時、制御部150は、ユーザ情報をunknownと認識された顔領域に表示することができる。
ユーザ情報登録が選択されると、制御部150は、620ステップでユーザ情報登録をする方法が、検索登録であるか、直接登録であるかを判断する。より詳細には、メニュー選択又は機能キー入力でユーザ情報登録が選択されると、制御部150は、ユーザ情報登録方法として、検索登録又は直接登録を選択できる選択窓を表示する。
ユーザが、入力部140を介して検索登録を選択すれば、制御部150は625ステップでユーザ情報検索窓を表示する。次に、制御部150は、630ステップで検索窓に検索語が入力されたかどうかを判断する。検索語が入力されると、制御部150は、635ステップで、格納部110に格納されたユーザ情報から検索語に該当するユーザ情報を検索する。そして、制御部150は、640ステップで検索語に該当するユーザ情報が存在するのかを判断する。ここで、検索語でユーザ情報を検索する方法には、名前を入力して検索する方法、グループ別にユーザ情報を検索する方法等が含まれる。
検索語に該当するユーザ情報が存在しなければ、制御部150は、645ステップで検索語に該当するユーザ情報がないことを表示し、615ステップへ戻る。この時、制御部150は、ユーザ情報再登録の選択窓を表示することができる。
他方、検索語に該当するユーザ情報が存在すれば、制御部150は、650ステップで検索されたユーザ情報及び顔領域をイメージにリンクして表示する。そして、制御部150は、670ステップで入力部140を介して格納が選択されるのかを判断する。
しかし、620ステップで、ユーザが、メニュー又は機能キー等によってユーザ情報の直接登録を選択すると、制御部150は、655ステップでユーザ情報入力窓を表示部120に表示する。そして、制御部150は、660ステップでユーザ情報入力が完了したのかを判断する。例えば、ユーザが、入力部140を介して認識された顔領域に該当する名前のようなユーザ情報を入力した後、確認キー又は完了キー等を入力すると、制御部150はこれをユーザ情報入力完了と判断する。
ユーザ情報入力が完了すると、制御部150は、665ステップで認識された顔領域に該当する画像情報と入力されたユーザ情報をリンクさせる。そして、制御部150は、入力されたユーザ情報及び認識された顔領域をイメージと共に表示部120に表示し、670ステップで入力部140を介して格納が選択されたかどうかを判断する。
入力部140を介して格納が選択されると、制御部150は、675ステップで、格納部110を制御し、認識された顔領域に該当する画像情報と、リンクされたユーザ情報に該当するリンク情報とを顔認識情報に含めて格納し、イメージは携帯端末機に格納される文書、音楽、電話番号データのような他のデータと共に格納した後、図4へ戻る。
ここでは、ユーザ情報を登録する方法として検索登録及び直接登録を実施形態で説明した。しかしそれら以外にも、ユーザ情報を登録する方法は、イメージが格納されるファイル名を用いてユーザ情報を登録することができる。より詳細には、ユーザが入力部140を介してイメージを格納するためのファイル名を入力した後、顔認識を選択すると、制御部150はこれを感知してイメージに含まれた顔領域を認識する。そして、制御部150は、認識された顔領域に該当する画像情報を分析した後、イメージを格納するためのファイル名を格納部110に格納されたグループ別、又はユーザ別にユーザ情報と比較する。そして、ファイル名と一致するユーザ情報が確認されれば、制御部150は、確認されたユーザ情報を分析された画像情報とリンクし、表示部120を制御して、認識された顔領域と確認されたユーザ情報とをイメージに含めて表示することができる。
そして、新しく分析された画像情報を格納するとき、制御部150は、ユーザ別に本来格納されていた画像情報を削除した後、新しく分析された画像情報を格納することができる。又は、制御部150は、本来格納されていた画像情報と新しく分析された画像情報とを、画像情報に該当するユーザ別にまとめて格納することができる。
再び、図4の410ステップで画像情報登録が選択されなければ、制御部150は、430ステップで画像情報によるイメージフォルダ管理が選択されるのかを確認する。メニュー又は機能キー等によってイメージフォルダ管理が選択されると、制御部150は440ステップでイメージフォルダ管理機能を実行する。440ステップは、図7ないし図9を参照しながら説明する。
図7によると、入力部140を介してイメージフォルダ管理が選択されると、制御部150は710ステップでフォルダ管理画面を表示部120に表示する。この場合、表示部120は、イメージを表示できるイメージ表示領域、イメージを項目別に分類できるフィルタリング領域、及びメニュー、確認等を選択できるメニュー選択領域に区分されることができる。フィルタリング領域には、イメージを分類するための項目が表示される。ここで、分類のための項目は、人別、グループ別、フォルダ別等にすることができる。
次いで、制御部150は、715ステップで、フィルタリング領域でイメージを分類するための項目中、少なくとも一つの項目が選択されたかどうかを判断する。ユーザが、入力部140を介してフィルタリング領域を選択し、方向キーを用いて選択されたフィルタリング領域で項目を選択すると、制御部150は、720ステップで選択された項目に該当するイメージを分類してイメージ表示領域に表示する。ここで、フィルタリングできる項目は、ユーザ別、グループ別、設定されたフォルダ別等にすることができる。そして、複数の人たちの顔領域を含む団体イメージをフィルタリングして表示する時、又は団体イメージに含まれるそれぞれの顔領域に該当するユーザ又はグループが選択される時、制御部150は、選択されたユーザ又はグループに含まれる他のイメージと共にイメージ表示領域に表示することができる。
イメージが表示された後、制御部150は、725ステップで表示されたイメージから特定のイメージが選択されるのかを判断する。ユーザが入力部140に備えられた方向キー等を用いて特定のイメージを選択すると、制御部150は、730ステップで選択されたイメージをイメージ表示領域に表示する。そして、制御部150は735ステップで顔認識機能が選択されるのかを判断する。顔認識機能が選択されるのかを判断する方法は、メニュー選択又は機能キー等の入力で判断することができるが、表示部120にイメージが表示されている状態で通話キーが入力されれば、制御部150は通話キー入力を顔認識機能を選択するための信号として判断することができる。
メニュー又は機能キーによって顔認識機能が選択されると、制御部150は、740ステップでイメージに含まれた顔領域から画像情報を分析する。そして、制御部150は、745ステップで分析された画像情報にリンクされたユーザ情報が存在するのかを判断する。もし、リンクされたユーザ情報が存在しなければ、制御部150は750ステップでユーザ情報登録が選択されたかどうかを判断する。ユーザ登録が選択されれば、制御部150は755ステップでユーザ情報登録を実行する。次に、制御部150は、760ステップで顔領域及びユーザ情報をイメージと共に表示する。ここで、755ステップは図6の詳細な説明と同一であるため、755ステップの詳細な説明は省略することにする。他方、ユーザ登録が選択されなければ、制御部150は、757ステップで認識された顔領域に該当するユーザ情報がないことと、顔領域とをイメージに表示する。次に、制御部150は730ステップへ戻って選択されたイメージを再表示する。
再び、745ステップから戻り、ユーザ情報が存在すると、制御部150は760ステップで顔領域及びユーザ情報をイメージと共に表示する。そして、制御部150は、765ステップで画像情報を利用する機能が選択されるのかを判断する。ここで、実行できる画像情報を用いた機能には、通信機能、待機画面設定機能、コーラーID設定機能、顔領域の編集機能等が含まれる。ユーザがメニューを選択すると、制御部150は、表示部120を制御し、画像情報を用いて実行できる機能をリストで表示する。そして、ユーザが、入力部140を介してリストで表示された機能の中から特定の機能を選択すると、制御部150は770ステップで選択される機能を実行する。ここで、770ステップを、図8を参照しながら詳細に説明する。
図8によると、顔領域とユーザ情報とをイメージと共に表示した制御部150は、810ステップで通信機能が選択されたかどうかを判断する。通信機能が選択されると、制御部150は815ステップで通信機能を実行する。すなわち、制御部150は、表示されたユーザ情報を用いて、入力部140を介して選択される通信機能を実行する。ここで、通信機能を実行するステップである815ステップは、図10の詳細な説明で後述することにする。
他方、通信機能が選択されなければ、制御部150は820ステップで待機画面設定が選択されたかどうかを判断する。ユーザが入力部140を介して待機画面設定を選択すると、制御部150は、823ステップで表示されたイメージを拡大して表示部120の全体画面に表示する。そして、制御部150は、イメージにリンクされたユーザ情報と顔領域の表示を維持するのかを選択できる選択窓を表示する。次に、制御部150は、825ステップで、ユーザ情報と顔領域表示の維持が選択されるのかを判断する。
ユーザ情報と顔領域表示の維持が選択されれば、制御部150は、827ステップでユーザ情報と顔領域が表示されたイメージを待機画面として格納する。他方、表示維持が選択されなければ、制御部150は、829ステップでユーザ情報と顔領域を除去してイメージだけを待機画面に設定する。
制御部150は、ユーザの選択によって、待機画面に設定されたイメージに含まれた少なくとも一つの顔領域にリンクされたユーザ情報を用いて通信機能のような多様な機能を実行することができる。このような機能を利用するため、ユーザは、よく連絡する相手の顔領域が含まれたイメージを一つのイメージに編集した後、待機画面に設定することもできる。すると、制御部150は、設定された待機画面に含まれた相手の顔領域を認識し、認識されたそれぞれの顔領域に該当するユーザ情報をリンクして格納することができる。
入力部140を介して、多数のユーザ情報がリンクされた顔領域が含まれた待機画面から顔領域及び通信機能が選択されると、制御部150は、選択された顔領域にリンクされたユーザ情報を用いて通信機能を実行することができる。ここで、待機画面として顔領域及びユーザ情報が含まれたイメージが設定された時にキャンセルキー又は終了キーが入力されると、制御部150は、表示していたイメージを削除し、本来設定されていた待機画面を表示することができる。また、待機画面の表示中に入力部140を介して確認キー又は通話キーが長く入力されると、制御部150は、これを感知し、本来選択されていたユーザ情報がリンクされた顔領域が含まれたイメージを、表示部120に待機画面として表示することができる。
しかし、820ステップで待機画面設定が選択されなければ、制御部150は、830ステップでコーラーID設定が選択されるのかを判断する。入力部140を介してコーラーID設定が選択されると、制御部150は、835ステップでコーラーID設定機能を実行する。835ステップは、図9を参照しながら詳細に説明する。
図9によると、制御部150は、910ステップでコーラーIDに設定する顔領域が選択されるのかを判断する。ユーザが、入力部140に備えられた方向キーを用いて顔領域を選択すると、制御部150は、915ステップで、格納部110に格納されたユーザ情報から選択された顔領域にリンクされたユーザ情報を確認する。
次いで、制御部150は、920ステップで確認されるユーザ情報が存在するのかを判断する。ユーザ情報が存在しなければ、制御部150は、930ステップでユーザ情報選択窓を表示部120に表示する。ここで、ユーザ情報選択窓は、電話帳のようにユーザの名前、電話番号、メールアドレス等を表示することができ、検索語が入力できる入力窓と共に表示することができる。次に、制御部150は935ステップでユーザ情報が選択されたかどうかを判断する。ユーザが、入力部140を介して、又は検索語等を入力してユーザ情報を選択すると、制御部150は選択されたユーザ情報を確認する。そして、制御部150は、940ステップで選択された顔領域のみをクロップして表示部120に表示する。再び、920ステップへ戻り、顔領域に該当するユーザ情報が存在すれば、制御部150は、940ステップで選択された顔領域のみをクロップして表示部120に表示する。
次いで、制御部150は950ステップで格納が選択されるのかを判断する。入力部140を介して格納が選択されると、制御部150は、960ステップで格納部110を制御し、クロップされた顔領域をユーザ情報とマッチして、すなわち対応付けてコーラーIDとして格納する。
再び、図8へ戻り、830ステップでコーラーID設定が選択されなければ、制御部150は840ステップで顔領域の編集が選択されるのかを判断する。顔領域の編集機能は、イメージから認識された顔領域のサイズが正確に認識されていない場合や、本来の顔領域からずれた位置が顔領域と認識された場合、及び顔領域が存在するにもかかわらず顔領域が認識されなかった場合に、ユーザが認識された顔領域の範囲を編集できる機能である。
顔領域の編集が選択されると、制御部150は、845ステップでユーザ選択による顔領域の編集を実行する。より詳細には、メニュー又は機能キー等によって顔領域の編集が選択されると、制御部150は、サイズ編集、位置編集、顔領域の追加(顔領域の手動設定)等の編集方法が選択できる選択窓を表示し、ユーザが顔領域の編集方法を選択することができる。そして、制御部150は、ユーザの選択による編集方法で顔領域を編集することができる。この時、顔領域を編集する方法は、認識された顔領域のサイズ、位置等を編集する方法である。
例えば、イメージに含まれた顔領域のサイズが正確に認識されていない場合、顔領域を編集するステップは次のようになる。入力部140を介して顔領域サイズの編集が選択されると、制御部150は、顔領域の編集のため、選択された顔領域を表示するフレームを確認する。そして、ユーザが方向キーを入力すると、制御部150は、入力される方向キーに応じて確認されたフレームのサイズを調節することができる。フレームサイズの拡大は右側の方向キーで、フレームサイズの縮小は左側の方向キーで調節すると設定したと仮定する。すると、制御部150は、顔領域のサイズを編集する時、右側の方向キーが入力されるとフレームのサイズを拡大し、左側の方向キーが入力されるとフレームのサイズを縮小することができる。
また、顔領域の手動設定が選択された場合、制御部150は、表示部120に顔領域を表示できるフレームを表示する。そして、入力部140を介してフレームの位置及びサイズが選択されると、制御部150はフレームが位置した領域を顔領域と判断する。そして、制御部150は、フレームが位置した領域に該当する画像情報を分析することができる。
仮に、ユーザが、入力部140を介して編集しようとする顔領域を選択した後、編集方法を選択すると、制御部150は、選択された顔領域を選択された編集方法で編集することができる。例えば、ユーザが入力部140を介して編集する顔領域を先に選択した後、メニュー等によって編集方法を選択すると、制御部150は、選択された顔領域を選択された編集方法で編集して格納することができる。
顔領域の編集が完了すると、制御部150は850ステップで格納が選択されるのかを判断する。入力部140を介して格納が選択されると、制御部150は、855ステップで編集されたフレームに含まれた顔領域を再認識して格納する。そして、制御部150は図4へ戻る。
図4の430ステップで、画像情報によるイメージフォルダ管理が選択されなければ、制御部150は、450ステップで画像情報による通信機能の実行が選択されたかどうかを判断する。通信機能の実行が選択されると、制御部150は460ステップで通信機能を実行する。ここで、460ステップを、図10を参照しながら説明する。
図10によると、制御部150は1100ステップで音声通話機能が選択されるのかを判断する。すなわち、顔領域とユーザ情報とが表示されたイメージが表示されており、メニュー入力領域でメニューが選択されると、制御部150は、音声通話機能、画像通話機能、メール送信機能を選択できる選択窓を表示する。そして、制御部150は、表示された選択窓で音声通話機能、画像通話機能、又はメール送信機能の中からいずれが選択されたかを判断する。
本発明において、制御部150は、イメージに表示された顔領域とユーザ情報とを用いて通信機能を実行することができる。例えば、待機画面で認識された顔領域に該当するユーザ情報が存在するイメージであれば、制御部150は、ユーザによって選択されたユーザ情報を用いて音声通話、画像通話、メール送信等を実行することができる。また、格納部110にイメージフォルダ管理機能等のように格納されたイメージを表示部120に表示するステップにおいても、表示部120に表示されたイメージからユーザ情報がリンクされた顔領域が認識されると、制御部150は、ユーザによって選択された顔領域にリンクされたユーザ情報を用いて通信機能を実行することができる。
音声通話が選択されると、制御部150は、1105ステップで、表示部120を制御し、認識された顔領域に該当するユーザ情報をリストで表示する。この時、ユーザ情報が表示されるリストには、名前だけでなく電話番号まで表示することができる。次いで、制御部150は、1110ステップで音声通話を実行するユーザ情報が選択されたかどうのかを判断する。音声通話を実行するユーザ情報が選択されると、制御部150は、1120ステップで無線通信部130を制御し、選択されたユーザ情報に該当する相手の携帯端末機と音声通話機能を実行する。
しかし、音声通話が選択されなければ、制御部150は、1130ステップで画像通話機能が選択されるのかを判断する。画像通話が選択されると、制御部150は、1135ステップで認識された顔領域に該当するユーザ情報から画像通話が可能なユーザ情報を表示する。そして、制御部150は、1140ステップで画像通話するユーザ情報が選択されるのかを判断する。ここでも、音声通話を実行するためのユーザ情報を表示するステップと同様に、電話番号を名前と共に表示部120に表示することができる。画像通話するユーザ情報が選択されると、制御部150は、1145ステップで無線通信部130を制御し、選択されたユーザ情報に該当する相手の携帯端末機と画像通話機能を実行する。
他方、1130ステップで画像通話が選択されなければ、制御部150は1150ステップでメール送信が選択されるのかを判断する。メール送信が選択されると、制御部150は、1155ステップでユーザ情報及びテキスト入力窓を表示部120に表示する。例えば、表示部120は、制御部150の制御の下、イメージに含まれたユーザ情報が表示されたユーザ情報選択窓と、メール内容を入力できるテキスト入力窓を表示することができる。ここで、ユーザ情報は、名前だけでなく電話番号又はメールアドレスを含むことができる。
そして、制御部150は、1160ステップでユーザ情報選択及びメール内容の入力完了が選択されるのかを判断する。ユーザが、メールを送るユーザ情報を選択し、メール内容を入力した後、メニュー又は確認キーを入力すると、制御部150は、1165ステップで無線通信部130を制御し、ユーザ情報に該当する相手の携帯端末機にメールを送信する。このように、通信機能を実行した制御部150は図4へ戻る。
ここでは、制御部150は、通信機能が選択されると、イメージにリンクされたユーザ情報を表示し、表示されたユーザ情報の中から選択されるユーザ情報を用いて通信機能を実行すると説明した。しかし、それ以外にも、入力部140を介してイメージに表示された顔領域の中から特定の顔領域が選択された後、通信機能が選択されると、制御部150は、選択された顔領域に該当するユーザ情報を用いて選択された通信機能を実行することができる。
再び、図4の450ステップで、画像情報による通信機能実行が選択されなければ、制御部150は、470ステップでセキュリティ機能実行が選択されるのかを判断する。入力部140を介してセキュリティ機能実行が選択されると、制御部150は、480ステップで選択されたセキュリティ機能を実行する。ここで、480ステップを、図11を参照しながら詳細に説明する。
ここで、セキュリティ機能は、携帯端末機で実行される全ての機能に設定することができる。例えば、イメージフォルダ管理機能、発信電話制限機能、ログデータ確認機能、電子ダイアリー(スケジュール管理、メモ等)機能、フォーンブック(Phone Book)機能等、ユーザが他人と共有したがらない機能を保護するためにセキュリティ機能を設定することができる。本実施形態では、DMB機能の実行時、有料チャンネルの視聴を制限するために設定されたセキュリティ機能を、仮定して説明する。
図11によると、入力部140を介してDMB機能が選択されると、制御部150は1200ステップでDMBメイン画面を表示部120に表示する。ここで、DMBメイン画面は、デジタル放送チャンネルが選択できるチャンネルリスト、及びDMB機能から選択されて実行できるメニューを表示する。
DMBメイン画面を表示した制御部150は、1205ステップで有料チャンネルが選択されるのかを判断する。有料チャンネルが選択されなければ、制御部150は、1210ステップで入力部140を介して選択されるチャンネルから受信された放送データを表示部120に表示する。
他方、入力部140を介して有料チャンネルが選択されると、制御部150は、1215ステップで、有料チャンネル視聴を制限するためのセキュリティ機能が設定されているのかを判断する。セキュリティ機能が設定されていれば、制御部150は、1220ステップでカメラ部160を駆動してイメージを獲得する。そして、制御部150は、1225ステップで、カメラ部160を介して入力されたイメージから顔領域が認識されるのかを判断する。顔領域が認識されると、制御部150は、1230ステップで認識された顔領域の画像情報を分析する。そして、制御部150は、1235ステップで分析された画像情報と、格納部110に格納された画像情報とが一致するのかを判断する。
もし、分析された画像情報と格納された画像情報とが一致すると、制御部150は、1240ステップで、選択された有料チャンネルから受信される放送データを表示部120に表示する。他方、分析された画像情報と格納された画像情報とが一致しなければ、制御部150は1250ステップで該当する画像情報がないことを表示する。又は、制御部150は、有料チャンネル視聴が制限されていることをポップアップで表示部120に表示する。
次に、制御部150は1255ステップで顔領域の再認識が選択されるのかを判断する。すなわち、該当する画像情報がないことを表示した制御部150は、顔領域を再認識するのか否かを選択できる選択窓を表示する。そして、入力部140を介して顔領域の再認識が選択されると、制御部150は1220ステップへ戻って顔領域を認識するステップを再実行する。ここで、DMB機能において、画像情報を用いてセキュリティ機能を実行すると仮定して説明したが、私生活保護機能、発信電話制限機能等においても画像情報を用いてセキュリティ機能を実行することができる。例えば、ユーザが、入力部140を介して電話番号を入力し通話キーを入力すると、制御部150は発信電話制限機能が設定されているのかを判断する。発信電話制限機能が設定されていると、制御部150は、カメラ部160を介して入力されるイメージから顔領域を認識して画像情報を分析する。次いで、制御部150は、分析された画像情報が格納部110に格納された画像情報と一致するのかを判断する。画像情報が一致すると、制御部150は電話番号をタイヤルし、無線通信部130を介してダイヤルされた電話番号に該当する相手の携帯端末機と通信機能を実行することができる。
再び、図4に戻って、470ステップでセキュリティ機能が選択されなければ、制御部150は、490ステップでメニュー又は機能キーによって選択される機能を実行する。ここで、実行できる機能は、通信機能のように従来の携帯端末機で実行できる全ての機能である。
図12ないし図16bは、画像情報を介してそれぞれの機能が実行される画面を例示した画面例示図である。図12は、本発明の実施形態に係る顔領域とユーザ情報とを表示する画面を例示した画面例示図である。図13は、本発明に係るイメージフォルダ管理画面を例示した画面例示図である。図14は、本発明によってイメージフォルダ管理機能を実行する時、顔領域を表示する画面を例示した画面例示図である。図15は、本発明によって、イメージフォルダ管理機能中、コーラーIDを設定する画面を例示した画面例示図である。図16a及び図16bは、本発明によって、イメージフォルダ管理機能中、認識された顔領域を編集する画面を例示した画面例示図である。
図12は、カメラ等を介して入力されたイメージや、格納部110に格納されたイメージを表示部120に表示した後、顔認識機能が選択された時に表示部120に表示される画面を例示した図面である。より詳細には、イメージが表示部120に表示された後、ユーザが通話キー又は機能キーを入力すると、制御部150は表示部120に表示されたイメージから顔領域を認識する。そして、制御部150は、認識された顔領域から画像情報を分析し、分析された画像情報に該当するユーザ情報を確認する。そして、制御部150は、確認されたユーザ情報と認識された顔領域とを、図12のように表示部120を制御して表示する。ここで、ユーザ情報と認識された顔領域とを四角フレームを用いて表示すると説明したが、ユーザの設定によって、又は、携帯端末機の製造会社の設定によって、顔領域及びユーザ情報を表示する方法はそれぞれ異なる場合もある。
図13は、イメージフォルダ管理機能が選択された時に表示されるメイン画面を例示した図面である。メニュー又は機能キー等によってイメージフォルダ管理機能が選択されると、制御部150は、表示部120を制御し、図13のようにイメージが表示できるイメージ表示領域121、イメージをフォルダ別、人別、グループ別に分類できるフィルタリング領域123、メニューを選択できるメニュー選択領域125に区分して表示することができる。
図14は、イメージフォルダ管理機能の実行時、イメージ表示領域121に表示されたイメージから顔認識機能が実行された画面を例示した図面である。より詳細には、イメージフォルダ管理機能で選択されたイメージが表示部120に表示される。入力部140を介して通話キー又は機能キーによって顔認識機能が選択されると、制御部150は、イメージに含まれた顔領域を認識し、図14のようにイメージ表示領域121に表示することができる。
図15は、イメージフォルダ管理機能中、コーラーIDが設定される画面を例示した画面例示図である。より詳細には、顔領域が認識されたイメージからユーザが入力部140を介してコーラーIDで使用する顔領域を選択した後、メニュー又は機能キーによってコーラーID設定を選択すると、制御部150は、選択された顔領域をクロップして図15のように表示部120に表示する。そして、制御部150は、認識された顔領域に該当するユーザ情報と共にクロップされた顔領域をコーラーIDとして格納することができる。
図16a及び図16bは、イメージフォルダ管理機能中、認識された顔領域を編集する画面を例示した図面である。より詳細には、図16aのように、認識された顔領域が本来の顔領域より小さいか、位置が誤っている場合、ユーザが方向キー等を用いて編集しようとする顔領域を選択した後、メニュー又は機能キーによって顔領域の編集機能を選択する。すると、制御部150は、これを感知して選択された顔領域を確認し、顔領域に表示されたフレームのサイズ及び位置を、入力部140を介して入力されるユーザの選択によって図16bのように変更することができる。
以上では、画像情報を用いた機能を実行する方法で表示部120に表示されたイメージから予め顔領域が認識され、認識された顔領域にリンクされたユーザ情報が含まれている場合、入力部140を介して選択される機能を実行する方法について説明した。このような方法以外にも、カメラ機能が実行されている時、入力されたイメージを表示部120に表示しているか、表示部120に格納部110に格納されたイメージを表示している場合、ユーザが入力部140を介して顔認識機能を選択すると、制御部150は、表示部120に表示しているイメージから顔領域のみを認識し、認識された顔領域に該当する画像情報を分析して、分析された画像情報に該当するユーザ情報を認識された顔領域にリンクし、表示部120に表示されたイメージと共に認識された顔領域及びユーザ情報を表示することができる。
図17は、本発明の他の実施形態に係るカメラ機能の実行時、画像情報を登録する方法を示すフロー図である。
図17によると、1701ステップで携帯端末機のモードが待機モードであれば、制御部150は、1705ステップでカメラ機能が選択されるのかを判断する。もし、ユーザが、メニュー又は機能キー等によってカメラ機能を選択せずに他の機能を選択したとすると、制御部150は1710ステップで選択された機能を実行する。
しかし、入力部140を介してカメラ機能が選択されたとすると、制御部150は、1710ステップでカメラ部160を駆動し、駆動されたカメラ部160を介して入力されるプレビューイメージを表示する。次に、制御部150は、1715ステップで画像情報登録が選択されるのかを判断する。もし、入力部140を介して画像情報登録が選択されなければ、制御部150は1720ステップで他の機能が選択されるのかを判断する。そして、入力部140を介して機能が選択されると、制御部150は1725ステップで選択される機能を実行する。ここで、選択される機能は、イメージ撮影、カメラ環境設定等、カメラ機能時に一般的に行われる機能が含まれる。
仮に、1715ステップで通話キーが入力されるか、メニュー及び機能キーによって画像情報登録が選択されると、制御部150は、1730ステップで表示されるプレビューイメージから顔領域が認識されるのかを判断する。
以下、1735ステップから1770ステップまでは、図5の530ステップから570ステップまでと同じステップであるため、以下、詳細な説明は省略する。簡単に要約すると、制御部150は、顔領域を認識し、認識された顔領域に該当する画像情報を分析する。そして、制御部150は、分析された画像情報に係るユーザ情報を確認して分析された画像情報にリンクし、リンクされたユーザ情報をキャプチャーされたイメージに顔領域と共に表示することができる。ここで、イメージに顔領域及びユーザ情報をフレームで表示してもよい。一方、この時、分析された画像情報に該当するユーザ情報がない場合は、制御部150は、ユーザの選択によって画像情報に該当するユーザ情報を登録することができる。
このような画像情報登録方法として、カメラ機能でイメージをキャプチャーする時に画像情報を登録することを例示して説明したが、制御部150は、ユーザの選択によってキャプチャーされたイメージを格納部110に格納し、格納されたイメージを表示するステップでも画像情報を登録することができる。より詳細には、制御部150は、カメラ機能で撮影したイメージを格納した後、格納されたイメージを表示する。そして、入力部140を介して顔領域認識機能が選択されると、制御部150は、表示されたイメージから顔領域を認識し、認識された顔領域に該当する画像情報を分析する。次に、制御部150は、分析された画像情報に係るユーザ情報をリンクして表示することができる。この場合、制御部150は、イメージだけでなく分析された画像情報とリンクされたユーザ情報に該当するリンク情報とを格納部110に格納することもできる。
また、外部端末機又はインターネット等を介してダウンロードしたイメージを表示部120に表示する時も、制御部150はユーザの選択によって顔認識機能を実行し、画像情報を登録することができる。例えば、ユーザが入力部140を介してダウンロードしたイメージを選択すると、制御部150は表示部120に選択されたダウンロードしたイメージを表示する。そして、再び、通話キー入力、又はメニュー、機能キーによって顔認識機能が選択されると、制御部150はダウンロードしたイメージから顔領域を認識する。次に、制御部150は、認識された顔領域に該当する画像情報及びユーザ情報を確認して表示する。そして、制御部150は、ダウンロードしたイメージと共に画像情報及びユーザ情報を格納部110に格納することもできる。
本発明において、イメージフォルダ管理機能の選択時、顔領域認識機能が選択されると、制御部150は、選択されたイメージに顔領域及びユーザ情報を表示すると説明した。ここで、イメージフォルダ管理機能の選択時、制御部150は、格納部110を確認してユーザ情報及び顔領域に該当する画像情報を含むイメージを、確認されたユーザ情報及び顔領域と共に表示されるように表示部120を制御することができる。また、イメージフォルダ管理機能には、外部端末機又はインターネットを介してダウンロードされたイメージを表示する機能、カメラ部160を介して撮影されたイメージを表示する機能、及び格納部110に格納されたイメージを表示する機能等が含まれる。
以上では、本発明において、特定の好ましい実施形態について図示し、説明した。しかし、本発明は、前述した実施形態に限定されることではなく、特許請求の範囲に添付する本発明の要旨を逸脱せず、当該発明の属する技術分野における通常の知識を有する者であれば、多様な変形実施も可能である。