JP4844614B2 - 情報処理装置、情報処理方法およびコンピュータプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法およびコンピュータプログラムに関し、より詳細には、テレビ電話機能を有する情報処理装置、情報処理方法およびコンピュータプログラムする。

通話相手からの情報に基づいて、通話相手の画像を画面に表示できる機能（テレビ電話機能）を有する電話機がある。かかる電話機は、お互いに小型の撮像装置を用いて通話者の動画像を撮影し、通話者の音声と併せて通話相手に送信することでテレビ電話機能を実現している。

かかる電話機では、名前、電話番号、電子メールアドレス等の情報（アドレス帳情報）を対応付けて記憶するアドレス帳機能を備えているものもある。また最近では、個々のアドレス帳情報に画像を登録、記憶しておくことにより、アドレス帳情報として画像を表示することも可能となっている。テレビ電話機能を有する電話機を使用するユーザは、アドレス帳に登録された情報を確認することで、アドレス帳から通話相手に対して電話を発信することができる。

しかし、従来においては、個々のアドレス帳情報に画像を登録するためには、予め電話機の内部に画像を記憶させなければならず、煩わしいという問題があった。また、個々のアドレス帳情報に動画像を登録するためには、電話機以外の機器で動画像を編集しなければならないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、テレビ電話機能を用いた通話の最中に通話相手から送信された動画像を記憶し、通話終了後に記憶した動画像を用いてアドレス帳情報に画像を登録することで、簡易にアドレス帳に画像を登録可能な、新規かつ改良された情報処理装置、情報処理方法およびコンピュータプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、通話相手の情報を記録する相手情報記録部と、通話中に通話相手側で撮像された該通話相手の映像を記録する画像記録部と、画像記録部が記録した映像から所定の時点の画像を抽出する画像抽出部と、画像抽出部が抽出した画像を通話終了後に通話相手の情報と紐付けて相手情報記録部に登録する登録部と、を含む、情報処理装置が提供される。

かかる構成によれば、相手情報記録部は通話相手の情報を記録し、画像記録部は通話中に通話相手側で撮像された該通話相手の映像を記録する。そして、画像抽出部は画像記録部が記録した映像から所定の時点の画像を抽出し、登録部は画像抽出部が抽出した画像を通話終了後に通話相手の情報と紐付けて相手情報記録部に登録する。その結果、通話相手から送信された動画像を記憶し、通話終了後に記憶した動画像を用いて相手情報記録部に通話相手の画像を登録することで、簡易に相手情報記録部に通話相手の画像を登録することができる。

画像抽出部は静止画を抽出してもよい。そして、画像抽出部は、ユーザからの指示があった時点で、画像記録部が記録した映像から静止画を抽出してもよい。また、画像抽出部は、画像記録部が記録した映像から一定間隔で静止画を抽出してもよい。

また、画像抽出部は、画像記録部が記録した映像から顔が含まれているフレームを静止画として抽出してもよい。そして、画像抽出部は、画像記録部が記録した映像に写っているのが大人であるか否か、または男性か女性かによって静止画を抽出してもよい。

また、画像抽出部は、画像記録部が記録した映像のフレーム間の変化量を検出し、該変化量が少ないフレームを静止画として抽出してもよい。

画像抽出部は動画を抽出してもよい。そして、画像抽出部は、ユーザからの指示があった時点で、画像記録部が記録した映像から動画を抽出してもよい。また、画像抽出部は、画像記録部が記録した映像から一定間隔で動画を抽出してもよい。

また、画像抽出部は、画像記録部が記録した映像から顔が含まれているフレームを動画として抽出してもよい。そして、画像抽出部は、画像記録部が記録した映像に写っているのが大人であるか否か、または男性か女性かによって静止画を抽出してもよい。

画像抽出部は、画像記録部が記録した映像のフレーム間の変化量を検出し、該変化量が少ないフレームを動画として抽出してもよい。

上記情報処理装置は、通話中に通話相手の音声を収録する音声収録部をさらに含み、画像抽出部は、音声収録部が収録した音声の音量が他の時点より大きい時点のフレームを動画として抽出してもよい。

上記情報処理装置は、通話中に通話相手の音声を収録する音声収録部と、音声収録部で収録した音声から所定の時点の音声を抽出する音声抽出部と、をさらに含み、登録部は、画像抽出部が抽出した画像および音声抽出部が抽出した音声を通話終了後に電話帳に登録してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、通話相手の情報を記録する相手情報記録部と、通話中に通話相手の音声を収録する音声収録部と、音声収録部で収録した音声から、通話開始直後から所定の時点までの音声を抽出する音声抽出部と、音声抽出部が抽出した音声を通話終了後に通話相手の情報と紐付けて相手情報記録部に登録する登録部と、を含む、情報処理装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、通話中に通話相手側で撮像された該通話相手の映像を記録する画像記録ステップと、画像記録ステップで記録した映像から所定の時点の画像を抽出する画像抽出ステップと、画像抽出ステップで抽出した画像を通話終了後に通話相手の情報と紐付けて通話相手の情報を記録する相手情報記録部に登録する登録ステップと、を含む、情報処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、通話中に通話相手の音声を収録する音声収録ステップと、音声収録ステップで収録した音声から、通話開始直後から所定の時点までの音声を抽出する音声抽出ステップと、音声抽出ステップが抽出した音声を通話終了後に通話相手の情報と紐付けて通話相手の情報を記録する相手情報記録部に登録する登録ステップと、を含む、情報処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、通話中に通話相手側で撮像された該通話相手の映像を記録する画像記録ステップと、画像記録ステップで記録した映像から所定の時点の画像を抽出する画像抽出ステップと、画像抽出ステップで抽出した画像を通話終了後に通話相手の情報と紐付けて通話相手の情報を記録する相手情報記録部に登録する登録ステップと、を実行させる、コンピュータプログラムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、通話中に通話相手の音声を収録する音声収録ステップと、音声収録ステップで収録した音声から、通話開始直後から所定の時点までの音声を抽出する音声抽出ステップと、音声抽出ステップが抽出した音声を通話終了後に通話相手の情報と紐付けて通話相手の情報を記録する相手情報記録部に登録する登録ステップと、を実行させる、コンピュータプログラムが提供される。

以上説明したように本発明によれば、テレビ電話機能を用いた通話の最中に通話相手から送信された動画像を記憶し、通話終了後に記憶した動画像を用いてアドレス帳情報に画像を登録することで、簡易にアドレス帳に画像を登録可能な、新規かつ改良された情報処理装置、情報処理方法およびコンピュータプログラムを提供することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序に従って本発明の好適な実施の形態について詳細に説明する。
〔１〕本発明の一実施形態にかかるテレビ電話システムの構成
〔２〕本発明の一実施形態にかかるテレビ電話機のハードウェア構成
〔３〕本発明の一実施形態にかかるテレビ電話機の機能構成
〔４〕本発明の一実施形態にかかるテレビ電話機の動作
〔５〕変形例

〔１〕本発明の一実施形態にかかるテレビ電話システムの構成
まず、本発明の一実施形態にかかる、テレビ電話機能を有する電話機を用いたテレビ電話システムの構成について説明する。図１は、本発明の一実施形態にかかる、テレビ電話機能を有する電話機を用いたテレビ電話システムの構成について説明する説明図である。以下、図１を用いて、本発明の一実施形態にかかる、テレビ電話機能を有する電話機を用いたテレビ電話システムの構成について説明する。

図１に示したように、本発明の一実施形態にかかるテレビ電話システム１は、テレビ電話機１００、２００がネットワーク１０を介して接続されている形態を有している。ここでネットワーク１０は、有線であっても無線であってもよい。また、ネットワーク１０として、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）網であってもよく、ＰＳＴＮ（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ；公衆交換電話網）であってもよく、移動体通信網であってもよい。

テレビ電話機１００、２００は、いずれもテレビ電話機能を有する電話機である。テレビ電話機１００、２００は、単独でテレビ電話機能を有している電話機であってもよく、電話機は据え置き型であっても携帯型であってもよい。またテレビ電話機１００、２００は、パーソナルコンピュータまたはゲーム端末に小型のカメラを接続し、テレビ電話機能を実現するためのアプリケーションをインストールしたものであってもよい。またテレビ電話機１００、２００は、テレビ受像機に小型のカメラやテレビ電話機能を実現するための装置を接続したものであってもよい。

以下の説明では、テレビ電話機１００として、テレビ受像機に小型のカメラやテレビ電話機能を実現するための装置を接続したものを例示して説明するが、テレビ電話機１００としてはかかる例に限定されないことは言うまでも無い。また、以下の説明では、ユーザが使用するテレビ電話機をテレビ電話機１００、ユーザの通話相手が使用するテレビ電話機をテレビ電話機２００として説明する。

以上、図１を用いて、本発明の一実施形態にかかる、テレビ電話機能を有する電話機を用いたテレビ電話システム１の構成について説明した。次に、本発明の一実施形態にかかるテレビ電話機１００のハードウェア構成について説明する。

〔２〕本発明の一実施形態にかかるテレビ電話機のハードウェア構成
図２は、本発明の一実施形態にかかるテレビ電話機１００のハードウェア構成について説明する説明図である。以下、図２を用いて本発明の一実施形態にかかるテレビ電話機１００のハードウェア構成について説明する。

図２に示したように、本発明の一実施形態にかかるテレビ電話機１００は、ディスプレイ１０１と、カメラ１０２と、マイク１０３と、スピーカ１０４と、受光部１０５と、テレビ電話ユニット１１０と、を含んで構成される。

ディスプレイ１０１は、テレビ電話ユニット１１０と接続されており、テレビ電話機能を用いて通話相手と通話する場合に、通話相手側のテレビ電話機２００からネットワーク１０を経由して送信されて来る通話相手の画像を表示するものである。ディスプレイ１０１は、ＣＲＴモニタ、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイその他の表示装置を用いることができる。

カメラ１０２は、ユーザの映像を撮影するものである。カメラ１０２で撮影されたユーザの映像は、テレビ電話ユニット１１０において信号処理が施されて、ネットワーク１０を経由して通話相手側のテレビ電話機２００に送られる。マイク１０３は、ユーザの声を収録するものである。マイク１０３で収録されたユーザの声は、テレビ電話ユニット１１０において信号処理が施されて、ネットワーク１０を経由して通話相手側のテレビ電話機２００に送られる。スピーカ１０４は、通話相手側のテレビ電話機２００からネットワーク１０を経由して送信されて来る通話相手の音声を出力するものである。カメラ１０２、マイク１０３、およびスピーカ１０４は、テレビ電話ユニット１１０に接続されている。

受光部１０５は、テレビ電話ユニット１１０を操作するためのリモートコントローラ１５０から発せられる信号を受信し、受信した信号をテレビ電話ユニット１１０に送るものである。例えば、リモートコントローラ１５０からテレビ電話ユニット１１０の電源を投入するための信号が送られると、受光部１０５でかかる信号を受信し、テレビ電話ユニット１１０に送ることで、テレビ電話ユニット１１０の電源が投入される。リモートコントローラ１５０からの信号は赤外線によって送られてもよく、無線によって送られてもよい。

テレビ電話ユニット１１０は、テレビ電話機能を実現するためのハードウェアやソフトウェアが組み込まれている装置である。図２に示したように、本発明の一実施形態におけるテレビ電話ユニット１１０は、不揮発メモリ１１２と、メインメモリ１１４と、ビデオメモリ１１６と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１８と、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１２０と、を含んで構成される。テレビ電話ユニット１１０に含まれる各要素はシステムバス１３０によって相互に接続されている。

不揮発メモリ１１２は、主にテレビ電話機能を実現するためのコンピュータプログラムが記憶されているものである。テレビ電話機能を実現するためのコンピュータプログラムは、例えば通話相手側のテレビ電話機２００との間の通話機能を実行するテレビ電話発信プログラムである。不揮発メモリ１１２に記憶されているソフトウェアは、ＣＰＵ１１８によって読み出され、順次実行される。また、不揮発メモリ１１２には、アドレス帳情報も格納される。ユーザは、不揮発メモリ１１２に格納されたアドレス帳情報から任意の通話相手を選択することでテレビ電話機能（または音声のみによる電話機能）によって通話することができる。

メインメモリ１１４は、不揮発メモリ１１２に記憶されているソフトウェアがＣＰＵ１１８によって読み出されて実行される際に、各種演算処理のワークエリアとして用いられるものである。ビデオメモリ１１６は、通話相手側のテレビ電話機２００から送信される映像信号や、テレビ電話機能を実行するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）といった、ディスプレイ１０１に表示されるグラフィックデータを格納するものである。また、ビデオメモリ１１６は、テレビ電話機２００との間でテレビ電話機能による通話を行っている間、テレビ電話機２００から送信される映像や音声を一時的に格納する。

ＣＰＵ１１８は、数値計算、情報処理、機器制御等を実行する電子回路であり、本実施形態においては、不揮発メモリ１１２に記憶された、テレビ電話機能を実現するためのコンピュータプログラムを読み出して順次実行するものである。かかるコンピュータプログラムをＣＰＵ１１８が順次実行することで、テレビ電話ユニット１１０はテレビ電話機能を実現することができる。

ＤＳＰ１２０は、ディジタル信号処理に適したマイクロプロセッサであり、本実施形態においては、カメラ１０２から入力される映像信号やマイク１０３から入力される音声信号をエンコードしてストリームとするものである。ＤＳＰ１２０で生成されたストリームは、ネットワーク１０を経由して通話相手側のテレビ電話機２００に送信され、テレビ電話機２００において映像および音声が出力される。また、通話相手側のテレビ電話機２００から送信されてくるストリームは、ＤＳＰ１２０でデコードして映像信号および音声信号に変換される。

以上、本発明の一実施形態にかかるテレビ電話機１００のハードウェア構成について説明した。次に、本発明の一実施形態にかかるテレビ電話機１００の機能構成について説明する。

〔３〕本発明の一実施形態にかかるテレビ電話機の機能構成
図３は、本発明の一実施形態にかかるテレビ電話機１００の機能構成について説明する説明図である。以下、図３を用いて、本発明の一実施形態にかかるテレビ電話機１００の機能構成について説明する。

図３に示したように、本発明の一実施形態にかかるテレビ電話機１００は、送信用処理部１２２と、受信用処理部１２４と、メインブロック１２６と、ユーザインタフェース部１２８と、を含んで構成される。

送信用処理部１２２は、通話相手側のテレビ電話機２００へのデータの送信を実行するものである。例えば、本実施形態においては、テレビ電話機１００のユーザがテレビ電話機能によって通話相手との間で通話を開始しようとすると、後述するメインブロック１２６で通話相手側のテレビ電話機２００との間で呼制御を行う。当該呼制御の際の呼制御情報を送信用処理部１２２からネットワーク１０に向けて送出する。また、通話相手側のテレビ電話機２００との間の通信が確立すると、送信用処理部１２２は、ディジタル化された、カメラ１０２から入力される映像信号やマイク１０３から入力される音声信号をエンコードする。そして送信用処理部１２２はエンコードしたデータ対して誤り訂正などのチャネルエンコードを行う。さらに送信用処理部１２２は通話相手側のテレビ電話機２００へ送信するためにパケット化して、ネットワーク１０に向けて送出する。

受信用処理部１２４は、通話相手側のテレビ電話機２００からのデータの受信を実行するものである。例えば、本実施形態においては、テレビ電話機１００のユーザがテレビ電話機能によって通話相手との間で通話を開始しようとすると、後述するメインブロック１２６で通話相手側のテレビ電話機２００との間で呼制御を行う。当該呼制御の際に、通話相手側のテレビ電話機２００から送信されてくる呼制御情報は受信用処理部１２４で受信する。また、通話相手側のテレビ電話機２００との間の通信が確立すると、受信用処理部１２４は、通話相手側のテレビ電話機２００からパケット化された映像データや音声データを受信すると、チャネルデコードおよび映像デコード、音声デコードを実行する。デコードされた結果得られる映像信号や音声信号はユーザインタフェース部１２８に送られる。
して生成してもよい。

メインブロック１２６は、テレビ電話機能を実行するための各種処理を実行するものである。例えば、本実施形態においては、テレビ電話機１００のユーザがテレビ電話機能によって通話相手との間で通話を開始しようとすると、メインブロック１２６で通話相手側のテレビ電話機２００との間で呼制御を行う。また、メインブロック１２６は、受信用処理部１２４で受信した通話相手の映像データや音声データを用いて、画像や音声を、不揮発メモリ１１２に格納されたアドレス帳に登録する機能を有している。

また、図３に示したように、メインブロック１２６は、画像抽出部１３２と、アドレス帳登録部１３４と、を含んで構成されている。

画像抽出部１３２は、テレビ電話機２００との間でテレビ電話機能による通話を行っている間に、ビデオメモリ１１６に一時的に格納されている、テレビ電話機２００から送信される映像を、静止画または動画として抽出するものである。画像抽出部１３２による抽出のタイミングは、ユーザが指示した任意のタイミングであってもよく、予め定めた所定のタイミングであってもよい。また、画像抽出部１３２は、テレビ電話機２００から送信される映像を分析し、分析した結果に基づいて静止画または動画として抽出してもよい。画像抽出部１３２における静止画または動画の抽出については後に詳述する。

アドレス帳登録部１３４は、画像抽出部１３２が抽出した静止画または動画を、アドレス帳に登録するものである。本実施形態では、テレビ電話機２００との間でテレビ電話機能による通話が完了すると、アドレス帳登録部１３４は、通話していた相手のアドレス帳情報に関連付けて、画像抽出部１３２が抽出した静止画または動画を登録する。

ユーザインタフェース部１２８は、テレビ電話機１００のユーザからの操作入力を受け付けたり、通話相手側のテレビ電話機２００から送信されてきた映像や音声を、ディスプレイ１０１やスピーカ１０４に出力したりするものである。

以上、図３を用いて本発明の一実施形態にかかるテレビ電話機１００の機能構成について説明した。次に、本発明の一実施形態にかかるテレビ電話機１００の動作について説明する。

〔４〕本発明の一実施形態にかかるテレビ電話機の動作
図４は、本発明の一実施形態にかかるテレビ電話機１００の動作について説明する流れ図である。以下、図４を用いて本発明の一実施形態にかかるテレビ電話機１００の動作について説明する。

テレビ電話機１００を用いてテレビ電話機能によって通話相手と通話する際には、まずユーザの操作によって通話相手を選択する（ステップＳ１０２）。通話相手を選択するには、リモートコントローラ１５０等を用いてテレビ電話機１００を操作して、通話相手の電話番号を直接入力してもよく、アドレス帳から通話相手を選択してもよい。

図５は、本発明の一実施形態にかかるテレビ電話機１００において、リモートコントローラ１５０等を用いてテレビ電話機１００を操作した結果、ディスプレイ１０１に表示されるアドレス帳の画面の一例を示す説明図である。テレビ電話機１００のユーザは、図５に示したような画面が表示された状態で、リモートコントローラ１５０等を用いてテレビ電話機１００を操作することで通話相手を選択することができる。

以下においては、図５に示したアドレス帳において、一番上の「おじいちゃん、おばあちゃん」を通話相手として選択して通話した場合を例にして説明する。

上記ステップＳ１０２で通話相手を選択すると、上記ステップＳ１０２で選択した通話相手との接続を確立し、通話相手との間で通話を開始する（ステップＳ１０４）。選択した通話相手との接続を確立するには、例えばメインブロック１２６で呼制御情報を生成し、生成した呼制御情報を送信用処理部１２２から送信し、通話相手側のテレビ電話機２００からの応答を受信用処理部１２４で受信することによって行ってもよい。

図６は、本発明の一実施形態にかかるテレビ電話機１００において、通話相手との間で通話が開始された際に、ディスプレイ１０１に表示される通話画面の一例を示す説明図である。図６に示したように、通話画面には、自画面１６２と、通話相手画面１６４とが含まれる。

自画面１６２は、カメラ１０２によって撮影している画像が表示されている画面であり、自画面１６２に表示されている画像は通話相手側のテレビ電話機２００にも表示されている。また、通話相手画面１６４は、通話相手側のテレビ電話機２００のカメラで撮影された通話相手の画像である。通話相手画面１６４に表示される画像は、受信用処理部１２４でデコードされた結果得られる画像であり、ユーザインタフェース部１２８によって表示されるものである。テレビ電話機１００のユーザは、図６に示したような画面を見ながら、通話相手との間でテレビ電話機能による通話を行うことができる。

そして、本実施形態においては、通話相手側のテレビ電話機２００から送信され、受信用処理部１２４でデコードされた結果得られる画像を用いて、自動的にアドレス帳に画像を登録する。このように自動的にアドレス帳に画像を登録することで、予め電話機の内部に画像を記憶させたり、電話機以外の機器で動画像を編集したりする手間が無くなり、簡易に画像を登録することができる。以下の説明では、アドレス帳に静止画を登録する場合を例に挙げて説明する。

アドレス帳に画像を登録する際には、通話相手側のテレビ電話機２００から送信される画像を、ユーザが任意のタイミングでキャプチャを指示して、指示されたタイミングで画像抽出部１３２によって抽出してもよい。そして、画像抽出部１３２が抽出した画像を、アドレス帳登録部１３４がアドレス帳に登録する。画像のキャプチャは、例えばテレビ電話機１００のユーザがリモートコントローラ１５０を操作することによって行ってもよい。また、キャプチャ回数に制限を設けずに、何度でもキャプチャしてもよい。キャプチャした画像が複数存在する場合には、アドレス帳の画面において、キャプチャした画像をスライドショー形式で切り替えて表示してもよい。

一方、アドレス帳に画像を登録する際には、通話相手との通話中に、通話相手側のテレビ電話機２００から送信される画像を画像抽出部１３２で解析し、解析結果から特定の画像を抽出して、抽出した画像をアドレス帳登録部１３４がアドレス帳に登録するようにしてもよい。ここで、本実施形態においては、以下の解析処理を実行する。

画像抽出部１３２は、通話相手の映像データから、一定時間ごとに静止画キャプチャを実行し、静止画を抽出する（ステップＳ１０６）。

画像抽出部１３２は、通話相手の映像データに対して顔認識処理を行い、相手側の映像に人物が写っているフレームをキャプチャし、静止画として抽出する（ステップＳ１０８）。画像抽出部１３２は、画像に含まれている眉毛、目、鼻、口等の顔の特徴点を検出することによって顔認識処理を行い、例えば特開２００８−１５２５３０号公報に記載された技術を用いることができる。例えば、画像抽出部１３２は、通話相手の映像データに対して顔認識処理を行って、顔認識処理の結果から相手側のカメラに写っている人の顔の大きさを認識し、大きな顔が映っているフレームをキャプチャして、静止画として抽出してもよい。また例えば、画像抽出部１３２は、通話相手の映像データに対して顔認識処理を行い、相手側のカメラに写っている人物の表情を認識する。そして笑顔が写っているフレームをキャプチャして、静止画として抽出してもよい。

画像抽出部１３２は、通話相手の映像データに対して顔認識処理を行い、子供と大人のどちらが映っているかを認識する。そして、予め大人と子供、男性と女性のどちらを優先してアドレス帳に登録するかを設定しておき、設定に基づいてフレームをキャプチャして、静止画抽出処理を行う（ステップＳ１１０）。なお、通話相手の映像データに含まれているのが大人であるか否かの判別や、性別の判別は、例えば目、鼻、口の位置を検出し、これら顔の部位の位置関係によって判断してもよい。

通話相手の映像データに対して画像抽出部１３２においてフレーム間の変化量を求め、相手映像の動きの激しさを計測する。フレーム間の変化量が大きい画面、すなわち動きの激しい画面を静止画として抽出すると、カメラの手ブレ、または被写体ブレにより鮮明な静止画が得られない。従って、フレーム間の変化量の少ない映像を静止画として抽出する（ステップＳ１１２）。なお、フレーム間の変化量を測る手段として、以下の手段を用いてもよい。下記の各手段は単独で用いてもよく、組み合わせて用いてもよい。
（１）画面全体の動きベクトル量
（２）画面全体のフレーム間差分
（３）移動体検出による動き量計測
（４）その他フレーム間差分・移動体検出技術

なお、これらの解析処理は、図４においては一連の処理であるように示したが、本発明においては、かかる解析処理は単独で行ってもよく、また複数の解析処理を組み合わせて行ってもよい。

通話相手との通話中に、画像抽出部１３２において通話相手の映像データに対する解析処理が完了し、静止画が抽出されると、画像抽出部１３２が抽出した静止画は通話終了後にアドレス帳登録部１３４によって当該通話相手に対応するアドレス帳情報に関連付けられて、アドレス帳に登録される。通話相手との通話が終了すると（ステップＳ１１４）、アドレス帳登録部１３４は、画像抽出部１３２が抽出した静止画を当該通話相手に対応するアドレス帳情報に関連付けてアドレス帳に登録する（ステップＳ１１６）。

図７は、本発明の一実施形態にかかるテレビ電話機１００において、通話相手との通話が終了した後にアドレス帳の画面を表示させるようユーザがテレビ電話機１００に対して指示した際に、ディスプレイ１０１に表示される画面の一例を示す説明図である。図７では、一番上の「おじいちゃん、おばあちゃん」の項目に、アドレス帳登録部１３４によって画像が貼り付けられた場合を示したものである。このように、アドレス帳登録部１３４によって自動的にアドレス帳に画像を登録することで、簡易に画像をアドレス帳に貼り付けることができる。

以上、図４を用いて本発明の一実施形態にかかるテレビ電話機１００の動作について説明した。なお、図４に示した発明の一実施形態にかかるテレビ電話機１００の動作では、静止画をアドレス帳に登録する場合について説明したが、静止画ではなく動画をアドレス帳に登録してもよい。図８は、本発明の一実施形態にかかるテレビ電話機１００の動作について説明する流れ図である。以下、図８を用いて本発明の一実施形態にかかるテレビ電話機１００の動作について説明する。

静止画をアドレス帳に登録する場合と同様に、テレビ電話機１００を用いてテレビ電話機能によって通話相手と通話する際には、まずユーザの操作によって通話相手を選択する（ステップＳ１２２）。通話相手を選択するには、リモートコントローラ１５０等を用いてテレビ電話機１００を操作して、通話相手の電話番号を直接入力してもよく、アドレス帳から通話相手を選択してもよい。

上記ステップＳ１２２で通話相手を選択すると、上記ステップＳ１２２で選択した通話相手との接続を確立し、通話相手との間で通話を開始する（ステップＳ１２４）。選択した通話相手との接続を確立するには、例えばメインブロック１２６で呼制御情報を生成し、生成した呼制御情報を送信用処理部１２２から送信し、通話相手側のテレビ電話機２００からの応答を受信用処理部１２４で受信することによって行ってもよい。

アドレス帳に動画像を登録する際には、通話相手側のテレビ電話機２００から送信される動画像に対して、ユーザが任意のタイミングでキャプチャを指示して、指示されたタイミングで画像抽出部１３２によって抽出してもよい。そして、画像抽出部１３２が抽出した動画像を、アドレス帳登録部１３４がアドレス帳に登録する。動画像のキャプチャは、例えばリモートコントローラ１５０を操作することによって行ってもよく、またキャプチャ回数に制限を設けなくてもよい。キャプチャした動画像が複数存在する場合には、アドレス帳の画面において、キャプチャした動画像をスライドショー形式で切り替えて表示してもよい。

一方、アドレス帳に動画像を登録する際には、通話相手との通話中に、通話相手側のテレビ電話機２００から送信される動画像を画像抽出部１３２で解析し、解析結果から特定の動画像を抽出して、抽出した動画像をアドレス帳登録部１３４がアドレス帳に登録するようにしてもよい。ここで、本実施形態においては、以下の解析処理を実行する。

画像抽出部１３２は、通話相手の映像データから、一定時間ごとに動画キャプチャを実行し、任意の時間動画を抽出する（ステップＳ１２６）。

画像抽出部１３２は、通話相手の映像データに対して顔認識処理を行う（ステップＳ１２８）。顔認識処理においては、例えば、通話相手側のテレビ電話機２００のカメラに人が写っていることを認識し、人が写っているフレームをキャプチャして、動画像として抽出してもよい。また例えば、通話相手側のテレビ電話機２００のカメラに写っている人数を認識し、人数が多いフレーム、または人数が少ないフレームをキャプチャして、動画像として抽出してもよい。また例えば、通話相手側のテレビ電話機２００のカメラに写っている人の顔の大きさを認識し、大きな顔が映っているフレームをキャプチャして、動画像として抽出してもよい。また例えば、通話相手側のテレビ電話機２００のカメラに写っている人の顔を認識し、笑っている顔が写っているフレームをキャプチャして、動画像として抽出してもよい。なお、通話相手の映像データに含まれている顔が笑顔であるか否かは、例えば目、鼻、口の位置や形状を検出し、これら顔の部位の位置関係や形状によって判断してもよい。

また、通話相手の映像データに対して画像抽出部１３２において顔認識処理を行い、子供と大人、男性と女性のどちらが写っているか、または大人と子供、男性と女性の写っている人数を認識する。そして、予め大人と子供、男性と女性のどちらを優先するかを設定しておき、大人が写っているフレームまたは子供が写っているフレーム、または男性が写っているフレームまたは女性が写っているフレームをキャプチャして、動画像として抽出する（ステップＳ１３０）。

通話相手の映像データに対して画像抽出部１３２においてフレーム間の変化量を求め、相手映像がどの程度動いているか（動きの激しさ）を認識する。動きの大きいフレーム、または小さいフレームをキャプチャして、動画像として抽出する（ステップＳ１３２）。なお、フレーム間の変化量の計測手法は、上記ステップＳ１１２におけるフレーム間の変化量の計測手法を用いてもよい。

また、通話相手の映像データに含まれる通話相手の音声データをメインブロック１２６で分析してもよい。メインブロック１２６の分析の結果、通話相手の話し声が大きいフレームは会話が盛り上がっている時点であると判断し、画像抽出部１３２はかかるフレームをキャプチャして動画像として抽出する（ステップＳ１３４）。ステップＳ１３４における音声データの分析処理は、種々の手法を用いることが可能であり、特定の方法に限定されるものではない。

なお、これらの解析処理は、図８においては一連の処理であるように示したが、本発明においては、かかる解析処理は単独で行ってもよく、また複数の解析処理を組み合わせて行ってもよい。

通話相手との通話中に、画像抽出部１３２において通話相手の映像データに対する解析処理が完了し、動画像が抽出されると、画像抽出部１３２が抽出した動画像は通話終了後にアドレス帳登録部１３４によって当該通話相手に対応するアドレス帳情報に関連付けられて、アドレス帳に登録される。通話相手との通話が終了すると（ステップＳ１３６）、アドレス帳登録部１３４は、画像抽出部１３２が抽出した動画像を当該通話相手に対応するアドレス帳情報に関連付けてアドレス帳に登録する（ステップＳ１３８）。

以上、図８を用いて本発明の一実施形態にかかるテレビ電話機１００の動作について説明した。このように、画像抽出部１３２において通話相手の映像データを解析し、静止画像又は動画像を抽出し、抽出した静止画像又は動画像をアドレス帳に登録することで、予め画像をテレビ電話機１００に保存したり、別の装置で動画像の編集を行ったりしなくても、簡易にアドレス帳に画像を登録することができる。

なお、上述の説明では、通話相手の映像データを解析し、静止画像又は動画像を抽出し、抽出した静止画像又は動画像をアドレス帳に登録していたが、アドレス帳が音声を視聴できる機能を有している場合には、音声データを抽出し、抽出した音声データをアドレス帳に登録してもよい。

通常、通話が始まると、通話相手からは「もしもし」や、「○○（名前）です」といった定型フレーズが話されることが多い。従って、通話開始直後から所定の時点までの音声データをメインブロック１２６で抽出し、アドレス帳に登録する。かかる音声データをアドレス帳に登録することで、アドレス帳が表示されている画面で音声を再生し、どのような相手であるかをユーザに想起させることができる。

アドレス帳に登録する部分は、例えば、通話開始直後に通話相手が声を発してから、次の無音部分までとしてもよい。無音部分であるか否かの判断は、マイクレベルを確認することによって行ってもよく、パケットの中身をチェックして無音であるか否かを判断することによって行ってもよい。

また、アドレス帳に登録する部分は、通話が開始してから所定の時間（例えば３〜５秒間）であってもよい。この程度の時間であれば、通話相手からの「もしもし」や、「○○（名前）です」といった定型フレーズが含まれる十分な時間だからである。

なお、アドレス帳に音声を登録した場合には、図５や図７に示したアドレス帳の画面において、音声が登録されていることを示すアイコン（例えばマイク型のアイコン）を画像の左側や名前の右側等に表示させてもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

〔５〕変形例
例えば、上記実施形態では、画像抽出部１３２において通話相手の映像データに対して解析処理を実行し、静止画又は動画を抽出したが、抽出する静止画や動画の数は１つだけに限定されない。

例えば、画像抽出部１３２において通話相手の映像データに対して解析処理を実行し、条件に合致する静止画又は動画が複数抽出できる場合には、アドレス帳登録部１３４は、抽出した複数の静止画または動画を全てアドレス帳に登録してもよい。そして、静止画または動画が登録されたアドレス帳を表示する場合には、いわゆるスライドショー形式で登録された静止画または動画を表示させてもよい。

そして、スライドショー形式で静止画または動画を表示させる場合には、画像抽出部１３２において静止画又は動画を抽出する際に、抽出した静止画又は動画に優先度を設定してもよい。上記ステップＳ１０８において相手側のカメラに写っている人の顔の大きさを認識し、大きな顔が映っているフレームをキャプチャして、静止画として抽出する場合を例示して説明する。かかる場合において、画像抽出部１３２は、最も大きく顔が写っているフレームを最も優先度が高い静止画として設定し、顔が小さくなるに連れて優先度を下げるようにしてもよい。

また、上記ステップＳ１０８において相手側のカメラに写っている人の顔の表情を認識し、笑顔が映っているフレームをキャプチャして、静止画として抽出する場合を例示して説明する。かかる場合において、画像抽出部１３２は、最も笑顔の度合いが大きいフレームを最も優先度が高い静止画として設定し、笑顔の度合いが小さくなるに連れて優先度を下げるようにしてもよい。

本発明は、情報処理装置、情報処理方法およびコンピュータプログラムに適用可能であり、特にテレビ電話機能を有する情報処理装置、情報処理方法およびコンピュータプログラムに適用可能である。

本発明の一実施形態にかかる、テレビ電話機能を有する電話機を用いたテレビ電話システムの構成について説明する説明図である。 本発明の一実施形態にかかるテレビ電話機１００のハードウェア構成について説明する説明図である。 本発明の一実施形態にかかるテレビ電話機１００の機能構成について説明する説明図である。 本発明の一実施形態にかかるテレビ電話機１００の動作について説明する流れ図である。 アドレス帳の画面の一例を示す説明図である。 ディスプレイ１０１に表示される通話画面の一例を示す説明図である。 通話終了後のアドレス帳の画面の一例を示す説明図である。 本発明の一実施形態にかかるテレビ電話機１００の動作について説明する流れ図である。

符号の説明

１ テレビ電話システム
１０ ネットワーク
１００ テレビ電話機
１０１ ディスプレイ
１０２ カメラ
１０３ マイク
１０４ スピーカ
１０５ 受光部
１１０ テレビ電話ユニット
１１２ 不揮発メモリ
１１４ メインメモリ
１１６ ビデオメモリ
１１８ ＣＰＵ
１２０ ＤＳＰ
１２２ 送信用処理部
１２４ 受信用処理部
１２６ メインブロック
１２８ ユーザインタフェース部
１３２ 画像抽出部
１３４ アドレス帳登録部
１５０ リモートコントローラ

Claims (15)

1. 通話相手の情報を記録する相手情報記録部と、
   通話中に通話相手側で撮像された該通話相手の映像を記録する画像記録部と、
   ユーザからの指示があった時点で、前記画像記録部が記録した映像から所定の時点の画像を抽出する画像抽出部と、
   前記画像抽出部が抽出した画像を通話終了後に前記通話相手の情報と紐付けて前記相手情報記録部に登録する登録部と、
   を含み、
   前記画像抽出部は、ユーザからの指示があった時点で、前記画像記録部が記録した映像のフレーム間の変化量を検出し、該変化量が少ないフレームを静止画として抽出する、情報処理装置。
2. 前記画像抽出部は、前記画像記録部が記録した映像から一定間隔で静止画を抽出する、請求項１に記載の情報処理装置。
3. 前記画像抽出部は、前記画像記録部が記録した映像から顔が含まれているフレームを静止画として抽出する、請求項１に記載の情報処理装置。
4. 前記画像抽出部は、前記画像記録部が記録した映像に写っているのが大人であるか否かによって静止画を抽出する、請求項３に記載の情報処理装置。
5. 前記画像抽出部は動画を抽出する、請求項１に記載の情報処理装置。
6. 前記画像抽出部は、ユーザからの指示があった時点で、前記画像記録部が記録した映像から動画を抽出する、請求項５に記載の情報処理装置。
7. 前記画像抽出部は、前記画像記録部が記録した映像から一定間隔で動画を抽出する、請求項５に記載の情報処理装置。
8. 前記画像抽出部は、前記画像記録部が記録した映像から顔が含まれているフレームを動画として抽出する、請求項５に記載の情報処理装置。
9. 前記画像抽出部は、前記画像記録部が記録した映像に写っているのが大人であるか否かによって静止画を抽出する、請求項８に記載の情報処理装置。
10. 前記画像抽出部は、前記画像記録部が記録した映像のフレーム間の変化量を検出し、該変化量が少ないフレームを動画として抽出する、請求項５に記載の情報処理装置。
11. 通話中に通話相手の音声を収録する音声収録部をさらに含み、
    前記画像抽出部は、前記音声収録部が収録した音声の音量が他の時点より大きい時点のフレームを動画として抽出する、請求項５に記載の情報処理装置。
12. 通話中に通話相手の音声を収録する音声収録部と、
    前記音声収録部で収録した音声から所定の時点の音声を抽出する音声抽出部と、
    をさらに含み、
    前記登録部は、前記画像抽出部が抽出した画像および前記音声抽出部が抽出した音声を通話終了後に電話帳に登録する、請求項１に記載の情報処理装置。
13. 通話中に通話相手側で撮像された該通話相手の映像をコンピュータが記録する画像記録ステップと、
    ユーザからの指示があった時点で、前記画像記録ステップで記録した映像から所定の時点の画像を前記コンピュータが抽出する画像抽出ステップと、
    前記画像抽出ステップで抽出した画像を通話終了後に前記通話相手の情報と紐付けて前記通話相手の情報を記録する、前記コンピュータに含まれる相手情報記録部に前記コンピュータが登録する登録ステップと、
    を含み、
    前記画像抽出ステップは、ユーザからの指示があった時点で、前記画像記録ステップが記録した映像のフレーム間の変化量を検出し、該変化量が少ないフレームを静止画として抽出する、情報処理方法。
14. コンピュータに、
    通話中に通話相手側で撮像された該通話相手の映像を記録させる画像記録ステップと、
    ユーザからの指示があった時点で、前記画像記録ステップで記録された映像から所定の時点の画像を抽出する画像抽出ステップと、
    前記画像抽出ステップで抽出した画像を通話終了後に前記通話相手の情報と紐付けて前記通話相手の情報を記録する、前記コンピュータに含まれる相手情報記録部に登録する登録ステップと、
    を実行させ、
    前記画像抽出ステップは、ユーザからの指示があった時点で、前記画像記録ステップが記録した映像のフレーム間の変化量を検出し、該変化量が少ないフレームを静止画として抽出する、コンピュータプログラム。
15. コンピュータに、
    通話中に通話相手の音声を収録させる音声収録ステップと、
    ユーザからの指示があった時点で、前記音声収録ステップで収録した音声から、通話開始直後から所定の時点までの音声を抽出する音声抽出ステップと、
    前記音声抽出ステップが抽出した音声を通話終了後に前記通話相手の情報と紐付けて前記通話相手の情報を記録する、前記コンピュータに含まれる相手情報記録部に登録する登録ステップと、
    を実行させる、コンピュータプログラム。
    

Images