WO2005022461A1

WO2005022461A1 - 電子機器及び電子機器における応答情報出力方法

Info

Publication number: WO2005022461A1
Application number: PCT/JP2004/012863
Authority: WO
Inventors: Shin Yamada; Kaoru Morita; Makoto Nishimura; Yasuka Onishi; Takayuki Tashiro
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2003-09-01
Filing date: 2004-08-30
Publication date: 2005-03-10
Also published as: EP1662437A1; US20070003140A1; CN1846227A; JP2005078413A

Abstract

本発明の課題は、仮想的なキャラクタの模擬が可能な電子機器であって、利用者以外の人もその仮想的なキャラクタとコミュニケーションを行うことができ、利用者が他の人と一緒に使っても楽しめるような電子機器を提供することである。撮像部（５）を介して入力した入力画像情報を、不揮発性メモリ（４）の登録辞書に記憶される利用者の顔画像データまたは顔の特徴データと比較し、応答情報を生成する。登録辞書は、顔の部位毎の部分領域画像データまたは特徴データを含み、応答情報は、入力画像情報から抽出した顔の部位毎の画像情報と登録辞書との類似度に基づいて生成される。応答情報は、仮想的なキャラクタの行動を模擬した情報として表示部（６）に出力される。画像情報の入力、登録辞書との比較、応答情報の生成、及び応答情報の出力は、制御部（１）によって制御される。

Description

明細書電子機器及び電子機器における応答情報出力方法 <技術分野 >

本発明は、画像情報に基づく応答を行う電子機器、画像情報に基づく応答を行うとともに仮想的なキャラクタの模擬が可能な電子機器、及び電子機器の応答情報出力方法に関する。 <背景技術 >

仮想的なキャラクタとの間でコミュニケーションを行う電子機器としては、特許文献 1及ぴ特許文献 2に記載されたものが提案されている。

特許文献 1に記載された仮想ぺット装置は、外部からの音声や画像等の刺激に対して適切な応答をするものであって、外部からの刺激を解析して刺激の入力者を判別し、判別者及ぴその認識度に応じた応答を行うものである。また、特許文献 2に記載されたユーザ認識度成長システムは、玩具用、ゲーム用、民生用、産業用等のロボット装置、ナビゲーシヨン用、自動販売機用、自動受付装置用等の各種対話型のマシンに適用されるものであって、認識されたユーザ情報と記憶されたユーザ情報とを比較してユーザ認識度を演算し、演算されたユーザ認識度に応じて選択される行動、又は行動の選択方法を補正するものである。

すなわち、特許文献 1及び特許文献 2に記載されたものは、いずれも、外部からの音声や画像の入力者が、登録者であるかどうか、及び登録者である場合の認識度（なつき度）によって応答を行うものである。したがって、登録者以外の者は、仮想的なキャラクタとコミユエケーシヨンを行うことができないか、できたとしても簡単なものに限られ、所有者が友達と一緒に使う楽しみが小さい。また、入力した音声や画像そのものに対する応答を行うものでないので、応答が画一的なものになりがちである。

(特許文献 1〉国際公開第 0 0 / 5 3 2 8 1号パンフレット

(特許文献 2 ) 特開 2 0 0 1 - 5 1 9 7 0号公報本発明は、上記事情に鑑みなされたもので、仮想的なキャラクタの模擬が可能な電子機器であって、利用者以外の人もその仮想的なキャラクタとコミュニケ一シヨンを行うことができ、利用者が他の人と一緒に使っても楽しめるような電子機器及び応答情報出力方法を提供することを目的とする。また、入力画像に対して変化に富んだ応答を行うことができる電子機器及び応答情報出力方法を提供することを目的とする。

<発明の開示 >

本発明の電子機器は、画像情報に基づく応答を行うものであって、画像情報を入力する画像入力手段と、利用者の顔画像データ又は顔の特徴データを含む登録辞書を記憶する登録辞書記憶手段と、前記画像入力手段によつて入力された入力画像情報と前記登録辞書とを利用して、応答情報を生成する応答情報生成手段と、前記応答情報に基づく出力を行う出力手段とを備え、前記登録辞書は、顔の部位毎の部分領域画像データ又は特徴データを含み、前記応答情報生成手段は、前記入力画像情報から抽出した顔の部位毎の画像情報と前記登録辞書との類似度に基づいた応答情報を生成するものである。本発明によれば、入力画像情報から抽出した顔を部位毎の画像情報に応じた応答情報を生成するので、入力画像に対して変化に富んだ応答を行うことができる。

本発明の電子機器は、さらに、仮想的なキャラクタを模擬するキャラクタ模擬手段を備え、前記キャラクタ模擬手段は、前記応答情報に基づいてキャラクタの行動を模擬した模擬応答情報を生成するものであり、前記出力手段は、前記模擬応答情報に基づく出力を行うものである。本発明によれば、仮想的なキャラクタを模擬した応答を行うので、キャラクタとのコミュニケーションを楽しむことができる。

本発明の電子機器は、前記応答情報生成手段が、前記登録辞書と前記入力画像情報とを比較して、前記入力画像情報が前記利用者の画像を示すものであるかどうかを判断し、その判断結果に応じて異なる応答情報を生成するものであるものを含む。本発明によれば、利用者以外の人もその仮想的なキャラクタとコミュ二ケーシヨンを行うことができ、利用者が他の人と一緒に使っても楽しむことがでさる。

本発明の電子機器は、前記登録辞書に含まれる前記利用者の顔画像データ又は顔の特徴データが、前記入力画像情報が前記利用者の画像を示すものであると判断された場合に、その入力画像情報に基づいて更新されるものであるものを含む。本発明によれば、利用者が使用する場合には、最新の顔画像データを考慮して登録辞書を更新するので、より適確な応答を行うことができる。

本発明の電子機器は、前記入力画像情報が前記利用者の画像を示すものと判断される場合に、前記応答情報が、前記入力画像と前記利用者の前記顔の部位毎の部分領域画像データ又は特徴データとの類似度が低い顔の部位に関する情報を含むものを含む。本発明によれば、利用者に対して、いつもの顔を異なる部分についての応答がされるので、応答を楽しむことができる。

本発明の電子機器は、前記入力画像情報が前記利用者の画像を示すものと判断されない場合に、前記応答情報が、前記入力画像の顔の部位毎の部分領域画像データ又は特徴データと前記登録辞書に含まれる顔の部位毎の部分領域画像データ又は特徴データの類似度が高い顔の部位に関連する情報を含むものを含む。本発明によれば、利用者以外の画像入力に対しては、部分的に類似する人物及びその部位に関係する応答を行うことができるので、他の人と一緒に使っても楽しむことができる。利用者や利用者の周囲の人以外の人の画像データ又は特徴データを登録辞書として記憶させておくと、さらに応答を楽しむことができる。

本発明の電子機器は、前記登録辞書が、ネットワークを介してデータ提供サーバからダウンロードした画像データ又は特徴データを含むものを含む。本発明によれば、タレント、著名人等を含む多数の人の顔画像を、登録辞書として手軽に記憶させることができる。

本発明の電子機器は、前記応答情報生成手段が、ネットワークを介してデータ提供サーバからダウンロードした情報を利用して前記応答情報を生成するものであるものを含む。本発明によれば、応答情報の生成アルゴリズムを適宜選択可能となり、さらに変化に富んだ応答を楽しむことができる。本発明の電子機器は、前記ダウンロードした応答情報が、更新可能であるものを含む。本発明によれば、定期的にあるいは、利用者の希望により応答情報の生成アルゴリズムを変更することができ、さらに変化に富んだ応答を楽しむことができる。

本発明の電子機器は、前記画像入力手段が、画像撮影手段を含むものを含む。本発明によれば、手軽に画像情報を入力することができる。例えば、カメラ等の画像撮影手段の視野に顔が入ると、自動的に撮影した画像を入力し、入力画像情報に応じた応答を出力するようにすると、さらに複数の利用者が一緒に楽しむことができる。

本発明の電子機器は、前記出力手段が、画像表示手段を含むものを含む。本発明によれば、応答を手軽に出力することができる。

本発明の応答情報出力方法は、画像情報に基づく応答を行う電子機器における応答情報出力方法であって、画像情報を入力する画像入力ステップと、利用者の顔画像データ又は顔の特徴データを含む登録辞書を記憶する登録辞書記憶ステップと、前記画像入力ステップで入力された入力画像情報と、利用者の顔画像データ又は特徴データを含む登録辞書とを利用して、応答情報を生成する応答情報生成ステップと、前記応答情報生成ステップで生成した応答情報に基づく出力を行う出力ステップとを備え、前記登録辞書は、顔の部位毎の部分領域画像データ又は特徴データを含み、前記応答情報生成ステップは、前記入力画像情報から抽出した顔の部位毎の画像情報と前記登録辞書との類似度に基づいた応答情報を生成するものである。

本発明の応答情報出力方法は、前記電子機器が、仮想的なキャラクタを模擬するキャラクタ模擬手段を備え、前記キャラクタ模擬手段によって、前記応答情報生成ステツプで生成した応答情報に基づいてキャラクタの行動を模擬した模擬応答情報を生成する模擬応答情報生成ステップを含み、前記出力手段が、前記模擬応答情報に基づく出力を行うものであるものを含む。

本発明の応答情報出力方法は、前記応答情報生成ステップが、前記登録辞書と前記入力画像情報とを比較して、前記入力画像情報が前記利用者の画像を示すものであるかどうかを判断し、その判断結果に応じて異なる応答情報を生成するものであるものを含む。

本発明の応答情報出力方法は、前記入力画像情報が前記利用者の画像を示すものであると判断された場合に、前記登録辞書に含まれる前記利用者の顔画像データ又は顔の特徴データを、その入力画像情報に基づいて更新するステップを含む。本発明のプログラムは、上記した応答情報出力方法における各ステップをコンピュータを用いて実行するためのプログラムである。

本発明によれば、利用者以外の人もその仮想的なキャラクタとコミュニケーションを行うことができ、利用者が他の人と一緒に使っても楽しめるような電子機器及び応答情報出力方法を提供することができる。また、入力画像に対して変化に富んだ応答を行うことができる電子機器及び応答情報出力方法を提供することができる。ぐ図面の簡単な説明 >

図 1は、本発明の実施の形態のカメラ付き携帯電話機の概略構成を示す図である。

図 2は、本発明の実施の形態のカメラ付き携帯電話機の利用者顔情報データべースに登録される利用者顔情報の項目例を示す図である。

図 3は、本発明の実施の形態のカメラ付き携帯電話機の任意顔情報データべ一スの構成例を示す図である。

図 4は、本発明の実施の形態のカメラ付き携帯電話機の人物属性テーブルに記憶される項目の一例を示す図である。

図 5は、本発明の実施の形態のカメラ付き携帯電話機において、入力画像情報に応じた応答を行う場合の概略動作フローを示す図である。

図 6は、本発明の実施の形態のカメラ付き携帯電話機において、入力画像情報に応じた応答を行う場合の表示部の表示例を示す図である。

図 7は、本発明の実施の形態のカメラ付き携帯電話機の応答データベースに記憶される情報の一例を示す図である。なお、図中の符号 1は制御部、 2は R OM、 3は R AM、 4は不揮発性メモリ、 5は撮像部、 6は表示部、 7は操作部、 1 0は内部バス、 2 0は通信部、 2 1はアンテナ、 3 0は音声処理部、 3 1はマイクロホン、 3 2はスピーカ、 1 0 0はカメラ付き携帯電話機である。

<発明を実施するための最良の形態 >

以下、本発明の実施の形態について、図面を用いて説明する。この実施の形態では、適用する電子機器がカメラ付き携帯電話機であるが、適用対象はカメラ付き携帯電話機に限らない。

図 1は、本発明の実施の形態の電子機器であるカメラ付き携帯電話機の概略構成を示す図である。図 1のカメラ付き携帯電話機 1 0 0は、制御部 1、 R OM 2、 R AM 3、不揮発性メモリ 4、撮像部 5、表示部 6、操作部 7、内部バス 1 0、通信部 2 0、アンテナ 2 1、音声処理部 3 0、マイクロホン 3 1、スピーカ 3 2 を含む。

制御部 1は、携帯電話機 1 0 0全体の動作を制御するものであり、所定のプログラムを実行するプロセッサ（図示せず）を主体に構成される。制御部 1は、携帯電話機 1 0 0の各要素相互間の内部バス 1 0を介したデータや命令の授受の制御を行う。また、制御部 1は、詳細は後述するように、入力画像情報と不揮発性メモリ 4に記憶された前記辞書画像データとを利用して応答情報を生成する機能を有する。さらに、制御部 1は、仮想的なキャラクタを模擬する機能を有する。キャラクタの行動を模擬した画像を出力する場合は、表示部 6を介して出力し、キャラクタの行動を模擬した音声を出力する場合は、音声処理部 3 0、スピーカ 3 2を介して出力する。

R OM 2は、制御部 1を構成するプロセッサによって実行されるプログラムや携帯電話機 1 0 0で利用する各種データを記憶する。 R AM 3は、データを一時的に記憶するメモリであり、制御部 1による各種処理を実行する際のワークメモリとしても利用される。不揮発性メモリ 4は、例えば E E P R OMで構成され、後述する登録辞書、応答情報テンプレートを記憶するとともに、利用者がカメラ付き携帯電話機 1 0 0を利用する際の各種データファイル用としても利用される。撮像部 5は、レンズ等の光学系、撮像素子、画像処理部（いずれも図示せず）等を含み、撮影画像信号に基づくデジタル画像データを出力するものである。撮像部 5は、従来からのカメラ付き携帯電話機に設けられるものと同様のものであり、通常の撮影モード時の動作も同様である。すなわち、撮影モード時のスルー画像は表示部 6に表示され、操作部 7のシャッターボタンを操作すると、その時の撮影画像信号に基づくデジタル画像データが R AM 3に一時的に保持され、操作部 7から保存を支持すると、不揮発性メモリ 4に記憶される。なお、このような撮影動作を行うカメラ付き携帯電話機は周知であるので、詳細な説明は省略する。

撮像部 5は、後述する画像情報に基づく応答を行うゲームモード時に、画像情報を入力する画像入力手段としても利用される。このモード時には、表示部 6の表示画面を見ながら操作する場合が多いので、撮像部 5のレンズは、表示部 6の表示面側に向けられているのが好ましい。撮像部 5を複数設け、そのうちの 1つを表示部 6の表示面側撮影用としたり、撮像部 5の撮影方向を可変とし、ゲームモード時に表示部 6の表示面側を撮影方向とすることにより、実現できる。

表示部 6は、携帯電話機 1 0 0の各種情報を表示するもので、表示を行う液晶表示パネルとこの液晶表示パネルを駆動する表示制御回路（いずれも図示せず）とから構成される。

操作部 7は、利用者が携帯電話機 1 0 0を操作するための指令やデータの入力するためのものであり、電話番号や各種データを入力するためのテンキー、各種のファンクションキー等を含む。これらのキーは、動作モードによって異なる機能を有し、通常の撮影モード時のシャッターポタンやズームポタンの機能、後述するゲームモード時の撮影画像入力指示キーの機能も有する。また、制御部 1によって模擬される仮想的なキャラクタとのコミュニケーションを行うためのデータ入力にも利用される。

アンテナ 2 1と接続された通信部 2 0は、外部との無線通信を行うもので、送信データを搬送波に乗せてアンテナ 2 1から送信し、またアンテナ 2 1で受信した受信データを復調するものである。復調したデータが音声データである場合は、音声処理部 3 0に送られ、その他のデータである場合は、制御部 1の制御により、内部バス 1 0を介して制御部 1、 R AM 3、不揮発性メモリ 4等に送られる。また、送信データは、音声処理部 3 0から直接又は他の要素から内部パス 1 0を介して入力される。

音声処理部 3 0は、マイクロホン 3 1から入力された音声信号をデジタルデータに変換し、送信データとして通信部 2 0へ出力するとともに、通信部 2 0から出力された受信データ（音声データ）をアナログ音声信号に変換し、スピーカ 3 2へ出力するものである。また、マイクロホン 3 1からの音声信号に基づくデジタルデータを、内部バス 1 0を介して制御部 1等に送るとともに、內部パス 1 0 介して入力されるデジタルデータを音声信号に変換し、スピーカ 3 2に出力することも可能である。

次に、図 1のカメラ付き携帯電話機 1 0 0の動作について説明する。この携帯電話機 1 0 0は、音声による通話を行うだけでなく、撮像部 5を利用するカメラ機能、通信部 2 0を利用するデータ通信機能、ゲーム機能を有する。これらの機能は、操作部 7の所定のキーを操作することにより、選択的に動作可能である。なお、音声通話機能、カメラ機能、データ通信機能は、従来のものと同様であるので、説明を省略する。

ゲーム機能として、入力した画像情報に基づく応答を楽しむ機能を含んでおり、応答を行うに際して、仮想的なキャラクタの行動を模擬した出力を行う。応答情報の生成には、予め不揮発性メモリ 4に記憶された登録辞書を利用するので、まず、登録辞書について説明する。

登録辞書は、利用者顔情報データベースと、任意顔情報データベースを含む。利用者顔情報データベースは、携帯電話装置 1 0 0の利用者の顔情報を記憶するもので、利用者の顔の部位毎の部分領域画像データまたは顔の部位毎の特徴データを含む。図 2に、利用者顔情報データベースに登録される利用者顔情報の項目例を示す。これらの項目に登録されるデータは、予め入力された利用者の顔画像を分析することによって生成される。目、鼻、口、耳、眉等についてはそれらの頂点座標を、輪郭については輪郭線上の複数の点座標と、髪型については髪領域とそれ以外の領域を 2値で区別したデータを、利用者顔情報として利用することが可能である。また、要素配置デタとしては、目、鼻、口等の代表的な要素の相対位置データを登録する。なお、目、鼻、口、耳、眉等については、頂点座標ではなく、縮小した画像を利用者顔情報にしてもよい。例えば目であれば、目を含むように目周辺の画像を切出して縮小した画像を利用者顔情報としてもよい。なお、ここで利用者は、予め顔画像デタまたは顔の特徴データを利用者として登録した 1又は複数の人物を示すものである。顔画像データまたは顔の特徴データの登録は、撮像部 5によって撮影した利用者の顔画像データを入力し、制御部 1によって分析することによって行う。登録するデータには、複数の顔画像データを利用することが好ましい。したがって、後述するように、ゲーム機能利用時に利用者であると判断された画像データの分析結果を利用してもよい。複数の顔画像データを利用する場合、それらの平均値を利用してもよいし、分布を登録してもよい。

任意顔情報データベースは、任意顔情報を記憶するものであり、任意顔情報は

1又は複数の人物の顔の部位毎の画像データまたは特徴データを含むものである。図 3に任意顔情報データベースの構成例を示す。任意顔情報データベースに登録する人物は、任意である。例えば、利用者の知人の顔画像でもよいし、タレント等の著名人の顔画像でもよい。また、利用者の顔画像を含んでいてもよい。任意顔情報データベースは、撮像部 5によって撮影した利用者の顔画像データを利用して作成してもよいし、図示しないデータ提供サーバからダウンロードした顔画像データを利用して作成してもよい。また、任意顔情報データベース自体をダウンロードしてもよい。ダウンロードする場合は、携帯電話機 1 0 0がネットヮークを介してデータ提供サーバに接続可能としておく。

任意顔情報データベースに登録されるそれぞれの任意顔情報は、それぞれ人物 I Dと対応付けて記憶され、その任意顔情報の元画像が示す人物を特定できるようになつている。また、人物 I Dと対応付けてその人物の属性データを記憶する人物属性テーブルが不揮発性メモリ 4に設けられる。図 4に、人物属性テーブルに記憶される項目の一例を示す。人物属性テーブルのデータは、後述する入力画像情報に基づく応答情報の生成に利用することができる。なお、人物属性テープルのデータは、任意顔情報データベースの登録時に合わせて記憶させる。登録する顔画像データをデータ提供サーバからダウンロードする場合は、合わせて人物属性データもダウンロードするのが好ましい。また、データ提供サーバにおいて、後述する応答データベースを人物 I Dに対応付けて記憶しておいてもよい。この場合は、登録する任意顔情報データベースをデータ提供するときに応答データべースもダウンロードするのが好ましい。

続いて、ゲームモード時に、入力した画像情報に応じた応答を行う場合の動作について説明する。図 5は、入力画像情報に応じた応答を行う場合の概略動作フローを示す図である。図 5の動作は、制御部 1のプログラムによって制御される。ステップ S 5 0 1で携帯電話機 1 0 0をゲームモードに設定したあと、撮像部 5を利用して顔画像を撮影し、撮影画像情報を入力する（ステップ S 5 0 2 ) 。携帯電話機 1 0 0の制御部 1が、仮想的なキャラクタを模擬する機能を有する場合、図 6 ( a ) 及び図 6 ( b ) に示すような画像を表示部 6に表示することによつて、利用者の操作を促す。図 6の例では、制御部 1が模擬するキャラクタが猫であり、ゲームモードに設定する前は、図 6 ( a ) に示すように、寝ていたり、勝手に遊んでいる画像が表示される。そして、ステップ S 5 0 1でゲームモードに設定されると、図 6 ( b ) に示すように正面を向いて質問する。この状態で、撮像部 5が撮影可能となり、表示部 6には撮像部 5からのスルー画像が表示される。その後、操作部 7のシャッターポタンを操作することによって、撮像部 5が撮影を行い、得られた画像情報が入力され、 R AM 3に記憶される。

なお、制御部 1によって模擬されるキャラクタは、猫などの現実の生物を模擬したものでも、想像上の生物を模擬したものでも、ロボット等の無生物を模擬したものでもよい。このようなキャラクタを模擬した画像を表示する技術は、各種ゲーム装置において周知であるので説明を省略する。また、キャラクタからのメッセージを文字によって表示するだけでなく、音声によって主力させてもよい。もちろん、キャラクタの模擬技術を利用することなく、単に、文字データを表示させて画像の入力を促してもよい。

画像情報が入力されると、入力画像情報から顔の部位毎の画像情報を抽出し（ステツプ S 5 0 3 ) 、利用者顔情報データベースの利用者顔情報と比較し（ステツプ S 5 0 4 ) 、入力画像情報が利用者を示すものかどうかを判断する（ステップ S 5 0 5 ) 。判断方法は各種方法が採用できるが、一例として、顔の部位毎の類似度と主要要素の配置の類似度を求め、それらのスコア（重み付けは適宜定めておく。）を利用することができる。

入力画像情報が利用者を示すものである場合には、ステップ S 5 0 6で、利用者顔情報データベースを必要に応じて更新する。この更新処理はスキップすることも可能であり、類似度が高い場合にのみ行ってもよい。

ステップ S 5 0 7では、応答情報の生成を行う。ここでの応答情報は、入力画像情報から抽出した顔の部位毎の画像情報と、利用者顔情報データベースの利用者顔情報とを個別に比較し、その比較結果に応じて得られるものである。比較結果に応じた応答情報は、図 7に示されるような応答データベースに記憶される情報を利用して生成することができる。応答データベースに記憶される応答情報は、入力画像情報と利用者顔情報との類似度が低い顔の部位に関する情報を利用すると、いつもの顔との違いが指摘され、応答を楽しむことができる。

なお、応答データベースは、予め不揮発性メモリに記憶させておく。応答データベースに記憶させるデータは、データ提供サーバからダウンロードした情報を利用してもよい。また、データ提供サーバが提供する情報が定期的に変更される場合、さらに変化に富んだ応答を楽しむことができる。

ステップ S 5 0 7で生成された応答情報は、表示部 6に画像データとして出力される（ステップ S 5 0 8 ) 。図 6 ( c ) にその一例を示す。この例は、入力画像情報が利用者を示すものと判断されたが、髪型の類似度が特に低い場合の応答例である。なお、入力画像情報に基づく応答情報の出力は、仮想的なキャラクタを模擬した画像を利用して出力するだけでなく、音声情報を合わせて出力してもよい。また、携帯電話機 1 0 0が仮想的なキャラクタを模擬する機能を有しない場合は、表示部 6に単にテキスト情報として表示してもよいし、スピーカ 3 2に音声出力してもよい。さらに、顔の部位に関する情報を生成するときにその顔の撮影日や撮影場所の情報を保存しておいて、「3ヶ月前の顔に似ているね」というような応答をさせてもよい。

応答情報の出力後、さらにゲームを継続するかどうかを判断し（ステップ S 5 0 9 ) 、継続する場合は、ステップ S 5 0 2に戻って画像情報を入力する。ステップ S 5 0 5で、入力画像情報が利用者を示すものでないと判断された場合は、入力画像情報から抽出された顔の部位毎の画像情報を、それぞれ任意顔情報データベースの任意顔情報と比較する（ステップ S 5 1 0 ) 。そして、ステツプ S 5 0 7で、比較結果に応じた応答情報を生成する。この場合の応答情報は、比較の結果、類似度が高い任意顔情報を選択し、その部位及び人物に関連する情報を利用して生成する。

具体的には、入力画像と類似度が高い任意顔情報が抽出されると、その任意顔情報に対応する人物 I Dを利用して図 4に示すような人物属性テーブルを参照し、その人物の属性を取得する。そして、顔の部位に関する情報と人物属性を利用して応答情報を生成する。例えば、抽出した任意顔情報が目画像データベースに含まれるもので、タレント Aの目画像データであるとすると、「目が Aに似ているね」という応答文を生成する。また、利用者の複数の利用者顔情報との類似度が高い場合は、「Xさん（利用者の名前）とよく似ているね。ひょっとして親戚？」というような応答文を生成する。応答文生成のためのテンプレートは、応答データベースに予め用意しておく。なお、方言の応答データベースを用意しておき、方言の応答文を生成させてもよい。また、タレントや漫画のキャラクタの口調をまねた応答データベースを用意しておいてもよい。

また、任意顔情報に対応する人物の属性として、撮影日時の情報を保持しておいて、「目が〇年前のタレント Aに似ているね」とか、「口が〇年前のお母さんに似ているね」というような応答をさせてもよい。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとつて明らかである。

本出願は、 2003年 9月 1 S出願の日本特許出願 No.2003- 308617に基づくものであり、その内容はここに参照として取り込まれる。く産業上の利用可能性 >

本発明は、画像情報に基づく応答を行う電子機器、画像情報に基づく応答を行うとともに仮想的なキャラクタの模擬が可能な電子機器等に利用可能である。

Claims

請求の範囲

1 . 画像情報に基づく応答を行う電子機器であって、

画像情報を入力する画像入力手段と、

利用者の顔画像データ又は顔の特徴データを含む登録辞書を記憶する登録辞書記憶手段と、

前記画像入力手段によつて入力された入力画像情報と前記登録辞書とを利用して、応答情報を生成する応答情報生成手段と、

前記応答情報に基づく出力を行う出力手段とを備え、

前記登録辞書は、顔の部位毎の部分領域画像データ又は特徴データを含み、前記応答情報生成手段は、前記入力画像情報から抽出した顔の部位毎の画像情報と前記登録辞書との類似度に基づいた応答情報を生成するものである電子機器。

2 . 請求の範囲第 1項に記載の電子機器であって、

仮想的なキャラクタを模擬するキャラクタ模擬手段を備え、

前記キャラクタ模擬手段は、前記応答情報に基づいてキヤラクタの行動を模擬した模擬応答情報を生成するものであり、

前記出力手段は、前記模擬応答情報に基づく出力を行うものである電子機器。

3 . 請求の範囲第 1項又は第 2項に記載の電子機器であって、

前記応答情報生成手段は、前記登録辞書と前記入力画像情報とを比較して、前記入力画像情報が前記利用者の画像を示すものであるかどうかを判断し、その判断結果に応じて異なる応答情報を生成するものである電子機器。

4 . 請求の範囲第 3項に記載の電子機器であって、

前記登録辞書に含まれる前記利用者の顔画像データ又は顔の特徴データは、前記入力画像情報が前記利用者の画像を示すものであると判断された場合、その入力画像情報に基づいて更新される電子機器。

5 . 請求の範囲第 3項又は第 4項に記載の電子機器であって、前記入力画像情報が前記利用者の画像を示すものと判断される場合、前記応答情報は、前記入力画像と前記利用者の前記顔の部位毎の部分領域画像データ又は特徴データとの類似度が低い顔の部位に関する情報を含む電子機器。

6 . 請求の範囲第 3項ないし第 5項のいずれか 1項に記載の電子機器であつて、

前記入力画像情報が前記利用者の画像を示すものと判断されない場合、前記応答情報は、前記入力画像の顔の部位毎の部分領域画像データ又は特徴データと前記登録辞書に含まれる顔の部位毎の部分領域画像データ又は特徴データの類似度が高い顔の部位に関連する情報を含む電子機器。

7 . 請求の範囲第 1項ないし第 6項のいずれか 1項に記載の電子機器であつて、

前記登録辞書は、ネットワークを介してデータ提供サーバからダウンロードした画像データ又は特徴データを含む電子機器。

8 . 請求の範囲第 1項ないし第 7項のいずれか 1項に記載の電子機器であつて、

前記応答情報生成手段は、ネットワークを介してデータ提供サーバからダウンロードした情報を利用して前記応答情報を生成するものである電子機器。

9. 請求の範囲第 8項に記載の電子機器であって、

前記ダウンロードした応答情報は、更新可能である電子機器。

1 0 . 請求の範囲第 1項ないし第 9項のいずれか 1項に記載の電子機器であって、

前記画像入力手段は、画像撮影手段を含む電子機器。

1 1 . 請求の範囲第 1項ないし第 1 0項のいずれか 1項に記載の電子機器であって、

前記出力手段は、画像表示手段を含む電子機器。

1 2 . 画像情報に基づく応答を行う電子機器における応答情報出力方法であって、

画像情報を入力する画像入力ステップと、

利用者の顔画像データ又は顔の特徴データを含む登録辞書を記憶する登録辞書記憶ステップと、

前記画像入力ステップで入力された入力画像情報と、利用者の顔画像データ又は特徴データを含む登録辞書とを利用して、応答情報を生成する応答情報生成ステツプと、

前記応答情報生成ステップで生成した応答情報に基づく出力を行う出カステツプとを備え、

前記登録辞書は、顔の部位毎の部分領域画像データ又は特徴データを含み、前記応答情報生成ステップは、前記入力画像情報から抽出した顔の部位毎の画像情報と前記登録辞書との類似度に基づいた応答情報を生成するものである応答情報出力方法。

1 3 . 請求の範囲第 1 2項に記載の応答情報出力方法であって、

前記電子機器は、仮想的なキャラクタを模擬するキャラクタ模擬手段を備え、前記キャラクタ模擬手段によって、前記応答情報生成ステップで生成した応答情報に基づいてキャラクタの行動を模擬した模擬応答情報を生成する模擬応答情報生成ステップを含み、

前記出力手段は、前記模擬応答情報に基づく出力を行うものである応答情報出力方法。

1 4. 請求の範囲第 1 2項又は第 1 3項に記載の応答情報出力方法であつて、前記応答情報生成ステップは、前記登録辞書と前記入力画像情報とを比較して、前記入力画像情報が前記利用者の画像を示すものであるかどうかを判断し、その判断結果に応じて異なる応答情報を生成するものである応答情報出力方法。

1 5 . .請求の範囲第 1 4項に記載の応答情報出力方法であって、

前記入力画像情報が前記利用者の画像を示すものであると判断された場合、前記登録辞書に含まれる前記利用者の顔画像データ又は顔の特徴データを、その入力画像情報に基づいて更新するステップを含む応答情報出力方法。

1 6 . 請求の範囲第 1 2項ないし第 1 5項のいずれか 1項に記載の各ステップをコンピュータを用いて実行するためのプログラム。