JPWO2013077076A1 - 表情出力装置及び表情出力方法 - Google Patents

Abstract

表情を取得するための目印を付け続けることなく、ユーザが動いても表情の取得を続けられるようにする。
ユーザが掛ける眼鏡型装置１は、フレーム１００のフロント部分の端に魚眼レンズを備えた第１カメラ１１０Ｌと第２カメラ１１０Ｒを有する。各カメラで得られたユーザの顔の画像は、情報処理装置２へ送られる。情報処理装置２は、各カメラの画像を平面展開し、両目、両眉及び口の部分の画像を、予め顔を正面から撮影した画像に合成する。情報処理装置２は、合成で得られた顔の画像について表情を認識し、認識した表情の３次元モデルを表示する。

Description

本発明は、人間の表情を出力する技術に関する。

人間の表情を出力する発明として、例えば特許文献１，２に開示された発明がある。特許文献１に開示された発明は、自動車に設けられたカメラで運転者の顔全体を撮影してオプティカルフローを求め、求めたオプティカルフローと予め記憶している表情パターンとを照合して運転者の表情を特定する。また、特許文献２に開示された発明は、顔に設けられた複数のマーカを、ヘルメットのバイザーに設けられた複数のカメラで撮影する。そして、撮影したマーカの位置を解析し、解析結果から顔を表すモデルを生成して出力する。

特開２００５−１８２３７５号公報 特表２００９−５０６４４２号公報

特許文献１の発明においては、運転中の顔の正面を撮影する位置にカメラが固定されている。このため運転者が顔の向きを変えた場合や頭部の位置を動かした場合には、顔の全体を捉えることができず、表情の特定ができなくなる。この点について特許文献２の発明は、顔の向きや位置の変化に伴ってカメラも移動するため、マーカが取り付けられた者が動いたり顔の向きを変えたりしても、顔に対する複数のカメラの相対的な位置が変わらず、ヘルメットを被った者の表情を常に出力することができる。しかしながら、特許文献２の発明においては、表情を出力するためには、顔に複数のマーカを付けたままの状態で顔を撮影するする必要があり、撮影をされる者が複数のマーカに対して煩わしさを感じてしまう。

本発明は、上述した背景の下になされたものであり、表情を取得するための目印を付け続けることなく、ユーザが動いても表情の取得を続けられる技術を提供することを目的とする。

上記課題を解決するため、本発明は、頭部に装着されるフレームと、前記フレームに設けられ、当該フレームを装着したユーザの顔の画像を所定方向から撮影する撮影部と、前記撮影部で撮影された画像中にある顔の所定部位の座標を、前記顔を前記撮影部の射影方式とは異なる射影方式で前記所定方向とは異なる別方向から撮影した時の画像中の座標に変換する変換部と、前記変換部で変換された座標に基づいて前記ユーザの表情を認識する認識部と、前記認識部で認識された表情を表す画像を出力する出力部とを有する表情出力装置を提供する。

上記表情出力装置においては、前記フレームは、眼鏡のフレームの形状であり、前記撮影部の画角は、撮影された画像中に少なくとも前記顔にある予め定められた部位の画像が入る画角であり、前記出力部が出力した画像を他の装置へ送信する送信部を有する構成としてもよい。

また、上記表情出力装置においては、前記変換部は、前記所定部位の画像を予め定められた平面に写像し、前記平面に写像された前記所定部位の画像中の座標を、前記所定部位を前記別方向から見た画像中の座標に変換する構成としてもよい。

また、上記表情出力装置においては、前記認識部は、前記変換部で変換された後の画像中の顔の向きに対応したアルゴリズムにより表情を認識する構成としてもよい。

また、上記表情出力装置においては、ユーザにより操作される操作部と、前記操作部にされた操作に基づいて、前記撮影部で撮影された画像内において指定された領域を特定する領域特定部とを有し、前記変換部は、前記撮影部で撮影された画像のうち前記領域特定部で特定された領域内の画像を変換する構成としてもよい。

また、上記表情出力装置においては、前記撮影部の射影方式とは異なる射影方式で予め前記別方向から撮影した前記顔の画像を記憶する記憶部を備え、前記変換部は、前記撮影部で撮影された前記顔の画像中にある特徴点のうち、前記記憶部に記憶された前記顔の画像中にある特徴点に対応する特徴点を特定し、当該特定した特徴点の画像中における座標と、前記記憶された画像中の座標であって、当該特定した特徴点に対応する特徴点の座標とに基づいて、前記撮影部で撮影された画像中の座標を前記別方向から撮影した画像中の座標に変換する計算モデルを求める構成としてもよい。

また、上記表情出力装置においては、前記撮影部の射影方式とは異なる射影方式で予め前記別方向から撮影した前記顔の画像を記憶する記憶部を備え、前記変換部は、前記撮影部で撮影された前記顔の画像中にある特徴点を結んで得られる領域に対応する領域を、前記記憶部に記憶された前記顔の画像中において特定し、前記撮影部で撮影された前記顔の画像中にある特徴点を結んで得られる領域と、該特定した領域とに基づいて、前記撮影部で撮影された前記顔の画像中にある特徴点を結んで得られる領域の画像を、前記別方向から撮影した画像に変換する計算モデルを求める構成としてもよい。

また、上記表情出力装置においては、前記変換部は、前記撮影部で撮影された画像中にある前記所定部位の画像を前記計算モデルを用いて変換し、変換後の前記所定部位の画像を前記記憶された画像中の前記所定部位の位置に合成する構成としてもよい。

また、上記表情出力装置においては、前記フレームは、前記ユーザの頭部の状態を検出するセンサを有し、前記認識部は、前記変換部で変換後の画像と前記センサの検出結果とを用いて前記ユーザの表情を認識する構成としてもよい。

また、本発明は、頭部に装着されるフレームに設けられ、当該フレームを装着したユーザの顔を所定方向から撮影する撮影部で撮影された前記ユーザの顔の画像を取得する取得ステップと、前記取得ステップで取得された画像中にある顔の所定部位の画像を、前記撮影部の射影方式とは異なる射影方式で前記所定方向とは異なる別方向から撮影した画像に変換する変換ステップと、前記変換ステップで変換後の画像から前記ユーザの表情を認識する認識ステップと、前記認識ステップで認識された表情を表す画像を出力する出力ステップとを有する表情出力方法を提供する。

本発明によれば、表情を取得するための目印を付け続けることなく、ユーザが動いても表情の取得を続けることができる。

本発明の第一及び第二実施形態に係る装置の外観図。 眼鏡型装置１のハードウェア構成を示したブロック図。 第１画像信号が表す画像を示した図。 第１カメラ１１０Ｌと第２カメラ１１０Ｒの射影方式を説明するための図。 情報処理装置２のハードウェア構成を示した図。 情報処理装置２において実現する機能の構成を示したブロック図。 平面展開を説明するための図。 ＵＶ平面の領域の一例を示した図。 平面展開された画像の一例を示した図。 チェッカーボードＣＫの一例を示した図。 チェッカーボードＣＫが貼りつけられた顔の画像の一例を示した図。 チェッカーボードＣＫが貼りつけられた顔の画像を平面展開した図。 準備動作の処理の流れを示したフローチャート。 出力動作の処理の流れを示したフローチャート。 第二実施形態の情報処理装置２で実現する機能の構成を示したブロック図。 第二実施形態の準備動作の処理の流れを示したフローチャート。 特徴点の一例を示した図。 第二実施形態に係るテーブルの一例を示した図。 特徴点の対応関係を例示した図。 第二実施形態の出力動作の処理の流れを示したフローチャート。 変形例に係るヘッドセット３の外観を示した図。 変形例に係る眼鏡型装置のハードウェア構成を示した図。 変形例に係る情報処理装置２の処理の流れを示したフローチャート。 特徴点を結んで得られる領域の一例を示した図。 ３次元モデルにおいて顔の正面の画像が合成される領域を示した図。

１…眼鏡型装置、２…情報処理装置、３…ヘッドセット、１００…フレーム、１１０Ｌ…第１カメラ、１１０Ｒ…第２カメラ、１２０…通信部、１３０…制御部、１４０…記憶部、２１…液晶ディスプレイ、２２…キー、２３…タッチパッド、２００…バス、２０１…制御部、２０２…記憶部、２０３…操作部、２０４…表示部、２０５…通信部、２１１…平面展開部、２１２…射影変換部、２１３…表情認識部、２１４…顔モデル合成部、２１５…変換部、３０１…ヘッドフォン、３０２…アーム、３０３…マイクロフォン、３０４…カメラ、３２０…通信部

［第一実施形態］
＜構成＞
図１は、本発明の第一実施形態に係る眼鏡型装置１と情報処理装置２の外観を示した図である。眼鏡型装置１は、眼鏡と同じ形状でユーザが掛ける装置である。また、情報処理装置２は、眼鏡型装置１を掛けたユーザの表情を出力する装置である。

図２は、眼鏡型装置１のハードウェア構成を示したブロック図である。眼鏡型装置１は、眼鏡のフレームと同じ形状のフレーム１００、第１カメラ１１０Ｌ、第２カメラ１１０Ｒ、及び通信部１２０で構成されている。フレーム１００のフロント部分には、眼鏡型装置１を掛けたユーザ側から見て左端に第１カメラ１１０Ｌが配置され、右端に第２カメラ１１０Ｒが配置されている。第１カメラ１１０Ｌと第２カメラ１１０Ｒはフレーム１００に固定されているため、各カメラは常に顔から所定の距離範囲内に位置し、且つ、所定範囲内の方向から顔を撮影することとなる。第１カメラ１１０Ｌ及び第２カメラ１１０Ｒは、魚眼レンズと撮像素子を備えたデジタルカメラであり、第１カメラ１１０Ｌは、ユーザの顔の左側半分を撮影し、第２カメラ１１０Ｒは、ユーザの顔の右側半分を撮影する。第１カメラ１１０Ｌは、撮像素子によって得られた画像を示す第１画像信号を出力し、第２カメラ１１０Ｒは、撮像素子によって得られた画像を示す第２画像信号を出力する。

図３は、第１画像信号が表す画像の一例を示した図である。図３に示したように第１カメラ１１０Ｌから出力された第１画像信号は、ユーザの顔の左側半分を含む画像となる。同様に、第２カメラ１１０Ｒから出力される第２画像信号は、ユーザの顔の右側半分を含む画像となる。なお、実際には第１カメラ１１０Ｌ及び第２カメラ１１０Ｒでは、フレーム１００も撮影されるが、図３においては図面が繁雑になるのを防ぐためにフレーム１００の図示を省略している。

ここで、第１カメラ１１０Ｌと第２カメラ１１０Ｒの射影方式について、図４を用いて説明する。まず、各々直交するＸ軸、Ｙ軸及びＺ軸で表される３次元空間中において魚眼レンズの中心軸をＺ軸とした仮想球面ＳＳを想定する。ここで、Ｚ軸とのなす角度がθであり、Ｘ軸とのなす角度がφであって仮想球面ＳＳの原点に向かう光線が仮想球面ＳＳ上の点Ｐの座標（ｘ，ｙ，ｚ）で交わるとする。点Ｐは、ＸＹ平面（撮像素子の画像平面）に射影され、その座標は、上記のθとφによって決まる。例えば、魚眼レンズの射影方式が正射影方式の場合、この光線は、ＸＹ平面上では図に示した点Ｐ１の位置に射影され、点Ｐ１の座標は（ｘ，ｙ，０）となる。また、原点から点Ｐ１までの距離をｒとすると、ｒ∝sinθとなり、円の中心付近の画像が大きく写り、円周付近ほど画像が小さくなる。なお、等距離射影方式の場合は、r∝θとなり、立体射影方式の場合は、r∝tan(θ/2)となる。いずれの場合においても、魚眼レンズで得られる画像は、中心射影方式の標準レンズで得られる画像とは異なる歪んだ画像となる。

図２に戻り、フレーム１００のテンプル部分には、通信部１２０が配置されている。通信部１２０は、第１カメラ１１０Ｌ及び第２カメラ１１０Ｒに接続されている。通信部１２０は、第１カメラ１１０Ｌから出力された第１画像信号と、第２カメラ１１０Ｒから出力された第２画像信号を取得する。通信部１２０は、無線通信を行う通信インターフェースとして機能し、取得した第１画像信号と第２画像信号を無線通信により情報処理装置２へ送信する。

図５は、情報処理装置２のハードウェア構成を示した図である。情報処理装置２の各部は、バス２００に接続されている。情報処理装置２の各部は、このバス２００を介して各部間でデータのやり取りを行う。
通信部２０５は、無線通信や有線通信を行う通信インターフェースとして機能する。通信部２０５は、眼鏡型装置１の通信部１２０から送信される各画像信号を受信する。また、通信部２０５は、通信ケーブルで接続されたデジタルカメラなどの外部装置から画像データを取得する機能も有する。

表示部２０４は、表示装置として液晶ディスプレイ２１を有しており、制御部２０１の制御の下、文字やグラフィック画面、情報処理装置２を操作するためのメニュー画面などを表示する。操作部２０３は、情報処理装置２を操作するための複数のキー２２や、液晶ディスプレイ２１の表面に配置された透明なタッチパッド２３などである。情報処理装置２のユーザが、キー２２を操作すると、操作されたキー２２を示すデータが操作部２０３から制御部２０１へ出力される。また、情報処理装置２のユーザが、タッチパッド２３に触れると、触れた位置を示すデータが操作部２０３から制御部２０１へ出力される。

記憶部２０２は、不揮発性メモリを有しており、制御部２０１が実行するプログラムや、ユーザの表情の出力を行う際に使用する各種データを記憶する。例えば、記憶部２０２は、表情を出力する機能を実現する表情認識プログラムを記憶する。また、記憶部２０２は、表情の認識を行う際に使用するキャリブリレーションデータＣＤ、表情データベースＤＢ、顔モデルデータＭＤを記憶する。なお、これらの各データの詳細については後述する。

制御部２０１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備えるマイクロコントローラである。情報処理装置２の電源が入れられると、制御部２０１は、ＲＯＭや記憶部２０２に記憶されたプログラムを実行する。プログラムを実行する制御部２０１は、各部を制御する制御手段として機能し、操作部２０３から出力されたデータを取得すると、取得したデータの内容に応じて各部を制御する。

また、制御部２０１が、表情認識プログラムを実行すると、眼鏡型装置１を掛けたユーザの表情を出力する機能が実現される。図６は、情報処理装置２において実現される機能の構成を示したブロック図である。

平面展開部２１１は、通信部２０５が取得した第１画像信号と第２画像信号を取得する。第１画像信号と第２画像信号が表す画像は、上述したように歪んだ画像であり、このように歪んだ画像では、表情の認識の際に目や鼻や眉、口などを特定するのが難しくなる。このため、平面展開部２１１は、第１画像信号が表す画像と、第２画像信号が表す画像を仮想平面において平面化した画像を生成する。なお、以下の説明においては、中心射影方式以外のレンズで得られた第１映像信号と第２映像信号の画像を仮想平面へ写像して平面化された画像を得ることを平面展開と称する。

ここで、平面展開について図７を用いて説明する。魚眼レンズで得た画像から平面化された画像を求めるためには、撮像素子の画像平面（ＸＹ平面）に対して、ＸＹ平面の画像が写像される平面(図７のＵＶ平面)を仮想的に定義する。そして、ＵＶ平面を通過して仮想球面ＳＳに交差した光線がＸＹ平面上において射影される座標を計算する。なお、この計算に使用される計算式は、魚眼レンズの射影方式や魚眼レンズの仕様によって予め設定されている。
例えば、魚眼レンズが正射影方式である場合、ＵＶ平面上の点Ｑを通過し、Ｚ軸とのなす角度がθ、Ｘ軸とのなす角度がφの光線が、仮想球面ＳＳ上の点Ｑ１で仮想球面ＳＳに交差すると、ＸＹ平面上では図に示した点Ｑ２の位置に射影される。ここで、点Ｑ２の座標（ｘｆ，ｙｆ，０）となるが、仮想球面ＳＳの半径をＲとすると、ｘｆは、ｘｆ＝Ｒｓｉｎθｃｏｓφで求められ、ｙｆは、ｙｆ＝Ｒｓｉｎθｓｉｎφで求められる。このように、ＵＶ平面上の点Ｑは、撮像素子の画像平面において点Ｑ２にある画素に対応しているため、点Ｑ２の画像をＵＶ平面上に写像することにより、ＵＶ平面上の画素を得ることができ、定義したＵＶ平面の全ての座標について、ＸＹ平面の対応する座標を写像すると、魚眼レンズの画像から仮想平面へ写像された画像を得ることができる。

図８は、第１画像信号が表す画像の一例を示した図であり、図９は、図８の画像を平面展開して得られた画像の一例を示した図である。図８に示したように、第１カメラ１１０Ｌで得られた画像において、ＵＶ平面がグレーで示された領域に射影される場合、この領域の画像をＵＶ平面に写像すると、図９に示した画像が得られる。

射影変換部２１２は、平面展開部２１１で平面展開された画像から、ユーザの右眼、左眼、右眉、左眉及び口の各部を正面から撮影したときの画像を生成するものである。平面展開された各部の画像から正面の画像を得るには、ホモグラフィ行列と呼ばれる３×３の行列を利用する。なお、平面展開された画像の座標と正面の画像の座標との対応関係（変換式）を表すものを、計算モデルと呼ぶこととする。つまり、このホモグラフィ行列は、計算モデルの一種である。ホモグラフィ行列を用いた画像変換については、例えば、システム制御情報学会の学会誌である「システム／制御／情報」の第５３巻第１１号の「ビジュアルサーボ−II−コンピュータビジョンの基礎」に説明がある。ホモグラフィ行列を利用することで、顔を正面から撮影した画像を得ることができる。

なお、ホモグラフィ行列を求めるためには、顔の正面からの画像を予め撮影し、撮影した顔の正面からの画像と、平面展開された画像との対応関係を得る必要がある。ここで、対応関係とは、同一の点がそれぞれの画像上のどの位置に投影されているかを特定することである。この対応関係を得るため、第一実施形態では、図１０に示した黒と白の矩形領域を持つチェッカーボードＣＫを利用する。なお、チェッカーボードＣＫを利用する利点としては、画像から抽出される抽出点であってチェッカーボードにおける特徴点の一例である格子点（黒と白の矩形領域の頂点）を容易に検出可能であり、２つの画像間で対応関係が求めやすく、各格子点が両方の画像上にあることが担保されている点などがある。

図１０に示すチェッカーボードＣＫの場合、図１０において白丸で示した１２個の格子点を２つの画像において容易に求めることができるため、この対応関係から２つの画像間のホモグラフィ行列を求めることができる。なお、チェッカーボードＣＫを用いて２つの画像間の対応関係を求める方法として、Zhengyou Zhangによる「Flexible Camera Calibration By Viewing a Plane From Unknown Orientations」という論文に記載された方法があり、第一実施形態でもこの方法を用いてホモグラフィ行列を求める。

ホモグラフィ行列を求める際には、図１０に示したように、まずユーザの顔において正面からの画像を得たい部分（例えば、左眼、右眼、右眉、左眉及び口）にチェッカーボードＣＫを貼付ける。チェッカーボードＣＫをユーザの顔に貼りつけたまま、標準レンズを備えたカメラで顔を正面から撮影すると、図１０の画像が得られる。
次に、チェッカーボードＣＫを顔に貼りつけたまま、眼鏡型装置１を掛けてユーザの顔を撮影すると、第１カメラ１１０Ｌにおいては図１１に示した画像が得られ、図１１においてグレーで示した左眼部分の領域をＵＶ平面に展開すると、図１２に示した画像が得られる。同様に口の部分についても平面展開すると、口の部分を平面展開した画像が得られる。また、第２カメラ１１０Ｒにおいては、顔の右側の画像が得られ、この画像を平面展開すると右眼の部分と口の部分を平面展開した画像が得られる。なお、図１１，１２においては図面が繁雑になるのを防ぐため、右眉、左眉及び口に貼りつけられたチェッカーボードＣＫの図示を省略している。

このように、眼鏡型装置１のカメラと、顔の正面に配置したカメラとで同一のチェッカーボードＣＫを撮影した画像を得たあと、チェッカーボードＣＫの格子点の対応関係を求めると、平面展開した画像（図１２）と、顔の正面の画像との間でホモグラフィ行列を求めることができる。このように事前にチェッカーボードＣＫを用いてホモグラフィ行列を求め、求めたホモグラフィ行列をキャリブレーションデータＣＤとして記憶部２０２に記憶させておく。この記憶されたホモグラフィ行列を用いれば、平面展開部２１１で平面展開された画像から、右眼、左眼、右眉、左眉及び口について正面からの画像を生成することができる。

図６に戻り、表情認識部２１３は、射影変換部２１２で生成された画像と、記憶部２０２に記憶された表情データベースＤＢに含まれているデータを用い、既知の表情認識アルゴリズムによって、表情（例えば、驚き、怒り、恐れ、嫌悪、悲しみ、幸福などの感情、及び目の瞬きや開き具合、眉の動き、口角の上がり具合などの顔を構成する部位の動き）を認識する。なお、既知の表情認識アルゴリズムとしては、表情筋の動きを利用するもの、顔の特徴点の移動量から推定するものなど種々のアルゴリズムがあり、表情データベースＤＢは、使用するアルゴリズムに対応したデータを含んでいる。

顔モデル合成部２１４は、記憶部２０２に記憶されている顔モデルデータＭＤと、表情認識部２１３で認識した表情に基づいて、顔の３次元モデルを生成する。顔モデルデータＭＤは、顔の正面写真やレンジスキャナなどから生成されたデータであり、ユーザの顔の３次元モデルを表すデータである。顔モデル合成部２１４は、表情認識部２１３で認識した表情に基づいて、顔モデルデータＭＤが表す３次元モデルを加工し、認識した顔の３次元モデルを生成する。ユーザの顔の３次元モデルを顔モデルデータＭＤとして記憶させておけば、３次元モデルの表情を眼鏡型装置１を掛けたユーザの表情にすることができる。なお、顔の正面写真から顔の３次元モデルを作成し、３次元モデルの表情を変更する技術としては、ＭｏｔｉｏｎＰｏｒｔｒａｉｔ（登録商標）と呼ばれる技術がある。顔モデル合成部２１４は、顔の３次元モデルを生成すると、生成した３次元モデルを表示部２０４に出力する。これにより、顔の３次元モデルが表示部２０４の液晶ディスプレイに表示される。

＜動作＞
次に、第一本実施形態の動作について説明する。なお、第一実施形態においては、大別すると、ユーザの表情の出力や３次元モデルの作成に使用するデータを準備する準備動作と、準備したデータを用いてユーザの表情の出力を行う出力動作とがある。以下の説明においては、まず準備動作について説明し、次に出力動作について説明する。

図１３は、準備動作で行う処理の流れを示したフローチャートである。準備動作を行うよう指示する旨の操作が操作部２０３において行われると、図１３に示した処理が実行される。まず、情報処理装置２は、顔モデルデータＭＤを得るため、ユーザの顔を正面から撮影した画像を取得する（ステップＳＡ１）。具体的には、デジタルカメラでユーザの顔を正面から撮影し、撮影により得られた画像を通信部２０５がデジタルカメラから取得する。なお、この撮影で用いられるデジタルカメラのレンズは所謂標準レンズであり、取得した顔の画像は魚眼レンズで得られる画像と比較すると歪みの少ない画像となる。情報処理装置２は、外部装置から画像を取得すると、取得した画像を記憶部２０２に記憶する（ステップＳＡ２）。

情報処理装置２は、顔の正面の画像を記憶すると、記憶した画像を用いて顔の３次元モデルを生成して記憶する（ステップＳＡ３）。なお、３次元モデルを生成する際には、上述したＭｏｔｉｏｎＰｏｒｔｒａｉｔの技術を用いてもよい。この生成された３次元モデルは、顔モデルデータＭＤとして記憶部２０２に記憶される。

次に情報処理装置２は、ホモグラフィ行列を作成するための画像を取得する。まず、チェッカーボードＣＫをユーザの顔の左目、右目、右眉、左眉、口などの位置に貼付け、標準レンズのデジタルカメラでユーザの顔を正面から撮影する。情報処理装置２は、この撮影により得られた画像（図１０）をデジタルカメラから取得し、取得した画像を記憶部２０２に記憶する（ステップＳＡ４）。次にユーザが眼鏡型装置１を掛け、第１カメラ１１０Ｌと第２カメラ１１０ＲでチェッカーボードＣＫが貼られた顔を撮影する。情報処理装置２は、この撮影により得られた画像信号を眼鏡型装置１から無線通信によって通信部２０５で取得する（ステップＳＡ５）。

情報処理装置２は、眼鏡型装置１から取得した画像信号の画像を液晶ディスプレイ２１に表示する。ここでは、第１カメラ１１０Ｌで撮影した画像と第２カメラ１１０Ｒで撮影した画像の両方が表示される。次に、情報処理装置２の領域特定部２１６は、眼鏡型装置１から得られる画像において平面展開する領域を取得する（ステップＳＡ６）。具体的には、表示された画像においてチェッカーボードＣＫを含む領域をユーザがタッチパッド２３に触れて指定すると、この指定された領域が平面展開される領域として取得される。例えば、第１カメラ１１０Ｌで得た画像の場合、左眼を含む領域と、左眉を含む領域と、口を含む領域が指定され、第２カメラ１１０Ｒで得た画像の場合、右眼を含む領域と、右眉を含む領域と、口を含む領域が指定される。情報処理装置２は、この取得した領域を表す展開領域データをキャリブレーションデータＣＤとして記憶部２０２に記憶する（ステップＳＡ７）。

ステップＳＡ７が終了すると、情報処理装置２の平面展開部２１１は、ステップＳＡ７で記憶した展開領域データに基づいて、眼鏡型装置１から取得した画像信号が表す画像を平面展開する（ステップＳＡ８）。これにより、第１画像信号が表す画像においては、左眼の部分と口の部分が平面展開され、第２画像信号においては、右眼の部分と口の部分が平面展開される。

次に情報処理装置２は、ステップＳＡ４で得た画像中にあるチェッカーボードＣＫの格子点と、ステップＳＡ７で得た画像中にあるチェッカーボードＣＫの格子点を特定する（ステップＳＡ９）。情報処理装置２は、ステップＳＡ９の処理を終えると、ステップＳＡ４で得た画像中にある格子点毎に、ステップＳＡ７で得た画像において対応する格子点を特定する（ステップＳＡ１０）。例えば、図１２の平面展開された左眼の部分の画像中の格子点Ｐ１０Ａは、図１０の左眼の部分の格子点Ｐ１０に対応する格子点として特定される。

情報処理装置２は、ステップＳＡ１０の処理が終了すると、ステップＳＡ１０で得た格子点の対応関係に基づいてホモグラフィ行列を算出し（ステップＳＡ１１）、求めたホモグラフィ行列をキャリブレーションデータＣＤとして記憶部２０２に記憶する（ステップＳＡ１２）。以上の動作により、表情の出力に用いるキャリブレーションデータＣＤと、３次元モデルの作成に用いる顔モデルデータＭＤとが記憶部２０２に記憶される。

次に、出力動作について説明する。図１４は、出力動作で行う処理の流れを示したフローチャートである。ユーザの表情の出力を指示する旨の操作が操作部２０３において行われると、図１４に示した処理が実行される。まず、チェッカーボードＣＫを顔から外したユーザが眼鏡型装置１を掛けると、第１カメラ１１０Ｌから出力された第１画像信号と、第２カメラ１１０Ｒから出力された第２画像信号が通信部１２０から送信され、通信部１２０から送信された各画像信号が通信部２０５で受信される（ステップＳＢ１）。

画像信号が通信部２０５で受信されると、平面展開部２１１は、ステップＳＡ７で記憶した展開領域データに基づいて、眼鏡型装置１から取得した画像信号が表す画像に対して平面展開を行う（ステップＳＢ２）。例えば、第１カメラ１１０Ｌから得られた画像が図３の画像であり、第１カメラ１１０Ｌからの画像に対して左眼を含む領域と口を含む領域とが展開領域データとして記憶されている場合、左眼を含む領域を平面展開した画像と、口を含む領域を平面展開した画像が得られる。また、第２カメラ１１０Ｒからの画像に対して右眼を含む領域と口を含む領域とが展開領域データとして記憶されている場合、右眼を含む領域を平面展開した画像と口を含む領域を平面展開した画像とが得られる。

平面展開した画像が得られると、射影変換部２１２は、記憶部２０２に記憶されているキャリブレーションデータＣＤに含まれるホモグラフィ行列を使用し、平面展開された右眼の画像、平面展開された左眼の画像、及び平面展開された口の画像から、右眼を正面から見た画像、左眼を正面から見た画像、及び口を正面から見た画像を生成する（ステップＳＢ３）。

右眼、左眼及び口について、正面から見た画像が得られると、表情認識部２１３は、得られた画像をステップＳＡ２で記憶した画像に合成した画像を生成する（ステップＳＢ４）。これにより、ステップＳＡ２で記憶した顔の画像中の右眼、左眼及び口の部分が、ステップＳＢ３で得た平面展開された画像に置き換えられる。

表情認識部２１３は、ステップＳＢ４の処理が終了すると、ステップＳＢ４で得た画像に後処理（ステップＳＢ５）を施す。例えば、ステップＳＡ２で得た画像と、眼鏡型装置１で得た画像とでは、撮影時に顔に当たる光が異なる場合があり、この場合、画像の色合いが異なる場合が生じ得る。この場合、ステップＳＡ２で得た画像に平面展開された画像を合成すると、合成部分の境界が目立ってしまう場合がある。そこで、合成部分の境界部分にガウスフィルタやメディアンフィルタ等の低域通過フィルタをかけるという処理や、輝度や色（彩度、明度）の補正をかけるという処理を行うことで、境界部分を目立たせなくする。なお、第一実施形態においてはステップＳＢ５の処理を行うことになっているが、ステップＳＢ５の処理を行わないようにしてもよい。

表情認識部２１３は、ステップＳＢ５の処理が終了すると、後処理によって得られた画像について、既知の表情認識アルゴリズムを用いて表情の認識を行う（ステップＳＢ６）。表情の認識処理を行うことにより、ユーザの感情、目の開き具合、口の開き具合等の情報を得ることができる。ステップＳＢ６でユーザの表情についての情報が得られると、顔モデル合成部２１４が、顔モデルデータＭＤを記憶部２０２から読み出し、顔モデルデータＭＤが表す顔の３次元モデルを表情認識部２１３で得られた情報を基にして加工する（ステップＳＢ７）。これにより、表情認識部２１３で得た情報に対応した目の開き具合や口の開き具合の３次元モデルが生成される。顔モデル合成部２１４は、この生成された３次元モデルを表す画像を表示部２０４へ出力する（ステップＳＢ８）。３次元モデルを表す画像が表示部２０４へ送られると、送られた３次元モデルの画像が液晶ディスプレイ２１に表示される。

以上説明したように第一実施形態においては、準備動作でホモグラフィ行列を得た後は、ユーザの表情を認識するためのマーカを貼付けなくてもユーザの表情を出力することができ、ユーザが煩わしさを感じることがない。また、ユーザが顔の向きや位置を変更しても、眼鏡型装置１で顔を撮影し続けられるため、顔に対するカメラの相対的な位置が変わらず、ユーザの表情を常に出力することができる。また、情報処理装置２を眼鏡型装置１を掛けたユーザが操作すれば、ユーザは情報処理装置２で自分の表情を確認できる。

［第二実施形態］
次に本発明の第二実施形態について説明する。第二実施形態においては、第一実施形態と同じく眼鏡型装置１と情報処理装置２でユーザの表情を認識するが、情報処理装置２で表情を認識する際の動作が第一実施形態と異なる。このため、第一実施形態と同じ構成については、その説明を省略し、以下第一実施形態との相違点について説明する。

図１５は、第二実施形態に係る情報処理装置２において実現する機能の構成と、記憶部２０２に記憶されるデータを示したブロック図である。図１５に示したように、第二実施形態の制御部２０１においては、射影変換部２１２に替えて変換部２１５が実現する。また、記憶部２０２は、キャリブレーションデータＣＤに替えてテーブルＴＢを記憶する。

変換部２１５は、顔の正面画像や平面展開された画像において、画像から抽出される抽出点である目尻や目頭、眼の虹彩の上下左右の端を特徴点として特定し、特定した特徴点の画像中の座標を格納したテーブルＴＢを特徴点毎に作成する。

図１６は、第二実施形態で行われる準備動作の処理の流れを示したフローチャートである。ステップＳＣ１〜ステップＳＣ３の処理は、ステップＳＡ１〜ステップＳＡ３までの処理と同じである。情報処理装置２は、ステップＳＣ３の処理が終了すると、図１７に示したように、顔の正面の画像において目尻や目頭、眼の虹彩の上下左右の端などを特徴点として特定する（ステップＳＣ４）。また、顔の他の部位についても特徴点を特定する。
次に情報処理装置２は、特定した特徴点毎に識別子を付与し、各特徴点の座標を図１８（ａ）に示したようにテーブルＴＢに格納する。なお、テーブルＴＢは、特徴点毎に作成されるため、特徴点の個数に応じてテーブルが作成される（ステップＳＣ５）。

次に情報処理装置２は、ステップＳＣ６で眼鏡型装置１から画像を取得した後、ステップＳＣ７〜ステップＳＣ９の処理を行う。ステップＳＣ７〜ステップＳＣ９の処理は、第一実施形態のステップＳＡ６〜ステップＳＡ８の処理と同じであるため、説明を省略する。情報処理装置２は、ステップＳＣ９の処理が終了すると、平面展開された画像において、ステップＳＣ４と同様に特徴点を特定し、平面展開された画像中における当該特定した特徴点の座標を求める（ステップＳＣ１０）。

次に情報処理装置２（変換部２１５）は、ステップＳＣ４で特定した特徴点のうち、ステップＳＣ１０で特定した特徴点に対応する特徴点を特定し、特定した特徴点の座標と、ステップＳＣ１０で求めた座標とを対応付けてテーブルＴＢに格納する（ステップＳＣ１１）。
このステップＳＣ１〜ＳＣ１０の処理を、表情を変えて所定の回数行うことにより（ステップＳＣ１２でＮＯ）、図１８（ａ）に示したように、１つの特徴点について複数の座標を得ることができる。なお、ステップＳＣ３，ＳＣ７，ＳＣ８の処理は、一度だけ実行されればよく、繰り返しの際には実行しないようにしてもよい。

これにより、例えば、図１９に示したように、特徴点の一例である右眼の目頭（ＦＰ−ａ）については、平面展開された画像中の座標（図１９の左側の画像中の座標（ａｘ１１，ａｙ１１））と、顔の正面からの画像中の座標（図１９の右側の画像中の座標（ａｘ２１，ａｙ２１））とが対応付けてテーブルＴＢ−ａに格納される。そして、表情を変えてステップＳＣ１〜ＳＣ１０の処理を繰り返し実行することにより、図１８に示したように右眼の目頭について複数の座標がテーブルＴＢ−ａに格納される。

また、特徴点の一例である右眉の眉尻（ＦＰ−ｂ）については、平面展開された画像中の座標（図１９の左側の画像中の座標（ｂｘ１１，ｂｙ１１））と、顔の正面からの画像中の座標（図１９の右側の画像中の座標（ｂｘ２１，ｂｙ２１））とが対応付けてテーブルＴＢ−ｂに格納される。右眉の眉尻についても、表情を変えてステップＳＣ１〜ＳＣ１０の処理を繰り返し実行することにより、図１８に示したように複数の座標がテーブルＴＢ−ｂ格納される。

なお、第二実施形態ではテーブルＴＢを作成しているが、制御部２０１（変換部２１５）は、平面展開された画像の特徴点の座標から顔の正面画像における特徴点の座標を一意に求める演算式をテーブルＴＢを用いて求め、この演算式を記憶するようにしてもよい。この場合、演算式を求める処理がステップＳＣ１２の後に実行される。演算式は、テーブルＴＢの座標を入力として、例えば最小二乗法などの手法を用いて求めれば良い。この演算式を用いると、平面展開された画像の特徴点座標を与えれば、正面画像においてこの特徴点に対応する特徴点の座標が計算によって一意に求まる。なお、第二実施形態においては、平面展開された画像の特徴点座標と正面画像における特徴点座標との対応関係を表すテーブル及び演算式を、まとめて計算モデルと呼ぶこととする(ここでのモデルは、顔モデルや３次元モデルの意味合いとは異なる)。

ところで、個人によって顔の造りは異なるため、特徴点の座標は個人によって異なることとなる。このため、基本的には、計算モデルは個人毎に作成したものを使用するのが望ましい。しかしながら、ユーザが替わる度にユーザに対応した計算モデルを作成するのは手間のかかる作業である。そこで、各特徴点について基準となる表情（例えば無表情）からの相対的な動きベクトルを求め、計算モデルを一般化してもよい。以下、動きベクトルを用いる態様について、右眉の眉尻（特徴点ＦＰ−ｂ）に注目し、図１８（ｂ）を用いて説明する。

正面画像における右眉の眉尻の座標（ｂｘ２１，ｂｙ２１）を基準となる表情における特徴点座標とすると、この特徴点の座標は、表情を変えることにより（ｂｘ２ｎ，ｂｙ２ｎ）に変化する（ｎは任意の数）。次に、基準座標からの動きベクトル（ｂｘ２ｎ−ｂｘ２１，ｂｙ２ｎ−ｂｙ２１）を取る。ここで、例えば眉尻を上げた表情ではｂｙ２ｎ−ｂｙ２１は正の値をとり、眉尻を下げた表情では、ｂｙ２ｎ−ｂｙ２１は負の値をとる。また、眉尻が顔の左右方向の中央側に寄った表情ではｂｘ２ｎ−ｂｘ２１は正の値となる。このように正の値をとるか負の値をとるかは、個人の顔の造りに関係なく、どのユーザであっても同じとなる。そこで、図１８（ａ）に示した座標を利用したテーブルＴＢ−ｂを動きベクトルに着目して作成し直すと、図１８（ｂ）に示したテーブルＴＢ−ｂＶを得ることができる。これにより、座標を格納したテーブルで作成していた計算モデルを、テーブルＴＢ−ｂＶから再構築することができる。

例えば、ユーザＡについて作成したテーブルＴＢ−ａから予め計算モデルを求めた場合、ユーザＢの右眉の眉尻について正面の顔画像の座標を求める際に、ユーザＡにおいて求めた計算モデルを使用すると、個人の顔の造りに起因する計算モデルの違いにより、正面画像における正確な座標を得るのは難しい。しかしながら、動きベクトルを格納したユーザＡのテーブルＴＢ−ｂＶから作成した計算モデルを予め求めておくと、ユーザＢの基準となる表情からの動きベクトルを得ることができ、テーブルＴＢ−ｂＶを作成した時のユーザと異なるユーザが眼鏡型装置１を使用している場合であっても、顔の正面画像における特徴点の位置をより正確に得ることができる。

具体的には、例えばユーザＡとユーザＢが同様の表情（例えば、眉尻を上げる）をした場合には、両者とも眉尻を上げると、ＵＶ平面におけるＶ方向のベクトルは正の値をとり、Ｕ１Ｖ１平面においてＶ１方向のベクトルが正の値をとることは明らかである。つまり、動きベクトルを格納したテーブルによって作成された計算モデルを用いることにより、顔の造りに起因する個人差を低減し、より正確に、正面の顔画像における特徴点の位置を求めることが出来る。
このため、計算モデルを求めるためのステップＳＣ１〜ＳＣ１２の処理は、動きベクトルを格納したテーブルを用いることにより、表情の認識を行うユーザ毎に実施する必要がなく、特徴点の座標を求めるのは、ユーザＡで作成したテーブルを用いて作成された計算モデルを用いればよい。つまり、表情認識を行うユーザが替わる度に計算モデルを作成しなくてもよく、ユーザの手間を省くことができる。
なお、ユーザの表情認識の際に、予め作成された計算モデルを用いる場合は、表情認識開始時に基準となる表情（例えば無表情）をした場合の特徴点の座標（動きベクトルの基準座標）を記録しておくだけで、ステップＳＣ１〜ＳＣ１２の処理を行わずに、以下に説明する出力動作へすぐに進むことが可能となる。

次に、第二実施形態における出力動作について、図２０のフローチャートを用いて説明する。ステップＳＤ１，ＳＤ２の処理は、第一実施形態のステップＳＢ１，ＳＢ２の処理と同じである。情報処理装置２は、ステップＳＤ２の処理が終了すると、平面展開した画像中の特徴点を特定する（ステップＳＤ３）。
次に情報処理装置２（変換部２１５）は、図１６の処理で作成された計算モデル（特徴点の座標を格納したテーブルまたは動きベクトルを格納したテーブル、またはそれらのテーブルから作成された演算式）から、ステップＳＤ３で特定した特徴点について、顔の正面画像における特徴点の座標を求める（ステップＳＤ４）。例えば、表情が変化し、平面展開された画像において、表情の変化により目頭の位置が移動している場合、テーブルＴＢ−ａに格納されている目頭の座標（（ａｘ１１，ａｙ１１）と（ａｘ２１，ａｙ２１））あるいは、動きベクトルの対応関係を表す計算モデルから、顔の正面画像における変化後の表情の目頭の座標を求める。

なお、テーブルを用いて特徴点の座標を求める場合、ステップＳＤ３で特定された特徴点の座標と全く同じ座標が事前に準備したテーブルに格納されているとは限らず、この場合は正面画像における特徴点の座標が一意に求まらない。よってテーブルを用いる場合は、テーブルに格納されている座標から、ステップＳＤ３で特定した座標に最も近い座標を検索し、その座標を参照することで正面画像における特徴点の座標を一意に求めることができる。なお、最も近い１つの座標のみではなく、近傍の複数の座標を参照して線形補間を行なって求めても良い。つまり、図１６で示した処理の繰り返し数が多いほど、ステップＳＤ４で求める座標の精度も向上すると言える。

情報処理装置２は、ステップＳＤ４で求めた特徴点の座標から、変化後の表情を認識する（ステップＳＤ５）。そして、情報処理装置２は、認識した表情に基づいて顔の３次元モデルを加工し（ステップＳＤ６）、加工後の３次元モデルを出力する（ステップＳＤ７）。
この第二実施形態によれば、チェッカーボードＣＫやホモグラフィ行列を用いなくてもユーザの表情を出力することができる。なお、表情を認識する際には、ステップＳＤ４で求めた座標に基づいて顔の特徴点の移動を認識し、顔の正面画像に対してモーフィングを行うことで顔の正面画像を得るようにし、得られた画像から表情を認識するようにしてもよい。

［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した第一及び第二実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよく、各変形例を組み合わせて実施してもよい。

上述した第一実施形態においては、左眉及び右眉にチェッカーボードを貼付け、ホモグラフィ行列を求めているが、左眉及び右眉にはチェッカーボードを貼り付けず、右眼、左眼及び口にのみチェッカーボードを貼りつけてホモグラフィ行列を求めるようにしてもよい。また、第二実施形態においては、左眉及び右眉については特徴点を特定しないようにしてもよい。また、第一実施形態においては、両眉と両眼にチェッカーボードを貼付け、口にはチェッカーボードを貼り付けずにホモグラフィ行列を求めるようにしてもよく、第二実施形態においては、両眉と両眼については特徴点を抽出し、口については特徴点を抽出しないようにしてもよい。要するに表情の認識においては、各実施形態の構成に限定されず、表情の認識に用いる顔の部位を予め定め、この定めた部位で表情を認識できればよい。

上述した第一及び第二実施形態においては、第１カメラ１１０Ｌ及び第２カメラ１１０Ｒは、魚眼レンズを備えているが、各カメラが備えるレンズは魚眼レンズに限定されるものではなく、ユーザの眼、眉、鼻及び口を撮影できる画角のものであれば他のレンズであってもよい。

また、上述した第一及び第二実施形態においては、ユーザの顔を撮影するカメラは眼鏡の形状をした装置に設けられているが、カメラが設けられる装置の形状は、眼鏡の形状に限定されるものではない。例えば、ヘッドフォンとマイクが一体となったヘッドセットにカメラが設けられていてもよい。図２１は、本変形例に係るヘッドセット３の一例を示した図である。
ヘッドセット３は、ヘッドフォン３０１を備えている。また、ヘッドセット３は、アーム３０２を備え、アーム３０２の先端にマイクロフォン３０３とカメラ３０４を備えている。また、ヘッドセット３は、カメラ３０４に接続された通信部３２０を備えている。なお、通信部３２０の構成は、通信部１２０と同じである。この構成においても、カメラ３０４でユーザの顔を撮影し、カメラ３０４で得た画像を情報処理装置２へ送ることができる。なお、ヘッドセット３においては、左右両方にアーム３０２を設け、ユーザの左手側のアーム３０２に第１カメラ１１０Ｌを配置し、ユーザの右手側のアーム３０２に第２カメラ１１０Ｒを配置してもよい。

また、上述した第一及び第二実施形態においては、顔モデル合成部２１４は、３次元モデルを表す画像を表示部２０４へ出力しているが、３次元モデルを表す画像を通信部２０５を介して他の情報処理装置へ送信してもよい。例えば、テレビ電話においてはユーザの顔を撮影した画像が通話相手に送られるが、朝の目覚めた直後などにあっては、カメラで撮影された顔の画像を相手に見られたくない場合がある。このような場合、表情認識プログラムを携帯電話機で実行し、眼鏡型装置１を掛けて３次元モデルを表す画像を通話相手の装置へ送信すれば、素の顔を通話相手に見られずに３次元モデルによって表情を伝えることができるため、感情を通話相手に伝えることができる。
また、携帯電話機においては、テレビ電話でユーザの顔の画像を通話相手に送ることができるが、ユーザは携帯電話機を手に持って顔を撮影し続けなければならず、静止した状態でないと、顔の画像を送り続けるのが難しい。しかしながら本変形例によれば、ユーザが動いても顔を撮影し続けられるため、動きながらでも通話相手にユーザの表情を伝えることができる。また、本発明によれば、携帯電話機がカメラを備えていなくてもユーザの表情を出力できるため、カメラを備えていない携帯電話機でもユーザの表情を通話相手に送ることができる。

上述した第一実施形態においては、チェッカーボードＣＫをユーザの顔に張り付けていたが、フレーム１００にプロジェクタを設け、チェッカーボードＣＫを貼り付ける代わりに、このプロジェクタでチェッカーボードＣＫの模様をユーザの顔に投影してもよい。この構成によれば、準備動作においてチェッカーボードＣＫをユーザの顔に貼り付ける必要がなくなり、準備動作にかかる手間を少なくすることができる。

上述した第一及び第二実施形態においては、第１カメラ１１０Ｌと第２カメラ１１０Ｒで得た画像を基に３次元の顔モデルを生成しているが、首から上にある部分（以下、頭部と称する）の状態を検知するセンサなど、カメラ以外の装置も用いて３次元の顔モデルを生成してもよい。
例えば、音を検出するセンサの一例であるマイクロフォンによって収音した音声を認識し、認識した音声を発音した時の口の画像を表示するリップシンクと呼ばれる技術がある。本発明において眼鏡型装置１にマイクロフォンを設け、リップシンクによって頭部の状態の一例である口の形状を特定し、特定した口の形状となるように顔の３次元モデルを加工してもよい。本変形例によれば、口角部分の細かい動きを再現することができる。また、眼鏡型装置１で口付近の撮影が難しい場合、ユーザが言葉を発している際には口の動きを認識することが可能となるので、眼鏡型装置１が取得した眼付近の画像と組み合わせることにより表情の認識を行うことができる。
また、頭部の脈波や脳波を検出するセンサを眼鏡型装置１に設け、これらのセンサから得られた情報を解析してユーザの身体的な状態や心理的な状態を特定し、特定した状態に対応した表情になるように顔の３次元モデルを加工してもよい。
また、眼鏡型装置１に加速度センサやジャイロセンサを設け、ユーザの顔の向きや傾きなど頭部の状態を測定し、出力する顔の３次元モデルの向きや傾きを、測定した顔の向きや傾きに対応して変更するようにしてもよい。この変形例によれば、出力する顔の３次元モデルを横顔やかしげたものにすることができる。また、ユーザが動くことによって眼鏡型装置１で取得される画像がブレることも想定されるが、このブレの影響を除去するために加速度センサの検出結果を用いてブレを特定し、画像のブレを補正するようにしてもよい。なお、画像のブレを補正するには、加速度センサを用いる方法に限定されるものではなく、画像処理によってブレを補正してもよい。

上述した第一実施形態においては、眼鏡型装置１から得た画像を平面展開して顔の正面からの画像に合成し、この合成により得た画像から表情を認識しているが、第１カメラ１１０Ｌの画像と第２カメラ１１０Ｒの画像を平面展開し、この平面展開された画像から表情を認識するようにしてもよい。例えば、複数の表情毎に平面展開された顔の各部の特徴を表情データベースＤＢに格納しておけば、平面展開された画像から表情を認識し、表情を認識することができる。
なお、この変形例においては、平面展開で得られる画像は、顔を正面から撮影した画像ではなく、例えば図９に示した画像となる。つまり、顔を正面以外の斜め方向又は横方向から撮影した画像となる。このため、表情の認識については、顔を正面から撮影した画像を解析して表情を認識するアルゴリズムではなく、顔を斜め又は横方向から撮影した画像を解析して表情を認識するアルゴリズムを使用する。
この変形例によれば、ホモグラフィ行列と、ホモグラフィ行列を使用した処理が不要となるため、制御部２０１において行われる処理を少なくすることができる。

上述した第一実施形態においては、ユーザの表情を認識し、認識した表情の３次元モデルを出力しているが、ステップＳＢ４またはステップＳＢ５で得た画像を出力するようにしてもよい。この変形例によれば、表情の認識や３次元モデルの生成の処理が行われないため、制御部２０１において行われる処理を少なくすることができる。

上述した第一及び第二実施形態においては、フレーム１００に設けられるカメラの数が２となっているが、フレーム１００のフロント部の中央部分に魚眼レンズを備えるカメラを設け、このカメラでもユーザの顔を撮影してもよい。また、各カメラの向きは、固定する構成に限定されるものではなく、適宜調整できるようにしてもよい。また、第１カメラ１１０Ｌまたは第２カメラ１１０Ｒの一方のみをフレーム１００に設け、一方で撮影した眼の画像を平面展開して顔の正面からの画像に合成し、表情を認識するようにしてもよい。この場合、片目のみを閉じる等の表情に関しては正しく表情を認識することはできないが、顔の左半分と右半分とが同一の動きをすると仮定した場合には表情を認識することができる。

上述した第一及び第二実施形態においては、顔の３次元モデルを出力しているが、出力するのは顔の３次元モデルに限定されるものではない。例えば、眼鏡型装置１に設けたカメラでユーザの腕や足を撮影してユーザの腕や足の位置を特定し、特定した位置に腕や足がある３次元モデルを生成して出力するようにしてもよい。

上述した第一実施形態において画像中の特徴点を特定する方法を採用した場合、取得した画像中において矩形のチェッカーボードＣＫの頂点を特定してチェッカーボードＣＫの領域を特定し、この特定した領域を平面展開する領域を表す展開領域として記憶するようにしてもよい。

上述した第一及び第二実施形態においては、平面展開する領域をユーザが指定しているが、平面展開する領域は、ユーザの指定した領域に限定されるものではない。ユーザによって個人差はあるものの、眼鏡型装置１の各カメラで得られる画像においては、眼や口の位置は一定の領域内に入ることとなる。このため、各カメラから得られる画像中の予め定められた領域を平面展開する領域として予め記憶しておくようにしてもよい。

上述した第一及び第二実施形態においては、表情認識プログラムを実行する制御部を眼鏡型装置１に設けるようにしてもよい。図２２は、本変形例に係る眼鏡型装置のハードウェア構成を示したブロック図である。制御部１３０は、ＣＰＵ、ＲＯＭ及びＲＡＭを備えるマイクロコントローラであり、ＲＯＭに表情認識プログラムを記憶している。また、記憶部１４０は、記憶部２０２と同じデータを記憶している。表情認識プログラムが制御部１３０において実行されると、平面展開部２１１、射影変換部２１２、表情認識部２１３及び顔モデル合成部２１４が実現され、情報処理装置２と同様に各カメラの画像を基に顔の３次元モデルを出力することができる。
また、上述した第一及び第二実施形態においては、眼鏡型装置１と情報処理装置２とが別々の装置となっているが、眼鏡型装置１の通信部１２０と情報処理装置２の通信部２０５とを通信ケーブルで接続し、一体の表情出力装置としてもよい。さらには、眼鏡型装置１にヘッドマウントディスプレイなどの表示装置を設けた構成としてもよい。この場合、例えばテレビ電話に利用すると、通話中の双方が眼鏡型装置１を装着することで自分の表情を通話相手に送信することができる。また、通話相手の眼鏡型装置１から送られた画像をヘッドマウントディスプレイに表示すれば、通話相手の表情も確認することができ、手を使用せずにテレビ電話を行うことができる。

上述した第１及び第二実施形態においては、情報処理装置２において表情認識プログラムが実行され、情報処理装置２で表情を認識しているが、表情を認識する装置は表情認識装置に限定されるものではない。
例えば、コンピュータネットワーク上のサーバ装置において表情認識プログラムを実行し、サーバ装置において表情の認識や３次元モデルの作成を行い、作成された３次元モデルを情報処理装置２が受信して表示してもよい。
また、情報処理装置２とサーバ装置との役割分担は、この態様に限定されるものではなく、表情の認識をサーバ装置で行い、３次元モデルの作成を情報処理装置２で行うようにしてもよい。これらの構成によれば、情報処理装置２で実行する処理の量を減らすことができる。

上述した第二実施形態においては、平面展開された画像における特徴点と、顔の正面の画像における特徴点との対応を特定している。そして、平面展開した画像で特徴点の位置が変化している場合には、顔の正面の画像における特徴点の位置を変化させ、変化後の表情を認識しているが、この構成に限定されるものではない。
図２３は、本変形例に係る準備動作の処理の流れを示したフローチャートである。図２３において、ステップＳＥ１〜ステップＳＥ１０までの処理は、ステップＳＣ１〜ステップＳＣ１０までの処理と同じであるので、その説明を省略する。

情報処理装置２は、ステップＳＥ１０の処理が終了すると、ステップＳＥ４で特定した特徴点のうち、ステップＳＥ１０で特定した特徴点に対応する特徴点を特定し、特定した特徴点の座標と、ステップＳＣ１０で求めた座標との対応関係を特定する（ステップＳＥ１１）。
情報処理装置２は、ステップＳＥ１１の処理が終了すると、平面展開された画像を顔の正面の画像に変換するための射影変換行列を算出する（ステップＳＥ１２）。具体的には、情報処理装置２は、図２４の左側に示したように、平面展開した画像中の特徴点を結んで複数の三角形の領域を生成し、図２４の右側に示したように、顔の正面の画像中の特徴点を結んで複数の三角形の領域を生成する。そして、平面展開された画像中の領域毎に、対応する領域を顔の正面の画像中において特定し、平面展開された画像中の領域と、正面の画像中の領域との対応を表す射影変換行列を算出する。
情報処理装置２は、ステップＳＥ１２の処理が終了すると、算出した射影変換行列を記憶部２０２に記憶させる（ステップＳＥ１３）。

図２３の処理で射影変換行例を記憶すると、情報処理装置２の出力動作は以下の動作となる。情報処理装置２は、平面展開された画像で特徴点を特定した後、特定した特徴点を結んで三角形の領域を生成し、各三角形の領域の画像を、記憶した射影変換行列を用いて顔の正面の画像に変換する。そして、情報処理装置２は、変換後の顔の正面の画像から変化後の表情を認識する（ステップＳＤ５）。

この変形例によれば、平面展開された画像において特徴点を結んで得られる領域を、顔の正面の画像に変換するため、撮影して得られた画像が顔の正面の画像に反映され、表情の認識が容易となる。

上述した実施形態においては、顔の正面の画像をもとに顔の３次元モデルを加工しているが、この構成に限定されるものではない。例えば、第一実施形態においてステップＳＢ７で顔の３次元モデルを加工する際、ステップＳＢ４で得られた画像から図２５に示した四角形の領域Ａを抽出し、抽出した画像を合成して得られる３次元モデルを出力するようにしてもよい。また、第二実施形態においてステップＳＤ６で顔の３次元モデルを加工する際、ステップＳＤ４で得られた画像から図２５に示した四角形の領域Ａを抽出し、抽出した画像を合成して得られる３次元モデルを出力するようにしてもよい。この変形例によれば、カメラで撮影した映像を３次元モデルに合成するため、写実的なモデルを出力することができる。

なお、上記変形例のように、顔の正面の画像から特定の領域を抽出して３次元モデルに合成する場合、抽出した領域と、抽出した領域が合成される３次元モデルの画像とでは、３次元モデルを作成したときに用いたカメラと、眼鏡型装置１に設けられているカメラが違うため、輝度に差が生じる場合がある。
このため、上記変形例のように、顔の正面の画像から特定の領域を抽出して３次元モデルに合成する場合、顔の正面の画像から抽出して得た画像の輝度と、３次元モデルの画像の輝度とが近くなるように、各画像の輝度を調整するようにしてもよい。この変形例によれば、輝度の違いを抑えることにより、顔の正面の画像から抽出して得た画像と３次元モデルの画像との境界部分について、ユーザが違和感を覚えるのを抑えることができる。
また、顔の正面の画像から抽出して得た画像と、３次元モデルの画像とを合成する際、例えばアルファブレンドで合成するようにしてもよい。さらに、アルファブレンドを行う場合には、部位毎にブレンドの割合を異ならせてもよく、例えば、眼球の部分と肌の部分とでブレンドの割合を異ならせてもよい。この変形例によれば、顔の正面の画像から抽出して得た画像を単純に３次元モデルの画像に重ねて合成する場合と比較して、顔の正面の画像から抽出して得た画像と３次元モデルの画像との境界部分について、ユーザが違和感を覚えるのを抑えることができる。
また、顔の正面の画像から抽出して得た画像と、３次元モデルの画像とを合成する際、境界部分については、ブレンドの割合を滑らかに変化させるようにしてもよい。この変形例でも、顔の正面の画像から抽出して得た画像を単純に３次元モデルの画像に重ねて合成する場合と比較して、顔の正面の画像から抽出して得た画像と３次元モデルの画像との境界部分について、ユーザが違和感を覚えるのを抑えることができる。

Claims (10)

1. 頭部に装着されるフレームと、
   前記フレームに設けられ、当該フレームを装着したユーザの顔の画像を所定方向から撮影する撮影部と、
   前記撮影部で撮影された画像中にある顔の所定部位の座標を、前記顔を前記撮影部の射影方式とは異なる射影方式で前記所定方向とは異なる別方向から撮影した時の画像中の座標に変換する変換部と、
   前記変換部で変換された座標に基づいて前記ユーザの表情を認識する認識部と、
   前記認識部で認識された表情を表す画像を出力する出力部と
   を有する表情出力装置。
2. 前記フレームは、眼鏡のフレームの形状であり、
   前記撮影部の画角は、撮影された画像中に少なくとも前記顔にある予め定められた部位の画像が入る画角であり、
   前記出力部が出力した画像を他の装置へ送信する送信部
   を有することを特徴とする請求項１に記載の表情出力装置。
3. 前記変換部は、前記所定部位の画像を予め定められた平面に写像し、前記平面に写像された前記所定部位の画像中の座標を、前記所定部位を前記別方向から見た画像中の座標に変換すること
   を特徴とする請求項１または請求項２に記載の表情出力装置。
4. 前記認識部は、前記変換部で変換された後の画像中の顔の向きに対応したアルゴリズムにより表情を認識すること
   を特徴とする請求項１乃至請求項３のいずれか一項に記載の表情出力装置。
5. ユーザにより操作される操作部と、
   前記操作部にされた操作に基づいて、前記撮影部で撮影された画像内において指定された領域を特定する領域特定部とを有し、
   前記変換部は、前記撮影部で撮影された画像のうち前記領域特定部で特定された領域内の画像を変換すること
   を特徴とする請求項１乃至請求項４のいずれか一項に記載の表情出力装置。
6. 前記撮影部の射影方式とは異なる射影方式で予め前記別方向から撮影した前記顔の画像を記憶する記憶部を備え、
   前記変換部は、前記撮影部で撮影された前記顔の画像中にある特徴点のうち、前記記憶部に記憶された前記顔の画像中にある特徴点に対応する特徴点を特定し、
   当該特定した特徴点の画像中における座標と、前記記憶された画像中の座標であって、当該特定した特徴点に対応する特徴点の座標とに基づいて、前記撮影部で撮影された画像中の座標を前記別方向から撮影した画像中の座標に変換する計算モデルを求めること
   を特徴とする請求項１乃至請求項５のいずれか一項に記載の表情出力装置。
7. 前記撮影部の射影方式とは異なる射影方式で予め前記別方向から撮影した前記顔の画像を記憶する記憶部を備え、
   前記変換部は、前記撮影部で撮影された前記顔の画像中にある特徴点を結んで得られる領域に対応する領域を、前記記憶部に記憶された前記顔の画像中において特定し、前記撮影部で撮影された前記顔の画像中にある特徴点を結んで得られる領域と、該特定した領域とに基づいて、前記撮影部で撮影された前記顔の画像中にある特徴点を結んで得られる領域の画像を、前記別方向から撮影した画像に変換する計算モデルを求めること
   を特徴とする請求項１乃至請求項５のいずれか一項に記載の表情出力装置。
8. 前記変換部は、前記撮影部で撮影された画像中にある前記所定部位の画像を前記計算モデルを用いて変換し、変換後の前記所定部位の画像を前記記憶された画像中の前記所定部位の位置に合成すること
   を特徴とする請求項６又は請求項７に記載の表情出力装置。
9. 前記フレームは、前記ユーザの頭部の状態を検出するセンサを有し、
   前記認識部は、前記変換部で変換後の画像と前記センサの検出結果とを用いて前記ユーザの表情を認識すること
   を特徴とする請求項１乃至請求項８のいずれか一項に記載の表情出力装置。
10. 頭部に装着されるフレームに設けられ、当該フレームを装着したユーザの顔を所定方向から撮影する撮影部で撮影された前記ユーザの顔の画像を取得する取得ステップと、
    前記取得ステップで取得された画像中にある顔の所定部位の画像を、前記撮影部の射影方式とは異なる射影方式で前記所定方向とは異なる別方向から撮影した画像に変換する変換ステップと、
    前記変換ステップで変換後の画像から前記ユーザの表情を認識する認識ステップと、
    前記認識ステップで認識された表情を表す画像を出力する出力ステップと
    を有する表情出力方法。

Images