JP5450739B2

JP5450739B2 - 画像処理装置及び画像表示装置

Info

Publication number: JP5450739B2
Application number: JP2012189900A
Authority: JP
Inventors: 奈保澁久; 圭徳井
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2012-08-30
Filing date: 2012-08-30
Publication date: 2014-03-26
Anticipated expiration: 2032-08-30
Also published as: CN104584531A; WO2014034556A1; JP2014049866A; US20150206354A1; CN104584531B

Description

本発明は、撮像部の撮像方向と表示部の表示方向が揃うような、いわゆる自分撮り撮影の場合に、好適な自分撮り画像を生成する画像処理装置、及びその画像処理装置を備える画像表示装置に関する。

携帯電話、タブレット、ノートＰＣやテレビなどの各種ディスプレイにおいて、撮像部の撮像方向と表示部の表示方向とを同一の方向に向けて配置し、自分の顔を被写体として撮像する、いわゆる自分撮り撮影がある。

自分撮り撮影の代表的なアプリケーションには以下の２つがある。１つは、遠隔地の相手が保有するディスプレイに撮像画像を表示することで遠隔地の相手との会話を可能にするビデオチャット、もしくはＴＶ会議機能である。もう１つは、撮像した画像を左右反転させて鏡像表示することで自分の顔の確認が必要な化粧などの作業を可能にするミラー機能である。

ビデオチャットでは表示部に相手の顔が表示され、ミラー機能では表示部に自分の顔が表示されるため、使用者は撮像部ではなく、表示部を注視することになる。撮像される被写体の視線方向と撮像部の撮像方向が一致しないため、撮像される被写体は正面を向いておらず、遠隔地にいる相手、もしくは被写体本人が撮像画像を見ても被写体と視線が一致しない状態となる。この被写体の顔方向を補正する方法として、例えば、下記特許文献１では、複数の撮像手段を画像表示部の表示画面の外側部に分散して配置し、各撮像手段によって得られた複数の撮像データから被写体の画像を処理して三次元画像を得ることにより、撮像部に正対した被写体の画像を生成する方法が開示されている。

特開２００４−１５９０６１号公報

しかしながら、先述した方法では、撮像した被写体が常に表示画面に正対した画像に修正されてしまう。例えば、被写体の横顔を撮像したいときでも正対した画像に修正されてしまい、好適な自分撮り画像を生成することが困難であった。

本発明は上記課題を鑑みて発明されたものであり、撮像部の撮像方向と表示部の表示方向が揃うような、いわゆる自分撮り撮影の場合に、好適な自分撮り画像を生成する画像処理装置を提供することを目的とする。

本発明の一観点によれば、本発明の画像処理装置は、画像データから被写体の顔位置情報と、顔の大きさ情報と、顔部品情報とを検出する顔情報検出部と、前記顔位置情報と、前記顔の大きさ情報と、前記顔部品情報とから前記被写体の顔方向情報を算出する顔方向算出部と、前記顔位置情報が前記画像データの中心となるように前記画像データを平行移動させる画像平行移動部と、前記顔位置情報と、前記顔の大きさ情報と、前記顔部品情報と、前記顔方向情報とに基づいて顔の立体形状を表す顔立体形状テンプレート情報を変形させて前記被写体の顔モデルを生成する顔モデル生成部と、前記顔方向情報と前記顔モデルとに基づいて前記被写体の顔を正面顔になるように変換した画像を生成する画像生成部と、を備え、前記顔方向情報に応じて、前記画像平行移動部によって平行移動させた画像データを出力する処理と、前記画像生成部によって生成された画像データを出力する処理とを切り替えることを特徴とする。

また、本発明の他の観点によれば、被写体を撮像する撮像部と、前記撮像部で撮像された前記被写体の画像データを処理する前記画像処理装置と、前記画像処理装置において生成された画像を送信する送信部と、を備える画像表示装置が提供される。

また、本発明の他の観点によれば、被写体を撮像する撮像部と、前記撮像部で撮像された前記被写体の画像データを処理する前記画像処理装置と、他の撮像部付き画像表示装置で生成された画像データを受信する受信部と、を備える画像表示装置が提供される。

本発明によれば、撮像部の撮像方向と表示部の表示方向が揃うような、いわゆる自分撮り撮影の場合に、被写体の顔方向に応じて適切に画像処理することができ、好適な自分撮り撮像画像を生成できるようになる。

本発明の画像処理装置を備える画像表示装置の第１実施例のシステム構成を示す図である。顔情報検出部で検出される顔部品情報と顔の大きさ情報と顔の位置情報を説明する図である。被写体の顔方向情報と目の配置の関係を説明する図である。被写体の顔の向きと撮像部の撮像方向とが成す角度を説明する図である。画像平行移動部の動作を説明する図である。画像平行移動部の動作を説明する図である。顔モデル生成で使用する顔立体形状テンプレート情報を説明する図である。生成された顔モデルを説明する図である。画像生成部の動作を説明する図である。本発明の第１実施例における動作のフローチャートである。本発明の画像処理装置を備える画像表示装置の第２実施例のシステム構成を示す図である。

以下、添付図面を参照して本発明の実施例について説明する。なお、添付図面は本発明の原理に則った具体的な実施例と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。また、各図における構成は、理解しやすいように誇張して記載しており、実際の間隔や大きさとは異なる。

＜第１実施例＞
図１は、本発明の画像処理装置１０１を備える画像表示装置１００の実施例を示す図であり、画像表示装置１００で被写体を自分撮りして、撮像した自分の画像から好適な自分撮り画像を生成し、生成画像を表示部１０４に表示する場合の例を示す。

以下、本発明の第１の実施例のシステム構成及び動作の詳細を、図１を用いて詳細に説明する。本実施例に係る画像表示装置１００は、例えば、カメラ付き携帯電話やタブレット等の通信端末であり、画像の撮像や撮像した画像の保存と伝送等を行うことができる。

画像表示装置１００は、撮像部１０３と、表示部１０４と、記憶部１０５と、画像処理装置１０１と、送受信部１０６と、入出力部１０７と、を備える。また、画像表示装置１００は、送受信部１０６を介して外部ネットワーク１１３と接続され、他の通信機器等につながっている。

撮像部１０３は、撮像レンズ及びＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備えており、被写体の静止画や動画を撮像できる。

表示部１０４は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ：液晶ディスプレイ）や有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示画面であり、画像や文字などの情報や被写体の画像等を表示する。

画像処理装置１０１は、例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ：中央処理装置）やＧＰＵ（ＧｒａｐｈｉｃＰｒｏｃｅｓｓｉｎｇＵｎｉｔ：画像処理用処理装置）等で構成することができ、撮像部１０３、記憶部１０５、入出力部１０７、送受信部１０６等から画像、テキスト、音声などの情報を取得して処理し、表示部１０４、記憶部１０５等へ処理後の情報を出力する。

また、画像処理装置１０１は、顔情報検出部１０８と、顔方向算出部１０９と、画像平行移動部１１０と、顔モデル生成部１１１と、画像生成部１１２とを備えている。顔情報検出部１０８は、画像処理装置１０１に入力される画像データから、顔情報（被写体の顔の位置情報、顔の大きさ情報、及び、顔部品情報、すなわち目や鼻や口等の顔の特徴）を抽出する。

顔方向算出部１０９は、顔情報検出部１０８で検出された顔情報を基に、被写体の顔方向情報を算出する。また、画像平行移動部１１０は、検出された被写体の顔位置情報が画像中心となるように画像データの顔領域を平行移動する。

顔モデル生成部１１１は、顔情報検出部１０８で検出された顔情報と、顔方向算出部１０９で算出された顔方向情報と、顔立体形状テンプレート情報とを基に、被写体に応じた顔モデルを生成する。顔立体形状テンプレート情報については後述する。また、画像生成部１１２は、顔方向情報と顔モデルとを基に、被写体の顔が正面顔となるように補正する。

記憶部１０５は、例えばフラッシュメモリやハードディスクであり、画像と顔立体形状テンプレート情報等を記憶したり、機器固有のデータを保存したりする。また、入出力部１０７は、キーボタンやマイクやスピーカー等の音声入出力装置等、ユーザの命令や音声などを画像処理装置１０１に入力したり音声を出力したりする。また、送受信部１０６は、携帯電話の通信部やケーブル等であり、外部と画像データ、画像生成に必要なデータ、顔立体形状テンプレート情報等を送受信する。以上が第１の実施例のシステム構成である。

次に、第１の実施例における画像表示装置１００の動作について図２乃至図９を用いて詳しく説明する。まず、顔情報検出の動作について、図２を用いて説明をする。図２は、顔情報検出部１０８で検出される顔部品情報と顔の大きさ情報と顔の位置情報を説明する図である。

顔情報検出部１０８は、画像データから、被写体の顔情報として、顔位置情報と顔の大きさ情報と顔部品情報（すなわち、被写体の顔の目（２０１Ｌと２０１Ｒ）や鼻２０２や口２０３等の顔の特徴）を検出する。ここで、顔位置情報とは、検出された顔領域の中心位置２０４のことである。顔の大きさ情報とは、検出された顔領域の縦画素数と横画素数のことである。つまり、顔領域の中心位置２０４とは、顔領域の横方向をｘ軸、縦方向をｙ軸、顔領域左上を原点（ｘ、ｙ）＝（０、０）とし、顔領域の縦解像度をｈ＿ｋ、横解像度をｗ＿ｋとしたとき、（ｘ、ｙ）＝（ｗ＿ｋ／２、ｈ＿ｋ／２）となる位置のことである。

検出された顔領域の画像データから顔位置情報２０４と顔の大きさ情報と顔部品情報（両眼２０１Ｌと２０１Ｒ、鼻２０２、口２０３等）とを検出する方法は、肌色を検出して顔領域を特定した後に目、鼻、口等をパターンマッチングで検出する方法や、多数の顔画像と顔以外の画像（非顔）の学習サンプルから統計的に識別関数を求め、顔位置情報と顔部品情報を検出する方法（Ｐ．ＶｉｏｌａａｎｄＭ．Ｊｏｎｅｓ，“Ｒａｐｉｄｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎｕｓｉｎｇａｂｏｏｓｔｉｎｇｃａｓｃａｄｅｏｆｓｉｍｐｌｅｆｅａｔｕｒｅｓ”，Ｐｒｏｃ．ＩＥＥＥＣｏｎｆ．ＣＶＰＲ，ｐｐ．５１１−５１８，２００１）が知られており、上述した方法を用いてもよい。以上により、顔部品情報の検出がなされる。

次に、顔方向算出の動作について、図３を用いて説明をする。図３は、被写体の顔方向情報と目の配置の関係を説明する図である。

顔方向算出部１０９は、顔情報検出部１０８で検出された顔情報を基に、被写体の顔方向情報を算出する。顔方向算出部１０９は、撮像画像から検出された被写体の顔の位置情報と顔の大きさ情報と顔部品情報（目・鼻・口等）とから、被写体の顔の向きを検出する。画像から検出された顔位置情報や目、鼻、口等の顔部品情報を利用して顔の方向を決定する方法は、様々な方向を向いた顔画像とのパターンマッチング、顔部品情報の位置関係を用いる方法が知られている。ここでは、顔部品情報の位置関係を用いた方法を説明する。

顔の向きと顔領域内における顔部品情報の位置には図３に示す関係がある。図３の枠３０１〜３０５は、顔の位置情報と顔の大きさ情報を用いて切り出した被写体の顔領域である。図３のように顔領域内を４分割し、被写体の顔部品情報が偏っている方向を、被写体の顔方向情報として算出する。

顔領域３０１は顔部品情報が上に偏っているため、顔方向は上向きであると判断する。また、顔領域３０２は顔部品情報が左に偏っているため、顔方向は左向きであると判断する。また、顔領域３０４は顔部品情報が右に偏っているため、顔方向は右向きであると判断する。また、顔領域３０５は顔部品情報が下に偏っているため、顔方向は下向きであると判断する。このとき、顔の向きとして、図４に示すように撮像部４０１と表示部４０２が異なる位置に配置されている場合に、顔画像が正面顔のとき０度となるような角度４０３で算出しておくと、後述する画像生成の際に、より品質の高い正面顔画像を生成することができるため好適である。正面顔とは被写体が撮像部（１０３または４０１）に正対している状態で撮像された顔画像のことである。

ここでは顔領域における左右の目の位置関係だけで顔方向の算出を行ったが、鼻や口等の目以外の顔部品情報を用いると顔方向算出の精度を向上させることができるため好適である。以上により顔方向の算出がなされる。

次に、画像平行移動の動作について図５及び図６を用いて説明をする。図５は、画像平行移動部１１０の動作を説明する図であり、被写体の顔方向が横向きの場合の例である。画像平行移動部１１０は、画像データ５０１上の顔位置情報５０３が画像中心５０４となるように、画像データ５０１を平行移動させる。画像中心５０４とは、画像の横方向をｘ軸、縦方向をｙ軸、画像左上を原点（ｘ、ｙ）＝（０、０）とし、画像の縦解像度をｈ、横解像度をｗとしたとき、（ｘ、ｙ）＝（ｗ／２、ｈ／２）となる位置のことである。

図６は、画像平行移動部１１０の動作を説明する図であり、被写体の顔方向が横向き以外の場合の例である。図６に示すように、画像平行移動部１１０は、画像データ６０１上の顔位置情報６０３が画像中心６０４となるように画像データ６０１を平行移動させる。

図５及び図６において、平行移動後の画像データ５０５または６０５では、被写体の顔領域５０２または６０２が画面中心に表示されており、ユーザが見易い好適な画像が生成できている。このとき、表示部１０４の解像度よりも撮像データの解像度が大きいと、顔位置情報を平行移動させたときに画角外の領域が現れることがないため好適である。画角外領域が表れた場合は、画角外領域に黒色を表示する方法や、画像端を引き延ばす方法、画像端付近領域を折り返して表示する方法を用いて、画角外領域の補間を行う。

また、検出された被写体の顔位置情報に対して時間軸方向に平滑化フィルタやメディアンフィルタ等を施すと、動画や連続撮像画像に適用した際に被写体の顔位置情報の微小変動が抑制され、一定の位置に顔画像が表示されるため好適である。また、検出された顔位置情報の時間軸方向の二次微分を算出して顔位置情報が大きく変動する瞬間を検出し、顔位置情報が微小変動しているときにだけ平滑化処理を施す。このように、顔位置情報が大きく変動するときは位置の変動に追随するように顔位置情報を大きく移動させ、顔位置情報が微小変動を繰り返しているときは微小変動を抑制すると、一定の位置に顔画像が表示されるため好適である。以上の効果は、被写体の顔位置情報だけでなく、被写体の顔の向きにおいても同様の効果が得られる。

次に、顔モデル生成の動作について図７及び図８を用いて説明をする。図７は、顔モデル生成で使用する顔立体形状テンプレート情報を説明する図である。顔モデル生成部１１１は、顔情報検出部１０８で検出された顔の大きさ情報と、顔方向算出部１０９で算出された顔の向きと、顔立体形状テンプレート情報とを用いて顔モデルを生成し、生成された顔モデルを画像生成部１１２に出力する。なお、顔モデル生成部１１１の処理対象となる画像データは、画像平行移動部１１０によって平行移動処理が施された後の画像データである。

ここで、顔モデル生成に用いる顔の立体形状を表す顔立体形状テンプレート情報について詳しく説明する。顔立体形状テンプレート情報とは、図７のように顔の立体形状が記録されたデータのことである。ここでは、簡単のために被写体の顔を球として表現している。顔立体形状テンプレート情報は、人物の顔の平均顔であり、複数人のサンプルから取得した顔の立体形状を平均して作成することができる。また、ＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）を用いても作成することができる。図７に示した顔立体形状テンプレート情報７０１は、画像表示装置１００から顔までの距離を画素毎に格納した画像であり、顔の立体形状を輝度値で表している。画像表示装置１００に近い顔の部分ほど距離は短く、画像表示装置１００に遠い被写体ほど距離は長くなる。ここでは距離が短いほど明るい画素で、距離が長いほど暗い画素で表している。この顔立体形状テンプレート情報を用いて、顔モデルの生成を行う。

まず、顔立体形状テンプレート情報の大きさ情報と、検出された顔の大きさ情報に合わせる。すなわち、顔立体形状テンプレート情報の縦解像度と横解像度を、検出された顔領域の縦解像度と横解像度が等しくなるように、顔立体形状テンプレート情報を拡大あるいは縮小する。拡大あるいは縮小することにより、顔の大きさ情報とおおよそ同じ大きさとなった顔立体形状テンプレート情報を、被写体の顔方向と等しくなるように変形させる。すなわち、顔立体形状テンプレート情報、すなわち顔の距離データ用いて画像中の３次元空間での位置を変換する。顔方向が上向きであれば上向きの顔モデルを、下向きであれば下向きの顔モデルを生成し、画像生成部１１２に出力する。

図８は、被写体が下向きの画像データ８０１に対し、生成された顔モデル８０２を示している。ここでは顔方向情報が上向きと下向きのときの説明をしたが、上向き、下向きだけでなく、左右方向、あるいはそれらを複合した右下方向といった顔方向の顔モデル生成を行うと、次に説明する画像生成の際に、より品質の高い正面顔画像を生成することができるため好適である。以上により顔モデルの生成がなされる。

上述の方法は、被写体の顔の立体形状を取得するために画像表示装置１００に新たなセンサを追加したり、立体形状算出処理などの複雑な処理を実行したりする必要がなく、簡易なシステムで被写体の顔モデルを生成し、被写体の正面顔生成に活用できるため好適である。また、顔立体形状テンプレート情報とその顔部品情報の位置情報を検出しておき、顔立体形状テンプレート情報の顔部品情報の位置情報と、検出された顔領域の顔部品情報の位置情報が一致するように、顔立体形状テンプレート情報を変形すると、次に説明する画像生成の際に、より品質の高い正面顔画像を生成することができるため好適である。

最後に、画像生成の動作について図９を用いて説明をする。図９は、顔方向が横向き以外の場合の画像生成の動作を説明する図である。画像生成部１１２は、顔方向情報と顔モデルを用いて、被写体の正面顔９０３を生成する。なお、画像生成部１１２の処理対象である画像データ９０１は、画像平行移動部１１０によって平行移動処理が施された後の画像データである。これにより、被写体の顔が正面を向き、かつ画像中心に顔領域が表示される画像が生成される。

次に、正面顔を生成する方法を説明する。顔方向が正面を向いていない画像データを、顔モデル、すなわち顔の距離データを用いて画像中の３次元空間での位置を変換し、顔方向が正面となる画像データを生成する。この３次元空間での位置変換は、顔モデル生成部１１１において使用された顔方向に基づいて行う。すなわち、顔モデル生成部１１１で下方向に５度ずれた顔モデル（補正後の顔立体形状テンプレート）が生成されているとき、画像生成部１１２では上方向に５度ずらした顔画像を生成し、その生成画像を顔方向が正面となる画像データとして出力する。このように、画像生成部１１２では、平行移動後の画像データを顔モデル上の位置に変換し、顔モデル上で傾いている角度分を修正するように画像データ上の画素を補正する。

顔モデル生成部１１１における顔モデル生成処理と、画像生成部１１２における画像生成処理とは、被写体の顔方向情報がしきい値未満のときに実行する。このしきい値は、被写体の顔の傾き度合いのことである。値が小さいほど被写体が正面を向いている、すなわち撮像部１０３と正対していることを表し、値が大きいほど被写体が正面からずれている、すなわち撮像部１０３と正対していないことを表す。例えば、被写体の顔方向情報が横向きの状態をしきい値とすれば、しきい値未満とは、被写体の顔の方向が横向きよりも正面を向いている状態のことで、しきい値以上とは、被写体の顔の方向が横向きよりも正面側からずれている状態のことである。被写体の顔方向情報がしきい値未満の場合、被写体の顔方向を正面顔に変換した顔画像が画像中心に表示され、被写体の顔方向情報がしきい値以上の場合、顔の向きはそのまま画像中心に顔画像が表示される。顔方向が横向きとは、被写体の両眼が顔領域の左右に偏っている状態や、片方の目が見えない状態である等、被写体の顔方向が正面から大きくずれていることを示す。

また、横向きだけではなく、上向きや下向き等もしきい値にし、被写体の顔が上下方向に大きく傾いているときと、左右方向に大きく傾いているとき、またはその複合状態のときに被写体の顔方向はしきい値以上であると判断する。例えば、被写体の顔が下方向に大きく傾いている場合、被写体は頭の天辺を見せたいと判断し、正面顔にするのではなく、顔を画面中心に平行移動して表示させる処理とする。以上の様に被写体の顔方向に応じて画像データを平行移動させた後の画像データを出力する処理と、被写体の顔を正面顔になるように変換した後の画像データを出力する処理とを切り替えることで、処理量が少なくなりかつユーザが意図した見易い画像を生成することができる。

以下、上記動作の流れを図１０に示すフローチャートを用いて説明をする。
まず、ステップＳ１００１において、画像処理装置１０１は、撮像部１０３や送受信部１０６等から撮像画像データを取り込む。次に、ステップＳ１００２において、顔情報検出部１０８が、撮像画像データから顔の大きさ情報や顔位置情報や顔部品情報などの顔情報を検出する。次に、ステップＳ１００３において、顔方向算出部１０９が、顔情報を用いて被写体の顔の方向を算出する。

次に、ステップＳ１００４において、画像平行移動部１１０が、顔位置情報が画像中心となるように画像全体を平行移動させる。ここで、ステップＳ１００５において、顔モデル生成部１１１は、顔方向情報がしきい値未満であるか判定を行い、顔方向情報がしきい値未満であれば、ステップＳ１００６において、顔立体形状テンプレート情報を取得する。次に、ステップＳ１００７において、顔モデル生成部１１１は、顔モデル生成を行う。顔モデル生成では、顔の大きさ情報と顔方向情報に応じて顔立体形状テンプレート情報を変換し、顔モデルを生成する。

次に、ステップＳ１００８において、画像生成部１１２が、生成された顔モデルを用いて、撮像データ中の被写体の顔が正面顔となる画像を生成する。そして、ステップＳ１００９において、画像生成部１１２が、生成した画像を表示部１０４に出力する。なお、顔方向情報がしきい値以上であれば、顔位置情報を画像中心となるように画像全体を平行移動させた画像が、生成画像として出力される。以上が画像処理装置１０１の動作の流れである。以上のようにして、第１実施例の画像表示装置１００は動作する。

本実施例では、画像表示装置１００が有する画像処理装置１０１で生成された画像を表示部１０４に表示したが、本発明の画像処理装置１０１を有する他の画像表示装置で生成された画像を送受信部１０６にて受信し、表示部１０４に表示するような構成としてもよい。この構成によれば、遠隔地とのテレビ会議やビデオチャット等が可能になるため好適である。

上述した本発明に係る画像処理装置１０１を備える画像表示装置１００によれば、被写体の顔方向に応じて適切に画像処理することができ、好適な自分撮り画像を表示することができる。

また、本実施例では顔立体テンプレート情報が１つであった場合で説明したが、複数の顔立体形状テンプレート情報から適切なものを選択するようにしても良い。例えば、検出された顔部品情報や顔の大きさ情報等から、被写体の目の幅や顔部品情報の配置や顔の形等の顔の情報を解析し、年齢や顔の形や彫りの深さ等の顔の立体形状を推定し、推定した顔の立体形状に最も近い顔立体形状テンプレート情報を選択する。これにより、ユーザに適した顔立体形状テンプレート情報で画像処理を行うため、生成される画質を向上させることができ好適である。

さらに、ユーザの顔の立体形状に似ている少なくとも２つ以上の顔立体形状テンプレート情報が存在する場合、２つ以上の顔立体形状テンプレート情報の中間となる中間顔立体形状テンプレート情報を生成すると、ユーザの顔の立体形状により適合した顔モデルを生成できるため好適である。中間顔立体形状テンプレート情報は、２つ以上の顔立体形状テンプレート情報にモーフィングを施して生成する。ユーザの顔の立体形状が顔立体形状テンプレート情報Ａに４５％類似し、顔立体形状テンプレート情報Ｂに５５％類似している場合、類似している割合に応じてモーフィングを施す。複数の顔立体形状テンプレート情報からモーフィングでユーザに適した顔立体形状テンプレート情報を生成することで、ユーザの顔の立体形状により適合した顔モデルを生成できるため好適である。

また、顔立体形状テンプレート情報Ａと顔立体形状テンプレート情報Ｂとの間でテンプレート情報の選択が大きく変動しないので、選択したテンプレート情報が急に切り変わることにより生成画像に生じる違和を失くすことができるため好適である。さらに、ユーザの顔部品情報毎に類似度合を算出すると、目の形状は顔立体形状テンプレートＣを、顔の輪郭は顔立体形状テンプレートＤを用いるなど、よりユーザの顔の立体形状に適合した顔モデルを生成できるため好適である。

＜第２実施例＞
次に、本発明の第２実施例に係る画像表示装置の構成について、図１１を用いて説明する。図１１において、図１と同じ構成要素には同じ番号を付しており、これらの構成要素は図１の実施例と同じ処理を行うため説明を省略する。

本実施例と第１実施例の違いは、送受信部１０６を送信部１１０６に置き変えた構成になっていることである。動作は第１実施例とほぼ同様で、撮像した画像データを保存したり送信したりするものであり、送信専用の画像表示装置１１００である。また、図１１の送信部１１０６を無くした構成も考えられる。この場合は通信を行わないで補正された画像を撮像表示及び保存するだけの装置となる。

第２実施例では、表示部１０４と撮像部１０３との関係が一意に決定し、表示部１０４の外枠上部に撮像部１０３が設置されているとする。この構成の場合、撮像部１０３にて撮像される被写体画像は常に下を向いていることになるため、顔立体形状テンプレート情報を下向きの顔に限定できる。また、表示部１０４の外枠下部に撮像部１０３が設置されている場合は、撮像部１０３にて撮像される被写体画像は常に上を向いているため、顔立体形状テンプレート情報を上向きの顔に限定できる。以上に示すように位置関係で保存する顔立体形状テンプレート情報の顔方向の向きが一意に決まるため、記憶部１０５に上向き、または、下向きの顔立体形状テンプレート情報を保存しておき、顔モデル生成時に顔立体形状テンプレート情報を読み出すことで、顔向きを変更することなく顔モデル生成が可能となる。すなわち、第２実施例は、顔モデル生成部１１１にて、顔方向に応じて顔立体形状テンプレート情報の顔向きを変換する必要がなく、処理量が少なくなるという利点がある。

以上のように、画像処理装置１０１を備えた画像表示装置１００、１１００及びそれを用いた通信装置において、自分撮り撮影時に表示部１０４を見ながら表示、保存、送信することができ、好適な自分撮り画像を生成することができる。

なお、本発明は、上述した実施例によって限定的に解釈されるものではなく、特許請求の範囲に記載した事項の範囲内で、種々の変更が可能であり本発明の技術的範囲に含まれる。

本発明による画像処理装置１０１で動作するプログラムは、本発明に関わる上記実施例の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）であっても良い。そして、これら装置で取り扱われる情報は、その処理時に一時的にＲＡＭ（Random Access Memory）に蓄積され、その後、ＦｌａｓｈＲＯＭ（Read Only Memory）などの各種ＲＯＭやＨＤＤに格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行われる。

また、図１の各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、ＣＰＵなどが実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。

また、上述した実施例における画像処理装置１０１の一部、または全部を典型的には集積回路であるＬＳＩとして実現してもよい。画像処理装置１０１の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。

また、上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

１００：画像表示装置
１０１：画像処理装置
１０３：撮像部
１０４：表示部
１０５：記憶部
１０６：送受信部
１０７：入出力部
１０８：顔情報検出部
１０９：顔方向算出部
１１０：画像平行移動部
１１１：顔モデル生成部
１１２：画像生成部
１１３：外部ネットワーク
１１００：画像表示装置
１１０６：送信部

Claims

画像データから被写体の顔位置情報と、顔の大きさ情報と、顔部品情報とを検出する顔情報検出部と、
前記顔位置情報と、前記顔の大きさ情報と、前記顔部品情報とから前記被写体の顔方向情報を算出する顔方向算出部と、
前記顔位置情報が前記画像データの中心となるように前記画像データを平行移動させる画像平行移動部と、
前記顔位置情報と、前記顔の大きさ情報と、前記顔部品情報と、前記顔方向情報とに基づいて顔の立体形状を表す顔立体形状テンプレート情報を変形させて前記被写体の顔モデルを生成する顔モデル生成部と、
前記顔方向情報と前記顔モデルとに基づいて前記被写体の顔を正面顔になるように変換した画像を生成する画像生成部と、を備え、
前記顔方向情報と前記被写体の顔の傾き度合いを示す所定のしきい値とを比較することによって、前記顔の傾きが上下左右方向に大きく傾いていると判断された場合、前記画像平行移動部によって平行移動させた画像データを出力し、前記顔の傾きが正面を向いていると判断された場合、前記画像生成部によって生成された画像データを出力することを特徴とする画像処理装置。
前記画像平行移動部は、前記顔位置情報を時間軸方向に平滑化することを特徴とする請求項１に記載の画像処理装置。
前記顔モデル生成部は、複数の顔立体形状テンプレート情報を備えており、
前記顔モデル生成部は、前記被写体に近い顔立体形状テンプレート情報が２つ以上選択された場合、前記２つ以上の顔立体形状テンプレート情報を元に中間顔立体形状テンプレート情報を生成することを特徴とする請求項１から２のいずれか１項に記載の画像処理装置。
被写体を撮像する撮像部と、
前記撮像部で撮像された前記被写体の画像データを処理する、請求項１に記載の画像処理装置と、
前記画像処理装置において生成された画像を送信する送信部と、
を備えることを特徴とする画像表示装置。
被写体を撮像する撮像部と、
前記撮像部で撮像された前記被写体の画像データを処理する、請求項１に記載の画像処理装置と、
他の撮像部付き画像表示装置で生成された画像データを受信する受信部と、
前記受信部で受信した画像データを表示する表示部と、
を備えることを特徴とする画像表示装置。