JP5645255B2

JP5645255B2 - 画像処理装置および画像処理方法

Info

Publication number: JP5645255B2
Application number: JP2010252568A
Authority: JP
Inventors: 北村　和彦; 和彦北村
Original assignee: 埼玉日本電気株式会社
Priority date: 2010-11-11
Filing date: 2010-11-11
Publication date: 2014-12-24
Anticipated expiration: 2030-11-11
Also published as: JP2012103941A

Description

本発明は、例えば撮影機能を備える携帯端末に用いて好適な画像処理装置および画像処理方法に関する。

撮影機能を用いてテレビ電話を具現する携帯端末では、自分撮り用のカメラと表示部とが同一面の異なる箇所に配設される為、通話者同士の視線の不一致が生じる。通話者同士の視線の不一致を解消する技術として、例えば特許文献１には、予め用意しておいた正視目の画像データを、伝送する画像信号から推定した顔の向きに応じて拡大縮小し、拡大縮小された正視目の画像データを、画像信号から抽出した顔領域の目の部分に置き換えて目線補正する技術が開示されている。

また、近年では、撮影機能を用いてハンドミラーと呼ばれる機能を具現するタイプの携帯端末も開発されている。ハンドミラー機能とは、図１０に図示するように、自分撮り用のカメラＣと表示部Ｄとが同一面の異なる箇所に配置され、カメラＣで撮影した自分の顔を表示部Ｄの画面に表示する機能であり、化粧のノリ具合などを確かめる手鏡として代用される。

特開２０００−１３７７８９号公報

上述したように、ハンドミラー機能では、カメラＣと表示部Ｄとの配置位置が離間している為、例えば図１０に図示する一例であれば、表示部Ｄの表示画面を見つめるユーザの顔をカメラＣで撮影すると、下向きになる目線、すなわち伏し目の顔として撮られてしまい、不自然な表情として写される。こうした弊害は、ユーザの顔の位置が表示部Ｄの表示画面に近づけば近づくほど顕著になる。

そこで、上記特許文献１に開示の技術を適用して目線補正することが考えられるが、単に予め用意しておいた正視目の画像データを、画像信号から推定した顔の向きに応じて拡大縮小し、拡大縮小された正視目の画像データを、画像信号から抽出した顔領域の目の部分に置き換えるだけでは、自然な表情の正視目線に補正することが出来ないという問題を有する。

本発明は、このような事情に鑑みてなされたもので、自然な表情の正視目線に補正することができる画像処理装置、画像処理方法およびプログラムを提供することを目的としている。

上記目的を達成するため、請求項１に記載の発明では、被写体との撮影距離を測距する測距手段と、正視目線の顔を撮影して正視顔画像を取得する正視顔画像取得手段と、前記正視顔画像取得手段により取得された正視顔画像中の目元部分を切り出して目元画像を生成する目元切取手段と、目線が正視した状態から外れた偏視の顔を撮影して偏視顔画像を取得する偏視顔画像取得手段と、前記偏視顔画像取得手段により取得された偏視顔画像中の目元部分に、前記目元切取手段により生成された目元画像を合成して偏視顔画像中の目線を補正する目線補正手段と、前記偏視顔画像取得手段が偏視顔画像を撮像した時に、前記測距手段により測距された撮影距離が所定距離未満であれば、前記目線補正手段を実行させ、一方、撮影距離が所定距離以上ならば、前記目線補正手段を不実行とする制御手段と、を具備することを特徴とする。

請求項２に記載の発明では、被写体との撮影距離を測距する測距手段と、正視目線の顔を撮影して正視顔画像を取得する正視顔画像取得手段と、前記正視顔画像取得手段により取得された正視顔画像中の両眼の瞳部分を切り出して瞳画像を生成する瞳切取手段と、目線が正視した状態から外れた偏視の顔を撮影して偏視顔画像を取得する偏視顔画像取得手段と、前記偏視顔画像取得手段により取得された偏視顔画像中の両眼の瞳部分に、前記瞳切取手段により生成された瞳画像を合成して偏視顔画像中の目線を補正する目線補正手段と、前記偏視顔画像取得手段が偏視顔画像を撮像した時に、前記測距手段により測距された撮影距離が所定距離未満であれば、前記目線補正手段を実行させ、一方、撮影距離が所定距離以上ならば、前記目線補正手段を不実行とする制御手段と、を具備することを特徴とする。

請求項３に記載の発明では、被写体との撮影距離を測距する測距手段と、目線が正視した状態から外れた偏視の顔を撮影して偏視顔画像を取得する偏視顔画像取得手段と、前記偏視顔画像取得手段により取得された偏視顔画像中の瞳から眼球の大きさと眼球の回転角度とを判定する判定手段と、前記判定手段により判定された眼球の大きさと眼球の回転角度とに応じて、偏視顔画像中の瞳に回転補正を施して正視目線の瞳画像を生成する瞳画像生成手段と、前記瞳画像生成手段により生成された瞳画像を、偏視顔画像中の両眼位置に合成して目線を補正する目線補正手段と、前記偏視顔画像取得手段が偏視顔画像を撮像した時に、前記測距手段により測距された撮影距離が所定距離未満であれば、前記目線補正手段を実行させ、一方、撮影距離が所定距離以上ならば、前記目線補正手段を不実行とする制御手段と、を具備することを特徴とする。

上記請求項３に従属する請求項４に記載の発明では、前記目線補正手段は、前記偏視顔画像取得手段が偏視顔画像を撮像した時に、前記測距手段により測距された撮影距離が所定距離未満の場合に、前記偏視顔画像取得手段により取得された偏視顔画像中の両眼の瞳を白目画像で塗り潰す塗り潰し手段と、前記偏視顔画像中の瞳の径を計測し、計測した瞳の径に応じて、前記瞳画像生成手段により生成された正視目線の瞳画像の大きさを拡大縮小する拡大縮小手段と、前記拡大縮小手段により拡大縮小された正視目線の瞳画像を、前記塗り潰し手段により両眼の瞳が白目に塗りつぶされた偏視顔画像中の両眼位置に合成する合成手段と、を備えることを特徴とする。

請求項５に記載の発明では、被写体との撮影距離を測距する測距ステップと、正視目線の顔を撮影して正視顔画像を取得する正視顔画像取得ステップと、前記正視顔画像取得ステップにより取得された正視顔画像中の目元部分を切り出して目元画像を生成する目元切取ステップと、目線が正視した状態から外れた偏視の顔を撮影して偏視顔画像を取得する偏視顔画像取得ステップと、前記偏視顔画像取得ステップにより取得された偏視顔画像中の目元部分に、前記目元切取ステップにより生成された目元画像を合成して偏視顔画像中の目線を補正する目線補正ステップと、前記偏視顔画像取得ステップで偏視顔画像を撮像した時に、前記測距ステップにて測距された撮影距離が所定距離未満であれば、前記目線補正ステップを実行させ、一方、撮影距離が所定距離以上ならば、前記目線補正ステップを不実行とする制御ステップと、を具備することを特徴とする。

請求項６に記載の発明では、被写体との撮影距離を測距する測距ステップと、正視目線の顔を撮影して正視顔画像を取得する正視顔画像取得ステップと、前記正視顔画像取得ステップにより取得された正視顔画像中の両眼の瞳部分を切り出して瞳画像を生成する瞳切取ステップと、目線が正視した状態から外れた偏視の顔を撮影して偏視顔画像を取得する偏視顔画像取得ステップと、前記偏視顔画像取得ステップにより取得された偏視顔画像中の両眼の瞳部分に、前記瞳切取ステップにより生成された瞳画像を合成して偏視顔画像中の目線を補正する目線補正ステップと、前記偏視顔画像取得ステップで偏視顔画像を撮像した時に、前記測距ステップにて測距された撮影距離が所定距離未満であれば、前記目線補正ステップを実行させ、一方、撮影距離が所定距離以上ならば、前記目線補正ステップを不実行とする制御ステップと、を具備することを特徴とする。

請求項７に記載の発明では、被写体との撮影距離を測距する測距ステップと、目線が正視した状態から外れた偏視の顔を撮影して偏視顔画像を取得する偏視顔画像取得ステップと、前記偏視顔画像取得ステップにより取得された偏視顔画像中の瞳から眼球の大きさと眼球の回転角度とを判定する判定ステップと、前記判定ステップにより判定された眼球の大きさと眼球の回転角度とに応じて、偏視顔画像中の瞳に回転補正を施して正視目線の瞳画像を生成する瞳画像生成ステップと、前記瞳画像生成ステップにより生成された瞳画像を、偏視顔画像中の両眼位置に合成して目線を補正する目線補正ステップと、前記偏視顔画像取得ステップで偏視顔画像を撮像した時に、前記測距ステップにて測距された撮影距離が所定距離未満であれば、前記目線補正ステップを実行させ、一方、撮影距離が所定距離以上ならば、前記目線補正ステップを不実行とする制御ステップと、を具備することを特徴とする。

上記請求項７に従属する請求項８に記載の発明では、前記目線補正ステップは、前記偏視顔画像取得ステップで偏視顔画像を撮像した時に、前記測距ステップにて測距された撮影距離が所定距離未満の場合に、前記偏視顔画像取得ステップで取得された偏視顔画像中の両眼の瞳を白目画像で塗り潰す塗り潰しステップと、前記偏視顔画像中の瞳の径を計測し、計測した瞳の径に応じて、前記瞳画像生成ステップにより生成された正視目線の瞳画像の大きさを拡大縮小する拡大縮小ステップと、前記拡大縮小ステップにより拡大縮小された正視目線の瞳画像を、前記塗り潰しステップにて両眼の瞳が白目に塗りつぶされた偏視顔画像中の両眼位置に合成する合成ステップと、を備えることを特徴とする。

本発明では、自然な表情の正視目線に補正することができる。

第１実施形態による撮影装置１００の全体構成を示すブロック図である。第１実施形態による目線補正処理の動作を示すフローチャートである。第１実施形態による目線補正処理の動作を説明するための図である。第２実施形態による撮影装置１００の全体構成を示すブロック図である。第２実施形態による目線補正処理の動作を示すフローチャートである。第２実施形態による目線補正処理の動作を説明するための図である。第３実施形態による撮影装置１００の全体構成を示すブロック図である。第３実施形態による目線補正処理の動作を示すフローチャートである。第３実施形態による目線補正処理の動作を説明するための図である。背景技術を説明するための図である。

以下、図面を参照して本発明の実施形態について説明する。
［第１実施形態］
（１）構成
図１は、第１実施形態による画像処理装置を備えた撮影装置１００の全体構成を示すブロック図である。この図において、測距手段１１は、例えばアクティブ方式で構成され、被写体までの距離を測距する。なお、測距手段１１が位相差検出やコントラスト検出する公知のパッシブ方式で構成される場合には、後述する撮像手段１２から出力される画像データ（撮像データ）に基づき測距する。撮像手段１２は、ＣＣＤ等の個体撮像素子などから構成され、測距手段１１により測距された撮影距離に基づきフォーカシングされた被写体を撮影して得た画像データを発生する。

制御手段１３は、ＣＰＵ、ＲＯＭおよびＲＡＭ等から構成され、本発明の要旨に係わる目元切取手段１３１および合成手段１３２の各機能を具現する。すなわち、目元切取手段１３１では、撮像手段１２が撮影したユーザの正視顔画像ＳＧ（図３参照）から目元画像ＭＧを切り取る。正視顔画像ＳＧは、カメラ（撮像手段１２）を正視した状態のユーザの顔を撮像した画像を指す。目元画像ＭＧとは、図３に図示するように、撮像手段１２により撮影された正視顔画像ＳＧにおいて、顔の輪郭の一部および鼻の一部形状を含む目元領域の画像を指す。

目元切取手段１３１により切り取られた目元画像ＭＧは、図示されていない一時記憶手段（ＲＡＭ）に格納保存される。合成手段１３２では、表示手段１４の表示画面を見つめているユーザの顔を撮像手段１２により撮影して取得した偏視顔画像ＨＧ（図３参照）に、一時記憶手段（ＲＡＭ）から読み出した目元画像ＭＧを合成して目線補正画像を生成する。偏視顔画像ＨＧとは、目線が正視した状態から外れた偏視顔を撮影した画像を指す。表示手段１４は、例えばカラーＬＣＤパネル等から構成され、制御手段１３（合成手段１３２）から出力される目線補正画像を画面表示する。

（２）動作
次に、図２〜図３を参照して第１実施形態の動作を説明する。図２は、目元切取手段１３１および合成手段１３２を含む制御手段１３が実行する目線補正処理の動作を示すフローチャートである。目線補正処理が実行されると、制御手段１３はステップＳ１０１に処理を進め、カメラ（撮像手段１２）を正面から見つめるようにユーザに指示する。ユーザへの指示は、表示部１４に指示内容を文字として画面表示する態様でもよいし、指示内容を音声ガイダンスする態様でも構わない。

続いて、ステップＳ１０２では、ユーザがカメラ（撮像手段１２）を正視した状態を撮影して正視顔画像ＳＧを取得する目元撮影処理を実行する。この目元撮影処理では、ユーザの顔がカメラに対して正視した状態を検出した時に、自動的に正視顔画像ＳＧを撮影する態様の他、ユーザ操作（シャッタボタン押下）で正視顔画像ＳＧを撮影する態様としても構わない。また、撮影範囲はユーザの顔全体でもよいし、顔の目元領域だけを撮影するようにしてもよい。取得された正視顔画像ＳＧが制御手段１３に供給されると、図３に図示するように、目元切取手段１３１が正視顔画像ＳＧから目元画像ＭＧを切り出して一時記憶手段（ＲＡＭ）に格納保存する。

正視顔画像ＳＧから目元画像ＭＧを切り出し終えると、ステップＳ１０３に進み、前述したハンドミラー機能用の撮影モードに切り替える旨の切替通知を表示手段１４に画面表示する。続いて、次のステップＳ１０４では、切替通知に従ってユーザが表示手段１４の表示画面を見つめている状態の顔、つまり目線が正視した状態から外れた偏視顔を撮影して偏視顔画像ＨＧを取得する。具体的には、例えば図１０に図示する一例であれば、伏し目の偏視顔画像ＨＧが撮影される。続いて、ステップＳ１０５では、偏視顔画像ＨＧを撮影した時に、測距手段１１により測距された撮影距離が所定距離未満であるか否かを判断する。

撮影距離が所定距離以上の場合には、撮影した画像の解像度から目線が特定できなかったり、目線補正を施すほど視線の偏りが生じなかったりする為、上記ステップＳ１０５の判断結果は「ＮＯ」になり、本処理を終える。これに対し、撮影距離が所定距離未満であれば、目線補正を施す必要があるので、上記ステップＳ１０５の判断結果は「ＹＥＳ」になり、ステップＳ１０６に進む。

そして、ステップＳ１０６では、図３に図示するように、合成手段１３２が一時記憶手段（ＲＡＭ）から読み出した目元画像ＭＧを偏視顔画像ＨＧに合成して目線補正画像を生成し、生成した目線補正画像を表示手段１４に画面表示して本処理を終える。なお、偏視顔画像ＨＧに目元画像ＭＧを合成するには、顔の輪郭や鼻の位置、目の大きさ、瞳の大きさ等から輪郭線のズレが最小となるように目元画像ＭＧを拡大縮小して偏視顔画像ＨＧに上書き合成して表示手段１４に画面表示する。

以上のように、第１実施形態では、ユーザがカメラ（撮像手段１２）を正視した状態で撮影して得た正視顔画像ＳＧから目元画像ＭＧを切り出した後、ユーザが表示手段１４の表示画面を見つめている状態の顔を撮影して偏視顔画像ＨＧを取得すると、その偏視顔画像ＨＧを撮影した時の撮影距離が所定距離未満であれば、取得した偏視顔画像ＨＧに、切り出した目元画像ＭＧを合成して表示手段１４に画面表示するので、自然な表情の正視目線に補正できる。また、顔の輪郭を含む目元画像ＭＧを用いて偏視顔画像ＨＧに合成しているので、目元画像ＭＧを撮影した時の撮影距離と偏視顔画像ＨＧを撮影した時の撮影距離とが異なる場合でも特徴点が多数ある為に拡大縮小することで自然な表情の正視目線に補正できる。

なお、上述した第１実施形態では、偏視顔画像ＨＧに目元画像ＭＧを合成する際に、顔の輪郭を参照するようにしたが、髪などのノイズ情報も少なからず含まれる為、必ずしも顔の輪郭を参照する必要はない。また、偏視顔画像ＨＧに目元画像ＭＧを合成する際に、鼻の位置を参照するようにしたが、これについても必ずしも参照の必要はない。また、同様に、本実施形態では、正視顔画像ＳＧから目元画像ＭＧを切り出す際に、顔の輪郭の一部および鼻の一部形状を含む目元領域を切り出すようにしたが、これに限らず、顔や鼻の一部を含まない目元だけの目元画像ＭＧを切り出す態様としても構わない。

［第２実施形態］
次に、図４〜図６を参照して第２実施形態について説明する。
（１）構成
図４は、第２実施形態による画像処理装置を備えた撮影装置１００の全体構成を示すブロック図である。この図において、上述した第１実施形態と共通する構成要素には同一の番号を付し、その説明を省略する。第２実施形態が上述の第１実施形態と相違する点は、制御手段１３が瞳切取手段１３３と、瞳径計測手段１３４ａおよび白目塗潰手段１３４ｂを備える合成手段１３４とを具備することにある。以下、第１実施形態と相違する構成について説明する。

瞳切取手段１３３は、撮像手段１２により撮影されたユーザの正視顔画像ＳＧ（図６参照）から瞳画像ＥＧを切り取る。正視顔画像ＳＧは、カメラ（撮像手段１２）を正視した状態のユーザの顔を撮像した画像を指す。瞳画像ＥＧとは、図６に図示するように、撮像手段１２により撮影された正視顔画像ＳＧにおける両眼の瞳の画像を指す。瞳切取手段１３３により切り取られた瞳画像ＥＧは、図示されていない一時記憶手段（ＲＡＭ）に格納保存される。

瞳径計測手段１３４ａは、表示手段１４の表示画面を見つめているユーザの顔を撮像手段１２により撮影して取得した偏視顔画像ＨＧ（図６参照）中の瞳の径や、瞳切取手段１３３により切り取られた瞳画像ＥＧ中の瞳の径を計測する。白目塗潰手段１３４ｂは、偏視顔画像ＨＧ中の瞳を白目に塗り潰す。塗り潰しには予め用意してあるテクスチャー画像を用いる。合成手段１３４では、瞳径計測手段１３４ａにより計測された偏視顔画像ＨＧ中の瞳の径と瞳画像ＥＧ中の瞳の径との比に応じた拡大縮小率に従って瞳画像ＥＧ中の瞳の大きさを拡大縮小し、拡大縮小された瞳画像ＥＧを、白目塗潰手段１３４ｂにより両眼の瞳が白目に塗り潰された偏視顔画像ＨＧ中の両眼位置に合成する。瞳は眼の略中央部に合成することが望ましいのは言うまでもない。

（２）動作
次に、図５〜図６を参照して第２実施形態の動作を説明する。図５は、瞳切取手段１３３と、瞳径計測手段１３４ａおよび白目塗潰手段１３４ｂを備える合成手段１３４とを具備する制御手段１３が実行する目線補正処理の動作を示すフローチャートである。本処理が実行されると、制御手段１３はステップＳ２０１に処理を進め、カメラ（撮像手段１２）を正面から見つめるようにユーザに指示する。ユーザへの指示は、表示部１４に指示内容を文字として画面表示する態様でもよいし、指示内容を音声ガイダンスする態様でも構わない。

続いて、ステップＳ２０２では、ユーザがカメラ（撮像手段１２）を正視した状態を撮影して正視顔画像ＳＧ（図６参照）を取得する瞳撮影処理を実行する。この瞳撮影処理では、ユーザの顔がカメラに対して正視した状態を検出した時に、自動的に正視顔画像ＳＧを撮影する態様の他、ユーザ操作（シャッタボタン押下）で正視顔画像ＳＧを撮影する態様としても構わない。また、撮影範囲はユーザの顔全体でもよいし、顔の目元領域だけを撮影するようにしてもよい。取得された正視顔画像ＳＧが制御手段１３に供給されると、図６に図示するように、瞳切取手段１３３が正視顔画像ＳＧから瞳画像ＥＧを切り出して一時記憶手段（ＲＡＭ）に格納保存する。

正視顔画像ＳＧから瞳画像ＥＧを切り出し終えると、ステップＳ２０３に進み、前述したハンドミラー機能用の撮影モードに切り替える旨を表す切替通知を表示手段１４に画面表示する。続いて、次のステップＳ２０４では、切替通知に従ってユーザが表示手段１４の表示画面を見つめている状態の顔、つまり目線が正視した状態から外れた偏視顔を撮影して偏視顔画像ＨＧ（図６参照）を取得する。具体的には、例えば図１０に図示する一例であれば、伏し目の偏視顔画像ＨＧが撮影される。続いて、ステップＳ２０５では、偏視顔画像ＨＧを撮影した時に、測距手段１１により測距された撮影距離が所定距離未満であるか否かを判断する。

撮影距離が所定距離以上の場合には、撮影した画像の解像度から目線が特定できなかったり、目線補正を施すほど視線の偏りが生じなかったりする為、上記ステップＳ２０５の判断結果は「ＮＯ」になり、目線補正することなく本処理を終える。これに対し、撮影距離が所定距離未満であれば、目線補正を施す必要があるので、上記ステップＳ２０５の判断結果が「ＹＥＳ」になり、ステップＳ２０６に進む。

ステップＳ２０６では、偏視顔画像ＨＧ中の両眼の瞳を、予め用意してあるテクスチャー画像を用いて白目に塗り潰す。そして、ステップＳ２０７では、偏視顔画像ＨＧ中の瞳の径と瞳画像ＥＧ中の瞳の径とを計測し、計測した両径の比に応じた拡大縮小率に従い、瞳画像ＥＧ中の瞳の大きさを拡大縮小し、拡大縮小された瞳の瞳画像ＥＧを、上記ステップＳ２０５において両眼の瞳が白目に塗り潰された偏視顔画像ＨＧ中の両眼位置に合成して表示手段１４に画面表示する。

以上のように、第２実施形態では、ユーザがカメラ（撮像手段１２）を正視した状態で撮影して得た正視顔画像ＳＧから瞳画像ＥＧを切り出した後、ユーザが表示手段１４の表示画面を見つめている状態の顔を撮影して偏視顔画像ＨＧを取得すると、その偏視顔画像ＨＧを撮影した時の撮影距離が所定距離未満であれば、偏視顔画像ＨＧ中の両眼の瞳を予め用意してあるテクスチャー画像を用いて白目に塗り潰し、偏視顔画像ＨＧ中の瞳の径と瞳画像ＥＧ中の瞳の径とを計測し、計測した両径の比に応じた拡大縮小率に従い、瞳画像ＥＧ中の瞳の大きさを拡大縮小し、拡大縮小された瞳の瞳画像ＥＧを、両眼の瞳が白目に塗り潰された偏視顔画像ＨＧ中の両眼位置に合成して表示手段１４に画面表示するので、自然な表情の正視目線に補正できる。また、自然な表情の正視目線に補正することによって、あたかも正視したユーザの顔が表示手段１４の画面に表示されるハンドミラー機能を実現することが出来る。

なお、本実施形態では、瞳のみを切り取って合成しているので、合成領域が最小限となるため、より一層自然な表情の正視目線に補正することが可能になる。また、合成の際には、瞳と目蓋の関係も考慮する必要がある。すなわち、目蓋が瞳にかかるような場合には、目蓋にマスク処理を施して白目部分を透明化して目蓋を隠すようにして合成することも可能であるが、瞳に目蓋がかかってしまう状況では表示手段１４を見ていないものと見なし、上記ステップＳ２０７の合成処理を行わないようにする態様としても構わない。

［第３実施形態］
次に、図７〜図９を参照して第３実施形態について説明する。
（１）構成
図７は、第３実施形態による画像処理装置を備えた撮影装置１００の全体構成を示すブロック図である。この図において、前述した第１実施形態と共通する構成要素には同一の番号を付し、その説明を省略する。第３実施形態が前述の第１実施形態と相違する点は、制御手段１３が眼球大きさ及び回転角度判定手段１３５、瞳回転補正手段１３６、白目塗潰手段１３７ａを備える合成手段１３７を具備することにある。以下、第１実施形態と相違する構成について説明する。

眼球大きさ及び回転角度判定手段１３５は、表示手段１４の表示画面を見つめているユーザの顔を撮像手段１２により撮影して取得した偏視顔画像ＨＧ中の瞳から眼球の大きさと眼球の回転角度を判定する。この点について図９を参照して説明する。図９は瞳の水平方向で最大幅の線を横径Ｌ、横径Ｌの中央と垂直方向で最大幅の線を縦半径Ｒとした図である。目線が下を向いて偏視（伏し目）になった場合、瞳の横径Ｌは正視の状態と変わらないが、偏視状態の縦半径Ｒは正視状態の縦半径Ｒに比べ小さくなる。眼球径が瞳径に比例するものと考えれば、瞳の横径Ｌから眼球の大きさが分かる。また、正視状態から偏視状態になったときに眼球が球として回転したと考えると、その横径Ｌと縦半径Ｒとの比率から回転角度を算出することが出来る。

瞳回転補正手段１３６は、眼球大きさ及び回転角度判定手段１３５により判定された眼球大きさ及び回転角度に基づき正視状態の瞳に補正する。すなわち、図９に図示する通り、瞳の横径Ｌの中央を略瞳中心位置とし、この瞳中心位置を頂点とした三角形Ｔ（あるいは扇形状）の画像について眼球径と回転角を考慮した角度回転補正を行って正視状態の瞳画像を生成する。白目塗潰手段１３７ａは、偏視顔画像ＨＧ中の瞳を白目に塗り潰す。塗り潰しには予め用意してあるテクスチャー画像を用いる。合成手段１３７では、眼球大きさ及び回転角度判定手段１３５および瞳回転補正手段１３６により生成された正視状態の瞳画像を、白目塗潰手段１３７ａにより両眼の瞳が白目に塗り潰された偏視顔画像ＨＧ中の両眼位置に合成する。

（２）動作
次に、図８〜図９を参照して第３実施形態の動作を説明する。図８は、眼球大きさ及び回転角度判定手段１３５、瞳回転補正手段１３６、白目塗潰手段１３７ａを備える合成手段１３７を具備する制御手段１３が実行する目線補正処理の動作を示すフローチャートである。本処理が実行されると、制御手段１３はステップＳ３０１において、ユーザが表示手段１４の表示画面を見つめている状態の顔、つまり目線が正視した状態から外れた偏視顔を撮影して偏視顔画像ＨＧを取得する。

偏視顔画像ＨＧを取得すると、ステップＳ３０２に処理を進め、図９に図示するように、眼球大きさ及び回転角度判定手段１３５が偏視顔画像ＨＧ中の瞳から眼球の大きさと眼球の回転角度を判定する。続いて、ステップＳ３０３では、上記ステップＳ３０２で判定された眼球大きさ及び回転角度に基づき正視状態の瞳に補正する角度回転補正を行って正視状態の瞳画像を生成する。次に、ステップＳ３０４では、偏視顔画像ＨＧを撮影した時に、測距手段１１により測距された撮影距離が所定距離未満であるか否かを判断する。

撮影距離が所定距離以上の場合には、撮影した画像の解像度から目線が特定できなかったり、目線補正を施すほど視線の偏りが生じなかったりする為、上記ステップＳ３０４の判断結果は「ＮＯ」になり、本処理を終える。一方、撮影距離が所定距離未満であれば、上記ステップＳ３０４の判断結果は「ＹＥＳ」になり、ステップＳ３０５に進む。ステップＳ３０５では、偏視顔画像ＨＧ中の両眼の瞳を、予め用意してあるテクスチャー画像を用いて白目に塗り潰す。そして、ステップＳ３０６では、偏視顔画像ＨＧ中の瞳の径を計測し、計測した瞳の径に応じて、上記ステップＳ３０３において生成された正視状態の瞳画像の大きさを拡大縮小し、拡大縮小した正視状態の瞳画像を、両眼の瞳が白目に塗り潰された偏視顔画像ＨＧ中の両眼位置に合成して表示手段１４に画面表示する。

以上のように、第３実施形態では、ユーザが表示手段１４の表示画面を見つめている状態の顔を撮影して偏視顔画像ＨＧを取得すると、その偏視顔画像ＨＧ中の瞳から眼球の大きさと眼球の回転角度を判定し、判定された眼球大きさ及び回転角度に基づき正視状態の瞳に補正する角度回転補正を行って正視状態の瞳画像を生成する。そして、偏視顔画像ＨＧを撮影した時の撮影距離が所定距離未満であれば、偏視顔画像ＨＧ中の両眼の瞳を、予め用意してあるテクスチャー画像を用いて白目に塗り潰した後、偏視顔画像ＨＧ中の瞳の径を計測し、計測した瞳の径に応じて正視状態の瞳画像の大きさを拡大縮小し、拡大縮小した正視状態の瞳画像を、両眼の瞳が白目に塗り潰された偏視顔画像ＨＧ中の両眼位置に合成して表示手段１４に画面表示するので、自然な表情の正視目線に補正できる。また、自然な表情の正視目線に補正することによって、あたかも正視したユーザの顔が表示手段１４の画面に表示されるハンドミラー機能を実現することが出来る。

また、第３実施形態では、瞳の水平方向で最大幅の線を横径Ｌ、横径Ｌの中央と垂直方向で最大幅の線を縦半径Ｒとして、瞳の横径Ｌの中央を略瞳中心位置とし処理を簡素化したが、厳密には瞳中心は横径Ｌの下方に位置するため、撮影角度によっては補正画像がいびつになる場合もある。このような場合は眼球の大きさと回転角度に応じて瞳中心位置を下へ補正して、ここを頂点とした三角形Ｔ（あるいは扇形状）の画像を取得するようにしてもよい。

なお、瞳画像を偏視顔画像ＨＧに合成する際には、瞳と目蓋の関係も考慮する必要がある。すなわち、偏視顔画像ＨＧ中の目蓋が瞳にかかるような場合には、目蓋にマスク処理を施して白目部分を透明化して目蓋を隠すようにして合成することも可能であるが、瞳に目蓋がかかってしまう状況では表示手段１４を見ていないものと見なし、上記ステップＳ２０７の合成処理を行わないようにする態様としても構わない。

また、白目塗潰手段１３７ａにて予め用意したテクスチャー画像で白目を塗り潰す処理としたが、これに替えて、瞳を回転補正する際に白目部分をも含めた三角形Ｔ（又は扇形状）にて回転補正し、目蓋を考慮した合成を施すようにしてもよい。更に、上述した実施形態では、眼球径を考慮した回転角度補正を行ったが、これに限らず、瞳の横径Ｌと縦半径Ｒとの比率で定まる扁平率の瞳を円形となるように補正する態様としてもよい。こうした補正の場合には、三角形Ｔ（又は扇形状）で補正し、全周へ展開する必要が無くなる。

加えて、上述した第１〜第３実施形態では、説明の簡略化を図る為、目線が正視した状態から外れた偏視の一例として伏し目を例示したが、本発明の要旨は伏し目に限定されず、目線が正視した状態から上下左右のいずれか一方向へ外れた偏視に適用できることは言うまでもない。

以下に、本発明に関する付記事項を記載する。
（付記１）
コンピュータに、
正視目線の顔を撮影して正視顔画像を取得する正視顔画像取得ステップと、
前記正視顔画像取得ステップにて取得された正視顔画像中の目元部分を切り出して目元画像を生成する目元切取ステップと、
目線が正視した状態から外れた偏視の顔を撮影して偏視顔画像を取得する偏視顔画像取得ステップと、
前記偏視顔画像取得ステップにより取得された偏視顔画像中の目元部分に、前記目元切取ステップにより生成された目元画像を合成して偏視顔画像中の目線を補正する目線補正ステップと
を実行させることを特徴とするプログラム。

（付記２）
コンピュータに、
正視目線の顔を撮影して正視顔画像を取得する正視顔画像取得ステップと、
前記正視顔画像取得ステップにて取得された正視顔画像中の両眼の瞳部分を切り出して瞳画像を生成する瞳切取ステップと、
目線が正視した状態から外れた偏視の顔を撮影して偏視顔画像を取得する偏視顔画像取得ステップと、
前記偏視顔画像取得ステップにより取得された偏視顔画像中の両眼の瞳部分に、前記瞳切取ステップで生成された瞳画像を合成して偏視顔画像中の目線を補正する目線補正ステップと
を実行させることを特徴とするプログラム。

（付記３）
コンピュータに、
目線が正視した状態から外れた偏視の顔を撮影して偏視顔画像を取得する偏視顔画像取得ステップと、
前記偏視顔画像取得ステップにて取得された偏視顔画像中の瞳から眼球の大きさと眼球の回転角度とを判定する判定ステップと、
前記判定ステップで判定された眼球の大きさと眼球の回転角度とに応じて、偏視顔画像中の瞳に回転補正を施して正視目線の瞳画像を生成する瞳画像生成ステップと、
前記瞳画像生成ステップにて生成された瞳画像を、偏視顔画像中の両眼位置に合成して目線を補正する目線補正ステップと
を実行させることを特徴とするプログラム。

（付記４）
前記目線補正ステップは、
偏視顔画像中の瞳の径を計測し、計測した瞳の径に応じて、前記瞳画像生成ステップで生成された正視目線の瞳画像の大きさを拡大縮小する拡大縮小ステップと、
前記拡大縮小ステップにて拡大縮小された正視目線の瞳画像を、偏視顔画像中の両眼位置に合成する合成ステップと
を備えることを特徴とする付記３に記載のプログラム。

（付記５）
被写体との撮影距離を測距する測距ステップと、
偏視顔画像を撮像した時に、前記測距ステップで測距された撮影距離が所定距離未満であれば、前記目線補正ステップを実行させ、一方、撮影距離が所定距離以上ならば、前記目線補正ステップを不実行とする制御ステップと
を備えることを特徴とする付記１〜３の何れかに記載のプログラム。

１１測距手段
１２撮像手段
１３制御手段
１３１目元切取手段
１３２合成手段
１３３瞳切取手段
１３４合成手段
１３４ａ瞳径計測手段
１３４ｂ白目塗潰手段
１３５眼球大きさ及び回転角度判定手段
１３６瞳回転補正手段
１３７合成手段
１３７ａ白目塗潰手段
１４表示手段
１００撮影装置

Claims

被写体との撮影距離を測距する測距手段と、
正視目線の顔を撮影して正視顔画像を取得する正視顔画像取得手段と、
前記正視顔画像取得手段により取得された正視顔画像中の目元部分を切り出して目元画像を生成する目元切取手段と、
目線が正視した状態から外れた偏視の顔を撮影して偏視顔画像を取得する偏視顔画像取得手段と、
前記偏視顔画像取得手段により取得された偏視顔画像中の目元部分に、前記目元切取手段により生成された目元画像を合成して偏視顔画像中の目線を補正する目線補正手段と、
前記偏視顔画像取得手段が偏視顔画像を撮像した時に、前記測距手段により測距された撮影距離が所定距離未満であれば、前記目線補正手段を実行させ、一方、撮影距離が所定距離以上ならば、前記目線補正手段を不実行とする制御手段と、
を具備することを特徴とする画像処理装置。
被写体との撮影距離を測距する測距手段と、
正視目線の顔を撮影して正視顔画像を取得する正視顔画像取得手段と、
前記正視顔画像取得手段により取得された正視顔画像中の両眼の瞳部分を切り出して瞳画像を生成する瞳切取手段と、
目線が正視した状態から外れた偏視の顔を撮影して偏視顔画像を取得する偏視顔画像取得手段と、
前記偏視顔画像取得手段により取得された偏視顔画像中の両眼の瞳部分に、前記瞳切取手段により生成された瞳画像を合成して偏視顔画像中の目線を補正する目線補正手段と、
前記偏視顔画像取得手段が偏視顔画像を撮像した時に、前記測距手段により測距された撮影距離が所定距離未満であれば、前記目線補正手段を実行させ、一方、撮影距離が所定距離以上ならば、前記目線補正手段を不実行とする制御手段と、
を具備することを特徴とする画像処理装置。
被写体との撮影距離を測距する測距手段と、
目線が正視した状態から外れた偏視の顔を撮影して偏視顔画像を取得する偏視顔画像取得手段と、
前記偏視顔画像取得手段により取得された偏視顔画像中の瞳から眼球の大きさと眼球の回転角度とを判定する判定手段と、
前記判定手段により判定された眼球の大きさと眼球の回転角度とに応じて、偏視顔画像中の瞳に回転補正を施して正視目線の瞳画像を生成する瞳画像生成手段と、
前記瞳画像生成手段により生成された瞳画像を、偏視顔画像中の両眼位置に合成して目線を補正する目線補正手段と、
前記偏視顔画像取得手段が偏視顔画像を撮像した時に、前記測距手段により測距された撮影距離が所定距離未満であれば、前記目線補正手段を実行させ、一方、撮影距離が所定距離以上ならば、前記目線補正手段を不実行とする制御手段と、
を具備することを特徴とする画像処理装置。
前記目線補正手段は、
前記偏視顔画像取得手段が偏視顔画像を撮像した時に、前記測距手段により測距された撮影距離が所定距離未満の場合に、前記偏視顔画像取得手段により取得された偏視顔画像中の両眼の瞳を白目画像で塗り潰す塗り潰し手段と、
前記偏視顔画像中の瞳の径を計測し、計測した瞳の径に応じて、前記瞳画像生成手段により生成された正視目線の瞳画像の大きさを拡大縮小する拡大縮小手段と、
前記拡大縮小手段により拡大縮小された正視目線の瞳画像を、前記塗り潰し手段により両眼の瞳が白目に塗りつぶされた偏視顔画像中の両眼位置に合成する合成手段と、
を備えることを特徴とする請求項３記載の画像処理装置。
被写体との撮影距離を測距する測距ステップと、
正視目線の顔を撮影して正視顔画像を取得する正視顔画像取得ステップと、
前記正視顔画像取得ステップにより取得された正視顔画像中の目元部分を切り出して目元画像を生成する目元切取ステップと、
目線が正視した状態から外れた偏視の顔を撮影して偏視顔画像を取得する偏視顔画像取得ステップと、
前記偏視顔画像取得ステップにより取得された偏視顔画像中の目元部分に、前記目元切取ステップにより生成された目元画像を合成して偏視顔画像中の目線を補正する目線補正ステップと、
前記偏視顔画像取得ステップで偏視顔画像を撮像した時に、前記測距ステップにて測距された撮影距離が所定距離未満であれば、前記目線補正ステップを実行させ、一方、撮影距離が所定距離以上ならば、前記目線補正ステップを不実行とする制御ステップと、
を具備することを特徴とする画像処理方法。
被写体との撮影距離を測距する測距ステップと、
正視目線の顔を撮影して正視顔画像を取得する正視顔画像取得ステップと、
前記正視顔画像取得ステップにより取得された正視顔画像中の両眼の瞳部分を切り出して瞳画像を生成する瞳切取ステップと、
目線が正視した状態から外れた偏視の顔を撮影して偏視顔画像を取得する偏視顔画像取得ステップと、
前記偏視顔画像取得ステップにより取得された偏視顔画像中の両眼の瞳部分に、前記瞳切取ステップにより生成された瞳画像を合成して偏視顔画像中の目線を補正する目線補正ステップと、
前記偏視顔画像取得ステップで偏視顔画像を撮像した時に、前記測距ステップにて測距された撮影距離が所定距離未満であれば、前記目線補正ステップを実行させ、一方、撮影距離が所定距離以上ならば、前記目線補正ステップを不実行とする制御ステップと、
を具備することを特徴とする画像処理方法。
被写体との撮影距離を測距する測距ステップと、
目線が正視した状態から外れた偏視の顔を撮影して偏視顔画像を取得する偏視顔画像取得ステップと、
前記偏視顔画像取得ステップにより取得された偏視顔画像中の瞳から眼球の大きさと眼球の回転角度とを判定する判定ステップと、
前記判定ステップにより判定された眼球の大きさと眼球の回転角度とに応じて、偏視顔画像中の瞳に回転補正を施して正視目線の瞳画像を生成する瞳画像生成ステップと、
前記瞳画像生成ステップにより生成された瞳画像を、偏視顔画像中の両眼位置に合成して目線を補正する目線補正ステップと、
前記偏視顔画像取得ステップで偏視顔画像を撮像した時に、前記測距ステップにて測距された撮影距離が所定距離未満であれば、前記目線補正ステップを実行させ、一方、撮影距離が所定距離以上ならば、前記目線補正ステップを不実行とする制御ステップと、
を具備することを特徴とする画像処理方法。
前記目線補正ステップは、
前記偏視顔画像取得ステップで偏視顔画像を撮像した時に、前記測距ステップにて測距された撮影距離が所定距離未満の場合に、前記偏視顔画像取得ステップで取得された偏視顔画像中の両眼の瞳を白目画像で塗り潰す塗り潰しステップと、
前記偏視顔画像中の瞳の径を計測し、計測した瞳の径に応じて、前記瞳画像生成ステップにより生成された正視目線の瞳画像の大きさを拡大縮小する拡大縮小ステップと、
前記拡大縮小ステップにより拡大縮小された正視目線の瞳画像を、前記塗り潰しステップにて両眼の瞳が白目に塗りつぶされた偏視顔画像中の両眼位置に合成する合成ステップと、
を備えることを特徴とする請求項７記載の画像処理方法。