JP4043708B2 - 画像処理方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、目を閉じた人物の顔画像を目を開いた顔画像に修正して出力する画像処理方法および装置に関する。
【０００２】
【従来の技術】
写真撮影において、撮影の瞬間に瞬きをしてしまったり、ストロボ撮影で目をつむってしまったりして、目を閉じた写真ができてしまう場合がある。特に、人物写真の場合、目は重要な要素であり、目を閉じた写真は写真品質上好ましくない。撮り直しが可能な場合はよいが、撮り直しが困難な場合には、そのような撮影の失敗を修正することが望まれる。このようなとき、従来は、熟練者がペンを用いてレタッチ修正を行っていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、前記従来のペンを用いたレタッチによる修正方法は、熟練した作業者の手作業に頼った方法であるため、手間と時間がかかり、写真の価格が高くなってしまうという問題があった。
本発明は、前記従来の問題に鑑みてなされたものであり、目を閉じた人物画像に対して、目を開かせる処理を行い、撮影の失敗を修正し、目を開いた画像を出力することのできる画像処理方法および装置を提供することを課題とする。
【０００４】
前記課題を解決するために本発明の第１の態様の第１の形態は、目を瞑っている状態の人物画像における、瞑っている目の画像に目修正処理を施す画像処理方法であって、開目画像記憶部に、前記目を瞑っている状態の人物画像の人物と同一人物に関する開いている目の画像を、予め複数種類記憶しておき、目特徴量特定部により、前記予め記憶された複数種類の前記開いている目の画像から、前記瞑っている目の画像に合成する前記開いている目の画像を選択し、前記目特徴量特定部により、前記目を瞑っている状態の人物画像における、目周辺の色濃度、両目の位置、両目の距離、目の大きさ、顔の大きさという画像の特徴のうち１つ以上の特徴に基づいて、前記選択した前記開いている目の画像における前記画像の特徴を自動的に調整し、目画像合成部により、前記自動的に調整された前記開いている目の画像を前記瞑っている目の画像に合成する目修正処理を施すことを特徴とする画像処理方法を提供するものである。
【０００５】
また、前記予め記憶された複数種類の前記開いている目の画像から、前記瞑っている目の画像に合成する前記開いている目の画像の選択は、前記目特徴量特定部により、前記瞑っている目の大きさおよび角度に基づいて行うことが好ましく、前記瞑っている目の大きさは、前記目を瞑っている状態の目の画像を用いて、瞼の大きさ、左右の目と目の距離および顔の大きさに基いて、前記目特徴量特定部により推定され、前記瞑っている目の角度は、前記瞑っている目の画像における左右の目の位置関係および顔の角度に基いて、前記目特徴量特定部により推定されることがより好ましい。
【０００６】
また、前記目特徴量特定部により、指示に応じて、合成する画像の目の大きさ、角度、色、濃度、アスペクト比を変更することが好ましい。なお、ここで、アスペクト比とは、目の部分の縦横の比をいう。
【０００７】
また、本発明の第１の態様の第２の形態は、目を瞑っている状態の人物画像における、瞑っている目の画像に目修正処理を施す画像処理方法であって、開目画像記憶部に、前記瞑っている目の画像と同一人物の開いている目の画像を、予め記憶しておき、モデル作成部により、前記瞑っている目の画像と、前記開いている目の画像とを対比し、瞼上の点の動きを推定して、前記瞼上の点の動きを示すモデルを構築し、目画像変換部により、前記モデルに基いて、目を瞑った状態から目を開いた状態までの間で目を開く度合いを任意の度合いとする目修正処理を施すことを特徴とする画像処理方法を提供するものである。
【０００８】
また、本発明の第１の態様の第２の形態において、開目画像記憶部に、前記瞑っている目の画像と同一人物の半目の画像を、予め記憶しておき、モデル作成部により、前記瞑っている目の画像と、前記開いている目の画像と、前記半目の画像とを対比し、瞼上の点の動きを推定して、瞼上の点の動きを示すモデルを構築することが好ましい。
【０００９】
また、本発明の第１の態様において、前記目を瞑っている状態の人物画像が、片目のみ瞑っている状態の人物画像の場合であって、瞑っている目の画像に目修正処理を施す際、前記開いている目の画像として、瞑っている方と反対の開いている目の画像、および、当該開いている目の周辺の特徴を利用するものであることが好ましく、前記周辺の特徴として、瞳の色および大きさ、睫毛の長さ、瞼および目周辺の肌の色、瞼の一重、二重、目の位置、目の大きさおよび形の情報を利用することが好ましい。
【００１０】
本発明の第２の態様の第１の形態は、目を瞑っている状態の人物画像における、瞑っている目の画像に目修正処理を施す画像処理装置であって、前記目を瞑っている状態の人物画像の人物と同一人物に関する開いている目の画像を、予め複数種類記憶しておく開目画像記憶部と、前記予め記憶された複数種類の前記開いている目の画像から、前記瞑っている目の画像に合成する前記開いている目の画像を選択し、前記目を瞑っている状態の人物画像における、目周辺の色濃度、両目の位置、両目の距離、目の大きさ、顔の大きさという画像の特徴のうち１つ以上の特徴に基づいて、前記選択した前記開いている目の画像における前記画像の特徴を自動的に調整する目特徴量特定部と、前記自動的に調整された前記開いている目の画像を前記瞑っている目の画像に合成する目修正処理を施す目画像合成部とを備えることを特徴とする画像処理装置を提供するものである。
【００１１】
ここで、本発明の第２の態様の第１の形態において、前記目特徴量特定部は、前記瞑っている目の大きさおよび角度に基づいて、前記予め記憶された複数種類の前記開いている目の画像から、前記瞑っている目の画像に合成する前記開いている目の画像の選択を行うことが好ましく、前記目特徴量特定部は、前記目を瞑っている状態の目の画像を用いて、瞼の大きさ、左右の目と目の距離および顔の大きさに基いて、前記瞑っている目の大きさを推定し、前記瞑っている目の画像における左右の目の位置関係および顔の角度に基いて、前記瞑っている目の角度を推定することがより好ましい。
【００１２】
また、前記目特徴量特定部は、指示に応じて、合成する画像の目の大きさ、角度、色、濃度、アスペクト比を変更することが好ましい。
【００１３】
また、本発明の第２の態様の第２の形態は、目を瞑っている状態の人物画像における、瞑っている目の画像に目修正処理を施す画像処理装置であって、前記瞑っている目の画像と同一人物の開いている目の画像を、予め記憶しておく、開目画像記憶部と、前記瞑っている目の画像と、前記開いている目の画像とを対比し、瞼上の点の動きを推定して、前記瞼上の点の動きを示すモデルを構築するモデル作成部と、前記モデルに基いて、目を瞑った状態から目を開いた状態までの間で目を開く度合いを任意の度合いとする目修正処理を施す目画像変換部とを備えることを特徴とする画像処理装置を提供するものである。
【００１４】
本発明の第２の態様の第２の形態において、開目画像記憶部は、前記瞑っている目の画像と同一人物の半目の画像を、予め記憶しておき、モデル作成部は、前記瞑っている目の画像と、前記開いている目の画像と、前記半目の画像とを対比し、瞼上の点の動きを推定して、瞼上の点の動きを示すモデルを構築することが好ましい。
【００１５】
また、本発明の第２の態様において、前記目を瞑っている状態の人物画像が、片目のみ瞑っている場合の、瞑っている目の画像を目修正処理を施す際、前記開いている目の画像として、瞑っている方と反対の開いている目の画像および、当該開いている目の周辺の特徴を利用するものであることが好ましく、前記周辺の特徴として、瞳の色および大きさ、睫毛の長さ、瞼および目周辺の肌の色、瞼の一重、二重、目の位置、目の大きさおよび形の情報を利用することがより好ましい。
【００１６】
【発明の実施の形態】
以下、本発明に係る画像処理方法および装置について、添付の図面に示される好適実施形態を基に、詳細に説明する。
【００１７】
図１は、本発明の画像処理方法を実施する画像処理装置を適用するデジタルフォトプリンタの一実施形態を示すブロック図である。
図１に示すデジタルフォトプリンタ（以下、フォトプリンタという）１０は、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、このスキャナ１２で読み取られた画像データ（画像情報）に対する画像処理やフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、この画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上がり）画像をプリントとして出力する画像記録装置（プリンタ）１６と、を有する。
画像処理装置１４には、様々な条件の入力、設定、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、様々な条件の設定／登録画面等を表示し、オペレータがこれを見ながら画像の検定を行うモニタ２０が接続される。
また、画像処理装置１４は、メディアからの画像データ記録再生手段やネットワーク等の通信手段を介しての画像データの配信手段などの画像データ入出力手段４０とも接続され、これらの画像データ入出力手段４０を通じて画像データの入力を行うようにしてもよいし、また、これらの画像データ入出力手段４０に画像データを出力するようにしてもよい。
【００１８】
スキャナ１２は、フィルムＦ等に撮影された画像を１コマずつ光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２６と、フィルムＦのキャリア２８と、結像レンズユニット３０と、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各色画像濃度の読取に対応する３ラインＣＣＤセンサを有するイメージセンサ３２と、アンプ（増幅器）３３と、Ａ／Ｄ（アナログ／デジタル）変換器３４とを有する。
【００１９】
フォトプリンタ１０においては、スキャナ１２の本体に装着自在な専用のキャリア２８が、新写真システム（Ａdvanced Ｐhoto Ｓystem)や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムＦの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて用意されており、キャリア２８の交換によって、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像（コマ）は、このキャリア２８によって所定の読取位置に搬送される。
また、周知のように、新写真システムのフィルムには、磁気記録媒体が形成され、カートリッジＩＤやフィルム種等が記録されており、また、撮影時や現像時等に、撮影や現像日時、カメラや現像機の機種等の各種のデータが記録可能である。新写真システムのフィルム（カートリッジ）に対応するキャリア２８には、この磁気情報の読取手段が配置されており、フィルムを読取位置に搬送する際に磁気情報を読み取り、これらの各種の情報が画像処理装置１４に送られる。
【００２０】
このようなスキャナ１２において、フィルムＦに撮影された画像を読み取る際には、光源２２から射出され、可変絞り２４および拡散ボックス２６によって光量調整された均一な読取光が、キャリア２８によって所定の読取位置に位置されたフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。
なお、カラー画像信号は、このようにフィルムを透過した光を読み取ることによって入力されるものには限定されず、反射原稿でもよいし、あるいはデジタルカメラによって撮影された画像を用いてもよい。さらに、メディアやネットワーク等を介して画像データ入出力手段４０から入力されるようにしてもよい。
【００２１】
図示例のキャリア２８は、２４枚取りの１３５サイズのフィルムや新写真システムのカートリッジ等の、長尺なフィルムＦ（ストリップス）に対応するものであり、所定の読取位置にフィルムＦを位置しつつ、イメージセンサ３２の、例えば、ＲＧＢの３ラインＣＣＤセンサの延在方向（主走査方向）と直交する副走査方向に、フィルムＦの長手方向を一致させて搬送する。
フィルムＦは、このキャリア２８によって読取位置に位置されて副走査方向に搬送されつつ、読取光を入射される。読取光は、主走査方向に延在するスリットにより規制され、結果的にフィルムＦが２次元的に走査され、フィルムＦに撮影された各コマの画像が読み取られる。
【００２２】
フィルムＦの投影光は、結像レンズユニット３０によってイメージセンサ３２の受光面に結像される。
イメージセンサ３２は、それぞれ、Ｒ画像、Ｇ画像およびＢ画像の読み取りを行うラインＣＣＤセンサを有する、いわゆる３ラインのカラーＣＣＤセンサで、各ラインＣＣＤセンサは、前述のように主走査方向に延在している。フィルムＦの投影光は、このイメージセンサ３２によって、Ｒ、ＧおよびＢの３原色に分解されて光電的に読み取られる。
イメージセンサ３２から出力されたＲ、ＧおよびＢの各出力信号は、アンプ３３で増幅されて、Ａ／Ｄ変換器３４に送られ、Ａ／Ｄ変換器３４において、それぞれ、例えば１２ｂｉｔのＲＧＢデジタル画像データに変換された後、画像処理装置１４に出力される。
【００２３】
なお、スキャナ１２においては、フィルムＦに撮影された画像を読み取るに際し、低解像度で読み取るプレスキャン（第１回目の画像読取）と、出力画像の画像データを得るためのファインスキャン（第２回目の画像読取）との２回の画像読取を行う。
ここで、プレスキャンは、スキャナ１２が対象とするフィルムＦの全ての画像を、イメージセンサ３２が飽和することなく読み取れるように、予め設定されたプレスキャン読取条件で行われる。
一方、ファインスキャンは、プレスキャンデータから、その画像（コマ）の最低濃度よりも若干低い濃度でイメージセンサ３２が飽和するように、各コマ毎に設定されたファインスキャンの読取条件で行われる。なお、プレスキャンおよびファインスキャン出力画像信号は、解像度および出力画像信号レベルが異なる以外は、基本的に同様な画像データである。
【００２４】
なお、フォトプリンタ１０に用いられるスキャナ１２は、このようなスリット走査読取を行うものに限定されず、１コマのフィルム画像の全面を一度に読み取る面状読取を行うものであってもよい。
この場合には、例えばエリアＣＣＤセンサなどのエリアセンサを用い、光源２２とフィルムＦとの間にＲ、ＧおよびＢの各色フィルタの挿入手段を設け、光源２２からの射出光の光路に挿入して、色フィルタを透過した読取光をフィルムＦ全面に照射して、透過光をエリアＣＣＤセンサに結像させてフィルム全画像を読み取ることを、Ｒ、ＧおよびＢの各色フィルタを切り換えて順次行うことで、フィルムＦに撮影された画像を３原色に分解して読み取る。
【００２５】
前述したように、スキャナ１２から出力されるデジタル画像データ信号は、本発明の画像処理方法を実施する画像処理装置１４に出力される。
図２に、この画像処理装置（以下、処理装置という。）１４のブロック図を示す。
処理装置１４は、ＬＯＧ変換部４２、プレスキャンデータ処理部４４、ファインスキャンデータ処理部４６およびセットアップ部４８を有する。
なお、図２は主に画像処理関連の部分を示すものであり、処理装置１４には、これ以外にも、処理装置１４を含むフォトプリンタ１０全体の制御や管理を行うＣＰＵ、フォトプリンタ１０の作動等に必要な情報を記録するメモリ等が配設され、また、操作系１８やモニタ２０は、このＣＰＵ等（ＣＰＵバス）を介して各部分に接続される。
【００２６】
スキャナ１２から処理装置１４に入力されたＲ、ＧおよびＢの画像信号は、必要に応じてＤＣオフセット補正、暗時補正、欠陥画素補正、シェーディング補正等の読取画像データの補正を行った後、ＬＯＧ変換部４２に入力される。
ＬＯＧ変換部４２は、例えば、ルックアップテーブル（ＬＵＴ）を用いて、対数変換処理してデジタル画像データを階調変換してデジタル画像濃度データに変換するものである。
【００２７】
ＬＯＧ変換部４２でデジタル画像濃度データに変換された、プレスキャン画像データおよびファインスキャン画像データは、それぞれのメモリに記憶（格納）される。
プレスキャン画像データは、プレスキャンデータ処理部４４に読みだされ、ファインスキャン画像データは、ファインスキャンデータ処理部４６に読みだされる。
なお、処理装置１４には、メディア、ネットワーク等を介して画像データ入出力手段４０から画像データを入力することもできる。
【００２８】
プレスキャンデータ処理部４４は、プレスキャン画像データに対し、モニタ２０に表示するのに必要な種々の画像処理を施すものであり、色および濃度の階調を変換する階調変換部５０、目修正処理部５２および色再現変換部５４とを有する。
階調変換部５０は、後述するセットアップ部４８が設定した画像処理条件に従って、スキャナ１２によって読み取られた画像データに対し、所望の画質で、後述するモニタ２０のＣＲＴ表示画面にカラー画像が再生可能なように、ルックアップテーブル（以下、ＬＵＴで代表させる）やマトリックス（以下、ＭＴＸで代表させる）演算により、色変換、濃度変換、階調補正等の所定の画像処理を施すものである。
目修正処理部５２は、モニタ表示用の画像に対し、閉じた目を開かせる目修正処理を行うものである。色再現変換部５４は、画像処理されたモニタ表示用の画像データを、モニタ２０の解像度に合わせるために必要に応じて間引いて、３Ｄ（３次元）ＬＵＴ等を用いて、モニタ２０による表示に対応する画像データに変換して、モニタ２０に表示させるためのものである。
なお、階調変換部５０における処理条件は、後述するセットアップ部４８で設定される。
【００２９】
一方、ファインスキャンデータ処理部４６は、ファインスキャン画像データに対し、画像記録装置１６からカラープリントとして出力するのに必要な種々の画像処理および本発明の閉じた目を開かせる処理およびその他の画像処理を実行する部位であり、拡縮処理部５６、階調変換部５８、画像記憶部６０、目画像変換部６２、シャープネス処理部６４および色再現変換部６６を有している。
拡縮処理部５６は、画像出力手段に応じて入力画像に対して拡縮処理を行うものであり、階調変換部５８は、画像データの色および濃度の階調を変換するものである。画像記憶部６０は、目画像変換処理で用いるために、目を開いた画像を記憶しておくためのものである。目画像変換部６２は、プレスキャンデータ処理部４４で行った目修正処理のデータに基づいて出力用画像の目を閉じた状態の画像を目を開いた状態の画像に変換するものである。
また、シャープネス処理部６４は、画像のエッジを強調し、画像を鮮鋭化するものであり、色再現変換部６６は、各種画像処理の施された画像データを、例えば３ＤＬＵＴ等を用いて、プリンタ１６による画像記録に対応する画像データに変換するものである。
【００３０】
なお、ファインスキャンデータ処理部４６における画像処理条件は、セットアップ部４８で設定される。
セットアップ部４８は、ファインスキャンデータ処理部４６における各種の画像処理条件を設定する。このセットアップ部４８は、パラメータ算出部６８、キー補正部７０を有する。
セットアップ部４８は、プレスキャン画像データ等を用いて、ファインスキャンの読取条件を設定してスキャナ１２に供給し、また、プレスキャンデータ処理部４４およびファインスキャンデータ処理部４６の画像処理条件を作成（演算）する。
【００３１】
具体的には、パラメータ算出部６８は、プレスキャン画像データから、濃度ヒストグラムの作成や、平均濃度、ＬＡＴＤ（大面積透過濃度）、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出を行う。
算出した画像特徴量から、その画像の最低濃度よりも若干低濃度でイメージセンサ３２が飽和するように、ファインスキャンの読取条件、例えば、光源２２の光量、可変絞り２４の絞り値、イメージセンサ３２の蓄積時間等を設定する。なお、ファインスキャンの読取条件は、プレスキャンの読取条件に対して、イメージセンサの出力レベルに対応する全ての要素を変更してもよく、前記絞り値等のいずれか１つの要素のみを変更するものでもよく、絞り値と蓄積時間等の複数の要素のみを変更するものでもよい。
さらに、パラメータ算出部６８は、濃度ヒストグラムや画像特徴量と、必要に応じて行われるオペレータによる指示等に応じて、前述の色バランス調整や階調調整等の画像処理条件を設定する。
【００３２】
キー補正部７０は、キーボード１８ａや操作系１８に設けられたキー（図示せず）によって設定された濃度（明るさ）、色、コントラスト、シャープネス、彩度等の調整量やマウス１８ｂで入力された各種の指示等に応じて、画像処理条件の調整量（例えば、ＬＵＴの補正量等）を算出し、パラメータを設定するものである。
設定された、画像処理条件を示すパラメータは、プレスキャンデータ処理部４４およびファインスキャンデータ処理部４６に送られる。さらに、キー補正部７０で算出された調整量に応じて、各部分に設定した画像処理条件を補正（調整）し、あるいは画像処理条件を再設定する。
【００３３】
図３に、目修正処理部５２の概略を示す。
図３に示すように、目修正処理部５２は、開目処理部７２、目特徴量特定部７４およびマニュアル調整部７６とを含んでいる。開目処理部７２は、目修正処理の中心をなす部分である。開目処理は、いろいろな方法があり、以下説明するように、開目処理部７２は、それに応じた構成となる。目特徴量特定部７４は、開目処理の前提となる目の位置や大きさ等の情報を設定する部分である。マニュアル調整部７６は、以上の各調整をオペレータがモニタ２０の表示を見ながら手動で行う部分である。
【００３４】
第１の目修正方法は、閉じている目の画像に開いている目の画像を合成するものである。このとき、開目処理部７２は、図４に示すように、合成すべき開いている目画像を格納する開目画像記憶部７８と、実際に画像合成を行う目画像合成部８０とを含んでいる。
【００３５】
以下、第１の目修正処理方法について説明する。
これは、例えば、現在処理している１本のフィルム中の他のコマに、同一人物の、目を開いている画像が撮影されている場合に、その開いた目の画像を閉じた目の画像に合成しようというものである。そのため、１本分のフィルムをプレスキャンして、例えば、オペレータがモニタ２０の表示を見ながら指定して、同一人物の、目を開いている画像を開目画像記憶部７８に格納しておく。なお、閉じた目の画像に合成するために、開目画像記憶部７８に格納しておく目を開いている画像は、同一フィルムの同一人物の画像に限定されず、他のフィルムの画像であっても、同一人物以外の、すなわち他人の開目画像であっても良い。
オペレータがモニタ２０の表示を見て画像処理条件を決定するために画像の検定を行っている際、目を閉じている画像があった場合に、ユーザの注文あるいはオペレータの判断により、開目処理が実行される。
【００３６】
開目処理に入ると、まず目特徴量特定部７４において、目を瞑っている画像の瞼の大きさ、左右の目と目の距離、顔の大きさ等から目の大きさが推定される。また、目特徴量特定部７４は、左右の目と目の位置関係、顔の角度から、目の部分の角度を推定する。目特徴量特定部７４は、これらの情報により、開目画像記憶部７８から、この条件に近い、目を開いた画像を合成すべき画像として選び、開いた目の画像の大きさをこれに合わせる。また、合成すべき開いた目の画像の角度を、被合成画像の目の角度に合わせるようにする。
さらに、目特徴量特定部７４は、被合成画像である目を閉じている画像の瞼の周辺の色、濃度から、合成すべき目を開いている方の画像の色および濃度をこれに合わせる。
【００３７】
次に、目画像合成部８０において、目を閉じている画像に、上で選定され、合成が適切に行われるように処理された、目を開いた画像が合成される。これは、実際には、図５に示すように、閉じている目の周辺８２を取り去り、その代わりに開いた目の周辺８４を嵌め込むものである。
その後、マニュアル調整部７６において、オペレータがモニタ２０の表示を見ながら指示することによって、目の位置や色、濃度等の画像調整が行われる。
【００３８】
なお、以上の処理は、可能な所はコンピュータによる処理で自動で行ってもよいが、全ての処理をオペレータがモニタ２０を見ながら手動で行うようにしてもよい。
また、合成すべき開いた目の画像は、上のように処理中のフィルム１本分の画像から選ぶばかりでなく、データベース化された過去の画像データから、顧客コードにより、同一顧客の目を開いた画像または類似した他人、例えば、兄弟姉妹などの目を開いた画像を引っ張ってくるようにしてもよい。
また、上記合成において、合成すべき開いた目の画像を被合成画像である閉じた目の画像に、大きさや色濃度等を合わせる調整は、被合成画像の特徴の内、目周辺の色濃度、両目の位置、両目の間隔、瞑っている目の大きさ、顔の大きさ等の特徴に基づいて上記のように目特徴量特定部７４において自動調整されるようになっていてもよいし、あるいは前記調整は、被合成画像の大きさ、角度、色、濃度、アスペクト比を変更するためのメニューに基づいて、オペレータが手動で行うようにしてもよい。
【００３９】
こうして、目修正処理部５２の開目処理部７２の目画像合成部８０において合成され、マニュアル調整部７６において調整された開いた目の合成画像（部分）の位置データや画像データが、プレスキャンデータ処理部４４の目修正処理部５２からファインスキャンデータ処理部４６の画像記憶部６０および目画像変換部６２に送られる。なお、目修正処理部５２で得られた開いた目の合成画像の画像データの代わりに、目修正処理部５２による目修正前後の目の合成部分の画像データの差分を画像記憶部６０や目画像変換部６２に送るようにしても良いし、あるいは、目画像合成部８０で合成に用いた開いた目の画像データや合成に用いたパラメータやマニュアル調整部７６での調整に用いた調整パラメータを送るようにしても良い。
【００４０】
次に、第２の目修正処理方法について説明する。
この第２の目修正処理は、２次元的な形状の特徴に基づいて変換を行うものである。具体的には、例えば、目を閉じている画像、半目の画像、目を開いた画像から、対称点の動きをモデル化し、モーフィングのように、モデル化された各部の動きに基づいて、形態的に画像の変換を行うものである。
【００４１】
第２の目修正処理における開目処理部１７２は、図４に示す開目処理部７２の代りに図３に示す目修正処理部５２に適用されるもので、図６に示すように、画像記憶部８６、モデル作成部８８、目画像変換部９０を含んでいる。
画像記憶部８６は、瞼上の点の動きをモデル化するためのデータとなる、同一人物または同一人物以外の人物（他人）についての、目を閉じている画像、半目の画像、目を開いた画像等を記憶するものである。画像データとしては、現在処理中のフィルム１本分の画像の中から記憶してもよいし、それだけでは不足する場合には、同一顧客または他人、たとえば兄弟姉妹や父母や類似の顔立ちの他人等の過去の画像データをデータベースから読み出すようにしてもよい。
【００４２】
モデル作成部８８は、画像記憶部８６から、同一人物または他人についての、例えば、図７に示すような目を閉じた画像９２、半目の画像９４、目を開いた画像９６を読み出して、これらを基にモデルを作成する。例えば、目を閉じた画像９２において、瞼上の点Ｐ０、Ｑ０を指定し、これらの点がどのように移って行くかを追跡する。このとき、点Ｐ０、Ｑ０は、それぞれ、半目の画像９４においてはＰ１、Ｑ１となり、目を開いた画像９６においては、Ｐ２、Ｑ２となったとする。これらの点から、これらの点がＰ０→Ｐ１→Ｐ２、およびＱ０→Ｑ１→Ｑ２と動く途中の状態を推定する。瞼上の他の点も同様に動くものと考えられ、これにより上記目を閉じた状態から完全に目を開いた状態に移る間における目の形状も推定され、閉じた目が開く場合に、瞼上の各点がどのように動くかというモデルが構築される。
【００４３】
目画像変換部９０は、作成されたモデルに基づいて、閉じた状態の目の画像を開いた状態の目の画像に変換する。このモデルによれば、目を閉じた状態から目を完全に開いた状態までの間における任意の状態の表示が可能であり、徐々に目を開かせることもでき、そのシーンに応じた表情を作ることができる。
また、一旦モデルを作成しておけば、このモデルを記憶しておくことにより、次回、同一の顧客または類似の他人について、目を閉じた人物画像の処理をする機会があった場合に、このモデルを用いて容易に、目を閉じた状態の画像の修正を行うことができる。
【００４４】
こうして、目修正処理部５２の開目処理部１７２の目画像変換部９０において変換され、マニュアル調整部７６において調整された開いた目への変換画像（部分）の位置データや画像データが、プレスキャンデータ処理部４４の目修正処理部５２からファインスキャンデータ処理部４６の画像記憶部６０および目画像変換部６２に送られる。なお、開いた目への変換画像の画像データの代わりに、目の変換画像部分の目修正前のプレスキャンデータと目修正後の画像データとの差分を送るようにしても良いし、あるいは、モデル作成部８６でモデル作成に用いた複数の目の画像データやモデル作成に用いたパラメータや目画像変換部９０で開いた目への変換に用いた変換パラメータやマニュアル調整部７６での調整に用いた調整パラメータを送るようにしても良い。
【００４５】
次に、第３の目修正処理方法について説明する。
これは、同一人物または他人の、目を閉じている状態の画像と、目を開いている状態の画像のデータを収集し、目を閉じている状態の画像を入力データとし、目を開いている状態の画像を教師データとして、その変換規則を学習し、その変換規則に基づいて画像変換し、目を閉じた状態の画像の修正をしようというものである。
【００４６】
第３の目修正処理における開目処理部２７２は、図４に示す開目処理部７２の代りに図３に示す目修正処理部５２に適用されるもので、図８に示すように、画像記憶部９８、変換規則学習部１００、目画像変換部１０２を含んでいる。
画像記憶部９８は、同一人物または他人の、目を閉じている状態の画像と、目を開いている状態の画像とを記憶するためのものである。変換規則学習部１００は、画像記憶部９８の画像を読み出して、図９に示すように同一人物または他人の、目を閉じている状態の画像１０４を入力データ（信号）とし、目を開いている状態の画像１０６を教師データ（信号）として、その変換規則を学習するものである。例えば、１本のフィルムの中で、複数のコマに同じような人物があった場合に、例えば、異なるコマにおける人物の同一性または類似性を示す情報が撮影情報等にあると、シーンが異なってもその同一人物または類似した他人に関する、目を開いた状態の画像と目を閉じた状態の画像とを対応付けることができ、これにより、目を閉じた状態の画像を目を開いた状態の画像に変換する際の規則を学習する。
目画像変換部１０２は、学習の結果確立された変換規則によって、閉じた目の画像を開いた目の画像に変換する。
【００４７】
上述した学習を行うシステムとしては、特に限定されるものではないが、具体的には、例えば、ニューラル・ネットワークやＧＡ（ジェネリック・アルゴリズム）あるいは高次多項式による近似等が考えられる。
【００４８】
次に、第４の目修正処理方法について説明する。
これは、人の目および瞼の開閉運動の力学的運動解析結果に基づいて画像変換を行うものである。
第４の目修正処理における開目処理部３７２は、図４に示す開目処理部７２の代りに図３に示す目修正処理部５２に適用されるもので、図１０に示すように、目・瞼データ抽出部１０８、力学的運動解析部１１０、目画像変換部１１２を含んでいる。
【００４９】
目・瞼データ抽出部１０８は、次の力学的運動解析のために目、瞼上の複数点を指定するものである。
力学的運動解析部１１０は、目・瞼データ抽出部１０８によって指定された点に対し、力学的運動解析を行い、目を開いた状態の画像を作ろうというものである。
具体的には、人間の目の構造、組織、筋肉の位置やその運動に基づいて、瞼、睫毛の運動を解析して、定式化する。瞼を閉じた画像から、瞼、睫毛を認識し、あるいは、オペレータの指示により、瞼、睫毛を特定して、目を開かせる動作を運動方程式に基づいて行い、目を開いた画像を得る。
【００５０】
目画像変換部１１２は、上で得た、目を開いた状態の画像を、目を閉じた状態の画像に合成するようにしてもよいし、あるいは、解析結果に基づき、瞼を徐々に開いていき、開いた瞼の間に瞳を書き込むようにしてもよい。
この方法は、運動方程式を定式化するのが大変であると思われるが、ひとたび定式化されれば、瞼上の点を与えるだけで、目を開いた画像がかなり正確に求められる。
【００５１】
なお、第３および第４の目修正処理方法を実施する開目処理部２７２および３７２を適用する目修正処理部５２で得られた開いた目への変換画像（部分）の位置データや画像データは、第２の目修正処理方法を実施する開目処理部７２および１７２を適用する目修正処理部５２で得られた場合と同様に、プレスキャンデータ処理部４４の目修正処理部５２からファインスキャンデータ処理部４６の画像記憶部６０および目画像変換部６２に送られる。また、同様に、開いた目への変換画像の画像データの代わりに、目修正前後の画像データとの差分を送るようにしても良いし、あるいは、変換学習部１００や力学的運動解析部１１０で用いたパラメータや目画像変換部９０で用いた変換パラメータやマニュアル調整部７６での調整に用いた調整パラメータを送るようにしても良い。
【００５２】
以上の目修正処理方法において、瞳や瞳孔の位置や形を調整可能にすることにより、両目の視線を調整でき、その結果、両目の視線を合わせるようにすることができる。また、上記目修正処理方法において、睫毛の長さ、睫毛の向き、瞼の一重、二重等を指定することにより、それに合った開目画像を作ったり、合成したりして、所望の画像に変換することができる。さらに、上記目修正処理方法において、オペレータがマニュアルで修正を行う、いわゆるレタッチ機能を備えることにより、よりきめ細かな調整が可能となる。
【００５３】
なお、上記各目修正処理方法において、プレスキャンデータ処理部４４の目修正処理部５２における、目開け処理時やレタッチ時等の目を開ける処理の実行中には、モニタ２０に修正すべき目の周辺の拡大画像を表示できるように制御するのが好ましい。
図１１に、目修正処理部５２による合成処理を実施する表示画面１２０の一例を示す。同図に示す表示画面１２０には、図５に示す人物の修正すべき目の周辺部の拡大画像１２２が表示され、図中右側には上から開いている目の５種の代表的なサンプル１２４ａ、１２４ｂ、１２４ｃ、１２４ｄ、１２４ｅが、図中下側には左側から登録参照ボタン１２６ａ、他コマ参照ボタン１２６ｂ、編集ボタン１２６ｃ、レタッチボタン１２６ｄ等の選択ボタンなどが、ＧＵＩ（グラフィックユーザインターフェース）として表示されている。
【００５４】
このように、モニタ２０の表示画面１２０には、目開け処理を実行する時、修正対象の目の周辺部の拡大画像１２２を表示できるが、表示画面１２０への目の周辺部の拡大表示範囲は、指定させても良く、また、コマ画像の中から顔を抽出して、顔の大きさから自動的に決めるようにしても良い。
また、登録参照ボタン１２６ａを押下することにより、図１１に示すように、表示画面１２０上に、予め登録されている代表的な目の候補（開いた目のサンプル１２４ａ〜１２４ｅ）を表示して、合成する開いた目のサンプルを選択することができる。なお、予め登録されている開いた目のサンプルのリストに新たな目のサンプルを登録できるようにしても良いし、リストから登録されている目のサンプルを削除できるようにしても良い。
また、開いた目を合成する時には、合成先の目の周辺の情報、例えば、肌の色濃度や目の大きさなどに基づいて、合成する開いた目を自動調整するようにしても良い。
【００５５】
次に、他コマ参照ボタン１２６ｂを押下することにより、同一件内の他のコマを表示して参照することができ、同一人物または類似の他人の目を開いている画像から、目を取り出して修正対象の閉じた目に合成することができる。
また、編集ボタン１２６ｃにより、片目または両目について、目の大きさ、角度、色、アスペクト比や、瞼の一重、二重や、睫毛の長さ、向きや、瞳の位置、瞳孔の位置等が変更でき、視線等も調整できる。
さらに、レタッチボタン１２６ｄにより、レタッチ作業（点描画、線描画、色塗り等）を行うことができる。
【００５６】
こうして、上記各目修正処理方法を実施する目修正処理部５２で得られた開いた目の合成画像や変換画像（部分）の位置データや画像データ、目修正前後の画像データとの差分または合成または変換するのに用いる開いた目の画像データ、学習パラメータや解析パラメータや変換パラメータや調整パラメータは、プレスキャンデータ処理部４４の目修正処理部５２からファインスキャンデータ処理部４６の画像記憶部６０および目画像変換部６２に送られ、記憶される。
一方、ファインスキャンデータ処理部４６においては、目画像変換部６２は、拡縮処理部５６による拡縮、階調変換部５８による色濃度階調変換が施されたファインスキャンデータに、画像記憶部６０から記憶されている、開いた目の合成画像や変換画像（部分）の位置データや画像データ、目修正前後の画像データとの差分または合成または変換するのに用いる開いた目の画像データ、学習パラメータや解析パラメータや変換パラメータや調整パラメータ等を用いて、閉じた目の画像を先に設定された適切な開いた目にする処理を行う。
【００５７】
ここで、画像記憶部６０に開いた目の合成画像や変換画像の位置データや画像データが記憶されている場合には、これらの位置データや画像データは、低解像度のプレスキャンデータに基づくものであるので、目画像変換部６２は、補間等の処理により、ファインスキャンデータと同じ解像度にした後、ファインスキャンデータの修正対象の目の周辺の位置データに合わせて目修正画像データの合成処理または変換処理を施して、閉じた目を開いた目に修正することができる。
次に、画像記憶部６０に目修正画像の位置データと目修正前後の画像データとの差分が記憶されている場合には、これらの位置データや差分データは、低解像度のプレスキャンデータに基づくものであるので、目画像変換部６２は、補間などの処理により、ファインスキャンデータと同じ解像度にした後、ファインスキャンデータの修正対象の目の周辺の位置データに合わせて差分データの加算処理を施して、閉じた目を開いた目に修正することができる。なお、差分データは、修正対象の目の周辺以外は０であるので、修正対象の目の周辺に限定されず、コマ画像全体に取っても良く、こうすることで、目画像変換部６２による処理を簡略化できる。
【００５８】
さらに、画像記憶部６０に合成または変換するのに用いる開いた目の画像データ、学習パラメータや解析パラメータや変換パラメータや調整パラメータが記憶されている場合には、目画像変換部６２の構成を目修正処理部５２と略同一の構成にすることにより、目修正処理部５２による開目処理と同様な処理を行って、閉じた目を開いた目に修正することができる。もちろん、開いた目の画像データが低解像度のプレスキャンデータである場合には、目画像変換部６２は、補間などの処理により、ファインスキャンデータと同じ解像度にすることはいうまでもない。
なお、画像記憶部６０に記憶するデータや目画像変換部６２の構成や機能は、特に制限的ではなく、目修正処理部５２による開目処理の種類や方式によってあるいは得られるデータに応じて、適宜設定すれば良い。
【００５９】
以上のようにして、閉じた目が開いた目に修正されたファインスキャンデータは、シャープネス処理部６４による鮮鋭化および色再現変換部６６による出力デバイスデータへの変換処理を受けた後、出力デバイスに応じた出力画像データとして、カラープリントとして出力するためにプリンタ１６に、メディアに記録するためまたは通信手段を介して配信するために画像データ入出力手段４０に出力される。
【００６０】
また、上述した、第１〜第４の目修正方法のいずれにおいても、修正すべき画像の片目が開いている場合には、その開いている目の画像の情報を利用することができる。目の画像の情報としては、目およびその周辺の特徴、すなわち、開いている目の、瞳の色および大きさ、睫毛の長さ、瞼や目の周辺の肌の色、瞼の一重、二重等の種類、目の位置、目の大きさおよび形等が考えられる。瞑っている目を開いた状態の目に修正する際に、これらの情報を利用して、例えば、瞳の色を同じにしたり、睫毛の長さを同じにしたり、目の大きさを同じにしたりする等の処理を行うことで、瞑った目を開かせる目修正処理をより簡単に、より的確に行うことができる。
【００６１】
このように、目修正処理において、片目が開いている場合には、その開いている目およびその周辺の特徴を利用することは、非常に有効である。
このとき、さらに簡単に目修正処理を行おうとすれば、開いている方の目を反転して、瞑っている目の上に合成することもできる。
【００６２】
このように本実施形態によれば、目を閉じた状態の画像を簡単に目を開いた状態の画像に変換することができ、撮影の失敗を修正することができる。
また、本発明はこの他にも、例えば、開いている口を閉じるとか、小さな子供が撮影時に顔が横を向いてしまった場合に顔を正面を向かせる等の処理にも応用が可能である。
以上、本発明の画像処理方法および装置について種々の実施例を挙げて詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【００６３】
【発明の効果】
以上説明した通り、本発明によれば、目を閉じた状態の人物画像に対して、目を開かせる処理を行い、撮影の失敗を修正し、目を開いた状態の画像を得ることができる。
【図面の簡単な説明】
【図１】 本発明の画像処理方法を実施する画像処理装置を適用するデジタルフォトプリンタの一実施形態を示すブロック図である。
【図２】 図１に示すの画像処理装置の一実施例の概略を示すブロック図である。
【図３】 図２に示す画像処理装置の目修正処理部の一実施例の概略を示すブロック図である。
【図４】 図３に示す目修正処理部の、本実施形態における第１の目修正処理を行う開目処理部の一実施例の概略を示すブロック図である。
【図５】 本実施形態の第１の目修正処理における開目処理の様子の一例を示す説明図である。
【図６】 図３に示す目修正処理部に適用される、本実施形態における第２の目修正処理を行う開目処理部の一実施例の概略を示すブロック図である。
【図７】 この実施形態の第２の目修正処理における開目処理の一例を示す説明図である。
【図８】 図３に示す目修正処理部に適用される、本実施形態における第３の目修正処理を行う開目処理部の一実施例の概略を示すブロック図である。
【図９】 この実施形態の第３の目修正処理における開目処理の一例を示す説明図である。
【図１０】 図３に示す目修正処理部に適用される、本実施形態における第４の目修正処理を行う開目処理部の一実施例の概略を示すブロック図である。
【図１１】 本発明の画像処理方法を実施する合成処理を行う画像表示装置の表示画面の一実施例の概略を示す説明図である。
【符号の説明】
１０ デジタルフォトプリンタ
１２ スキャナ
１４ 画像処理装置
１６ 画像記録装置
１８ 操作系
１８ａ キーボード
１８ｂ マウス
２０ モニタ
２２ 光源
２４ 可変絞り
２６ 拡散ボックス
２８ キャリア
３０ 結像レンズユニット
３２ イメージセンサ
３４ Ａ／Ｄ変換器
４０ 画像データ入出力手段
４２ ＬＯＧ変換部
４４ プレスキャンデータ処理部
４６ ファインスキャンデータ処理部
４８ セットアップ部
５０、５８ 階調変換部
５２ 目修正処理部
５４、６６ 色再現変換部
５６ 拡縮処理部
６０、８６、９８ 画像記憶部
６２、９０、１０２、１１２ 目画像変換部
６４ シャープネス処理部
６８ パラメータ算出部
７０ キー補正部
７２、１７２、２７２、３７２ 開目処理部
７４ 目特徴量特定部
７６ マニュアル調整部
７８ 開目画像記憶部
８０ 目画像合成部
８８ モデル作成部
１００ 変換規則学習部
１０８ 目・瞼データ抽出部
１１０ 力学的運動解析部
１２０ 表示画面

Claims (16)

1. 目を瞑っている状態の人物画像における、瞑っている目の画像に目修正処理を施す画像処理方法であって、
   開目画像記憶部に、前記目を瞑っている状態の人物画像の人物と同一人物に関する開いている目の画像を、予め複数種類記憶しておき、
   目特徴量特定部により、前記予め記憶された複数種類の前記開いている目の画像から、前記瞑っている目の画像に合成する前記開いている目の画像を選択し、
   前記目特徴量特定部により、前記目を瞑っている状態の人物画像における、目周辺の色濃度、両目の位置、両目の距離、目の大きさ、顔の大きさという画像の特徴のうち１つ以上の特徴に基づいて、前記選択した前記開いている目の画像における前記画像の特徴を自動的に調整し、
   目画像合成部により、前記自動的に調整された前記開いている目の画像を前記瞑っている目の画像に合成する目修正処理を施すことを特徴とする画像処理方法。
2. 前記予め記憶された複数種類の前記開いている目の画像から、前記瞑っている目の画像に合成する前記開いている目の画像の選択は、前記目特徴量特定部により、前記瞑っている目の大きさおよび角度に基づいて行う請求項１に記載の画像処理方法。
3. 前記瞑っている目の大きさは、前記目を瞑っている状態の目の画像を用いて、瞼の大きさ、左右の目と目の距離および顔の大きさに基いて、前記目特徴量特定部により推定され、
   前記瞑っている目の角度は、前記瞑っている目の画像における左右の目の位置関係および顔の角度に基いて、前記目特徴量特定部により推定される請求項２に記載の画像処理方法。
4. 前記目特徴量特定部により、指示に応じて、合成する画像の目の大きさ、角度、色、濃度、アスペクト比を変更する請求項１〜３のいずれかに記載の画像処理方法。
5. 目を瞑っている状態の人物画像における、瞑っている目の画像に目修正処理を施す画像処理方法であって、
   開目画像記憶部に、前記瞑っている目の画像と同一人物の開いている目の画像を、予め記憶しておき、
   モデル作成部により、前記瞑っている目の画像と、前記開いている目の画像とを対比し、瞼上の点の動きを推定して、前記瞼上の点の動きを示すモデルを構築し、
   目画像変換部により、前記モデルに基いて、目を瞑った状態から目を開いた状態までの間で目を開く度合いを任意の度合いとする目修正処理を施すことを特徴とする画像処理方法。
6. 開目画像記憶部に、前記瞑っている目の画像と同一人物の半目の画像を、予め記憶しておき、
   モデル作成部により、前記瞑っている目の画像と、前記開いている目の画像と、前記半目の画像とを対比し、瞼上の点の動きを推定して、瞼上の点の動きを示すモデルを構築する請求項５に記載の画像処理方法。
7. 前記目を瞑っている状態の人物画像が、片目のみ瞑っている状態の人物画像の場合であって、瞑っている目の画像に目修正処理を施す際、前記開いている目の画像として、瞑っている方と反対の開いている目の画像、および、当該開いている目の周辺の特徴を利用するものである請求項１〜６のいずれかに記載の画像処理方法。
8. 前記周辺の特徴として、瞳の色および大きさ、睫毛の長さ、瞼および目周辺の肌の色、瞼の一重、二重、目の位置、目の大きさおよび形の情報を利用する請求項７に記載の画像処理方法。
9. 目を瞑っている状態の人物画像における、瞑っている目の画像に目修正処理を施す画像処理装置であって、
   前記目を瞑っている状態の人物画像の人物と同一人物に関する開いている目の画像を、予め複数種類記憶しておく開目画像記憶部と、
   前記予め記憶された複数種類の前記開いている目の画像から、前記瞑っている目の画像に合成する前記開いている目の画像を選択し、前記目を瞑っている状態の人物画像における、目周辺の色濃度、両目の位置、両目の距離、目の大きさ、顔の大きさという画像の特徴のうち１つ以上の特徴に基づいて、前記選択した前記開いている目の画像における前記画像の特徴を自動的に調整する目特徴量特定部と、
   前記自動的に調整された前記開いている目の画像を前記瞑っている目の画像に合成する目修正処理を施す目画像合成部とを備えることを特徴とする画像処理装置。
10. 前記目特徴量特定部は、前記瞑っている目の大きさおよび角度に基づいて、前記予め記憶された複数種類の前記開いている目の画像から、前記瞑っている目の画像に合成する前記開いている目の画像の選択を行う請求項９に記載の画像処理装置。
11. 前記目特徴量特定部は、前記目を瞑っている状態の目の画像を用いて、瞼の大きさ、左右の目と目の距離および顔の大きさに基いて、前記瞑っている目の大きさを推定し、
    前記瞑っている目の画像における左右の目の位置関係および顔の角度に基いて、前記瞑っている目の角度を推定する請求項１０に記載の画像処理装置。
12. 前記目特徴量特定部は、指示に応じて、合成する画像の目の大きさ、角度、色、濃度、アスペクト比を変更する請求項９〜１１のいずれかに記載の画像処理装置。
13. 目を瞑っている状態の人物画像における、瞑っている目の画像に目修正処理を施す画像処理装置であって、
    前記瞑っている目の画像と同一人物の開いている目の画像を、予め記憶しておく、開目画像記憶部と、
    前記瞑っている目の画像と、前記開いている目の画像とを対比し、瞼上の点の動きを推定して、前記瞼上の点の動きを示すモデルを構築するモデル作成部と、
    前記モデルに基いて、目を瞑った状態から目を開いた状態までの間で目を開く度合いを任意の度合いとする目修正処理を施す目画像変換部とを備えることを特徴とする画像処理装置。
14. 開目画像記憶部は、前記瞑っている目の画像と同一人物の半目の画像を、予め記憶しておき、
    モデル作成部は、前記瞑っている目の画像と、前記開いている目の画像と、前記半目の画像とを対比し、瞼上の点の動きを推定して、瞼上の点の動きを示すモデルを構築する請求項１３に記載の画像処理装置。
15. 前記目を瞑っている状態の人物画像が、片目のみ瞑っている場合の、瞑っている目の画像を目修正処理を施す際、前記開いている目の画像として、瞑っている方と反対の開いている目の画像および、当該開いている目の周辺の特徴を利用するものである請求項９〜１４のいずれかに記載の画像処理装置。
16. 前記周辺の特徴として、瞳の色および大きさ、睫毛の長さ、瞼および目周辺の肌の色、 瞼の一重、二重、目の位置、目の大きさおよび形の情報を利用する請求項１５に記載の画像処理装置。

Images