JP4767718B2 - 画像処理方法および装置ならびにプログラム - Google Patents

画像処理方法および装置ならびにプログラム Download PDF

Info

Publication number
JP4767718B2
JP4767718B2 JP2006048782A JP2006048782A JP4767718B2 JP 4767718 B2 JP4767718 B2 JP 4767718B2 JP 2006048782 A JP2006048782 A JP 2006048782A JP 2006048782 A JP2006048782 A JP 2006048782A JP 4767718 B2 JP4767718 B2 JP 4767718B2
Authority
JP
Japan
Prior art keywords
image
missing
face
input image
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006048782A
Other languages
English (en)
Other versions
JP2007226655A (ja
Inventor
渡 伊藤
栄輝 山岸
元中 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006048782A priority Critical patent/JP4767718B2/ja
Priority to US11/709,708 priority patent/US7885477B2/en
Publication of JP2007226655A publication Critical patent/JP2007226655A/ja
Application granted granted Critical
Publication of JP4767718B2 publication Critical patent/JP4767718B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像中の顔等の所定の構造物における欠落要素を復元する画像処理を行う方法や装置、この方法をコンピュータに実行させるためのプログラムに関するものである。
写真撮影の際、撮影環境や被写体の状態によっては、主要被写体の一部が遮蔽された画像が得られることがある。例えば、主要被写体である人物が帽子をかぶっていた場合には、撮影によって得られた画像は、その人物の眉や目などが帽子のつばの影になり、黒くつぶれたものとなってしまうことがある。また、主要被写体である人物がネット越しに存在していた場合には、撮影によって得られた画像は、人物の顔にネットの模様がかぶったものとなってしまう。
また、被写体と背景とのコントラストが大きすぎる場合には、画像中の高信号領域が飛んだり、低信号領域がつぶれたりすることがあり、撮影機器に異常があった場合には、画像中の特定の色の画像信号が欠落してしまうことがある。
さらに、被写体が暗かったり、被写体がオートフォーカスエリアから外れていたりした場合には、ピンボケとなり、いわば高周波成分が欠落した画像となってしまうことがある。
一方、デジタルカメラで撮影したり、写真プリントをスキャナで読み取ったりすることによって得られたデジタル画像の修正方法としては、ユーザが画像上の欠陥部の中心を指定するとともに、この欠陥部を含む周囲の所定領域を除去領域として指定し、さらに除去領域の周囲には、除去領域を補間するのに必要な補間領域を指定し、この補間領域を欠陥部に向けて少しずつ直線的に伸長し、除去領域内を補間領域の画素で置換することにより、画像の欠陥部を除去し修正する方法が提案されている（例えば、特許文献１）。
特開平０８−０６５５１９号公報
しかしながら、上記の方法は、空や海等の領域のように欠陥領域（除去領域）をその周囲の領域（補間領域）に置換することが容易な場合には有効な修正方法といえるが、例えば、目、鼻、口等のように固有の形態を有する構成要素が遮蔽物によって遮蔽されていたり、飛びやつぶれが生じていたりする場合には、周辺領域に同じ構成要素が存在しないので、遮蔽されている構成要素を復元することは不可能である。また、特定の色の画像信号の欠落やピンボケの修正を行うこともできない。
本発明はこのような事情に鑑みてなされたものであり、画像中の様々なタイプの欠陥をより高い精度で復元することを可能にする画像処理方法および装置ならびにプログラムを提供することを目的とするものである。
本発明による画像処理の方法は、復元対象の要素を含む所定の構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量でその所定の構造物が表現されたモデルに、その所定の構造物の前記の要素が欠落した状態を表す入力画像中の、その所定の構造物から欠落した要素を除いた部分を適応させることによって、入力画像中のその構造物中の欠落した要素を復元することを特徴とする。
本発明による画像処理装置は上記の画像処理を行う装置である。すなわち、復元対象の要素を含む所定の構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量でその所定の構造物が表現されたモデルと、その所定の構造物の前記の要素が欠落した状態を表す入力画像中の、その所定の構造物から欠落した要素を除いた部分を適応させることによって、入力画像中のその構造物中の欠落した要素を復元する復元手段とを設けたことを特徴とする。
さらに、本発明による画像処理プログラムは、上記の画像処理方法をコンピュータに実行させるものである。
すなわち、本発明による画像処理方法、装置、プログラムは、所定の構造物における復元対象の要素は入力画像中には存在せず、モデルにのみ存在しており、その構造物における復元対象の要素以外の要素を用いて入力画像とモデルとの対応づけを行い、その対応づけに基づいて復元対象の要素を推定することによって、復元を行うことを特徴とする。
次に、本発明による画像処理方法、装置、プログラムの詳細について説明する。
本発明による画像処理の具体的実現手法としては、ＡＡＭ(Active Appearance Models)の手法を利用することが考えられる。ＡＡＭは、モデルに基づいて画像の内容の解釈を試みるアプローチの１つであり、例えば、顔を解釈の対象とする場合、学習対象となる複数の画像中の顔部分の形状や、形状を正規化した後の輝度の情報に対して主成分分析を行うことによって顔の数学モデルを生成し、新たな入力画像中の顔部分を、数学モデルにおける各主成分と各主成分に対する重みづけパラメータで表現し、顔画像を再構成する手法である（Ｔ．Ｆ．クーツ(Cootes), Ｇ．Ｊ．エドワーズ(Edwards), Ｃ．Ｊ．テイラー(Taylor)、「動的見えモデル(Active Appearance Models)」、第５回計算機視覚欧州会議報(In Proc. 5th European Conference on Computer Vision)、ドイツ、シュプリンガー(Springer)、1998年、vol.2、p.p.484-498；以下、参考文献１とする）。
「所定の構造物」は、モデル化に適したもの、すなわち、その構造物の画像中における形状や輝度の変動が一定の範囲に収まるもの、特に、統計処理を行うことによって形状や輝度についての説明力のより高い統計的特徴量が得られるものであることが好ましい。具体例としては人間の顔が挙げられる。
復元対象の要素、すなわち入力画像中の欠落要素としては、所定の構造物の領域の一部分、所定の構造物を表す各色の信号の一部、所定の構造物を表す空間周波数成分の一部、所定の構造物を表す階調の数等が考えられる。
所定の構造物の領域の一部分が欠落した状態とは、例えば所定の構造物が人物の顔の場合、帽子のつばの影になってしまい、顔の一部が黒くつぶれた状態や、人物の顔と撮像装置の間を遮るネット等の遮蔽物によって、顔の一部分が隠蔽された状態等が挙げられる。また、撮像装置等における圧縮や伝送処理のエラーにより所定の構造物の一部の領域の少なくとも１つのチャンネルの信号が欠落した状態も考えられる。さらに、眼鏡をかけていない顔を眼鏡の欠落とすることもできる。このように、所定の構造物の領域の一部の欠落を復元する処理には、その構造物に対する付加物（装飾物）を付加（復元）する処理も含まれる。
所定の構造物を表す各色の信号の一部の欠落の具体例としては、撮像装置等における圧縮や伝送処理のエラーによるＲ，Ｇ，Ｂの色信号のうちの特定の信号の欠落や、高信号値の成分の飛びや低信号値の成分のつぶれ等が考えられる。さらに、白黒画像を色情報の欠落と考えてカラー画像に復元することも考えられる。なお、色空間はＲＧＢに限定されず、ＹＣＣ等であってもよいが、高信号値の成分の飛びはＲ信号で発生することが多いので、ＲＧＢ信号に対して処理を行う方が好ましい。
所定の構造物を表す空間周波数成分の一部の欠落の具体例としては、エッジ等の高周波成分の欠落が考えられる。また、ニキビやシワ等のない顔をニキビやシワ等を表す空間周波数成分の欠落とすることが考えられる。
階調数の欠落とは、階調数がより少ない状態を意味し、本発明の画像処理により、階調数の少ない画像を階調数のより多い画像に復元することになる。
また、復元対象の要素は、上記の要素を複合的に含むものであってもよい。具体例としては、化粧前の顔を化粧の欠落とみなして化粧された状態に復元することや、携帯電話に付加されたカメラのように低能力のカメラによって撮影された画像をより高能力のカメラで撮影された画像のように復元すること等が挙げられる。
「復元対象の要素を含む所定の構造物が表された画像」は、復元対象要素を含む構造物を実際に撮影することによって得られた画像、すなわち欠落のない構造物を撮影することによって得られた画像であってもよいし、復元対象要素を含まない構造物が表された画像に対してその要素を復元する補正を人工的に行うことによって得られた画像であってもよい。
「所定の統計処理」としては、所定の構造物を、その構造物を表す画素の数よりも少ない次元数の統計的特徴量に圧縮して表すことができる次元圧縮処理が好ましい。具体例としては主成分分析等の多変量解析手法が考えられる。また、「所定の統計処理」として主成分分析を行った場合、「統計的特徴量」とは、主成分分析によって得られる複数の主成分を意味する。
なお、上記の説明力の高低とは、所定の統計処理が主成分分析である場合を例にすると、上位の主成分ほど説明力が高く、下位主成分ほど説明力が低いという意味になる。
「入力画像中の（所定の）構造物」は、自動的に検出するようにしてもよいし、手動で検出するようにしてもよい。また、本発明は、入力画像中の前記構造物を検出する処理（手段）をさらに有していてもよいし、予め入力画像から検出された前記構造物の部分をモデルに適応させる処理に対する入力としてもよい。
「入力画像中の、その所定の構造物から欠落した要素を除いた部分を適応させる」とは、入力画像中のこの構造物をモデルによって表現するための演算処理等を意味する。具体的には、上記のＡＡＭの手法を用いた場合を例にすると、数学モデルにおける各主成分に、入力画像中のこの構造物を表現するための重みづけをする重みづけパラメータの値を求めることを意味する。
また、本発明におけるモデルを所定の構造物の属性毎に複数準備しておき、入力画像中のその構造物の属性を表す情報を取得し、取得された属性に応じてモデルを選択する処理（手段）を付加し、選択されたモデルに入力画像中の所定の構造物を適応させるようにしてもよい。
ここで、「属性」とは、例えば、所定の構造物が人間の顔の場合、性別や年齢、人種等が考えられる。また、個人を特定する情報であってもよい。この場合には、属性毎のモデルは個人毎のモデルを意味する。
この「属性」の具体的取得方法としては、画像に対する公知の認識処理（例えば、特開平11-175724号公報記載）や、ＧＰＳ情報等の画像の付帯情報からの推定・取得が考えられる。
なお、本発明の画像処理は、一般的な写真画像の復元の他、葬儀用の写真、遺影のための画像の復元、顔認証における照合処理のために入力される顔画像の復元等に用いることができる。
本発明の画像処理方法および装置ならびにプログラムによれば、復元対象の要素を含む所定の構造物が表現されたモデルに、その復元対象の要素が欠落した入力画像中のこの構造物を適応させることによって、この構造物の欠落した要素（復元対象の要素）を完全に復元することができる。したがって、画像中の様々なタイプの欠陥を、操作に対する熟練を必要とせず、また、手間をかけることなく、高い精度で復元することが可能になる。
また、本発明におけるモデルを所定の構造物の属性毎に複数備えるとともに、入力画像中のその構造物の属性を取得し、取得された属性に応じたモデルを選択する処理（手段）を付加し、選択された属性のモデルに入力画像中の所定の構造物を適応させるようにした場合、入力画像中のその構造物を、より適切なモデルに適応させることが可能になるため、処理精度が向上し、より高品質の画像が得られる。
以下、本発明の画像処理を行うことによって、帽子のつばの影になってしまい、顔の一部が黒くつぶれた状態の画像から黒くつぶれた部分を復元する場合を例として、図面を参照しつつ、本発明の実施の形態について説明する。
図１は、本発明の実施形態となるデジタル写真プリンタのハードウェア構成を模式的に表したものである。図に示したように、このデジタル写真プリンタは、フィルムスキャナ５１、フラットヘッドスキャナ５２、メディアドライブ５３、ネットワークアダプタ５４、ディスプレイ５５、キーボード５６、マウス５７、ハードディスク５８、写真プリント出力機５９が演算・制御装置５０に接続された構成となっている。
演算・制御装置５０は、ＣＤ−ＲＯＭ等の記憶媒体からインストールされたプログラムの実行により、この装置内のＣＰＵや主記憶装置、各種入出力インターフェースと連携して、画像の入力、補正、加工、出力のフローを制御したり、画像の補正や加工のための画像処理の演算を行ったりするものである。本発明による復元処理はこの装置で行われる。
フィルムスキャナ５１は、現像機（図示なし）によって現像済みのＡＰＳネガフィルムや１３５ネガフィルムを光電的に読み取って、これらのネガフィルムに記録されている写真画像を表すデジタル画像データＰ0を取得するものである。
フラットヘッドスキャナ５２は、Ｌサイズ写真プリント等のハードコピーに表された写真画像を光電的に読み取って、デジタル画像データＰ0を取得するものである。
メディアドライブ５３は、メモリカードやＣＤ、ＤＶＤ等の記録媒体に記録された写真画像を表す画像データＰ0を取得するものである。また、これらの記録媒体に、出力対象の画像データＰ2を書き込むことも可能である。なお、このメモリカードには、例えば、デジタルカメラによって、撮影された画像の画像データが書き込まれている。また、ＣＤやＤＶＤ等には、例えば、前回のプリント注文時に、フィルムスキャナによって読み取られた画像の画像データが書き込まれている。
ネットワークアダプタ５４は、公知のネットワークフォトサービスシステムにおける注文受付機（図示なし）から画像データＰ0を取得するものである。この画像データＰ0は、ユーザからの写真プリントの注文に基づく画像データであり、ユーザのパソコンからインターネット経由で送信してきたものである。また、ラボ店の店頭に設置された写真注文受付機から送信されてきたものであってもよい。
ディスプレイ５５は、このデジタル写真プリンタにおける画像の入力、補正、加工、出力のための操作画面を表示するものであり、操作内容を選択するためのメニューや処理対象の画像等が表示される。また、キーボード５６やマウス５７は、処理内容を指示するものである。
ハードディスク５８には、このデジタル写真プリンタを制御するプログラムが記憶されている他、フィルムスキャナ５１、フラットヘッドスキャナ５２、メディアドライブ５３、ネットワークアダプタ５４において取得された画像データＰ0や、画像補正後の画像データＰ1、画像加工後の画像データ（出力対象の画像データ）Ｐ2も一時的に記憶される。
写真プリント出力機５９は、出力対象の画像を表す画像データＰ2に基づいたレーザーによる印画紙への走査露光、現像、乾燥を行うとともに、プリント情報等の裏印字、印画紙のプリント単位での切断や注文単位でのソート等を行うものである。なお、写真プリントの方式は、レーザー露光熱現像転写方式等であってもよい。
図２は、このデジタル写真プリンタの機能と処理の流れを示すブロック図である。図に示したように、機能の観点からは、このデジタル写真プリンタは、写真プリント対象の画像の画像データＰ0を入力する画像入力手段１と、画像データＰ0を入力として、所定の画像処理条件に基づく画像処理を行って、画像データＰ0による画像（以下、画像データとその画像データによる画像を同じ符号で表す）の画質の自動補正を行う画像補正手段２と、自動補正後の画像データＰ1を入力として、操作者からの指示に基づいた画像処理を行う画像加工手段３と、加工済みの画像データＰ2を入力として、写真プリントの出力や記録メディアへの出力を行う画像出力手段４とから構成されている。
画像補正手段２では、ホワイトバランスの調整やコントラスト補正、シャープネス補正、ノイズ軽減・除去等の処理が行われる。また、画像加工手段３では、画像補正手段２による処理結果の手作業による修正や、トリミング、拡大・縮小、セピア化、白黒化、装飾フレームとの合成等の画像の加工が行われる他、本発明による画像の復元処理も行われる。
このデジタル写真プリンタの操作とこのプリンタで行われる処理の流れは以下のようになる。
まず、画像入力手段１による画像データＰ0の入力が行われる。操作者は、現像済みのフィルムに記録された画像からのプリント等の出力を行う場合には、そのフィルムをフィルムスキャナ５１にセットしておき、メモリカード等の記録メディアに記録された画像データからのプリント等の出力を行う場合には、その記録メディアをメディアドライブ５３にセットしておく。一方、ディスプレイ５５には、画像データの入力元を選択する画面が表示され、操作者はキーボード５６やマウス５７の操作によって、入力元の選択を行う。入力元としてフィルムが選択された場合には、フィルムスキャナ５１は、セットされたフィルムを光電的に読み取り、デジタル変換することによって、生成された画像データＰ0を演算・制御装置５０に送信する。写真プリント等のハードコピー原稿が選択された場合には、フラットヘッドスキャナ５２は、セットされた写真プリント等のハードコピー原稿を光電的に読み取り、デジタル変換することによって、生成された画像データＰ0を演算・制御装置５０に送信する。メモリカード等の記録メディアが選択された場合には、演算・制御装置５０は、メディアドライブ５３にセットされたメモリカード等の記録メディアに記憶されている画像データＰ0を読み込む。また、ネットワークフォトサービスシステムや店頭での写真受付注文機による注文の場合には、演算・制御装置５０が、ネットワークアダプタ５４経由で画像データＰ0を受信する。このようにして取得された画像データＰ0は、ハードディスク５８に一時的に記憶される。
次に、画像補正手段２が、画像Ｐ0による画像に対する自動画質補正処理を行う。具体的には、演算・制御装置５０で実行される画像処理プログラムにより、予め、このデジタル写真プリンタに設定されているセットアップ条件に基づいて、公知のホワイトバランスの調整やコントラスト補正、シャープネス補正、ノイズ軽減・除去等の処理が行われ、処理済みの画像データＰ1が出力される。出力された画像データＰ1は演算・制御装置５０のメモリに格納される。なお、ハードディスク５９に一時的に記憶するようにしてもよい。
その後、画像加工手段３は、補正後の画像Ｐ1のサムネイル画像を生成し、ディスプレイ５５に表示させる。図３（ａ）は、ディスプレイ５５に表示される画面の一例である。操作者が、表示されたサムネイル画像を確認し、画質の手動補正が必要なものや、画像の加工の注文があるものを、マウス５７やキーボード５６の操作によって選択すると（図３（ａ）では左上の画像DSCF0001を選択）、図３（ｂ）に一例を示すように、選択されたサムネイル画像が拡大されてディスプレイ５５に表示されるとともに、その画像に対する手動補正や加工の処理内容を選択するボタンが表示される。操作者は、表示されたボタンの中から所望のものをマウス５７やキーボード５６の操作によって選択し、必要に応じて、選択された処理内容のさらに詳細な設定等を行う。本実施形態において、図３（ｂ）の画面で「復元・付加」ボタンが操作者によって選択・押下された場合には、図４に示す復元・付加処理の詳細を選択させるメニュー画面を表示する。画像加工手段３は、選択された処理内容に応じた画像処理を行い、処理済みの画像データＰ2を出力する。出力された画像データＰ2は演算・制御装置５０のメモリに格納される。なお、ハードディスク５９に一時的に記憶するようにしてもよい。なお、以上の画像加工手段３による、ディスプレイ５５への画面表示、マウス５７やキーボード５６による入力の受付、手動補正や加工の画像処理等は、演算・制御装置５０で実行されているプログラムによって制御される。
最後に、画像出力手段４が、画像Ｐ2の出力を行う。ここでは、演算・制御装置５０が、ディスプレイ５５に出力先を選択する画面を表示させ、操作者は、マウス５７やキーボード５６の操作によって、所望の出力先を選択する。演算・制御装置５０は、選択された出力先に対して画像データＰ2を送信する。写真プリント出力を行う場合には、画像データＰ2は写真プリント出力機５９に送信され、画像Ｐ2が写真プリントとして出力される。ＣＤ等の記録メディアに出力を行う場合には、メディアドライブ５３にセットされたＣＤ等に画像データＰ2の書込みが行われる。
ここで、上記の処理の流れの中で、図３（ｂ）の画面で「復元・付加」を選択し、図４の画面で「帽子の影の除去」を選択した場合に行われる、本発明による画像の復元・付加処理の詳細について説明する。この「帽子の影の除去」処理は、図３（ｂ）の画像のように、被写体である人物がかぶっている帽子の影によって黒くつぶれてしまった人物の目の辺り（以下、目の部分もしくは単に目ということがある）を復元する処理である。
図５は、この復元・付加処理の詳細を表すブロック図である。図に示したように、画像Ｐ1中の顔部分を検出する顔検出部３１と、復元対象の目を含む人物の顔部分が表された複数のサンプル画像に基づいてＡＡＭ（前記の参考文献１参照）の手法によって生成された数学モデルＭに、検出された顔部分Ｐ1fを適応させることによって、顔部分Ｐ1f中の目の部分を復元する画像復元・付加部３２と、数学モデルＭに適応させることによって得られた顔部分Ｐ1fに対応するパラメータＣ（後述）に基づいて、目が復元された顔部分の画像Ｐ1f′を再構成し、さらに、画像Ｐ1の顔部分に画像Ｐ1f′をはめ込んで合成して、画像Ｐ1中の目の部分を復元した画像P2を生成する画像再構成部３３とによって、この復元・付加処理が実現される。なお、これらの処理の制御は演算・制御装置５０にインストールされたプログラムによって行われる。
この数学モデルＭは、図６のフローチャートに基づいて生成されたものであり、上記のプログラムとともに予めインストールされている。以下では、この数学モデルＭの生成過程について説明する。
まず、サンプルとなる、復元対象の目の部分を含む複数の顔画像（サンプル画像）の各々に対して、図７に示すように、顔形状を表す特徴点を設定する（ステップ#1）。ここでは、特徴点の数は１２２箇所とする（ただし、図７では簡潔に表現するため６０箇所しか表していない）。各特徴点は、例えば、１番目の特徴点は左目の左端、３８番目の特徴点は眉の間の中央というように、顔のどの部位を示すものであるかが予め定められている。また、各特徴点は、手作業によって設定してもよいし、認識処理によって自動的に設定するようにしてもよいし、自動的に設定後、必要に応じて手作業で修正するようにしてもよい。
次に、各サンプル画像中に設定された特徴点に基づいて、顔の平均形状を算出する（ステップ#2)。具体的には、各サンプル画像における、同じ部位を示す特徴点毎の位置座標の平均を求める。
さらに、各サンプル画像における顔形状を表す特徴点とその平均形状の位置座標に基づいて主成分分析を行う（ステップ#3)。その結果、任意の顔形状は次式（１）によって近似することができる。
Figure 0004767718
ここで、Ｓは顔形状の各特徴点の位置座標を並べて表現される形状ベクトル（ｘ1,ｙ1,・・・,ｘ122，ｙ122）であり、Ｓ0は平均顔形状における各特徴点の位置座標を並べて表現される平均顔形状ベクトル、ｐiは主成分分析によって得られた顔形状についての第ｉ主成分を表す固有ベクトル、ｂiは各固有ベクトルｐiに対する重みづけ係数を表す。図８は、主成分分析によって得られた上位２つの主成分の固有ベクトルｐ1、ｐ2に対する重みづけ係数ｂ1、ｂ2の値を変化させた場合の顔形状の変化の様子を模式的に表したものである。変化の幅は、サンプル画像の各々の顔形状を上式（１）で表した場合における重みづけ係数ｂ1、ｂ2の値の標準偏差sdに基づいて、-3sdから+3sdまでの間であり、各主成分についての３つの顔形状の中央のものは平均値の場合である。この例では、主成分分析の結果、第１主成分としては顔の輪郭形状に寄与する成分が抽出されており、重みづけ係数ｂ1を変化させることによって、細長い顔（-3sd）から丸顔（+3sd）まで顔形状が変化することがわかる。同様に、第２主成分としては口の開閉状態と顎の長さに寄与する成分が抽出されており、重みづけ係数ｂ2を変化させることによって、口が開いた状態で顎の長い顔（-3sd）から口が閉じられた状態で顎が短い顔（+3sd）まで顔の形状が変化することがわかる。なお、ｉの値が小さいほど、形状に対する説明力が高い、すなわち、顔形状への寄与が大きいことを意味する。
次に、各サンプル画像をステップ#2で得られた平均顔形状に変換（ワーピング）する（ステップ#4）。具体的には、各特徴点について、各サンプル画像と平均顔形状との間でのシフト量を算出し、そのシフト量に基づいて、式（２）から（５）の２次元５次多項式により各サンプル画像の画素毎の平均顔形状へのシフト量を算出し、各サンプル画像を画素毎に平均顔形状へワーピングする。
Figure 0004767718
ここで、ｘ，ｙは各サンプル画像中の各特徴点の座標、ｘ′，ｙ′はワーピングされる平均顔形状上の座標、Δｘ，Δｙは平均形状へのシフト量、ｎは次数、ａij，ｂijは係数である。なお、多項式近似の係数は最小自乗法を用いて求める。このとき、ワーピング後の座標が整数ではなく小数点以下を含む位置に移動する画素については、４近傍から１次近似で画素値を求める。つまり、ワーピング後の座標を囲む４つの画素に対して、ワーピング後の座標から各画素の座標までの距離に比例して画素値をそれぞれ分配するようにする。図９は、２つのサンプル画像について、各々の画像中の顔形状を平均顔形状に変換し、平均顔形状下での輝度を表したものである。
さらに、平均顔形状に変換後の各サンプル画像の輝度に基づいて主成分分析を行う（ステップ#5)。その結果、任意の顔画像の平均顔形状下での輝度は次式（６）によって近似することができる。
Figure 0004767718
ここで、Ａは平均顔形状下での各画素の輝度を並べて表現される輝度ベクトル（ａ1,・・・,ａm）（ｍは平均顔形状での総画素数）であり、Ａ0は平均顔形状における各サンプル画像の画素毎の輝度の平均値を並べて表現される平均顔輝度ベクトル、ｑiは主成分分析によって得られた顔輝度についての第ｉ主成分を表す固有ベクトル、λiは各固有ベクトルｑiに対する重みづけ係数を表す。図１０は、主成分分析によって得られた主成分のうち第ｉ1、第ｉ2の主成分を表す固有ベクトルｑi1、ｑi2に対する重みづけ係数λi1、λi2の値を変化させた場合の顔輝度の変化の様子を模式的に表したものである。変化の幅は、サンプル画像の各々の顔輝度を上式（６）で表した場合における重みづけ係数λi1、λi2の値の標準偏差sdに基づいて、-3sdから+3sdまでの間であり、各主成分についての３つの顔画像の中央のものは平均値の場合である。この例では、主成分分析の結果、第ｉ1主成分としてはヒゲの有無に寄与する成分が抽出されており、重みづけ係数λi1を変化させることによって、ヒゲの濃い顔（-3sd）からヒゲのない顔（+3sd）まで顔輝度が変化することがわかる。同様に、第ｉ2主成分としては顔にかかる影の状態に寄与する成分が抽出されており、重みづけ係数λi2を変化させることによって、顔の右側に影がかかった顔（-3sd）から左側に影がかかった顔（+3sd）まで顔の輝度が変化することがわかる。なお、ｉの値が小さいほど、輝度に対する説明力が高い、すなわち、顔輝度への寄与が大きいことを意味する。
以上のステップ#1から#5までの処理によって、顔の数学モデルＭが生成される。すなわち、この数学モデルＭは、顔形状を表す複数の固有ベクトルｐiと、平均顔形状下での顔輝度を表す固有ベクトルｑiによって表現されるものであり、各固有ベクトルの合計数が、顔画像を形成する画素数よりも大幅に少ない、次元圧縮されたものとなっている。なお、上記参考文献１記載の実施例では、約10,000画素により形成される顔画像に対して122の特徴点を設定して上記の処理を行うことによって、顔形状についての23の固有ベクトルと顔輝度についての114の固有ベクトルで表される顔画像の数学モデルが生成され、各固有ベクトルに対する重みづけ係数を変化させることによって、約90％の顔形状や輝度のバリエーションを表現できることが示されている。
次に、この数学モデルＭを利用したＡＡＭの手法に基づく画像の復元・付加処理の流れについて、図５と図１１を参照しながら説明する。
まず、顔検出部３１が、画像データＰ1を読み込み、画像Ｐ1（図１１（ａ））中の顔部分Ｐ1fを検出する（図１１（ｂ））。具体的には、特開２００５−１０８１９５号公報（参考文献２）に記載されているように、画像Ｐ１の各画素におけるエッジの向きと大きさを表す勾配ベクトルの向きを表す第１の特徴量を、複数の第１の識別器（後述）に入力することによって画像Ｐ１中に顔候補領域が存在するかどうかを判定し、さらに、顔候補領域が存在する場合には、その領域を抽出し、抽出された顔候補領域の各画素における勾配ベクトルの大きさを正規化し、正規化後の勾配ベクトルの大きさと向きを表す第２の特徴量を、第２の識別器（後述）に入力することによって、抽出された顔候補領域が真の顔領域であるかどうかを判定し、真の顔領域であれば、その領域を顔部分Ｐ１fとして検出することが考えられる。ここで、第１／第２の識別器は、学習用サンプルとなる顔であることがわかっている複数の画像と顔でないことがわかっている複数の画像の各々について算出された第１／第２の特徴量を入力とする、AdaBoost等のマシンラーニングの手法を用いた学習処理によって各々得られたものである。特に本実施形態では、学習用サンプルとして目の部分が帽子の影によって黒くつぶれた画像を用いる。
なお、顔部分Ｐ１fの検出方法としては、特表２００４−５２７８６３号公報（参考文献３）に記載されているような固有顔表現と画像自体との相関スコアを用いる方法の他、知識ベース、特徴抽出、肌色検出，テンプレートマッチング、グラフマッチング、統計的手法(ニューラルネットワーク、SVM、HMM)等の様々な公知の手法を用いることができる。なお、画像Ｐ1がディスプレイ５５に表示された際に、マウス５７やキーボード５６の操作により、手作業で顔部分Ｐ1fを指定するようにしてもよいし、自動検出の結果を手作業で修正するようにしてもよい。
次に、画像復元・付加部３２は、顔部分Ｐ1fを数学モデルＭに適応させる処理を行う。具体的には、上記式（１）（６）の上位の主成分の固有ベクトルｐi、ｑiに対する重みづけ係数ｂi、λiから順に係数の値を変化させながら、上記式（１）（６）に基づいて画像を再構成し、再構成された画像と顔部分Ｐ1fとの差異が最小となる時の重みづけ係数ｂi、λi（合わせて、パラメータＣと呼ぶ）を求める（詳細は、参考文献３参照）。なお、重みづけ係数ｂi、λiの値は、モデル生成時のサンプル画像を上記（１）（６）で表したときのｂi、λiの分布の標準偏差sdに基づき、例えば-3sdから+3sdまでの範囲の値のみを許容し、その範囲を超える場合には、上記の分布における平均値を設定するようにすることが好ましい。これにより、モデルの誤適応を回避することができる。
さらに、画像再構成部３３は、求められたパラメータＣを上記（１）（６）に代入することによって、顔画像Ｐ1f′を再構成し（図１１（ｃ））、さらに、画像Ｐ1の顔部分Ｐ1fを、再構成された顔画像Ｐ1f′に置換して合成することによって、画像Ｐ2を生成し（図１１（ｄ））、画像データＰ2を出力する。
以上のように、本発明の実施形態となる画像の復元・付加処理によれば、画像復元・付加部３２が、帽子の影によって目の部分が黒くつぶれた画像Ｐ1から顔検出部３１によって検出された顔部分Ｐ1fを、目の部分を含む顔が表された複数のサンプル画像に基づいてＡＡＭの手法によって生成された数学モデルＭに適応させ、画像再構成部３３が、この数学モデルＭに適応させることによって得られた顔部分Ｐ1fに対応するパラメータＣに基づいて、目の部分が復元された顔部分の画像Ｐ1f′を再構成し、さらに、画像Ｐ1の顔部分に画像Ｐ1f′をはめ込んで合成して画像P2を生成する。ここで、数学モデルＭは、目の部分を含む顔部分が表されたサンプル画像から生成されたものであるため、モデルＭには入力画像Ｐ1では黒くつぶれている目の部分が表現されている。したがって、入力画像Ｐ1の顔の部分Ｐ1fの目の部分が黒くつぶれていても、入力画像Ｐ1の顔部分Ｐ1fをこのモデルＭに適応させることによって表現したものは、目の部分が復元されたものとなる。このように、本発明の画像の復元・付加処理によれば、手作業を伴わない自動処理によって、帽子の影によって黒くつぶれた目の辺りを復元することができる。したがって、操作に対する熟練を必要とせず、また、手間をかけることなく、復元精度のきわめて高い画像Ｐ2が得られる。
なお、図４のメニュー画面において他の処理を選択した場合の復元・付加処理についても、数学モデルＭを生成するためのサンプル画像と顔検出部３１における識別器を生成するための学習処理で用いられる学習用サンプル画像を必要に応じて適宜変更することによって、上記と同様の構成で実現することができる。
例えば、図４で復元処理メニューの「ネットフェンスの除去」が選択された場合には、ネットフェンス越しに存在する人物を撮影して得られる、人物の顔にネットの模様がかぶった画像からネットの模様を除去することによって、人物の顔部分を復元する処理が行われるが、この場合は、数学モデルＭを生成するためのサンプル画像としてネットの模様がかぶっていない顔画像を用い、顔検出部３１における識別器生成時の学習処理用サンプル画像としてネットの模様がかぶった顔画像を用いればよい。これにより、画像復元・付加部３２が、ネット越しの撮影によって得られた画像Ｐ1から顔検出部３１によって検出されたネットの模様がかぶった顔部分Ｐ1fを、ネットの模様がかぶっていない複数のサンプル画像に基づいてＡＡＭの手法によって生成された数学モデルＭに適応させ、画像再構成部３３が、この数学モデルＭに適応させることによって得られた顔部分Ｐ1fに対応するパラメータＣに基づいて、ネットの模様の部分が復元された顔部分の画像Ｐ1f′を再構成し、さらに、画像Ｐ1の顔部分に画像Ｐ1f′をはめ込んで合成して画像P2を生成することができる。
また、図４で「欠落信号の復元」が選択された場合には、被写体と背景とのコントラストが大きすぎて画像中の高信号領域が飛んだり、低信号領域がつぶれたり、圧縮や伝送のエラー等の撮影機器の異常によって画像中の特定の色の画像信号が欠落したりしている画像から、飛びやつぶれ、欠落を復元する処理が行われるが、この場合は、数学モデルＭを生成するためのサンプル画像として飛びやつぶれ、欠落がない顔画像を用い、顔検出部３１における識別器生成時の学習処理用サンプル画像として飛びやつぶれ、欠落がある顔画像を用いればよい。さらに、数学モデルＭを生成するためのサンプル画像としてカラーの顔画像を用い、顔検出部３１における識別器生成時の学習処理用サンプル画像として白黒やセピアの顔画像を用いれば、白黒やセピアの顔画像のカラー化を行うことも可能である。
図４で付加処理メニューの「ニキビ」が選択された場合には、ニキビがない人物の顔画像にニキビを付加することによって、いわば、人物の顔のニキビを復元する処理が行われるが、この場合は、数学モデルＭを生成するためのサンプル画像としてニキビを含む顔画像を用い、顔検出部３１における識別器生成時の学習処理用サンプル画像としてニキビを含まない顔画像を用いればよい。これにより、画像復元・付加部３２が、画像Ｐ1から顔検出部３１によって検出されたニキビを含まない顔部分Ｐ1fを、ニキビを含む複数のサンプル画像に基づいてＡＡＭの手法によって生成された数学モデルＭに適応させ、画像再構成部３３が、この数学モデルＭに適応させることによって得られた顔部分Ｐ1fに対応するパラメータＣに基づいて、ニキビが付加（復元）された顔部分の画像Ｐ1f′を再構成し、さらに、画像Ｐ1の顔部分に画像Ｐ1f′をはめ込んで合成して画像P2を生成することができる。他のメニューにある「シワ」、「化粧」、「眼鏡」や、その他の要素を付加する場合についても、同様にして、数学モデルＭを生成するためのサンプル画像として付加したい要素を含む顔画像を用い、顔検出部３１における識別器生成時の学習処理用サンプル画像として付加したい要素を含まない顔画像を用いればよい。
さらに、図４のメニューにはないが、数学モデルＭを生成するためのサンプル画像として階調数のより多い顔画像を用い、顔検出部３１における識別器生成時の学習処理用サンプル画像として階調数のより少ない顔画像を用いれば、画像復元・付加部３２が、画像Ｐ1から顔検出部３１によって検出された階調数のより少ない顔部分Ｐ1fを、階調数のより多い複数のサンプル画像に基づいてＡＡＭの手法によって生成された数学モデルＭに適応させ、画像再構成部３３が、この数学モデルＭに適応させることによって得られた顔部分Ｐ1fに対応するパラメータＣに基づいて、階調数のより多い顔部分の画像Ｐ1f′を再構成し、さらに、画像Ｐ1の顔部分に画像Ｐ1f′をはめ込んで合成して画像P2を生成することができる。これは階調数の復元処理ということができる。
この他、数学モデルＭを生成するためのサンプル画像としてボケが生じていない顔画像を用い、顔検出部３１における識別器生成時の学習処理用サンプル画像としてボケが生じている顔画像を用いれば、画像復元・付加部３２が、画像Ｐ1から顔検出部３１によって検出されたボケが生じている顔部分Ｐ1fを、ボケが生じていない複数のサンプル画像に基づいてＡＡＭの手法によって生成された数学モデルＭに適応させ、画像再構成部３３が、この数学モデルＭに適応させることによって得られた顔部分Ｐ1fに対応するパラメータＣに基づいて、ボケが生じていない顔部分の画像Ｐ1f′を再構成し、さらに、画像Ｐ1の顔部分に画像Ｐ1f′をはめ込んで合成して画像P2を生成することができる。これはボケ画像の復元処理、すなわち、画像中の高周波成分の復元処理ということができる。
上記の実施形態では、図４のメニューのように、個別の復元・付加対象毎に別メニューとしていたが、数学モデルＭを生成するためのサンプル画像として複数の復元・付加対象を含む顔画像を用い、顔検出部３１における識別器生成時の学習処理用サンプル画像としてそれらの復元・付加対象を含まない顔画像を用いれば、複合的な復元・付加処理を実現することができる。
上記の本実施形態では、数学モデルＭが１つだけ存在するようにしていたが、人種別、年齢別、性別等の属性別に複数の数学モデルＭi（i=1,2,・・・）を生成しておいてもよい。図１２は、この場合の画像の復元・付加処理の詳細を表すブロック図である。図に示したように、画像Ｐ1に基づいて、画像中の被写体の属性情報ＡKを取得する属性取得部３４と、取得した属性情報ＡKに基づいて、その属性を有する被写体を表すサンプル画像のみから生成された数学モデルＭKを選択するモデル選択部３５とを有している点で、上記の実施形態（図５）とは異なる。
ここで、複数の数学モデルＭiは、例えば、同じ人種、年代、性別等を有する被写体表すサンプル画像のみから前述の方法（図６参照）に基づいて各々生成されたものであり、サンプル画像における共通の属性を表す属性情報Ａiと関連づけられて記憶されている。
属性取得部３４は、画像Ｐ1に対する公知の認識処理（例えば、特開平11-175724号公報記載）を行うことによって、被写体の属性を判定し、属性情報ＡKを取得してもよいし、撮影時に被写体の属性を画像データＰ1の付帯情報としてヘッダ等に記録しておき、記録された情報を取得するようにしてもよい。また、付帯情報に基づいて被写体の属性を推定するようにしてもよい。例えば、撮影場所のＧＰＳ情報があれば、そのＧＰＳ情報に対応する国や地域を特定することができるので、撮影された被写体の人種をある程度推定することができることに着目し、ＧＰＳ情報と人種情報を関連づける参照テーブルを予め用意しておき、撮影時にＧＰＳ情報を取得して画像データＰ1のヘッダ領域に記録するデジタルカメラ（例えば、特開2004-153428号公報記載）で得られた画像データＰ1を入力として、画像データＰ1のヘッダ領域に記録されているＧＰＳ情報を取得し、取得したＧＰＳ情報に基づいて前記の参照テーブルを参照し、そのＧＰＳ情報に関連づけられた人種情報を被写体の人種として推定することが考えられる。
モデル選択部３５は、属性取得部３４によって得られた属性情報ＡKと関連づけられた数学モデルＭKを取得し、画像復元・付加部３２は、画像Ｐ1の顔部分Ｐ1fを数学モデルＭKに適応させる。
このように、複数の属性に応じた数学モデルＭiを予め用意しておき、モデル選択部３５が、属性取得部３４で取得した属性ＡKと関連づけられた数学モデルＭKを選択し、画像復元・付加部３２が、選択された数学モデルＭKに顔形状Ｐ1fを適応させるようにした場合には、数学モデルＭKには属性ＡKの違いに起因する顔形状や輝度のバリエーションを説明する固有ベクトルは存在しないので、顔形状や輝度を決定する他の要因を表す固有ベクトルのみに基づいて、顔形状Ｐ1fを表現することが可能になり、処理精度が向上し、より高品質の画像が得られる。
なお、処理精度の向上の観点からは、属性別の数学モデルをさらに特化させ、被写体の個人別の数学モデルを構築しておくことが好ましい。この場合には、画像Ｐ1と個人を特定する情報とを関連づけておく必要がある。
また、上記の実施形態では、数学モデルは予めデジタル写真プリンタにインストールされているものとしているが、人種別の数学モデルを予め準備しておき、そのプリンタの出荷先の国や地域によって、インストールする数学モデルを変えることも処理精度の向上の観点からは好ましい。
さらに、この数学モデルを生成する機能をデジタル写真プリンタに実装するようにしてもよい。具体的には、図６のフローチャートに基づいて説明した処理を行わせるプログラムを演算・制御装置５０にインストールしておけばよい。また、出荷時にはデフォルトの数学モデルをインストールしておき、そのデジタル写真プリンタへの入力画像を用いて、その数学モデルをカスタマイズ（変更）できるようにしたり、デフォルトの数学モデルとは異なる新たなモデルを生成するようにしたりすることも考えられる。これは、前記のように個人別のモデルを生成する場合に特に有効である。
また、上記の実施形態では、顔形状と輝度についての別個の重みづけ係数ｂi、λiによって、個別の顔画像を表現していたが、顔形状と輝度のバリエーションには相関性があることから、重みづけ係数ｂi、λiを結合して得られるベクトル（ｂ1,ｂ2,・・・,ｂi,・・・,λ1,λ2,・・・,λi,・・・）に対してさらに主成分分析を行うことにより、次式（７）（８）に示したように、顔形状と輝度の両方を制御する新しいアピアランスパラメータｃを得ることができる。
Figure 0004767718
ここで、アピアランスパラメータｃとベクトルＱSによって平均顔形状からの形状の変動分が表現され、アピアランスパラメータｃとベクトルＱAによって平均顔輝度からの輝度の変動分要素が表現される。
このモデルを用いた場合には、画像復元・付加部３２は、アピアランスパラメータｃの値を変化させながら、上記式（８）に基づいて平均顔形状下での顔輝度を求め、さらに、上記式（７）に基づいて平均顔形状からの変換を行うことによって、顔画像を再構成し、再構成された画像と顔部分Ｐ1fとの差異が最小となる時のアピアランスパラメータｃを求めることになる。
本発明の他の実施形態としては、上記の画像の復元・付加処理をデジタルカメラに実装することが考えられる。図１３は、このようなデジタルカメラの構成を模式的に表したものである。図に示すように、このデジタルカメラは、レンズ、絞り、シャッター、ＣＣＤ等からなり、被写体の撮像を行う撮像部７１、撮像部７１のＣＣＤに蓄積された電荷によるアナログ信号をデジタル化して、デジタル画像データＰ0を得るＡ／Ｄ変換部７２、画像データＰ0等に対して各種画像処理を行う画像処理部７３、メモリカードに記録する画像データの圧縮処理やメモリカードから読み込んだ圧縮形式の画像データに対する伸長処理を行う圧縮／伸長部７４、ストロボ等からなり、ストロボ発光を行うストロボ部７５、各種操作ボタン等からなり、撮影条件や画像処理条件等の設定を行う操作部７６、画像データが記録されるメモリカードとのインターフェースとなるメディア記録部７７、液晶ディスプレイ等からなり、スルー画や撮影された画像、各種設定メニュー等を表示する表示部７８、前記各部による処理の制御を行う制御部７０、制御プログラムや画像データ等を記憶する内部メモリ７９を有している。
ここで、図２の画像入力手段１は撮像部７１とＡ／Ｄ変換部７２、画像補正手段２は画像処理部７３、画像加工手段３は画像処理部７３と操作部７６と表示部７８、画像出力手段４はメディア記録部７７によって、制御部７０による制御の下で内部メモリ７９も使用しつつ、各々の機能が実現される。
次に、このデジタルカメラの操作と処理の流れについて説明する。
まず、撮影者によるシャッターの全押し操作によって、撮像部７１がレンズに入射した被写体光をＣＣＤの光電面に結像させ、光電変換の後、アナログ画像信号を出力し、Ａ／Ｄ変換部７２が、出力されたアナログ画像信号をデジタル画像信号に変換し、デジタル画像データＰ0として出力することによって、画像入力手段１として機能する。
次に、画像処理部７３が、オートホワイトバランス調整処理、光源種に応じたホワイトバランス調整処理、階調補正処理、濃度補正処理、色補正処理、シャープネス処理等を行い、処理済みの画像データＰ1を出力することによって、画像補正手段２として機能する。
ここで、画像Ｐ1が表示部７８により液晶ディスプレイに表示される。表示レイアウトとしては、図３（ａ）に示したサムネイル形式による複数の画像の表示が考えられる。撮影者は、操作部７６の操作ボタンの操作により、加工対象の画像を選択して拡大表示し、メニュー選択によりさらなる画像の手動補正や加工を行う。ここで、「復元・付加」を選択し、それによって表示される図４のメニュー画面から撮影者が所望の処理を選択した場合には、制御部７０が、内部メモリ７９に記憶されている画像復元・付加処理用プログラムを起動し、内部メモリ７９に予め記憶されている数学モデルＭを用いた前述の画像復元・付加処理（図５等参照）を画像処理部７３に行わせ、処理済みの画像データＰ２を出力する。以上のようにして、画像加工手段３の機能が実現される。
そして、圧縮／伸長部７４が画像データＰ2をＪＰＥＧなどの圧縮形式に基づく圧縮処理を行い、メディア記録部７７経由でこのデジタルカメラに装填されたメモリカードに圧縮後の画像データを書き込むことによって、画像出力手段４の機能が実現される。
このように、本発明の画像の復元・付加処理をデジタルカメラの画像処理機能として実装することによって、上記のデジタル写真プリンタの場合と同様の効果を得ることができる。
なお、手動補正や加工処理は、メモリカードに一旦記録された画像に対しても行えるようにしてもよい。具体的には、メモリカードに記憶されている画像データを圧縮／伸長部７４が伸長（解凍）した後、伸長済みの画像データによる画像を表示部７８の液晶ディスプレイに表示し、撮影者が、前記と同様の操作によって所望の画像処理を選択し、画像処理部７３が、選択された画像処理を行う。
また、図１２等で説明した被写体の属性別の数学モデルをデジタルカメラに実装してもよいし、図６で示した数学モデルの生成処理を実装してもよい。ここで、個々のデジタルカメラによる撮影の被写体となる人物はある程度限定されることが多いことから、そのデジタルカメラで主に被写体となる人物の顔についての個人別の数学モデルを生成するようにすれば、顔の個人差による変動のないモデルを生成できるため、その人物の顔に対する復元・付加処理については、きわめて高い精度で行うことが可能になる。
上記の実施形態のほか、本発明の画像の復元・付加処理をパソコン等に行わせるプログラムを、レタッチソフトウェアに組み込むことも考えられる。これにより、ユーザは、このソフトウェアが記憶されているＣＤ−ＲＯＭ等の記憶媒体からパソコン等にインストールしたり、インターネット上の所定のサイトからこのソフトウェアをダウンロードしてインストールしたりすることによって、自分のパソコンでの画像の編集加工の１パターンとして、本発明の画像の復元・付加処理を利用することが可能になる。
本発明の実施形態となるデジタル写真プリンタのハードウェア構成を模式的に示した図 本発明の実施形態となるデジタル写真プリンタおよびデジタルカメラの機能と処理の流れを示すブロック図 本発明の実施形態となるデジタル写真プリンタおよびデジタルカメラのディスプレイに表示される画面の一例を示す図 本発明の実施形態となる画像の復元・付加処理の詳細を選択するためのメニュー画面の一例を示す図 本発明の一態様となる画像の復元・付加処理の詳細を表すブロック図 本発明における顔画像の数学モデルを生成する処理の流れを表すフローチャート 顔の特徴点の設定例を表す図 顔形状に対する主成分分析によって得られた主成分の固有ベクトルに対する重みづけ係数の値を変化させた場合の顔形状の変化の様子を模式的に表した図 サンプル画像中の顔形状を平均顔形状に変換し、平均顔形状下での輝度の様子を表した図 顔輝度に対する主成分分析によって得られた主成分の固有ベクトルに対する重みづけ係数の値を変化させた場合の顔輝度の変化の様子を模式的に表した図 本発明の画像の復元・付加処理によって入力画像が変化していく様子を段階的に表した図 本発明の一態様となる画像の復元・付加処理の発展的態様を表すブロック図 本発明の他の実施形態となるデジタルカメラの構成を模式的に示した図
符号の説明
１ 画像入力手段
２ 画像補正手段
３ 画像加工手段
４ 画像出力手段
３１ 顔検出部
３２ 画像復元・付加部
３３ 画像再構成部
３４ 属性取得部
３５ モデル選択部
５１ フィルムスキャナ
５２ フラットヘッドスキャナ
５３ メディアドライブ
５４ ネットワークアダプタ
５５ ディスプレイ
５６ キーボード
５７ マウス
５８ ハードディスク
５９ 写真プリント出力機
７０ 制御部
７１ 撮像部
７２ Ａ／Ｄ変換部
７３ 画像処理部
７４ 圧縮／伸長部
７５ ストロボ部
７６ 操作部
７７ メディア記録部
７８ 表示部
７９ 内部メモリ

Claims (7)

  1. 所定の構造物から所定の要素が欠落した状態を表す入力画像に対して、前記欠落した要素を復元する画像処理方法であって、
    前記入力画像中の前記構造物の属性を取得し、前記要素が欠落していない前記構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけを行う重みづけパラメータとによって、前記要素が欠落していない構造物が前記所定の構造物の前記属性毎にそれぞれ表現された複数のモデルから前記属性に応じたモデルを選択するステップと、
    前記選択されたモデルに、前記入力画像中の前記要素が欠落した構造物を適応させることによって、前記入力画像に表された前記構造物に応じた前記重みづけパラメータを取得するステップと、
    取得された前記重みづけパラメータと前記統計的特徴量とに基づいて、前記入力画像中の前記構造物の前記欠落した要素が復元された出力画像を生成するステップとを含むことを特徴とする画像処理方法。
  2. 所定の構造物から所定の要素が欠落した状態を表す入力画像に対して、前記欠落した要素を復元する画像処理装置であって、
    前記要素が欠落していない前記構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけを行う重みづけパラメータとによって、前記要素が欠落していない構造物が前記所定の構造物の属性毎にそれぞれ表現された複数のモデルと、
    前記入力画像中の前記構造物の属性を取得し、前記複数のモデルから前記該属性に応じたモデルを選択する選択手段と、
    該選択されたモデルに、前記入力画像中の前記要素が欠落した構造物を適応させることによって、前記入力画像に表された前記構造物に応じた前記重みづけパラメータを取得する手段と、
    取得された前記重みづけパラメータと前記統計的特徴量とに基づいて、前記入力画像中の前記構造物の前記欠落した要素が復元された出力画像を生成する手段とを備えたことを特徴とする画像処理装置。
  3. 前記入力画像中の前記構造物を検出する検出手段をさらに備え、
    前記パラメータを取得する手段が、該検出手段によって検出された前記構造物を前記モデルに適応させるものであることを特徴とする請求項２記載の画像処理装置。
  4. 前記検出手段が、前記構造物から前記要素が欠落した状態を表す複数の画像を入力とするマシンラーニングによって得られた検出器を用いて前記構造物を検出するものであることを特徴とする請求項３記載の画像処理装置。
  5. 前記所定の構造物が人間の顔であることを特徴とする請求項２から４のいずれか１項記載の画像処理装置。
  6. 前記所定の要素が、前記構造物の領域の一部分、前記構造物を表す各色の信号の一部、前記構造物を表す空間周波数成分の一部、前記構造物を表す階調の数のうちの少なくとも１つであることを特徴とする請求項２から５のいずれか１項記載の画像処理装置。
  7. 所定の構造物から所定の要素が欠落した状態を表す入力画像に対して、前記欠落した要素を復元する処理をコンピュータに実行させる画像処理プログラムであって、
    前記入力画像中の前記構造物の属性を取得し、前記要素が欠落していない前記構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけを行う重みづけパラメータとによって、前記要素が欠落していない構造物が前記所定の構造物の前記属性毎にそれぞれ表現された複数のモデルから前記属性に応じたモデルを選択するステップと、
    前記選択されたモデルに、前記入力画像中の前記要素が欠落した構造物を適応させることによって、前記入力画像に表された前記構造物に応じた前記重みづけパラメータを取得するステップと、
    取得された前記重みづけパラメータと前記統計的特徴量とに基づいて、前記入力画像中の前記構造物の前記欠落した要素が復元された出力画像を生成するステップとを
    該コンピュータに実行させることを特徴とする画像処理プログラム。
JP2006048782A 2006-02-24 2006-02-24 画像処理方法および装置ならびにプログラム Active JP4767718B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006048782A JP4767718B2 (ja) 2006-02-24 2006-02-24 画像処理方法および装置ならびにプログラム
US11/709,708 US7885477B2 (en) 2006-02-24 2007-02-23 Image processing method, apparatus, and computer readable recording medium including program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006048782A JP4767718B2 (ja) 2006-02-24 2006-02-24 画像処理方法および装置ならびにプログラム

Publications (2)

Publication Number Publication Date
JP2007226655A JP2007226655A (ja) 2007-09-06
JP4767718B2 true JP4767718B2 (ja) 2011-09-07

Family

ID=38444058

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006048782A Active JP4767718B2 (ja) 2006-02-24 2006-02-24 画像処理方法および装置ならびにプログラム

Country Status (2)

Country Link
US (1) US7885477B2 (ja)
JP (1) JP4767718B2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096405A (ja) * 2005-09-27 2007-04-12 Fujifilm Corp ぶれ方向判定方法および装置ならびにプログラム
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
US8126221B2 (en) * 2008-02-14 2012-02-28 Ecole Polytechnique Federale De Lausanne (Epfl) Interactive device and method for transmitting commands from a user
JP5009204B2 (ja) * 2008-03-14 2012-08-22 オリンパスイメージング株式会社 撮影装置および撮影装置における画像合成方法
WO2009122760A1 (ja) * 2008-04-04 2009-10-08 富士フイルム株式会社 画像処理装置、画像処理方法、およびコンピュータ読取可能な媒体
JP5337969B2 (ja) * 2008-04-08 2013-11-06 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
JP5337970B2 (ja) * 2008-04-08 2013-11-06 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
WO2009125578A1 (ja) * 2008-04-07 2009-10-15 富士フイルム株式会社 画像処理システム、画像処理方法、およびコンピュータ読取可能な媒体
JP2009273117A (ja) * 2008-04-07 2009-11-19 Fujifilm Corp 画像処理システム、画像処理方法、およびプログラム
US8447128B2 (en) 2008-04-07 2013-05-21 Fujifilm Corporation Image processing system
JP4911191B2 (ja) * 2009-04-08 2012-04-04 株式会社ニコン 画像処理装置および画像処理プログラム
JP5684488B2 (ja) * 2009-04-20 2015-03-11 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
US9251318B2 (en) 2009-09-03 2016-02-02 International Business Machines Corporation System and method for the designation of items in a virtual universe
US8788952B2 (en) * 2009-09-03 2014-07-22 International Business Machines Corporation System and method for locating missing items in a virtual universe
US8633997B2 (en) * 2009-10-15 2014-01-21 Sony Corporation Block-based variational image processing method
JP5399887B2 (ja) * 2009-12-28 2014-01-29 本田技研工業株式会社 車両周辺監視装置
US8494237B2 (en) * 2010-11-08 2013-07-23 Cranial Technologies, Inc Method and apparatus for processing digital image representations of a head shape
US8442288B2 (en) * 2010-11-08 2013-05-14 Cranial Technologies, Inc. Method and apparatus for processing three-dimensional digital mesh image representative data of three-dimensional subjects
KR101919831B1 (ko) 2012-01-11 2018-11-19 삼성전자주식회사 오브젝트 인식 장치, 분류 트리 학습 장치 및 그 동작 방법
US8977347B2 (en) * 2012-06-25 2015-03-10 Xerox Corporation Video-based estimation of heart rate variability
CN104573099B (zh) * 2015-01-29 2018-05-22 作业帮教育科技（北京）有限公司 题目的搜索方法及装置
US10242287B2 (en) * 2015-06-11 2019-03-26 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and recording medium
CN107330408B (zh) * 2017-06-30 2021-04-20 北京乐蜜科技有限责任公司 视频处理方法、装置、电子设备及存储介质
CN110163794B (zh) * 2018-05-02 2023-08-29 腾讯科技（深圳）有限公司 图像的转换方法、装置、存储介质和电子装置
CN109671016B (zh) * 2018-12-25 2019-12-17 网易（杭州）网络有限公司 人脸模型的生成方法、装置、存储介质及终端
KR102358325B1 (ko) * 2020-01-21 2022-02-04 성균관대학교산학협력단 얼굴영상을 이용한 강인한 맥박수 및 호흡수 측정 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0865519A (ja) 1994-08-19 1996-03-08 Toppan Printing Co Ltd 画像の欠陥修正方法及びその装置
US7068835B1 (en) * 1997-11-28 2006-06-27 Minolta Co., Ltd. Data processing apparatus for processing a 3-dimensional data of an object and a method therefor
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
GB0112773D0 (en) 2001-05-25 2001-07-18 Univ Manchester Object identification
DE60233935D1 (de) * 2002-07-19 2009-11-19 Mitsubishi Electric Inf Tech Verfahren und Gerät zur Datenverarbeitung
WO2004021273A2 (en) * 2002-08-29 2004-03-11 Paul Rudolf Associative memory device and method based on wave propagation
JP4388301B2 (ja) * 2003-05-08 2009-12-24 オリンパス株式会社 画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体
JP4510556B2 (ja) 2003-09-09 2010-07-28 富士フイルム株式会社 対象物識別装置および方法並びにプログラム
US7376270B2 (en) * 2003-12-29 2008-05-20 Canon Kabushiki Kaisha Detecting human faces and detecting red eyes

Also Published As

Publication number Publication date
JP2007226655A (ja) 2007-09-06
US20070201750A1 (en) 2007-08-30
US7885477B2 (en) 2011-02-08

Similar Documents

Publication Publication Date Title
JP4767718B2 (ja) 画像処理方法および装置ならびにプログラム
JP4799101B2 (ja) 画像処理方法および装置ならびにプログラム
JP4795718B2 (ja) 画像処理装置および方法並びにプログラム
US7751640B2 (en) Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program
US8107764B2 (en) Image processing apparatus, image processing method, and image processing program
JP2006350498A (ja) 画像処理装置および方法並びにプログラム
US7848588B2 (en) Method and apparatus for judging direction of blur and computer-readable recording medium storing a program therefor
JP2007006182A (ja) 画像処理装置および方法並びにプログラム
JP4906034B2 (ja) 撮影装置および方法並びにプログラム
JP4519708B2 (ja) 撮影装置および方法並びにプログラム
JP2006295303A (ja) 画像処理方法および装置ならびにプログラム
JP4752941B2 (ja) 画像合成装置及びプログラム
JP4710550B2 (ja) 画像におけるコメントレイアウト
JP2007257585A (ja) 画像処理方法および装置ならびにプログラム
JP2007066227A (ja) 画像処理装置および方法並びにプログラム
JP2006350769A (ja) 画像処理装置および方法並びにプログラム
JP4739256B2 (ja) 画像処理装置および方法並びにプログラム
JP4043708B2 (ja) 画像処理方法および装置
JP4766644B2 (ja) 画像処理方法および画像処理装置
JP4507082B2 (ja) キャッチライト合成方法
JP2007124112A (ja) 画像処理方法および装置ならびにプログラム
JP2005006213A (ja) 画像処理装置およびその方法
JP2008079196A (ja) 画像補正方法と画像補正プログラムと画像補正モジュール
JP2008084236A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110615

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4767718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250