JP4795988B2 - 画像処理方法 - Google Patents
画像処理方法Info
- Publication number
- JP4795988B2 JP4795988B2 JP2007036869A JP2007036869A JP4795988B2 JP 4795988 B2 JP4795988 B2 JP 4795988B2 JP 2007036869 A JP2007036869 A JP 2007036869A JP 2007036869 A JP2007036869 A JP 2007036869A JP 4795988 B2 JP4795988 B2 JP 4795988B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- image processing
- face
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Description
このように、デジタルフォトプリンタによれば、画像データ処理によって、より自由度の高い画像処理を施すことが可能であり、より商品価値の高いプリントを出力することができる。
すなわち、これは、画像供給源から供給された画像データに関する顧客の情報を取得し、この顧客の情報に応じて画像処理条件を設定し、この画像処理条件に基づいて画像処理を行うことにより、顧客に好適に対応した再生画像を得るものである。
そして、最近では、これらの画像形成媒体を利用して、ビデオカメラ、デジタルカメラ、デジタルビデオムービー、携帯TV電話等の、画像とともに音声をも取り込めるような画像形成手段が開発されている。
例えば、特開2000−151985号公報では、人物の顔画像の部位および調整パラメータを設定し、化粧顔に修正する技術が開示されている。しかしながら、色調や階調の調整は、一般人にはなじみがないし、素人には難しい処理である。特に、パーソナルコンピュータ(パソコンまたはPC)に慣れたユーザでない場合にはかなり難しい。場合によっては良い調整結果が得られないばかりか、調整後の画像に違和感が生じる虞も多々あるという問題があった。
一方、また、このようなデジタル画像処理の内簡単なものは、パソコンでも可能であり、そのための画像処理ソフトも種々市販されている。しかしながら、これらの市販の画像処理ソフトを使って、人物の顔画像を好みの顔に仕上げたり、視線を撮影方向に合わせて、正面に向いているように仕上げるのは、簡単なものでは十分な精度が得られなかったり、素人には操作が困難であったりという問題があった。
また、前記置換処理は、予めもしくはこの時に前記撮影画像中から前記抽出された人物の所定の部位を前記もしくは前記アニメーション画像またはコンピュータグラフィックス画像に置き換える処理であるのが好ましい。
前記人物の撮影画像を取得し、前記撮影画像の人物が、予め撮影しておいた前記人物の記録画像における該人物の姿勢と同じ状態にあるかどうかを判定し、前記同じ状態にある時、前記撮影画像の人物の眼のエリア内に、前記基準画像の人物の眼のエリア内のエリア画像を合成することを特徴とする画像処理方法を提供するものである。
ここで、前記撮影画像の人物の眼のエリアを、前記基準画像の人物の眼のエリア内のエリア画像に応じて前記撮影画像中から抽出するのが好ましい。
前記撮影画像の人物の眼のエリアを、前記基準画像の人物の眼のエリア内の画像特徴量に応じて前記撮影画像中から抽出するのが好ましい。
まず、図1〜図3を参照して、本発明の第1の態様に係る画像処理方法を説明する。
図1に示すデジタルフォトプリンタ(以下、フォトプリンタという)10は、フィルムFに撮影された画像を光電的に読み取るスキャナ(画像読取装置)12と、このスキャナ12で読み取られた画像データの電子変倍処理や、画像データのエッジ検出やシャープネス強調(鮮鋭度強調)、平滑化処理(粒状抑制)などの画像処理やフォトプリンタ10全体の操作および制御等を行う画像処理装置14と、この画像処理装置14から出力された画像データに応じて変調した光ビームで感光材料(印画紙)を画像露光し、現像処理して(仕上がり)画像をプリントとして出力する画像記録装置16と、を有する。
また、画像処理装置14には、様々な条件の入力、設定、処理の選択や指示、色/濃度補正などの指示等を入力するためのキーボード18aおよびマウス18bを有する操作系18と、スキャナ12で読み取られた画像、各種の操作指示、様々な条件の設定/登録画面等を表示するモニタ20が接続される。
また、周知のように、新写真システムのフィルムには、磁気記録媒体が形成され、カートリッジIDやフィルムサイズや、ISO感度等が記録されており、また、撮影時や現像時等に、撮影や現像日時、露出レベル、カメラや現像機の機種等の各種のデータが記録可能である。新写真システムのフィルム(カートリッジ)に対応するキャリア28には、この磁気情報の読取手段が配置されており、フィルムを読取位置に搬送する際に磁気情報を読み取り、これらの各種の情報が画像処理装置14に送られる。
なお、カラー画像信号は、このようにフィルムを透過した光を読み取ることによって入力されるものには限定されず、反射原稿でもよいし、あるいはデジタルカメラによって撮影された画像を用いてもよい。すなわち、フィルムの画像を読み取るスキャナ12以外にも、デジタルカメラやデジタルビデオカメラ等の撮像手段、反射原稿の画像を読み取る画像読取装置、LAN(Local Aera Network)やコンピュータ通信ネットワーク等の通信手段、スマートメディアなどのメモリカードやMO(光磁気記録媒体)等のメディア(記録媒体)等の画像供給源Rから画像(デジタルの画像信号)を画像処理装置14に入力することもできる。
フィルムFは、このキャリア28によって読取位置に位置されて、RGBの3ラインCCDセンサの延在方向である主走査方向と直交する副走査方向に搬送されつつ、読取光を入射される。これにより、結果的に、フィルムFが2次元的にスリット走査され、フィルムFに撮影された各コマの画像が読み取られる。
イメージセンサ32から出力されたR、GおよびBの各出力信号は、アンプ33で増幅されて、A/D変換器34に送られ、A/D変換器34において、それぞれ、例えば12bitのRGBデジタル画像データに変換された後、画像処理装置14に出力される。
ここで、プレスキャンは、スキャナ12が対象とするフィルムFの全ての画像を、イメージセンサ32が飽和することなく読み取れるように、予め設定されたプレスキャン読取条件で行われる。
一方、ファインスキャンは、プレスキャンデータから、その画像(コマ)の最低濃度よりも若干低い濃度でイメージセンサ32が飽和するように、各コマ毎に設定されたファインスキャンの読取条件で行われる。なお、プレスキャンおよびファインスキャン出力画像信号は、解像度および出力画像信号レベルが異なる以外は、基本的に同様な画像データである。
この場合には、例えばエリアCCDセンサなどのエリアセンサを用い、光源22とフィルムFとの間にR、GおよびBの各色フィルタの挿入手段を設け、光源22からの射出光の光路に挿入して、色フィルタを透過した読取光をフィルムF全面に照射して、透過光をエリアCCDセンサに結像させてフィルム全画像を読み取ることを、R、GおよびBの各色フィルタを切り換えて順次行うことで、フィルムFに撮影された画像を3原色に分解して読み取る。
スキャナ12から画像処理装置14に入力されたR、GおよびBの画像信号に対して、まずCCDセンサに起因するRGBデジタル画像データの画素毎の感度ばらつきや暗電流を補正するために、DCオフセット補正、暗時補正、欠陥画素補正、シェーディング補正等の読取画像データのデータ補正が行われる。その後画像データは、対数変換処理、階調変換されデジタル画像濃度データに変換される。
本発明の第1の態様に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタは、基本的に以上のように構成される。
画像処理装置14において、前述したように、プレスキャン画像データに基づいて設定された画像読み取り条件によって読み込まれたファインスキャン画像データに対して、画像データの濃度、色および階調の変換、彩度の変換、電子変倍等の処理とともに、顧客ごとの好みに応じた画像処理を実行する。
まず、その前提として、画像中の人物が特定の人物であるか否か人物同定し、その特定の人物毎の好みに応じた画像処理を実行するために、個人識別情報および各個人の希望する画像処理条件(リクエスト処理情報)等のデータを、予めラボに登録しておく。
図2に登録データの一例を示す。図2に示す例は、ある家族の全員のデータを登録する場合である。
顔画像データは、例えば注文済撮影シーン中の顔エリアを指定して取り込むようにしてもよい。また、個人同定の精度を上げるために、一人あたり複数パターンを設定登録するようにしてもよい。
ここで、顔の濃度・色味の調整としては、肌を美白にするモード、しわ消し、日焼けモード等が考えられる。特殊効果としては、クロスフィルタの使用、ソフトフォーカス仕上げ等がある。画像合成としては、縁飾り、特定キャラクタの合成、特別なメイクの化粧等がある。
これらのリクエスト処理は、人物毎に複数種類設定し、複数種類設定された中からいくつか選択したものを組み合わせて、その特定の人物の画像処理に適用するようにしてもよい。
さらに、処理内容によっては、当該処理を画面全体に施すのか、該当する人物のみあるいはその人物とその周辺近傍のみに施すのか等の条件を設定する。
ステップ110において、人物の顔領域の抽出を行う。顔領域の抽出方法も特に限定はなく、色々な方法があり、公知の特定箇所抽出方法(抽出アルゴリズム)を用いればよい。
このような特定箇所抽出方法としては、例えば、特開平9−138470号公報に開示される、特定色を抽出する方法、特定形状パターンを抽出する方法、背景に相当すると推定される領域を除去する方法等、複数の異なる特定箇所(主要部)抽出方法をあらかじめ評価して重みを定め、各抽出方法で特定箇所を抽出して、抽出された特定箇所を定めた重みで重み付けし、その結果に応じて主要部を判定、抽出する方法が例示される。
抽出した顔画像に対して、サイズを正規化した後、登録されている顔画像をテンプレートとして、マッチングを行い、その一致度を求め、人物の同定を行う。このとき、画像に付属するコメント関連情報として、その画像中の人物を示す情報がある場合には、その情報を人物同定に利用してもよい。
人物同定の結果、人物が特定できたら、ステップ130において、その特定の人物に対して、登録されている当該人物のリクエスト処理を実施する。
第二実施形態は、顧客が、デジタルカメラやパーソナルコンピュータ(以下、パソコンという)あるいはフォトプレーヤ等で画像の再生処理をする場合に、第一実施形態で述べたような処理を実行するものである。すなわち、顧客がラボに注文をする前に、撮影済の画像をこれらの機器に表示して画像の修正を行うものである。デジタルカメラやフォトプレーヤに修正機能を持たせたり、あるいは、パソコンと接続することにより修正を行うことができる。
本実施形態は、人物同定において、第1実施形態で説明したように、顔を抽出し、登録された顔画像との間でテンプレートマッチングを行う際、髪形や衣服等を人物指定情報として、個人認識用の特徴量に追加することにより、人物同定の精度を向上させようというものである。ここで、個人認識用の特徴量としては、濃度、色味の分布、テクスチャパターン等が考えられる。
次の入力画像に対する処理においては、抽出顔画像のテンプレートマッチングによる他、先に登録された髪形、衣服等をも参照して、人物同定を行う。人物同定により、人物が特定されたら、その入力画像から新たに髪形、衣服を登録し、人物指定情報として自動的に集積する。
Jは、色味分類数であり、衣服が複数色から構成される場合は、面積比を用いる。例えば、半分が赤で、半分が白の場合は、赤=0.5、白=0.5を蓄積データに登録する。
人物判定ポイントDi=a×Mi+b×Ni(a、bは、重み係数)
により、最大ポイントとなった番号iの人物が画像中の人物であると判定する。
例えば、顔画像のマッチングでは、M1<M2≒M3となり母とA子が略同点だったとする。ここで、服の色味が赤だった場合、赤い服で写った回数は、父0、母3、A子10であるから、点数DiはA子が最大となる。従って、画像中の人物はA子であると判定する。
また、このとき人物同定のための判別アルゴリズム用のパラメータが自動的に修正される。
また、第2実施形態におけるように、顧客が自分のパソコンに画像処理ソフトをダウンロードして自分で画像の修正を行っている場合には、人物同定の間違いを発見した顧客自身が処理の訂正を行うようにしてもよい。
しかし、デジタル画像処理の場合についても、以下述べるように、地域性や顧客の好みの傾向を反映させたプリント(出力画像)を得ることができる。
例えば、オペレータが画像処理を行う際、シーン分類した上で、ある地域について、オペレータの補正傾向がコントラストを強調するのが好まれるとか、コントラストを抑え目にするのが好まれるとかという傾向が分かれる場合には、その地域については、補正のパラメータをその傾向に合わせて直すようにする。
例えば、濃度ヒストグラムまたは画像の中央部および周辺部の濃度差の関係から、その分布パターンにより、通常シーン、オーバー露光あるいはアンダー露光等を推定し、ストロボシーンあるいは逆光シーン等と推定する。
あるいは、顔抽出をすることにより、人物かまたは風景か等のシーン推定を行う。あるいは、オペレータ自身がマニュアルで人物、風景、夜景、アンダーまたはハイコントラスト等のシーンの分類を推定する方法等がある。
なお、このとき、蓄積データも一定周期で最新データに更新することが好ましい。
なお、上記ミニラボプリンタの代わりに各顧客の家庭用プリンタに対して上記処理を行うようにすることもできる。
また、フォトプリンタ製造時に、その製品輸出先の各地域の傾向に合わせていちいちパラメータを設定する必要がなくなり、製品製造出荷作業も容易となる。
また、プリント処理とモニタ表示処理とで、リクエスト内容を分ける様にしてもよいし、特定コマに限定して、登録データ処理の停止や、特定のリクエスト処理を指定できる様にしてもよい。
本発明の第1の態様の画像処理方法は、基本的に以上のように構成される。
次に、図4〜図7を参照して、本発明の第2および第3の態様に係る画像処理方法を説明する。
図4は、本発明の第2の態様の第1実施形態に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの概略を示すブロック図である。
図4に示すデジタルフォトプリンタ50は、主に、撮影情報入力手段52、画像処理装置54および画像記録装置16とを有する。なお、画像記録装置16、操作系18およびモニタ20は、図1に示すフォトプリンタ10と同様のものを用いることができる。
まず、ステップ200において、予め各種感情の種類に応じた画像処理パターンを設定する。しかし人間の感情は多種多様であり、すべての感情を扱うのは不可能であり、ここでは比較的はっきりと外へ現れる典型的なもののみを扱う。
図6に、画像処理パターンの設定の一例を示す。図6のモードと書かれた欄にあるように、ここで扱う感情の種類は、「焦り」、「驚き」、「怒り」、「哀愁」、「悩み(疑問)」、「愛情」、「喜び」・・・等である。
例えば、図6の場合、2つの汗マーク(2つで1セット)の中心の座標が(目を原点として)目の横(x1,y1)の位置に、サイズは顔幅を1としたとき、0.1の大きさで、顔の左側に合成される。
次に、ステップ210において、録音機能を有するデジタルカメラ等で撮影された、付属情報として音声データを有する撮影情報を、撮影情報入力手段52から入力する。入力された撮影情報は、音声データおよび画像データそれぞれ画像処理装置54に送られる。
次に、ステップ220で、画像処理装置54において、音声データより感情の種類を特定する。それには、まず音声データを認識し、登録されている感情の種類を示すモードを導くキーワードが含まれているか、マッチングを行う。特定のキーワードが音声データから検出された場合には、そのキーワードに対応するモードにより、特定の画像処理パターンが特定される。
ここで、撮影画像に合成される合成画像の合成位置が、撮影画像に対して所定位置、例えば、右上隅などの四隅のいずれか等に決まっており、合成画像のサイズが撮影画像のサイズに対して所定サイズまたは相対的なサイズが決まっている場合には、撮影画像にその決まった合成位置に決まったサイズで合成画像が合成される。
また、その他、背景、あるいは画面全体の濃度や色を変更する等の指定がある場合には、それらの変更処理を行う。またその後、通常の画像処理をも行い、出力画像を作成する。
ところで、撮影画像中の人物(顔)の感情の種類の判別は、上述の音声データによるものに限定されず、詳細は後述するが、人物の表情やジェスチャーを用いて感情の種類の判別を行っても良い。
なお、上述のように音声データのみから感情の種類を判定するにあたっては、撮影画像中からの人物の抽出は必要ではないが、これに対し、人物の表情やジェスチャーから、あるいは音声データおよび人物の表情やジェスチャーから、感情の種類を判定する場合には、画像中からの人物の抽出が必要となる。
最後に、ステップ240で、画像記録装置16から出力画像を出力する。
また、上記処理は、上述したように、音声データ認識と撮影画像からの顔抽出とに基づいて、すべて、自動で行ってもよいし、オペレータが顧客の指示に従って、操作キー等により入力して行うようにしてもよい。
また、デジタルカメラ側で処理を行う場合にも、デジタルカメラに上記画像処理を実行するソフトを組み込んで、自動で画像合成処理を行なってもよいし、撮影時に、顧客がキー/ボタン等でカメラに指示を出して合成処理を行なうようにしてもよい。
また、本実施形態では、感情を強調する画像(マーク)を合成するようにしていたが、モーフィング処理等の画像変形処理により表情を感情の種類に対応するように変更するようにしてもよい。例えば、「怒り」の場合には、モーフィング処理により、目をつり上げるようにする等の画像変形処理を行うことができる。しかし、写真の娯楽性を高めるためには、あまりリアルな表情の変更より、図6に示す例のような多少漫画的な方が面白みがあり、効果的である。
ここで、用いられるアニメーション画像やCG画像は、感情の種類に応じて決められた1つの画像であっても良いが、静止画および動画についてそれぞれ複数パターン選択できるようにしておくのが好ましい。
また、上述の場合と同様に、撮影画像の被写体である人物の表情、ジェスチャおよび音声内容の少なくとも1つの情報に基づいて、変換パターンを設定できるようにしておくのがよいし、さらに、顧客の要望を登録できるようにしておくのが好ましいのはもちろんである。
このようにすることにより、写真、ビデオ、TV電話等の画像表現における娯楽性を大幅に向上させることができ、また、TV電話等で、顔を出したくない場合などに便利であり、通話相手にも不快感を与えることがない。
第2実施形態は、写真のような静止画ではなく、携帯TV電話やムービー編集等における動画に対して本発明の第2の態様の画像処理方法を適用したものである。
携帯TV電話の表示画面に表示される画像やムービーの表示画像のような動画の場合にも、画像処理方法自体は、基本的には、上述した第1実施形態と同様である。
このとき、表示画像自体も、動画であり、合成した、例えば図6に示すような「汗マーク」も、このまま静止しているのではなく、例えば少しずつ下へ流れて行くように移動するようにすれば効果的である。
なお、十分なCPUの演算速度を確保することにより、携帯TV電話での通話中において、あるいは、ムービー編集中において再生しながら、リアルタイムでの画像処理を行なうことも可能となる。
本実施形態もTV電話(あるいは携帯TV電話)のようにリアルタイムで画像処理をするものに関するものである。すなわち、本実施形態は、人物の感情の種類を判定する付属情報としての音声データの代わりに、表情認識やジェスチャ認識を用いて感情の種類を判定するものである。
予め、表情認識のため、個人別に喜怒哀楽の表情をした画像とその表情に対応するモードとの対応表を各自の携帯TV電話端末に登録しておく。また、ジェスチャ認識のため、例えば、指を1本立てた場合はこのモード、指を2本立てた場合はこのモード・・・という具合に各自が決めたジェスチャとモードとの対応表を各自の携帯TV電話端末に登録しておく。
本実施形態もTV電話あるいは携帯TV電話に係るものであるが、本実施形態は画像合成処理をTV電話の中継局側で行なうものである。本実施形態における携帯TV電話システムの概略を図7に示す。予め、携帯TV電話の端末60、70を通して通信業者の中継局80のデータベース84に、利用者毎の顔画像データ(感情の種類に対応するモードを判定するための各モードごとの表情)や音声データ(各モードを引き出すためのキーワード)および各モードにおける画像合成パターンを登録しておく。
中継局80の処理部82では、常に、AおよびBの撮影画像から顔抽出を行い、登録された表情とのマッチングが行なわれるとともに、通話音声中に登録されたキーワードが出てこないかチェックが行なわれる。
また、画像合成処理は、送信する場合に限らず、受信した音声・画像データに対して合成処理を適用するようにしてもよい。例えば、図7において、B氏からの受信画像に対する合成処理をA氏の端末で行なってもよい。この場合、受け手であるA氏の好みのパターンを付けることで娯楽性が向上する。
本実施形態は、リアルタイムで画像合成処理を行なっている場合に、合成パターンに位置ずれが生じた場合に、それを修正するものである。
合成パターンの位置ずれの原因は、ほとんど顔抽出の失敗にあるため、表示画面で、合成パターンの位置ずれを発見したときには、電子ペン等により撮影画像中の顔を指定する。このとき、電子ペンで顔の輪郭をぐるっと囲んでもよいし、両目を線で結んでもよい。さらに、口の位置等を指定するようにしてもよい。あるいは、キー操作により、合成パターンを平行移動すべき位置およびサイズの調整量等を指定するようにしてもよい。
本発明の第2および第3の態様の画像処理方法は、基本的に以上のように構成される。
本発明の第4の態様の画像処理方法は、基本的に、予め、撮影画像中の特定エリア内のエリア画像または画像特徴量を登録しておき、予め登録されたエリア画像または画像特徴量を用いて、撮影画像中の該当エリアに合成する、または濃度および色味の調整を行うものである。
また、本発明の第4の態様が適用される対象は、本発明の第2および第3の態様と同様に、写真(静止画)のみならずビデオ(動画)やTV電話等のリアルタイムでの画像表示等、広い範囲に及ぶのは言うまでもないことである。
本第1実施形態は、デジタルカメラ等で撮影された撮影画像に対して、予め登録された登録パターンを用いて、所定の画像処理を行うものである。
図8は、本発明の第4の態様の第1実施形態に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの概略を示すブロック図である。図8に示すデジタルフォトプリンタ90は、主に、撮影画像取得手段92、画像処理装置94、データベース96および画像記録装置16とを有する。なお、画像記録装置16、操作系18およびモニタ20は、基本的に、図4に示すデジタルフォトプリンタ50と同様のものを用いることができる。
まず、ステップ300において、予め、最も気に入った状況で顔を、例えば、デジタルカメラ等の撮影装置で撮影し、撮影画像取得手段92によって、この顔の撮影画像を登録用撮影画像として取得する。
ステップ320において、顔の撮影画像中の抽出された顔領域または顔の撮影画像全体を基準顔画像としてデータベース96に登録する。こうして、予め行う前処理が終了する。
また、基準顔画像において、顔画像の構成要素の部位毎に基準パターンとして登録しても良い。すなわち、ステップ310の抽出工程で、修正や合成に利用したいエリアを自動的に抽出して、あるいはマニュアルで指定して、抽出または指定されたエリアを基準パターンとして登録しても良い。基準パターンとしては、例えば、目、眉、頬、唇、鼻、耳、髪、髭等の顔の構成要素の各部位や、イヤリングや、帽子(バンダナや鉢巻等も含む)や、眼鏡 (サングラスも含む)の装飾品等をも挙げることができる。
なお、この場合、顔抽出アルゴリズムを適用して、指定されたエリアが顔のどの部位を示すかを自動認識できるようになっていると一層望ましい。顔抽出精度が低い場合には、逐一、各部位を指定しながら、エリア設定を行うものとするのが良い。
例えば、まず、顔の輪郭を抽出し、次に各部位のエリアの絞込みを行い、最後に形状パターンマッチングにより、各部位のエリアを確定することができる。
なお、顔抽出の精度が低い場合には、デジタルカメラ等の撮影装置で撮影を開始する時に、顔枠等のガイドをファインダーや表示装置に表示して、表示されたガイド内の位置に被写体人物の顔が来る(収まる)ように、被写体人物の姿勢を取らせるのが良い。こうしておくことにより、形状パターンマッチングによる顔画像の抽出が容易となるし、撮影コマが異なっていても、一旦、顔をキャッチすれば、撮影コマ間の局所マッチングによって、被写体の顔を追跡することができる。
ところで、ステップ340とステップ350とは、どちらをを先にやっても良いし、両者を同じにやっても良い。
例えば、頬や唇は、当該部位の基準パターンの色味に修正する。特に、唇は、動くために、色味で唇と肌のエリアを画素レベルで分離した後、唇の色味のみを修正するのがよい。
また、髪、眉、頬、耳(耳たぶ)は、基準パターンを上書き合成するのが好ましい。この場合には、合成エリアの周辺部には、平滑化をかけて境界をぼかすのが好ましい。
ところで、この他、被写体人物の衣服部分(顔の下に設定されるエリア)や背景(顔エリア以外の領域)に装飾パターンをちりばめるようにしても良い。こうすることにより、普段着や寝巻き(パジャマ)や部屋等の目隠しをすることができ、相手に不愉快な感情を与えることがない。
本第2実施形態も、第1実施態様と同様に、デジタルカメラ等で撮影された撮影画像に対して、予め登録された登録パターンを用いて所定の画像処理を行うものであるが、予め登録された登録パターンが撮影方向と被写体人物の視線が一致した画像(カメラ視線画像または視線一致画像)である点で異なるものであるので、同様に図8および図9を参照して、本第2実施形態を以下に説明する。
次に、ステップ310で、画像処理装置94において、顔抽出アルゴリズムを適用して、撮影画像取得手段92によって取得された登録用撮影画像から、基準パターンとして眼のエリアを抽出し、ステップ320において、抽出された眼のエリアを基準パターンとしてデータベース96に登録する。こうして、予め行う前処理が終了する。
次いで、ステップ340で、例えばこのような電話の通信時には、画像処理装置94において、撮影画像取得手段92によって取得された撮影画像に対し、顔抽出アルゴリズムを適用して、撮影画像中から被写体人物の両眼のエリアを抽出する。
ステップ350において、画像処理装置94によってデータベース96から登録済基準パターン選択して呼び出す。なお、ステップ340とステップ350とは、どちらをを先にやっても良いし、両者を同じにやっても良い。
なお、この出力画像は、画像記録装置16から写真プリントとして出力しても良いし、モニタ20に表示しても良いし、上述のように、TV電話や携帯電話端末に出力し、そこから相手のTV電話や携帯電話端末に送信して、その表示画面に表示しても良いし、直接相手側に送信して、その表示画面に表示しても良い。
こうすることにより、視線の不一致による違和感を解消することができる。
また、本態様において、TV電話や携帯電話端末等を家族で使う場合、上述した第1の態様のように、家族の人物別に基準顔画像や基準パターンを登録しておくのが好ましい。
本発明の第4の態様の画像処理方法は、基本的に以上のように構成される。
12 スキャナ
14 (画像)処理装置
16 画像記録装置
18 操作系
18a キーボード
18b マウス
20 モニタ
22 光源
24 可変絞り
26 拡散ボックス
28 キャリア
30 結像レンズユニット
32 イメージセンサ
34 A/D変換器
50 デジタルフォトプリンタ(プリンタ)
52 撮影情報入力手段
54 画像処理装置
60、70 携帯TV電話端末
62、72 画像センサ
64、74 表示画面
66、76 表示枠
80 中継局
82 処理部
84 データベース
Claims (3)
- 予め、人物の視線が撮影方向に一致する基準画像を取得し、前記基準画像の人物の眼のエリア内のエリア画像を抽出して登録しておき、
前記人物の撮影画像を取得し、前記撮影画像の人物が、予め撮影しておいた前記人物の記録画像における該人物の姿勢と同じ状態にあるかどうかを判定し、前記同じ状態にある時、前記撮影画像の人物の眼のエリア内に、前記基準画像の人物の眼のエリア内のエリア画像を合成することを特徴とする画像処理方法。 - 前記撮影画像の人物の眼のエリアを、前記基準画像の人物の眼のエリア内のエリア画像に応じて前記撮影画像中から抽出する請求項1に記載の画像処理方法。
- さらに、前記基準画像の人物の眼のエリア内のエリア画像から、平均濃度、大面積透過濃度、ハイライトおよびシャドーを含む画像特徴量を算出して登録しておき、
前記撮影画像の人物の眼のエリアを、前記基準画像の人物の眼のエリア内の画像特徴量に応じて前記撮影画像中から抽出する請求項1に記載の画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007036869A JP4795988B2 (ja) | 2000-04-13 | 2007-02-16 | 画像処理方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000112134 | 2000-04-13 | ||
JP2000179580 | 2000-06-15 | ||
JP2007036869A JP4795988B2 (ja) | 2000-04-13 | 2007-02-16 | 画像処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001111361A Division JP4291963B2 (ja) | 2000-04-13 | 2001-04-10 | 画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007157176A JP2007157176A (ja) | 2007-06-21 |
JP4795988B2 true JP4795988B2 (ja) | 2011-10-19 |
Family
ID=38241366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007036869A Expired - Lifetime JP4795988B2 (ja) | 2000-04-13 | 2007-02-16 | 画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4795988B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010147808A (ja) | 2008-12-18 | 2010-07-01 | Olympus Imaging Corp | 撮像装置および撮像装置における画像処理方法 |
JP2010183317A (ja) | 2009-02-05 | 2010-08-19 | Olympus Imaging Corp | 撮像装置、画像合成表示装置、画像合成表示方法、およびプログラム |
JP2012114557A (ja) * | 2010-11-22 | 2012-06-14 | Nec Saitama Ltd | 表示装置、表示制御方法、プログラム及び電子機器 |
JP2019111396A (ja) * | 2019-03-22 | 2019-07-11 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3657769B2 (ja) * | 1998-03-19 | 2005-06-08 | 富士写真フイルム株式会社 | 画像処理方法および画像処理装置 |
JP4172663B2 (ja) * | 1998-05-29 | 2008-10-29 | 富士フイルム株式会社 | 画像処理方法 |
JP4377472B2 (ja) * | 1999-03-08 | 2009-12-02 | 株式会社東芝 | 顔画像処理装置 |
-
2007
- 2007-02-16 JP JP2007036869A patent/JP4795988B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2007157176A (ja) | 2007-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4291963B2 (ja) | 画像処理方法 | |
US7577310B2 (en) | Image processing method | |
JP2007193824A (ja) | 画像処理方法 | |
US9691136B2 (en) | Eye beautification under inaccurate localization | |
US8212894B2 (en) | Electronic camera having a face detecting function of a subject | |
US6798921B2 (en) | Method for image designating and modifying process | |
JP4344925B2 (ja) | 画像処理装置、画像処理方法およびプリントシステム | |
US7206445B2 (en) | Method, apparatus and recording medium for image processing | |
US7251054B2 (en) | Method, apparatus and recording medium for image processing | |
AU2004200313A1 (en) | Method and system for enhancing portrait images that are processed in a batch mode | |
JP4795988B2 (ja) | 画像処理方法 | |
JP5748651B2 (ja) | 画像処理装置、画像処理方法、並びにプログラム | |
JP4043708B2 (ja) | 画像処理方法および装置 | |
JP2001218020A (ja) | 画像処理方法 | |
KR100422470B1 (ko) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 | |
KR20010102873A (ko) | 정형 이미지 템플릿을 이용한 실사 아바타 생성 방법 및시스템 | |
JP2004242068A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
JPH09212620A (ja) | 顔画像の製作方法 | |
JP7534706B2 (ja) | プログラム、画像処理装置、および画像処理方法 | |
JP7502711B1 (ja) | プログラム、情報処理方法、情報処理装置 | |
JP6969622B2 (ja) | 撮影遊戯装置およびプログラム | |
JP2024060324A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2024082674A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2024082675A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2024083217A (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080723 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100119 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100302 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100413 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100625 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100722 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20100806 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110728 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4795988 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |