JP4291963B2 - 画像処理方法 - Google Patents
画像処理方法 Download PDFInfo
- Publication number
- JP4291963B2 JP4291963B2 JP2001111361A JP2001111361A JP4291963B2 JP 4291963 B2 JP4291963 B2 JP 4291963B2 JP 2001111361 A JP2001111361 A JP 2001111361A JP 2001111361 A JP2001111361 A JP 2001111361A JP 4291963 B2 JP4291963 B2 JP 4291963B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- face
- person
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Control Of Exposure In Printing And Copying (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
- Projection-Type Copiers In General (AREA)
- Light Sources And Details Of Projection-Printing Devices (AREA)
Description
【発明の属する技術分野】
本発明は、入力された画像データに対して画像処理を施して出力画像データとする画像処理方法に係り、特に個々の顧客の要望に応じた出力画像を作成する画像処理方法、および人物画像を表示する画像表示媒体等に、その人物の感情に応じた情報を付加的に表示する、または感情に応じた画像に置換する、あるいは変更する、もしくは調整する画像処理方法、ならびに人物画像を当該人物の好みの画像もしくは違和感のない画像にする画像処理方法に関する。
【0002】
【従来の技術】
従来、ネガフィルム、リバーサルフィルム等の写真フィルム(以下、フィルムとする。)に撮影された画像の感光材料(印画紙)への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光によって行われている。
【0003】
これに対し、近年では、デジタル露光を利用する焼き付け装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像(潜像)を記録し、プリント(写真)とするデジタルフォトプリンタが実用化されている。
【0004】
デジタルフォトプリンタでは、画像をデジタルの画像データとして、画像データ処理によって焼き付け時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、カラーフェリアや濃度フェリアの補正、アンダー露光やオーバー露光の補正、周辺光量不足の補正、シャープネス(鮮鋭化)処理、濃度ダイナミックレンジの圧縮/伸長処理(画像データ処理による覆い焼き効果の付与)等、従来の直接露光では不可能あるいは困難であった各種の画像処理を、高い自由度で行うことができ、直接露光に比して非常に高品位なプリントを得る事ができる。しかも、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行う事ができ、用途に応じて自由に編集/処理したプリントも出力可能である。
【0005】
また、デジタルフォトプリンタによれば、画像をプリントとして出力するのみならず、画像データをコンピュータ等に供給したり、フロッピーディスク等の記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することもできる。
このように、デジタルフォトプリンタによれば、画像データ処理によって、より自由度の高い画像処理を施すことが可能であり、より商品価値の高いプリントを出力することができる。
【0006】
ところで、プリントに再生される画像は、できる限り顧客(プリント作成依頼者)の要望を反映したものであることが好ましい。この点に関して本出願人は、特開平11−331570号公報において、顧客に好適に対応した仕上がり画像を再生する画像処理方法を提案している。
すなわち、これは、画像供給源から供給された画像データに関する顧客の情報を取得し、この顧客の情報に応じて画像処理条件を設定し、この画像処理条件に基づいて画像処理を行うことにより、顧客に好適に対応した再生画像を得るものである。
【0007】
ここで、顧客の情報とは、顧客の職業、顧客の性別、顧客の年齢等である。また、顧客の情報を取得する方法としては、顧客からプリントの注文を受け付ける際、顧客から聴取し、これをオペレータに伝達してオペレータがマウス等の操作手段を用いて入力する方法や、顧客カードに顧客情報を記載しておき、プリント作成時にオペレータが顧客カードを見て顧客情報を入力する方法、あるいは顧客情報をデータベース化しておき、データベースから顧客情報を取得する方法等が例示されている。
【0008】
また、顧客に好適に対応した画像処理の例としては、例えば、フィルムがリバーサルで職業がプロカメラマンの場合には、フィルムに撮影された画像を忠実に再現するようにし、プロカメラマンでない場合には、通常に画像の色・濃度調整を行い、オーバー(露光過剰)やアンダー(露光不足)、逆光等の撮影の失敗を救済するようにする。また、男性の場合には、顔領域を抽出して、階調を立てるとともにディテールを出すように、シャープネスを強めに掛け、女性の場合には、顔領域を抽出して、階調を寝かせ(柔らかくし)るとともに、しみ、しわ、そばかす等が目立たないようにシャープネスを弱めに掛け、あるいは極弱くソフトフォーカスを掛けるようにする等の処理が例示されている。
【0009】
しかしながら、前記従来の画像処理方法では、顧客の情報をオペレータが入力しなければならず、処理が煩雑であるという問題がある。また、取得した顧客の情報に応じて設定する画像処理条件が一定に決められており、せいぜいその処理を行うか否かの選択しかできず、顧客、あるいはさらにきめ細かく、被写体人物ごとの好みに応じた画像処理条件を設定するという機能はなく、真に顧客あるいは被写体人物の好みを反映させた画像再生が実現できていないという問題があった。
【0010】
ところで、従来、画像形成媒体として、静止画を再現する写真(プリント)、動画として再現する映画(映写機およびスクリーン)があったが、近年ブラウン管(CRT)が発明されて以来、テレビ(TV)は全家庭に普及し、さらに技術の進歩は目覚ましいものがあり、画像形成媒体として、液晶ディスプレイ、プラズマディスプレイ、電子ペーパー等の様々な画像表示手段が開発されている。
そして、最近では、これらの画像形成媒体を利用して、ビデオカメラ、デジタルカメラ、デジタルビデオムービー、携帯TV電話等の、画像とともに音声をも取り込めるような画像形成手段が開発されている。
【0011】
しかしながら、前記従来の画像形成手段は、画像を撮影するとともに音声も録音可能であるが、取り込まれた音声データは単に音としてそのまま再生するのみであった。また、画像も撮影したままをできるだけ忠実に再現することに主眼がおかれており、娯楽性という点に関しては、まったく考慮されていないという問題があった。
【0012】
さらにまた、現在、デジタル画像処理の技術では、デジタル画像データとして取り込まれた撮影画像の濃度や色味等の調整が可能であり、また、撮影画像自体の修正や他の画像との合成や置換等の画像処理も可能であり、種々のデジタル画像処理技術が提案されている。その中で、従来より写真の分野で行われてきた人物の顔や視線の修正や調整を行うデジタル画像処理技術が提案されている。
例えば、特開2000−151985号公報では、人物の顔画像の部位および調整パラメータを設定し、化粧顔に修正する技術が開示されている。しかしながら、色調や階調の調整は、一般人にはなじみがないし、素人には難しい処理である。特に、パーソナルコンピュータ(パソコンまたはPC)に慣れたユーザでない場合にはかなり難しい。場合によっては良い調整結果が得られないばかりか、調整後の画像に違和感が生じる虞も多々あるという問題があった。
【0013】
また、特開平5−205030号公報には、人物の顔画像の3次元モデルからコンピュータグラフィックス(以下、CG略称する)技術によって、正面を見ている眼の画像を作成する技術が開示されている。しかしながら、CG技術によって作成された眼の画像では、違和感が残る可能性があるという問題があった。また、3次元モデルからのCG技術であるため、演算量が膨大になるという問題もあった。
一方、また、このようなデジタル画像処理の内簡単なものは、パソコンでも可能であり、そのための画像処理ソフトも種々市販されている。しかしながら、これらの市販の画像処理ソフトを使って、人物の顔画像を好みの顔に仕上げたり、視線を撮影方向に合わせて、正面に向いているように仕上げるのは、簡単なものでは十分な精度が得られなかったり、素人には操作が困難であったりという問題があった。
【0014】
【発明が解決しようとする課題】
本発明は、前記従来の問題に鑑みてなされたものであり、被写体人物ごとの好みを反映した再生画像を、自動的に得ることのできる画像処理方法を提供することを第1の課題とする。
【0015】
また、本発明は、前記従来の問題に鑑みてなされたものであり、撮影画像、特に人物画像において、その人物の感情の種類に応じて、強調したい内容を視覚化して、画像形成を行うようにして、写真、ビデオ、TV電話等の画像形成媒体における娯楽性を高めることのできる画像処理方法を提供することを第2の課題とする。
【0016】
また、本発明は、前記従来の問題に鑑みてなされたものであり、パーソナルコンピュータや画像処理ソフトの未経験者や未熟練者であっても、容易に、気に入った化粧顔や好みの顔画像に修正することができ、視線の不一致による違和感を解消することができる画像処理方法を提供することを第3の課題とする。
【0017】
【課題を解決するための手段】
上記第1の課題を解決するために、本発明の第1の態様は、撮影被写体の画像を含む撮影画像の画像データに対して、画像処理を施す画像処理方法であって、特定の被写体毎に、この特定の被写体の画像と、この特定の被写体を撮影被写体として含む撮影画像の画像データに対して画像処理を施すときに用いる画像処理条件とを、組にして予め登録し、前記撮影被写体の画像を抽出し、該抽出された撮影被写体の画像を前記登録された特定の被写体の画像と比較することにより、前記撮影被写体が前記特定の被写体か否かを判別し、当該特定の被写体とされた撮影被写体を含む撮影画像の画像データに対して、前記特定の被写体の画像と組をなす画像処理条件を選択し、選択された前記画像処理条件に基づいて、前記選択された画像処理条件による画像処理を画面全体に施すのか、該当する撮影被写体のみあるいはその撮影被写体とその周辺近傍のみに施すのかを設定して、前記撮影画像の画像データに対して、画像処理を行うことを特徴とする画像処理方法を提供するものである。
【0018】
ここで、前記判別を、予め登録された特定の被写体の顔画像、または撮影コマに付属する人物指定情報を用いて行うことが好ましい。
【0019】
また、前記特定の被写体毎に予め登録される画像処理条件は、該特定の被写体毎に複数種類設定される画像処理内容を含むことが好ましい。
【0020】
また、前記設定された複数種類の画像処理内容の中から少なくとも1つの画像処理内容を選択することが好ましい。
【0022】
上記第2の課題を解決するために、本発明の第2の態様は、撮影画像中から抽出された人物の表情、または該抽出された人物のジェスチャ、あるいは前記撮影画像に付属する音声データ、のうちいずれか一つ以上の情報に基づいて、予め登録された感情の種類を判定し、予め設定された画像処理パターンのうち前記判定された感情の種類に対応する画像処理パターンを適用した画像処理を、前記撮影画像に対して行うことを特徴とする画像処理方法を提供するものである。
【0023】
ここで 前記画像処理パターンは、前記感情の種類に対応して設定され、前記画像処理パターンを適用した画像処理は、前記感情の種類に対応した所定のマークの合成処理、前記感情の種類に対応したアニメーション画像またはコンピュータグラフィックス画像への置換処理、前記感情の種類に対応した、前記撮影画像に対する画像変形処理、および前記感情の種類に対応した、前記撮影画像の濃度および色の変更処理の少なくと1つの処理であるのが好ましい。
【0024】
また、前記合成処理は、前記撮影画像中の所定位置に、または予めもしくはこの時に前記撮影画像中から抽出された人物に対して所定の位置に、もしくは予めもしくはこの時に前記撮影画像中から抽出された人物に対して相対的な位置に、かつ、前記撮影画像または前記抽出された人物に対して、所定のサイズおよび所定の向きで、あるいは相対的なサイズおよび相対的な向きで、前記所定のマークを合成する処理であるのが好ましい。
また、前記置換処理は、予めもしくはこの時に前記撮影画像中から前記抽出された人物の所定の部位を前記もしくは前記アニメーション画像またはコンピュータグラフィックス画像に置き換える処理であるのが好ましい。
【0025】
前記画像処理パターンは前記感情の種類に対応して設定され、前記画像処理パターンを適用した画像処理は、必要に応じて前記撮影画像中から人物を抽出し、該抽出された人物に対する所定の相対的な位置への、相対的なサイズおよび相対的な向きでの、前記感情の種類に対応した所定のマークの合成、または前記抽出された人物に対する所定の位置への、所定のサイズおよび所定の向きでの、前記感情の種類に対応した所定のマークの合成、あるいは、前記撮影画像に対する画像変形、または、濃度および色の変更のいずれか一つ以上の処理であることが好ましい。
【0026】
また、前記撮影画像は、録音機能付き画像撮像装置の撮影画像であり、前記画像処理パターンを前記録音機能付き画像撮像装置に予め登録しておき、前記画像処理パターンを適用した画像処理を前記録音機能付き画像撮像装置で行うことが好ましい。
【0027】
また、前記画像処理パターンを適用した画像処理を、前記録音機能付き画像撮像装置による前記録音された音声データを含む画像撮影情報を受け取ったラボ側で行うことが好ましい。
【0028】
また、前記撮影画像は、撮影機能付き通話装置の撮影画像であり、前記撮影画像に対して、前記人物の感情の種類に対応する前記画像処理パターンを適用した画像処理を行うことが好ましい。
【0029】
また、前記画像処理パターンを前記撮影機能付き通話装置に予め登録しておき、前記画像処理を前記撮影機能付き通話装置で行い、処理画像を通話相手側の端末に送信することが好ましい。
【0030】
また、前記画像処理パターンを前記撮影機能付き通話装置の中継局に予め登録しておき、前記画像処理を前記中継局で行い、処理画像を通話中の一方の端末に送信することが好ましい。
【0031】
また、前記画像処理パターンを前記撮影機能付き通話装置に予め登録しておき、前記撮影機能付き通話装置が受信した、通信相手側端末による撮影画像に対して、前記画像処理パターンを適用した画像処理を前記撮影機能付き通話装置で行なうことが好ましい。
【0032】
また、前記画像処理パターンを適用した画像処理において、前記感情の種類に対応した所定のマークまたはその合成位置を間違えた場合に、前記感情の種類、マークの合成位置、マークのサイズまたは向きの修正を可能としたことが好ましい。
【0033】
また、上記第2の課題を解決するために、本発明の第3の態様は、テレビ画像をパーソナルコンピュータに取り込み、該パーソナルコンピュータにおいて、前記取り込んだテレビ画像に対して、予め設定された画像処理パターンを適用した画像処理を行なうことを特徴とする画像処理方法を提供するものである。
【0034】
また、上記第3の課題を解決するために、本発明の第4の態様は、予め画像の特定エリア内のエリア画像または画像特徴量を登録しておき、前記予め登録されたエリア画像または画像特徴量を用いて、撮影画像中の該当エリアに合成する、または濃度および色味の調整を行うことを特徴とする画像処理方法を提供するものである。
ここで、前記該当エリアは、前記予め登録されたエリア画像または画像特徴量に応じて撮影画像中から抽出されるのが好ましい。
また、前記特定エリアは、人物の顔、人物の顔を構成する少なくとも1つの部位、人物が身に付ける装飾品および背景の少なくとも1つであるのが好ましい。
【0035】
また、前記特定エリアは、人物の顔であり、前記予め登録されたエリア画像は、前記人物の化粧顔または前記人物の最良の顔画像であるのが好ましい。
また、前記特定エリアは、人物の顔を構成する眼のエリアであり、前記撮影画像中の被写体である人物が定常状態にあるかどうかを判定し、前記定常状態にある時、前記人物の顔を構成する前記眼のエリアに前記予め登録された前記特定エリアの前記エリア画像を合成するのが好ましい。
また、前記予め登録されたエリア画像は、前記人物の視線が撮影方向に一致する前記眼のエリアの画像であるのが好ましい。
【0036】
【発明の実施の形態】
本発明に係る画像処理方法を添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
まず、図1〜図3を参照して、本発明の第1の態様に係る画像処理方法を説明する。
【0037】
図1は、本発明の第1の態様に係る、個々の顧客ごとの好みを反映した再生画像を自動的に得る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの一実施例の概略を示すブロック図である。
図1に示すデジタルフォトプリンタ(以下、フォトプリンタという)10は、フィルムFに撮影された画像を光電的に読み取るスキャナ(画像読取装置)12と、このスキャナ12で読み取られた画像データの電子変倍処理や、画像データのエッジ検出やシャープネス強調(鮮鋭度強調)、平滑化処理(粒状抑制)などの画像処理やフォトプリンタ10全体の操作および制御等を行う画像処理装置14と、この画像処理装置14から出力された画像データに応じて変調した光ビームで感光材料(印画紙)を画像露光し、現像処理して(仕上がり)画像をプリントとして出力する画像記録装置16と、を有する。
また、画像処理装置14には、様々な条件の入力、設定、処理の選択や指示、色/濃度補正などの指示等を入力するためのキーボード18aおよびマウス18bを有する操作系18と、スキャナ12で読み取られた画像、各種の操作指示、様々な条件の設定/登録画面等を表示するモニタ20が接続される。
【0038】
スキャナ12は、フィルムF等に撮影された画像を1コマずつ光電的に読み取る装置で、光源22と、可変絞り24と、フィルムFに入射する読取光をフィルムFの面方向で均一にする拡散ボックス26と、フィルムFのキャリア28と、結像レンズユニット30と、R(赤)、G(緑)およびB(青)の各色画像濃度の読取に対応する3ラインCCDセンサを有するイメージセンサ32と、アンプ(増幅器)33と、A/D(アナログ/デジタル)変換器34とを有する。
【0039】
フォトプリンタ10においては、スキャナ12の本体に装着自在な専用のキャリア28が、新写真システム(Advanced Photo System)や135サイズのネガ(あるいはリバーサル)フィルム等のフィルムFの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて用意されており、キャリア28の交換によって、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像(コマ)は、このキャリア28によって所定の読取位置に搬送される。
また、周知のように、新写真システムのフィルムには、磁気記録媒体が形成され、カートリッジIDやフィルムサイズや、ISO感度等が記録されており、また、撮影時や現像時等に、撮影や現像日時、露出レベル、カメラや現像機の機種等の各種のデータが記録可能である。新写真システムのフィルム(カートリッジ)に対応するキャリア28には、この磁気情報の読取手段が配置されており、フィルムを読取位置に搬送する際に磁気情報を読み取り、これらの各種の情報が画像処理装置14に送られる。
【0040】
このようなスキャナ12において、フィルムFに撮影された画像を読み取る際には、光源22から射出され、可変絞り24および拡散ボックス26によって光量調整された均一な読取光が、キャリア28によって所定の読取位置に位置されたフィルムFに入射して、透過することにより、フィルムFに撮影された画像を担持する投影光を得る。
なお、カラー画像信号は、このようにフィルムを透過した光を読み取ることによって入力されるものには限定されず、反射原稿でもよいし、あるいはデジタルカメラによって撮影された画像を用いてもよい。すなわち、フィルムの画像を読み取るスキャナ12以外にも、デジタルカメラやデジタルビデオカメラ等の撮像手段、反射原稿の画像を読み取る画像読取装置、LAN(Local Aera Network)やコンピュータ通信ネットワーク等の通信手段、スマートメディアなどのメモリカードやMO(光磁気記録媒体)等のメディア(記録媒体)等の画像供給源Rから画像(デジタルの画像信号)を画像処理装置14に入力することもできる。
【0041】
図示例のキャリア28は、24枚撮りの135サイズのフィルムや新写真システムのカートリッジ等の、長尺なフィルムF(ストリップス)に対応するものである。
フィルムFは、このキャリア28によって読取位置に位置されて、RGBの3ラインCCDセンサの延在方向である主走査方向と直交する副走査方向に搬送されつつ、読取光を入射される。これにより、結果的に、フィルムFが2次元的にスリット走査され、フィルムFに撮影された各コマの画像が読み取られる。
【0042】
フィルムFの投影光は、結像レンズユニット30によってイメージセンサ32の受光面に結像される。
イメージセンサ32から出力されたR、GおよびBの各出力信号は、アンプ33で増幅されて、A/D変換器34に送られ、A/D変換器34において、それぞれ、例えば12bitのRGBデジタル画像データに変換された後、画像処理装置14に出力される。
【0043】
なお、スキャナ12においては、フィルムFに撮影された画像を読み取るに際し、低解像度で読み取るプレスキャン(第1回目の画像読取)と、出力画像の画像データを得るためのファインスキャン(第2回目の画像読取)との2回の画像読取を行う。
ここで、プレスキャンは、スキャナ12が対象とするフィルムFの全ての画像を、イメージセンサ32が飽和することなく読み取れるように、予め設定されたプレスキャン読取条件で行われる。
一方、ファインスキャンは、プレスキャンデータから、その画像(コマ)の最低濃度よりも若干低い濃度でイメージセンサ32が飽和するように、各コマ毎に設定されたファインスキャンの読取条件で行われる。なお、プレスキャンおよびファインスキャン出力画像信号は、解像度および出力画像信号レベルが異なる以外は、基本的に同様な画像データである。
【0044】
なお、フォトプリンタ10に用いられるスキャナ12は、このようなスリット走査読取を行うものに限定されず、1コマのフィルム画像の全面を一度に読み取る面状読取を行うものであってもよい。
この場合には、例えばエリアCCDセンサなどのエリアセンサを用い、光源22とフィルムFとの間にR、GおよびBの各色フィルタの挿入手段を設け、光源22からの射出光の光路に挿入して、色フィルタを透過した読取光をフィルムF全面に照射して、透過光をエリアCCDセンサに結像させてフィルム全画像を読み取ることを、R、GおよびBの各色フィルタを切り換えて順次行うことで、フィルムFに撮影された画像を3原色に分解して読み取る。
【0045】
前述したように、スキャナ12から出力されるデジタル画像データ信号は、本態様に係る画像処理方法を実施する画像処理装置14に出力される。
スキャナ12から画像処理装置14に入力されたR、GおよびBの画像信号に対して、まずCCDセンサに起因するRGBデジタル画像データの画素毎の感度ばらつきや暗電流を補正するために、DCオフセット補正、暗時補正、欠陥画素補正、シェーディング補正等の読取画像データのデータ補正が行われる。その後画像データは、対数変換処理、階調変換されデジタル画像濃度データに変換される。
【0046】
デジタル画像濃度データは、プレスキャン画像データ、ファインスキャン画像データそれぞれ別々に記憶(格納)される。プレスキャン画像データは、所定の画像処理を施されモニタ20に表示される。また、プレスキャン画像データから、濃度ヒストグラムの作成や、平均濃度、LATD(大面積透過濃度)、ハイライト(最低濃度)、シャドー(最高濃度)等の画像特徴量の算出が行われ、ファインスキャンの読取条件および画像処理条件が設定されるが、本態様では、後で詳述するように個々の顧客毎の好みを反映させるように画像処理条件が設定される。ファインスキャン画像データは、設定された画像処理条件により、画像処理が施され、カラープリントとして所望の濃度、階調および色調で、カラーペーパー上に、最適、高品質な画像として画像記録装置16より出力される。
本発明の第1の態様に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタは、基本的に以上のように構成される。
【0047】
以下、本発明の第1の態様の第1実施形態の作用を説明する。
画像処理装置14において、前述したように、プレスキャン画像データに基づいて設定された画像読み取り条件によって読み込まれたファインスキャン画像データに対して、画像データの濃度、色および階調の変換、彩度の変換、電子変倍等の処理とともに、顧客ごとの好みに応じた画像処理を実行する。
【0048】
以下、顧客毎の好みを反映した画像処理について説明する。
まず、その前提として、画像中の人物が特定の人物であるか否か人物同定し、その特定の人物毎の好みに応じた画像処理を実行するために、個人識別情報および各個人の希望する画像処理条件(リクエスト処理情報)等のデータを、予めラボに登録しておく。
図2に登録データの一例を示す。図2に示す例は、ある家族の全員のデータを登録する場合である。
【0049】
登録データの内容としては、例えば、登録顧客ID、登録する者の代表者名、そして各家族の個人データ、すなわち、家族構成、各個人の顔画像および各自の希望する画像処理内容(リクエスト処理)等である。
顔画像データは、例えば注文済撮影シーン中の顔エリアを指定して取り込むようにしてもよい。また、個人同定の精度を上げるために、一人あたり複数パターンを設定登録するようにしてもよい。
【0050】
また、リクエスト処理の例としては、顔の濃度・色味の調整、髪・目・口紅等の指定色への変換、歯の美白仕上げ、特殊効果、細身仕上げ、画像合成、等が挙げられる。
ここで、顔の濃度・色味の調整としては、肌を美白にするモード、しわ消し、日焼けモード等が考えられる。特殊効果としては、クロスフィルタの使用、ソフトフォーカス仕上げ等がある。画像合成としては、縁飾り、特定キャラクタの合成、特別なメイクの化粧等がある。
これらのリクエスト処理は、人物毎に複数種類設定し、複数種類設定された中からいくつか選択したものを組み合わせて、その特定の人物の画像処理に適用するようにしてもよい。
さらに、処理内容によっては、当該処理を画面全体に施すのか、該当する人物のみあるいはその人物とその周辺近傍のみに施すのか等の条件を設定する。
【0051】
以下、図3のフローチャートを参照して、顧客ごとの好みを反映した画像処理について説明する。
ステップ110において、人物の顔領域の抽出を行う。顔領域の抽出方法も特に限定はなく、色々な方法があり、公知の特定箇所抽出方法(抽出アルゴリズム)を用いればよい。
このような特定箇所抽出方法としては、例えば、特開平9−138470号公報に開示される、特定色を抽出する方法、特定形状パターンを抽出する方法、背景に相当すると推定される領域を除去する方法等、複数の異なる特定箇所(主要部)抽出方法をあらかじめ評価して重みを定め、各抽出方法で特定箇所を抽出して、抽出された特定箇所を定めた重みで重み付けし、その結果に応じて主要部を判定、抽出する方法が例示される。
【0052】
また、別の特定箇所抽出方法としては、特開平9−138471号公報に開示される、画像中の複数点の濃度または輝度を測定してその変化量を求め、変化量が所定値以上の点を基準点として設定した後に、基準点から所定範囲内で濃度等の変化量等を用いて検索範囲および検索方向パターンを設定し、検索範囲内で検索方向パターンが示す方向における濃度等の変化量が所定値以上の箇所を検索して、次いでこの箇所を基準として検索を行うことを繰り返し、検索・設定した基準点を結んで特定箇所を抽出する方法が例示される。
【0053】
本態様においては、これ以外にも、特開平4−346333号、同5−158164号、同5−165120号、同6−160993号、同8−122944号、同8−184925号、同9−101579号、同9−146194号、同9−197575号等の各公報に開示される特定箇所抽出方法も好適に利用可能である。
【0054】
顔が抽出されたら、次に、ステップ120において、人物の同定を行い、画像中の人物を特定する。
抽出した顔画像に対して、サイズを正規化した後、登録されている顔画像をテンプレートとして、マッチングを行い、その一致度を求め、人物の同定を行う。このとき、画像に付属するコメント関連情報として、その画像中の人物を示す情報がある場合には、その情報を人物同定に利用してもよい。
人物同定の結果、人物が特定できたら、ステップ130において、その特定の人物に対して、登録されている当該人物のリクエスト処理を実施する。
【0055】
このように本実施形態によれば、個々の顧客毎の好みに応じた仕上げの画像を自動的に得ることができる。例えば、父親であれば、日焼け顔になるように処理され、母親であれば、ソフトフォーカスおよびしわ消し処理が施され、A子であれば、色白、細身仕上げがなされ、それぞれ自分の希望通りの仕上げ画像を得ることができる。
【0056】
次に、本発明の第1の態様の第2実施形態について説明する。
第二実施形態は、顧客が、デジタルカメラやパーソナルコンピュータ(以下、パソコンという)あるいはフォトプレーヤ等で画像の再生処理をする場合に、第一実施形態で述べたような処理を実行するものである。すなわち、顧客がラボに注文をする前に、撮影済の画像をこれらの機器に表示して画像の修正を行うものである。デジタルカメラやフォトプレーヤに修正機能を持たせたり、あるいは、パソコンと接続することにより修正を行うことができる。
【0057】
また、表示画像の修正をする場合、第1実施形態と同様の処理を行う画像処理ソフトを用いて自動的に修正を行うこともできるが、表示画像を見ながら、顧客が人物の同定および人物検出結果を手動で修正するようにしてもよい。また、修正結果の画像は、家庭用のビデオプリンタでプリントしてもよいし、該当コマの修正データをそのコマの付属情報として記録して、ラボに注文するようにしてもよい。例えば、APSで撮影された画像をフォトプレーヤに表示して、修正を行い、ネガフィルムでラボに注文する場合には、フォトプレーヤに磁気記録機能をもたせ、付属情報をネガフィルムに磁気記録すればよい。また、パソコンで通信回線を用いてラボに注文する場合には、付属情報をファイルに記録するようにすればよい。
【0058】
次に本発明の第1の態様の第3実施形態について説明する。
本実施形態は、人物同定において、第1実施形態で説明したように、顔を抽出し、登録された顔画像との間でテンプレートマッチングを行う際、髪形や衣服等を人物指定情報として、個人認識用の特徴量に追加することにより、人物同定の精度を向上させようというものである。ここで、個人認識用の特徴量としては、濃度、色味の分布、テクスチャパターン等が考えられる。
【0059】
本実施形態では、まず、最初は、第1実施形態と同様に、入力画像から顔領域を抽出し、登録されている顔画像をテンプレートとしてマッチングを行い、その一致度を求め、人物の同定を行う。人物同定により、画像中の人物が特定されたら、その入力画像からその人物の髪形や衣服等を抽出し、人物指定情報として、その人物に対応する登録データとして登録する。
次の入力画像に対する処理においては、抽出顔画像のテンプレートマッチングによる他、先に登録された髪形、衣服等をも参照して、人物同定を行う。人物同定により、人物が特定されたら、その入力画像から新たに髪形、衣服を登録し、人物指定情報として自動的に集積する。
【0060】
例えば、衣服エリアの色味に関して、今までの集計データが次の表1のようになっているものとする。この表1は、衣服エリアの色味を分類し、その人物における出現頻度をpijで示したものである。
Jは、色味分類数であり、衣服が複数色から構成される場合は、面積比を用いる。例えば、半分が赤で、半分が白の場合は、赤=0.5、白=0.5を蓄積データに登録する。
【0061】
ここで、顔画像のパターンマッチングによる類似度を点数化したものをMi、衣服の出現頻度から導出する点数をNiとする。それぞれ類似度が大である程、点数も大となる。表1において、iは、登録人物を示す番号である。例えば、A子は、i=3である。対象とする被写体人物の衣服エリアの色味が分類番号jに相当する場合、Ni=pij/(p1j+p2j+p3j)とする。
人物判定ポイントDi=a×Mi+b×Ni(a、bは、重み係数)
により、最大ポイントとなった番号iの人物が画像中の人物であると判定する。例えば、顔画像のマッチングでは、M1<M2≒M3となり母とA子が略同点だったとする。ここで、服の色味が赤だった場合、赤い服で写った回数は、父0、母3、A子10であるから、点数DiはA子が最大となる。従って、画像中の人物はA子であると判定する。
【0062】
人物同定に間違いがあった場合には、間違いを発見したオペレータ、あるいは顧客から通知を受けたオペレータが、マニュアルで修正を行い、正しい画像中の人物に関する処理を行うとともに、人物指定情報の集積処理を訂正する。
また、このとき人物同定のための判別アルゴリズム用のパラメータが自動的に修正される。
また、第2実施形態におけるように、顧客が自分のパソコンに画像処理ソフトをダウンロードして自分で画像の修正を行っている場合には、人物同定の間違いを発見した顧客自身が処理の訂正を行うようにしてもよい。
【0063】
本実施形態によれば、単に登録された顔画像とのテンプレートマッチングを行うのみでなく、髪型や衣服等の人物指定情報をも個人認識用の特徴量に加え、さらに人物指定情報の集積処理に学習機能的要素を加味して集積データの訂正を行うようにしたため、人物同定の精度を高めることができ、各自の好みに応じた画像処理をより適切に行うことが可能となる。
【0064】
以上説明したものは、個々の顧客ごとの好みに応じた画像処理を画像中の各人物ごとに加えることにより個々の顧客ごとの好みを反映させたプリント(出力画像)を得るものであったが、個々の顧客ごとの好みに対応する他、顧客の地域性あるいは季節等による好みの傾向を反映させたプリントを出力することが望まれる場合もある。
【0065】
例えば、写真プリンタにおいて写真プリントを日本人好みの肌色に仕上げよるように露光制御アルゴリズムが設定されていた場合、同じ機種のプリンタを同じ露光制御アルゴリズムのままで欧州で使用すると、欧州人にとっては好みの色とならないことがある。また、日本での太陽光による撮影を基準に露光制御アルゴリズムが設定されていた場合、日本と緯度が大幅に異なる地域で同じ機種の写真プリンタを同じ露光制御アルゴリズムで使用すると、この地域では日本と太陽光も異なるので、日本と同じ品質のプリントを得ることができない。
【0066】
そこで、本出願人は、すでに、アナログ露光方式の場合については、地域的な人の好みや顧客個人の好みがプリントに適正に反映されるような露光制御方法を特開平6−308632号公報、あるいは、特開平8−137033号公報において提案している。
しかし、デジタル画像処理の場合についても、以下述べるように、地域性や顧客の好みの傾向を反映させたプリント(出力画像)を得ることができる。
【0067】
すなわち、以下述べる例は、顧客またはラボあるいは地域毎による画像処理条件設定の修正傾向を蓄積し、画像処理の設定パラメータを修正・最適化するデジタル画像処理方法である。また、このとき各コマをシーン分類し、シーン分類毎に修正傾向の蓄積および設定パラメータの修正・最適化を行うものである。
例えば、オペレータが画像処理を行う際、シーン分類した上で、ある地域について、オペレータの補正傾向がコントラストを強調するのが好まれるとか、コントラストを抑え目にするのが好まれるとかという傾向が分かれる場合には、その地域については、補正のパラメータをその傾向に合わせて直すようにする。
【0068】
具体的に処理方法を説明すると、まず、オペレータによる処理パラメータの変更を過去Nコマ分蓄積し、特定のシーン分類との関連性を調べる。このとき、シーン分類の方法としては、以下のような方法が挙げられる。
例えば、濃度ヒストグラムまたは画像の中央部および周辺部の濃度差の関係から、その分布パターンにより、通常シーン、オーバー露光あるいはアンダー露光等を推定し、ストロボシーンあるいは逆光シーン等と推定する。
あるいは、顔抽出をすることにより、人物かまたは風景か等のシーン推定を行う。あるいは、オペレータ自身がマニュアルで人物、風景、夜景、アンダーまたはハイコントラスト等のシーンの分類を推定する方法等がある。
【0069】
また、処理パラメータの変更例としては、例えば、コントラスト強調や解像度(シャープネス)のかけ方とか、あるいは、人物肌色の色味や濃度の目標値を変えてやる等がある。これは、人物、好ましい肌色というのが地域によって違うと考えられるため、その地域による違いを考慮したものである。東洋人を基準にした肌色よりも欧州では、人の顔は、より濃度を薄くする方が好まれ、オペレータが濃度を引く傾向があるため、蓄積データから判定して、顔抽出後、デフォルト値より濃度が薄目になるようアルゴリズムが自動で更新されるようにする。
【0070】
上述したようにオペレータによる処理パラメータの変更を過去Nコマ分類し、特定のシーン分類との関連性を調べ、その後、所定のシーン分類において、各画像処理パラメータについて統計的なマニュアル補正傾向を反映させて、一定周期でアルゴリズムを更新し、画像処理パラメータを最適化する。
なお、このとき、蓄積データも一定周期で最新データに更新することが好ましい。
【0071】
また、上記処理において、季節ごとにシーン分類の種類やデータ蓄積期間を設定するようにしてもよい。例えば、スキー場周辺においては、冬季のみシーン中のハイライト比に応じて判定する「雪シーン」分類を追加したり、「雪シーン」に対し、白さを強調する階調特性を適用するようにしてもよい。
【0072】
また、ある一定の地域において、その地域内の各ミニラボ店と、その地域のラボ管理センタとをネットワークで結び、各ミニラボ店でのオペレータによる修正情報をラボ管理センタで収集し、その地域全体の傾向を把握し、あるタイミングでその地域全体のミニラボ店の画像処理ソフトを修正し、更新されたアルゴリズムを各ミニラボ店に配布するようにして、ラボ管理センタでその地域のアルゴリズム更新処理を地域単位で行うようにしてもよい。
【0073】
また、上記処理を行う際、顧客IDとセットでデータ記録を行い、顧客毎にデータの管理を行い、顧客別に画像処理パラメータの最適化を行うようにしてもよい。
なお、上記ミニラボプリンタの代わりに各顧客の家庭用プリンタに対して上記処理を行うようにすることもできる。
【0074】
上に述べた例によれば、顧客個人、あるいは地域性または季節等によりシーン毎に好みの傾向が変わることに対応し、適切な画像再生が可能となる。
また、フォトプリンタ製造時に、その製品輸出先の各地域の傾向に合わせていちいちパラメータを設定する必要がなくなり、製品製造出荷作業も容易となる。
また、プリント処理とモニタ表示処理とで、リクエスト内容を分ける様にしてもよいし、特定コマに限定して、登録データ処理の停止や、特定のリクエスト処理を指定できる様にしてもよい。
本発明の第1の態様の画像処理方法は、基本的に以上のように構成される。
次に、図4〜図7を参照して、本発明の第2および第3の態様に係る画像処理方法を説明する。
【0075】
本発明の第2の態様に係る画像処理方法は、基本的に、撮影された画像シーンに付属する音声データからあるいはこの撮影された画像の中から抽出された人物の表情またはジェスチャーから、その画像シーン中の人物の感情の種類を判定して、その感情の種類に対応するその感情を強調するようなマークをその人物画像に付す(合成する)ことにより、写真や画像表現の娯楽性を高めるものである。なお、以下では、撮影された画像シーンに付属する音声データから撮影画像シーン中の人物の感情の種類を判定する場合を代表例として説明するが、本態様はこれに限定されるわけではない。また、本発明の第2の態様が適用される対象は、写真(静止画)のみならずビデオ(動画)やTV電話等のリアルタイムでの画像表示等、広い範囲に及ぶ。
【0076】
まず、本発明の第2の態様の第1実施形態について説明する。本第1実施形態は、音声録音機能を有するデジタルカメラ等で撮影された音声データを付属情報として持つ撮影画像に対して所定の画像処理を行うものである。
図4は、本発明の第2の態様の第1実施形態に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの概略を示すブロック図である。
図4に示すデジタルフォトプリンタ50は、主に、撮影情報入力手段52、画像処理装置54および画像記録装置16とを有する。なお、画像記録装置16、操作系18およびモニタ20は、図1に示すフォトプリンタ10と同様のものを用いることができる。
【0077】
撮影情報入力手段52は、デジタルカメラ等の録音機能付き画像撮像装置によって画像データおよび音声データが記録された記録メディアから画像データおよび音声データを読み込むものである。画像処理装置54は、本態様に係る画像処理方法およびその他各種の画像処理を実行するものである。また、画像処理装置54には、様々な画像処理に関する条件の入力、設定、処理の選択や指示、色/濃度補正などの指示等を入力するためのキーボード18aおよびマウス18bを有する操作系18と、撮影情報入力手段52から入力された画像および各種の操作指示等様々な条件の設定/登録画面等を表示するモニタ20が接続される。画像記録装置16は、画像処理装置54から出力された画像データに応じて変調した光ビームで感光材料(印画紙)を画像露光し、現像処理して(仕上がり)画像をプリントとして出力するものである。
【0078】
以下、図5のフローチャートに沿って、この第1実施形態の画像処理について説明する。
まず、ステップ200において、予め各種感情の種類に応じた画像処理パターンを設定する。しかし人間の感情は多種多様であり、すべての感情を扱うのは不可能であり、ここでは比較的はっきりと外へ現れる典型的なもののみを扱う。
図6に、画像処理パターンの設定の一例を示す。図6のモードと書かれた欄にあるように、ここで扱う感情の種類は、「焦り」、「驚き」、「怒り」、「哀愁」、「悩み(疑問)」、「愛情」、「喜び」・・・等である。
【0079】
本実施形態では、撮影画像シーンに付属した音声データ(音声情報)により、感情の種類を判定するようにしている。また、画像処理パターンとしては、各感情の種類に対し、その感情を強調するようなマーク(画像合成パターン)を合成するようにしている。従って、感情の種類に対応した画像処理パターンを設定するということは、結局、特定の音声情報に対応した画像合成パターンを設定することである。
【0080】
すなわち、予め設定する項目としては、感情の種類を表すモード、各モードを引き出す言語(キーワード、図6の表では省略)、各モードに対応する画像合成パターンがある。画像合成パターンとしては、合成すべき合成画像(マーク)、合成すべき位置(画像中の位置、画像中の人物またはその顔の位置に対する所定位置または相対位置)、合成画像の大きさ(サイズ、画像に対するサイズ、画像中の人物またはその顔の大きさに対する相対的なサイズ)、人物またはその顔に対する合成画像の向き等がある。
【0081】
例えば、「うぅっ」、「やばい」、「やばっ」等のキーワードが音声情報中にある場合には、「焦り」モードが対応し、人物画像に対し、「汗マーク」が合成される。合成画像は一つには限らず、複数あってもよい。また、合成位置は、画像中の顔の位置に対する相対位置で指定されるのがよく、顔幅で正規化されるのが良い。合成画像の大きさも、やはり顔基準で指定されるのが良い。また、合成画像を合成する向きも画像中の人物の顔を基準にして設定されるのが良い。
例えば、図6の場合、2つの汗マーク(2つで1セット)の中心の座標が(目を原点として)目の横(x1,y1)の位置に、サイズは顔幅を1としたとき、0.1の大きさで、顔の左側に合成される。
【0082】
また、「うひょー」、「ひぇー」、「びっくりー」等のキーワードが、音声情報中にある場合には、「驚き」モードが対応し、「びっくりして飛び出した目のマーク」がそれぞれの目のマークの中心の座標がそれぞれ(x2,y2)、(x3,y3)の位置に合成される。また、図6における「向き判定結果」というのは、カメラに対する人物顔の向きをパターンマッチング手法等により正面、右斜めあるいは左斜めのいずれかであるかを判定し、その判定結果に応じて目の飛び出す方向を変えたパターンを合成することを示すものである。
【0083】
また、「寒い」、「さぶっ」等のキーワードが音声情報中にある場合には、「哀愁」モードが対応し、顔に「影(斜線)マーク」を入れ、周囲に「枯れ葉マーク」が合成される。このとき、顔に斜線を入れる代わりに顔色を白く(青白く)するようにしてもよい。さらに、背景をモノトーン化して一層哀愁感を漂わせるようにしてもよい。また、この他、「うーん」、「えーと」等の言葉があれば、「悩み(疑問)」モードとして「はてなマーク」を合成するようにし、「うっふーん」、「すき」等の言葉があれば、「愛情」モードとして「ハート」を合成するようにし、「ワーイ」、「やったー」等の言葉があれば、「喜び」モードとし「打ち上げ花火」を合成する等のようにしてもよい。これらの画像処理パターンは、システムの側である程度用意して、それに顧客が作成してデータを追加するようにしてもよい。このとき、顧客が口癖としてよく使うような言葉をモードを引き出す言葉として設定し、また、顧客の趣味で合成画像や各種感情モード用キーワードを登録するようにしてもよい。
【0084】
上で述べた画像処理パターンの設定は、個々の画像処理に先立って1回行っておけばよい。この設定は、ラボ側のデータベースに対して行なわれる。
次に、ステップ210において、録音機能を有するデジタルカメラ等で撮影された、付属情報として音声データを有する撮影情報を、撮影情報入力手段52から入力する。入力された撮影情報は、音声データおよび画像データそれぞれ画像処理装置54に送られる。
次に、ステップ220で、画像処理装置54において、音声データより感情の種類を特定する。それには、まず音声データを認識し、登録されている感情の種類を示すモードを導くキーワードが含まれているか、マッチングを行う。特定のキーワードが音声データから検出された場合には、そのキーワードに対応するモードにより、特定の画像処理パターンが特定される。
【0085】
次のステップ230において、上で特定された画像処理パターンの合成画像を撮影画像に合成する。
ここで、撮影画像に合成される合成画像の合成位置が、撮影画像に対して所定位置、例えば、右上隅などの四隅のいずれか等に決まっており、合成画像のサイズが撮影画像のサイズに対して所定サイズまたは相対的なサイズが決まっている場合には、撮影画像にその決まった合成位置に決まったサイズで合成画像が合成される。
【0086】
なお、このとき、撮影画像に合成される合成画像の合成位置や合成サイズが、撮影画像中の人物やその顔に対して固定的または相対的に決められている場合には、撮影画像から公知の方法により、人物またはその顔を抽出しておくのが好ましい。顔抽出の方法としては、例えば本出願人による特開平8−122944号公報に開示された方法がある。なお、人物の顔領域等の特定領域を抽出する方法としては、上記以外にも、特開平4−346333号、同5−158164号、同5−165120号、同6−160993号、同8−184925号、同9−101579号、同9−138470号、同9−138471号、同9−146194号、同9−197575号等の各公報に開示された方法も好適に利用可能である。
【0087】
撮影画像から人物の顔が抽出されたら、顔の中から目を抽出し、さらに、顔の幅、目の位置等を算出する。そして、これらのデータを基に、画像処理パターンで指定された合成位置、合成サイズ、向きに従って合成画像を合成する。
また、その他、背景、あるいは画面全体の濃度や色を変更する等の指定がある場合には、それらの変更処理を行う。またその後、通常の画像処理をも行い、出力画像を作成する。
ところで、撮影画像中の人物(顔)の感情の種類の判別は、上述の音声データによるものに限定されず、詳細は後述するが、人物の表情やジェスチャーを用いて感情の種類の判別を行っても良い。
なお、上述のように音声データのみから感情の種類を判定するにあたっては、撮影画像中からの人物の抽出は必要ではないが、これに対し、人物の表情やジェスチャーから、あるいは音声データおよび人物の表情やジェスチャーから、感情の種類を判定する場合には、画像中からの人物の抽出が必要となる。
【0088】
また、感情の判定には画像中からの人物の抽出が必要なくても、画像処理パターンを合成する際には、人物またはその顔に対して合成する方が好ましいので、人物抽出を行うのが好ましい。しかし、撮影画像中の所定の位置に合成する場合や、背景を変更したり、画面全体の濃度や色を変更したり、あるいは、例えば特にその位置を問題とせずに枯れ葉を舞わせるような場合には、特に人物の抽出をする必要はない。このように画像中からの人物の抽出は必要に応じて行なうようにすればよい。また、そのため、例えば、予め感情の種類の判定方法等も選択して設定することができるようにしておくことが好ましい。
最後に、ステップ240で、画像記録装置16から出力画像を出力する。
【0089】
なお、上で説明した例では、デジタルカメラ等で撮影を行った顧客の依頼を受けたラボ側が、ラボのプリンタで画像処理を行い、感情を強調したマークの合成されたプリントを作成していたが、上記画像処理をデジタルカメラ側で行うようにしてもよい。カメラ側で処理を行なう場合には、予め画像処理パターン等は、カメラ側に設定しおく。
また、上記処理は、上述したように、音声データ認識と撮影画像からの顔抽出とに基づいて、すべて、自動で行ってもよいし、オペレータが顧客の指示に従って、操作キー等により入力して行うようにしてもよい。
また、デジタルカメラ側で処理を行う場合にも、デジタルカメラに上記画像処理を実行するソフトを組み込んで、自動で画像合成処理を行なってもよいし、撮影時に、顧客がキー/ボタン等でカメラに指示を出して合成処理を行なうようにしてもよい。
【0090】
また、主プリントは通常の処理を行い、インデックスプリントにのみ上記画像処理パターンによる画像処理を行なうようにしてもよい。
また、本実施形態では、感情を強調する画像(マーク)を合成するようにしていたが、モーフィング処理等の画像変形処理により表情を感情の種類に対応するように変更するようにしてもよい。例えば、「怒り」の場合には、モーフィング処理により、目をつり上げるようにする等の画像変形処理を行うことができる。しかし、写真の娯楽性を高めるためには、あまりリアルな表情の変更より、図6に示す例のような多少漫画的な方が面白みがあり、効果的である。
【0091】
さらに、上述したような撮影画像中の人物に対応した合成ではなく、当該人物自体やその構成部位、例えば、顔や胴体自体を全面的に、アニメーション画像またはコンピュータグラフィックス(CG)画像、特に好ましくは、感情の種類に対応したアニメーション画像またはCG画像で置換する処理を行っても良い。
ここで、用いられるアニメーション画像やCG画像は、感情の種類に応じて決められた1つの画像であっても良いが、静止画および動画についてそれぞれ複数パターン選択できるようにしておくのが好ましい。
【0092】
また、このようなアニメーション画像やCG画像は、顧客自身で予め作成し、登録した内容であっても良いし、後述するように、中継業者等で提供する内容であっても良い。
また、上述の場合と同様に、撮影画像の被写体である人物の表情、ジェスチャおよび音声内容の少なくとも1つの情報に基づいて、変換パターンを設定できるようにしておくのがよいし、さらに、顧客の要望を登録できるようにしておくのが好ましいのはもちろんである。
このようにすることにより、写真、ビデオ、TV電話等の画像表現における娯楽性を大幅に向上させることができ、また、TV電話等で、顔を出したくない場合などに便利であり、通話相手にも不快感を与えることがない。
【0093】
次に、本発明の第2の態様の第2実施形態について説明する。
第2実施形態は、写真のような静止画ではなく、携帯TV電話やムービー編集等における動画に対して本発明の第2の態様の画像処理方法を適用したものである。
携帯TV電話の表示画面に表示される画像やムービーの表示画像のような動画の場合にも、画像処理方法自体は、基本的には、上述した第1実施形態と同様である。
【0094】
すなわち、予め、携帯TV電話端末等のマイクロコンピュータに上述の場合と同じ画像処理パターンを登録しておき、また画像処理ソフトも組み込んでおく。そして、携帯TV電話の場合、通話中その会話の音声中に、登録されていたキーワードが検出された場合には、そのキーワードに対応するモードの合成画像を合成する処理がその端末で行なわれる。そして、合成画像は、通話の相手側の端末に送信され、表示される。
このとき、表示画像自体も、動画であり、合成した、例えば図6に示すような「汗マーク」も、このまま静止しているのではなく、例えば少しずつ下へ流れて行くように移動するようにすれば効果的である。
なお、十分なCPUの演算速度を確保することにより、携帯TV電話での通話中において、あるいは、ムービー編集中において再生しながら、リアルタイムでの画像処理を行なうことも可能となる。
【0095】
次に、本発明の第2の態様の第3実施形態について説明する。
本実施形態もTV電話(あるいは携帯TV電話)のようにリアルタイムで画像処理をするものに関するものである。すなわち、本実施形態は、人物の感情の種類を判定する付属情報としての音声データの代わりに、表情認識やジェスチャ認識を用いて感情の種類を判定するものである。
予め、表情認識のため、個人別に喜怒哀楽の表情をした画像とその表情に対応するモードとの対応表を各自の携帯TV電話端末に登録しておく。また、ジェスチャ認識のため、例えば、指を1本立てた場合はこのモード、指を2本立てた場合はこのモード・・・という具合に各自が決めたジェスチャとモードとの対応表を各自の携帯TV電話端末に登録しておく。
【0096】
そして、通話中に、その携帯TV電話端末において、話し手の撮影画像から顔を抽出し、パターンマッチングによる表情の種類の同定を行い、予め登録された特定の表情と一致する表情が検出された場合には、その登録された表情に対応するモードの画像処理パターンの画像処理を行い、処理済画像を通話の相手側の端末に送信し表示する。あるいは、ジェスチャ認識により、話し手が特定のジェスチャをしていることが検出された場合にも、同様の処理を行なう。
【0097】
なお、表情認識やジェスチャ認識についての公知技術としては、例えば、電子情報通信学会技術研究報告1999年11月18日および19日、PRMU99−106「動作位置の変化に頑健なジェスチャ認識」天田泰亨・鈴木基之・後藤英昭・牧野正三(東北大)、PRMU99−138「顔器官輪郭の自動抽出と表情認識の自動化」小林宏・高橋久徳・菊地耕生(東京理科大)、PRMU99−139「ポテンシャルネットを用いた顔領域の推定と表情認識」別所弘章(イメージ情報科研)・岩井儀雄・谷内田正彦(阪大)、PRMU99−140(特別講演)「顔面表情認知研究と画像処理技術」山田寛(日大/AIR)、PRMU99−142(特別招待論文)「インタラクションのための人物動作解析と認識」谷内田正彦・岩井儀雄(阪大)等があり、これらの技術が好適に適用可能である。
【0098】
次に、本発明の第2の態様の第4実施形態について説明する。
本実施形態もTV電話あるいは携帯TV電話に係るものであるが、本実施形態は画像合成処理をTV電話の中継局側で行なうものである。本実施形態における携帯TV電話システムの概略を図7に示す。予め、携帯TV電話の端末60、70を通して通信業者の中継局80のデータベース84に、利用者毎の顔画像データ(感情の種類に対応するモードを判定するための各モードごとの表情)や音声データ(各モードを引き出すためのキーワード)および各モードにおける画像合成パターンを登録しておく。
【0099】
通信時には、図7に示すようにAの携帯TV電話端末60からは、画像センサ62によって撮影されたAの撮影画像およびAの音声が、また、Bの携帯TV電話端末70からは、画像センサ72によって撮影されたBの撮影画像およびBの音声がそれぞれ中継局80に伝送される。
中継局80の処理部82では、常に、AおよびBの撮影画像から顔抽出を行い、登録された表情とのマッチングが行なわれるとともに、通話音声中に登録されたキーワードが出てこないかチェックが行なわれる。
【0100】
そして、例えば、Aの会話から焦りモードを検出した場合には、Aの撮影画像に対して、例えば、汗マークを合成する処理を行い、処理画像をBの端末70へ送信する。また、この時、Aの処理画像を確認用として、その縮小版をAの端末60へも送るようにしてもよい。Aの端末60の表示画面64には、Bの顔画像が表示されているが、その隅にAの処理画像の確認用として表示枠66が設けられ、この表示枠66にAの処理画像が表示される。この時、同様に、Bの端末70の表示画面74には、Aの処理画像が表示されるとともに、その隅の確認用の表示枠76に、中継局80から送られるBの処理画像の縮小版が表示される。
【0101】
なお、利用者毎の顔画像データ、音声データおよび画像合成パターン等を利用者の端末に登録しておき、携帯TV電話の端末側で、モード検出から画像合成処理を行なうようにしてもよい。また、中継局および端末の両方に上記データを登録しておき、どちらでも処理を行なえるようにしてもよい。
また、画像合成処理は、送信する場合に限らず、受信した音声・画像データに対して合成処理を適用するようにしてもよい。例えば、図7において、B氏からの受信画像に対する合成処理をA氏の端末で行なってもよい。この場合、受け手であるA氏の好みのパターンを付けることで娯楽性が向上する。
【0102】
次に、本発明の第2の態様の第5実施形態について説明する。
本実施形態は、リアルタイムで画像合成処理を行なっている場合に、合成パターンに位置ずれが生じた場合に、それを修正するものである。
合成パターンの位置ずれの原因は、ほとんど顔抽出の失敗にあるため、表示画面で、合成パターンの位置ずれを発見したときには、電子ペン等により撮影画像中の顔を指定する。このとき、電子ペンで顔の輪郭をぐるっと囲んでもよいし、両目を線で結んでもよい。さらに、口の位置等を指定するようにしてもよい。あるいは、キー操作により、合成パターンを平行移動すべき位置およびサイズの調整量等を指定するようにしてもよい。
【0103】
その後、修正した合成パターンの位置およびサイズを基に、本来の合成パターンと照合する様に顔位置候補エリアを自動で修正し、顔抽出処理を再実行する。これにより、携帯TV電話のように動画の場合においても、リアルタイムで合成パターンの位置やサイズが顔の動きに合わせて修正される。従って、合成パターンが顔に自動追従して表示画像中の所定位置に表示されるため、画像表示媒体における画像表示の娯楽性が向上される。
【0104】
また、本発明の第3の態様の画像処理方法は、TV画像をパソコンに取り込んで、取り込んだ画像に対して、上述した本発明の第2の態様の画像処理方法を適用するものである。すなわち、TV画像をパソコンに取り込み、上記合成処理や置換処理や画像変形処理や色や濃度の変更処理等をしたり、あるいはデジタルTVにおいて、受像機に上記合成処理機能等を持たせ、さらに、合成パターンを顧客が設定できるようにするものである。こうすることにより、娯楽性をいっそう向上させることができる。
本発明の第2および第3の態様の画像処理方法は、基本的に以上のように構成される。
【0105】
次に、図8および図9を参照して、本発明の第4の態様に係る画像処理方法を説明する。
本発明の第4の態様の画像処理方法は、基本的に、予め、撮影画像中の特定エリア内のエリア画像または画像特徴量を登録しておき、予め登録されたエリア画像または画像特徴量を用いて、撮影画像中の該当エリアに合成する、または濃度および色味の調整を行うものである。
【0106】
例えば、本態様の画像処理方法は、撮影画像中の被写体である人物の顔画像として、予め、基準顔画像として、当該人物の気に入った化粧顔や好みの顔画像やその画像特徴量や、正面を向いた、撮影方向と視線が一致した顔画像を登録しておき、当該人物が撮影画像の被写体となった時、撮影画像中の人物の顔を、予め基準顔画像として登録されている当該人物の気に入った化粧顔や好みの顔画像や正面を向いた撮影方向と視線が一致した顔画像に修正、または合成、または変換したり、あるいは、予め登録されている画像特徴量を用いて気に入った化粧顔や好みの顔画像に仕上がるように、その濃度や色味を修正、または調整するものである。こうすることにより、だれでも、容易に、気に入った化粧顔や好みの顔画像等の基準顔画像に修正することができ、視線の不一致による違和感を解消することができるというものである。
【0107】
なお、以下では、撮影画像中の被写体である人物の顔画像を、気に入った化粧顔や好みの顔画像や正面を向いた撮影方向と視線が一致した顔画像をに修正する場合を代表例として説明するが、本態様はこれに限定されるわけではない。
また、本発明の第4の態様が適用される対象は、本発明の第2および第3の態様と同様に、写真(静止画)のみならずビデオ(動画)やTV電話等のリアルタイムでの画像表示等、広い範囲に及ぶのは言うまでもないことである。
【0108】
まず、本発明の第4の態様の第1実施形態について説明する。
本第1実施形態は、デジタルカメラ等で撮影された撮影画像に対して、予め登録された登録パターンを用いて、所定の画像処理を行うものである。
図8は、本発明の第4の態様の第1実施形態に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの概略を示すブロック図である。図8に示すデジタルフォトプリンタ90は、主に、撮影画像取得手段92、画像処理装置94、データベース96および画像記録装置16とを有する。なお、画像記録装置16、操作系18およびモニタ20は、基本的に、図4に示すデジタルフォトプリンタ50と同様のものを用いることができる。
【0109】
撮影画像取得手段92は、デジタルカメラ等の画像撮像装置によって画像データが記録された記録メディアから撮影画像データを読み込むものである。画像処理装置94は、撮影画像取得手段92によって読み込まれた撮影画像データから予めデータベース96に登録するための基準顔画像の取得、抽出、作成や予めデータベース96に登録されている基準顔画像の選択や、選択された基準顔画像を用いた撮影画像中の顔画像の修正、合成、変換等の本態様に係る画像処理方法およびその他各種の画像処理を実施するものである。データベース96は、予め基準顔画像として、撮影画像の被写体となる人物の気に入った化粧顔や好みの顔画像や、その画像特徴量や、被写体人物の正面を向いた、撮影方向と視線が一致した顔画像(以下、カメラ視線顔画像という)を登録しておくためのものである。また、画像処理装置94のその他の機能や、キーボード18aおよびマウス18bを有する操作系18や、モニタ20や、画像記録装置16の機能については、図4に示すデジタルフォトプリンタ50と、基本的に、同様であるので、その説明は省略する。
【0110】
以下、図9のフローチャートに沿って、この第1実施形態の画像処理について説明する。
まず、ステップ300において、予め、最も気に入った状況で顔を、例えば、デジタルカメラ等の撮影装置で撮影し、撮影画像取得手段92によって、この顔の撮影画像を登録用撮影画像として取得する。
【0111】
次に、ステップ310で、画像処理装置94において、顔抽出アルゴリズムを適用して、撮影画像取得手段92によって取得された顔の撮影画像から、基準顔画像として顔領域を抽出する。この時、基準顔画像の画像特徴量を算出しておいても良い。なお、顔の撮影画像全体を基準顔画像とする場合には、基準顔画像の画像特徴量の算出を省略することにより、このステップ310の抽出工程を省略しても良い。このステップ310で基準顔画像の画像特徴量の算出を省略する場合には、前後のステップ300または320、もしくは後述するステップ360の修正工程で行っても良い。
ステップ320において、顔の撮影画像中の抽出された顔領域または顔の撮影画像全体を基準顔画像としてデータベース96に登録する。こうして、予め行う前処理が終了する。
【0112】
なお、データベース96に登録される基準顔画像としては、きちんと化粧した時の顔や美容院や理容室等で髪を整えた時の顔や髭を剃った時の顔や髭を整えた時の顔等を用いれば良く、特定の人物について複数の基準顔画像、例えば朝用/夜用、季節別、TV電話や携帯電話の表示用では通信相手による切り分け用等)を使い分けても良い。
また、基準顔画像において、顔画像の構成要素の部位毎に基準パターンとして登録しても良い。すなわち、ステップ310の抽出工程で、修正や合成に利用したいエリアを自動的に抽出して、あるいはマニュアルで指定して、抽出または指定されたエリアを基準パターンとして登録しても良い。基準パターンとしては、例えば、目、眉、頬、唇、鼻、耳、髪、髭等の顔の構成要素の各部位や、イヤリングや、帽子(バンダナや鉢巻等も含む)や、眼鏡 (サングラスも含む)の装飾品等をも挙げることができる。
なお、この場合、顔抽出アルゴリズムを適用して、指定されたエリアが顔のどの部位を示すかを自動認識できるようになっていると一層の望ましい。顔抽出精度が低い場合には、逐一、各部位を指定しながら、エリア設定を行うものとするのが良い。
【0113】
次に、ステップ330で、撮影画像取得手段92によって、撮影画像を取得する。このステップ330の撮影画像の取得工程は、例えば、TV電話や携帯電話の表示画面への撮影画像の送信や表示に先だって行われる。例えば、このような電話の通信時には、撮影画像中の被写体人物は、TV電話や携帯電話の所有者や専用の使用者である場合が多く、特定されている場合が多いので、その情報、例えばID等を自動的に取得できるようにしておくのが良い。また、使用者が多数の場合には各人にIDを付しておき、このステップ330で撮影画像取得手段92によって撮影画像とともに被写体人物のIDを取得できるようにしておくのが良い。
【0114】
次いで、ステップ340で、画像処理装置94において、撮影画像取得手段92によって取得された撮影画像に対し、顔抽出アルゴリズムを適用して、撮影画像中から被写体人物の顔領域を顔画像として抽出する。この時、単に顔領域全体のみならず、顔画像の構成要素の各部位のエリアを割り出しておくのが良い。
例えば、まず、顔の輪郭を抽出し、次に各部位のエリアの絞込みを行い、最後に形状パターンマッチングにより、各部位のエリアを確定することができる。
なお、顔抽出の精度が低い場合には、デジタルカメラ等の撮影装置で撮影を開始する時に、顔枠等のガイドをファインダーや表示装置に表示して、表示されたガイド内の位置に被写体人物の顔が来る(収まる)ように、被写体人物の姿勢を取らせるのが良い。こうしておくことにより、形状パターンマッチングによる顔画像の抽出が容易となるし、撮影コマが異なっていても、一旦、顔をキャッチすれば、撮影コマ間の局所マッチングによって、被写体の顔を追跡することができる。
【0115】
ステップ350において、画像処理装置94によってデータベース96から上述したID等によって検索された、または特定された人物の登録済基準顔画像、および基準パターン、ならびに必要に応じて、これらの画像特徴量を選択して呼び出す。なお、ここでは、上述した特定の人物の顔画像の各部位について、それぞれ別の基準画像から選んで組み合せを変え、新たな組み合せを作ることも可能である。例えば、目は第1の基準顔画像から、眉は第3の基準顔画像から、イヤリングは第8の基準顔画像から新しい組み合せの顔画像を作ることもできる。
ところで、ステップ340とステップ350とは、どちらをを先にやっても良いし、両者を同じにやっても良い。
【0116】
次ぎに、ステップ360において、ステップ340で抽出された顔画像および顔画像の構成要素の各部位のエリアを、ステップ350で選択された特定の人物の登録済基準顔画像および基準パターンならびにそれらの画像特徴量を用いて、修正、または合成、または置換する。ここで、顔画像全体を登録済基準顔画像に合成あるいは置換しても良いが、顔の各部位毎に、登録済基準パターン画像を用いて修正、または合成、または置換しても良いし、登録済基準パターン画像の特徴量を用いて修正しても良い。
例えば、頬や唇は、当該部位の基準パターンの色味に修正する。特に、唇は、動くために、色味で唇と肌のエリアを画素レベルで分離した後、唇の色味のみを修正するのがよい。
また、髪、眉、頬、耳(耳たぶ)は、基準パターンを上書き合成するのが好ましい。この場合には、合成エリアの周辺部には、平滑化をかけて境界をぼかすのが好ましい。
【0117】
最後に、ステップ370において、こうしてステップ360で顔画像が修正された撮影画像を、出力画像として、画像処理装置94から出力する。この出力画像は、画像記録装置16から写真プリントとして出力しても良いし、モニタ20に表示しても良いし、TV電話や携帯電話端末(の画像処理装置;図7参照)に出力し、そこから相手のTV電話や携帯電話端末(の画像処理装置;図7参照)に送信して、その表示画面に表示しても良いし、直接相手側に送信して、その表示画面に表示することもできる。もちろん、自分の側の装置の表示画面に表示しても良い。
【0118】
こうすることにより、パーソナルコンピュータや画像処理ソフトの未経験者や未熟練者であっても、容易に、気に入った化粧顔や好みの顔画像に修正することができる。
ところで、この他、被写体人物の衣服部分(顔の下に設定されるエリア)や背景(顔エリア以外の領域)に装飾パターンをちりばめるようにしても良い。こうすることにより、普段着や寝巻き(パジャマ)や部屋等の目隠しをすることができ、相手に不愉快な感情を与えることがない。
【0119】
次に、本発明の第4の態様の第2実施形態について説明する。
本第2実施形態も、第1実施態様と同様に、デジタルカメラ等で撮影された撮影画像に対して、予め登録された登録パターンを用いて所定の画像処理を行うものであるが、予め登録された登録パターンが撮影方向と被写体人物の視線が一致した画像(カメラ視線画像または視線一致画像)である点で異なるものであるので、同様に図8および図9を参照して、本第2実施形態を以下に説明する。
【0120】
本第2実施形態では、まず、図9に示すステップ300において、デジタルカメラ等の撮影装置でこれを直視した撮影画像を撮影して、記録し、この記録された撮影画像を撮影画像取得手段92(図8参照)によって登録用撮影画像として取得する。
次に、ステップ310で、画像処理装置94において、顔抽出アルゴリズムを適用して、撮影画像取得手段92によって取得された登録用撮影画像から、基準パターンとして眼のエリアを抽出し、ステップ320において、抽出された眼のエリアを基準パターンとしてデータベース96に登録する。こうして、予め行う前処理が終了する。
【0121】
次に、ステップ330で、撮影画像取得手段92によって、撮影画像を取得する。このステップ330の撮影画像の取得工程は、例えば、TV電話や携帯電話の表示画面への撮影画像の送信や表示に先だって行われる。
次いで、ステップ340で、例えばこのような電話の通信時には、画像処理装置94において、撮影画像取得手段92によって取得された撮影画像に対し、顔抽出アルゴリズムを適用して、撮影画像中から被写体人物の両眼のエリアを抽出する。
ステップ350において、画像処理装置94によってデータベース96から登録済基準パターン選択して呼び出す。なお、ステップ340とステップ350とは、どちらを先にやっても良いし、両者を同じにやっても良い。
【0122】
次ぎに、ステップ360において、ステップ340で抽出された両眼のエリアを、ステップ350で選択された登録済基準パターンを用いて、修正、または合成、または置換する。ここで、画像フレーム間の動きが小さい場合、または(左右のバランスでチェックした結果)正面を向いていると判定できる場合には、登録した基準パターン画像を合成しても良い。
【0123】
最後に、ステップ370において、こうしてステップ360で両眼がカメラ視線に修正された撮影画像を、出力画像として、画像処理装置94から出力する。あるいは、TV電話や携帯電話端末の場合には、撮影画像の定常状態(例えば、起動時に姿勢を正してモニタを見て撮影した画像の状態)を仮記憶しておき、仮記憶画像と現画像との差が所定以上の場合には、動きが大きいとして、違和感防止のために、撮影画像をそのまま出力画像として伝送しても良い。
なお、この出力画像は、画像記録装置16から写真プリントとして出力しても良いし、モニタ20に表示しても良いし、上述のように、TV電話や携帯電話端末に出力し、そこから相手のTV電話や携帯電話端末に送信して、その表示画面に表示しても良いし、直接相手側に送信して、その表示画面に表示しても良い。
こうすることにより、視線の不一致による違和感を解消することができる。
【0124】
ところで、この他、基準パターンの登録時に、カメラを直視した撮影画像の動画、例えば、瞬きを1回以上含むように撮影した動画を記録しておく。TV電話等での通信時の合成においては、実際の瞬きタイミングとは無関係に、動画として合成することもできる。あるいは、撮影画像の取得に際し、瞬き検出を行い、同期を取るようにするとさらに望ましい。
【0125】
さらに、本発明の第4の態様の第3実施形態においては、TV電話や携帯電話端末等の送信端末(図7参照)の演算能力が大きければ、本態様の第1および第2実施形態において説明した種々の修正処理を、これらの送信端末で実行しても良い。あるいは、中継局(図7参照)側に基準顔画像、装飾パターンデータを顧客IDとセットで登録し、中継局側で、実行してもらっても良い。
また、本態様において、TV電話や携帯電話端末等を家族で使う場合、上述した第1の態様のように、家族の人物別に基準顔画像や基準パターンを登録しておくのが好ましい。
本発明の第4の態様の画像処理方法は、基本的に以上のように構成される。
【0126】
以上、本発明の画像処理方法について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【0127】
【発明の効果】
以上詳述したように、本発明の第1の態様によれば、自動的に個々の顧客毎の好みを反映した出力画像を得ることができ、写真の娯楽性を向上させることが出来る。
【0128】
また、以上詳述したように、本発明の第2の態様によれば、画像中の特に人物の顔の表示において、感情に応じて強調したい内容が自動的に視覚化されて表現されるため写真、ビデオ、TV電話等の画像表現における娯楽性を大いに向上させることが可能となり、また、TV電話等で、顔を出したくない場合などに便利であり、通話相手にも不快感を与えることがない。
【0129】
また、以上詳述したように、本発明によれば、上記従来技術の問題を鑑解消して、パーソナルコンピュータや画像処理ソフトの未経験者や未熟練者などであっても、容易に、気に入った化粧顔や好みの顔画像に修正することができ、視線の不一致による違和感を解消することができる。
【図面の簡単な説明】
【図1】 本発明の第1の態様に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの一実施例の概略を示すブロック図である。
【図2】 本発明で用いられる登録データの例を示す説明図である。
【図3】 本発明の第1の態様の第1実施形態の作用を示すフローチャートである。
【図4】 本発明の第2の態様に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの一実施例の概略を示すブロック図である。
【図5】 本発明の第2態様の第1実施形態に係る画像処理方法の処理の流れを示すフローチャートである。
【図6】 画像処理パターンの例を示す説明図である。
【図7】 本発明の第2態様の第4実施形態に係る携帯TV電話システムの概略を示す説明図である。
【図8】 本発明の第4の態様に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの一実施例の概略を示すブロック図である。
【図9】 本発明の第4態様の第1および第2実施形態に係る画像処理方法の処理の流れを示すフローチャートである。
【符号の説明】
10 デジタルフォトプリンタ
12 スキャナ
14 (画像)処理装置
16 画像記録装置
18 操作系
18a キーボード
18b マウス
20 モニタ
22 光源
24 可変絞り
26 拡散ボックス
28 キャリア
30 結像レンズユニット
32 イメージセンサ
34 A/D変換器
50 デジタルフォトプリンタ(プリンタ)
52 撮影情報入力手段
54 画像処理装置
60、70 携帯TV電話端末
62、72 画像センサ
64、74 表示画面
66、76 表示枠
80 中継局
82 処理部
84 データベース
Claims (4)
- 撮影被写体の画像を含む撮影画像の画像データに対して、画像処理を施す画像処理方法であって、
特定の被写体毎に、この特定の被写体の画像と、この特定の被写体を撮影被写体として含む撮影画像の画像データに対して画像処理を施すときに用いる画像処理条件とを、組にして予め登録し、
前記撮影被写体の画像を抽出し、
該抽出された撮影被写体の画像を前記登録された特定の被写体の画像と比較することにより、前記撮影被写体が前記特定の被写体か否かを判別し、
当該特定の被写体とされた撮影被写体を含む撮影画像の画像データに対して、前記特定の被写体の画像と組をなす画像処理条件を選択し、
選択された前記画像処理条件に基づいて、前記選択された画像処理条件による画像処理を画面全体に施すのか、該当する撮影被写体のみあるいはその撮影被写体とその周辺近傍のみに施すのかを設定して、前記撮影画像の画像データに対して、画像処理を行うことを特徴とする画像処理方法。 - 前記判別を、予め登録された特定の被写体の顔画像または撮影コマに付属する人物指定情報を用いて行う、請求項1に記載の画像処理方法。
- 前記特定の被写体毎に予め登録される画像処理条件は、該特定の被写体毎に複数種類設定される画像処理内容を含む請求項1または2に記載の画像処理方法。
- 前記設定された複数種類の画像処理内容の中から少なくとも1つの画像処理内容を選択する請求項3に記載の画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001111361A JP4291963B2 (ja) | 2000-04-13 | 2001-04-10 | 画像処理方法 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000112134 | 2000-04-13 | ||
JP2000-112134 | 2000-04-13 | ||
JP2000179580 | 2000-06-15 | ||
JP2000-179580 | 2000-06-15 | ||
JP2001111361A JP4291963B2 (ja) | 2000-04-13 | 2001-04-10 | 画像処理方法 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007036868A Division JP2007193824A (ja) | 2000-04-13 | 2007-02-16 | 画像処理方法 |
JP2007036869A Division JP4795988B2 (ja) | 2000-04-13 | 2007-02-16 | 画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2002077592A JP2002077592A (ja) | 2002-03-15 |
JP2002077592A5 JP2002077592A5 (ja) | 2005-09-02 |
JP4291963B2 true JP4291963B2 (ja) | 2009-07-08 |
Family
ID=27343083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001111361A Expired - Lifetime JP4291963B2 (ja) | 2000-04-13 | 2001-04-10 | 画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4291963B2 (ja) |
Families Citing this family (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1349060A3 (en) | 2002-03-29 | 2007-11-21 | FUJIFILM Corporation | Image processing system, and image processing apparatus and portable information communication device for use in the image processing system |
JP2003296713A (ja) * | 2002-04-04 | 2003-10-17 | Mitsubishi Electric Corp | 顔画像合成装置、顔画像合成方法およびその方法を実行するプログラムならびに顔画像合成装置を備えた通信用端末およびその通信用端末による通信方法 |
US7082211B2 (en) * | 2002-05-31 | 2006-07-25 | Eastman Kodak Company | Method and system for enhancing portrait images |
EP1422668B1 (en) | 2002-11-25 | 2017-07-26 | Panasonic Intellectual Property Management Co., Ltd. | Short film generation/reproduction apparatus and method thereof |
US7319780B2 (en) * | 2002-11-25 | 2008-01-15 | Eastman Kodak Company | Imaging method and system for health monitoring and personal security |
US7233684B2 (en) * | 2002-11-25 | 2007-06-19 | Eastman Kodak Company | Imaging method and system using affective information |
JP4277534B2 (ja) * | 2003-02-12 | 2009-06-10 | オムロン株式会社 | 画像編集装置および画像編集方法 |
CN1839410B (zh) * | 2003-07-18 | 2015-05-20 | 佳能株式会社 | 图像处理设备、摄像设备、图像处理方法 |
JP4743823B2 (ja) * | 2003-07-18 | 2011-08-10 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法 |
EP2955662B1 (en) | 2003-07-18 | 2018-04-04 | Canon Kabushiki Kaisha | Image processing device, imaging device, image processing method |
JP4407198B2 (ja) * | 2003-08-11 | 2010-02-03 | ソニー株式会社 | 記録再生装置、再生装置、記録再生方法および再生方法 |
WO2005076210A1 (ja) * | 2004-02-05 | 2005-08-18 | Vodafone K.K. | 画像処理方法、画像処理装置及び移動通信端末装置 |
US7995239B2 (en) | 2004-03-29 | 2011-08-09 | Fujifilm Corporation | Image output apparatus, method and program |
JP4522899B2 (ja) * | 2004-03-29 | 2010-08-11 | 富士フイルム株式会社 | 画像出力装置、画像出力方法およびそのプログラム |
US7660482B2 (en) | 2004-06-23 | 2010-02-09 | Seiko Epson Corporation | Method and apparatus for converting a photo to a caricature image |
JP4574249B2 (ja) * | 2004-06-29 | 2010-11-04 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム、撮像装置 |
JP4822690B2 (ja) * | 2004-11-02 | 2011-11-24 | キヤノン株式会社 | 画像処理方法及びその装置と、プリントサービスシステム |
JP3920889B2 (ja) * | 2004-12-28 | 2007-05-30 | 沖電気工業株式会社 | 画像合成装置 |
JP2006227838A (ja) * | 2005-02-16 | 2006-08-31 | Nec Corp | 画像処理装置及び画像処理プログラム |
JP2006301921A (ja) * | 2005-04-20 | 2006-11-02 | Noritsu Koki Co Ltd | 軟調効果フィルタ、軟調効果フィルタ処理プログラム、及び、写真画像処理装置 |
JP4780104B2 (ja) * | 2005-06-03 | 2011-09-28 | 株式会社ニコン | 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置 |
JP2006350577A (ja) | 2005-06-14 | 2006-12-28 | Fuji Xerox Co Ltd | 動作分析装置 |
JP2007028555A (ja) | 2005-07-21 | 2007-02-01 | Sony Corp | カメラシステム,情報処理装置,情報処理方法,およびコンピュータプログラム |
JP4735231B2 (ja) * | 2005-12-15 | 2011-07-27 | カシオ計算機株式会社 | 写真プリントシステム及び写真プリント方法 |
US8306280B2 (en) | 2006-04-11 | 2012-11-06 | Nikon Corporation | Electronic camera and image processing apparatus |
JP2007282118A (ja) * | 2006-04-11 | 2007-10-25 | Nikon Corp | 電子カメラおよび画像処理装置 |
JP2007282119A (ja) * | 2006-04-11 | 2007-10-25 | Nikon Corp | 電子カメラおよび画像処理装置 |
JP4973098B2 (ja) * | 2006-09-28 | 2012-07-11 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP4244063B2 (ja) | 2006-11-06 | 2009-03-25 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
JP2008203960A (ja) * | 2007-02-16 | 2008-09-04 | Seiko Epson Corp | 画像処理装置、その制御方法、プログラム及び印刷装置 |
JP4924279B2 (ja) * | 2007-08-13 | 2012-04-25 | セイコーエプソン株式会社 | 画像処理装置、その制御方法及びプログラム |
JP4973622B2 (ja) * | 2007-08-29 | 2012-07-11 | カシオ計算機株式会社 | 画像合成装置および画像合成処理プログラム |
US8189864B2 (en) | 2007-08-29 | 2012-05-29 | Casio Computer Co., Ltd. | Composite image generating apparatus, composite image generating method, and storage medium |
JP4962218B2 (ja) * | 2007-08-30 | 2012-06-27 | カシオ計算機株式会社 | 合成画像出力装置および合成画像出力処理プログラム |
JP4935647B2 (ja) * | 2007-11-29 | 2012-05-23 | カシオ計算機株式会社 | 合成画像出力装置および合成画像出力処理プログラム |
JP5182879B2 (ja) * | 2008-09-26 | 2013-04-17 | Kddi株式会社 | 情報端末装置 |
JP2010086178A (ja) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | 画像合成装置およびその制御方法 |
JP5182004B2 (ja) * | 2008-10-22 | 2013-04-10 | カシオ計算機株式会社 | 画像処理装置、並びに、プログラム |
JP5246592B2 (ja) * | 2008-12-17 | 2013-07-24 | 日本電気株式会社 | 情報処理端末、情報処理方法、及び情報処理プログラム |
JP5343676B2 (ja) * | 2009-04-08 | 2013-11-13 | ソニー株式会社 | 画像処理装置、画像処理方法およびコンピュータプログラム |
JP2010282339A (ja) * | 2009-06-03 | 2010-12-16 | Seiko Epson Corp | 目における瞳の位置を補正する画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置 |
JP5440198B2 (ja) * | 2010-01-19 | 2014-03-12 | カシオ計算機株式会社 | 絵画風画像表示装置、絵画風画像表示方法、並びにプログラム |
JP2012113677A (ja) * | 2010-11-05 | 2012-06-14 | Aitia Corp | 情報処理装置および情報処理プログラム |
WO2012144389A1 (ja) * | 2011-04-20 | 2012-10-26 | Necカシオモバイルコミュニケーションズ株式会社 | 個人識別キャラクター表示システム、端末装置、個人識別キャラクター表示方法、及びコンピュータプログラム |
JP5252068B2 (ja) * | 2011-12-22 | 2013-07-31 | カシオ計算機株式会社 | 合成画像出力装置および合成画像出力処理プログラム |
JP5878523B2 (ja) * | 2012-03-05 | 2016-03-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | コンテンツ加工装置とその集積回路、方法、およびプログラム |
WO2013138531A1 (en) * | 2012-03-14 | 2013-09-19 | Google, Inc. | Modifying an appearance of a participant during a video conference |
JP2013195725A (ja) * | 2012-03-21 | 2013-09-30 | Dainippon Printing Co Ltd | 画像表示システム |
JP5632104B2 (ja) * | 2014-02-19 | 2014-11-26 | 辰巳電子工業株式会社 | 遊戯用撮影装置、遊戯用撮影装置の処理方法およびプログラム |
JP6561996B2 (ja) * | 2014-11-07 | 2019-08-21 | ソニー株式会社 | 情報処理装置、制御方法、および記憶媒体 |
WO2016129049A1 (ja) * | 2015-02-10 | 2016-08-18 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 |
JP2015213336A (ja) * | 2015-06-15 | 2015-11-26 | 辰巳電子工業株式会社 | 遊戯用撮影装置、遊戯用撮影方法およびプログラム |
JP6090369B2 (ja) * | 2015-06-15 | 2017-03-08 | 辰巳電子工業株式会社 | 遊戯用撮影装置、遊戯用撮影方法およびプログラム |
WO2017126136A1 (ja) * | 2016-01-22 | 2017-07-27 | 三菱電機株式会社 | 写真プリントシステム |
JP6263252B1 (ja) * | 2016-12-06 | 2018-01-17 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
KR101968723B1 (ko) * | 2017-10-18 | 2019-04-12 | 네이버 주식회사 | 카메라 이펙트를 제공하는 방법 및 시스템 |
CN108377356B (zh) * | 2018-01-18 | 2020-07-28 | 上海掌门科技有限公司 | 基于虚拟画像的视频通话的方法、设备和计算机可读介质 |
JP6929979B2 (ja) * | 2020-01-31 | 2021-09-01 | ユニ・チャーム株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
JP7184835B2 (ja) | 2020-03-04 | 2022-12-06 | グリー株式会社 | コンピュータプログラム、方法及びサーバ装置 |
US20240104956A1 (en) * | 2021-02-25 | 2024-03-28 | Nec Corporation | Image accumulation apparatus, method, and non-transitory computer-readable medium |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0568262A (ja) * | 1991-03-13 | 1993-03-19 | Olympus Optical Co Ltd | ビデオidフオトプリント装置及び顔色変換装置 |
US5488429A (en) * | 1992-01-13 | 1996-01-30 | Mitsubishi Denki Kabushiki Kaisha | Video signal processor for detecting flesh tones in am image |
JP3253707B2 (ja) * | 1992-10-30 | 2002-02-04 | 株式会社リコー | 画像処理装置 |
JPH10214344A (ja) * | 1997-01-31 | 1998-08-11 | Fujitsu Ltd | インタラクティブ表示装置 |
JPH10221773A (ja) * | 1997-02-06 | 1998-08-21 | Fuji Photo Film Co Ltd | 写真作製装置 |
-
2001
- 2001-04-10 JP JP2001111361A patent/JP4291963B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002077592A (ja) | 2002-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4291963B2 (ja) | 画像処理方法 | |
US7577310B2 (en) | Image processing method | |
JP2007193824A (ja) | 画像処理方法 | |
US10304166B2 (en) | Eye beautification under inaccurate localization | |
US8520089B2 (en) | Eye beautification | |
US6798921B2 (en) | Method for image designating and modifying process | |
US8212894B2 (en) | Electronic camera having a face detecting function of a subject | |
US7206445B2 (en) | Method, apparatus and recording medium for image processing | |
US7251054B2 (en) | Method, apparatus and recording medium for image processing | |
JP2007516672A (ja) | 画像フレームの部分修正 | |
JP2005176230A (ja) | 画像処理装置およびプリントシステム | |
JP4090926B2 (ja) | 画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラム | |
JP4795988B2 (ja) | 画像処理方法 | |
JP5748651B2 (ja) | 画像処理装置、画像処理方法、並びにプログラム | |
JP4043708B2 (ja) | 画像処理方法および装置 | |
JP2001218020A (ja) | 画像処理方法 | |
KR100422470B1 (ko) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 | |
KR20010102873A (ko) | 정형 이미지 템플릿을 이용한 실사 아바타 생성 방법 및시스템 | |
JP2004242068A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
JPH09212620A (ja) | 顔画像の製作方法 | |
JP2020086532A (ja) | 画像撮影装置、画像撮影装置の制御方法、およびプログラム | |
JP6969622B2 (ja) | 撮影遊戯装置およびプログラム | |
JP2024060324A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2022165114A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2023163374A (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050308 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061120 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070626 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070824 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071002 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071127 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080122 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080425 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080725 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4291963 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120410 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120410 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130410 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130410 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140410 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |