JPH07302335A - パターン認識技術を用いた自動画像補正 - Google Patents

Abstract

(57)【要約】 【目的】 画像の意味論的な内容を決定するパターン認
識サブシステムの使用により画像の意味論的な内容を考
慮に入れた方法で画像を自動的に調整し、ここでパター
ン認識サブシステムは色的に意味のある対象の存在及び
位置を検出し、この情報を変換発生器に入力し、該変換
発生器は画像を増強する最適な変換を計算する装置及び
方法を提供する。 【構成】 本発明の装置及び方法は、デジタル画像を記
憶するよう適合された装置と、デジタル画像内の意味の
ある対象の存在及び位置を検出するよう適合されたパタ
ーン分析器と、パターン分析器によるデジタル画像内の
意味のある対象の検出に対応する画像変換を得るよう適
合された変換発生器と、記憶されたデジタル画像を修飾
するよう適合された変換画像とを含む。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は電子的画像処理に関し、
より詳細にはデジタル画像の階調、色、鮮明度を調整す
る方法及び装置に関する。

【０００２】

【従来の技術】デジタル画像を利用する人はしばしばそ
れらの画像を調整することが望ましい場合がある。これ
らの調整はそれらの画像が収集される処理中の欠点、又
は画像内の他の知覚された質的な欠点の故に必要とされ
うる。典型的になされた調整の型は階調、意図、鮮明度
である。

【０００３】これらの調整をなすために用いられてきた
従来技術の方法が多数ある。１つの方法はカラーモニタ
ー上に画像を表示し、操作者が観察された画像に対する
補正を入力する種々の制御を用いることを許容すること
を含む。これは人間の判断を許容するという利点を有す
るが；操作者に各画像の補正をなすために比較的多大な
時間を費やさせるという欠点を有する。

【０００４】従来技術の方法の他の組は画像内の色の分
布を解析し、該分布に基づいて調整をなすことを含む。
例としてはハイライトを検出し、設定するためのヒスト
グラムの使用がある。これらの方法は操作者の介入を必
要とする方法よりも潜在的にはより速くより効果的であ
るが、画像の異なる部分がしばしば表れる対象により異
なるように処理される必要がある。例えば人を表す画像
の領域が典型的により重要でない対象を表す領域と異な
る処理をされる必要がある。このアプローチの変形は
Ｔ．Ｔｅｒａｓｈｉｔａにより発行されたアメリカ特許
第５、０８３、１５４号で提案されおり、ここでは画像
データから得られた露出曲線はニューラルネットワーク
により解析されうる。しかしながらパターン認識方法を
用いるアプローチではそれを認識するパターンは画像デ
ータから直接というよりもむしろ抽象的な曲線から得ら
れる。斯くして画像を意味論的な内容で解析することは
提案されていない。

【０００５】従来技術の方法の第三の組は画像内容に関
して仮定をなす。このような方法は例えば画像の上部に
近い青みを帯びた領域は空であり、故に空色（ｓｋｙ−
ｂｌｕｅ）であるはずであり、一方画像の下部に近い緑
色を帯びた領域は草であると仮定する。これらの方法は
場面の内容を考慮に入れるという利点を有するが典型的
でない場面又はシステムが意図された色を識別できない
ほど多大な補正を必要とする場面により騙されうる。

【０００６】この問題に対する他のアプローチはその色
が或る所定の目標色に近いどのような対象も対象の特定
の型であると仮定することである。鮮明化に対する従来
技術のアプローチは例えば緑及び青チャンネルより赤色
チャンネルに対してより鮮明化しないように適用するこ
とで他の色より肌色の色調を鮮明化しない。例えばＨ．
Ｔａｋｉｇｕｃｈｉにより１９９２年６月１４日に発行
されたアメリカ特許第５、１３０、９３５号にはそれら
が色空間内の所定の値に近いと仮定することにより肌色
を検出するこのアプローチの洗練されたバージョンが記
載されている。このアプローチの弱点は特定の画像内に
ある肌の色調の実際の色が何であるか推定するのが困難
であることである。人間の肌の色を構成する種々のタン
皮色、茶色、ピンクは色空間内で非常に広い範囲を占め
る；この範囲は多数の他の対象をまた含む。加えて特定
の画像は補正される必要のある色合いを有し、それによ
り入来する肌色は実際には緑又は紫色を帯びる。

【０００７】Ｍ．Ｙａｍａｓａｋｉにより発行されたア
メリカ特許第４、９７８、９９０号では露出制御値は背
景からよりもむしろ対象の主要部分からの信号に依存す
るカメラ用の露出制御の装置を提案している。この装置
は対象の主要な部分を識別するのにニューラルネットワ
ークを用いる。しかしながら対象の型間での識別はでき
ず、いかにして主要な部分が決定され、又は記述される
かの記載からはそれは明確ではない。

【０００８】

【発明が解決しようとする課題】本発明の目的は画像の
意味論的な内容を考慮に入れた方法で画像を自動的に調
整する方法を提供する。本発明の他の目的は画像の意味
論的な内容を決定するパターン認識サブシステムの使用
によりデジタル画像を自動的に増強することである。

【０００９】本発明の更に他の目的は画像の意味論的な
内容を決定するパターン認識サブシステムの使用により
デジタル画像を自動的に増強することであり、ここでパ
ターン認識サブシステムは色的に意味のある対象の存在
及び位置を検出する。本発明の更に他の目的は画像の意
味論的な内容を決定するパターン認識サブシステムの使
用によりデジタル画像を自動的に増強することであり、
ここでパターン認識サブシステムは色的に意味のある対
象の存在及び位置を検出し、この情報を変換発生器に入
力し、該変換発生器は画像を増強する最適な変換を計算
する。

【００１０】

【課題を解決するための手段】これらのそして他の目的
に関して、デジタル画像を調整する電子的画像処理装置
及び方法は、デジタル画像を記憶するよう適合された装
置と、デジタル画像内の意味のある対象の存在及び位置
を検出するよう適合されたパターン分析器と、パターン
分析器によるデジタル画像内の意味のある対象の検出に
対応する画像変換を得るよう適合された変換発生器と、
記憶されたデジタル画像を変更するよう適合された変換
画像とを含む。

【００１１】本発明の好ましい実施例ではパターン分析
器はデジタル画像内の色的に意味のある対象の存在及び
位置を検出するよう適合される。パターン分析器はデジ
タル画像内の意味のある対象を識別するようにトレーニ
ングされたニューラルネットワークでありうる。変換発
生器はパターン認識によるデジタル画像内の色的に意味
のある対象の存在及び位置の検出に応答する画像変換を
なすよう適合される。

【００１２】

【実施例】以下に図を参照して本発明とその目的及び利
点をより明確にするために本発明の好ましい実施例を詳
細に説明する。以下の記載は本発明による装置の部分を
形成する又はより直接に共働する要素に特に関する。特
に示されず、又は記載されない要素は当業者に良く知ら
れた種々の形態を取りうるものである。

【００１３】図１を参照するに発明は色的な意味のある
特徴を識別し、画像を再マップするためにその情報を用
いる。色的な意味のある特徴はそれの性質が画像の色又
は鮮明さが変換される方法の手掛かりを与える画像内の
特徴である。１例としては人間の顔がある。他の例は鏡
面反射ハイライトである。画素の特定の収集が顔を構成
することを知ることはこれらの画素が全体としての画像
と同様に再マップされるべきである方法についての情報
を与える。

【００１４】本発明の実施例は図１に示す４つのサブシ
ステムを含む。第一のサブシステムはデジタル画像を記
憶しうる装置１０である。それはそれらの画像を表示す
る装置を含みうるが含まねばならない必要はない。第二
のサブシステムは画像内の色的に意味のある対象の存在
及び位置を検出しうるパターン分析器１２を含む。この
第二のサブシステムは意味のある対象を認識するようト
レーニングされたニューラルネットワークとして実現さ
れうる。第三のサブシステム１４は色及び鮮明度変換を
得るために第二のサブシステムにより検出された色的に
意味のある特徴を用いる。このサブシステムは画像が意
味のある対象の存在下で処理されるべき方法を記載する
ルールの組を効果的に含む。その様なルールの例は「も
し画像が鮮明ならば，顔を鮮明化しない」である。第三
のサブシステム１４は画像に対する最適な変換の組を決
定するためにこれらのルールを用い、それはまた記憶さ
れた画像に対して変更するよう適合された第四のサブシ
ステム１６により適用される。第四のサブシステムはコ
ンピュータプログラムとして実現されうる。

【００１５】図２は図１のシステムのデータのフローを
示す。最初に画像はディスク又は他の源から受けられ
る。この画像が走査された生データならば、それはスキ
ャナーの知られた特性により色補正される。それから画
像はパターン分析器に入力され、これは色的に意味のあ
る特徴を検出する。画像それ自体と共に抽出された特徴
の説明は該画像の最適変換を計算する変換発生器に通さ
れる。最終的に変換は画像に適用される。変換された画
像は出力装置の知られた特徴を補正する出力色変換を通
過され、プリントアウトされうる。

【００１６】第一及び第四のサブシステムは画像を記憶
するハードドライブ及びそれらの画像の計算をなすＣＰ
Ｕ又は他の処理ユニットを含むコンピュータとして実現
されうる。好ましい実施例ではサブシステムは画像記憶
用に３００ＭＢのハードドライブを含むマッキントッシ
ュＩＩ／ｆｘコンピュータからなる。標準のマッキント
ッシュモニターは操作者が自動動作の効果を確認し、処
理される画像に更なる変更をなすための画像表示用に用
いられうる。システムに対する較正された画像データを
供するためにコダックカラーマネージメントシステムが
好ましいシステムにインストールされる。このカラーマ
ネージメントシステムはこのシステムにより変換された
画像が較正された色で表現されることが仮定される。シ
ステムは精度変換（Ｐｒｅｃｉｓｉｏｎ Ｔｒａｎｓｆ
ｏｒｍａｔｉｏｎ）としての較正変換と色変更変換との
両方を表現する。Ｇ．Ｎｅｗｍａｎ等により１９９３年
４月４日に発行されたアメリカ特許第５、２０８、９１
１をこれらの変換をより完全に記載するものとして参照
する。Ｇ．Ｎｅｗｍａｎ等による特許の開示は以下に参
考として引用する。このシステムに関連するハードウエ
アアクセラレーターボードはカラー変換の速度を増強す
るために用いることが好ましい。

【００１７】第二のサブシステムは固有ベクトル又はテ
ンプレートマッチング技術を用いてコンピュータプログ
ラムとして実現されうる。そのようなサブシステムを構
築する方法は当業者に良く知られている。顔を検出しう
るシステムの例はＭ．Ｔｕｒｋにより発行されたアメリ
カ特許第５、１６４、９９２号により与えられる。他の
例は市販されているニューラルネットワークを用いた
Ｒ．Ｇｒｅｅｎｅにより発行されたアメリカ特許第４、
９０６、９４０号、及びＲｕｔｅｎｂｕｒｇ等により発
行されたアメリカ特許第５、２８７、２７２号に記載さ
れる。

【００１８】好ましい実施例では第二のサブシステムは
ニューラルネットワークである。該ネットワークは検出
されるべき特徴がない一連の画像と共に検出されるべき
特徴が表れる一連の画像をそれに提示することによりト
レーニングされる。このトレーニングは工場でシステム
の生産によりなされる。この過程により作成されるネッ
トワーク係数は実際のシステム上にダウンロードされ、
それによりトレーニング過程の改善は実際のシステム上
で実現されうる。

【００１９】第三のサブシステムはフィルター及び色調
整変換の両方を供する。好ましい実施例ではサブシステ
ムは精度変換を作成するために第二のサブシステムから
の情報を用いて色変換を作成し、それから該精度変換は
補正されるべき画像に適用される。好ましい実施例では
第三のサブシステムは色的に意味のある対象は色マスク
を作成するために特定の領域内にあるという事実を用い
る。それは特に以下で参考として引用する１９９２年１
１月３０日出願の本発明者の係属中のアメリカ特許出願
第０７／９８３、１５２号に記載されているように検出
された領域内で色相、彩度（ｓａｔｕｒａｔｉｏｎ）、
輝度分布を測定し、それらの分布を用いることによりこ
れをなす。色マスクは特徴が検出された、又は検出され
た特徴の色と同じ色がある画像の全ての部分にそれが適
用できる画像領域に限定されうる。

【００２０】この色マスクの１つの使用は鮮明化フィル
ターの構成である。生命のない対象を強くデジタル鮮明
化して見ることが好まれるが、人間に対しては鮮明化は
ほとんど好まれないことが良く知られている。それ故に
顔の検出に基づくマスクは鮮明化フィルターの値を制御
するために用いられうる。マスク値が低い場合には顔が
無いことを示し、高い周波数を増強するフィルター係数
の組が適用される；マスク値が高い場合には異なる係数
の組が用いられる。

【００２１】同様にして生命のない対象はより高い彩度
にされることが好まれるが、人間はより自然に見えるこ
とがなお好まれることが知られている。故に顔の検出に
基づくマスクは彩度変換を制御するために用いられう
る。この変換はマスク値が高いところでは色の彩度を増
強し、一方でそれらが低いところではそれをそのままに
しておく。

【００２２】第三のサブシステムからの出力を他の手段
を介してなされた決定と結合することはまた可能であ
る。例えば色バランスを決めるヒストグラムに基づいた
方法は１以上の可能な再マップ化と共に出現する。シス
テムは画像内の顔を不自然な色にするどの様な再マップ
をも排除することによりこれらの可能な再マップ化の中
から選択しうる。１つの例は以下で参考として引用する
１９９３年８月３１日出願の本発明者の係属中のアメリ
カ特許出願第０８／１１４、７１５号に記載されている
自動色バランスアルゴリズムである。この方法において
画像内での色合いの量はそれの輝度の分布を測定し、分
析することにより決定される。本発明の方法は中立の最
尤配置に関する先験的な推定を組み込むことを許容す
る。この推定は顔を検出し、それの色に関するおおよそ
の仮定を作り、それから仮定された色と画像内で実際に
測定された色との間のオフセットを計算することにより
供されうる。この推定はそれを絶対的に制御するよりも
むしろ最終的な決定にのみ影響する故にそれは正確に厳
密である必要はない。従って人間の肌色の色調の変化は
それの妥当性に影響を与えない。

【００２３】本発明が階調の再マップ化に影響する色的
に意味のある特徴の検出を用いる２つの方法がある。１
つはハイライトの再マップ化である。一般的に画像はそ
れの最も明るい点が高い輝度値を有するように再マップ
化されるべきである。その最も明るい点に対する最良の
標的はそれの性質に依存する。最も明るい点が特にハイ
ライトである場合にそれは最大輝度に再マップされるべ
きであるが；最も明るい点が乱反射する白である場合に
はそれは幾分低い値に再マップされるべきである。本発
明は以下のようにこれらの２つの場合の間で区別され
る。まずそれは画像内の最も明るい点の位置を見いだ
す。それからそれはニューラルネットワークに対するこ
の点の周囲の領域を表す。この場合にネットワークはそ
れが乱反射と鏡面反射を認識するよう教えられたトレー
ニングセッションを介して得られた係数によりロードさ
れる。

【００２４】人を認識するネットワークは階調曲線の形
状に影響するようまた用いられうる。それにより姿が囲
まれるには充分であるがそれらがざらつくのには充分で
はない肌色の色合いの中間的なコントラストの量が好ま
れる傾向にある。故に本発明はマスクにより決められた
領域内の輝度ヒストグラムを計算することにより、それ
から輝度分布の幅が所定の標的レンジ内におさまるよう
に該領域内の階調を調整することにより肌色の色合いを
含む領域内のコントラストを再マップする。

【００２５】本発明により検出された肌色の領域は以下
で参考として引用する１９９２年１１月３０日出願の本
発明者の係属中のアメリカ特許出願第０７／９８３、１
５１号に記載されている再マップ方法にまた組み込まれ
うる。この方法は画像階調を中間的な大きさの詳細の比
較的に大きな量を含む階調領域を強調するように再マッ
プする。それはその値がどの点においても該点での中間
レンジスペクトル情報の量に依存する重み関数を計算す
ることにより部分的にこれをなす。本発明は肌色のマス
クに比例した量によりこの重みを増加する。斯くして修
飾された方法は肌色の色調を強調する傾向をより多く有
する。

【００２６】第三のサブシステムは絶対的な決定として
というよりはむしろ近似としてパターン認識器の出力を
また扱いうる。例えば特定の配置が顔を含むかを決定す
る代わりにパターン認識サブシステムが画像が顔を含む
計算されたパーセンテージ尤度があるかどうか決定す
る。この相対的測度は他の手段を介して得られた画像変
換と連続的な方法で結合されうる。

【図面の簡単な説明】

【図１】本発明の基本的なシステム及びシステム内での
データフローを示す図である。

【図２】図１のシステム内でのデータフローを示す論理
フローチャートである。

【符号の説明】

１０ デジタル画像を記憶しうる装置 １２ パターン分析器 １４ 第三のサブシステム １６ 第四のサブシステム

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 1/401 1/407 1/46 Ｈ０４Ｎ 1/40 １０１ Ａ １０１ Ｅ 1/46 Ｚ

Claims (2)

【特許請求の範囲】
1. 【請求項１】デジタル画像を記憶し；記憶された画像内
   の意味のある対象を識別し；変換を得るために識別され
   た意味のある対象を用い；得られた変換を記憶された画
   像に適用する各段階からなる自動的に画像を調整する方
   法。
2. 【請求項２】デジタル画像を記憶するよう適合された装
   置と；デジタル画像内の意味のある対象の存在及び位置
   を検出するよう適合されたパターン分析器と；パターン
   分析器によるデジタル画像内の意味のある対象の検出に
   応じて画像変換を得るよう適合された変換発生器と；記
   憶されたデジタル画像を変更するよう適合された変換画
   像とからなるデジタル画像を調整する電子的画像処理装
   置。