JP5640621B2 - 赤目オブジェクト候補を分類する方法、コンピューター読み取り可能な媒体および画像処理装置 - Google Patents

赤目オブジェクト候補を分類する方法、コンピューター読み取り可能な媒体および画像処理装置 Download PDF

Info

Publication number
JP5640621B2
JP5640621B2 JP2010226377A JP2010226377A JP5640621B2 JP 5640621 B2 JP5640621 B2 JP 5640621B2 JP 2010226377 A JP2010226377 A JP 2010226377A JP 2010226377 A JP2010226377 A JP 2010226377A JP 5640621 B2 JP5640621 B2 JP 5640621B2
Authority
JP
Japan
Prior art keywords
red
eye
eye object
determining
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010226377A
Other languages
English (en)
Other versions
JP2011081803A (ja
Inventor
ワング ジェ
ワング ジェ
ルカック ラスティスラブ
ルカック ラスティスラブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of JP2011081803A publication Critical patent/JP2011081803A/ja
Application granted granted Critical
Publication of JP5640621B2 publication Critical patent/JP5640621B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Description

本発明の実施形態はデジタル画像処理およびパターン認識に関する。より具体的に、本
発明の実施形態例はデジタル画像における赤目オブジェクトのブーストベースの枠組みを
用いた自動分類に関する。
赤目検出および補正技術はフラッシュを用いて取り込まれたデジタル写真における赤目
の影響を局部化し補正するためにプリンター、デジタルカメラ、フォトビューアー、およ
び画像編集ソフトウェアにおいて用いられる。ここ数年において赤目の検出および補正は
非常に進歩したものの、多数の問題が未解決のままである。例えば、赤目の検出および補
正は変化する照明、低画質および解像度、目のサイズおよび顔の向きの差異、ならびに現
実の複雑な場面における背景変化に対処しなければならない（例えば特許文献１参照。）
。
米国特許出願公開第２００８／２１８６０３号明細書
通常、赤目検出パイプラインの初期段階は真の赤目オブジェクトと間違って検出された
、偽の赤目オブジェクトとも呼ばれるいくつかの非赤目オブジェクトとを区別しなくては
ならない。偽の赤目オブジェクトは複雑な視覚場面において特に多い。偽の赤目オブジェ
クトはオブジェクトの色、構造的および幾何学的特徴の評価に基づき減らすことができる
。あいにく、多くの実世界のパターンは真の赤目オブジェクトは真の赤目オブジェクトと
類似した色および構造的特徴を示すので、検出パイプラインのより進んだ段階においてさ
えも多数の偽の赤目オブジェクトをもたらす。
本発明の赤目オブジェクト候補を分類する方法は、デジタル画像における赤目オブジェ
クト候補を分類する方法であって、
（１）デジタル画像における赤目オブジェクト候補を選択するステップと、
（２）前記赤目オブジェクト候補について検索スケールのセットおよび目オブジェクト
が存在し得る検索領域を決定するステップと、
（３）アダブースト分類器を満足するある数のサブウィンドウを決定するステップであ
って、前記数は票として示されるステップと、
（４）前記アダブースト分類器を満足する前記サブウィンドウの最大サイズを判定する
ステップと、
（５）所定定数の閾値に前記ステップ（４）で計算された前記最大サイズを掛けること
により正規化閾値を計算するステップと、
（６）前記票は前記正規化閾値より大きいことを判定するステップと、
（７）前記赤目オブジェクト候補を真の赤目オブジェクトに変換するステップとを有す
ることを特徴とする。
また、本発明の赤目オブジェクト候補を分類する方法において、（８）実際の赤目オブ
ジェクトをより良く表すために前記真の赤目オブジェクトの中心およびサイズを精緻化す
るステップを更に有することを特徴とする。
また、本発明の赤目オブジェクト候補を分類する方法において、（８）前記真の赤目オ
ブジェクトから赤目効果を取り除くことにより前記真の赤目オブジェクトを補正された目
オブジェクトに変換するステップをさらに有することを特徴とする。
一方、本発明のコンピューター読み取り可能な媒体は、プロセッサーにより実行される
とデジタル画像における赤目オブジェクト候補を分類する方法を実施するコンピューター
読み取り可能な命令を有する１つ以上のコンピューター読み取り可能な媒体であって、前
記方法は、
（１）デジタル画像における赤目オブジェクト候補を選択するステップと、
（２）前記赤目オブジェクト候補について検索スケールのセットおよび目オブジェクト
が存在し得る検索領域を決定するステップと、
（３）アダブースト分類器を満足するある数のサブウィンドウを決定するステップであ
って、前記数は票として示されるステップと、
（４）前記アダブースト分類器を満足する前記サブウィンドウの最大サイズを判定する
ステップと、
（５）所定定数の閾値に前記ステップ（４）で計算された前記最大サイズを掛けること
により正規化閾値を計算するステップと、
（６）前記票は前記正規化閾値より大きいことを判定するステップと、
（７）前記赤目オブジェクト候補を真の赤目オブジェクトに変換するステップとを有す
ることを特徴とする。
一方、本発明の画像処理装置は、
電子ディスプレイと、
前記電子ディスプレイと電子的に通信するプロセッサーと、
上記に記載の１つ以上のコンピューター読み取り可能な媒体とを有することを特徴とす
る。
また、本発明の画像処理装置において、前記画像処理装置はプリンターであり、
前記１つ以上のコンピューター読み取り可能な媒体はRAM、ROM、およびフラッシュEEPR
OMの１つ以上からなり、
前記電子ディスプレイは液晶ディスプレイであることを特徴とする。
ここで、本発明の赤目オブジェクト候補を分類する方法は、デジタル画像における赤目
オブジェクト候補を分類する方法であって、
（１）デジタル画像における赤目オブジェクト候補を選択するステップと、
（２）前記選択された赤目オブジェクトにおいて特定分類段階のアダブースト分類器を
通過したサブウィンドウの数を判定するステップと、
（３）以下の（ａ）または（ｂ）のどちらかの間の比率を計算するステップと、
（ａ）現行段階を通過した前記サブウィンドウの数および前の段階を通過した前記サ
ブウィンドウの数
（ｂ）現行段階を通過した前記サブウィンドウの数および前記アダブースト分類器で
テストされる前記サブウィンドウと前の段階を通過した前記サブウィンドウの数の差、
（４）前記比率が段階閾値以上であることを判定するステップと、
（５）前記赤目オブジェクト候補を真の赤目オブジェクトに変換するステップとを有す
ることを特徴とする。
Figure 0005640621
Figure 0005640621
また、本発明の赤目オブジェクト候補の分類方法において、実際の赤目オブジェクトを
より良く表すために前記真の赤目オブジェクトの中心およびサイズを精緻化するステップ
を有していても良い。
一方、本発明のコンピューター読み取り可能な媒体は、プロセッサーにより実行される
とデジタル画像における赤目オブジェクト候補を分類する方法を実施するコンピューター
読み取り可能な命令を有する１つ以上のコンピューター読み取り可能な媒体であって、前
記方法は、
（１）デジタル画像における赤目オブジェクト候補を選択するステップと、
（２）前記選択された赤目オブジェクトにおいて特定分類段階のアダブースト分類器を
通過したサブウィンドウの数を判定するステップと、
（３）次の（ａ）または（ｂ）のどちらかの間の比率を計算するステップと、
（ａ）現行段階を通過した前記サブウィンドウの数および前の段階を通過した前記サ
ブウィンドウの数
（ｂ）現行段階を通過した前記サブウィンドウの数および前記アダブースト分類器で
テストされる前記サブウィンドウと前の段階を通過した前記サブウィンドウの数の差、
（４）前記比率が段階閾値以上であることを判定するステップと、
（５）前記赤目オブジェクト候補を真の赤目オブジェクトに変換するステップとを有す
ることを特徴とする。
また、本発明の画像処理装置は、電子ディスプレイと、
前記電子ディスプレイと電子的に通信するプロセッサーと、
上記に記載の１つ以上のコンピューター読み取り可能な媒体とを有することを特徴とす
る。
また、本発明の画像処理装置において、前記画像処理装置はプリンターであり、
前記１つ以上のコンピューター読み取り可能な媒体はRAM、ROM、およびフラッシュEEPR
OMの１つ以上からなり、
前記電子ディスプレイは液晶ディスプレイであることを特徴とする。
一方ここで、本発明のデジタル画像における赤目オブジェクト候補を分類する方法は、
（１）デジタル画像における赤目オブジェクト候補を選択するステップと、
（２）アダブースト分類器を通過した前記赤目オブジェクト候補におけるサブウィンド
ウの中心ピクセルと前記デジタル画像における他のすべてのピクセルとを区別するバイナ
リーマップを作成するステップと、
（３）前記中心ピクセルの境界箱の面積を判定するステップと、
（４）前記バイナリーマップにラベル付けし、連結されたピクセルを複数のオブジェク
トにグループ化するステップと、
（５）前記バイナリーマップにおける前記オブジェクトの数を判定するステップと、
（６）前記バイナリーマップにおける前記オブジェクトの極大面積を判定するステップ
と、
（７）前記極大面積の境界箱の面積に対する比率を計算するステップと、
（８）前記比率が閾値以上であることを判定するステップと、
（９）前記赤目オブジェクト候補を真の赤目オブジェクトに変換するステップとを有す
ることを特徴とする。
また、本発明の赤目オブジェクト候補を分類する方法において、
（１０）実際の赤目オブジェクトをより良く表すために前記真の赤目オブジェクトの中
心およびサイズを精緻化するステップをさらに有することを特徴とする。
さらに、本発明のコンピューター読み取り可能な媒体は、プロセッサーにより実行され
るとデジタル画像における赤目オブジェクト候補を分類する方法を実施するコンピュータ
ー読み取り可能な命令を有する１つ以上のコンピューター読み取り可能な媒体であって、
前記方法は、
（１）デジタル画像における赤目オブジェクト候補を選択するステップと、
（２）アダブースト分類器を通過した前記赤目オブジェクト候補におけるサブウィンド
ウの中心ピクセルと前記デジタル画像における他のすべてのピクセルとを区別するバイナ
リーマップを作成するステップと、
（３）前記中心ピクセルの境界箱の面積を判定するステップと、
（４）前記バイナリーマップにラベル付けし、連結されたピクセルを複数のオブジェク
トにグループ化するステップと、
（５）前記バイナリーマップにおける前記オブジェクトの数を判定するステップと、
（６）前記バイナリーマップにおける前記オブジェクトの極大面積を判定するステップ
と、
（７）前記極大面積の境界箱の面積に対する比率を計算するステップと、
（８）前記比率が閾値以上であることを判定するステップと、
（９）前記赤目オブジェクト候補を真の赤目オブジェクトに変換するステップとを有す
ることを特徴とする。
ここで、本発明の画像処理装置は、
電子ディスプレイと、
前記電子ディスプレイと電子的に通信するプロセッサーと、
上記に記載の１つ以上のコンピューター読み取り可能な媒体とを有することを特徴とす
る。
本発明の画像処理装置において、前記画像処理装置はプリンターであり、
前記１つ以上のコンピューター読み取り可能な媒体はRAM、ROM、およびフラッシュEEPROMの１つ以上からなり、
前記電子ディスプレイは液晶ディスプレイであることを特徴とする。
また、本発明の一の画像処理装置は、デジタル画像における赤目オブジェクト候補を分類する画像処理装置であって、
（１）デジタル画像における赤目オブジェクト候補を選択する選択手段と、
（２）前記赤目オブジェクト候補について検索スケールのセットおよび目オブジェクトが存在し得る検索領域を決定する決定手段と、
（３）アダブースト分類器を満足するある数のサブウィンドウを決定する決定手段であって、前記数は票として示される決定手段と、
（４）前記アダブースト分類器を満足する前記サブウィンドウの最大サイズを判定する
判定手段と、
（５）所定定数の閾値に前記ステップ（４）で計算された前記最大サイズを掛けること
により正規化閾値を計算する計算手段と、
（６）前記票は前記正規化閾値より大きいことを判定する判定手段と、
（７）前記赤目オブジェクト候補を真の赤目オブジェクトに変換する変換手段とを有することを特徴とする。
また、本発明の他の画像処理装置は、デジタル画像における赤目オブジェクト候補を分類する画像処理装置であって、
（１）デジタル画像における赤目オブジェクト候補を選択する選択手段と、
（２）前記選択された赤目オブジェクトにおいて特定分類段階のアダブースト分類器を通過したサブウィンドウの数を判定する判定手段と、
（３）次の（ａ）または（ｂ）のどちらかの間の比率を計算する計算手段と、
（ａ）現行段階を通過した前記サブウィンドウの数および前の段階を通過した前記サ
ブウィンドウの数、
（ｂ）現行段階を通過した前記サブウィンドウの数および前記アダブースト分類器で
テストされる前記サブウィンドウと前の段階を通過した前記サブウィンドウの数の差、
（４）前記比率が段階閾値以上であることを判定する判定手段と、
（５）前記赤目オブジェクト候補を真の赤目オブジェクトに変換する変換手段とを有することを特徴とする。
また、本発明の他の画像処理装置は、デジタル画像における赤目オブジェクト候補を分類する画像処理装置であって、
（１）デジタル画像における赤目オブジェクト候補を選択する選択手段と、
（２）アダブースト分類器を通過した前記赤目オブジェクト候補におけるサブウィンドウの中心ピクセルと前記デジタル画像における他のすべてのピクセルとを区別するバイナリーマップを作成する作成手段と、
（３）前記中心ピクセルの境界箱の面積を判定する判定手段と、
（４）前記バイナリーマップにラベル付けし、連結されたピクセルを複数のオブジェクトにグループ化するグループ化手段と、
（５）前記バイナリーマップにおける前記オブジェクトの数を判定する判定手段と、
（６）前記バイナリーマップにおける前記オブジェクトの極大面積を判定する判定手段と、
（７）前記極大面積の境界箱の面積に対する比率を計算する計算手段と、
（８）前記比率が閾値以上であることを判定する判定手段と、
（９）前記赤目オブジェクト候補を真の赤目オブジェクトに変換する変換手段とを有することを特徴とする。
プリンター例の概略的描写である。 自動的赤目検出および補正の方法例のフローチャートである。 ハール的な5つの矩形特徴テンプレートを開示する図である。 赤目分類方法の第1例のフローチャートである。 赤目分類方法の第2例のフローチャートである。 赤目分類方法の第3例のフローチャートである。 赤目分類方法の第4例のフローチャートである。 赤目分類方法の第5例のフローチャートである。 赤目分類方法の第6例のフローチャートである。
発明の実施形態例をさらに展開するために、これらの例のより具体的な説明が添付図面
に開示されるその具体的な実施形態を参照してなされる。これらの図面は発明の実施形態
例のみを描き、従ってその範囲を限定するものとはみなされないことが理解されよう。ま
た図面は発明の実施形態例の図解的および概略的な表現であり、本発明を制限するもので
はないことが理解されよう。発明の実施形態例は添付図面を用いてさらに具体的かつ詳細
に説明される。
一般的に、実施形態例はデジタル画像における赤目オブジェクトのブーストベースの枠
組みを用いた自動分類の方法に関する。いくつかの実施形態例は高速の演算速度を保ち検
出パイプラインの性能を向上させながら検出パイプラインの後期段階において高度の機能
および分類器を用いる。
第1実施形態例において、デジタル写真画像の赤目オブジェクト候補を分類する方法は
いくつかの行為を含む。最初に、デジタル写真画像における赤目オブジェクト候補が選択
される。次に、赤目オブジェクト候補について検索スケールセットおよび目オブジェクト
が存在し得る検索領域が決定される。次にアダブースト分類器を満足するサブウィンドウ
の数が決定される。この数は票で示される。次に、アダブースト分類器を満足するサブウ
ィンドウの最大サイズが決定される。次に、票が正規化された閾値と比較される。最後に
、票が正規化された閾値より大きい場合赤目オブジェクト候補は真の赤目オブジェクトに
変換される。
第2実施形態例において、デジタル写真画像の赤目オブジェクト候補を分類する別の方
法はいくつかの行為を含む。最初に、デジタル写真画像における赤目オブジェクト候補が
選択される。次に、選択された赤目オブジェクト候補について、特定の分類段階に対しア
ダブースト分類器を通過したサブウィンドウの数が決定される。次に：現行段階を通過し
たサブウィンドウの数と先行段階を通過したサブウィンドウの数、または現行段階を通過
したサブウィンドウの数とアダブースト分類器によりテストされた合計数および先行段階
を通過したサブウィンドウの数の差、のいずれかと間の比率が計算される。次に比率が段
階閾値と比較される。最後に、この比率が段階閾値以上であると判定された場合赤目オブ
ジェクト候補は真の赤目オブジェクトに変換される。
第3実施形態例において、デジタル写真画像の赤目オブジェクト候補を分類するさらに
別の方法はいくつかの行為を含む。最初に、デジタル写真画像における赤目オブジェクト
候補が選択される。次に、アダブースト分類器を通過した赤目オブジェクト候補のサブウ
ィンドウの中央ピクセルとデジタル写真画像の他のすべてのピクセルとを区別するバイナ
リーマップが作成される。次に、中央ピクセルの境界箱の面積が決定される。次に、バイ
ナリーマップがラベル付けされ、複数のオブジェクトに連結されたピクセルがグループ化
される。次にバイナリーマップにおけるオブジェクトの数が判定される。次にバイナリー
マップにおけるオブジェクトの極大面積が判定される。次に、境界箱の面積に対する極大
面積の比率が計算される。次に比率が閾値と比較される。最後にこの閾値以上であると判
定された場合赤目オブジェクト候補は真の赤目オブジェクトに変換される。
第4、第5、および第6実施形態例において、1つ以上のコンピューター読み取り可能な媒
体はプロセッサーにより実行されると各々第1、第2、および第3実施形態に関して上述さ
れた方法を実施するコンピューター読み取り可能な命令を有する。
上記要約的説明は、以下の「詳細な説明」においてさらに説明されるいくつか選択され
た概念を簡略化された形で紹介するために提供される。本「要約」はクレームされる主題
の主要な特長または不可欠な特徴を特定することを意図しておらず、またクレームされる
主題の範囲を判定する手掛かりとして用いられることを意図していない。
さらなる特長は続く説明において示され、部分的には説明から自明となり、または本明
細書の教示を実施することにより知ることができる。発明の特長は添付クレームで具体的
に指摘される手段および組み合わせにより実現し、取得することができる。本発明の特長
は続く説明および添付クレームからより完全に明らかになり、または以降述べられる発明
の実施により知ることができる。
以下の詳細な説明において、発明の実施形態例を例示的に示す添付図面が参照される。
図面において、各々の図を通して実質的に類似した構成要素は類似した数字が表している
。これらの実施形態は当業者が発明を実施できるよう充分に詳細に説明される。本発明の
範囲から逸脱することなく他の実施形態も利用でき、構造的、論理的、および電気的な変
更を加えることができる。さらに、発明のさまざまな実施形態は異なってはいるが、必ず
しも互いに排他的ではないことが理解されよう。例えば、一実施形態において説明される
特定の特長、構造、または特徴は他の実施形態内に含まれ得る。従って以下の詳細な説明
は限定的な意味で捉えるべきでなく、本発明の範囲は添付クレームとともに、このような
クレームが権利を有する均等物の全範囲によってのみ規定される。
一般的に、実施形態例はデジタル画像における赤目オブジェクトのブーストベースの枠
組みを用いた自動分類のシステムおよび方法に関する。実施形態例は赤目オブジェクト候
補のリストから偽の赤目オブジェクトを識別し取り除くために用いることができる。さら
にいくつかの実施形態例はさらなる処理用に真の赤目オブジェクトを精緻化する。
（I．環境例）
本明細書で開示される方法例およびその変形はコンピューター実行可能な命令またはデ
ータ構造を搭載または有するコンピューター読み取り可能な媒体を用いて実施することが
できる。このようなコンピューター読み取り可能な媒体は汎用または特殊用途のコンピュ
ーターのプロセッサーによりアクセスできる任意の入手可能な媒体であって良い。限定で
はなく例として、このようなコンピューター読み取り可能な媒体はRAM、ROM、EEPROM、CD
‐ROMもしくは他の光ディスク記憶、磁気ディスク記憶もしくは他の磁気記憶装置、また
はコンピューター実行可能な命令またはデータ構造の形でプログラムコードを搭載または
有し、汎用または特殊用途のコンピューターのプロセッサーによりアクセスできる他の任
意の媒体を有してなる。上記の組み合わせもコンピューター読み取り可能な媒体の範囲に
含めるべきである。
コンピューター実行可能な命令は例えば汎用コンピューターまたは特殊用途のコンピュ
ーターのプロセッサーに特定の機能または機能のグループを実施させる命令およびデータ
を有してなる。本明細書において主題は方法行為固有の言葉で説明されているが、添付ク
レームで定義される主題は必ずしも本明細書に説明される具体的な行為に限定されないこ
とが理解されよう。むしろ、本明細書に説明される具体的な行為はクレームを実施する形
態例として開示される。
特殊用途のコンピューターの例はデジタルカメラ（例としては長野県諏訪市大和に本社
を置くセイコーエプソン（株）製のデジタルカメラR‐D1が含まれるが、これに限定され
ない）、デジタル文書カメラ（例としてセイコーエプソン（株）製のEpsonDC‐10s文書カ
メラを含むがこれに限定されない）、デジタルカムコーダー、プロジェクター、プリンタ
ー（例としてはすべてセイコーエプソン（株）製のEpson Artisan（登録商標）50インク
ジェットプリンター、Epson Work Force 30および40インクジェットプリンター、Epson S
tylus C88＋ｍ、Photo R280、Photo 1400、Photo R1900、およびPhoto R2880インクジェ
ットプリンター、ならびにEpson B‐300およびB‐500DNカラービジネスインクジェットプ
リンターを含むがこれらに限定されない）、スキャナー（例としてはすべてセイコーエプ
ソン（株）製のEpson Perfection（Ｃ）V30、V200、V300、V500、V700、4490、V750‐MPr
o、および4490、Epson Expression（Ｃ）10000XL、ならびにEpson GT‐S80、GT‐1500、G
T‐2500、GT‐15000、GT‐20000、およびGT‐30000を含むがこれらに限定されない）、コ
ピー機、携帯フォトビューアー（例としてはすべてセイコーエプソン（株）製のEpson P
‐3000、P‐5000、P‐6000、およびP‐7000携帯フォトビューアーを含むがこれらに限定
されない）、または携帯映画プレーヤー、またはプリンター／スキャナーコピー機の組み
合わせまたは「オールインワン」（例としてはすべてセイコーエプソン（株）製のEpson
Stylus Photo RX580、RX595、またはRX680、Epson Stylus CX4400、CX7400、CX8400、ま
たはCX9400Fax、Epson AcuLaser（登録商標）CX11NFおよびEpson Artisan（登録商標）50
0、600、700、および800が含まれるが、これらに限定されない）またはデジタルカメラ／
カムコーダーの組み合わせなどこれらの何らかの組み合わせのような画像処理装置を含む
。
画像処理装置は自動赤目検出および補正機能を含むことができ、これは例えばデジタル
写真における赤目オブジェクトを自動的に検出し補正する自動赤目オブジェクト分類機能
を含む。例えば、自動赤目検出および補正機能を有するプリンターは本明細書で開示され
る方法例を実施する１つ以上のコンピューター読み取り可能な媒体を含むことができ、ま
たはプリンターに接続されたコンピューターが本明細書で開示される方法例を実施する１
つ以上のコンピューター読み取り可能な媒体を含むことができる。
任意の撮像装置を用いることが可能であるが、例示上図1において100で概略的表示が示
されるプリンターの例に関連して実施形態例を説明する。プリンター100の実施携帯例は
本明細書で開示されるプリンター機種またはプリンター／スキャナー／コピー機の「オー
ルインワン」機種を含むが、これらに限定されない。
プリンター例100は介在インターフェイス102経由でホストコンピューター150とデータ
を交換する。アプリケーションプログラムおよびプリンタードライバーもホストコンピュ
ーター150上に記憶されアクセスすることができる。画像検索命令が例えばアプリケーシ
ョンプログラムから受信されると、プリンタードライバーは命令データのプリンター100
に適したフォーマットへの変換を制御し、変換された命令データをプリンター100に送信
する。ドライバーはさらにプリンター100からのさまざまな信号およびデータを受信し解
釈し、ホストコンピューター150経由で必要な情報をユーザーに提供する。
ホストコンピューター150からデータが送信されると、インターフェイス102はデータを
受信し、RAM104の一部を形成する受信バッファーに記憶する。RAM104は例えばアドレス指
定を通していくつかの部分に分け、受信バッファーまたは送信バッファーなどの異なるバ
ッファーとして割り当てることができる。例えば、デジタル写真画像データをホストコン
ピューター150からプリンター100に送信することができる。デジタル写真画像データはま
たプリンター100によりフラッシュEEPROM106またはROM108から得ることができる。このデ
ジタル写真画像データはその後RAM104の受信バッファーまたは送信バッファーに記憶する
ことができる。
プロセッサー110は例えばROM108またはフラッシュEEPROM110に記憶されたコンピュータ
ー実行可能な命令を用いて本明細書で開示される自動赤目検出および補正または自動赤目
オブジェクト分類の方法例などの特定機能または機能のグループを実施する。RAM104の受
信バッファーにおけるデータが例えばデジタル写真画像である場合、プロセッサー110は
本明細書で開示される自動赤目検出および補正の方法例の方法行為をデジタル写真画像に
実施し、デジタル写真画像における赤目オブジェクトを自動的に検出し、次に補正するこ
とができる。補正されたデジタル写真画像は次に例えばプレビュー表示用にディスプレイ
112へ、印刷用に印刷機構114へ、または記憶もしくは表示用にホストコンピューター150
へ送信されることができる。プロセッサー110はディスプレイ112と電子的に通信しており
、後者は任意の種類の電子ディスプレイであって良く、液晶ディスプレイ（LCD）などの
視覚的ディスプレイ含むがこれに限定されない。プロセッサー110はさらに印刷機構114と
電子的に通信しており、後者は任意の種類の印刷機構であって良く、インクジェット、レ
ーザー、LED／LCD、インパクト、ソリッドインク、および昇華型印刷機構を含むがこれら
に限定されない。
（II．自動赤目検出および補正の方法例）
図2は自動的赤目検出および補正の方法例のフローチャートである。方法例200はブース
トベースの枠組みを用いてデジタル写真画像における赤目オブジェクトを検出し補正する
。従って、方法例200は1つ以上の赤目オブジェクトを有するデジタル写真画像の、赤目オ
ブジェクトがより少ないまたはない補正デジタル写真画像への変換をもたらす。方法200
のさまざまな行為を次に順に説明する。
Figure 0005640621
Figure 0005640621
Figure 0005640621
Figure 0005640621
最後に210で、確認された真の赤目オブジェクト各々から赤目効果を除去することによ
り元のデジタル写真が赤目補正デジタル写真に変換される。赤目効果は赤目補正の任意の
知られた方法を用いて除去することができる。
自動的赤目検出および補正の方法例200は物理的で有形のオブジェクトを表す電子デー
タを変換することが特記される。具体的に、方法例200は例えば人間または風景など実世
界の視覚的場面を表す写真画像の電子データ表現を変換する。方法例200の際、データは
第1状態から第2状態に変換される。第1状態において、データは実世界の視覚的場面を表
し、場面には赤目オブジェクトが存在する。第2状態において、データは赤目オブジェク
トが場面から除去された実世界の視覚的場面を表す。
（III．ブーストベースの手法）
ブーストベースの手法は高度の一般化能力を有する集団ベースの分類器を設計するのに
効率的に用いることができる。ブーストベースの手法の一例はPaul ViolaおよびMichael
JonesのFast and Robust Classification Using Asymmetric Adaboost and a Detector C
ascade（非対称アダブーストおよび検出器カスケードを用いた高速かつ強固な分類）、20
01 Proc．of Neural Information Processing Systems、において提案されるブーストベ
ースの顔検出システムで、その開示は引用により全体として本明細書に組み入れられる。
ブーストの背後にある基本的な考えは各々解決すべき問題の異なる面を的にした「弱」分
類器のセットを生成することである。生成された弱分類器を次に「強」分類器に組み合わ
される（ブーストされる）。多様な分類器のセットを生成するために、ブースト方法は弱
分類器の各々を訓練サンプルセットの加重版で訓練する。訓練プロセスの各反復において
、加重は分類エラーで駆動される機構を通して更新される。ブーストは強い一般化能力を
示し、過学習を防ぐことにおいて他の多くの機械学習アルゴリズムを凌ぐ。
アダブースト（適応型ブースト）として知られる1つの一般的なブーストベースの手法
はYoav FreundおよびRobert E．SchapireのA Decision‐Theoretic Generalization of O
n‐Line Learning and an Application to Boosting（オンライン学習の決定理論的一般
化およびブーストへの適用）、55 J．Computer and System Sci、119‐139頁（1997年）
において提案され、その開示は引用により全体として本明細書に組み入れられる。アダブ
ーストの主な考え方は訓練セットにわたり加重のセットを維持することである。加重は最
初すべて等しく設定される。訓練プロセスの反復毎に加重は更新され、不正確に分類され
た例の加重が増やされる。これは現行の弱分類器が難しい例に集中するようにする。
Figure 0005640621
顔認識において、アダブーストアルゴリズムは顔と顔でないオブジェクトを区別する特
徴を選択するために適用される。アダブーストオブジェクト検出システムは；i）過完全
ハール的矩形特徴を構築すること；ii）有効な特徴を選択し選択された特徴に基づき弱分
類器を構築すること、および；iii）各弱分類器を強分類器にブーストすること、の3つの
主要なモジュールで構成される。
各々顔特徴の一部を表し得る膨大な数のハール的矩形特徴がまず構築される。次にアダ
ブーストアルゴリズムを利用して最も有効な特徴の限られた数を選択し対応する弱分類器
を構築する。これらの弱分類器は次に与えられた例が検出されるべきオブジェクトである
かを判定するためにバイナリー分類を実施する強分類器に組み合わされる。
ハール的特徴の演算を速めるために、総面積表手法または積分画像手法を用いることが
できる。加えて、さらに検出速度および精度を向上させるために、単純から複雑なカスケ
ード構造も用いることができる。いくつかの強分類器（通常段階として示される）が前の
強分類器を通過した例のみが現行の強分類器を訓練するのに用いられるといった形でブー
トストラップ的に構築される。
検出において、強分類器を通過できないサブウィンドウは続く強分類器によりさらに処
理されない。この戦略は多数の分類し易い背景領域を迅速に退けることを可能にし、より
分類が難しい少数の例に集中するので検出速度をかなり高め、偽陽性を削減する。検出に
おいて、入力画像が異なる位置で異なるスケールのサブウィンドウを抽出するためにスキ
ャンされる。これらのサブウィンドウは次に訓練されたアダブースト分類器により検出さ
れ、またはされないオブジェクトとして分類される。
（IV．特徴テンプレート例）
ここで赤目検出パイプラインにおいて特定されたオブジェクト候補の分類にアダブース
ト枠組みが採用される。赤目の特性は普通の顔の特性と異なるので、ブースト技術を用い
た有効な赤目検出を保証するために図3に開示される5つのハール的矩形特徴テンプレート
を用いて目の特徴が特性化される。特徴テンプレート300の各々は’＋2’、’−1’、お
よび’−3’など、対応ピクセル値で掛けられるさまざまな加重を含む。最初の3つのテン
プレート302、304、および306は人間の目の通常暗い虹彩領域および白く見える強膜領域
の対比を取り込むのに用いられる。最後の2つのテンプレート308および310は左および右
目の角領域の特性、すなわち皮膚および強膜領域間の対比、を取り込もうとしている。
ほとんどのオブジェクト検出用途において、高い処理速度を達成するためにアダブース
ト分類器は通常グレースケール画像に対し訓練され適用される。しかし赤目オブジェクト
は有意な色特性を発揮するので赤目検出についてグレースケール画像は最良の選択でない
かもしれない。さらに、目のサイズは顔のサイズよりはるかに小さく、赤緑青（RGB）色
データなど多次元データが用いられる場合でも高い処理速度が達成可能であることを示唆
している。従って、異なる赤色信号を利用してより高い赤目分類性能を達成することがで
きる。赤色信号の例はRチャンネル、R‐GおよびR‐Bの差、および2R‐G‐B赤色信号を含
むがこれらに限定されない。
次に赤目オブジェクトを分類するいくつかの方法例が開示される。これら方法例の各々
は物理的で有形のオブジェクトを表す電子データを変換することが特記される。具体的に
、これらの方法例の各々は例えば1人以上の人間の写真など実世界の視覚的場面を表す写
真画像における赤目オブジェクト候補のリストの電子データ表現を変換する。これらの方
法例の際、データは第1状態から第2状態に変換される。第1状態において、データは実世
界の視覚的場面における赤目オブジェクト候補のリストを表す。第2状態において、デー
タは赤目オブジェクトが場面から除去された実世界の視覚的場面における真の赤目オブジ
ェクトのリストを表し、偽の赤目オブジェクトはリストから取り除かれている。
（V．赤目オブジェクト候補を分類する第1方法例）
次に図4を参照すると、デジタル写真画像における赤目オブジェクト候補を分類し精緻化
する第1方法例400が開示される。アダブーストシステムの分類精度を向上させるために、
方法例400は正規化票決スキームを用いる。この票決スキームはオブジェクト候補のサイ
ズのばらつきによる誤分類を防ぐ。次に方法400のさまざまな行為を順に説明される。
Figure 0005640621
Figure 0005640621
Figure 0005640621
Figure 0005640621
（VI．赤目オブジェクト候補を分類する第2方法例）
次に図5を参照すると、デジタル写真画像における赤目オブジェクト候補を分類する第2
方法例500が開示される。上述のように、望まれる検出および分類性能を達成するために
アダブーストでいくつかの段階が用いられる。一般的に16までの段階を用いることができ
、これらの段階の各々において大量の計算が実施されるので、アダブーストカスケードの
初期段階で偽の候補を排除することはアダブーストにおける段階の数およびカスケードに
より処理される候補の数双方を削減することにより演算上の複雑さを削減するのに役立つ
ことができる。
さらに、偽の候補の除去と同時に望まれる候補の保存はアダブーストの検出および分類
性能を向上させることができる。方法500はアダブーストの段階情報を用いることにより
その性能および演算上の効率双方を高める。次に方法500のさまざまな行為を順に説明す
る。
Figure 0005640621
具体的に504で、現行段階を通過したサブウィンドウの数および前の段階を通過したサ
ブウィンドウの数間の比率が計算され、または506で、現行段階を通過したサブウィンド
ウの数およびアダブースト分類器によりテストされるサブウィンドウの総数と前の段階を
通過したサブウィンドウの数との差間の比率が計算される。次に508で、比率は段階閾値
と比較される。比率が段階閾値未満である場合、510で赤目オブジェクト候補は偽の赤目
オブジェクトとして分類される。逆に、比率が段階閾値以上である場合、512で赤目オブ
ジェクト候補は真の赤目オブジェクトとして分類される。
Figure 0005640621
方程式（1）と同様に、方程式（2）はアダブーストカスケードの最も低い段階において
用い得る。さらに行為504および506の比率計算は方程式（1）および方程式（2）に呈示さ
れる実施形態に限定されないことが理解されよう。逆にアダブースト段階情報に基づく他
の任意の解決を代わりに用いてその前のアダブースト分類手順に加えて分類を実施するこ
とができる。
（VII．赤目オブジェクト候補を分類する第3方法例）
次に図6を参照すると、デジタル写真画像における赤目オブジェクト候補を分類する第3
方法例600が開示される。画像で重なり合う大きな領域に複数の目が現れるのは珍しいの
で、方法600は重なり合うオブジェクトを検索することにより偽の赤目オブジェクトを削
減する。
Figure 0005640621
（VIII．赤目オブジェクト候補を分類する第4方法例）
次に図7を参照すると、デジタル写真画像における赤目オブジェクト候補を分類する第4
方法例700が開示される。方法700はアダブースト分類器を通過し得る真の赤目オブジェク
トのサブウィンドウにおける中心の分布は偽の赤目オブジェクトのとは全く異なるという
観察に基づく。一般的に、真の赤目オブジェクトの場合、正確な位置の局部的近傍に互い
に連結され、または近接する複数の検出がある。これは検出された対応する中心のコンパ
クトな空間的分布をもたらす。しかし、偽の赤目オブジェクトの場合、検出は通常不確か
で、散乱した中心の分布をもたらす。
Figure 0005640621
Figure 0005640621
Figure 0005640621
次に708で、バイナリーマップにおけるオブジェクトの数が判定される。次に710で、バ
イナリーマップにおけるオブジェクトの極大面積が判定される。次に712で、極限面積と
境界箱の面積との比率が計算される。次に714で、比率は閾値と比較される。比率が閾値
未満の場合、716で赤目オブジェクト候補は偽の赤目オブジェクトとして分類される。逆
に比率が閾値以上の場合、赤目オブジェクト候補は真の赤目オブジェクトとして分類され
る。
Figure 0005640621
Figure 0005640621
実験により、検出率をほとんど犠牲にすることなく多数の偽の赤目オブジェクトを除去
できることが示されている。方法700は上記擬似コードに示される実施形態に限定されず
、本実施形態の理論的根拠に従うことによりいくつかの分類器を設計できることが理解さ
れよう。
（IX．赤目オブジェクト候補を分類する第5方法例）
次に図8を参照すると、デジタル写真画像における赤目オブジェクト候補の第5方法例80
0が開示される。票が少ない候補は偽の赤目オブジェクトである可能性が高いことが発見
的に見出されている。これは票が所定閾値より低い候補は除去されるべきことを示唆して
いる。あいにく最適な閾値は異なる画像で変化する。例えば目の領域がより大きい肖像画
風の画像において、真の画像オブジェクトは通常多数の票を得る。他方、低解像度画像ま
たは複数の顔を含む画像において、真の赤目オブジェクトのサイズは通用より小さく、よ
り少数の票が得られる。
Figure 0005640621
（X．赤目オブジェクト候補を分類する第6方法例）
次に図9を参照すると、デジタル写真画像における赤目オブジェクト候補を分類する第6
方法例900が開示される。分類結果を向上させ検出性能を高めるために、見当たらない目
を同じ目のペアから検出された隣の目の特性に基づき回復することができる。このような
特性は目のサイズ、形、および色を含み得るが、これらに限定されない。
例えば、典型的な人間の顔における顔のサイズと両目の間の距離が与えられると、第2
の目は検出された第1の目の瞳孔または眼球のサイズに基づき回復することができる。方
法例900はこの原理に基づく。
Figure 0005640621
Figure 0005640621
本明細書で開示される実施形態例は他の具体的な形で具現されることができる。本明細
書で開示される実施形態例はすべての面において限定的ではなく、単に例示的であるとみ
なされる。
１００ プリンター、１０４ ＲＡＭ、１０６ フラッシュＥＥＰＲＯＭ、１０８ Ｒ
ＯＭ、１１０ プロセッサー、１１２ ディスプレイ、１１４ 印刷機構。

Claims (18)

  1. デジタル画像における赤目オブジェクト候補を分類する方法であって、
    （１）デジタル画像における赤目オブジェクト候補を選択するステップと、
    （２）前記赤目オブジェクト候補について検索スケールのセットおよび目オブジェクト
    が存在し得る検索領域を決定するステップと、
    （３）アダブースト分類器を満足するある数のサブウィンドウを決定するステップであ
    って、前記数は票として示されるステップと、
    （４）前記アダブースト分類器を満足する前記サブウィンドウの最大サイズを判定する
    ステップと、
    （５）所定定数の閾値に前記ステップ（４）で計算された前記最大サイズを掛けること
    により正規化閾値を計算するステップと、
    （６）前記票は前記正規化閾値より大きいことを判定するステップと、
    （７）前記赤目オブジェクト候補を真の赤目オブジェクトに変換するステップとを有す
    る赤目オブジェクト候補を分類する方法。
  2. （８）実際の赤目オブジェクトをより良く表すために前記真の赤目オブジェクトの中心
    およびサイズを精緻化するステップを更に有する請求項１に記載の赤目オブジェクト候補
    を分類する方法。
  3. （８）前記真の赤目オブジェクトから赤目効果を取り除くことにより前記真の赤目オブ
    ジェクトを補正された目オブジェクトに変換するステップをさらに有する請求項１に記載
    の赤目オブジェクト候補を分類する方法。
  4. プロセッサーにより実行されるとデジタル画像における赤目オブジェクト候補を分類す
    る方法を実施するコンピューター読み取り可能な命令を有する１つ以上のコンピューター
    読み取り可能な媒体であって、前記方法は、
    （１）デジタル画像における赤目オブジェクト候補を選択するステップと、
    （２）前記赤目オブジェクト候補について検索スケールのセットおよび目オブジェクト
    が存在し得る検索領域を決定するステップと、
    （３）アダブースト分類器を満足するある数のサブウィンドウを決定するステップであ
    って、前記数は票として示されるステップと、
    （４）前記アダブースト分類器を満足する前記サブウィンドウの最大サイズを判定する
    ステップと、
    （５）所定定数の閾値に前記ステップ（４）で計算された前記最大サイズを掛けること
    により正規化閾値を計算するステップと、
    （６）前記票は前記正規化閾値より大きいことを判定するステップと、
    （７）前記赤目オブジェクト候補を真の赤目オブジェクトに変換するステップとを有す
    るコンピューター読み取り可能な媒体。
  5. デジタル画像における赤目オブジェクト候補を分類する画像処理装置であって、
    （１）デジタル画像における赤目オブジェクト候補を選択する選択手段と、
    （２）前記赤目オブジェクト候補について検索スケールのセットおよび目オブジェクトが存在し得る検索領域を決定する決定手段と、
    （３）アダブースト分類器を満足するある数のサブウィンドウを決定する決定手段であって、前記数は票として示される決定手段と、
    （４）前記アダブースト分類器を満足する前記サブウィンドウの最大サイズを判定する
    判定手段と、
    （５）所定定数の閾値に前記ステップ（４）で計算された前記最大サイズを掛けること
    により正規化閾値を計算する計算手段と、
    （６）前記票は前記正規化閾値より大きいことを判定する判定手段と、
    （７）前記赤目オブジェクト候補を真の赤目オブジェクトに変換する変換手段とを有する画像処理装置。
  6. 前記画像処理装置はプリンターである請求項５に記載の画像処理装置。
  7. デジタル画像における赤目オブジェクト候補を分類する方法であって、
    （１）デジタル画像における赤目オブジェクト候補を選択するステップと、
    （２）前記選択された赤目オブジェクトにおいて特定分類段階のアダブースト分類器を
    通過したサブウィンドウの数を判定するステップと、
    （３）以下の（ａ）または（ｂ）のどちらかの間の比率を計算するステップと、
    （ａ）現行段階を通過した前記サブウィンドウの数および前の段階を通過した前記サ
    ブウィンドウの数
    （ｂ）現行段階を通過した前記サブウィンドウの数および前記アダブースト分類器で
    テストされる前記サブウィンドウと前の段階を通過した前記サブウィンドウの数の差、
    （４）前記比率が段階閾値以上であることを判定するステップと、
    （５）前記赤目オブジェクト候補を真の赤目オブジェクトに変換するステップとを有す
    る赤目オブジェクト候補を分類する方法。
  8. Figure 0005640621
  9. Figure 0005640621
  10. 実際の赤目オブジェクトをより良く表すために前記真の赤目オブジェクトの中心および
    サイズを精緻化するステップをさらに有する請求項７に記載の赤目オブジェクト候補を分
    類する方法。
  11. プロセッサーにより実行されるとデジタル画像における赤目オブジェクト候補を分類す
    る方法を実施するコンピューター読み取り可能な命令を有する１つ以上のコンピューター
    読み取り可能な媒体であって、前記方法は、
    （１）デジタル画像における赤目オブジェクト候補を選択するステップと、
    （２）前記選択された赤目オブジェクトにおいて特定分類段階のアダブースト分類器を
    通過したサブウィンドウの数を判定するステップと、
    （３）次の（ａ）または（ｂ）のどちらかの間の比率を計算するステップと、
    （ａ）現行段階を通過した前記サブウィンドウの数および前の段階を通過した前記サ
    ブウィンドウの数、
    （ｂ）現行段階を通過した前記サブウィンドウの数および前記アダブースト分類器で
    テストされる前記サブウィンドウと前の段階を通過した前記サブウィンドウの数の差、
    （４）前記比率が段階閾値以上であることを判定するステップと、
    （５）前記赤目オブジェクト候補を真の赤目オブジェクトに変換するステップとを有す
    るコンピューター読み取り可能な媒体。
  12. デジタル画像における赤目オブジェクト候補を分類する画像処理装置であって、
    （１）デジタル画像における赤目オブジェクト候補を選択する選択手段と、
    （２）前記選択された赤目オブジェクトにおいて特定分類段階のアダブースト分類器を通過したサブウィンドウの数を判定する判定手段と、
    （３）次の（ａ）または（ｂ）のどちらかの間の比率を計算する計算手段と、
    （ａ）現行段階を通過した前記サブウィンドウの数および前の段階を通過した前記サ
    ブウィンドウの数、
    （ｂ）現行段階を通過した前記サブウィンドウの数および前記アダブースト分類器で
    テストされる前記サブウィンドウと前の段階を通過した前記サブウィンドウの数の差、
    （４）前記比率が段階閾値以上であることを判定する判定手段と、
    （５）前記赤目オブジェクト候補を真の赤目オブジェクトに変換する変換手段とを有す
    る画像処理装置。
  13. 前記画像処理装置はプリンターである請求項１２に記載の画像処理装置。
  14. デジタル画像における赤目オブジェクト候補を分類する方法であって、
    （１）デジタル画像における赤目オブジェクト候補を選択するステップと、
    （２）アダブースト分類器を通過した前記赤目オブジェクト候補におけるサブウィンド
    ウの中心ピクセルと前記デジタル画像における他のすべてのピクセルとを区別するバイナ
    リーマップを作成するステップと、
    （３）前記中心ピクセルの境界箱の面積を判定するステップと、
    （４）前記バイナリーマップにラベル付けし、連結されたピクセルを複数のオブジェク
    トにグループ化するステップと、
    （５）前記バイナリーマップにおける前記オブジェクトの数を判定するステップと、
    （６）前記バイナリーマップにおける前記オブジェクトの極大面積を判定するステップ
    と、
    （７）前記極大面積の境界箱の面積に対する比率を計算するステップと、
    （８）前記比率が閾値以上であることを判定するステップと、
    （９）前記赤目オブジェクト候補を真の赤目オブジェクトに変換するステップとを有す
    る赤目オブジェクト候補を分類する方法。
  15. （１０）実際の赤目オブジェクトをより良く表すために前記真の赤目オブジェクトの中
    心およびサイズを精緻化するステップをさらに有する請求項１４に記載の赤目オブジェク
    ト候補を分類する方法。
  16. プロセッサーにより実行されるとデジタル画像における赤目オブジェクト候補を分類す
    る方法を実施するコンピューター読み取り可能な命令を有する１つ以上のコンピューター
    読み取り可能な媒体であって、前記方法は、
    （１）デジタル画像における赤目オブジェクト候補を選択するステップと、
    （２）アダブースト分類器を通過した前記赤目オブジェクト候補におけるサブウィンド
    ウの中心ピクセルと前記デジタル画像における他のすべてのピクセルとを区別するバイナ
    リーマップを作成するステップと、
    （３）前記中心ピクセルの境界箱の面積を判定するステップと、
    （４）前記バイナリーマップにラベル付けし、連結されたピクセルを複数のオブジェク
    トにグループ化するステップと、
    （５）前記バイナリーマップにおける前記オブジェクトの数を判定するステップと、
    （６）前記バイナリーマップにおける前記オブジェクトの極大面積を判定するステップ
    と、
    （７）前記極大面積の境界箱の面積に対する比率を計算するステップと、
    （８）前記比率が閾値以上であることを判定するステップと、
    （９）前記赤目オブジェクト候補を真の赤目オブジェクトに変換するステップとを有す
    るコンピューター読み取り可能な媒体。
  17. デジタル画像における赤目オブジェクト候補を分類する画像処理装置であって、
    （１）デジタル画像における赤目オブジェクト候補を選択する選択手段と、
    （２）アダブースト分類器を通過した前記赤目オブジェクト候補におけるサブウィンドウの中心ピクセルと前記デジタル画像における他のすべてのピクセルとを区別するバイナリーマップを作成する作成手段と、
    （３）前記中心ピクセルの境界箱の面積を判定する判定手段と、
    （４）前記バイナリーマップにラベル付けし、連結されたピクセルを複数のオブジェクトにグループ化するグループ化手段と、
    （５）前記バイナリーマップにおける前記オブジェクトの数を判定する判定手段と、
    （６）前記バイナリーマップにおける前記オブジェクトの極大面積を判定する判定手段と、
    （７）前記極大面積の境界箱の面積に対する比率を計算する計算手段と、
    （８）前記比率が閾値以上であることを判定する判定手段と、
    （９）前記赤目オブジェクト候補を真の赤目オブジェクトに変換する変換手段とを有する画像処理装置。
  18. 前記画像処理装置はプリンターである請求項１７に記載の画像処理装置。
JP2010226377A 2009-10-07 2010-10-06 赤目オブジェクト候補を分類する方法、コンピューター読み取り可能な媒体および画像処理装置 Expired - Fee Related JP5640621B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/575,298 2009-10-07
US12/575,298 US8170332B2 (en) 2009-10-07 2009-10-07 Automatic red-eye object classification in digital images using a boosting-based framework

Publications (2)

Publication Number Publication Date
JP2011081803A JP2011081803A (ja) 2011-04-21
JP5640621B2 true JP5640621B2 (ja) 2014-12-17

Family

ID=43823214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010226377A Expired - Fee Related JP5640621B2 (ja) 2009-10-07 2010-10-06 赤目オブジェクト候補を分類する方法、コンピューター読み取り可能な媒体および画像処理装置

Country Status (2)

Country Link
US (1) US8170332B2 (ja)
JP (1) JP5640621B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416277B2 (en) * 2009-12-10 2013-04-09 Apple Inc. Face detection as a metric to stabilize video during video chat session
US9721160B2 (en) * 2011-04-18 2017-08-01 Hewlett-Packard Development Company, L.P. Manually-assisted detection of redeye artifacts
US8571271B2 (en) * 2011-05-26 2013-10-29 Microsoft Corporation Dual-phase red eye correction
US20140314273A1 (en) * 2011-06-07 2014-10-23 Nokia Corporation Method, Apparatus and Computer Program Product for Object Detection
US9041954B2 (en) 2011-06-07 2015-05-26 Hewlett-Packard Development Company, L.P. Implementing consistent behavior across different resolutions of images
US8970902B2 (en) 2011-09-19 2015-03-03 Hewlett-Packard Development Company, L.P. Red-eye removal systems and method for variable data printing (VDP) workflows
CN108351962B (zh) * 2015-12-01 2022-05-10 英特尔公司 具有自适应性通道特征的对象检测
CN110009000B (zh) * 2019-03-11 2022-09-02 东北大学 基于adaboost+svm改进分类算法的粮堆目标检测方法

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2907120B2 (ja) 1996-05-29 1999-06-21 日本電気株式会社 赤目検出補正装置
US6263113B1 (en) * 1998-12-11 2001-07-17 Philips Electronics North America Corp. Method for detecting a face in a digital image
US6829384B2 (en) * 2001-02-28 2004-12-07 Carnegie Mellon University Object finder for photographic images
EP1288858A1 (de) 2001-09-03 2003-03-05 Agfa-Gevaert AG Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotographischen Bilddaten
US7130446B2 (en) 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
US7254270B2 (en) 2002-07-09 2007-08-07 Hewlett-Packard Development Company, L.P. System and method for bounding and classifying regions within a graphical image
US7194114B2 (en) 2002-10-07 2007-03-20 Carnegie Mellon University Object finder for two-dimensional images, and system for determining a set of sub-classifiers composing an object finder
US7116820B2 (en) 2003-04-28 2006-10-03 Hewlett-Packard Development Company, Lp. Detecting and correcting red-eye in a digital image
US7224850B2 (en) 2003-05-13 2007-05-29 Microsoft Corporation Modification of red-eye-effect in digital image
US7343028B2 (en) 2003-05-19 2008-03-11 Fujifilm Corporation Method and apparatus for red-eye detection
JP2005044330A (ja) 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
US7333653B2 (en) 2003-08-29 2008-02-19 Hewlett-Packard Development Company, L.P. Detecting and correcting redeye in an image
US7596247B2 (en) * 2003-11-14 2009-09-29 Fujifilm Corporation Method and apparatus for object recognition using probability models
JP2005310124A (ja) 2004-03-25 2005-11-04 Fuji Photo Film Co Ltd 赤目検出装置、プログラムおよびプログラムを記録した記録媒体
JP2005309409A (ja) 2004-03-25 2005-11-04 Fuji Photo Film Co Ltd 赤目防止装置、プログラムおよびプログラムを記録した記録媒体
JP2005316958A (ja) * 2004-03-30 2005-11-10 Fuji Photo Film Co Ltd 赤目検出装置および方法並びにプログラム
US20050220346A1 (en) 2004-03-30 2005-10-06 Fuji Photo Film Co., Ltd. Red eye detection device, red eye detection method, and recording medium with red eye detection program
JP4320272B2 (ja) 2004-03-31 2009-08-26 富士フイルム株式会社 特定領域検出方法、特定領域検出装置、およびプログラム
CN100405388C (zh) 2004-05-14 2008-07-23 欧姆龙株式会社 特定被摄体检测装置
JP4757559B2 (ja) 2004-08-11 2011-08-24 富士フイルム株式会社 被写体の構成要素を検出する装置および方法
US7848566B2 (en) 2004-10-22 2010-12-07 Carnegie Mellon University Object recognizer and detector for two-dimensional images using bayesian network based classifier
KR100682906B1 (ko) 2004-12-09 2007-02-15 삼성전자주식회사 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법
KR100590572B1 (ko) 2004-12-15 2006-06-19 삼성전자주식회사 눈 위치 검출 방법 및 장치
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US20070053563A1 (en) 2005-03-09 2007-03-08 Zhuowen Tu Probabilistic boosting tree framework for learning discriminative models
US20060204052A1 (en) 2005-03-11 2006-09-14 Fuji Photo Film Co., Ltd. Method, apparatus, and program for detecting red eye
US7643674B2 (en) 2005-05-12 2010-01-05 Hewlett-Packard Development Company, L.P. Classification methods, classifier determination methods, classifiers, classifier determination devices, and articles of manufacture
US7831067B2 (en) 2005-05-16 2010-11-09 Cisco Technology, Inc. Methods and apparatus for automated, multi-level red eye correction
US20070036438A1 (en) 2005-08-15 2007-02-15 Lexmark International, Inc. Methods and systems for identifying red eye pairs
US7643659B2 (en) 2005-12-31 2010-01-05 Arcsoft, Inc. Facial feature detection on mobile devices
JP5087936B2 (ja) 2006-02-16 2012-12-05 株式会社ニコン カメラ
JP4549997B2 (ja) 2006-03-30 2010-09-22 富士フイルム株式会社 赤目検出装置、赤目検出方法、および赤目検出プログラム
JP2007305030A (ja) 2006-05-15 2007-11-22 Fujifilm Corp 赤目処理方法および装置ならびにプログラム
US20080107341A1 (en) 2006-11-02 2008-05-08 Juwei Lu Method And Apparatus For Detecting Faces In Digital Images
US20080170778A1 (en) 2007-01-15 2008-07-17 Huitao Luo Method and system for detection and removal of redeyes
WO2008104453A1 (fr) 2007-02-16 2008-09-04 Commissariat A L'energie Atomique Procède de reconnaissance et de localisation automatique d'entités dans des images numériques
US7840061B2 (en) 2007-02-28 2010-11-23 Mitsubishi Electric Research Laboratories, Inc. Method for adaptively boosting classifiers for object tracking
US7995106B2 (en) 2007-03-05 2011-08-09 Fujifilm Corporation Imaging apparatus with human extraction and voice analysis and control method thereof
JP2008217525A (ja) * 2007-03-06 2008-09-18 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
WO2008119368A1 (en) 2007-04-03 2008-10-09 Telecom Italia S.P.A. Method for red eye detection in a digital image
TW200842733A (en) 2007-04-17 2008-11-01 Univ Nat Chiao Tung Object image detection method
EP2238744A4 (en) * 2008-02-01 2011-08-03 Hewlett Packard Co AUTOMATIC DETECTION OF IT RED

Also Published As

Publication number Publication date
US8170332B2 (en) 2012-05-01
US20110081079A1 (en) 2011-04-07
JP2011081803A (ja) 2011-04-21

Similar Documents

Publication Publication Date Title
JP5640621B2 (ja) 赤目オブジェクト候補を分類する方法、コンピューター読み取り可能な媒体および画像処理装置
US8351662B2 (en) System and method for face verification using video sequence
US8184870B2 (en) Apparatus, method, and program for discriminating subjects
US8295637B2 (en) Method of classifying red-eye objects using feature extraction and classifiers
US10733477B2 (en) Image recognition apparatus, image recognition method, and program
US7929771B2 (en) Apparatus and method for detecting a face
US8306262B2 (en) Face tracking method for electronic camera device
JP2010218551A (ja) 顔認識方法、コンピューター読み取り可能な媒体および画像処理装置
US8446494B2 (en) Automatic redeye detection based on redeye and facial metric values
US7657086B2 (en) Method and apparatus for automatic eyeglasses detection using a nose ridge mask
US8295593B2 (en) Method of detecting red-eye objects in digital images using color, structural, and geometric characteristics
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
JP2007047965A (ja) デジタル画像の対象物検出方法および装置並びにプログラム
CN111368666B (zh) 一种基于新型池化及注意力机制双流网络的活体检测方法
JP5640622B2 (ja) 赤目オブジェクト候補を分類する方法、コンピューター読み取り可能な媒体および画像処理装置
US8306335B2 (en) Method of analyzing digital document images
US8300927B2 (en) Mouth removal method for red-eye detection and correction
JP2009140369A (ja) 集団学習装置及び集団学習方法、対象物検出装置及び対象物検出方法、並びにコンピュータ・プログラム
JP4789526B2 (ja) 画像処理装置、画像処理方法
JP2004199200A (ja) パターン認識装置、撮像装置、情報処理システム、パターン認識方法、記録媒体、及びプログラム
CN115116147B (zh) 图像识别、模型训练、活体检测方法及相关装置
JP2005250773A (ja) 対象物識別装置および方法並びにプログラム
CN115294620A (zh) 基于前后景分离的人脸检测方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141013

R150 Certificate of patent or registration of utility model

Ref document number: 5640621

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees