JP4383399B2 - 検出対象画像検索装置およびその制御方法 - Google Patents

検出対象画像検索装置およびその制御方法 Download PDF

Info

Publication number
JP4383399B2
JP4383399B2 JP2005254686A JP2005254686A JP4383399B2 JP 4383399 B2 JP4383399 B2 JP 4383399B2 JP 2005254686 A JP2005254686 A JP 2005254686A JP 2005254686 A JP2005254686 A JP 2005254686A JP 4383399 B2 JP4383399 B2 JP 4383399B2
Authority
JP
Japan
Prior art keywords
target image
detection target
detection
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005254686A
Other languages
English (en)
Other versions
JP2006157878A5 (ja
JP2006157878A (ja
Inventor
雅彦 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005254686A priority Critical patent/JP4383399B2/ja
Priority to US11/266,220 priority patent/US7561718B2/en
Publication of JP2006157878A publication Critical patent/JP2006157878A/ja
Publication of JP2006157878A5 publication Critical patent/JP2006157878A5/ja
Application granted granted Critical
Publication of JP4383399B2 publication Critical patent/JP4383399B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

この発明は,被検出対象画像の中から検出対象画像を見つける検出対象画像検索装置およびその制御方法に関する。
人物を撮影することにより得られた被写体像の中から,顔の画像部分,赤目の画像部分などを見つけるための検索処理が行われることがある。顔の画像部分,赤目の画像部分が見つけられることにより,見つけられた画像部分を補正することができる。また,被写体像の中から顔の画像部分を見つけることにより,自動的に人物モードに切り替わるディジタル・カメラもある(特許文献1)。
特開2003-92699号公報
このディジタル・カメラにおいては,被写体像の中に複数の人物像が存在することがわかると,それらのすべての人物が被写界深度内に含まれるように制御される。
しかしながら,検出される人物(顔画像)が極めて多くなると,それらの人物のすべてを被写界深度内に含むようにすると異常動作することがある。
この発明は,被検出対象画像の中から検出対象画像を見つける場合に異常動作となってしまうことを回避することを目的とする。
第1の発明による検出対象画像検索装置は,被検出対象画像の中から,検出対象らしさを示す評価値にもとづいて検出対象画像部分を見つける検出手段,上記検出手段によって見つけられた検出対象画像部分の情報を記憶する記憶手段,上記検出手段によって見つけられた検出対象画像部分の個数が所定の個数以上となったかどうかを判定する判定手段,および上記判定手段によって上記所定の個数以上となったと判定されたことに応じて,上記検出手段によって見つけられた検出対象画像部分の個数が上記所定の個数未満となるように上記記憶手段に記憶されている検出対象画像部分を,所定の基準にもとづいた基準値の低い順に消去する消去手段を備えていることを特徴とする。
第1の発明は,上記検出対象画像検索装置に適した制御方法も提供している。すなわち,この方法は,被検出対象画像の中から,検出対象らしさを示す評価値にもとづいて検出対象画像部分を見つける検出手段および上記検出手段によって見つけられた検出対象画像部分の情報を記憶する記憶手段を備えた検出対象画像検索装置において,上記検出手段によって見つけられた検出対象画像部分の個数が所定の個数以上となったかどうかを判定し,上記所定の個数以上となったと判定されたことに応じて,上記検出手段によって見つけられた検出対象画像部分の個数が上記所定の個数未満となるように上記記憶手段に記憶されている検出対象画像部分を,所定の基準にもとづいた基準値の低い順に消去するものである。
第1の発明によると,被検出対象画像(一駒でもよいし,複数駒でもよい)の中から検出対象らしさを示す評価値にもとづいて検出対象画像部分が見つけられる。見つけられた検出対象画像部分についての情報(検出対象画像部分の大きさ,位置など)が記憶される。見つけられた検出対象画像部分の個数が所定の個数以上となったかどうかが判断され,所定の個数以上となった場合には,所定の個数未満となるように,記憶されている検出対象画像部分の情報が,所定の基準にもとづいた基準値の低い順に消去される。
記憶される検出対象画像部分の情報は所定の個数に制限されるので,多数個の検出対象画像部分が見つかった場合に生じ得る異常動作を回避できる。
検出対象画像部分が新たに見つけられたことにより,検出対象画像部分の個数が所定の個数以上となった場合には,その新たに見つけられた検出対象画像部分の評価値が,すでに見つけられている検出対象画像部分の評価値のうち最小の評価値よりも大きいかどうかを判定し,大きいと判定されたことにより,新たに見つけられた検出対象画像部分の情報を記憶し,すでに見つけられている検出対象画像部分の評価値のうち最小の評価値をもつ検出対象画像部分の情報を消去するようにしてもよい。また,新たに見つけられた検出対象画像部分の評価値が,すでに見つけられている検出対象画像部分の評価値のうち最小の評価値よりも小さい場合には,その見つけられた検出対象画像部分の情報は記憶されないこととなろう。
上記評価値は,たとえば,見つけられた検出対象画像部分の大きさ,明るさ,彩度,位置,向き,傾き,上記評価値および色相(色相に相当する指標を含む)のうち少なくともいずれか一つにもとづくものである。また,上記検出対象画像部分は,たとえば,顔画像または赤目画像である。
第2の発明による検出対象画像検索装置は,被検出対象画像の中から検出対象画像部分を見つける検出手段,上記検出手段によって見つけられた検出対象画像部分が所定の個数となったかどうかを判定する判定手段,上記判定手段によって所定の個数となっていないと判定されたことにより,上記検出手段によって見つけられた検出対象画像部分の情報を記憶装置に記憶する記憶制御手段,および上記判定手段によって所定の個数となったと判定されたことにより,上記検出手段における処理を停止する検出処理制御手段を備えていることを特徴とする。
第2の発明は,上記検出対象画像検索装置に適した制御方法も提供している。すなわち,この方法は,被検出対象画像の中から検出対象画像部分を見つけ,見つけられた検出対象画像部分が所定の個数となったかどうかを判定し,所定の個数となっていないと判定されたことにより,見つけられた検出対象画像部分の情報を記憶装置に記憶し,所定の個数となったと判定されたことにより,上記検出処理を停止するものである。
第2の発明によると,被検出対象画像の中から検出対象画像部分が見つけられる。見つけられた検出対象画像部分が所定の個数となったかどうかが判定される。所定の個数となっていない場合には,見つけられた検出対象画像部分の情報が記憶される。所定の個数となった場合には,検出対象画像部分を見つける処理が停止させられる。
見つけられた検出対象画像部分の個数が所定の個数以上となると,検出対象画像部分を見つける処理が停止させられるので,多くの数の検出対象画像部分が見つけられることにより生じ得る異常動作を回避できる。
図1は,この実施例において顔画像の検出に利用される学習結果が生成される様子を示している。
事前学習用画像データとして顔画像データと非顔画像データとが用いられる。顔画像データには,さまざまな顔の画像FI1,FI2,FI3などを表すものが用いられる。また,非顔画像データには,顔の画像と似ているが顔の画像ではない非顔画像FN1,FN2,FN3などが用いられる。
これらの事前学習用画像データを用いて所定の学習アルゴリズムにしたがって,顔画像かどうかを判定するための学習結果が得られる。得られた学習結果は,ディジタル・スチル・カメラに記憶される。
図2は,学習結果を表すテーブルの一例である。
学習結果は,サーチ・エリア内の画像の所定の位置の画素値,サーチ・エリア内の画像に対してフィルタ処理が行われた場合におけるサーチ・エリア内の所定の位置の画素値,画素値の差などとそれらのスコアとして記憶されている。ある画素値等の値から対応するスコア(正負いずれでもよい)が得られ,得られたスコアを累積して得られた総スコアがそのサーチ・エリア内の画像の顔らしさを示す評価値となる。
図3は,ディジタル・スチル・カメラの電気的構成を示すブロック図である。
この実施例によるディジタル・スチル・カメラにおいては顔画像の検出処理を行うことができる。この実施例によるディジタル・スチル・カメラにおいては,とくに,検出された顔画像のうち顔らしさの高い上位4個(4個以外の何個でもよいのはいうまでもない)の顔画像の情報を記憶することができる。多数の顔画像が検出されてしまうことにより生じ得る異常動作を回避できる。より詳しくは,以下の説明によって明らかとなろう。
ディジタル・スチル・カメラの全体の動作は,制御回路20によって統括される。
制御回路20には,互いにバス接続されているCPU21,ROM22およびRAM23が含まれている。ROM22には,ディジタル・スチル・カメラにおいて行われる画像処理の処理内容(処理名),その画像処理のバージョン,その他必要なデータ,画像処理プログラムなどが格納されている。RAM23は,一時的に必要なデータ,メモリ・カード11から読み出された画像ファイルなどを記憶するものである。
ディジタル・スチル・カメラには,シャッタ・レリーズ・ボタン,モード設定ダイアル(モード設定ダイアルにより撮像モード,再生モード,検出モードなどの各種モードを設定できる)などを含む操作器13が含まれている。操作器13から出力される操作信号は,制御回路20に入力する。また,ディジタル・スチル・カメラには,パーソナル・コンピュータを接続することができる。このために外部インターフェイス12がディジタル・スチル・カメラに設けられている。
ディジタル・スチル・カメラには,被写体を撮像するための撮像レンズ1,絞り2およびCCDなどの撮像素子3が含まれている。レンズ駆動回路16によって撮像レンズ1のレンズ位置が制御される。また,絞り駆動回路17によって絞り2の開口が制御される。撮像レンズ1によって被写体像を表す光線が集光され,絞り2を通ってCCDのような撮像素子3に入射する。撮像素子制御回路18によって制御される撮像素子3の受光面上に被写体像を表す光像が結像する。これらのレンズ駆動回路16,絞り駆動回路17および撮像素子制御回路18は,撮像系制御回路24によって制御される。
モード設定ダイアル20によって撮像モードが設定されると,撮像素子制御回路18によって撮像素子3が制御され,被写体像を表す映像信号が撮像素子3から出力される。映像信号は,アナログ信号処理回路4において相関二重サンプリング等のアナログ信号処理が行われる。アナログ信号処理回路4から出力された映像信号は,アナログ/ディジタル変換回路4においてディジタル画像データに変換され,ディジタル信号処理回路6に入力する。ディジタル信号処理回路6において,ガンマ補正,自動階調補正,自動白バランス調整などのディジタル信号処理が行われる。
ディジタル信号処理回路6から出力された画像データは,メモリ7を介して表示装置15に与えられる。表示装置15の表示画面上に被写体像が表示される。
シャッタ・レリーズ・ボタンが押されると,上述したのと同様に,被写体が再び撮像され,被写体像を表す画像データが得られる。画像データは,ディジタル信号処理回路6からメモリ7に与えられ,一時的に記憶される。画像データは,メモリ7から読み出され,記録/読出制御回路14によって外部メモリ・インターフェイス10に接続されているメモリ・カード9に記録される。必要に応じて画像データに対してデータ圧縮が行われ,圧縮された画像データがメモリ・カード11に記録されるのはいうまでもない。
モード設定ダイアルによって再生モードが設定されると,記録/読出制御回路14によってメモリ・カード11から被写体像を表す画像データが読み出される。読み出された画像データは,メモリ7に与えられ,一時的に記憶される。画像データは,メモリ7から読み出され,表示装置15に与えられる。表示装置15の表示画面上にメモリ・カード11に記録されている画像データによって表される画像が表示される。
モード設定ダイアルによって修正モードが設定されると,この実施例においては,上述したように顔画像の検出が検出処理回路8において行われる。検出処理回路8において見つけられた顔画像の情報は,メモリ7に記憶させられる。見つけられた顔画像の色などが修正処理回路9において修正される。また,検出処理回路8において赤目画像を検出することもでき,赤目画像が検出された場合には修正処理回路9において赤目画像の修正を行うことができる。
もっとも,修正モードが設定された場合にのみ顔画像の検出を行うようにしなくともよい。たとえば,撮像モード,再生モードが設定された場合にこの実施例における顔画像の検出(後述のように,対象画像情報リストに格納されている情報の格納,消去,更新の処理なども含む)を行うようにしてもよい。さらに,シャッタ・レリーズ・ボタンが押されることにより本撮像が行われる場合における,本撮像前の撮像または本撮像のいずれにおいて行なってもよいのはいうまでもない。
図4は,検出処理回路8において見つけられた顔画像(対象画像部分)の情報を示すリストを示している。このリストは,メモリ7に記憶される。
対象画像情報リストには,対象画像部分(検出対象画像)を検出すべき被検出対象画像から検出された対象画像部分としての顔画像の顔らしさとしての評価値の高い順を示す順位,検出された対象画像部分の順番,検出された対象画像部分の被検出対象画像における画像上の位置,検出された対象画像部分の被検出対象画像上における大きさおよび評価値を示す総スコアが格納されている。
対象画像情報リストに格納されている情報は,総スコア多い順に順位づけされている。対象画像情報リストに格納されている総スコアは,S10>S12>S5>S7ということになる。
この実施例におけるディジタル・スチル・カメラにおいては,順位の上位4個の対象画像部分の情報が対象画像情報リストに格納される。新たに検出された対象画像部分の情報の総スコアがすでに対象画像情報リストに格納されている情報のスコアよりも高ければ,その新たに検出された対象画像部分の情報がリストに格納され,すでに格納されている情報のスコアのうちもっとも低いスコアをもつ対象画像部分の情報がリストから削除される。リストに格納されている情報をもつ対象画像部分(顔画像)について,たとえば,修正回路9において修正され,修正された顔画像を含む画像を表す画像データがメモリ・カード11に記録される。
図5は,顔画像を検出する処理手順を示すフローチャート,図6は,被写体像(被検出対象画像)とサーチ・エリアとの関係を示している。
この処理においては,撮像によって得られた被写体像がサーチ・エリアによって走査され,サーチ・エリア内の画像と上述した学習結果(検出用データ)との一致度の評価値が検出される。サーチ・エリア内の画像が所定角度ずつ回転させられ,回転させられた所定角度においても評価値の算出処理が行われるようにしてもよい。最大の評価値が得られたサーチ・エリアの位置等によって規定される部分の画像が顔の画像と判定される。
まず,対象画像情報リストに格納すべき対象画像のn個(上述した例では4個)のダミー評価値(総スコア)が入力される(ステップ40)。また,サーチ・エリアASが被写体像(被検出対象画像)の先頭に移動させられる(ステップ41)。この実施例においては,被検出対象画像のサイズが序々に小さくされ,被検出対象画像が所定の最小画像サイズまで小さくされる。それぞれのサイズにおいてサーチ・エリアAS内の画像について顔らしさの評価値が算出される。このために,被検出対象画像の画像サイズが所定の最小画像サイズとなったかどうかが判定される(ステップ42)。
最小画像サイズとなっていると(ステップ42でYES),種々の被検出対象画像のサイズにおいて評価値算出処理が行われたこととなるので,得られた最大評価値にもとづいて被写体像の中の顔画像の位置が決定される。最小画像サイズとなっていなければ(ステップ42でNO),サーチ・エリアが被検出対象画像の終端にあるかどうかが確認される(ステップ43)。
サーチ・エリアが被検出対象画像の終端にあると(ステップ43でYES),その被検出対象画像についての評価値算出処理は終了したこととなるので,次にサイズの小さな対象画像について評価値算出処理が行われるように被検出対象画像のリサイズ処理が行われる(ステップ46)。また,サーチ・エリアがリサイズされた被検出対象画像の先頭に移動させられる。サーチ・エリアが被検出対象画像の終端に無ければ(ステップ43でNO),サーチ・エリアAS内の画像の顔らしさを示す評価値が算出される(ステップ44)。この評価値算出処理について詳しくは,後述する。評価値算出処理が終了すると,サーチ・エリアが水平方向および垂直方向に少しの距離だけ移動させられる(ステップ45)。再びステップ43および44の処理が繰り返される。
このように,最初の被検出対象画像I11についてサーチ・エリアAS内の画像についての顔らしさの評価値算出処理が終了すると,同一の被写体を示すが,次にサイズの小さな被検出対象画像I12,さらにサイズの小さな被検出対象画像I13というように最小画像サイズとなるまで評価値算出処理が繰り返される。
図7は,評価値算出処理手順(図5ステップ44の処理手順)を示すフローチャートである。
上述したように,この評価値算出処理においては,評価値の高い上位4つの対象画像部分の情報が対象画像情報リストに格納されるものである。
上述したように,被検出対象画像上においてサーチ・エリアが走査され,対象画像が検出されたかどうかが確認される(ステップ51)。対象画像が検出されると(ステップ51でYES),その検出された対象画像部分の評価値(総スコア)が算出される(ステップ52)。もっとも,評価値が算出され,その評価値にもとづいて対象画像部分が検出される場合など,対象画像部分が検出された時点ですでに評価値が算出されている場合には,評価値算出処理はスキップされる。
対象画像部分が新しく検出されたことにより,検出された対象画像部分の個数がn個より大きくなってしまうと(ステップ53でNO),新たに検出された対象画像部分の評価値が,すでに対象画像情報リストに記憶されている対象画像部分の情報の評価値のいずれの評価値よりも大きいかどうかが確認される(ステップ54)。
新たに検出された対象画像部分の評価値が,すでに対象画像情報リストに格納されている対象画像部分の情報の評価値のいずれの評価値よりも小さければ(ステップ54でNO),その新たに検出された対象画像はすでに対象画像情報リストに格納されている情報をもつ対象画像部分よりも,見つけるべき対象画像部分には近似していないと考えられる。このために,その新たに検出された対象画像部分の情報は,対象画像情報リストには格納されない。
新たに検出された対象画像部分の評価値が,すでに対象画像情報リストに格納されている対象画像部分の情報の評価値のうちいずれかの評価値よりも大きければ(ステップ54でYES),すでに対象画像情報リストに情報が格納されている対象画像部分よりも新たに検出された対象画像の方が見つけるべき対象画像部分に近似していることとなる。このために,以下の処理にしたがって,新たに検出された対象画像部分の情報が対象画像情報リストに格納される。
まず,対象画像情報リストに格納されている対象画像部分の情報の評価値のうち,もっとも低い評価値の情報が対象画像情報リストから消去される(ステップ55)。すると,新たに検出された対象画像部分の情報を含めて4個の対象画像部分の情報が対象画像情報リストに格納することができることとなる。評価値の大きい順に対象画像部分の情報の順位が更新される(ステップ56)。新たに検出された対象画像部分の情報が対象画像情報リストに格納される(ステップ57)。もっとも,評価値の低い順に対象画像部分の情報を対象画像情報リストから消去して対象画像情報リストを更新ぜずに,評価値と異なる(同じでもよい)所定の基準にしたがった基準値(対象画像部分の大きさ,明るさ,彩度,位置,向き,傾き,色相など)の低い順に対象画像部分の情報を対象画像情報リストから消去するようにしてもよい。この場合,必要に応じてこれらの基準値が検出され,対象画像情報リストに格納されるのはいうまでもない。
対象画像部分が新しく検出されても,検出した対象画像部分の個数がn個以内にあれば(ステップ53でYES),新しく検出された対象画像部分についての情報は,すでに対象画像情報リストに格納されている情報が消去されることなく,対象画像リストに格納される。
図8は,対象画像情報リストの一例である。図9は,新たに検出された対象画像情報の一例である。
メモリ7には,図8に示す対象画像情報リストが記憶されているものとする。対象画像情報リストには,第1番目から第4番目からの順位で4個の対象画像部分情報が格納されている。第1番目の順位は第10番目に検出された情報であり,第2番目の順位は第5番目に検出された情報であり,第3番目の順位は第7番目に検出された情報であり,第4番目の順位は第2番目に検出された情報である。総スコアの値は,その順位にしたがって,S10>S5>S7>S2となる。
図8に示す対象画像情報リストが格納されている状態において,図9に示す情報をもつ対象画像部分が新たに検出されたものとする。
図9を参照して,新たに検出された対象画像部分情報の順位は仮にN番目とされている。また,検出された順番は第12番目であり,その総スコアはS12である。新たに検出された対象画像部分情報の総スコアS12が,上述した総スコアS10よりも小さいが総スコアS5よりも大きいものとする(S10>S12>S5)。すると,図8に示す対象画像情報リストに格納されている情報のうちもっとも低い評価値(総スコア)をもつ第4番目の順位の情報が対象画像情報リストから削除される。また,総スコアに応じて,新たに第12番目に検出された情報が第2番目の順位となり,第2番目の順位であった情報が第3番目となり,第3盤面の順位であった情報が第4番目となる。このように対象画像部分の情報の順位が更新される結果,対象画像情報リストは図4に示すように,4個の対象画像部分情報が格納されるようになる。
図10から図12は,変形例を示すものである。
上述した実施例においては,評価値を示す総スコアは,得られたスコアを加算したものであるが,次に示すように,重み付けをして評価値を示す総スコアを算出するようにしてもよい。
図10は更新前の対象画像情報リストを示し,図11は新たに検出された対象画像情報を示し,図12は更新後の対象画像情報リストを示している。
図10を参照して,対象画像情報リストには,図8に示すリストと同じように,順位,検出された順番,画像上の位置,画像上の大きさの情報および総スコアが格納されている。図10における対象画像情報リストには,図8のリストに格納されているこれらの情報のほかに,仮総スコアおよび検出された対象画像の明るさの情報も格納されている。図10における仮総スコアは,図8における総スコアに対応する。
この実施例においては,総スコアが式1から算出される。
総スコア=α・f(画像上の大きさ)+β・f(仮総スコア)+γ・f(対象画像の明るさ)・・・式1
得られた総スコアの順番にもとづいて,検出された対象画像部分の順位が規定されている。図10に例でいえば,第10番目に検出された対象画像部分,第5番目に検出された対象画像部分,第7番目に検出された対象画像部分および第2番目に検出された対象画像部分の順に順位が規定されているから,総スコアの値の大小関係は,T10>T5>T7>T2となる。
図10に示す対象画像情報リストが記憶されている場合において,図12に示すように,総スコアT12をもつ新たな対象画像部分が第12番目に検出されたものする。また,この総スコアT12と図10のリストに格納されている総スコアとの関係は,T10>T12>T5であったとする。すると,図12に示すように,第12番目に新たに検出された対象画像部分が第2番目の順位となるように対象画像情報リストが更新される。総スコアがもっとも低かった第2番目に検出された対象画像部分についての情報が対象画像情報リストから削除されるのは,上述したのと同様である。
図13は,他の実施例を示すもので,評価値算出処理手順を示すフローチャートである。このフローチャートは,図7に示すものと対応しており,図7に示す処理と同一の処理については同一符号を付して説明を省略する。
図7に示す評価値算出処理においては,検出した対象画像部分の個数がn個を超えると(図7ステップ53でNO),新たに検出された対象画像部分の評価値がすでに記憶されている評価値のいずれかよりも大きいかどうかが判定され(図7ステップ54),大きい評価値がある場合にはもっとも低い評価値についての情報が消去されている(図7ステップ56)。
これに対し,図13に示す評価値算出処理においては,対象画像部分が新たに検出されたことにより,検出された対象画像部分の個数がn個を超えると(ステップ53A),評価値算出処理が終了する。検出される対象画像部分の個数がn個を超えて多くなってしまうことを未然に防止できる。このために,検出される対象画像部分の個数が多くなってしまうことによる異常動作を回避できる。
上述の実施例においては,顔画像の検出処理についてのものであったが顔画像の検出処理だけでなく,赤目画像の検出処理その他の検出処理についても適用できるのはいうまでもない。さらに,上述した実施例における評価値算出処理は,学習アルゴリズムにもとづいて算出されるものであるが,この学習アルゴリズムにおいて検出対象画像部分の大きさ,明るさ,彩度,色相などの情報を利用するようにしてもよい。これらの情報の大きい順,小さい順などにより,n個を超えた対象画像部分情報をリストから消去するようにしてもよい。
学習結果を作成する様子を示している。 学習結果の一例を示すテーブルである。 ディジタル・スチル・カメラの電気的構成を示すブロック図である。 対象画像情報リストの一例である。 顔検出処理手順を示すフローチャートである。 サーチ・エリアを用いて検出対象画像部分がサーチされる様子を示している。 評価値算出処理手順を示すフローチャートである。 対象画像情報リストの一例である。 新たな対象画像情報の一例である。 対象画像情報リストの一例である。 新たな対象画像情報リストの一例である。 対象画像情報リストの一例である。 評価値算出処理手順を示すフローチャートである。
符号の説明
7 メモリ
8 検出処理回路
20 制御回路

Claims (6)

  1. 被検出対象画像の中から,検出対象らしさを示す評価値にもとづいて検出対象画像部分を見つける検出手段,
    上記検出手段によって見つけられた検出対象画像部分の情報を記憶する記憶手段,
    上記検出手段によって見つけられた検出対象画像部分の個数が所定の個数以上となったかどうかを判定する判定手段,および
    上記判定手段によって上記所定の個数以上となったと判定されたことに応じて,上記検出手段によって見つけられた検出対象画像部分の個数が上記所定の個数未満となるように上記記憶手段に記憶されている検出対象画像部分の情報を,所定の基準にもとづいた基準値の低い順に消去する消去手段,
    を備えた検出対象画像検索装置。
  2. 上記評価値が見つけられた検出対象画像部分の大きさ,明るさ,彩度,位置,向き,傾き,上記評価値および色相のうち少なくともいずれか一つにもとづくものである,
    請求項1に記載の検出対象画像検索装置。
  3. 上記検出対象画像部分が顔画像または赤目画像である,請求項1または2に記載の検出対象画像検索装置。
  4. 被検出対象画像の中から検出対象画像部分を見つける検出手段,
    上記検出手段によって見つけられた検出対象画像部分が所定の個数となったかどうかを判定する判定手段,
    上記判定手段によって所定の個数となっていないと判定されたことにより,上記検出手段によって見つけられた検出対象画像部分の情報を記憶装置に記憶する記憶制御手段,および
    上記判定手段によって所定の個数となったと判定されたことにより,上記検出手段における処理を停止する検出処理制御手段,
    を備えた検出対象画像検索装置。
  5. 被検出対象画像の中から,検出対象らしさを示す評価値にもとづいて検出対象画像部分を見つける検出手段および上記検出手段によって見つけられた検出対象画像部分の情報を記憶する記憶手段を備えた検出対象画像検索装置において,
    上記検出手段によって見つけられた検出対象画像部分の個数が所定の個数以上となったかどうかを判定し,
    上記所定の個数以上となったと判定されたことに応じて,上記検出手段によって見つけられた検出対象画像部分の個数が上記所定の個数未満となるように上記記憶手段に記憶されている検出対象画像部分の情報を,所定の基準にもとづいた基準値の低い順に消去する,
    検出対象画像検索装置の制御方法。
  6. 被検出対象画像の中から検出対象画像部分を見つけ,
    見つけられた検出対象画像部分が所定の個数となったかどうかを判定し,
    所定の個数となっていないと判定されたことにより,見つけられた検出対象画像部分の情報を記憶装置に記憶し,
    所定の個数となったと判定されたことにより,上記検出処理を停止する,
    検出対象画像検索装置の制御方法。
JP2005254686A 2004-11-05 2005-09-02 検出対象画像検索装置およびその制御方法 Active JP4383399B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005254686A JP4383399B2 (ja) 2004-11-05 2005-09-02 検出対象画像検索装置およびその制御方法
US11/266,220 US7561718B2 (en) 2004-11-05 2005-11-04 Image search apparatus for images to be detected, and method of controlling same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004321394 2004-11-05
JP2005254686A JP4383399B2 (ja) 2004-11-05 2005-09-02 検出対象画像検索装置およびその制御方法

Publications (3)

Publication Number Publication Date
JP2006157878A JP2006157878A (ja) 2006-06-15
JP2006157878A5 JP2006157878A5 (ja) 2009-09-10
JP4383399B2 true JP4383399B2 (ja) 2009-12-16

Family

ID=36316393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005254686A Active JP4383399B2 (ja) 2004-11-05 2005-09-02 検出対象画像検索装置およびその制御方法

Country Status (2)

Country Link
US (1) US7561718B2 (ja)
JP (1) JP4383399B2 (ja)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US7738015B2 (en) * 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7352394B1 (en) * 1997-10-09 2008-04-01 Fotonation Vision Limited Image modification based on red-eye filter analysis
US8036458B2 (en) 2007-11-08 2011-10-11 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US8989453B2 (en) 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7689009B2 (en) 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US7471846B2 (en) * 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US9129381B2 (en) 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US7536036B2 (en) * 2004-10-28 2009-05-19 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US8155397B2 (en) 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US7920723B2 (en) 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US8520093B2 (en) 2003-08-05 2013-08-27 DigitalOptics Corporation Europe Limited Face tracker and partial face tracker for red-eye filter method and apparatus
US9412007B2 (en) 2003-08-05 2016-08-09 Fotonation Limited Partial face detector red-eye filter method and apparatus
JP2005346806A (ja) * 2004-06-02 2005-12-15 Funai Electric Co Ltd Dvdレコーダおよび記録再生装置
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
WO2007095553A2 (en) 2006-02-14 2007-08-23 Fotonation Vision Limited Automatic detection and correction of non-red eye flash defects
US7965875B2 (en) 2006-06-12 2011-06-21 Tessera Technologies Ireland Limited Advances in extending the AAM techniques from grayscale to color images
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7403643B2 (en) * 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
EP2115662B1 (en) 2007-02-28 2010-06-23 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
EP2145288A4 (en) 2007-03-05 2013-09-04 Digitaloptics Corp Europe Ltd FILTERING OF POSITIVE FALSE OF RED EYES USING A LOCATION AND FACE ORIENTATION
KR101247147B1 (ko) 2007-03-05 2013-03-29 디지털옵틱스 코포레이션 유럽 리미티드 디지털 영상 획득 장치에서의 얼굴 탐색 및 검출
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US8503818B2 (en) 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
JP5547730B2 (ja) 2008-07-30 2014-07-16 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 顔検知を用いた顔及び肌の自動美化
US8081254B2 (en) 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
US9210313B1 (en) 2009-02-17 2015-12-08 Ikorongo Technology, LLC Display device content selection through viewer identification and affinity prediction
US10706601B2 (en) 2009-02-17 2020-07-07 Ikorongo Technology, LLC Interface for receiving subject affinity information
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
US8897489B2 (en) * 2010-01-29 2014-11-25 Rochester Institute Of Technology Methods for object-based identification, sorting and ranking of target detections and apparatuses thereof
US8630494B1 (en) 2010-09-01 2014-01-14 Ikorongo Technology, LLC Method and system for sharing image content based on collection proximity
US8675957B2 (en) 2010-11-18 2014-03-18 Ebay, Inc. Image quality assessment to merchandise an item
US9721292B2 (en) 2012-12-21 2017-08-01 Ebay Inc. System and method for image quality scoring
US11283937B1 (en) 2019-08-15 2022-03-22 Ikorongo Technology, LLC Sharing images based on face matching in a network

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4364464B2 (ja) 2001-09-17 2009-11-18 株式会社リコー デジタルカメラ撮像装置
KR100682906B1 (ko) * 2004-12-09 2007-02-15 삼성전자주식회사 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법
US7646886B2 (en) * 2005-05-11 2010-01-12 Lockheed Martin Corporation Closely-spaced multiple targets detection using a regional window as a discriminant function

Also Published As

Publication number Publication date
US7561718B2 (en) 2009-07-14
US20060098875A1 (en) 2006-05-11
JP2006157878A (ja) 2006-06-15

Similar Documents

Publication Publication Date Title
JP4383399B2 (ja) 検出対象画像検索装置およびその制御方法
JP4626493B2 (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4539597B2 (ja) 画像処理装置、画像処理方法および撮像装置
US9230184B2 (en) Image display control apparatus and method, and program for controlling image display control apparatus
JP4130641B2 (ja) ディジタル・スチル・カメラおよびその制御方法
US8077216B2 (en) Image pickup apparatus with a human face detecting function, method and program product for detecting a human face
US8582813B2 (en) Object detection device which detects object based on similarities in different frame images, and object detection method and computer-readable medium recording program
JP4894708B2 (ja) 撮像装置
JP5560739B2 (ja) 電子カメラ
JP2007265149A (ja) 画像処理装置、画像処理方法および撮像装置
JP2013152643A (ja) 画像処理装置、画像処理方法及びプログラム
JP4716266B2 (ja) 画像処理装置、撮像装置及びそのプログラム
JP4877186B2 (ja) 画像処理装置、画像処理方法及びプログラム
US7956911B2 (en) Digital photographing apparatus, and method and program for controlling the same
JP5002311B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、及び記憶媒体
JP5807695B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
JP5740934B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
JP2009087003A (ja) 画像検索装置、画像検索方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061211

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090723

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20090723

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20090811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090915

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090918

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4383399

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131002

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250