JP5732773B2 - 画像識別装置、画像識別方法及びプログラム - Google Patents

画像識別装置、画像識別方法及びプログラム Download PDF

Info

Publication number
JP5732773B2
JP5732773B2 JP2010180716A JP2010180716A JP5732773B2 JP 5732773 B2 JP5732773 B2 JP 5732773B2 JP 2010180716 A JP2010180716 A JP 2010180716A JP 2010180716 A JP2010180716 A JP 2010180716A JP 5732773 B2 JP5732773 B2 JP 5732773B2
Authority
JP
Japan
Prior art keywords
image
similarity
area
unit
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010180716A
Other languages
English (en)
Other versions
JP2012038276A (ja
Inventor
滋 加福
滋 加福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2010180716A priority Critical patent/JP5732773B2/ja
Publication of JP2012038276A publication Critical patent/JP2012038276A/ja
Application granted granted Critical
Publication of JP5732773B2 publication Critical patent/JP5732773B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像識別装置、画像識別方法及びプログラムに関する。
従来、人の顔を検出することによる焦点評価値に基づいた合焦技術が知られている(例えば、特許文献1、2参照)。
特開2006−201282号公報 特開平8−63597号公報
しかしながら、上記特許文献1、2では、ライブビュー画像の画像領域全体から顔を検出しているため、演算量が増大し顔の識別に時間がかかってしまうという問題点があった。
そこで、本願発明の課題は、特定画像領域の識別速度の高速化を図ることができる画像識別装置、画像識別方法及びプログラムを提供することである。
上記課題を解決するため、請求項1に記載の発明の画像識別装置は、特定画像領域を識別するための識別用情報を記録する第1の記録手段と、画像を記録する第2の記録手段と、この第2の記録手段に記録されている画像から第1領域及び第2領域をそれぞれ複数生成する生成手段と、前記第2の記録手段に記録されている画像と前記第1の記録手段に記録されている識別用情報との類似度を算出する算出手段と、前記生成手段により生成された前記第1領域の各々と前記識別用情報との類似度を前記算出手段により算出させる第1の算出制御手段と、この第1の算出制御手段により算出された類似度に基づいて、前記生成手段により生成された前記第2領域の各々のうち、前記識別用情報との類似度を前記算出手段により算出させる領域を指定する指定手段と、この指定手段により指定された領域と前記識別用情報との類似度を前記算出手段により算出させる第2の算出制御手段と、前記第1の算出制御手段及び前記第2の算出制御手段のうちの少なくとも一方により算出された類似度に基づいて、前記画像内で前記特定画像領域を識別する識別手段と、前記第1の算出制御手段により算出された類似度であって、前記第2領域の周辺の複数の前記第1領域の類似度に基づいて、前記第2領域の各々について前記識別用情報との類似度を前記算出手段により算出させるか否かを判断する判断手段と、を備え、前記指定手段は、前記判断手段による判断結果に基づいて、前記第2領域の各々のうち、前記識別用情報との類似度を前記算出手段により算出する領域を指定することを特徴としている。
請求項2に記載の発明は、請求項1に記載の画像識別装置において、
前記第1の算出制御手段により算出された類似度に基づいて、前記第2領域の各々について前記識別用情報との類似度を前記算出手段により算出させるか否かを判断する判断手段を更に備え、前記指定手段は、前記判断手段による判断結果に基づいて、前記第2領域の各々のうち、前記識別用情報との類似度を前記算出手段により算出する領域を指定することを特徴としている。
請求項3に記載の発明は、請求項2に記載の画像識別装置において、
前記第2領域の各々についての前記識別用情報との類似度を前記算出手段により算出させるか否かの前記判断手段による判断基準となる閾値を設定する設定手段を更に備え、前記判断手段は、更に、前記第1の算出制御手段により算出された類似度が前記設定手段により設定された閾値以上であると判断された場合に、前記算出手段により前記識別用情報との類似度を算出すると判断する一方で、前記第1の算出制御手段により算出された類似度が前記設定手段により設定された閾値未満であると判断された場合に、前記算出手段により前記識別用情報との類似度を算出しないと判断することを特徴としている。
請求項4に記載の発明は、請求項1〜3の何れか一項に記載の画像識別装置において、
前記第2の記録手段に記録されている画像を所定の比率で順次縮小して縮小画像を順次生成する画像縮小手段を更に備え、前記生成手段は、前記画像縮小手段により順次生成された縮小画像の各々から前記第1領域及び第2領域をそれぞれ生成することを特徴としている。
請求項5に記載の発明は、請求項1〜4の何れか一項に記載の画像識別装置において、
前記生成手段は、前記第1領域及び第2領域の各々の所定の単位画素からなる基準ブロックが直和分割されるように当該第1領域及び第2領域をそれぞれ生成することを特徴としている。
請求項6に記載の発明は、請求項1〜5の何れか一項に記載の画像識別装置において、
前記第2の記録手段に記録されている画像を表示する表示手段を更に備えることを特徴としている。
請求項7に記載の発明は、請求項6に記載の画像識別装置において、
前記画像内で前記識別手段により識別された前記特定画像領域に相当する画像に対して所定の加工処理を施して前記表示手段に表示させる表示制御手段を更に備えることを特徴としている。
請求項8に記載の発明は、請求項1〜7の何れか一項に記載の画像識別装置において、
画像を撮像する撮像手段を更に備え、前記第2の記録手段は、前記撮像手段により撮像された画像を記録することを特徴としている。
請求項に記載の発明の画像識別方法は、特定画像領域を識別するための識別用情報を記録する第1の記録手段と、画像を記録する第2の記録手段と、この第2の記録手段に記録されている画像と前記第1の記録手段に記録されている識別用情報との類似度を算出する算出手段と、を備えた画像識別装置を用いた画像識別方法であって、前記第2の記録手段に記録されている画像から第1領域及び第2領域をそれぞれ複数生成する生成ステップと、前記生成された前記第1領域の各々と前記識別用情報との類似度を前記算出手段により算出させる第1の算出制御ステップと、この第1の算出制御ステップにて算出された類似度に基づいて、前記第2領域の各々のうち、前記識別用情報との類似度を前記算出手段により算出させる領域を指定する指定ステップと、この指定ステップにて指定された領域と前記識別用情報との類似度を前記算出手段により算出させる第2の算出制御ステップと、前記第1領域及び前記第2領域のうち、算出された少なくとも一方に係る類似度に基づいて、前記画像内で前記特定画像領域を識別するステップと、前記第1の算出制御ステップにより算出された類似度であって、前記第2領域の周辺の複数の前記第1領域の類似度に基づいて、前記第2領域の各々について前記識別用情報との類似度を前記算出手段により算出させるか否かを判断する判断ステップと、を含み、前記指定ステップは、前記判断ステップによる判断結果に基づいて、前記第2領域の各々のうち、前記識別用情報との類似度を前記算出手段により算出する領域を指定することを特徴としている。
請求項に記載の発明のプログラムは、特定画像領域を識別するための識別用情報を記録する第1の記録手段と、画像を記録する第2の記録手段と、この第2の記録手段に記録されている画像と前記第1の記録手段に記録されている識別用情報との類似度を算出する算出手段と、を備えた画像識別装置のコンピュータを、前記第2の記録手段に記録されている画像から第1領域及び第2領域をそれぞれ複数生成する生成手段、この生成手段により生成された前記第1領域の各々と前記識別用情報との類似度を前記算出手段により算出させる第1の算出制御手段、この第1の算出制御手段により算出された類似度に基づいて、前記生成手段により生成された前記第2領域の各々のうち、前記識別用情報との類似度を前記算出手段により算出させる領域を指定する指定手段、この指定手段により指定された領域と前記識別用情報との類似度を前記算出手段により算出させる第2の算出制御手段、前記第1の算出制御手段及び前記第2の算出制御手段のうちの少なくとも一方により算出された類似度に基づいて、前記画像内で前記特定画像領域を識別する識別手段、前記第1の算出制御手段により算出された類似度であって、前記第2領域の周辺の複数の前記第1領域の類似度に基づいて、前記第2領域の各々について前記識別用情報との類似度を前記算出手段により算出させるか否かを判断する判断手段、として機能させ、前記指定手段は、前記判断手段による判断結果に基づいて、前記第2領域の各々のうち、前記識別用情報との類似度を前記算出手段により算出する領域を指定することを特徴としている。
本発明によれば、特定画像領域の識別速度の高速化を図ることができる。
本発明を適用した一実施形態の画像表示装置の概略構成を示すブロック図である。 図1の画像表示装置による画像識別処理に係る動作の一例を示すフローチャートである。 図2の画像識別処理における顔検出処理に係る動作の一例を示すフローチャートである。 図2の画像識別処理に係る画像の一例を模式的に示す図である。 図2の画像識別処理に係る顔の識別対象の一例を模式的に示す図である。 図5の識別対象としての第1領域の一例を模式的に示す図である。 図2の画像識別処理に係る評価値算出部のサブ識別器の構成の一例を模式的に示す図である。 図2の画像識別処理に係る第2領域の評価値の一例を模式的に示す図である。 図2の画像識別処理に係る顔領域の一例を模式的に示す図である。 本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の画像表示装置100の概略構成を示すブロック図である。
本実施形態の画像表示装置100は、画像から2種類の画像領域をそれぞれ生成し、一方の画像領域の各々と識別用情報との類似度に基づいて、他方の画像領域の各々のうち、識別用情報との類似度を算出する画像領域を指定し、一方の画像領域及び他方の画像領域のうち、算出された少なくともどちらか一方の画像領域に係る類似度に基づいて、画像P内で特定画像領域(例えば、顔領域)を識別する。
具体的には、画像表示装置100は、例えば、卓上に設置されるデジタルフォトフレーム等であり、図1に示すように、表示部1と、画像処理部2と、顔検出部3と、メモリ4と、識別用情報記録部5と、画像記録部6と、操作入力部7と、中央制御部8とを備えている。
表示部1は、表示パネル1aと、表示制御部1bとを具備している。
表示パネル1aは、画像記録部6に記録されている画像(例えば、画像P等;図9(b)参照)を表示する表示手段を構成している。また、表示パネル1aとしては、例えば、液晶表示パネルや有機EL表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。
表示制御部1bは、画像記録部6から読み出され画像処理部2により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル1aの表示画面に表示させる。
また、表示制御部1bは、画像内で顔識別部3i(後述)により識別された特定画像領域としての顔領域に対して所定の加工処理を施して表示パネル1aに表示させる。具体的には、例えば、表示制御部1bは、画像記録部6に記録されている画像における、顔識別部3iにより識別された顔領域に対応する画像領域を所定の拡大倍率で拡大して表示パネル1aの表示画面に表示させる(図示略)。また、例えば、表示制御部1bは、画像記録部6に記録されている画像における、顔識別部3iにより識別された顔領域に対応する画像領域に対してデモザイク処理を施して表示パネル1aの表示画面に表示させる(図示略)。
また、表示制御部1bは、顔識別部3iにより顔領域が複数識別された場合には、順次識別された顔領域に対応する画像領域に対して所定の加工処理を施した後、これらの画像領域を所定の表示時間で切り替えて表示パネル1aの表示画面に表示させる。
なお、所定の加工処理として例示したものは一例であってこれらに限られるものではない。
このように、表示制御部1bは、画像内で識別手段により識別された特定画像領域に相当する画像領域に対して所定の加工処理を施して表示パネル1aに表示させる表示制御手段を構成している。
画像処理部2は、画像記録部6から読み出された表示対象に係る画像Pの画像データや動画像データを対応する所定の符号化方式(例えば、JPEG形式、モーションJPEG形式、MPEG形式など)に従って復号して、表示制御部1bに出力する。また、画像処理部2は、画像記録部6から読み出された画像データを、例えば、表示パネル1aの表示解像度等に基づいて所定サイズ(例えば、VGAやQVGAサイズ)に縮小して表示制御部1bに出力する。
また、画像処理部2は、画像識別処理にて、表示対象に係る画像Pの輝度画像データLから縮小画像データR(図4(a)〜図4(f)参照)を生成する縮小画像生成部2aを具備している。
縮小画像生成部2aは、画像記録部(第2の記録手段)6から読み出された表示対象に係る画像Pの輝度画像データLに基づいて、水平(x軸)及び垂直(y軸)ともに所定の比率で縮小した縮小画像データRを生成する。具体的には、縮小画像生成部2aは、表示対象に係る画像Pの輝度画像データLに基づいて、当該画像データの水平及び垂直の画素を順次所定の比率(例えば、0.9倍)ずつ縮小することで解像度を段階的に低減させた縮小画像データRを順次生成する(図4(a)〜図4(f)参照)。
なお、縮小画像の生成数(縮小回数)は、入力される輝度画像データのサイズや特定画像領域(顔領域)の識別精度や識別速度等を考慮して適宜任意に変更可能である。
このように、縮小画像生成部2aは、画像記録部6に記録されている画像を所定の比率で順次縮小して縮小画像を順次生成する画像縮小手段を構成している。
顔検出部3は、画像領域生成部3aと、一時記憶用メモリ3bと、評価値算出部3cと、第1算出制御部3dと、判断部3eと、評価閾値設定部3fと、画像領域指定部3gと、第2算出制御部3hと、顔識別部3iとを具備している。
画像領域生成部3aは、表示対象に係る画像Pから第1領域A1及び第2領域A2をそれぞれ生成する。
即ち、画像領域生成部3aは、画像処理部2により生成された表示対象に係る画像Pの輝度画像データLから、評価値算出部3cによる顔の識別対象領域となる第1領域A1及び第2領域A2をそれぞれ複数生成する(図5参照)。具体的には、画像領域生成部3aは、第1領域A1及び第2領域A2の各々の所定の単位画素(例えば、1画素)からなる基準ブロックが直和分割されるように所定サイズ(例えば、24×24画素)の第1領域A1及び第2領域A2をそれぞれ生成する。
例えば、第1領域A1及び第2領域A2の左上隅部(所定位置)の画素を基準ブロックとした場合、画像領域生成部3aは、図6(a)、図8等に示すように、当該第1領域A1及び第2領域A2の基準ブロックが市松模様状に配置されるように設定する。ここで、本実施例では、第1領域A1の基準ブロックは、市松模様状の黒の部分に該当し、第2領域A2の基準ブロックは、市松模様状の白の部分に該当する(図8等参照)。そして、画像領域生成部3aは、輝度画像データLや縮小画像データR内で第1領域A1に係る各基準ブロックを基準として所定サイズ(例えば、24×24画素)のサブウィンドウA(図5参照)を所定位置に複数設定することで、第1領域A1を順次生成する。そして、第1領域A1の生成後、画像領域生成部3aは、第1領域A1と同様に、輝度画像データLや縮小画像データR内で第2領域A2に係る各基準ブロックを基準として所定サイズ(例えば、24×24画素)のサブウィンドウAを所定位置に複数設定することで、第2領域A2を順次生成する。
具体的には、第1領域A1については、画像領域生成部3aは、例えば、座標(0, 0)の画素を基準ブロックとし、且つ、(0, 0),(23, 0),(0, 23),(23, 23)を四隅の座標とする第1領域A1(図6(a)参照)や、座標(2, 0)の画素を基準ブロックとし、且つ、(2, 0),(25, 0),(2, 23),(25, 23)を四隅の座標とする第1領域A1(図6(b)参照)や、座標(4, 0)の画素を基準ブロックとし、且つ、(4, 0),(27, 0),(4, 23),(27, 23)を四隅の座標とする第1領域A1(図6(c)参照)等を順次生成する。また、画像領域生成部3aは、輝度画像データLや縮小画像データR内で第1領域A1を右端まで生成すると、サブウィンドウAの設定位置をy軸方向に一画素ずらして、上記と同様に、左から右に第1領域A1を生成する。
同様に、第2領域A2については、画像領域生成部3aは、例えば、座標(1, 0)の画素を基準ブロックとし、且つ、(1, 0),(24, 0),(1, 23),(24, 23)を四隅の座標とする第2領域A2(図示略)や、座標(3, 0)の画素を基準ブロックとし、且つ、(3, 0),(26, 0),(3, 23),(26, 23)を四隅の座標とする第2領域A2(図示略)や、座標(5, 0)の画素を基準ブロックとし、且つ、(5, 0),(28, 0),(5, 23),(28, 23)を四隅の座標とする第2領域A2(図示略)等を順次生成する。また、画像領域生成部3aは、輝度画像データLや縮小画像データR内で第2領域A2を右端まで生成すると、サブウィンドウAの設定位置をy軸方向に一画素ずらして、上記と同様に、左から右に第2領域A2を生成する。
なお、図示は省略するが、画像領域生成部3aは、第1領域A1及び第2領域A2の右下隅部の画素の座標が輝度画像データLや縮小画像データRの右下隅部の画素の座標と一致するか、当該座標よりも大きくなった場合に、第1領域A1及び第2領域A2の生成を終了する。また、第1領域A1及び第2領域A2の生成方向(生成順序)は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、画像領域生成部3aは、縮小画像生成部2aにより順次生成された輝度画像の縮小画像データRの各々から第1領域A1及び第2領域A2をそれぞれ複数生成する。即ち、画像領域生成部3aは、縮小画像生成部2aにより縮小画像データRが順次生成される毎に、当該縮小画像データRから第1領域A1及び第2領域A2をそれぞれ複数生成する。
このように、画像領域生成部3aは、画像記録部6に記録されている画像から第1領域A1及び第2領域A2をそれぞれ生成する生成手段を構成している。
一時記憶用メモリ3bは、画像領域生成部3aにより生成された第1領域A1及び第2領域A2の画像データを一時的に記憶する。即ち、画像領域生成部3aにより第1領域A1及び第2領域A2が順次生成されると、一時記憶用メモリ3bに、当該第1領域A1及び第2領域A2の画像データが順次記憶される。
また、一時記憶用メモリ3bは、評価値算出部3cにより算出された第1領域A1や第2領域A2等の識別対象領域と識別用情報との類似度に係る類似評価値を識別対象領域と対応付けて一時的に記憶する。
評価値算出部3cは、表示対象の画像と識別用情報記録部5に記録されている識別用情報との類似度に係る類似評価値を算出する。
即ち、評価値算出部3cは、一時記憶用メモリ3bから画像領域生成部3aにより生成された第1領域A1や第2領域A2の画像データをそれぞれ取得して、当該第1領域A1や第2領域A2と識別用情報との類似度に係る類似評価値を算出する。また、評価値算出部3cは、入力される第1領域A1や第2領域A2の画像データについて、例えば、adaboost(アダブースト)出力計算を用いて類似評価値を算出する。具体的には、評価値算出部3cは、第1領域A1や第2領域A2等の識別対象領域が顔であるか否かを判断するための複数のサブ識別器を具備しており、これら複数のサブ識別器が複数(例えば、20)のステージに分けて規定されている。例えば、サブ識別器部は、第1ステージに2つ、第2ステージに5つ、第3ステージに10、第4ステージに20といったように、各ステージに所定個数のサブ識別器が規定されている。なお、より低い(数値の小さい)ステージに規定されているサブ識別器ほど、顔であるか否かの判断の信頼度がより高く設定されても良い。
そして、評価値算出部3cは、識別対象領域の画像データを、ステージ順に各ステージのサブ識別器に入力していく。評価値算出部3cは、一のステージの全てのサブ識別器にて顔であると判断された画像データ(図7における「T」)を次のステージのサブ識別器に入力する一方で、顔でないと判断された画像データ(図7における「F」)のそれ以降の識別を中止する。評価値算出部3cは、第1領域A1や第2領域A2等の各識別対象領域について、サブ識別器の識別結果に従って類似評価値を算出する。具体的には、評価値算出部3cは、各識別対象領域について、複数のサブ識別器を規定する複数のステージの通過数、即ち、各ステージに規定されている全てのサブ識別器にて顔であると判断された場合には、当該ステージを通過して次のステージに受け渡されるが、通過した全てのステージに規定されているサブ識別器の個数を加算した値を類似評価値として算出する。一方、ステージの通過数が「0」の場合(第1ステージを通過できずに第2ステージに受け渡されなかった場合)、評価値算出部3cは、例えば、負の値など所定の最低値を類似評価値として算出する。
例えば、図7に示すように、評価値算出部3cは、第1ステージの2つのサブ識別器に所定の順序で識別対象領域の画像データを入力し、これら2つのサブ識別器の両方にて顔であると判断された識別対象領域の画像データを、次のステージである第2ステージのサブ識別器に入力する。一方、第1ステージの2つ目のサブ識別器までに評価値算出部3cにより算出された類似度が予め設定された閾値未満と判断されると、評価値算出部3cは、当該画像データのそれ以降の識別を中止して、所定の負の値を類似評価値として算出する。具体的には、例えば、第1ステージのサブ識別器は、青空や無地の背景部分といった輝度変化の少ない画像領域を判断するものであり、当該第1ステージにて、青空や無地の背景部分といった輝度変化の少ない画像領域であると判断されると、それ以降の顔であるか否かの識別が中止される。
また、評価値算出部3cは、第1ステージにて顔であると判断された識別対象領域の画像データについて、第1ステージと同様に、第2ステージの5つのサブ識別器に所定の順序で入力し、1つ目のサブ識別器から5つ目のサブ識別器までに算出された類似度が予め設定された閾値以上と判断された画像データを、次のステージである第3ステージのサブ識別器に入力する。一方、第2ステージの1つ目のサブ識別器から5つ目のサブ識別器までに評価値算出部3cにより算出された類似度が予め設定された閾値未満と判断されると、評価値算出部3cは、当該画像データのそれ以降の識別を中止して、通過済みの一つ前のステージ(第1ステージ)までのサブ識別器の総数(第1ステージのみ通過している場合、「2」)を類似評価値として算出する。
評価値算出部3cは、第3ステージ以降についても上記と同様にして類似度を算出していく。つまり、より顔であると判断される可能性の高い画像領域ほど、より先のステージのサブ識別器に入力される。
なお、評価値算出部3cによる類似度の算出方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
このように、評価値算出部3cは、画像記録部6に記録されている画像と識別用情報記録部5に記録されている識別用情報との類似度を算出する算出手段を構成している。
第1算出制御部3dは、第1領域A1の各々と識別用情報記録部5に記録されている識別用情報との類似度に係る類似評価値を評価値算出部3cにより算出させる制御を行う。
即ち、第1算出制御部3dは、画像領域生成部3aにより第1領域A1が生成される毎に、評価値算出部3cを制御して、生成された各第1領域A1と識別用情報との類似度に係る類似評価値を算出させる。
ここで、第1算出制御部3dは、画像領域生成部3aにより生成された第1領域A1の各々と識別用情報との類似度を評価値算出部3cにより算出させる第1の算出制御手段を構成している。
判断部3eは、第2領域A2の各々について識別用情報との類似度に係る類似評価値を評価値算出部3cにより算出させるか否かを判断する。
即ち、判断部3eは、第1算出制御部3dによる制御下にて評価値算出部3cにより算出された類似評価値に基づいて、第2領域A2の各々について識別用情報との類似度に係る類似評価値を評価値算出部3cにより算出させるか否かを判断する。具体的には、判断部3eは、識別対象領域となる第2領域A2の各々について、当該第2領域A2の基準ブロックと隣設する基準ブロックを具備する少なくとも一の第1領域A1に係る類似評価値に基づいて、識別対象領域(第2領域A2)の類似評価値を評価値算出部3cにより算出させるか否かを判断する。より具体的には、判断部3eは、複数の第2領域A2、…のうち、識別対象領域となる第2領域A2の基準ブロックと隣設する基準ブロックを具備する各第1領域A1の類似評価値を加算した値を第2領域A2の判定用評価値として、評価閾値設定部3fにより設定された評価閾値以上であるか否かを判断する。そして、判断部3eは、第1領域A1に係る判定用評価値が評価閾値設定部3fにより設定された評価閾値以上であると判断した場合に、評価値算出部3cにより類似評価値を算出すると判断する。一方、判断部3eは、第1領域A1に係る判定用評価値が評価閾値未満であると判断した場合に、評価値算出部3cにより類似評価値を算出しないと判断する。
例えば、図8に示すように、識別対象領域となる第2領域A2の基準ブロックに4つの第1領域A1の基準ブロックが隣設している場合に、判断部3eは、これら4つの基準ブロックに係る第1領域A1の類似評価値(例えば、「2」、「2」、「7」、「7」等)を全て加算した値(第2領域A2の判定用評価値)が評価閾値以上であるか否かを判断する。そして、判断部3eは、判定用評価値が評価閾値以上であると判断された場合に、識別対象領域となる第2領域A2について評価値算出部3cにより類似評価値を算出すると判断する一方で、判定用評価値が評価閾値未満であると判断された場合に、識別対象領域となる第2領域A2について評価値算出部3cにより類似評価値を算出しないと判断する。
なお、識別対象領域となる第2領域A2の判定用評価値として、当該第2領域A2の基準ブロックと隣設する基準ブロックを具備する各第1領域A1の類似評価値を加算した値を例示したが、一例であってこれに限られるものではなく、例えば、複数の第1領域A1、…の類似評価値の平均値、最大値、最小値、中央値など適宜任意に変更可能である。
このように、判断部3eは、第1算出制御部3dにより算出された類似度に基づいて、第2領域A2の各々について識別用情報との類似度を評価値算出部3cにより算出させるか否かを判断する判断手段を構成している。
評価閾値設定部3fは、判断部3eによる判断基準に係る評価閾値を設定する。
即ち、評価閾値設定部3fは、第2領域A2の各々と識別用情報との類似度に係る類似評価値を評価値算出部3cにより算出させるか否かの判断部3eによる判断基準となる評価閾値を設定する。具体的には、評価閾値設定部3fは、ユーザによる操作入力部7の所定操作に基づいて入力された所定の値、或いは、予めデフォルトとして設定されている所定の値を、判断部3eによる判断基準となる評価閾値として設定する。
ここで、評価閾値設定部3fは、第2領域A2の各々についての識別用情報との類似度を評価値算出部3cにより算出させるか否かの判断部3eによる判断基準となる閾値を設定する設定手段を構成している。
画像領域指定部3gは、複数の第2領域A2、…の中で、識別用情報との類似度に係る類似評価値を評価値算出部3cにより算出させる画像領域を指定する。
即ち、画像領域指定部3gは、第1算出制御部3dによる制御下にて評価値算出部3cにより算出された類似評価値に基づいて、第2領域A2の各々のうち、類似評価値を評価値算出部3cにより算出させる画像領域を指定する。具体的には、画像領域指定部3gは、判断部3eによる判断の結果、複数の第2領域A2、…の中で、評価値算出部3cにより識別用情報との類似度に係る類似評価値を算出すると判断された第2領域A2を、類似評価値を算出する画像領域として指定する。例えば、画像領域指定部3gは、識別対象領域となる第2領域A2の基準ブロックに隣設する基準ブロックに係る第1領域A1の類似評価値(例えば、「2」、「2」、「7」、「7」等)を全て加算した値(第2領域A2の判定用評価値)が評価閾値以上であると判断された第2領域A2を、類似評価値を算出する画像領域として指定する。
ここで、画像領域指定部3gは、第1算出制御部3dにより算出された類似度に基づいて、画像領域生成部3aにより生成された第2領域A2の各々のうち、識別用情報との類似度を評価値算出部3cにより算出させる画像領域を指定する指定手段を構成している。
第2算出制御部3hは、画像領域指定部3gにより指定された画像領域と識別用情報との類似度に係る類似評価値を評価値算出部3cにより算出させる制御を行う。
即ち、第2算出制御部3hは、画像領域生成部3aにより生成された第2領域A2の各々のうち、画像領域指定部3gにより画像領域として指定された第2領域A2と識別用情報との類似度に係る類似評価値を評価値算出部3cにより算出させる。
ここで、第2算出制御部3hは、画像領域指定部3gにより指定された画像領域と識別用情報との類似度を評価値算出部3cにより算出させる第2の算出制御手段を構成している。
顔識別部3iは、表示対象としての画像内で顔領域を識別する。
即ち、顔識別部3iは、第1算出制御部3dにより算出された各第1領域A1の類似評価値及び第2算出制御部3hにより算出された各第2領域A2の類似評価値のうち、少なくとも一方に基づいて、所定の画像内で顔領域(特定画像領域)を識別する。具体的には、顔識別部3iは、表示対象としての画像の輝度画像や、縮小画像生成部2aにより生成された縮小画像の各々から生成された第1領域A1や第2領域A2の類似評価値に基づいて、顔領域を識別する処理を行う(図9(a)参照)。なお、図9(a)にあっては、輝度画像や各縮小画像内で識別された各顔領域に各仮顔枠Waが重畳された状態を模式的に示しているが、当該仮顔枠Waは表示パネル1aに表示される表示画像上に表示されても良いし、表示されなくても良い。
そして、顔識別部3iは、輝度画像や縮小画像から識別された少なくとも一の顔領域を所定の演算式に従って統合して、表示対象の画像内で一の顔領域に相当する画像領域を特定する(図9(b)参照)。
なお、特定画像領域として、人の顔領域を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、物体、植物、動物などの主要領域であっても良い。
このように、顔識別部3iは、第1算出制御部3d及び第2算出制御部3hのうちの少なくとも一方により算出された類似度に基づいて、画像内で特定画像領域を識別する識別手段を構成している。
メモリ4は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、画像処理部2や顔検出部3や中央制御部8等によって処理されるデータ等を一時的に記憶する。具体的には、メモリ4は、画像メモリ4aと、格納用メモリ4bとを具備している。
画像メモリ4aは、画像記録部6から読み出された表示対象となる画像の画像データを一時的に記憶する。
格納用メモリ4bは、画像記録部6から読み出された表示対象となる画像における、顔識別部3iにより識別された顔領域に対応する画像領域の画像データを一時的に格納する。
識別用情報記録部5は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されている。また、識別用情報記録部5は、第1の記録手段として、特定画像領域を識別するための識別用情報を記録している。即ち、識別用情報記録部5は、顔検出部3に入力された画像、具体的には、画像領域生成部3aにより生成された第1領域A1及び第2領域A2の各々について、特定画像領域として顔を識別するための識別用情報を記録している。
ここで、識別用情報は、例えば、ニューラルネット、アダブースト、サポートベクターマシン等の所定の顔検出部3のサブ識別器に入力される第1領域A1及び第2領域A2について、顔であるか否かを判定するための各種の情報である。
画像記録部6は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されている。また、画像記録部6は、第2の記録手段として、表示部1に表示される画像の画像データを所定の符号化方式で符号化して記録する。
なお、画像データは、所定のサイズ(例えば、1000万画素)で撮像された記録用画像の画像データであっても良いし、表示用に所定のサイズ(例えば、VGAやQVGAサイズ)に縮小された表示用画像の画像データであっても良い。
操作入力部7は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成される操作部を有し、これらの操作部の操作に応じて所定の操作信号を中央制御部8に出力する。
中央制御部8は、画像表示装置100の各部を制御するものである。具体的には、中央制御部8は、図示は省略するが、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)を備え、画像表示装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
次に、画像表示装置100による画像識別処理について、図2〜図9を参照して説明する。
図2は、画像識別処理に係る動作の一例を示すフローチャートである。また、図3は、顔検出処理に係る動作の一例を示すフローチャートである。
なお、以下の説明にあっては、特定画像領域としての顔領域が含まれている画像Pを用いるものとする。
図2に示すように、先ず、中央制御部8は、画像記録部6から表示対象となる所望の画像Pの画像データを読み出して画像メモリ4aに一時的に記憶する(ステップS1)。次に、画像処理部2は、画像メモリ4aから画像データを取得して、当該画像データを対応する所定の符号化方式(例えば、JPEG形式)に従って復号した後、所定サイズ(例えば、VGAやQVGAサイズ)に縮小して縮小後の画像データの輝度画像データLを生成する(ステップS2)。
続けて、顔検出部3は、輝度画像データLから顔検出処理を行う(ステップS3;図3参照)。
ここで、顔検出処理について図3を参照して詳細に説明する。
図3に示すように、先ず、顔検出部3は、画像処理部2により生成された輝度画像データLから、評価値算出部3cによる顔の識別対象領域となる所定サイズ(例えば、24×24画素)の第1領域A1を生成可能であるか否かを判定する(ステップS31)。具体的には、顔検出部3は、輝度画像データL内で第1領域A1を設定するためのサブウィンドウAの右下隅部の画素のx座標やy座標が輝度画像データLの右下隅部の画素のx座標やy座標よりも大きくなったか否かに応じて第1領域A1を生成可能であるか否かを判定する。
ここで、第1領域A1を生成可能であると判定されると(ステップS31;YES)、画像領域生成部3aは、輝度画像データLから第1領域A1を生成する(ステップS32)。具体的には、画像領域生成部3aは、第1領域A1及び第2領域A2の左上隅部の基準ブロックが市松模様状に配置されるように設定した後、輝度画像データL内で第1領域A1に係る各基準ブロック(例えば、左上隅部の画素等)を基準として所定サイズ(例えば、24×24画素)のサブウィンドウAを所定位置に設定することで、第1領域A1を生成する(図5及び図6(a)等参照)。そして、顔検出部3は、画像領域生成部3aにより生成された第1領域A1の画像データを一時記憶用メモリ3bに一時的に記憶する。
次に、第1算出制御部3dは、第1領域A1と識別用情報記録部5に記録されている識別用情報との類似度に係る類似評価値を評価値算出部3cにより算出させる(ステップS33)。具体的には、評価値算出部3cは、例えば、adaboost出力計算を用いて、第1領域A1についてのサブ識別器の識別結果に従って類似評価値を算出する(図7参照)。
続けて、顔検出部3は、評価値算出部3cにより算出された第1領域A1に係る類似評価値を一時記憶用メモリ3bに一時的に記憶する(ステップS34)。
その後、顔検出部3は、次の第1領域A1を処理対象に設定し(ステップS35)、処理をステップS31に移行して、輝度画像データLから所定サイズの第1領域A1を生成可能であるか否かを判定する(ステップS31)。
上記の処理を、ステップS31にて第1領域A1を生成可能でないと判定されるまで繰り返し実行することで、顔検出部3は、輝度画像データL内で複数の第1領域A1、…(図6(b)、図6(c)等参照)を順次設定していき、各第1領域A1について類似評価値を順次算出していく。
そして、ステップS31にて、第1領域A1を生成可能でないと判定されると(ステップS31;NO)、顔検出部3は、輝度画像データLから、評価値算出部3cによる顔の識別対象領域となる所定サイズ(例えば、24×24画素)の第2領域A2を生成可能であるか否かを判定する(ステップS36)。なお、第2領域A2を生成可能であるか否かの判定方法は、ステップS31における第1領域A1を生成可能であるか否かの判定方法と略同様であり、詳細な説明は省略する。
ここで、第2領域A2を生成可能であると判定されると(ステップS36;YES)、画像領域生成部3aは、輝度画像データLから第2領域A2を生成する(ステップS37)。具体的には、画像領域生成部3aは、輝度画像データL内で、第1領域A1の生成の際に市松模様状に配置された第2領域A2の左上隅部の基準ブロックを基準として所定サイズ(例えば、24×24画素)のサブウィンドウAを所定位置に設定することで、第2領域A2を生成する(図5等参照)。そして、顔検出部3は、画像領域生成部3aにより生成された第2領域A2の画像データを一時記憶用メモリ3bに一時的に記憶する。
次に、判断部3eは、識別対象領域となる第2領域A2の近傍の第1領域A1、即ち、第2領域A2の基準ブロックと隣設する基準ブロックを具備する第1領域A1の類似評価値(図8参照)を加算して、当該第2領域A2の判定用評価値(例えば、第1領域A1の類似評価値が「2」、「2」、「7」、「7」の場合には、第2領域A2の判定用評価値「18」等)を算出する(ステップS38)。そして、判断部3eは、算出された判定用評価値が評価閾値以上であるか否かを判断する(ステップS39)。
ここで、判定用評価値が評価閾値以上であると判断されると(ステップS39;YES)、画像領域指定部3gは、判定用評価値が評価閾値以上である第2領域A2を、類似評価値を算出する画像領域として指定する(ステップS40)。
続けて、第2算出制御部3hは、ステップS40にて画像領域として指定された第2領域A2と識別用情報記録部5に記録されている識別用情報との類似度に係る類似評価値を評価値算出部3cにより算出させる(ステップS41)。具体的には、評価値算出部3cは、例えば、adaboost出力計算を用いて、第2領域A2についてのサブ識別器の識別結果に従って類似評価値を算出する(図7参照)。
続けて、顔検出部3は、評価値算出部3cにより算出された第2領域A2に係る類似評価値を一時記憶用メモリ3bに一時的に記憶する(ステップS42)。
その後、顔検出部3は、次の第2領域A2を処理対象に設定し(ステップS43)、処理をステップS36に移行して、輝度画像データLから所定サイズの第2領域A2を生成可能であるか否かを判定する(ステップS36)。
また、ステップS39にて、識別対象領域となる第2領域A2の判定用評価値が評価閾値以上でないと判断された場合(ステップS39;NO)にも、顔検出部3は、処理をステップS43に移行して、次の第2領域A2を処理対象に設定し(ステップS43)、それ以降の処理を実行する。即ち、例えば、青空や無地の背景部分といった輝度変化の少ない画像領域に第1領域A1が設定された場合等のように、当該第1領域A1の近傍の第2領域A2については、ステップS39にて、当該第2領域A2の判定用評価値が評価閾値以上でないと判断され(ステップS39;NO)、それ以降の処理が行われない。
上記の処理を、ステップS36にて第2領域A2を生成可能でないと判定(ステップS36;NO)されるまで繰り返し実行することで、顔検出部3は、輝度画像データL内で複数の第2領域A2、…を順次設定していき、各第2領域A2について類似評価値を算出するか否かの判定を順次行い、類似評価値を算出すると判断された第2領域A2については類似評価値を順次算出していく。
そして、ステップS36にて、第2領域A2を生成可能でないと判定されると(ステップS36;NO)、顔識別部3iは、第1領域A1の類似評価値や第2領域A2の類似評価値に基づいて、輝度画像データL内で顔領域を識別する処理(ステップS44;図9(a)参照)を行って、顔検出処理を終了する。
図2に示すように、次に、縮小画像生成部2aは、表示対象に係る画像Pの輝度画像データLに基づいて、当該画像データの水平及び垂直の画素を所定の比率(例えば、0.9倍)で縮小した縮小画像データR(第1縮小画像データR1)を生成可能であるか否かを判定する(ステップS4)。具体的には、縮小画像生成部2aは、例えば、第1領域A1や第2領域A2の生成に係るサブウィンドウA(例えば、24×24画素)の水平方向の画素数若しくは垂直方向の画素数よりも、縮小元の画像データ(輝度画像データL)の同方向の画素数が大きいか否か等に応じて第1縮小画像データR1を生成可能であるか否かを判定する。
ここで、縮小画像データR(第1縮小画像データR1)を生成可能であると判定されると(ステップS4;YES)、縮小画像生成部2aは、表示対象の画像に係る輝度画像データLの水平及び垂直の画素を所定の比率(例えば、0.9倍)で縮小した第1縮小画像データR1を生成した後(ステップS5)、処理をステップS3に移行して、顔検出部3は、第1縮小画像データR1から顔検出処理を行う(ステップS3;図3参照)。
ここでの顔検出処理は、処理対象の画像データとして第1縮小画像データR1を用いる以外の点で、輝度画像データLを処理対象の画像データとして説明した上記の内容と略同様であり、詳細な説明は省略する。
この顔検出処理にて、顔識別部3iは、第1縮小画像データR1から生成された第1領域A1の類似評価値や第2領域A2の類似評価値に基づいて、第1縮小画像データR1内で顔領域を識別する(ステップS44;図9(a)参照)。
上記の第1縮小画像データR1を処理対象の画像データとした顔検出処理の終了後、縮小画像生成部2aは、表示対象に係る画像Pの第1縮小画像データR1に基づいて、当該画像データの水平及び垂直の画素を所定の比率(例えば、0.9倍)で縮小した縮小画像データR(第2縮小画像データR2)を生成可能であるか否かを判定する(ステップS4)。なお、第2縮小画像データR2を生成可能であるか否かの判定方法は、第1領域A1を生成可能であるか否かの判定方法と略同様であり、詳細な説明は省略する。
ここで、縮小画像生成部2aにより縮小画像データR(第2縮小画像データR2)が生成可能であると判定されると(ステップS4;YES)、縮小画像生成部2aは、表示対象の画像に係る第1縮小画像データR1の水平及び垂直の画素を所定の比率(例えば、0.9倍)で縮小した第2縮小画像データR2を生成した後(ステップS5)、処理をステップS3に移行して、顔検出部3は、第2縮小画像データR2から顔検出処理を行う(ステップS3;図3参照)。
ここでの顔検出処理は、処理対象の画像データとして第2縮小画像データR2を用いる以外の点で、輝度画像データLを処理対象の画像データとして説明した上記の内容と略同様であり、詳細な説明は省略する。
この顔検出処理にて、顔識別部3iは、第2縮小画像データR2から生成された第1領域A1の類似評価値や第2領域A2の類似評価値に基づいて、第2縮小画像データR2内で顔領域を識別する(ステップS44;図9(a)参照)。
上記の処理は、ステップS4にて、縮小画像データRを生成可能でないと判定(ステップS4;NO)されるまで繰り返し実行することで、顔識別部3iは、第1領域A1の類似評価値や第2領域A2の類似評価値に基づいて、各縮小画像データR(例えば、第3〜第n縮小画像データR3、…、Rn)内で顔領域を識別する。
これにより、図9(a)に示すように、輝度画像データLや各縮小画像データR内で識別された複数の顔領域の各々に仮顔枠Waが重畳された状態となる。例えば、集合写真にて手前側にいる人など画像全体に対してより大きな面積の顔を有していたり、正面を向いている人は、縮小画像を順次生成していった場合に、より小さい縮小画像データR内でも顔領域を識別可能となる。これにより、画像全体に対してより大きな面積の顔を有していたり、正面を向いている人は、より小さな面積の顔を有していたり、横を向いている人に比べて相対的に顔領域を識別し易くなって、より多くの仮顔枠Waが重畳された状態となる。
次に、顔識別部3iは、輝度画像データLや縮小画像データRから識別された少なくとも一の顔領域を所定の演算式に従って統合して、表示対象の画像内で一の顔領域に相当する画像領域を特定する(ステップS6)。
その後、表示制御部1bは、表示対象の画像内で、顔識別部3iにより識別された画像領域(顔領域)に重畳させて顔領域枠Wbを表示させた後(ステップS7;図9(b)参照)、画像記録部6に記録されている画像における顔領域に対応する画像領域に対して所定の加工処理を施して表示パネル1aに表示させる(ステップS8)。
具体的には、例えば、表示制御部1bは、顔識別部3iにより識別された顔領域に対応する画像領域を所定の拡大倍率で拡大して表示パネル1aの表示画面に表示させたり、顔識別部3iにより識別された顔領域に対応する画像領域に対してデモザイク処理を施して表示パネル1aの表示画面に表示させる。
これにより、顔識別処理を終了する。
以上のように、本実施形態の画像表示装置100によれば、画像Pから生成された第1領域A1の各々と識別用情報との類似度を評価値算出部3cにより算出し、算出された類似度に基づいて、第2領域A2の各々のうち、識別用情報との類似度を評価値算出部3cにより算出する画像領域を指定する。そして、指定された画像領域と識別用情報との類似度を評価値算出部3cにより算出し、第1領域A1及び第2領域A2のうち、算出された少なくとも一方の領域に係る類似度に基づいて、画像P内で特定画像領域(顔領域)を識別するので、複数の第2領域A2、…の全てについて識別用情報との類似度を算出する必要がなくなって、画像P内での特定画像領域の識別速度の高速化を図ることができる。
具体的には、第1領域A1及び第2領域A2の各々の所定の単位画素からなる基準ブロックが直和分割されるように当該第1領域A1及び第2領域A2をそれぞれ生成した場合であっても、第1領域A1について算出された類似度に基づいて、複数の第2領域A2、…の中で、識別用情報との類似度を算出する画像領域を指定するので、複数の第2領域A2、…の全てについて識別用情報との類似度を算出する必要がなくなる。
また、第1領域A1について算出された類似度に基づいて、第2領域A2の各々について識別用情報との類似度を算出するか否かを判断することにより、複数の第2領域A2、…の中で、識別用情報との類似度を算出する画像領域を指定することができる。具体的には、第2領域A2の各々についての識別用情報との類似度を算出するか否かの判断基準となる評価閾値を設定しておき、第1領域A1について算出された類似度が評価閾値以上であると判断された場合に、第2領域A2と識別用情報との類似度を算出すると判断する一方で、評価閾値未満であると判断された場合に、第2領域A2と識別用情報との類似度を算出しないと判断するので、識別用情報との類似度を算出する第2領域A2の指定を適正に行うことができる。
特に、評価閾値の値を適宜任意に変更することで、全ての第2領域A2の中で、識別用情報との類似度を算出する画像領域として指定される割合を変更することができ、結果として、画像P内での特定画像領域の識別精度を適宜変更することができる。
また、画像記録部6に記録されている画像Pを所定の比率で順次縮小して順次生成された縮小画像データRの各々から第1領域A1及び第2領域A2をそれぞれ生成するので、各縮小画像データRから生成された第1領域A1及び第2領域A2のうち、少なくとも一方の領域に係る類似度に基づいて、特定画像領域をそれぞれ識別することができ、少なくとも一の特定画像領域を所定の演算式に従って統合して、表示対象の画像P内で一の特定画像領域に相当する画像領域を特定することができる。従って、生成される縮小画像データRの数を増減させることにより識別される特定画像領域の数を増減させることができ、画像P内での特定画像領域の識別精度を変更することができる。
また、画像記録部6に記録されている画像Pを表示部1に表示し、より具体的には、画像P内で識別された特定画像領域に相当する画像領域に対して所定の加工処理を施して表示部1に表示するので、特定画像領域を識別できなかった場合には表示対象の画像Pを単に再生表示し、特定画像領域を識別できた場合には当該特定画像領域に相当する画像領域に対して所定の加工処理を施した画像を再生表示することができ、表現豊かなスライドショー再生を実現することができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、画像表示装置100の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、画像識別装置として、画像表示装置100を例示したが、これに限られるものではなく、例えば、図10に示すように、表示部1を備えた撮像装置200などの本発明に係る所定の画像処理を実行可能なものであれば如何なる構成であっても良い。
以下に、画像識別装置の変形例としての撮像装置200について図10を参照して説明する。
図10に示すように、撮像装置200は、表示部1と、画像処理部2と、顔検出部3と、メモリ4と、識別用情報記録部5と、画像記録部6と、操作入力部7と、中央制御部8とに加えて、撮像部9を備えている。
なお、表示部1と、画像処理部2と、顔検出部3と、メモリ4と、識別用情報記録部5と、画像記録部6と、操作入力部7と、中央制御部8は、下記に説明する以外の点で上記実施形態の画像表示装置100に備わるものと略同様の構成をなしている。
撮像部9は、画像を撮像する撮像手段を構成している。具体的には、撮像部9は、図示は省略するが、ズームレンズやフォーカスレンズ等の複数のレンズから構成されたレンズ部と、レンズ部を通過する光の量を調整する絞りと、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する電子撮像部と、タイミング発生器やドライバなどから構成された撮像制御部とを備えている。そして、撮像制御部は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、所定周期毎にレンズ部により結像された光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から1画面分ずつ画像フレームを読み出して画像処理部2に出力させる。
画像処理部2は、電子撮像部から転送された画像データのアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUV画像データ)を生成する。
画像記録部6は、画像処理部2により生成されたYUV画像データを所定の符号化方式(例えば、JPEG形式)で符号化して記録する。
従って、上記の撮像装置200によれば、画像記録部6に記録されている画像、即ち、撮像部9により撮像された画像から特定画像領域(顔領域)の識別を行うことができる。これにより、識別された特定画像領域に相当する画像に対して、拡大処理やデモザイク処理等の所定の加工処理を施して表示させることができることとなる。
なお、上記の撮像装置200にあっては、画像記録部6に記録されている画像から特定画像領域を識別するようにしたが、撮像部9により被写体の撮像により生成されたライブビュー画像から特定画像領域を識別するようにしても良く、これにより、被写体の撮像の際の特定画像領域(顔領域)の検出速度の向上を図ることができる。また、検出された特定画像領域を利用して自動合焦処理(AF)を行う場合には、当該AF速度の向上を図ることができる。
また、上記実施形態にあっては、第1領域A1と第2領域A2のサイズが等しくなるようにしたが、これに限られるものではなく、第1領域A1と第2領域A2のサイズを異ならせても良い。例えば、第1領域A1に対して第2領域A2のサイズを相対的に大きくなるようにしても良い。
加えて、上記実施形態にあっては、生成手段、第1の算出制御手段、指定手段、第2の算出制御手段、識別手段としての機能を、中央制御部8の制御下にて、顔検出部3が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部8のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、生成処理ルーチン、第1の算出制御処理ルーチン、指定処理ルーチン、第2の算出制御処理ルーチン、識別処理ルーチンを含むプログラムを記憶しておく。そして、生成処理ルーチンにより中央制御部8のCPUを、第2の記録手段に記録されている画像から第1領域A1及び第2領域A2をそれぞれ複数生成する生成手段として機能させるようにしても良い。また、第1の算出制御処理ルーチンにより中央制御部8のCPUを、生成手段により生成された第1領域A1の各々と識別用情報との類似度を算出手段により算出させる第1の算出制御手段として機能させるようにしても良い。また、指定処理ルーチンにより中央制御部8のCPUを、第1の算出制御手段により算出された類似度に基づいて、生成手段により生成された第2領域A2の各々のうち、識別用情報との類似度を算出手段により算出させる画像領域を指定する指定手段として機能させるようにしても良い。また、第2の算出制御処理ルーチンにより中央制御部8のCPUを、指定手段により指定された画像領域と識別用情報との類似度を算出手段により算出させる第2の算出制御手段として機能させるようにしても良い。また、識別処理ルーチンにより中央制御部8のCPUを、第1の算出制御手段及び第2の算出制御手段のうちの少なくとも一方により算出された類似度に基づいて、画像内で特定画像領域を識別する識別手段として機能させるようにしても良い。
同様に、判断手段、設定手段、画像縮小手段、表示制御手段についても、中央制御部8のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
100 画像表示装置
1 表示部
1a 表示パネル
1b 表示制御部
2 画像処理部
2a 縮小画像生成部
3 顔検出部
3a 画像領域生成部
3c 評価値算出部
3d 第1算出制御部
3e 判断部
3f 評価閾値設定部
3g 画像領域指定部
3h 第2算出制御部
3i 顔識別部
5 識別用情報記録部
6 画像記録部
8 中央制御部
9 撮像部
200 撮像装置

Claims (9)

  1. 特定画像領域を識別するための識別用情報を記録する第1の記録手段と、
    画像を記録する第2の記録手段と、
    この第2の記録手段に記録されている画像から第1領域及び第2領域をそれぞれ複数生成する生成手段と、
    前記第2の記録手段に記録されている画像と前記第1の記録手段に記録されている識別用情報との類似度を算出する算出手段と、
    前記生成手段により生成された前記第1領域の各々と前記識別用情報との類似度を前記算出手段により算出させる第1の算出制御手段と、
    この第1の算出制御手段により算出された類似度に基づいて、前記生成手段により生成された前記第2領域の各々のうち、前記識別用情報との類似度を前記算出手段により算出させる領域を指定する指定手段と、
    この指定手段により指定された領域と前記識別用情報との類似度を前記算出手段により算出させる第2の算出制御手段と、
    前記第1の算出制御手段及び前記第2の算出制御手段のうちの少なくとも一方により算出された類似度に基づいて、前記画像内で前記特定画像領域を識別する識別手段と、
    前記第1の算出制御手段により算出された類似度であって、前記第2領域の周辺の複数の前記第1領域の類似度に基づいて、前記第2領域の各々について前記識別用情報との類似度を前記算出手段により算出させるか否かを判断する判断手段と、
    を備え、
    前記指定手段は、
    前記判断手段による判断結果に基づいて、前記第2領域の各々のうち、前記識別用情報との類似度を前記算出手段により算出する領域を指定する
    ことを特徴とする画像識別装置。
  2. 前記第2領域の各々についての前記識別用情報との類似度を前記算出手段により算出させるか否かの前記判断手段による判断基準となる閾値を設定する設定手段を更に備え、
    前記判断手段は、更に、
    前記第1の算出制御手段により算出された類似度であって、前記第2領域の周辺の複数の前記第1領域の類似度が前記設定手段により設定された閾値以上であると判断された場合に、前記算出手段により前記識別用情報との類似度を算出すると判断する一方で、前記第1の算出制御手段により算出された類似度であって、前記第2領域の周辺の複数の前記第1領域の類似度が前記設定手段により設定された閾値未満であると判断された場合に、前記算出手段により前記識別用情報との類似度を算出しないと判断することを特徴とする請求項に記載の画像識別装置。
  3. 前記第2の記録手段に記録されている画像を所定の比率で順次縮小して縮小画像を順次生成する画像縮小手段を更に備え、
    前記生成手段は、前記画像縮小手段により順次生成された縮小画像の各々から前記第1領域及び第2領域をそれぞれ生成することを特徴とする請求項1又は2に記載の画像識別装置。
  4. 前記生成手段は、前記第1領域及び第2領域の各々の所定の単位画素からなる基準ブロ
    ックが直和分割されるように当該第1領域及び第2領域をそれぞれ生成することを特徴と
    する請求項1〜の何れか一項に記載の画像識別装置。
  5. 前記第2の記録手段に記録されている画像を表示する表示手段を更に備えることを特徴とする請求項1〜の何れか一項に記載の画像識別装置。
  6. 前記画像内で前記識別手段により識別された前記特定画像領域に相当する画像に対して所定の加工処理を施して前記表示手段に表示させる表示制御手段を更に備えることを特徴とする請求項に記載の画像識別装置。
  7. 画像を撮像する撮像手段を更に備え、
    前記第2の記録手段は、前記撮像手段により撮像された画像を記録することを特徴とする請求項1〜の何れか一項に記載の画像識別装置。
  8. 特定画像領域を識別するための識別用情報を記録する第1の記録手段と、画像を記録する第2の記録手段と、この第2の記録手段に記録されている画像と前記第1の記録手段に記録されている識別用情報との類似度を算出する算出手段と、を備えた画像識別装置を用いた画像識別方法であって、
    前記第2の記録手段に記録されている画像から第1領域及び第2領域をそれぞれ複数生成する生成ステップと、
    前記生成された前記第1領域の各々と前記識別用情報との類似度を前記算出手段により算出させる第1の算出制御ステップと、
    この第1の算出制御ステップにて算出された類似度に基づいて、前記第2領域の各々のうち、前記識別用情報との類似度を前記算出手段により算出させる領域を指定する指定ステップと、
    この指定ステップにて指定された領域と前記識別用情報との類似度を前記算出手段により算出させる第2の算出制御ステップと、
    前記第1領域及び前記第2領域のうち、算出された少なくとも一方に係る類似度に基づいて、前記画像内で前記特定画像領域を識別するステップと、
    前記第1の算出制御ステップにより算出された類似度であって、前記第2領域の周辺の複数の前記第1領域の類似度に基づいて、前記第2領域の各々について前記識別用情報との類似度を前記算出手段により算出させるか否かを判断する判断ステップと、
    を含み、
    前記指定ステップは、
    前記判断ステップによる判断結果に基づいて、前記第2領域の各々のうち、前記識別用情報との類似度を前記算出手段により算出する領域を指定する
    ことを特徴とする画像識別方法。
  9. 特定画像領域を識別するための識別用情報を記録する第1の記録手段と、画像を記録する第2の記録手段と、この第2の記録手段に記録されている画像と前記第1の記録手段に記録されている識別用情報との類似度を算出する算出手段と、を備えた画像識別装置のコンピュータを、
    前記第2の記録手段に記録されている画像から第1領域及び第2領域をそれぞれ複数生成する生成手段、
    この生成手段により生成された前記第1領域の各々と前記識別用情報との類似度を前記算出手段により算出させる第1の算出制御手段、
    この第1の算出制御手段により算出された類似度に基づいて、前記生成手段により生成された前記第2領域の各々のうち、前記識別用情報との類似度を前記算出手段により算出させる領域を指定する指定手段、
    この指定手段により指定された領域と前記識別用情報との類似度を前記算出手段により算出させる第2の算出制御手段、
    前記第1の算出制御手段及び前記第2の算出制御手段のうちの少なくとも一方により算出された類似度に基づいて、前記画像内で前記特定画像領域を識別する識別手段、
    前記第1の算出制御手段により算出された類似度であって、前記第2領域の周辺の複数の前記第1領域の類似度に基づいて、前記第2領域の各々について前記識別用情報との類似度を前記算出手段により算出させるか否かを判断する判断手段、
    として機能させ、
    前記指定手段は、
    前記判断手段による判断結果に基づいて、前記第2領域の各々のうち、前記識別用情報との類似度を前記算出手段により算出する領域を指定する
    ことを特徴とするプログラム。
JP2010180716A 2010-08-12 2010-08-12 画像識別装置、画像識別方法及びプログラム Expired - Fee Related JP5732773B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010180716A JP5732773B2 (ja) 2010-08-12 2010-08-12 画像識別装置、画像識別方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010180716A JP5732773B2 (ja) 2010-08-12 2010-08-12 画像識別装置、画像識別方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2012038276A JP2012038276A (ja) 2012-02-23
JP5732773B2 true JP5732773B2 (ja) 2015-06-10

Family

ID=45850168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010180716A Expired - Fee Related JP5732773B2 (ja) 2010-08-12 2010-08-12 画像識別装置、画像識別方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5732773B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721382A (ja) * 1993-07-05 1995-01-24 Asia Electron Inc 画像処理装置
JP2009064123A (ja) * 2007-09-05 2009-03-26 Casio Comput Co Ltd 画像処理装置、撮像装置、画像処理方法、および、プログラム
JP4983682B2 (ja) * 2008-03-25 2012-07-25 セイコーエプソン株式会社 オブジェクト検出方法、オブジェクト検出装置、オブジェクト検出プログラムおよび印刷装置

Also Published As

Publication number Publication date
JP2012038276A (ja) 2012-02-23

Similar Documents

Publication Publication Date Title
JP5939705B2 (ja) 被写体判定装置、被写体判定方法及びプログラム
JP6288816B2 (ja) 画像処理装置、画像処理方法及びプログラム
TWI408954B (zh) 影像處理裝置及電腦程式
US20100225785A1 (en) Image processor and recording medium
KR20080012249A (ko) 화상 재생 장치 및 그 제어방법
JP6652039B2 (ja) 撮像装置、撮像方法及びプログラム
US20140233858A1 (en) Image creating device, image creating method and recording medium storing program
US10095919B2 (en) Image processing apparatus, image processing method and storage medium to suitably clip a subject region from a moving image
JP5510287B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
JP5966778B2 (ja) 撮像装置、撮像方法及びプログラム
JP4894708B2 (ja) 撮像装置
KR20110034958A (ko) 디지털 촬영 장치 및 촬영 방법
US20160284063A1 (en) Image processing apparatus, image processing method and recording medium recording program for correcting image in predetermined area
JP5267279B2 (ja) 画像合成装置及びプログラム
KR20040032590A (ko) 디지털 카메라에서의 얼굴 영상 개선 방법
JP5732773B2 (ja) 画像識別装置、画像識別方法及びプログラム
JP2011193066A (ja) 撮像装置
JP5740934B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
JP5212451B2 (ja) 領域特定方法、領域特定装置、プログラム、サーバ及びシステム
JP5807695B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
JP6597262B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6668646B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011077850A (ja) 画像処理装置、画像処理方法及びプログラム
JP2016039513A (ja) 画像生成装置、画像生成方法及びプログラム
JP6627418B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130724

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130724

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140606

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150123

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150330

R150 Certificate of patent or registration of utility model

Ref document number: 5732773

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees