JP5376583B2 - 被写体の重要度判定方法及び装置、重要度判定プログラム、画像検索方法及び装置、並びに、画像検索プログラム - Google Patents
被写体の重要度判定方法及び装置、重要度判定プログラム、画像検索方法及び装置、並びに、画像検索プログラム Download PDFInfo
- Publication number
- JP5376583B2 JP5376583B2 JP2009121112A JP2009121112A JP5376583B2 JP 5376583 B2 JP5376583 B2 JP 5376583B2 JP 2009121112 A JP2009121112 A JP 2009121112A JP 2009121112 A JP2009121112 A JP 2009121112A JP 5376583 B2 JP5376583 B2 JP 5376583B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- importance
- digital
- area
- positional relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
(1)デジタル画像における複数の被写体について重要度を判定する場合、被写体同士が与える影響を考慮することで、より適切に被写体の重要度を判定できる。
(2)デジタル画像における被写体同士が与える影響については、被写体同士の相対的な位置関係が大きく寄与する。
(3)複数の被写体の中から最も重要度が高い一の被写体を特定する場合に、デジタル画像における他の被写体との相対的な位置関係を用いることで、最も重要度が高い一の被写体をより適切に特定することができる。
(4)重要度が最も高い一の被写体を特定し、さらに、他の被写体について重要度を判定する場合、最も重要度が高いと判定された当該一の被写体にかかる位置を基準とした、他の被写体の相対的な位置関係を用いることで、当該他の被写体にかかる重要度の判定(順位付け)をより適切に行うことができる。
(5)上記に加えて、重要度判定の際、さらにデジタル画像における被写体の面積を比較、考慮することで、より精度よく重要度の判定を行うことができる。
(6)複数の被写体を含むデジタル画像は、被写体が横一列に並んだ構図の横一列型や、被写体が前後に点在している構図の点在型に大別できる。重要度判定の際、デジタル画像から被写体の構図情報を取得し、横一列型の場合と点在型の場合とで異なる処理を施すことで、さらに適切な重要度判定が可能となる。
(7)重要度判定の際、デジタル画像における被写体の数が2である場合と3以上である場合とで異なる処理を施すことで、さらに適切な重要度判定が可能となる。
(8)重要度判定の際、被写体の相対的な位置関係のうち、被写体の左右の位置関係が考慮されることで、重要度の判定をより適切に行うことができる。
デジタル画像を記憶する、画像データ記憶工程、
記憶されたデジタル画像において、対象となる被写体が含まれる複数の画像領域を検出する、画像領域検出工程、
検出された複数の画像領域について、デジタル画像における複数の画像領域同士の相対的な位置関係を特定する、位置関係特定工程、
検出された複数の画像領域について、デジタル画像に占める各々の面積を算出する、領域面積算出工程、及び、
複数の画像領域同士の相対的な位置関係と、複数の画像領域のデジタル画像に占める各々の面積と、によって画像領域の重要度を判定する、重要度判定工程、
を備える、デジタル画像における被写体の重要度判定方法を提供して前記課題を解決するものである。
デジタル画像を記憶する、画像データ記憶部、
記憶されたデジタル画像において対象となる被写体が含まれる複数の画像領域を検出する、画像領域検出部、
検出された複数の画像領域について、デジタル画像における複数の画像領域同士の相対的な位置関係を特定する、位置関係特定部、
検出された複数の画像領域について、デジタル画像に占める各々の面積を算出する、領域面積算出部、及び、
複数の画像領域同士の相対的な位置関係と、複数の画像領域のデジタル画像に占める各々の面積と、によって画像領域の重要度を判定する、重要度判定部、
を備える、デジタル画像における被写体の重要度判定装置を提供して前記課題を解決するものである。
複数のデジタル画像に対して画像検索を行う画像検索処理工程を備え、当該画像検索処理工程において複数のデジタル画像に対して画像検索が行われる際、上記第一の本発明の重要度判定方法により判定された被写体の重要度が用いられる、画像検索方法を提供して前記課題を解決するものである。
複数のデジタル画像について画像検索を行う画像検索処理部を備え、当該画像検索処理部において複数のデジタル画像の画像検索が行われる際、上記第二の本発明の重要度判定装置により判定された被写体の重要度が用いられる、画像検索装置を提供して前記課題を解決するものである。
デジタル画像を記憶する記憶部と、当該デジタル画像における被写体の重要度を判定する重要度判定部と、を備える重要度判定装置において実行される重要度判定プログラムであって、
記憶部に記憶されたデジタル画像における被写体の重要度を重要度判定装置に判定させる際、重要度判定装置に、デジタル画像において対象となる被写体が含まれる複数の画像領域を検出させ、検出した複数の画像領域について、デジタル画像における複数の画像領域同士の相対的な位置関係を特定させ、検出した複数の画像領域について、デジタル画像に占める各々の面積を算出させ、重要度判定部において、複数の画像領域の相対的な位置関係と、複数の画像領域のデジタル画像に占める各々の面積と、によって画像領域の重要度を判定させる、重要度判定プログラムを提供して前記課題を解決するものである。
画像検索装置により複数のデジタル画像を検索させる際、上記第五の本発明の重要度判定プログラムにより判定させた被写体の重要度を用いて、複数のデジタル画像から任意のデジタル画像を検索させる、画像検索プログラムを提供して前記課題を解決するものである。
本発明にかかる重要度判定方法は、図1に示すように、画像データ記憶工程S1、画像領域検出工程S2、位置関係特定工程S3、領域面積算出工程S4、及び重要度判定工程S5を備える。以下、工程ごとに説明する。
工程S1は、デジタルカメラ等により撮影された画像データを、記憶装置等に取り込みデジタル画像として記憶する工程である。画像データを取り込む方法や記憶装置としては、従来公知のものを特に限定することなく用いることができる。記憶されたデジタル画像は、例えば、図2(A)のような状態にある。図2(A)に例示したデジタル画像においては、下記工程S2において検出すべき被写体(画像領域)の数が4である。
工程S2は、記憶されたデジタル画像について、対象となる被写体が含まれる複数の画像領域を検出する工程である。特に本発明においては、顔画像を検出の対象とする。工程S2において、記憶されたデジタル画像から顔画像を含む画像領域を検出する場合、公知の顔検出方法を用いることができる。本発明において適用される具体的な顔検出方法としては、Haar−like特徴に着目した対象検出方法(Paul Viola and Michael Jones : “Rapid Object Detection using a Boosted Cascade of Simple Features”, IEEE CVPR(2001)や、Rainer Lienhart and Jochen Maydt “An Extended Set of Haar-like Features for Rapid Object Detection”, Proceedings of the 2002 IEEE International Conference on Image Processing, Vol.1, 900-903等)を適用することができる。具体的には、例えば、記憶されたデジタル画像をグレースケール化し、Haar−like特徴を用いたBoosting学習を行い、対象画像と非対象画像とを分ける基準となる複数のHaar−like特徴と、それらの特徴を数値化した値から算出される閾値を抽出する。そして、当該閾値に基づいて、検出すべき画像領域か否かが判断され、肯定判断がされれば顔画像を含む画像領域として検出される。但し、Haar−like特徴に着目した顔検出方法のみでは、デジタル画像中の顔を精度よく検出できず、顔以外のオブジェクトを誤検出してしまう虞がある。そのため、本発明では、複数の顔検出方法を併用して顔画像を含む画像領域を検出することが好ましい。Haar−like特徴に着目した顔検出方法と併用可能な顔検出方法としては、例えば、ホワイトバランスに対応した肌検出が可能な、口唇周辺領域の彩度情報を利用した顔検出方法(大瀧健太、白澤洋一、西田眞、“ホワイトバランスの変化にロバストな肌抽出法に関する検討”電子情報通信学会ソサエティ大会、A−4−21(2007))等の方法を用いることが好ましい。工程S2により、デジタル画像から顔画像を含む画像領域が検出される(図2(B)の状態)。
工程S3は、工程S2において検出された複数の画像領域について、デジタル画像における複数の画像領域同士の相対的な位置関係を特定する工程である。相対的な位置関係としては、画像領域同士の上下左右前後の位置関係、画像領域同士の距離、さらにはデジタル画像の中心からの画像領域の距離等を挙げることができる。
工程S4は、工程S2を経て検出された複数の画像領域について、デジタル画像に占める各々の面積を算出する工程である。デジタル画像に占める画像領域の各々の面積の算出方法については、従来公知のものを特に限定されずに用いることができる。例えば、図2(B)に示されるように、画像領域を所定の長方形として検出した場合は、当該長方形の面積を画像領域の面積とすることができる。尚、本発明において、画像領域の面積を数値化するにあたっては、デジタル画像における面積が最大である画像領域を基準(100%)とした、他の画像領域の面積率を相対的に算出することにより数値化することが好ましい。また、デジタル画像全体を基準(100%)とした、当該デジタル画像全体に占める画像領域の相対的な面積率を画像領域ごとに算出し数値化してもよい。
工程S5は、工程S3によって得られた複数の画像領域同士の相対的な位置関係にかかる情報と、工程S4によって得られた複数の画像領域のデジタル画像に占める各々の面積にかかる情報と、によって画像領域の重要度を判定する工程である。工程S5においては、まず、デジタル画像において最も重要度が高い一の画像領域を特定する。
図4は、検出された画像領域の数が2である場合の、重要度判定工程S5の流れを示すフローチャートである。検出された画像領域が2である場合、当該画像領域の相対的な位置関係及び各々の面積にかかる情報に基づいて、重要度の高低を判定する。
(1)工程S3で得られた、画像領域の中心座標(x,y)に基づく画像領域の左右の位置関係を用いる(工程S51)。
(2)画像領域の面積を比較し、面積が大である画像領域面積を分母として、面積比率を算出する(工程S52)。
(3)算出された面積比率が閾値以上(閾値としては特に限定されるものではないが、例えば、0.55とすることが好ましい。)である場合、工程S3で左側と判定された画像領域を重要度が高い一の画像領域として特定する(工程S53)。一方、面積比率が閾値未満である場合、面積が大である画像領域を重要度が高い一の画像領域として特定する(工程S54)。
図5は、検出された画像領域の数が3以上である場合の、重要度判定工程S5の流れを示すフローチャートである。検出された画像領域が3以上である場合、当該各画像領域の相対的な位置関係及び各々の面積にかかる情報に基づいて、まず重要度が高い一の画像領域を下記のように特定する。
(1)図6に示されるように、デジタル画像の中心(原点)を中心とする円を設定する(工程S151)。このとき、工程S3において得られたデジタル画像の構図情報が横一列型か点在型かによって、設定する円を変化させる。具体的には、横一列型である場合は正円(図6(A))を、点在型である場合は上下方向を長軸とする楕円(図6(B))を設定する。円の径については特に限定されるものではないが、例えば、正円を設定する場合、直径がデジタル画像の長辺の20%以上40%以下となる長さとすることが好ましい。また、楕円とする場合は、長軸直径がデジタル画像の上下辺の80%以上100%以下となる長さで、且つ、短軸直径がデジタル画像の左右辺の20%以上40%以下となる長さとすることが好ましい。また、楕円を設定する場合は、長軸がデジタル画像の上下方向に沿うように設定することが好ましい。
(2)次に、デジタル画像の中心に設定した円内に、画像領域の中心座標が包含されているか否かを判定する(工程S152)。
(3−1)デジタル画像の中心に設定した円内に、画像領域の中心座標が包含されている場合、当該円内に包含された画像領域同士の面積を比較し、そのうち最大の面積を有する一の画像領域を特定する(工程S153)。そして、当該一の画像領域の面積が、すべての画像領域の平均面積以上である場合、当該一の画像領域を最も重要度が高い画像領域として特定する。
(3−2)デジタル画像の中心に設定した円内に、画像領域の中心座標が包含されていない場合、或いは、上記(3−1)の条件を満たす画像領域が存在しない場合、工程S3で得られた構図情報を基に、横一列型と点在型とで処理をさらに分岐させて、最も重要度が高い一の画像領域を特定する(工程S154)。具体的には下記の方法を用いることが好ましい。
点在型である場合:工程S4により得られた画像領域の面積が最大である一の画像領域を、最も重要度が高い画像領域として特定する。
工程S3により、デジタル画像の構図情報が横一列型であると判定されている場合は、まず、工程S3により得られた、最重要画像領域の位置と他の画像領域の位置との相対的な位置関係から、最重要画像領域と他の画像領域とのユークリッド距離Kを算出する(工程S252)。また、工程S4により算出された最重要画像領域の面積と他の画像領域の面積とを用いて、他の画像領域の面積を最重要画像領域の面積で除した面積率Ahを算出する(工程S253)。そして、算出された距離K、面積率Ahを用いて、下記式(1)から他の画像領域にかかる重要度判定値Rhを算出する(工程S254)。
工程S3により、デジタル画像の構図情報が点在型であると判定されている場合は、まず、デジタル画像中に最重要画像領域を中心とする同心円を設定する(工程S256)。具体的には、図8に示されるように、最重要画像領域の中心座標を中心とするとともに、当該最重要画像領域の横幅長さを半径とした同心円(正円)を設定し、デジタル画像における同心円の最大数Nを特定する。図8においては、デジタル画像に現れる同心円は5であるから、同心円の最大数Nは5となる。また、他の画像領域について、その中心座標が位置する円の領域番号Mを特定し、同心円の最大数Nから円の領域番号Mを引いた値である同心円値Cnを算出する。例えば、図8においては、最重要画像領域が包含される最小の同心円内に中心座標が存在する場合、領域番号Mを0とする。その外側の同心円内に中心座標が存在する場合はM=1、その外側を2、以下3、4、5とする(図8中、点A〜Dに付した数字0、1、2が領域番号Mに相当する。)。従って、例えば、図8中の点Dについては、同心円値CnがN−M=5−2=3となる。次に、上記横一列型の場合と同様、他の画像領域の面積を最重要画像領域の面積で除した値である面積率Adを算出する(工程S257)。そして、算出された同心円値Cn、同心円の最大数N、及び面積率Adを用いて、下記式(2)から他の画像領域にかかる重要度判定値Rdを算出する(工程S258)。
図10は、本発明にかかる重要度判定装置100を概略的に示す図である。重要度判定装置100は、デジタル画像を記憶する、画像データ記憶部10、記憶されたデジタル画像において対象となる被写体が含まれる複数の画像領域を検出する、画像領域検出部20、検出された複数の画像領域について、デジタル画像における複数の画像領域同士の相対的な位置関係を特定する、位置関係特定部30、検出された複数の画像領域について、デジタル画像に占める各々の面積を算出する、領域面積算出部40、及び、複数の画像領域同士の相対的な位置関係と、複数の画像領域のデジタル画像に占める各々の面積と、によって画像領域の重要度を判定する、重要度判定部50、を備えている。
画像データ記憶部10は、デジタルカメラ等により撮影された画像データを取り込み、デジタル画像等として記憶する部分である。画像データを取り込む手段や記憶装置としては、従来公知のものを特に限定することなく用いることができる。記憶されたデジタル画像を重要度判定に供する場合は、画像データ記憶部10からデジタル画像が読み取られ、下記画像領域検出部20にて、被写体を含む画像領域の検出がなされる。
画像領域検出部20は、画像データ記憶部10に記憶されたデジタル画像を読み込み、当該デジタル画像について、対象となる被写体が含まれる複数の画像領域を検出する部分である。特に本発明においては、顔画像を検出の対象とする。画像領域検出部20において、記憶されたデジタル画像から顔画像を含む画像領域を検出する場合、公知の顔検出手段を用いることができる。例えば、上記のHaar−like特徴を用いた顔検出方法を実行可能なプログラムやその他顔検出プログラム(上記のホワイトバランスに着目した肌領域抽出にかかる顔検出法を用いたプログラム等が好ましい。)を組み合わせたプログラムが組み込まれた、公知の演算手段、検出手段等により、デジタル画像から画像領域を検出することができる。画像領域検出部20により、デジタル画像から所定の画像領域を検出したのち、下記位置関係特定部30と領域面積算出部40とにより、画像領域の位置関係や面積等の情報が特定される。
位置関係特定部30は、画像領域検出部20において検出された複数の画像領域について、デジタル画像における複数の画像領域同士の相対的な位置関係を特定する部分である。相対的な位置関係としては、画像領域同士の上下左右前後の位置関係、画像領域同士の距離、さらにはデジタル画像の中心からの画像領域の距離等を挙げることができる。
領域面積算出部40は、画像領域検出部20により検出された複数の画像領域について、デジタル画像に占める各々の面積を算出する部分である。領域面積算出部40は、検出された画像領域の面積を算出することが可能な手段であれば特に限定されるものではなく、例えば、上記領域面積算出工程S4にかかる方法を行わせるプログラムが組み込まれた、公知の演算装置や検出装置等とすることができる。
重要度判定部50は、位置関係特定部30によって得られた複数の画像領域同士の相対的な位置関係にかかる情報と、領域面積算出部40によって得られた複数の画像領域のデジタル画像に占める各々の面積にかかる情報と、によって画像領域の重要度を判定する部分である。重要度判定部50においては、まず、デジタル画像において最も重要度が高い一の画像領域を特定し、その後、当該最も重要度が高い一の画像領域にかかる位置関係情報や、面積情報を基準として、他の画像領域の重要度が判定される。重要度判定部50において、各画像領域の重要度を判定するにあたっては、検出された画像領域の数、デジタル画像の構図情報等によって、異なる処理を行う。詳細については、上記重要度判定工程S5にかかる方法と同様であるので、説明を省略する。重要度判定部50としては、特定、算出された画像領域にかかる情報によって、上記重要度判定工程S5にかかる方法を用いて画像領域の重要度を判定可能な手段であれば特に限定されるものではなく、例えば、上記重要度判定工程S5にかかる方法を行わせるプログラムが組み込まれた、公知の演算装置や検出装置等とすることができる。
本発明にかかる重要度判定プログラムは、デジタル画像を記憶する記憶部(例えば、上記画像データ記憶部10)と、当該デジタル画像における被写体の重要度を判定する重要度判定部(例えば、上記重要度判定部50)と、を備える重要度判定装置(例えば、上記重要度判定装置100)において実行される重要度判定プログラムである。具体的には、上記画像データ記憶部10等の記憶部に記憶されたデジタル画像における被写体の重要度を重要度判定装置100等の装置に判定させるプログラムとすることができる。例えば、重要度判定装置100の画像領域検出部20に、デジタル画像において対象となる被写体が含まれる複数の画像領域を検出させ、検出した複数の画像領域について、重要度判定装置100の位置関係特定部30に、デジタル画像における複数の画像領域同士の相対的な位置関係を特定させ、重要度判定装置100の領域面積算出部40に、検出した複数の画像領域について、デジタル画像に占める各々の面積を算出させ、重要度判定部50において、複数の画像領域の相対的な位置関係と、複数の画像領域のデジタル画像に占める各々の面積と、によって、画像領域の重要度を判定させる。画像データ記憶部10によるデジタル画像の記憶、画像領域検出部20によるデジタル画像からの画像領域の検出については、公知のアルゴリズムを用いることができる。位置関係特定部30、領域面積算出部40、及び重要度判定部50による、画像領域にかかる情報の取得及び重要度の判定については、上記重要度判定方法における位置関係特定工程S3、領域面積算出工程S4、及び重要度判定工程S5を行わせることが可能な形態であれば特に限定されるものではない。
本発明にかかる画像検索方法は、図11に示すように、複数のデジタル画像に対して画像検索を行う画像検索処理工程S6を備え、当該画像検索処理工程S6において複数のデジタル画像に対して画像検索が行われる際、上記重要度判定方法(工程S1〜S5)により判定された被写体の重要度が用いられる、画像検索方法である。
工程S6は、複数のデジタル画像について画像検索を行い、任意のデジタル画像を抽出する工程である。複数のデジタル画像からの任意のデジタル画像の検索及び抽出することに関しては、例えば、一のデジタル画像における被写体(画像領域)を特定し、他のデジタル画像において特定された当該被写体(画像領域)に類似する画像が含まれているか否かを判断することにより行うことができる。手法としては公知の手法が適用される。但し、工程S6においては、上記重要度判定方法により判定された被写体の重要度が考慮される。すなわち、一の被写体が含まれるデジタル画像を検索する際、デジタル画像において重要度が高いと判定された被写体に対してのみ検索を行えばよい。例えば、重要度判定方法により判定された重要度が上位2位以内である被写体に対して、検索対象である一の被写体との照らし合わせを行うことで画像検索を行い、複数のデジタル画像から検索対象を含む任意のデジタル画像が抽出される。
図12は、本発明にかかる画像検索装置200を概略的に示す図である。画像検索装置200は、上記重要度判定装置100と、記憶部15と、画像検索処理部60と、表示部210とを備えている。重要度判定装置100については、上記と同様のため説明を省略する。
記憶部15は、当該重要度判定装置100により判定された重要度判定情報が付与されたデジタル画像データを記憶する部分である。下記画像検索処理部60による画像検索処理の際は、ここからデジタル画像が読み込まれ検索に供される。記憶部15は、デジタル画像データを記憶可能なものであれば特に限定されず、公知の記憶装置等を用いることができる。図12において記憶部15は、重要度判定装置100とは個別に設けられているが、重要度判定装置100の画像データ記憶部10に、重要度判定部50にて判定された重要度情報が書きこまれたデジタル画像が記憶されていてもよく、この場合は、記憶部15を介さずに、重要度判定装置100から画像検索処理部60へと直接デジタル画像情報が伝えられることで、画像検索処理に供することができる。
画像検索処理部60は、記憶部15若しくは画像データ記憶部10から、複数のデジタル画像データを読み込み、画像検索により当該複数のデジタル画像から任意のデジタル画像を抽出する複数のデジタル画像について画像検索を行い、任意のデジタル画像を抽出する部分である。複数のデジタル画像からの任意のデジタル画像の抽出に関しては、例えば、一のデジタル画像における被写体(画像領域)を特定し、他のデジタル画像において特定された当該被写体(画像領域)に類似する画像が含まれているか否かを判断することにより行うことができる。画像検索処理部60は、例えば、公知の画像検索及び抽出プログラムが組み込まれた公知の画像検索手段を特に限定されずに適用することができる。但し、画像検索処理部60においては、上記重要度判定装置100により判定された被写体の重要度が考慮される。すなわち、一の被写体が含まれるデジタル画像を検索する際、デジタル画像において重要度が高いと判定された被写体に対してのみ検索を行えばよい。例えば、重要度判定装置100により判定された重要度が上位2位以内である被写体に対して、抽出対象である一の被写体との照らし合わせを行うことで、複数のデジタル画像から当該抽出対象を含む任意のデジタル画像が抽出される。また、画像検索装置200において画像検索を行う際は、検索対象とする重要度順位にかかる閾値等をユーザが適宜変更可能な形態とすることが好ましい。これにより、ユーザの要望に応じた画像検索が可能となり、より効率的に任意のデジタル画像を抽出することができる。
画像検索装置200により抽出された所定のデジタル画像は、画像検索装置200に接続された表示部210に表示される形態とすることが好ましい。画像検索装置200と表示部210の接続や、検索、抽出結果の表示方法については、公知の手法を特に限定することがなく用いることができる。また、表示部210に表示された情報に基づいて、ユーザが画像検索を行うことが可能な形態とすることが好ましい。
本発明にかかる画像検索プログラムは、重要度判定装置と画像検索処理部とを有する画像検索装置により複数のデジタル画像を検索させる際、重要度判定装置において上記重要度判定プログラムにより判定された被写体の重要度を用いて、画像検索処理部に複数のデジタル画像から任意のデジタル画像を検索させる、画像検索プログラムである。具体的には、一の被写体が含まれるデジタル画像を検索する際、重要度判定装置によりデジタル画像において重要度が高いと判定された被写体に対してのみ、画像検索処理部に画像検索を行わせる。例えば、画像検索処理部60において、重要度判定装置100により判定された重要度が上位2位以内である被写体に対して、抽出対象である一の被写体との照らし合わせを行うことで、複数のデジタル画像から当該抽出対象を含む任意のデジタル画像を抽出させる。また、画像検索装置200に画像検索を行わせる際、検索対象とする重要度順位にかかる閾値等をユーザが適宜変更可能なように、プログラムに自由度を持たせることが好ましい。これにより、ユーザの要望に応じた画像検索が可能となり、より効率的に任意のデジタル画像を抽出させることができる。
本発明の効果を確認するため、デジタル画像における被写体の重要度判定に関する評価を行った。室内環境下において、市販のデジタルカメラにより、2〜6人が撮像された人物画像(1024画素×680画素)を100枚取得し、DELL社製PRECISION T5400(以下「実施装置」という。)に、当該画像データを記憶した。記憶した画像データ各々につき、所定の顔検出プログラムにより、顔画像を含む画像領域を検出した。顔検出プログラムとしては、Haar−like特徴に着目した顔検出方法と、ホワイトバランスに対応した肌検出が可能な、口唇周辺領域の彩度情報を利用した顔検出方法とを併用したプログラムを実施装置に実行させることで、検出を行った。検出された顔画像を含む画像領域は262例であり、検出率は87.3%であった。当該262例の画像領域を対象として、実施装置に、本発明にかかる重要度判定方法(重要度判定プログラム)を実行させ、画像データ中の画像領域の重要度判定を行い、図9に示されるような画像データを取得した。
被験者10名が、検出された上記262例の画像領域につき、デジタル画像における重要度にかかる順位付けを行った。順位付けは主観により、画像領域に1〜n(nの最大値は6)の番号を付すことにより行った。この場合において、順位値が小さいほど重要度が高いことを示している。
Claims (9)
- デジタル画像を記憶する、画像データ記憶工程、
記憶された前記デジタル画像において、対象となる被写体が含まれる複数の画像領域を検出する、画像領域検出工程、
検出された複数の前記画像領域について、前記デジタル画像における複数の前記画像領域同士の相対的な位置関係を特定する、位置関係特定工程、
検出された複数の前記画像領域について、前記デジタル画像に占める各々の面積を算出する、領域面積算出工程、及び、
複数の前記画像領域同士の前記相対的な位置関係と、複数の前記画像領域の前記デジタル画像に占める各々の面積と、によって前記画像領域の重要度を判定する、重要度判定工程、
を備え、
前記重要度判定工程において、最も重要度が高い一の前記画像領域を特定し、該一の画像領域を基準とした相対的な位置関係と面積とによって、他の前記画像領域の重要度が判定される、
デジタル画像における被写体の重要度判定方法。 - デジタル画像を記憶する、画像データ記憶工程、
記憶された前記デジタル画像において、対象となる被写体が含まれる複数の画像領域を検出する、画像領域検出工程、
検出された複数の前記画像領域について、前記デジタル画像における複数の前記画像領域同士の相対的な位置関係を特定する、位置関係特定工程、
検出された複数の前記画像領域について、前記デジタル画像に占める各々の面積を算出する、領域面積算出工程、及び、
複数の前記画像領域同士の前記相対的な位置関係と、複数の前記画像領域の前記デジタル画像に占める各々の面積と、によって前記画像領域の重要度を判定する、重要度判定工程、
を備え、
前記画像領域検出工程において検出された前記画像領域の数が2である場合、前記位置関係特定工程において前記画像領域の左右の位置関係が特定され、前記重要度判定工程において前記画像領域の左右の位置関係が考慮され、
前記画像領域検出工程において検出された前記画像領域の数が3以上である場合、前記位置関係特定工程に、前記デジタル画像における複数の前記画像領域の構図情報を得る、構図情報取得工程が含まれ、該構図情報取得工程において、前記デジタル画像における複数の前記画像領域の構図を、横一列と点在とに判別する、
デジタル画像における被写体の重要度判定方法。 - デジタル画像を記憶する、画像データ記憶部、
記憶された前記デジタル画像において対象となる被写体が含まれる複数の画像領域を検出する、画像領域検出部、
検出された複数の前記画像領域について、前記デジタル画像における複数の前記画像領域同士の相対的な位置関係を特定する、位置関係特定部、
検出された複数の前記画像領域について、前記デジタル画像に占める各々の面積を算出する、領域面積算出部、及び、
複数の前記画像領域同士の前記相対的な位置関係と、複数の前記画像領域の前記デジタル画像に占める各々の面積と、によって前記画像領域の重要度を判定する、重要度判定部、
を備え、
前記重要度判定部において、最も重要度が高い一の前記画像領域を特定し、該一の画像領域に対する相対的な位置関係と前記デジタル画像に占める面積とによって、他の前記画像領域の重要度が判定される、
デジタル画像における被写体の重要度判定装置。 - デジタル画像を記憶する、画像データ記憶部、
記憶された前記デジタル画像において対象となる被写体が含まれる複数の画像領域を検出する、画像領域検出部、
検出された複数の前記画像領域について、前記デジタル画像における複数の前記画像領域同士の相対的な位置関係を特定する、位置関係特定部、
検出された複数の前記画像領域について、前記デジタル画像に占める各々の面積を算出する、領域面積算出部、及び、
複数の前記画像領域同士の前記相対的な位置関係と、複数の前記画像領域の前記デジタル画像に占める各々の面積と、によって前記画像領域の重要度を判定する、重要度判定部、
を備え、
前記画像領域検出部において検出された前記画像領域の数が2である場合、前記位置関係特定部において前記画像領域の左右の位置関係が特定され、前記重要度判定部において前記画像領域の左右の位置関係が考慮されて重要度が判定され、
前記画像領域検出部において検出された前記画像領域の数が3以上である場合、前記位置関係特定部に、前記デジタル画像における複数の前記画像領域の構図情報を得る、構図情報取得部が含まれ、該構図情報取得部において、前記デジタル画像における複数の前記画像領域の構図を、横一列と点在とに判別する
デジタル画像における被写体の重要度判定装置。 - 複数のデジタル画像に対して画像検索を行う画像検索処理工程を備え、該画像検索処理工程において前記複数のデジタル画像に対して画像検索が行われる際、請求項1又は2に記載の重要度判定方法により判定された被写体の重要度が用いられる、画像検索方法。
- 複数のデジタル画像について画像検索を行う画像検索処理部を備え、該画像検索処理部において前記複数のデジタル画像の画像検索が行われる際、請求項3又は4に記載の重要度判定装置により判定された被写体の重要度が用いられる、画像検索装置。
- デジタル画像を記憶する記憶部と、該デジタル画像における被写体の重要度を判定する重要度判定部と、を備える重要度判定装置において実行される重要度判定プログラムであって、
前記記憶部に記憶された前記デジタル画像における前記被写体の重要度を前記重要度判定装置に判定させる際、該重要度判定装置に、前記デジタル画像において対象となる前記被写体が含まれる複数の画像領域を検出させ、検出した複数の前記画像領域について、前記デジタル画像における複数の前記画像領域同士の相対的な位置関係を特定させ、検出した複数の前記画像領域について、前記デジタル画像に占める各々の面積を算出させ、前記重要度判定部において、複数の前記画像領域の相対的な位置関係と、複数の前記画像領域の前記デジタル画像に占める各々の面積と、によって前記画像領域の重要度を判定させ、
前記重要度判定部において、最も重要度が高い一の前記画像領域を特定させ、該一の画像領域に対する相対的な位置関係と前記デジタル画像に占める面積とによって、他の前記画像領域の重要度を判定させる、
重要度判定プログラム。 - デジタル画像を記憶する記憶部と、該デジタル画像における被写体の重要度を判定する重要度判定部と、を備える重要度判定装置において実行される重要度判定プログラムであって、
前記記憶部に記憶された前記デジタル画像における前記被写体の重要度を前記重要度判定装置に判定させる際、該重要度判定装置に、前記デジタル画像において対象となる前記被写体が含まれる複数の画像領域を検出させ、検出した複数の前記画像領域について、前記デジタル画像における複数の前記画像領域同士の相対的な位置関係を特定させ、検出した複数の前記画像領域について、前記デジタル画像に占める各々の面積を算出させ、前記重要度判定部において、複数の前記画像領域の相対的な位置関係と、複数の前記画像領域の前記デジタル画像に占める各々の面積と、によって前記画像領域の重要度を判定させ、
前記重要度判定装置に、前記デジタル画像から前記画像領域を検出させ、検出した前記画像領域の数が2である場合、前記画像領域の左右の位置関係を特定させ、前記画像領域の左右の位置関係を考慮して重要度を判定させ、
前記重要度判定装置に前記デジタル画像から前記画像領域を検出させ、検出した前記画像領域の数が3以上である場合、前記重要度判定装置に、さらに、前記デジタル画像における複数の前記画像領域の構図情報を取得させ、前記デジタル画像における複数の前記画像領域の構図を、横一列と点在とに判別させる、
重要度判定プログラム。 - 画像検索装置により複数のデジタル画像を検索させる際、請求項7又は8に記載の重要度判定プログラムにより判定された被写体の重要度を用いて、前記複数のデジタル画像から任意の前記デジタル画像を検索させる、画像検索プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009121112A JP5376583B2 (ja) | 2009-05-19 | 2009-05-19 | 被写体の重要度判定方法及び装置、重要度判定プログラム、画像検索方法及び装置、並びに、画像検索プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009121112A JP5376583B2 (ja) | 2009-05-19 | 2009-05-19 | 被写体の重要度判定方法及び装置、重要度判定プログラム、画像検索方法及び装置、並びに、画像検索プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010271776A JP2010271776A (ja) | 2010-12-02 |
JP5376583B2 true JP5376583B2 (ja) | 2013-12-25 |
Family
ID=43419775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009121112A Expired - Fee Related JP5376583B2 (ja) | 2009-05-19 | 2009-05-19 | 被写体の重要度判定方法及び装置、重要度判定プログラム、画像検索方法及び装置、並びに、画像検索プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5376583B2 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4665780B2 (ja) * | 2006-01-30 | 2011-04-06 | ソニー株式会社 | 顔重要度判定装置、方法、および撮像装置 |
JP2008059534A (ja) * | 2006-09-04 | 2008-03-13 | Fujifilm Corp | 画像トリミング装置、画像トリミング方法およびそのプログラム |
JP4881199B2 (ja) * | 2007-03-23 | 2012-02-22 | 富士フイルム株式会社 | 画像評価装置および方法並びにプログラム |
JP2008277903A (ja) * | 2007-04-25 | 2008-11-13 | Sony Corp | 撮像装置及びフォーカス対象決定方法 |
-
2009
- 2009-05-19 JP JP2009121112A patent/JP5376583B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010271776A (ja) | 2010-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5210318B2 (ja) | 画像処理装置、方法、および記憶媒体 | |
US10008048B2 (en) | Information processing apparatus and information processing method | |
KR102294193B1 (ko) | 프로브 속도에 기초한 컴퓨터 보조 진단 지원 장치 및 방법 | |
JP4915737B2 (ja) | 画像解析システム、及び画像解析プログラム | |
US20180342078A1 (en) | Information processing device, information processing method, and information processing system | |
WO2014007300A1 (ja) | 細胞分裂過程追跡装置及びその方法、コンピュータにより処理可能な細胞分裂過程追跡プログラムを記憶する記憶媒体 | |
KR101885728B1 (ko) | 영상 스티칭 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 | |
JP2015176272A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP6503079B2 (ja) | 特定人物検知システム、特定人物検知方法および検知装置 | |
JP5248236B2 (ja) | 画像処理装置および画像処理方法 | |
CN107231519B (zh) | 视频处理装置及控制方法 | |
CN111275754B (zh) | 一种基于深度学习的脸部痘印比例计算方法 | |
JP5376583B2 (ja) | 被写体の重要度判定方法及び装置、重要度判定プログラム、画像検索方法及び装置、並びに、画像検索プログラム | |
JP3919722B2 (ja) | 肌形状計測方法及び肌形状計測装置 | |
JP2021047538A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6308011B2 (ja) | 同一対象検出装置、同一対象検出方法、及び同一対象検出プログラム | |
JP2017202038A (ja) | 判別装置、判別方法、および判別プログラム | |
CN113469942A (zh) | 一种ct图像病变检测方法 | |
JP6390458B2 (ja) | 情報処理装置、情報処理システム及び情報処理方法並びに情報処理用プログラム | |
JP2009151445A (ja) | 部分領域検出装置、対象物識別装置、及びプログラム | |
JP2010233737A (ja) | 体型判定方法及び体型判定システム並びにそれを用いた監視システム | |
US20210134399A1 (en) | Calcium analysis | |
Tylman et al. | Automatisation of computer-aided burn wounds evaluation | |
CN110021015B (zh) | 基于亮度和梯度的点状钙化区域检测方法及系统 | |
CN108765418A (zh) | 视网膜动静脉等效管径比检测方法及检测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20101101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20101209 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111222 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20111222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20111222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130827 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130919 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5376583 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |