JP6040655B2 - 画像処理装置、画像処理方法、制御プログラムおよび記録媒体 - Google Patents

画像処理装置、画像処理方法、制御プログラムおよび記録媒体 Download PDF

Info

Publication number
JP6040655B2
JP6040655B2 JP2012201972A JP2012201972A JP6040655B2 JP 6040655 B2 JP6040655 B2 JP 6040655B2 JP 2012201972 A JP2012201972 A JP 2012201972A JP 2012201972 A JP2012201972 A JP 2012201972A JP 6040655 B2 JP6040655 B2 JP 6040655B2
Authority
JP
Japan
Prior art keywords
image
subject
area
score
specifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012201972A
Other languages
English (en)
Other versions
JP2014056508A (ja
Inventor
俊 酒井
俊 酒井
基夫 山本
基夫 山本
田中　宏行
宏行 田中
達哉 村上
達哉 村上
雄希 半澤
雄希 半澤
貴宏 高山
貴宏 高山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2012201972A priority Critical patent/JP6040655B2/ja
Priority to EP13182150.6A priority patent/EP2709062B1/en
Priority to US14/024,024 priority patent/US9152873B2/en
Publication of JP2014056508A publication Critical patent/JP2014056508A/ja
Application granted granted Critical
Publication of JP6040655B2 publication Critical patent/JP6040655B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Description

本発明は、最適画像を選別する画像処理装置、画像処理方法、制御プログラムおよび記録媒体に関するものである。
従来、撮影した写真等の画像を整理するアルバム機能、または、当該画像を表示するスライドショー機能等を搭載した電子機器が存在する。ユーザは、このような電子機器を用いて画像を閲覧するが、大量の画像の中から所望の画像を選別する作業は非常に煩雑である。
そこで、撮影し保存された大量の画像の中から被写体が鮮明に写っている画像を選択する技術が開発されている。例えば、特許文献１には、背景画像のボケなどに左右されずに、被写体画像の良否に応じて画像データを選別する技術が記載されている。また、特許文献２には、被写体がボケているか否かを評価して、ユーザにとって不要なボケ画像を選別する技術が記載されている。
特開２０００−２０９４８３号公報（２０００年７月２８日公開） 特開２０１０−７９４４６号公報（２０１０年４月８日公開）
正木潤，川口比呂志、「印刷用デジタル画像の品質検査の自動化に関する研究」、佐賀県工業技術センター研究報告書、２００５年、No.14 横田裕史、「画像処理技術の応用‐携帯型プレゼンテーション・カメラの開発」、東京都立産業技術センターセミナー要旨集、２００９年
ここで、被写体がより際立って撮影された、マクロ撮影または流し撮り等により得られた画像をユーザが所望する場合がある。具体的には、図１６に示すように、被写体のみが鮮明であり、背景がボケていたり、ぶれていたりする画像である。
しかしながら、上述の従来技術は、被写体の鮮明度が同程度の場合、図１６に示す画像と、図１７に示す画像とを区別することができない。すなわち、上述のような従来技術は、被写体の鮮明度が背景に対して相対的に高い画像を選別することができないという問題がある。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、被写体の鮮明度が背景に対して相対的に高い画像を選別する画像処理装置、画像処理方法、制御プログラムおよび記録媒体を実現することにある。
本発明に係る画像処理装置は、上記課題を解決するために、画像を選別する画像処理装置であって、上記画像から所定の被写体を検出する検出手段と、上記検出手段が検出した被写体を含む上記画像上の領域である被写体領域を特定する被写体領域特定手段と、上記被写体領域特定手段が特定した被写体領域を除く上記画像上の領域である背景領域を特定する背景領域特定手段と、上記被写体領域および上記背景領域の鮮明度をそれぞれ特定する鮮明度特定手段と、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に基づいてスコアを算出するスコア算出手段と、上記スコア算出手段が算出したスコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示す場合に、上記画像を最適画像とする判定手段と、を備えることを特徴としている。
また、本発明に係る画像処理方法は、上記課題を解決するために、画像を選別する画像処理方法であって、上記画像から所定の被写体を検出する検出ステップと上記検出ステップにおいて検出された被写体を含む上記画像上の領域である被写体領域を特定する被写体領域特定ステップと、上記被写体領域特定ステップにおいて特定された被写体領域を除く上記画像上の領域である背景領域を特定する背景領域特定ステップと、上記被写体領域および上記背景領域の鮮明度をそれぞれ特定する鮮明度特定ステップと、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に基づいてスコアを算出するスコア算出ステップと、上記スコア算出ステップにおいて算出されたスコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示す場合に、上記画像を最適画像とする判定ステップと、を含むことを特徴としている。
上記の構成によれば、上記判定手段は、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に基づくスコアが上記背景領域より上記被写体領域が鮮明であることを示す場合に、最適画像とする。ここで、例えば、最適画像とは、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分が大きい画像である。換言すると、最適画像とは、被写体領域の鮮明度が背景領域に対して相対的に高い画像である。
よって、上記画像処理装置は、被写体の鮮明度が背景に対して相対的に高い画像を選別することができるという効果を奏する。
また、本発明に係る画像処理装置は、上記判定手段は、さらに、上記被写体領域の鮮明度と被写体閾値とを比較して、当該被写体領域が鮮明であるか否かを判定し、上記スコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記被写体領域の鮮明度と被写体閾値との比較において、当該被写体領域が鮮明であると判定した場合、上記画像を最適画像とすることが好ましい。
上記の構成によれば、上記判定手段は、スコアが上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記被写体領域が鮮明であると判定した場合に最適画像とする。つまり、この場合、最適画像とは、被写体領域の鮮明度が背景領域に対して相対的に高く、かつ、被写体領域の鮮明度が高い画像である。
よって、上記画像処理装置は、被写体の鮮明度が背景に対して相対的に高く、かつ、被写体が鮮明な画像を選別することができる。
また、本発明に係る画像処理装置は、上記判定手段は、さらに、上記背景領域の鮮明度と背景閾値とを比較して、当該背景領域が鮮明であるか否かを判定し、上記スコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記背景領域の鮮明度と背景閾値との比較において、当該背景領域が鮮明ではないと判定した場合、上記画像を最適画像とすることが好ましい。
上記の構成によれば、上記判定手段は、上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記背景領域が鮮明ではないと判定した場合に、最適画像とする。つまり、この場合、最適画像とは、被写体領域の鮮明度が背景領域に対して相対的に高く、かつ、背景領域の鮮明度が低い画像である。
よって、上記画像処理装置は、被写体の鮮明度が背景に対して相対的に高く、かつ、背景が不鮮明な画像を選別することができる。
また、本発明に係る画像処理装置は、上記判定手段は、さらに、上記被写体領域の鮮明度と被写体閾値とを比較して、当該被写体領域が鮮明であるか否か、および、上記背景領域の鮮明度と背景閾値とを比較して、当該背景領域が鮮明であるかを判定し、上記スコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記被写体領域の鮮明度と被写体閾値との比較において、当該被写体領域が鮮明であると判定し、かつ、上記背景領域の鮮明度と背景閾値との比較において、当該背景領域が鮮明ではないと判定した場合、上記画像を最適画像とすることが好ましい。
上記の構成によれば、上記判定手段は、スコアが上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記被写体領域が鮮明であると判定し、かつ、上記背景領域が鮮明ではないと判定した場合に、最適画像とする。つまり、この場合、最適画像とは、被写体領域の鮮明度が背景領域に対して相対的に高く、かつ、被写体領域の鮮明度が高く、かつ、背景領域の鮮明度が低い画像である。
よって、上記画像処理装置は、被写体の鮮明度が背景に対して相対的に高く、かつ、被写体が鮮明であり、かつ、背景が不鮮明な画像を選別することができる。
また、本発明に係る画像処理装置は、上記検出手段が検出した被写体に応じた最適画像閾値を特定する閾値特定手段をさらに備え、上記判定手段は、上記閾値特定手段が特定した最適画像閾値と上記スコアとを比較することが好ましい。
上記の構成によれば、上記判定手段は、上記閾値特定手段が被写体に応じて特定した最適画像閾値と上記スコアとを比較する。そのため、最適画像における被写体の相対的な鮮明度を被写体に応じて決定することができる。
また、本発明に係る画像処理装置は、上記画像のシーンを特定するシーン特定手段と、上記シーン特定手段が特定したシーンに応じた最適画像閾値を特定する閾値特定手段とをさらに備え、上記判定手段は、上記閾値特定手段が特定した最適画像閾値と上記スコアとを比較することが好ましい。
上記の構成によれば、上記判定手段は、上記閾値特定手段がシーンに応じて特定した最適画像閾値と上記スコアとを比較する。そのため、最適画像における被写体の相対的な鮮明度をシーンに応じて決定することができる。
また、本発明に係る画像処理装置は、上記検出手段が上記画像から複数の被写体を検出した場合、上記スコア算出手段は、被写体ごとにスコアを算出し、上記判定手段は、各スコアの平均値と最適画像閾値との比較において、各スコアの平均値が上記背景領域より上記複数の被写体の被写体領域が平均的に鮮明であることを示す場合、上記画像を最適画像とすることが好ましい。
また、本発明に係る画像処理装置は、上記検出手段が上記画像から複数の被写体を検出した場合、上記スコア算出手段は、被写体ごとにスコアを算出し、上記判定手段は、各スコアと最適画像閾値とのそれぞれの比較において、全てのスコアが上記背景領域より上記被写体領域が鮮明であることを示す場合、上記画像を最適画像とすることが好ましい。
また、本発明に係る画像処理装置は、上記検出手段が上記画像から複数の被写体を検出した場合、上記スコア算出手段は、被写体ごとにスコアを算出し、上記判定手段は各スコアと最適画像閾値とのそれぞれの比較において、何れかのスコアが上記背景領域より上記被写体領域が鮮明であることを示す場合、上記画像を最適画像とすることが好ましい。
また、本発明に係る画像処理装置は、上記画像は複数であり、上記判定手段は、上記画像ごとの上記スコアに基づいて、複数の画像に対して順位付けすることが好ましい。
上記の構成によれば、上記判定手段は、複数の画像に対して、上記スコアに基づいて順位付けする。そのため、被写体の相対的な鮮明度という基準に基づいて画像に優劣を付けることができる。
また、本発明に係る画像処理装置は、上記スコア算出手段は、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に重み付け係数を乗算して上記スコアを算出することが好ましい。
上記の構成によれば、上記スコア算出手段は、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に重み付け係数を乗算して上記スコアを算出する。例えば、重み付け係数をｆ（α）（ｆ（α）：被写体領域の鮮明度）とした場合、被写体領域の鮮明度が高いほど上記スコアが大きくなる。つまり、最適画像として、被写体領域の鮮明度が高い画像が選別され易くなる。また、重み付け係数をＫ−ｆ（β）（Ｋ：任意の定数、ｆ（β）：背景領域の鮮明度）とした場合、背景領域の鮮明度が低いほど上記スコアが大きくなる。つまり、最適画像として、背景領域が不鮮明な画像が選別され易くなる。
また、本発明に係る画像処理装置は、上記画像を順次取得する取得手段を備え、上記判定手段は、上記取得手段が取得した順に判定を行い、上記判定手段が最適画像とした画像以降に、上記取得手段が取得した画像を順次記憶部に保存する保存手段をさらに備えることが好ましい。
上記の構成によれば、上記保存手段は、上記取得手段が取得した最適画像以降の画像を記憶部に保存する。例えば、動画を撮影する場合、被写体の鮮明度が相対的に高い画像になってから記録を開始する。すなわち、ユーザの所望する画像（動画）のみを記録することができる。
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置の各手段として動作させることにより、上記画像処理装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
以上のように、本発明に係る画像処理装置は、上記画像から所定の被写体を検出する検出手段と、上記検出手段が検出した被写体を含む上記画像上の領域である被写体領域を特定する被写体領域特定手段と、上記被写体領域特定手段が特定した被写体領域を除く上記画像上の領域である背景領域を特定する背景領域特定手段と、上記被写体領域および上記背景領域の鮮明度をそれぞれ特定する鮮明度特定手段と、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に基づいてスコアを算出するスコア算出手段と、上記スコア算出手段が算出したスコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示す場合に、上記画像を最適画像とする判定手段と、を備えている構成である。
また、本発明に係る画像処理方法は、上記画像から所定の被写体を検出する検出ステップと上記検出ステップにおいて検出された被写体を含む上記画像上の領域である被写体領域を特定する被写体領域特定ステップと、上記被写体領域特定ステップにおいて特定された被写体領域を除く上記画像上の領域である背景領域を特定する背景領域特定ステップと、上記被写体領域および上記背景領域の鮮明度をそれぞれ特定する鮮明度特定ステップと、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に基づいてスコアを算出するスコア算出ステップと、上記スコア算出ステップにおいて算出されたスコアと最適画像閾値との比較において上記スコアが上記背景領域より上記被写体領域が鮮明であることを示す場合に、上記画像を最適画像とする判定ステップと、を含む。
よって、上記画像処理装置は、被写体の鮮明度が背景に対して相対的に高い画像を選別することができるという効果を奏する。
本発明の実施形態を示すものであり、画像処理装置の要部構成の一例を示すブロック図である。 上記画像処理装置の記憶部に格納されている閾値情報の一例を示す図である。 上記画像処理装置の記憶部に格納されている閾値情報の一例を示す図である。 上記画像処理装置の記憶部に格納されている閾値情報の一例を示す図である。 上記画像処理装置が実行する最適画像を選別する画像選別処理の一例を示すフローチャートである。 上記画像処理装置が実行する最適画像を選別する画像選別処理の別の一例を示すフローチャートである。 上記画像処理装置が実行する最適画像を選別する画像選別処理の他の一例を示すフローチャートである。 上記画像処理装置が実行する最適画像を選別する画像選別処理の他の一例を示すフローチャートである。 動画撮影時の記録タイミングを示す図である。 入力画像に対して顔検出を実行した結果を示す図である。 顔検出によって特定された被写体領域および背景領域を示す図である。 入力画像に対して輪郭検出を実行した結果を示す図である。 輪郭検出によって特定された被写体領域および背景領域を示す図である。 重み付けによるスコア算出方法の一例を示す図である。 被写体が複数含まれる入力画像の一例を示す図である。 被写体の鮮明度が背景に対して相対的に高い画像の一例を示す図である。 被写体の鮮明度が背景に対して相対的に低い画像の一例を示す図である。
本発明の一実施形態について図１から図１５に基づいて説明すると以下の通りである。
〔画像処理装置の構成〕
まず、画像処理装置について図１に基づいて説明する。画像処理装置は、所定の被写体の鮮明度が背景に対して相対的に高い画像を選別するものである。ここで、被写体とは、画像上の任意の有形物であり、例えば、人間の全身もしくは顔、または、犬、猫、鳥等の動物の全身もしくは顔、または、花もしくは木などの植物、または、自動車、バイクもしくは電車、または、ビル、家屋等の建造物、または、木、雲、太陽等の自然物などである。また、背景とは、画像上における上記被写体以外のものである。また、被写体は、予め登録した人間（の顔）またはペットなどであってもよい。また、被写体の鮮明度が背景に対して相対的に高い画像を最適画像と称し、被写体の鮮明度が背景に対して相対的に高くない画像を非最適画像と称する。
画像処理装置は、最適画像を選別するものであれば何でも良く、例えば、ＰＣ、デジタルカメラ、デジタルビデオ、携帯電話機、スマートフォン、プリンター、デジタルテレビ、ＰＤＡ（Personal Digital Assistant）、ゲーム機、写真を撮影して印刷する装置、画像を編集する装置などの電子機器に搭載されていてよい。
図１は、画像処理装置１の要部構成の一例を示すブロック図である。図１に示すように、画像処理装置１は、制御部１１、記憶部１２、画像入力部１３および表示部１４を備えている。なお、画像処理装置１は、操作部、通信部、音声入力部、音声出力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。
画像入力部１３は、外部の画像提供装置（不図示）とのインターフェースであり、画像処理装置１が外部から画像を取得するためのものである。画像提供装置は、保持している画像または取得した画像を他の装置に提供する装置であれば何でもよい。例えば、画像提供装置は、デジタルカメラ、デジタルビデオ、デジタルテレビ、サーバ、ＰＣ、携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）、ゲーム機、ＵＳＢ（Universal Serial Bus）メモリ等の記憶装置などである。
なお、画像入力部１３が無線通信機能または有線通信機能を有している場合、画像処理装置１は、ネットワーク上の画像提供装置から画像を取得してもよい。また、画像処理装置１は、画像入力部１３の代わりに、カメラを備えていてもよい。
表示部１４は、制御部１１の指示に従って画像を表示するものである。表示部１４は、制御部１１の指示に従って画像を表示するものであればよく、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイなどを適用することが可能である。
なお、画像処理装置１は、表示部１４を備えていなくてもよい。この場合、画像処理装置１は、外部の表示装置に画像を出力して、表示装置に画像を表示させる。
制御部１１は、記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、画像処理装置１が備える各部を統括的に制御するものである。
本実施形態では、制御部１１は、機能ブロックとして、画像取得部（取得手段）２１、被写体検出部（検出手段、被写体領域特定手段）２２、背景領域特定部（背景領域特定手段）２３、鮮明度特定部（鮮明度特定手段）２４、スコア算出部（スコア算出手段）２５、判定部（判定手段）２６、画像出力部（保存手段）２７、シーン特定部（シーン特定手段）２８および閾値特定部（閾値特定手段）２９を備える構成である。これらの制御部１１の各機能ブロック（２１〜２９）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。
画像取得部２１は、画像入力部１３を介して、画像提供装置から画像を取得するものである。画像取得部２１は、取得した画像を被写体検出部２２およびシーン特定部２８に出力する。なお、記憶部１２に画像が記憶されている場合、画像取得部２１は、記憶部１２から画像を読み出してもよい。以下では、画像取得部２１が取得した画像を入力画像と称する。
被写体検出部２２は、画像取得部２１から入力画像を取得し、取得した入力画像から所定の被写体を検出し、入力画像上の被写体が含まれる領域を特定するものである。なお、被写体検出部２２が検出する対象である被写体の種別は予め定められており、例えば、デフォルトで設定されたり、ユーザから指定されたりする。また、以下では、被写体検出部２２が特定する被写体が含まれる領域を被写体領域と称する。
具体的には、被写体検出部２２は、例えば、入力画像内の所定の領域（検出領域）に対して、被写体検出を実行し、被写体が検出された検出領域を被写体領域とする。なお、検出領域の形状は、矩形または円形など任意の形状であってよい。被写体検出部２２は、被写体を検出すると、被写体領域を背景領域特定部２３および鮮明度特定部２４に出力し、検出した被写体の種別を閾値特定部２９に出力する。
また、被写体検出部２２は、例えば、入力画像に対して、輪郭検出（シルエット検出）を実行して被写体を検出してもよい。この場合、被写体検出部２２は、輪郭検出によって検出された輪郭によって閉じられた領域を被写体領域として特定する。
背景領域特定部２３は、被写体検出部２２から被写体領域を取得すると、入力画像上の被写体領域を除く領域を背景領域として特定するものである。また、背景領域特定部２３は、入力画像上の被写体領域の周囲の領域を背景領域として特定してもよい。背景領域特定部２４は、特定した背景領域を鮮明度特定部２４に出力する。
鮮明度特定部２４は、被写体検出部２２から被写体領域を取得し、背景領域特定部２３から背景領域を取得すると、取得した被写体領域および背景領域の鮮明度をそれぞれ特定するものである。鮮明度特定部２４は、特定した被写体領域および背景領域の鮮明度をスコア算出部２５に出力する。また、以下では、被写体領域の鮮明度をｆ（α）とし、背景領域の鮮明度をｆ（β）とする。
鮮明度特定部２４は、例えば、高速フーリエ変換を適用して得られる空間スペクトル分布において、高周波成分の有無により判定してもよい（非特許文献１参照）。また、鮮明度特定部２４は、例えば、画像中からエッジ強度を算出し、その値により判定してもよい（非特許文献２参照）。
スコア算出部２５は、鮮明度特定部２４から被写体領域および背景領域の鮮明度を取得し、被写体領域および背景領域の鮮明度に基づいてスコアＳｃを算出するものである。具体的には、スコア算出部２５は、被写体領域の鮮明度ｆ（α）と、背景領域の鮮明度ｆ（β）との差分値をスコアＳｃとする。ここでは、Ｓｃ＝ｆ（α）−ｆ（β）とする。
また、スコア算出部２５は、被写体領域の鮮明度ｆ（α）と、背景領域の鮮明度ｆ（β）との差分値に重み付け係数γを乗算してスコアＳｃを算出してもよい。例えば、重み付け係数をγ＝ｆ（α）としてもよい。また、重み付け係数をγ＝Ｋ−ｆ（β）としてもよい（Ｋは任意の定数）。
スコア算出部２５は、算出したスコアＳｃを入力画像に対応付けて判定部２６に出力する。また、スコア算出部２５は、スコアＳｃに加えて、被写体領域の鮮明度ｆ（α）および／または背景領域の鮮明度ｆ（β）を入力画像に対応付けて判定部２６に出力してもよい。
判定部２６は、スコア算出部２５からスコアＳｃを取得し、取得したスコアＳｃが最適画像閾値Ｔｈより大きいか否かを判定する。そして、判定部２６は、スコアＳｃが最適画像閾値Ｔｈより大きい場合、入力画像を最適画像とし、一方、スコアＳｃが最適画像閾値Ｔｈ以下の場合、入力画像を非最適画像とする。つまり、判定部２６は、被写体の鮮明度と背景の鮮明度との差分が十分大きい入力画像を最適画像とする。
また、判定部２６は、スコアＳｃが最適画像閾値Ｔｈより大きいか否かを判定し、さらに、被写体領域の鮮明度ｆ（α）が被写体閾値Ｔｈαより大きいか否かを判定してもよい。この場合、判定部２６は、ＳｃがＴｈより大きく、かつ、ｆ（α）がＴｈαより大きい場合、入力画像を最適画像とし、それ以外の場合、入力画像を非最適画像とする。つまり、判定部２６は、被写体の鮮明度と背景の鮮明度との差分が十分大きく、かつ、被写体の鮮明度が大きい（被写体が鮮明な）入力画像を最適画像とする。
また、判定部２６は、スコアＳｃが最適画像閾値Ｔｈより大きいか否かを判定し、さらに、背景領域の鮮明度ｆ（β）が背景閾値Ｔｈβより小さいか否かを判定してもよい。この場合、判定部２６は、ＳｃがＴｈより大きく、かつ、ｆ（β）がＴｈβより小さい場合、入力画像を最適画像とし、それ以外の場合、入力画像を非最適画像とする。つまり、判定部２６は、被写体の鮮明度と背景の鮮明度との差分が十分大きく、かつ、背景の鮮明度が小さい（背景が不鮮明な）入力画像を最適画像とする。
また、判定部２６は、スコアＳｃが最適画像閾値Ｔｈより大きいか否かを判定し、さらに、被写体領域の鮮明度ｆ（α）が被写体閾値Ｔｈαより大きいか否かを判定し、さらに、背景領域の鮮明度ｆ（β）が背景閾値Ｔｈβより小さいか否かを判定してもよい。この場合、判定部２６は、ＳｃがＴｈより大きく、かつ、ｆ（α）がＴｈαより大きく、かつ、ｆ（β）がＴｈβより小さい場合、入力画像を最適画像とし、それ以外の場合、入力画像を非最適画像とする。つまり、判定部２６は、被写体の鮮明度と背景の鮮明度との差分が十分大きく、かつ、被写体の鮮明度が大きく（被写体が鮮明であり）、かつ、背景の鮮明度が小さい（背景が不鮮明な）入力画像を最適画像とする。
また、判定部２６は、画像取得部２１が画像を複数取得した場合、複数の入力画像に対して、対応付けられているスコアＳｃに基づいて、順位付けを行ってもよい。
判定部２６は、入力画像が最適画像であるか非最適画像であるかを画像出力部２７に通知する。また、画像取得部２１が画像を複数取得した場合、判定部２６は、入力画像が最適画像であるか非最適画像であるかに加えて、各入力画像に対して付加した順位を画像出力部２７に通知してもよい。
なお、最適画像閾値Ｔｈ、被写体閾値Ｔｈαおよび背景閾値Ｔｈβは予め定められているものとする。ただし、判定部２６は、閾値特定部２９から最適画像閾値Ｔｈを取得した場合、取得した最適画像閾値Ｔｈに基づいて判定する。
画像出力部２７は、判定部２６からの通知に基づいて、最適画像のみを表示部１４に出力する。また、画像出力部２７は、判定部２６からの通知に基づいて、最適画像と非最適画像とを区別して表示部１４に表示してもよい。また、画像出力部２７は、判定部２６からの通知に基づいて、付加された順位の順番で入力画像を表示部１４に表示してもよい。
また、画像出力部２７は、判定部２６からの通知に基づいて、最適画像のみを記憶部１２に格納してもよい。また、画像取得部２１が画像を順次取得する場合、最適画像として通知された入力画像以降の入力画像を表示部１４に表示したり、記憶部１２に格納したりしてもよい。
また、画像出力部２７は、判定部２６が複数の入力画像に対して順位付けを行った場合、判定部２６が付与した順序で入力画像を表示部１４に表示させてもよい。
シーン特定部２８は、画像取得部２１から入力画像を取得し、取得した入力画像のシーンを特定するものである。ここで、シーンとは、例えば、海岸、雪山、夕焼け、夜景などである。シーン特定部２８は、特定したシーンを閾値特定部２９に出力する。
閾値特定部２９は、被写体検出部２２から被写体の種別を取得し、記憶部１２から閾値情報４２を読み出し、閾値情報４２において、取得した被写体の種別に対応付けられている最適画像閾値Ｔｈを特定するものである。閾値特定部２９は、特定した最適画像閾値Ｔｈを判定部２６に出力する。
また、閾値特定部２９は、シーン特定部２８からシーンを取得し、記憶部１２から閾値情報４２を読み出し、閾値情報４２において、取得したシーンに対応付けられている最適画像閾値Ｔｈを特定してもよい。
また、閾値特定部２９は、被写体検出部２２から被写体の種別を取得すると共に、シーン特定部２８からシーンを取得し、記憶部１２から閾値情報４２を読み出し、閾値情報４２において、取得した被写体の種別およびシーンの組み合わせに対応付けられている最適画像閾値Ｔｈを特定してもよい。すなわち、閾値特定部２９は、被写体および／またはシーンに応じて、最適画像閾値Ｔｈを設定することができる。
また、閾値特定部２９は、被写体検出部２２から被写体の種別を取得し、記憶部１２から閾値情報４２を読み出し、閾値情報４２において、取得した被写体の種別に対応付けられている被写体閾値Ｔｈαを特定してもよい。
記憶部１２は、制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、入力画像、最適画像である画像データ４１、閾値情報４２等を格納している。
記憶部１２に格納されている閾値情報４２についてそれぞれ図２〜４に基づいて説明する。図２〜図４は、記憶部１２に格納されている閾値情報４２の一例を示す図である。
図２に示す閾値情報４２は、被写体と、当該被写体に応じた最適画像閾値とが対応付けられている。また、図３に示す閾値情報４２は、シーンと、当該シーンに応じた最適画像閾値とが対応付けられている。また、図４に示す閾値情報４２は、被写体およびシーンの組み合わせと、当該組み合わせに応じた最適画像閾値とが対応付けられている。
〔画像選別処理〕
（実施例１）
次に、画像処理装置１が実行する最適画像を選別する画像選別処理の一例（実施例１）について図５に基づいて説明する。図５は、画像処理装置１が実行する最適画像を選別する画像選別処理の一例を示すフローチャートである。
図５に示すように、まず、画像取得部２１は、画像入力部１３を介して外部の画像提供装置から画像を取得する（Ｓ１）。画像取得部２１が画像を取得すると、被写体検出部２２は、入力画像に対して被写体検出を実行する（Ｓ２）。そして、被写体検出部２２は、入力画像上における、検出した被写体を含む被写体領域を特定する（Ｓ３）。
被写体検出部２２が被写体領域を特定すると、鮮明度特定部２４は、被写体領域の鮮明度を特定する（Ｓ４）。これと並行して、背景領域特定部２３は、入力画像上の被写体領域を除く領域を背景領域として特定する（Ｓ５）。そして、鮮明度特定部２４は、背景領域の鮮明度を特定する（Ｓ６）。
鮮明度特定部２４が被写体領域の鮮明度および背景領域の鮮明度を特定すると、スコア算出部２５は、被写体領域の鮮明度および背景領域の鮮明度に基づいてスコアを算出する（Ｓ７）。
スコア算出部２５がスコアを算出すると、判定部２６は、スコアが最適画像閾値より大きいか否かを判定する（Ｓ８）。スコアが最適画像閾値より大きい場合（Ｓ８でＹＥＳ）、判定部２６は、入力画像を最適画像とする（Ｓ９）。一方、スコアが最適画像閾値以下の場合（Ｓ８でＮＯ）、判定部２６は、入力画像を非最適画像とする（Ｓ１０）。そして、画像出力部２７は、最適画像のみを表示部１４に表示させる（Ｓ１１）。
（実施例２）
次に、画像処理装置１が実行する最適画像を選別する画像選別処理の別の一例（実施例２）について図６に基づいて説明する。図６は、画像処理装置１が実行する最適画像を選別する画像選別処理の別の一例を示すフローチャートである。
ここでは、判定部２６が被写体に応じた最適画像閾値を用いるものとする。
図６に示すように、まず、画像取得部２１は、画像入力部１３を介して外部の画像提供装置から画像を取得する（Ｓ２１）。画像取得部２１が画像を取得すると、被写体検出部２２は、入力画像に対して被写体検出を実行する（Ｓ２２）。そして、被写体検出部２２は、入力画像上における、検出した被写体を含む被写体領域を特定する（Ｓ２３）。これと並行して、閾値特定部２９は、閾値情報４２を参照して、被写体検出部２２が検出した被写体に対応付けられている最適画像閾値を特定する（Ｓ２４）。
被写体検出部２２が被写体領域を特定すると、鮮明度特定部２４は、被写体領域の鮮明度を特定する（Ｓ２５）。これと並行して、背景領域特定部２３は、入力画像上の被写体領域を除く領域を背景領域として特定する（Ｓ２６）。そして、鮮明度特定部２４は、背景領域の鮮明度を特定する（Ｓ２７）。
鮮明度特定部２４が被写体領域の鮮明度および背景領域の鮮明度を特定すると、スコア算出部２５は、被写体領域の鮮明度および背景領域の鮮明度に基づいてスコアを算出する（Ｓ２８）。
スコア算出部２５がスコアを算出し、閾値特定部２９が被写体に応じた最適画像閾値を特定すると、判定部２６は、閾値特定部２９が特定した最適画像閾値よりスコアが大きいか否かを判定する（Ｓ２９）。スコアが最適画像閾値より大きい場合（Ｓ２９でＹＥＳ）、判定部２６は、入力画像を最適画像とする（Ｓ３０）。一方、スコアが最適画像閾値以下の場合（Ｓ２９でＮＯ）、判定部２６は、入力画像を非最適画像とする（Ｓ３１）。そして、画像出力部２７は、最適画像のみを表示部１４に表示させる（Ｓ３２）。
（実施例３）
次に、画像処理装置１が実行する最適画像を選別する画像選別処理の他の一例（実施例３）について図７に基づいて説明する。図７は、画像処理装置１が実行する最適画像を選別する画像選別処理の他の一例を示すフローチャートである。
ここでは、判定部２６がシーンに応じた最適画像閾値を用いるものとする。
図７に示すように、まず、画像取得部２１は、画像入力部１３を介して外部の画像提供装置から画像を取得する（Ｓ４１）。画像取得部２１が画像を取得すると、被写体検出部２２は、入力画像に対して被写体検出を実行する（Ｓ４２）。そして、被写体検出部２２は、入力画像上における、検出した被写体を含む被写体領域を特定する（Ｓ４３）。
被写体検出部２２が被写体領域を特定すると、鮮明度特定部２４は、被写体領域の鮮明度を特定する（Ｓ４４）。これと並行して、背景領域特定部２３は、入力画像上の被写体領域を除く領域を背景領域として特定する（Ｓ４５）。そして、鮮明度特定部２４は、背景領域の鮮明度を特定する（Ｓ４６）。
鮮明度特定部２４が被写体領域の鮮明度および背景領域の鮮明度を特定すると、スコア算出部２５は、被写体領域の鮮明度および背景領域の鮮明度に基づいてスコアを算出する（Ｓ４７）。
また、画像取得部２１が画像を取得すると、Ｓ４２の処理と並行して、シーン特定部２８は、入力画像のシーンを特定する（Ｓ４８）。そして、閾値特定部２９は、閾値情報４２を参照して、シーン特定部２８が特定したシーンに対応付けられている最適画像閾値を特定する（Ｓ４９）。
スコア算出部２５がスコアを算出し、閾値特定部２９がシーンに応じた最適画像閾値を特定すると、判定部２６は、閾値特定部２９が特定した最適画像閾値よりスコアが大きいか否かを判定する（Ｓ５０）。スコアが最適画像閾値より大きい場合（Ｓ５０でＹＥＳ）、判定部２６は、入力画像を最適画像とする（Ｓ５１）。一方、スコアが最適画像閾値以下の場合（Ｓ５０でＮＯ）、判定部２６は、入力画像を非最適画像とする（Ｓ５２）。そして、画像出力部２７は、最適画像のみを表示部１４に表示させる（Ｓ５３）。
（実施例４）
次に、画像処理装置１が実行する最適画像を選別する画像選別処理の他の一例（実施例４）について図８に基づいて説明する。図８は、画像処理装置１が実行する最適画像を選別する画像選別処理の他の一例を示すフローチャートである。
ここでは、外部の画像提供装置がカメラであり、当該カメラが動画を撮影しているものとする。そして、画像取得部２１がカメラから動画のフレームを順次取得し、画像出力部２７は、最適画像以降のフレームを記憶部１２に格納するものとする。例えば、図９に示すように、動画を撮影し、フレームのスコアが最適画像閾値を超えてから、動画を記録するものとする。
図８に示すように、まず、画像取得部２１は、画像入力部１３を介してカメラからフレーム（画像）を取得する（Ｓ６１）。画像取得部２１が画像を取得すると、被写体検出部２２は、入力画像に対して被写体検出を実行する（Ｓ６２）。そして、被写体検出部２２は、入力画像上における、検出した被写体を含む被写体領域を特定する（Ｓ６３）。
被写体検出部２２が被写体領域を特定すると、鮮明度特定部２４は、被写体領域の鮮明度を特定する（Ｓ６４）。これと並行して、背景領域特定部２３は、入力画像上の被写体領域を除く領域を背景領域として特定する（Ｓ６５）。そして、鮮明度特定部２４は、背景領域の鮮明度を特定する（Ｓ６６）。
鮮明度特定部２４が被写体領域の鮮明度および背景領域の鮮明度を特定すると、スコア算出部２５は、被写体領域の鮮明度および背景領域の鮮明度に基づいてスコアを算出する（Ｓ６７）。
スコア算出部２５がスコアを算出すると、判定部２６は、スコアが最適画像閾値より大きいか否かを判定する（Ｓ６８）。ここで、スコアが最適画像閾値以下の場合（Ｓ８でＮＯ）、次のフレームがカメラから出力されているか否か、つまり、カメラが動画の撮影を継続しているか否かを判定する（Ｓ６９）。次のフレームがあれば（Ｓ６９でＹＥＳ）、画像取得部２１は、画像入力部１３を介してカメラから次のフレームを取得し（Ｓ７０）、Ｓ６２〜Ｓ６８の処理を実行する。一方、次のフレームがなければ（Ｓ６９でＮＯ）、画像選別処理を終了する。
また、Ｓ６８において、スコアが最適画像閾値より大きい場合（Ｓ６８でＹＥＳ）、判定部２６は、入力画像を最適画像とし、画像出力部２７は、最適画像である入力画像を記憶部１２に格納する（Ｓ７１）。そして、次のフレームがカメラから出力されているか否か、つまり、カメラが動画の撮影を継続しているか否かを判定する（Ｓ７２）。次のフレームがあれば（Ｓ７２でＹＥＳ）、画像取得部２１は、画像入力部１３を介してカメラから次のフレームを取得し、画像出力部２７は、画像取得部２１が取得した入力画像を記憶部１２に格納する（Ｓ７３）。動画の撮影が終了するまで、撮影した画像（動画）を記録し、撮影が終了すると（Ｓ７２でＮＯ）、画像選別処理を終了する。
なお、ここでは、最適画像と判定した以降のフレームを記録しているが、最適画像と判定したフレームのみ記録するようにしてもよい。
〔領域特定処理について〕
被写体領域特定処理および背景領域特定処理について、図１０〜図１３に基づいて具体的に説明する。まず、被写体検出部２２が入力画像に対して顔検出を実行する場合について図１０および図１１に基づいて説明する。図１０は、入力画像に対して顔検出を実行した結果を示す図である。図１１は、顔検出によって特定された被写体領域および背景領域を示す図である。
この場合、図１０に示すように、被写体検出部２２は、入力画像６０に対して顔検出を実行し、被写体である人間の顔６１が検出される。図１１に示すように、被写体検出部２２は、この結果に基づいて、検出した人間の顔６１を含む領域を被写体領域６２として特定する。また、背景領域特定部２３は、入力画像６０上の、被写体領域６２を除いた領域を背景領域６３として特定する。
次に、被写体検出部２２が入力画像に対して輪郭検出を実行する場合について図１２および図１３に基づいて説明する。図１２は、入力画像に対して輪郭検出を実行した結果を示す図である。図１３は、輪郭検出によって特定された被写体領域および背景領域を示す図である。
この場合、図１２に示すように、被写体検出部２２は、入力画像６０に対して輪郭検出を実行し、被写体である人間の輪郭６５が検出される。図１１に示すように、被写体検出部２２は、この結果に基づいて、検出した人間の輪郭６５によって閉じられた領域を含む領域を被写体領域６６として特定する。また、背景領域特定部２３は、入力画像６０上の、被写体領域６６を除いた領域を背景領域６７として特定する。
〔重み付けによるスコア算出について〕
次に、スコア算出部２５が被写体領域の鮮明度ｆ（α）と、背景領域の鮮明度ｆ（β）との差分値に重み付け係数γを乗算してスコアを算出する具体例について、図１４に基づいて説明する。図１４は、重み付けによるスコア算出方法の一例を示す図である。
ここでは、入力画像Ａ〜Ｅの５つの画像についてスコアを算出するものとする。また、入力画像Ａのｆ（α）、ｆ（β）は、それぞれ７５０、２１０であり、入力画像Ｂのｆ（α）、ｆ（β）は、それぞれ１０００、５５０であり、入力画像Ｃのｆ（α）、ｆ（β）は、それぞれ６００、１１０であり、入力画像Ｄのｆ（α）、ｆ（β）は、それぞれ９００、８５０であり、入力画像Ｅのｆ（α）、ｆ（β）は、それぞれ１００、５０であるとする。
まず、スコア算出方法として、重み付け係数γ＝１の場合を考える。この場合、図１４に示すように、入力画像Ａ〜Ｅのスコアは、それぞれ、５４０、４５０、４９０、５０、５０となる。このとき、判定部２６がスコアに基づいて入力画像Ａ〜Ｅに順位付けすると、その順序は、Ａ，Ｃ，Ｂ，Ｄ，Ｅとなる。
次に、スコア算出方法として、重み付け係数γ＝ｆ（α）の場合を考える。この場合、図１４に示すように、入力画像Ａ〜Ｅのスコアは、それぞれ、４０５０００、４５００００、２９４０００、４５０００、５０００となる。このとき、判定部２６がスコアに基づいて入力画像Ａ〜Ｅに順位付けすると、その順序は、Ｂ，Ａ，Ｃ、Ｄ，Ｅとなる。
この場合、重み付け係数は、被写体領域の鮮明度が大きいほど、係数の値が大きくなるため、被写体領域の相対的な鮮明度が高く、かつ、被写体領域の鮮明度が高い入力画像のスコアが大きくなる。
最後に、スコア算出方法として、重み付け係数γ＝１０００−ｆ（β）の場合を考える。この場合、図１４に示すように、入力画像Ａ〜Ｅのスコアは、それぞれ、４２６６００、２０２５００、４３６１００、７５００、４７５００となる。このとき、判定部２６がスコアに基づいて入力画像Ａ〜Ｅに順位付けすると、その順序は、Ｃ，Ａ，Ｂ，Ｅ，Ｄとなる。
この場合、重み付け係数は、背景領域の鮮明度が小さいほど、係数の値が大きくなるため、被写体領域の相対的な鮮明度が高く、かつ、背景領域がより不鮮明な入力画像のスコアが大きくなる。
〔鮮明度およびスコアについて〕
本実施形態では、鮮明度は、正の値をとり、その値が大きいほど画像（領域）が鮮明であることを示す。違う観点から見ると、鮮明度は、その値が小さいほど画像（領域）が不鮮明であることを示すものであるとも言える。また、鮮明度が正負の値をとるようにしてもよい。この場合、所定の基準画像（標準画像）の鮮明度を「０」とし、正の絶対値が大きいほど、基準画像より画像が鮮明であることを示し、負の絶対値が大きいほど、基準画像より画像が不鮮明であることを示してもよい。
また、本実施形態では、スコアをＳｃ＝ｆ（α）−ｆ（β）としており、スコアが正負の値をとり、スコアの値が大きいほど、被写体領域が背景領域より相対的に鮮明であることを示し、スコアの値が小さいほど、被写体領域が背景領域より相対的に不鮮明であることを示す。ただし、これに限るものではなく、スコアをＳｃ＝ｆ（β）−ｆ（α）としてもよい。この場合、スコアの値が大きいほど、被写体領域が背景領域より相対的に不鮮明であることを示し、スコアの値が小さいほど、被写体領域が背景領域より相対的に鮮明であることを示す。
本発明において、鮮明度およびスコアは、被写体領域が背景領域より相対的に鮮明であるか否かを判定するために使用する尺度である。換言すると、被写体領域が背景領域より相対的に鮮明であるか否かを判定可能であれば、鮮明度およびスコアの定義は任意に設定してよい。すなわち、本発明の目的の範囲内で、鮮明度およびスコアの定義は適宜設定すればよい。
〔変形例〕
図１５に示すように、１つの入力画像に複数の被写体が含まれる場合について説明する。図１５は、被写体が複数含まれる入力画像の一例を示す図である。
被写体検出部２２は、入力画像７０に対して顔検出を実行し、９個の被写体を検出する。このとき、被写体検出部２２は、検出結果に基づいて、９個の被写体領域７１〜７９を特定する。そして、背景領域特定部２３は、被写体領域７１〜７９に対する９個の背景領域を特定する。そして、鮮明度特定部２４は、被写体領域の鮮明度ｆ（α１）〜ｆ（α９）と、背景領域の鮮明度ｆ（β１）〜ｆ（β９）とを特定する。
ここで、スコア算出部２５は、９個の差分値の平均をスコアＳｃとしてもよい。つまり、Ｓｃ＝（ｆ（ｈ１）＋ｆ（ｈ２）＋・・・＋ｆ（ｈ９））／９としてもよい。なお、ｆ（ｈ）＝ｆ（α）−ｆ（β）とする。
また、スコア算出部２５は、９個のスコアＳｃ１〜Ｓｃ９を算出してもよい。９個のスコアＳｃ１〜Ｓｃ９を算出した場合、判定部２６は、スコアＳｃ１〜Ｓｃ９の全てが最適画像閾値より大きい場合に、入力画像を最適画像としてもよいし、スコアＳｃ１〜Ｓｃ９の何れかが最適画像閾値より大きい場合に、入力画像を最適画像としてもよい。
また、スコア算出部２５が、被写体領域の鮮明度ｆ（α１）〜ｆ（α９）の平均を算出して、判定部２６が被写体閾値Ｔｈαと比較してもよいし、判定部２６は、鮮明度ｆ（α１）〜ｆ（α９）と被写体閾値Ｔｈαとをそれぞれ比較してもよい。さらに、スコア算出部２５が、背景領域の鮮明度ｆ（β１）〜ｆ（β９）の平均を算出して、判定部２６が背景閾値Ｔｈβと比較してもよいし、判定部２６は、鮮明度ｆ（β１）〜ｆ（β９）と背景閾値Ｔｈβとをそれぞれ比較してもよい。
〔補足〕
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、画像処理装置１の各ブロック、特に制御部１１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
すなわち、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
また、画像処理装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は、ユーザの所望する画像を選別する画像処理装置に利用することができる。
１ 画像処理装置
１１ 制御部
１２ 記憶部
２１ 画像取得部（取得手段）
２２ 被写体検出部（検出手段、被写体領域特定手段）
２３ 背景領域特定部（背景領域特定手段）
２４ 鮮明度特定部（鮮明度特定手段）
２５ スコア算出部（スコア算出手段）
２６ 判定部（判定手段）
２７ 画像出力部（保存手段）
２８ シーン特定部（シーン特定手段）
２９ 閾値特定部（閾値特定手段）

Claims (14)

  1. 画像を選別する画像処理装置であって、
    上記画像から所定の被写体を検出する検出手段と、
    上記検出手段が検出した被写体を含む上記画像上の領域である被写体領域を特定する被写体領域特定手段と、
    上記被写体領域特定手段が特定した被写体領域を除く上記画像上の領域である背景領域を特定する背景領域特定手段と、
    上記被写体領域および上記背景領域の鮮明度をそれぞれ特定する鮮明度特定手段と、
    上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に基づいてスコアを算出するスコア算出手段と、
    上記スコア算出手段が算出したスコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示す場合に、上記画像を最適画像とする判定手段とを備え、
    上記判定手段は、さらに、上記被写体領域の鮮明度と被写体閾値とを比較して、当該被写体領域が鮮明であるか否かを判定し、上記スコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記被写体領域の鮮明度と被写体閾値との比較において、当該被写体領域が鮮明であると判定した場合、上記画像を最適画像とすることを特徴とする画像処理装置。
  2. 画像を選別する画像処理装置であって、
    上記画像から所定の被写体を検出する検出手段と、
    上記検出手段が検出した被写体を含む上記画像上の領域である被写体領域を特定する被写体領域特定手段と、
    上記被写体領域特定手段が特定した被写体領域を除く上記画像上の領域である背景領域を特定する背景領域特定手段と、
    上記被写体領域および上記背景領域の鮮明度をそれぞれ特定する鮮明度特定手段と、
    上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に基づいてスコアを算出するスコア算出手段と、
    上記スコア算出手段が算出したスコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示す場合に、上記画像を最適画像とする判定手段とを備え、
    上記判定手段は、さらに、上記背景領域の鮮明度と背景閾値とを比較して、当該背景領域が鮮明であるか否かを判定し、上記スコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記背景領域の鮮明度と背景閾値との比較において、当該背景領域が鮮明ではないと判定した場合、上記画像を最適画像とすることを特徴とする画像処理装置。
  3. 画像を選別する画像処理装置であって、
    上記画像から所定の被写体を検出する検出手段と、
    上記検出手段が検出した被写体を含む上記画像上の領域である被写体領域を特定する被写体領域特定手段と、
    上記被写体領域特定手段が特定した被写体領域を除く上記画像上の領域である背景領域を特定する背景領域特定手段と、
    上記被写体領域および上記背景領域の鮮明度をそれぞれ特定する鮮明度特定手段と、
    上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に基づいてスコアを算出するスコア算出手段と、
    上記スコア算出手段が算出したスコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示す場合に、上記画像を最適画像とする判定手段とを備え、
    上記判定手段は、さらに、上記被写体領域の鮮明度と被写体閾値とを比較して、当該被写体領域が鮮明であるか否か、および、上記背景領域の鮮明度と背景閾値とを比較して、当該背景領域が鮮明であるかを判定し、上記スコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記被写体領域の鮮明度と被写体閾値との比較において、当該被写体領域が鮮明であると判定し、かつ、上記背景領域の鮮明度と背景閾値との比較において、当該背景領域が鮮明ではないと判定した場合、上記画像を最適画像とすることを特徴とする画像処理装置。
  4. 上記検出手段が検出した被写体に応じた最適画像閾値を特定する閾値特定手段をさらに備え、
    上記判定手段は、上記閾値特定手段が特定した最適画像閾値と上記スコアとを比較することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
  5. 上記画像のシーンを特定するシーン特定手段と、
    上記シーン特定手段が特定したシーンに応じた最適画像閾値を特定する閾値特定手段とをさらに備え、
    上記判定手段は、上記閾値特定手段が特定した最適画像閾値と上記スコアとを比較することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
  6. 上記検出手段が上記画像から複数の被写体を検出した場合、
    上記スコア算出手段は、被写体ごとにスコアを算出し、
    上記判定手段は、各スコアの平均値と最適画像閾値との比較において、各スコアの平均値が上記背景領域より上記複数の被写体の被写体領域が平均的に鮮明であることを示す場合、上記画像を最適画像とすることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
  7. 上記検出手段が上記画像から複数の被写体を検出した場合、
    上記スコア算出手段は、被写体ごとにスコアを算出し、
    上記判定手段は、各スコアと最適画像閾値とのそれぞれの比較において、全てのスコアが上記背景領域より上記被写体領域が鮮明であることを示す場合、上記画像を最適画像とすることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
  8. 上記検出手段が上記画像から複数の被写体を検出した場合、
    上記スコア算出手段は、被写体ごとにスコアを算出し、
    上記判定手段は各スコアと最適画像閾値とのそれぞれの比較において、何れかのスコアが上記背景領域より上記被写体領域が鮮明であることを示す場合、上記画像を最適画像とすることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
  9. 上記画像は複数であり、
    上記判定手段は、上記画像ごとの上記スコアに基づいて、複数の画像に対して順位付けすることを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
  10. 上記スコア算出手段は、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に重み付け係数を乗算して上記スコアを算出することを特徴とする請求項１〜９の何れか１項に記載の画像処理装置。
  11. 上記画像を順次取得する取得手段を備え、
    上記判定手段は、上記取得手段が取得した順に判定を行い、
    上記判定手段が最適画像とした画像以降に、上記取得手段が取得した画像を順次記憶部に保存する保存手段をさらに備えることを特徴とする請求項１〜１０の何れか１項に記載の画像処理装置。
  12. 画像を選別する画像処理方法であって、
    上記画像から所定の被写体を検出する検出ステップと
    上記検出ステップにおいて検出された被写体を含む上記画像上の領域である被写体領域を特定する被写体領域特定ステップと、
    上記被写体領域特定ステップにおいて特定された被写体領域を除く上記画像上の領域である背景領域を特定する背景領域特定ステップと、
    上記被写体領域および上記背景領域の鮮明度をそれぞれ特定する鮮明度特定ステップと、
    上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に基づいてスコアを算出するスコア算出ステップと、
    上記スコア算出ステップにおいて算出されたスコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示す場合に、上記画像を最適画像とする判定ステップとを含み、
    上記判定ステップでは、さらに、上記背景領域の鮮明度と背景閾値とを比較して、当該背景領域が鮮明であるか否かを判定し、上記スコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記背景領域の鮮明度と背景閾値との比較において、当該背景領域が鮮明ではないと判定した場合、上記画像を最適画像とすることを特徴とする画像処理方法。
  13. 請求項１〜１１の何れか１項に記載の画像処理装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
  14. 請求項１３に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2012201972A 2012-09-13 2012-09-13 画像処理装置、画像処理方法、制御プログラムおよび記録媒体 Active JP6040655B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012201972A JP6040655B2 (ja) 2012-09-13 2012-09-13 画像処理装置、画像処理方法、制御プログラムおよび記録媒体
EP13182150.6A EP2709062B1 (en) 2012-09-13 2013-08-29 Image processing device, image processing method, and computer readable medium
US14/024,024 US9152873B2 (en) 2012-09-13 2013-09-11 Device and method for determining an optimum image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012201972A JP6040655B2 (ja) 2012-09-13 2012-09-13 画像処理装置、画像処理方法、制御プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2014056508A JP2014056508A (ja) 2014-03-27
JP6040655B2 true JP6040655B2 (ja) 2016-12-07

Family

ID=49080721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012201972A Active JP6040655B2 (ja) 2012-09-13 2012-09-13 画像処理装置、画像処理方法、制御プログラムおよび記録媒体

Country Status (3)

Country Link
US (1) US9152873B2 (ja)
EP (1) EP2709062B1 (ja)
JP (1) JP6040655B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8928772B2 (en) * 2012-09-21 2015-01-06 Eastman Kodak Company Controlling the sharpness of a digital image
US20150089446A1 (en) * 2013-09-24 2015-03-26 Google Inc. Providing control points in images
EP2881898A1 (en) * 2013-12-09 2015-06-10 Accenture Global Services Limited Virtual assistant interactivity platform
US11743402B2 (en) * 2015-02-13 2023-08-29 Awes.Me, Inc. System and method for photo subject display optimization
US9942472B2 (en) * 2015-11-27 2018-04-10 International Business Machines Corporation Method and system for real-time image subjective social contentment maximization
JP6679333B2 (ja) * 2016-02-05 2020-04-15 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10831277B2 (en) 2016-12-21 2020-11-10 Telefonaktiebolaget Lm Ericsson (Publ) Region of interest classification
EP3606033A1 (en) 2018-07-31 2020-02-05 Honda Research Institute Europe GmbH Method and system for assisting a user in producing and selecting images
US10917571B2 (en) * 2018-11-05 2021-02-09 Sony Corporation Image capture device control based on determination of blur value of objects in images
JP7401968B2 (ja) * 2018-12-07 2023-12-20 ルネサスエレクトロニクス株式会社 撮影制御装置、撮影システム及び撮影制御方法
CA3080502A1 (en) * 2019-05-07 2020-11-07 Mark A. Scatterday Vape cartridge assembly

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209483A (ja) 1999-01-18 2000-07-28 Nikon Corp 画像選別機能を有する電子カメラ、およびプログラムを記録した記録媒体
US7088865B2 (en) * 1998-11-20 2006-08-08 Nikon Corporation Image processing apparatus having image selection function, and recording medium having image selection function program
US7720302B2 (en) * 2003-09-25 2010-05-18 Fujifilm Corporation Method, apparatus and program for image processing
JP2007097090A (ja) * 2005-09-30 2007-04-12 Fujifilm Corp 画像表示装置および方法ならびにプログラム、さらに写真プリント注文受付装置
EP1988705A1 (en) * 2007-04-30 2008-11-05 STMicroelectronics (Research & Development) Limited Improvements in or relating to image sensors
JP4840426B2 (ja) * 2008-09-24 2011-12-21 ソニー株式会社 電子機器、ぼけ画像選別方法及びプログラム
US8582912B2 (en) * 2011-01-26 2013-11-12 Aptina Imaging Corporation Systems and methods for calculating image sharpness measurements
WO2014072837A2 (en) * 2012-06-07 2014-05-15 DigitalOptics Corporation Europe Limited Mems fast focus camera module

Also Published As

Publication number Publication date
EP2709062A2 (en) 2014-03-19
US20140072221A1 (en) 2014-03-13
EP2709062A3 (en) 2014-03-26
JP2014056508A (ja) 2014-03-27
EP2709062B1 (en) 2018-10-10
US9152873B2 (en) 2015-10-06

Similar Documents

Publication Publication Date Title
JP6040655B2 (ja) 画像処理装置、画像処理方法、制御プログラムおよび記録媒体
WO2017076040A1 (zh) 应用于连拍过程中的图像处理方法和装置
WO2016180126A1 (zh) 一种图像处理方法和装置
US9838616B2 (en) Image processing method and electronic apparatus
JP6135283B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6624048B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20170150041A1 (en) Double-exposure photographing method and apparatus of electronic device
WO2014146561A1 (zh) 缩略图生成方法及系统
CN108876753A (zh) 使用引导图像对合成长曝光图像进行可选增强
WO2018102880A1 (en) Systems and methods for replacing faces in videos
JP2012124682A5 (ja)
US9398217B2 (en) Video stabilization using padded margin pixels
CN113705665B (zh) 图像变换网络模型的训练方法和电子设备
WO2023160312A1 (zh) 基于自监督学习的行人重识别方法、装置、设备及存储介质
CN113706414A (zh) 视频优化模型的训练方法和电子设备
US10134137B2 (en) Reducing storage using commonalities
JP2008035125A (ja) 撮像装置、画像処理方法およびプログラム
JP2015103968A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN113920540A (zh) 基于知识蒸馏的行人重识别方法、装置、设备及存储介质
CN113395599A (zh) 一种视频处理方法、装置、电子设备及介质
CN115623313A (zh) 图像处理方法、图像处理装置、电子设备、存储介质
KR20150011714A (ko) 영상 방향 판단 장치
WO2021237736A1 (zh) 图像处理方法、装置和系统，计算机可读存储介质
CN105898151A (zh) 图像处理方法及装置
WO2019205566A1 (zh) 一种显示图片的方法和设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151023

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20151028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160525

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161024

R150 Certificate of patent or registration of utility model

Ref document number: 6040655

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150