JPWO2020240912A1 - 画像処理方法、画像処理装置およびプログラム - Google Patents

画像処理方法、画像処理装置およびプログラム Download PDF

Info

Publication number
JPWO2020240912A1
JPWO2020240912A1 JP2021522622A JP2021522622A JPWO2020240912A1 JP WO2020240912 A1 JPWO2020240912 A1 JP WO2020240912A1 JP 2021522622 A JP2021522622 A JP 2021522622A JP 2021522622 A JP2021522622 A JP 2021522622A JP WO2020240912 A1 JPWO2020240912 A1 JP WO2020240912A1
Authority
JP
Japan
Prior art keywords
pixels
saturation
pixel
threshold value
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021522622A
Other languages
English (en)
Other versions
JP7022949B2 (ja
Inventor
功 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2020240912A1 publication Critical patent/JPWO2020240912A1/ja
Application granted granted Critical
Publication of JP7022949B2 publication Critical patent/JP7022949B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

画像処理方法は、取得された画像（２００）を構成する複数の画素のそれぞれの画素値に基づいて、特定の色が定義される特定の色範囲を含む第１色範囲に含まれる画素値を有する複数の第１対象画素を複数の画素から抽出する抽出ステップ（Ｓ２）と、画像（２００）の中央領域を含む第１領域（２０１）とは異なる第２領域（２０２、２０３）において、（ｉ）低彩度画素の数（Ｎｐｌｓ）が閾値（Ｔｈ１）以上であるときに低彩度画素を複数の第１対象画素から除外し、（ｉｉ）高彩度範囲に含まれる画素値を有する高彩度画素の数（Ｎｐｈｓ１）が閾値（Ｔｈ２１）以上であるときに高彩度画素を複数の第１対象画素から除外する除外ステップ（Ｓ７）と、除外ステップ（Ｓ７）において除外された結果得られた複数の第２対象画素を出力する出力ステップ（Ｓ８）と、を含む。

Description

本開示は、画像処理方法、画像処理装置およびプログラムに関する。
特許文献１には、ディジタルカラー画像中の人間の姿を検出する画像処理方法が開示されている。
特開２００２−２０３２３９号公報
しかしながら、特許文献１の画像処理方法では、人間の姿などの所定の処理に用いられる領域を効果的に特定することが難しいという課題がある。
本開示は、画像における被写体の領域である対象領域を効果的に特定することができる画像処理方法などを提供する。
本開示における画像処理方法は、画像を取得する第１取得ステップと、取得された前記画像を構成する複数の画素のそれぞれの画素値に基づいて、特定の色が定義される特定の色範囲を含む第１色範囲に含まれる画素値を有する複数の第１対象画素を前記複数の画素から抽出する抽出ステップと、前記画像のうちの中央領域を含む第１領域とは異なる第２領域において、（ｉ）彩度が第１の彩度より低い範囲である低彩度範囲に含まれる画素値を有する低彩度画素の数が第１閾値以上であるときに前記低彩度画素を前記複数の第１対象画素から除外し、（ｉｉ）彩度が前記第１の彩度より高い第２の彩度より高い高彩度範囲に含まれる画素値を有する高彩度画素の数が第２閾値以上であるときに前記高彩度画素を前記複数の第１対象画素から除外する除外ステップと、前記除外ステップにおいて除外された結果得られた複数の第２対象画素を出力する出力ステップと、を含む。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示における画像処理方法は、画像における被写体の領域である対象領域を効果的に特定することができる。
図１は、本実施の形態に係る表示装置の外観の一例を示す斜視図である。 図２は、本実施の形態に係る表示装置のハードウェア構成の一例を示すブロック図である。 図３は、本実施の形態に係る画像処理装置の機能構成の一例を示すブロック図である。 図４は、本実施の形態に係る画像処理装置により実行される画像処理方法の一例を示すフローチャートである。 図５は、画像における領域について説明するための図である。 図６は、抽出処理の具体例を示すフローチャートである。 図７は、色相ヒストグラムの一例を示す図である。 図８は、第１の抽出処理の具体例を示すフローチャートである。 図９は、色決定処理について説明するための色相ヒストグラムの一例を示す図である。 図１０は、第２の抽出処理の具体例を示すフローチャートである。 図１１は、第３の抽出処理の具体例を示すフローチャートである。 図１２は、彩度ヒストグラムの一例を示す図である。 図１３は、設定処理の具体例を示すフローチャートである。 図１４は、除外処理の具体例を示すフローチャートである。 図１５は、除外処理について説明するための第２彩度ヒストグラムの一例を示す図である。 図１６は、排他カラー検出処理について説明するための色相ヒストグラムの一例を示す図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、画像処理方法に関し、以下の問題が生じることを見出した。
特許文献１には、輝度成分及びクロミナンス成分における人間の肌の色の分布に基づいて人間の肌の検出が行われることが開示されている。
このように、例えば、画像におけるヒトの顔の領域は、ヒトの肌色を規定する色領域の範囲に収まる画素値を有する画素を検出することで区別される。さらに、画像におけるヒトの顔の領域は、テクスチャのパターンおよび／または空間周波数を用いて画像処理することで、区別される。また、上記の方法で区別されたヒトの顔の近傍の領域に対して、ヒトの姿のグラフィックモデルまたは特徴量を用いた画像処理を行うことで、ヒトの姿を認識したりヒトの姿の領域を特定したりすることができる。
このように、従来技術において、肌色は、画像を構成する全画素の画素値のヒストグラムを用いて検出されるため、肌色の範囲に含まれる色を有する背景が画像に含まれる場合、当該背景を肌色として検出してしまう。このため、背景を、ヒトの顔またはヒトの肌として検出するおそれがある。
以上のような課題を解決するために、本開示の一態様に係る画像処理方法は、画像を取得する第１取得ステップと、取得された前記画像を構成する複数の画素のそれぞれの画素値に基づいて、特定の色が定義される特定の色範囲を含む第１色範囲に含まれる画素値を有する複数の第１対象画素を前記複数の画素から抽出する抽出ステップと、前記画像のうちの中央領域を含む第１領域とは異なる第２領域において、（ｉ）彩度が第１の彩度より低い範囲である低彩度範囲に含まれる画素値を有する低彩度画素の数が第１閾値以上であるときに前記低彩度画素を前記複数の第１対象画素から除外し、（ｉｉ）彩度が前記第１の彩度より高い第２の彩度より高い高彩度範囲に含まれる画素値を有する高彩度画素の数が第２閾値以上であるときに前記高彩度画素を前記複数の第１対象画素から除外する除外ステップと、前記除外ステップにおいて除外された結果得られた複数の第２対象画素を出力する出力ステップと、を含む。
これによれば、被写体が画像中央に位置する構図で撮影される注視点という概念を利用して、被写体が映っていない可能性が高い第２領域を構成する複数の画素が有するそれぞれの画素値に応じて、第１色範囲に含まれる画素値を有する複数の第１対象画素から所定の画素を除外する除外ステップを行う。具体的には、第２領域における低彩度画素の数が第１閾値以上である場合に低彩度画素を除外し、第２領域における高彩度画素の数が第２閾値以上である場合に複数の第１対象画素から高彩度画素を除外する。つまり、第１対象画素であっても、第２領域における第１閾値以上の低彩度画素、および、第２領域における第２閾値以上の高彩度画素については、被写体とは異なる背景の領域に含まれる画素であると推定して、複数の第１対象画素から除外するため、背景を被写体として検出することを低減することができる。よって、画像における被写体の領域である対象領域を効果的に特定することができる。
また、さらに、前記第１領域および前記第２領域のそれぞれについての彩度のヒストグラムをそれぞれ第１彩度ヒストグラムおよび第２彩度ヒストグラムとして生成する生成ステップと、前記第１彩度ヒストグラムから前記第２彩度ヒストグラムを彩度が対応する各ビンにおいて減じることで差分彩度ヒストグラムを算出する算出ステップと、前記第１領域および前記第２領域のそれぞれについて前記特定の色範囲に含まれる画素値を有する画素が計数された結果である第１画素数および第２画素数を取得する第２取得ステップと、前記第１画素数が第３閾値以上であり、かつ、前記第２画素数が第４閾値以上であるときであって、（ｉ）算出された前記差分彩度ヒストグラムにおいて前記低彩度範囲に区分された画素の数である第３画素数が第５閾値以上であるときに前記第２彩度ヒストグラムにおいて前記低彩度範囲に区分された画素の数である第４画素数が大きいほど小さい値になるように前記第１閾値を設定し、（ｉｉ）前記差分彩度ヒストグラムにおいて前記高彩度範囲に区分された画素の数である第５画素数が第６閾値以上であるときに前記第２彩度ヒストグラムにおいて前記高彩度範囲に区分された画素の数である第６画素数の数が大きいほど小さい値になるように前記第２閾値を設定する設定ステップと、を含み、前記除外ステップは、設定された前記第１閾値および前記第２閾値を用いて行われてもよい。
これによれば、特定の色範囲に含まれる画素値を有する画素の数が第１領域および第２領域のそれぞれで第３閾値以上および第４閾値以上である場合には、被写体が大きく映り込んでいる画像であると推定できる。被写体が大きく映り込んでいる画像の場合において、差分彩度ヒストグラムにおいて低彩度範囲に区分された画素の数である第３画素数が第５閾値以上である場合、背景には被写体とは異なる種類の物体が低彩度画素で映っている可能性が高いと判断し、低彩度画素が除外されやすいように第１閾値を小さくする。同様に、被写体が大きく映り込んでいる画像の場合において、差分彩度ヒストグラムにおいて高彩度範囲に区分された画素の数である第４画素数が第６閾値以上である場合、背景には被写体とは異なる種類の物体が高彩度画素で映っている可能性が高いと判断し、高彩度画素が除外されやすいように第２閾値を小さくする。このように被写体とは異なる種類の物体が映っている可能性が高いと判断された場合に、当該物体の可能性が高い低彩度画素および／または高彩度画素を除外しやすいように閾値を設定するため、背景としての物体を被写体として検出することを低減することができる。
また、前記設定ステップでは、前記第３画素数が前記第５閾値未満であるときに前記第１閾値を予め定められた第１固定値に設定し、前記第５画素数が前記第６閾値未満であるときに前記第２閾値を予め定められた第２固定値に設定してもよい。
これによれば、第３画素数が第５閾値未満である場合、背景には被写体とは異なる種類の物体が低彩度画素で映っている可能性が低いと判断し、低彩度画素が除外されにくいように第１閾値を第１固定値に設定する。同様に、第４画素数が第６閾値未満である場合に、背景には被写体とは異なる種類の物体が高彩度画素で映っている可能性が低いと判断し、高彩度画素が除外されにくいように第２閾値を第２固定値に設定する。このように被写体とは異なる種類の物体が映っている可能性が低いと判断された場合に、当該物体の可能性が低い低彩度画素および／または高彩度画素を除外しにくいように閾値を固定値に設定するため、被写体の一部を背景として除外することを低減することができる。
また、前記抽出ステップでは、第１の抽出処理を行い、前記第１の抽出処理では、前記第１領域および前記第２領域のそれぞれについて色相のヒストグラムが生成された結果である第１色相ヒストグラムおよび第２色相ヒストグラムを取得し、前記第１色相ヒストグラムから前記第２色相ヒストグラムを色相が対応する各ビンにおいて減じることで差分色相ヒストグラムを算出し、算出された前記差分色相ヒストグラムを処理対象の色相ヒストグラムに決定し、決定された前記処理対象の色相ヒストグラムを用いて前記第１色範囲を決定するための色範囲決定処理を行い、決定された前記第１色範囲に含まれる画素値を有する複数の画素を前記複数の第１対象画素として抽出し、前記色範囲決定処理では、前記処理対象の色相ヒストグラムを構成する複数のビンから、前記特定の色であると判定される１以上の特定のビンを除いた残りの複数のビンのうち、度数が高い順に所定の数のビンを選択し、選択された前記所定の数のビン、および、前記１以上の特定のビンにより特定される色相範囲を前記第１色範囲として決定してもよい。
このため、被写体に固有の特定の色以外にも、被写体に多く含まれる色が含まれる色範囲を第１色範囲として決定することができる。
また、前記抽出ステップでは、さらに、前記第１領域について前記特定の色と判定される画素の数を計数し、計数した結果を前記第１画素数として出力し、前記第２領域について前記特定の色と判定される画素の数を計数し、計数した結果を前記第２画素数として出力し、前記第１画素数が第７閾値未満であり、かつ、前記第２画素数が第８閾値以上であるときに、前記第１の抽出処理を行い、前記第１画素数が前記第７閾値以上であり、かつ、前記第２画素数が前記第８閾値未満であるときに、第２の抽出処理を行い、前記第２の抽出処理では、前記第１色相ヒストグラムを取得し、取得された前記第１色相ヒストグラムについて、前記色範囲決定処理を行い、決定された前記第１色範囲に含まれる画素値を有する前記複数の第１対象画素を抽出してもよい。
このため、第１領域には特定の色と判定される画素の数が第７閾値以上と多く、かつ、第２領域には特定の色と判定される画素の数が第８閾値未満と少ない場合、第１領域に特定の色の画素が多いため、第２領域よりも第１領域に多く被写体が映り込んでいると推定できる。よって、第１領域における第１色相ヒストグラムについて色範囲決定処理を行うことで、被写体に多く含まれる色が含まれる色範囲を第１色範囲として決定することができる。
また、前記抽出ステップでは、前記第１画素数が前記第７閾値より小さい第９閾値未満であり、かつ、前記第２画素数が前記第８閾値より小さい第１０閾値未満であるときに、第３の抽出処理を行い、前記第３の抽出処理では、前記特定の色範囲を前記第１色範囲として決定し、決定された前記第１色範囲に含まれる画素値を有する前記複数の第１対象画素を抽出してもよい。
第１領域には特定の色と判定される画素の数が第９閾値未満と少なく、かつ、第２領域には特定の色と判定される画素の数が第１０閾値未満と少ない場合、第１領域にも第２領域にも特定の色が少ないため、画像全体に小さく被写体が映り込んでいると推定できる。よって、特定の色範囲を第１色範囲として決定することで、被写体を効果的に検出することができる。
また、前記抽出ステップでは、さらに、前記第１領域および前記第２領域のそれぞれについて色相のヒストグラムを生成し、生成した結果をそれぞれ第１色相ヒストグラムおよび第２色相ヒストグラムとして出力してもよい。
また、前記特定の色は、ヒトの肌の色であってもよい。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
（実施の形態）
以下、図１〜図１５を用いて、実施の形態を説明する。
［構成および動作］
図１は、本実施の形態に係る表示装置の外観の一例を示す斜視図である。
図１に示されるように、表示装置１００は、表示パネルを含む表示デバイスを筐体内に格納した、一般的なフラットパネルディスプレイの外観を有している。表示装置１００は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどである。
図２は、本実施の形態に係る表示装置のハードウェア構成の一例を示すブロック図である。
図２に示されるように、表示装置１００は、チューナ１０１と、デコーダ１０２と、制御回路１０３と、メモリ１０４と、表示デバイス１０５とを備える。制御回路１０３およびメモリ１０４は、画像処理装置１１０を構成している。つまり、表示装置１００は、画像処理装置１１０を内蔵する装置である。
チューナ１０１は、図示しないアンテナにより受信した放送波を構成するアナログ信号をデジタル信号である符号化データへ変換し、変換することで得られた符号化データをデコーダ１０２に出力する。
デコーダ１０２は、チューナ１０１から取得した符号化データを復号し、復号することで得られた画像データを制御回路１０３に出力する。画像データは、動画像または静止画像を含む画像を示すデータである。
制御回路１０３は、デコーダ１０２により出力された画像データにより示される画像に対して、所定の画像処理を行う。制御回路１０３は、画像が動画像である場合には、動画像に含まれる複数のピクチャのそれぞれに対して所定の画像処理を行う。制御回路１０３は、画像が静止画像である場合には、静止画像に対して所定の画像処理を行う。制御回路１０３は、画像処理を行うことで得られた画像（以下、「画像処理後の画像」ともいう。）を示す画像データ（以下、「画像処理後の画像データ」ともいう。）を、表示デバイス１０５に出力する。これにより、表示デバイス１０５は、画像処理後の画像を表示させることができる。なお、デコーダ１０２と制御回路１０３とは、同一の回路で実現されていてもよい。また、制御回路１０３は、所定の制御プログラムを実行するＣＰＵなどの汎用のプロセッサにより実現されていてもよいし、専用回路により実現されていてもよい。つまり、表示装置１００の機能は、ソフトウェアにより実現されていてもよいし、ハードウェアにより実現されていてもよい。
メモリ１０４は、制御プログラムおよび制御プログラムを実行するために利用する各種データを記憶していてもよい。メモリ１０４は、例えば、不揮発性メモリである。
表示デバイス１０５は、制御回路１０３により出力された画像処理後の画像データで示される画像処理後の画像を表示する。表示デバイス１０５は、表示パネルであり、例えば、液晶パネル、有機ＥＬパネルなどにより構成される。
次に、画像処理装置の機能構成について説明する。
図３は、本実施の形態に係る画像処理装置の機能構成の一例を示すブロック図である。図４は、本実施の形態に係る画像処理装置により実行される画像処理方法の一例を示すフローチャートである。
ここでは、画像処理装置１１０の各機能ブロックについて図３を用いて説明するとともに、各機能ブロックで行われる処理の流れについて図４を用いて説明する。
図３に示されるように、画像処理装置１１０は、機能構成として、取得部１１１と、抽出部１１２と、生成部１１３と、算出部１１４と、設定部１１５と、記憶部１１６と、除外部１１７と、出力部１１８と、補正部１１９とを備える。
取得部１１１は、画像データを取得する（Ｓ１）。取得部１１１は、例えば、表示装置１００のデコーダ１０２から画像データを取得することで画像を取得する。
抽出部１１２は、取得部１１１において取得された画像を構成する複数の画素のそれぞれの画素値に基づいて、第１色範囲に含まれる画素値を有する複数の第１対象画素を複数の画素から抽出する抽出処理を行う（Ｓ２）。抽出処理の具体例は、図６を用いて後述する。
第１色範囲は、特定の色が定義される特定の色範囲を含む色範囲である。特定の色とは、本実施の形態では、ヒトの肌の色である。人の肌の色は、例えば、世界中に存在する全てのヒトの肌の色である。つまり、特定の色範囲は、黒色系、白色系、黄色系などの肌の色を全て含む和集合で規定される色範囲である。また、色範囲は、例えば、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、および輝度（Ｌｕｍｉｎａｎｃｅ）の３つの指標を用いて示されるＨＬＳ色空間で定義される範囲である。なお、色範囲は、上記のＨＬＳ色空間で定義されることに限らずに、ＨＳＶ色空間などの色相および彩度の２つの指標を少なくとも用いて示される他の色空間で定義されてもよい。
ここで、画像における第１領域および第２領域について図５を用いて説明する。
図５は、画像における領域について説明するための図である。
図５に示されるように、画像２００は、画像２００の中央領域を含む第１領域２０１と、画像２００から第１領域２０１を除いた残りの第２領域２０２、２０３とに分けられる。第１領域２０１および第２領域２０２、２０３は、互いに重ならない領域である。第１領域２０１および第２領域２０２、２０３は、画像２００を水平方向に分割することで得られた領域である。第１領域２０１は、画像２００の水平方向の幅ｄの１／２の幅を有する領域であり、画像２００の中央に位置する領域である。第２領域２０２は、第１領域２０１の水平方向左側に位置する領域であり、画像２００の幅ｄの１／４の幅を有する領域である。第２領域２０３は、第１領域２０１の水平方向右側に位置する領域であり、画像２００の幅ｄの１／４の幅を有する領域である。第１領域２０１および第２領域２０２、２０３は、上述したように画像２００が水平方向に３分割された領域であるため、それぞれ領域の垂直方向の幅は、画像２００の垂直方向の幅と等しい。
なお、第１領域２０１は、画像２００を水平方向に３分割したときの中央の領域としたが、これに限らずに、画像２００の中央領域を含む領域であればよい。つまり、画像２００が垂直方向および水平方向のそれぞれで３分割されることで９分割された複数の領域のうちの中央の１領域を第１領域としてもよいし、水平方向において中央に位置する３つの領域を第１領域としてもよいし、垂直方向において中央に位置する３つの領域を第１領域としてもよい。また、第１領域２０１は、画像２００の中央領域を含む領域であれば、矩形の領域に限らずに、円形、楕円形など他の形状の領域であってもよい。
なお、注視点を考慮すると、被写体は、画像２００の中央領域であるオブジェクト領域２１０に位置する構図で撮影されることが多い。つまり、被写体は、画像２００中のオブジェクト領域２１０に多く含まれており、オブジェクト領域２１０の周囲の背景領域２２０には含まれていないことが多い。このため、被写体が第１領域２０１に多く含まれ、第２領域２０２、２０３にほとんど含まれないことを考慮することで、画像２００における被写体の領域を効果的に特定することができる。
次に、抽出処理の具体例について図６を用いて説明する。図６は、抽出処理の具体例を示すフローチャートである。
抽出処理では、抽出部１１２は、生成された第１色相ヒストグラムおよび第２色相ヒストグラムを用いて、第１の抽出処理、第２の抽出処理および第３の抽出処理のうちのいずれか１つを行うことで、画像を構成する複数の画素から複数の第１対象画素を抽出する。抽出部１１２は、第１の抽出処理、第２の抽出処理および第３の抽出処理のうちのいずれか１つの抽出処理を、第１領域において特定の色と判定される画素の数である第１画素数、および、第２領域において特定の色と判定される画素の数である第２画素数に応じて選択し、選択された抽出処理を実行する。
具体的には、図６に示されるように、抽出部１１２は、画像の第１領域および第２領域のそれぞれについての色相のヒストグラムをそれぞれ第１色相ヒストグラムおよび第２色相ヒストグラムとして生成する（Ｓ１１）。抽出部１１２は、第１領域２０１を構成する複数の画素それぞれが有する画素値から当該画素の色相を算出し、所定の色相の範囲毎の画素をカウントすることで第１色相ヒストグラムを生成する。同様に、抽出部１１２は、第２領域２０２、２０３を構成する複数の画素それぞれが有する画素値から当該画素の色相を算出し、所定の色相の範囲毎の画素をカウントすることで第２色相ヒストグラムを生成する。
第１色相ヒストグラムおよび第２色相ヒストグラムは、例えば、図７に示されるように、画素数を度数とし、色相の範囲をビンとするグラフである。第１色相ヒストグラムおよび第２色相ヒストグラムは、各色相の範囲における画素の分布を示すグラフである。なお、図７は、色相ヒストグラムの一例を示す図である。
本実施の形態では、第１色相ヒストグラムおよび第２色相ヒストグラムは、色相の全範囲が３２分割された３２個の色相の範囲にそれぞれ１対１で対応する３２個のビン（Ｂｉｎ）を有する。例えば、色相のヒストグラムにおいて、Ｂｉｎ［０］〜Ｂｉｎ［３］の色相範囲が、特定の色と判定される特定の色相範囲として定められている。なお、第１色相ヒストグラムおよび第２色相ヒストグラムは、図７に示されるような所定の色相の範囲毎に１つのビンを有している構成に限定されるものではなく、色相の１つの値毎に１つのビンを有している構成であってもよい。
そして、抽出部１１２は、第１領域２０１についての第１画素数Ｎｐ１として、第１色相ヒストグラムを用いて特定の色相範囲内の画素数を計数する。また、抽出部１１２は、第２領域２０２、２０３についての第２画素数Ｎｐ２として、第２色相ヒストグラムを用いて特定の色相範囲内にある画素数を計数する（Ｓ１２）。なお、第２画素数Ｎｐ２は、第２領域２０２および第２領域２０３を合わせた領域における特定の色相範囲内にある画素数である。本実施の形態では、特定の色と判定される画素とは、特定の色相範囲内にある画素値を有する画素である。
次に、抽出部１１２は、第１画素数Ｎｐ１が閾値Ｔｈａ以上であるか否かを判定する（Ｓ１３）。抽出部１１２は、第１画素数Ｎｐ１が閾値Ｔｈａ以上であると判定すれば（Ｓ１３でＹｅｓ）、ステップＳ１４を実行し、第１画素数Ｎｐ１が閾値Ｔｈａ未満であると判定すれば（Ｓ１３でＮｏ）、ステップＳ１６を実行する。なお、閾値Ｔｈａは、第７閾値の一例である。
ステップＳ１４では、抽出部１１２は、第２画素数Ｎｐ２が閾値Ｔｈｂ以上であるか否かを判定する（Ｓ１４）。抽出部１１２は、第２画素数Ｎｐ２が閾値Ｔｈｂ以上であると判定すれば（Ｓ１４でＹｅｓ）、ステップＳ１７を実行し、第２画素数Ｎｐ２が閾値Ｔｈｂ未満であると判定すれば（Ｓ１４でＮｏ）、ステップＳ１５を実行する。なお、閾値Ｔｈｂは、第８閾値の一例である。
ステップＳ１５では、抽出部１１２は、第２の抽出処理を実行する（Ｓ１５）。第２の抽出処理の具体例は、図１０を用いて後述する。
ステップＳ１６では、抽出部１１２は、第１画素数Ｎｐ１が閾値Ｔｈｃ以上であるか否かを判定する（Ｓ１６）。抽出部１１２は、第１画素数Ｎｐ１が閾値Ｔｈｃ以上であると判定すれば（Ｓ１６でＹｅｓ）、ステップＳ１７を実行し、第１画素数Ｎｐ１が閾値Ｔｈｃ未満であると判定すれば（Ｓ１６でＮｏ）、ステップＳ１８を実行する。なお、閾値Ｔｈｃは、閾値Ｔｈａよりも小さい値であり、第９閾値の一例である。
ステップＳ１７では、抽出部１１２は、第１の抽出処理を実行する（Ｓ１７）。第１の抽出処理の具体例は、図８を用いて後述する。
ステップＳ１８では、抽出部１１２は、第２画素数Ｎｐ２が閾値Ｔｈｄ以上であるか否かを判定する（Ｓ１８）。抽出部１１２は、第２画素数Ｎｐ２が閾値Ｔｈｄ以上であると判定すれば（Ｓ１８でＹｅｓ）、ステップＳ１７を実行し、第２画素数Ｎｐ２が閾値Ｔｈｄ未満であると判定すれば（Ｓ１８でＮｏ）、ステップＳ１９を実行する。なお、閾値Ｔｈｄは、閾値Ｔｈｂよりも小さい値であり、第１０閾値の一例である。
ステップＳ１９では、抽出部１１２は、第３の抽出処理を実行する。第３の抽出処理の具体例は、図１１を用いて説明する。
このように、抽出部１１２は、第１画素数Ｎｐ１が閾値Ｔｈａ以上であり、かつ、第２画素数Ｎｐ２が閾値Ｔｈｂ未満であるときに、第２の抽出処理を行う。また、抽出部１１２は、第１画素数Ｎｐ１が閾値Ｔｈｃ未満であり、かつ、第２画素数Ｎｐ２が閾値Ｔｈｄ未満であるときに、第３の抽出処理を行う。また、抽出部１１２は、第２の抽出処理を行う条件を満たさず、かつ、第３の抽出処理を行う条件を満たさない場合、第１の抽出処理を行う。つまり、（ｉ）第１画素数Ｎｐ１が閾値Ｔｈｃ以上閾値Ｔｈａ未満である場合、または、（ｉｉ）第１画素数Ｎｐ１が閾値Ｔｈａ以上であり、かつ、第２画素数Ｎｐ２が閾値Ｔｈｂ以上である場合、または、（ｉｉｉ）第１画素数Ｎｐ１がＴｈｃ未満であり、かつ、第２画素数Ｎｐ２がＴｈｄ以上である場合、第１の抽出処理を行う。よって抽出部１１２は、第１画素数Ｎｐ１が閾値Ｔｈｃ以上閾値Ｔｈａ未満である、または、第２画素数Ｎｐ２が閾値Ｔｈｂ以上である場合、第１の抽出処理を行う。
第１の抽出処理について図８を用いて説明する。図８は、第１の抽出処理の具体例を示すフローチャートである。
第１の抽出処理では、抽出部１１２は、まず、生成された第１色相ヒストグラムおよび第２色相ヒストグラムを取得し、取得された第１色相ヒストグラムから第２色相ヒストグラムを色相が対応する各ビンにおいて減じることで差分色相ヒストグラムを算出する（Ｓ２１）。抽出部１１２は、具体的には、第１色相ヒストグラム、および、第２色相ヒストグラムの間で、色相の範囲が互いに対応する３２組のビンのペアのそれぞれについて、第１色相ヒストグラムに含まれるビンの度数（画素数）から第２色相ヒストグラムに含まれるビンの度数（画素数）を減じることで、３２個の色相の範囲それぞれのビンを新たに生成する。抽出部１１２は、新たに生成された３２個のビンを有するヒストグラムを差分色相ヒストグラムとして算出する。なお、第１色相ヒストグラムに含まれるビンの度数（画素数）から第２色相ヒストグラムに含まれるビンの度数（画素数）を減じた結果、負の値となった場合には、新たに生成される当該色相の範囲のビンの度数を０としてもよいし、負の値のままとしてもよい。
抽出部１１２は、算出された差分色相ヒストグラムを処理対象の色相ヒストグラムに決定する。そして、抽出部１１２は、決定された処理対象の色相ヒストグラムを用いて第１色範囲を決定するための色範囲決定処理を行う（Ｓ２２）。
色範囲決定処理では、抽出部１１２は、処理対象の色相ヒストグラムを構成する複数（本実施の形態では３２個）のビンから、特定の色であると判定される１以上の特定のビンを除いた残りの複数のビンのうち、度数が高い順に所定の数のビンを選択する（Ｓ２３）。ここで、色決定処理について図９を用いて具体的に説明する。なお、図９は、色決定処理について説明するための色相ヒストグラムの一例を示す図である。図９の色相ヒストグラムでは、特定の色相範囲であるＢｉｎ［０］〜［３］が除かれている。なお、特定の色がヒトの肌の色とは異なる色である場合、異なる色に対応する特定の色相範囲が除かれることとなる。色範囲決定処理は、特定の色以外に、差分色相ヒストグラムにおいて頻出している色を頻度が高い順に選択する処理である。なお、特定の色相範囲がＢｉｎ［０］〜Ｂｉｎ［３］の色相範囲であることは、一例であり、上記の範囲に限るものではない。また、色範囲決定処理において、特定の色相範囲を除く場合、特定の色相範囲であるＢｉｎ［０］〜［３］を除くことに限らずに、特定の色相範囲よりも狭い色相範囲であるＢｉｎ［０］〜［２］を除いてもよい。
抽出部１１２は、まず、特定の色以外に最も頻出している第１色を選択する。抽出部１１２は、第１色の選択において、例えば、特定の色相範囲が除かれた色相ヒストグラムのうち、まず、最も度数が高いビン（Ｂｉｎ［Ａ］）を選択する。そして、抽出部１１２は、選択されたビン（Ｂｉｎ［Ａ］）を基準として所定の数のビンの幅であるビン幅（本実施の形態では３つ分）のビンを第１色のビンとして選択する。抽出部１１２は、図９の例では、最も度数が高いビンとその両隣の２つのビンとを併せた３つのビンを第１色のビンとして選択する。
次に、抽出部１１２は、第１色とは異なる第２色を選択する場合、第１色のビンとして選択された３つのビンを除く複数のビンのうちで最も度数が高いビン（Ｂｉｎ［Ｂ］）を選択する。そして、抽出部１１２は、第２色の選択において、選択されたビン（Ｂｉｎ［Ｂ］）を基準として所定のビン幅のビンを第２色のビンとして選択する。抽出部１１２は、図９の例では、最も度数が高いビンとその両隣の２つのビンとを併せた３つのビンを第２色のビンとして選択する。この場合、第２色の選択において選択された３つのビンのうちの１つのビンは、既に第１色の選択において選択された３つのビンのうちの１つと重複している。
このようにして、抽出部１１２は、特定の色以外に、差分色相ヒストグラムにおいて頻出している色を頻度が高い順に選択する。本実施の形態では、特定の色以外に第１色および第２色の２色が選択される場合を例にして説明する。なお、次の第１色および第２色とは異なる第３色をさらに選択する場合には、第１色および第２色のビンとして選択された５つのビンを除く複数のビンのうちで最も度数が高いビンを選択することとなる。以下同様の処理が繰り返される。
そして、抽出部１１２は、選択された所定の数のビン、および、１以上の特定のビンにより特定される色相範囲を第１色範囲として決定する（Ｓ２４）。
次に、抽出部１１２は、第１色範囲を決定したときに、決定された第１色範囲に含まれる画素値を例えば最大値に設定し、かつ、当該色の範囲の外側の所定の幅の範囲を挟んでさらに外側の範囲に含まれる画素値を例えば最小値に設定し、かつ、当該色の範囲の外側の所定の幅の範囲を決定された色の範囲から離れるほど最大値から最小値に向かって小さくなる値に設定するための、色相範囲と画素値との関係を示す関係情報を生成する（Ｓ２５）。なお、抽出部１１２は、関係情報の生成において、画素値の最大値の代わりに画素値Ｐ１に設定し、画素値の最小値の代わりに画素値Ｐ１よりも小さい画素値Ｐ２に設定してもよい。また、画素値Ｐ１および画素値Ｐ２は、色毎に異なる値が設定されてもよい。
その後、抽出部１１２は、画像２００を構成する複数の画素のうちで、色範囲決定処理において決定された第１色範囲に含まれる画素値を有する複数の画素を複数の第１対象画素として抽出する（Ｓ２６）。具体的には、抽出部１１２は、画像を構成する複数の画素のそれぞれについて、当該画素が有する画素値を、当該画素値に基づく色（色相）に当該色の関係情報で対応付けられている画素値に変換することで、値が大きいほど第１色相範囲の色である、つまり、第１対象画素であることを示す画素値を有する画素からなる第１色画像を生成する。抽出部１１２は、第１色画像を用いることにより、所定の閾値以上の画素値を有する画素の集合を複数の第１対象画素として抽出することができる。
次に、第２の抽出処理について図１０を用いて説明する。図１０は、第２の抽出処理の具体例を示すフローチャートである。
第２の抽出処理では、抽出部１１２は、まず、生成された第１色相ヒストグラムを取得し、取得された第１色相ヒストグラムについて、色範囲決定処理を行う（Ｓ３１）。なお、ステップＳ３１の色範囲決定処理では、ステップＳ２２の色範囲決定処理と同様の処理が行われる。
色範囲決定処理では、抽出部１１２は、処理対象の色相ヒストグラムを構成する複数（本実施の形態では３２個）のビンから、特定の色であると判定される１以上の特定のビンを除いた残りの複数のビンのうち、度数が高い順に所定の数のビンを選択する（Ｓ３２）。
抽出部１１２は、選択された所定の数のビン、および、１以上の特定のビンにより特定される色相範囲を第１色範囲として決定する（Ｓ３３）。
次に、抽出部１１２は、第１色範囲を決定したときに、決定された第１色範囲に含まれる画素値を例えば最大値に設定し、かつ、当該色の範囲の外側の所定の幅の範囲を挟んでさらに外側の範囲に含まれる画素値を例えば最小値に設定し、かつ、当該色の範囲の外側の所定の幅の範囲を決定された色の範囲から離れるほど最大値から最小値に向かって小さくなる値に設定するための、色相範囲と画素値との関係を示す関係情報を生成する（Ｓ３４）。なお、抽出部１１２は、関係情報の生成において、画素値の最大値の代わりに画素値Ｐ１に設定し、画素値の最小値の代わりに画素値Ｐ１よりも小さい画素値Ｐ２に設定してもよい。また、画素値Ｐ１および画素値Ｐ２は、色毎に異なる値が設定されてもよい。
抽出部１１２は、画像２００を構成する複数の画素のうちで、色範囲決定処理において決定された第１色範囲に含まれる画素値を有する複数の画素を複数の第１画素値として抽出する（Ｓ３５）。具体的には、抽出部１１２は、画像を構成する複数の画素のそれぞれについて、当該画素が有する画素値を、当該画素値に基づく色（色相）に当該色の関係情報で対応付けられている画素値に変換することで、値が大きいほど第１色相範囲の色である、つまり、第１対象画素であることを示す画素値を有する画素からなる第１色画像を生成する。抽出部１１２は、第１色画像を用いることにより、所定の閾値以上の画素値を有する画素の集合を複数の第１対象画素として抽出することができる。
次に、第３の抽出処理について図１１を用いて説明する。図１１は、第３の抽出処理の具体例を示すフローチャートである。
第３の抽出処理では、抽出部１１２は、特定の色範囲を第１色範囲として決定する（Ｓ４１）。
次に、抽出部１１２は、第１色範囲を決定したときに、決定された第１色範囲に含まれる画素値を例えば最大値に設定し、かつ、当該色の範囲の外側の所定の幅の範囲を挟んでさらに外側の範囲に含まれる画素値を例えば最小値に設定し、かつ、当該色の範囲の外側の所定の幅の範囲を決定された色の範囲から離れるほど最大値から最小値に向かって小さくなる値に設定するための、色相範囲と画素値との関係を示す関係情報を生成する（Ｓ４２）。なお、抽出部１１２は、関係情報の生成において、画素値の最大値の代わりに画素値Ｐ１に設定し、画素値の最小値の代わりに画素値Ｐ１よりも小さい画素値Ｐ２に設定してもよい。また、画素値Ｐ１および画素値Ｐ２は、色毎に異なる値が設定されてもよい。
そして、抽出部１１２は、画像２００を構成する複数の画素のうちで、決定された第１色範囲に含まれる画素値を有する複数の画素を複数の第１対象画素として抽出する（Ｓ４３）。具体的には、抽出部１１２は、画像を構成する複数の画素のそれぞれについて、当該画素が有する画素値を、当該画素値に基づく色（色相）に当該色の関係情報で対応付けられている画素値に変換することで、値が大きいほど第１色相範囲の色である、つまり、第１対象画素であることを示す画素値を有する画素からなる第１色画像を生成する。抽出部１１２は、第１色画像を用いることにより、所定の閾値以上の画素値を有する画素の集合を複数の第１対象画素として抽出することができる。
抽出部１１２は、抽出された複数の第１対象画素が画像中において占める領域を第１色領域として特定してもよい。抽出部１１２により抽出された複数の第１対象画素、または、特定された第１色領域は、記憶部１１６に出力される。記憶部１１６は、出力された第１色領域を記憶する。また、抽出部１１２において計数された第１画素数および第２画素数は、設定部１１５に出力される。
図３および図４を用いた説明に戻る。
生成部１１３は、取得部１１１において取得された画像における第１領域および第２領域のそれぞれについての彩度のヒストグラムをそれぞれ第１彩度ヒストグラムおよび第２彩度ヒストグラムとして生成する（Ｓ３）。生成部１１３は、第１領域を構成する複数の画素それぞれが有する画素値から当該画素の彩度を算出し、所定の彩度の範囲毎の画素をカウントすることで第１彩度ヒストグラムを生成する。同様に、生成部１１３は、第２領域を構成する複数の画素それぞれが有する画素値から当該画素の彩度を算出し、所定の彩度毎の画素をカウントすることで第２彩度ヒストグラムを生成する。
第１彩度ヒストグラムおよび第２彩度ヒストグラムは、例えば、図１２に示されるように、画素数を度数とし、彩度の範囲を階級とするグラフである。第１彩度ヒストグラムおよび第２彩度ヒストグラムは、各彩度の範囲における画素の分布を示すグラフである。生成部１１３により生成された第１彩度ヒストグラムおよび第２彩度ヒストグラムは、算出部１１４に出力される。なお、図１２は、彩度ヒストグラムの一例を示す図である。
本実施の形態では、第１彩度ヒストグラムおよび第２彩度ヒストグラムは、彩度の全範囲が３２分割された３２個の彩度の範囲にそれぞれ１対１で対応する３２個のビンを有する。なお、第１彩度ヒストグラムおよび第２彩度ヒストグラムは、所定の彩度の範囲毎に１つのビンを有していることに限定されるものではなく、彩度の１つの値毎に１つのビンを有していてもよい。
算出部１１４は、生成部１１３において生成された第１彩度ヒストグラムから第２彩度ヒストグラムを彩度が対応する各ビンにおいて減じることで差分彩度ヒストグラムを算出する（Ｓ４）。算出部１１４は、具体的には、第１彩度ヒストグラム、および、第２彩度ヒストグラムの間で、彩度の範囲が互いに対応する３２組のビンのペアのそれぞれについて、第１彩度ヒストグラムに含まれるビンの度数（画素数）から第２彩度ヒストグラムに含まれるビンの度数（画素数）を減じることで、３２個の彩度の範囲それぞれのビンを新たに生成する。算出部１１４は、新たに生成された３２個のビンを有するヒストグラムを差分彩度ヒストグラムとして算出する。なお、第１彩度ヒストグラムに含まれるビンの度数（画素数）から第２彩度ヒストグラムに含まれるビンの度数（画素数）を減じた結果、負の値となった場合には、新たに生成される当該彩度の範囲のビンの度数を０としてもよいし、負の値のままとしてもよい。算出部１１４により算出された差分彩度ヒストグラムは、設定部１１５および除外部１１７に出力される。
設定部１１５は、第１領域２０１および第２領域２０２、２０３のそれぞれについて特定の色範囲に含まれる画素値を有する画素が計数された結果である第１画素数および第２画素数を取得する（Ｓ５）。
そして、設定部１１５は、閾値を設定する設定処理を行う（Ｓ６）。なお、設定部１１５は、決定された値を各閾値として記憶部１１６に記憶することで、各閾値を設定する。ここで、設定処理の具体例を、図１３を用いて説明する。図１３は、設定処理の具体例を示すフローチャートである。
設定部１１５は、第１画素数Ｎｐ１が閾値Ｔｈｅ以上であるか否かを判定する（Ｓ５１）。設定部１１５は、第１画素数Ｎｐ１が閾値Ｔｈｅ以上であると判定すれば（Ｓ５１でＹｅｓ）、ステップＳ５２を実行し、第１画素数Ｎｐ１が閾値Ｔｈｅ未満であると判定すれば（Ｓ５１でＮｏ）、ステップＳ６２を実行する。
なお、閾値Ｔｈｅは、第３閾値の一例である。閾値Ｔｈｅは、画像２００の第１領域２０１における全画素数に第３割合を乗じることで得られる値、または、画像２００の全画素数に応じて予め定められた値である。
ステップＳ５２では、設定部１１５は、第２画素数Ｎｐ２が閾値Ｔｈｆ以上であるか否かを判定する（Ｓ５２）。設定部１１５は、第２画素数Ｎｐ２が閾値Ｔｈｆ以上であると判定すれば（Ｓ５２でＹｅｓ）、ステップＳ５３を実行し、第２画素数Ｎｐ２が閾値Ｔｈｆ未満であると判定すれば（Ｓ５２でＮｏ）、ステップＳ６２を実行する。
なお、閾値Ｔｈｆは、第４閾値の一例である。閾値Ｔｈｆは、画像２００の第２領域２０２、２０３における全画素数に第４割合を乗じることで得られる値、または、画像２００の全画素数に応じて予め定められた値である。
ステップＳ５３では、設定部１１５は、第３画素数Ｎｐ３が閾値Ｔｈｇ以上であるか否かを判定する（Ｓ５３）。設定部１１５は、第３画素数Ｎｐ３が閾値Ｔｈｇ以上であると判定すれば（Ｓ５３でＹｅｓ）、ステップＳ５４を実行し、第３画素数Ｎｐ３が閾値Ｔｈｇ未満であると判定すれば（Ｓ５３でＮｏ）、ステップＳ５５を実行する。
なお、閾値Ｔｈｇは、第５閾値の一例である。閾値Ｔｈｇは、画像２００の全画素数に第５割合を乗じることで得られる値、または、画像２００の全画素数に応じて予め定められた値である。
ここで第３画素数Ｎｐ３は、算出部１１４において算出された差分彩度ヒストグラムにおいて低彩度範囲に区分された画素の数である。低彩度範囲は、彩度が第１の彩度よりも低い範囲である。本実施の形態では、低彩度範囲は、例えば、３２個の彩度の範囲のうち、最低の彩度の範囲から順に９個分の彩度の範囲である。
ステップＳ５４では、設定部１１５は、後述する除外処理で用いられる閾値Ｔｈ１を、第２彩度ヒストグラムにおいて低彩度範囲に区分された画素の数である第４画素数Ｎｐ４に応じた値に動的に変更する（Ｓ５４）。具体的には、設定部１１５は、第４画素数Ｎｐ４が大きいほど小さい値になるように閾値Ｔｈ１を設定する。例えば、設定部１１５は、後述する固定値Ｆ１を基準として、固定値Ｆ１よりも小さい値になるように閾値Ｔｈ１を設定する。なお、「閾値Ｔｈ１を設定する」とは、具体的には、第４画素数Ｎｐ４が大きいほど小さい値を閾値Ｔｈ１として記憶部１１６に記憶することである。閾値Ｔｈ１は、第１閾値の一例である。
ステップＳ５５では、設定部１１５は、閾値Ｔｈ１を予め定められた固定値Ｆ１に設定する（Ｓ５５）。つまり、設定部１１５は、予め定められた固定値Ｆ１を閾値Ｔｈ１として記憶部１１６に記憶することで、閾値Ｔｈ１を設定する。なお、固定値Ｆ１は、第２領域２０２、２０３における全画素数に第１割合を乗じることで得られる値、または、画像２００の全画素数に応じて予め定められた値である。
次に、設定部１１５は、第５画素数Ｎｐ５が閾値Ｔｈｈ以上であるか否かを判定する（Ｓ５６）。設定部１１５は、第５画素数Ｎｐ５が閾値Ｔｈｈ以上であると判定すれば（Ｓ５６でＹｅｓ）、ステップＳ５７を実行し、第５画素数Ｎｐ５が閾値Ｔｈｈ未満であると判定すれば（Ｓ５６でＮｏ）、ステップＳ５８を実行する。
なお、閾値Ｔｈｈは、第６閾値の一例である。閾値Ｔｈｈは、画像２００の全画素数に第６割合を乗じることで得られる値、または、画像２００の全画素数に応じて予め定められた値である。
ここで第５画素数Ｎｐ５は、算出部１１４において算出された差分彩度ヒストグラムにおいて第１高彩度範囲に区分された画素の数である。第１高彩度範囲は、第２の彩度より高い高彩度範囲のうちで、低い彩度の範囲である。第２の彩度は、第１の彩度より高い彩度である。なお、高彩度範囲は、本実施の形態では、さらに２つの彩度の範囲に分割されている。つまり、高彩度範囲は、高彩度範囲のうちで、低い彩度の範囲である第１高彩度範囲と、第１高彩度範囲よりも高い彩度の範囲である第２高彩度範囲とに区分される。本実施の形態では、高彩度範囲は、３２個の彩度の範囲のうち、最高の彩度の範囲から順に２０個分の彩度の範囲である。
ステップＳ５７では、設定部１１５は、後述する除外処理で用いられる閾値Ｔｈ２１を、第２彩度ヒストグラムにおいて第１高彩度範囲に区分された画素の数である第６画素数Ｎｐ６に応じた値に動的に変更する（Ｓ５７）。具体的には、設定部１１５は、第６画素数Ｎｐ６が大きいほど小さい値になるように閾値Ｔｈ２１を設定する。例えば、設定部１１５は、後述する固定値Ｆ２１を基準として、固定値Ｆ２１よりも小さい値になるように閾値Ｔｈ２１を設定する。なお、「閾値Ｔｈ２１を設定する」とは、具体的には、第６画素数Ｎｐ６が大きいほど小さい値を閾値Ｔｈ２１として記憶部１１６に記憶することである。閾値Ｔｈ２１は、第２閾値の一例である。
ステップＳ５８では、設定部１１５は、閾値Ｔｈ２１を予め定められた固定値Ｆ２１に設定する（Ｓ５８）。つまり、設定部１１５は、予め定められた固定値Ｆ２１を閾値Ｔｈ２１として記憶部１１６に記憶することで、閾値Ｔｈ２１を設定する。なお、固定値Ｆ２１は、第２領域２０２、２０３における全画素数に第２割合を乗じることで得られる値、または、画像２００の全画素数に応じて予め定められた値である。固定値Ｆ２１は、第２固定値の一例である。
次に、設定部１１５は、第７画素数Ｎｐ７が閾値Ｔｈｉ以上であるか否かを判定する（Ｓ５９）。設定部１１５は、第７画素数Ｎｐ７が閾値Ｔｈｉ以上であると判定すれば（Ｓ５９でＹｅｓ）、ステップＳ６０を実行し、第７画素数Ｎｐ７が閾値Ｔｈｉ未満であると判定すれば（Ｓ５９でＮｏ）、ステップＳ６１を実行する。なお、第７画素数Ｎｐ７は、第５画素数の他の一例である。
なお、閾値Ｔｈｉは、第６閾値の他の一例である。閾値Ｔｈｉは、画像２００の全画素数に第７割合を乗じることで得られる値、または、画像２００の全画素数に応じて予め定められた値である。なお、第６割合および第７割合は、互いに等しい値であってもよいし、互いに異なる値であってもよい。
ここで第７画素数Ｎｐ７は、算出部１１４において算出された差分彩度ヒストグラムにおいて第２高彩度範囲に区分された画素の数である。
ステップＳ６０では、設定部１１５は、後述する除外処理で用いられる閾値Ｔｈ２２を、第２彩度ヒストグラムにおいて第２高彩度範囲に区分された画素の数である第８画素数Ｎｐ８に応じた値に動的に変更する（Ｓ６０）。具体的には、設定部１１５は、第８画素数Ｎｐ８が大きいほど小さい値になるように閾値Ｔｈ２２を設定する。例えば、設定部１１５は、後述する固定値Ｆ２２を基準として、固定値Ｆ２２よりも小さい値になるように閾値Ｔｈ２２を設定する。なお、「閾値Ｔｈ２２を設定する」とは、具体的には、第８画素数Ｎｐ８が大きいほど小さい値を閾値Ｔｈ２２として記憶部１１６に記憶することである。閾値Ｔｈ２２は、第２閾値の他の一例である。
ステップＳ６１では、設定部１１５は、閾値Ｔｈ２２を予め定められた固定値Ｆ２２に設定する（Ｓ６１）。つまり、設定部１１５は、予め定められた固定値Ｆ２２を閾値Ｔｈ２２として記憶部１１６に記憶することで、閾値Ｔｈ２２を設定する。なお、固定値Ｆ２２は、第２領域２０２、２０３における全画素数に第８割合を乗じることで得られる値、または、画像２００の全画素数に応じて予め定められた値である。固定値Ｆ２２は、第２固定値の他の一例である。
ステップＳ６２では、設定部１１５は、閾値Ｔｈ１を予め定められた固定値Ｆ１に設定し、かつ、閾値Ｔｈ２１を予め定められた固定値Ｆ２１に設定し、かつ、閾値Ｔｈ２２を予め定められた固定値Ｆ２２に設定する（Ｓ５９）。
図３および図４を用いた説明に戻る。
除外部１１７は、記憶部１１６に記憶されている第１色領域と、生成部１１３により生成された第１彩度ヒストグラムおよび第２彩度ヒストグラムと、算出部１１４により算出された差分彩度ヒストグラムとを用いて除外処理を行う（Ｓ７）。ここで、除外処理の具体例を、図１４および図１５を用いて説明する。図１４は、除外処理の具体例を示すフローチャートである。図１５は、除外処理について説明するための第２彩度ヒストグラムの一例を示す図である。なお、図１５の（ａ）は、第２彩度ヒストグラムの一例を示す図であり、図１５の（ｂ）は、第２彩度ヒストグラムにおいて、低彩度範囲、第１高彩度範囲および第２高彩度範囲のそれぞれにおける画素数の積分値をカウントした結果を示す図である。
除外部１１７は、画像２００の第２領域２０２、２０３において、低彩度範囲に含まれる画素値を有する低彩度画素の数Ｎｐｌｓが閾値Ｔｈ１以上であるか否かを判定する（Ｓ７１）。除外部１１７は、具体的には、第２の色相ヒストグラムを用いて、第２の色相ヒストグラムにおける低彩度範囲に含まれる画素の数を低彩度画素の数Ｎｐｌｓとして計数し、計数した結果を用いてステップＳ７１の判定を行う。
除外部１１７は、低彩度画素の数Ｎｐｌｓが閾値Ｔｈ１以上であると判定すれば（Ｓ７１でＹｅｓ）、ステップＳ７２を実行し、低彩度画素の数Ｎｐｌｓが閾値Ｔｈ１未満であると判定すれば（Ｓ７１でＮｏ）、ステップＳ７２を実行せずにステップＳ７３を実行する。
ステップＳ７２では、除外部１１７は、記憶部１１６に記憶されている第１色領域を構成する複数の第１対象画素から低彩度画素を除外し（Ｓ７２）、除外後の複数の第１対象画素により構成される領域を新たな第１色領域として記憶部１１６に記憶する。除外部１１７は、記憶部１１６に記憶されている第１色領域を、ステップＳ７２での除外後の領域に更新してもよい。ステップＳ７２が終わると、ステップＳ７３に進む。
ステップＳ７３では、除外部１１７は、画像２００の第２領域２０２、２０３において、第１高彩度範囲に含まれる画素値を有する第１高彩度画素の数Ｎｐｈｓ１が閾値Ｔｈ２１以上であるか否かを判定する（Ｓ７３）。除外部１１７は、具体的には、第２の色相ヒストグラムを用いて、第２の色相ヒストグラムにおける第１高彩度範囲に含まれる画素の数を第１高彩度画素の数Ｎｐｈｓ１として計数し、計数した結果を用いてステップＳ７３の判定を行う。
除外部１１７は、第１高彩度画素の数Ｎｐｈｓ１が閾値Ｔｈ２１以上であると判定すれば（Ｓ７３でＹｅｓ）、ステップＳ７４を実行し、第１高彩度画素の数Ｎｐｈｓ１が閾値Ｔｈ２１未満であると判定すれば（Ｓ７３でＮｏ）、ステップＳ７４を実行せずにステップＳ７５を実行する。
ステップＳ７４では、除外部１１７は、記憶部１１６に記憶されている第１色領域を構成する複数の第１対象画素から第１高彩度画素を除外し（Ｓ７４）、除外後の複数の第１対象画素により構成される領域を新たな第１色領域として記憶部１１６に記憶する。除外部１１７は、記憶部１１６に記憶されている第１色領域を、ステップＳ７４での除外後の領域に更新してもよい。ステップＳ７４が終わると、ステップＳ７５に進む。
ステップＳ７５では、除外部１１７は、画像２００の第２領域２０２、２０３において、第２高彩度範囲に含まれる画素値を有する第２高彩度画素の数Ｎｐｈｓ２が閾値Ｔｈ２２以上であるか否かを判定する（Ｓ７５）。除外部１１７は、具体的には、第２の色相ヒストグラムを用いて、第２の色相ヒストグラムにおける第２高彩度範囲に含まれる画素の数を第２高彩度画素の数Ｎｐｈｓ２として計数し、計数した結果を用いてステップＳ７５の判定を行う。
除外部１１７は、第２高彩度画素の数Ｎｐｈｓ２が閾値Ｔｈ２２以上であると判定すれば（Ｓ７５でＹｅｓ）、ステップＳ７６を実行し、第２高彩度画素の数Ｎｐｈｓ２が閾値Ｔｈ２２未満であると判定すれば（Ｓ７５でＮｏ）、ステップＳ７６を実行せずに除外処理を終了する。
ステップＳ７６では、除外部１１７は、記憶部１１６に記憶されている第１色領域を構成する複数の第１対象画素から第２高彩度画素を除外し（Ｓ７６）、除外後の複数の第１対象画素により構成される領域を新たな第１色領域として記憶部１１６に記憶する。除外部１１７は、記憶部１１６に記憶されている第１色領域を、ステップＳ７６での除外後の領域に更新してもよい。ステップＳ７６が終わると、除外処理を終了する。
除外部１１７は、除外処理後の第１色領域を出力部１１８に出力する。
再び、図３および図４を用いた説明に戻る。
出力部１１８は、除外部１１７における除外処理の結果得られた複数の第２対象画素を出力する（Ｓ８）。
そして、補正部１１９は、画像２００のうち、出力部１１８により出力された複数の第２対象画素について所定の画像処理を行うことで、画像２００を補正する（Ｓ９）。補正部１１９は、所定の画像処理として例えばガンマ補正を行う。
［効果等］
以上のように、本実施の形態において、画像を取得する第１取得ステップ（Ｓ１）と、取得された画像２００を構成する複数の画素のそれぞれの画素値に基づいて、特定の色が定義される特定の色範囲を含む第１色範囲に含まれる画素値を有する複数の第１対象画素を複数の画素から抽出する抽出ステップ（Ｓ２）と、画像２００のうちの中央領域を含む第１領域２０１とは異なる第２領域２０２、２０３において、（ｉ）彩度が第１の彩度より低い範囲である低彩度範囲に含まれる画素値を有する低彩度画素の数Ｎｐｌｓが閾値Ｔｈ１以上であるときに低彩度画素を複数の第１対象画素から除外し、（ｉｉ）彩度が第１の彩度より高い第２の彩度より高い第１高彩度範囲に含まれる画素値を有する第１高彩度画素の数Ｎｐｈｓ１が閾値Ｔｈ２１以上であるときに第１高彩度画素を複数の第１対象画素から除外し、（ｉｉｉ）彩度が第１高精度範囲より高い第２高彩度範囲に含まれる画素値を有する第２高彩度画素の数Ｎｐｈｓ２が閾値Ｔｈ２２以上であるときに第２高彩度画素を複数の第１対象画素から除外する除外ステップ（Ｓ７）と、除外ステップにおいて除外された結果得られた複数の第２対象画素を出力する出力ステップ（Ｓ８）と、を含む。
これによれば、被写体が画像中央に位置する構図で撮影される注視点という概念を利用して、被写体が映っていない可能性が高い第２領域２０２、２０３を構成する複数の画素が有するそれぞれの画素値に応じて、第１色範囲に含まれる画素値を有する複数の第１対象画素から所定の画素を除外する除外ステップを行う。具体的には、第２領域２０２、２０３における低彩度画素の数Ｎｐｌｓが閾値Ｔｈ１以上である場合に低彩度画素を除外し、第２領域２０２、２０３における第１高彩度画素の数Ｎｐｈｓ１が閾値Ｔｈ２１以上である場合に複数の第１対象画素から第１高彩度画素を除外し、第２領域２０２、２０３における第２高彩度画素の数Ｎｐｈｓ２が閾値Ｔｈ２２以上である場合に複数の第１対象画素から第２高彩度画素を除外する。つまり、第１対象画素であっても、第２領域２０２、２０３における閾値Ｔｈ１以上の低彩度画素と、第２領域２０２、２０３における閾値Ｔｈ２１以上の第１高彩度画素と、第２領域２０２、２０３における閾値Ｔｈ２２以上の第２高彩度画素については、被写体とは異なる背景の領域に含まれる画素であると推定して、複数の第１対象画素から除外する。このため、背景を被写体として検出することを低減することができる。よって、画像における被写体の領域である対象領域を効果的に特定することができる。
また、本実施の形態において、さらに、第１領域２０１および第２領域２０２、２０３のそれぞれについての彩度のヒストグラムをそれぞれ第１彩度ヒストグラムおよび第２彩度ヒストグラムとして生成する生成ステップ（Ｓ３）と、第１彩度ヒストグラムから第２彩度ヒストグラムを彩度が対応する各ビンにおいて減じることで差分彩度ヒストグラムを算出する算出ステップ（Ｓ４）と、第１領域２０１および第２領域２０２、２０３のそれぞれについて特定の色範囲に含まれる画素値を有する画素が計数された結果である第１画素数Ｎｐ１および第２画素数Ｎｐ２を取得する第２取得ステップ（Ｓ５）と、第１画素数Ｎｐ１が閾値Ｔｈｅ以上であり、かつ、第２画素数Ｎｐ２が閾値Ｔｈｆ以上であるときであって、（ｉ）算出された差分彩度ヒストグラムにおいて低彩度範囲に区分された画素の数である第３画素数Ｎｐ３が閾値Ｔｈｇ以上であるときに、第２彩度ヒストグラムにおいて低彩度範囲に区分された画素の数である第４画素数Ｎｐ４が大きいほど小さい値になるように閾値Ｔｈ１を設定し、（ｉｉ）差分彩度ヒストグラムにおいて第１高彩度範囲に区分された画素の数である第５画素数Ｎｐ５が閾値Ｔｈｈ以上であるときに、第２彩度ヒストグラムにおいて第１高彩度範囲に区分された画素の数である第６画素数Ｎｐ６の数が大きいほど小さい値になるように閾値Ｔｈ２１を設定し、（ｉｉｉ）差分彩度ヒストグラムにおいて第２高彩度範囲に区分された画素の数である第７画素数Ｎｐ７が閾値Ｔｈｉ以上であるときに、第２彩度ヒストグラムにおいて第２高彩度範囲に区分された画素の数である第８画素数Ｎｐ８の数が大きいほど小さい値になるように閾値Ｔｈ２２を設定する設定ステップ（Ｓ６）と、を含み、除外ステップ（Ｓ７）は、設定された閾値Ｔｈ１、Ｔｈ２１、Ｔｈ２２を用いて行われる。
これによれば、特定の色範囲に含まれる画素値を有する画素の数が第１領域２０１および第２領域２０２、２０３のそれぞれで閾値Ｔｈｅ以上および閾値Ｔｈｆ以上である場合には、被写体が大きく映り込んでいる画像であると推定できる。被写体が大きく映り込んでいる画像の場合において、差分彩度ヒストグラムにおいて低彩度範囲に区分された画素の数である第３画素数Ｎｐ３が閾値Ｔｈｇ以上である場合、背景には被写体とは異なる種類の物体が低彩度画素で映っている可能性が高いと判断し、低彩度画素が除外されやすいように閾値Ｔｈ１を小さくする。同様に、被写体が大きく映り込んでいる画像の場合において、差分彩度ヒストグラムにおいて第１高彩度範囲に区分された画素の数である第５画素数Ｎｐ５が閾値Ｔｈｈ以上である場合、背景には被写体とは異なる種類の物体が第１高彩度画素で映っている可能性が高いと判断し、第１高彩度画素が除外されやすいように閾値Ｔｈ２１を小さくする。同様に、被写体が大きく映り込んでいる画像の場合において、差分彩度ヒストグラムにおいて第２高彩度範囲に区分された画素の数である第７画素数Ｎｐ７が閾値Ｔｈｉ以上である場合、背景には被写体とは異なる種類の物体が第２高彩度画素で映っている可能性が高いと判断し、第２高彩度画素が除外されやすいように閾値Ｔｈ２２を小さくする。このように被写体とは異なる種類の物体が映っている可能性が高いと判断された場合に、当該物体の可能性が高い低彩度画素、第１高彩度画素および第２高彩度画素の少なくとも１つを除外しやすいように閾値を設定するため、背景としての物体を被写体として検出することを低減することができる。
また、本実施の形態において、設定ステップでは、第３画素数Ｎｐ３が閾値Ｔｈｇ未満であるときに閾値Ｔｈ１を予め定められた固定値Ｆ１に設定し、第５画素数Ｎｐ５が閾値Ｔｈ２１未満であるときに閾値Ｔｈ２１を予め定められた固定値Ｆ２１に設定し、第７画素数Ｎｐ７が閾値Ｔｈ２２未満であるときに閾値Ｔｈ２２を予め定められた固定値Ｆ２２に設定する。
これによれば、第３画素数Ｎｐ３が閾値Ｔｈｇ未満である場合、背景には被写体とは異なる種類の物体が低彩度画素で映っている可能性が低いと判断し、低彩度画素が除外されにくいように閾値Ｔｈ１を固定値Ｆ１に設定する。同様に、第５画素数Ｎｐ５が閾値Ｔｈｈ未満である場合に、背景には被写体とは異なる種類の物体が第１高彩度画素で映っている可能性が低いと判断し、第１高彩度画素が除外されにくいように閾値Ｔｈ２１を固定値Ｆ２１に設定する。同様に、第７画素数Ｎｐ７が閾値Ｔｈｉ未満である場合に、背景には被写体とは異なる種類の物体が第２高彩度画素で映っている可能性が低いと判断し、第２高彩度画素が除外されにくいように閾値Ｔｈ２２を固定値Ｆ２２に設定する。このように被写体とは異なる種類の物体が映っている可能性が低いと判断された場合に、当該物体の可能性が低い低彩度画素および／または高彩度画素を除外しにくいように閾値を固定値に設定するため、被写体の一部を背景として除外することを低減することができる。
また、本実施の形態において、抽出ステップでは、第１の抽出処理を行い（Ｓ１７）、第１の抽出処理では、第１領域２０１および第２領域２０２、２０３のそれぞれについて色相のヒストグラムが生成された結果である第１色相ヒストグラムおよび第２色相ヒストグラムを取得し、第１色相ヒストグラムから第２色相ヒストグラムを色相が対応する各ビンにおいて減じることで差分色相ヒストグラムを算出し（Ｓ２１）、算出された差分色相ヒストグラムを処理対象の色相ヒストグラムに決定し、決定された処理対象の色相ヒストグラムを用いて第１色範囲を決定するための色範囲決定処理を行い（Ｓ２２）、決定された第１色範囲に含まれる画素値を有する複数の画素を複数の第１対象画素として抽出する（Ｓ２５）。そして、色範囲決定処理では、処理対象の色相ヒストグラムを構成する複数のビンから、特定の色であると判定される１以上の特定のビンを除いた残りの複数のビンのうち、度数が高い順に所定の数のビンを選択し（Ｓ２３）、選択された所定の数のビン、および、１以上の特定のビンにより特定される色相範囲を第１色範囲として決定する（Ｓ２４）。
このため、被写体に固有の特定の色以外にも、被写体に多く含まれる色が含まれる色範囲を第１色範囲として決定することができる。
また、本実施の形態において、抽出ステップでは、さらに、第１領域２０１について特定の色と判定される画素の数を計数し、計数した結果を第１画素数Ｎｐ１として出力し、第２領域２０２、２０３について特定の色と判定される画素の数を計数し、計数した結果を第２画素数Ｎｐ２として出力し（Ｓ１２）、第１画素数Ｎｐ１が閾値Ｔｈａ未満であり、かつ、第２画素数Ｎｐ２が閾値Ｔｈｂ以上であるときに、第１の抽出処理を行い、第１画素数Ｎｐ１が閾値Ｔｈａ以上であり、かつ、第２画素数Ｎｐ２が閾値Ｔｈｂ未満であるときに、第２の抽出処理を行う（Ｓ１５）。第２の抽出処理では、第１色相ヒストグラムを取得し、取得された第１色相ヒストグラムについて、色範囲決定処理を行い（Ｓ３１）、決定された第１色範囲に含まれる画素値を有する複数の第１対象画素を抽出する（Ｓ３４）。
このため、第１領域２０１には特定の色と判定される画素の数が閾値Ｔｈａ以上と多く、かつ、第２領域２０２、２０３には特定の色と判定される画素の数が閾値Ｔｈｂ未満と少ない場合、第１領域２０１に特定の色の画素が多いため、第２領域２０２、２０３よりも第１領域２０１に多く被写体が映り込んでいると推定できる。よって、第１領域２０１における第１色相ヒストグラムについて色範囲決定処理を行うことで、被写体に多く含まれる色が含まれる色範囲を第１色範囲として決定することができる。
また、本実施の形態において、抽出ステップでは、第１画素数Ｎｐ１が閾値Ｔｈａより小さい閾値Ｔｈｃ未満であり、かつ、第２画素数Ｎｐ２が閾値Ｔｈｂより小さい閾値Ｔｈｄ未満であるときに、第３の抽出処理を行う（Ｓ１９）。第３の抽出処理では、特定の色範囲を第１色範囲として決定し（Ｓ４１）、決定された第１色範囲に含まれる画素値を有する前記複数の第１対象画素を抽出する（Ｓ４２）。
第１領域２０１には特定の色と判定される画素の数が閾値Ｔｈｃ未満と少なく、かつ、第２領域２０２、２０３には特定の色と判定される画素の数が閾値Ｔｈｄ未満と少ない場合、第１領域２０１にも第２領域２０２、２０３にも特定の色が少ないため、画像全体に小さく被写体が映り込んでいると推定できる。よって、特定の色範囲を第１色範囲として決定することで、被写体を効果的に検出することができる。
［変形例］
（１）
上記実施の形態では、高彩度範囲が２つの第１高彩度範囲および第２高彩度範囲に区分されており、設定処理において、それぞれの範囲において閾値Ｔｈ２１、Ｔｈ２２が設定されるとしたがこれに限らずに、１つの高彩度範囲に１つの閾値が設定される構成であってもよい。つまり、１つの高彩度範囲に１つの閾値が設定される場合には、図１３の設定処理におけるステップＳ５９〜Ｓ６１が行われずに、また、図１４の除外処理では、ステップＳ７５およびＳ７６が行われずに、第１高彩度範囲を高彩度範囲と読み替えることで説明できる。
（２）
上記実施の形態では、抽出ステップでは、第２領域２０２、２０３において多く検出された色を排除するために、排除する色を決定する排他カラー検出処理を行ってもよい。排他カラー検出処理について、図１６を用いて具体的に説明する。図１６は、排他カラー検出処理について説明するための色相ヒストグラムの一例を示す図である。図１６の（ａ）は、差分色相ヒストグラムの一例を示す図であり、図１６の（ｂ）は、第２色相ヒストグラムの一例を示す図である。
排他カラー検出処理では、図１６の（ｂ）に示される第２色相ヒストグラムにおいて、閾値Ｔｈ３１以上の画素数を有するＢｉｎを基準とする所定の範囲（第１排他カラー範囲）を排除する色の範囲である第２色範囲として決定し、第２色範囲を除く色範囲から第１色範囲を決定してもよい。この場合、第２色相ヒストグラムにおいて、閾値Ｔｈ３１以上の画素数を有するＢｉｎが無い場合には、排除する色の範囲である第２色範囲は決定されず、第１色範囲から第２色範囲を除く処理は行われない。
なお、第２色相ヒストグラムにおいて、特定の色範囲に含まれる画素値を有する画素の数よりも特定の色範囲とは異なる第２色範囲に含まれる画素値を有する画素の数が多い場合に、第２色範囲を除く色範囲から第１色範囲を決定してもよい。
第２色相ヒストグラムにおいて、閾値Ｔｈ３１より多い画素数のビンがある場合、当該ビンを基準とする第２色範囲は、背景領域に多く含まれる色であるため背景の色であると推定することができる。このため、第２色範囲を除く色範囲から第１色範囲を決定することで、背景の色を第１色範囲として選択してしまうことを低減することができる。
（３）
上記実施の形態では、画像処理装置１１０は、表示装置１００に内蔵される装置であるとしたが、これに限らずに、撮像装置に内蔵される装置であってもよい。この場合の画像処理装置は、例えば、撮像装置が備えるイメージセンサから画像データを取得し、上記実施の形態で説明した画像処理方法を行い、複数の第２対象画素を出力する。撮像装置では、出力された複数の第２対象画素を用いて被写体を特定し、特定した被写体の領域について、フォーカスを調整する処理または露出を調整する処理に利用してもよい。
（４）
上記実施の形態では、表示装置１００では、チューナ１０１を備える構成であり、取得部１１１は、チューナ１０１により実現されるとしたが、これに限らない。取得部１１１は、光ディスク、ＳＤカード、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記録媒体に記録されている画像データを読み出すことで画像データを取得してもよい。この場合、取得部１１１は、光ディスクを読み出す光ピックアップなどの電気機器により実現されてもよい。また、取得部１１１は、インターネットなどのネットワークを介して外部サーバから画像データを取得してもよい。この場合、取得部１１１は、外部サーバとの間で通信を行うための通信ＩＦにより実現されてもよい。また、取得部１１１は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＲＣＡ端子などの外部ＩＦを介して接続された外部機器から画像データを取得してもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像復号化装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、画像を取得する第１取得ステップと、取得された前記画像を構成する複数の画素のそれぞれの画素値に基づいて、特定の色が定義される特定の色範囲を含む第１色範囲に含まれる画素値を有する複数の第１対象画素を前記複数の画素から抽出する抽出ステップと、前記画像のうちの中央領域を含む第１領域とは異なる第２領域において、（ｉ）彩度が第１の彩度より低い範囲である低彩度範囲に含まれる画素値を有する低彩度画素の数が第１閾値以上であるときに前記低彩度画素を前記複数の第１対象画素から除外し、（ｉｉ）彩度が前記第１の彩度より高い第２の彩度より高い高彩度範囲に含まれる画素値を有する高彩度画素の数が第２閾値以上であるときに前記高彩度画素を前記複数の第１対象画素から除外する除外ステップと、前記除外ステップにおいて除外された結果得られた複数の第２対象画素を出力する出力ステップと、を含む画像処理方法を実行させる。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、画像における被写体の領域である対象領域を効果的に特定することができる画像処理方法等に適用可能である。具体的には、テレビなどの表示装置、カメラなどの撮像装置等に、本開示は適用可能である。
１００ 表示装置
１０１ チューナ
１０２ デコーダ
１０３ 制御回路
１０４ メモリ
１０５ 表示デバイス
１１０ 画像処理装置
１１１ 取得部
１１２ 抽出部
１１３ 生成部
１１４ 算出部
１１５ 設定部
１１６ 記憶部
１１７ 除外部
１１８ 出力部
１１９ 補正部
２００ 画像
２０１ 第１領域
２０２、２０３ 第２領域
２１０ オブジェクト領域
２２０ 背景領域

Claims (10)

  1. 画像を取得する第１取得ステップと、
    取得された前記画像を構成する複数の画素のそれぞれの画素値に基づいて、特定の色が定義される特定の色範囲を含む第１色範囲に含まれる画素値を有する複数の第１対象画素を前記複数の画素から抽出する抽出ステップと、
    前記画像のうちの中央領域を含む第１領域とは異なる第２領域において、（ｉ）彩度が第１の彩度より低い範囲である低彩度範囲に含まれる画素値を有する低彩度画素の数が第１閾値以上であるときに前記低彩度画素を前記複数の第１対象画素から除外し、（ｉｉ）彩度が前記第１の彩度より高い第２の彩度より高い高彩度範囲に含まれる画素値を有する高彩度画素の数が第２閾値以上であるときに前記高彩度画素を前記複数の第１対象画素から除外する除外ステップと、
    前記除外ステップにおいて除外された結果得られた複数の第２対象画素を出力する出力ステップと、を含む
    画像処理方法。
  2. さらに、
    前記第１領域および前記第２領域のそれぞれについての彩度のヒストグラムをそれぞれ第１彩度ヒストグラムおよび第２彩度ヒストグラムとして生成する生成ステップと、
    前記第１彩度ヒストグラムから前記第２彩度ヒストグラムを彩度が対応する各ビンにおいて減じることで差分彩度ヒストグラムを算出する算出ステップと、
    前記第１領域および前記第２領域のそれぞれについて前記特定の色範囲に含まれる画素値を有する画素が計数された結果である第１画素数および第２画素数を取得する第２取得ステップと、
    前記第１画素数が第３閾値以上であり、かつ、前記第２画素数が第４閾値以上であるときであって、（ｉ）算出された前記差分彩度ヒストグラムにおいて前記低彩度範囲に区分された画素の数である第３画素数が第５閾値以上であるときに前記第２彩度ヒストグラムにおいて前記低彩度範囲に区分された画素の数である第４画素数が大きいほど小さい値になるように前記第１閾値を設定し、（ｉｉ）前記差分彩度ヒストグラムにおいて前記高彩度範囲に区分された画素の数である第５画素数が第６閾値以上であるときに前記第２彩度ヒストグラムにおいて前記高彩度範囲に区分された画素の数である第６画素数の数が大きいほど小さい値になるように前記第２閾値を設定する設定ステップと、を含み、
    前記除外ステップは、設定された前記第１閾値および前記第２閾値を用いて行われる
    請求項１に記載の画像処理方法。
  3. 前記設定ステップでは、前記第３画素数が前記第５閾値未満であるときに前記第１閾値を予め定められた第１固定値に設定し、前記第５画素数が前記第６閾値未満であるときに前記第２閾値を予め定められた第２固定値に設定する
    請求項２に記載の画像処理方法。
  4. 前記抽出ステップでは、第１の抽出処理を行い、
    前記第１の抽出処理では、
    前記第１領域および前記第２領域のそれぞれについて色相のヒストグラムが生成された結果である第１色相ヒストグラムおよび第２色相ヒストグラムを取得し、
    前記第１色相ヒストグラムから前記第２色相ヒストグラムを色相が対応する各ビンにおいて減じることで差分色相ヒストグラムを算出し、
    算出された前記差分色相ヒストグラムを処理対象の色相ヒストグラムに決定し、
    決定された前記処理対象の色相ヒストグラムを用いて前記第１色範囲を決定するための色範囲決定処理を行い、
    決定された前記第１色範囲に含まれる画素値を有する複数の画素を前記複数の第１対象画素として抽出し、
    前記色範囲決定処理では、
    前記処理対象の色相ヒストグラムを構成する複数のビンから、前記特定の色であると判定される１以上の特定のビンを除いた残りの複数のビンのうち、度数が高い順に所定の数のビンを選択し、
    選択された前記所定の数のビン、および、前記１以上の特定のビンにより特定される色相範囲を前記第１色範囲として決定する
    請求項２または３に記載の画像処理方法。
  5. 前記抽出ステップでは、さらに、
    前記第１領域について前記特定の色と判定される画素の数を計数し、計数した結果を前記第１画素数として出力し、
    前記第２領域について前記特定の色と判定される画素の数を計数し、計数した結果を前記第２画素数として出力し、
    前記第１画素数が第７閾値未満であり、かつ、前記第２画素数が第８閾値以上であるときに、前記第１の抽出処理を行い、前記第１画素数が前記第７閾値以上であり、かつ、前記第２画素数が前記第８閾値未満であるときに、第２の抽出処理を行い、
    前記第２の抽出処理では、
    前記第１色相ヒストグラムを取得し、
    取得された前記第１色相ヒストグラムについて、前記色範囲決定処理を行い、決定された前記第１色範囲に含まれる画素値を有する前記複数の第１対象画素を抽出する
    請求項４に記載の画像処理方法。
  6. 前記抽出ステップでは、
    前記第１画素数が前記第７閾値より小さい第９閾値未満であり、かつ、前記第２画素数が前記第８閾値より小さい第１０閾値未満であるときに、第３の抽出処理を行い、
    前記第３の抽出処理では、
    前記特定の色範囲を前記第１色範囲として決定し、決定された前記第１色範囲に含まれる画素値を有する前記複数の第１対象画素を抽出する
    請求項５に記載の画像処理方法。
  7. 前記抽出ステップでは、さらに、前記第１領域および前記第２領域のそれぞれについて色相のヒストグラムを生成し、生成した結果をそれぞれ第１色相ヒストグラムおよび第２色相ヒストグラムとして出力する
    請求項４から６のいずれか１項に記載の画像処理方法。
  8. 前記特定の色は、ヒトの肌の色である
    請求項１から７のいずれか１項に記載の画像処理方法。
  9. 画像を取得する取得部と、
    前記画像を構成する複数の画素のそれぞれの画素値に基づいて、特定の色が定義される特定の色範囲を含む第１色範囲に含まれる画素値を有する複数の第１対象画素を抽出する抽出部と、
    前記画像のうちの中央領域を含む第１領域とは異なる第２領域において、（ｉ）彩度が第１の彩度より低い範囲である低彩度範囲に含まれる画素値を有する低彩度画素の数が第１閾値以上であるときに前記低彩度画素を前記複数の第１対象画素から除外し、（ｉｉ）彩度が前記第１の彩度より高い第２の彩度より高い高彩度範囲に含まれる画素値を有する高彩度画素の数が第２閾値以上であるときに前記高彩度画素を前記複数の第１対象画素から除外する除外部と、
    前記除外部において除外された結果得られた複数の第２対象画素を出力する出力部と、を備える
    画像処理装置。
  10. 画像を取得する取得ステップと、
    前記画像を構成する複数の画素のそれぞれの画素値に基づいて、特定の色が定義される特定の色範囲を含む第１色範囲に含まれる画素値を有する複数の第１対象画素を抽出する抽出ステップと、
    前記画像のうちの中央領域を含む第１領域とは異なる第２領域において、（ｉ）彩度が第１の彩度より低い範囲である低彩度範囲に含まれる画素値を有する低彩度画素の数が第１閾値以上であるときに前記低彩度画素を前記複数の第１対象画素から除外し、（ｉｉ）彩度が前記第１の彩度より高い第２の彩度より高い高彩度範囲に含まれる画素値を有する高彩度画素の数が第２閾値以上であるときに前記高彩度画素を前記複数の第１対象画素から除外する除外ステップと、
    前記除外ステップにおいて除外された結果得られた複数の第２対象画素を出力する出力ステップと、を含む
    画像処理方法をコンピュータに実行させるためのプログラム。
JP2021522622A 2019-05-30 2020-01-16 画像処理方法、画像処理装置およびプログラム Active JP7022949B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019101127 2019-05-30
JP2019101127 2019-05-30
PCT/JP2020/001357 WO2020240912A1 (ja) 2019-05-30 2020-01-16 画像処理方法、画像処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020240912A1 true JPWO2020240912A1 (ja) 2021-10-14
JP7022949B2 JP7022949B2 (ja) 2022-02-21

Family

ID=73552873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021522622A Active JP7022949B2 (ja) 2019-05-30 2020-01-16 画像処理方法、画像処理装置およびプログラム

Country Status (4)

Country Link
US (1) US11935275B2 (ja)
EP (1) EP3979195B1 (ja)
JP (1) JP7022949B2 (ja)
WO (1) WO2020240912A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004172745A (ja) * 2002-11-18 2004-06-17 Seiko Epson Corp 被写体の大きさに応じた画質の自動調整
JP2004187147A (ja) * 2002-12-05 2004-07-02 Canon Inc ホワイトバランス調整方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5557688A (en) * 1992-11-18 1996-09-17 Fuji Photo Film Co., Ltd. Method of extracting characteristic image data and color data conversion device for image processing apparatus
JPH09171220A (ja) 1995-12-20 1997-06-30 Fuji Photo Film Co Ltd 露光量決定方法
US20020003239A1 (en) 2000-06-28 2002-01-10 Motorola, Inc. Semiconductor structure and device including a carbon film and method of forming the same
US6697502B2 (en) 2000-12-14 2004-02-24 Eastman Kodak Company Image processing method for detecting human figures in a digital image
US7668365B2 (en) 2004-03-08 2010-02-23 Seiko Epson Corporation Determination of main object on image and improvement of image quality according to main object
JP4608961B2 (ja) 2004-03-08 2011-01-12 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP4324043B2 (ja) 2004-07-15 2009-09-02 キヤノン株式会社 画像処理装置およびその方法
JP5683882B2 (ja) * 2009-10-15 2015-03-11 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2020240913A1 (ja) * 2019-05-30 2020-12-03 パナソニックＩｐマネジメント株式会社 画像処理方法、画像処理装置およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004172745A (ja) * 2002-11-18 2004-06-17 Seiko Epson Corp 被写体の大きさに応じた画質の自動調整
JP2004187147A (ja) * 2002-12-05 2004-07-02 Canon Inc ホワイトバランス調整方法

Also Published As

Publication number Publication date
WO2020240912A1 (ja) 2020-12-03
JP7022949B2 (ja) 2022-02-21
US20220101622A1 (en) 2022-03-31
US11935275B2 (en) 2024-03-19
EP3979195A4 (en) 2022-04-06
EP3979195B1 (en) 2024-04-24
EP3979195A1 (en) 2022-04-06

Similar Documents

Publication Publication Date Title
US9105122B2 (en) Image processing apparatus and image processing method
US9215379B2 (en) Imaging apparatus and imaging processing method for detecting and correcting flash band
JP4081060B2 (ja) 画質補正装置および画質補正方法
US7800661B2 (en) Programmable pattern matching device
CN110930301B (zh) 图像处理方法、装置、存储介质及电子设备
US9185265B2 (en) Image processing method and image processing apparatus for performing a tone correction to acquire a combined image
CN112887693B (zh) 图像紫边消除方法、设备及存储介质
US11074742B2 (en) Image processing apparatus, image processing method, and storage medium
US20150054978A1 (en) Imaging apparatus, its control method, and storage medium
US20140184853A1 (en) Image processing apparatus, image processing method, and image processing program
US8379977B2 (en) Method for removing color fringe in digital image
JP2010200295A (ja) 複数のガウス分布モデルを利用して映像の背景を維持する方法と装置
JP2008028626A (ja) 画像処理装置、画像処理方法及びプログラム
JP7022949B2 (ja) 画像処理方法、画像処理装置およびプログラム
US20220130053A1 (en) Image processing method, image processing device, and recording medium
JP5159647B2 (ja) 画像処理装置及び画像処理方法
JP2010239600A (ja) 明るさ補正プログラム、明るさ補正方法及び明るさ補正装置
JP2011028322A (ja) 画像処理装置、画像処理プログラムおよび撮像装置
US20170278286A1 (en) Method and electronic device for creating title background in video frame
US20220408013A1 (en) DNN Assisted Object Detection and Image Optimization
JP5602825B2 (ja) 画像処理装置及び画像処理方法
US20190057490A1 (en) Electronic device
JP2012151877A (ja) 画像処理装置、画像処理プログラムおよび撮像装置
KR20100054034A (ko) 영상 객체 인식 장치 및 방법
JP2005341221A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220124

R151 Written notification of patent or utility model registration

Ref document number: 7022949

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151