JP7065360B2 - 画像処理方法、画像処理装置およびプログラム - Google Patents

画像処理方法、画像処理装置およびプログラム Download PDF

Info

Publication number
JP7065360B2
JP7065360B2 JP2021522623A JP2021522623A JP7065360B2 JP 7065360 B2 JP7065360 B2 JP 7065360B2 JP 2021522623 A JP2021522623 A JP 2021522623A JP 2021522623 A JP2021522623 A JP 2021522623A JP 7065360 B2 JP7065360 B2 JP 7065360B2
Authority
JP
Japan
Prior art keywords
image
color
weight
value
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021522623A
Other languages
English (en)
Other versions
JPWO2020240913A1 (ja
Inventor
和宏 船本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2020240913A1 publication Critical patent/JPWO2020240913A1/ja
Application granted granted Critical
Publication of JP7065360B2 publication Critical patent/JP7065360B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Description

本開示は、画像処理方法、画像処理装置およびプログラムに関する。
特許文献１には、圧縮記録された画像データから所定のブロック毎に空間周波数情報と色度情報とを取得して、上記画像データにおける注目画素を識別する画像認識方法が開示されている。
特開２００４－３８４８０号公報
しかしながら、特許文献１の画像認識方法では、特定の映像シーンにおいて注目画素を識別することは可能であるが、別の映像シーンでは、注目画素以外の領域を誤検出してしまうおそれがある。つまり、従来技術では、人間の姿などの、所定の処理に用いられる被写体の領域を、あらゆる映像シーンで効果的に特定することが難しいという課題がある。
本開示は、画像における被写体の領域である対象領域を効果的に特定することができる画像処理方法などを提供する。
本開示における画像処理方法は、画像を取得する取得ステップと、取得された前記画像を構成する複数の第１画素がそれぞれ有する複数の第１画素値に基づく高周波成分に基づいて高周波画像を生成する第１生成ステップと、取得された前記画像の前記複数の第１画素値に基づく色情報に基づいて１種類以上の色のそれぞれに対応する１以上の色画像を生成する第２生成ステップと、前記高周波画像および前記１以上の色画像を重み付け加算することで合成画像を生成する合成ステップと、生成された前記合成画像を出力する出力ステップと、を含む。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示における画像処理方法は、画像における被写体の領域である対象領域を効果的に特定することができる。
図１は、本実施の形態に係る表示装置の外観の一例を示す斜視図である。 図２は、本実施の形態に係る表示装置のハードウェア構成の一例を示すブロック図である。 図３は、本実施の形態に係る画像処理装置の機能構成の一例を示すブロック図である。 図４は、本実施の形態に係る画像処理装置により実行される画像処理方法の一例を示すフローチャートである。 図５は、色画像の生成処理の具体例を示すフローチャートである。 図６は、色相ヒストグラムの一例を示す図である。 図７は、ビンの選択処理について説明するための色相ヒストグラムの一例を示す図である。 図８は、背景の除去処理のうちの低周波背景を除去する処理を説明するための図である。 図９は、背景の除去処理のうちの高周波背景を除去する処理を説明するための図である。 図１０は、合成画像の生成処理の具体例を示すフローチャートである。 図１１は、第１シーンと他のシーンとの間の範囲の合成に適用される第１出力重みについて説明するための図である。 図１２は、第２シーンと第３シーンとの間の範囲の合成に適用される第２出力重みについて説明するための図である。 図１３は、第２シーンと第３シーンとの間の範囲の合成に適用される第３出力重みについて説明するための図である。 図１４は、第４シーンと他のシーンとの間の範囲の合成に適用される第４出力重みについて説明するための図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
上述したような課題を解決するために、本開示の一態様に係る画像処理方法は、画像を取得する取得ステップと、取得された前記画像を構成する複数の第１画素がそれぞれ有する複数の第１画素値に基づく高周波成分に基づいて高周波画像を生成する第１生成ステップと、取得された前記画像の前記複数の第１画素値に基づく色情報に基づいて１種類以上の色のそれぞれに対応する１以上の色画像を生成する第２生成ステップと、前記高周波画像および前記１以上の色画像を重み付け加算することで合成画像を生成する合成ステップと、生成された前記合成画像を出力する出力ステップと、を含む。
これによれば、高周波画像および１以上の色画像を合成することで得られた合成画像を、対象領域を示す画像として出力することができる。このため、合成画像を用いることで近景にある被写体の領域である対象領域を効果的に特定することができ、遠景にある被写体の領域および背景領域を対象領域から排除することができる。よって、画像における対象領域を効果的に特定することができる。
また、前記合成ステップでは、前記画像に含まれる高周波成分が第１閾値より大きい場合、前記合成画像の生成における前記高周波画像に対する重みを前記１以上の色画像に対する重みより小さくしてもよい。
例えば、画像に含まれる高周波成分が第１閾値より大きい場合に、取得された画像のシーンを、被写体が近景にあり、かつ、背景に高周波成分が多いシーンであると推定することができる。このため、この場合に、合成画像の生成における高周波画像に対する重みを１以上の色画像に対する重みより小さくすることで、背景が対象領域として特定されることを抑制しつつ、近景の被写体が排除されることを抑制することができる。
また、前記合成ステップでは、前記画像に含まれる高周波成分が第２閾値より小さい場合、前記合成画像の生成における前記高周波画像に対する重みを前記１以上の色画像に対する重みより大きくしてもよい。
例えば、画像に含まれる高周波成分が第２閾値より小さい場合に、取得された画像のシーンを、被写体が近景にあり、かつ、背景に低周波成分が多いシーンであると推定することができる。このため、この場合に、合成画像の生成における高周波画像に対する重みを１以上の色画像に対する重みより大きくすることで、背景が対象領域として特定されることを抑制しつつ、近景の被写体が排除されることを抑制することができる。
また、前記合成ステップでは、前記高周波画像と前記１以上の色画像とが重複する第１領域の大きさが第３閾値より大きい場合、前記合成画像の生成における前記高周波画像に対する重みおよび前記１以上の色画像に対する重みを共に所定の基準値より小さくしてもよい。
例えば、高周波画像と１以上の色画像とが重複する第１重複領域の大きさが第３閾値より大きい場合に、取得された画像のシーンを、対象領域が少ないシーンであると推定することができる。このため、この場合に、合成画像の生成における高周波画像に対する重みおよび１以上の色画像に対する重みを共に所定の基準値より小さくすることで、近景における被写体の領域を対象領域として残しつつ、背景が対象領域として特定されることを抑制することができる。
また、前記合成ステップでは、取得された前記画像のうちの特定の色であると判定される画素により構成される第２領域の大きさが第４閾値より小さい場合、前記合成画像の生成における前記高周波画像に対する重みおよび前記１以上の色画像に対する重みを共に０にしてもよい。
例えば、画像のうち特定の色であると判定される画素により構成される第２領域の大きさが第４閾値より小さい場合に、取得された画像のシーンを、被写体が近景にないシーンであると推定することができる。このため、この場合に、合成画像の生成における高周波画像に対する重みおよび１以上の色画像に対する重みを共に０にすることで、画像中に対象領域がないことを示す合成画像を出力することができる。
また、さらに、出力された前記合成画像を構成する複数の第２画素がそれぞれ有する複数の第２画素値に基づいて、前記画像に対して所定の画像処理を行う画像処理ステップを含んでもよい。
画像において効果的に特定された対象領域に対して所定の画像処理を行うことができるため、所定の画像処理を精度よく行うことができる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
（実施の形態）
以下、図１～図１０を用いて、実施の形態を説明する。
［構成および動作］
図１は、本実施の形態に係る表示装置の外観の一例を示す斜視図である。
図１に示されるように、表示装置１００は、表示パネルを含む表示デバイスを筐体内に格納した、一般的なフラットパネルディスプレイの外観を有している。表示装置１００は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどである。
図２は、本実施の形態に係る表示装置のハードウェア構成の一例を示すブロック図である。
図２に示されるように、表示装置１００は、チューナ１０１と、デコーダ１０２と、制御回路１０３と、メモリ１０４と、表示デバイス１０５とを備える。制御回路１０３およびメモリ１０４は、画像処理装置１１０を構成している。このように、表示装置１００は、画像処理装置１１０を内蔵する装置である。
チューナ１０１は、図示しないアンテナにより受信した放送波を構成するアナログ信号をデジタル信号である符号化データへ変換し、変換することで得られた符号化データをデコーダ１０２に出力する。
デコーダ１０２は、チューナ１０１から取得した符号化データを復号し、復号することで得られた画像データを制御回路１０３に出力する。画像データは、動画像または静止画像を含む画像を示すデータである。
制御回路１０３は、デコーダ１０２により出力された画像データにより示される画像に対して、所定の画像処理を行う。制御回路１０３は、画像が動画像である場合には、動画像に含まれる複数のピクチャのそれぞれに対して所定の画像処理を行う。制御回路１０３は、画像が静止画像である場合には、静止画像に対して所定の画像処理を行う。制御回路１０３は、画像処理を行うことで得られた画像（「画像処理後の画像」ともいう。）を示す画像データ（「画像処理後の画像データ」ともいう。）を、表示デバイス１０５に出力する。これにより、表示デバイス１０５は、画像処理後の画像を表示させることができる。
なお、デコーダ１０２と制御回路１０３とは、同一の回路で実現されていてもよい。また、制御回路１０３は、所定の制御プログラムを実行するＣＰＵなどの汎用のプロセッサにより実現されていてもよいし、専用回路により実現されていてもよい。つまり、表示装置１００の機能は、ソフトウェアにより実現されていてもよいし、ハードウェアにより実現されていてもよい。
メモリ１０４は、制御プログラムおよび制御プログラムを実行するために利用する各種データを記憶していてもよい。メモリ１０４は、例えば、不揮発性メモリである。
表示デバイス１０５は、制御回路１０３により出力された画像処理後の画像データで示される画像処理後の画像を表示する。表示デバイス１０５は、表示パネルであり、例えば、液晶パネル、有機ＥＬパネルなどにより構成される。
次に、画像処理装置の機能構成について説明する。
図３は、本実施の形態に係る画像処理装置の機能構成の一例を示すブロック図である。図４は、本実施の形態に係る画像処理装置により実行される画像処理方法の一例を示すフローチャートである。
ここでは、画像処理装置１１０の各機能ブロックについて図３を用いて説明するとともに、各機能ブロックで行われる処理の流れについて図４を用いて説明する。
画像処理装置１１０は、取得部１１１と、第１生成部１１２と、第２生成部１１３と、合成部１１４と、記憶部１１５と、出力部１１６とを備える。画像処理装置１１０は、さらに、補正部１１７を備えていてもよい。
取得部１１１は、画像データを取得する（Ｓ１）。取得部１１１は、例えば、表示装置１００のデコーダ１０２から画像データを取得することで画像を取得する。ステップＳ１は、取得ステップの一例である。
第１生成部１１２は、取得された画像を構成する複数の第１画素がそれぞれ有する複数の第１画素値に基づく高周波成分に基づいて高周波画像を生成する（Ｓ２）。高周波画像は、取得された画像と同じ配列の画素を有する。つまり、高周波画像の縦の画素数×横の画素数は、取得された画像の縦の画素数×横の画素数と同じである。高周波画像の各画素は、画素値が大きいほど高周波の成分を有する画素であることを示す。具体的には、第１生成部１１２は、画像を構成する複数の第１画素のそれぞれについて、当該第１画素を基準（例えば中心）とする７×７の画素のそれぞれが有する複数の輝度値（Ｙ信号値）を用いるハイパスフィルタを適用して、当該第１画素に対応する画素値を算出することにより、高周波画像を生成する。
なお、一の画素に対応する高周波画像の画素値を算出するために、ハイパスフィルタの対象となる複数の画素は、一の画素を中心とする７×７の画素としたが、これに限らずに、一の画素を基準とするａ×ｂの画素としてもよい。ａおよびｂは、一方が１以上の整数であり、他方が２以上の整数である。第１生成部１１２により生成された高周波画像は、合成部１１４に出力される。ステップＳ２は、第１生成ステップの一例である。
第２生成部１１３は、取得された画像の複数の第１画素値に基づく色情報に基づいて１種類以上の色のそれぞれに対応する１以上の色画像を生成する（Ｓ３）。色画像は、取得された画像と同じ配列の画素を有する。つまり、色画像の縦の画素数×横の画素数は、取得された画像の縦の画素数×横の画素数と同じである。色画像の各画素は、画素値が大きいほど、対応する色として判定される色範囲内の色を有する画素に近い画素であることを示す。色画像の生成処理では、第２生成部１１３は、色相ヒストグラムを用いて、画像中における、特定の色としての第１色と、特定の色以外に頻出する第２色および第３色とを特定し、特定された第１色、第２色および第３色のそれぞれについて、当該色を示す画素値を有する画素を抽出することで色画像を生成する。ステップＳ３は、第２生成ステップの一例である。
なお、第２生成部１１３は、上記に限らずに、色相ヒストグラムを用いて、画像中において頻出する第１色、第２色および第３色を特定してもよい。このように、第１色は、予め定められた色とせずに、画像中に頻出する順に基づいて動的に異なる色に決定されてもよい。
なお、特定の色とは、本実施の形態では、ヒトの肌の色である。ヒトの肌の色は、例えば、世界中に存在する全てのヒトの肌の色である。つまり、特定の色として判定される色範囲は、黒色系、白色系、黄色系などの肌の色を全て含む和集合で規定される色相範囲である。
なお、特定の色として判定される色範囲、第２色として判定される色範囲および第３色として判定される色範囲は、それぞれ、色相範囲で規定されることに限らずに、例えば、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、および輝度（Ｌｕｍｉｎａｎｃｅ）の３つの指標を用いて示されるＨＬＳ色空間で定義される範囲で規定されてもよい。この場合の色範囲は、上記のＨＬＳ色空間で定義されることに限らずに、ＨＳＶ色空間などの色相および彩度の２つの指標を少なくとも用いて示される他の色空間で定義されてもよい。なお、特定の色とは、本実施の形態ではヒトを被写体として特定するためにヒトの肌の色としたが、ヒトの肌の色に限らずに、被写体がヒト以外のものである場合ではヒト以外の物体が固有に有している色であってもよい。
色画像の生成処理の具体例について図５～図７を用いて説明する。図５は、色画像の生成処理の具体例を示すフローチャートである。図６は、色相ヒストグラムの一例を示す図である。図７は、ビンの選択処理について説明するための色相ヒストグラムの一例を示す図である。
図５に示されるように、第２生成部１１３は、取得された画像についての色相ヒストグラムを生成する（Ｓ１１）。第２生成部１１３は、画像を構成する複数の第１画素それぞれが有する第１画素値から当該画素の色相を算出し、所定の色相の範囲毎の画素をカウントすることで色相ヒストグラムを生成する。
色相ヒストグラムは、例えば、図６に示されるように、画素数を度数とし、色相の範囲をビンとするグラフである。色相ヒストグラムは、各色相の範囲における画素の分布を示すグラフである。
本実施の形態では、色相ヒストグラムは、色相の全範囲が３２分割された３２個の色相の範囲にそれぞれ１対１で対応する３２個のビン（Ｂｉｎ）を有する。例えば、色相のヒストグラムにおいて、Ｂｉｎ［０］～Ｂｉｎ［３］の色相範囲が、特定の色と判定される特定の色相範囲として定められている。なお、特定の色相範囲がＢｉｎ［０］～Ｂｉｎ［３］の色相範囲であることは、一例であり、上記の範囲に限るものではない。なお、色相ヒストグラムは、図６に示されるような所定の色相の範囲毎に１つのビンを有している構成に限定されるものではなく、色相の１つの値毎に１つのビンを有している構成であってもよい。
次に、第２生成部１１３は、生成された色相ヒストグラムを構成する複数（本実施の形態では３２個）のビンから、特定の色であると判定される１以上の特定のビンを除いた残りの複数のビンのうち、度数が高い順に所定の数のビンを選択する（Ｓ１２）。
ここで、ステップＳ１２におけるビンの選択処理について図７を用いて具体的に説明する。図７の色相ヒストグラムでは、特定の色相範囲であるＢｉｎ［０］～［３］が除かれている。特定の色相範囲は、なお、特定の色がヒトの肌の色とは異なる色である場合、異なる色に対応する特定の色相範囲が除かれることとなる。ビンの選択処理は、第１色としての特定の色以外の第２色および第３色を、色相ヒストグラムにおいて頻出している色を頻度が高い順に選択する処理である。
第２生成部１１３は、まず、特定の色以外に最も頻出している第２色を選択する。第２生成部１１３は、第２色の選択において、例えば、特定の色相範囲が除かれた色相ヒストグラムのうち、まず、最も度数が高いビン（Ｂｉｎ［Ａ］）を選択する。そして、第２生成部１１３は、選択されたビン（Ｂｉｎ［Ａ］）を基準として所定の数のビンの幅であるビン幅（本実施の形態では３つ分）のビンを第２色のビンとして選択する。なお、ビン幅を規定する所定の数のビンの「所定の数」は、１以上の数である。第２生成部１１３は、図７の例では、最も度数が高いビンとその両隣の２つのビンとを併せた３つのビンを第２色のビンとして選択する。
次に、第２生成部１１３は、第２色とは異なる第３色を選択する場合、第２色のビンとして選択された３つのビンを除く複数のビンのうちで最も度数が高いビン（Ｂｉｎ［Ｂ］）を選択する。そして、第２生成部１１３は、第３色の選択において、選択されたビン（Ｂｉｎ［Ｂ］）を基準として所定のスキップ幅のビンを第３色のビンとして選択する。第２生成部１１３は、図７の例では、最も度数が高いビンとその両隣の２つのビンとを併せた３つのビンを第３色のビンとして選択する。この場合、第３色の選択において選択された３つのビンのうちの１つのビンは、既に第２色の選択において選択された３つのビンのうちの１つと重複している。
このようにして、第２生成部１１３は、特定の色以外に、色相ヒストグラムにおいて頻出している色を頻度が高い順に選択する。本実施の形態では、特定の色以外に第２色および第３色の２色が選択される場合を例にして説明する。なお、次の第２色および第３色とは異なる第４色をさらに選択する場合には、第２色および第３色のビンとして選択された５つのビンを除く複数のビンのうちで最も度数が高いビンを選択することとなる。以下同様の処理が繰り返される。
そして、第２生成部１１３は、特定の色相範囲（つまり第１色相範囲）で示される色を第１色とし、第２色の選択において選択された３つのビンの色相範囲（つまり第２色相範囲）で示される色を第２色とし、第３色の選択において選択された３つのビンの色相範囲（つまり第３色相範囲）で示される色を第３色として決定する（Ｓ１３）。
次に、第２生成部１１３は、各色を決定したときに、決定された色の範囲に含まれる画素値を例えば最大値に設定し、かつ、当該色の範囲の外側の所定の幅の範囲を挟んでさらに外側の範囲に含まれる画素値を例えば最小値に設定し、かつ、当該色の範囲の外側の所定の幅の範囲を決定された色の範囲から離れるほど最大値から最小値に向かって小さくなる値に設定するための、色相範囲と画素値との関係を示す関係情報を色毎に生成する（Ｓ１４）。なお、第２生成部１１３は、関係情報の生成において、画素値の最大値の代わりに画素値Ｐ１に設定し、画素値の最小値の代わりに画素値Ｐ１よりも小さい画素値Ｐ２に設定してもよい。また、画素値Ｐ１および画素値Ｐ２は、色毎に異なる値が設定されてもよい。
その後、第２生成部１１３は、取得された画像から、第１色、第２色および第３色の各色について生成された関係情報を用いて、画像に各色の関係情報を適用することで、各色の色画像を生成する（Ｓ１５）。具体的には、第２生成部１１３は、画像を構成する複数の画素のそれぞれについて、当該画素が有する画素値を、当該画素値に基づく色（色相）に当該色の関係情報で対応付けられている画素値に変換することで、色画像を生成する。
図３および図４を用いた説明に戻る。
合成部１１４は、第１生成部１１２により生成された高周波画像と、第２生成部１１３により生成された第１色画像、第２色画像および第３色画像とのそれぞれの画像について、背景を除去する（Ｓ４）。背景の除去処理の具体例について、図８および図９を用いて説明する。図８は、背景の除去処理のうちの低周波背景を除去する処理を説明するための図である。図９は、背景の除去処理のうちの高周波背景を除去する処理を説明するための図である。
図８は、高周波画像を複数のブロックに分割した場合、複数のブロックのそれぞれについて、当該ブロックを構成する複数の第１画素がそれぞれ有する複数の第１画素値のうちの最大値と、当該最大値に応じて当該ブロックに割り当てられるオブジェクト重みとの関係を示す図である。図８は、横軸が各ブロックにおける空間周波数の最大値を示し、縦軸が空間周波数の最大値に応じて割り当てられるオブジェクト重みを示す。
図８に示されるように、合成部１１４は、高周波画像の各ブロックについて、各ブロックの最大値と、図８に示される関係で対応関係にあるオブジェクト重みを特定し、特定されたオブジェクト重みを当該ブロックに割り当てる。合成部１１４は、高周波画像に図８の関係を適用することで、各ブロックについて、空間周波数の最大値が閾値Ｔｈｍａｘ１未満であるブロックにはオブジェクト重みＯ１を割り当て、空間周波数の最大値が閾値Ｔｈｍａｘ２以上であるブロックにはオブジェクト重み１０２３を割り当てる。合成部１１４は、各ブロックについて、空間周波数の最大値が閾値Ｔｈｍａｘ１以上閾値Ｔｈｍａｘ２未満であるブロックには、当該最大値が大きいほどオブジェクト重み１０２３に近づき、かつ、当該最大値が小さいほどオブジェクト重みＯ１に近づくようなオブジェクト重みを特定し、特定されたオブジェクト重みを当該ブロックに割り当てる。例えば、空間周波数の最大値が閾値Ｔｈｍａｘ１以上閾値Ｔｈｍａｘ２未満の範囲では、空間周波数の最大値の変化に対してオブジェクト重みは、線形に変化する。これにより、低周波背景を抑制するための、各画素がオブジェクト重みを有する第１重み画像が得られる。
なお、オブジェクト重みＯ１は、例えば、１０２３より小さい値である。
また、空間周波数の最大値が閾値Ｔｈｍａｘ２以上であるブロックに割り当てられるオブジェクト重みは、１０２３に限らずに、２５５などのような他の値であってもよい。
図９は、高周波画像を複数のブロックに分割した場合、複数のブロックのそれぞれについて、当該ブロックを構成する複数の第１画素がそれぞれ有する複数の第１画素値の平均値と、当該平均値に応じて当該ブロックに割り当てられるオブジェクト重みとの関係を示す図である。図９は、横軸が各ブロックにおける空間周波数の平均値を示し、縦軸が空間周波数の平均値に応じて割り当てられるオブジェクト重みを示す。
図９に示されるように、合成部１１４は、高周波画像の各ブロックについて、各ブロックの最大値と、図９に示される関係で対応関係にあるオブジェクト重みを特定し、特定されたオブジェクト重みを当該ブロックに割り当てる。合成部１１４は、高周波画像に図９の関係を適用することで、各ブロックについて、空間周波数の平均値が閾値Ｔｈａｖｅ１未満であるブロックにはオブジェクト重みＯ２を割り当て、空間周波数の平均値が閾値Ｔｈａｖｅ２以上であるブロックにはオブジェクト重みＯ３を割り当てる。合成部１１４は、各ブロックについて、空間周波数の平均値が閾値Ｔｈａｖｅ１以上閾値Ｔｈａｖｅ２未満であるブロックには、当該平均値が大きいほどオブジェクト重みＯ３に近づき、かつ、当該平均値が小さいほどオブジェクト重みＯ２に近づくようなオブジェクト重みを特定し、特定されたオブジェクト重みを当該ブロックに割り当てる。例えば、空間周波数の平均値が閾値Ｔｈａｖｅ１以上閾値Ｔｈａｖｅ２未満の範囲では、空間周波数の平均値の変化に対してオブジェクト重みは、線形に変化する。これにより、高周波背景を抑制するための、各画素がオブジェクト重みを有する第２重み画像が得られる。
合成部１１４は、第１重み画像および第２重み画像を、高周波画像と、第１色画像と、第２色画像と、第３色画像とのそれぞれに適用することで、高周波画像と、第１色画像と、第２色画像と、第３色画像とのそれぞれから低周波背景および高周波背景を除去する。合成部１１４は、第１重み画像を構成する複数の画素がそれぞれ有する複数の画素値を、高周波画像と、第１色画像と、第２色画像と、第３色画像とのそれぞれの画像を構成する複数の画素がそれぞれ有する複数の画素値に乗算することで、第１重み画像を高周波画像と、第１色画像と、第２色画像と、第３色画像とのそれぞれに適用する。同様に、合成部１１４は、第２重み画像を構成する複数の画素がそれぞれ有する複数の画素値を、高周波画像と、第１色画像と、第２色画像と、第３色画像とのそれぞれの画像を構成する複数の画素がそれぞれ有する複数の画素値に乗算することで、第２重み画像を高周波画像と、第１色画像と、第２色画像と、第３色画像とのそれぞれに適用する。
なお、合成部１１４は、背景が除去された後の高周波画像、第１色画像、第２色画像および第３色画像に対して、コントラストを強調する処理を行ってもよい。また、合成部１１４は、背景の除去処理を行わなくてもよい。
次に、合成部１１４は、背景が除去された後の高周波画像、第１色画像、第２色画像および第３色画像を重み付け加算することで合成画像を生成する。以下では、合成部１１４は、背景が除去された後の高周波画像、第１色画像、第２色画像および第３色画像について、処理を実行するものとする。なお、背景の除去が行われない場合には、合成部１１４は、背景の除去が行われていない、高周波画像、第１色画像、第２色画像および第３色画像について、処理を実行することになる。
合成部１１４は、高周波画像、第１色画像、第２色画像および第３色画像を用いて、画像のシーンが第１シーン、第２シーン、第３シーンおよび第４シーンのいずれのシーンであるかを判定し、判定されたシーンに応じた重みで重み付け加算することで合成画像を生成する。合成画像の生成処理の具体例について、図１０を用いて説明する。図１０は、合成画像の生成処理の具体例を示すフローチャートである。
図１０に示されるように、合成部１１４は、取得された画像のうち特定の色であると判定される画素により構成される領域ＲＳａの大きさが閾値Ｔｈａより小さいか否かを判定する（Ｓ２１）。領域ＲＳａの大きさは、第１色画像を構成する全ての画素値の総計に関する値である。領域ＲＳａの大きさは、例えば、第１色画像を構成する複数のブロックについてそれぞれ算出された複数の平均値の合計値であってもよい。複数の平均値のそれぞれは、対応するブロックを構成する複数の画素がそれぞれ有する複数の画素値の平均値である。ここで、領域ＲＳａの大きさを算出するために用いられる第１色画像は、背景が除去された後の第１色画像である。なお、領域ＲＳａは、第２領域の一例であり、閾値Ｔｈａは、第４閾値の一例である。
合成部１１４は、領域ＲＳａの大きさが閾値Ｔｈａより小さい場合（Ｓ２１でＹｅｓ）、画像が第１シーンであると判定し、第１の重みで高周波画像、第１色画像、第２色画像および第３色画像を重み付け加算する（Ｓ２２）。具体的には、合成部１１４は、第１の重みとして、高周波画像に適用する重みを重みＷ１１に決定し、第１色画像、第２色画像および第３色画像に適用する重みをそれぞれ重みＷ１２ａ、Ｗ１２ｂ、Ｗ１２ｃに決定する。
これにより、合成部１１４は、高周波画像の複数の画素値のそれぞれに重みＷ１１を乗算して得られた値と、第１色画像の複数の画素値のそれぞれに重みＷ１２ａを乗算して得られた値と、第２色画像の複数の画素値のそれぞれに重みＷ１２ｂを乗算して得られた値と、第３色画像の複数の画素値のそれぞれに重みＷ１２ｃを乗算して得られた値とを、対応する画素ごとに加算することで、合成画像を生成する。なお、合成部１１４は、高周波画像、第１色画像、第２色画像および第３色画像の重み付け加算において、画素毎に重み付け加算するとしたが、画素毎に限らずに、複数の画素の集合からなるブロック毎に重み付け加算してもよい。合成部１１４は、重み付け加算において、所定の領域毎に重み付け加算すればよい。例えば、合成部１１４は、重みＷ１１、重みＷ１２ａ、重みＷ１２ｂおよび重みＷ１２ｃをそれぞれ０に決定する。
合成部１１４は、領域ＲＳａの大きさが閾値Ｔｈａ以上である場合（Ｓ２１でＮｏ）、取得された画像に含まれる高周波成分ＦＨが閾値Ｔｈｂより大きいか否かを判定する（Ｓ２３）。画像の高周波成分ＦＨは、高周波画像を構成する全ての画素値の総計に関する値である。画像の高周波成分ＦＨは、例えば、高周波画像を構成する複数のブロックのそれぞれについて算出された複数の平均値の合計値であってもよい。複数の平均値のそれぞれは、対応するブロックを構成する複数の画素がそれぞれ有する複数の画素値の平均値である。閾値Ｔｈｂは、第１閾値の一例である。
合成部１１４は、高周波成分ＦＨが閾値Ｔｈｂより大きい場合（Ｓ２３でＹｅｓ）、高周波画像と、各色画像とが重複する領域ＲＳｂの大きさが閾値Ｔｈｃより大きいか否かを判定する（Ｓ２４）。なお、ステップＳ２４、Ｓ２５の処理は、色画像ごとに独立して行われる。以下では、色画像が第１色画像である場合について説明する。他の第２色画像および第３色画像についても同様の処理が独立して行われる。
ここで、領域ＲＳｂの大きさは、各色画像において異なり、高周波成分を有する画素のうち第１色であると判定される画素の割合、および、第１色と判定される画素のうち高周波成分を有すると判定される画素の割合に関する値である。領域ＲＳｂの大きさは、例えば、第１合計値および第２合計値により表される。第１合計値は、高周波画像を構成する複数のブロックについてそれぞれ算出された複数の平均値を複数の第１平均値とし、第１色画像を構成する複数のブロックについてそれぞれ算出された複数の平均値を複数の第２平均値とした場合、対応するブロック毎について第１平均値に第２平均値を乗じて得られた複数の値の合計値を、複数の第１平均値の合計値で除すことで得られる値である。なお、平均値は、各ブロックにおける複数の画素が有する複数の画素値の平均値である。第２合計値は、対応するブロック毎について第１平均値に第２平均値を乗じて得られた複数の値の合計値を、複数の第２平均値の合計値で除すことで得られる値である。
つまり、合成部１１４は、第１合計値および第２合計値を用いて、ステップＳ２４の判定を行ってもよい。例えば、合成部１１４は、第１合計値が閾値Ｔｈｃ１より大きく、かつ、第２合計値が閾値Ｔｈｃ２より大きい場合に、領域ＲＳｂの大きさが閾値Ｔｈｃより大きいと判定してもよい。
合成部１１４は、領域ＲＳｂの大きさが閾値Ｔｈｃより大きい場合（Ｓ２４でＹｅｓ）、画像が第２シーンであると判定し、第２の重みで高周波画像および第１色画像を重み付け加算する（Ｓ２５）。具体的には、合成部１１４は、第２の重みとして、高周波画像に適用する重みを重みＷ２１に決定し、第１色画像に適用する重みを重みＷ２２ａに決定する。合成部１１４は、第２色画像および第３色画像のそれぞれに対しても第１色画像と同様の処理を行うことにより、第２色画像に適用する重みを重みＷ２２ｂに決定し、第３色画像に適用する重みを重みＷ２２ｃに決定する。
これにより、合成部１１４は、高周波画像の複数の画素値のそれぞれに重みＷ２１を乗算して得られた値と、第１色画像の複数の画素値のそれぞれに重みＷ２２ａを乗算して得られた値と、第２色画像の複数の画素値のそれぞれに重みＷ２２ｂを乗算して得られた値と、第３色画像の複数の画素値のそれぞれに重みＷ２２ｃを乗算して得られた値とを、対応する画素ごとに加算することで、合成画像を生成する。なお、合成部１１４は、高周波画像、第１色画像、第２色画像および第３色画像の重み付け加算において、画素毎に重み付け加算するとしたが、画素毎に限らずに、複数の画素の集合からなるブロック毎に重み付け加算してもよい。合成部１１４は、重み付け加算において、所定の領域毎に重み付け加算すればよい。例えば、合成部１１４は、重みＷ２１、重みＷ２２ａ、重みＷ２２ｂおよび重みＷ２２ｃをそれぞれ所定の基準値より小さい値に決定する。閾値Ｔｈｃは、第３閾値の一例である。なお、第３閾値としての閾値Ｔｈｃは、ステップＳ２４、Ｓ２５の処理対象となる色画像毎に異なる値が設定されていてもよい。
なお、合成部１１４は、ステップＳ２４を色画像毎に行うため、ステップＳ２４でＹｅｓと判定される色画像と、ステップＳ２４でＮｏと判定された色画像とが混在する場合がある。このように、ステップＳ２４の判定結果が色画像毎に異なる場合、ステップＳ２４でＮｏと判定された色画像に適用する重みを後述する第３の重みに決定する。なお、高周波画像に適用される第２の重みＷ２１と、第３の重みＷ３１とは等しいため、ステップＳ２３においてＹｅｓと判定された場合、第２の重みが適用されても、第３の重みが適用されても、高周波画像に適用される重みは変わらない。
合成部１１４は、全ての色画像について、領域ＲＳｂの大きさが閾値Ｔｈｃ以下である場合（Ｓ２４でＮｏ）、画像が第３シーンであると判定し、第３の重みで高周波画像、第１色画像、第２色画像および第３色画像を重み付け加算する（Ｓ２６）。具体的には、合成部１１４は、第３の重みとして、高周波画像に適用する重みを重みＷ３１に決定し、第１色画像、第２色画像および第３色画像に適用する重みをそれぞれ重みＷ３２ａ、Ｗ３２ｂ、Ｗ３２ｃに決定する。
これにより、合成部１１４は、高周波画像の複数の画素値のそれぞれに重みＷ３１を乗算して得られた値と、第１色画像の複数の画素値のそれぞれに重みＷ３２ａを乗算して得られた値と、第２色画像の複数の画素値のそれぞれに重みＷ３２ｂを乗算して得られた値と、第３色画像の複数の画素値のそれぞれに重みＷ３２ｃを乗算して得られた値とを、対応する画素ごとに加算することで、合成画像を生成する。なお、合成部１１４は、高周波画像、第１色画像、第２色画像および第３色画像の重み付け加算において、画素毎に重み付け加算するとしたが、画素毎に限らずに、複数の画素の集合からなるブロック毎に重み付け加算してもよい。合成部１１４は、重み付け加算において、所定の領域毎に重み付け加算すればよい。例えば、合成部１１４は、重みＷ３１を重みＷ３２ａ、Ｗ３２ｂ、Ｗ３２ｃのそれぞれより小さい値に決定する。なお、重みＷ２２ａ、Ｗ２２ｂ、Ｗ２２ｃは、それぞれ、重みＷ３２ａ、Ｗ３２ｂ、Ｗ３２ｃより小さい値である。
合成部１１４は、高周波成分ＦＨが閾値Ｔｈｂ以下である場合（Ｓ２３でＮｏ）、高周波成分ＦＨが閾値Ｔｈｄより小さいか否かを判定する（Ｓ２７）。閾値Ｔｈｄは、第２閾値の一例である。なお、閾値Ｔｈｄは、閾値Ｔｈｂより小さい値である。
合成部１１４は、高周波成分ＦＨが閾値Ｔｈｄより小さい場合（Ｓ２７でＹｅｓ）、画像が第４シーンであると判定し、第４の重みで高周波画像、第１色画像、第２色画像および第３色画像を重み付け加算する（Ｓ２８）。具体的には、合成部１１４は、第４の重みとして、高周波画像に適用する重みを重みＷ４１に決定し、第１色画像、第２色画像および第３色画像に適用する重みをそれぞれ重みＷ４２ａ、Ｗ４２ｂ、Ｗ４２ｃに決定する。
これにより、合成部１１４は、高周波画像の複数の画素値のそれぞれに重みＷ４１を乗算して得られた値と、第１色画像の複数の画素値のそれぞれに重みＷ４２ａを乗算して得られた値と、第２色画像の複数の画素値のそれぞれに重みＷ４２ｂを乗算して得られた値と、第３色画像の複数の画素値のそれぞれに重みＷ４２ｃを乗算して得られた値とを、対応する画素ごとに加算することで、合成画像を生成する。例えば、合成部１１４は、重みＷ４１を重みＷ４２より大きい値に決定する。なお、重みＷ４１は、重みＷ２１、Ｗ３１よりも大きい値である。重みＷ４２ａ、Ｗ４２ｂ、Ｗ４２ｃは、それぞれ、重みＷ２２ａ、Ｗ２２ｂ、Ｗ２２ｃと等しい値である。つまり、重みＷ４２ａ、Ｗ４２ｂ、Ｗ４２ｃは、それぞれ、重みＷ３２ａ、Ｗ３２ｂ、Ｗ３２ｃより小さい値である。なお。重みＷ４２ａ、Ｗ４２ｂ、Ｗ４２ｃと重みＷ２２ａ、Ｗ２２ｂ、Ｗ２２ｃとは互いに等しい値であることに限らずに異なる値であってもよい。
合成部１１４は、高周波成分ＦＨが閾値Ｔｈｄ以上の場合（Ｓ２７でＮｏ）、画像が第５シーンであると判定し、第５の重みで高周波画像、第１色画像、第２色画像および第３色画像を重み付け加算する（Ｓ２９）。具体的には、合成部１１４は、第５の重みとして、高周波画像に適用する重みを重みＷ５１に決定し、第１色画像、第２色画像および第３色画像に適用する重みをそれぞれ重みＷ５２ａ、Ｗ５２ｂ、Ｗ５２ｃに決定する。これにより、合成部１１４は、高周波画像の複数の画素値のそれぞれに重みＷ５１を乗算して得られた値と、第１色画像の複数の画素値のそれぞれに重みＷ５２ａを乗算して得られた値と、第２色画像の複数の画素値のそれぞれに重みＷ５２ｂを乗算して得られた値と、第３色画像の複数の画素値のそれぞれに重みＷ５２ｃを乗算して得られた値とを、対応する画素ごとに加算することで、合成画像を生成する。なお、合成部１１４は、高周波画像、第１色画像、第２色画像および第３色画像の重み付け加算において、画素毎に重み付け加算するとしたが、画素毎に限らずに、複数の画素の集合からなるブロック毎に重み付け加算してもよい。合成部１１４は、重み付け加算において、所定の領域毎に重み付け加算すればよい。
出力部１１６は、合成部１１４によるステップＳ２２、Ｓ２５、Ｓ２６、Ｓ２８、Ｓ２９のいずれかの処理で得られた合成画像を出力する（Ｓ６）。なお、出力部１１６は、出力する前に、合成画像において０より大きい画素値を有する画素で示される領域である対象領域の複数の画素値を均一の値にする処理を行ってもよいし、あるいは閾値より大きい画素値を有する画素で示される第３領域の複数の画素値を第３画素値とし、かつ、閾値未満の画素値を有する画素で示される第４領域の複数の画素値を第４画素値とする処理を行ってもよいし、複数の画素値に係数を乗じることでゲインを調整する処理を行ってもよいし、複数の画素値のダイナミックレンジを最大化する処理を行ってもよい。
そして、補正部１１７は、合成画像を構成する複数の第２画素がそれぞれ有する複数の第２画素値に基づいて、取得部１１１により取得された画像に対して所定の画像処理を行うことで、取得された画像を補正する（Ｓ７）。補正部１１７は、合成画像を構成する複数の第２画素がそれぞれ有する複数の第２画素値を用いて特定された対象領域に対して、所定の画像処理として例えばガンマ補正を行う。補正部１１７は、例えば、対象領域を特定するための閾値よりも大きな第２画素値を有する１以上の第２画素の集合による領域を対象領域として特定する。
なお、取得部１１１と、第１生成部１１２と、第２生成部１１３と、合成部１１４と、出力部１１６と、補正部１１７とは、制御回路１０３により実現される。
なお、第１の重み、第２の重み、第３の重みおよび第４の重みは、記憶部１１５に記憶されている。また、各処理における各閾値は、記憶部１１５に記憶されている。記憶部１１５は、例えば、メモリ１０４により実現される。
［効果等］
以上のように、本実施の形態における画像処理方法は、画像を取得する取得ステップ（Ｓ１）と、取得された画像を構成する複数の第１画素がそれぞれ有する複数の第１画素値に基づく高周波成分に基づいて高周波画像を生成する第１生成ステップ（Ｓ２）と、取得された画像の複数の第１画素値に基づく色情報に基づいて１種類以上の色のそれぞれに対応する第１～第３色画像を生成する第２生成ステップ（Ｓ３）と、高周波画像および第１～第３色画像を重み付け加算することで合成画像を生成する合成ステップ（Ｓ５）と、生成された合成画像を出力する出力ステップ（Ｓ６）と、を含む。
これによれば、高周波画像および第１～第３色画像を合成することで得られた合成画像を、対象領域を示す画像として出力することができる。このため、合成画像を用いることで近景にある被写体の領域である対象領域を効果的に特定することができ、遠景にある被写体の領域および背景領域を対象領域から排除することができる。よって、画像における対象領域を効果的に特定することができる。
また、本実施の形態において、合成ステップでは、取得された画像のうちの特定の色であると判定される画素により構成される領域ＲＳａの大きさが閾値Ｔｈａより小さい場合、合成画像の生成における高周波画像に対する重みおよび第１～第３色画像に対する重みを共に０にする。例えば、画像のうち特定の色であると判定される画素により構成される領域ＲＳａの大きさが閾値Ｔｈａより小さい場合に、取得された画像のシーンを、被写体が近景にない第１シーンであると推定することができる。このため、この場合に、合成画像の生成における高周波画像に対する重みおよび１以上の色画像に対する重みを共に０にすることで、画像中に対象領域がないことを示す合成画像を出力することができる。
また、本実施の形態において、合成ステップでは、画像に含まれる高周波成分ＦＨが閾値Ｔｈｂより大きく、かつ、全ての色画像について、高周波画像と第１～第３色画像とが重複する領域ＲＳｂの大きさが閾値Ｔｈｃ以下である場合、合成画像の生成における高周波画像に対する重みを第１～第３色画像に対する重みより小さくする。例えば、画像に含まれる高周波成分が閾値Ｔｈｂより大きく、かつ、全ての色画像について、領域ＲＳｂの大きさが閾値Ｔｈｃ以下である場合に、取得された画像のシーンを、被写体が近景にあり、かつ、背景に高周波成分が多い第３シーンであると推定することができる。このため、この場合に、合成画像の生成における高周波画像に対する重みを１以上の色画像に対する重みより小さくすることで、背景が対象領域として特定されることを抑制しつつ、近景の被写体が排除されることを抑制することができる。
また、本実施の形態において、合成ステップでは、画像に含まれる高周波成分ＦＨが閾値Ｔｈｂより大きく、かつ、高周波画像と第１～第３色画像とが重複する領域ＲＳｂの大きさが閾値Ｔｈｃより大きい場合、合成画像の生成における高周波画像に対する重みおよび各色画像に対する重みを共に所定の基準値より小さくする。例えば、画像に含まれる高周波成分ＦＨが閾値Ｔｈｂより大きく、かつ、高周波画像と各色画像とが重複する領域Ｒｓｂの大きさが閾値Ｔｈｃより大きい場合に、取得された画像のシーンを、対象領域が少ない第２シーンであると推定することができる。このため、この場合に、合成画像の生成における高周波画像に対する重みおよび第１～第３色画像に対する重みを共に所定の基準値より小さくすることで、近景における被写体の領域を対象領域として残しつつ、背景が対象領域として特定されることを抑制することができる。
また、本実施の形態において、合成ステップでは、画像に含まれる高周波成分ＦＨが閾値Ｔｈｄより小さい場合、合成画像の生成における高周波画像に対する重みを第１～第３色画像に対する重みより大きくする。例えば、画像に含まれる高周波成分ＦＨがＴｈｄ閾値より小さい場合に、取得された画像のシーンを、被写体が近景にあり、かつ、背景に低周波成分が多いシーンであると推定することができる。このため、この場合に、合成画像の生成における高周波画像に対する重みを第１～第３色画像に対する重みより大きくすることで、背景が対象領域として特定されることを抑制しつつ、近景の被写体が排除されることを抑制することができる。
［変形例］
（１）
上記実施の形態では、第２生成部１１３は、第１～第３色画像を生成するとしたが、これに限らずに、第１色画像を生成し、第２および第３色画像を生成しなくてもよい。この場合、実施の形態における各色画像に対する処理は、第１色画像のみに行われることとなる。また、第２生成部１１３は、４つ以上の色画像、つまり、第１～第ｎ色画像（ｎは４以上の整数）を生成してもよい。
（２）
上記実施の形態では、合成部１１４は、画像のシーンが第１シーン、第２シーン、第３シーンおよび第４シーンのそれぞれに対応する第１の重み、第２の重み、第３の重みおよび第４の重みのいずれかに切り替えて、画像を合成するとしたがこれに限らない。例えば、合成部１１４は、第１シーンと他のシーンとの間で、重みが変化するように重みを設定してもよい。
図１１は、第１シーンと他のシーンとの間の範囲の合成に適用される第１出力重みについて説明するための図である。図１１は、横軸が第１色画像を構成する複数のブロックについてそれぞれ算出された複数の平均値の合計値を示し、縦軸が当該合計値に応じて割り当てられる係数α１を示す。
図１１における関係を用いることで、第１シーンと他のシーンとの間の範囲の合成に適用される第１出力重みは、以下に示す式１で算出される。なお、他のシーンとは、例えば、第２シーン、第３シーンおよび第４シーンのいずれかである。第１出力重みとしては、第１シーンと第２シーンとの間で算出される値と、第１シーンと第３シーンとの間で算出される値と、第１シーンと第４シーンとの間で算出される値との３種類の値が算出されうる。
第１出力重み＝α１＊他のシーンの重み＋（１－α１）＊第１の重み
・・・（式１）
ここで、他のシーンの重みとは、他のシーンが第２シーンであれば第２の重みであり、他のシーンが第３シーンであれば第３の重みであり、他のシーンが第４シーンであれば第４の重みである。
これによれば、第１色画像を構成する複数のブロックについてそれぞれ算出された複数の平均値の合計値が閾値Ｔｈａより小さい場合、第１シーンであると判定されて係数α１は０となり、第１の重みで合成が行われる。一方で、合計値が閾値Ｔｈｅより大きい場合、他のシーンであると判定されて係数α１は１となり、他のシーンの重みで合成が行われる。閾値Ｔｈｅは、閾値Ｔｈａより大きい値である。そして、合計値が閾値Ｔｈａ以上閾値Ｔｈｅ以下の場合、合計値が大きいほど係数α１は１に近づくため、第１の重みよりも他のシーンの重みに近い値で合成が行われる。このように、第１シーンと他のシーンとの境界の範囲においては、第１の重みと他のシーンの重みとの間の値が合成の重みとして採用されてもよい。
また、同様に、例えば、合成部１１４は、第２シーンと第３シーンとの間で、重みが変化するように重みを設定してもよい。
図１２および図１３は、第２シーンと第３シーンとの間の範囲の合成に適用される出力重みについて説明するための図である。図１２は、横軸が第１合計値を示し、縦軸が第１合計値に応じて割り当てられる係数α２を示す。図１３は、横軸が第２合計値を示し、縦軸が第２合計値に応じて割り当てられる係数α３を示す。
図１２における関係を用いることで、第２シーンと第３シーンとの間の範囲の合成に適用される第３出力重みを算出するための第２出力重みは、以下に示す式２で算出される。
第２出力重み＝α２＊第２の重み＋（１－α２）＊第３の重み
・・・（式２）
また、図１３における関係を用いることで、第２シーンと第３シーンとの間の範囲の合成に適用される第３出力重みは、以下に示す式３で算出される。
第３出力重み＝α３＊第２出力重み＋（１－α３）＊第３の重み
・・・（式３）
このため、第１合計値が閾値Ｔｈｃ１より大きく、かつ、第２合計値が閾値Ｔｈｃ２より大きい場合、係数α２および係数α３は共に１となり、第２の重みで合成が行われる。一方で、第１合計値が閾値Ｔｈｃ３より小さく、かつ、第２合計値が閾値Ｔｈｃ４より小さい場合、係数α２および係数α３は共に０となり、第３の重みで合成が行われる。閾値Ｔｈｃ１は、閾値Ｔｈｃ３より大きい値であり、閾値Ｔｈｃ２は、閾値Ｔｈｃ４より大きい値である。そして、第１合計値および第２合計値が上記以外の場合には、第１合計値が大きくなるほど、または、第２合計値が大きくなるほど、第３の重みよりも第２の重みに近い値で合成が行われる。このように、第２シーンと第３シーンとの境界の範囲においては、第２の重みと第３の重みとの間の値が合成の重みとして採用されてもよい。
なお、閾値Ｔｈｃ１～Ｔｈｃ４のそれぞれは、ステップＳ２４、Ｓ２５の処理対象となる色画像毎に異なる値が設定されていてもよい。
また、同様に、例えば、合成部１１４は、第４シーンと他のシーンとの間で、重みが変化するように重みを設定してもよい。
図１４は、第４シーンと他のシーンとの間の範囲の合成に適用される第４出力重みについて説明するための図である。図１４は、横軸が高周波画像を構成する複数のブロックのそれぞれについて算出された複数の平均値の合計値を示し、縦軸が当該合計値に応じて割り当てられる係数α４を示す。
図１４における関係を用いることで、第４シーンと他のシーンとの間の範囲の合成に適用される第４出力重みは、以下に示す式４で算出される。なお、他のシーンとは、例えば、第１シーン、第２シーンおよび第３シーンのいずれかである。第４出力重みとしては、第１シーンと第２シーンとの間で算出される値と、第１シーンと第３シーンとの間で算出される値と、第１シーンと第４シーンとの間で算出される値との３種類の値が算出されうる。
第４出力重み＝α４＊他のシーンの重み＋（１－α４）＊第４の重み
・・・（式４）
ここで、他のシーンの重みとは、他のシーンが第１シーンであれば第１の重みであり、他のシーンが第２シーンであれば第２の重みであり、他のシーンが第３シーンであれば第３の重みである。
つまり、高周波画像を構成する複数のブロックのそれぞれについて算出された複数の平均値の合計値が閾値Ｔｈｂより大きい場合、他のシーンであると判定されて係数α４は１となり、他のシーンの重みで合成が行われる。一方で、合計値が閾値Ｔｈｄより小さい場合、第４シーンであると判定されて係数α４は０となり、第４の重みで合成が行われる。閾値Ｔｈｂは、閾値Ｔｈｄより大きい値である。そして、合計値が閾値Ｔｈｄ以上閾値Ｔｈｂ以下の場合、合計値が大きいほど係数α４は１に近づくため、第４の重みよりも他のシーンの重みに近い値で合成が行われる。このように、第４シーンと他のシーンとの境界の範囲においては、第４の重みと他のシーンの重みとの間の値が合成の重みとして採用されてもよい。
なお、第４出力重みは、実施の形態における第５重みとして算出されてもよい。
（３）
上記実施の形態では、ステップＳ２４の処理は、ステップＳ２３がＹｅｓと判定された後に行われるとしているが、これに限らずに、ステップＳ２１の前に行われてもよいし、ステップＳ２１の後であってステップＳ２３の前に行われてもよい。いずれの場合であっても、ステップＳ２５は、ステップＳ２３でＹｅｓと判定され、かつ、ステップＳ２４でＹｅｓと判定された場合に行われる。また、ステップＳ２６の処理は、ステップＳ２４でＮｏと判定され、かつ、ステップＳ２３でＹｅｓと判定された場合に行われればよい。
（４）
上記実施の形態では、画像処理装置１１０は、表示装置１００に内蔵される装置であるとしたが、これに限らずに、撮像装置に内蔵される装置であってもよい。この場合の画像処理装置は、例えば、撮像装置が備えるイメージセンサから画像データを取得し、上記実施の形態で説明した画像処理方法を行い、複数の第２画素を出力する。撮像装置では、出力された複数の第２画素を用いて被写体を特定し、特定した被写体の領域について、フォーカスを調整する処理または露出を調整する処理に利用してもよい。
（５）
上記実施の形態では、表示装置１００では、チューナ１０１を備える構成であり、取得部１１１は、チューナ１０１により実現されるとしたが、これに限らない。取得部１１１は、光ディスク、ＳＤカード、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記録媒体に記録されている画像データを読み出すことで画像データを取得してもよい。この場合、取得部１１１は、光ディスクを読み出す光ピックアップなどの電気機器により実現されてもよい。また、取得部１１１は、インターネットなどのネットワークを介して外部サーバから画像データを取得してもよい。この場合、取得部１１１は、外部サーバとの間で通信を行うための通信ＩＦにより実現されてもよい。また、取得部１１１は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＲＣＡ端子などの外部ＩＦを介して接続された外部機器から画像データを取得してもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像復号化装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、画像を取得する取得ステップと、取得された前記画像を構成する複数の第１画素がそれぞれ有する複数の第１画素値に基づく高周波成分に基づいて高周波画像を生成する第１生成ステップと、取得された前記画像の前記複数の第１画素値に基づく色情報に基づいて１種類以上の色のそれぞれに対応する１以上の色画像を生成する第２生成ステップと、前記高周波画像および前記１以上の色画像を重み付け加算することで合成画像を生成する合成ステップと、生成された前記合成画像を出力する出力ステップと、を含む画像処理方法を実行させる。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、画像における被写体の領域である対象領域を効果的に特定することができる画像処理方法等に適用可能である。具体的には、テレビなどの表示装置、カメラなどの撮像装置等に、本開示は適用可能である。
１００ 表示装置
１０１ チューナ
１０２ デコーダ
１０３ 制御回路
１０４ メモリ
１０５ 表示デバイス
１１０ 画像処理装置
１１１ 取得部
１１２ 第１生成部
１１３ 第２生成部
１１４ 合成部
１１５ 記憶部
１１６ 出力部
１１７ 補正部

Claims (8)

  1. 画像を取得する取得ステップと、
    取得された前記画像を構成する複数の第１画素がそれぞれ有する複数の第１画素値に基づく高周波成分に基づいて高周波画像を生成する第１生成ステップと、
    取得された前記画像の前記複数の第１画素値に基づく色情報に基づいて１種類以上の色のそれぞれに対応する１以上の色画像を生成する第２生成ステップと、
    前記高周波画像および前記１以上の色画像を重み付け加算することで合成画像を生成する合成ステップと、
    生成された前記合成画像を出力する出力ステップと、を含む
    画像処理方法。
  2. 前記合成ステップでは、前記画像に含まれる高周波成分が第１閾値より大きい場合、前記合成画像の生成における前記高周波画像に対する重みを前記１以上の色画像に対する重みより小さくする
    請求項１に記載の画像処理方法。
  3. 前記合成ステップでは、前記画像に含まれる高周波成分が第２閾値より小さい場合、前記合成画像の生成における前記高周波画像に対する重みを前記１以上の色画像に対する重みより大きくする
    請求項１または２に記載の画像処理方法。
  4. 前記合成ステップでは、前記高周波画像と前記１以上の色画像とが重複する第１領域の大きさが第３閾値より大きい場合、前記合成画像の生成における前記高周波画像に対する重みおよび前記１以上の色画像に対する重みを共に所定の基準値より小さくする
    請求項１から３のいずれか１項に記載の画像処理方法。
  5. 前記合成ステップでは、取得された前記画像のうちの特定の色であると判定される画素により構成される第２領域の大きさが第４閾値より小さい場合、前記合成画像の生成における前記高周波画像に対する重みおよび前記１以上の色画像に対する重みを共に０にする
    請求項１から４のいずれか１項に記載の画像処理方法。
  6. さらに、
    出力された前記合成画像を構成する複数の第２画素がそれぞれ有する複数の第２画素値に基づいて、前記画像に対して所定の画像処理を行う画像処理ステップを含む
    請求項１から５のいずれか１項に記載の画像処理方法。
  7. 画像を取得する取得部と、
    取得された前記画像を構成する複数の第１画素がそれぞれ有する複数の第１画素値に基づく高周波成分に基づいて高周波画像を生成する第１生成部と、
    取得された前記画像の前記複数の第１画素値に基づく色情報に基づいて１種類以上の色のそれぞれに対応する１以上の色画像を生成する第２生成部と、
    前記高周波画像および前記１以上の色画像を重み付け加算することで合成画像を合成する合成部と、
    合成された前記合成画像を出力する出力部と、を備える
    画像処理装置。
  8. 画像を取得する取得ステップと、
    取得された前記画像を構成する複数の第１画素がそれぞれ有する複数の第１画素値に基づく高周波成分に基づいて高周波画像を生成する第１生成ステップと、
    取得された前記画像の前記複数の第１画素値に基づく色情報に基づいて１種類以上の色のそれぞれに対応する１以上の色画像を生成する第２生成ステップと、
    前記高周波画像および前記１以上の色画像を重み付け加算することで合成画像を生成する合成ステップと、
    生成された前記合成画像を出力する出力ステップと、を含む
    画像処理方法をコンピュータに実行させるためのプログラム。
JP2021522623A 2019-05-30 2020-01-16 画像処理方法、画像処理装置およびプログラム Active JP7065360B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019101648 2019-05-30
JP2019101648 2019-05-30
PCT/JP2020/001359 WO2020240913A1 (ja) 2019-05-30 2020-01-16 画像処理方法、画像処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020240913A1 JPWO2020240913A1 (ja) 2021-10-14
JP7065360B2 true JP7065360B2 (ja) 2022-05-12

Family

ID=73553332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021522623A Active JP7065360B2 (ja) 2019-05-30 2020-01-16 画像処理方法、画像処理装置およびプログラム

Country Status (4)

Country Link
US (1) US20220130053A1 (ja)
EP (1) EP3979199A4 (ja)
JP (1) JP7065360B2 (ja)
WO (1) WO2020240913A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3979195B1 (en) * 2019-05-30 2024-04-24 Panasonic Intellectual Property Management Co., Ltd. Image processing method and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038480A (ja) 2002-07-02 2004-02-05 Canon Inc 画像認識方法、画像認識装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体
WO2009153983A1 (ja) 2008-06-18 2009-12-23 パナソニック株式会社 画像処理装置、撮像装置、方法、およびプログラム
JP6215128B2 (ja) 2014-04-24 2017-10-18 京セラ株式会社 携帯電子機器、制御方法及び制御プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5799111A (en) * 1991-06-14 1998-08-25 D.V.P. Technologies, Ltd. Apparatus and methods for smoothing images
JP3378601B2 (ja) * 1993-01-14 2003-02-17 三洋電機株式会社 画像処理装置
WO2000018128A1 (en) * 1998-09-24 2000-03-30 The Trustees Of Columbia University In The City Of New York System and method for semantic video object segmentation
JP3793036B2 (ja) * 2001-04-16 2006-07-05 キヤノン株式会社 画像処理装置及び方法、並びに、コンピュータプログラム及び記憶媒体
JP4623388B2 (ja) * 2008-09-08 2011-02-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5645051B2 (ja) * 2010-02-12 2014-12-24 国立大学法人東京工業大学 画像処理装置
JP5840069B2 (ja) * 2012-05-08 2016-01-06 富士フイルム株式会社 光音響画像生成装置、システム、及び方法
US9478004B2 (en) * 2013-04-11 2016-10-25 John Balestrieri Method and system for analog/digital image simplification and stylization
US9898812B1 (en) * 2015-12-09 2018-02-20 Amazon Technologies, Inc. Composite image quality assurance
JP6757407B2 (ja) * 2016-06-15 2020-09-16 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN109583364A (zh) * 2018-11-27 2019-04-05 上海鹰瞳医疗科技有限公司 图像识别方法及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038480A (ja) 2002-07-02 2004-02-05 Canon Inc 画像認識方法、画像認識装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体
WO2009153983A1 (ja) 2008-06-18 2009-12-23 パナソニック株式会社 画像処理装置、撮像装置、方法、およびプログラム
JP6215128B2 (ja) 2014-04-24 2017-10-18 京セラ株式会社 携帯電子機器、制御方法及び制御プログラム

Also Published As

Publication number Publication date
WO2020240913A1 (ja) 2020-12-03
US20220130053A1 (en) 2022-04-28
EP3979199A4 (en) 2022-08-03
EP3979199A1 (en) 2022-04-06
JPWO2020240913A1 (ja) 2021-10-14

Similar Documents

Publication Publication Date Title
TWI734978B (zh) 用於執行高動態範圍視訊的色調映射的方法及裝置
US10891722B2 (en) Display method and display device
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
US9275444B2 (en) Image processing apparatus, image processing method, and program to prevent degradation of image quality
JP4949463B2 (ja) アップスケーリング
US11770624B2 (en) Efficient and flexible color processor
JP7065360B2 (ja) 画像処理方法、画像処理装置およびプログラム
CN113068011B (zh) 图像传感器、图像处理方法及系统
US8068691B2 (en) Sparkle processing
JPWO2017203941A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US8471931B2 (en) Video recording system
JP4958926B2 (ja) 信号処理装置及び方法
KR101900632B1 (ko) 화상 변환 방법, 운전자 보조 시스템 및 자동차
US20210158487A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
JP7022949B2 (ja) 画像処理方法、画像処理装置およびプログラム
JP5179433B2 (ja) ノイズリダクション装置、ノイズリダクション方法、および動画再生装置
US11501416B2 (en) Image processing method and image processing circuit capable of smoothing false contouring without using low-pass filtering
US20210304374A1 (en) Tone mapping method
JP2009253632A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2015103969A (ja) 画像符号化装置及び画像符号化方法
WO2006082542A1 (en) Clipping

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220328

R151 Written notification of patent or utility model registration

Ref document number: 7065360

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151