JP6334967B2 - 画像処理方法、画像処理装置、及びプログラム - Google Patents
画像処理方法、画像処理装置、及びプログラム Download PDFInfo
- Publication number
- JP6334967B2 JP6334967B2 JP2014049508A JP2014049508A JP6334967B2 JP 6334967 B2 JP6334967 B2 JP 6334967B2 JP 2014049508 A JP2014049508 A JP 2014049508A JP 2014049508 A JP2014049508 A JP 2014049508A JP 6334967 B2 JP6334967 B2 JP 6334967B2
- Authority
- JP
- Japan
- Prior art keywords
- background
- image
- background color
- pixel
- contribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理方法、画像処理装置、及びプログラムに関し、特に、画像全体から前景画像と背景画像とを分離する画像分離方法に関する。
ディジタルカメラ等によって撮影された静止画像を対象として、グラフカットによって画像全体から前景画像と背景画像とを分離する画像分離方法が知られている(例えば下記特許文献1参照)。
背景技術に係る画像分離方法によると、まず、画像全体の中で前景画像を含む矩形エリアが指定される。次に、矩形エリア内の画像に基づいて前景用のガウス混合分布が作成されるとともに、矩形エリア外の画像に基づいて背景用のガウス混合分布が作成される。次に、上記で作成した前景用及び背景用のガウス混合分布を用いたグラフカットによって、矩形エリア内の各画素が「前景」及び「背景」のいずれかに分類される。
上述した背景技術に係る画像分離方法によると、矩形エリア外の画像に基づいて作成された背景用のガウス混合分布を用いてグラフカットが行われる。
例えば、人物が海と砂浜とをバックにし、顔が砂浜には重なっているが海には重なっていない構図のポートレート写真を想定する。この場合、背景用のガウス混合分布としては、砂浜の白と海の青とが大きな面積を占めるガウス混合分布が作成される。しかし、顔の周りに指定される矩形エリア内には海の青が含まれていないため、背景用のガウス混合分布のうち青成分に関するガウス分布は無駄となり、他の色成分に関する表現力が低下する。このように、背景技術に係る画像分離方法によると、画像全体と矩形エリア内とで背景の色分布が大きく異なる場合には、矩形エリア内での背景に関する表現力が低下し、その結果、前景画像と背景画像との分離精度が低下する。
本発明はかかる問題を解決するために成されたものであり、画像全体と指定エリア内とで背景の色分布が大きく異なる場合であっても、指定エリア内における前景画像と背景画像との分離精度を向上することが可能な、画像処理方法、画像処理装置、及びプログラムを得ることを目的とする。
本発明の第1の態様に係る画像処理方法は、(A)画像全体の中で指定された指定エリア内の画像に基づいて、複数の前景用色分布を混合した前景用特徴モデルを作成するステップと、(B)指定エリア外の画像に基づいて、複数の背景用色分布を混合した第1の背景用特徴モデルを作成するステップと、(C)各背景用色分布に関して、指定エリア内の画像に対する寄与度を算出するステップと、(D)寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第2の背景用特徴モデルを生成するステップと、(E)前景用特徴モデルと第2の背景用特徴モデルとに基づいて、指定エリア内の画像を前景画像と背景画像とに分離するステップと、を備えることを特徴とするものである。
第1の態様に係る画像処理方法によれば、ステップ(B)では、指定エリア外の画像に基づいて、第1の背景用特徴モデルが作成され、ステップ(C)では、各背景用色分布に関して、指定エリア内の画像に対する寄与度が算出され、ステップ(D)では、寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第2の背景用特徴モデルが生成される。このように、指定エリア外の画像に基づいて作成された第1の背景用特徴モデルが、指定エリア内の画像に対する寄与度に応じた重み値を用いて、第2の背景用特徴モデルに修正されるため、画像全体と指定エリア内とで背景の色分布が大きく異なる場合であっても、指定エリア内における前景画像と背景画像との分離精度を向上することが可能となる。
本発明の第2の態様に係る画像処理方法は、第1の態様に係る画像処理方法において特に、前記ステップ(C)は、(C−1)指定エリア内の画像に含まれる各画素を、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類するステップと、(C−2)各背景用色分布に分類された画素数の順位として、寄与度を算出するステップと、を含むことを特徴とするものである。
第2の態様に係る画像処理方法によれば、ステップ(C−1)では、指定エリア内の画像に含まれる各画素が、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類される。従って、簡易に分類を行うことが可能となる。また、ステップ(C−2)では、各背景用色分布に分類された画素数の順位として、寄与度が算出される。このように、順位として寄与度を算出することにより、重み値を恣意的に決定することが可能となる。
本発明の第3の態様に係る画像処理方法は、第1の態様に係る画像処理方法において特に、前記ステップ(C)は、(C−1)指定エリア内の画像に含まれる各画素を、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類するステップと、(C−2)指定エリア内の画像に含まれる総画素数に対する、各背景用色分布に分類された画素数の割合として、寄与度を算出するステップと、を含むことを特徴とするものである。
第3の態様に係る画像処理方法によれば、ステップ(C−1)では、指定エリア内の画像に含まれる各画素が、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類される。従って、簡易に分類を行うことが可能となる。また、ステップ(C−2)では、指定エリア内の画像に含まれる総画素数に対する、各背景用色分布に分類された画素数の割合として、寄与度が算出される。このように、割合として寄与度を算出することにより、重み値を簡易に決定することが可能となる。
本発明の第4の態様に係る画像処理方法は、第1の態様に係る画像処理方法において特に、前記ステップ(C)は、(C−1)指定エリア内の画像に含まれる各画素に関して、各背景用色分布との距離を算出するステップと、(C−2)前記ステップ(C−1)で算出した距離を、指定エリア内の画像に含まれる全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離を算出するステップと、(C−3)各背景用色分布に関する累積距離の順位として、寄与度を算出するステップと、を含むことを特徴とするものである。
第4の態様に係る画像処理方法によれば、ステップ(C−1)では、指定エリア内の画像に含まれる各画素に関して、各背景用色分布との距離が算出され、ステップ(C−2)では、ステップ(C−1)で算出した距離を、指定エリア内の画像に含まれる全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離が算出される。このように、距離が最も近い背景用色分布だけでなく、全ての背景用色分布との距離に基づいて寄与度を算出することにより、距離が最も近いわけではないが有用である背景用色分布の影響を、修正後の第2の背景用特徴モデルに反映させることが可能となる。また、ステップ(C−3)では、各背景用色分布に関する累積距離の順位として、寄与度が算出される。このように、順位として寄与度を算出することにより、重み値を恣意的に決定することが可能となる。
本発明の第5の態様に係る画像処理方法は、第1の態様に係る画像処理方法において特に、前記ステップ(C)は、(C−1)指定エリア内の画像に含まれる各画素に関して、各背景用色分布との距離を算出するステップと、(C−2)前記ステップ(C−1)で算出した距離を、指定エリア内の画像に含まれる全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離を算出するステップと、(C−3)全背景用色分布に関する累積距離の総和に対する、各背景用色分布に関する累積距離の割合として、寄与度を算出するステップと、を含むことを特徴とするものである。
第5の態様に係る画像処理方法によれば、ステップ(C−1)では、指定エリア内の画像に含まれる各画素に関して、各背景用色分布との距離が算出され、ステップ(C−2)では、ステップ(C−1)で算出した距離を、指定エリア内の画像に含まれる全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離が算出される。このように、距離が最も近い背景用色分布だけでなく、全ての背景用色分布との距離に基づいて寄与度を算出することにより、距離が最も近いわけではないが有用である背景用色分布の影響を、修正後の第2の背景用特徴モデルに反映させることが可能となる。また、ステップ(C−3)では、全背景用色分布に関する累積距離の総和に対する、各背景用色分布に関する累積距離の割合として、寄与度が算出される。このように、割合として寄与度を算出することにより、重み値を簡易に決定することが可能となる。
本発明の第6の態様に係る画像処理方法は、第1の態様に係る画像処理方法において特に、前記ステップ(C)は、(C−1)指定エリア内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類するステップと、(C−2)推定背景画素に分類された各画素を、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類するステップと、(C−3)各背景用色分布に分類された画素数の順位として、寄与度を算出するステップと、を含むことを特徴とするものである。
第6の態様に係る画像処理方法によれば、ステップ(C−1)では、指定エリア内の画像に含まれる各画素が、推定前景画素及び推定背景画素のいずれかに分類され、ステップ(C−2)では、推定背景画素に分類された各画素が、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類される。従って、推定前景画素の影響を排除して分離精度を向上できるとともに、簡易に分類を行うことが可能となる。また、ステップ(C−3)では、各背景用色分布に分類された画素数の順位として、寄与度が算出される。このように、順位として寄与度を算出することにより、重み値を恣意的に決定することが可能となる。
本発明の第7の態様に係る画像処理方法は、第1の態様に係る画像処理方法において特に、前記ステップ(C)は、(C−1)指定エリア内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類するステップと、(C−2)推定背景画素に分類された各画素を、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類するステップと、(C−3)推定背景画素に分類された総画素数に対する、各背景用色分布に分類された画素数の割合として、寄与度を算出するステップと、を含むことを特徴とするものである。
第7の態様に係る画像処理方法によれば、ステップ(C−1)では、指定エリア内の画像に含まれる各画素が、推定前景画素及び推定背景画素のいずれかに分類され、ステップ(C−2)では、推定背景画素に分類された各画素が、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類される。従って、推定前景画素の影響を排除して分離精度を向上できるとともに、簡易に分類を行うことが可能となる。また、ステップ(C−3)では、推定背景画素に分類された総画素数に対する、各背景用色分布に分類された画素数の割合として、寄与度が算出される。このように、割合として寄与度を算出することにより、重み値を簡易に決定することが可能となる。
本発明の第8の態様に係る画像処理方法は、第1の態様に係る画像処理方法において特に、前記ステップ(C)は、(C−1)指定エリア内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類するステップと、(C−2)推定背景画素に分類された各画素に関して、各背景用色分布との距離を算出するステップと、(C−3)前記ステップ(C−2)で算出した距離を、推定背景画素に分類された全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離を算出するステップと、(C−4)各背景用色分布に関する累積距離の順位として、寄与度を算出するステップと、を含むことを特徴とするものである。
第8の態様に係る画像処理方法によれば、ステップ(C−1)では、指定エリア内の画像に含まれる各画素が、推定前景画素及び推定背景画素のいずれかに分類され、ステップ(C−2)では、推定背景画素に分類された各画素に関して、各背景用色分布との距離が算出され、ステップ(C−3)では、ステップ(C−2)で算出した距離を、推定背景画素に分類された全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離が算出される。従って、推定前景画素の影響を排除して分離精度を向上することが可能となる。また、距離が最も近い背景用色分布だけでなく、全ての背景用色分布との距離に基づいて寄与度を算出することにより、距離が最も近いわけではないが有用である背景用色分布の影響を、修正後の第2の背景用特徴モデルに反映させることが可能となる。また、ステップ(C−4)では、各背景用色分布に関する累積距離の順位として、寄与度が算出される。このように、順位として寄与度を算出することにより、重み値を恣意的に決定することが可能となる。
本発明の第9の態様に係る画像処理方法は、第1の態様に係る画像処理方法において特に、前記ステップ(C)は、(C−1)指定エリア内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類するステップと、(C−2)推定背景画素に分類された各画素に関して、各背景用色分布との距離を算出するステップと、(C−3)前記ステップ(C−2)で算出した距離を、推定背景画素に分類された全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離を算出するステップと、(C−4)全背景用色分布に関する累積距離の総和に対する、各背景用色分布に関する累積距離の割合として、寄与度を算出するステップと、を含むことを特徴とするものである。
第9の態様に係る画像処理方法によれば、ステップ(C−1)では、指定エリア内の画像に含まれる各画素が、推定前景画素及び推定背景画素のいずれかに分類され、ステップ(C−2)では、推定背景画素に分類された各画素に関して、各背景用色分布との距離が算出され、ステップ(C−3)では、ステップ(C−2)で算出した距離を、推定背景画素に分類された全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離が算出される。従って、推定前景画素の影響を排除して分離精度を向上することが可能となる。また、距離が最も近い背景用色分布だけでなく、全ての背景用色分布との距離に基づいて寄与度を算出することにより、距離が最も近いわけではないが有用である背景用色分布の影響を、修正後の第2の背景用特徴モデルに反映させることが可能となる。また、ステップ(C−4)では、全背景用色分布に関する累積距離の総和に対する、各背景用色分布に関する累積距離の割合として、寄与度が算出される。このように、割合として寄与度を算出することにより、重み値を簡易に決定することが可能となる。
本発明の第10の態様に係る画像処理方法は、第1〜第9のいずれか一つの態様に係る画像処理方法において特に、前記ステップ(B)は、各背景用色分布の中心座標を決定するステップを含み、前記ステップ(D)では、前記ステップ(C)で算出された寄与度に応じた重み値に基づいて、新たな中心座標が決定されることを特徴とするものである。
第10の態様に係る画像処理方法によれば、ステップ(D)では、ステップ(C)で算出された寄与度に応じた重み値に基づいて、新たな中心座標が決定される。従って、寄与度が反映された新たな中心座標が設定されることによって背景用特徴モデルの適正化を図ることができ、その結果、分離精度を向上することが可能となる。
本発明の第11の態様に係る画像処理方法は、第1〜第9のいずれか一つの態様に係る画像処理方法において特に、前記ステップ(B)は、各背景用色分布の中心座標を決定するステップを含み、前記ステップ(D)では、前記ステップ(B)で決定された中心座標と共通の中心座標が使用されることを特徴とするものである。
第11の態様に係る画像処理方法によれば、ステップ(D)では、ステップ(B)で決定された中心座標と共通の中心座標が使用される。従って、新たな中心座標を決定する処理が不要となるため、処理負荷を軽減することが可能となる。
本発明の第12の態様に係る画像処理方法は、第1〜第11のいずれか一つの態様に係る画像処理方法において特に、前記ステップ(D)では、前記ステップ(C)で算出された寄与度に応じた重み値に基づいて、各背景用色分布の重み付けを行うことにより、第2の背景用特徴モデルが生成されることを特徴とするものである。
第12の態様に係る画像処理方法によれば、ステップ(D)では、ステップ(C)で算出された寄与度に応じた重み値に基づいて、各背景用色分布の重み付けを行うことによって、第2の背景用特徴モデルが生成される。従って、寄与度を反映させて各背景用色分布の重み付けを行うことによって背景用特徴モデルの適正化を図ることができ、その結果、分離精度を向上することが可能となる。
本発明の第13の態様に係る画像処理装置は、画像全体の中で指定された指定エリア内の画像に基づいて、複数の前景用色分布を混合した前景用特徴モデルを作成する、前景用特徴モデル作成部と、指定エリア外の画像に基づいて、複数の背景用色分布を混合した第1の背景用特徴モデルを作成する、背景用特徴モデル作成部と、各背景用色分布に関して、指定エリア内の画像に対する寄与度を算出する寄与度演算部と、寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第2の背景用特徴モデルを生成する、背景用特徴モデル修正部と、前景用特徴モデルと第2の背景用特徴モデルとに基づいて、指定エリア内の画像を前景画像と背景画像とに分離する画像分離部と、
を備えることを特徴とするものである。
を備えることを特徴とするものである。
第13の態様に係る画像処理装置によれば、背景用特徴モデル作成部は、指定エリア外の画像に基づいて、第1の背景用特徴モデルを作成し、寄与度演算部は、各背景用色分布に関して、指定エリア内の画像に対する寄与度を算出し、背景用特徴モデル修正部は、寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第2の背景用特徴モデルを生成する。このように、指定エリア外の画像に基づいて作成された第1の背景用特徴モデルが、指定エリア内の画像に対する寄与度に応じた重み値を用いて、第2の背景用特徴モデルに修正されるため、画像全体と指定エリア内とで背景の色分布が大きく異なる場合であっても、指定エリア内における前景画像と背景画像との分離精度を向上することが可能となる。
本発明の第14の態様に係るプログラムは、コンピュータに、(A)画像全体の中で指定された指定エリア内の画像に基づいて、複数の前景用色分布を混合した前景用特徴モデルを作成するステップと、(B)指定エリア外の画像に基づいて、複数の背景用色分布を混合した第1の背景用特徴モデルを作成するステップと、(C)各背景用色分布に関して、指定エリア内の画像に対する寄与度を算出するステップと、(D)寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第2の背景用特徴モデルを生成するステップと、(E)前景用特徴モデルと第2の背景用特徴モデルとに基づいて、指定エリア内の画像を前景画像と背景画像とに分離するステップと、を実行させるためのプログラムである。
第14の態様に係るプログラムによれば、ステップ(B)では、指定エリア外の画像に基づいて、第1の背景用特徴モデルが作成され、ステップ(C)では、各背景用色分布に関して、指定エリア内の画像に対する寄与度が算出され、ステップ(D)では、寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第2の背景用特徴モデルが生成される。このように、指定エリア外の画像に基づいて作成された第1の背景用特徴モデルが、指定エリア内の画像に対する寄与度に応じた重み値を用いて、第2の背景用特徴モデルに修正されるため、画像全体と指定エリア内とで背景の色分布が大きく異なる場合であっても、指定エリア内における前景画像と背景画像との分離精度を向上することが可能となる。
本発明によれば、画像全体と指定エリア内とで背景の色分布が大きく異なる場合であっても、指定エリア内における前景画像と背景画像との分離精度を向上することが可能となる。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
図1は、本発明の実施の形態に係る画像処理装置1の構成を示す図である。図1の接続関係で示すように、画像処理装置1は、前景用ガウス混合モデル作成部2、背景用ガウス混合モデル作成部3、寄与度演算部4、背景用ガウス混合モデル修正部5、及び画像分離部6を備えて構成されている。画像処理装置1は、専用LSI等のハードウェアによって構成されている。
画像処理装置1には、ディジタルカメラ等によって撮影された静止画像が、入力画像データD1として入力される。画像処理装置1は、グラフカットによって画像全体から前景画像と背景画像とを分離し、前景画像に関する出力画像データD6を出力する。
なお、画像処理装置1は、ソフトウェアによって実現されても良い。図2は、画像処理装置1の機能を実現するコンピュータの構成を示す図である。CPU11、RAM12、及びROM13が、バス10を介して相互に接続されている。ROM13内にはプログラム14が格納されている。CPU11がROM13からRAM12にプログラム14を読み出して実行することにより、CPU11は図1に示した画像処理装置1として動作する。換言すれば、プログラム14は、コンピュータを、前景用ガウス混合モデル作成部2、背景用ガウス混合モデル作成部3、寄与度演算部4、背景用ガウス混合モデル修正部5、及び画像分離部6として機能させるためのプログラムである。
図3は、入力画像の一例を簡略化して示す図である。ユーザは、画像全体50のうち前景画像として抽出したいオブジェクト51を含む矩形エリア52を、マウス操作等によって指定する。但し、ユーザによる手動指定に代えて、パターンマッチング等による自動指定によって矩形エリア52の指定が行われても良い。
図4は、画像処理装置1が実行する処理の流れを示すフローチャートである。まずステップSP101において前景用ガウス混合モデル作成部2は、矩形エリア52内の画像に基づいて、色分布が異なる複数の前景用ガウス分布を作成する。そして、それらの前景用ガウス分布を混合することによって前景用ガウス混合モデルを作成し、データD2として出力する。また、背景用ガウス混合モデル作成部3は、矩形エリア52外の画像に基づいて、色分布が異なる複数K個(例えば5個)の背景用ガウス分布を作成する。そして、それらの背景用ガウス分布を混合することによって背景用ガウス混合モデルを作成し、データD3として出力する。
次にステップSP102において寄与度演算部4は、K個の背景用ガウス分布の各々に関して、矩形エリア52内の画像に対する寄与度(詳細は後述する)を算出し、データD4として出力する。
次にステップSP103において背景用ガウス混合モデル修正部5は、寄与度に応じた重み値を用いて各背景用ガウス分布を修正することにより、背景用ガウス混合モデルを生成し、データD5として出力する。つまり、背景用ガウス混合モデル修正部5は、寄与度が高い背景用ガウス分布に属する画素には高い重み値を割り当て、寄与度が低い背景用ガウス分布に属する画素には低い重み値を割り当てて、矩形エリア52外の画像に基づいてK個の背景用ガウス分布を再計算する。そして、再計算した背景用ガウス分布を混合することによって修正後の背景用ガウス混合モデルを作成し、データD5として出力する。なお、寄与度に応じた重み値としては、実験やシミュレーション等によって最適値が予め求められている。
次にステップSP104において画像分離部6は、前景用ガウス混合モデル(データD2)と背景用ガウス混合モデル(データD5)とに基づいて、グラフカットによって矩形エリア52内の画像を前景画像と背景画像とに分離し、前景画像に関する出力画像データD6を出力する。
図5は、寄与度の算出手法の第1の例を示すフローチャートである。まずステップSP201において寄与度演算部4は、矩形エリア52内の画像に含まれる各画素を、ステップSP101で求めたK個の背景用ガウス分布の中で距離Lが最も近いいずれかの背景用ガウス分布に分類する。図6は、一つの背景用ガウス分布を示す図である。横軸はRGBの色分布であり、縦軸は画素度数である。本明細書では、ある画素の画素値(RGB値)に対応する画素度数を距離Lと定義し、画素値がガウス分布の中心座標に近いほど(つまり距離Lの値が大きいほど)、その画素とそのガウス分布との距離は「近い」と定義する。
次にステップSP202において寄与度演算部4は、各背景用ガウス分布に分類された画素数の順位として、寄与度を算出する。つまり、より多くの画素が属する背景用ガウス分布ほど順位は上位となり、より少ない画素が属する背景用ガウス分布ほど順位は下位となる。
図7は、寄与度の算出手法の第2の例を示すフローチャートである。まずステップSP301において寄与度演算部4は、矩形エリア52内の画像に含まれる各画素を、ステップSP101で求めたK個の背景用ガウス分布の中で距離Lが最も近いいずれかの背景用ガウス分布に分類する。
次にステップSP302において寄与度演算部4は、矩形エリア52内の画像に含まれる総画素数に対する、各背景用ガウス分布に分類された画素数の割合として、寄与度を算出する。つまり、より多くの画素が属する背景用ガウス分布ほど割合は大きくなり、より少ない画素が属する背景用ガウス分布ほど割合は小さくなる。
図8は、寄与度の算出手法の第3の例を示すフローチャートである。まずステップSP401において寄与度演算部4は、矩形エリア52内の画像に含まれる各画素に関して、K個の背景用ガウス分布の各々との距離Lを算出する。
次にステップSP402において寄与度演算部4は、ステップSP401で算出した各画素−各背景用ガウス分布間の距離を、矩形エリア52内の画像に含まれる全画素に関して背景用ガウス分布毎に積算することにより、K個の背景用ガウス分布の各々に関する累積距離を算出する。
次にステップSP403において寄与度演算部4は、各背景用ガウス分布に関する累積距離の順位として、寄与度を算出する。つまり、累積距離の値が大きい背景用ガウス分布ほど順位は上位となり、累積距離の値が小さい背景用ガウス分布ほど順位は下位となる。
図9は、寄与度の算出手法の第4の例を示すフローチャートである。まずステップSP501において寄与度演算部4は、矩形エリア52内の画像に含まれる各画素に関して、K個の背景用ガウス分布の各々との距離Lを算出する。
次にステップSP502において寄与度演算部4は、ステップSP501で算出した各画素−各背景用ガウス分布間の距離を、矩形エリア52内の画像に含まれる全画素に関して背景用ガウス分布毎に積算することにより、K個の背景用ガウス分布の各々に関する累積距離を算出する。
次にステップSP503において寄与度演算部4は、全背景用ガウス分布に関する累積距離の総和に対する、各背景用ガウス分布に関する累積距離の割合として、寄与度を算出する。つまり、累積距離の値が大きい背景用ガウス分布ほど割合は大きくなり、累積距離の値が小さい背景用ガウス分布ほど割合は小さくなる。
図10は、寄与度の算出手法の第5の例を示すフローチャートである。まずステップSP200において寄与度演算部4は、矩形エリア52内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類する。ある画素に関して、最も距離が近い前景用ガウス分布との間の距離L1と、最も距離が近い背景用ガウス分布との間の距離L2とを求め、両者を比較する。そして、距離L1の値よりも距離L2の値のほうが大きければ、その画素を推定背景画素に分類する。一方、距離L2の値よりも距離L1の値のほうが大きければ、その画素を推定前景画素に分類する。
次にステップSP201において寄与度演算部4は、推定背景画素に分類された各画素を、ステップSP101で求めたK個の背景用ガウス分布の中で距離Lが最も近いいずれかの背景用ガウス分布に分類する。
次にステップSP202において寄与度演算部4は、各背景用ガウス分布に分類された画素数の順位として、寄与度を算出する。つまり、より多くの画素が属する背景用ガウス分布ほど順位は上位となり、より少ない画素が属する背景用ガウス分布ほど順位は下位となる。
図11は、寄与度の算出手法の第6の例を示すフローチャートである。まずステップSP300において寄与度演算部4は、矩形エリア52内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類する。
次にステップSP301において寄与度演算部4は、推定背景画素に分類された各画素を、ステップSP101で求めたK個の背景用ガウス分布の中で距離Lが最も近いいずれかの背景用ガウス分布に分類する。
次にステップSP302において寄与度演算部4は、推定背景画素に分類された総画素数に対する、各背景用ガウス分布に分類された画素数の割合として、寄与度を算出する。つまり、より多くの画素が属する背景用ガウス分布ほど割合は大きくなり、より少ない画素が属する背景用ガウス分布ほど割合は小さくなる。
図12は、寄与度の算出手法の第7の例を示すフローチャートである。まずステップSP400において寄与度演算部4は、矩形エリア52内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類する。
次にステップSP401において寄与度演算部4は、推定背景画素に分類された各画素に関して、K個の背景用ガウス分布の各々との距離Lを算出する。
次にステップSP402において寄与度演算部4は、ステップSP401で算出した各画素−各背景用ガウス分布間の距離を、矩形エリア52内の画像に含まれる全画素に関して背景用ガウス分布毎に積算することにより、K個の背景用ガウス分布の各々に関する累積距離を算出する。
次にステップSP403において寄与度演算部4は、各背景用ガウス分布に関する累積距離の順位として、寄与度を算出する。つまり、累積距離の値が大きい背景用ガウス分布ほど順位は上位となり、累積距離の値が小さい背景用ガウス分布ほど順位は下位となる。
図13は、寄与度の算出手法の第8の例を示すフローチャートである。まずステップSP500において寄与度演算部4は、矩形エリア52内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類する。
次にステップSP501において寄与度演算部4は、推定背景画素に分類された各画素に関して、K個の背景用ガウス分布の各々との距離Lを算出する。
次にステップSP502において寄与度演算部4は、ステップSP501で算出した各画素−各背景用ガウス分布間の距離を、矩形エリア52内の画像に含まれる全画素に関して背景用ガウス分布毎に積算することにより、K個の背景用ガウス分布の各々に関する累積距離を算出する。
次にステップSP503において寄与度演算部4は、全背景用ガウス分布に関する累積距離の総和に対する、各背景用ガウス分布に関する累積距離の割合として、寄与度を算出する。つまり、累積距離の値が大きい背景用ガウス分布ほど割合は大きくなり、累積距離の値が小さい背景用ガウス分布ほど割合は小さくなる。
図14は、背景用ガウス混合モデル修正部5によるモデル作成手法(ステップSP103)の第1の例を示すフローチャートである。まずステップSP601Aにおいて背景用ガウス混合モデル修正部5は、矩形エリア52外の画像に基づいて、クラスタリングによってK個の中心座標(初期値)を決定する。このとき背景用ガウス混合モデル修正部5は、ステップSP102で算出した寄与度に基づいて、K個の新たな中心座標を決定する。具体的には、矩形エリア52外の各画素について、ステップSP101で作成したK個の背景用ガウス分布のうち、その画素との距離が最も近いガウス分布(以下「最近ガウス分布」と称す)を、それぞれ特定する。そして、矩形エリア52外の各画素について、その画素の最近ガウス分布の寄与度に応じた重み値によってその画素の画素値(RGB値)を重み付け、重み付けがなされた後の画素値を用いて、K−means等のクラスタリングによってK個の新たな中心座標を設定する。但し、ステップSP101で設定された中心座標がステップSP601Aで再び採用されることを禁止する意図ではなく、ステップSP102で算出した寄与度が高い背景用ガウス分布に関しては、その中心座標がステップSP601Aにおいて再び採用されることもある。一方、ステップSP102で算出した寄与度が低い背景用ガウス分布に関しては、その中心座標がステップSP601Aにおいて再び採用される可能性は低い。
次にステップSP602において背景用ガウス混合モデル修正部5は、矩形エリア52外の画像に含まれる各画素に関して、K個の中心座標の中で最も距離が近いいずれかの中心座標を選択することにより、各画素をK個の画素群のいずれかに分類する。
次にステップSP603において背景用ガウス混合モデル修正部5は、K個の画素群の各々に関して、中心座標及び分散を算出することによって背景用ガウス分布を作成する。
次にステップSP604において背景用ガウス混合モデル修正部5は、ステップSP603で作成した各背景用ガウス分布の重み付けを行うことにより、K個の背景用ガウス分布が混合された背景用ガウス混合モデルを作成する。このとき背景用ガウス混合モデル修正部5は、ステップSP102で算出した寄与度に基づいて、各背景用ガウス分布の重み付けを行う。具体的には、ステップSP603で作成したK個の背景用ガウス分布の各々について、そのガウス分布内に属する全ての画素の重み値(最近ガウス分布の寄与度に応じた上記重み値)を積算することによって、重み積算値を算出する。そして、各背景用ガウス分布に属する画素の画素度数(又はその割合)と、各背景用ガウス分布の重み積算値とに基づいて各背景用ガウス分布の重み付けを行うことにより、背景用ガウス混合モデルを作成する。
なお、ステップSP602〜SP604のアルゴリズムに代えて、EMアルゴリズム(EM:Expectation-Maximization)によってガウス混合モデルを作成しても良い。
図15は、背景用ガウス混合モデル修正部5によるモデル作成手法(ステップSP103)の第2の例を示すフローチャートである。まずステップSP601Bにおいて背景用ガウス混合モデル修正部5は、K個の中心座標を決定する。このとき、中心座標としては、ステップSP101において背景用ガウス混合モデルを作成する際に使用したK個の背景用ガウス分布の中心座標を、ステップSP601Bでもそのまま使用する。
次にステップSP602において背景用ガウス混合モデル修正部5は、矩形エリア52外の画像に含まれる各画素に関して、K個の中心座標の中で最も距離が近いいずれかの中心座標を選択することにより、各画素をK個の画素群のいずれかに分類する。
次にステップSP603において背景用ガウス混合モデル修正部5は、K個の画素群の各々に関して、中心座標及び分散を算出することによって背景用ガウス分布を作成する。
次にステップSP604において背景用ガウス混合モデル修正部5は、ステップSP603で作成した各背景用ガウス分布の重み付けを行うことにより、K個の背景用ガウス分布が混合された背景用ガウス混合モデルを作成する。このとき、上記と同様に背景用ガウス混合モデル修正部5は、各背景用ガウス分布に属する画素の画素度数(又はその割合)と、各背景用ガウス分布の重み積算値とに基づいて各背景用ガウス分布の重み付けを行うことにより、背景用ガウス混合モデルを作成する。
なお、ステップSP602〜SP604のアルゴリズムに代えて、EMアルゴリズムによってガウス混合モデルを作成しても良い。
<変形例>
上記実施の形態では矩形エリア52に関する画像分離を1回のみ実行したが、複数回繰り返して実行しても良い。
上記実施の形態では矩形エリア52に関する画像分離を1回のみ実行したが、複数回繰り返して実行しても良い。
図16は、矩形エリア52に関して画像分離を1回実行した時点での出力画像を示す図である。オブジェクト51の周囲に不要な背景領域53が残っている。
そこで、矩形エリア52全体ではなく、オブジェクト51と残余の背景領域53とを含む1回目の出力画像を入力画像として用いて、2回目の画像分離を実行する。2回目の画像分離でも背景領域が残っている場合には、2回目の出力画像を入力画像として用いて3回目の画像分離を実行する。このように画像分離を繰り返すことにより、残余の背景領域が次第に減少し、最終的にはオブジェクト51のみを適切に抽出することができる。
<まとめ>
本実施の形態に係る画像処理方法によれば、図4に示したように、ステップSP101では、矩形エリア52外の画像に基づいて、背景用ガウス混合モデル(第1の背景用特徴モデル)が作成され、ステップSP102では、各背景用ガウス分布に関して、矩形エリア52内の画像に対する寄与度が算出され、ステップSP103では、寄与度に応じた重み値を用いて各背景用ガウス分布を修正することにより、修正後の背景用ガウス混合モデル(第2の背景用特徴モデル)が生成される。このように、矩形エリア52外の画像に基づいて作成された第1の背景用特徴モデルが、矩形エリア52内の画像に対する寄与度に応じた重み値を用いて、第2の背景用特徴モデルに修正されるため、画像全体と矩形エリア52内とで背景の色分布が大きく異なる場合であっても、矩形エリア52内における前景画像と背景画像との分離精度を向上することが可能となる。
本実施の形態に係る画像処理方法によれば、図4に示したように、ステップSP101では、矩形エリア52外の画像に基づいて、背景用ガウス混合モデル(第1の背景用特徴モデル)が作成され、ステップSP102では、各背景用ガウス分布に関して、矩形エリア52内の画像に対する寄与度が算出され、ステップSP103では、寄与度に応じた重み値を用いて各背景用ガウス分布を修正することにより、修正後の背景用ガウス混合モデル(第2の背景用特徴モデル)が生成される。このように、矩形エリア52外の画像に基づいて作成された第1の背景用特徴モデルが、矩形エリア52内の画像に対する寄与度に応じた重み値を用いて、第2の背景用特徴モデルに修正されるため、画像全体と矩形エリア52内とで背景の色分布が大きく異なる場合であっても、矩形エリア52内における前景画像と背景画像との分離精度を向上することが可能となる。
また、本実施の形態に係る画像処理方法によれば、図5に示したように、ステップSP201では、矩形エリア52内の画像に含まれる各画素が、複数の背景用ガウス分布の中で距離が最も近いいずれかの背景用ガウス分布に分類される。従って、簡易に分類を行うことが可能となる。また、ステップSP202では、各背景用ガウス分布に分類された画素数の順位として、寄与度が算出される。このように、順位として寄与度を算出することにより、重み値を恣意的に決定することが可能となる。
また、本実施の形態に係る画像処理方法によれば、図7に示したように、ステップSP301では、矩形エリア52内の画像に含まれる各画素が、複数の背景用ガウス分布の中で距離が最も近いいずれかの背景用ガウス分布に分類される。従って、簡易に分類を行うことが可能となる。また、ステップSP302では、矩形エリア52内の画像に含まれる総画素数に対する、各背景用ガウス分布に分類された画素数の割合として、寄与度が算出される。このように、割合として寄与度を算出することにより、重み値を簡易に決定することが可能となる。
また、本実施の形態に係る画像処理方法によれば、図8に示したように、ステップSP401では、矩形エリア52内の画像に含まれる各画素に関して、各背景用ガウス分布との距離が算出され、ステップSP402では、ステップSP401で算出した距離を、矩形エリア52内の画像に含まれる全画素に関して背景用ガウス分布毎に積算することにより、各背景用ガウス分布に関する累積距離が算出される。このように、距離が最も近い背景用ガウス分布だけでなく、全ての背景用ガウス分布との距離に基づいて寄与度を算出することにより、距離が最も近いわけではないが有用である背景用ガウス分布の影響を、修正後の第2の背景用特徴モデルに反映させることが可能となる。また、ステップSP403では、各背景用ガウス分布に関する累積距離の順位として、寄与度が算出される。このように、順位として寄与度を算出することにより、重み値を恣意的に決定することが可能となる。
また、本実施の形態に係る画像処理方法によれば、図9に示したように、ステップSP501では、矩形エリア52内の画像に含まれる各画素に関して、各背景用ガウス分布との距離が算出され、ステップSP502では、ステップSP501で算出した距離を、矩形エリア52内の画像に含まれる全画素に関して背景用ガウス分布毎に積算することにより、各背景用ガウス分布に関する累積距離が算出される。このように、距離が最も近い背景用ガウス分布だけでなく、全ての背景用ガウス分布との距離に基づいて寄与度を算出することにより、距離が最も近いわけではないが有用である背景用ガウス分布の影響を、修正後の第2の背景用特徴モデルに反映させることが可能となる。また、ステップSP503では、全背景用ガウス分布に関する累積距離の総和に対する、各背景用ガウス分布に関する累積距離の割合として、寄与度が算出される。このように、割合として寄与度を算出することにより、重み値を簡易に決定することが可能となる。
また、本実施の形態に係る画像処理方法によれば、図10に示したように、ステップSP200では、矩形エリア52内の画像に含まれる各画素が、推定前景画素及び推定背景画素のいずれかに分類され、ステップSP201では、推定背景画素に分類された各画素が、複数の背景用ガウス分布の中で距離が最も近いいずれかの背景用ガウス分布に分類される。従って、推定前景画素の影響を排除して分離精度を向上できるとともに、簡易に分類を行うことが可能となる。また、ステップSP202では、各背景用ガウス分布に分類された画素数の順位として、寄与度が算出される。このように、順位として寄与度を算出することにより、重み値を恣意的に決定することが可能となる。
また、本実施の形態に係る画像処理方法によれば、図11に示したように、ステップSP300では、矩形エリア52内の画像に含まれる各画素が、推定前景画素及び推定背景画素のいずれかに分類され、ステップSP301では、推定背景画素に分類された各画素が、複数の背景用ガウス分布の中で距離が最も近いいずれかの背景用ガウス分布に分類される。従って、推定前景画素の影響を排除して分離精度を向上できるとともに、簡易に分類を行うことが可能となる。また、ステップSP302では、推定背景画素に分類された総画素数に対する、各背景用ガウス分布に分類された画素数の割合として、寄与度が算出される。このように、割合として寄与度を算出することにより、重み値を簡易に決定することが可能となる。
また、本実施の形態に係る画像処理方法によれば、図12に示したように、ステップSP400では、矩形エリア52内の画像に含まれる各画素が、推定前景画素及び推定背景画素のいずれかに分類され、ステップSP401では、推定背景画素に分類された各画素に関して、各背景用ガウス分布との距離が算出され、ステップSP402では、ステップSP401で算出した距離を、推定背景画素に分類された全画素に関して背景用ガウス分布毎に積算することにより、各背景用ガウス分布に関する累積距離が算出される。従って、推定前景画素の影響を排除して分離精度を向上することが可能となる。また、距離が最も近い背景用ガウス分布だけでなく、全ての背景用ガウス分布との距離に基づいて寄与度を算出することにより、距離が最も近いわけではないが有用である背景用ガウス分布の影響を、修正後の第2の背景用特徴モデルに反映させることが可能となる。また、ステップSP403では、各背景用ガウス分布に関する累積距離の順位として、寄与度が算出される。このように、順位として寄与度を算出することにより、重み値を恣意的に決定することが可能となる。
また、本実施の形態に係る画像処理方法によれば、図13に示したように、ステップSP500では、矩形エリア52内の画像に含まれる各画素が、推定前景画素及び推定背景画素のいずれかに分類され、ステップSP501では、推定背景画素に分類された各画素に関して、各背景用ガウス分布との距離が算出され、ステップSP502では、ステップSP501で算出した距離を、推定背景画素に分類された全画素に関して背景用ガウス分布毎に積算することにより、各背景用ガウス分布に関する累積距離が算出される。従って、推定前景画素の影響を排除して分離精度を向上することが可能となる。また、距離が最も近い背景用ガウス分布だけでなく、全ての背景用ガウス分布との距離に基づいて寄与度を算出することにより、距離が最も近いわけではないが有用である背景用ガウス分布の影響を、修正後の第2の背景用特徴モデルに反映させることが可能となる。また、ステップSP503では、全背景用ガウス分布に関する累積距離の総和に対する、各背景用ガウス分布に関する累積距離の割合として、寄与度が算出される。このように、割合として寄与度を算出することにより、重み値を簡易に決定することが可能となる。
また、本実施の形態に係る画像処理方法によれば、図4,14に示したように、ステップSP103(SP601A)では、ステップSP102で算出された寄与度に応じた重み値に基づいて、新たな中心座標が決定される。従って、寄与度が反映された新たな中心座標が設定されることによって背景用特徴モデルの適正化を図ることができ、その結果、分離精度を向上することが可能となる。
また、本実施の形態に係る画像処理方法によれば、図4,15に示したように、ステップSP103(SP601B)では、ステップSP101で決定された中心座標と共通の中心座標が使用される。従って、新たな中心座標を決定する処理が不要となるため、処理負荷を軽減することが可能となる。
また、本実施の形態に係る画像処理方法によれば、図4,14,15に示したように、ステップSP103(SP604)では、ステップSP102で算出された寄与度に応じた重み値に基づいて、各背景用ガウス分布の重み付けを行うことによって、第2の背景用特徴モデルが生成される。従って、寄与度を反映させて各背景用ガウス分布の重み付けを行うことによって背景用特徴モデルの適正化を図ることができ、その結果、分離精度を向上することが可能となる。
1 画像処理装置
2 前景用ガウス混合モデル作成部
3 背景用ガウス混合モデル作成部
4 寄与度演算部
5 背景用ガウス混合モデル修正部
6 画像分離部
14 プログラム
2 前景用ガウス混合モデル作成部
3 背景用ガウス混合モデル作成部
4 寄与度演算部
5 背景用ガウス混合モデル修正部
6 画像分離部
14 プログラム
Claims (14)
- (A)画像全体の中で指定された指定エリア内の画像に基づいて、複数の前景用色分布を混合した前景用特徴モデルを作成するステップと、
(B)指定エリア外の画像に基づいて、複数の背景用色分布を混合した第1の背景用特徴モデルを作成するステップと、
(C)各背景用色分布に関して、指定エリア内の画像に対する寄与度を算出するステップと、
(D)寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第2の背景用特徴モデルを生成するステップと、
(E)前景用特徴モデルと第2の背景用特徴モデルとに基づいて、指定エリア内の画像を前景画像と背景画像とに分離するステップと、
を備える、画像処理方法。 - 前記ステップ(C)は、
(C−1)指定エリア内の画像に含まれる各画素を、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類するステップと、
(C−2)各背景用色分布に分類された画素数の順位として、寄与度を算出するステップと、
を含む、請求項1に記載の画像処理方法。 - 前記ステップ(C)は、
(C−1)指定エリア内の画像に含まれる各画素を、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類するステップと、
(C−2)指定エリア内の画像に含まれる総画素数に対する、各背景用色分布に分類された画素数の割合として、寄与度を算出するステップと、
を含む、請求項1に記載の画像処理方法。 - 前記ステップ(C)は、
(C−1)指定エリア内の画像に含まれる各画素に関して、各背景用色分布との距離を算出するステップと、
(C−2)前記ステップ(C−1)で算出した距離を、指定エリア内の画像に含まれる全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離を算出するステップと、
(C−3)各背景用色分布に関する累積距離の順位として、寄与度を算出するステップと、
を含む、請求項1に記載の画像処理方法。 - 前記ステップ(C)は、
(C−1)指定エリア内の画像に含まれる各画素に関して、各背景用色分布との距離を算出するステップと、
(C−2)前記ステップ(C−1)で算出した距離を、指定エリア内の画像に含まれる全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離を算出するステップと、
(C−3)全背景用色分布に関する累積距離の総和に対する、各背景用色分布に関する累積距離の割合として、寄与度を算出するステップと、
を含む、請求項1に記載の画像処理方法。 - 前記ステップ(C)は、
(C−1)指定エリア内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類するステップと、
(C−2)推定背景画素に分類された各画素を、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類するステップと、
(C−3)各背景用色分布に分類された画素数の順位として、寄与度を算出するステップと、
を含む、請求項1に記載の画像処理方法。 - 前記ステップ(C)は、
(C−1)指定エリア内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類するステップと、
(C−2)推定背景画素に分類された各画素を、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類するステップと、
(C−3)推定背景画素に分類された総画素数に対する、各背景用色分布に分類された画素数の割合として、寄与度を算出するステップと、
を含む、請求項1に記載の画像処理方法。 - 前記ステップ(C)は、
(C−1)指定エリア内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類するステップと、
(C−2)推定背景画素に分類された各画素に関して、各背景用色分布との距離を算出するステップと、
(C−3)前記ステップ(C−2)で算出した距離を、推定背景画素に分類された全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離を算出するステップと、
(C−4)各背景用色分布に関する累積距離の順位として、寄与度を算出するステップと、
を含む、請求項1に記載の画像処理方法。 - 前記ステップ(C)は、
(C−1)指定エリア内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類するステップと、
(C−2)推定背景画素に分類された各画素に関して、各背景用色分布との距離を算出するステップと、
(C−3)前記ステップ(C−2)で算出した距離を、推定背景画素に分類された全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離を算出するステップと、
(C−4)全背景用色分布に関する累積距離の総和に対する、各背景用色分布に関する累積距離の割合として、寄与度を算出するステップと、
を含む、請求項1に記載の画像処理方法。 - 前記ステップ(B)は、各背景用色分布の中心座標を決定するステップを含み、
前記ステップ(D)では、前記ステップ(C)で算出された寄与度に応じた重み値に基づいて、新たな中心座標が決定される、請求項1〜9のいずれか一つに記載の画像処理方法。 - 前記ステップ(B)は、各背景用色分布の中心座標を決定するステップを含み、
前記ステップ(D)では、前記ステップ(B)で決定された中心座標と共通の中心座標が使用される、請求項1〜9のいずれか一つに記載の画像処理方法。 - 前記ステップ(D)では、前記ステップ(C)で算出された寄与度に応じた重み値に基づいて、各背景用色分布の重み付けを行うことにより、第2の背景用特徴モデルが生成される、請求項1〜11のいずれか一つに記載の画像処理方法。
- 画像全体の中で指定された指定エリア内の画像に基づいて、複数の前景用色分布を混合した前景用特徴モデルを作成する、前景用特徴モデル作成部と、
指定エリア外の画像に基づいて、複数の背景用色分布を混合した第1の背景用特徴モデルを作成する、背景用特徴モデル作成部と、
各背景用色分布に関して、指定エリア内の画像に対する寄与度を算出する寄与度演算部と、
寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第2の背景用特徴モデルを生成する、背景用特徴モデル修正部と、
前景用特徴モデルと第2の背景用特徴モデルとに基づいて、指定エリア内の画像を前景画像と背景画像とに分離する画像分離部と、
を備える、画像処理装置。 - コンピュータに、
(A)画像全体の中で指定された指定エリア内の画像に基づいて、複数の前景用色分布を混合した前景用特徴モデルを作成するステップと、
(B)指定エリア外の画像に基づいて、複数の背景用色分布を混合した第1の背景用特徴モデルを作成するステップと、
(C)各背景用色分布に関して、指定エリア内の画像に対する寄与度を算出するステップと、
(D)寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第2の背景用特徴モデルを生成するステップと、
(E)前景用特徴モデルと第2の背景用特徴モデルとに基づいて、指定エリア内の画像を前景画像と背景画像とに分離するステップと、
を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014049508A JP6334967B2 (ja) | 2014-03-12 | 2014-03-12 | 画像処理方法、画像処理装置、及びプログラム |
PCT/JP2015/057060 WO2015137358A1 (ja) | 2014-03-12 | 2015-03-10 | 画像処理方法、画像処理装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014049508A JP6334967B2 (ja) | 2014-03-12 | 2014-03-12 | 画像処理方法、画像処理装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015176163A JP2015176163A (ja) | 2015-10-05 |
JP6334967B2 true JP6334967B2 (ja) | 2018-05-30 |
Family
ID=54071801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014049508A Expired - Fee Related JP6334967B2 (ja) | 2014-03-12 | 2014-03-12 | 画像処理方法、画像処理装置、及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6334967B2 (ja) |
WO (1) | WO2015137358A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017126304A (ja) * | 2016-01-15 | 2017-07-20 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法、画像処理システムおよびプログラム |
CN106056606A (zh) * | 2016-05-30 | 2016-10-26 | 乐视控股(北京)有限公司 | 图像处理方法及装置 |
CN109739220A (zh) * | 2018-12-06 | 2019-05-10 | 珠海格力电器股份有限公司 | 一种定位控制方法、装置、存储介质及机器人 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6044138B2 (ja) * | 2012-07-05 | 2016-12-14 | カシオ計算機株式会社 | 画像領域分割装置、方法、およびプログラム |
JP5872401B2 (ja) * | 2012-07-10 | 2016-03-01 | セコム株式会社 | 領域分割装置 |
-
2014
- 2014-03-12 JP JP2014049508A patent/JP6334967B2/ja not_active Expired - Fee Related
-
2015
- 2015-03-10 WO PCT/JP2015/057060 patent/WO2015137358A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2015137358A1 (ja) | 2015-09-17 |
JP2015176163A (ja) | 2015-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109191395B (zh) | 图像对比度增强方法、装置、设备及存储介质 | |
JP5253835B2 (ja) | 画像生成装置、画像生成方法及びコンピュータプログラム | |
US20170323430A1 (en) | Image processing apparatus and image processing method | |
JP6663285B2 (ja) | 画像生成方法及び画像生成システム | |
US20110096988A1 (en) | Image enhancement method and apparatuses utilizing the same | |
US9443287B2 (en) | Image processing method and apparatus using trained dictionary | |
JP6818463B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6334967B2 (ja) | 画像処理方法、画像処理装置、及びプログラム | |
JP2015232869A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
WO2019209751A1 (en) | Superpixel merging | |
JP6489761B2 (ja) | 画像処理装置及び画像処理方法、プログラム | |
US9965881B2 (en) | Method for generating image and image generation system | |
CN102446347A (zh) | 图像白平衡方法和装置 | |
JP2017524404A5 (ja) | ||
WO2015198368A1 (ja) | 画像処理装置及び画像処理方法 | |
JP5705391B1 (ja) | 画像処理装置及び画像処理方法 | |
US20210304006A1 (en) | Mini-batch learning apparatus, operation program of mini-batch learning apparatus, and operation method of mini-batch learning apparatus | |
CN112837230B (zh) | 图像处理装置、图像处理方法和计算机可读介质 | |
KR101761641B1 (ko) | 엣지 라인을 검출하여 분할선을 획득하는 장치 및 방법 | |
JP7542199B2 (ja) | ニューラルネットワーク、演算方法及びプログラム | |
US11665273B2 (en) | System and method for image color management | |
WO2013161840A1 (ja) | 画像処理方法、及び画像処理装置 | |
JP6486082B2 (ja) | 画像処理装置及び画像処理方法、プログラム | |
CN105654456B (zh) | 信息处理方法及电子设备 | |
CN102938139B (zh) | 一种找茬游戏图像自动合成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180427 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6334967 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |