JP5816069B2 - シルエット補正方法及びシルエット補正システム - Google Patents
シルエット補正方法及びシルエット補正システム Download PDFInfo
- Publication number
- JP5816069B2 JP5816069B2 JP2011268287A JP2011268287A JP5816069B2 JP 5816069 B2 JP5816069 B2 JP 5816069B2 JP 2011268287 A JP2011268287 A JP 2011268287A JP 2011268287 A JP2011268287 A JP 2011268287A JP 5816069 B2 JP5816069 B2 JP 5816069B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- person
- pixels
- color information
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
Ph(I)(x,y)=nh(I)(C(I)(x,y))×λ/th
Pb(I)(x,y)=nb(I)(C(I)(x,y))×λ/tb
ただし、符号は、次の通りである。
Ph(I)(x,y):座標x,yかつ色情報(I)を有するピクセルの人物の色情報に対する第1の接続コスト
nh(I)(C(I)(x,y)):人物ヒストグラムにおいて対象ピクセルの色情報C(I)(x,y)を有するピクセルの頻度
th:対象領域内で人物にラベル付けされたピクセルの総数
Pb(I)(x,y):座標x,yかつ色情報(I)を有するピクセルの背景の色情報に対する第1の接続コスト
nb(I)(C(I)(x,y)):背景ヒストグラムにおいて対象ピクセルの色情報C(I)(x,y)を有するピクセルの頻度
tb:対象領域内で背景にラベル付けされたピクセルの総数
λ:定数
Pd=k×ε/Dp
Pd:対象のピクセルの第2の接続コスト
k:定数
ε:定数であり、対象のピクセルが人物のシルエットの境界に位置するピクセルである場合は0よりも大かつ1よりも小の数、それ以外のピクセルである場合は1
Dp:対象のピクセルとその周囲のピクセルとの差分値
図1には、ゴルフクラブを持ってアドレスした状態にある人物hと、ゴルフ練習場の背景bとが一緒に撮影された二次元の画像のフレームF1が示されている。このフレームF1は、例えば、デジタルスチルカメラによる撮像、又は動画からのフレーム出力によって作成される。
Pb(I)(x,y)=nb(I)(C(I)(x,y))×λ/tb
ただし、符号は、次の通りである。
Ph(I)(x,y):座標x,yかつ色情報(I)を有するピクセルの人物の色情報に対する第1の接続コスト
nh(I)(C(I)(x,y)):人物ヒストグラムにおいて対象ピクセルの色情報C(I)(x,y)を有するピクセルの頻度
th:対象領域内で人物にラベル付けされたピクセルの総数
Pb(I)(x,y):座標x,yかつ色情報(I)を有するピクセルの背景の色情報に対する第1の接続コスト
nb(I)(C(I)(x,y)):背景ヒストグラムにおいて対象ピクセルの色情報C(I)(x,y)を有するピクセルの頻度
tb:対象領域内で背景にラベル付けされたピクセルの総数
λ:定数で本実施形態では10000
Pd=k×ε/Dp …(3)
Dp:対象のピクセルと隣接するピクセルとの色の差分値(≠0)
k:定数で本実施形態では10000
ε:定数であり、対象のピクセルが人物のシルエットの境界に位置するピクセルである場合は0よりも大かつ1よりも小の数で本実施形態では0.5、それ以外のピクセルである場合は1とする
Dp1(C0、C1)
Dp2(C0、C2)
Dp3(C0、C3)
Dp4(C0、C4)
D(C1,C2)=aΔH’+bΔS’+cΔV’
a,b,c:定数で、本実施形態ではa=5.1、b=2.25及びc=2.65
ΔH’=ΔH/4.0
ΔS’=ΔS/2.0
ΔV’=ΔV/2.0
ΔH=√{(X1−X2)2+(Y1−Y2)2}
ΔS=|S1/100−S2/100|
ΔV=|V1/100−V2/100|
X1=S'avgcos(H1×3.6)
Y1=S'avgsin(H1×3.6)
X2=S'avgcos(H2×3.6)
Y2=S'avgsin(H2×3.6)
S'avg=(S1'+S2')/2
S1'=log10(S1/100×99+1.0)
S2'=log10(S2/100×99+1.0)
E(L)=ΣPhi+ΣPbj+ΣPd(m,n)
ただし、符号は次の通りである。
Phi:節点iでの人物の色情報に対する第1の接続コスト
Pbj:節点jでの背景の色情報に対する第1の接続コスト
i,j∈Pであり、i≠j
P:全節点集合
Pd(m,n)::節点mとnの対象ピクセルの第2の接続コスト
m,n∈Pであり、m≠n
(Pdは全ての組合せでカットされるとは限らない)
ケース1 補正前:人物 → 補正後:人物
ケース2 補正前:背景 → 補正後:背景
ケース3 補正前:人物 → 補正後:背景
ケース4 補正前:背景 → 補正後:人物
図14は、背景とスイングのインパクト状態にある人物とを含む画像フレーム(640×320)の原画像である。図15(a)は、先の特許文献1に記載された前処理で人物のシルエット抽出したものである。図15(a)のシルエットでは、背中や腰付近に、背景の一部がノイズNとなって人物にラベル付けされているのが分かる。図15(b)には、本発明に従うシルエット補正処理を施したものである。この実施例1では、上記ノイズが綺麗に取り除かれているのが分かる。
図16は、背景とスイングのテークバック状態の人物とを含む画像フレーム(640×320)の原画像である。図17(a)は、上記同様、先の特許文献1に記載された前処理で人物のシルエット抽出したものである。図17(a)のシルエットでは、背中及び腹付近に、背景の一部がノイズNとなって人物にラベル付けされているのが分かる。図17(b)には、本発明に従うシルエット補正処理を施したものである。この実施例2では、上記ノイズが綺麗に取り除かれているのが分かる。
2 携帯電話機
3 サーバー
4 カメラ
5、8 メモリ
7 演算部
Claims (4)
- 人物と背景とが撮影されたフレームの各ピクセルが、人物又は背景のいずれかにラベル付けされて前記人物のシルエットが抽出されたフレームについて、前記フレームの少なくとも一部の対象領域のピクセルの前記ラベル付けを変更してシルエットを補正するシルエット補正方法であって、
前記対象領域に含まれるピクセルのうち、人物にラベル付けされたピクセルを用いて、頻度をピクセル数としかつ階級をピクセルの色情報とした人物ヒストグラムを作成するステップと、
前記対象領域に含まれるピクセルのうち、背景にラベル付けされたピクセルを用いて、頻度をピクセル数としかつ階級をピクセルの色情報とした背景ヒストグラムを作成するステップと、
前記対象領域の各ピクセルの色情報と、前記人物ヒストグラム及び背景ヒストグラムとを用いて、各ピクセルの人物の色情報に対する類似度及び背景の色情報に対する類似度をそれぞれ表す第1の接続コストを計算するステップと、
前記対象領域の各ピクセルについて、隣接するピクセルとの差分値を用いて隣接ピクセル間の色情報の連続性を表す第2の接続コストを計算するステップと、
前記各ピクセルを節点としかつ前記第1の接続コスト及び第2の接続コストを枝として生成されたグラフを、第1の接続コスト及び第2の接続コストの和が最小となるように2分割するカットを計算し、該カットに基づいて前記対象領域のピクセルのラベル付けをやり直す補正ステップとを含み、
前記第1の接続コストは、下式で計算されることを特徴とするシルエット補正方法。
Ph (I)(x,y) =nh (I) (C (I)(x,y) )×λ/th
Pb (I)(x,y) =nb (I) (C (I)(x,y) )×λ/tb
ただし、符号は、次の通りである。
Ph (I)(x,y) :座標x,yかつ色情報(I)を有するピクセルの人物の色情報に対する第1の接続コスト
nh (I) (C (I)(x,y) ):人物ヒストグラムにおいて対象ピクセルの色情報C (I)(x,y) を有するピクセルの頻度
th:対象領域内で人物にラベル付けされたピクセルの総数
Pb (I)(x,y) :座標x,yかつ色情報(I)を有するピクセルの背景の色情報に対する第1の接続コスト
nb (I) (C (I)(x,y) ):背景ヒストグラムにおいて対象ピクセルの色情報C (I)(x,y) を有するピクセルの頻度
tb:対象領域内で背景にラベル付けされたピクセルの総数
λ:定数 - 背景から人物にラベル付けが変更されたピクセルについては、前記ピクセルの頻度nb (I) (C (I)(x,y) )に1よりも大きい定数を乗じて背景の色情報に対する類似度を高めて、再度、第1及び第2の接続コストを計算して前記補正ステップを行う請求項1に記載のシルエット補正方法。
- 前記補正ステップ前のシルエットと、前記補正ステップ後のシルエットとの論理積画像を表示するステップをさらに含む請求項1又は2記載のシルエット補正方法。
- 人物と背景とが撮影されたフレームの各ピクセルが、人物又は背景のいずれかにラベル付けされて前記人物のシルエットが抽出されたフレームについて、前記フレームの少なくとも一部の対象領域のピクセルの前記ラベル付けを変更してシルエットを補正するシルエット補正システムであって、
前記フレームのピクセル情報を記憶するメモリ、及び、演算部を具え、
前記演算部は、前記対象領域に含まれるピクセルのうち、人物にラベル付けされたピクセルを用いて、頻度をピクセル数としかつ階級をピクセルの色情報とした人物ヒストグラムを作成する人物ヒストグラム作成部と、
前記対象領域に含まれるピクセルのうち、背景にラベル付けされたピクセルを用いて、頻度をピクセル数としかつ階級をピクセルの色情報とした背景ヒストグラムを作成する背景ヒストグラム作成部と、
前記対象領域の各ピクセルの色情報と、前記人物ヒストグラム及び背景ヒストグラムとを用いて、各ピクセルの人物の色情報に対する類似度及び背景の色情報に対する類似度をそれぞれ表す第1の接続コストを計算する第1の接続コスト計算部と、
前記対象領域の各ピクセルについて、隣接するピクセルとの差分値を用いて隣接ピクセル間の色情報の連続性を表す第2の接続コストを計算する第2の接続コスト計算部と、
前記各ピクセルを節点としかつ前記第1の接続コスト及び第2の接続コストを枝として生成されたグラフを、第1の接続コスト及び第2の接続コストの和が最小となるように2分割するカットを計算し、該カットに基づいて前記対象領域のピクセルのラベル付けをやり直す補正部とを含み、
前記第1の接続コスト計算部は、下式で、前記第1の接続コストを計算することを特徴とするシルエット補正システム。
Ph (I)(x,y) =nh (I) (C (I)(x,y) )×λ/th
Pb (I)(x,y) =nb (I) (C (I)(x,y) )×λ/tb
ただし、符号は、次の通りである。
Ph (I)(x,y) :座標x,yかつ色情報(I)を有するピクセルの人物の色情報に対する第1の接続コスト
nh (I) (C (I)(x,y) ):人物ヒストグラムにおいて対象ピクセルの色情報C (I)(x,y) を有するピクセルの頻度
th:対象領域内で人物にラベル付けされたピクセルの総数
Pb (I)(x,y) :座標x,yかつ色情報(I)を有するピクセルの背景の色情報に対する第1の接続コスト
nb (I) (C (I)(x,y) ):背景ヒストグラムにおいて対象ピクセルの色情報C (I)(x,y) を有するピクセルの頻度
tb:対象領域内で背景にラベル付けされたピクセルの総数
λ:定数
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011268287A JP5816069B2 (ja) | 2011-12-07 | 2011-12-07 | シルエット補正方法及びシルエット補正システム |
US13/707,218 US8824787B2 (en) | 2011-12-07 | 2012-12-06 | Silhouette correction method and system and silhouette extraction method and system |
KR1020120142374A KR101982352B1 (ko) | 2011-12-07 | 2012-12-07 | 실루엣 보정 방법 및 시스템과 실루엣 묘출 방법 및 시스템 |
CN201210556368.7A CN103150720B (zh) | 2011-12-07 | 2012-12-07 | 轮廓校正方法和系统以及轮廓提取方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011268287A JP5816069B2 (ja) | 2011-12-07 | 2011-12-07 | シルエット補正方法及びシルエット補正システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013120498A JP2013120498A (ja) | 2013-06-17 |
JP5816069B2 true JP5816069B2 (ja) | 2015-11-17 |
Family
ID=48773111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011268287A Active JP5816069B2 (ja) | 2011-12-07 | 2011-12-07 | シルエット補正方法及びシルエット補正システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5816069B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5811416B2 (ja) | 2013-10-09 | 2015-11-11 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR20160121287A (ko) | 2015-04-10 | 2016-10-19 | 삼성전자주식회사 | 이벤트에 기반하여 화면을 디스플레이하는 방법 및 장치 |
JP6886887B2 (ja) * | 2017-08-02 | 2021-06-16 | 日本放送協会 | 誤差計算器およびそのプログラム |
JP6902425B2 (ja) * | 2017-08-02 | 2021-07-14 | 日本放送協会 | カラー情報拡大器およびカラー情報推定器、ならびに、それらのプログラム |
-
2011
- 2011-12-07 JP JP2011268287A patent/JP5816069B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013120498A (ja) | 2013-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111383232B (zh) | 抠图方法、装置、终端设备及计算机可读存储介质 | |
Gui et al. | A new method for soybean leaf disease detection based on modified salient regions | |
US8824787B2 (en) | Silhouette correction method and system and silhouette extraction method and system | |
CN111160291B (zh) | 基于深度信息与cnn的人眼检测方法 | |
WO2019071976A1 (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
JP2020129276A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5816069B2 (ja) | シルエット補正方法及びシルエット補正システム | |
US9002140B2 (en) | Image processing apparatus, method, and program | |
CN109255783B (zh) | 一种多人图像上的人体骨骼关键点的位置排布检测方法 | |
US11321960B2 (en) | Deep learning-based three-dimensional facial reconstruction system | |
KR20170046140A (ko) | 얼굴 이미지 편집 방법 및 디바이스 | |
US9965881B2 (en) | Method for generating image and image generation system | |
KR20220098895A (ko) | 인체 포즈 추정 장치 및 방법 | |
JP5503510B2 (ja) | 姿勢推定装置および姿勢推定プログラム | |
JP5872395B2 (ja) | 領域分割装置 | |
CN107766803A (zh) | 基于场景分割的视频人物装扮方法、装置及计算设备 | |
CN104978558B (zh) | 目标的识别方法及装置 | |
KR20190084426A (ko) | 병변 스크리닝 장치 및 방법 | |
CN108564534A (zh) | 一种基于检索的图像对比度调整方法 | |
CN115222895B (zh) | 图像生成方法、装置、设备以及存储介质 | |
Wang et al. | Exposure fusion using a relative generative adversarial network | |
US11908161B2 (en) | Method and electronic device for generating AR content based on intent and interaction of multiple-objects | |
CN102402687A (zh) | 基于深度信息的刚体部件方向检测方法和装置 | |
JP2022147713A (ja) | 画像生成装置、学習装置、及び、画像生成方法 | |
JP2022140119A (ja) | 点群ノイズ除去装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140924 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150925 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5816069 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |