JP5949481B2 - 画像処理方法、プログラム及び装置 - Google Patents
画像処理方法、プログラム及び装置 Download PDFInfo
- Publication number
- JP5949481B2 JP5949481B2 JP2012251237A JP2012251237A JP5949481B2 JP 5949481 B2 JP5949481 B2 JP 5949481B2 JP 2012251237 A JP2012251237 A JP 2012251237A JP 2012251237 A JP2012251237 A JP 2012251237A JP 5949481 B2 JP5949481 B2 JP 5949481B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- difference
- frame
- boundary
- synthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
図1には、本第1実施形態に係る画像処理装置10が示されている。画像処理装置10は、動画像の各フレーム中に存在する人物の顔領域等の合成対象領域に、予め設定されたマスク画像を合成することで、動画像中に被写体として写っている人物のプライバシーの保護を図るマスク合成処理を行う装置である。画像処理装置10は、動画像取得部12、マスク画像取得部14、合成対象領域検出部16、2個の色要素分離部18,20、3個の画像合成部22〜26、色要素合成部28及び動画像出力部30を備えている。また、画像合成部22〜26は、互いに同一の構成であり、前フレーム画像保持部32、境界差分演算部34、マスク画像保持部36、選択部38、複数の差分画像演算部40及び切替部42を各々備えている。更に、画像合成部22〜26は、前フレーム合成結果画像保持部44及び合成結果画像生成部46を各々備えている。
LS(x,y)=S(x-1,y)+S(x+1,y)+S(x,y-1)+S(x,y+1)−4S(x,y)
…(1)
但し、画像の端は算出先とならないので、マスク画像Sの幅をW、高さをHとすると、
0<x<W、0<y<H
である。画像の外縁は合成対象領域の画素値(境界γ)とする(次の(2)式参照)。
F(x,y)=T(x,y) (x=0又はy=0又はx=W又はy=Hのとき) …(2)
LF(x,y)=LS(x,y) …(3)
上記(2),(3)式の方程式を解くことで、合成対象領域Tの全領域で合成結果画像F(x,y)の値を得ることができる。
LF(x,y)=F(x-1,y)+F(x+1,y)+F(x,y-1)+F(x,y+1)−4F(x,y)
…(4)
また、前出の(3)式より次の(5)式が得られる。
F(x,y)={F(x-1,y)+F(x+1,y)+F(x,y-1)+F(x,y+1)−LS(x,y)}/4
…(5)
Fi+1(x,y)={Fi(x-1,y)+Fi(x+1,y)+Fi(x,y-1)+Fi(x,y+1)
−LS(x,y)}/4 …(6)
但し、iは各回の演算を識別するための変数である。また、初期値は通常、
F0(x,y)=T(x,y) (x=0又はy=0又はx=W又はy=Hのとき)
F0(x,y)=0 (x=0、y=0、x=W及びy=H以外のとき)
である。
(収束条件A) |Fi+1−Fi|が閾値以下
(収束条件B) 合成結果画像Fのラプラシアンフィルタ適用値LFを演算し、|LF−LS|が閾値以下
これにより、マスク画像Sに基づき、初期値画像I及び合成対象領域Tの境界γから合成結果画像Fが生成される。
Fi+1(x,y)=(1−ω)Fi(x,y)+ω{Fi(x-1,y)+Fi(x+1,y)+Fi(x,y-1)
+Fi(x,y+1)−LS(x,y)}/4 …(7)
(7)式はω=1〜2で収束する。なお、前出の(6)式は(7)式におけるω=1の場合とみなすことも可能である。ω=1.95程度の値を用いることで良好な収束性が得られることが知られている。
F0(x,y)=T(x,y) (x=0又はy=0又はx=W又はy=Hのとき)
F0(x,y)=FN−1(x,y) (x=0、y=0、x=W及びy=H以外のとき) …(8)
F0(x,y)=T(x,y) (x=0又はy=0又はx=W又はy=Hのとき)
F0(x,y)=FN−1(x,y)+T(x,y)−TN−1(x,y)
(x=0、y=0、x=W及びy=H以外のとき) …(9)
LFN(x,y)−LFN-1(x,y)=0 …(10)
なお、LFN(x,y)はN番目のフレームの合成結果画像Fのラプラシアンフィルタ適用値(二次微分値)、LFN-1(x,y)はN−1番目のフレームの合成結果画像Fのラプラシアンフィルタ適用値(二次微分値)である。
γDN(x,y)=γTN(x,y)−γTN−1(x,y) …(11)
これにより、例として図8に示すように、合成対象領域の周縁に沿って1画素幅で、連続する2フレームにおける合成境界領域の境界の画素値の差分を表す境界差分γDが得られる。なお、図8では境界差分の符号が「+(プラス)」の場合のみ示しているが、差分の値によっては符号が「−(マイナス)」となる場合もある。
D(x,y)=γD(x,y) (x=0又はy=0又はx=W又はy=Hのとき) …(12)
また、差分画像Dのラプラシアンフィルタ適用値LDを0とする(次の(13)式参照)。
LD(x,y)=0 …(13)
上記(12),(13)式の方程式を解くことで、合成対象領域Tの全領域で差分画像D(x,y)の値を得ることができる。
LD(x,y)=D(x-1,y)+D(x+1,y)+D(x,y-1)+D(x,y+1)+4D(x,y)
…(14)
また、前出の(13)式より次の(15)式が得られる。
D(x,y)={D(x-1,y)+D(x+1,y)+D(x,y-1)+D(x,y+1)}/4 …(15)
Di+1(x,y)={Di(x-1,y)+Di(x+1,y)+Di(x,y-1)+Di(x,y+1)}/4
…(16)
但し、iは各回の演算を識別するための変数である。また、初期値は通常、
D0(x,y)=γD(x,y) (x=0又はy=0又はx=W又はy=Hのとき)
D0(x,y)=0 (x=0、y=0、x=W及びy=H以外のとき)
である。
(収束条件A) |Di+1−Di|が閾値以下
(収束条件B) 差分画像Dのラプラシアンフィルタ適用値LDを演算し、LD≒0の場合
これにより、図9にも示すように、二次微分値が0のなだらかなグラデーション画像である差分画像Dが、境界差分γDから生成される。
Di+1(x,y)=(1−ω)Di(x,y)+ω{Di(x-1,y)+Di(x+1,y)+Di(x,y-1)
+Di(x,y+1)}/4 …(17)
(17)式はω=1〜2で収束する。ω=1.95程度の値を用いることで良好な収束性が得られる。
次に開示の技術の第2実施形態について説明する。なお、第1実施形態と同一の部分には同一の符号を付して説明を省略し、第1実施形態と異なる部分についてのみ説明する。
LD(x,y)=LE(x,y) …(18)
LE(x,y)=E(x-1,y)+E(x+1,y)+E(x,y-1)+E(x,y+1)−4E(x,y)
…(19)
次に開示の技術の第3実施形態を説明する。なお、第1及び第2実施形態と同一の部分には同一の符号を付して説明を省略し、第1及び第2実施形態と異なる部分についてのみ説明する。
LSdN(x,y)=LSN(x,y)−LSN−1(x,y) …(20)
DN(x,y)={DN(x-1,y)+DN(x+1,y)+DN(x,y-1)+DN(x,y+1)
−LSdN(x,y))}/4 …(21)
FN(x,y)=FN−1(x,y)+DN(x,y) …(22)
従って、図18に「合成後」として示すように、例えば定期的に瞬きをしているマスク画像が各フレームに合成された動画像が得られることになる。
次に開示の技術の第4実施形態を説明する。なお、本第4実施形態は第3実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第4実施形態の作用を説明する。
LSdN(x,y)=L(SN(x,y)−SN−1(x,y)) …(23)
次のステップ262以降の処理は、第3実施形態で説明したマスク画像差分演算処理と同じであるので、説明を省略する。
次に開示の技術の第5実施形態を説明する。なお、第3及び第4実施形態と同一の部分には同一の符号を付して説明を省略し、第3及び第4実施形態と異なる部分についてのみ説明する。
γDN(x,y)=γTN(x,y)−γFN−1(x,y) …(24)
上記の(24)式の演算を行うことにより、図30に符号「324」を付して示す境界画素差分画像(境界差分γDN(x,y))のデータが得られる。
LSdN(x,y)=LSN(x,y)−LFN−1(x,y) …(25)
上記の(25)式の演算を行うことで、図30に符号「332」を付して示す差分画像(ラプラシアンフィルタ適用結果の差分LSdN)が得られる。
次に開示の技術の第6実施形態を説明する。なお、本第6実施形態は第5実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第6実施形態の作用を説明する。
LSdN(x,y)=L(SN(x,y)−FN−1(x,y)) …(26)
これにより、図32に符号「340」を付して示す画像(ラプラシアンフィルタ適用結果)が生成される。
動画像のN番目のフレームに対応する合成対象領域の外縁に相当する境界と、前記動画像のN−1番目のフレームに対応する合成対象領域の外縁に相当する境界と、の差分値を演算し、
差分画像の境界の画素値が演算した前記差分値を維持しながら、前記差分画像の境界の内部の領域が所定の勾配条件に合致するように前記差分画像を生成し、
前記N−1番目のフレームに対して求めた、前記N−1番目のフレーム中の前記合成対象領域に合成画像を合成した結果に相当する合成結果画像に、生成した前記差分画像を加算した画像を、前記N番目のフレームに対する前記合成結果画像として求め、求めた前記N番目のフレームに対する前記合成結果画像を、前記N番目のフレーム中の前記合成対象領域の画像と置き換える
ことを含む画像処理方法。
前記差分値として、動画像のN番目のフレーム中に存在する合成対象領域の外縁に相当する境界と、前記動画像のN−1番目のフレーム中に存在する合成対象領域の外縁に相当する境界と、の差分値を演算し、
前記差分画像の生成において、前記差分画像の境界の画素値が演算した前記差分値を維持しながら、前記差分画像の境界の内部が、前記所定の勾配条件として前記境界の内部の領域の二次微分値が0に近づくように前記差分画像を生成する付記1記載の画像処理方法。
前記差分値を演算し、前記差分画像を生成し、前記合成結果画像を求めて前記合成対象領域の画像と置き換えることを、前記差分値を演算し、前記差分画像を生成し、前記合成結果画像を求めて前記合成対象領域の画像と置き換えることの合計処理時間内に入力される前記動画像のフレーム数分だけ並列に処理する付記2記載の画像処理方法。
前記合成結果画像を求めて前記合成対象領域の画像と置き換えることで求めた前記N番目のフレームに対する前記合成結果画像を二次微分した画像と、前記合成画像を二次微分した画像と、の差分を誤差画像として求め、
前記差分画像の生成は、前記N番目のフレームに対する前記合成結果画像から前記誤差画像を求めた場合、N+1番目のフレームに対応する差分画像として、前記境界の内部の領域の二次微分値が前記誤差画像に合致する差分画像を生成する付記2又は付記3記載の画像処理方法。
前記差分値として、動画像のN番目のフレーム中に存在する合成対象領域の外縁に相当する境界と、前記動画像のN−1番目のフレーム中に存在する合成対象領域の外縁に相当する境界と、の差分値を演算し、
動画像のN番目のフレームに合成する合成画像の二次微分値と、前記動画像のN−1番目のフレームに合成する合成画像の二次微分値と、の差分を勾配条件画像として求め、
前記差分画像の生成を、境界の画素値が演算した前記差分値を維持しながら、前記境界の内部が、前記所定の勾配条件として前記勾配条件画像に合致するように行う付記1記載の画像処理方法。
動画像のN番目のフレームに合成する合成画像と、前記動画像のN−1番目のフレームに合成する合成画像と、の差分を求め、求めた差分の二次微分値を、前記勾配条件画像として求める付記5記載の画像処理方法。
前記勾配条件画像を予め求めて保持しておき、
前記合成結果画像を求める際に、前記勾配条件画像を読み出して用いる付記5又は付記6記載の画像処理方法。
前記差分値として、動画像のN番目のフレーム中に存在する合成対象領域の外縁に相当する第1の境界と、前記動画像のN−1番目のフレーム中に存在する合成対象領域に合成画像を合成した結果に相当する合成結果画像を前記N−1番目のフレーム中の前記合成対象領域の画像と置き換えた最終結果画像のうち、前記第1の境界と同一形状の第2の境界と、の差分値を演算し、
動画像のN番目のフレームに合成する合成画像の二次微分値と、前記動画像のN−1番目のフレームの前記最終結果画像のうち前記第2の境界内の画像の二次微分値と、の差分を勾配条件画像として求め、
前記差分画像の生成を、境界の画素値が演算した前記差分値を維持しながら、前記境界の内部が、前記所定の勾配条件として前記勾配条件画像に合致するように行い、
前記N−1番目のフレームの前記最終結果画像のうち前記第2の境界内の画像に、生成した前記差分画像を加算した画像を、前記N番目のフレームに対する前記合成結果画像として求め、求めた前記N番目のフレームに対する前記合成結果画像を、前記N番目のフレーム中の前記合成対象領域の画像と置き換える付記1記載の画像処理方法。
動画像のN番目のフレームに合成する合成画像と、前記動画像のN−1番目のフレームの前記最終結果画像のうち前記第2の境界内の画像と、の差分を求め、求めた差分の二次微分値を、前記勾配条件画像として求める付記8記載の画像処理方法。
前記差分値の演算及び前記差分画像の生成を、前記動画像の2番目以降のフレームに対して行い、前記合成結果画像を求めて前記合成対象領域の画像と置き換える際に、前記動画像の前記1番目のフレームに対しては、境界の画素値が前記動画像の1番目のフレーム中に存在する合成対象領域の境界の画素値のまま維持され、前記境界の内部の領域の二次微分値が前記合成画像の二次微分値に合致する前記合成結果画像を生成する付記1〜付記9の何れか1項記載の画像処理方法。
前記動画像は前記各フレームが各々カラー画像であり、前記差分値の演算は各色要素毎に前記差分値を演算し、前記差分画像の生成は各色要素毎に前記差分画像を生成し、前記画像合成結果画像の生成は、各色要素毎に前記合成結果画像を生成し、生成した各色要素毎の前記合成結果画像を前記N番目のフレームの各色要素毎の画像中の前記合成対象領域の画像と各々置き換える付記1〜付記10の何れか1項記載の画像処理方法。
前記合成対象領域は人物の顔又は顔の一部分に対応する領域である付記1〜付記11の何れか1項記載の画像処理方法。
コンピュータに、
動画像のN番目のフレームに対応する合成対象領域の外縁に相当する境界と、前記動画像のN−1番目のフレームに対応する合成対象領域の外縁に相当する境界と、の差分値を演算し、
差分画像の境界の画素値が演算した前記差分値を維持しながら、前記差分画像の境界の内部の領域が所定の勾配条件に合致するように前記差分画像を生成し、
前記N−1番目のフレームに対して求めた、前記N−1番目のフレーム中の前記合成対象領域に合成画像を合成した結果に相当する合成結果画像に、生成した前記差分画像を加算した画像を、前記N番目のフレームに対する前記合成結果画像として求め、求めた前記N番目のフレームに対する前記合成結果画像を、前記N番目のフレーム中の前記合成対象領域の画像と置き換える
ことを含む処理を実行させるための画像処理プログラム。
(付記14)
前記差分値として、動画像のN番目のフレーム中に存在する合成対象領域の外縁に相当する境界と、前記動画像のN−1番目のフレーム中に存在する合成対象領域の外縁に相当する境界と、の差分値を演算し、
前記差分画像の生成において、前記差分画像の境界の画素値が演算した前記差分値を維持しながら、前記差分画像の境界の内部が、前記所定の勾配条件として前記境界の内部の領域の二次微分値が0に近づくように前記差分画像を生成する付記13記載の画像処理プログラム。
前記差分値を演算し、前記差分画像を生成し、前記合成結果画像を求めて前記合成対象領域の画像と置き換えることを、前記差分値を演算し、前記差分画像を生成し、前記合成結果画像を求めて前記合成対象領域の画像と置き換えることの合計処理時間内に入力される前記動画像のフレーム数分だけ並列に処理する付記14記載の画像処理プログラム。
前記合成結果画像を求めて前記合成対象領域の画像と置き換えることで求めた前記N番目のフレームに対する前記合成結果画像を二次微分した画像と、前記合成画像を二次微分した画像と、の差分を誤差画像として求め、
前記差分画像の生成は、前記N番目のフレームに対する前記合成結果画像から前記誤差画像を求めた場合、N+1番目のフレームに対応する差分画像として、前記境界の内部の領域の二次微分値が前記誤差画像に合致する差分画像を生成する付記14又は付記15記載の画像処理プログラム。
前記差分値として、動画像のN番目のフレーム中に存在する合成対象領域の外縁に相当する境界と、前記動画像のN−1番目のフレーム中に存在する合成対象領域の外縁に相当する境界と、の差分値を演算し、
動画像のN番目のフレームに合成する合成画像の二次微分値と、前記動画像のN−1番目のフレームに合成する合成画像の二次微分値と、の差分を勾配条件画像として求め、
前記差分画像の生成を、境界の画素値が演算した前記差分値を維持しながら、前記境界の内部が、前記所定の勾配条件として前記勾配条件画像に合致するように行う付記13記載の画像処理プログラム。
動画像のN番目のフレームに合成する合成画像と、前記動画像のN−1番目のフレームに合成する合成画像と、の差分を求め、求めた差分の二次微分値を、前記勾配条件画像として求める付記17記載の画像処理プログラム。
前記勾配条件画像を予め求めて保持しておき、
前記合成結果画像を求める際に、前記勾配条件画像を読み出して用いる付記17又は付記18記載の画像処理プログラム。
前記差分値として、動画像のN番目のフレーム中に存在する合成対象領域の外縁に相当する第1の境界と、前記動画像のN−1番目のフレーム中に存在する合成対象領域に合成画像を合成した結果に相当する合成結果画像を前記N−1番目のフレーム中の前記合成対象領域の画像と置き換えた最終結果画像のうち、前記第1の境界と同一形状の第2の境界と、の差分値を演算し、
動画像のN番目のフレームに合成する合成画像の二次微分値と、前記動画像のN−1番目のフレームの前記最終結果画像のうち前記第2の境界内の画像の二次微分値と、の差分を勾配条件画像として求め、
前記差分画像の生成を、境界の画素値が演算した前記差分値を維持しながら、前記境界の内部が、前記所定の勾配条件として前記勾配条件画像に合致するように行い、
前記N−1番目のフレームの前記最終結果画像のうち前記第2の境界内の画像に、生成した前記差分画像を加算した画像を、前記N番目のフレームに対する前記合成結果画像として求め、求めた前記N番目のフレームに対する前記合成結果画像を、前記N番目のフレーム中の前記合成対象領域の画像と置き換える付記13の何れか1項記載の画像処理プログラム。
動画像のN番目のフレームに合成する合成画像と、前記動画像のN−1番目のフレームの前記最終結果画像のうち前記第2の境界内の画像と、の差分を求め、求めた差分の二次微分値を、前記勾配条件画像として求める請求項20記載の画像処理プログラム。
前記差分値の演算及び前記差分画像の生成を、前記動画像の2番目以降のフレームに対して行い、
前記合成結果画像を求めて前記合成対象領域の画像と置き換える際に、前記動画像の前記1番目のフレームに対しては、境界の画素値が前記動画像の1番目のフレーム中に存在する合成対象領域の境界の画素値のまま維持され、前記境界の内部の領域の二次微分値が前記合成画像の二次微分値に合致する前記合成結果画像を生成する付記13〜付記21の何れか1項記載の画像処理プログラム。
前記動画像は前記各フレームが各々カラー画像であり、
前記差分値の演算は各色要素毎に前記差分値を演算し、
前記差分画像の生成は各色要素毎に前記差分画像を生成し、
前記画像合成結果画像の生成は、各色要素毎に前記合成結果画像を生成し、
生成した各色要素毎の前記合成結果画像を前記N番目のフレームの各色要素毎の画像中の前記合成対象領域の画像と各々置き換える付記13〜付記22の何れか1項記載の画像処理プログラム。
前記合成対象領域は人物の顔又は顔の一部分に対応する領域である付記13〜付記23の何れか1項記載の画像処理プログラム。
動画像のN番目のフレームに対応する合成対象領域の外縁に相当する境界と、前記動画像のN−1番目のフレームに対応する合成対象領域の外縁に相当する境界と、の差分値を演算する差分値演算部と、
差分画像の境界の画素値が前記差分値演算部によって演算された前記差分値を維持しながら、前記差分画像の境界の内部の領域が所定の勾配条件に合致するように前記差分画像を生成する差分画像生成部と、
前記N−1番目のフレームに対して求められた、前記N−1番目のフレーム中の前記合成対象領域に合成画像を合成した結果に相当する合成結果画像に、前記差分画像生成部で生成された前記差分画像を加算した画像を、前記N番目のフレームに対する前記合成結果画像として求め、求めた前記N番目のフレームに対する前記合成結果画像を、前記N番目のフレーム中の前記合成対象領域の画像と置き換える画像合成部と、
を含む画像処理装置。
(付記26)
前記差分値演算部は、前記差分値として、動画像のN番目のフレーム中に存在する合成対象領域の外縁に相当する境界と、前記動画像のN−1番目のフレーム中に存在する合成対象領域の外縁に相当する境界と、の差分値を演算し、
前記差分画像生成部は、前記差分画像の生成において、前記差分画像の境界の画素値が演算した前記差分値を維持しながら、前記差分画像の境界の内部が、前記所定の勾配条件として前記差分画像の境界の内部の領域の二次微分値が0に近づくように前記差分画像を生成する付記25記載の画像処理装置。
前記差分値演算部が前記差分値を演算し、前記差分画像生成部が前記差分画像を生成し、前記画像合成部が前記合成結果画像を求めて前記合成対象領域の画像と置き換えることを、前記差分値演算部が前記差分値を演算し、前記差分画像生成部が前記差分画像を生成し、前記画像合成部が前記合成結果画像を求めて前記合成対象領域の画像と置き換えることの合計処理時間内に入力される前記動画像のフレーム数分だけ並列に処理する付記26記載の画像処理装置。
前記画像合成部によって求められた前記N番目のフレームに対する前記合成結果画像を二次微分した画像と、前記合成画像を二次微分した画像と、の差分を誤差画像として求める誤差演算部を更に備え、
前記差分画像生成部は、前記誤差演算部により前記N番目のフレームに対する前記合成結果画像から前記誤差画像が求められた場合、N+1番目のフレームに対応する差分画像として、前記境界の内部の領域の二次微分値が前記誤差画像に合致する差分画像を生成する付記26又は付記27記載の画像処理装置。
前記差分値演算部は、前記差分値として、動画像のN番目のフレーム中に存在する合成対象領域の外縁に相当する境界と、前記動画像のN−1番目のフレーム中に存在する合成対象領域の外縁に相当する境界と、の差分値を演算し、
動画像のN番目のフレームに合成する合成画像の二次微分値と、前記動画像のN−1番目のフレームに合成する合成画像の二次微分値と、の差分を勾配条件画像として求める勾配条件画像演算部を更に備え、
前記差分画像生成部は、前記差分画像の生成を、境界の画素値が前記差分値演算部によって演算された前記差分値を維持しながら、前記境界の内部が、前記所定の勾配条件として、前記勾配条件画像演算部によって求められた前記勾配条件画像に合致するように行う付記25記載の画像処理装置。
前記勾配条件画像演算部は、動画像のN番目のフレームに合成する合成画像と、前記動画像のN−1番目のフレームに合成する合成画像と、の差分を求め、求めた差分の二次微分値を、前記勾配条件画像として求める付記29記載の画像処理装置。
前記勾配条件画像演算部は、前記勾配条件画像を予め求めて保持しておき、
前記画像合成部は、前記合成結果画像を求める際に、前記勾配条件画像演算部に保持されている前記勾配条件画像を読み出して用いる付記29又は付記30記載の画像処理装置。
前記差分値演算部は、前記差分値として、動画像のN番目のフレーム中に存在する合成対象領域の外縁に相当する第1の境界と、前記動画像のN−1番目のフレーム中に存在する合成対象領域に合成画像を合成した結果に相当する合成結果画像を前記N−1番目のフレーム中の前記合成対象領域の画像と置き換えた最終結果画像のうち、前記第1の境界と同一形状の第2の境界と、の差分値を演算し、
動画像のN番目のフレームに合成する合成画像の二次微分値と、前記動画像のN−1番目のフレームの前記最終結果画像のうち前記第2の境界内の画像の二次微分値と、の差分を勾配条件画像として求める勾配条件画像演算部を更に備え、
前記差分画像生成部は、前記差分画像の生成を、境界の画素値が前記差分値演算部によって演算された前記差分値を維持しながら、前記境界の内部が、前記所定の勾配条件として、前記勾配条件画像演算部によって求められた前記勾配条件画像に合致するように行い、
前記画像合成部は、前記N−1番目のフレームの前記最終結果画像のうち前記第2の境界内の画像に、生成した前記差分画像を加算した画像を、前記N番目のフレームに対する前記合成結果画像として求め、求めた前記N番目のフレームに対する前記合成結果画像を、前記N番目のフレーム中の前記合成対象領域の画像と置き換える付記25記載の画像処理装置。
前記勾配条件画像演算部は、動画像のN番目のフレームに合成する合成画像と、前記動画像のN−1番目のフレームの前記最終結果画像のうち前記第2の境界内の画像と、の差分を求め、求めた差分の二次微分値を、前記勾配条件画像として求める付記32記載の画像処理装置。
前記差分値演算部による前記差分値の演算及び前記差分画像生成部による前記差分画像の生成は、前記動画像の2番目以降のフレームに対して行われ、
前記画像合成部は、前記動画像の前記1番目のフレームに対しては、境界の画素値が前記動画像の1番目のフレーム中に存在する合成対象領域の境界の画素値のまま維持され、前記境界の内部の領域の二次微分値が前記合成画像の二次微分値に合致する前記合成結果画像を生成する付記25〜付記33の何れか1項記載の画像処理装置。
前記動画像は前記各フレームが各々カラー画像であり、
前記差分値演算部は各色要素毎に前記差分値を演算し、
前記差分画像生成部は各色要素毎に前記差分画像を生成し、
前記画像合成部は、各色要素毎に前記合成結果画像を生成し、生成した各色要素毎の前記合成結果画像を前記N番目のフレームの各色要素毎の画像中の前記合成対象領域の画像と各々置き換える付記25〜付記34の何れか1項記載の画像処理装置。
前記合成対象領域は人物の顔又は顔の一部分に対応する領域である付記25〜付記35の何れか1項記載の画像処理装置。
12 動画像取得部
14 マスク画像取得部
16 合成対象領域検出部
18,20 色要素分離部
22 画像合成部
28 色要素合成部
30 動画像出力部
32 前フレーム画像保持部
34 境界差分演算部
36 マスク画像保持部
38 選択部
40 差分画像演算部
42 切替部
44 前フレーム合成結果画像保持部
46 合成結果画像生成部
52,54 二次微分画像演算部
56 誤差演算部
60 コンピュータ
62 CPU
64 メモリ
66 記憶部
76 マスク合成プログラム
Claims (14)
- 動画像のN番目のフレームに対応する合成対象領域の外縁に相当する境界と、前記動画像のN−1番目のフレームに対応する合成対象領域の外縁に相当する境界と、の差分値を演算し、
差分画像の境界の画素値が演算した前記差分値を維持しながら、前記差分画像の境界の内部の領域が所定の勾配条件に合致するように前記差分画像を生成し、
前記N−1番目のフレームに対して求めた、前記N−1番目のフレーム中の前記合成対象領域に合成画像を合成した結果に相当する合成結果画像に、生成した前記差分画像を加算した画像を、前記N番目のフレームに対する前記合成結果画像として求め、求めた前記N番目のフレームに対する前記合成結果画像を、前記N番目のフレーム中の前記合成対象領域の画像と置き換える
ことを含む画像処理方法。 - 前記差分値として、動画像のN番目のフレーム中に存在する合成対象領域の外縁に相当する境界と、前記動画像のN−1番目のフレーム中に存在する合成対象領域の外縁に相当する境界と、の差分値を演算し、
前記差分画像の生成において、前記差分画像の境界の画素値が演算した前記差分値を維持しながら、前記差分画像の境界の内部が、前記所定の勾配条件として前記差分画像の境界の内部の領域の二次微分値が0に近づくように前記差分画像を生成する請求項1記載の画像処理方法。 - 前記差分値を演算し、前記差分画像を生成し、前記合成結果画像を求めて前記合成対象領域の画像と置き換えることを、前記差分値を演算し、前記差分画像を生成し、前記合成結果画像を求めて前記合成対象領域の画像と置き換えることの合計処理時間内に入力される前記動画像のフレーム数分だけ並列に処理する請求項2記載の画像処理方法。
- 前記合成結果画像を求めて前記合成対象領域の画像と置き換えることで求めた前記N番目のフレームに対する前記合成結果画像を二次微分した画像と、前記合成画像を二次微分した画像と、の差分を誤差画像として求め、
前記差分画像の生成は、前記N番目のフレームに対する前記合成結果画像から前記誤差画像を求めた場合、N+1番目のフレームに対応する差分画像として、前記境界の内部の領域の二次微分値が前記誤差画像に合致する差分画像を生成する請求項2又は請求項3記載の画像処理方法。 - 前記差分値として、動画像のN番目のフレーム中に存在する合成対象領域の外縁に相当する境界と、前記動画像のN−1番目のフレーム中に存在する合成対象領域の外縁に相当する境界と、の差分値を演算し、
動画像のN番目のフレームに合成する合成画像の二次微分値と、前記動画像のN−1番目のフレームに合成する合成画像の二次微分値と、の差分を勾配条件画像として求め、
前記差分画像の生成を、境界の画素値が演算した前記差分値を維持しながら、前記境界の内部が、前記所定の勾配条件として前記勾配条件画像に合致するように行う請求項1記載の画像処理方法。 - 動画像のN番目のフレームに合成する合成画像と、前記動画像のN−1番目のフレームに合成する合成画像と、の差分を求め、求めた差分の二次微分値を、前記勾配条件画像として求める請求項5記載の画像処理方法。
- 前記勾配条件画像を予め求めて保持しておき、
前記合成結果画像を求める際に、前記勾配条件画像を読み出して用いる請求項5又は請求項6記載の画像処理方法。 - 前記差分値として、動画像のN番目のフレーム中に存在する合成対象領域の外縁に相当する第1の境界と、前記動画像のN−1番目のフレーム中に存在する合成対象領域に合成画像を合成した結果に相当する合成結果画像を前記N−1番目のフレーム中の前記合成対象領域の画像と置き換えた最終結果画像のうち、前記第1の境界と同一形状の第2の境界と、の差分値を演算し、
動画像のN番目のフレームに合成する合成画像の二次微分値と、前記動画像のN−1番目のフレームの前記最終結果画像のうち前記第2の境界内の画像の二次微分値と、の差分を勾配条件画像として求め、
前記差分画像の生成を、境界の画素値が演算した前記差分値を維持しながら、前記境界の内部が、前記所定の勾配条件として前記勾配条件画像に合致するように行い、
前記N−1番目のフレームの前記最終結果画像のうち前記第2の境界内の画像に、生成した前記差分画像を加算した画像を、前記N番目のフレームに対する前記合成結果画像として求め、求めた前記N番目のフレームに対する前記合成結果画像を、前記N番目のフレーム中の前記合成対象領域の画像と置き換える請求項1記載の画像処理方法。 - 動画像のN番目のフレームに合成する合成画像と、前記動画像のN−1番目のフレームの前記最終結果画像のうち前記第2の境界内の画像と、の差分を求め、求めた差分の二次微分値を、前記勾配条件画像として求める請求項8記載の画像処理方法。
- 前記差分値の演算及び前記差分画像の生成を、前記動画像の2番目以降のフレームに対して行い、
前記合成結果画像を求めて前記合成対象領域の画像と置き換える際に、前記動画像の前記1番目のフレームに対しては、境界の画素値が前記動画像の1番目のフレーム中に存在する合成対象領域の境界の画素値のまま維持され、前記境界の内部の領域の二次微分値が前記合成画像の二次微分値に合致する前記合成結果画像を生成する請求項1〜請求項9の何れか1項記載の画像処理方法。 - 前記動画像は前記各フレームが各々カラー画像であり、
前記差分値の演算は各色要素毎に前記差分値を演算し、
前記差分画像の生成は各色要素毎に前記差分画像を生成し、
前記画像合成結果画像の生成は、各色要素毎に前記合成結果画像を生成し、
生成した各色要素毎の前記合成結果画像を前記N番目のフレームの各色要素毎の画像中の前記合成対象領域の画像と各々置き換える請求項1〜請求項10の何れか1項記載の画像処理方法。 - 前記合成対象領域は人物の顔又は顔の一部分に対応する領域である請求項1〜請求項11の何れか1項記載の画像処理方法。
- コンピュータに、
動画像のN番目のフレームに対応する合成対象領域の外縁に相当する境界と、前記動画像のN−1番目のフレームに対応する合成対象領域の外縁に相当する境界と、の差分値を演算し、
差分画像の境界の画素値が演算した前記差分値を維持しながら、前記差分画像の境界の内部の領域が所定の勾配条件に合致するように前記差分画像を生成し、
前記N−1番目のフレームに対して求めた、前記N−1番目のフレーム中の前記合成対象領域に合成画像を合成した結果に相当する合成結果画像に、生成した前記差分画像を加算した画像を、前記N番目のフレームに対する前記合成結果画像として求め、求めた前記N番目のフレームに対する前記合成結果画像を、前記N番目のフレーム中の前記合成対象領域の画像と置き換える
ことを含む処理を実行させるための画像処理プログラム。 - 動画像のN番目のフレームに対応する合成対象領域の外縁に相当する境界と、前記動画像のN−1番目のフレームに対応する合成対象領域の外縁に相当する境界と、の差分値を演算する差分値演算部と、
差分画像の境界の画素値が前記差分値演算部によって演算された前記差分値を維持しながら、前記差分画像の境界の内部の領域が所定の勾配条件に合致するように前記差分画像を生成する差分画像生成部と、
前記N−1番目のフレームに対して求められた、前記N−1番目のフレーム中の前記合成対象領域に合成画像を合成した結果に相当する合成結果画像に、前記差分画像生成部で生成された前記差分画像を加算した画像を、前記N番目のフレームに対する前記合成結果画像として求め、求めた前記N番目のフレームに対する前記合成結果画像を、前記N番目のフレーム中の前記合成対象領域の画像と置き換える画像合成部と、
を含む画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012251237A JP5949481B2 (ja) | 2012-03-14 | 2012-11-15 | 画像処理方法、プログラム及び装置 |
US14/067,379 US9836864B2 (en) | 2012-03-14 | 2013-10-30 | Image processing method, recording medium and apparatus for replacing face components |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012057184 | 2012-03-14 | ||
JP2012057184 | 2012-03-14 | ||
JP2012251237A JP5949481B2 (ja) | 2012-03-14 | 2012-11-15 | 画像処理方法、プログラム及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013218660A JP2013218660A (ja) | 2013-10-24 |
JP5949481B2 true JP5949481B2 (ja) | 2016-07-06 |
Family
ID=49590642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012251237A Expired - Fee Related JP5949481B2 (ja) | 2012-03-14 | 2012-11-15 | 画像処理方法、プログラム及び装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9836864B2 (ja) |
JP (1) | JP5949481B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101948692B1 (ko) * | 2012-10-09 | 2019-04-25 | 삼성전자주식회사 | 촬영 장치 및 이미지 합성 방법 |
US9576341B2 (en) * | 2013-10-30 | 2017-02-21 | Ricoh Imaging Company, Ltd. | Image-processing system, imaging apparatus and image-processing method |
WO2017077680A1 (ja) * | 2015-11-05 | 2017-05-11 | 日本電気株式会社 | 画像処理システム、画像処理方法、および画像処理プログラム記録媒体 |
JP6790752B2 (ja) * | 2015-11-20 | 2020-11-25 | 株式会社リコー | 画像読取装置、画像形成装置および画像読取方法 |
US10769828B2 (en) * | 2017-07-13 | 2020-09-08 | Nimai C. Malle | Automated photo collages |
CN108234867B (zh) * | 2017-12-21 | 2020-06-30 | 维沃移动通信有限公司 | 图像处理方法及移动终端 |
CN108389217A (zh) * | 2018-01-31 | 2018-08-10 | 华东理工大学 | 一种基于梯度域混合的视频合成方法 |
CN108737730A (zh) * | 2018-05-25 | 2018-11-02 | 优酷网络技术(北京)有限公司 | 图像合成方法及装置 |
CN110660088B (zh) | 2018-06-30 | 2023-08-22 | 华为技术有限公司 | 一种图像处理的方法和设备 |
CN113034481A (zh) * | 2021-04-02 | 2021-06-25 | 广州绿怡信息科技有限公司 | 设备图像模糊检测方法及装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE180371T1 (de) | 1995-06-16 | 1999-06-15 | Princeton Video Image Inc | Vorrichtung und verfahren zur echtzeiteinblendung in videobilder unter verwendung von adaptiver okklusion mit einem synthetischen referenzbild |
JP2002056381A (ja) | 2000-08-11 | 2002-02-20 | Fujitsu Ltd | 道路状況画像処理装置 |
US7082211B2 (en) * | 2002-05-31 | 2006-07-25 | Eastman Kodak Company | Method and system for enhancing portrait images |
JP4649640B2 (ja) | 2004-11-18 | 2011-03-16 | 学校法人慶應義塾 | 画像処理方法、画像処理装置、及びコンテンツ作成システム |
US8265349B2 (en) * | 2006-02-07 | 2012-09-11 | Qualcomm Incorporated | Intra-mode region-of-interest video object segmentation |
US7787664B2 (en) * | 2006-03-29 | 2010-08-31 | Eastman Kodak Company | Recomposing photographs from multiple frames |
US7796787B2 (en) * | 2007-02-03 | 2010-09-14 | Arcsoft, Inc. | Face component replacement |
US8265410B1 (en) * | 2009-07-11 | 2012-09-11 | Luxand, Inc. | Automatic correction and enhancement of facial images |
JP5451302B2 (ja) * | 2009-10-19 | 2014-03-26 | キヤノン株式会社 | 画像処理装置及び方法、プログラム及び記憶媒体 |
JP2011134204A (ja) * | 2009-12-25 | 2011-07-07 | Sony Corp | 画像処理装置、画像処理方法、及びプログラム |
JP2011176748A (ja) * | 2010-02-25 | 2011-09-08 | Sony Corp | 画像処理装置および方法、並びにプログラム |
EP2596475B1 (en) * | 2010-07-19 | 2019-01-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Filling disocclusions in a virtual view |
JP5807555B2 (ja) * | 2012-01-20 | 2015-11-10 | 富士通株式会社 | 画像処理プログラム、装置及び方法 |
-
2012
- 2012-11-15 JP JP2012251237A patent/JP5949481B2/ja not_active Expired - Fee Related
-
2013
- 2013-10-30 US US14/067,379 patent/US9836864B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US9836864B2 (en) | 2017-12-05 |
US20140133779A1 (en) | 2014-05-15 |
JP2013218660A (ja) | 2013-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5949481B2 (ja) | 画像処理方法、プログラム及び装置 | |
US9542735B2 (en) | Method and device to compose an image by eliminating one or more moving objects | |
KR102142567B1 (ko) | 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램 | |
KR20090111939A (ko) | 영상을 전경과 배경으로 분리하는 방법 및 장치, 영상을전경과 배경으로 분리하여 배경을 대체하는 방법 및 장치 | |
KR20150088656A (ko) | 참조 영역 분할을 이용한 인페인팅 장치 및 방법 | |
JP5807555B2 (ja) | 画像処理プログラム、装置及び方法 | |
EP3543954B1 (en) | Method of processing a video | |
KR101341616B1 (ko) | 세부정보 추정에 의한 영상 개선 장치 및 방법 | |
Ghanbari et al. | Contour-based video inpainting | |
JP2014110020A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN113724143A (zh) | 用于图像修复的方法和装置 | |
JP5799859B2 (ja) | 画像処理方法、プログラム及び装置 | |
Koochari et al. | Exemplar-based video inpainting with large patches | |
JP5987961B2 (ja) | 画像処理プログラム、装置及び方法 | |
Mahajan et al. | Image inpainting techniques for removal of object | |
CN113688753A (zh) | 静态人脸动态化方法、系统、计算机设备及可读存储介质 | |
CN106327432A (zh) | 基于偏移量的图像修复方法及装置 | |
JP2011018199A (ja) | 画像処理装置および方法、並びにプログラム | |
JP2002095012A (ja) | ステレオ画像生成装置およびその方法 | |
Çiftçi et al. | Mediaeval 2015 drone protect task: Privacy protection in surveillance systems using false coloring | |
JP5430492B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
KR101607948B1 (ko) | 영상 처리 장치 및 방법 | |
CN105391917B (zh) | 基于干扰物检测的视频优化方法 | |
Krishnan et al. | Enhanced Defogging System on Foggy Digital Color Images | |
RU2576490C1 (ru) | Способ гибридного ретуширования фона для преобразования 2d в 3d |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150706 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160523 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5949481 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |