JP5838874B2 - 画像処理方法、装置及びプログラム - Google Patents
画像処理方法、装置及びプログラム Download PDFInfo
- Publication number
- JP5838874B2 JP5838874B2 JP2012059038A JP2012059038A JP5838874B2 JP 5838874 B2 JP5838874 B2 JP 5838874B2 JP 2012059038 A JP2012059038 A JP 2012059038A JP 2012059038 A JP2012059038 A JP 2012059038A JP 5838874 B2 JP5838874 B2 JP 5838874B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- calculation
- synthesis
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
開示の技術は画像処理方法、画像処理装置及び画像処理プログラムに関する。
画像に被写体として写っている人物のプライバシーを保護する技術として、前記人物を特定できないように、画像中の前記人物の顔領域にモザイクを掛けたり、前記人物の眼部領域を矩形状にマスクする画像処理が知られている。しかし、上記のような画像処理を行った画像は、一見しただけで加工されていることが明瞭に判別できる画像となり、画像の鑑賞者に不自然な印象を与える。
これを解決するため、マスク画像の勾配情報を用い、画像中の顔領域等の合成対象領域のエッジ(マスク画像との合成境界)を境界条件としてポアソン方程式を解くことで、合成対象領域にマスク画像を合成する技術が提案されている。この技術では、合成対象領域に初期値画像を与え、初期値画像から、各画素の差分がマスク画像の勾配情報とエッジの境界条件を満たす値に収束するまで繰り返し演算を行うことで、合成対象領域にマスク画像を合成した結果に相当する合成結果画像が生成される。
なお、合成対象領域が顔領域である場合、マスク画像としては、例えば他の人物の顔を表す画像や、複数の人の平均的な顔を表す画像を適用することができる。また、初期値画像としては、例えば全面が白で塗り潰された画像や、全面が黒で塗り潰された画像などが用いられる。
また、合成結果画像を高速に演算する手法として、合成対象領域の境界γからの距離及び角度の比率に基づいて各画素の合成結果画像上の値を直接演算するＭＶＣ(Mean Value Cloning)も提案されている。
Patrick Perez,Michel Gangnet,Andrew Blake,"Poisson Image Editing",Microsoft Reserch UK,2003
ACM Transactions on Graphics(TOG),v.28 n.3,August,2009
P.Viola and M.Jones,"Rapid object detection using a boosted cascade of simple features,"in Proc.IEEE Computer Vision and Pattern Recognition,pp.I_511-I_518,2001
しかしながら、ポアソン方程式による繰り返し演算を行う手法では、合成したマスク画像との合成境界が目立ちにくい自然な画像が得られるという利点があるものの、演算の繰り返し回数が非常に多く、演算量が非常に大きいという欠点も有している。
また、ＭＶＣを適用した場合には、繰り返し演算が不要となることで演算量を大幅に削減できる。但し、ＭＶＣは、境界γからの距離及び角度の比率に基づき演算に用いるパラメータを決定する初期化を行う必要があり、初期化処理に時間が掛かるという課題があった。
特に、動画像に対して各フレーム中に存在する合成対象領域にマスク画像を各々合成しようとした場合、動画像の中で照明条件が変化すること等を考慮すると、各フレーム毎に合成結果画像を生成する必要がある。このため、動画像の各フレームへのマスク画像の合成を行う場合、処理に長大な時間が掛かることになる。
開示の技術は、合成画像の合成に要する演算量を削減することが目的である。
開示の技術は、設定ステップにおいて演算対象画素を設定する。当該画素は、画像中の合成対象領域のうち、合成対象領域に合成画像を合成した結果に相当し合成対象領域の境界上の画素の値が保存される合成結果画像上での値が未知の画素で、当該画素に対して所定の複数の方向に値が既知の画素が各々存在している画素である。また設定ステップでは、設定した演算対象画素に対して所定の複数の方向の何れかに各々存在しており値が既知の複数の画素を参照画素に各々設定する。また演算ステップでは、設定ステップで設定した複数の参照画素の合成結果画像上での値及び合成画像上での値と、前記演算対象画素の合成画像上での値と、に基づいて、設定ステップで設定した演算対象画素の合成結果画像上での値を演算する。また合成ステップでは、合成対象領域の全ての画素について合成結果画像上での値が演算される迄、設定ステップでの演算対象画素及び参照画素の設定と演算ステップでの演算対象画素の値の演算を繰り返させる。そして合成ステップでは、得られた合成結果画像を画像中の合成対象領域の画像と置き換える。
開示の技術は、合成画像の合成に要する演算量を削減できる、という効果を有する。
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。図１には、本実施形態に係る画像処理装置１０が示されている。画像処理装置１０は、動画像の各フレーム中に存在する人物の顔領域等の合成対象領域に、予め設定されたマスク画像を合成することで、動画像中に被写体として写っている人物のプライバシーの保護を図るマスク合成処理を行う装置である。
画像処理装置１０は、動画像取得部１２、マスク画像取得部１４、合成対象領域検出部１６、２個の色要素分離部１８,２０、３個の画像合成部２２〜２６、色要素合成部２８及び動画像出力部３０を備えている。また、画像合成部２２〜２６は、互いに同一の構成であり、演算対象／参照画素設定部３２、マスク画像保持部３４、合成結果画像演算部３６及び合成結果画像合成部３８を各々備えている。
動画像取得部１２は、動画像を撮影する機能を備えた撮影装置によって被写体が撮影されることで得られた動画像を、撮影装置又は前記動画像を記憶する記憶部からフレーム単位で取得する。なお、動画像取得部１２は上記の撮影装置を含んだ構成であってもよい。また、画像処理装置１０自体が上記の撮影装置に内蔵されていてもよい。また、例えば撮影装置が、画像処理装置１０として機能する情報機器と通信ケーブルを介して接続される場合、動画像取得部１２は、前記情報機器に設けられ、通信ケーブルを介して撮影装置から画像データを受信することで取得する通信ユニットであってもよい。
マスク画像取得部１４は、動画像の各フレーム中に存在する人物の顔領域等の合成対象領域に合成するためのマスク画像を取得する。前述のように、本実施形態に係るマスク合成処理は、動画像中に被写体として写っている人物のプライバシーの保護を目的としており、マスク画像は、マスク画像が合成された動画像が前記人物の特定が困難な動画像となるように予め設定される。例えば合成対象領域が人物の顔領域である場合、マスク画像としては、動画像中に被写体として写っている人物以外の他の人の顔を表す画像や、複数の人の平均的な顔を表す画像等が予め設定される。マスク画像取得部１４は、予め設定されて記憶部に記憶されたマスク画像を記憶部から読み出す等の処理を行うことで、マスク画像を取得する。
合成対象領域検出部１６は、動画像取得部１２によって取得された動画像の各フレームの画像に対し、各フレームの画像中に存在している合成対象領域を順次検出し、検出した合成対象領域の画像上の位置及びサイズを動画像の各フレームと共に順次出力する。色要素分離部１８は、動画像取得部１２によって取得された動画像の各フレームの画像を画素毎に複数の色要素に分離し、色要素分離部２０は、マスク画像取得部１４によって取得されたマスク画像を画素毎に複数の色要素に分離する。複数の色要素としては、任意の色空間を規定する色要素を適用可能であり、例えばＲ,Ｇ,ＢやＹ,Ｕ,Ｖ、Ｌ*,ａ*,ｂ*等のうちの何れかを適用することができる。
画像合成部２２〜２６は互いに異なる色要素に対応しており、互いに異なる色要素のフレーム画像が色要素分離部１８,２０から入力される。画像合成部２２〜２６は、互いに異なる色要素について、入力されたフレーム画像中の合成対象領域に、入力されたマスク画像を合成した結果に相当する合成結果画像を生成し、生成した合成結果画像を合成対象領域に合成する処理を各々行う。
すなわち、演算対象／参照画素設定部３２は、色要素分離部１８から入力された特定の色要素のフレーム画像中の合成対象領域に対し、合成結果画像演算部３６が合成結果画像上での特定の色成分の値を演算する演算対象画素を設定する。また演算対象／参照画素設定部３２は、合成結果画像演算部３６が演算対象画素の合成結果画像上での特定の色成分の値を演算するにあたり、合成結果画像上での値及びマスク画像上での値が参照される参照画素を複数設定する。なお、演算対象／参照画素設定部３２は開示の技術における設定部の一例であり、演算対象／参照画素設定部３２によって実現される処理は開示の技術における設定ステップの一例である。
また、マスク画像保持部３４は、色要素分離部２０から入力された特定の色要素のマスク画像を保持する。合成結果画像演算部３６は、演算対象／参照画素設定部３２によって複数設定された参照画素の合成結果画像上での値及びマスク画像上での値に基づいて、演算対象／参照画素設定部３２によって設定された演算対象画素の合成結果画像上での値を演算する。なお、合成結果画像演算部３６は開示の技術における演算部の一例であり、合成結果画像演算部３６によって実現される処理は開示の技術における演算ステップの一例である。
合成結果画像合成部３８は、合成結果画像演算部３６によって合成対象領域の全ての画素について合成結果画像上での値が演算されたか否か判定し、判定が肯定される迄の間、演算対象／参照画素設定部３２及び合成結果画像演算部３６の処理を繰り返させる。また合成結果画像合成部３８は、合成結果画像演算部３６による演算が終了して特定色要素の合成結果画像が生成されると、生成された特定の色要素の合成結果画像を、フレーム画像中の合成対象領域の画像と置き換える画像合成処理を行う。なお、合成結果画像合成部３８は開示の技術における合成部の一例であり、合成結果画像合成部３８によって実現される処理は開示の技術における合成ステップの一例である。
色要素合成部２８は、合成結果画像が合成された互いに異なる色要素のフレーム画像が画像合成部２２〜２６から出力される度に、画像合成部２２〜２６から出力された各色要素のフレーム画像を単一のフレーム画像へ合成して出力する。動画像出力部３０は、色要素合成部２８から出力された単一のフレーム画像を、マスク画像が合成された動画像のうちの１フレームの画像として出力する。
画像処理装置１０は、例えば図２に示すコンピュータ６０で実現することができる。コンピュータ６０はＣＰＵ６２、メモリ６４、不揮発性の記憶部６６、キーボード６８、マウス７０、ディスプレイ７２を備え、これらはバス７４を介して互いに接続されている。
また、記憶部６６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部６６には、コンピュータ６０を画像処理装置１０として機能させるためのマスク合成プログラム７６が記憶されている。ＣＰＵ６２は、マスク合成プログラム７６を記憶部６６から読み出してメモリ６４に展開し、マスク合成プログラム７６が有するプロセスを順次実行する。
マスク合成プログラム７６は、動画像取得プロセス７８、マスク画像取得プロセス８０、合成対象領域検出プロセス８２、色要素分離プロセス８４、画像合成プロセス８６、色要素合成プロセス８８及び動画像出力プロセス９０を有する。ＣＰＵ６２は、動画像取得プロセス７８を実行することで、図１に示す動画像取得部１２として動作する。またＣＰＵ６２は、マスク画像取得プロセス８０を実行することで、図１に示すマスク画像取得部１４として動作する。またＣＰＵ６２は、合成対象領域検出プロセス８２を実行することで、図１に示す合成対象領域検出部１６として動作する。またＣＰＵ６２は、色要素分離プロセス８４を実行することで、図１に示す色要素分離部１８,２０として動作する。またＣＰＵ６２は、画像合成プロセス８６を実行することで、図１に示す画像合成部２２〜２６として動作する。またＣＰＵ６２は、色要素合成プロセス８８を実行することで、図１に示す色要素合成部２８として動作する。またＣＰＵ６２は、動画像出力プロセス９０を実行することで、図１に示す動画像出力部３０として動作する。
また、画像合成プロセス８６は、演算対象／参照画素設定プロセス９２、マスク画像保持プロセス９４、合成結果画像演算プロセス９６及び合成結果画像合成プロセス９８を有する。ＣＰＵ６２は、演算対象／参照画素設定プロセス９２を実行することで、図１に示す演算対象／参照画素設定部３２として動作する。またＣＰＵ６２は、マスク画像保持プロセス９４を実行することで、図１に示すマスク画像保持部３４として動作する。またＣＰＵ６２は、合成結果画像演算プロセス９６を実行することで、図１に示す合成結果画像演算部３６として動作する。またＣＰＵ６２は、合成結果画像合成プロセス９８を実行することで、図１に示す合成結果画像合成部３８として動作する。これにより、マスク合成プログラム７６を実行したコンピュータ６０が、画像処理装置１０として機能することになる。なお、マスク合成プログラム７６は開示の技術における画像処理プログラムの一例である。
なお、画像処理装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。
次に、本実施形態の作用の説明に先立ち、従来のマスク画像の合成(合成結果画像の演算)について説明する。従来のマスク画像の合成は、マスク画像の勾配情報(二次微分値)を用い、合成対象領域のエッジ(マスク画像との合成境界)を境界条件としてポアソン方程式を解き、合成結果画像を求めることによって成される。具体的には、例えば以下の演算処理によって実現される(図１１も参照)。
すなわち、マスク画像をＳ(幅Ｗ,高さＨ)、合成対象領域をＴ(幅Ｗ,高さＨ)、初期値画像をＩ(幅Ｗ,高さＨ)、合成結果画像をＦとしたときに、マスク画像Ｓのラプラシアンフィルタ適用値Ｌsは次の(１)式で表される。
Ｌs(ｘ,ｙ)＝Ｓ(ｘ-1,ｙ)＋Ｓ(ｘ+1,ｙ)＋Ｓ(ｘ,ｙ-1)＋Ｓ(ｘ,ｙ+1)−４Ｓ(ｘ,ｙ)
…(１)
但し、画像の端は算出先とならないので、マスク画像Ｓの幅をＷ、高さをＨとすると、
０＜ｘ＜Ｗ、０＜ｙ＜Ｈ
である。画像の外縁は合成対象領域の画素値(境界γ)とする(次の(２)式参照)。
Ｆ(ｘ,ｙ)＝Ｔ(ｘ,ｙ) (ｘ＝０又はｙ＝０又はｘ＝Ｗ又はｙ＝Ｈのとき) …(２)
Ｌs(ｘ,ｙ)＝Ｓ(ｘ-1,ｙ)＋Ｓ(ｘ+1,ｙ)＋Ｓ(ｘ,ｙ-1)＋Ｓ(ｘ,ｙ+1)−４Ｓ(ｘ,ｙ)
…(１)
但し、画像の端は算出先とならないので、マスク画像Ｓの幅をＷ、高さをＨとすると、
０＜ｘ＜Ｗ、０＜ｙ＜Ｈ
である。画像の外縁は合成対象領域の画素値(境界γ)とする(次の(２)式参照)。
Ｆ(ｘ,ｙ)＝Ｔ(ｘ,ｙ) (ｘ＝０又はｙ＝０又はｘ＝Ｗ又はｙ＝Ｈのとき) …(２)
また、合成結果画像Ｆのラプラシアンフィルタ適用値Ｌfをマスク画像Ｓのラプラシアンフィルタ適用値Ｌsと一致させる(次の(３)式参照)。
Ｌf(ｘ,ｙ)＝Ｌs(ｘ,ｙ) …(３)
上記(２),(３)式の方程式を解くことで、合成対象領域Ｔの全領域で合成結果画像Ｆ(ｘ,ｙ)の値を得ることができる。
Ｌf(ｘ,ｙ)＝Ｌs(ｘ,ｙ) …(３)
上記(２),(３)式の方程式を解くことで、合成対象領域Ｔの全領域で合成結果画像Ｆ(ｘ,ｙ)の値を得ることができる。
上記の方程式は、以下のようにして解くことができる。すなわち、合成結果画像Ｆのラプラシアンフィルタ適用値Ｌfは次の(４)式で表される。
Ｌf(ｘ,ｙ)＝Ｆ(ｘ-1,ｙ)＋Ｆ(ｘ+1,ｙ)＋Ｆ(ｘ,ｙ-1)＋Ｆ(ｘ,ｙ+1)−４Ｆ(ｘ,ｙ)
…(４)
また、前出の(３)式より次の(５)式が得られる。
Ｆ(ｘ,ｙ)＝{Ｆ(ｘ-1,ｙ)＋Ｆ(ｘ+1,ｙ)＋Ｆ(ｘ,ｙ-1)＋Ｆ(ｘ,ｙ+1)−Ｌs(ｘ,ｙ)}/４
…(５)
Ｌf(ｘ,ｙ)＝Ｆ(ｘ-1,ｙ)＋Ｆ(ｘ+1,ｙ)＋Ｆ(ｘ,ｙ-1)＋Ｆ(ｘ,ｙ+1)−４Ｆ(ｘ,ｙ)
…(４)
また、前出の(３)式より次の(５)式が得られる。
Ｆ(ｘ,ｙ)＝{Ｆ(ｘ-1,ｙ)＋Ｆ(ｘ+1,ｙ)＋Ｆ(ｘ,ｙ-1)＋Ｆ(ｘ,ｙ+1)−Ｌs(ｘ,ｙ)}/４
…(５)
合成結果画像Ｆを数値的に解く場合は、(５)式を次の(６)式の漸化式へ変形し、合成結果画像Ｆに初期値を与えた後、合成結果画像Ｆの値が収束する迄繰り返し演算を行う(ガウスザイデル法)。
Ｆi+1(ｘ,ｙ)＝{Ｆi(ｘ-1,ｙ)＋Ｆi(ｘ+1,ｙ)＋Ｆi(ｘ,ｙ-1)＋Ｆi(ｘ,ｙ+1)
−Ｌs(ｘ,ｙ)}/４ …(６)
但し、ｉは各回の演算を識別するための変数である。また、初期値は通常、
Ｆ0(ｘ,ｙ)＝Ｔ(ｘ,ｙ) (ｘ＝０又はｙ＝０又はｘ＝Ｗ又はｙ＝Ｈのとき)
Ｆ0(ｘ,ｙ)＝０ (ｘ＝０、ｙ＝０、ｘ＝Ｗ及びｙ＝Ｈ以外のとき)
である。
Ｆi+1(ｘ,ｙ)＝{Ｆi(ｘ-1,ｙ)＋Ｆi(ｘ+1,ｙ)＋Ｆi(ｘ,ｙ-1)＋Ｆi(ｘ,ｙ+1)
−Ｌs(ｘ,ｙ)}/４ …(６)
但し、ｉは各回の演算を識別するための変数である。また、初期値は通常、
Ｆ0(ｘ,ｙ)＝Ｔ(ｘ,ｙ) (ｘ＝０又はｙ＝０又はｘ＝Ｗ又はｙ＝Ｈのとき)
Ｆ0(ｘ,ｙ)＝０ (ｘ＝０、ｙ＝０、ｘ＝Ｗ及びｙ＝Ｈ以外のとき)
である。
また、収束条件は以下の何れかである。
(収束条件Ａ) |Ｆi+1−Ｆi|が閾値以下
(収束条件Ｂ) 合成結果画像Ｆのラプラシアンフィルタ適用値Ｌfを演算し、|Ｌf−Ｌs|が閾値以下
これにより、マスク画像Ｓに基づき、初期値画像Ｉ及び合成対象領域Ｔの境界γから合成結果画像Ｆが生成される。
(収束条件Ａ) |Ｆi+1−Ｆi|が閾値以下
(収束条件Ｂ) 合成結果画像Ｆのラプラシアンフィルタ適用値Ｌfを演算し、|Ｌf−Ｌs|が閾値以下
これにより、マスク画像Ｓに基づき、初期値画像Ｉ及び合成対象領域Ｔの境界γから合成結果画像Ｆが生成される。
また、(６)式に代えて以下の(７)式によって合成結果画像Ｆを求めることも可能である(ＳＯＲ法)。
Ｆi+1(ｘ,ｙ)＝(1−ω)Ｆi(ｘ,ｙ)＋ω{Ｆi(ｘ-1,ｙ)＋Ｆi(ｘ+1,ｙ)＋Ｆi(ｘ,ｙ-1)
＋Ｆi(ｘ,ｙ+1)−Ｌs(ｘ,ｙ)}/４ …(７)
Ｆi+1(ｘ,ｙ)＝(1−ω)Ｆi(ｘ,ｙ)＋ω{Ｆi(ｘ-1,ｙ)＋Ｆi(ｘ+1,ｙ)＋Ｆi(ｘ,ｙ-1)
＋Ｆi(ｘ,ｙ+1)−Ｌs(ｘ,ｙ)}/４ …(７)
(７)式はω＝１〜２で収束する。なお、前出の(６)式は(７)式におけるω＝１の場合とみなすことも可能である。ω＝1.95程度の値を用いることで良好な収束性が得られる。
但し、上述した合成結果画像Ｆの演算は、繰り返し演算における演算の繰り返し回数が非常に多く、演算量が非常に大きいという欠点を有している。
次に、開示の技術の比較例としてのＭＶＣについて説明する。ＭＶＣは、合成対象領域Ｔの境界γからの距離及び角度の比率に基づいて各画素の合成結果画像上の値を直接演算する手法である。ＭＶＣでは、合成対象領域Ｔの境界γ上の画素の座標をｐi、演算対象画素の座標をｘとすると、初期化時に各画素に対応する係数λiが以下の(８),(９)式により演算される。
λi(ｘ)＝ｗi／Σｗj …(８)
ｗi＝{tan(α_(i-1)／２)＋tan(αi／２)}／||ｐi−ｘ|| …(９)
但し、
αi：∠ｐ_(i-1)×p_i
である。
λi(ｘ)＝ｗi／Σｗj …(８)
ｗi＝{tan(α_(i-1)／２)＋tan(αi／２)}／||ｐi−ｘ|| …(９)
但し、
αi：∠ｐ_(i-1)×p_i
である。
合成結果画像Ｆの生成は、画素ｘの合成対象領域Ｔにおける値をＴ(ｘ)、マスク画像Ｓにおける値をＳ(ｘ)、合成結果画像Ｆにおける値をＦ(ｘ)とすると、各画素ｘについて以下の(10)〜(12)式の演算を行うことで実現される。
diff_i＝Ｔ(ｐi)−Ｓ(ｐi) …(10)
ｒ(ｘ)＝Σ(λi(ｘ)×diff_i) …(11)
Ｆ(ｘ)＝Ｓ(ｘ)＋ｒ(ｘ) …(12)
diff_i＝Ｔ(ｐi)−Ｓ(ｐi) …(10)
ｒ(ｘ)＝Σ(λi(ｘ)×diff_i) …(11)
Ｆ(ｘ)＝Ｓ(ｘ)＋ｒ(ｘ) …(12)
ＭＶＣは、合成対象領域Ｔの境界γからの距離及び角度の比率に基づき、(10)〜(12)式の演算を行うことで各画素値を算出可能であるため、繰り返し演算が不要になるという利点を有する。但し、ＭＶＣは、初期化時の係数λiの演算式((８),(９)式)が繁雑であり、多数の画素について、対応する境界λ上の参照画素からの距離及び角度の比率を算出するという複雑な演算を行う必要がある。このため、ＭＶＣは初期化処理に時間が掛かるという課題がある。特に、動画像のように合成対象領域Ｔの形状が毎フレーム変化する場合、合成対象領域Ｔの境界γ上の参照画素を毎フレーム算出する必要があるので、初期化処理に時間が掛かるとリアルタイム処理が困難になる。
一方、ＭＶＣにおける初期化時の演算が複雑であることは、演算対象の画素に対して境界λ上の参照画素が存在している方向が不定であり、参照画素からの角度の比率が都度相違していることに起因すると考えられる。演算対象画素に対して一定の方向に存在する画素を参照画素として用いるようにすれば、参照画素からの角度の比率は常に一定となり、演算が簡単になることで処理時間を短縮できる。但し、ＭＶＣにおいて、演算対象画素に対して一定の方向に存在する画素を参照画素として用いるようにした場合、ＭＶＣでは合成対象領域Ｔの境界γ上の画素のみを参照画素として演算に用いているので、演算精度が低下することが予想される。そこで、演算対象画素に対して一定の方向に存在する画素を参照画素として用いると共に、合成結果画像上での値を演算した画素についても、合成結果画像上での値が既知であるので、参照画素として演算に用いることが考えられる。これにより、ＭＶＣよりも処理時間を短縮できると共に、合成結果画像上での値が既知の画素が増えるに従って、演算対象画素と参照画素との距離が小さくなることから、ＭＶＣと同等の演算精度が得られる。
上記に基づき、本実施形態では、画像処理装置１０に対してマスク合成処理の実行が指示された場合に、図３〜図５に示す処理を含むマスク合成処理が画像処理装置１０によって行われる。なお、マスク合成処理は、例えば、撮影装置によって撮影された動画像を配布、或いは放送、或いはネットワーク上で公開する等の理由で、動画像中に被写体として写っている人物のプライバシーの保護を図る必要が生じた場合に実行が指示される。
マスク合成処理の実行に際しては、処理対象の動画像が指定され、合成対象のマスク画像も指定される。これにより、本実施形態に係る画像処理装置１０では、動画像取得部１２、マスク画像取得部１４、合成対象領域検出部１６及び２個の色要素分離部１８,２０により、図３に示す色要素分離処理が実行される。
色要素分離処理のステップ１５０において、マスク画像取得部１４は、例えば記憶部６６等に予め記憶された複数のマスク画像の中から、合成対象として指定されたマスク画像を取得する。なお、マスク画像を合成する合成対象領域として、動画像中に被写体として写っている人物の顔領域全体を適用する場合、マスク画像としては、例えば図１１に示すように、人物の顔(他の人の顔や複数の人の平均的な顔等)を表す顔画像が適用される。ステップ１５２において、色要素分離部２０は、マスク画像取得部１４によって取得されたマスク画像を複数の色要素に分離する。
ステップ１５４において、動画像取得部１２は、処理対象として指定された動画像の各フレームを識別するための変数Ｎに１を設定する。またステップ１５６において、動画像取得部１２は、処理対象の動画像のうちＮ番目のフレームの画像を取得する。またステップ１５８において、合成対象領域検出部１６は、動画像取得部１２によって取得されたＮ番目のフレームの画像の中から合成対象領域を検出し、Ｎ番目のフレームの画像における合成対象領域の位置及びサイズを検出する。
なお、合成対象領域として顔領域を適用する場合、顔領域の検出には、例えばHaar classifierを用いる手法(非特許文献３参照)等の任意の手法を適用できる。また、合成対象領域は合成対象領域検出部１６によって検出することに限られるものではない。例えば動画像中に被写体として写っている複数の人物のうちの一部の人物に対してのみマスク画像を合成する等の場合に、処理対象の人物の合成対象領域が最初に指定されるようにしてもよい。この場合、合成対象領域検出部１６は、最初に指定された合成対象領域を動画像上で追跡する処理を行うことができる。
ステップ１６０において、色要素分離部１８は、動画像取得部１２によって取得されたＮ番目のフレームの画像を複数の色要素に分離する。ステップ１６２において、色要素分離部１８は、各色要素毎のＮ番目のフレームの画像を画像合成部２２〜２６に各々出力し、色要素分離部２０は各色要素のマスク画像を画像合成部２２〜２６へ各々出力する。なお、色要素分離部２０から出力された各色要素のマスク画像は、画像合成部２２〜２６のマスク画像保持部３４に各々保持される。また、色要素分離部１８から出力されたＮ番目のフレームの画像は演算対象／参照画素設定部３２に入力される。
次のステップ１６４において、動画像取得部１２は、処理対象の動画像の全フレームの画像を取得したか否かを判定する。ステップ１６４の判定が否定された場合はステップ１６６へ移行し、動画像取得部１２は、変数Ｎの値を１だけインクリメントし、ステップ１５６に戻る。これにより、ステップ１６４の判定が肯定される迄、ステップ１５６〜ステップ１６６が繰り返される。そして、ステップ１６４の判定が肯定されると、色要素分離処理を終了する。
また、画像処理装置１０の画像合成部２２〜２６の各々では、Ｎ番目のフレームの特定色要素の画像が色要素分離部１８から入力される度に、図４に示す合成結果画像生成処理が実行される。
ステップ１７０において、演算対象／参照画素設定部３２は、今回の演算が初回の演算か否か判定する。ステップ１７０の判定が肯定された場合はステップ１７２へ移行する。ステップ１７２において、演算対象／参照画素設定部３２は、合成対象領域Ｔのおよそ中央に位置している１個の画素を演算対象画素に設定する。ステップ１７４において、ステップ１７２で設定した演算対象画素と合成対象領域Ｔの境界γとの距離(本実施形態ではこの距離を参照画素の方向が縦横方向であれば２ｋ、斜め方向であれば√２×２ｋとする)に基づいて、演算距離次数であるｋの初期値を設定する。
初回の演算時において、合成結果画像Ｆ上での値が既知の画素は合成対象領域Ｔの境界γ上の画素である。本実施形態において、演算対象画素の合成結果画像Ｆ上での値の演算には、合成結果画像Ｆ上での値が既知の画素(参照画素)の値が用いられるが、初回の演算時には参照画素として合成対象領域Ｔの境界γ上の画素が用いられる。従って、上記の演算距離次数ｋは演算対象画素と参照画素との距離を表している。
ところで、本実施形態では、演算対象画素に対する参照画素の方向として、図６(Ａ)に示すように上下左右の４方向(縦横方向)と、図６(Ｂ)に示すように前記縦横方向に対して45°傾いた４方向(斜め方向)と、が設けられている。なお、図６において、演算対象画素は符号"ｆ"で示し、参照画素はハッチングで示している。ステップ１７６において、演算対象／参照画素設定部３２は、参照画素の方向としての縦横方向及び斜め方向について、参照画素の候補を各々選択する。
なお、例えば合成対象領域Ｔが、一辺の長さが２ｋ＋１＋１画素(ｋ＞０の整数)の矩形状であり、合成対象領域Ｔの左上隅が座標の原点(０,０)の場合、初回の演算では、合成対象領域の中央に位置している座標(２ｋ,２ｋ)の画素が演算対象画素に設定される。また、参照画素の方向が縦横方向の場合、座標(０,２ｋ),(２ｋ＋１,２ｋ),(２ｋ,０),(２ｋ,２ｋ＋１)の４画素が参照画素候補に選択され、参照画素の方向が斜め方向の場合、座標(０,０),(０,２ｋ＋１),(２ｋ＋１,０),(２ｋ＋１,２ｋ＋１)の４画素が参照画素候補に選択される。また、合成対象領域Ｔが非矩形状の場合は、演算対象画素から縦横方向又は斜め方向に対応する４方向へ辿ったときの合成対象領域Ｔの境界γ上の画素が参照画素候補として各々選択される。
ステップ１７８において、演算対象／参照画素設定部３２は、演算対象画素と参照画素候補との距離のばらつきに基づき、初回の演算で適用する参照画素の方向として、縦横方向及び斜め方向のうち距離のばらつき(例えば分散σ2)が小さい方の方向を選択する。なお、開示の技術は、上記のように、初回の演算における参照画素の方向を、演算対象画素と４個の参照画素との距離のばらつきに基づいて選択することに限られるものではない。例えば、初回の演算における参照画素の方向を縦横方向又は斜め方向に予め設定しておいてもよい。次のステップ１８０において、演算対象／参照画素設定部３２は、ステップ１７８で選択した参照画素の方向に対応する参照画素候補を参照画素に設定する。
次のステップ１９８において、合成結果画像演算部３６は、演算対象／参照画素設定部３２によって設定された演算対象画素を演算対象として１つ選択する。ステップ２００において、合成結果画像演算部３６は、ステップ１９８で選択した演算対象画素と、当該演算対象画素に対応する４個の参照画素と、の距離が均一か否か判定する。
ステップ２００の判定が肯定された場合はステップ２０２へ移行する。ステップ２０２において、合成結果画像演算部３６は、距離が均一の場合の演算式を用い、複数の参照画素の合成結果画像上での特定色要素の値及びマスク画像上での特定色要素の値に基づいて演算対象画素の合成結果画像上での特定色要素の値を演算する。演算対象画素と複数の参照画素との距離が均一の場合の演算式は以下の(13)式である。(13)式において、Ｆ1,Ｆ2,Ｆ3,Ｆ4及びＳ1,Ｓ2,Ｓ3,Ｓ4は、４個の参照画素の合成結果画像Ｆ上及びマスク画像Ｓ上の値(特定色要素の値)であり、Ｆ(ｘ,ｙ)は演算対象画素の合成結果画像Ｆ上の値(特定色要素の値)である。
Ｆ(ｘ,ｙ)＝[Ｆ1＋Ｆ2＋Ｆ3＋Ｆ4−{Ｓ1＋Ｓ2＋Ｓ3＋Ｓ4}]／４＋Ｓ(ｘ,ｙ) …(13)
演算対象画素と複数の参照画素との距離が均一の場合は、参照画素の方向が縦横方向か斜め方向かに拘わらず、(13)式の演算を行うことで演算対象画素の合成結果画像Ｆ上の特定色要素の値Ｆ(ｘ,ｙ)が算出される。
Ｆ(ｘ,ｙ)＝[Ｆ1＋Ｆ2＋Ｆ3＋Ｆ4−{Ｓ1＋Ｓ2＋Ｓ3＋Ｓ4}]／４＋Ｓ(ｘ,ｙ) …(13)
演算対象画素と複数の参照画素との距離が均一の場合は、参照画素の方向が縦横方向か斜め方向かに拘わらず、(13)式の演算を行うことで演算対象画素の合成結果画像Ｆ上の特定色要素の値Ｆ(ｘ,ｙ)が算出される。
また、ステップ２００の判定が否定された場合はステップ２０４へ移行する。ステップ２０４において、合成結果画像演算部３６は、距離が不均一の場合の演算式を用い、複数の参照画素の合成結果画像上での特定色要素の値及びマスク画像上での特定色要素の値に基づいて演算対象画素の合成結果画像上での特定色要素の値を演算する。演算対象画素と複数の参照画素との距離が不均一の場合の演算式は以下の(14)式である。(14)式は、演算対象画素の座標が(ｘ,ｙ)、４個の参照画素の座標が(ｘ−ａ,ｙ),(ｘ＋ｂ,ｙ),(ｘ,ｙ−ｃ),(ｘ,ｙ＋ｄ)の場合の演算式である。
Ｆ(ｘ,ｙ)＝[ａｃｄ×Ｆ(ｘ＋ｂ,ｙ)＋ｂｃｄ×Ｆ(ｘ−ａ,ｙ)＋ａｂｃ×Ｆ(ｘ,ｙ＋ｄ)＋ａｂｄ×Ｆ(ｘ,ｙ−ｃ)−{ａｃｄ×Ｓ(ｘ＋ｂ,ｙ)＋ｂｃｄ×Ｓ(ｘ−ａ,ｙ)＋ａｂｃ×Ｓ(ｘ,ｙ＋ｄ)＋ａｂｄ×Ｓ(ｘ,ｙ−ｃ)}]／(ａｃｄ＋ｂｃｄ＋ａｂｃ＋ａｂｄ)＋Ｓ(ｘ,ｙ) …(14)
なお、(14)式は、先に挙げた参照画素の座標からも明らかなように参照画素の方向が縦横方向の場合である。但し、参照画素の方向が斜め方向の場合も、座標軸を45°回転させた状態で(14)式を適用することで、演算対象画素の合成結果画像Ｆ上の特定色要素の値Ｆ(ｘ,ｙ)を同様に算出できる。
Ｆ(ｘ,ｙ)＝[ａｃｄ×Ｆ(ｘ＋ｂ,ｙ)＋ｂｃｄ×Ｆ(ｘ−ａ,ｙ)＋ａｂｃ×Ｆ(ｘ,ｙ＋ｄ)＋ａｂｄ×Ｆ(ｘ,ｙ−ｃ)−{ａｃｄ×Ｓ(ｘ＋ｂ,ｙ)＋ｂｃｄ×Ｓ(ｘ−ａ,ｙ)＋ａｂｃ×Ｓ(ｘ,ｙ＋ｄ)＋ａｂｄ×Ｓ(ｘ,ｙ−ｃ)}]／(ａｃｄ＋ｂｃｄ＋ａｂｃ＋ａｂｄ)＋Ｓ(ｘ,ｙ) …(14)
なお、(14)式は、先に挙げた参照画素の座標からも明らかなように参照画素の方向が縦横方向の場合である。但し、参照画素の方向が斜め方向の場合も、座標軸を45°回転させた状態で(14)式を適用することで、演算対象画素の合成結果画像Ｆ上の特定色要素の値Ｆ(ｘ,ｙ)を同様に算出できる。
ステップ２０２又はステップ２０４で演算対象画素の合成結果画像Ｆ上の特定色要素の値Ｆ(ｘ,ｙ)を算出すると、ステップ２０６へ移行する。ステップ２９６において、合成結果画像演算部３６は、ステップ２０２又はステップ２９４で合成結果画像Ｆ上の特定色要素の値Ｆ(ｘ,ｙ)を算出した演算対象画素を、合成結果画像Ｆ上の値が既知の画素を登録するためのテーブルに登録する。ステップ２０８において、合成結果画像演算部３６は、演算対象／参照画素設定部３２によって設定された全ての演算対象画素を演算対象として選択したか否か判定する。初回の演算では、演算対象／参照画素設定部３２によって設定される演算対象画素は１個のみであるので、ステップ２０８の判定が肯定されてステップ２１０へ移行する。
ステップ２１０において、合成結果画像合成部３８は、合成結果画像Ｆ上の値が未演算の画素が有るか否か判定する。なお、ステップ２１０の判定は、演算距離次数ｋが０で、演算距離＝１画素の演算が終了した場合に否定される。ステップ２１０の判定が肯定された場合はステップ１７０に戻り、ステップ１７０以降で２回目の演算が行われる。２回目以降の演算では、合成対象領域Ｔの境界γ上の画素に加え、ステップ２０６でテーブルに登録した画素も、合成結果画像Ｆ上での値が既知の画素になる。
２回目の演算では、ステップ１７０の判定が否定されてステップ１８２へ移行する。ステップ１８２において、演算対象／参照画素設定部３２は、今回の演算が２回目の演算か否か判定する。この場合はステップ１８２の判定が肯定されてステップ１８６へ移行し、ステップ１８６において、演算対象／参照画素設定部３２は、演算距離次数ｋを１だけデクリメントする。
次のステップ１８８において、演算対象／参照画素設定部３２は、今回の演算に適用する参照画素の方向として斜め方向を設定する。またステップ１９０において、演算対象／参照画素設定部３２は、合成結果画像Ｆ上の値が既知の画素から斜め方向に√２×２ｋの距離にある全ての画素を演算対象画素に設定する。これにより、例えば図７に「２回目以降の偶数回目の演算」と表記して示す図に"ｖ1"として示すように、初回の演算で演算対象に設定した画素ｆに対して斜め方向に存在する複数の画素が今回の演算対象画素として設定される。
ステップ１９０の処理を行うとステップ１９６へ移行し、ステップ１９６において、演算対象／参照画素設定部３２は、ステップ１９０で設定した個々の演算対象画素に対応する参照画素を各々設定する。ここで設定する参照画素は、個々の演算対象画素から斜め方向に対応する４方向に沿って距離√２×２ｋだけ隔てた位置に存在している画素である。なお、演算対象画素から斜め方向に対応する４方向に沿って距離√２×２ｋだけ隔てた位置が合成対象領域の境界γから逸脱する場合は、参照画素として境界γ上の画素が設定される。
上記のように、２回目の演算における演算対象画素及び参照画素を設定するとステップ１９８へ移行し、合成結果画像演算部３６によって前述したステップ１９８〜ステップ２０８の処理が行われる。この場合は、演算対象画素として複数の画素が設定されているので、ステップ２０８の判定は、(演算対象画素の個数−１)回だけ否定され、個々の演算対象画素に対してステップ２０２又はステップ２０４で合成結果画像Ｆ上の値が各々演算される。
また、次にステップ２１０の判定が肯定されてステップ１７０に戻ると、ステップ１７０以降で３回目の演算が行われる。３回目の演算では、ステップ１７０の判定が否定されると共にステップ１８２の判定も否定され、ステップ１８４へ移行する。ステップ１８４において、演算対象／参照画素設定部３２は、前回の演算における参照画素の方向が斜め方向か否か判定する。
この場合はステップ１８４の判定が肯定されてステップ１９２へ移行し、ステップ１９２において、演算対象／参照画素設定部３２は、今回の演算に適用する参照画素の方向として縦横方向を設定する。またステップ１９４において、演算対象／参照画素設定部３２は、合成結果画像Ｆ上の値が既知の画素から縦横方向に２ｋの距離にある全ての画素を演算対象画素に設定する。これにより、例えば図７に「３回目以降の奇数回目の演算」と表記して示す図に"ｕ1"として示すように、合成結果画像Ｆ上の値が既知の画素ｆ、ｖ1に対して縦横方向に存在する複数の画素が今回の演算対象画素として設定される。
ステップ１９４の処理を行うとステップ１９６へ移行し、ステップ１９６において、演算対象／参照画素設定部３２は、ステップ１９４で設定した個々の演算対象画素に対応する参照画素を各々設定する。ここで設定する参照画素は、個々の演算対象画素から縦横方向に対応する４方向に沿って距離２ｋだけ隔てた位置に存在している画素である。なお、演算対象画素から縦横方向に対応する４方向に沿って距離２ｋだけ隔てた位置が合成対象領域の境界γから逸脱する場合は、参照画素として境界γ上の画素が設定される。
上記のように、２回目の演算における演算対象画素及び参照画素を設定するとステップ１９８へ移行し、合成結果画像演算部３６によって前述したステップ１９８〜ステップ２０８の処理が行われる。この場合は、演算対象画素として複数の画素が設定されているので、ステップ２０８の判定は、(演算対象画素の個数−１)回だけ否定され、個々の演算対象画素に対してステップ２０２又はステップ２０４で合成結果画像Ｆ上の値が各々演算される。
また、今回もステップ２１０の判定が肯定された場合は、ステップ１７０に戻り、ステップ１７０以降で４回目の演算が行われる。４回目の演算では、ステップ１７０、ステップ１８２、ステップ１８４の判定が各々否定され、ステップ１８６へ移行して演算距離次数ｋが１だけデクリメントされる。次のステップ１８８以降の処理は、先に説明したので説明を省略する。
このように、合成結果画像生成処理では、図７に示すように、初回の演算後、２回目の演算では参照画素の方向として斜め方向が、３回目の演算では参照画素の方向として縦横方向が設定され、以後、参照画素の方向として斜め方向と縦横方向が交互に選択される。また、参照画素の方向が斜め方向の演算を行う際に演算距離次数ｋが１ずつデクリメントされ、演算距離次数ｋが０になると、合成対象領域内の全画素について合成結果画像Ｆ上の値の演算が完了していることで、前述のステップ２１０の判定が否定される。
ステップ２１０の判定が否定されるとステップ２１２へ移行する。ステップ２１２において、合成結果画像合成部３８は、Ｎ番目のフレームの特定色要素の画像中の合成対象領域に、上述した処理によって得られた特定色要素の合成結果画像Ｆを合成する。そしてステップ２１４において、合成結果画像合成部３８は、合成結果画像Ｆを合成したＮ番目のフレームの特定色要素の画像を色要素合成部２８へ出力し、合成結果画像生成処理を終了する。
上述した合成結果画像生成処理について、実例を挙げて更に説明する。一例として図８には、合成対象領域が、境界γを含む１辺の長さが９画素で、演算距離次数ｋ＝２(２2＋1＋１＝９)の場合の処理過程を示す。
図８(Ａ)に示すように、初回の演算における演算対象画素は、合成対象領域の中央である座標(４,４)の画素となり、参照画素の方向が斜め方向とすると、参照画素として、座標(０,０),(０,８),(８,０),(８,８)の４画素が設定される。演算対象画素と４個の参照画素との距離は均一であるので、演算対象画素の合成結果画像Ｆ上の値Ｆ(４,４)は、先の(13)式に従い、以下の式で算出される。
Ｆ(４,４)＝[Ｆ(０,０)＋Ｆ(０,８)＋Ｆ(８,０)＋Ｆ(８,８)−{Ｓ(０,０)＋Ｓ(０,８)＋Ｓ(８,０)＋Ｓ(８,８)}]／４＋Ｓ(４,４)
Ｆ(４,４)＝[Ｆ(０,０)＋Ｆ(０,８)＋Ｆ(８,０)＋Ｆ(８,８)−{Ｓ(０,０)＋Ｓ(０,８)＋Ｓ(８,０)＋Ｓ(８,８)}]／４＋Ｓ(４,４)
図８(Ｂ)に示す２回目の演算では、参照画素の方向が斜め方向、演算距離次数ｋ＝１となり、合成結果画像Ｆ上での値が既知の画素との距離は√２×２となる。このため、２回目の演算における演算対象画素は、図８(Ｂ)に"ｖ１"として示す４画素(座標が(２,２),(６,２),(２,６),(６,６)の４画素)となる。座標(２,２)の演算対象画素に対応する４個の参照画素の座標は(０,０),(４,０),(０,４),(４,４)となり、座標(６,２)の演算対象画素に対応する４個の参照画素の座標は(４,０),(８,０),(４,４),(８,４)となる。また、座標(２,６)の演算対象画素に対応する４個の参照画素の座標は(０,４),(４,４),(０,８),(４,８)となり、座標(６,６)の演算対象画素に対応する４個の参照画素の座標は(４,４),(８,４),(４,８),(８,８)となる。
図８(Ｃ)に示す３回目の演算では、参照画素の方向が縦横方向、演算距離次数ｋ＝１となり、合成結果画像Ｆ上での値が既知の画素との距離は２となる。このため、３回目の演算における演算対象画素は、図８(Ｃ)に"ｕ１"として示す４画素(座標が(４,２),(２,４),(６,４),(４,６)の４画素となる。また、例えば座標(４,２)の演算対象画素に対応する４個の参照画素の座標は(２,２),(６,２),(４,０),(４,４)となる。
図８(Ｄ)に示す４回目の演算では、参照画素の方向が斜め方向、演算距離次数ｋ＝０となり、合成結果画像Ｆ上での値が既知の画素との距離は√２となる。このため、４回目の演算における演算対象画素は、図８(Ｄ)に"ｖ０"として示す１６画素となる。また、個々の演算対象画素に対応する４個の参照画素は、個々の演算対象画素から斜め方向に相当する４方向に沿って距離√２だけ隔てた位置に存在する画素となる。
図８(Ｅ)に示す５回目の演算では、参照画素の方向が縦横方向、演算距離次数ｋ＝０となり、合成結果画像Ｆ上での値が既知の画素との距離は１となる。このため、５回目の演算における演算対象画素は、図８(Ｄ)に"ｕ０"として示す２４画素となる。また、個々の演算対象画素に対応する４個の参照画素は、個々の演算対象画素から縦横方向に相当する４方向に沿って隣接する画素となる。この５回目の演算により、合成対象領域の全画素について演算が完了する。
また図９には、合成対象領域が、境界γを含む１辺の長さが９画素×８画素の長方形で、演算距離次数ｋ＝２(２2＋1＋１＝９)の場合の処理過程を示す。
図９(Ａ)に示すように、初回の演算における演算対象画素は、合成対象領域のおよそ中央である座標(４,４)の画素となり、参照画素の方向が縦横方向とすると、参照画素として、座標(４,０),(０,４),(８,４),(４,７)の４画素が設定される。演算対象画素と４個の参照画素との距離は不均一であるので、演算対象画素の合成結果画像Ｆ上の値Ｆ(４,４)は、先の(14)式に従って演算される。
図９(Ｂ)に示す２回目の演算では、参照画素の方向が斜め方向、演算距離次数ｋ＝１となり、合成結果画像Ｆ上での値が既知の画素との距離は√２×２となる。但し、合成結果画像Ｆ上での値が既知の画素との距離が√２×２となる演算対象画素は、図９(Ｂ)に"ｖ１"として示す２画素(座標(２,２),(６,２)の２画素)である。このうち、座標(２,２)の演算対象画素に対応する４個の参照画素の座標は(０,０),(４,０),(０,４),(４,４)となる。また、演算対象画素ｖ１の合成結果画像Ｆ上の値は先の(13)式に従って各々演算される。また、合成結果画像Ｆ上での値が既知の画素との距離が√２×２と相違する演算対象画素は、図９(Ｂ)に"ｖ１'"として示す２画素(座標(２,６),(６,６)の２画素)である。このうち、座標(２,６)の演算対象画素に対応する４個の参照画素の座標は(０,４),(４,４),(１,７),(３,７)となる。また、演算対象画素ｖ１'の合成結果画像Ｆ上の値は先の(14)式に従って各々演算される。
図９(Ｃ)に示す３回目の演算では、参照画素の方向が縦横方向、演算距離次数ｋ＝１となり、合成結果画像Ｆ上での値が既知の画素との距離は２となる。但し、合成結果画像Ｆ上での値が既知の画素との距離が２となる演算対象画素は、図９(Ｃ)に"ｕ１"として示す３画素(座標(４,２),(２,４),(６,４)の３画素)である。このうち、座標(４,２)の演算対象画素に対応する４個の参照画素の座標は(２,２),(６,２),(４,０),(４,４)となる。また、演算対象画素ｕ１の合成結果画像Ｆ上の値は先の(13)式に従って各々演算される。また、合成結果画像Ｆ上での値が既知の画素との距離が２と相違する演算対象画素は、図９(Ｂ)に"ｕ１'"として示す１画素(座標(４,６)の画素)である。この座標(４,６)の演算対象画素に対応する４個の参照画素の座標は(４,４),(２,６),(６,６),(４,７)となる。また、演算対象画素ｕ１'の合成結果画像Ｆ上の値は先の(14)式に従って演算される。
図９(Ｄ)に示す４回目の演算では、参照画素の方向が斜め方向、演算距離次数ｋ＝０となり、合成結果画像Ｆ上での値が既知の画素との距離は√２となる。このため、４回目の演算における演算対象画素は、図９(Ｄ)に"ｖ０"として示す１２画素となる。また、個々の演算対象画素に対応する４個の参照画素は、個々の演算対象画素から斜め方向に相当する４方向に沿って距離√２だけ隔てた位置に存在する画素となる。演算対象画素ｖ０の合成結果画像Ｆ上の値は先の(13)式に従って各々演算される。
図９(Ｅ)に示す５回目の演算では、参照画素の方向が縦横方向、演算距離次数ｋ＝０となり、合成結果画像Ｆ上での値が既知の画素との距離は１となる。このため、５回目の演算における演算対象画素は、図９(Ｅ)に"ｕ０"として示す２１画素となる。また、個々の演算対象画素に対応する４個の参照画素は、個々の演算対象画素から縦横方向に相当する４方向に沿って隣接する画素となる。演算対象画素ｕ０の合成結果画像Ｆ上の値は先の(13)式に従って各々演算される。この５回目の演算により、合成対象領域の全画素について演算が完了する。
また図１０には、合成対象領域が、非矩形状で、演算距離次数ｋ＝２の場合の処理過程を示す。
図１０(Ｂ)に示すように、初回の演算における演算対象画素は、合成対象領域のおよそ中央である座標(４,４)の画素となり、参照画素の方向が斜め方向とすると、参照画素として、座標(１,１),(７,１),(１,７),(７,７)の４画素が設定される。この場合、演算対象画素と４個の参照画素との距離は均一であるので、演算対象画素の合成結果画像Ｆ上の値Ｆは、先の(13)式に従って演算される。
図１０(Ｃ)に示す２回目の演算では、参照画素の方向が斜め方向、演算距離次数ｋ＝１となり、合成結果画像Ｆ上での値が既知の画素との距離は√２×２となる。但し、合成結果画像Ｆ上での値が既知の画素との距離が√２×２となる演算対象画素は存在せず、図１０(Ｃ)に"ｖ１'"として示す４画素(座標(２,２),(６,２),(２,６),(６,６)の画素)は、何れも値が既知の画素との距離が√２×２と相違している。このうち、座標(２,４)の演算対象画素に対応する４個の参照画素の座標は(０,４),(２,２),(４,４),(２,６)となる。演算対象画素ｖ１'の合成結果画像Ｆ上の値は先の(14)式に従って各々演算される。
図１０(Ｄ)に示す３回目の演算では、参照画素の方向が縦横方向、演算距離次数ｋ＝１となり、合成結果画像Ｆ上での値が既知の画素との距離は２となる。但し、合成結果画像Ｆ上での値が既知の画素との距離が２となる演算対象画素は、図１０(Ｄ)に"ｕ１"として示す３画素(座標(２,４),(６,４),(４,６)の３画素)である。このうち、座標(２,４)の演算対象画素に対応する４個の参照画素の座標は(２,２),(０,４),(４,４),(２,６)となる。演算対象画素ｕ１の合成結果画像Ｆ上の値は先の(13)式に従って各々演算される。また、合成結果画像Ｆ上での値が既知の画素との距離が２と相違する演算対象画素は、図１０(Ｄ)に"ｕ１'"として示す１画素(座標(４,２)の画素)である。この座標(４,２)の演算対象画素に対応する４個の参照画素の座標は(４,１),(２,２),(６,２),(４,４)となる。演算対象画素ｕ１'の合成結果画像Ｆ上の値は先の(14)式に従って演算される。
図１０(Ｅ)に示す４回目の演算では、参照画素の方向が斜め方向、演算距離次数ｋ＝０となり、合成結果画像Ｆ上での値が既知の画素との距離は√２となる。このため、４回目の演算における演算対象画素は、図９(Ｄ)に"ｖ０"として示す１０画素となる。また、個々の演算対象画素に対応する４個の参照画素は、個々の演算対象画素から斜め方向に相当する４方向に沿って距離√２だけ隔てた位置に存在する画素となる。演算対象画素ｖ０の合成結果画像Ｆ上の値は先の(13)式に従って各々演算される。
図１０(Ｆ)に示す５回目の演算では、参照画素の方向が縦横方向、演算距離次数ｋ＝０となり、合成結果画像Ｆ上での値が既知の画素との距離は１となる。このため、５回目の演算における演算対象画素は、図１０(Ｆ)に"ｕ０"として示す１９画素となる。また、個々の演算対象画素に対応する４個の参照画素は、個々の演算対象画素から縦横方向に相当する４方向に沿って隣接する画素となる。演算対象画素ｕ０の合成結果画像Ｆ上の値は先の(13)式に従って各々演算される。この５回目の演算により、合成対象領域の全画素について演算が完了する。
このように、本実施形態で説明した合成結果画像生成処理は、合成対象領域が矩形状であるか非矩形状であるかに拘わらず、合成対象領域の各画素の合成結果画像Ｆ上の値が、各画素毎に１回の演算で求まり、時間の掛かる繰り返し演算が不要となる。また、演算対象画素に対する参照画素の方向を、縦横方向と斜め方向の２方向に限っているので、ＭＶＣのように初期化処理に時間が掛かることはなく、合成結果画像Ｆを短時間で得ることができる。
また、画像処理装置１０では、色要素合成部２８及び動画像出力部３０により、画像合成部２２〜２６の何れかの合成結果画像合成部３８から合成結果画像Ｆが合成された画像入力される度に、図５に示す色要素合成処理が行われる。この色要素合成処理のステップ２２０において、色要素合成部２８は、同一フレームの全色要素の画像が画像合成部２２〜２６から各々入力されたか否か判定する。ステップ２２０の判定が否定された場合は、入力された合成結果画像Ｆをメモリ６４等に記憶させ、色要素合成処理を一旦終了する。
また、同一フレームの全色要素の画像が画像合成部２２〜２６から各々入力されると、ステップ２２０の判定が肯定されてステップ２２２へ移行する。ステップ２２２において、色要素合成部２８は、同一フレームの全ての色要素の画像(合成結果画像Ｆを合成した画像)を単一のカラー画像として合成する。また、動画像出力部３０は、色要素合成部２８によって生成された画像を、マスク画像を合成した動画像のＮ番目のフレームの画像として出力する。
なお、上記では合成対象領域として人物の顔に相当する顔領域を適用した態様を説明したが、これに限定されるものではなく、顔領域以外の他の領域を適用してもよい。例えばプライバシーの保護が目的であれば、合成対象領域として顔領域のうちの眼部領域を適用し、当該合成領域に異なる人物の眼部を表すマスク画像を合成することも、個人の特定を阻止することに有効であるので好ましい。合成対象領域として眼部領域を適用した場合、マスク画像としては、動画像中に被写体として写っている人物以外の他の人の眼部領域を表す画像や、複数の人の平均的な眼部領域を表す画像等が設定される。
また、上記では開示の技術を、動画像の各フレーム中に存在する人物に対応する合成対象領域に、プライバシーの保護を図る目的で設定したマスク画像を合成する態様を説明したが、これに限られるものではない。開示の技術は、マスク画像以外の一般的な画像の合成に適用することも可能であり、合成対象領域は動画像の各フレーム中に存在する人物に対応する領域に限られるものではなく、合成画像もプライバシーの保護を図る目的で設定したマスク画像に限られない。また、合成画像(マスク画像)は静止画像に限られるものではなく、合成画像として動画像を適用することも可能である。
また、上記では開示の技術に係る画像処理プログラムの一例であるマスク合成プログラムが記憶部６６に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。開示の技術に係る画像処理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
画像中の合成対象領域のうち、前記合成対象領域に合成画像を合成した結果に相当し前記合成対象領域の境界上の画素の値が保存される合成結果画像上での値が未知の画素で、当該画素に対して所定の複数の方向に値が既知の画素が各々存在している画素を演算対象画素に設定すると共に、設定した前記演算対象画素に対して前記所定の複数の方向の何れかに各々存在しており値が既知の複数の画素を参照画素に各々設定する設定ステップと、
前記設定ステップで設定した複数の前記参照画素の前記合成結果画像上での値及び前記合成画像上での値に基づいて、前記設定ステップで設定した前記演算対象画素の前記合成結果画像上での値を演算する演算ステップと、
前記合成対象領域の全ての画素について前記合成結果画像上での値が演算される迄、前記設定ステップでの前記演算対象画素及び前記参照画素の設定と前記演算ステップでの前記演算対象画素の値の演算を繰り返させた後に、得られた前記合成結果画像を前記画像中の合成対象領域の画像と置き換える合成ステップと、
を含む画像処理方法。
画像中の合成対象領域のうち、前記合成対象領域に合成画像を合成した結果に相当し前記合成対象領域の境界上の画素の値が保存される合成結果画像上での値が未知の画素で、当該画素に対して所定の複数の方向に値が既知の画素が各々存在している画素を演算対象画素に設定すると共に、設定した前記演算対象画素に対して前記所定の複数の方向の何れかに各々存在しており値が既知の複数の画素を参照画素に各々設定する設定ステップと、
前記設定ステップで設定した複数の前記参照画素の前記合成結果画像上での値及び前記合成画像上での値に基づいて、前記設定ステップで設定した前記演算対象画素の前記合成結果画像上での値を演算する演算ステップと、
前記合成対象領域の全ての画素について前記合成結果画像上での値が演算される迄、前記設定ステップでの前記演算対象画素及び前記参照画素の設定と前記演算ステップでの前記演算対象画素の値の演算を繰り返させた後に、得られた前記合成結果画像を前記画像中の合成対象領域の画像と置き換える合成ステップと、
を含む画像処理方法。
（付記２）
前記設定ステップは、前記演算対象画素及び前記参照画素の設定を１回行う度に、前記所定の複数の方向を、前記演算対象画素から縦横に延びる４方向、又は、前記演算対象画素から斜めに延びる４方向へ切替える付記１記載の画像処理方法。
前記設定ステップは、前記演算対象画素及び前記参照画素の設定を１回行う度に、前記所定の複数の方向を、前記演算対象画素から縦横に延びる４方向、又は、前記演算対象画素から斜めに延びる４方向へ切替える付記１記載の画像処理方法。
（付記３）
前記演算ステップは、４個の前記参照画素の前記合成結果画像Ｆ上での値をＦ1,Ｆ2,Ｆ3,Ｆ4、４個の前記参照画素の前記合成画像Ｓ上での値をＳ1,Ｓ2,Ｓ3,Ｓ4、前記演算対象画素の前記合成画像Ｓ上での値をＳ(ｘ,ｙ)としたときに、前記演算対象画素の前記合成結果画像Ｆ上での値Ｆ(ｘ,ｙ)を、
Ｆ(ｘ,ｙ)＝[Ｆ1＋Ｆ2＋Ｆ3＋Ｆ4−{Ｓ1＋Ｓ2＋Ｓ3＋Ｓ4}]／４＋Ｓ(ｘ,ｙ) …(１)
上記の(１)式に従って求める付記１又は付記２記載の画像処理方法。
前記演算ステップは、４個の前記参照画素の前記合成結果画像Ｆ上での値をＦ1,Ｆ2,Ｆ3,Ｆ4、４個の前記参照画素の前記合成画像Ｓ上での値をＳ1,Ｓ2,Ｓ3,Ｓ4、前記演算対象画素の前記合成画像Ｓ上での値をＳ(ｘ,ｙ)としたときに、前記演算対象画素の前記合成結果画像Ｆ上での値Ｆ(ｘ,ｙ)を、
Ｆ(ｘ,ｙ)＝[Ｆ1＋Ｆ2＋Ｆ3＋Ｆ4−{Ｓ1＋Ｓ2＋Ｓ3＋Ｓ4}]／４＋Ｓ(ｘ,ｙ) …(１)
上記の(１)式に従って求める付記１又は付記２記載の画像処理方法。
（付記４）
前記演算ステップは、前記演算対象画素と複数の前記参照画素との距離が一定でない場合に、個々の前記参照画素に対して前記演算対象画素との距離に応じた重み付けを行って、前記演算対象画素の前記合成結果画像上での値を演算する付記１又は付記２記載の画像処理方法。
前記演算ステップは、前記演算対象画素と複数の前記参照画素との距離が一定でない場合に、個々の前記参照画素に対して前記演算対象画素との距離に応じた重み付けを行って、前記演算対象画素の前記合成結果画像上での値を演算する付記１又は付記２記載の画像処理方法。
（付記５）
前記演算ステップは、前記演算対象画素の座標を(ｘ,ｙ)、４個の前記参照画素の座標を(ｘ−ａ,ｙ),(ｘ＋ｂ,ｙ),(ｘ,ｙ−ｃ),(ｘ,ｙ＋ｄ)、４個の前記参照画素の前記合成結果画像Ｆ上での値をＦ(ｘ−ａ,ｙ),Ｆ(ｘ＋ｂ,ｙ),Ｆ(ｘ,ｙ−ｃ),Ｆ(ｘ,ｙ＋ｄ)、４個の前記参照画素の前記合成画像Ｓ上での値をＳ(ｘ−ａ,ｙ),Ｓ(ｘ＋ｂ,ｙ),Ｓ(ｘ,ｙ−ｃ),Ｓ(ｘ,ｙ＋ｄ)、前記演算対象画素の前記合成画像Ｓ上での値をＳ(ｘ,ｙ)としたときに、前記演算対象画素の前記合成結果画像Ｆ上での値Ｆ(ｘ,ｙ)を、
Ｆ(ｘ,ｙ)＝[ａｃｄ×Ｆ(ｘ＋ｂ,ｙ)＋ｂｃｄ×Ｆ(ｘ−ａ,ｙ)＋ａｂｃ×Ｆ(ｘ,ｙ＋ｄ)＋ａｂｄ×Ｆ(ｘ,ｙ−ｃ)−{ａｃｄ×Ｓ(ｘ＋ｂ,ｙ)＋ｂｃｄ×Ｓ(ｘ−ａ,ｙ)＋ａｂｃ×Ｓ(ｘ,ｙ＋ｄ)＋ａｂｄ×Ｓ(ｘ,ｙ−ｃ)}]／(ａｃｄ＋ｂｃｄ＋ａｂｃ＋ａｂｄ)＋Ｓ(ｘ,ｙ) …(２)
上記の(２)式に従って求める付記４記載の画像処理方法。
前記演算ステップは、前記演算対象画素の座標を(ｘ,ｙ)、４個の前記参照画素の座標を(ｘ−ａ,ｙ),(ｘ＋ｂ,ｙ),(ｘ,ｙ−ｃ),(ｘ,ｙ＋ｄ)、４個の前記参照画素の前記合成結果画像Ｆ上での値をＦ(ｘ−ａ,ｙ),Ｆ(ｘ＋ｂ,ｙ),Ｆ(ｘ,ｙ−ｃ),Ｆ(ｘ,ｙ＋ｄ)、４個の前記参照画素の前記合成画像Ｓ上での値をＳ(ｘ−ａ,ｙ),Ｓ(ｘ＋ｂ,ｙ),Ｓ(ｘ,ｙ−ｃ),Ｓ(ｘ,ｙ＋ｄ)、前記演算対象画素の前記合成画像Ｓ上での値をＳ(ｘ,ｙ)としたときに、前記演算対象画素の前記合成結果画像Ｆ上での値Ｆ(ｘ,ｙ)を、
Ｆ(ｘ,ｙ)＝[ａｃｄ×Ｆ(ｘ＋ｂ,ｙ)＋ｂｃｄ×Ｆ(ｘ−ａ,ｙ)＋ａｂｃ×Ｆ(ｘ,ｙ＋ｄ)＋ａｂｄ×Ｆ(ｘ,ｙ−ｃ)−{ａｃｄ×Ｓ(ｘ＋ｂ,ｙ)＋ｂｃｄ×Ｓ(ｘ−ａ,ｙ)＋ａｂｃ×Ｓ(ｘ,ｙ＋ｄ)＋ａｂｄ×Ｓ(ｘ,ｙ−ｃ)}]／(ａｃｄ＋ｂｃｄ＋ａｂｃ＋ａｂｄ)＋Ｓ(ｘ,ｙ) …(２)
上記の(２)式に従って求める付記４記載の画像処理方法。
（付記６）
前記設定ステップは、前記演算対象画素を最初に設定する際に、前記合成対象領域の中央又は中央付近に位置している画素を前記演算対象画素に設定し、設定した前記演算対象画素に対して前記所定の複数の方向の何れかに各々存在しており、前記合成対象領域の境界上の画素を前記参照画素に設定する付記１〜付記５の何れか１項記載の画像処理方法。
前記設定ステップは、前記演算対象画素を最初に設定する際に、前記合成対象領域の中央又は中央付近に位置している画素を前記演算対象画素に設定し、設定した前記演算対象画素に対して前記所定の複数の方向の何れかに各々存在しており、前記合成対象領域の境界上の画素を前記参照画素に設定する付記１〜付記５の何れか１項記載の画像処理方法。
（付記７）
前記合成ステップは、前記合成対象領域の全ての画素について前記合成結果画像上での値が演算される迄、前記設定ステップでの前記演算対象画素及び前記参照画素の設定と前記演算ステップでの前記演算対象画素の値の演算を繰り返させることを、動画像の各フレームの画像に対して順に行わせると共に、動画像の特定のフレームの画像から得られた前記合成結果画像を、前記特定のフレームの画像中の合成対象領域の画像と置き換えることを、動画像の各フレームに対して順に行う付記１〜付記６の何れか１項記載の画像処理方法。
前記合成ステップは、前記合成対象領域の全ての画素について前記合成結果画像上での値が演算される迄、前記設定ステップでの前記演算対象画素及び前記参照画素の設定と前記演算ステップでの前記演算対象画素の値の演算を繰り返させることを、動画像の各フレームの画像に対して順に行わせると共に、動画像の特定のフレームの画像から得られた前記合成結果画像を、前記特定のフレームの画像中の合成対象領域の画像と置き換えることを、動画像の各フレームに対して順に行う付記１〜付記６の何れか１項記載の画像処理方法。
（付記８）
前記画像は複数の色要素を含む画像であり、
前記演算ステップは、前記演算対象画素の前記合成結果画像上での値を各色要素毎に各々演算し、
前記合成ステップは、各色要素毎に得られた前記合成結果画像を前記画像中の前記合成対象領域の画像と置き換えることを各色要素毎に各々行う付記１〜付記７の何れか１項記載の画像処理方法。
前記画像は複数の色要素を含む画像であり、
前記演算ステップは、前記演算対象画素の前記合成結果画像上での値を各色要素毎に各々演算し、
前記合成ステップは、各色要素毎に得られた前記合成結果画像を前記画像中の前記合成対象領域の画像と置き換えることを各色要素毎に各々行う付記１〜付記７の何れか１項記載の画像処理方法。
（付記９）
前記合成対象領域は人物の顔又は顔の一部分に対応する領域である付記１〜付記８の何れか１項記載の画像処理方法。
前記合成対象領域は人物の顔又は顔の一部分に対応する領域である付記１〜付記８の何れか１項記載の画像処理方法。
(付記１０)
画像中の合成対象領域のうち、前記合成対象領域に合成画像を合成した結果に相当し前記合成対象領域の境界上の画素の値が保存される合成結果画像上での値が未知の画素で、当該画素に対して所定の複数の方向に値が既知の画素が各々存在している画素を演算対象画素に設定すると共に、設定した前記演算対象画素に対して前記所定の複数の方向の何れかに各々存在しており値が既知の複数の画素を参照画素に各々設定する設定部と、
前記設定部によって設定された複数の前記参照画素の前記合成結果画像上での値及び前記合成画像上での値に基づいて、前記設定部によって設定された前記演算対象画素の前記合成結果画像上での値を演算する演算部と、
前記合成対象領域の全ての画素について前記合成結果画像上での値が演算される迄、前記設定部による前記演算対象画素及び前記参照画素の設定と前記演算部による前記演算対象画素の値の演算を繰り返させた後に、得られた前記合成結果画像を前記画像中の合成対象領域の画像と置き換える合成部と、
を含む画像処理装置。
画像中の合成対象領域のうち、前記合成対象領域に合成画像を合成した結果に相当し前記合成対象領域の境界上の画素の値が保存される合成結果画像上での値が未知の画素で、当該画素に対して所定の複数の方向に値が既知の画素が各々存在している画素を演算対象画素に設定すると共に、設定した前記演算対象画素に対して前記所定の複数の方向の何れかに各々存在しており値が既知の複数の画素を参照画素に各々設定する設定部と、
前記設定部によって設定された複数の前記参照画素の前記合成結果画像上での値及び前記合成画像上での値に基づいて、前記設定部によって設定された前記演算対象画素の前記合成結果画像上での値を演算する演算部と、
前記合成対象領域の全ての画素について前記合成結果画像上での値が演算される迄、前記設定部による前記演算対象画素及び前記参照画素の設定と前記演算部による前記演算対象画素の値の演算を繰り返させた後に、得られた前記合成結果画像を前記画像中の合成対象領域の画像と置き換える合成部と、
を含む画像処理装置。
(付記１１)
前記設定部は、前記演算対象画素及び前記参照画素の設定を１回行う度に、前記所定の複数の方向を、前記演算対象画素から縦横に延びる４方向、又は、前記演算対象画素から斜めに延びる４方向へ切替える付記１０記載の画像処理装置。
前記設定部は、前記演算対象画素及び前記参照画素の設定を１回行う度に、前記所定の複数の方向を、前記演算対象画素から縦横に延びる４方向、又は、前記演算対象画素から斜めに延びる４方向へ切替える付記１０記載の画像処理装置。
(付記１２)
前記演算部は、４個の前記参照画素の前記合成結果画像Ｆ上での値をＦ1,Ｆ2,Ｆ3,Ｆ4、４個の前記参照画素の前記合成画像Ｓ上での値をＳ1,Ｓ2,Ｓ3,Ｓ4、前記演算対象画素の前記合成画像Ｓ上での値をＳ(ｘ,ｙ)としたときに、前記演算対象画素の前記合成結果画像Ｆ上での値Ｆ(ｘ,ｙ)を、
Ｆ(ｘ,ｙ)＝[Ｆ1＋Ｆ2＋Ｆ3＋Ｆ4−{Ｓ1＋Ｓ2＋Ｓ3＋Ｓ4}]／４＋Ｓ(ｘ,ｙ) …(１)
上記の(１)式に従って求める付記１０又は付記１１記載の画像処理装置。
前記演算部は、４個の前記参照画素の前記合成結果画像Ｆ上での値をＦ1,Ｆ2,Ｆ3,Ｆ4、４個の前記参照画素の前記合成画像Ｓ上での値をＳ1,Ｓ2,Ｓ3,Ｓ4、前記演算対象画素の前記合成画像Ｓ上での値をＳ(ｘ,ｙ)としたときに、前記演算対象画素の前記合成結果画像Ｆ上での値Ｆ(ｘ,ｙ)を、
Ｆ(ｘ,ｙ)＝[Ｆ1＋Ｆ2＋Ｆ3＋Ｆ4−{Ｓ1＋Ｓ2＋Ｓ3＋Ｓ4}]／４＋Ｓ(ｘ,ｙ) …(１)
上記の(１)式に従って求める付記１０又は付記１１記載の画像処理装置。
(付記１３)
前記演算部は、前記演算対象画素と複数の前記参照画素との距離が一定でない場合に、個々の前記参照画素に対して前記演算対象画素との距離に応じた重み付けを行って、前記演算対象画素の前記合成結果画像上での値を演算する付記１０又は付記１１記載の画像処理装置。
前記演算部は、前記演算対象画素と複数の前記参照画素との距離が一定でない場合に、個々の前記参照画素に対して前記演算対象画素との距離に応じた重み付けを行って、前記演算対象画素の前記合成結果画像上での値を演算する付記１０又は付記１１記載の画像処理装置。
(付記１４)
前記演算部は、前記演算対象画素の座標を(ｘ,ｙ)、４個の前記参照画素の座標を(ｘ−ａ,ｙ),(ｘ＋ｂ,ｙ),(ｘ,ｙ−ｃ),(ｘ,ｙ＋ｄ)、４個の前記参照画素の前記合成結果画像Ｆ上での値をＦ(ｘ−ａ,ｙ),Ｆ(ｘ＋ｂ,ｙ),Ｆ(ｘ,ｙ−ｃ),Ｆ(ｘ,ｙ＋ｄ)、４個の前記参照画素の前記合成画像Ｓ上での値をＳ(ｘ−ａ,ｙ),Ｓ(ｘ＋ｂ,ｙ),Ｓ(ｘ,ｙ−ｃ),Ｓ(ｘ,ｙ＋ｄ)、前記演算対象画素の前記合成画像Ｓ上での値をＳ(ｘ,ｙ)としたときに、前記演算対象画素の前記合成結果画像Ｆ上での値Ｆ(ｘ,ｙ)を、
Ｆ(ｘ,ｙ)＝[ａｃｄ×Ｆ(ｘ＋ｂ,ｙ)＋ｂｃｄ×Ｆ(ｘ−ａ,ｙ)＋ａｂｃ×Ｆ(ｘ,ｙ＋ｄ)＋ａｂｄ×Ｆ(ｘ,ｙ−ｃ)−{ａｃｄ×Ｓ(ｘ＋ｂ,ｙ)＋ｂｃｄ×Ｓ(ｘ−ａ,ｙ)＋ａｂｃ×Ｓ(ｘ,ｙ＋ｄ)＋ａｂｄ×Ｓ(ｘ,ｙ−ｃ)}]／(ａｃｄ＋ｂｃｄ＋ａｂｃ＋ａｂｄ)＋Ｓ(ｘ,ｙ) …(２)
上記の(２)式に従って求める付記１３記載の画像処理装置。
前記演算部は、前記演算対象画素の座標を(ｘ,ｙ)、４個の前記参照画素の座標を(ｘ−ａ,ｙ),(ｘ＋ｂ,ｙ),(ｘ,ｙ−ｃ),(ｘ,ｙ＋ｄ)、４個の前記参照画素の前記合成結果画像Ｆ上での値をＦ(ｘ−ａ,ｙ),Ｆ(ｘ＋ｂ,ｙ),Ｆ(ｘ,ｙ−ｃ),Ｆ(ｘ,ｙ＋ｄ)、４個の前記参照画素の前記合成画像Ｓ上での値をＳ(ｘ−ａ,ｙ),Ｓ(ｘ＋ｂ,ｙ),Ｓ(ｘ,ｙ−ｃ),Ｓ(ｘ,ｙ＋ｄ)、前記演算対象画素の前記合成画像Ｓ上での値をＳ(ｘ,ｙ)としたときに、前記演算対象画素の前記合成結果画像Ｆ上での値Ｆ(ｘ,ｙ)を、
Ｆ(ｘ,ｙ)＝[ａｃｄ×Ｆ(ｘ＋ｂ,ｙ)＋ｂｃｄ×Ｆ(ｘ−ａ,ｙ)＋ａｂｃ×Ｆ(ｘ,ｙ＋ｄ)＋ａｂｄ×Ｆ(ｘ,ｙ−ｃ)−{ａｃｄ×Ｓ(ｘ＋ｂ,ｙ)＋ｂｃｄ×Ｓ(ｘ−ａ,ｙ)＋ａｂｃ×Ｓ(ｘ,ｙ＋ｄ)＋ａｂｄ×Ｓ(ｘ,ｙ−ｃ)}]／(ａｃｄ＋ｂｃｄ＋ａｂｃ＋ａｂｄ)＋Ｓ(ｘ,ｙ) …(２)
上記の(２)式に従って求める付記１３記載の画像処理装置。
(付記１５)
前記設定部は、前記演算対象画素を最初に設定する際に、前記合成対象領域の中央又は中央付近に位置している画素を前記演算対象画素に設定し、設定した前記演算対象画素に対して前記所定の複数の方向の何れかに各々存在しており、前記合成対象領域の境界上の画素を前記参照画素に設定する付記１０〜付記１４の何れか１項記載の画像処理装置。
前記設定部は、前記演算対象画素を最初に設定する際に、前記合成対象領域の中央又は中央付近に位置している画素を前記演算対象画素に設定し、設定した前記演算対象画素に対して前記所定の複数の方向の何れかに各々存在しており、前記合成対象領域の境界上の画素を前記参照画素に設定する付記１０〜付記１４の何れか１項記載の画像処理装置。
(付記１６)
前記合成部は、前記合成対象領域の全ての画素について前記合成結果画像上での値が演算される迄、前記設定部による前記演算対象画素及び前記参照画素の設定と前記演算部による前記演算対象画素の値の演算を繰り返させることを、動画像の各フレームの画像に対して順に行わせると共に、動画像の特定のフレームの画像から得られた前記合成結果画像を、前記特定のフレームの画像中の合成対象領域の画像と置き換えることを、動画像の各フレームに対して順に行う付記１０〜付記１５の何れか１項記載の画像処理装置。
前記合成部は、前記合成対象領域の全ての画素について前記合成結果画像上での値が演算される迄、前記設定部による前記演算対象画素及び前記参照画素の設定と前記演算部による前記演算対象画素の値の演算を繰り返させることを、動画像の各フレームの画像に対して順に行わせると共に、動画像の特定のフレームの画像から得られた前記合成結果画像を、前記特定のフレームの画像中の合成対象領域の画像と置き換えることを、動画像の各フレームに対して順に行う付記１０〜付記１５の何れか１項記載の画像処理装置。
(付記１７)
前記画像は複数の色要素を含む画像であり、
前記演算部は、前記演算対象画素の前記合成結果画像上での値を各色要素毎に各々演算し、
前記合成部は、各色要素毎に得られた前記合成結果画像を前記画像中の前記合成対象領域の画像と置き換えることを各色要素毎に各々行う付記１０〜付記１６の何れか１項記載の画像処理装置。
前記画像は複数の色要素を含む画像であり、
前記演算部は、前記演算対象画素の前記合成結果画像上での値を各色要素毎に各々演算し、
前記合成部は、各色要素毎に得られた前記合成結果画像を前記画像中の前記合成対象領域の画像と置き換えることを各色要素毎に各々行う付記１０〜付記１６の何れか１項記載の画像処理装置。
(付記１８)
前記合成対象領域は人物の顔又は顔の一部分に対応する領域である付記１０〜付記１７の何れか１項記載の画像処理装置。
前記合成対象領域は人物の顔又は顔の一部分に対応する領域である付記１０〜付記１７の何れか１項記載の画像処理装置。
（付記１９）
コンピュータに、
画像中の合成対象領域のうち、前記合成対象領域に合成画像を合成した結果に相当し前記合成対象領域の境界上の画素の値が保存される合成結果画像上での値が未知の画素で、当該画素に対して所定の複数の方向に値が既知の画素が各々存在している画素を演算対象画素に設定すると共に、設定した前記演算対象画素に対して前記所定の複数の方向の何れかに各々存在しており値が既知の複数の画素を参照画素に各々設定する設定ステップと、
前記設定ステップで設定した複数の前記参照画素の前記合成結果画像上での値及び前記合成画像上での値に基づいて、前記設定ステップで設定した前記演算対象画素の前記合成結果画像上での値を演算する演算ステップと、
前記合成対象領域の全ての画素について前記合成結果画像上での値が演算される迄、前記設定ステップでの前記演算対象画素及び前記参照画素の設定と前記演算ステップでの前記演算対象画素の値の演算を繰り返させた後に、得られた前記合成結果画像を前記画像中の合成対象領域の画像と置き換える合成ステップと、
を含む処理を実行させるための画像処理プログラム。
コンピュータに、
画像中の合成対象領域のうち、前記合成対象領域に合成画像を合成した結果に相当し前記合成対象領域の境界上の画素の値が保存される合成結果画像上での値が未知の画素で、当該画素に対して所定の複数の方向に値が既知の画素が各々存在している画素を演算対象画素に設定すると共に、設定した前記演算対象画素に対して前記所定の複数の方向の何れかに各々存在しており値が既知の複数の画素を参照画素に各々設定する設定ステップと、
前記設定ステップで設定した複数の前記参照画素の前記合成結果画像上での値及び前記合成画像上での値に基づいて、前記設定ステップで設定した前記演算対象画素の前記合成結果画像上での値を演算する演算ステップと、
前記合成対象領域の全ての画素について前記合成結果画像上での値が演算される迄、前記設定ステップでの前記演算対象画素及び前記参照画素の設定と前記演算ステップでの前記演算対象画素の値の演算を繰り返させた後に、得られた前記合成結果画像を前記画像中の合成対象領域の画像と置き換える合成ステップと、
を含む処理を実行させるための画像処理プログラム。
１０ 画像処理装置
１２ 動画像取得部
１４ マスク画像取得部
１６ 合成対象領域検出部
１８,２０ 色要素分離部
２２ 画像合成部
２８ 色要素合成部
３０ 動画像出力部
３２ 演算対象／参照画素設定部
３４ マスク画像保持部
３６ 合成結果画像演算部
３８ 合成結果画像合成部
６０ コンピュータ
６２ ＣＰＵ
６４ メモリ
６６ 記憶部
７６ マスク合成プログラム
１２ 動画像取得部
１４ マスク画像取得部
１６ 合成対象領域検出部
１８,２０ 色要素分離部
２２ 画像合成部
２８ 色要素合成部
３０ 動画像出力部
３２ 演算対象／参照画素設定部
３４ マスク画像保持部
３６ 合成結果画像演算部
３８ 合成結果画像合成部
６０ コンピュータ
６２ ＣＰＵ
６４ メモリ
６６ 記憶部
７６ マスク合成プログラム
Claims (11)
- 画像中の合成対象領域のうち、前記合成対象領域に合成画像を合成した結果に相当し前記合成対象領域の境界上の画素の値が保存される合成結果画像上での値が未知の画素で、当該画素に対して所定の複数の方向に値が既知の画素が各々存在している画素を演算対象画素に設定すると共に、設定した前記演算対象画素に対して前記所定の複数の方向の何れかに各々存在しており値が既知の複数の画素を参照画素に各々設定する設定ステップと、
前記設定ステップで設定した複数の前記参照画素の前記合成結果画像上での値及び前記合成画像上での値と、前記演算対象画素の合成画像上での値と、に基づいて、前記設定ステップで設定した前記演算対象画素の前記合成結果画像上での値を演算する演算ステップと、
前記合成対象領域の全ての画素について前記合成結果画像上での値が演算される迄、前記設定ステップでの前記演算対象画素及び前記参照画素の設定と前記演算ステップでの前記演算対象画素の値の演算を繰り返させた後に、得られた前記合成結果画像を前記画像中の合成対象領域の画像と置き換える合成ステップと、
を含む画像処理方法。 - 前記設定ステップは、前記演算対象画素及び前記参照画素の設定を１回行う度に、前記所定の複数の方向を、前記演算対象画素から縦横に延びる４方向、又は、前記演算対象画素から斜めに延びる４方向へ切替える請求項１記載の画像処理方法。
- 前記演算ステップは、４個の前記参照画素の前記合成結果画像Ｆ上での値をＦ1,Ｆ2,Ｆ3,Ｆ4、４個の前記参照画素の前記合成画像Ｓ上での値をＳ1,Ｓ2,Ｓ3,Ｓ4、前記演算対象画素の前記合成画像Ｓ上での値をＳ(ｘ,ｙ)としたときに、前記演算対象画素の前記合成結果画像Ｆ上での値Ｆ(ｘ,ｙ)を、
Ｆ(ｘ,ｙ)＝[Ｆ1＋Ｆ2＋Ｆ3＋Ｆ4−{Ｓ1＋Ｓ2＋Ｓ3＋Ｓ4}]／４＋Ｓ(ｘ,ｙ) …(１)
上記の(１)式に従って求める請求項１又は請求項２記載の画像処理方法。 - 前記演算ステップは、前記演算対象画素と複数の前記参照画素との距離が一定でない場合に、個々の前記参照画素に対して前記演算対象画素との距離に応じた重み付けを行って、前記演算対象画素の前記合成結果画像上での値を演算する請求項１又は請求項２記載の画像処理方法。
- 前記演算ステップは、前記演算対象画素の座標を(ｘ,ｙ)、４個の前記参照画素の座標を(ｘ−ａ,ｙ),(ｘ＋ｂ,ｙ),(ｘ,ｙ−ｃ),(ｘ,ｙ＋ｄ)、４個の前記参照画素の前記合成結果画像Ｆ上での値をＦ(ｘ−ａ,ｙ),Ｆ(ｘ＋ｂ,ｙ),Ｆ(ｘ,ｙ−ｃ),Ｆ(ｘ,ｙ＋ｄ)、４個の前記参照画素の前記合成画像Ｓ上での値をＳ(ｘ−ａ,ｙ),Ｓ(ｘ＋ｂ,ｙ),Ｓ(ｘ,ｙ−ｃ),Ｓ(ｘ,ｙ＋ｄ)、前記演算対象画素の前記合成画像Ｓ上での値をＳ(ｘ,ｙ)としたときに、前記演算対象画素の前記合成結果画像Ｆ上での値Ｆ(ｘ,ｙ)を、
Ｆ(ｘ,ｙ)＝[ａｃｄ×Ｆ(ｘ＋ｂ,ｙ)＋ｂｃｄ×Ｆ(ｘ−ａ,ｙ)＋ａｂｃ×Ｆ(ｘ,ｙ＋ｄ)＋ａｂｄ×Ｆ(ｘ,ｙ−ｃ)−{ａｃｄ×Ｓ(ｘ＋ｂ,ｙ)＋ｂｃｄ×Ｓ(ｘ−ａ,ｙ)＋ａｂｃ×Ｓ(ｘ,ｙ＋ｄ)＋ａｂｄ×Ｓ(ｘ,ｙ−ｃ)}]／(ａｃｄ＋ｂｃｄ＋ａｂｃ＋ａｂｄ)＋Ｓ(ｘ,ｙ) …(２)
上記の(２)式に従って求める請求項４記載の画像処理方法。 - 前記設定ステップは、前記演算対象画素を最初に設定する際に、前記合成対象領域の中央又は中央付近に位置している画素を前記演算対象画素に設定し、設定した前記演算対象画素に対して前記所定の複数の方向の何れかに各々存在しており、前記合成対象領域の境界上の画素を前記参照画素に設定する請求項１〜請求項５の何れか１項記載の画像処理方法。
- 前記合成ステップは、前記合成対象領域の全ての画素について前記合成結果画像上での値が演算される迄、前記設定ステップでの前記演算対象画素及び前記参照画素の設定と前記演算ステップでの前記演算対象画素の値の演算を繰り返させることを、動画像の各フレームの画像に対して順に行わせると共に、動画像の特定のフレームの画像から得られた前記合成結果画像を、前記特定のフレームの画像中の合成対象領域の画像と置き換えることを、動画像の各フレームに対して順に行う請求項１〜請求項６の何れか１項記載の画像処理方法。
- 前記画像は複数の色要素を含む画像であり、
前記演算ステップは、前記演算対象画素の前記合成結果画像上での値を各色要素毎に各々演算し、
前記合成ステップは、各色要素毎に得られた前記合成結果画像を前記画像中の前記合成対象領域の画像と置き換えることを各色要素毎に各々行う請求項１〜請求項７の何れか１項記載の画像処理方法。 - 前記合成対象領域は人物の顔又は顔の一部分に対応する領域である請求項１〜請求項８の何れか１項記載の画像処理方法。
- 画像中の合成対象領域のうち、前記合成対象領域に合成画像を合成した結果に相当し前記合成対象領域の境界上の画素の値が保存される合成結果画像上での値が未知の画素で、当該画素に対して所定の複数の方向に値が既知の画素が各々存在している画素を演算対象画素に設定すると共に、設定した前記演算対象画素に対して前記所定の複数の方向の何れかに各々存在しており値が既知の複数の画素を参照画素に各々設定する設定部と、
前記設定部によって設定された複数の前記参照画素の前記合成結果画像上での値及び前記合成画像上での値と、前記演算対象画素の合成画像上での値と、に基づいて、前記設定部によって設定された前記演算対象画素の前記合成結果画像上での値を演算する演算部と、
前記合成対象領域の全ての画素について前記合成結果画像上での値が演算される迄、前記設定部による前記演算対象画素及び前記参照画素の設定と前記演算部による前記演算対象画素の値の演算を繰り返させた後に、得られた前記合成結果画像を前記画像中の合成対象領域の画像と置き換える合成部と、
を含む画像処理装置。 - コンピュータに、
画像中の合成対象領域のうち、前記合成対象領域に合成画像を合成した結果に相当し前記合成対象領域の境界上の画素の値が保存される合成結果画像上での値が未知の画素で、当該画素に対して所定の複数の方向に値が既知の画素が各々存在している画素を演算対象画素に設定すると共に、設定した前記演算対象画素に対して前記所定の複数の方向の何れかに各々存在しており値が既知の複数の画素を参照画素に各々設定する設定ステップと、
前記設定ステップで設定した複数の前記参照画素の前記合成結果画像上での値及び前記合成画像上での値と、前記演算対象画素の合成画像上での値と、に基づいて、前記設定ステップで設定した前記演算対象画素の前記合成結果画像上での値を演算する演算ステップと、
前記合成対象領域の全ての画素について前記合成結果画像上での値が演算される迄、前記設定ステップでの前記演算対象画素及び前記参照画素の設定と前記演算ステップでの前記演算対象画素の値の演算を繰り返させた後に、得られた前記合成結果画像を前記画像中の合成対象領域の画像と置き換える合成ステップと、
を含む処理を実行させるための画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012059038A JP5838874B2 (ja) | 2012-03-15 | 2012-03-15 | 画像処理方法、装置及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012059038A JP5838874B2 (ja) | 2012-03-15 | 2012-03-15 | 画像処理方法、装置及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013196014A JP2013196014A (ja) | 2013-09-30 |
| JP5838874B2 true JP5838874B2 (ja) | 2016-01-06 |
Family
ID=49394958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012059038A Expired - Fee Related JP5838874B2 (ja) | 2012-03-15 | 2012-03-15 | 画像処理方法、装置及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5838874B2 (ja) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000030040A (ja) * | 1998-07-14 | 2000-01-28 | Canon Inc | 画像処理装置及びコンピュータ読み取り可能な記憶媒体 |
| US7796787B2 (en) * | 2007-02-03 | 2010-09-14 | Arcsoft, Inc. | Face component replacement |
-
2012
- 2012-03-15 JP JP2012059038A patent/JP5838874B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013196014A (ja) | 2013-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6561216B2 (ja) | 光学フローを使用した中間ビューの生成 | |
| JP5949481B2 (ja) | 画像処理方法、プログラム及び装置 | |
| JP6716996B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
| US8374428B2 (en) | Color balancing for partially overlapping images | |
| US8487926B2 (en) | Method and apparatus for generating 3D image using 2D photograph images | |
| EP3929867A2 (en) | Image fusion method and portable terminal | |
| US9367920B2 (en) | Method and apparatus for processing images | |
| US10818018B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| US10839529B2 (en) | Image processing apparatus and image processing method, and storage medium | |
| JP7328096B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP2010066803A (ja) | 画像処理装置および方法、並びにプログラム | |
| JP2012194751A (ja) | 画像処理方法、画像処理装置及びコンピュータプログラム | |
| KR102158390B1 (ko) | 영상 처리 방법 및 장치 | |
| CN108960012B (zh) | 特征点检测方法、装置及电子设备 | |
| JP2013012045A (ja) | 画像処理方法、画像処理装置及びコンピュータプログラム | |
| JP6425511B2 (ja) | 地物異動判別方法及び地物異動判別装置並びに地物異動判別プログラム | |
| JP6956325B2 (ja) | レーン特定方法およびレーン特定装置 | |
| JP5807555B2 (ja) | 画像処理プログラム、装置及び方法 | |
| Poleg et al. | Alignment and mosaicing of non-overlapping images | |
| KR101362183B1 (ko) | 카메라 자세 기반의 깊이 영상 노이즈 제거 장치 및 방법 | |
| JP5838874B2 (ja) | 画像処理方法、装置及びプログラム | |
| US9270883B2 (en) | Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium | |
| JP5799859B2 (ja) | 画像処理方法、プログラム及び装置 | |
| JP6938282B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2010193154A (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141112 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150625 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150714 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150914 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151013 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151026 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5838874 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |