JP5807555B2 - 画像処理プログラム、装置及び方法 - Google Patents

Description

開示の技術は画像処理プログラム、画像処理装置及び画像処理方法に関する。

画像に被写体として写っている人物のプライバシーを保護する技術として、前記人物を特定できないように、画像中の前記人物の顔領域にモザイクを掛けたり、前記人物の眼部領域を矩形状にマスクする画像処理が知られている。しかし、上記のような画像処理を行った画像は、一見しただけで加工されていることが明瞭に判別できる画像となり、画像の鑑賞者に不自然な印象を与える。

これを解決するため、マスク画像の勾配情報を用い、画像中の顔領域等の合成対象領域のエッジ(マスク画像との合成境界)を境界条件としてポアソン方程式を解くことで、合成対象領域にマスク画像を合成する技術が提案されている。この技術では、合成対象領域に任意の初期値画像を与え、初期値画像から、各画素の差分がマスク画像の勾配情報とエッジの境界条件を満たす値に収束するまで繰り返し演算を行うことで、合成対象領域にマスク画像を合成した結果に相当する合成結果画像が生成される。

なお、合成対象領域が顔領域である場合、マスク画像としては、例えば他の人物の顔を表す画像や、複数の人の平均的な顔を表す画像を適用することができる。また、初期値画像としては、例えば全面が白で塗り潰された画像や、全面が黒で塗り潰された画像などが用いられる。

特開２００８−２０４４６６号公報

Patrick Perez,Michel Gangnet,Andrew Blake,"Poisson Image Editing",Microsoft Reserch UK,2003 P.Viola and M.Jones,"Rapid object detection using a boosted cascade of simple features,"in Proc.IEEE Computer Vision and Pattern Recognition,pp.I_511-I_518,2001

しかしながら、上記技術は、合成したマスク画像との合成境界が目立ちにくい自然な画像が得られるという利点があるものの、繰り返し演算における演算の繰り返し回数が非常に多く、演算量が非常に大きいという欠点も有している。一方、動画像に対して各フレーム中に存在する合成対象領域にマスク画像を各々合成しようとした場合、動画像の中で照明条件が変化すること等を考慮すると、各フレーム毎に合成結果画像を生成する必要がある。このため、上記技術を動画像の各フレームへのマスク画像の合成に適用した場合、演算量が膨大なものとなり、処理に長大な時間が掛かるという課題があった。

開示の技術は、動画像の各フレーム中に存在する合成対象領域に別の画像を各々合成する際の演算量を、合成後の画質を損なうことなく削減することが目的である。

開示の技術は、コンピュータに、以下の処理を含む画像処理を実行させる。すなわち、動画像の処理対象のフレーム中に存在する合成対象領域の画像及び合成画像に基づいて、ポアソン方程式を用いた繰り返し演算により、初期値画像から、前記合成対象領域に前記合成画像を合成した結果に相当する合成結果画像を求める。この合成結果画像は、前記処理対象のフレーム中に存在する前記合成対象領域の画像と置き換える画像として求められ、上記処理は、前記動画像の各フレームを処理対象として順に行われる。また、前記処理対象のフレームに対する前記繰り返し演算で用いる前記初期値画像として、前記動画像の各フレームのうち前記処理対象のフレームの前のフレームに対して求めた前記合成結果画像を設定する。

開示の技術は、動画像の各フレーム中に存在する合成対象領域に別の画像を各々合成する際の演算量を、合成後の画質を損なうことなく削減できる、という効果を有する。

第１実施形態に係る画像処理装置の機能ブロック図である。 画像処理装置として機能するコンピュータの概略ブロック図である。 第１実施形態に係るマスク合成処理の一例を示すフローチャートである。 ポアソン方程式を用いたマスク画像の合成を説明するための概略図である。 第１実施形態における初期値画像の設定を説明するための概略図である。 第２実施形態に係る画像処理装置の機能ブロック図である。 第２実施形態に係るマスク合成処理の一例を示すフローチャートである。 第２実施形態における初期値画像の設定を説明するための概略図である。 第３実施形態に係る画像処理装置の機能ブロック図である。 第３実施形態に係るマスク合成処理の一例を示すフローチャートである。 第３実施形態における初期値画像の設定を説明するための概略図である。 開示の技術の他の態様を説明するための概略図である。 実験結果の一例を示す線図である。

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。

〔第１実施形態〕
図１には、本第１実施形態に係る画像処理装置１０が示されている。画像処理装置１０は、動画像の各フレーム中に存在する人物の顔領域等の合成対象領域に、予め設定されたマスク画像を合成することで、動画像中に被写体として写っている人物のプライバシーの保護を図るマスク合成処理を行う装置である。画像処理装置１０は、動画像取得部１２、マスク画像取得部１４、合成対象領域検出部１６、変化量演算部１８、２個の色要素分離部２０,２２、３個の画像合成部２４〜２８、色要素合成部３０及び動画像出力部３２を備えている。また、画像合成部２４〜２８は、互いに同一の構成であり、フレーム画像保持部３４、マスク画像保持部３６、前フレーム合成結果画像保持部３８、２個の位置・サイズ補正部４０,４２、初期値画像設定部４４及びマスク画像合成部４６を各々備えている。

動画像取得部１２は、動画像を撮影する機能を備えた撮影装置によって被写体が撮影されることで得られた動画像を、撮影装置又は前記動画像を記憶する記憶部からフレーム単位で取得する。なお、動画像取得部１２は上記の撮影装置を含んだ構成であってもよい。また、画像処理装置１０自体が上記の撮影装置に内蔵されていてもよい。また、例えば撮影装置が、画像処理装置１０として機能する情報機器と通信ケーブルを介して接続される場合、動画像取得部１２は、前記情報機器に設けられ、通信ケーブルを介して撮影装置から画像データを受信することで取得する通信ユニットであってもよい。

マスク画像取得部１４は、動画像の各フレーム中に存在する人物の顔領域等の合成対象領域に合成するためのマスク画像を取得する。前述のように、本実施形態に係るマスク合成処理は、動画像中に被写体として写っている人物のプライバシーの保護を目的としており、マスク画像は、マスク画像が合成された動画像が前記人物の特定が困難な動画像となるように予め設定される。例えば合成対象領域が人物の顔領域である場合、マスク画像としては、動画像中に被写体として写っている人物以外の他の人の顔を表す画像や、複数の人の平均的な顔を表す画像等が予め設定される。マスク画像取得部１４は、予め設定されて記憶部に記憶されたマスク画像を記憶部から読み出す等の処理を行うことで、マスク画像を取得する。

合成対象領域検出部１６は、動画像取得部１２によって取得された動画像の各フレームの画像に対し、各フレームの画像中に存在している合成対象領域を順次検出し、検出した合成対象領域の画像上の位置及びサイズを変化量演算部１８へ順次出力する。また、変化量演算部１８は、合成対象領域検出部１６から動画像の各フレーム毎に入力される合成対象領域の位置及びサイズに基づき、前フレームからの合成対象領域の位置及びサイズの変化量を演算する。なお、合成対象領域検出部１６及び変化量演算部１８は開示の技術における検出部の一例であり、合成対象領域検出部１６及び変化量演算部１８によって実現される処理は開示の技術における検出ステップの一例である。

色要素分離部２０は、動画像取得部１２によって取得された動画像の各フレームの画像を画素毎に複数の色要素に分離し、色要素分離部２２は、マスク画像取得部１４によって取得されたマスク画像を画素毎に複数の色要素に分離する。複数の色要素としては、任意の色空間を規定する色要素を適用可能であり、例えばＲ,Ｇ,ＢやＹ,Ｕ,Ｖ、Ｌ*,ａ*,ｂ*等のうちの何れかを適用することができる。

画像合成部２４〜２８は互いに異なる色要素に対応しており、互いに異なる色要素のフレーム画像が色要素分離部２０,２２から入力される。画像合成部２４〜２８は、互いに異なる色要素について、入力されたフレーム画像中の合成対象領域に入力されたマスク画像を合成する処理を各々行う。

すなわち、フレーム画像保持部３４は、色要素分離部２０から入力された特定の色要素のフレーム画像(処理対象のフレーム画像)を保持し、マスク画像保持部３６は、色要素分離部２２から入力された特定の色要素のマスク画像を保持する。前フレーム合成結果画像保持部３８は、処理対象のフレーム画像よりも１フレーム前のフレーム画像に対して生成された特定の色要素の合成結果画像(マスク画像を合成した結果)を保持する。

位置・サイズ補正部４０は、合成対象領域検出部１６により処理対象のフレーム画像について検出された合成対象領域の位置及びサイズに基づき、マスク画像保持部３６に保持された特定の色要素のマスク画像の位置及びサイズが合致するように補正する。また位置・サイズ補正部４２は、変化量演算部１８により処理対象のフレーム画像について演算された合成対象領域の位置及びサイズの変化量に基づき、前フレーム合成結果画像保持部３６に保持された特定の色要素の合成結果画像の位置及びサイズを補正する。なお、位置・サイズ補正部４０,４２は開示の技術における補正部の一例であり、位置・サイズ補正部４０,４２によって実現される処理は開示の技術における補正ステップの一例である。

初期値画像設定部４４は、位置・サイズ補正部４２による補正を経た前フレームの特定の色要素の合成結果画像を初期値画像として設定する。なお、初期値画像設定部４４は開示の技術における初期値設定部の一例であり、初期値画像設定部４４によって実現される処理は開示の技術における初期値設定ステップの一例である。

また、マスク画像合成部４６は、フレーム画像保持部３４に保持された処理対象のフレーム画像、マスク画像保持部３６に保持されたマスク画像及び初期値画像設定部４４によって設定された初期値画像に基づき、処理対象のフレーム画像にマスク画像を合成する。マスク画像の合成(合成結果画像の生成)は、詳細は後述するが、ポアソン方程式を用いた繰り返し演算によって実現される。なお、マスク画像合成部４６は開示の技術における合成部の一例であり、マスク画像合成部４６によって実現される処理は開示の技術における合成ステップの一例である。

色要素合成部３０は、マスク画像が合成された互いに異なる色要素のフレーム画像が画像合成部２４〜２８から出力される度に、画像合成部２４〜２８から出力された各色要素のフレーム画像を単一のフレーム画像へ合成して出力する。動画像出力部３２は、色要素合成部３０から出力された単一のフレーム画像を、マスク画像が合成された動画像のうちの１フレームの画像として出力する。

画像処理装置１０は、例えば図２に示すコンピュータ６０で実現することができる。コンピュータ６０はＣＰＵ６２、メモリ６４、不揮発性の記憶部６６、キーボード６８、マウス７０、ディスプレイ７２を備え、これらはバス７４を介して互いに接続されている。

また、記憶部６６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部６６には、コンピュータ６０を画像処理装置１０として機能させるためのマスク合成プログラム７６が記憶されている。ＣＰＵ６２は、マスク合成プログラム７６を記憶部６６から読み出してメモリ６４に展開し、マスク合成プログラム７６が有するプロセスを順次実行する。

マスク合成プログラム７６は、動画像取得プロセス７８、マスク画像取得プロセス８０、合成対象領域検出プロセス８２、変化量演算プロセス８４、色要素分離プロセス８６、画像合成プロセス８８、色要素合成プロセス９０及び動画像出力プロセス９２を有する。ＣＰＵ６２は、動画像取得プロセス７８を実行することで、図１に示す動画像取得部１２として動作する。またＣＰＵ６２は、マスク画像取得プロセス８０を実行することで、図１に示すマスク画像取得部１４として動作する。またＣＰＵ６２は、合成対象領域検出プロセス８２を実行することで、図１に示す合成対象領域検出部１６として動作する。またＣＰＵ６２は、変化量演算プロセス８４を実行することで、図１に示す変化量演算部１８として動作する。またＣＰＵ６２は、色要素分離プロセス８６を実行することで、図１に示す色要素分離部２０,２２として動作する。またＣＰＵ６２は、画像合成プロセス８８を実行することで、図１に示す画像合成部２４〜２８として動作する。またＣＰＵ６２は、色要素合成プロセス９０を実行することで、図１に示す色要素合成部３０として動作する。またＣＰＵ６２は、動画像出力プロセス９２を実行することで、図１に示す動画像出力部３２として動作する。

また、画像合成プロセス８８は、フレーム画像保持プロセス９４、マスク画像保持プロセス９６、前フレーム合成結果画像保持プロセス９８、位置・サイズ補正プロセス１００、初期値画像設定プロセス１０２及びマスク画像合成プロセス１０４を有する。ＣＰＵ６２は、フレーム画像保持プロセス９４を実行することで、図１に示すフレーム画像保持部３４として動作する。またＣＰＵ６２は、マスク画像保持プロセス９６を実行することで、図１に示すマスク画像保持部３６として動作する。またＣＰＵ６２は、前フレーム合成結果画像保持プロセス９８を実行することで、図１に示す前フレーム合成結果画像保持部３８として動作する。またＣＰＵ６２は、位置・サイズ補正プロセス１００を実行することで、図１に示す位置・サイズ補正部４０,４２として各々動作する。またＣＰＵ６２は、初期値画像設定プロセス１０２を実行することで、図１に示す初期値画像設定部４４として動作する。またＣＰＵ６２は、マスク画像合成プロセス１０４を実行することで、図１に示すマスク画像合成部４６として動作する。

これにより、マスク合成プログラム７６を実行したコンピュータ６０が、画像処理装置１０として機能することになる。なお、マスク合成プログラム７６は開示の技術における画像処理プログラムの一例である。

なお、画像処理装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。

次に本第１実施形態の作用を説明する。例えば、撮影装置によって撮影された動画像を配布、或いは放送、或いはネットワーク上で公開する等の理由で、動画像中に被写体として写っている人物のプライバシーの保護を図る必要が生じた場合、画像処理装置１０に対してマスク合成処理の実行が指示される。なお、マスク合成処理の実行に際しては、処理対象の動画像が指定され、合成対象のマスク画像も指定される。これにより、本第１実施形態に係る画像処理装置１０では、図３に示すマスク合成処理が実行される。

マスク合成処理のステップ１３０において、マスク画像取得部１４は、例えば記憶部６６等に予め記憶された複数のマスク画像の中から、合成対象として指定されたマスク画像を取得する。なお、マスク画像を合成する合成対象領域として、動画像中に被写体として写っている人物の顔領域全体を適用する場合、マスク画像としては、例えば図５に示すように、人物の顔(他の人の顔や複数の人の平均的な顔等)を表す顔画像が適用される。ステップ１３２において、色要素分離部２２は、マスク画像取得部１４によって取得されたマスク画像を複数の色要素に分離する。なお、色要素分離部２２によって分離された各色要素のマスク画像は、画像合成部２４〜２８のマスク画像保持部３６に各々保持される。

ステップ１３４において、動画像取得部１２は、処理対象として指定された動画像の各フレームを識別するための変数Ｎに１を設定する。またステップ１３６において、動画像取得部１２は、処理対象の動画像のうちＮ番目のフレームの画像を取得する。またステップ１３８において、合成対象領域検出部１６は、動画像取得部１２によって取得されたＮ番目のフレームの画像の中から合成対象領域を検出し、Ｎ番目のフレームの画像における合成対象領域の位置及びサイズを検出する。

なお、合成対象領域として顔領域を適用する場合、顔領域の検出には、例えばHaar classifierを用いる手法(非特許文献２参照)等の任意の手法を適用できる。また、合成対象領域は合成対象領域検出部１６によって検出することに限られるものではない。例えば動画像中に被写体として写っている複数の人物のうちの一部の人物に対してのみマスク画像を合成する等の場合に、処理対象の人物の合成対象領域が最初に指定されるようにしてもよい。この場合、合成対象領域検出部１６は、最初に指定された合成対象領域を動画像上で追跡する処理を行うことができる。

次のステップ１４０において、変化量演算部１８は、変数Ｎの値が２以上か否か判定する。変数Ｎの値は当初は１であるので、ステップ１４０の判定が否定されてステップ１４４に移行する。ステップ１４４において、色要素分離部２０は、動画像取得部１２によって取得されたＮ番目のフレームの画像を複数の色要素に分離する。なお、色要素分離部２０によって分離された各色要素毎のＮ番目のフレームの画像は、画像合成部２４〜２８のフレーム画像保持部３４に各々保持される。

次のステップ１４６において、画像合成部２４〜２８の何れかは、個々の色要素を識別するための変数ｊに１を設定する。またステップ１４８において、画像合成部２４〜２８のうち、色要素ｊに対応する画像合成部のマスク画像合成部４６は、色要素ｊのＮ番目のフレームの画像をフレーム画像保持部３４から取り出す。ステップ１５０において、位置・サイズ補正部４０は、色要素ｊのマスク画像をマスク画像保持部３６から取り出す。ステップ１５２において、位置・サイズ補正部４０は、ステップ１４８で取り出した色要素ｊのマスク画像の位置及びサイズを、合成対象領域検出部１６によって検出された合成対象領域の位置・サイズに一致するように補正する。

次のステップ１５４において、初期値画像設定部４４は、変数Ｎの値が２以上か否か判定する。変数Ｎの値は当初は１であるので、ステップ１５４の判定が否定されてステップ１５６に移行する。ステップ１５６において、初期値画像設定部４４は、位置・サイズ補正部４０によって位置及びサイズが補正された色要素ｊのマスク画像を、色要素ｊのＮ番目のフレームの画像への色要素ｊのマスク画像の合成に用いる初期値画像として設定する。なお、ステップ１５６の処理を行うとステップ１６４へ移行する。

ステップ１６４において、マスク画像合成部４６は、色要素ｊのＮ番目のフレームの画像に色要素ｊのマスク画像を合成するマスク画像合成処理を行う。マスク画像合成部４６によるマスク画像合成処理は、マスク画像の勾配情報を用い、合成対象領域のエッジ(マスク画像との合成境界)を境界条件としてポアソン方程式を解き、合成結果画像を求める処理である。具体的には、例えば以下の演算処理によって実現される(図４も参照)。

すなわち、マスク画像をＳ(幅Ｗ,高さＨ)、合成対象領域をＴ(幅Ｗ,高さＨ)、初期値画像をＩ(幅Ｗ,高さＨ)、合成結果画像をＦとしたときに、マスク画像Ｓのラプラシアンフィルタ適用値Ｌsは次の(１)式で表される。
Ｌs(ｘ,ｙ)＝Ｓ(ｘ-1,ｙ)＋Ｓ(ｘ+1,ｙ)＋Ｓ(ｘ,ｙ-1)＋Ｓ(ｘ,ｙ+1)＋４Ｓ(ｘ,ｙ)
…(１)
但し、画像の端は算出先とならないので、マスク画像Ｓの幅をＷ、高さをＨとすると、
０＜ｘ＜Ｗ-1、０＜ｙ＜Ｈ-1
である。画像の外縁は合成対象領域の画素値(境界γ)とする(次の(２)式参照)。
Ｆ(ｘ,ｙ)＝Ｔ(ｘ,ｙ) (ｘ＝０又はｙ＝０又はｘ＝Ｗ-1又はｙ＝Ｈ-1のとき) …(２)

また、合成結果画像Ｆのラプラシアンフィルタ適用値Ｌfをマスク画像Ｓのラプラシアンフィルタ適用値Ｌsと一致させる(次の(３)式参照)。
Ｌf(ｘ,ｙ)＝Ｌs(ｘ,ｙ) …(３)
上記(２),(３)式の方程式を解くことで、合成対象領域Ｔの全領域で合成結果画像Ｆ(ｘ,ｙ)の値を得ることができる。

上記の方程式は、以下のようにして解くことができる。すなわち、合成結果画像Ｆのラプラシアンフィルタ適用値Ｌfは次の(４)式で表される。
Ｌf(ｘ,ｙ)＝Ｆ(ｘ-1,ｙ)＋Ｆ(ｘ+1,ｙ)＋Ｆ(ｘ,ｙ-1)＋Ｆ(ｘ,ｙ+1)＋４Ｆ(ｘ,ｙ)
…(４)
また、前出の(３)式より次の(５)式が得られる。
Ｆ(ｘ,ｙ)＝{Ｆ(ｘ-1,ｙ)＋Ｆ(ｘ+1,ｙ)＋Ｆ(ｘ,ｙ-1)＋Ｆ(ｘ,ｙ+1)−Ｌs(ｘ,ｙ)}/４
…(５)

合成結果画像Ｆを数値的に解く場合は、(５)式を次の(６)式の漸化式へ変形し、合成結果画像Ｆに初期値を与えた後、合成結果画像Ｆの値が収束する迄繰り返し演算を行う(ガウスザイデル法)。
Ｆi+1(ｘ,ｙ)＝{Ｆi(ｘ-1,ｙ)＋Ｆi(ｘ+1,ｙ)＋Ｆi(ｘ,ｙ-1)＋Ｆi(ｘ,ｙ+1)
−Ｌs(ｘ,ｙ)}/４ …(６)
但し、ｉは各回の演算を識別するための変数である。また、初期値は通常、
Ｆ0(ｘ,ｙ)＝Ｔ(ｘ,ｙ) (ｘ＝０又はｙ＝０又はｘ＝Ｗ-1又はｙ＝Ｈ-1のとき)
Ｆ0(ｘ,ｙ)＝０ (ｘ＝０、ｙ＝０、ｘ＝Ｗ-1及びｙ＝Ｈ-1以外のとき)
であるが、本実施形態では、初期値画像設定部４４によって設定された初期値画像を用いる(次の(７)式参照)。
Ｆ0(ｘ,ｙ)＝Ｔ(ｘ,ｙ) (ｘ＝０又はｙ＝０又はｘ＝Ｗ-1又はｙ＝Ｈ-1のとき)
Ｆ0(ｘ,ｙ)＝Ｉ(ｘ,ｙ) (ｘ＝０、ｙ＝０、ｘ＝Ｗ-1及びｙ＝Ｈ-1以外のとき) …(７)

また、収束条件は以下の何れかである。
(収束条件Ａ) |Ｆi+1−Ｆi|が閾値以下
(収束条件Ｂ) 合成結果画像Ｆのラプラシアンフィルタ適用値Ｌfを演算し、|Ｌf−Ｌs|が閾値以下
これにより、マスク画像Ｓに基づき、初期値画像Ｉ及び合成対象領域Ｔの境界γから合成結果画像Ｆが生成される。

また、(６)式に代えて以下の(８)式によって合成結果画像Ｆを求めることも可能である(ＳＯＲ法)。
Ｆi+1(ｘ,ｙ)＝(1−ω)Ｆi(ｘ,ｙ)＋ω{Ｆi(ｘ-1,ｙ)＋Ｆi(ｘ+1,ｙ)＋Ｆi(ｘ,ｙ-1)
＋Ｆi(ｘ,ｙ+1)−Ｌs(ｘ,ｙ)}/４ …(８)
(８)式はω＝１〜２で収束する。なお、前出の(６)式は(８)式におけるω＝１の場合とみなすことも可能である。ω＝1.95程度の値を用いることで良好な収束性が得られる。

上記のように、変数Ｎ＝１の場合、マスク画像合成処理における合成結果画像Ｆの初期値としてマスク画像Ｓが用いられるが、マスク画像Ｓは、一般的な初期値である全面が白の画像(Ｆ0(ｘ,ｙ)＝０)よりも、合成結果画像Ｆとして最終的に得られる画像に近い。このため、収束条件を満たすことでマスク画像合成処理の繰り返し演算が終了する迄の繰り返し演算の回数が少なくなり(演算量が削減され)、マスク画像合成処理が短時間で完了することになる。

上記のようにして色要素ｊの合成結果画像Ｆを生成すると、マスク画像合成部４６は、色要素ｊのＮ番目のフレームの画像のうちの合成対象領域に、生成した色要素ｊの合成結果画像Ｆを貼り付ける。これにより、色要素ｊのＮ番目のフレームの画像として、合成したマスク画像(合成結果画像Ｆ)との合成境界が目立ちにくい自然な画像が得られる。

マスク画像合成部４６によってＮ番目のフレームの色要素ｊに対してマスク画像合成処理が行われると、ステップ１６６へ移行する。ステップ１６６において、画像合成部２４〜２８の何れかは、Ｎ番目のフレームの全ての色要素についてマスク画像合成処理が行われたか否か判定する。ステップ１６６の判定が否定された場合はステップ１６８へ移行し、ステップ１６８において、画像合成部２４〜２８の何れかは変数ｊの値を１だけインクリメントする。ステップ１６８の処理を行った後はステップ１４８に戻り、ステップ１６６の判定が肯定される迄、ステップ１４８〜ステップ１６８を繰り返す。これにより、Ｎ番目のフレームの全ての色要素についてマスク画像合成処理が行われる。

また、ステップ１６６の判定が肯定されるとステップ１７０へ移行する。ステップ１７０において、色要素合成部３０は、Ｎ番目のフレームの全ての色要素の画像(合成結果画像Ｆを貼り付けた画像)を単一の画像として合成する。また、動画像出力部３２は、色要素合成部３０によって生成された画像を、マスク画像を合成した動画像のＮ番目のフレームの画像として出力する。

次のステップ１７２において、動画像取得部１２は、処理対象の動画像の全フレームの画像を取得したか否かを判定することで、マスク合成処理を終了するか否か判定する。ステップ１７２の判定が否定された場合はステップ１７４へ移行し、動画像取得部１２は、変数Ｎの値を１だけインクリメントし、ステップ１３６に戻る。これにより、ステップ１７２の判定が肯定される迄、ステップ１３６〜ステップ１７４が繰り返される。

また、変数Ｎの値がインクリメントされて２以上になると、前述のステップ１４０の判定が肯定されてステップ１４２へ移行する。ステップ１４２において、変化量演算部１８は、合成対象領域検出部１６によって検出されたＮ番目のフレームの画像における合成対象領域の位置及びサイズに基づき、Ｎ−１番目のフレームの画像からの合成対象領域の位置及びサイズの変化量を演算する。ステップ１４２の処理を行うとステップ１４４へ移行する。

また、変数Ｎの値が２以上になると、前述のステップ１５４の判定も肯定されてステップ１５８へ移行する。ステップ１５８において、前フレーム合成結果画像保持部３８は、Ｎ−１番目のフレームの色要素ｊについて演算された合成結果画像Ｆを取得し、取得した合成結果画像Ｆを一時的に保持する。

次のステップ１６０において、位置・サイズ補正部４２は、変化量演算部１８によって演算された合成対象領域の位置及びサイズの変化量に基づいて、前フレーム合成結果画像保持部３８に保持されたＮ−１番目のフレームの色要素ｊの合成結果画像Ｆを補正する。これにより、Ｎ−１番目のフレームの色要素ｊの合成結果画像Ｆは、その位置及びサイズが、合成対象領域検出部１６によって検出されたＮ番目のフレームの画像における合成対象領域の位置・サイズに一致するように補正される。そしてステップ１６２において、初期値画像設定部４４は、位置・サイズ補正部４２による補正を経たＮ−１番目のフレームの色要素ｊの合成結果画像Ｆを初期値画像Ｉに設定する。

動画像の連続するフレーム間での合成対象領域の境界γ等の輝度等の変化は小さく、マスク画像合成処理で最終的に得られる合成結果画像Ｆも似通った画像となる。これを利用し、本第１実施形態では、変数Ｎ≧２の場合に、図５にも示すように、マスク画像合成処理における合成結果画像Ｆの初期値(初期値画像Ｉ)として、Ｎ−１番目のフレーム(１つ前のフレーム)の合成結果画像Ｆを用いている。

これにより、初期値画像Ｉとしてマスク画像Ｓを用いる場合と比較しても、初期値画像Ｉがマスク画像合成処理で最終的に得られる合成結果画像Ｆにより近い画像となる。従って、収束条件を満たすことでマスク画像合成処理の繰り返し演算が終了する迄の繰り返し演算の回数が少なくなる(演算量が削減される)ことで、マスク画像合成処理が短時間で完了する。また、本第１実施形態は、初期値画像Ｉをマスク画像合成処理で最終的に得られる合成結果画像Ｆにより近い画像とすることで演算量を削減するものであり、最終的に得られる合成結果画像Ｆの画質が損なわれることもない。

また、ステップ１７２の判定が肯定される迄、ステップ１３６〜ステップ１７４が繰り返されることで、動画像出力部３２からは、各フレーム中に存在する合成対象領域にマスク画像が合成された動画像が順次出力される。動画像出力部３２から出力される動画像は、動画像中に被写体として写っている人物の顔領域等の合成対象領域にマスク画像が合成された領域であるので、当該動画像を視聴しても前記人物の特定は困難であり、前記人物のプライバシーの保護が実現される。

〔第２実施形態〕
次に開示の技術の第２実施形態について説明する。なお、第１実施形態と同一の部分には同一の符号を付して説明を省略し、第１実施形態と異なる部分についてのみ説明する。

図６には、本第２実施形態に係る画像処理装置１０が示されている。本第２実施形態に係る画像処理装置１０は、画像合成部２４が、前フレーム画像保持部４８、位置・サイズ補正部５０及び差分画像演算部５２を更に備えている。前フレーム画像保持部４８は、処理対象のフレーム画像よりも１フレーム前のフレーム画像を保持する。位置・サイズ補正部５０は、変化量演算部１８により処理対象のフレーム画像について演算された合成対象領域の位置及びサイズの変化量に基づき、前フレーム画像保持部４８に保持された特定の色要素のフレーム画像の位置及びサイズを補正する。

差分画像演算部５２は、処理対象のフレーム画像よりも１フレーム前のフレーム画像と処理対象のフレーム画像との差分を画素毎に演算し、演算によって得られた差分画像を初期値画像設定部４４へ出力する。なお、差分画像演算部５２は開示の技術における差分演算部の一例であり、差分画像演算部５２によって実現される処理は開示の技術における差分演算ステップの一例である。

また、本第２実施形態において、マスク合成プログラム７６の画像合成プロセス８８は、図２に破線で示すように、前フレーム画像保持プロセス１０６及び差分画像演算プロセス１０８を更に備えている。本第２実施形態において、ＣＰＵ６２は、前フレーム画像保持プロセス１０６を実行することで、図６に示す前フレーム画像保持部４８として動作する。また、本第２実施形態において、ＣＰＵ６２は、位置・サイズ補正プロセス１００を実行することで、図１に示す位置・サイズ補正部４０,４２,５０として各々動作する。また、本第２実施形態において、ＣＰＵ６２は、差分画像演算プロセス１０８を実行することで、図６に示す差分画像演算部５２として動作する。

次に図７を参照し、本第２実施形態の作用として、本第２実施形態に係るマスク合成処理について、第１実施形態で説明したマスク合成処理(図３)と異なる部分についてのみ説明する。

本第２実施形態に係るマスク合成処理では、ステップ１５４の判定が肯定された場合、ステップ１５８でＮ−１番目のフレームの色要素ｊの合成結果画像Ｆが取得され、ステップ１６０で合成結果画像Ｆが補正された後にステップ１８０へ移行する。ステップ１８０において、前フレーム画像保持部４８は、Ｎ−１番目のフレーム(１つ前のフレーム)の色要素ｊの画像を取得し、取得した画像を一時的に保持する。

次のステップ１８２において、位置・サイズ補正部５０は、変化量演算部１８によって演算された合成対象領域の位置及びサイズの変化量に基づいて、前フレーム画像保持部４８に保持されたＮ−１番目のフレームの色要素ｊの画像を補正する。これにより、Ｎ−１番目のフレームの色要素ｊの画像は、当該画像中に存在する合成対象領域の位置及びサイズが、合成対象領域検出部１６によって検出されたＮ番目のフレームの画像における合成対象領域の位置・サイズに一致するように補正される。

ステップ１８４において、差分画像演算部５２は、位置・サイズ補正部５０による補正を経たＮ−１番目のフレームの色要素ｊの画像と、フレームＮの色要素ｊの画像と、の合成対象領域の差分を表す差分画像を演算する(図８に示す「差分画像」も参照)。そしてステップ１８６において、初期値画像設定部４４は、位置・サイズ補正部４２による補正を経たＮ−１番目のフレームの色要素ｊの合成結果画像Ｆに、差分画像演算部５２で演算された差分画像を足し合わせた画像を初期値画像Ｉに設定する。図８に示すように、この初期値画像Ｉが、マスク画像合成部４６によるマスク画像合成処理における合成結果画像Ｆの初期値として用いられる。

上記のように、本第２実施形態における初期値画像Ｉは、Ｎ−１番目のフレームの色要素ｊの合成結果画像Ｆを、Ｎ−１番目のフレームの画像とＮ番目のフレームの画像との輝度差(詳しくは色要素ｊの差)に応じて補正したものである。これにより、Ｎ−１番目のフレームの色要素ｊの合成結果画像Ｆを初期値画像Ｉとして用いる第１実施形態と比較しても、初期値画像Ｉが、マスク画像合成処理で最終的に得られる合成結果画像Ｆにより近い画像となる。

従って、収束条件を満たすことでマスク画像合成処理の繰り返し演算が終了する迄の繰り返し演算の回数がより少なくなる(演算量がより削減される)ことで、マスク画像合成処理がより短時間で完了する。また、本第２実施形態についても、初期値画像Ｉをマスク画像合成処理で最終的に得られる合成結果画像Ｆにより近い画像とすることで演算量を削減するものであるので、最終的に得られる合成結果画像Ｆの画質が損なわれることもない。

〔第３実施形態〕
次に開示の技術の第３実施形態について説明する。なお、第２実施形態と同一の部分には同一の符号を付して説明を省略し、第２実施形態と異なる部分についてのみ説明する。

図９には、本第３実施形態に係る画像処理装置１０が示されている。本第３実施形態に係る画像処理装置１０は、差分画像演算部５２がマスク画像合成部４６と接続され、差分画像演算部５２による差分画像の演算結果がマスク画像合成部４６にも出力される点でのみ、第２実施形態で説明した画像処理装置１０と相違している。

次に図１０を参照し、本第３実施形態の作用として、本第３実施形態に係るマスク合成処理について、第２実施形態で説明したマスク合成処理(図７)と異なる部分についてのみ説明する。

本第３実施形態に係るマスク合成処理では、ステップ１８６で初期値画像設定部４４が初期値画像Ｉを設定した後、ステップ１９０へ移行する。ステップ１９０において、マスク画像合成部４６は、合成対象領域のうち、差分画像演算部５２によって演算された差分画像上での差分が予め設定された閾値未満の画素から成り、合成対象領域の外縁に接している周縁領域を抽出する。なお、上記の閾値は、一例として、画素値の階調の１％程度の値(例えば画素値が２５６階調であれば閾値＝2.56)を適用することができる。上記処理により、差分が閾値未満で合成対象領域の外縁に接している周縁領域として、例えば図１１に斜線で示す領域が抽出される。

次のステップ１９２において、マスク画像合成部４６は、合成対象領域のうちステップ１９０で抽出した周縁領域を、マスク画像合成処理の処理対象から除外する。そして、次のステップ１６４において、マスク画像合成部４６は、合成対象領域のうちステップ１９０で抽出した周縁領域を除外した領域を対象としてマスク画像合成処理を行う。この場合、境界γとしては、Ｎ番目のフレーム(処理対象のフレーム)の画像のうち、合成対象領域から周縁領域を除外した領域の外縁が適用される。そして、合成対象領域から周縁領域を除外した領域について、合成結果画像Ｆが求められることになる。

次のステップ１９４において、マスク画像合成部４６は、マスク画像合成処理の処理対象から除外した周縁領域が有るか否か判定する。ステップ１９４の判定が否定された場合はステップ１６６へ移行する一方、ステップ１９４の判定が肯定された場合はステップ１９６へ移行する。ステップ１９６において、マスク画像合成部４６は、マスク画像合成処理の処理対象から除外した周縁領域に、初期値画像設定部４４によって設定された初期値画像のうちの対応する領域の画素の値をそのまま設定し、ステップ１６６へ移行する。なお、初期値画像に代えて、Ｎ−１番目のフレームの色要素ｊの合成結果画像Ｆのうちの対応する領域の画素の値を用いてもよい。

合成対象領域のうち、１つ前のフレームの合成対象領域との輝度等の差が０又は非常に小さく、かつ合成対象領域の外縁に接している領域は、マスク画像合成処理で最終的に得られる合成結果画像Ｆも非常に近い画像となる。本第３実施形態ではこれを利用し、差分画像上での差分が閾値未満の画素から成り、かつ合成対象領域の外縁に接している周縁領域をマスク画像合成処理の処理対象から除外し、初期値画像のうちの対応する領域の画素の値をそのまま設定している。

これにより、マスク画像合成処理での処理対象の領域の面積が小さくなることで、繰り返し演算における各回の演算時間が短くなる(演算量が削減される)ことで、マスク画像合成処理がより短時間で完了する。また、本第３実施形態は、最終的に得られる合成結果画像Ｆが殆ど変化しない領域をマスク画像合成処理における処理対象から除外することで演算量を削減するものであるので、最終的に得られる合成結果画像Ｆの画質に殆ど影響を及ぼすこともない。

なお、上記では合成対象領域として人物の顔に相当する顔領域を適用した態様を説明したが、これに限定されるものではなく、顔領域以外の他の領域を適用してもよい。例えばプライバシーの保護が目的であれば、例として図１２に示すように、合成対象領域として顔領域のうちの眼部領域を適用し、当該合成領域に異なる人物の眼部を表すマスク画像を合成することも、個人の特定を阻止することに有効であるので好ましい。合成対象領域として眼部領域を適用した場合、マスク画像としては、動画像中に被写体として写っている人物以外の他の人の眼部領域を表す画像や、複数の人の平均的な眼部領域を表す画像等が設定される。

なお、図１２では処理対象のフレームの初期値画像として、１つ前のフレームの合成結果画像(眼部領域の画像)をそのまま用いる例を示しているが、これに限定されるものではない。例えば、第２実施形態で説明したように、１つ前のフレームの合成結果画像に、１つ前のフレームの画像と処理対象のフレームの画像との眼部領域の差分画像を足し合わせた画像を初期値画像として用いてもよい。また、第３実施形態で説明したように、差分画像上で差分が閾値未満で合成対象領域の外縁に接している周縁領域を処理対象から除外し、マスク画像の合成処理を行うようにしてもよい。

また、上記ではフレームＮの画像にマスク画像を合成する処理を、各色要素毎に順次行う態様を説明したが、これに限定されるものではなく、フレームＮの画像に各色要素毎にマスク画像を合成する処理を並列に行うようにしてもよい

また、上記では処理対象の動画像としてカラー動画像を適用した態様を説明したが、これに限定されるものではなく、処理対象の動画像としてモノクロの動画像を適用することも可能である。

更に、前出の (１),(４),(５),(６),(８)式では、演算対象の画素に対して上下左右に位置する４画素の値を用いてラプラシアンフィルタ適用値を演算しているが、より多数の画素(例えば周囲８画素)の値を用いて演算してもよい。また、ラプラシアンフィルタに代えて、２階微分に相当する値が得られる他のフィルタを適用してもよい。

また、上記では開示の技術を、動画像の各フレーム中に存在する人物に対応する合成対象領域に、プライバシーの保護を図る目的で設定したマスク画像を合成する態様を説明したが、これに限られるものではない。開示の技術は、マスク画像以外の一般的な画像の合成に適用することも可能であり、合成対象領域は動画像の各フレーム中に存在する人物に対応する領域に限られるものではなく、合成画像もプライバシーの保護を図る目的で設定したマスク画像に限られない。また、合成画像は静止画像に限られるものではなく、合成画像として動画像を適用することも可能である。

また、上記では開示の技術に係る画像処理プログラムの一例であるマスク合成プログラムが記憶部６６に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。開示の技術に係る画像処理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）
前記処理対象のフレーム中に存在する前記合成対象領域の画像と、前記動画像の各フレームのうち前記処理対象のフレームの前のフレーム中に存在する前記合成対象領域の画像と、の差分を画素毎に演算する差分演算部を更に備え、
前記初期値設定部は、前記処理対象のフレームに対する前記合成部による前記繰り返し演算で用いられる前記初期値画像として、前記前のフレームに対して求められた前記合成結果画像に、前記差分演算部によって画素毎に演算された前記差分を表す差分画像を加えた画像を設定する請求項７記載の画像処理装置。

（付記２）
前記合成部は、前記処理対象のフレーム中に存在する前記合成対象領域のうち、前記差分演算部によって画素毎に演算された前記差分が閾値未満の画素から成り、前記合成対象領域の外縁に接している周縁領域を前記繰り返し演算の対象から除外し、前記処理対象のフレーム中に存在する前記合成対象領域のうちの前記周縁領域に、前記初期値設定部によって設定された前記初期値画像のうちの前記周縁領域に対応する領域の値をそのまま設定する付記１記載の画像処理装置。

(付記３）
前記処理対象のフレーム中に存在する前記合成対象領域の位置及びサイズを検出し、前記前のフレーム中に存在する前記合成対象領域に対する、前記処理対象のフレーム中に存在する前記合成対象領域の位置及びサイズの変化量を検出する検出部と、
前記検出部によって検出された位置及びサイズの変化量に基づいて、前記処理対象のフレームに対する合成結果画像の演算に用いられる前記合成画像及び前記前のフレーム中に存在する前記合成対象領域の位置及びサイズを、前記処理対象のフレーム中に存在する前記合成対象領域の位置及びサイズに合致するように補正する補正部と、
を更に備えた請求項７、付記１及び付記２の何れか１項記載の画像処理装置。

（付記４）
前記動画像は前記各フレームが各々カラー画像であり、
前記合成部は、前記合成処理として、各色要素毎に前記合成結果画像を各々求める処理を行い、
前記初期値設定部は、各色要素毎に前記初期値画像を各々設定する請求項７、付記１〜付記３の何れか１項記載の画像処理装置。

（付記５）
前記合成対象領域は人物の顔又は顔の一部分に対応する領域である請求項７、付記１〜付記４の何れか１項記載の画像処理装置。

以下、開示の技術の効果を確認するために実施された実験の結果を説明する。この実験では、(1)初期値画像としてマスク画像を用いたケース、(2)初期値画像として前フレームの合成結果画像を用いたケース、(3)初期値画像として前フレームの合成結果画像＋前フレームとの差分画像を用いたケースを比較した。なお、ケース(1)は第１実施形態に、ケース(2)は第２実施形態に対応している。

ケース(1)〜(3)について、動画像１〜４を対象としてマスク画像の合成を各々行い、マスク画像合成処理における繰り返し演算回数をフレーム単位に計測した。また、マスク画像合成処理における繰り返し演算回数はフレーム毎に相違するため、１フレーム当りの繰り返し演算回数として平均値を各々演算し、演算した１フレーム当りの繰り返し演算回数を比較した。結果を以下の表１及び図１３に示す。

表１及び図１３から明らかなように、ケース(2)をケース(1)と比較すると、動画像１〜４でばらつきはあるものの、１フレーム当りの繰り返し演算回数、すなわち演算量は26.0％〜64.5％も削減されており、演算量が大幅に削減されることが確認された。また、ケース(3)をケース(2)と比較しても、１フレーム当りの繰り返し演算回数(演算量)が4.9％〜20.2％も削減されており、初期値画像を前フレームの合成結果画像＋前フレームとの差分画像とすることで演算量を更に削減できることが確認された。

１０ 画像処理装置
１２ 動画像取得部
１４ マスク画像取得部
１６ 合成対象領域検出部
１８ 変化量演算部
２０,２２ 色要素分離部
２４ 画像合成部
３０ 色要素合成部
３２ 動画像出力部
３４ フレーム画像保持部
３６ マスク画像保持部
３８ 前フレーム合成結果画像保持部
４０,４２,５０ 位置・サイズ補正部
４４ 初期値画像設定部
４６ マスク画像合成部
４８ 前フレーム画像保持部
５２ 差分画像演算部
６０ コンピュータ
６２ ＣＰＵ
６４ メモリ
６６ 記憶部
７６ マスク合成プログラム

Claims (8)

1. コンピュータに、
   動画像の処理対象のフレーム中に存在する合成対象領域の画像及び合成画像に基づいて、ポアソン方程式を用いた繰り返し演算により、初期値画像から、前記合成対象領域に前記合成画像を合成した結果に相当する合成結果画像を、前記処理対象のフレーム中に存在する前記合成対象領域の画像と置き換える画像として求めることを、前記動画像の各フレームを処理対象として順に行うと共に、
   前記処理対象のフレームに対する前記繰り返し演算で用いる前記初期値画像として、前記動画像の各フレームのうち前記処理対象のフレームの前のフレームに対して求めた前記合成結果画像を設定する
   ことを含む画像処理を実行させるための画像処理プログラム。
2. 前記処理対象のフレーム中に存在する前記合成対象領域の画像と、前記動画像の各フレームのうち前記処理対象のフレームの前のフレーム中に存在する前記合成対象領域の画像と、の差分を画素毎に演算し、
   前記処理対象のフレームに対する前記繰り返し演算で用いられる前記初期値画像として、前記前のフレームに対して求めた前記合成結果画像に、画素毎に演算した前記差分を表す差分画像を加えた画像を設定する請求項１記載の画像処理プログラム。
3. 前記処理対象のフレーム中に存在する前記合成対象領域のうち、画素毎に演算した前記差分が閾値未満の画素から成り、前記合成対象領域の外縁に接している周縁領域を前記繰り返し演算の対象から除外し、前記処理対象のフレーム中に存在する前記合成対象領域のうちの前記周縁領域に、設定した前記初期値画像のうちの前記周縁領域に対応する領域の値をそのまま設定する請求項２記載の画像処理プログラム。
4. 前記処理対象のフレーム中に存在する前記合成対象領域の位置及びサイズを検出し、前記前のフレーム中に存在する前記合成対象領域に対する、前記処理対象のフレーム中に存在する前記合成対象領域の位置及びサイズの変化量を検出し、
   検出した位置、サイズ及びその変化量に基づき、前記処理対象のフレームに対する合成結果画像の演算に用いる前記合成画像及び前記前のフレームに対して求めた前記合成結果画像の位置及びサイズを、前記処理対象のフレーム中に存在する前記合成対象領域の位置及びサイズに合致するように補正する
   請求項１〜請求項３の何れか１項記載の画像処理プログラム。
5. 前記動画像は前記各フレームが各々カラー画像であり、
   前記合成結果画像を各色要素毎に各々求め、
   前記初期値画像を各色要素毎に各々設定する請求項１〜請求項４の何れか１項記載の画像処理プログラム。
6. 前記合成対象領域は人物の顔又は顔の一部分に対応する領域である請求項１〜請求項５の何れか１項記載の画像処理プログラム。
7. 動画像の処理対象のフレーム中に存在する合成対象領域の画像及び合成画像に基づいて、ポアソン方程式を用いた繰り返し演算により、初期値画像から、前記合成対象領域に前記合成画像を合成した結果に相当する合成結果画像を、前記処理対象のフレーム中に存在する前記合成対象領域の画像と置き換える画像として求めることを、前記動画像の各フレームを処理対象として順に行う合成部と、
   前記処理対象のフレームに対する前記合成部による前記繰り返し演算で用いられる前記初期値画像として、前記動画像の各フレームのうち前記処理対象のフレームの前のフレームに対して求められた前記合成結果画像を設定する初期値設定部と、
   を含む画像処理装置。
8. 動画像の処理対象のフレーム中に存在する合成対象領域の画像及び合成画像に基づいて、ポアソン方程式を用いた繰り返し演算により、初期値画像から、前記合成対象領域に前記合成画像を合成した結果に相当する合成結果画像を、前記処理対象のフレーム中に存在する前記合成対象領域の画像と置き換える画像として求めることを、前記動画像の各フレームを処理対象として順に行うと共に、
   前記処理対象のフレームに対する前記繰り返し演算で用いる前記初期値画像として、前記動画像の各フレームのうち前記処理対象のフレームの前のフレームに対して求めた前記合成結果画像を設定する
   ことを含む画像処理方法。