JP6947348B2 - 画像処理装置、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、及び画像処理プログラムに関する。

一般に、動画像あるいは静止画像を公開する際に、不特定の人に公開することが望ましくない情報が含まれる場合には、その情報が判別されることがないように所定の画像処理（マスク処理）が施される場合がある。公開することが望ましくない情報としては、例えば個人情報、公序良俗に反する情報、他者の知的財産に関係する情報などがある。マスク処理は、画像内のマスク対象を例えばマスクで覆い、又はモザイク処理やぼかし処理により元の画像を判別不能とする処理である。

特開２００５−１１０００４号公報

従来技術では、画像から特定されるマスク処理の対象とする情報に対して、情報をマスクすることができる範囲の領域に対して、予め決められたマスク処理を施す。例えば、動画像に含まれる情報に対してマスク処理を施す必要がある場合、動画像における情報のサイズ、形状、表示色などに変動があったとしても、継続して同じマスク処理が施される。すなわち、画像中におけるマスクの対象とする情報の状態（性質）が多様であるにも関わらず、同じマスク処理が施されるため、適切に情報をマスクされないおそれがあった。

目的は、モザイク対象に対して好適にモザイク処理を施すことが可能な画像処理装置、及び画像処理プログラムを提供することにある。

本実施形態に係る画像処理装置は、動画像を構成する複数のフレーム画像各々からモザイク対象を抽出する対象抽出手段と、前記フレーム画像各々の全体面積に対する前記モザイク対象の面積の面積割合を算出する面積割合算出手段と、前記モザイク対象の画素群の画素値から導出される画素指標値を算出する画素指標値算出手段と、前記面積割合と前記画素指標値とに基づいてモザイク処理単位であるモザイクセルのサイズを決定するセルサイズ決定手段と、前記モザイク対象と他のフレーム画像から抽出された他のモザイク対象との画素値差分と変位との少なくとも一つに基づいて前記モザイク対象の動きを算出する動き算出手段と、前記モザイク対象の動きに応じた大きさで前記モザイク対象を包囲するモザイク領域を設定する領域設定手段と、前記モザイク領域に限定して前記フレーム画像に前記モザイクセルを単位としてモザイク処理を実行するモザイク処理手段とを具備する。

図１は、本実施形態に係る画像処理装置の構成を示すブロック図である。 図２は、本実施形態における静止画像に対してモザイク処理を施す画像処理の動作を示すフローチャートである。 図３は、本実施形態におけるセルサイズ決定テーブルの一例を示す図である。 図４は、画像Ｆから抽出されたモザイク対象Ａに対して設定されたモザイク領域Ｂの一例を示す図である。 図５は、静止画像に対してモザイク処理を施したモザイク画像の一例を示す図である。 図６は、静止画像に対してモザイク処理を施したモザイク画像の一例を示す図である。 図７は、動画像に対してモザイク処理を施す画像処理の動作を示すフローチャートである。 図８は、動画像に対してモザイク処理を施したモザイク画像の一例を示す図である。 図９は、透過率変更処理を用いたマスク画像の一例を示す図である。

以下、図面を参照して本発明の実施の形態について説明する。
図１は、本実施形態における画像処理装置１０の構成を示すブロック図である。図１に示す画像処理装置１０は、例えばコンピュータにより実現されるもので、プロセッサ２０１、ＲＡＭ２０２、ＲＯＭ２０３、入力コントローラ２０４、ビデオコントローラ２０５、Ｉ／Ｏコントローラ２０６、通信コントローラ２０７、入力デバイス２１０、ディスプレイ２１１、及び記憶装置２１２を有する。なお、画像処理装置１０は、プロセッサ２０１、ＲＡＭ２０２、ＲＯＭ２０３、入力コントローラ２０４、ビデオコントローラ２０５、Ｉ／Ｏコントローラ２０６、及び通信コントローラ２０７を含む、コンピュータを構成するする制御ユニット２０として実現しても良い。

プロセッサ２０１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。プロセッサ２０１は、例えばＣＰＵ（Central Processing Unit）、及びＧＰＵ（Graphics Processing Unit）により構成することができる。プロセッサ２０１は、ＲＡＭ２０２に記憶されたプログラムを実行して各種の機能を実現する。プロセッサ２０１は、本実施形態に係る画像処理プログラムを実行することで、静止画像や動画像の原画像に対してマスク処理を実行する。なお、原画像にマスク処理を施して生成される画像をマスク画像という。

マスク処理とは、広義には原画像の一部分の情報量を削減する処理であり、典型的には原画像の一部範囲（マスク領域）の画素値を他の画素値に置き換えることにより、原画像の一部分を判別不能とする処理として定義される。本実施形態では、マスク処理として、狭義のマスク処理、モザイク処理、ぼかし処理、透過率変更処理などを含む。狭義のマスク処理は、原画像の画素値を、予め用意されたマスクの画素値に置き換える処理をいう。モザイク処理は、モザイクセル内の画素の画素値を、そのセル内の画素値から求めた代表値や平均値などの画素値に置き換える処理である。ぼかし処理は、各画素の画素値を、その画素を中心とした３×３等の局所領域の代表値や平均値に置き換える処理である。ここではモザイク処理として説明する。

画像処理プログラムは、プロセッサ２０１により実行されることで、コンピュータを、例えば、モザイク対象抽出機能、面積割合算出機能、画素指標値算出機能、サイズ設定機能、動き算出機能、領域設定機能、及びモザイク画像生成機能として動作させることができる。

モザイク対象抽出機能は、例えばモザイク処理の対象となる原画像から、それに含まれるモザイク処理対象（モザイク対象）を抽出する。モザイク対象は、原画像の全範囲における個人情報や公序良俗に反する情報などの視覚上判別不能とすべき情報が表されている一部範囲、例えば人の顔の範囲や車両ナンバープレートの範囲をいう。

面積割合算出機能は、処理対象画像（原画像）の全体面積（画素数に等価）に対するモザイク対象（画像部分）の面積の面積割合を算出する。画素指標値算出機能は、モザイク対象内の画素群の画素値から導出される画素指標値を算出する。画素指標値としては、モザイク対象内の画素群の画素値平均やその中央値、モザイク対象内の輪郭的特徴を持つ画素の数、さらに最も好ましくはモザイク対象内の画素群が有する情報量を反映した指標値である。情報量を反映した指標値の一例としては、画素群の画素値のバラツキ(変化度合い)などがある。バラツキとしては、統計的手法による分散が代表的な例であるが、それに限定されることはなく、情報工学的手法によるエントロピー（平均情報量）、画像処理的手法により抽出されたエッジのピクセル数、さらにはニューラルネットワークのような機械学習的手法による出力値であってもよい。

またモザイク対象内の輪郭的特徴を持つ画素の数とは、モザイク対象内の形態の複雑さを表す指標であり、形態が複雑であればその情報量が多いことを意味している。ここでは形態の複雑さを、モザイク領域内に輪郭として検出された画素の数として算出する。例えばモザイク対象内の画素値変化に対して微分処理を施し、微分値が閾値を超過する画素の数を計算する。この「微分値が閾値を超過する画素の数」は、画素値が急激な変化を示す例えばモザイク対象が顔なら、顔内に存在する目とか口、鼻、眉、皺等の部分（絵柄要素）の輪郭の数を反映する。

セルサイズ決定機能は、面積割合算出機能により算出された面積割合と画素指標値算出機能により算出された画素指標値に基づいて、モザイク処理の単位升目（モザイクセル）のサイズ（モザイクセルのマトリクスサイズ）を設定する。ぼかし処理であれば、局所領域のサイズがモザイクセルのサイズに相当する。なお、モザイクセルサイズや局所領域のサイズを大きくすることはその画像部分が有する情報量を削減することに相当する。

原画像の全範囲のうち、モザイク対象を包囲するモザイク領域という。このモザイク領域に限定して原画像にモザイク処理を施すことにより、モザイク対象のみ視覚上判別不能として、他の部分は視認可能な状態を維持する。ぼかし処理であれば、ほかし処理を施す領域がモザイク領域に相当する。

動き算出機能は、処理対象が動画像である場合に、動画像におけるモザイク対象の動きの程度とその方向とを算出する。例えば動画を構成する複数のフレーム画像の中の現在の処理対象のフレーム画像（第１フレーム画像という）から抽出された第１のモザイク対象と、第１フレーム画像と異なる他のフレーム画像（第２フレーム画像という）、典型的には直前又は数フレーム前のフレーム画像から抽出された第２のモザイク対象と間の画素値差分の二乗和と、第１のモザイク対象の重心位置と第２のモザイク対象の重心位置との間の距離（変位）と、第１、第２のモザイク対象の面積変化との少なくとも一の指標に基づいて、動画像におけるモザイク対象の動きの程度を算出するとともに、第２のモザイク対象の例えば重心と第１のモザイク対象の重心とを同定し、それらから動きの方向を算出する。

モザイク領域設定機能は、第１フレーム画像内のモザイク対象を包囲するモザイク領域を設定する。対象が動画像であるとき、モザイク領域設定機能は、モザイク対象の動きの程度に応じてモザイク領域を拡大する。モザイク領域設定機能では、例えばモザイク対象の動きが速いほどモザイク領域を大きく設定する。モザイク画像生成機能は、原画像に対して、モザイク領域に限定してモザイクセルを処理単位としてモザイク処理を施し、モザイク画像を生成する。

ＲＡＭ２０２は、プロセッサ２０１の主メモリ、ワークエリア等として機能する。プロセッサ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは記憶装置２１２からＲＡＭ２０２にロードして、ロードしたプログラムを実行することで各種動作を実現する。

ＲＯＭ２０３あるいは記憶装置２１２は、プロセッサ２０１により実行されるＢＩＯＳ（Basic Input Output System）、オペレーティングシステムプログラム（ＯＳ）、画像処理プログラムを含む各種アプリケーションプログラムなどの各種機能を実現するために必要な各種プログラム、各種プログラムで処理される各種ファイル、各種データ等が記憶される。

入力コントローラ２０４で、キーボード（ＫＢ）、マウスやタッチパネル等のポインティングデバイス等の入力デバイス２１０からの入力を制御する。ビデオコントローラ２０５は、プロセッサ２０１の制御のもとで、ＬＣＤ（Liquid Crystal Display）などのディスプレイの表示を制御する。

Ｉ／Ｏコントローラ２０６は、記憶装置２１２へのアクセスを制御する。記憶装置２１２には、例えば画像処理プログラムによるモザイク処理の対象とする原画像ファイル（静止画像、動画像）、モザイク処理後のモザイク画像ファイルが記憶される。モザイク処理の対象とする原画像ファイルは、例えば通信コントローラ２０７を通じて、外部の電子機器１４から入力される。また、記憶装置２１２には、画像処理プログラムを実行する際に参照される、セルサイズ決定テーブルが記憶される（図３参照）。セルサイズ決定テーブルは、画像処理プログラムがＲＡＭ２０２にロードされるのに伴って読み出され、ＲＡＭ２０２に記憶される。

通信コントローラ２０７は、ネットワーク１２を介して外部の電子機器１３との通信を制御する。電子機器１３は、原画像（静止画像、動画像）を処理する機能を有するもので、例えばパーソナルコンピュータ、スマートフォン、デジタルカメラ、電子メールビデオカメラ、ビデオゲーム装置等である。電子機器１３は、例えば画像データを画像処理装置１０に出力し、画像処理装置１０においてモザイク処理が施されたモザイク画像データを受信し、例えばモザイク画像をディスプレイに表示させることができる。また、電子機器１３は、画像データを記憶する記憶装置（画像データベース）等であっても良い。

次に、本実施形態に係る画像処理装置１０の動作について説明する。なお、以下の説明では、画像に対するマスク処理として、モザイク処理を用いる場合について説明する。
図２は、静止画像に対してモザイク処理を施す画像処理の動作を示すフローチャートである。プロセッサ２０１は、画像処理プログラムを起動して、静止画像に対してする画像処理を開始する。まず、プロセッサ２０１は、例えば記憶装置２１２に記憶された処理対象とする静止画像（原画像）の画像ファイルを読み出してＲＡＭ２０２に記憶させる（ステップＳＡ１）。プロセッサ２０１は、ＲＡＭ２０２に記憶された静止画像からモザイク対象、すなわち表示することが望ましくない情報を表すオブジェクトを抽出する（ステップＳＡ２）。モザイク対象の抽出方法は、既存の画像処理手法を用いることができる。例えば、抽出対象とする情報の形状、色等を表す特徴データに基づく抽出、辞書パターンとのマッチング、入力デバイス２１０の操作によって静止画像に対して指定されるポインティングされた位置を含むモザイク対象とするオブジェクトの抽出などの手法を用いることができる。

次に、プロセッサ２０１は、モザイク対象の面積（画素数）を算出し（ステップＳＡ３）、画像全体の面積に対するモザイク対象の面積の面積割合を算出する（ステップＳＡ４）。さらに、プロセッサ２０１は、モザイク対象内の画素群の画素値から導出される画素指標値を算出する（ステップＳＡ５）。プロセッサ２０１は、モザイク対象の範囲内の画素値平均、その中央値、分散等をモザイク対象の画素指標値として算出する。

次に、プロセッサ２０１は、画像全体の面積に対するモザイク対象の面積の面積割合と、モザイク対象の画素指標値とに基づいて、モザイク処理単位であるモザイクセルのサイズを決定する（ステップＳＡ６）。プロセッサ２０１は、例えば、モザイクセルのサイズを設定するために用意された、セルサイズ決定テーブルを参照して、モザイク処理に用いられるモザイクセルのサイズを設定する。

図３は、本実施形態におけるセルサイズ決定テーブルの一例を示す図である。セルサイズ決定テーブルには、画像全体の面積に対するモザイク対象の面積の面積割合と、モザイク対象の画素指標値との組み合わせに対するモザイクセルサイズが設定されている。例えば、モザイク対象の面積の面積割合については、取り得る面積の面積割合（例えば、０〜１００％）を複数に区分し（Ｒ１−Ｒ２、Ｒ２−Ｒ３，…，Ｒ（ｎ−１）−Ｒｎ）、モザイク対象の画素指標値については、取り得る画素指標値を複数に区分し（Ｐ１−Ｐ２、Ｐ２−Ｐ３，…，Ｐ（ｍ−１）−Ｐｍ）、それぞれの区分の組み合わせに対して、適切なモザイク処理を施すことができるセルサイズが設定されている。基本的に、モザイク対象の面積の面積割合が大きくなるほど、またモザイク対象の画素指標値が高くなるほど、モザイクセルのサイズが大きくなるようにセルサイズ決定テーブルが作成される。モザイクセルは、画像の正方形の範囲に相当し、例えば３（画素）×３（画素）、４×４、５×５，…によりサイズが設定されている。

プロセッサ２０１は、算出されたモザイク対象の面積の面積割合が、セルサイズ決定テーブルに設定された面積割合の区分の何れに該当するかを、それぞれの区分に対応する閾値（Ｒ２、Ｒ３，…）と比較して判別する。例えば、面積の面積割合が閾値Ｒ２以上であり、閾値Ｒ３未満の範囲である場合には、区分Ｒ２−Ｒ３に含まれると判別する。

同様にして、プロセッサ２０１は、算出されたモザイク対象の画素指標値が、セルサイズ決定テーブルに設定された画素指標値の区分の何れに該当するかを、それぞれの区分に対応する閾値（Ｐ２、Ｐ３，…）と比較して判別する。例えば、モザイク対象の画素指標値が閾値Ｐ２以上であり、閾値Ｐ３未満の範囲である場合には、区分Ｐ２−Ｐ３に含まれると判別する。

プロセッサ２０１は、面積の面積割合が含まれる区分と、モザイク対象の画素指標値が含まれる区分との組み合わせに対応するモザイクセルサイズを設定する。なお、前述した説明では、モザイク対象全体に基づいて算出したモザイク対象の面積の面積割合と、モザイク対象の画素指標値とに基づいてモザイクセルのサイズを設定しているが、モザイク対象を複数に区分して、それぞれの区分毎にモザイクセルサイズを設定しても良い。この場合、例えば、モザイク対象が明るい部分と暗い部分とがある場合に、明るい部分と暗い部分のそれぞれに適したモザイクセルのサイズを設定することができる。またモザイク対象の面積割合と、モザイク対象の画素指標値とに基づいてモザイクセルのサイズを設定しているが、モザイク対象の面積割合と、モザイク対象の画素指標値とのいずれか一方に基づいてモザイクセルのサイズを設定するようにしても良い。

図４は、画像Ｆから抽出されたモザイク対象Ａに対して設定されたモザイク領域Ｂの一例を示す図である。図４において、１つの正方形の範囲が、セルサイズ決定テーブルに基づいて設定されたサイズに応じたモザイクセルＣに該当する。プロセッサ２０１は、モザイク対象Ａの全体を包囲するようにモザイク領域Ｂを設定する（ステップＳＡ７）。例えばモザイク対象Ａの領域を所定率で膨張処理してモザイク領域Ｂを設定する。さらにプロセッサ２０１は、モザイク領域ＢをモザイクセルＣで縦横に区分してモザイク処理単位を設定する。

プロセッサ２０１は、原画像に対してモザイク領域Ｂに限定して、サイズ決定されたモザイクセルＣを処理単位としてモザイク処理を実行する（ステップＳＡ８）。例えば、プロセッサ２０１は、１つのモザイクセルＣ毎に、モザイクセルＣに含まれる画素の画素値の平均値を算出し、この算出した平均値に、モザイクセルＣ内の画素に画素値を置き換える。

なお、置き換える画素値は、前述したようにモザイクセルＣ内に含まれる複数の画素に関する画素値の平均値に限らず、例えばモザイクセルＣの予め決められた位置（例えば左上）の画素値（色）などの代表値など、他の値であってもよい。

プロセッサ２０１は、モザイク対象Ａを包囲するモザイク領域の画素値がモザイクセル内の平均値に置き換えられたモザイク画像を記憶装置２１２に記憶させて、画像処理を終了する（ステップＳＡ９）。

図５及び図６は、静止画像に対してモザイク処理を施したモザイク画像の一例を示す図である。図５及び図６は、例えば人の顔部分をモザイク対象とし、モザイク処理をした例を示している。図５に示す静止画像では、顔部分に相当するモザイク対象Ａ１の画像Ｆに対する面積割合が比較的小さい。従って、モザイクセルＣ１は、例えば比較的小さいサイズ（例えば、３×３画素）に設定されて、モザイク領域Ｂ１に対してモザイクセルＣ１を処理単位としてモザイク処理が実行される。画像全体に対して相対的に小さいモザイク対象Ａ１に対しては比較的小さいモザイクセルＣ１によりモザイク処理を施すことで、モザイク対象Ａ１の元の画像が人の顔部分であることが認識でき、且つ顔の判別ができない程度の粗さでモザイク（隠す）ことが可能となる。

図６に示す静止画像では、顔部分に相当するモザイク対象Ａ２の画像Ｆに対する面積割合が図５に示すモザイク対象Ａ１よりも大きい。従って、モザイクセルＣ２は、例えば図６に示すように、モザイク対象Ａ１に対するモザイクセルＣ１より大きいサイズ（例えば、５×５画素）に設定されて、モザイク領域Ｂ２に対してモザイク処理が実行される。モザイク対象Ａ２のサイズがセルサイズに対して相対的に大きくなると、モザイク対象Ａ１の元の画像が人の顔部分であることが認識でき、しかも顔の判別がある程度可能となる恐れがある。しかし図６に示すように、大きいモザイクセルＣ２によりモザイク処理を施すことで、モザイク対象Ａ２の顔を判別することを不能にする事が可能にある。

なお、図５及び図６では、モザイク対象Ａ１，Ａ２の画素指標値について表していないが、モザイク対象Ａの画素指標値が高くなるほど、つまりモザイク対象Ａが本質的に備える情報量が多くなるほど、モザイクセルのサイズが大きくなるように設定される。すなわち、モザイク対象Ａの情報量が多いと、モザイクセルのサイズを大きくして情報量の削減効果を高めて、例えばモザイク対象とする顔の個人判定が困難にすることができる。また、モザイク対象Ａの情報量が少ないと、モザイクセルのサイズを小さいままで情報量の削減効果をそれほど高めなくても、例えばモザイク対象とする顔の判別の困難さを確保することができる。

なお、前述した説明では、画像全体の面積に対するモザイク対象の面積の面積割合と、モザイク対象の画素指標値に基づいて、モザイク対象に対してモザイクを施すモザイクセルのサイズを設定しているが、何れか一方に基づいてモザイクセルのサイズを設定してモザイク処理を実行することも可能である。

このようにして、静止画像に対して、画像全体の面積に対するモザイク対象の面積の面積割合と、モザイク対象の画素指標値の少なくとも何れか一方に基づいてモザイクセルのサイズを設定してモザイク処理を実行することで、画像中におけるモザイクの対象とする情報の状態に応じた、適切なモザイク処理を施すことが可能となる。

次に、処理対象が動画像の場合について説明する。図７は、動画像に対してモザイク処理を施す画像処理の動作を示すフローチャートである。プロセッサ２０１は、画像処理プログラムを起動して、動画像に対してする画像処理を開始する。まず、プロセッサ２０１は、例えば記憶装置２１２に記憶された処理対象とする動画像の画像ファイルを読み出して、動画像に含まれる１フレーム分の画像（フレーム画像）をＲＡＭ２０２に記憶させる（ステップＳＢ１）。以下、プロセッサ２０１は、ＲＡＭ２０２に記憶されたフレーム画像について、前述した静止画像に対する処理と同様にして、図２に示すフローチャートのステップＳＡ２〜ＳＡ６と同様の処理を実行する（ステップＳＢ２〜ＳＢ６）。詳細な説明については省略する。なお、動画像の場合、前後のフレーム画像間の差分を求めることにより、動画像中の移動するオブジェクトを抽出することができる。移動するオブジェクトをモザイク対象とする場合には、ステップＳＢ２において、フレーム画像間の差分を利用して、モザイク対象を抽出することも可能である。

次に、プロセッサ２０１は、動画像におけるモザイク対象の変化量（動き）を算出する。プロセッサ２０１は、例えば処理対象としてするフレーム（第１フレーム画像）から抽出されたモザイク対象（第１のモザイク対象）と、第１フレーム画像より前の第２フレーム画像から抽出されたモザイク対象（第２のモザイク対象）との間の画素値差分の二乗和、第１のモザイク対象の重心位置と第２のモザイク対象の重心位置との距離（変位）などに基づいて、動画像におけるモザイク対象の動き指標を算出する。

プロセッサ２０１は、モザイク対象の変化量（動き）に応じてモザイク領域の大きさを変化させる。ここでは、モザイク対象の変化量（動き）が大きいほど、モザイク領域を大きくする。例えば、プロセッサ２０１は、モザイク対象の変化量に比例した膨張率を適用し、モザイク対象の領域を膨張処理することによりモザイク領域を設定する。

プロセッサ２０１は、前述した静止画像に対する画像処理と同様にして、モザイク領域に対して、モザイクセルのサイズに応じたモザイク処理を実行する（ステップＳＢ９）。プロセッサ２０１は、モザイク対象に対してモザイクを付加した１フレーム分のモザイク画像を記憶装置２１２に記憶させる（ステップＳＢ１０）。

プロセッサ２０１は、動画像を構成する複数のフレーム画像のモザイク処理が完了していないとき（ステップＳＢ１１、Ｎｏ）、前述したように、次のフレーム画像に対する処理を実行する（ステップＳＢ１〜ＳＢ１０）。プロセッサ２０１は、動画像に含まれる全てのフレーム画像に対する処理が終了すると（ステップＳＢ１１、Ｙｅｓ）、画像処理を終了する。

図８（Ａ）、図８（Ｂ）は、動画像に対してモザイク処理を施したモザイク画像の一例を示す図である。ここでは人の顔部分をモザイク対象としてそれを含むモザイク領域にモザイク処理を施した例を示している。図８（Ａ）に示すように、モザイク対象Ａ３の動きが比較的小さい場合、ここではモザイク対象Ａ３が直前のフレーム上のモザイク対象Ａ２に対する変位が比較的小さい場合、つまり変位量が閾値未満であるときには、膨張率が１に近似した膨張処理を実行してモザイク対象Ａ３にほぼ等価なモザイク領域Ｂ３が設定される。

一方、図８（Ｂ）に示すように、モザイク対象Ａ３の動きが比較的大きく、ここではモザイク対象Ａ３が直前のフレーム上のモザイク対象Ａ２に対する変位が比較的大きく、変位量が閾値以上であるときには、より高い拡大率で拡大処理を実行してモザイク領域Ｂ３より大きなモザイク領域Ｂ３´を設定する。動きの程度と拡大率との関係は、画像の種類等に応じて事前に調整される。また拡大率は全方位に均一ではなく、モザイク対象の動きの方向と、その反対方向とにモザイク領域を伸張させるようにしてもよい。モザイク対象の動きの方向と、その反対方向とに関して最も高い拡大率を与え、直交する方向には最も低い拡大率を与え、モザイク対象の動きの方向からその90度の方向にかけて角度変化に従ってその拡大率を最大拡大率から最小拡大率に漸近的に変化させ、またその90度の方向から反対方向にかけて角度変化に従ってその拡大率を最小拡大率から最大拡大率に漸近的に変化させる。モザイク対象の動きの方向及びその反対方向にモザイク領域を伸張させることにより、動いている対象をカメラで撮影した時に生じるぶれモーションブラー（ぶれ）に対しても好適にモザイクをかけることが可能となる。

またモーションブラーは、カメラとモザイク対象の間に存在する物体にも生じる。この物体にモーションブラー等でぼけていると、このボケ部分を透かしてモザイク対象がうっすら見えてしまうという事態が起こる。モザイク対象またはその近傍でモーションブラーを同定したとき、そのモーションブラーをカバーするようにモザイク領域を変形し、又はモザイク対象から見てモーションブラーが生じている方向に高い拡大率を与える。

このようにして、動画像に対して、画像全体の面積に対するモザイク対象の面積の面積割合と、モザイク対象の画素指標値に基づいてモザイクセルのサイズを設定し、さらにモザイク対象の動きに応じた大きさでモザイク領域を設定してモザイク処理を実行することで、画像中におけるモザイクの対象とする情報の状態に応じた、適切なモザイク処理を施すことが可能となる。つまり本実施形態によると、モザイク対象のおおよその外形がある程度認識でき、その一方でモザイク対象の具体的内容は判別不能とする、それらを適切に調和させることが可能となる。

なお、前述した説明では、マスク処理としてモザイク処理を例にしているが、ぼかし処理を用いることも可能である。すなわち、各注目画素を中心として局所９画素の画素値の平均値を算出し、この算出した平均値にその画素の画素値を置き換えることで、ぼかし処理を施すことができる。

さらに、モザイク処理として透過率変更処理を用いることができる。図９は、透過率変更処理を用いたマスク画像の一例を示す図である。図９では、マスク対象Ａ６に対して、前述したモザイク領域Ｂと同様にしてマスク領域Ｍ１を設定する。さらに、マスク領域Ｍ１の外側にそれより大きなマスク領域Ｍ２を設定し、さらにマスク領域Ｍ２の外側にそれより大きなマスク領域Ｍ３を設定する。

プロセッサ２０１は、マスク領域Ｍ１，Ｍ２，Ｍ３のそれぞれに対して、それぞれ異なる透過率となるように透過率変更処理を施す。例えば、マスク領域Ｍ１については透過率８０％として画像の内容が少し確認できるようにマスクする。また、マスク領域Ｍ１とマスク領域Ｍ２との間については透過率４０％、マスク領域Ｍ２とマスク領域Ｍ３との間については透過率０％とする。または外側に向かって透過率を高くなるように設定してもよい。このように外側に向かって透過率を段階的に又は画素単位で連続的に変化させることによりマスク内外の親和性を獲得しながら、マスクとしての内容を判別できなくする効果とを自由に調和させることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

また、実施形態に記載した画像処理の手法は、コンピュータに実行させることができるプログラムとして、例えば磁気ディスク、光ディスク、半導体メモリ等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。画像処理装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、プログラムによって動作が制御されることにより上述した処理を実行する。なお、記録媒体は、頒布用に限らず、コンピュータ内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含む。

１０…画像処理装置、１２…ネットワーク、１４…電子機器、２０１…プロセッサ、２０２…ＲＡＭ、２０３…ＲＯＭ、２０４…入力コントローラ、２０５…ビデオコントローラ、２０６…Ｉ／Ｏコントローラ、２０７…通信コントローラ、２１０…入力デバイス、２１１…ディスプレイ、２１２…記憶装置。

Claims (5)

1. 動画像を構成する複数のフレーム画像各々からモザイク対象を抽出する対象抽出手段と、
   前記フレーム画像各々の全体面積に対する前記モザイク対象の面積の面積割合を算出する面積割合算出手段と、
   前記モザイク対象の画素群の画素値から導出される画素指標値を算出する画素指標値算出手段と、
   前記面積割合と前記画素指標値とに基づいてモザイク処理単位であるモザイクセルのサイズを決定するセルサイズ決定手段と、
   前記モザイク対象と他のフレーム画像から抽出された他のモザイク対象との画素値差分と変位との少なくとも一つに基づいて前記モザイク対象の動きを算出する動き算出手段と、
   前記モザイク対象の動きに応じた大きさで前記モザイク対象を包囲するモザイク領域を設定する領域設定手段と、
   前記モザイク領域に限定して前記フレーム画像に前記モザイクセルを単位としてモザイク処理を実行するモザイク処理手段とを具備する画像処理装置。
2. 動画像を構成する複数のフレーム画像各々からモザイク対象を抽出する対象抽出手段と、
   前記モザイク対象と他のフレーム画像から抽出された他のモザイク対象との画素値差分と変位との少なくとも一つに基づいて前記モザイク対象の動きを算出する動き算出手段と、
   前記モザイク対象の動きに応じた大きさで前記モザイク対象を包囲するモザイク領域を設定する領域設定手段と、
   前記モザイク領域に限定して前記フレーム画像にモザイク処理を実行するモザイク処理手段とを具備する画像処理装置。
3. 動画像を構成する複数のフレーム画像各々からモザイク対象を抽出する対象抽出手段と、
   前記モザイク対象が他のフレーム画像から抽出された他のモザイク対象から動いた方向を特定する動き方向特定手段と、
   前記モザイク対象を包囲するモザイク領域を設定するとともに、前記モザイク対象の動きの方向及びその反対方向に前記モザイク領域を伸張する領域設定手段と、
   前記モザイク領域に限定して前記フレーム画像にモザイク処理を実行するモザイク処理手段とを具備する画像処理装置。
4. コンピュータを、
   動画像を構成する複数のフレーム画像各々からモザイク対象を抽出する対象抽出手段と、
   前記フレーム画像各々の全体面積に対する前記モザイク対象の面積の面積割合を算出する面積割合算出手段と、
   前記モザイク対象の画素群の画素値から導出される画素指標値を算出する画素指標値算出手段と、
   前記面積割合と前記画素指標値とに基づいてモザイク処理単位であるモザイクセルのサイズを決定するセルサイズ決定手段と、
   前記モザイク対象と他のフレーム画像から抽出された他のモザイク対象との画素値差分と変位との少なくとも一つに基づいて前記モザイク対象の動きを算出する動き算出手段と、
   前記モザイク対象の動きに応じた大きさで前記モザイク対象を包囲するモザイク領域を設定する領域設定手段として機能させるための画像処理プログラム。
5. コンピュータを、
   動画像を構成する複数のフレーム画像各々からモザイク対象を抽出する対象抽出手段と、
   前記モザイク対象と他のフレーム画像から抽出された他のモザイク対象との画素値差分と変位との少なくとも一つに基づいて前記モザイク対象の動きを算出する動き算出手段と、
   前記モザイク対象の動きに応じた大きさで前記モザイク対象を包囲するモザイク領域を設定する領域設定手段として機能させるための画像処理プログラム。

Images