JP6179183B2

JP6179183B2 - 情報処理装置、プログラム、及び画像処理方法

Info

Publication number: JP6179183B2
Application number: JP2013102860A
Authority: JP
Inventors: 将太郎石川
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2013-05-15
Filing date: 2013-05-15
Publication date: 2017-08-16
Anticipated expiration: 2033-05-15
Also published as: JP2014225726A

Description

本発明は、情報処理装置、プログラム、及び画像処理方法に関する。

近年、防犯意識の高まりから監視カメラを設置する店舗や住宅が増えている。繁華街に近い地域では、店舗や住宅だけでなく、駅構内や街頭などにも監視カメラが設置されていることもある。こうした監視カメラの設置は、防犯に役立つ一方で一般市民のプライバシーを侵害する恐れがある。そのため、防犯効果とプライバシーの保護とを両立させる監視カメラの運用方法が検討されている。監視カメラによるプライバシーの侵害を回避又は緩和する方法としては、例えば、被写体の人物が特定されないように、監視カメラで撮影された動画像の中で人物の顔を含む範囲にモザイクを施す方法などが考えられる。

監視カメラが出力する動画像のデータは、所定の動画符号化方式に従って符号化され、監視用のコンピュータなどへ送信される。例えば、Motion JPEG（Joint Photographic Experts Group）やH.264/AVC（Advanced Video Coding）などの規格で定義される動画符号化方式が利用される。Motion JPEG方式で符号化される動画像にモザイクを施す方法としては、事前にモザイクを施す範囲の高周波成分を減衰しておき、高周波成分を減衰した動画像をエンコーダに入力するモザイク化方法が提案されている。

上記のモザイク化方法では、モザイクを施す範囲の高周波成分を減衰する際に画素値を周波数領域へ変換する処理、高周波成分の減衰処理、及び逆変換処理などが実行される。上記のモザイク化方法を適用すると、これらの処理がエンコーダの前段で実行されることになるが、画素値を周波数領域へ変換する処理などはエンコーダ内部でも実行される。

例えば、Motion JPEG方式のエンコーダは、動画像に含まれる各動画フレームを一定サイズのマクロブロックに分割した上で、マクロブロック毎に画素値を直交変換する。さらに、Motion JPEG方式のエンコーダは、データサイズを圧縮するために高周波成分に対応するＤＣＴ（Discrete Cosine Transform）係数を除去する。このように、上記のモザイク化方法ではエンコーダの前段で実行する処理とエンコーダ内部で実行する処理とが一部で重複しており、モザイク化により増加する処理量が大きい。

ところで、上記のモザイク化方法はMotion JPEG方式のエンコーダを想定しているが、Motion JPEG方式のエンコーダを利用するよりもH.264/AVC方式のエンコーダを利用する方が同等の画質を得るためのビットレートを低く抑えることができる。これは、H.264/AVC方式のエンコーダがフレーム間予測符号化を利用しているためである。フレーム間予測符号化は、異なる動画フレームの中で類似するマクロブロックを検出し、検出したマクロブロックの動きを示す動き情報及び両マクロブロックの差分情報を利用して符号化する方法である。

なお、プライバシーを配慮した映像の符号化方法として、映像を受信する映像受信機毎に異なるプライバシーレベルを設定しておき、プライバシーレベルに応じてカメラの稼働範囲や符号化レートを決定する方法が提案されている。

国際公開第２００５／０８１５１５号特開２００４−２６０４２４号公報

上記のモザイク化方法はマクロブロックの高周波成分を減衰させてモザイク化する方法を提案しているが、フレーム間予測符号化により生成される差分情報の高周波成分を減衰させても、復元された画像はほとんどモザイクにならない。つまり、差分情報の高周波成分を減衰させても、マクロブロック間で類似する部分をモザイク化したことにならず、結果として復元した画像がほとんどモザイク化されない。なお、H.261、MPEG（Moving Picture Experts Group）-1、MPEG-2/H.262、H.263、MPEG-4 Part2方式などについても同様である。

そこで、１つの側面では、本発明は、フレーム間予測を用いる符号化方式で符号化される動画像のモザイク化をより少ない処理負担で実現することが可能な情報処理装置、プログラム、及び画像処理方法を提供することを目的とする。

上記課題を解決するため、１つの側面によれば、動画像に含まれる複数の動画フレームを複数の画像領域に分け、画像領域の内容に応じて、フレーム間予測符号化を含む第１の符号化方法又はフレーム間予測符号化を含まない第２の符号化方法により当該画像領域を符号化する符号化部と、動画フレーム内の指定された範囲に含まれる画像領域については当該画像領域の内容に依らず第２の符号化方法により符号化し、設定した閾値よりも高い周波数成分を当該画像領域から除去するように符号化部を制御する制御部と、を有する情報処理装置が提供される。

また、上記課題を解決するため、他の１つの側面によれば、動画像に含まれる複数の動画フレームを複数の画像領域に分け、画像領域の内容に応じて、フレーム間予測符号化を含む第１の符号化方法又はフレーム間予測符号化を含まない第２の符号化方法により当該画像領域を符号化するコンピュータに、動画フレーム内の指定された範囲に含まれる画像領域については当該画像領域の内容に依らず第２の符号化方法により符号化し、設定した閾値よりも高い周波数成分を当該画像領域から除去する処理を実行させるプログラムが提供される。

また、上記課題を解決するため、他の１つの側面によれば、動画像に含まれる複数の動画フレームを複数の画像領域に分け、画像領域の内容に応じて、フレーム間予測符号化を含む第１の符号化方法又はフレーム間予測符号化を含まない第２の符号化方法により当該画像領域を符号化するコンピュータが、動画フレーム内の指定された範囲に含まれる画像領域については当該画像領域の内容に依らず第２の符号化方法により符号化し、設定した閾値よりも高い周波数成分を当該画像領域から除去する工程を含む画像処理方法が提供される。

以上説明したように、１つの側面では、本発明は、フレーム間予測を用いる符号化方式で符号化される動画像のモザイク化をより少ない処理負担で実現することが可能になる。

第１実施形態に係る情報処理装置の一例を示した図である。第２実施形態に係る監視システムの一例を示した図である。第２実施形態に係るエンコーダの動作の一例を示した第１の図である。第２実施形態に係るエンコーダの動作の一例を示した第２の図である。第２実施形態に係るエンコーダのハードウェアの一例を示した図である。第２実施形態に係るエンコーダが有する機能の一例を示した図である。第２実施形態に係るエンコーダの符号化部が有する機能について説明するための図である。第２実施形態に係るエンコーダの制御部が有する機能について説明するための図である。第２実施形態に係るエンコーダの記憶部に格納される粒度設定用テーブルの一例を示した図である。第２実施形態に係るエンコーダのモザイク粒度設定部が有する機能について説明するための第１の図である。第２実施形態に係るエンコーダのモザイク粒度設定部が有する機能について説明するための第２の図である。第２実施形態に係るエンコーダの非参照領域設定部が有する機能について説明するための図である。第２実施形態に係るデコーダが有する機能の一例を示した図である。第２実施形態に係る符号化処理の流れについて説明するための第１のフロー図である。第２実施形態に係る符号化処理の流れについて説明するための第２のフロー図である。第２実施形態の一変形例に係る周波数範囲の調整方法について説明するためのフロー図である。第３実施形態に係るモザイク範囲の自動認識方法の一例を示した図である。第３実施形態に係る符号化処理の流れについて説明するための図である。

以下に添付図面を参照しながら、実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。

＜１．第１実施形態＞
第１実施形態について説明する。
図１を参照しながら、第１実施形態に係る情報処理装置１０について説明する。図１は、第１実施形態に係る情報処理装置の一例を示した図である。図１に示すように、情報処理装置１０は、符号化部１１及び制御部１２を有する。

なお、情報処理装置１０は、図示しないＲＡＭ（Random Access Memory）などの揮発性記憶装置や、図示しないＨＤＤ（Hard Disk Drive）フラッシュメモリなどの不揮発性記憶装置を有していてもよい。

符号化部１１及び制御部１２は、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などのプロセッサであってもよい。符号化部１１及び制御部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのプロセッサ以外の電子回路であってもよい。例えば、符号化部１１及び制御部１２は、揮発性記憶装置や不揮発性記憶装置に記憶されているプログラムを実行することが可能である。

（符号化部１１）
符号化部１１は、動画像に含まれる各動画フレームＦＬ１、ＦＬ２、ＦＬ３、…を複数の画像領域に分ける。さらに、符号化部１１は、画像領域の内容に応じて、フレーム間予測符号化を含む第１の符号化方法又はフレーム間予測符号化を含まない第２の符号化方法により画像領域を符号化する。例えば、符号化部１１は、動画フレームＦＬ１、ＦＬ２、ＦＬ３、…をサイズが１６×１６画素のマクロブロックに分割し、各マクロブロックの画素値を符号化する。この例ではマクロブロックを画像領域の単位として採用している。もちろん、画像領域の設定はこの例に限定されない。

例えば、動画フレームＦＬ１がＩピクチャ（Intra picture）、動画フレームＦＬ２がＢピクチャ（Bi-directional predictive picture）、動画フレームＦＬ３がＰピクチャ（Predictive picture）である場合について考える。この場合、動画フレームＦＬ１の各マクロブロックに対してはフレーム間予測符号化が行われず、フレーム内予測符号化を利用して画素値の符号化が行われる。つまり、符号化部１１は、動画フレームＦＬ１に含まれる各マクロブロックを第２の符号化方法により符号化する。

なお、フレーム間予測符号化とは、異なる動画フレーム間で類似するマクロブロックを検出し、検出したマクロブロックの動きを考慮して符号化対象のマクロブロックを符号化する方法である。一方、フレーム内予測符号化とは、同じ動画フレーム内における隣接画素間の相関を考慮して符号化対象の画素値を符号化する方法である。

動画フレームＦＬ２及びＦＬ３に対してはフレーム間予測符号化が行われる。動画フレームＦＬ２に対しては、例えば、動画フレームＦＬ１及びＦＬ３を参照フレームとする符号化が行われる。また、動画フレームＦＬ３に対しては、例えば、動画フレームＦＬ１を参照フレームとする符号化が行われる。なお、参照フレームの選択方法はこれに限定されない。また、動画フレームＦＬ２及びＦＬ３に含まれるマクロブロックの符号化方法は、マクロブロック毎に設定することができる。

例えば、参照フレーム内に類似するマクロブロックがある場合、符号化対象のマクロブロックは第１の符号化方法により符号化される。それ以外の場合、符号化対象のマクロブロックは第２の符号化方法により符号化される。つまり、符号化部１１は、動画フレームＦＬ２及びＦＬ３に含まれる各マクロブロックを、その内容に応じて選択される第１の符号化方法又は第２の符号化方法により符号化する。

（制御部１２）
制御部１２は、動画フレーム内の指定された範囲Ｒに含まれる画像領域については当該画像領域の内容に依らず第２の符号化方法により符号化するように符号化部１１を制御する。範囲Ｒはモザイク化の対象となる範囲である。なお、範囲Ｒは、利用者が設定してもよいし、物体認識技術を利用して自動検出した所定の被写体を含む範囲であってもよい。

例えば、動画フレームＦＬ２のマクロブロックを符号化する場合、符号化部１１は、その内容に応じて第１の符号化方法又は第２の符号化方法を選択して符号化処理を行う。但し、符号化対象のマクロブロックが範囲Ｒに含まれる場合、制御部１２は、そのマクロブロックを符号化する際に符号化部１１が第２の符号化方法を選択するように制御する。従って、範囲Ｒに含まれるマクロブロックは、本来第１の符号化方法により符号化されるものであっても、その内容に依らず第２の符号化方法により符号化される。

図１の例には、オブジェクトが移動する様子を撮影した動画像の動画フレームＦＬ１、ＦＬ２、ＦＬ３が示されている。このオブジェクトの一部は、動画フレームＦＬ１、ＦＬ２、ＦＬ３の全てに含まれている。そのため、この一部を含む動画フレームＦＬ２及びＦＬ３のマクロブロックを符号化する場合には第１の符号化方法が利用できる。しかし、動画フレームＦＬ３においてはオブジェクトの一部が範囲Ｒに含まれているため、その一部を含むマクロブロックについては第２の符号化方法により符号化が行われる。

制御部１２は、範囲Ｒに含まれる画像領域について、設定した閾値よりも高い周波数成分を当該画像領域から除去するように符号化部１１を制御する。
符号化処理の中で、符号化部１１は、例えば、マクロブロックの画素値を直交変換した上で許容可能な画質を維持できる範囲内で高周波成分を除去する。この処理により、高周波成分が除去された分だけデータサイズが圧縮される。このように、範囲Ｒに含まれないマクロブロックについては画質の劣化を抑制しつつデータサイズを圧縮するために高周波成分が除去される。しかし、範囲Ｒに含まれるマクロブロックはモザイク化の対象とされる部分である。そのため、制御部１２は、範囲Ｒに含まれるマクロブロックについて、画質が劣化するように設定した閾値を基準に高周波成分を符号化部１１に除去させる。

（効果）
ここで、仮に、図１に示した動画フレームＦＬ３の範囲Ｒに含まれるオブジェクトの一部をフレーム間予測符号化した場合について考える。図１の例において、このオブジェクトの一部を含む参照フレーム（ＦＬ１）のマクロブロックは範囲Ｒに含まれていないため、このマクロブロックに対しては画質が劣化しない範囲で高周波成分の除去が行われる。このマクロブロックを参照してフレーム間予測符号化を行うと、動画フレームＦＬ３の範囲Ｒに含まれる符号化対象のマクロブロックは、画質が劣化していないマクロブロックを参照する差分情報に符号化される。この場合、いくら符号化対象のマクロブロックから高周波成分を除去しても、画質が劣化していないマクロブロックが復号時に参照されるため、モザイク化の効果が十分に得られない。

しかし、上記の制御部１２によれば、範囲Ｒに含まれるマクロブロックの符号化方法が第２の符号化方法に制御されるため、画質が劣化するように設定した閾値を基準に高周波成分を除去することでモザイク化の効果が得られる。また、符号化部１１が実行する符号化処理の中でモザイク化の処理も実行されているため、事前に動画像に対してモザイク化の処理を施しておく方法に比べると少ない処理負担でモザイク化が実現される。

以上説明したように、第１実施形態によれば、範囲Ｒに含まれる画像領域が第２の符号化方法に固定され、この画像領域についてはフレーム間予測符号化が行われない。そのため、範囲Ｒに含まれる画像領域の高周波成分を除去することで、範囲Ｒに含まれる画像領域の画質を効果的に劣化させることが可能になり、モザイク化が実現される。

＜２．第２実施形態＞
次に、第２実施形態について説明する。
［２−１．システム］
図２〜図４を参照しながら、第２実施形態に係る監視システム１００について説明する。図２は、第２実施形態に係る監視システムの一例を示した図である。図３は、第２実施形態に係るエンコーダの動作の一例を示した第１の図である。図４は、第２実施形態に係るエンコーダの動作の一例を示した第２の図である。

図２に示すように、監視システム１００は、撮像装置１０１と、エンコーダ１０２ａ、１０２ｂと、端末装置１０３と、デコーダ１０５ａ、１０５ｂと、表示装置１０６ａ、１０６ｂとを含む。また、エンコーダ１０２ａ、１０２ｂは、それぞれネットワーク１０４ａ、１０４ｂを介してデコーダ１０５ａ、１０５ｂと接続される。

なお、図１には、一例として２台のエンコーダ１０２ａ、１０２ｂ及び２台のデコーダ１０５ａ、１０５ｂを含むシステムが例示されているが、各装置の台数はこの例に限定されない。また、図１の例では１台の撮像装置１０１しか記載されていないが、２台以上の撮像装置１０１が監視システム１００に含まれていてもよい。また、以下の説明では、エンコーダ１０２ａ、１０２ｂを区別せずにエンコーダ１０２と呼ぶ場合がある。さらに、デコーダ１０５ａ、１０５ｂを区別せずにデコーダ１０５と呼ぶ場合がある。

（撮像装置１０１）
撮像装置１０１は、動画像を撮像することが可能な装置の一例である。撮像装置１０１は、レンズなどの光学系、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、及び撮像素子が出力した電気信号を動画像データに変換する信号処理回路を有する。なお、撮像装置１０１は、H.264/AVCなどの動画符号化方式で動画像データを符号化しないものとする。撮像装置１０１により撮像された動画像データは、エンコーダ１０２ａ、１０２ｂに入力される。

（エンコーダ１０２ａ、１０２ｂ）
エンコーダ１０２ａは、所定の動画符号化方式で動画像データを符号化する装置の一例である。所定の動画符号化方式としては、例えば、H.261、MPEG-1、MPEG-2/H.262、H.263、MPEG-4 Part2、H.264/AVCなどの方式が適用可能である。これらの動画符号化方式ではフレーム間予測符号化が利用される。フレーム間予測符号化は、異なる動画フレームの中で類似するマクロブロックを検出し、検出したマクロブロックの動きを示す動き情報及び両マクロブロックの差分情報を利用して符号化する方法である。

ここで、図３の例を参照しながら、ある動画フレーム（以下、参照フレーム）ＦＬ２を参照して他の動画フレーム（以下、対象フレーム）ＦＬ１を符号化する方法について説明する。なお、図３における対象フレームＦＬ１の枡目はそれぞれマクロブロックを表す。また、対象フレームＦＬ１は、マクロブロック毎に符号化されるものとする。

いま、対象フレームＦＬ１に含まれるオブジェクトＯＢＪの一部に対応するマクロブロックＭＢ１に注目する。このマクロブロックＭＢ１をフレーム間予測符号化する場合、エンコーダ１０２ａは、参照フレームＦＬ２の中でマクロブロックＭＢ１の画像と類似する部分（図３の例では領域ＭＢ２）を抽出する。そして、エンコーダ１０２ａは、参照フレームＦＬ２の中でマクロブロックＭＢ１の位置から領域ＭＢ２の位置への移動量及び方向を示す動きベクトルＭＶを算出する。さらに、エンコーダ１０２ａは、対象フレームＦＬ１のマクロブロックＭＢ１と、参照フレームＦＬ２の領域ＭＢ２との差分を計算して差分信号を生成する。

上記のように異なる動画フレーム間で類似するマクロブロックを検出し、検出したマクロブロックの動きを示す動きベクトルＭＶ及び差分信号を生成する処理がフレーム間予測符号化の中心的な処理になる。

動きベクトルＭＶ及び差分信号が得られると、エンコーダ１０２ａは、差分信号を直交変換して周波数領域の信号を生成する（Ｓ１）。例えば、エンコーダ１０２ａは、差分信号にＤＣＴを施してＤＣＴ係数を生成する。さらに、エンコーダ１０２ａは、ＤＣＴ係数を量子化する（Ｓ２）。このとき、エンコーダ１０２ａは、高周波成分のＤＣＴ係数を０にしてデータ圧縮を実現する。そして、エンコーダ１０２ａは、動きベクトルＭＶを利用してエントロピー符号化を行い（Ｓ３）、マクロブロックＭＢ１に対応する符号列を出力する。なお、Ｓ３の処理に他の可逆圧縮符号化を適用することも可能である。

フレーム間予測符号化を利用して符号化されるマクロブロックに対しては、上記のような符号化処理が施される。但し、フレーム間予測符号化を利用せずに符号化されるマクロブロックに対しても直交変換（Ｓ１）や量子化（Ｓ２）の処理は実行される。この場合、図４に示すように、対象フレームＦＬ１のマクロブロックＭＢ１に含まれる各画素の画素値（Ａ）が直交変換（例えば、ＤＣＴ）され、ＤＣＴ係数（Ｂ）が生成される。そして、エンコーダ１０２ａは、高周波成分のＤＣＴ係数を０にしてデータ圧縮を実現する。なお、データ圧縮を目的とする場合には、画質の劣化が生じないようにＤＣＴ係数を０にする高周波成分の範囲が決定される。但し、モザイク範囲については画質が劣化するように高周波成分の範囲が設定される。

再び図１を参照する。エンコーダ１０２ａは、撮像装置１０１から動画像データが入力されると、入力された動画像データを所定の動画符号化方式で符号化する。このとき、エンコーダ１０２ａは、動画像データをモザイク化することができる。例えば、モザイク化の対象範囲（以下、モザイク範囲）などが指定された場合、エンコーダ１０２ａは、動画像データを符号化する工程の中でモザイク範囲をモザイク化する。なお、エンコーダ１０２ｂはエンコーダ１０２ａと同じ機能を有する。

（端末装置１０３）
端末装置１０３は、ユーザが利用する操作端末の一例である。例えば、エンコーダ１０２ａ、１０２ｂに対するモザイク範囲の指定は、端末装置１０３を利用して行われる。図１の例では、エンコーダ１０２ａに対して端末装置１０３からモザイク化の指示（モザイク範囲の指定など）が行われている。一方、エンコーダ１０２ｂに対しては端末装置１０３からモザイク化の指示が行われていない。この場合、撮像装置１０１からエンコーダ１０２ａに入力された動画像データはモザイク化されるが、エンコーダ１０２ｂに入力された動画像データはモザイク化されない。このように、端末装置１０３を介してエンコーダ１０２ａ、１０２ｂに指示を与えることで、動画像データに施すモザイク処理の内容を設定することができる。

（ネットワーク１０４ａ、１０４ｂ）
ネットワーク１０４ａ、１０４ｂは、有線通信網、無線通信網、及びこれらを組み合わせた通信網である。また、ネットワーク１０４ａ、１０４ｂは、ＷＡＮ（Wide Area Network）などの広域型ネットワークであってもよいし、ＬＡＮ（Local Area Network）などの局地型ネットワークであってもよい。なお、ネットワーク１０４ｂはネットワーク１０４ａと同じネットワークであってもよいし、異なるネットワークであってもよい。図１の例では、エンコーダ１０２ａにより符号化された動画像データはネットワーク１０４ａを介してデコーダ１０５ａに入力される。一方、エンコーダ１０２ｂにより符号化された動画像データはネットワーク１０４ｂを介してデコーダ１０５ｂに入力される。

（デコーダ１０５ａ、１０５ｂ）
デコーダ１０５ａは、所定の動画符号化方式で動画像データを復号する装置の一例である。デコーダ１０５ａは、エンコーダ１０２ａが符号化に利用した動画符号化方式に従い、エンコーダ１０２ａにより符号化された動画像データを復号して符号化前の動画像データを復元する。なお、デコーダ１０５ｂはデコーダ１０５ａと同じ機能を有する。デコーダ１０５ａにより復元された動画像データは表示装置１０６ａに入力される。一方、デコーダ１０５ｂにより復元された動画像データは表示装置１０６ｂに入力される。

（表示装置１０６ａ、１０６ｂ）
表示装置１０６ａ、１０６ｂは、動画像データを表示可能な装置の一例である。表示装置１０６ａ、１０６ｂとしては、例えば、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬＤ（Electro-Luminescence Display）などのディスプレイ装置を利用することができる。例えば、表示装置１０６ａ、１０６ｂは、それぞれ異なる場所に設置され、異なるユーザが利用する。表示装置１０６ａにはデコーダ１０５ａにより復元された動画像データが表示される。一方、表示装置１０６ｂにはデコーダ１０５ｂにより復元された動画像データが表示される。

（応用例）
上記のように、監視システム１００は、エンコーダ１０２ａ、１０２ｂにそれぞれ異なるモザイク処理の設定を行うことができる。そのため、同じ撮像装置１０１が撮影した動画像データに対してモザイク処理の内容が異なる複数の動画像データを作成することが可能になる。例えば、表示装置１０６ａを利用する監視者には被写体の顔を見る権限がなく、表示装置１０６ｂを利用する監視者には被写体の顔を見る権限があるような場合に、表示装置１０６ａだけに顔部分をモザイク化した動画像データを表示させることができる。また、モザイク化の有無だけでなく、モザイク範囲が異なる複数の動画像データを生成することもできる。

ここでは、撮像装置１０１による撮影範囲を監視するシステムを例に挙げたが、例えば、テレビジョン放送用の動画像データと編集用の動画像データとを区別してモザイク範囲を設定した複数の動画像データを生成するシステムなどに応用することも可能である。また、防犯用の監視システムに限らず、自動車ナンバー自動読取装置などを管理するシステムなどに応用することも可能である。

また、図１の例ではエンコーダ１０２ａ、１０２ｂを別体のように記載したが、１台のコンピュータが搭載する複数のプロセッサコアや複数のスレッドを利用してエンコーダ１０２ａ、１０２ｂの機能を実現することもできる。また、撮像装置１０１にエンコーダ１０２ａ、１０２ｂの機能を搭載してもよい。

上記のような応用例についても第２実施形態の技術的範囲に含まれる。但し、以下では、説明の都合上、図１の例を念頭に置いて説明を進めることにする。
［２−２．エンコーダ］
ここで、エンコーダ１０２について、さらに説明する。

（ハードウェア）
まず、図５を参照しながら、エンコーダ１０２が有する機能を実現することが可能なハードウェアについて説明する。図５は、第２実施形態に係るエンコーダのハードウェアの一例を示した図である。

エンコーダ１０２が有する機能は、例えば、図５に示す情報処理装置のハードウェア資源を用いて実現することが可能である。つまり、当該各要素の機能は、コンピュータプログラムを用いて図５に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、スマートフォン、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant）などの携帯情報端末、ゲーム機、各種通信装置がこれに含まれる。

図５に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ（Read Only Memory）９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。

ＣＰＵ９０２は、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータなどを格納する記憶装置の一例である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータなどが一時的又は永続的に格納される。

これらの要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、タッチパッド、ボタン、スイッチ、及びレバーなどが用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。

出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、ＥＬＤなどのディスプレイ装置が用いられる。また、出力部９１８として、スピーカやヘッドホンなどのオーディオ出力装置、プリンタ、携帯電話、又はファクシミリなどが用いられることもある。つまり、出力部９１８は、情報を視覚的又は聴覚的に出力することが可能な装置である。

記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ＨＤＤなどの磁気記憶デバイスが用いられる。また、記憶部９２０として、ＳＳＤ（Solid State Drive）やＲＡＭディスクなどの半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどが用いられてもよい。

ドライブ９２２は、着脱可能な記録媒体であるリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどが用いられる。また、リムーバブル記録媒体９２８として、非接触型ＩＣ（Integrated Circuit）チップを搭載したＩＣカードや電子機器などが用いられてもよい。

接続ポート９２４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）、ＲＳ−２３２Ｃポート、又は光オーディオ端子など、外部接続機器９３０を接続するためのポートである。外部接続機器９３０としては、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダなどが用いられる。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスである。通信部９２６としては、例えば、有線又は無線ＬＡＮ用の通信回路、ＷＵＳＢ（Wireless USB）用の通信回路、光通信用の通信回路やルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用の通信回路やルータ、携帯電話ネットワーク用の通信回路などが用いられる。通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークであり、例えば、インターネット、ＬＡＮ、放送網、衛星通信回線などを含む。

（機能）
次に、図６〜図１２を参照しながら、エンコーダ１０２の機能について説明する。図６は、第２実施形態に係るエンコーダが有する機能の一例を示した図である。図６に示すように、エンコーダ１０２は、符号化部１１１及び制御部ＣＴＬを有する。以下、符号化部１１１及び制御部ＣＴＬの機能について、それぞれ説明する。

（符号化部１１１の機能について）
符号化部１１１は、所定の動画符号化方式に従って動画像データを符号化する要素である。符号化部１１１には、撮像装置１０１から動画像データに含まれる動画フレームが入力される。ここで、符号化部１１１の機能について、図７を参照しながら、さらに説明する。なお、以下の説明においては、符号化部１１１に入力された動画フレームを入力画像と呼ぶ場合がある。図７は、第２実施形態に係るエンコーダの符号化部が有する機能について説明するための図である。

図７に示すように、符号化部１１１は、マクロブロック（ＭＢ）生成部１２１、減算器１２２、直交変換部１２３、量子化部１２４、エントロピー符号化部１２５、逆量子化部１２６、及び逆直交変換部１２７を有する。さらに、符号化部１１１は、加算器１２８、フレームメモリ１２９、イントラ予測画像生成部１３０、インター予測画像生成部１３１、動きベクトル演算部１３２、スイッチ１３３、及びイントラ予測モード導出部１３４を有する。

マクロブロック生成部１２１は、入力された動画フレームを１６×１６画素のマクロブロックに分割する。マクロブロック生成部１２１により生成されたマクロブロックは、減算器１２２、及び動きベクトル演算部１３２に入力される。以下、マクロブロック単位の画像データをブロックデータと呼ぶ場合がある。減算器１２２は、マクロブロック生成部１２１から入力されたブロックデータと、スイッチ１３３を介してイントラ予測画像生成部１３０又はインター予測画像生成部１３１から入力された予測画像のデータとの差分を演算して差分信号を生成する。

減算器１２２により生成された差分信号は、直交変換部１２３に入力される。直交変換部１２３は、減算器１２２から入力された差分信号に対して所定の直交変換を施す。所定の直交変換としては、ＤＣＴやカルーネン・レーベ変換などがある。以下、説明の都合上、所定の直交変換としてＤＣＴを利用する場合を想定して説明を進める。この場合、直交変換部１２３によりＤＣＴ係数が生成される。直交変換部１２３により生成されたＤＣＴ係数は、量子化部１２４に入力される。

量子化部１２４は、予め用意された量子化テーブルを参照し、直交変換部１２３から入力されたＤＣＴ係数を量子化する。量子化部１２４により量子化されたＤＣＴ係数（以下、量子化データ）は、エントロピー符号化部１２５及び逆量子化部１２６に入力される。

エントロピー符号化部１２５は、量子化データに可変長符号化及び算術符号化などの可逆符号化処理を施して符号化信号を生成する。可変長符号化としては、例えば、ＣＡＶＬＣ（Context-Adaptive Variable Length Coding）などが利用可能である。算術符号化としては、例えば、ＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）などが利用可能である。

また、エントロピー符号化部１２５は、イントラ予測モード導出部１３４により選択されたイントラ予測モードに関する情報やインター予測画像生成部１３１が動き補償に用いる動きベクトルＭＶの情報を符号化する。例えば、イントラ予測モードに関する情報には、輝度及び色差の符号化単位とするマクロブロックサイズ、プレーンモード、平均モード、水平モード、垂直モード、ＰＣＭ（Pulse Code Modulation）信号を用いるモードなどの情報が含まれる。エントロピー符号化部１２５は、符号化したモード情報及び動きベクトルＭＶの情報を符号化信号のヘッダ部分に付加して出力する。

逆量子化部１２６は、量子化部１２４から入力された量子化データを逆量子化する。逆量子化部１２６から出力されたデータ（以下、復元ＤＣＴ係数）は、逆直交変換部１２７に入力される。逆直交変換部１２７は、復元ＤＣＴ係数に逆ＤＣＴ変換を施して差分信号を復元する。逆直交変換部１２７により復元された差分信号は、加算器１２８に入力される。

加算器１２８は、インター予測画像生成部１３１により動き補償されたブロックデータと復元された差分信号とを加算する。この加算処理により、動き補償された参照フレームのデータが生成される。加算器１２８により生成された参照フレームのデータはフレームメモリ１２９に格納される。なお、フレームメモリ１２９の前段にデブロッキングフィルタを配置して参照フレームのデータからブロック歪が除去されるようにしてもよい。

イントラ予測画像生成部１３０は、同じフレーム内の周辺画素から予測画像のブロックデータを生成する。つまり、イントラ予測画像生成部１３０は、フレームメモリ１２９に格納された参照フレームをもとにフレーム内予測符号化の処理を実行して予測画像のブロックデータを生成する。このとき、イントラ予測画像生成部１３０は、イントラ予測モード導出部１３４により選択されたイントラ予測モードで処理を実行する。

なお、イントラ予測モード導出部１３４は、符号化のコストを計算するために予め用意したコスト関数を用いて候補となる全てのイントラ予測モードについてコスト関数値を算出し、コスト関数値が最小となるイントラ予測モードを選択する。

インター予測画像生成部１３１は、フレームメモリ１２９から読み出した参照フレームのデータと、動きベクトル演算部１３２により算出された動きベクトルとを用いて動き補償し、予測画像のブロックデータを生成する。

なお、動きベクトル演算部１３２は、フレームメモリ１２９から読み出した参照フレームのデータと、マクロブロック生成部１２１により生成されたブロックデータとを用いて動きベクトルを算出する。この動きベクトルは、ブロックデータが示すマクロブロックと、これに類似する参照フレーム内の領域との相対的な位置関係を示す情報である。

スイッチ１３３は、イントラ予測画像生成部１３０又はインター予測画像生成部１３１により生成された予測画像を選択的に減算器１２２及び加算器１２８へと入力する。なお、フレーム内予測（イントラ予測）符号化が行われる場合にはイントラ予測画像生成部１３０により予測画像のデータが生成され、フレーム間予測（インター予測）符号化が行われる場合にはインター予測画像生成部１３１により予測画像が生成される。そのため、スイッチ１３３は、符号化の方法に応じてイントラ予測画像生成部１３０又はインター予測画像生成部１３１を選択する。例えば、Ｉピクチャ、Ｂピクチャ、及びＰピクチャがイントラ予測の対象となり、Ｂピクチャ及びＰピクチャがインター予測の対象となる。

上記のように、符号化部１１１は、フレーム内予測符号化及びフレーム間予測符号化を併用して動画像データに含まれる動画フレームをマクロブロック単位で符号化する。また、符号化部１１１は、複数の動画フレームに類似したマクロブロックを含む場合に、インター予測画像生成部１３１などの機能を利用してフレーム間予測符号化を行う。

例えば、監視カメラの映像は背景がほとんど変化しないため、動画フレームに含まれるほとんどのマクロブロックに対してフレーム間予測符号化が行われる。そのため、このような映像に対しては高いデータ圧縮率を実現することができる。

但し、エンコーダ１０２においては、制御部ＣＴＬにより符号化部１１１の動作が制御される。そのため、複数の動画フレーム間で類似度の高いマクロブロックが存在しても、制御部ＣＴＬによりフレーム内予測符号化が指定された場合には、対象のマクロブロックに対してフレーム内予測符号化が行われる。また、イントラ予測モード導出部１３４により好適なイントラ予測モードが選択された場合でも、制御部ＣＴＬによりイントラ予測モードが指定された場合には、対象のマクロブロックに対して、指定されたイントラ予測モードで符号化が行われる。

このように、符号化部１１１は、画像の内容に応じて好適な符号化方法を選択して符号化処理を実行すると共に、制御部ＣＴＬによる制御に応じてマクロブロック毎に設定を変更することができる。

（制御部ＣＴＬの機能について）
次に、図６、図８〜図１２を参照しながら、制御部ＣＴＬの機能について説明する。
図８は、第２実施形態に係るエンコーダの制御部が有する機能について説明するための図である。図９は、第２実施形態に係るエンコーダの記憶部に格納される粒度設定用テーブルの一例を示した図である。

図１０は、第２実施形態に係るエンコーダのモザイク粒度設定部が有する機能について説明するための第１の図である。図１１は、第２実施形態に係るエンコーダのモザイク粒度設定部が有する機能について説明するための第２の図である。図１２は、第２実施形態に係るエンコーダの非参照領域設定部が有する機能について説明するための図である。

図６に示すように、制御部ＣＴＬは、モザイク範囲設定部１１２と、符号化方法設定部１１３と、符号化単位サイズ設定部１１４と、記憶部１１５と、モザイク粒度設定部１１６と、非参照ブロック設定部１１７とを有する。

（モザイク範囲設定部１１２）
モザイク範囲設定部１１２は、端末装置１０３からモザイク範囲の情報を取得する。そして、モザイク範囲設定部１１２は、図８の（Ａ）及び（Ｂ）に示すように、取得した情報が示すモザイク範囲に対応するマクロブロックをモザイク化の対象に決定する。

なお、端末装置１０３によりマクロブロック単位でモザイク範囲が指定されている場合、モザイク範囲設定部１１２は、指定されたモザイク範囲のマクロブロックをそのままモザイク化の対象に決定する。モザイク化の対象として決定されたマクロブロック単位のモザイク範囲の情報は、符号化方法設定部１１３、符号化単位サイズ設定部１１４、モザイク粒度設定部１１６、及び非参照ブロック設定部１１７に入力される。

（符号化方法設定部１１３）
符号化方法設定部１１３は、モザイク範囲に含まれるマクロブロックの符号化方法をフレーム内予測符号化に設定する。つまり、符号化方法設定部１１３は、モザイク範囲に含まれるマクロブロックについてフレーム内予測符号化を行うように符号化部１１１を制御する。

例えば、符号化方法設定部１１３は、イントラ予測画像生成部１３０、インター予測画像生成部１３１、動きベクトル演算部１３２、スイッチ１３３、及びイントラ予測モード導出部１３４などの動作を制御する。かかる制御により、モザイク範囲に含まれるマクロブロックについては符号化方法がフレーム内予測符号化に固定される。

（符号化単位サイズ設定部１１４）
符号化単位サイズ設定部１１４は、モザイク範囲に含まれるマクロブロックに対してフレーム内予測符号化を行う際の符号化単位サイズを設定する。フレーム内予測符号化を行う符号化単位サイズとしては、例えば、１６×１６画素の他に、８×８画素や４×４画素を選択することもできる。なお、同じモザイク範囲においては、選択した符号化単位サイズは固定される。

符号化単位サイズは、通常、符号化部１１１のイントラ予測モード導出部１３４によりコスト関数値を用いて選択される。しかし、符号化単位サイズ設定部１１４は、イントラ予測モード導出部１３４を制御して、モザイク範囲に含まれるマクロブロックに対して所定の符号化単位サイズを選択して設定する。

所定の符号化単位サイズは、予め設定されていてもよいし、端末装置１０３を介して設定されてもよい。かかる制御により、モザイク範囲に含まれるマクロブロックについてはイントラ予測モードとして設定される符号化単位サイズが固定される。

（記憶部１１５、モザイク粒度設定部１１６）
記憶部１１５は、制御部ＣＴＬが処理に利用するデータを保持するための記憶装置の一例である。記憶部１１５は、粒度設定用テーブル１１５ａを有する。粒度設定用テーブル１１５ａは、設定されたモザイク粒度と、カットする高周波成分の範囲を決める閾値との関係を示す情報である。ここで言うモザイク粒度とは、画質を劣化させる度合いを示す指標である。

モザイク粒度設定部１１６は、粒度設定用テーブル１１５ａを参照してカット対象の周波数範囲を設定する。そして、モザイク範囲設定部１１２は、符号化部１１１を制御し、モザイク範囲に含まれるマクロブロックについて、設定した周波数範囲のＤＣＴ係数をカットさせる。このとき、モザイク粒度設定部１１６は、主に符号化部１１１が有する量子化部１２４の動作を制御する。なお、モザイク粒度の設定は、予め用意された設定が適用されてもよいし、端末装置１０３を利用して設定されてもよい。

粒度設定用テーブル１１５ａは、例えば、図９のように設定される。図９の例では、モザイク粒度が「大」の場合に、カット対象の周波数範囲がＤＣ成分以外の範囲に設定される。この場合、モザイク範囲設定部１１２は、符号化部１１１を制御して、図１０に示すように、モザイク範囲に含まれるマクロブロックについてＤＣ成分以外のＤＣＴ係数を０にさせる。この処理によりＤＣ成分だけが残るため、図１１に示すように、そのマクロブロックの平均画素値に相当する一様な画像が得られる。

図９の例では、モザイク粒度「中」及び「小」が設定されている。モザイク粒度が「中」の場合、カット対象の周波数範囲はＦ₁＞Ｔｈ₁₁、かつ、Ｆ₂＞Ｔｈ₂₁の範囲に設定される。なお、Ｆ₁及びＦ₂はそれぞれ水平方向及び垂直方向の周波数成分を表す。また、Ｔｈ₁₁及びＴｈ₂₁は０以上の値に予め設定される。但し、Ｔｈ₁₁及びＴｈ₂₁はモザイクを実現する上で十分な画質の劣化が得られるように設定される。この場合、ＤＣ成分以外の周波数成分もカットされずに残るため、モザイク粒度「大」の場合に比べて、モザイク処理後の画像に元画像の雰囲気が幾分か残されることになる。

また、モザイク粒度が「小」の場合、カット対象の周波数範囲はＦ₁＞Ｔｈ₁₂、かつ、Ｆ₂＞Ｔｈ₂₂の範囲に設定される。但し、Ｔｈ₁₂はＴｈ₁₂＞Ｔｈ₁₁である。Ｔｈ₂₂はＴｈ₂₂＞Ｔｈ₂₁である。この場合も、Ｔｈ₁₂及びＴｈ₂₂はモザイクを実現する上で十分な画質の劣化が得られるように設定される。しかし、モザイク粒度が「中」の場合よりも多くの高周波成分が残されるため、モザイク粒度「中」の場合に比べて、モザイク処理後の画像に元画像の雰囲気がより多く残されることになる。

なお、図９の例ではモザイク粒度を３段階に設定できる仕組みを示したが、モザイク粒度の設定方法はこれに限定されない。例えば、２段階又は４段階以上にモザイク粒度を設定できるような仕組みにしてもよいし、モザイク粒度を実数又は整数などの数値で設定できる仕組みにしてもよい。

モザイク粒度を数値Ｘで設定できる仕組みにする場合には、例えば、カット対象の周波数範囲をＦ₁＞Ｔｈ₁及びＦ₂＞Ｔｈ₂とし、数値Ｘが大きくなるにつれてＴｈ₁及びＴｈ₂が大きくなるような仕組みにすればよい。但し、Ｔｈ₁及びＴｈ₂に上限を設け、モザイクを実現する上で十分な画質の劣化が得られる範囲でＴｈ₁及びＴｈ₂が変化するような仕組みにするとよい。

（非参照ブロック設定部１１７）
非参照ブロック設定部１１７は、符号化部１１１がフレーム間予測符号化を行う際に、モザイク範囲に含まれるマクロブロックを参照しないように設定する。このとき、非参照ブロック設定部１１７は、主に符号化部１１１が有する動きベクトル演算部１３２の動作を制御する。つまり、非参照ブロック設定部１１７は、モザイク範囲に含まれるマクロブロックを指し示す動きベクトルを生成しないように制御する。

上記のように、モザイク範囲に含まれるマクロブロックは画質が劣化させられる。そのため、画質が劣化したマクロブロックを参照して復号すると、復号対象のマクロブロックがモザイク範囲に含まれないマクロブロックである場合でも、復号後のマクロブロックの画質が劣化した状態になってしまう。

そこで、図１２に示すように、モザイク範囲を含む参照フレームＦＬ２を参照する場合、符号化対象のマクロブロックＭＢ１と類似するマクロブロックＭＢ２が参照フレームＦＬ２に存在しても、それがモザイク範囲内に位置する場合には参照しないように設定する。かかる設定により、モザイク化に起因して復号時にモザイク範囲外のマクロブロックに画質の劣化が生じることを抑制できる。

以上、エンコーダ１０２について説明した。
［２−３．デコーダ］
次に、デコーダ１０５について、さらに説明する。なお、デコーダ１０５の機能は、エンコーダ１０２と同じハードウェアを用いて実現可能である。そのため、デコーダ１０５のハードウェアについては説明を省略する。

（機能について）
図１３を参照しながら、デコーダ１０５の機能について説明する。図１３は、第２実施形態に係るデコーダが有する機能の一例を示した図である。

図１３に示すように、デコーダ１０５は、エントロピー復号部１５１、逆量子化部１５２、逆直交変換部１５３、加算器１５４、フレームメモリ１５５、イントラ予測画像生成部１５６、インター予測画像生成部１５７、及びスイッチ１５８を有する。

エントロピー復号部１５１は、エンコーダ１０２において量子化データに可変長符号化及び算術符号化などの可逆符号化処理を施して生成された符号化信号を復号する。さらに、エントロピー復号部１５１は、ヘッダ部分を参照し、エンコーダ１０２において選択されたイントラ予測モードに関する情報や動きベクトルＭＶの情報を復号処理により抽出する。

エントロピー復号部１５１により抽出されたイントラ予測モードに関する情報は、イントラ予測画像生成部１５６に入力される。また、エントロピー復号部１５１により抽出された動きベクトルＭＶの情報はインター予測画像生成部１５７に入力される。

逆量子化部１５２は、エントロピー復号部１５１により復元された量子化データを逆量子化する。逆量子化部１５２から出力されたデータ（復元ＤＣＴ係数）は、逆直交変換部１５３に入力される。逆直交変換部１５３は、復元ＤＣＴ係数に逆ＤＣＴ変換を施して差分信号を復元する。逆直交変換部１５３により復元された差分信号は、加算器１５４に入力される。

加算器１５４は、インター予測画像生成部１５７により動き補償されたブロックデータと復元された差分信号とを加算する。この加算処理により、動き補償された参照フレームのデータが生成される。加算器１５４により生成された参照フレームのデータはフレームメモリ１５５に格納される。

なお、フレームメモリ１５５の前段にデブロッキングフィルタを配置して参照フレームのデータからブロック歪が除去されるようにしてもよい。また、フレームメモリ１５５に格納されるデータは復号画像として出力される。

イントラ予測画像生成部１５６は、同じフレーム内の周辺画素から予測画像のブロックデータを生成する。つまり、イントラ予測画像生成部１５６は、フレームメモリ１５５に格納された参照フレームをもとにフレーム内予測符号化の処理を実行して予測画像のブロックデータを生成する。このとき、イントラ予測画像生成部１５６は、エントロピー復号部１５１により入力されたイントラ予測モードで処理を実行する。

一方、インター予測画像生成部１５７は、フレームメモリ１５５から読み出した参照フレームのデータと、エントロピー復号部１５１により入力された動きベクトルＭＶとを用いて動き補償し、予測画像のブロックデータを生成する。

スイッチ１５８は、イントラ予測画像生成部１５６又はインター予測画像生成部１５７により生成された予測画像を選択的に加算器１５４へと入力する。なお、フレーム内予測（イントラ予測）符号化が行われる場合にはイントラ予測画像生成部１５６により予測画像のデータが生成され、フレーム間予測（インター予測）符号化が行われる場合にはインター予測画像生成部１５７により予測画像が生成される。スイッチ１５８は、符号化の方法に応じてイントラ予測画像生成部１５６又はインター予測画像生成部１５７を選択する。例えば、Ｉピクチャ、Ｂピクチャ、及びＰピクチャがイントラ予測の対象となり、Ｂピクチャ及びＰピクチャがインター予測の対象となる。

以上、デコーダ１０５について説明した。
［２−４．符号化処理の流れ］
次に、図１４及び図１５を参照しながら、第２実施形態に係る符号化処理の流れについて説明する。図１４は、第２実施形態に係る符号化処理の流れについて説明するための第１のフロー図である。図１５は、第２実施形態に係る符号化処理の流れについて説明するための第２のフロー図である。

（Ｓ１０１）モザイク範囲設定部１１２は、指定されたモザイク範囲の情報を端末装置１０３から取得する。モザイク範囲の情報は、例えば、マクロブロック単位又は画素単位で指定される。なお、モザイク範囲は予め設定されていてもよい。また、モザイク範囲は、矩形や円形などの所定の形状で指定されるようにしてもよいし、ユーザが端末装置１０３上で入力した自由な形状で指定されるようにしてもよい。

（Ｓ１０２）モザイク範囲設定部１１２は、Ｓ１０１で取得した情報に基づき、指定されたモザイク範囲に対応するマクロブロック（ＭＢ）をモザイク処理の対象とするマクロブロックに決定する。

例えば、モザイク範囲はマクロブロック以外の単位で指定されている場合、モザイク範囲設定部１１２は、モザイク範囲を含むマクロブロックをモザイク処理の対象とするマクロブロックに決定する。一方、マクロブロック単位でモザイク範囲が指定されている場合、モザイク範囲設定部１１２は、モザイク範囲に指定されたマクロブロックをそのままモザイク処理の対象とするマクロブロックに決定する。

（Ｓ１０３）モザイク粒度設定部１１６は、指定されたモザイク粒度の情報を端末装置から取得する。モザイク粒度は、画質の劣化度合いを示す指標である。例えば、モザイク粒度が「大」の場合には直流成分を残してマクロブロックの高周波成分が除去され、モザイク範囲内の被写体像がほとんど認識できない程度に画質が劣化される。

なお、モザイク粒度と、画質の劣化度合いを決定するカット対象の周波数範囲との関係は、記憶部１１５に予め格納された粒度設定用テーブル１１５ａに基づいて決定される。モザイク粒度設定部１１６は、粒度設定用テーブル１１５ａを参照して、指定されたモザイク粒度に対応するカット対象の周波数範囲を決定する。

（Ｓ１０４）動画フレーム単位で処理のループが開始される。処理対象の動画フレームを変更しながら、Ｓ１０５からＳ１１３（図１５）までの処理が実行される。そして、処理対象とした全ての動画フレームについて処理が終了した場合に、Ｓ１１３（図１５）以降に処理が進む。以下、ある処理対象の動画フレームに関する処理について述べる。

（Ｓ１０５）制御部ＣＴＬは、処理対象の動画フレームに含まれる１つのマクロブロックを選択する。なお、ここでは一例として１つ１つのマクロブロックを順次処理する方法を想定して説明を進めるが、独立した処理については複数のマクロブロックを同時並行で処理する方法なども考えられる。

（Ｓ１０６）制御部ＣＴＬは、Ｓ１０５で選択したマクロブロックがモザイク範囲内のマクロブロックであるか否かを判定する。Ｓ１０５で選択したマクロブロックがモザイク範囲内のマクロブロックである場合、処理はＳ１０７に進む。この場合、マクロブロックを符号化する処理の中でモザイク処理が実行される。

一方、Ｓ１０５で選択したマクロブロックがモザイク範囲内のマクロブロックでない場合、処理はＳ１１０に進む。この場合は、マクロブロックを符号化する処理の中でモザイク処理は実行されない。但し、他のマクロブロックのモザイク化に起因する画質の劣化を抑制する処理が実行される。

（Ｓ１０７）符号化方法設定部１１３は、Ｓ１０５で選択されたマクロブロックの符号化方法をフレーム内予測符号化に設定する。つまり、符号化方法設定部１１３は、このマクロブロックを符号化する際にフレーム間予測を行わないように符号化部１１１の動作を制御する。かかる制御により、このマクロブロックに対するモザイク化が、より確実に実現される。

（Ｓ１０８）符号化単位サイズ設定部１１４は、Ｓ１０５で選択されたマクロブロックの符号化単位サイズを設定された符号化単位サイズに固定する。マクロブロックの画像内容によってはマクロブロックのサイズを可変にするイントラ予測モードが導出されることがある。しかし、モザイク範囲内のマクロブロック毎に符号化単位サイズが異なると、不均一なモザイクが生じてしまう可能性がある。さらに、マクロブロックの符号化単位サイズによってモザイク効果が異なる場合がある。そのため、符号化単位サイズ設定部１１４は、マクロブロックの画像内容に依らず、予め設定された符号化単位サイズで符号化されるように符号化部１１１を制御する。

（Ｓ１０９）モザイク粒度設定部１１６は、Ｓ１０３で決定したカット対象の周波数範囲を符号化処理の中でカットするように符号化部１１１を制御する。
かかる制御により、指定されたモザイク粒度に対応する劣化度合いでマクロブロックの画像が劣化され、所望のモザイク効果が得られる。また、モザイク範囲外のマクロブロックに対して行われる通常の符号化処理と同じ符号化処理の中でモザイク処理が実現されるため、モザイク化によりエンコーダ１０２にかかる処理負担の増大を抑制することができる。Ｓ１０９の処理を終えると、処理は図１５のＳ１１１に進む。

（Ｓ１１０）非参照ブロック設定部１１７は、参照フレームに含まれるモザイク範囲内のマクロブロックを参照しないように設定する。モザイク範囲外のマクロブロックについては、マクロブロックの画像内容に応じてフレーム間予測が行われる。その際、参照フレームにモザイク範囲が存在し、そのモザイク範囲内の画質が劣化したマクロブロックを参照すると、復号時にモザイク範囲外のマクロブロックにも画質の劣化が生じてしまう。そこで、非参照ブロック設定部１１７は、フレーム間予測を行う際にモザイク範囲内のマクロブロックを参照しないように符号化部１１１を制御する。Ｓ１１０の処理を終えると、処理は図１５のＳ１１１に進む。

（Ｓ１１１）符号化部１１１は、マクロブロックの符号化処理を実行する。モザイク範囲内のマクロブロックを処理する場合、符号化部１１１は、制御部ＣＴＬによる制御に応じてマクロブロックの符号化処理を実行する。

一方、モザイク範囲外のマクロブロックを処理する場合、符号化部１１１は、マクロブロックの画像内容に応じてフレーム間予測又はフレーム内予測に基づく符号化処理を実行する。但し、フレーム間予測を行う場合、符号化部１１１は、制御部ＣＴＬによる制御に応じて、参照フレームのモザイク範囲内にあるマクロブロックを参照せずに符号化処理を実行する。

（Ｓ１１２）エンコーダ１０２は、符号化対象の動画フレームに含まれる全てのマクロブロックについて処理を終了したか否かを判定する。符号化対象の動画フレームに含まれる全てのマクロブロックについて処理を終了した場合、処理はＳ１１３に進む。一方、符号化対象の動画フレームに含まれる全てのマクロブロックについて処理を終了していない場合、処理は図１４のＳ１０５に進む。この場合、Ｓ１０５の処理で未処理のマクロブロックが選択される。

（Ｓ１１３）Ｓ１１３に処理が進んだ場合、処理対象となる他の動画フレームが選択され、Ｓ１０５以降の処理が再び実行される。但し、処理対象となる動画フレームについて全て処理が終了した場合には、符号化に係る一連の処理が終了する。

以上、符号化処理の流れについて説明した。
（変形例：画像内容に応じたカット対象周波数の調整）
ここで、図１６を参照しながら、第２実施形態の一変形例について説明する。図１６は、第２実施形態の一変形例に係る周波数範囲の調整方法について説明するためのフロー図である。

この変形例は、高周波成分が少ないマクロブロックを自動判定し、そのマクロブロックについて、より確実に画像内容が隠匿されるようにカット対象の周波数範囲を調整する方法である。この方法は、主にモザイク粒度設定部１１６の機能により実現される。

（Ｓ１２１）モザイク粒度設定部１１６は、カット対象の周波数範囲におけるＤＣＴ係数の絶対値和を計算する。例えば、モザイク粒度設定部１１６は、符号化部１１１が有する直交変換部１２３が対象のマクロブロックについてＤＣＴ変換した後で、直交変換部１２３から高周波成分に対応するＤＣＴ係数を取得して、その絶対値和を計算する。

（Ｓ１２２）モザイク粒度設定部１１６は、Ｓ１２１で計算した絶対値和が所定値よりも大きいか否かを判定する。この所定値は、高周波成分を大幅にカットしないとモザイク効果が得られない状態を判定するための閾値である。

例えば、複数のサンプル画像を利用して上記絶対値和とモザイク効果との関係を確認して、粒度設定用テーブル１１５ａに基づく高周波成分のカットによりモザイク効果が得られる場合の絶対値和を決定し、その値が所定値に設定される。絶対値和が所定値よりも大きい場合、カット対象の周波数範囲の調整に係る一連の処理は終了する。一方、絶対値和が所定値よりも小さい場合、処理はＳ１２３に進む。

（Ｓ１２３）モザイク粒度設定部１１６は、カット対象の周波数範囲をＤＣ成分を除く全ての周波数範囲に変更する。かかる変更により、ＤＣ成分以外の周波数成分が符号化の過程で除去されるため、そのマクロブロックは一様な画像内容となり、モザイク範囲に含まれる画像内容は最大限に隠匿される。Ｓ１２３の処理を終えると、カット対象の周波数範囲の調整に係る一連の処理は終了する。

以上、第２実施形態の一変形例について説明した。なお、粒度設定用テーブル１１５ａに基づいてＤＣ成分以外の周波数範囲がカット対象の周波数範囲に設定される場合には図１６の調整処理が実行されないように、さらに変形することも可能である。また、高周波成分に対応するＤＣＴ係数の絶対値和をＤＣ成分のＤＣＴ係数で割った値を利用してＳ１２２の判定処理を実行するように変形してもよい。

以上説明したように、第２実施形態によれば、指定されたモザイク範囲のマクロブロックが通常行われる符号化処理の過程でモザイク化される。また、画像内容に応じてフレーム間予測を行うエンコーダを利用してモザイク処理が実現される。そのため、フレーム間予測を用いる高効率な符号化方式で符号化される動画像のモザイク化をより少ない処理負担で実現することが可能になる。

＜３．第３実施形態＞
次に、第３実施形態について説明する。第２実施形態の説明はモザイク範囲が端末装置１０３を利用して指定されることを前提としていた。しかし、モザイク範囲の指定は物体認識技術を利用して自動的に行うことも可能である。第３実施形態は、モザイク範囲の指定を自動的に行う方法を提案するものである。

［３−１．モザイク範囲の自動認識方法］
まず、図１７を参照しながら、第３実施形態に係るモザイク範囲の自動認識方法について説明する。図１７は、第３実施形態に係るモザイク範囲の自動認識方法の一例を示した図である。

図１７の例は、撮像装置１０１が物体認識技術を利用して被写体の一部領域を所定の対象物として検出し、その検出結果を利用してモザイク範囲を決定する方法を示している。例えば、撮像装置１０１は、撮像範囲（Ａ）の中から、所定の対象物（例えば、ナンバープレートや顔など）を含む範囲（以下、検出範囲）を検出する。そして、撮像装置１０１は、撮像範囲（Ａ）の中で検出範囲を特定する情報を算出する。

例えば、対象物を含む矩形範囲を検出範囲として検出する場合、撮像装置１０１は、撮像範囲（Ａ）の一頂点を原点とする検出範囲の頂点座標Ｐ₁及びＰ₂を算出する。なお、対象物の種類は端末装置１０３により指定される。

この例において、撮像装置１０１により算出された検出範囲の頂点座標Ｐ₁及びＰ₂は、動画像データと共にエンコーダ１０２に入力される。エンコーダ１０２は、（Ｂ）又は（Ｃ）に示すように頂点座標Ｐ₁及びＰ₂に基づいてモザイク範囲を設定する。検出範囲をモザイク範囲とするか（Ｂ）、或いは、検出範囲以外の範囲をモザイク範囲とするか（Ｃ）を指定するモザイク化方法の情報は端末装置１０３により指定される。モザイク範囲が決まると、第２実施形態の方法を適用して動画像のモザイク化が実現される。かかる方法により、対象物を指定するだけで自動的にモザイク処理が実行される。

なお、物体認識は、次の手順で実行される。まず、撮像画像から特徴量が抽出される。次いで、予め用意された特徴量のデータベースを参照し、抽出した特徴量と、対象物の特徴量とが照合される。このデータベースは、対象物毎に用意された多数のサンプル画像に基づいて特徴量を抽出してインデックスを付した情報を登録して作成される。次いで、抽出した特徴量に対応する対象物の特徴量が検出された場合に、その対象物が物体認識の結果として出力される。

第３実施形態には任意の物体認識技術を適用可能であるが、例えば、ＳＩＦＴ（Scale Invariant Feature Transform）法など様々な技術が適用できる。
以上、モザイク範囲の自動認識方法について説明した。

［３−２．符号化処理の流れ］
次に、図１８を参照しながら、第３実施形態に係る符号化処理の流れについて説明する。図１８は、第３実施形態に係る符号化処理の流れについて説明するための図である。

（Ｓ２０１）端末装置１０３から撮像装置１０１に対して物体認識の対象物が指定される。なお、対象物の種類が予め撮像装置１０１に設定されていてもよい。この場合、端末装置１０３から撮像装置１０１への対象物の指定は省略される。

（Ｓ２０２）端末装置１０３からエンコーダ１０２に対してモザイク化方法が指定される。例えば、撮像装置１０１により検出された検出範囲をモザイク範囲に設定するか、或いは、検出範囲以外の範囲をモザイク範囲に設定するかを指定するモザイク化方法がエンコーダ１０２に入力される。なお、複数の対象物が指定される場合などでは、対象物毎に検出範囲のモザイク化方法が指定されてもよい。

（Ｓ２０３、Ｓ２０４）撮像装置１０１は、指定された対象物に対する物体認識を実行する。そして、撮像装置１０１は、撮像範囲における検出範囲を特定する情報（位置情報）をエンコーダ１０２に入力する。例えば、撮像装置１０１は、撮像範囲の一頂点を原点とする検出範囲の頂点座標をエンコーダ１０２に入力する。

（Ｓ２０５、Ｓ２０６）エンコーダ１０２は、指定されたモザイク化方法に従って検出範囲又は検出範囲以外の範囲をモザイク化する。エンコーダ１０２が実行するモザイク処理は、上記の第２実施形態に係るモザイク処理と同じである。そして、エンコーダ１０２は、モザイク化した動画像を出力する。Ｓ２０６の処理を終えると、一連の符号化処理は終了する。

以上、符号化処理の流れについて説明した。
以上説明したように、第３実施形態によれば、モザイク範囲が自動認識されるため、モザイク範囲を指定する操作負担が低減される。さらに、各種のトラッキング技術と組み合わせることにより、指定した対象物が移動しても、その対象物を含む範囲を自動追跡してモザイク化することが可能になる。

なお、上記の例では撮像装置１０１が物体認識を行う方法を示したが、撮像装置１０１から入力された動画像データを利用してエンコーダ１０２が物体認識の処理を実行するように変形してもよいし、他の装置が物体認識の処理を実行するように変形してもよい。

以上、添付図面を参照しながら実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、様々な変形例や修正例に想到し得ることは明らかであり、こうした変形例や修正例についても当然に本発明の技術的範囲に属することは言うまでもない。

１０情報処理装置
１１符号化部
１２制御部
Ｒ範囲
ＦＬ１、ＦＬ２、ＦＬ３動画フレーム

Claims

動画像に含まれる複数の動画フレームを複数の画像領域に分け、前記画像領域の内容に応じて、フレーム間予測符号化を含む第１の符号化方法又はフレーム間予測符号化を含まない第２の符号化方法により当該画像領域を符号化する符号化部と、
前記動画フレーム内の指定された範囲に含まれる前記画像領域については当該画像領域の内容に依らず前記第２の符号化方法により符号化し、前記第２の符号化方法により符号化された、前記指定された範囲に含まれる前記画像領域から、設定した閾値よりも高い周波数成分を除去するように前記符号化部を制御する制御部と、
を有する
情報処理装置。
撮像画像の中で所定種類の被写体を含む範囲を認識可能な撮像装置から、前記被写体を含む範囲の位置情報を取得し、当該位置情報に基づいて前記被写体を含む範囲又は当該範囲を除外した範囲を前記動画フレーム内の指定された範囲に指定する指定部をさらに有する、
請求項１に記載の情報処理装置。
モザイクの粒度と前記閾値とを対応付ける情報を記憶する記憶部と、
前記記憶部に記憶された情報を参照し、指定された前記モザイクの粒度に応じて前記閾値を設定する設定部と、
をさらに有する、
請求項１又は２に記載の情報処理装置。
前記制御部は、前記符号化部が前記動画フレームを前記複数の画像領域に分ける際、前記指定された範囲に含まれる前記画像領域については所定の符号化単位サイズに固定する、
請求項１〜３のいずれか１項に記載の情報処理装置。
前記制御部は、前記符号化部が前記フレーム間予測符号化を行う際に、前記指定された範囲に含まれる前記画像領域を参照させない、
請求項１〜４のいずれか１項に記載の情報処理装置。
前記制御部は、前記指定された範囲に含まれる１つの前記画像領域について高周波成分の絶対値の総和が所定値よりも小さい場合には当該画像領域について直流成分以外の周波数成分を除去させる、
請求項１〜５のいずれか１項に記載の情報処理装置。
動画像に含まれる複数の動画フレームを複数の画像領域に分け、前記画像領域の内容に応じて、フレーム間予測符号化を含む第１の符号化方法又はフレーム間予測符号化を含まない第２の符号化方法により当該画像領域を符号化する際に、
前記動画フレーム内の指定された範囲に含まれる前記画像領域については当該画像領域の内容に依らず前記第２の符号化方法により符号化し、前記第２の符号化方法により符号化された、前記指定された範囲に含まれる前記画像領域から、設定した閾値よりも高い周波数成分を除去する
処理をコンピュータに実行させる、プログラム。
コンピュータが、
動画像に含まれる複数の動画フレームを複数の画像領域に分け、前記画像領域の内容に応じて、フレーム間予測符号化を含む第１の符号化方法又はフレーム間予測符号化を含まない第２の符号化方法により当該画像領域を符号化する際に、
前記動画フレーム内の指定された範囲に含まれる前記画像領域については当該画像領域の内容に依らず前記第２の符号化方法により符号化し、前記第２の符号化方法により符号化された、前記指定された範囲に含まれる前記画像領域から、設定した閾値よりも高い周波数成分を除去する
画像処理方法。