JP4211838B2 - 撮像装置および画像処理方法 - Google Patents

Description

本発明は、固体撮像素子を用いて画像を撮像する撮像装置、およびその撮像装置における画像処理方法に関し、とくに、出力画像のデータ量の削減と画質の改善とを両立させるようにした撮像装置および画像処理方法に関する。

カメラで撮像された画像を常時モニタしつつ、それらの画像を分析することによって異常の発生を検出する監視カメラシステムは、カメラの高性能化や撮像画像のＩＰ（Internet Protocol）伝送への対応に伴って、より大規模なシステムが低コストで構築可能となってきた。このような監視カメラシステムでは、複数個用意したカメラにより同時に多地点を監視することが可能になる。しかし、これによって、記録される画像情報が増え、また、ネットワークを介してシステムに流される画像情報も増えるので、画質を低下させることなく記録容量および伝送容量を削減することが課題となっていた。

撮像装置で撮像された画像の伝送容量については、監視カメラシステムのネットワークの帯域に合わせて、ある上限を超えない最大の容量で送るように制御することが望ましい。そのため、カメラ内部に監視対象領域での異常検知機能を持たせて、異常状態の検知に応じてコーデック部における画像圧縮レベルを増減することで、画像情報の伝送容量を制御するようにした監視装置が考えられている（たとえば、特許文献１参照）。

図９は、従来のＩＰ監視カメラを示す機能ブロック図である。
カメラレンズなどが設けられた光学ブロック１０に対する入射光は、ＣＣＤ（Charge Coupled Devices）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子１１によって電気信号に変換され、信号処理回路２０を通りディジタル画像データになる。なお、光学ブロック１０は信号処理回路２０と接続され、カメラレンズなどの動きが制御されるようになっている。

信号処理回路２０からの画像データは、そのデータ量を圧縮する画像圧縮回路３０と、異常状態検知、動体等の着目領域の検出を行うインテリジェンス（Intelligence）回路４０とにそれぞれ送られる。画像圧縮回路３０は、圧縮符号化した画像データをネットワークに配信し、インテリジェンス回路４０では、入力画像データから異常状態が検知されると、その結果をアラーム信号として外部に出力する。この場合に、画像圧縮回路３０で画像全体に対して均一な圧縮をかけるようにすると、ネットワークの帯域が小さい場合は画質の劣化が激しくなる。

そこで、撮像画像を信号処理回路２０で複数の画面に分割し、インテリジェンス回路４０により分割画像のそれぞれについて動き検出を行う。そして、画像圧縮回路３０では動き検出されなかった分割画像については圧縮率を高める。これによって、画像圧縮回路３０から配信されるビデオデータのデータ量を少なくし、動きが検出された分割画像については圧縮率を低くして高品質の画像データとし、全体のデータ量を少なくしながらも重要な画像部分については高品質の画像を保持しネットワークに伝送することができるようになる。
特開２０００−５０２３５号公報（段落番号〔００３９〕〜〔００４３〕、図１）

しかしながら、画像圧縮レベルを増減することで画像情報の容量を制御する手法では、必ずしもノイズ成分のみを除去できないため、圧縮レベルの高い領域におけるＳ／Ｎ（Signal／Noise）比が大きく悪化するという問題があった。また、１フレーム内の領域ごとに圧縮レベルを増減させるためには、複雑な処理が必要になるという問題もあった。

また、カメラからの画像情報の記録容量を削減するには、常時記録するのではなく、異常事態の発生を検知して、そのときの画像情報のみを配信する方法も考えられる。しかし、現状の異常検知機能では、充分に信頼できる検知結果が得られないという問題もあった。

本発明はこのような点に鑑みてなされたものであり、出力画像の劣化を抑制しつつ、その出力画像のデータ量を削減することが可能な撮像装置、およびこの撮像装置における画像処理方法を提供することを目的とする。

本発明では上記問題を解決するために、固体撮像素子を用いて画像を撮像する撮像装置において、撮像によって得られた画像データに対して、画素ごとに個別のノイズ除去強度を適用したノイズ除去処理を施すことが可能なノイズ除去処理部と、前記ノイズ除去処理が施された画像データを圧縮符号化する画像符号化処理部と、前記ノイズ除去処理が施された画像データを解析して、撮像画像内の着目領域を特定する領域指定情報を生成する画像解析部と、前記画像解析部からの前記領域指定情報を基に、撮像画像内の前記着目領域に対する前記ノイズ除去強度を、それ以外の領域に対する前記ノイズ除去強度より低くするように前記ノイズ除去処理部を制御するノイズ除去処理制御部とを有することを特徴とする撮像装置が提供される。

このような撮像装置において、ノイズ除去処理部は、ノイズ除去処理制御部からノイズ除去強度の指定を受けて、撮像によって得られた画像データに対してノイズ除去処理を施す。画像符号化処理部は、ノイズ除去処理が施された画像データを圧縮符号化する。画像解析部は、ノイズ除去処理が施された画像データを解析して、撮像画像内の着目領域を特定する領域指定情報を生成する。ノイズ除去処理制御部は、画像解析部からの領域指定情報を基に、撮像画像内の着目領域に対するノイズ除去強度を、それ以外の領域に対するノイズ除去強度より低くするようにノイズ除去処理部を制御する。ここで、ノイズ除去強度を高くされた画像領域では、画像の高周波のノイズ成分が平滑化されて、画像符号化処理部における圧縮効率が高められ、ノイズ除去強度を低くされた画像領域では、相対的に画質が向上される。

本発明によれば、撮像画像内の着目領域に対してはノイズ除去強度を低くして、その領域の画質を向上させ、着目領域以外の領域に対してはノイズ除去強度を高くして、圧縮符号化後のデータ量を小さくするように制御するので、出力される画像データのデータ量を削減しつつ、画像上の重要な領域の画質を向上させることができる。

以下、本発明の実施の形態を、監視カメラに適用した場合を例に図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、第１の実施の形態に係る撮像装置の構成を示すブロック図である。

図１に示す撮像装置において、光学ブロック１０はカメラレンズなどを備え、所定の監視領域からの入射光を撮像素子１１の受光面に集光する。撮像素子１１はＣＣＤまたはＣＭＯＳセンサなどによって構成され、光学ブロック１０からの入射光を電気信号に変換して、信号処理回路２０に出力する。信号処理回路２０は、撮像素子１１から出力されたアナログ画像信号をデジタルデータ化し、さらに後述するノイズ除去処理などを施す。また、インテリジェンス回路４０からの制御信号に応じて、１フレーム内の画素ごとにノイズ除去強度を変化させることが可能となっている。なお、光学ブロック１０は信号処理回路２０と接続され、カメラレンズの動きが制御されるようになっている。

信号処理回路２０からの画像データは、画像圧縮回路３０とインテリジェンス回路４０とに供給される。画像圧縮回路３０は、信号処理回路２０からのディジタル画像データに対して、たとえばＭＰＥＧ（Moving Picture Experts Group）方式などの所定の画像符号化方式に従って圧縮符号化処理を施す。インテリジェンス回路４０は、監視領域の画像から異常状態検知、動体等の着目領域の検出を行う画像解析手段であり、そこで画像データに異常状態が検知されると、その結果をアラーム信号として外部に出力する。また、検出された着目領域を特定するための領域指定情報を生成し、信号処理回路２０にフィードバックする。

なお、画像圧縮回路３０からの圧縮画像データは、たとえば、図示しない記録媒体に記録される。あるいは、ネットワークを通じて外部のサーバ機器に配信される。また、インテリジェンス回路４０からのアラーム信号は、たとえば、画像圧縮回路３０からの圧縮画像データに対して付加され、記録媒体にともに記録されるか、あるいは、ネットワークを通じてともに配信される。

この第１の実施の形態の撮像装置では、インテリジェンス回路４０から信号処理回路２０に動体等の着目領域に関する領域指定情報をフィードバックさせている点に特徴がある。すなわち、監視カメラの内部に設けたインテリジェンス回路４０では、監視画像によって監視カメラの監視領域に動体、不動体、あるいは人や車輌などが検知されたとき、その着目領域に関する領域指定情報が生成される。信号処理回路２０では、帰還された領域指定情報に基づいて着目領域を特定することによって、重要領域が非着目領域から区分される。したがって、信号処理回路２０において、ノイズ除去処理の強度（すなわち、ノイズ成分の削減レベル）を着目領域とそれ以外に分け、強弱をつけたノイズ除去処理が実行されることによって、画像圧縮回路３０では圧縮効率が上がって、撮像装置から記録媒体やネットワークに出力されるデータ容量を削減できる。

一般に、撮像画像上に、たとえば木の葉の揺れや波しぶきなど、着目領域以外におけるテクスチャーの細かい部分が映っていると、画像圧縮回路３０では圧縮効率が上がらない。しかし、このような高周波成分の多い画像データに対してノイズ除去処理を施すことで、高周波のノイズ成分が除去されて、画像圧縮回路３０での圧縮効率を高めることができる。ここで、ノイズ除去処理の強度を高めるほど圧縮効率を高め、圧縮画像データのデータ量を小さくできるものの、画質劣化も目立つようになる。そこで、インテリジェンス回路４０で正確に着目領域とそれ以外とを区別し、着目領域ではノイズ除去処理の強度を弱めて画質を向上させ、それ以外の領域では相対的にノイズ除去処理の強度を高めて、圧縮効率を向上させることで、出力される圧縮画像データのデータ量を増加させることなく、画像内の重要な領域における画質を高めることができる。

以上の第１の実施の形態の撮像装置によれば、監視カメラシステムの記録データ量を削減でき、その結果、記録媒体のコスト削減につながる。また、ネットワーク伝送における伝送容量の制御、削減ができ、その結果、より多くのカメラを使用した監視カメラシステムでも途切れることなく画像伝送が可能となる。

［第２の実施の形態］
図２は、第２の実施の形態に係る撮像装置の構成を示すブロック図である。
この第２の実施の形態に係る撮像装置については、図１の撮像装置と対応する回路ブロックに同一の符号を付けて詳細な説明を省略するが、この撮像装置が図９に示す従来装置と異なる箇所は、画像圧縮回路３０から信号処理回路２０に圧縮情報がフィードバックされている点にある。圧縮情報には、たとえば圧縮後の画像データのファイルサイズなどが用いられる。

こうした圧縮情報によって、圧縮画像データのデータ量が所定量を超える場合（たとえば、伝送容量がネットワークの帯域を超える場合）には、１フレーム分のノイズ除去処理のレベルを強めにかけ、高周波のノイズ成分を平滑化することで圧縮効率が上がり、伝送容量を制御できる。ここで、たとえば、画像圧縮回路３０のみで圧縮の強さを変えて伝送容量を制御しようとしても、本来の画像成分を含む高周波成分が削減されてしまうだけであるが、後述するεフィルタのようなノイズリダクション回路を用いることによって、高周波成分だけでなく低周波成分のノイズも除去され、なおかつ信号成分の中からノイズ成分を選択的に除去でき、画像データの画質が保たれる。

［第３の実施の形態］
図３および図４は、いずれも第３の実施の形態に係る撮像装置の構成を示すブロック図である。

第３の実施の形態の撮像装置は、上述した第１および第２の実施の形態の組み合わせによって構成されており、検知された重要領域の画質を低下させることなく記録容量や伝送容量を一層削減できるようにしたことを特徴としている。

なお、本実施の形態において、インテリジェンス回路４０から信号処理回路２０にフィードバックされる領域指定情報の出力と、画像圧縮回路３０から信号処理回路２０にフィードバックされる圧縮情報の出力とについて、個別にオン／オフの切り替えができるようにしてもよい。ここで、領域指定情報の出力がオフとされたときの動作は、図２に示した構成における動作に対応し、圧縮情報の出力がオフとされたときの動作は、図１に示した構成における動作に対応する。また、たとえば、インテリジェンス回路４０自体の動作をオフ状態にできるようにしてもよく、あるいは、インテリジェンス回路４０の搭載／非搭載を容易に選択できる仕様としてもよい。

図４では、信号処理回路２０、画像圧縮回路３０、およびインテリジェンス回路４０の具体的構成を示している。
信号処理回路２０は、適応制御回路２１、Ａ／Ｄ変換回路２２、およびノイズリダクション（ＮＲ）回路２３を具備している。

適応制御回路２１は、画像圧縮回路３０からフィードバックされる圧縮情報と、インテリジェンス回路４０からフィードバックされる領域指定情報に基づいて、ＮＲ回路２３におけるノイズ除去強度を制御する。ここで、適応制御回路２１は、圧縮情報に基づいて、１フレーム分の画像全体におけるノイズ除去強度を変化させ、領域指定情報に基づいて、画像中の画素ごとのノイズ除去強度を変化させる。すなわち、領域指定情報に基づく着目領域内の画素のノイズ除去強度を、それ以外の領域よりも低くして、着目領域の画質を高くするとともに、圧縮情報から判別される圧縮画像データのファイルサイズを一定サイズ以下とするように、画像全体におけるノイズ除去強度をオフセットさせる。あるいは、着目領域のノイズ除去強度を一定の低い値に維持し、それ以外の領域におけるノイズ除去強度のみを圧縮情報に応じてオフセットさせてもよい。

Ａ／Ｄ変換回路２２は、撮像素子１１（図３）からのアナログ画像信号をディジタル画像データに変換して、ＮＲ回路２３に出力する。
ＮＲ回路２３は、適応制御回路２１から画素ごとに指定されるノイズ除去強度で、Ａ／Ｄ変換回路２２からのディジタル画像データに対してノイズ除去処理を施す。このＮＲ回路２３は、２次元の画像データを非線形処理する空間フィルタリング機能を備えたディジタルフィルタ回路であり、適応制御回路２１からノイズ除去強度を指定する情報として閾値データθを受信し、その閾値データθに応じて、入力画像データに含まれるノイズ成分を除去する処理を行う。より具体的には、ＮＲ回路２３の非線形処理の一例として、後述するようなεフィルタを用いることによって、エッジ領域をアダプティブに検出しながら、ノイズ成分を選択的に除去することができる。

画像圧縮回路３０は、たとえばＭＰＥＧ２方式による画像データの圧縮符号化処理を行う。この画像圧縮回路３０において、加算回路３１およびセレクタ３２の一方の入力端子には、信号処理回路２０からの原画像データが入力され、加算回路３１では参照フレーム生成回路３９からの参照画像データとの差分が演算され、セレクタ３２の他方の入力端子に出力される。セレクタ３２の出力側には、ＤＣＴ（離散コサイン変換：Discrete Cosine Transform）回路３３、量子化回路３４、符号化回路３５、およびバッファ回路３６が直列に設けられ、バッファ回路３６から圧縮画像データが出力される。

バッファ回路３６には制御回路３７が接続され、制御回路３７は、バッファ回路３６にバッファされた圧縮画像データのファイルサイズを、圧縮情報として制御回路３８および信号処理回路２０の適応制御回路２１に出力する。ここで、適応制御回路２１では、制御回路３７からの圧縮情報に応じて、出力される圧縮画像データのファイルサイズが一定サイズ以下となるように、ＮＲ回路２３に対する１フレーム分のノイズ除去強度が制御される。制御回路３８は、制御回路３７からの圧縮情報などに基づいて、セレクタ３２、量子化回路３４および符号化回路３５の動作を制御する。なお、制御回路３７は、たとえば、撮像装置全体を統括的に制御するシステムコントローラなど、画像圧縮回路３０の外部に設けられた回路であってもよい。

参照フレーム生成回路３９は、逆量子化回路３９ａ、逆ＤＣＴ回路３９ｂ、加算回路３９ｃ、フレームメモリ３９ｄ、および動き補償回路３９ｅから構成される。ここで、動き補償回路３９ｅは、信号処理回路２０からの原画像データと加算回路３９ｃにより復元された前フレームの画像データとから動きベクトルを算出する。フレームメモリ３９ｄからは、動きベクトルに応じた参照画像データが加算回路３１および３９ｃに出力され、加算回路３９ｃは、フレームメモリ３９ｄからの参照画像データと、逆ＤＣＴ回路３９ｂにより復元された差分データとを加算して画像データを復元し、フレームメモリ３９ｄおよび動き補償回路３９ｅに供給する。

インテリジェンス回路４０は、監視カメラの監視領域に侵入した動体を検知する動体検知回路４１、検知した動体の中からたとえば木の葉の揺れや波しぶきなどの着目する必要のない物体を除去する非着目領域除去回路４２、監視カメラの監視領域に一定時間継続して放置された不動体を検知する不動体検知回路４３、および人や車輌などの特定の物体を検知する人・車検知回路４４を具備している。これらの動体検知回路４１、不動体検知回路４３、人・車検知回路４４では、それぞれの着目領域に関する領域指定情報が生成され、信号処理回路２０の適応制御回路２１に帰還されている。なお、非着目領域除去回路４２を撮像装置内に設けることにより、この処理を、ネットワークを通じて転送した圧縮データを基に外部サーバで行う従来の構成と比較して、検知性能を向上させることができる。

ここで、インテリジェンス回路４０によって生成される情報について説明する。ここでは例として、動体を検知した場合に生成される動体検知データについて説明する。
図５は、監視画像と動体検知データとの関係を示す図である。なお、監視画像とは、インテリジェンス回路４０に入力される画像データに基づく再生画像を指す。

いま、たとえば監視画像４０１内の動体として人物４０２と車両４０３とがそれぞれ映し出されているものとする。この場合に、監視画像４０１から検出された動体ごとに、動体検知データ４０４が生成される。動体検知データ４０４には、たとえば、各動体を識別するＩＤ、監視画像４０１上の各動体の位置を示す位置情報、動体速度、検知時刻、検知条件などが含まれる。動体の位置情報としては、たとえば、監視画像４０１上で動体が存在する矩形領域の位置情報（たとえば、左上などの代表位置の画像と、代表位置からの水平・垂直方向への画素数を示す大きさ）が生成され、このような位置情報が、着目領域を指定する領域指定情報４０５として適応制御回路２１に出力される。

なお、領域指定情報としては、動体や不動体などの検知物体が存在する領域を、矩形領域ではなく、それらの物体の外形に即した座標情報を出力してもよい。この場合、監視画像内の各画素を走査するための同期信号に同期させて、画素ごとに着目領域であるか否かを示す情報を順次出力してもよい。

また、監視画像内を複数の検知領域に分割し、動体や不動体などが含まれる検知領域の位置情報を領域指定情報として出力してもよい。この場合、検知領域のサイズを、画像圧縮回路３０内のＤＣＴ処理単位のサイズ（たとえば８画素×８画素）と一致させ、このサイズの領域ごとにＮＲ回路２３でのノイズ除去強度を制御することで、圧縮後の画像の画質を向上させることができる。

つぎに、ＮＲ回路２３におけるノイズ除去処理の例について具体的に説明する。
従来のノイズ除去処理の例としては、入力画像データを周波数領域に変換して高周波成分を除去する処理が一般的であったが、このような処理では、孤立点のようなノイズ成分とともに信号成分の高周波エッジも平滑化してしまうため、圧縮効率は高くなるものの画質の劣化が大きいという問題があった。これに対して、本実施の形態のＮＲ回路２３では、上述したように、非線形性を有する空間フィルタ（εフィルタ）を用いることで、ノイズ成分を選択的に除去し、圧縮率とともに画質をより向上させるようにする。

図６は、ノイズ成分の削減レベルを制御する閾値曲線を示す図である。
ＮＲ回路２３におけるノイズ除去強度を制御する場合に、注目画素データと複数の近傍画素データとの差分値を求め、この差分値が所定の閾値を超えなければ加算し、閾値を超えれば加算しないという演算処理を実行することで、エッジ領域をまたがる画素の画素値は注目画素データに加算しないで平均化処理を行う。その結果、エッジに対しアダプティブな平滑化が行われるだけでなく、ノイズ除去処理を強めにかけたい非着目領域で閾値を大きくとることで、重要でない領域の画素データについてはノイズ成分の平滑化効果を大きくし、圧縮率を高くできる。

しかし、図６の点線で示す矩形の閾値設定では、閾値をある画素差分値までは大きく、それ以上の画素差分値で小さくすることになるが、それでは２次元画像について断続的な処理が行われ、動画処理を行う際に、閾値付近の画像に点滅するようなノイズが発生したり、画像のエッジ部分が滑らかにならなくなったりする。そこで、図６の実線により表されるように、閾値曲線の変化部を折れ線（または曲線でもよい。）によって緩やかに変化させる。

つぎに、上記の閾値曲線を適用したεフィルタの回路構成について説明する。図７は、εフィルタの回路構成例を示すブロック図である。
図７において、図形２３０は撮像画像の１領域を示しており、注目画素ｏとその近傍画素ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈの３近傍エリアをイメージしたものである。ただし、これらの画素はすべて同色のカラーフィルタに対応する画素である。そして、これらの画素データのレベル値をそれぞれ符号ａ〜ｈ及びｏと同じ表記で代用すると、これらの近傍画素のレベル値ａ〜ｈが選択回路２３１に供給される。この選択回路２３１には、上述の閾値曲線に従った閾値データθの値と注目画素のレベル値ｏも入力されている。

この選択回路２３１では、まず近傍画素ａのレベル値ａと注目画素ｏのレベル値ｏとの差分値（｜ａ−ｏ｜）が計算され、この差分値と閾値データθが比較される。そして上述の差分値が閾値データθの値より小さければ、出力ポート２３２にレベル値ａが出力される。また、差分値が閾値データθの値より大きいときは、出力ポート２３２にはレベル値ａを出力せず、値“０”を出力する。さらに他の近傍画素ｂ〜ｈのレベル値ｂ〜ｈについても同様の計算が行われる。

したがって、この選択回路２３１には、近傍画素の数と同じたとえば８本の出力ポート２３２が設けられ、これらの出力ポート２３２にはそれぞれ上述の差分値が閾値データθの値より小さいときはそのレベル値ａ〜ｈが出力され、差分値が閾値データθの値より大きいときは値“０”が出力される。また、選択回路２３１には出力ポート２３３が設けられ、この出力ポート２３３には上述のレベル値ａ〜ｈが出力されている出力ポート２３２の数に値“１”を加算した値が出力される。

加算回路２３４には、選択回路２３１の出力ポート２３２からの出力と注目画素ｏのレベル値ｏが供給され、この加算回路２３４の出力ポート２３５に取り出される値が除算回路２３６に供給される。また上述の選択回路２３１の出力ポート２３３からの値が除算回路２３６に供給される。そしてこの除算回路２３６では、加算回路２３４の出力ポート２３５からの値が選択回路２３１の出力ポート２３３からの値で割り算され、その演算結果の値が出力ポート２３７から取り出される。

これによって、出力ポート２３７には、ある閾値データθを設定し、注目画素のレベルの±θの範囲内に該当近傍画素のレベルが入っていれば平均化要素に組み入れ、±θの範囲内に入っていないときは平均化要素とはせず、近傍画素の全てに対して平均化要素に組み入れるか入れないかを探索した上で、平均化要素として組み入れられた近傍画素だけを演算対象として、注目画素との平均化演算により求めた注目画素の新たな値が取り出される。

したがって、仮に探索エリア内に画像エッジが入ってきた場合でも、エッジを構成する画素のレベルが注目画素レベルの±θの範囲を超えていれば、平均化の演算対象とはならず、たとえばエッジを構成する画素が平均化に含められることによって画像が鈍ってしまうことがない。すなわち、このεフィルタによってＮＲ回路２３を構成すれば、閾値データθの値を適切に選んでおくことで画像エッジはそのままに、ノイズ成分だけを抑圧することができるものである。

つぎに、上記機能を備えた撮像装置をＩＰカメラ（ネットワークカメラともいう。）として実現するための構成について説明する。
図８は、ＩＰカメラの全体構成を示すブロック図である。

カメラモジュール５０は、ＩＰカメラの主要部品であるレンズ、ＣＣＤなどの固体撮像素子、信号処理回路などから構成されている。このカメラモジュール５０の撮像素子からは、所定の監視領域を撮影したアナログコンポジット（Analog Composite）映像信号がビデオモニタ端子５１に送出される。また、カメラモジュール５０内の信号処理回路５２は、撮像素子からの画像信号のＡ／Ｄ変換処理や、ディジタル変換後の画像データに対するノイズ除去処理などの各種信号処理を行う回路であって、図１〜図３に示した信号処理回路２０の機能に対応している。信号処理回路５２からの画像データは、たとえばＢＴ−６５６に準じたディジタル画像データとしてＤＳＰ（Digital Signal Processor）５３に出力されている。

ＤＳＰ５３の詳細構成については省略するが、このＤＳＰ５３は主要には２つの機能を有している。第１は、ディジタル画像データを所定の符号化方式のビデオデータに変換する機能であり、ＤＳＰ５３で符号化されたビデオデータはホストＣＰＵ（Central Processing Unit）５４との間でローカルバス５５を介して授受されている。またＤＳＰ５３は、その第２の機能として動体検知、不動体検知、人・車検知などの物体検知処理を同時に実行する機能を備えており、ホストＣＰＵ５４に対して、ＩＰカメラの監視領域にある動体、不動体などの物体についての検知結果を同時に渡すことができる。

ここで、図１〜図３に示した画像圧縮回路３０およびインテリジェンス回路４０の各機能はＤＳＰ５３によって実現され、この場合、圧縮情報および領域指定情報は、たとえばホストＣＰＵ５４を介してカメラモジュール５０内の信号処理回路５２に伝送される。

また、このＩＰカメラは、内蔵されたマイクからの音声の供給を受ける音声端子５６、および外部マイクが接続される外部音声端子５７を備え、これら２つの端子５６，５７は切換えスイッチ５８を介して音声入力回路５９と接続可能に構成される。音声入力回路５９では、アナログ音声信号を増幅し、ディジタル信号に変換して、ＤＳＰ５３に供給している。

また、ＤＳＰ５３には、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）６０およびＤ／Ａコンバータ６１が接続されている。このＳＤＲＡＭ６０は、ＤＳＰ５３のワーキング領域として使用されるものであり、Ｄ／Ａコンバータ６１はオーディオデータのモニタ端子６２と接続され、このモニタ端子６２から撮影された映像に対応する音声信号を出力するように構成されている。

ホストＣＰＵ５４は、カメラモジュール５０、ＳＤＲＡＭ６３、およびモータドライブ回路６４と接続されている。ＳＤＲＡＭ６３には、符号化されたビデオデータが随時蓄えられ、ホストＣＰＵ５４は、ＳＤＲＡＭ６３内のビデオデータを用いて、ＤＳＰ５３による動体・不動体の検出結果などに基づき、ストリームデータやデータファイルを生成して、通信制御部６６を介してネットワーク７０に送出させる。また、ネットワーク７０を通じて受信された制御信号に応じて、指定された符号化方式のデータをネットワークに送出することもできる。

さらにホストＣＰＵ５４は、モータドライブ回路６４によりパンモータＭ１とチルトモータＭ２を駆動できる。すなわち、このホストＣＰＵ５４からカメラモジュール５０をコントロールして、監視領域にある動体、不動体などについての検知結果に応じてカメラモジュール５０をコントロールし、あるいはそのレンズ機構のズーム倍率を調整できる。

ホストＣＰＵ５４には、ローカルバス５５を介してＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）からなるローカルメモリ６５と、通信制御部６６が接続されている。ローカルメモリ６５は、符号化されたビデオデータおよびオーディオデータを格納するＡＶバッファや、イベントマネージャなどのプログラムを格納するプログラムメモリを構成するものである。

通信制御部６６には、ＲＪ４５など、ネットワーク７０への接続端子６７が備えられており、ホストＣＰＵ５４によって生成されたストリームデータやデータファイルをクライアント監視端末にネットワーク配信可能に構成されている。

以上の構成のＩＰカメラによれば、監視領域を撮像した圧縮画像データを、動体、不動体などの物体検知結果とともに、ネットワーク７０を通じて外部のサーバに送信できる。サーバは、たとえば、ネットワーク７０に接続された上記構成の複数のＩＰカメラから、圧縮画像データなどを受信し、受信したデータを記録媒体に保存する、その再生画像をモニタに表示させる、物体検知結果などを基にＩＰカメラ上の動作を制御するなどの動作を行うことができる。また、物体検知処理が各ＩＰカメラにおいて実行されるので、サーバの処理負荷が軽減される。

そして、このような監視カメラシステムにおいて、各ＩＰカメラでの上述したノイズ除去処理の制御機能によって、出力される圧縮画像データを一定量以下に保つことで、ネットワーク７０内の伝送容量やサーバ上の記録媒体の容量を低減しつつ、監視画像の少なくとも必要な領域の画質を向上させることができる。

第１の実施の形態に係る撮像装置の構成を示すブロック図である。 第２の実施の形態に係る撮像装置の構成を示すブロック図である。 第３の実施の形態に係る撮像装置の構成を示すブロック図（その１）である。 第３の実施の形態に係る撮像装置の構成を示すブロック図（その２）である。 監視画像と動体検知データとの関係を示す図である。 ノイズ成分の削減レベルを制御する閾値曲線を示す図である。 εフィルタの回路構成例を示すブロック図である。 ＩＰカメラの全体構成を示すブロック図である。 従来のＩＰ監視カメラを示す機能ブロック図である。

符号の説明

１０……光学ブロック、１１……撮像素子、２０……信号処理回路、２１……適応制御回路、２２……Ａ／Ｄ変換回路、２３……ＮＲ回路、３０……画像圧縮回路、３１，３９ｃ……加算回路、３２……セレクタ、３３……ＤＣＴ回路、３４……量子化回路、３５……符号化回路、３６……バッファ回路、３７，３８……制御回路、３９……参照フレーム生成回路、３９ａ……逆量子化回路、３９ｂ……逆ＤＣＴ回路、３９ｄ……フレームメモリ、３９ｅ……動き補償回路、４０……インテリジェンス回路、４１……動体検知回路、４２……非着目領域除去回路、４３……不動体検知回路、４４……人・車検知回路

Claims (11)

1. 固体撮像素子を用いて画像を撮像する撮像装置において、
   撮像によって得られた画像データに対して、画素ごとに個別のノイズ除去強度を適用したノイズ除去処理を施すことが可能なノイズ除去処理部と、
   前記ノイズ除去処理が施された画像データを圧縮符号化する画像符号化処理部と、
   前記ノイズ除去処理が施された画像データを解析して、撮像画像内の着目領域を特定する領域指定情報を生成する画像解析部と、
   前記画像解析部からの前記領域指定情報を基に、撮像画像内の前記着目領域に対する前記ノイズ除去強度を、それ以外の領域に対する前記ノイズ除去強度より低くするように前記ノイズ除去処理部を制御するノイズ除去処理制御部と、
   を有することを特徴とする撮像装置。
2. 前記画像解析部は、撮像画像内に特定の性質を持つ物体を検知した場合に、前記物体の位置を特定する情報を前記領域指定情報として出力することを特徴とする請求項１記載の撮像装置。
3. 前記画像解析部は、前記物体として動体を検知することを特徴とする請求項２記載の撮像装置。
4. 前記画像解析部は、前記物体として不動体を検知することを特徴とする請求項２記載の撮像装置。
5. 前記ノイズ除去処理制御部は、さらに、前記画像符号化処理部によって生成される圧縮画像データのデータ量が一定量以下となるように、前記ノイズ除去強度を制御することを特徴とする請求項１記載の撮像装置。
6. 前記ノイズ除去処理制御部は、前記圧縮画像データのデータ量に応じて、撮像画像全体に対する前記ノイズ除去強度をオフセットさせることを特徴とする請求項５記載の撮像装置。
7. 前記ノイズ除去処理制御部は、前記圧縮画像データのデータ量に応じて、前記着目領域以外の領域に対する前記ノイズ除去強度を変化させることを特徴とする請求項５記載の撮像装置。
8. 前記ノイズ除去処理部は、非線形性を有する空間フィルタを備えたことを特徴とする請求項１記載の撮像装置。
9. 前記ノイズ除去処理部は、前記空間フィルタとしてεフィルタを備えたことを特徴とする請求項８記載の撮像装置。
10. 前記画像符号化処理部によって生成された圧縮画像データに、前記画像解析部による画像解析結果に基づく情報を付加して、ネットワークを介して外部サーバに送信する通信制御部をさらに有することを特徴とする請求項１記載の撮像装置。
11. 固体撮像素子を用いた撮像装置における画像処理方法であって、
    ノイズ除去処理部が、撮像によって得られた画像データに対して、画素ごとに個別のノイズ除去強度を適用したノイズ除去処理を施し、
    画像符号化処理部が、前記ノイズ除去処理が施された画像データを圧縮符号化し、
    画像解析部が、前記ノイズ除去処理が施された画像データを解析して、撮像画像内の着目領域を特定する領域指定情報を生成し、
    ノイズ除去処理制御部が、前記画像解析部からの前記領域指定情報を基に、撮像画像内の前記着目領域に対する前記ノイズ除去強度を、それ以外の領域に対する前記ノイズ除去強度より低くするように前記ノイズ除去処理部を制御する、
    ことを特徴とする画像処理方法。

Images