JP5002131B2 - 監視用撮像装置及びその制御方法 - Google Patents

Description

本発明は監視用撮像装置及びその制御方法に関し、特に、撮像手段によって撮像された画像データを用いて、人の行動を監視・支援するために用いて好適な技術に関する。

個人住宅やマンション、店舗、事務所、テナントビルなどのセキュリティ確保手段として、監視カメラによるシステムが一般に知られている。また、商品と購入者の情報を広く収集する目的から、店舗内において、購入者の外見と行動を監視・記録するセキュリティシステムが多く提案されている。

これらのセキュリティシステムにおいては、一般的に、監視カメラなど撮像手段により取得した映像を、施設内または遠隔地において、常時もしくは設定されたタイミングで、人が監視するか、一定期間記録保存しておく方法がとられている。

ところで、上述したようなセキュリティシステムにおいて、第三者に対するプライバシー保護等の観点から、取得した監視映像に画像処理、例えば画像の一部を抽象化するなどの加工処理を行って、個人情報特定を抑止する方法や、所望の情報のみを表示して検索の手間を省くための方法が組み入れられている場合がある。

ここで、上記画像処理を行う際に、第三者に対するプライバシー保護等を実現しながらも、システム本来の目的である、異常発生時の重要な情報や、購入した商品、必要最低限の購入者情報などを取得するためには、画像処理を行うか行わないかの判断を下す実行タイミング決定と、画像処理を行う対象領域の限定が必要である。

また、映像に対して、どのような画像処理を行うかという問題は、非常に重要であるが、画像の一部を切り取ってしまう、モザイクをかける、平滑化でぼかす、などの一意的な処理を行うのが一般的である。

上記のような実行タイミング決定と対象領域限定を実現する方法の一例として、特許文献１に記載されている方法がある。これは、侵入感知センサ、火災センサなど、各種センサ、または画像内異常検知部の検知情報をもとにした処理実行条件テーブルを予め作成し、各種センサ、検出部の出力と条件テーブルを参照することにより、画像処理実行タイミングを決定する。また、対象領域限定は、ユーザが予め直接指定した領域を、マスク領域テーブルとして保存、参照することにより、画像処理を行う対象領域を限定している。

上記特許文献１に記載の方法によれば、例えば以下のようなことが実現可能である。すなわち、室内に設置された監視カメラ映像において、通常時は画像処理を実行し、ユーザが指定したドア付近の領域を抽象化して、誰が出入りをしたか特定できないようにしてプライバシー保護を実現するようにしている。

一方、火災センサが異常を検知した場合には、上記対象領域の抽象化処理を抑止して、ドア付近の映像も鮮明なまま送信または記録し、セキュリティシステムとしての機能を実現するようにしている。

特開２００３−０６１０７６号公報 特開２００２−８０３２号公報 特開２００２−３５８５００号公報 特開２００３−２４８８２４号公報 特開２０００−２９３６８５号公報 特開２００２−２５８６８２号公報

しかしながら、上記従来の方法では、画像処理を実行するか、しないかの決定は、各所に設置された各種センサ群の検出結果をもとに行われるため、システムの構成として大掛かりになってしまう問題があった。

また、画像処理を行う画像内領域限定の方法については、ユーザもしくは設置者が予め画像処理を行う領域を指定する必要があり、操作が煩雑になってしまうという問題があった。

さらに、映像に対して実行される画像処理が一般的なモザイク処理や平滑化など一意的なものであるので、例えば侵入センサが作動した場合でも、上記画像処理を抑止するため、侵入者以外の出入りも鮮明な映像で記録・送信されてしまい、結果としてプライバシー保護が実現されない、という問題があった。

上記の例に限らず、監視画像に一意的な画像処理を施すことは、仮に処理対象領域を最適に設定できたとしても、少なからず問題を残している。例えば、個人情報は知られたくないが、性別は知らせてもよい場合と、性別も知らせてはならず、存在のみを知らせる必要がある場合という、２つの場合が存在し、それらが常時切り替わるような事態を想定すると、一意的な抽象化では同時にこれを満たせないのは明らかである。

仮に２つの場合それぞれに対応したモードを用意しても、後に第３の場合として新たな要求が発生すると、これに即時対応することが難しい。また、モードを切り替えるタイミングや指示の方法・制御をどのように実現するのかという問題も存在する。

本発明は上述の問題点にかんがみ、大掛かりな装置を使用することなく、ユーザ要求や利用シーンに最適に応じた抽象化処理を行うことができるようにすることを目的としている。

本発明の監視用撮像装置は、所定の領域の映像を取得する画像データ取得手段と、上記画像データ取得手段により取得された映像から、人物を抽出する人物・物体抽出手段と、上記人物・物体抽出手段により抽出した人物の身振り・行為を検出する身振り・行為検出手段と、上記身振り・行為検出手段により検出した人物の身振り・行為の持つ重要度を決定する身振り・行為重要度決定手段と、上記身振り・行為重要度決定手段により決定した重要度から映像内の処理対象範囲を決定する処理対象範囲決定手段と、上記身振り・行為重要度決定手段により決定した重要度から上記処理対象範囲決定手段により決定された映像内の処理対象範囲を抽象化するための抽象度を決定する抽象度決定手段と、上記抽象度決定手段により決定された抽象度で上記映像内の処理対象範囲を抽象化する画像処理を行う画像処理手段とを有することを特徴とする。

本発明の監視用撮像装置の制御方法は、所定の領域の映像を取得する画像データ取得工程と、上記画像データ取得工程により取得された映像から、人物を抽出する人物・物体抽出工程と、上記人物・物体抽出工程により抽出した人物の身振り・行為を検出する身振り・行為検出工程と、上記身振り・行為検出工程により検出した人物の身振り・行為の持つ重要度を決定する身振り・行為重要度決定工程と、上記身振り・行為重要度決定工程により決定した重要度から映像内の処理対象範囲を決定する処理対象範囲決定工程と、上記身振り・行為重要度決定工程により決定した重要度から上記処理対象範囲決定工程により決定された映像内の処理対象範囲を抽象化するための抽象度を決定する抽象度決定工程と、上記抽象度決定工程により算出された抽象度で上記映像内の処理対象範囲を抽象化する画像処理を行う画像処理工程とを有することを特徴とする。

本発明のコンピュータプログラムは、所定の領域の映像を取得する画像データ取得工程と、上記画像データ取得工程により取得された映像から、人物を抽出する人物・物体抽出工程と、上記人物・物体抽出工程により抽出した人物の身振り・行為を検出する身振り・行為検出工程と、上記身振り・行為検出工程により検出した人物の身振り・行為の持つ重要度を決定する身振り・行為重要度決定工程と、上記身振り・行為重要度決定工程により決定した重要度から映像内の処理対象範囲を決定する処理対象範囲決定工程と、上記身振り・行為重要度決定工程により決定した重要度から上記処理対象範囲決定工程により決定された映像内の処理対象範囲を抽象化するための抽象度を決定する抽象度決定工程と、上記抽象度決定工程により決定された抽象度で上記映像内の処理対象範囲を抽象化する画像処理を行う画像処理工程とをコンピュータに実行させることを特徴とする。

本発明の記録媒体は、上記に記載のコンピュータプログラムを記録したことを特徴とする。

本発明の監視システムは、上記に記載の監視用撮像装置を用いて構成したことを特徴とする。

本発明によれば、施設内または室内に設置されて映像を取得し、上記人物の身振り・行為を検出して重要度を決定し、決定結果から映像内処理対象範囲を決定するとともに抽象度を決定し、上記決定した抽象度から処理対象範囲を画像処理し、処理結果を外部のテレビモニタに出力する等の所定の処理を行うようにしたので、大掛かりな装置を使用することなく、ユーザ要求や利用シーンに最適に応じた抽象化処理を行うようにすることができる。
また、本発明の他の特徴によれば、上記決定した重要度から映像内の異常を検出した時に上記画像処理した映像を記録保存、または送信するようにしたので、ユーザもしくは監視用撮像装置の設置者が画像処理を行う範囲を予め指定する必要がなく、煩雑な操作を不要にすることができる。
また、本発明のその他の特徴によれば、上記決定した重要度に応じて、過去にさかのぼる時間を算出した時間分の映像データを専用メモリから読み出して、記録保存または送信するようにしたので、必要が生じた期間について画像処理したり、必要な映像のみを記録保存したり、装置外部に送信したりすることができる。
また、本発明のその他の特徴とするところは、上記決定した抽象度に応じてモザイク処理や平滑化などを行うようにしたので、侵入者以外の出入り者が鮮明な映像で記録・送信されてしまう問題を解決することができ、プライバシー保護が実現することができる。
また、本発明のその他の特徴とするところは、上記画像処理された映像に文字情報またはグラフ情報を付加するようにしたので、抽象度の高い映像でも比較的簡単に映像内の状況を見分けることを可能とするとともに、映像を送ることのできない遠隔地に対しても、数値や文字情報を送信することができ、監視装置としての機能を十分に発揮することができる。

（第ｌの実施の形態）
以下に、本発明の詳細を図示した実施の形態に基づき説明する。
図２は、本発明の第１の実施の形態における、監視用撮像装置の基本的なハードウェア構成を表した模式図である。まず、この図２を用いて、監視用撮像装置全体の概略を説明する。

図２中Ｄ００１は、監視映像を取得するための撮像部である。この撮像部Ｄ００１は典型的には監視用カメラであり、光学系とＣＣＤやＣＭＯＳなどの撮像素子とを備え、デジタル映像を出力する。なお、この撮像部に駆動部としてパン・チルト・ズーム機構が組み合わされていてもよい。また、撮像部及び駆動部のユニットが複数存在してもよい。

撮像部Ｄ００１から映像を取得する部分が映像取得部Ｄ００２である。
図２中、Ｄ００３は、取得した映像を処理するための画像処理ボードである。この画像処理ボードＤ００３は主として以下に示す２つの構成単位から成り立っている。

すなわち、第１の構成単位は、取得した映像を一時的に蓄える映像フレームバッファＰ００１であり、第２の構成単位は、内蔵された書き換え可能なメモリ上に格納されたプログラムに従って、一連の処理を実行するプロセッサＰ００２である。なお、この画像処理ボードＤ００３は、撮像用カメラと外部インターフェースを通じて接続される形態ばかりでなく、撮像用カメラの内部に組み込まれて使用される形態も考えられる。

画像処理ボードＤ００３で処理された映像は、所定の条件のもと、例えばユーザが記録保存を予め望んだ場合や、プロセッサＰ００２からの記録・通信命令があった場合等に、記録・送信部Ｄ００４に渡され、記録用ストレージデバイスＤ００５に記録されたり、または通信用インターフェースＤ００６に転送されたりする。

記録用ストレージデバイスＤ００５は、ハードディスクドライブなど磁気記録メディアでもよいし、ＤＶＤ−ＲＯＭなどの光学記録メディアであってもよい。また、通信用インターフェースＤ００６は、警備保障センターなど遠隔地に専用回線を通じて接続してもよいし、インターネットに接続してもよい。以上が、第１の実施の形態の監視用撮像装置全体の概略構成である。

図３は、図２におけるプロセッサＰ００２の詳細な機能構成例を説明するブロック図である。
図３において、Ｄ１０１は映像フレームバッファＰ００１へのインターフェース部である。Ｄ１０２は実行するプログラムを格納するためのメモリである。なお、このメモリＤ１０２部分に、外部から書き込み可能なインターフェースを実装した形態をとることも可能で、そのような形態をとった場合、例えばインターネットや記録メディアを通じて、プログラムの処理内容を変更することが可能となる。

Ｄ１０３は映像シーン解析部であり、映像フレームバッファ用インターフェースＤ１０１を介して入力された映像をシーン解析する部分である。ここでいうシーン解析の意味については、後で詳しく述べることにするが、簡単に言うと、映像データからその現場の状況を理解し、その後の処理を決定することである。

このシーン解析結果に従って画像処理部Ｄ１０４の処理内容が決定される。通常は、映像フレームバッファＰ００１より得られた数フレームに対して所定の画像処理をする。そして、画像処理された映像データが、記録・送信部インタフェースＤ１０５を通じて記録保存されたり、または装置外部に送信されたりする。

図１は、本発明の第１の実施の形態において、監視用撮像装置に内蔵されているプログラムの処理の手順を説明するフローチャートである。
図１に示すように、処理が開始されると、まず画像データを取得し（ステップＳ００１）、画像データから人物ないし特定の物体を画像中より取得する（ステップＳ００２）。ステップＳ００２で行われるような、画像から人物や物体を抽出する処理は、公知の技術を用いて実現する。たとえば、ニューラルネットを利用した顔検出（特許文献２、特許文献３）、テンプレートマッチングを用いた特定形状物体検出（特許文献４）といった技術を組み入れることにより実現可能である。

そして、検出した人物に対して身振り・行為検出を行う（ステップＳ００３）。この処理には公知のジェスチャー認識（特許文献５）、表情認識技術（特許文献６）などを利用することができる。

さらに、これら検出した身振り・行為からその場の状況、行動の重要度を算出する（ステップＳ００４）。この重要度算出処理は、予め作成しておいた得点テーブルを参照することにより実現することができる。典型的な行動と人物の周りの物体などを関連付けた対応得点表を予め作成しておき、状況・行動の重要度を算出する。

一例として、図８に示すようなテーブルを用いて説明する。
まず、第１のフィールドは、本実施の形態の監視用撮像装置が設置されている場所、もしくは監視対象の場所を表している。第２のフィールドは検出された人物の情報を表す。第３のフィールドは人物の行動を表す。第４のフィールドは行動の対象人物・物体を表す。これらフィールド値の組合せをもとに算出された値が第５のフィールドである。

このテーブルは予め作成されていることが前提であるが、ユーザによって変更することも可能である。例えば、設置場所のフィールドに新たな場所を追加することや、特定の場所に対して、合計得点に対する重みを大きくとるといった操作が考えられる。

このように行動・状況得点テーブルを参照することにより、ステップＳ００４において算出された重要度をもとに、画像処理する範囲を決定する（ステップＳ００５）。この処理は、重要度が高いときは、画像処理を行う範囲を狭め、重要度が低いときは範囲を広げる、といった判定をする。具体的には、検出された人物の顔位置を中心として、算出された重要度に比例させた値を半径とする円形領域を処理対象とする等が考えられる。また、同じく算出された重要度から、所定範囲に対して行う抽象化処理の抽象度を決定する（ステップＳ００６）。

ここまでのステップＳ００１〜ステップＳ００６までの一連の処理に、個人認識処理を組み込むことにより、個人識別結果を、上記判定処理の基準の１つとして採用することも可能である。例えば、特定の人物が検出されたときは、映像中にどのようなシーンが現れても一切加工処理を行わないことや、特定の人物と特定の物体が一緒に存在するシーンが現れたら、抽象度の度合いを上げ、対象領域を拡大する、といったより木目細やかな制御を行うことが可能になる。

次に、上述した処理を行うことにより決定された映像の所定範囲、抽象化処理の程度をもとに映像に対して画像処理を実行する（ステップＳ００７）。ここでの処理の例として、以下のようなものが考えられる。第１に、行う画像処理が、モザイク処理であった場合、図９（Ａ）の画像の輝度信号を領域内の輝度値の平均値で置き換える際に、領域Ｆ００１の大きさを前段の処理で求められた重要度の値に比例させる。重要度によって変化した場合が図９（Ｂ）と図９（Ｃ）である。

本実施の形態においては、図１２に示すように、画像処理部Ｄ１０４には、モザイク処理を行うモザイク処理画像処理部Ｄ１０４１の他に、細線化処理部画像処理部Ｄ１０４２、二値化処理部画像処理部Ｄ１０４３、平滑化処理部画像処理部Ｄ１０４４等を設けている。

細線化処理部画像処理部Ｄ１０４２で行われる画像処理は細線化の程度に基づいて行われ、二値化処理部画像処理部Ｄ１０４３で行われる２値化画像処理は閾値に基づいて行われ、平滑化処理部画像処理部Ｄ１０４４で行われる平滑化画像処理は近傍画素数に基づいて行われる。

このような画像処理を行うことにより、侵入者以外の出入り者が鮮明な映像で記録・送信されてしまう問題を解決することができ、プライバシー保護を実現することができる。

その後、所定の処理を行う（ステップＳ００８）。所定の処理の例としては、外部のテレビモニタに出力する、インターネットを介して、特定の人物（家族など）の携帯電話に配信するなどのほかに、ユーザの指定時など所定条件下で以下のような処理を行うことである。

例えば、ステップＳ００５において、映像シーン解析された結果を、数値または文字列、もしくはグラフ化するなどした情報を、出力映像に付加することである。これにより、抽象度の高い映像でも比較的簡単に映像内の状況を見分けることが可能となる。また、映像を送ることのできない遠隔地に対しても、数値や文字情報を送信することで、監視装置としての機能を十分に発揮することが可能になる。

以上が、本実施の形態の監視用撮像装置の内蔵プログラムが行う一連の処理のフローである。また、上記説明において、ステップＳ００２からステップＳ００６までの処理が、図３における映像シーン解析部Ｄ１０３で行われる具体的な処理内容となる。

図４は、上記図１で説明した処理のフローを一部変形させたものである。具体的には、身振り・行為の検出をした後に、それが異常であるか判定する処理を加えている（ステップＳ１０４）。

この処理が加わることにより、映像内の状態が異常であるとされた場合にのみ、下記一連の処理（ステップＳ１０５〜ステップＳ１０８）を行い、最終的な所定処理を行う（ステップＳ１０９）が、ここでの所定処理とは、映像の記録保存または外部への送信を意味する。すなわち、異常発生時にだけ映像を記録・送信する機能をもつ監視用撮像装置を構成することができる。ただし、算出された状況・行動の重要度によって抽象化処理の程度がコントロールされたのちに記録・送信される。

（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。
図６は、第２の実施の形態における、監視用撮像装置の基本的なハードウェア構成を表した模式図である。以下の説明では簡単のために、第１の実施の形態と同様の部分については説明を省略することにする。

第１の実施の形態と異なるのは、図６中の画像処理ボード部Ｄ２０３の構成である。
この画像処理ボード部Ｄ２０３は、主として以下に示す４つの構成単位を有している。すなわち、第１の構成単位は、取得した映像を一時的に蓄える映像フレームバッファＰ２０１、第２の構成単位は、内蔵されたプログラムに従って一連の処理を実行するプロセッサＰ２０２、第３の構成単位は、取得した映像を保持しているメモリに排他的にアクセスするための映像メモリコントローラＰ２０３、第４の構成単位は、取得した映像を一定時間保持する排他的映像メモリデバイスＰ２０４である。

映像フレームバッファＰ２０１の映像データは、排他的映像メモリデバイスＰ２０４に一方向的な経路を通して、常時取り込まれ、メモリ内で映像を一定時間記録保存されたのち破棄される。この排他的映像メモリデバイスＰ２０４には、映像データを暗号化するための暗号処理チップが実装されていることが望ましい。

これによって、たとえ第三者に外部からメモリ内に強制的にアクセスされた場合にも、映像内の個人のプライバシーを守ることが可能になる。さらに、映像メモリコントローラＰ２０３は、プロセッサＰ２０２から特定の命令を受けた場合にのみ、排他的映像メモリデバイスＰ２０４から映像を読み込み可能なようにすることが望ましい。個人のプライバシーが保護されていない状態での映像データに不必要にアクセスすることを禁じるためである。

このような排他的映像メモリデバイスを取り入れた構成をとることによって、監視映像を安全に保存しておくことが可能になり、後の画像加工に有効に活用することができる。なお、第１の実施の形態と同様、この画像処理ボードは、撮像用カメラと外部インターフェースを通じて接続される形態ばかりでなく、撮像用カメラの内部に組み込まれて使用される形態も考えられる。以上が第２の実施の形態の監視用撮像装置全体の概略である。

図７は、図６におけるプロセッサＰ２０２の詳細を描き表したブロック図である。
図７において、Ｄ３０１は映像フレームバッファＰ２０１へのインターフェース部である。

Ｄ３０２は実行するプログラムを格納するためのメモリである。なお、このメモリ部分に、第１の実施の形態と同様に、外部から書き込み可能なインターフェースを実装した形態をとることも可能で、そのような形態をとった場合、例えばインターネットや記録メディアを通じて、プログラムの処理内容を変更することが可能となる。

Ｄ３０３は映像フレームバッファ用インターフェース部Ｄ３０１から入力された映像をシーン解析する部分である。このシーン解析結果に従って、画像処理部Ｄ３０４の処理内容が決定される。通常は、映像フレームバッファより得られた数フレームのみに対して所定の画像処理をするが、シーン解析部Ｄ３０３の結果または所定の条件によっては、排他的映像メモリコントローラ用インターフェースＤ３０５を通じて、所定時間まで遡った映像データを取得し、それらに対して所定の画像処理を行う場合もある。

そして、画像処理された映像データが、記録・送信部インタフェースＤ３０６を通じて記録保存されたり、または装置外部に送信されたりする。これにより、必要が生じた期間について画像処理したり、必要な映像のみを記録保存したり、装置外部に送信したりすることができる。

図５は、第２の実施の形態における、監視用撮像装置の内蔵プログラムの処理内容を表したフローチャートである。以下の説明では、図４で説明したフローと同じ処理については同一の符合を付して説明を省略し、異なる点について説明する。

最初のステップ（ステップＳ２０１）で映像データを取得して専用メモリに記録保持する。具体的には、図６の排他的映像メモリデバイスＰ２０４に映像データを転送する。その後、映像シーンの状況・行為が異常と判定された場合に（ステップＳ１０４）、異常が発生するどれくらい前にさかのぼって、映像を記録・送信するか算出し、所定時間分の映像データを専用メモリから読み出す処理（ステップＳ２０２）を行う。以下、読み出された所定時間分の映像データに対して、図４のステップＳ１０６〜ステップＳ１０９と同様の処理手順を踏む。

図１０は、図１の処理手順を実行するためにプログラム構成される機能を説明する構成図であり、画像データ取得部Ｍ００１は、ステップＳ００１の画像データ取得処理を行う。人物・物体抽出部Ｍ００２は、ステップＳ００２の人物・物体抽出処理を行う。身振り・行為検出および判定部Ｍ００３は、ステップＳ００３の身振り・行為検出および判定処理を行う。

行為・状況の重要度算出部Ｍ００４は、ステップＳ００４の行為・状況の重要度算出処理を行う。映像内処理対象領域決定部Ｍ００５は、ステップＳ００５の映像内処理対象領域決定処理を行う。抽象度算出部Ｍ００６は、ステップＳ００６の抽象度算出処理を行う。画像処理部Ｍ００７は、ステップＳ００７の画像処理を行う。所定処理部Ｍ００８は、ステップＳ００８の所定処理を行う。

図１１は、図１０の機能構成と異なる機能構成を有する監視用撮像装置の内容を表す構成図である。なお、図１１において、図１０と同じ機能構成については同一の符号を付している。
Ｍ２０１は画像データ取得部であり、映像データを取得して専用メモリに記録保持する機能を有している。人物・物体抽出部Ｍ００２〜行為・状況の重要度算出部Ｍ００４は、図１０で説明した各部と同様な機能を有している。

Ｍ２０２は処理対象となる映像部分算出部であり、図５に示したフローのステップＳ２０２の処理を行う機能である。映像内処理対象領域決定部Ｍ００５〜所定処理部Ｍ００８は、図１０で同じ符号を付して説明した各部と同様な機能を行う機能構成部である。

（本発明に係る他の実施の形態）
上述した本発明の実施の形態における監視用撮像装置を構成する各手段、並びに監視用撮像装置の制御方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び上記プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、上述した実施の形態の機能を実現するソフトウェアのプログラム（実施の形態では、図１、図４、図５に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが上記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、上記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリター（interpreter）により実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、上記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、上述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても上述した実施の形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても上述した実施の形態の機能が実現される。

本発明の第１の実施の形態を示し、監視用撮像装置におけるプライバシー保護処理部分の基本的なフローチャートである。 本発明の第１の実施の形態におけるハードウェアの基本的な構成を表す模式図である。 本発明の第１の実施の形態における画像処理ハードウェアの基本的な機能構成例を表すブロック図である。 本発明の第１の実施の形態を示し、監視用撮像装置におけるプライバシー保護処理部分の変形例を説明するフローチャートである。 本発明の第２の実施の形態を示し、図４で説明した処理手順の変形例を説明するフローチャートである。 本発明の第２の実施の形態を示し、ハードウェアの基本的な構成を表す模式図である。 本発明の第２の実施の形態を示し、画像処理ハードウェアの基本的な構成を表す模式図である。 本発明の第１の実施の形態を示し、重要度算出処理を行う際に使用する得点テーブルの一例を示す図である。 本発明の第１の実施の形態を示し、画像処理部で行うモザイク処理の一例を示す図である。 第１の実施の形態を示し、図１の処理手順を実行する機能構成を説明する図である。 第２の実施の形態を示し、図５の処理手順を実行する機能構成を説明する図である。 第１の実施の形態の画像処理部が有する処理機能の一例を示すブロック図である。

符号の説明

Ｍ００１ 画像データ取得部
Ｍ００２ 人物・物体抽出部
Ｍ００３ 身振り・行為検出および判定部
Ｍ００４ 行為・状況の重要度算出部
Ｍ００５ 映像内処理対象領域決定部
Ｍ００６ 抽象度算出部
Ｍ００７ 画像処理部
Ｍ００８ 所定処理部

Claims (17)

1. 所定の領域の映像を取得する画像データ取得手段と、
   上記画像データ取得手段により取得された映像から、人物を抽出する人物・物体抽出手段と、
   上記人物・物体抽出手段により抽出した人物の身振り・行為を検出する身振り・行為検出手段と、
   上記身振り・行為検出手段により検出した人物の身振り・行為の持つ重要度を決定する身振り・行為重要度決定手段と、
   上記身振り・行為重要度決定手段により決定した重要度から映像内の処理対象範囲を決定する処理対象範囲決定手段と、
   上記身振り・行為重要度決定手段により決定した重要度から上記処理対象範囲決定手段により決定された映像内の処理対象範囲を抽象化するための抽象度を決定する抽象度決定手段と、
   上記抽象度決定手段により決定された抽象度で上記映像内の処理対象範囲を抽象化する画像処理を行う画像処理手段とを有することを特徴とする監視用撮像装置。
2. 上記身振り・行為重要度決定手段により決定した重要度から映像内の異常を検出する異常検出手段と、
   上記異常検出手段により異常を検出した時に上記画像処理した映像を記録保存、または送信する所定処理手段を有することを特徴とする請求項１に記載の監視用撮像装置。
3. 上記身振り・行為重要度決定手段により決定した重要度に応じて、過去にさかのぼる時間を算出し、上記算出した時間分の映像データを専用メモリから読み出して、記録保存または送信する処理対象映像算出手段を有することを特徴とする請求項１または２に記載の監視用撮像装置。
4. 上記画像処理手段はモザイク処理を行う手段を有し、上記抽象度決定手段により決定された抽象度に応じてモザイク処理の程度を決定することを特徴とする請求項１〜３の何れか１項に記載の監視用撮像装置。
5. 上記画像処理手段は２値化及び細線化処理を行う手段を有し、上記抽象度決定手段により決定された抽象度に応じて２値化の閾値と細線化処理の程度を決定することを特徴とする請求項１〜３の何れか１項に記載の監視用撮像装置。
6. 上記画像処理手段は平滑化処理を行う手段を有し、上記抽象度決定手段により決定された抽象度に応じて平滑化処理の程度を決定することを特徴とする請求項１〜３の何れか１項に記載の監視用撮像装置。
7. 上記身振り・行為重要度決定手段により決定された重要度により、上記画像処理手段により画像処理された映像に文字情報またはグラフ情報を付加する情報付加手段を有することを特徴とする請求項４〜６の何れか１項に記載の監視用撮像装置。
8. 所定の領域の映像を取得する画像データ取得工程と、
   上記画像データ取得工程により取得された映像から、人物を抽出する人物・物体抽出工程と、
   上記人物・物体抽出工程により抽出した人物の身振り・行為を検出する身振り・行為検出工程と、
   上記身振り・行為検出工程により検出した人物の身振り・行為の持つ重要度を決定する身振り・行為重要度決定工程と、
   上記身振り・行為重要度決定工程により決定した重要度から映像内の処理対象範囲を決定する処理対象範囲決定工程と、
   上記身振り・行為重要度決定工程により決定した重要度から上記処理対象範囲決定工程により決定された映像内の処理対象範囲を抽象化するための抽象度を決定する抽象度決定工程と、
   上記抽象度決定工程により算出された抽象度で上記映像内の処理対象範囲を抽象化する画像処理を行う画像処理工程とを有することを特徴とする監視用撮像装置の制御方法。
9. 上記身振り・行為重要度決定工程により決定した重要度から映像内の異常を検出する異常検出工程と、
   上記異常検出工程により異常を検出した時に上記画像処理した映像を記録保存、または送信する所定処理工程を有することを特徴とする請求項８に記載の監視用撮像装置の制御方法。
10. 上記身振り・行為重要度決定工程により決定した重要度に応じて、過去にさかのぼる時間を算出し、上記算出した時間分の映像データを専用メモリから読み出して、記録保存または送信する処理対象映像算出工程を有することを特徴とする請求項８または９に記載の監視用撮像装置の制御方法。
11. 上記画像処理工程はモザイク処理を行う工程を有し、上記抽象度決定工程により決定された抽象度に応じてモザイク処理の程度を決定することを特徴とする請求項８〜１０の何れか１項に記載の監視用撮像装置の制御方法。
12. 上記画像処理工程は２値化及び細線化処理を行う工程を有し、上記抽象度決定工程により決定された抽象度に応じて２値化の閾値と細線化処理の程度を決定することを特徴とする請求項８〜１０の何れか１項に記載の監視用撮像装置の制御方法。
13. 上記画像処理工程は平滑化処理を行う工程を有し、上記抽象度決定工程により決定された抽象度に応じて平滑化処理の程度を決定することを特徴とする請求項８〜１０の何れか１項に記載の監視用撮像装置の制御方法。
14. 上記身振り・行為重要度決定工程により決定された重要度により、上記画像処理工程により画像処理された映像に文字情報またはグラフ情報を付加する情報付加工程を有することを特徴とする請求項１１〜１３の何れか１項に記載の監視用撮像装置の制御方法。
15. 所定の領域の映像を取得する画像データ取得工程と、
    上記画像データ取得工程により取得された映像から、人物を抽出する人物・物体抽出工程と、
    上記人物・物体抽出工程により抽出した人物の身振り・行為を検出する身振り・行為検出工程と、
    上記身振り・行為検出工程により検出した人物の身振り・行為の持つ重要度を決定する身振り・行為重要度決定工程と、
    上記身振り・行為重要度決定工程により決定した重要度から映像内の処理対象範囲を決定する処理対象範囲決定工程と、
    上記身振り・行為重要度決定工程により決定した重要度から上記処理対象範囲決定工程により決定された映像内の処理対象範囲を抽象化するための抽象度を決定する抽象度決定工程と、
    上記抽象度決定工程により決定された抽象度で上記映像内の処理対象範囲を抽象化する画像処理を行う画像処理工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
16. 請求項１５に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
17. 請求項１〜７の何れか１項に記載の監視用撮像装置を用いて構成したことを特徴とする監視システム。

Images