JP4403039B2 - 画像処理装置、画像処理システム - Google Patents

Description

本発明は、画像処理技術に関し、特に、撮像装置により撮像された画像データに画像処理を施して表示させる監視システムの技術に関する。

犯罪などの状況確認を映像で行うことを目的として、或いは、犯罪の抑止を目的として、監視カメラを有する監視システムを利用した映像監視が行われている。この映像監視により犯罪者の顔など身体的特徴やその行動を把握することができる。そのため、監視システムは、セキュリティの確保に有効な手段と考えられている。

さて、監視システムを用いて不特定多数の人間が通行するような場所を映像監視した場合、撮像された映像データには、その撮像場所を通行したすべての人物の映像データが含まれることとなる。そして、不特定多数の人間が通行するような場所を映像監視した場合、撮像された映像データが不正に利用されてプライバシーが侵害される可能性があるという問題が指摘されている。例えば、撮像された映像データからある人物の行動などの個人情報が不正に利用されることも考えられる。特に、近年は、コンピュータ技術の発展により映像データ等を大量に蓄積して処理することが簡単に行えるようになってきている。そのため、監視システムによるセキュリティ確保とプライバシーの保護との両立を図ることは重要な問題となっている。

従来から、監視カメラが撮像した映像信号に対して、監視映像を監視するユーザ権限にしたがいレベルの異なるモザイク処理を施し、モザイク処理された映像を表示する監視システムが知られている（例えば、特許文献１）。特許文献１によれば、監視者のユーザ権限に応じて監視映像に対するレベルの異なる加工ができるため、プライバシーの保護を考慮した映像監視が可能となる。

特開２００４−３２４５９号公報

しかしながら、特許文献１は、監視映像を表示処理する都度、監視映像の中のモザイク処理を施す位置を算出して、所定の利用者権限に応じたモザイク処理を行なっている。したがって、特許文献１では、撮像された監視映像を繰り返して表示処理する場合、その都度、モザイク処理を施す位置を算出し、利用者権限に応じたモザイク処理を行なう必要があり、結果的に表示処理に長時間を費やしてしまう。そのため、特許文献１では、監視業務を効率よく行えない場合がある。

また、効率よく監視業務を行なう方法として、監視対象の映像の中の監視重点ポイントに目印等を表示して監視者に注意を促すことも考えられる。しかしながら、特許文献１では、モザイク処理以外の画像処理について特に考慮されていない。すなわち、特許文献１は、プライバシーの保護についての考慮はされているが、監視業務の効率を上げることについての考慮は特にされていない。

そこで、本発明の目的は、監視システムにおいて、プライバシーの保護を図り、かつ効率よくセキュリティ確保を図ることにある。

上記課題を解決するため、本発明の一態様は、撮像装置が撮像した画像情報を取得し、該取得した画像情報に対して画像処理を行う画像処理装置に適用される。ここで、前記画像処理装置には表示装置および記憶装置が接続されている。

そして、画像処理装置に、利用者からの画像処理を行うか否かの設定を受け付ける手段と、画像処理を行う対象物を示すパターン画像ごとに、利用者の権限に応じた画像処理の内容を示す処理情報を対応付けたパターン画像情報を前記記憶装置に記憶させる手段と、前記取得した画像情報に前記記憶装置が記憶しているパターン画像と一致する画像が含まれているか否かを判定する手段と、前記パターン画像と一致する画像が含まれている場合、前記画像情報の中の該パターン画像と一致する画像の位置を算出し、該画像情報を識別する識別情報を作成し、かつ算出した位置を示す位置情報ごとに該パターン画像に対応付けられている処理情報および該識別情報を関連づけた画像処理データを作成する手段と、前記画像処理を行う設定を受け付けている場合、前記取得した画像情報を識別する識別情報が含まれている画像処理データの位置情報および処理情報を用いて、該取得した画像情報に対する前記利用者の権限に応じた画像処理を行う手段と、前記画像処理を行う設定を受け付けている場合、前記利用者の権限に応じた画像処理が行われた画像情報を前記表示装置に表示させ、前記画像処理を行わない設定を受け付けている場合、画像処理を行うことなく前記取得した画像情報を前記表示装置に表示させる手段とを設ける。

このように本発明によれば、画像処理を行う対象物を示すパターン画像ごとに画像処理の内容を示す処理情報を対応付けたパターン画像情報を記憶するようにしている。また、本発明では、取得した画像情報に記憶しているパターン画像と一致する画像が含まれている場合、画像情報の中のパターン画像と一致する画像の位置を算出し、その画像情報を識別する識別情報を作成し、かつ算出した位置を示す位置情報ごとにパターン画像に対応付けられている処理情報および識別情報を関連づけた画像処理データを作成している。そして、本発明では、利用者からの画像処理を行う設定を受け付けている場合に、取得した画像情報を識別する識別情報が含まれている画像処理データの位置情報および処理情報を用いて、取得した画像情報に対する画像処理を行うようにしている。

そのため、本発明では、プライバシー保護が必要な対象物（人物の顔等）と監視重点箇所の対象物（例えば現金輸送用かばん等）とのそれぞれに対して、異なる画像処理の内容を示す情報を対応づけて記憶させておくことで、監視画像の中の対象物ごとに異なる画像処理を行うことができるようになる。例えば、本発明では、プライバシーの保護を図るために、人物の顔等の対象物にモザイク処理を施すことができ、かつプライバシーと関係ない監視重点箇所（例えば現金輸送用かばん等）の周囲に丸印を表示する画像処理を行い監視業務の効率化を図ることができる。

また、本発明では、作成した画像処理データを利用して取得した画像情報に対する画像処理を行うようにしている。そのため、一度画像処理データを作成しておけば、取得した画像データを繰り返し表示させたい場合であっても、画像処理を行なうための位置を算出する等の処理を行なう必要がない。すなわち、本発明によれば、取得した画像データを繰り返し表示させる場合に表示処理に長時間を費やす必要がなくなる。

以下、本発明の実施形態について図面を用いて説明する。

最初に本実施形態の概略構成を、図１を用いて説明する。

図１は、本発明の実施形態の監視システムの概略構成を説明するための図である。

図示するように、本実施形態の監視システムは、街頭や店舗等の監視先（監視場所）を撮像する監視先システム１００と、監視先システム１００にネットワーク２００を介して接続されている画像データ処理システム３００とを有する。

監視先システム１００は、監視先（監視場所）を撮像し、その撮像した画像データを、ネットワーク２００を介して画像データ処理システム３００に送信する。具体的には、監視先システム１００は、カメラ１０１および映像送信装置１０２を有する。カメラ１０１は、監視先を撮像して撮像した画像データを映像送信装置１０２に出力する。映像送信装置１０２は、カメラ１０１が出力した画像データをネットワーク２００経由で画像データ処理システム３００に送信する。なお、本実施形態で用いるカメラ１０１および映像送信装置１０２は、従来技術により実現される。

画像データ処理システム３００は、監視先システム１００が出力した画像データを受信する。画像データ処理システム３００は、利用者から受け付けた設定内容にしたがい受信した画像データに画像処理を施し、画像処理が施された画像データを表示する。具体的には、画像データ処理システム３００は、画像受信装置３０５、画像パターン認識装置３０１、データ蓄積装置３０２、表示装置３０３、および管理端末３０４を有する。

画像受信装置３０５は、監視先システム１００が出力した画像データを受信し、受信した画像データを画像パターン認識装置３０１に出力する。なお、画像受信装置３０５は、従来技術により実現される。

画像パターン認識装置３０１は、画像受信装置３０５からの画像データを受け付けて、受け付けた画像データに画像処理を行うための情報（画像処理データ）を生成する。具体的には、画像パターン認識装置３０１は、後述するデータ蓄積装置３０２に格納されているパターン画像情報４００（図４）を読み出す。画像パターン認識装置３０１は、画像受信装置３０５から出力された画像データを受け付けて、その画像データと読み出したパターン画像情報４００とを照合する。画像パターン認識装置３０１は、上記の受け付けた画像データの中に読み出したパターン画像情報４００に一致する画像を検出した場合、その画像データに対応する画像処理データを生成する。なお、画像処理データのデータ構成および画像処理データを生成する処理の手順については後述する。

画像パターン認識装置３０１は、取得した画像データをデータ蓄積装置３０２に格納する。また、画像パターン認識装置３０１は、画像処理データを生成した場合、その生成した画像処理データをデータ蓄積装置３０２に格納する。さらに、画像パターン認識装置３０１は、生成した画像処理データを用いて取得した画像データに画像処理を行う。画像パターン認識装置３０１は、画像処理された画像データを表示装置３０３に出力する。なお、画像パターン認識装置３０１の機能構成およびハードウェア構成は後段で詳細に説明する。

データ蓄積装置３０２は、パターン画像情報４００や画像パターン認識装置３０１が出力した画像データおよび画像処理データ等の情報を格納する記憶装置である。また、表示装置３０３は、画像パターン認識装置３０１が出力した画像データを表示する装置である。なお、本実施形態では、データ蓄積装置３０２および表示装置３０３の具体的な構成について特に限定しない。例えば、データ蓄積装置３０２には、ハードディスク装置、ＤＶＤ（Digital Versatile Disc）装置等を用いることができる。また、表示装置３０３には、液晶ディスプレイ装置等を用いることができる。

管理端末３０４は、利用者からの監視システムに対する各種要求を受け付ける端末装置である。具体的には、管理端末３０４は、図示しない入力装置が接続されていて、入力装置を介して利用者からの各種要求を受け付ける。例えば、管理端末３０４には、入力装置を介して利用者からのパターン画像情報４００（図４参照）の設定を受け付けて、受け付けた設定内容のパターン画像情報４００をデータ蓄積装置３０２に格納する。なお、本実施形態では、管理端末３０４の具体的な構成については特に限定しない。例えば、管理端末３０４には、ＣＰＵ（Central Processing Unit）とメモリとを有するコンピュータを用いることができる。なお、管理端末３０４が有する各種要求を受け付ける機能は、画像パターン認識装置３０１或いは表示装置３０３に設けるようにしてもよい。

なお、図１の説明では、監視先システム１００と画像データ処理システム３００とが１対１で接続されている場合を説明しているがこれは例示に過ぎない。例えば、監視先システム１００を複数個設けて、複数箇所の監視先を撮像するようにしてもよい。また、上記監視先システム１００は、カメラ１０１と画像送信装置１０２とが１対１で接続されている場合を説明しているがこれは例示に過ぎない。例えば、画像送信装置１０２にカメラ１０１を複数台接続して、複数箇所の監視先を撮像するようにしてもよい。

また、本実施形態では、ネットワーク２００の具体的な構成については特に限定しない。例えば、ネットワーク２００には、ＬＡＮ（Local Area Network）、インターネット、および電話回線等を用いることができる。また、ネットワーク２００は、有線であっても無線であってもかまわない。

続いて、本実施形態の画像パターン認識装置の機能構成を説明する。

図２は、本実施形態の画像パターン認識装置の機能ブロック図である。

図２では、（ａ）図に画像受信装置３０５から取得した画像データを表示装置３０２にリアルタイムで表示させる場合のデータの流れを表した機能ブロック図を示している。また、（ｂ）図にデータ蓄積装置３０２に格納されている画像データを表示装置３０２に表示させる場合のデータの流れを表した機能ブロック図を示している。

さて、（ａ）図および（ｂ）図に示すように、画像パターン認識装置３０１は、画像取得部３１１、画像パターン照合部３１２、画像処理データ作成部３１３、画像処理判定部３１４、画像合成部３１５、および画像表示部３１６を有する。

最初に（ａ）図を用いて、画像受信装置３０５から取得した画像データを表示装置３０２にリアルタイムで表示させる場合の処理を例に画像パターン認識装置の機能ブロックを説明する。

画像取得部３１１は、画像受信装置から送信された画像データを受け付けて、その受け付けた画像データを転送する処理を行う。具体的には、画像取得部３１１は、管理端末３０４を介して画像受信装置３０５から取得した画像データを表示装置３０２にリアルタイムで表示させるか否かを示す情報（表示設定情報）を受け付けて、その表示設定情報を保持する。画像取得部３１１は、画像受信装置から送信された画像データを受け付けた場合に、保持している表示設定情報がリアルタイムで表示させる旨を示す情報の場合、受け付けた画像データを画像パターン照合部３１２、画像合成部３１５、およびデータ蓄積装置３０２に出力する。一方、画像取得部３１１は、画像受信装置から送信された画像データを受け付けた場合に、保持している表示設定情報がリアルタイムで表示させる旨を示す情報ではない場合、受け付けた画像データを画像パターン照合部３１２およびデータ蓄積装置３０２に出力する。

画像パターン照合部３１２は、画像取得部３１１が出力した画像データを取得する。また、画像パターン照合部３１２は、データ蓄積装置３０２に格納されているパターン画像情報４００を読み出す。ここで、画像データおよびパターン画像情報４００について図３および図４を用いて説明する。

図３は、本実施形態の監視先システム１００が出力した画像データの一例を示した図である。

図３は、監視先システム１００が街頭に設置され、カメラ１０１が街頭を撮像した場合の画像データを例示したものである。図３には、かばん３２３を持って歩いる人物と、自動車とが撮像された画像データ３２０が示されている。そして、画像データ３２０には、人物の顔３２１や車のナンバープレート３２２のようにプライバシーの保護が要求されているデータが含まれている。

図４は、本実施形態の画像データ処理システム３００のパターン画像情報の一例を模擬的に示した図である。

パターン画像情報４００とは、画像パターン認識装置３０１が取得した画像データに対して行う画像処理の内容を定めたものである。図示するように、パターン画像情報４００は、画像処理を行う対象物の画像（パターン画像）を識別するための「パターンナンバー」を格納するエントリ４０１と、エントリ４０１に格納された「パターンナンバー」に対応する「パターン画像」を格納するエントリ４０２と、エントリ４０２に格納された「パターン画像」に対する「画像処理方法」を示す情報を格納するエントリ４０３とを有する。

図示する例では、エントリ４０１に格納されたパターンナンバー「１」に対応づけられているエントリ４０２、４０３には、それぞれ「人物の顔」、「モザイク処理」が格納されている。このデータでは、パターンナンバー「１」が「人物の顔」のパターン画像を特定すること、および、監視先システム１００から取得した画像データに含まれている「人物の顔」に「モザイク処理」を行うことが定義付けられている。

エントリ４０１に格納されたパターンナンバー「２」に対応づけられているエントリ４０２、４０３には、それぞれ「車のナンバープレート」、「塗りつぶし処理」が格納されている。このデータでは、パターンナンバー「２」が「車のナンバープレート」のパターン画像を特定すること、および、監視先システム１００から取得した画像データに含まれている「車のナンバープレート」に「塗りつぶし処理」を行うことが定義付けられている。

また、エントリ４０１に格納されたパターンナンバー「３」に対応づけられているエントリ４０２、４０３には、それぞれ「かばん」、「黄色の丸で囲む処理」が格納されている。このデータでは、パターンナンバー「３」が「かばん」のパターン画像を特定すること、および、監視先システム１００から取得した画像データの中の「かばん」の周辺を「黄色の丸で囲む」処理を行うことが定義付けられている。

また、パターン画像情報４００は、利用者からの設定を受け付けた管理端末３０４によりデータ蓄積装置３０２に格納されるものである。なお、本実施形態では、パターン画像情報４００を設定するための具体的な手段については特に限定しない。例えば、「パターンナンバー」に対応付けた「パターン画像」と、「画像処理方法」を示す情報とをデータ蓄積装置３０２の所定領域に保持させておく。管理端末３０４は、保持している「パターンナンバー」および「パターン画像」と、「画像処理方法」とをデータ蓄積装置３０２から読出して、利用者に提示する。管理端末３０４は、利用者に対して、提示した情報の中から「パターンナンバー」および「画像処理方法」の組み合わせの選択を促す。そして、管理端末３０４は、利用者からの「パターンナンバー」および「画像処理方法」の組み合わせの選択を受け付けて、受け付けた内容にしたがいパターン画像情報４００を生成してデータ蓄積装置３０２に格納する。なお、管理端末３０４は、上記のパターン画像情報４００を設定する機能により、利用者からの要求を受付けて、データ蓄積装置３０２に格納されているパターン画像情報４００を更新することも可能である。

また、上記のように、予め「パターン画像」および「画像処理方法を示す情報」をデータ蓄積装置３０２に保持させておくのではなく、管理端末３０４が「パターン画像」および「画像処理方法を示す情報」を外部装置（図示しない）から取得するようにしてもよい。この場合、管理端末３０４は、上記の詩取得した「パターン画像」および「画像処理方法を示す情報」を用いてパターン画像情報４００を作成し、作成したパターン画像４００をデータ蓄積装置３０２に格納する。

図２に戻り、説明を続ける。画像パターン照合部３１２は、取得した画像データの中に読み出したパターン画像情報４００のエントリ４０２に格納された「パターン画像」に一致する画像（部分）が含まれているか否かを判定する。画像パターン照合部３１２は、取得した画像データに「パターン画像」に一致する画像が含まれていると判定した場合、画像処理データ作成部３１３に画像処理データの作成を要求する。例えば、画像パターン照合部３１２が取得した画像データが図３に示す画像データ３２０であり、かつパターン画像情報４００が図４に示す情報である場合、画像データ３２０には、パターン画像情報４００のエントリ４０２に格納されたパターン画像である「人物の顔」、「車のナンバープレート」、および「かばん」が全て含まれている。そのため、画像パターン照合部３１２は、画像データ３２０の中にパターン画像情報４００に格納されたパターン画像に一致する画像が含まれていると判定する。

画像処理データ作成部３１３は、画像パターン照合部３１２からの画像処理データの作成要求を受け付ける。画像処理データ作成部３１３は、画像パターン照合部３１２から画像データ３２０、パターン画像情報４００、および一致したパターン画像を示す情報を取得して、画像処理データ（図７参照）を作成する。そして、画像作成処理データ作成部３１３は、作成した画像処理データを画像合成部３１５に出力する。また、画像作成処理データ作成部３１３は、作成した画像処理データをデータ蓄積装置３０２に格納する。ここで、画像作成処理データ作成部３１３が作成した画像処理データをデータ蓄積装置３０２に格納するようにしたのは、一度作成した画像処理データを繰り返して利用できるようにするためである。なお、画像パターン照合部３１２および画像処理データ作成部３１３が行う処理については後段で詳細に説明する。

画像処理判定部３１４は、利用者からの画像処理を行うか否を示す情報（設定情報）の入力を受け付ける。また、画像処理判定部３１４は、画像合成部３１５に対して画像処理を行うか否かを示す情報（設定情報）を出力する。なお、本実施形態では、画像処理判定部３１４が利用者からの画像処理を行うか否かを示す情報の入力を受け付ける具体的手段について特に限定しない。例えば、管理端末３０４（図１参照）に利用者からの設定情報の入力を受け付ける機能を設けておく。画像処理判定部３１４は、管理端末３０４を介して利用者からの設定情報の入力を取得し、その取得したデータを保持する。そして、画像処理判定部３１４は、画像合成部３１５に対して保持している「設定情報」を出力するようにしてもよい。

画像合成部３１５は、画像取得部３１１が出力する画像データの入力を受け付ける。画像合成作成部３１５は、画像取得部３１１が出力する画像データの入力を受け付けた場合、画像処理判定部３１４から「設定情報」を取得する。画像合成部３１５は、上記の取得した「設定情報」が画像処理を行う旨を示す情報である場合、画像処理データ作成部３１３から画像処理データを取得する。そして、画像合成部３１５は、受け付けた画像データおよび取得した画像処理データを用いて、受け付けた画像データに対する画像処理を施して、画像処理が施された画像データを画像表示部３１６に出力する。一方、画像合成作成部３１５は、取得した「設定情報」が画像処理を行わない旨を示す情報である場合、受け付けた画像データをそのまま画像表示部３１６に出力する。なお、画像合成部３１５が行う処理については後段で詳細に説明する。

画像表示部３１６は、画像合成部３１５が出力した画像データを表示装置３０３が表示可能なデータにして、画像データを表示装置３０３に表示させる。

次に、（ｂ）図を用いて、データ蓄積装置３０２に格納されている画像データを読み出して表示処理を行う場合の画像パターン認識装置３０１の機能を説明する。

画像合成部３１５は、利用者からデータ蓄積装置３０２に蓄積された画像データの表示処理の指示を受け付ける。なお、本実施形態では、データ蓄積装置３０２に蓄積された画像データの表示処理の指示を受け付ける具体的な方法については特に限定しない。例えば、管理端末３０４（図１参照）に利用者からのデータ蓄積装置３０２に蓄積された画像データの表示処理の指示を受け付ける機能を設けておく。そして、画像合成部３１５は、管理端末３０４を経由して画像データの再生処理の指示を受け付けるようにしてもよい。また、画像パターン認識装置３０１に入力装置を接続しておいて、画像合成部３１５は、利用者からのデータ蓄積装置３０２に蓄積された画像データの再生処理の指示を、入力装置を介して受け付けるようにしてもよい。

画像合成部３１５は、データ蓄積装置３０２に蓄積された画像データの再生処理の指示を受け付けた場合、指示された画像データをデータ蓄積装置３０２から読み出す。また、画像合成部３１５は、画像データをデータ蓄積装置３０２から読み出して取得した場合、上記と同様に、画像処理判定部３１４から「設定情報」を取得する。

そして、画像合成部３１５は、「設定情報」が画像処理を行う旨を示す情報である場合、データ蓄積装置３０２から取得した画像データに対応する画像処理データを取得する。その後、その後、画像合成部３１５は、上記（ａ）図の説明と同様の処理を行う。一方、画像合成部３１５は、「設定情報」が画像処理を行わない旨を示す情報である場合、上記（ａ）図の説明と同様に、受け付けた画像データをそのまま画像表示部３１６に出力する。

続いて、本実施形態の画像パターン認識装置のハードウェア構成について図５を用いて説明する。

図５は、本実施形態の画像パターン認識装置のハードウェア構成図である。

図示するように、画像パターン認識装置３０１には、ＣＰＵ（中央演算装置）６０１、ＣＰＵ６０１が実行するプログラムやデータを一時的に記憶するＲＡＭ（Random Access Memory）等の主記憶装置６０２、外部装置との間で行われるデータの入出力を制御するＩＯＩ／Ｆ６０３、およびデータや各種プログラムを記憶する補助記憶装置６０４を有するコンピュータ（計算機）を用いることができる。

補助記憶装置６０４には、図２で示した画像取得部３１１、画像パターン照合部３１２、画像処理データ作成部３１３、画像処理判定部３１４、画像合成部３１５、および画像表示部３１６の機能を実現するためのプログラム（画像取得プログラム、画像パターン照合プログラム、画像処理データ作成プログラム、画像処理判定プログラム、画像合成プログラム、および画像表示プログラム）が格納されている。

そして、上述した各部（画像取得部３１１、画像パターン照合部３１２、画像処理データ作成部３１３、画像処理判定部３１４、画像合成部３１５、および画像表示部３１６）の機能は、ＣＰＵ６０１が補助記憶装置６０４に格納された上記プログラムを主記憶装置６０２にロードして実行することにより実現される。また、上述した画像取得部３１１が受け付けた「表示設定情報」、および画像処理判定部３１４が受け付けた「設定情報」は、主記憶装置６０２および補助記憶装置６０４に記憶される。

続いて、本実施形態の画像パターン認識装置が行う画像処理データ作成処理について図６を用いて説明する。

図６は、本実施形態の画像パターン認識装置が行う画像処理データ作成処理のフローを説明するための図である。

最初に、画像パターン認識装置３０１の画像取得部３１１は、監視先システム１００が撮像した画像データを画像受信装置３０５を介して取得する。画像パターン認識装置３０１は、取得した画像データを画像パターン照合部３１２、画像合成部３１５、およびデータ蓄積装置３０２に出力する（Ｓ５０１）。

続いて、画像パターン認識装置３０１の画像パターン照合部３１２は、画像取得部３１１が出力した画像データを受け付ける。画像パターン照合部３１２は、画像データを受け付けた場合、データ蓄積装置３０２に格納されているパターン情報４００（図４参照）を読み出す。そして、画像パターン照合部３１２は、受け付けた画像データと読み出したパターン情報４００との照合を行う。具体的には、画像パターン照合部３１２は、受け付けた画像データがパターン情報４００のエントリ４０２に格納されたパターン画像と一致する情報を含んでいる画像データであるか否かの判定を行う（Ｓ５０２）。

画像パターン照合部３１２は、受け付けた画像データの中に上記のパターン画像と一致する画像を検索できた場合、画像データが「パターン画像」に一致する画像を含んだ画像データであると判定する。そして、画像パターン照合部３１２は、画像処理データ作成部３１３に画像処理データの作成を要求してＳ５０３の処理に進む。一方、画像パターン照合部３１２は、受け付けた画像データの中に上記のパターン画像と一致する画像を検索できなかった場合、画像データの中に上記のパターン画像と一致する画像が無いと判定して、処理を終了する。なお、本処理ステップで行われる受け付けた画像データと読み出したパターン情報４００との照合処理は従来技術により実現される。

Ｓ５０３では、画像処理データ作成部３１３は、画像パターン照合部３１２からの画像処理データの作成要求を受け付けて、画像処理データを作成する。具体的には、画像処理データ作成部３１３は、画像パターン照合部３１２から画像データ、パターン画像情報４００、および一致したパターン画像を示す情報を取得する。そして、画像処理データ作成部３１３は、取得した「画像データ」、「パターン画像情報４００」、および「一致したパターン画像を示す情報」を用いて、画像データの中のパターン画像と一致した領域の位置情報（座標値）を算出する。

また、画像処理データ作成部３１３は、取得したパターン画像情報４００を用いて一致した「パターン画像」に対応付けられている「パターンナンバー」および「画像処理方法」を特定する。さらに、画像処理データ作成部３１３は、照合した画像データを識別する情報（画像データ識別情報）を作成する。本実施形態では、画像データ識別情報を作成する処理を特に限定しない。以下では、照合した画像データに含まれている情報の中から画像データを識別可能な情報を抽出することにより画像データ識別情報を作成する場合を例に説明する。具体的には、本実施形態では、画像データの中に「タイムスタンプ」および画像データを撮像した場所を示す情報（「画像データの名称」）が含まれているものとする。そして、画像処理データ作成部３１３は、画像データに含まれる「タイムスタンプ」および「画像データの名称」を抽出し、その抽出した「タイムスタンプ」および「画像データの名称」を画像データ識別情報として利用する。

そして、画像処理データ作成部３１３は、上記の抽出した「画像データ識別情報」と、上記算出した「画像と一致した領域の位置情報」と、上記特定した「パターンナンバー」と、「画像処理の種類」とを対応づけた画像処理データ７００を作成する。画像処理データ作成部３１３は、画像処理データ７００を作成した後、その作成した画像処理データ７００をデータ蓄積装置３０２に格納して処理を終了する。また、画像処理データ作成部３１３は、画像合成部３１５からの画像処理データ７００の送信要求を受け付けた場合、作成した画像処理データ７００を画像合成部３１５に出力する。なお、画像合成部３１５からの画像処理データ７００の送信要求を受け付ける場合とは、画像パターン認識装置３０１が取得した画像データを表示装置３０３にリアルタイムで表示させる場合に行われる処理である。

続いて、画像処理データ作成部３１３が作成する画像処理データについて図７を用いて説明する。

図７は、本実施形態の画像データ処理システム３００が作成する画像処理データの一例を模擬的に示した図である。

図示するように、画像処理データ７００は、複数のエントリ７０１〜７０５を有する。そして、各エントリ７０１〜７０５には、各々、「パターンナンバー」、「画像処理の種類」、「画像と一致した領域の位置情報」、「画像データ名称」、および「タイムスタンプ」が対応づけられて格納される。

図示する画像処理データ７００は、図３に示す画像データ３２０と図４に示す画像情報４００とから作成したものである。そのため、画像処理データ７００の各行７１０〜７１２に対応するエントリ７０４には、全て、図３に示す画像データの名称である「街頭１」が格納される。また、各行７１０〜７１２に対応する「タイムスタンプ」を格納するエントリ７０５には、同じ日時を示す情報が格納される。

また、画像処理データ７００の一番上の行７１０に対応する「パターンナンバー」を格納するエントリ７０１に「１」、「画像処理の種類」を格納するエントリ７０２に「モザイク処理」、および「画像処理範囲の位置情報」を格納するエントリ７０３に「顔の表示位置の座標位置を示す情報」が格納されている。画像処理データ７００の上から２番目の行７１１に対応する「パターンナンバー」を格納するエントリ７０１に「２」、「画像処理の種類」を格納するエントリ７０２に「塗りつぶし処理」、および「画像処理範囲の位置情報」を格納するエントリ７０３に「ナンバープレートの表示位置の座標位置を示す情報」が格納されている。また、画像処理データ７００の上から３番目の行７１２に対応する「パターンナンバー」を格納するエントリ７０１に「３」、「画像処理の種類」を格納するエントリ７０２に「黄色の丸で囲む処理」、および「画像処理範囲の位置情報」を格納するエントリ７０３に「かばんの表示位置の座標位置を示す情報」が格納されている。

続いて、本実施形態の画像パターン認識装置が行う画像表示処理について図８を用いて説明する。

図８は、本実施形態の画像パターン認識装置が行う画像表示処理のフローを説明するための図である。

さて、画像パターン認識装置３０１の画像合成部３１５は、画像取得部３１１が出力した画像データを受け付けた場合、或いは、利用者からの、データ蓄積装置３０２に蓄積された画像データの表示処理の指示を受け付けた場合に以下の処理ステップを開始する。なお、画像取得部３１１から画像データを取得する場合とは、取得した画像をリアルタイムで表示装置３０３に表示させる場合に行われる処理である。

具体的には、画像合成部３１５は、画像取得部３１１が出力した画像データを受け付けた場合、画像処理判定部３１５から画像処理を行うか否かを示す情報（設定情報）を取得する。また、画像合成部３１５は、利用者からの、データ蓄積装置３０２に蓄積された画像データの表示処理の指示を受け付けた場合、データ蓄積装置３０２から利用者から指定された画像データを読み出して、かつ画像処理判定部３１５から「設定情報」を取得する（Ｓ８０１）。

続いて、画像合成部３１５は、取得した「設定情報」が画像処理を行う旨を示す情報である場合にＳ８０３の処理に進む。一方、画像合成部３１５は、取得した「設定情報」が画像処理を行う旨を示す情報ではない場合、Ｓ８０１で取得した画像データを画像表示部３１６に出力してＳ８０５の処理に進む（Ｓ８０２）。

Ｓ８０３では、画像合成部３１５は、画像処理データの読込処理を行う。具体的には、画像合成部３１５は、Ｓ８０１において、画像取得部３１１から画像データを取得した場合、取得した画像データに含まれる「タイムスタンプ」および「画像データの名称」を特定する。画像合成部３１５は、特定した「タイムスタンプ」および「画像データの名称」を有する画像処理データを画像処理データ作成部３１３から取得する。また、画像合成部３１５は、Ｓ８０１において、データ蓄積装置３０２から画像データを取得した場合、取得した画像データに含まれる「タイムスタンプ」および「画像データの名称」を特定する。画像合成部３１５は、特定した「タイムスタンプ」および「画像データの名称」を有する画像処理データをデータ蓄積装置３０２から取得する。

続いて、画像合成部３１５は、Ｓ８０１で取得した画像データ３２０に対して、Ｓ８０３で取得した画像処理データ７００が示す画像データをオーバーレイした画像データを作成して、その作成した画像データを画像表示部３１６に出力する（Ｓ８０４）。

Ｓ８０５では、画像表示部３１６は、取得した画像データを表示装置３０３に表示させる。具体的には、Ｓ８０２において画像処理を行う設定がされていないと判定されて、画像処理が施されていない画像データが画像表示部３１６に出力された場合、画像表示部３１６は、画像処理が施されていない画像データを表示装置３０３に表示させる。一方、Ｓ８０４において画像処理を施した画像データが画像表示部３１６に出力された場合、画像表示部３１６は、画像処理が施された画像データを表示装置３０３に表示させる。

続いて、監視途中で利用者が画像パターン認識装置３０１に対して画像データに施す画像処理の内容を変更する場合について説明する。

監視途中で利用者が画像処理の内容を変更しようと考えた場合、利用者は管理端末３０４を介してデータ蓄積装置３０２に格納されたパターン画像情報４００を変更する処理を行う。このような場合、画像パターン認識装置３０１は、パターン画像情報４００の変更後に取得した画像データに対しては、変更したパターン画像情報４００にしたがい画像処理データを作成する。

しかしながら、パターン画像情報４００の変更する前にデータ蓄積装置３０２に格納された画像データを表示装置３０３に表示させる場合、パターン画像情報４００の変更が表示する画像に反映されない。そのため、本実施形態では、管理端末３０２がパターン画像情報４００の変更を受け付ける場合、データ蓄積装置３０２に格納された画像データに対応する画像処理データに対する変更を行うか否かを利用者に問い合わせるようにする。この変更は、管理端末３０４からパターンナンバーをキーとして抽出されるすべての画像処理データの画像処理の種類を変更することにより実現できる。

続いて、本実施形態の表示装置３０３に表示される画像処理が施された画像データの表示画面例について図９を用いて説明する。

図９は、本実施形態の表示装置に表示される画像データの表示画面例を示した図である。

図示する画面９００は、図７に示す画像処理データ７００を用いて画像データ３２０（図３参照）に画像処理を施して、表示装置３０３に表示した画面例を示したものである。

さて、画面９００には、人物の顔にモザイク９０１が施され、車のナンバープレートに塗りつぶし９０２が施され、大きなかばんに対しては丸印９０３の表示処理が施されている。すなわち、画面９００では、プライバシー保護が要求される「人物の顔」および「車のナンバープレート」の画像がモザイク処理および塗りつぶし処理により隠されている。また、画面９００では、重点監視ポイントに対しては丸印９０３を付して監視者の注意を引くようにしている。

図示するモザイク９０１は、画像合成部３１５が画像処理データ７００（図７参照）の行７１０に対応するエントリ７０１〜７０５に格納されたデータにしたがい作成したものである。また、塗りつぶし９０２は、画像合成部３１５が画像処理データ７００の行７１１に対応するエントリ７０１〜７０５に格納されたデータにしたがい作成したものである。丸印９０３は、画像合成部３１５が画像処理データ７００の行７１２に対応するエントリ７０１〜７０５に格納されたデータにしたがい作成したものである。そして、画面９００は、画像合成部３１５が画像データ３２０に対して、モザイク９０１、塗りつぶし９０２、および丸印９０３をオーバーレイした画像データ作成して、そのオーバーレイした画像データを画像表示部３１６を介して表示装置３０３に表示させたものである。

このように、本実施形態では、プライバシーの保護が必要な部分に対してはモザイク処理等を施して利用者に見えないようにして、監視の重点ポイントに対しては丸印等を付して利用者に注意を促している。そのため、本実施形態によれば、プライバシーの保護を図りながら、セキュリティ確保のための監視業務の効率よく行うことができる。すなわち、本実施形態によれば、より確実なプライバシー保護と監視重点箇所の指定を行い、より高度な監視サービスを提供することができる。

また、本実施形態では、画像処理判定部３１４が画像処理を行うか否かを示すデータ（設定情報）を利用者から受け付けて、その受け付けた設定情報にしたがいモザイク処理等の画像処理を行うか否かを判定している。すなわち、本実施形態では、監視先システム１００で撮像した画像データに対して画像処理を行うか否かを利用者の設定により変更することができる。そのため、本実施形態では、例えば、通常の監視業務においては画像データにモザイク処理等の画像処理を施してプライバシーの保護を図るようにして、犯罪捜査等のように人物の顔等の情報が必要な場合にだけ、所定の権限を有するものが画像処理を施さない設定に変更することも可能である。そして、本実施形態を上記のように利用した場合、セキュリティ確保およびプライバシー保護の両者を実現することができる。

なお、本発明は、以上で説明した実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形が可能である。

例えば、本実施形態のパターン画像情報を利用者毎に設定するようにして、利用者毎に画像処理の内容を変えるようにしてもよい。この場合、予め利用者を識別する利用者識別情報を定めておく。画像データ処理システム３００に格納するパターン画像情報４００を利用者識別情報ごとに設定しておく。また、利用者が表示装置３０３に画像を表示させる場合、利用者識別情報の入力を受け付けるようにする。画像データ処理システム３００は、利用者識別情報ごとに設定されたパターン画像情報４００を用いて画像処理データを作成し、その作成した画像処理データにより画像データに対する画像処理を施すようにする。このように構成することで、利用者に与えられた権限に応じてモザイク処理等を行う対象を変えたり、または、利用者毎に監視する重点ポイントの設定を変えたりすることがでる。

また、上述した実施形態では、画像パターン認識装置３０１の画像処理判定部３１４が受け付けた設定情報を用いて取得した画像データに対する画像処理を行うか否かを判定していたが特にこれに限定するものではない。例えば、画像処理判定部３１４は、パターン画像情報４００のエントリ４０２に格納されている「パターン画像」毎に画像処理を行うか否かの設定を受け付けるようにしてもよい。このように構成することにより、利用者の用途対応した監視システムを提供することができる。

さらに、本実施形態の監視システムを映像監視以外の用途にも利用することが可能である。本実施形態の画像パターン認識装置３０１は、取得した画像データの注意点に丸印等の映像をオーバーレイして表示することができる。そのため本実施形態の画像パターン認識装置３０１の上記の機能を教育用教材等に適用することもできる。

また、図示するパターン画像情報４００は、例示に過ぎない。例えば、エントリ４０２に格納するパターン画像として、他のパターン画像を格納するようにしてもよい。また、図示する画像処理の方法も例示に過ぎない。例えば、画像処理方法として、パターン画像に矢印を付す映像処理、丸や四角のマークを付加する映像処理等を行うようにパターン画像情報４００に定義付けしてもよい。また、例えば、複数種類のレベルのモザイク処理をパターン画像情報４００に定義付けしてもよい。

また、上述した画像処理データ作成部３１３が作成する図７に示す画像処理データのデータ構成は例示に過ぎない。例えば、図６のＳ５０３において、画像処理データ作成部３１３は、算出した「画像と一致した領域の位置情報」の位置に、特定した「画像処理の種類」が示す画像処理を施した画像を生成するようにする（例えば、図９に示すモザイク９０２を生成する）。そして、画像処理データ作成部３１３は、生成した画像と「画像データ識別情報（画像データ名称およびタイムスタンプ）」とを対応付けた情報を画像処理データとして作成するようにしてもよい。そして、この場合、画像合成部３１５は、取得した画像データに対して、上記の画像処理データをオーバーレイした画像データを作成して、その作成した画像データを画像表示部３１６に出力する。

また、本実施形態では、画像データ処理システム３００が、画像パターン認識装置３０１、データ蓄積装置３０２、表示装置３０３、管理端末３０４、および表示装置３０５を有する場合を示したが特にこれに限定しない。例えば、上述した画像データ処理システム３００が実現する機能を１台のコンピュータ装置により実現するようにしてもよい。

本発明の実施形態の監視システムの概略構成を説明するための図である。 本発明の本実施形態の画像パターン認識装置の機能ブロック図である。 本発明の実施形態の監視先システム１００が撮像した画像データの一例を示した図である。 本発明の実施形態のパターン画像情報の一例を模擬的に示した図である。 本発明の実施形態の画像パターン認識装置のハードウェア構成図である。 本発明の実施形態の画像パターン認識装置が行う画像処理データ作成処理のフローを説明するための図である。 本発明の実施形態の画像データ処理システムが作成する画像処理データの一例を模擬的に示した図である。 本発明の実施形態の画像パターン認識装置が行う画像表示処理のフローを説明するための図である。得・検証フェーズで行われる処理のフローを説明するための図である。 本発明の実施形態の表示装置に表示される画像データの表示画面例を示した図である。

符号の説明

１００…監視先システム、１０１…カメラ、１０２…画像送信機、２００…ネットワーク、３００…画像データ処理システム、３０１…画像パターン認識装置、３０２…データ蓄積装置、３０３…表示装置、３０４…管理端末、３０５…画像受信装置、３１１…画像取得部、３１２…画像パターン照合部、３１３…画像処理データ作成部、３１４…画像処理判定部、３１５…画像合成部、３１６…画像表示部、６０１…ＣＰＵ、６０２…主記憶装、６０３…ＩＯＩ／Ｆ、６０４…補助記憶装置

Claims (6)

1. 撮像装置が撮像した画像情報を取得して、該取得した画像情報に対して画像処理を行う画像処理装置であって、
   前記画像処理装置には表示装置および記憶装置が接続されていて、
   利用者からの画像処理を行うか否かの設定を受け付ける手段と、
   画像処理を行う対象物を示すパターン画像ごとに、利用者の権限に応じた画像処理の内容を示す処理情報を対応付けたパターン画像情報を前記記憶装置に記憶させる手段と、
   前記取得した画像情報に前記記憶装置が記憶しているパターン画像と一致する画像が含まれているか否かを判定する手段と、
   前記パターン画像と一致する画像が含まれている場合、前記画像情報の中の該パターン画像と一致する画像の位置を算出し、該画像情報を識別する識別情報を作成し、かつ算出した位置を示す位置情報ごとに該パターン画像に対応付けられている処理情報および該識別情報を関連づけた画像処理データを作成する手段と、
   前記画像処理を行う設定を受け付けている場合、前記取得した画像情報を識別する識別情報が含まれている画像処理データの位置情報および処理情報を用いて、該取得した画像情報に対する前記利用者の権限に応じた画像処理を行う手段と、
   前記画像処理を行う設定を受け付けている場合、前記利用者の権限に応じた画像処理が行われた画像情報を前記表示装置に表示させ、前記画像処理を行わない設定を受け付けている場合、画像処理を行うことなく前記取得した画像情報を前記表示装置に表示させる手段とを有すること
   を特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記取得した画像情報および前記画像処理データを前記記憶装置に記憶させる手段と、
   前記記憶装置が記憶している画像情報を前記表示装置に表示させる表示要求を受け付ける受付手段と、
   前記受付手段が前記表示要求を受け付けた場合に前記表示要求の対象の画像情報を前記記憶装置から読み出す手段とを有し、
   前記画像処理を行う手段は、前記表示要求を受け付けた場合であって、かつ画像処理を行う設定を受け付けている場合に、前記読み出した画像情報を識別する識別情報が含まれている画像処理データを前記記憶装置から読出して、該読出した画像処理データの位置情報および処理情報を用いて、該読み出した画像情報に対する前記利用者の権限に応じた画像処理を行い、
   前記前記表示装置に表示させる手段は、前記画像処理を行う設定を受け付けている場合、前記利用者の権限に応じた画像処理が行われた画像情報を前記表示装置に表示させ、前記画像処理を行わない設定を受け付けている場合、前記読出し手段が読み出した画像情報を前記表示装置に表示させること
   を特徴とする画像処理装置。
3. 請求項１〜２のいずれか一項に記載の画像処理装置であって、
   前記画像処理の内容とは、モザイク処理、塗りつぶし処理、および対象物に対する囲い込み処理が含まれていること
   を特徴とする画像処理装置。
4. 請求項１〜３のいずれか一項に記載の画像処理装置であって、
   前記記憶しているパターン画像情報の変更要求を受け付けて、前記記憶しているパターン画像情報を更新する手段を有すること
   を特徴とする画像処理装置。
5. 請求項１〜４のいずれか一項に記載の画像処理装置であって、
   前記画像処理を行う手段は、
   前記画像情報の前記位置情報が示す位置に対して該位置情報に対応付けられている処理情報が示す画像処理を行うこと
   を特徴とする画像処理装置。
6. １台以上の撮像装置と、該撮像装置にネットワークを介して接続されている画像処理装置とを有する画像処理システムであって、
   前記撮像装置は、
   監視対象物を撮像して、該撮像した画像情報を前記ネットワークを介して前記画像処理装置に送信する手段を有し、
   前記画像処理装置は、
   表示装置と、
   記憶装置と、
   前記撮像装置が送信した画像情報を受信する手段と、
   利用者からの画像処理を行うか否かの設定を受け付ける手段と、
   画像処理を行う対象物を示すパターン画像ごとに、利用者の権限に応じた画像処理の内容を示す処理情報を対応付けたパターン画像情報を前記記憶装置に記憶させる手段と、
   前記受信した画像情報に前記記憶装置が記憶しているパターン画像と一致する画像が含まれているか否かを判定する手段と、
   前記パターン画像と一致する画像が含まれている場合、前記画像情報の中の該パターン画像と一致する画像の位置を算出し、該画像情報を識別する識別情報を作成し、かつ算出した位置を示す位置情報ごとに該パターン画像に対応付けられている処理情報および該識別情報を関連づけた画像処理データを作成する手段と、
   前記画像処理を行う設定を受け付けている場合、前記受信した画像情報を識別する識別情報が含まれている画像処理データの位置情報および処理情報を用いて、該取得した画像情報に対する前記利用者の権限に応じた画像処理を行う手段と、
   前記画像処理を行う設定を受け付けている場合、前記利用者の権限に応じた画像処理が行われた画像情報を前記表示装置に表示させ、前記画像処理を行わない設定を受け付けている場合、画像処理を行うことなく前記受信した画像情報を前記表示装置に表示させる手段とを有すること
   を特徴とする画像処理システム。

Images