JP6202283B2 - 事件映像処理装置、事件映像処理システム、事件映像処理方法、及びプログラム - Google Patents

Description

本発明は、例えば警察署等において取り扱う事件の映像データを処理する事件映像処理装置、事件映像処理システム、事件映像処理方法、及びプログラムに関する。

例えば、警察署等において、事件に関連する映像データを管理し、証拠等に利用する事件映像管理システムが検討され、導入されつつある。事件映像管理システムは、警察署において用いる場合、事件現場等において撮影された映像データをサーバに蓄積し、後で検索、再生等が容易にできるように管理する機能を有する。事件関連の映像は、パトカーに搭載した車載カメラ、屋外や屋内の各所に設置された監視カメラ、警察官が身に着けたウェアラブルカメラなどによって撮影され、事件映像管理システムのサーバに転送されて保存される。

事件関連の映像は、該当事件に関係の無い人物が撮影されている場合があり、このような無関係な不特定人物のプライバシを保護するために、顔などをマスク処理して人物の特定を困難にすることが望まれる。

マスク処理の従来例として、例えば特許文献１には、画像中の人物に適切にマスク処理を施すことが可能な画像処理装置及び画像処理方法が開示されている。この従来例の画像処理装置では、画像データを解析し、画像中から人物の両目を検出した後、両目を結ぶ直線の傾きに基づいて、略矩形形状のマスクの傾きを決定し、人物の顔面中の目の部分に略矩形形状のマスク処理を施す構成を有している。

特開２００９−２７８３２５号公報

前記従来例のような画像処理装置では、処理対象の人物に対して、適切にマスク処理を施すことは可能であるが、処理対象の決定については考慮されていない。このため、事件関連の映像データにおけるプライバシ保護を目的とした場合、無関係の人物などの必要な対象に対してマスク処理が施されないことがあるなどの課題が生じる。

本発明は、上述した課題を解決するために、映像データ中の必要な対象に対して適切なマスク処理が可能であり、プライバシ保護の機能を向上できる事件映像処理装置、事件映像処理システム、事件映像処理方法、及びプログラムを提供することを目的とする。

本発明は、プロセッサとメモリとを含み、事件に関連する映像データの画像処理を行う事件映像処理装置であって、前記プロセッサは、前記メモリと協働して、事件映像管理システムのストレージに記録された処理対象の映像データを入力し、前記映像データの画像内に含まれる人物の顔領域を検出し、検出された前記顔領域をマスク対象領域としてマスク対象枠を生成して前記顔領域に対応付けて表示し、表示された前記マスク対象枠が示す前記顔領域について、マスク対象外を選択するユーザ指示が入力されたかを判定し、前記ユーザ指示により選択された前記顔領域をマスク対象から除外してマスク対象外の領域として前記メモリに登録するとともに、前記マスク対象外とした前記顔領域内の顔の特性データを前記メモリに登録し、前記ユーザ指示により選択されなかった前記顔領域に対してのみマスク処理を実行し、前記マスク処理を含む画像処理を施した映像データを出力する、事件映像処理装置である。

また、本発明は、事件に関連する映像データの画像処理を行う事件映像処理装置における事件映像処理方法であって、事件映像管理システムのストレージに記録された処理対象の映像データを入力し、前記映像データの画像内に含まれる人物の顔領域を検出し、検出された前記顔領域をマスク対象領域としてマスク対象枠を生成して前記顔領域に対応付けて表示し、表示された前記マスク対象枠が示す前記顔領域について、マスク対象外を選択するユーザ指示が入力されたかを判定し、前記ユーザ指示により選択された前記顔領域をマスク対象から除外してマスク対象外の領域としてメモリに登録するとともに、マスク対象外とした前記顔領域内の顔の特性データを前記メモリに登録し、前記ユーザ指示により選択されなかった前記顔領域に対してのみマスク処理を実行し、前記マスク処理を含む画像処理を施した映像データを出力する、事件映像処理方法である。

また、本発明は、事件に関連する映像データの画像処理を行うコンピュータである事件映像処理装置に、事件映像管理システムのストレージに記録された処理対象の映像データを入力し、前記映像データの画像内に含まれる人物の顔領域を検出し、検出された前記顔領域をマスク対象領域としてマスク対象枠を生成して前記顔領域に対応付けて表示し、表示された前記マスク対象枠が示す前記顔領域について、マスク対象外を選択するユーザ指示が入力されたかを判定し、前記ユーザ指示により選択された前記顔領域をマスク対象から除外してマスク対象外の領域としてメモリに登録するとともに、マスク対象外とした前記顔領域内の顔の特性データを前記メモリに登録し、前記ユーザ指示により選択されなかった前記顔領域に対してのみマスク処理を実行し、前記マスク処理を含む画像処理を施した映像データを出力する、それぞれの処理を実現させるための、プログラムである。

本発明によれば、映像データ中の必要な対象に対して適切なマスク処理が可能であり、プライバシ保護の機能を向上させることができる。

本実施形態に係る事件映像処理システム全体の概略構成を示す図 事件映像処理装置と事件映像管理システムとの連携の第１例を示す図 事件映像処理装置と事件映像管理システムとの連携の第２例を示す図 事件映像処理装置の内部構成の一例を示すブロック図 事件映像処理装置の機能構成の第１例を示すブロック図 事件映像処理装置の機能構成の第２例を示すブロック図 本実施形態に係る事件映像編集処理の一例を説明する図 本実施形態に係る事件映像編集処理の手順の一例を示すフローチャート 映像読み込み処理の手順の一例を示すフローチャート 映像データの１フレーム目の対象決定・マスク処理の手順の一例を示すフローチャート 映像データの２フレーム目以降の対象追従・マスク処理の手順の一例を示すフローチャート 映像変換処理の手順の一例を示すフローチャート 事件映像編集処理に関するログデータの一例を示す図 事件番号と映像データとの対応の一例を示す図 事件映像の映像管理データの一例を示す図 ログデータと映像管理データとの対応の一例を示す図

以下、適宜図面を参照しながら、本発明に係る事件映像処理装置、事件映像処理システム、事件映像処理方法、及びプログラムを具体的に開示した実施形態（以下、「本実施形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（事件映像処理システムの概略構成）
先ず、本実施形態の事件映像処理装置を含む事件映像処理システムの構成について、図１を参照して説明する。図１は、本実施形態に係る事件映像処理システム全体の概略構成を示す図である。以下の説明では、本実施形態に係る事件映像処理装置及び事件映像処理システムを警察署において用いる場合の構成、動作の一例について示す。なお、事件映像処理システムは、警察署に限らず、他の行政機関、事業体などにおいて用いることも可能である。

事件映像処理装置１００は、事件映像管理システム２００と連携して動作し、事件に関連する映像データの処理を行う事件映像処理システムを構成する。事件映像管理システム２００は、パトカーに搭載した車載カメラ、屋外や屋内の各所に設置された監視カメラ、警察官が身に着けたウェアラブルカメラなどによって撮影された事件関連の映像データ（以下、「事件映像データ」とも称する）をストレージに蓄積し、映像管理データと共に記録して事件映像を管理する。事件映像管理システム２００は、警察署内又は外部の管理下にあるサーバ及びコンピュータによって構築される、警察署の事件映像記録に関するバックエンドシステムである。事件映像管理システム２００は、事件に関連する映像をデータベースにて管理し、証拠等に利用するために用いられる。事件関連の映像データは、事件現場、警察署内等において撮影された映像データであって、事件発生時の現場の様子を撮影した映像、事件に関連する容疑者等の人物の行動を撮影した映像、警察官による容疑者の尋問、逮捕、移送、取り調べ等の様子を撮影した映像などが含まれる。

事件映像処理装置１００は、事件映像管理システム２００から事件関連の映像データを読み出して人物の特定を困難にするマスク処理を含む映像編集処理を実行し、編集映像データ５０として出力する。事件映像処理装置１００は、警察署内などに設けられたパーソナルコンピュータ（ＰＣ）等のコンピュータによって構成される。事件映像処理装置１００は、映像編集処理に関するログデータ６０を生成し、編集映像データ５０とログデータ６０とを関連付けた状態で事件映像管理システム２００に出力して保存する。このように、事件映像処理装置１００は、映像編集処理を行う機能を有するとともに、映像編集処理に関するログデータを生成する機能を有し、事件映像ログデータ生成装置としても動作する。

図２は、事件映像処理装置と事件映像管理システムとの連携の第１例を示す図である。第１例は、事件映像処理装置１００が事件映像管理システム２００と直接連携する場合の構成例である。事件映像管理システム２００は、事件関連の映像データに用いる独自フォーマットの映像データ（独自フォーマットコンテンツ）２１と、映像データ２１に関連する映像管理データ２２とを蓄積したデータベースを有する。映像管理データ２２には、それぞれの映像データ２１に対して、記録日時、記録場所、記録者、記録装置、映像の属性情報、映像データファイル名、対応する事件の事件番号、容疑者、保存期間などの関連する情報が含まれる。事件映像処理装置１００は、独自フォーマットの映像データ２１についてマスク処理を含む映像編集処理を実行し、編集映像データ５０とログデータ６０とを生成して出力する。編集映像データ５０は、独自フォーマットのまま編集して出力してもよいし、ＭＰ４などの汎用フォーマットの映像データに変換して出力してもよい。

図３は、事件映像処理装置と事件映像管理システムとの連携の第２例を示す図である。第２例は、事件映像処理装置１００がメディア資産管理（ＭＡＭ：Media Asset Management）システム３００を介して事件映像管理システム２００と連携する場合の構成例である。メディア資産管理システム３００は、主に放送局等の大量のコンテンツを取り扱う組織において用いられている映像データ等のデジタル資産管理システムである。ここでは、メディア資産管理システム３００として、警察署内又は外部の管理下にあるサーバ及びコンピュータによって構築され、映像データの編集支援、及び編集した映像データ（編集コンテンツ）の管理を行うものを想定する。メディア資産管理システム３００には、映像データが画像編集に適したフォーマット（ＭＰ４などの汎用フォーマット）で記録される。メディア資産管理システム３００は、事件関連の映像データを編集した映像データ（編集コンテンツ）３１と、映像データ３１に関連する映像管理データ３２とを蓄積したデータベースを有する。事件映像処理装置１００は、事件映像管理システム２００からメディア資産管理システム３００を介して読み込んだ映像データ３１について、マスク処理を含む映像編集処理を実行し、編集映像データ５０とログデータ６０とを生成して出力する。編集映像データ５０は、汎用フォーマットにて編集して出力してもよいし、元の独自フォーマットの映像データに変換して出力してもよい。

（事件映像処理装置の構成）
図４は、事件映像処理装置の内部構成の一例を示すブロック図である。事件映像処理装置（事件映像ログデータ生成装置）１００は、事件映像データに関する各種データ処理、及びこれらの処理の制御を行うパーソナルコンピュータ（ＰＣ）等のコンピュータにより構成され、コンピュータにおいて所定のソフトウェアプログラムを実行することによって機能が実現される。事件映像処理装置１００は、プロセッサとしてのＣＰＵ（Central Processing Unit）１０１、主記憶装置としてのメモリ１０２、外部装置と通信を行う通信部１０３、データの入出力を制御するＩ／Ｏ制御部１０４を有する。また、事件映像処理装置１００は、アプリケーションの実行画面及び映像データの再生画面を表示する液晶表示装置等による表示デバイス１０５、ユーザの指示操作を入力するキーボード、マウス、タッチパネル等による入力デバイス１０６を有する。通信部１０３は、有線ネットワーク又は無線ネットワーク等の通信経路を介して事件映像管理システム２００のサーバ２５０との間で有線又は無線による通信を行い、事件映像データ、ログデータを含む映像管理データを送受信する。事件映像管理システム２００のサーバ２５０は、事件映像データ及び映像管理データを記録するデータ記録デバイスであるストレージを含む。

図５は、事件映像処理装置の機能構成の第１例を示すブロック図である。図５では、図４に示した事件映像処理装置１００のＣＰＵ１０１とメモリ１０２とが協働して所定のソフトウェアプログラムを実行することによって実現される機能を模式的に示している。事件映像処理装置１００は、映像入力部１５１、デコーダ部１５２、画像処理部１５３、対象管理部１５４、対象追跡部１５５、顔検出部１５６、顔照合部１５７、操作入力部１５９、ログ生成部１６０、エンコーダ部１６１、映像出力部１６２を有する。

映像入力部１５１は、事件映像管理システム２００のサーバ２５０から読み出した事件映像データを処理対象の映像データとして入力し、デコーダ部１５２に受け渡す。デコーダ部１５２は、入力した処理対象の映像データをデコードし、画像処理が可能な１フレームごとの静止画の画像データを生成する。画像処理部１５３は、処理対象の静止画の画像データに対して、人物の特定を困難にするマスク処理を含む画像処理を実行する。

顔検出部１５６は、画像内に含まれる人物の顔領域を検出し、検出した顔領域の座標データを出力する。顔照合部１５７は、顔検出部１５６にて検出された顔領域について、登録された顔照合データと比較して顔特性が一致するかどうかを判定する。顔照合データには、マスク対象外とする人物（ここでは容疑者）の顔特性を登録して用いる。対象追跡部１５５は、前のフレームの画像データにおいてマスク処理を施したマスク対象の領域を探索し、フレーム間でマスク対象を追跡する。

対象管理部１５４は、画像データ中のマスク対象及びマスク対象外の各領域に関する対象管理データを生成、更新し、マスク処理を行うマスク対象の領域とマスク処理を行わないマスク対象外の領域とをそれぞれ管理する。この際、対象管理部１５４は、顔検出部１５６にて検出された顔領域をマスク対象として登録し、操作入力部１５９からの操作入力のユーザ指示によって指定された顔領域をマスク対象外としてマスク対象から除外する。また、対象管理部１５４は、操作入力部１５９からの操作入力のユーザ指示によって指定された追加のマスク対象の領域を登録する。

操作入力部１５９は、キーボード、マウス、タッチパネル等による入力デバイス１０６からのユーザの操作入力を入力し、操作入力に対応するユーザ指示を対象管理部１５４、ログ生成部１６０、エンコーダ部１６１に送る。

エンコーダ部１６１は、画像処理部１５３によるマスク処理を含む画像処理を施した画像データを、指定されたフォーマットの映像データにエンコードする。映像出力部１６２は、エンコーダ部１６１から出力される映像データを、映像編集処理後の事件映像データとして出力する。映像編集処理後の事件映像データは、事件映像管理システム２００のサーバ２５０に送られて記録される。また、必要に応じて、映像編集処理後の事件映像データは、ＤＶＤ、メモリカード等の記録媒体に保存され、裁判の証拠映像等のために利用される。事件映像データを裁判の証拠映像に利用する場合、法廷により指定されるフォーマットに映像データを変換して出力する。

ログ生成部１６０は、上記の映像データ読み込み、マスク対象及びマスク対象外の登録、マスク処理、映像データ変換等を含む一連の事件映像データの編集処理に関して、各処理の履歴（chain of custody）を示すログデータを生成する。ログデータは、事件映像管理システム２００において事件映像データと関連付けて保存され、事件映像データの利用時に適宜出力されて参照される。

図６は、事件映像処理装置の機能構成の第２例を示すブロック図である。第２例は第１例の変形例であり、画像内に存在するマスク対象外となる人物を検出する対象外検出部１５８を有する点が第１例と異なる。その他は第１例と同様である。

対象外検出部１５８は、画像データ中のバーコード、カラービット（登録商標）などの識別コードを認識し、マスク対象外とする人物（ここでは容疑者）を検出する。これにより、操作入力部１５９からのユーザ指示の代わりに、画像内にあるマスク対象外を検出して自動的にマスク対象外の領域を決定して登録する。例えば、警察署内で容疑者を撮影する場合などは、容疑者の体、衣服等に識別コードを付与して撮影することにより、映像データにおいて容疑者を容易に特定することができる。この場合、事件映像処理装置における処理負荷を増大させることなく、マスク対象外の登録、追跡のユーザ操作を簡略化できる。なお、マスク対象外とする容疑者を特定する他の例として、警察署の容疑者データベースを利用して容疑者の正面顔や横顔の顔特性情報を取得し、画像データにおいてマスク対象外とする容疑者の判定を行って登録することも可能である。

（事件映像編集処理の概略説明）
図７は、本実施形態に係る事件映像編集処理の一例を説明する図である。事件映像処理装置１００は、事件映像処理システムのアプリケーションとして、事件映像管理システム２００のクライアントアプリケーションである事件映像管理アプリケーションをＣＰＵ１０１及びメモリ１０２によって実行し、事件映像データのリストを表示デバイス１０５に表示する。次に、事件映像処理装置１００は、編集担当の警察官等のユーザからの選択操作を入力デバイス１０６より入力し、事件映像データのリストから編集処理を施す処理対象の事件映像データをユーザ指示に従って選択する。そして、事件映像処理装置１００は、事件映像処理システムのアプリケーションとして、映像編集アプリケーションをＣＰＵ１０１及びメモリ１０２によって起動し、事件映像編集処理として以下のようなマスク処理を映像データに対して実行する。

（１）映像読み込み
事件映像処理装置１００は、事件映像管理システム２００又はメディア資産管理システム３００から処理対象の事件映像データを入力し、入力した映像データをデコードしてマスク処理を行うフレームの静止画の画像データを生成し、表示デバイス１０５に処理対象の画像を表示する。

（２）顔検出
事件映像処理装置１００は、画像データに含まれる人物の顔領域を検出し、顔領域に対応するマスク対象枠１２１を生成して処理対象の画像中に表示する。また、事件映像処理装置１００は、検出した顔領域をマスク対象として登録する。マスク対象枠１２１は、人物の顔を検出したことをユーザが容易に認識できるようにするものであり、顔の付近に枠又はマークを付加して表示する。マスク対象枠１２１は、四角形枠、楕円枠、矢印のようなマークで表示してもよく、或いは、映像から検出した顔の部分だけを切り取り、映像と並行して別個に一覧表示するようにしてもよい。
なお、顔検出処理としては、顔検出する際に、下記の参考特許文献１、２に記載された人物検出技術を使用し、画像内の対象を人物として検出した上で、さらに人物の顔領域を検出する構成でもよい。
［参考特許文献１］特開２０１３−３０１０４号公報（米国特許出願公開第２０１４／０１６４４１３号明細書）
［参考特許文献２］国際公開第２０１３／１３２８３６号（米国特許出願公開第２０１５／００１６６８４号明細書）

（３）マスク対象外（容疑者）を指定
事件映像処理装置１００は、ユーザからのマスク対象外指定操作を入力デバイス１０６より入力し、指定領域（容疑者の顔領域）に対応するマスク対象外枠１２２を生成して処理対象の画像中に表示する。また、事件映像処理装置１００は、ユーザにより指定された顔領域をマスク対象外としてマスク対象から除外し、マスク対象外の顔特性を顔照合データとして登録する。

（４）指定以外をマスク処理
事件映像処理装置１００は、マスク対象の顔領域（マスク対象枠１２１）のマスク処理を行う。本実施形態では、基本的に、画像中の検出した顔領域を全てマスク対象としてマスク処理を行う。例外として、ユーザ指示により指定された容疑者の顔領域をマスク対象外としてマスク処理を行わないようにする。なお、マスク処理としては、人物の顔などの対象領域において、塗りつぶし、ぼかし、網掛け、変形、モザイク処理など、種々の画像加工処理が含まれる。

（５）マスク対象を追加指定
事件映像処理装置１００は、ユーザからのマスク対象の追加指定操作を入力デバイス１０６より入力し、指定領域（追加のマスク対象顔領域）に対応するマスク対象枠１２３を生成して処理対象の画像中に表示する。また、事件映像処理装置１００は、追加指定された領域をマスク対象として登録する。その後、事件映像処理装置１００は、追加指定されたマスク対象の顔領域（マスク対象枠１２３）のマスク処理を行う。

処理対象の映像データの以降のフレームについて、事件映像処理装置１００は、マスク対象／マスク対象外の領域を追跡し、マスク対象のマスク処理を行う。事件映像処理装置１００は、マスク対象／マスク対象外の領域の追跡、或いは画像中の顔検出に失敗した場合、ユーザからの操作入力に対応するユーザ指示に従ってマスク対象／マスク対象外の領域を再設定する。

（事件映像編集処理の各処理）
次に、本実施形態の事件映像処理装置１００による事件映像編集処理の具体例を詳細に説明する。図８は、本実施形態に係る事件映像編集処理の手順の一例を示すフローチャートである。

事件映像処理装置１００は、事件映像管理システム２００から処理対象の事件映像データを読み込む映像読み込み処理を行う（ステップＳ１）。このとき、事件映像処理装置１００の映像入力部１５１により、事件映像管理システム２００から処理対象の事件映像データを入力する。

次に、事件映像処理装置１００は、１フレーム目の画像について、マスク対象及びマスク対象外の決定とマスク対象へのマスク処理を行う（ステップＳ２）。このとき、事件映像処理装置１００のデコーダ部１５２により、入力した映像データをデコードして編集処理を行うフレームの静止画の画像データを生成する。そして、顔検出部１５６により画像データに含まれる人物の顔領域を検出し、検出した顔領域を対象管理部１５４においてマスク対象として登録する。また、操作入力部１５９によりユーザからのマスク対象外指定操作を入力し、指定領域を対象管理部１５４においてマスク対象外としてマスク対象から除外する。また、顔照合部１５７においてマスク対象外の顔特性の顔照合データを登録する。そして、画像処理部１５３によりマスク対象の顔領域のマスク処理を行う。

そして、事件映像処理装置１００は、２フレーム目以降の画像について、マスク対象及びマスク対象外の追従とマスク対象へのマスク処理を行う（ステップＳ３）。このとき、事件映像処理装置１００の対象管理部１５４、顔検出部１５６及び顔照合部１５７により、画像中の顔領域の検出、マスク対象の追従、マスク対象外の追従及び顔照合を行い、マスク対象及びマスク対象外の領域をそれぞれ捕捉する。そして、画像処理部１５３によりマスク対象の顔領域のマスク処理を行う。

映像データの各フレームのマスク処理が終了すると、事件映像処理装置１００は、処理後の映像データに対する所定フォーマットへの映像変換処理を行う（ステップＳ４）。このとき、事件映像処理装置１００のエンコーダ部１６１により、編集処理後の各フレームの画像データをエンコードして所定のフォーマットの映像データを生成し、映像出力部１６２により、事件映像管理システム２００等に出力する。

上記の事件映像編集処理において、事件映像処理装置１００は、各処理の履歴をログデータに記録する。

図９は、映像読み込み処理の手順の一例を示すフローチャートである。図９は、図８における映像読み込み処理（Ｓ１）の詳細を示すものである。

事件映像処理装置１００の操作入力部１５９は、事件映像管理アプリケーションの起動中に、ユーザからの編集対象の映像データの選択操作を入力する（ステップＳ１０１）。編集対象の映像データ選択入力を受けると、画像処理部１５３は、映像編集アプリケーションを起動し、編集処理を開始する（ステップＳ１０２）。以下、事件映像処理装置１００において映像編集アプリケーションの各機能が実行される。初めに、映像入力部１５１は、事件映像管理システム２００又はメディア資産管理システム３００から処理対象の映像データを入力して読み込む（ステップＳ１０３）。

ここで、ログ生成部１６０は、事件映像管理システム２００において処理対象映像データのログデータを既に保持しているかを判定し（ステップＳ１０４）、保持している場合は事件映像管理システム２００からログデータを読み込む（ステップＳ１０５）。ログデータを保持していない場合、ログ生成部１６０は、処理対象の映像データに関するログデータを新たに生成する。そして、ログ生成部１６０は、処理対象の映像データの読み込みをログとしてログデータに追加し記録する（ステップＳ１０６）。映像データの入力の履歴としては、映像データのファイル名、読み込み日時などを記録し、対応する事件の事件番号などの映像管理データを合わせて記録してもよい。また、映像編集アプリケーションの起動、編集操作を行うユーザのログインなどのイベントをログとしてログデータに記録してもよい。

なお、処理対象の映像データは、事件映像管理システム２００に保存されている各映像ファイルの映像データ全体を読み込んで編集処理を行ってもよいし、特定のシーンの時間帯や画像内の特定の領域など、映像データの一部を切り出して必要な部分のみを読み込んで編集処理を行ってもよい。この場合、映像データの一部を切り出したこと、切り出した位置の情報をログデータに記録する。

図１０は、映像データの１フレーム目の対象決定・マスク処理の手順の一例を示すフローチャートである。図１０は、図８における対象決定・マスク処理（１フレーム目）（Ｓ２）の詳細を示すものである。

事件映像処理装置１００のデコーダ部１５２は、入力した処理対象の映像データをデコードして１フレーム目の画像データを生成する（ステップＳ２０１）。そして、顔検出部１５６は、１フレーム目の画像データについて、画像内の人物の顔領域を検出して顔領域の座標データを出力する（ステップＳ２０２）。対象管理部１５４は、検出した顔領域の座標データをマスク対象として対象管理データに登録する（ステップＳ２０３）。また、画像処理部１５３は、マスク対象領域を示すマスク対象枠１２１を生成して処理対象の画像中に表示する（ステップＳ２０４）。

次に、対象管理部１５４は、検出した顔領域について、マスク対象外（容疑者の顔領域）を選択するユーザ指示が操作入力部１５９より入力されたかを判定する（ステップＳ２０５）。マスク対象外の選択入力がなされた場合、対象管理部１５４は、選択された顔領域をマスク対象から除外し、これをマスク対象外とするよう対象管理データを更新する（ステップＳ２０６）。また、顔照合部１５７は、マスク対象外とした顔特性を顔照合データに登録する（ステップＳ２０７）。ログ生成部１６０は、マスク対象外とした領域の座標データをマスク対象外の履歴としてログデータに追加し記録する（ステップＳ２０８）。また、画像処理部１５３は、マスク対象外の指定領域を示すマスク対象外枠１２２を生成して画像中に表示する。

このとき、ユーザの目視により容疑者の顔の判別、選択がなされた場合、ユーザによる選択操作をログデータに記録する。また、容疑者名などの容疑者情報を事件映像管理システム２００から取得し、容疑者一覧からユーザが容疑者を選択した場合、容疑者情報の選択操作をログデータに記録する。この場合、例えば図７に示した処理対象の画像の表示画面において、当該事件に対応する容疑者名などの容疑者情報を、マスク対象外枠１２２の近傍等の任意の位置にポップアップ表示し、複数の容疑者候補からユーザに容疑者を選択させる処理を行ってもよい。また、容疑者情報として、容疑者の顔写真などの顔特性を取得し、選択候補を示す画面に容疑者名と共に表示してもよい。

次に、画像処理部１５３は、マスク対象領域のマスク処理を実行する（ステップＳ２０９）。マスク処理としては、対象領域の塗りつぶし、ぼかし、網掛け、変形、モザイク処理など、種々の画像加工処理を適用できる。そして、ログ生成部１６０は、マスク処理した領域の座標データをマスク対象の履歴としてログデータに追加し記録する（ステップＳ２１０）。このようにして、画像データにおいて顔検出によってマスク対象を自動抽出し、マスク処理を行うとともに、ユーザ操作により指定された顔領域をマスク対象外としてマスク処理から除外する。

その後、対象管理部１５４は、追加のマスク対象を指定するユーザ指示が操作入力部１５９より入力されたかを判定する（ステップＳ２１１）。画像データにおいては、横や下を向いた顔など、顔検出部１５６により顔検出が正しくできない場合がある。このような場合、ユーザが処理対象画像の表示画面を目視して追加のマスク対象を認識し、入力デバイス１０６を用いてマスク対象に加える領域の指示操作を行う。

追加のマスク対象の指定入力がなされた場合、対象管理部１５４は、指定された領域の座標データをマスク対象とし、対象管理データに追加登録する（ステップＳ２１２）。また、画像処理部１５３は、追加指定されたマスク対象領域を示すマスク対象枠１２３を生成して画像中に表示する。そして、画像処理部１５３は、追加のマスク対象領域のマスク処理を実行し（ステップＳ２１３）、ログ生成部１６０は、追加でマスク処理した領域の座標データをマスク対象の履歴としてログデータに追加し記録する（ステップＳ２１４）。

なお、顔検出部１５６により顔以外のものが誤って顔検出された場合、ユーザが目視でマスク除外対象を認識し、入力デバイス１０６を用いてマスク対象から除外する領域の指示操作を行ってもよい。この場合、対象管理部１５４及び画像処理部１５３は、指定された領域をマスク対象から除外し、マスク処理の解除を行う。或いは、上記とは反対に、マスク処理を顔検出に基づく人物の顔領域に対して行うだけでなく、顔以外の物（衣服、持ち物等を含む）に対してマスク処理を行ってもよい。

マスク処理が終了すると、画像処理部１５３は、１フレーム目の画像をマスク処理後の画像データに更新する（ステップＳ２１５）。

図１１は、映像データの２フレーム目以降の対象追従・マスク処理の手順の一例を示すフローチャートである。図１１は、図８における対象追従・マスク処理（２フレーム目以降）（Ｓ３）の詳細を示すものである。

事件映像処理装置１００のデコーダ部１５２は、処理対象の映像データをデコードして次フレームの画像データを生成する（ステップＳ３０１）。そして、顔検出部１５６は、次フレームの画像データについて、画像内の人物の顔領域を検出して顔領域の座標データを出力する（ステップＳ３０２）。対象管理部１５４は、検出した顔領域の座標データから、対象管理データに登録された前フレームのマスク対象を探索する（ステップＳ３０３）。この場合、検出した顔領域について、前フレームとの差分に基づき、同一座標または近傍の座標から前フレームのマスク対象に対応する顔領域を探索する。

そして、対象管理部１５４において、マスク対象の探索の結果、マスク対象を発見しない場合（ステップＳ３０４、Ｎｏ）、対象管理部１５４は、探索領域を広げるか、又は顔検出部１５６による顔検出の強度を上げてマスク対象を再探索する（ステップＳ３０５）。

対象管理部１５４によるマスク対象の探索の結果、マスク対象を発見した場合（ステップＳ３０４、Ｙｅｓ）、顔照合部１５７は、登録した顔照合データを用いて、前フレームでマスク対象外とした顔領域であるかを判定する（ステップＳ３０６）。ここで、顔照合部１５７による顔照合の結果、マスク対象外とした容疑者の顔特性と一致する場合（ステップＳ３０７、Ｙｅｓ）、対象管理部１５４は、探索領域を広げるか、又は顔検出部１５６による顔検出の強度を上げてマスク対象を再探索する（ステップＳ３０５）。

また、顔照合部１５７による顔照合の結果、マスク対象外とした容疑者の顔特性と一致しない場合（ステップＳ３０７、Ｎｏ）、対象管理部１５４は、マスク対象外と一致しない顔領域の座標データをマスク対象として認識し、対象管理データを更新する（ステップＳ３０８）。

次に、画像処理部１５３は、マスク対象領域のマスク処理を実行し（ステップＳ３０９）、ログ生成部１６０は、マスク処理した領域の座標データをマスク対象の履歴としてログデータに追加し記録する（ステップＳ３１０）。このようにして、２フレーム目以降の画像データにおいてマスク対象を自動追従し、ユーザ操作を介さずにマスク処理を行う。

その後、対象管理部１５４は、マスク対象の解除を指定するユーザ指示が操作入力部１５９より入力されたかを判定する（ステップＳ３１１）。顔照合部１５７による顔照合において、容疑者の顔領域であるのに顔照合が正常になされず、マスク対象としてマスク処理されてしまう場合がある。このような場合、ユーザが処理対象画像の表示画面を目視してマスク対象外の容疑者を認識し、入力デバイス１０６を用いて該当領域のマスク処理を解除する指示操作を行う。

マスク解除の指定入力がなされた場合、画像処理部１５３は、指定された解除対象領域のマスク処理を解除する（ステップＳ３１２）。また、対象管理部１５４は、指定された解除対象領域をマスク対象から除外し、これをマスク対象外とするよう対象管理データを更新する（ステップＳ３１３）。ログ生成部１６０は、指定領域をマスク対象から除外したことをマスク対象外の履歴としてログデータに追加し記録する（ステップＳ３１４）。

その後、対象管理部１５４は、追加のマスク対象を指定するユーザ指示が操作入力部１５９より入力されたかを判定する（ステップＳ３１５）。追加のマスク対象の指定入力がなされた場合、対象管理部１５４は、指定された領域の座標データをマスク対象とし、対象管理データに追加登録する（ステップＳ３１６）。そして、画像処理部１５３は、追加のマスク対象領域のマスク処理を実行し（ステップＳ３１７）、ログ生成部１６０は、追加でマスク処理した領域の座標データをマスク対象の履歴としてログデータに追加し記録する（ステップＳ３１８）。

マスク処理が終了すると、画像処理部１５３は、次フレームの画像をマスク処理後の画像データに更新する（ステップＳ３１９）。以上の処理を、２フレーム目以降の画像データについて、処理対象の映像データの最終フレームまで同様に繰り返し実行する。

図１２は、映像変換処理の手順の一例を示すフローチャートである。図１２は、図８における映像変換処理（Ｓ４）の詳細を示すものである。

事件映像処理装置１００の操作入力部１５９は、編集処理後の映像データについて、ユーザからの出力フォーマットの選択操作を入力する（ステップＳ４０１）。このとき、事件映像処理装置１００は、例えば映像データの出力フォーマットの選択画面を表示デバイス１０５に表示し、入力デバイス１０６からのユーザの操作入力を待つ。

映像データの出力フォーマットの選択入力を受けると、エンコーダ部１６１は、画像処理部１５３により編集処理が施された画像データを、指定されたフォーマットに合わせてエンコードする（ステップＳ４０２）。そして、エンコーダ部１６１は、指定されたフォーマットの映像データを生成することにより、映像変換を行う（ステップＳ４０３）。また、ログ生成部１６０は、指定フォーマットで映像データを再生成したことを映像変換の履歴としてログデータに追加し記録する（ステップＳ４０４）。その後、映像出力部１６２は、事件映像管理システム２００又はメディア資産管理システム３００に映像編集処理後の事件映像データとして出力する。

なお、上記処理例では、処理対象の映像データについて、マスク処理及びログ生成を含む一通りの処理が終了してからエンコードするようになっているが、所定のフレーム数のマスク処理が完了したらバックグラウンドで自動的にエンコード処理するようにしてもよい。これにより、映像変換処理の負荷を軽減できる。

（ログデータ生成処理）
次に、事件映像処理装置１００のログ生成部１６０によるログデータ生成処理について、具体例を挙げて説明する。図１３は、事件映像編集処理に関するログデータの一例を示す図である。

事件映像処理装置１００は、事件映像ログデータ生成装置として、事件映像データの編集処理に関する個々の処理の履歴を記録するため、例えば図１３のようなログデータを生成する。

図１３の例では、映像編集アプリケーションの起動からマスク処理の実行までの各処理について、実行した時刻、実行ユーザ名、処理の内容を含むログを示している。この場合、事件映像処理システム（System X）のアプリケーション（映像編集アプリケーション）の起動、アプリケーションへのユーザのログイン成功、編集対象の事件映像データのファイル名（xxxxx.av3）とその読み込み、入力映像データに対応する事件番号（12345-5555）、入力映像データに対応する容疑者情報としての容疑者名（Jiro Yougisha）、などがログデータに記録される。

また、編集対象の映像データのフレーム番号（60）、容疑者名及び対応するマスク対象外領域（マスク対象外枠）の座標と大きさ（x:280,y:300 ROI 40,64）の指定、マスク対象領域（マスク対象枠）の座標と大きさ（x:240,y:100 ROI 30,56など）の指定、マスク対象領域のマスク処理の実行、などがログデータに記録される。

本実施形態では、ユーザ選択による処理対象の映像データの読み込み、ユーザ指定によるマスク対象外領域の設定、ユーザ指定による追加のマスク対象領域の設定など、映像選択やマスク対象／マスク対象外の領域の補正等に関するユーザ（編集者）の行為をログデータに記録し、編集履歴に残すようにする。これにより、ユーザが適切に容疑者を認識し、マスク対象外として選択したことをログデータに記録でき、適切なマスク処理がなされているかを後で確認できる。また、顔検出に基づくマスク対象領域の設定、マスク対象領域のマスク処理など、映像編集アプリケーションが映像データに対して実行した各種処理をログデータに記録する。また、容疑者名などの容疑者情報を事件映像管理システム２００から取得した場合は、映像データのファイル名などと合わせてログデータに記録する。

事件映像処理装置１００は、生成されたログデータを事件映像管理システム２００に出力し、事件映像管理システム２００のデータベースに事件映像データとログデータとを関連付けて保存する。

図１４は、事件番号と映像データとの対応の一例を示す図である。事件映像管理システム２００では、個々の事件に対して事件番号が割り振られ、特定の事件番号に対して、対応する映像データ（映像１〜５）が紐付けられて保存される。また、容疑者の情報を合わせて記録する場合は、事件番号に対応する容疑者情報（容疑者Ａ〜Ｃ）が紐付けられて記録される。

図１５は、事件映像の映像管理データの一例を示す図である。映像管理データは、事件番号、容疑者名、保存期間、映像データファイル名などの管理情報を含み、事件映像管理システム２００において、映像データと関連付けて保存される。この映像管理データによって、特定の事件番号に対応する映像データ、容疑者、映像データの保存期間などの関連情報を容易に抽出可能となっている。

図１６は、ログデータと映像管理データとの対応の一例を示す図である。事件映像管理システム２００では、事件映像処理装置１００により生成したログデータを、映像管理データに含めて記録する。この場合、映像管理データは、図１５に示した映像管理データの項目に加えて、ログデータファイル名が含まれ、映像データと関連付けて保存される。

なお、事件映像処理装置１００における事件映像データの編集処理は、異なる複数の事件番号の映像データを連続して編集することも可能であるし、一つの事件番号の映像データを複数回にわたって編集することもできる。このため、図１６に示すように、事件Ａ（事件番号12345-5555）の映像データ（xxxx.av3）、事件Ｂ（事件番号99999-1111）の映像データ（yyyy.av3）、事件Ａ（事件番号12345-5555）の映像データ（zzzz.av3）を順に編集するような場合が想定される。この場合、各編集処理に関するログデータを、事件番号ごとに整理して記録する。これにより、事件ごとの映像データの編集履歴を容易に参照可能となる。

なお、映像管理データにおいて、例えば事件Ａに対して容疑者Ａと容疑者Ｂが登録されていたのに対し、実際に映像データの編集を行うと容疑者Ａのみしか確認できなかった場合、事件映像処理装置１００の映像編集アプリケーションによって容疑者情報を修正することも可能である。この場合、事件映像処理装置１００において修正した容疑者情報を事件映像管理システム２００の映像管理データに反映して容疑者情報の内容を更新し、この容疑者情報の修正処理の履歴をログデータに追記する。

このように、本実施形態では、編集対象の映像データについて、画像中の検出した顔領域を全てマスク対象とし、マスク対象のうち、ユーザ指示により指定された容疑者の顔領域をマスク対象外としてマスク対象から除外し、マスク対象のマスク処理を行う。本実施形態によれば、事件映像データにおいて、事件とは無関係の人物などの必要な対象に対しては、適切にマスク処理を行うことができ、プライバシ保護をより適切な形で実施できる。また、事件に関係する容疑者については、マスク処理を行わずにそのままの映像記録を保持でき、事件の証拠映像等に有効に利用できる。

また、本実施形態では、映像データ読み込み、マスク対象及びマスク対象外の登録、マスク処理、映像データ変換等を含む一連の事件映像データの編集処理に関して、各処理の履歴を示すログデータを生成し、事件映像管理システムにおいて事件映像データと関連付けて保存する。本実施形態によれば、映像データに対してマスク処理等の編集処理を行う場合に、各処理の履歴を適切に残すことができ、後で実行した処理の内容をログデータによって容易に確認できる。また、編集後の映像データを事件の証拠映像等に利用する場合に、ログデータを参照することによって、適切にプライバシ保護のための処理がなされたかどうか、容疑者を適切に判別してマスク対象外としたかどうかを判断できる。

以上のように、本実施形態の事件映像処理装置１００は、事件映像管理システム２００のストレージに記録された処理対象の映像データを映像入力部１５１が入力し、顔検出部１５６が映像データの画像内に含まれる人物の顔領域を検出し、対象管理部１５４が顔領域をマスク対象の領域として登録する。また、事件映像処理装置１００は、顔領域に関するユーザ指示を操作入力部１５９が入力し、対象管理部１５４がユーザ指示により指定された領域をマスク対象から除外してマスク対象外の領域として登録し、画像処理部１５３がマスク対象の領域のマスク処理を実行し、映像出力部１６２がマスク処理を含む画像処理を施した映像データを出力する。

これにより、顔領域の検出に基づきマスク対象を決定してマスク処理でき、また、ユーザ指示により指定された領域をマスク対象外としてマスク処理を行わないようにでき、マスク処理の処理対象を適切に設定できる。このため、事件映像データにおいて、必要な領域に適切にマスク処理を実行でき、プライバシ保護の機能を向上できる。また、マスク対象外の設定によって該当領域の原画像を保持でき、事件の証拠映像等に有効に利用可能となる。

また、本実施形態の事件映像処理装置１００では、顔検出部１５６が映像データのフレームごとに画像内に含まれる人物の顔領域を検出し、対象管理部１５４が以前のフレームにおいて登録されたマスク対象の領域を探索してマスク対象を追従し、顔照合部１５７が検出した顔領域についてマスク対象外の領域の顔特性と一致するか照合し、一致する場合はマスク対象外の領域としてマスク対象から除外する。これにより、映像データの複数のフレームにおいて、顔領域の検出に基づきマスク対象を追従できる。また、マスク対象外に設定した顔特性の顔照合によってマスク対象外の領域を追従できる。

また、本実施形態の事件映像処理装置１００では、マスク対象を追加するユーザ指示を操作入力部１５９が入力し、対象管理部１５４がユーザ指示により指定された領域を追加のマスク対象の領域として登録し、画像処理部１５３が追加の領域を含むマスク対象の領域のマスク処理を実行する。これにより、ユーザ指示による追加のマスク対象の指定を受け付けて必要な領域を適切にマスク処理可能にできる。

また、本実施形態の事件映像処理装置１００では、処理対象の映像データの画像を表示デバイス１０５に表示させ、画像中にマスク対象の領域を示すマスク対象枠１２１を表示させる。これにより、処理対象の画像において、人物の顔を検出したことをユーザが容易に認識可能となる。

また、本実施形態の事件映像処理装置１００では、顔検出部１５６が顔領域を検出する際に、映像データの画像内に含まれる人物を検出し、検出した人物から顔領域を検出し、顔領域を対象管理部１５４がマスク対象の領域とする。これにより、人物を検出した上でさらに顔を検出することによって、顔検出の精度を向上できる。

本実施形態の事件映像処理システムは、事件に関連する映像データと映像データに関する映像管理データとを記録するストレージを有する事件映像管理システム２００と、映像データの画像処理を行う事件映像処理装置１００とを有する。事件映像処理装置１００は、処理対象の映像データを映像入力部１５１が入力し、顔検出部１５６が映像データの画像内に含まれる人物の顔領域を検出し、対象管理部１５４が顔領域をマスク対象の領域として登録する。また、事件映像処理装置１００は、顔領域に関するユーザ指示を操作入力部１５９が入力し、対象管理部１５４がユーザ指示により指定された領域をマスク対象から除外してマスク対象外の領域として登録し、画像処理部１５３がマスク対象の領域のマスク処理を実行し、映像出力部１６２がマスク処理を含む画像処理を施した映像データを出力する。これにより、映像データ中の必要な対象に対して適切なマスク処理が可能になり、プライバシ保護の機能を向上できる。

以上、図面を参照して本発明に係る事件映像処理装置及び事件映像処理システムの実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。

本発明は、映像データ中の必要な対象に対して適切なマスク処理が可能であり、プライバシ保護の機能を向上できる事件映像処理装置、事件映像処理システム、事件映像処理方法、及びプログラム等として有用である。

２１、３１ 映像データ
２２、３２ 映像管理データ
５０ 編集映像データ
６０ ログデータ
１００ 事件映像処理装置（事件映像ログデータ生成装置）
１０１ ＣＰＵ
１０２ メモリ
１０３ 通信部
１０４ Ｉ／Ｏ制御部
１０５ 表示デバイス
１０６ 入力デバイス
１５１ 映像入力部
１５２ デコーダ部
１５３ 画像処理部
１５４ 対象管理部
１５５ 対象追跡部
１５６ 顔検出部
１５７ 顔照合部
１５８ 対象外検出部
１５９ 操作入力部
１６０ ログ生成部
１６１ エンコーダ部
１６２ 映像出力部
２００ 事件映像管理システム
２５０ サーバ
３００ メディア資産管理システム

Claims (5)

1. プロセッサとメモリとを含み、事件に関連する映像データの画像処理を行う事件映像処理装置であって、
   前記プロセッサは、前記メモリと協働して、
   事件映像管理システムのストレージに記録された処理対象の映像データを入力し、
   前記映像データの画像内に含まれる人物の顔領域を検出し、検出された前記顔領域をマスク対象領域としてマスク対象枠を生成して前記顔領域に対応付けて表示し、
   表示された前記マスク対象枠が示す前記顔領域について、マスク対象外を選択するユーザ指示が入力されたかを判定し、
   前記ユーザ指示により選択された前記顔領域をマスク対象から除外してマスク対象外の領域として前記メモリに登録するとともに、前記マスク対象外とした前記顔領域内の顔の特性データを前記メモリに登録し、
   前記ユーザ指示により選択されなかった前記顔領域に対してのみマスク処理を実行し、
   前記マスク処理を含む画像処理を施した映像データを出力する、
   事件映像処理装置。
2. 請求項１に記載の事件映像処理装置であって、
   前記プロセッサは、
   前記顔領域の検出において、前記映像データのフレームごとに画像内に含まれる人物の顔領域を検出し、
   以前のフレームにおいて登録された前記マスク対象の領域を探索してマスク対象を追従し、
   前記検出された顔領域内の顔の特性データが前記メモリに登録された前記顔の特性データと一致するか照合し、一致する場合は前記検出された顔領域をマスク対象外の領域としてマスク対象から除外する、
   事件映像処理装置。
3. 事件に関連する映像データの画像処理を行う事件映像管理装置における事件映像処理方法であって、
   事件映像管理システムのストレージに記録された処理対象の映像データを入力し、
   前記映像データの画像内に含まれる人物の顔領域を検出し、検出された前記顔領域をマスク対象領域としてマスク対象枠を生成して前記顔領域に対応付けて表示し、
   表示された前記マスク対象枠が示す前記顔領域について、マスク対象外を選択するユーザ指示が入力されたかを判定し、
   前記ユーザ指示により選択された前記顔領域をマスク対象から除外してマスク対象外の領域としてメモリに登録するとともに、マスク対象外とした前記顔領域内の顔の特性データを前記メモリに登録し、
   前記ユーザ指示により選択されなかった前記顔領域に対してのみマスク処理を実行し、
   前記マスク処理を含む画像処理を施した映像データを出力する、
   事件映像処理方法。
4. 前記顔領域の検出において、前記映像データのフレームごとに画像内に含まれる人物の顔領域を検出し、
   以前のフレームにおいて登録された前記マスク対象の領域を探索してマスク対象を追従し、
   前記検出された顔領域内の顔の特性データが前記メモリに登録された前記顔の特性データと一致するか照合し、一致する場合は前記検出された顔領域をマスク対象外の領域としてマスク対象から除外する、
   請求項３に記載の事件映像処理方法。
5. 事件に関連する映像データの画像処理を行うコンピュータである事件映像管理装置に、
   事件映像管理システムのストレージに記録された処理対象の映像データを入力し、
   前記映像データの画像内に含まれる人物の顔領域を検出し、検出された前記顔領域をマスク対象領域としてマスク対象枠を生成して前記顔領域に対応付けて表示し、
   表示された前記マスク対象枠が示す前記顔領域について、マスク対象外を選択するユーザ指示が入力されたかを判定し、
   前記ユーザ指示により選択された前記顔領域をマスク対象から除外してマスク対象外の領域としてメモリに登録するとともに、マスク対象外とした前記顔領域内の顔の特性データを前記メモリに登録し、
   前記ユーザ指示により選択されなかった前記顔領域に対してのみマスク処理を実行し、
   前記マスク処理を含む画像処理を施した映像データを出力する、
   それぞれの処理を実現させるための、プログラム。

Images