JP7193355B2 - 撮影装置、撮影方法、識別装置、識別方法、および識別プログラム - Google Patents

Description

本開示は、撮影装置、撮影方法、識別装置、識別方法、および識別プログラムに関する。

カメラが装着された監視車両により運行または駐停車中である被監視車両の情報を獲得し、データベースを通してその車両に問題があるがどうかを把握し、不審な車両を初期に処理できるようにする、監視車両を利用した被監視車両の車両番号自動認識システムが提案されている（特許文献１）。

特表２００４－５３６４１０号公報

一方、不特定多数の人物を撮影対象とする撮影装置の増加に伴い、プライバシ侵害の懸念が増加している。そこで、プライバシ侵害に配慮した、移動体の乗員の識別装置が求められている。

本開示の一実施例は、移動体の乗員の識別に用いられる、改善された撮影装置、撮影方法、識別装置、識別方法、および識別プログラムの提供に資する。

本開示の一実施例に係る識別装置は、監視装置により撮影された移動体の乗員の顔が含まれない部分の第１の映像と前記監視装置により撮影された前記移動体の前記乗員の顔が含まれる第２の映像とを蓄積する蓄積部と、前記第１の映像を用いて前記乗員の顔が識別対象であるか否かを判定する判定部と、前記判定の結果が前記乗員の顔が前記識別対象であることを示す場合に、前記蓄積部から前記第２の映像を取得し、前記第２の映像を用いて、前記乗員の顔を識別する識別部と、を備える構成を採る。

本開示の一実施例に係る識別方法は、監視装置により撮影された前記移動体の乗員の顔が含まれない部分の第１の映像と前記監視装置により撮影された前記移動体の前記乗員の顔が含まれる第２の映像とを蓄積し、前記第１の映像を用いて前記乗員の顔が識別対象であるか否かを判定し、前記判定の結果が前記乗員の顔が前記識別対象であることを示す場合に前記第２の映像を取得し、前記第２の映像を用いて、前記乗員の顔を識別する構成を採る。

本開示の一実施例に係る識別プログラムは、識別装置に、監視装置により撮影された移動体の乗員の顔が含まれない部分の第１の映像と前記監視装置により撮影された前記移動体の前記乗員の顔が含まれる第２の映像とを蓄積する処理と、前記第１の映像を用いて前記乗員の顔が識別対象であるか否かを判定する処理と、前記判定の結果が前記乗員の顔が前記識別対象であることを示す場合に前記第２の映像を取得する処理と、前記第２の映像を用いて、前記乗員の顔を識別する処理と、を実行させるための構成を採る。

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示の一実施例によれば、移動体の乗員の識別に用いられる、改善された撮影装置、撮影方法、識別装置、識別方法、および識別プログラムを提供できる。

本開示の一実施例における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

実施の形態１に係る監視システムの構成の一例を示す図 実施の形態１に係る撮影部の構成の一例を示す図 実施の形態１に係る撮影部の撮影動作の一例を説明するフローチャート 実施の形態１に係る撮影部のストリーミング動作 の一例を説明するフローチャート 実施の形態１に係る撮影部の駆動動作の一例を説明するフローチャート 実施の形態１に係る監視システムの動作の一例を説明するシーケンス図 実施の形態１に係る監視システムの動作の他の一例を説明するシーケンス図 実施の形態１に係る監視システムの動作の他の一例を説明するシーケンス図 変形例１に係る撮影部の構成の一例を示す図 変形例１に係る撮影部のストリーミング動作の一例を示すフローチャート 実施の形態２に係る監視システムの構成の一例を示す図 実施の形態３に係る監視システムの構成の一例を示す図 実施の形態３に係る監視システムの動作の一例を説明するシーケンス図 実施の形態４に係る監視システムの構成の一例を示す図 実施の形態４に係る監視システムの動作の一例を説明するシーケンス図

近年、画像センサの低価格化および高性能化に伴い、不特定多数の人物を撮影対象とする撮影装置の設置が増加している。例えば、犯罪行為後の逃走行為に乗用車が使用されることが多い。したがって、走行中または停車中の乗用車の乗員を識別することは、犯罪行為の抑止や捜査に有用である。

一方、本人の与り知らないところで人物が撮影される機会が増加している。さらに、近年の画像処理技術の発展に伴い、本人の与り知らないところで本人の画像が分類され利用される機会も増加している。そこで、本人の画像の目的外利用を抑制できる識別システムが求められている。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する実施の形態は一例であり、本開示は以下の実施の形態により限定されるものではない。また、以下において、車両（乗用車）を移動体の一例にとって本開示を説明するが、移動体は、車両に限定されない。

（実施の形態１）
図１は、実施の形態１に係る監視システム１の構成の一例を示す図である。

監視システム１は、監視装置（撮影装置）１０と、映像蓄積解析装置（識別装置）２０と、端末装置３０と、を備える。

監視装置１０は、監視対象範囲を撮影し、映像データを出力する。監視対象範囲は、例えば、車両の乗員の顔が含まれる範囲と、顔が含まれない範囲と、の２つの範囲を含む。顔が含まれない範囲は、車両の一部が含まれる範囲を含む。一例において、車両の一部は、ナンバープレートを含む。一例において、車両の一部は、ヘッドライト、エンブレム、フロントマスク、タイヤ、ホイール、および車両の塗装部分の少なくとも１つを含む。映像データは、乗員の顔が含まれる範囲を撮影して生成された乗員顔映像データと、車両の一部を含む範囲を撮影して生成された車両映像データと、を含む。乗員顔映像データおよび車両映像データは、例えば、それぞれ、独立の映像ストリーム（乗員顔映像ストリームおよび車両映像ストリーム）の形式で出力される。監視装置１０は、例えば、道路の脇または上方、或いは店舗の駐車場といった、車両および乗員の顔が撮影できる場所に設置される。

監視装置１０は、監視対象範囲を撮影する撮影部１２（または撮影部１２ａ）を備える。撮影部１２および撮影部１２ａの構成の詳細については、それぞれ、図２および図９を参照して後述する。

映像蓄積解析装置２０は、監視装置１０から受け取った映像データを解析し、解析した結果を端末装置３０に送信する。映像蓄積解析装置２０は、例えば、ネットワークＮを介して映像データを監視装置１０から受け取る。ネットワークＮは、例えば、インターネット、イントラネット、またはＬＡＮ（Local Area Network）である。映像蓄積解析装置２０は、映像蓄積部２２と、ナンバー解析部２４と、車両特徴解析部２６と、乗員顔解析部２８と、を備える。映像蓄積解析装置２０は、例えば、プロセッサとメモリとを備える、ＰＣ（Personal Computer）またはワークステーションといったコンピュータ（情報処理装置）であり、メモリが記憶するプログラムをプロセッサが実行することにより、各構成要素の機能を実現する。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）およびＧＰＵ（Graphical Processing Unit）の少なくとも１つである。プロセッサは、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）であってもよい。解析部は、コアまたはエンジンとも称される。

映像蓄積部２２は、監視装置１０から受け取った映像データを一時的に蓄積する。次いで、映像蓄積部２２は、他の装置または構成要素からの読み出し要求に応じて、蓄積した映像データを出力する。映像蓄積部２２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ、またはハードディスクである。

ナンバー解析部２４は、車両映像データを解析し、車両のナンバーが登録済みの車両のナンバーと一致したか否かを示す検索の結果（解析の結果）を取得する。ここで、車両映像データの解析は、車両映像データから、映像に映っているナンバープレートの画像を抽出することと、ナンバーを認識することと、認識したナンバーを登録済みのナンバーリストの中から検索することと、を含む。ナンバー解析部２４は、例えば、パターンマッチングまたはディープラーニングを用いて、ナンバーを認識する。また、ナンバーが一致するとは、登録済みのナンバーリストの中に、ナンバー解析部２４が認識したナンバーに一致するナンバーが含まれることをいう。

ナンバー解析部２４は、検索の結果を乗員顔解析部２８に通知（出力）する。一例において、ナンバー解析部２４は、検索の結果を端末装置３０に通知（出力）する。

車両特徴解析部２６は車両映像データを解析し、車両の特徴が登録済みの車両の特徴と一致したか否かを示す検出の結果（解析の結果）を取得する。ここで、車両映像データの解析は、車両映像データから、映像に映っている車両の一部の画像を抽出することと、車両の特徴を検出することと、検出した車両の特徴を登録済みの車両の特徴リストの中から検索することと、を含む。検出する車両の特徴は、例えば、車両の塗装部分の色および／または車種である。車両特徴解析部２６は、例えば、パターンマッチングまたはディープラーニングを用いて、抽出した画像に映っているナンバープレートの周囲のヘッドライトの形状、エンブレム、フロントマスク、タイヤ、および／またはホイールに基づいて、車種を検出する。また、車両の特徴が一致するとは、登録済みの車両の特徴リストの中に、車両特徴解析部２６が検出した車両の特徴に一致する車両の特徴が含まれることをいう。

車両特徴解析部２６は、検出の結果を乗員顔解析部２８に通知（出力）する。一例において、車両特徴解析部２６は、検出の結果を端末装置３０に通知（出力）する。

乗員顔解析部２８は、乗員の顔を解析し、解析の結果を取得する。ここで、乗員の顔（または乗員顔映像データ）の解析は、ナンバー解析部２４および／または車両特徴解析部２６が顔画像解析対象であると判定した乗員顔映像データから、映像に映っている乗員の顔画像を抽出することと、抽出した顔画像と登録済みの顔画像とを照合することと、を含む。顔画像の照合は、例えば、特徴点を用いたパターンマッチングまたはディープラーニングを用いて行ってもよい。乗員の顔（または乗員顔映像データ）の解析は、さらに、顔画像の照合の結果に基づき、映像に映っている乗員を識別することを含む。

一例において、乗員顔解析部２８は、登録済みの顔画像と、顔画像に対応する乗員に関する個人情報を関連付けて記憶する記憶部（図示せず）を備える。個人情報は、例えば、氏名、住所、および年齢の少なくとも１つである。他の一例において、監視システム１は、登録済みの顔画像と、顔画像に対応する乗員に関する個人情報を関連付けて記憶する記憶装置（図示せず）を備え、乗員顔解析部２８は、記憶装置にアクセスして、登録済み顔画像および個人情報を取得する。

一例において、乗員顔解析部２８は、乗員顔映像データに含まれる乗員の顔の周辺部分（例えば、乗員が着用する服装の色）を解析する。例えば、乗員顔解析部２８は、解析した服装の色に応じて、乗員の顔を解析するか否かを判定する。

次いで、乗員顔解析部２８は、乗員顔映像データの識別の結果を端末装置３０に通知（出力）する。識別の結果は、撮影部１２または撮影部１２ａが撮影した時刻と、撮影した場所と、監視対象範囲の画像または映像と、ナンバー解析部２４が認識したナンバーと、車両特徴解析部２６が解析した車両の特徴と、および乗員顔解析部２８が識別した乗員の顔画像と、乗員に関連する情報と、の少なくとも１つを含む。

端末装置３０は、ナンバーの検索の結果、車両の特徴の検出の結果、および乗員の識別の結果の少なくとも１つを表示する。端末装置３０は、例えば、ディスプレイ装置を備えるクライアントＰＣである。一例において、それぞれ異なる場所に設置された複数の監視装置１０により、それぞれ、異なる時刻において撮影され、乗員顔解析部２８によって同一であると識別された乗員について、端末装置３０は、乗員の車両の移動経路を地図上に表示する。撮影部１２は、例えば、ＧＰＳ（Global Positioning Satellite）端末を備え、ＧＰＳ端末が測位した位置情報を、端末装置３０に送信する。端末装置は、撮影部１２から受信した位置情報に基づいて、乗員の車両の移動経路を地図上に表示する。

図２は、実施の形態１に係る撮影部１２の構成の一例を示す図である。

撮影部１２は、監視対象範囲を撮影する。監視対象範囲は、例えば、車両の乗員の顔が含まれる範囲と、車両の一部が含まれる範囲と、の２つの範囲を含む。撮影部１２は、前面フィルタモジュール１０２と、レンズモジュール１０４と、撮影素子１０６と、照度検出部１０８と、制御部１１０と、前面フィルタ駆動部１１２と、レンズ駆動部１１４と、照明駆動部１１６と、照明部１１８と、記憶部１２０と、を備える。

前面フィルタモジュール１０２は、レンズモジュール１０４に入射する光を調節するためのフィルタを備える。フィルタは、例えば、偏光フィルタおよびバンドパスフィルタである。

レンズモジュール１０４は、レンズと、レンズ内フィルタと、を備える。レンズモジュール１０４のレンズは、監視対象範囲から前面フィルタモジュール１０２を介して入射する光を撮影素子１０６に集光する。レンズ内フィルタは、例えば、ＩＲ（Infra-Red：赤外線）遮光フィルタおよび素ガラスである。

撮影素子１０６は、レンズが集光した光を電気信号に変換する。撮影素子１０６は、例えば、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）画像センサ、ＣＣＤ（charge-coupled device）画像センサといった、画像センサである。

照度検出部１０８は、周囲の照度を検出する。照度検出部１０８は、例えば、フォトトランジスタまたはフォトダイオードである。

制御部１１０は、撮影素子１０６と、前面フィルタ駆動部１１２と、レンズ駆動部１１４と、照明駆動部１１６と、記憶部１２０との動作を、例えば、電気信号を送信することにより制御し、撮影部１２の機能を実現する。制御部１１０は、撮影素子１０６から電気信号を入力し、乗員顔映像ストリームと車両映像ストリームとを出力する。制御部は、例えば、ＬＳＩ（Large-Scale Integrated circuit）、ＣＰＵといった集積回路を１チップにまとめた、ＳｏＣ（System on Chip）である。

前面フィルタ駆動部１１２は、制御部１１０による制御に応じて、前面フィルタモジュール１０２のフィルタを切り替える。前面フィルタ駆動部１１２は、例えば、モータを備える。

レンズ駆動部１１４は、制御部１１０による制御に応じて、レンズモジュール１０４のレンズ内フィルタを切り替える。レンズ駆動部１１４は、例えば、モータを備える。

照明駆動部１１６は、制御部１１０による制御に応じて、照明部１１８を駆動する。照明部１１８の駆動は、例えば、照明部１１８が備える夜間用短波長照明の点灯および消灯である。

照明部１１８は、照明駆動部１１６による駆動に応じて点灯および消灯する。照明部１１８は、例えば、ＬＥＤ（Light Emitting Diode）である。

記憶部１２０は、映像データを一時的に記憶する。一例において、記憶部１２０は、シャッター駆動設定を示す情報を、一時的に記憶する。記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリカードといった、データを記憶する少なくとも１つのストレージデバイスである。

図３は、実施の形態１に係る撮影部１２の撮影動作の一例を説明するフローチャートである。

ステップＳ１０１において、制御部１１０は、撮影素子１０６のシャッター駆動を設定する。シャッター駆動の設定は、露光時間の長短を含む。一例において、制御部１１０は、繰り返し実行されるステップＳ１０１において、露光時間の長短を交互に切り替える。

ステップＳ１０３において、制御部１１０は、撮影素子１０６から映像データを取得する。映像データは、車両の乗員の顔が含まれる範囲の映像データと、車両の一部が含まれる範囲の映像データを含む。

ステップＳ１０５において、制御部１１０は、映像データを信号処理する。信号処理は、例えば、ノイズ除去、明度補正、およびクリッピングの少なくとも１つである。

ステップＳ１０７において、制御部１１０は、ステップＳ１０５において信号処理された映像データとステップＳ１０１において設定されたシャッター駆動の設定情報とを記憶部１２０に記憶させる。設定情報は、例えば、露光時間の長短を示す１ビットの値を含む。

ステップＳ１０９において、制御部１１０は、監視システム１による監視を継続するか否かを判定する。制御部１１０は、例えば、監視システム１の稼働中は、監視システム１による監視を継続すると判定し、シャットダウンの際に、監視システム１による監視を継続しないと判定する。

監視を継続する場合（ステップＳ１０９：Ｙｅｓ）、制御部１１０は、ステップＳ１０１以降を繰り返す。一方、監視を継続しない場合（ステップＳ１０９：Ｎｏ）、制御部１１０は、処理を終了する。

図４は、実施の形態１に係る撮影部１２のストリーミング動作の一例を説明するフローチャートである。

ステップＳ２０１において、制御部１１０は、図３のステップＳ１０７において記憶部１２０に記憶させた映像データとシャッター駆動設定とを取得する。

ステップＳ２０３において、制御部１１０は、シャッター駆動設定の露光時間が短いか長いかを判定する。判定は、例えば、シャッター駆動設定の露光時間の長短を示す１ビットの値に基づいて行われる。

露光時間が短い場合（ステップＳ２０３：Ｙｅｓ）、ステップＳ２０５において、制御部１１０は、乗員顔映像データをストリーム形式にエンコード処理する。ストリーム形式は、例えば、ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６４、Ｈ．２６５、またはＪＰＥＧである。

次いで、ステップＳ２０７において、制御部１１０は、エンコード処理した乗員顔映像データを、第１のストリーム（ストリーム１）に配信（または、分配、割り当て、振り分け）し、処理は、ステップＳ２１３に進む。

一方、露光時間が長い場合（ステップＳ２０３：Ｎｏ）、ステップＳ２０９において、制御部１１０は、車両映像データをストリーム形式にエンコード処理する。

次いで、ステップＳ２１１において、制御部１１０は、エンコード処理した車両映像データを第２のストリーム（ストリーム２）に配信（または、分配、割り当て、振り分け）し、処理がステップＳ２１３に進む。

ステップＳ２１３において、制御部１１０は、監視システム１による監視を継続するか否かを判定する。制御部１１０は、例えば、監視システム１の稼働中は、監視システム１による監視を継続すると判定し、シャットダウンの際に、監視システム１による監視を継続しないと判定する。

監視を継続する場合（ステップＳ２１３：Ｙｅｓ）、制御部１１０は、ステップＳ２０１以降を繰り返す。一方、監視を継続しない場合（ステップＳ２１３：Ｎｏ）、制御部１１０は、処理を終了する。

図５は、実施の形態１に係る撮影部１２の駆動動作の一例を説明するフローチャートである。

ステップＳ３０１において、照度検出部１０８は、照度を検出する。

ステップＳ３０３において、制御部１１０は、照度検出部１０８が検出した照度に基づいて、昼モードで動作するか夜モードで動作するかを決定する。例えば、制御部１１０は、照度検出部１０８が検出した照度が、第１の閾値よりも大きい場合、昼モードで動作すると決定する。また、制御部１１０は、照度検出部１０８が検出した照度が、第２の閾値よりも小さい場合、夜モードで動作すると決定する。第１の閾値と第２の閾値とは、値が等しくても異なってもよい。

昼モードで動作する場合（ステップＳ３０３：Ｙｅｓ）、ステップＳ３０５において、前面フィルタ駆動部１１２は、前面フィルタモジュール１０２の前面フィルタを偏光フィルタに切り替える。

次いで、ステップＳ３０７において、レンズ駆動部１１４は、レンズモジュール１０４が備えるレンズ内フィルタをＩＲ遮光フィルタに切り替える。

次いで、ステップＳ３０９において、照明駆動部１１６は、照明部１１８を消灯し、ステップＳ３１７に進む。

一方、夜モードで動作する場合（ステップＳ３０３：Ｎｏ）、ステップＳ３１１において、前面フィルタ駆動部１１２は、前面フィルタモジュール１０２の前面フィルタをバンドパスフィルタに切り替える。

次いで、ステップＳ３１３において、レンズ駆動部１１４は、レンズ内フィルタを素ガラスに切り替える。

次いで、ステップＳ３１５において、照明駆動部１１６は、照明部１１８を点灯し、処理は、ステップＳ３１７に進む。

ステップＳ３１７において、制御部１１０は、監視システム１による監視を継続するか否かを決定する。制御部１１０は、例えば、監視システム１の稼働中は、監視システム１による監視を継続すると決定し、シャットダウンの際に、監視システム１による監視を継続しないと判定する。

監視を継続する場合（ステップＳ３１７：Ｙｅｓ）、ステップＳ３０１以降を繰り返す。一方、監視を継続しない場合（ステップＳ３１７：Ｎｏ）、処理は、終了する。

図６は、実施の形態１に係る監視システム１の動作の一例を説明するシーケンス図である。図６に示される動作においては、映像蓄積解析装置２０が、映像データをナンバー解析部２４、車両特徴解析部２６、または乗員顔解析部２８に送信（例えば、プッシュ送信）する。

ステップＳ５０１において、監視装置１０は、監視対象範囲に含まれる車両の乗員の顔および車両の一部を撮影する。

ステップＳ５０３において、監視装置１０は、映像蓄積解析装置２０に、ネットワークＮを介して映像データを送信（配信）する。

ステップＳ５０５において、映像蓄積解析装置２０は、車両映像データをナンバー解析部２４に渡す。

ステップＳ５０７において、ナンバー解析部２４は、車両映像データに映っているナンバーを認識し、認識したナンバーを登録済みのナンバーリストの中から検索する。

ステップＳ５０９において、ナンバー解析部２４は、ナンバーが一致したか否かを示す検索の結果を映像蓄積解析装置２０に通知する。

ステップＳ５１１において、映像蓄積解析装置２０は、車両特徴解析部２６に車両映像データを渡す。一例において、映像蓄積解析装置２０は、ナンバーが一致した場合に、車両特徴解析部２６に車両映像データを渡す。他の一例において、映像蓄積解析装置２０は、ナンバーが一致していない場合であっても、車両特徴解析部２６に車両映像データを渡す。

ステップＳ５１３において、車両特徴解析部２６は、車両映像データに基づいて、車両の特徴を検出する。

ステップＳ５１５において、車両特徴解析部２６は、車両の特徴が一致したか否かを示す検出の結果を映像蓄積解析装置２０に通知する。

ステップＳ５１７において、映像蓄積解析装置２０は、乗員顔解析部２８に乗員顔映像データを渡す。一例において、映像蓄積解析装置２０は、ナンバーが一致した場合に、乗員顔解析部２８に乗員顔映像データを渡す。他の一例において、映像蓄積解析装置２０は、車両の特徴が一致した場合に、乗員顔解析部２８に乗員顔映像データを渡す。他の一例において、映像蓄積解析装置２０は、ナンバーおよび車両の特徴がそれぞれ一致した場合に、乗員顔解析部２８に乗員顔映像データを渡す。

ステップＳ５１９において、乗員顔解析部２８は、乗員顔映像データに基づいて、映像に映っている乗員を識別する。

ステップＳ５２１において、乗員顔解析部２８は、乗員を識別したか否かを示す識別の結果を映像蓄積解析装置２０に渡す。

ステップＳ５２３において、映像蓄積解析装置２０は、検索の結果、検出の結果、識別の結果、およびワンショットを集約する。ここで、ワンショットとは、例えば、乗員顔映像データに含まれる画像のうち、乗員の顔の識別に成功した画像の１つである。また、集約するとは、検索の結果、検出の結果、識別の結果、およびワンショットを、例えば、タイムスタンプやフレーム番号といった、時間を示す情報に基づいて、時間が一致するものを関連付けることである。

ステップＳ５２５において、映像蓄積解析装置２０は、集約した検索の結果、検出の結果、識別の結果、およびワンショットを端末装置３０に送信する。

ステップＳ５２７において、端末装置３０は、集約した検索の結果、検出の結果、識別の結果、およびワンショットを表示し、処理は、終了する。

なお、ステップＳ５０５～Ｓ５０９とステップＳ５１１～Ｓ５１５とが実行される順序は、逆であってもよく、または、同時（並列実行）であってもよい。この場合、ステップＳ５０５において、一例において、映像蓄積解析装置２０は、車両の特徴が一致した場合に、ナンバー解析部２４に車両映像データを渡す。他の一例において、映像蓄積解析装置２０は、車両の特徴が一致していない場合であっても、ナンバー解析部２４に車両映像データを渡す。

図６に示される動作によれば、乗員の顔が識別対象でない場合、乗員顔解析部２８が、乗員顔映像データを受け取ることがない。つまり、乗員顔解析部２８は、車両映像データに映っているナンバーが登録済みナンバーリストのナンバーに一致すること、および車両映像データに映っている車両の特徴に一致すること、の両方または一方を満たさない限り、乗員の顔の照合を行わない。したがって、乗員顔解析部２８によるプライバシ侵害の可能性をより低減できる。

図７は、実施の形態１に係る監視システム１の動作の他の一例を説明するシーケンス図である。図７に示される動作においては、ナンバー解析部２４と車両特徴解析部２６と乗員顔解析部２８との間で直接、映像データの受け渡しが行われる。

ステップＳ６０１において、監視装置１０は、監視対象範囲に含まれる車両の乗員の顔および車両の一部を撮影する。

ステップＳ６０３において、監視装置１０は、映像蓄積解析装置２０に、ネットワークＮを介して映像データを送信（配信）する。

ステップＳ６０５において、映像蓄積解析装置２０は、車両映像データおよび乗員顔映像データをナンバー解析部２４に渡す。

ステップＳ６０７において、ナンバー解析部２４は、ナンバーを認識し、認識したナンバーを登録済みのナンバーリストの中から検索する。

ステップＳ６０９において、ナンバー解析部２４は、ナンバーが一致したか否かを示す検索の結果を映像蓄積解析装置２０に通知する。

ステップＳ６１１において、ナンバー解析部２４は、ナンバーが一致した場合に、ナンバーが一致したことを示す通知および車両映像データの撮影時間を示す情報とともに、車両映像データを車両特徴解析部２６に渡す。

ステップＳ６１３において、ナンバー解析部２４は、ナンバーが一致した場合に、ナンバーが一致したことを示す通知と、車両映像データの撮影時間を示す情報とともに、乗員顔映像データを乗員顔解析部２８に渡す。なお、ステップＳ６１１およびステップＳ６１３が実行される順序は、逆であってもよく、または、同時（並列実行）であってもよい。

ステップＳ６１５において、車両特徴解析部２６は、車両映像データに基づいて、車両の特徴を検出する。

ステップＳ６１７において、車両特徴解析部２６は、車両の特徴が一致したか否かを示す検出の結果を映像蓄積解析装置２０に通知する。

ステップＳ６１９において、乗員顔解析部２８は、乗員顔映像データに基づいて、映像に映っている乗員を識別する。なお、ステップＳ６１５およびステップＳ６１９が実行される順序は、逆であってもよく、または、同時（並列実行）であってもよい。

ステップＳ６２１において、乗員顔解析部２８は、乗員を識別したか否かを示す識別の結果を映像蓄積解析装置２０に渡す。なお、ステップＳ６１７およびステップＳ６２１が実行される順序は、逆であってもよく、または、同時（並列実行）であってもよい。

ステップＳ６２３において、映像蓄積解析装置２０は、検索の結果、検出の結果、識別の結果、およびワンショットを集約する。

ステップＳ６２５において、映像蓄積解析装置２０は、集約した検索の結果、検出の結果、識別の結果、およびワンショットを端末装置３０に送信する。

ステップＳ６２７において、端末装置３０は、集約した検索の結果、検出の結果、識別の結果、およびワンショットを表示する。

図７に示される動作によれば、ナンバー解析部２４と車両特徴解析部２６と乗員顔解析部２８との間で直接、映像データの受け渡しが行われる。したがって、映像データの受け渡し処理の負荷を低減でき、ナンバー解析部２４と車両特徴解析部２６と乗員顔解析部２８の並列動作もより容易になる。

図８は、実施の形態１に係る監視システム１の動作の他の一例を説明するシーケンス図である。図８に示される動作においては、映像蓄積解析装置２０は、ナンバー解析部２４、車両特徴解析部２６、または乗員顔解析部２８からの要求に応じて、映像データを送信する。

ステップＳ７０１において、監視装置１０は、監視対象範囲に含まれる車両の乗員の顔および車両の一部を撮影する。

ステップＳ７０３において、監視装置１０は、映像蓄積解析装置２０に、ネットワークＮを介して映像データを送信（配信）する。

ステップＳ７０５において、映像蓄積解析装置２０は、車両映像データおよび乗員顔映像データをナンバー解析部２４に渡す。

ステップＳ７０７において、ナンバー解析部２４は、ナンバーを認識し、認識したナンバーを登録済みのナンバーリストの中から検索する。

ステップＳ７０９において、ナンバー解析部２４は、ナンバーが一致したか否かを示す検索の結果を映像蓄積解析装置２０に通知する。

ステップＳ７１１において、ナンバー解析部２４は、ナンバーが一致した場合に、ナンバーが一致したことを示す通知とともに、車両映像データの撮影時間を示す情報を車両特徴解析部２６に渡す。

ステップＳ７１３において、ナンバー解析部２４は、ナンバーが一致した場合に、ナンバーが一致したことを示す通知とともに、車両映像データの撮影時間を示す情報を乗員顔解析部２８に渡す。なお、ステップＳ７１１およびステップＳ７１３が実行される順序は、逆であってもよく、または、同時（並列実行）であってもよい。

ステップＳ７１５において、車両特徴解析部２６は、車両映像データを映像蓄積解析装置２０に要求する。

ステップＳ７１７において、乗員顔解析部２８は、乗員顔映像データを映像蓄積解析装置２０に要求する。なお、ステップＳ７１５およびステップＳ７１７が実行される順序は、逆であってもよく、または、同時（並列実行）であってもよい。

ステップＳ７１９において、映像蓄積解析装置２０は、要求された車両映像データを車両特徴解析部２６に渡す。

ステップＳ７２１において、映像蓄積解析装置２０は、ナンバーが一致した場合に、乗員顔映像データを乗員顔解析部２８に渡す。なお、ステップＳ７１９およびステップＳ７２１が実行される順序は、逆であってもよく、または、同時（並列実行）であってもよい。

ステップＳ７２３において、車両特徴解析部２６は、車両映像データに基づいて、車両の特徴を検出する。

ステップＳ７２５において、車両特徴解析部２６は、車両の特徴が一致したか否かを示す検出の結果を映像蓄積解析装置２０に通知する。

ステップＳ７２７において、乗員顔解析部２８は、乗員顔映像データに基づいて、映像に映っている乗員を識別する。なお、ステップＳ７２３およびステップＳ７２７が実行される順序は、逆であってもよく、または、同時（並列実行）であってもよい。

ステップＳ７２９において、乗員顔解析部２８は、乗員を識別したか否かを示す識別の結果を映像蓄積解析装置２０に渡す。なお、ステップＳ７２５およびステップＳ７２９が実行される順序は、逆であってもよく、または、同時（並列実行）であってもよい。

ステップＳ７３１において、映像蓄積解析装置２０は、検索の結果、検出の結果、識別の結果、およびワンショットを集約する。一例において、映像蓄積解析装置２０は、ナンバーが一致した場合に、ステップＳ７３１を実行する。他の一例において、映像蓄積解析装置２０は、車両の特徴が一致した場合に、ステップＳ７３１を実行する。他の一例において、映像蓄積解析装置２０は、ナンバーおよび車両の特徴がそれぞれ一致した場合に、ステップＳ７３１を実行する。

ステップＳ７３３において、映像蓄積解析装置２０は、集約した検索の結果、検出の結果、識別の結果、およびワンショットを端末装置３０に送信する。

ステップＳ７３５において、端末装置３０は、集約した検索の結果、検出の結果、識別の結果、およびワンショットを表示する。

図８に示される動作によれば、映像蓄積解析装置２０は、ナンバー解析部２４、車両特徴解析部２６、または乗員顔解析部２８からの要求に応じて、映像データを送信する。したがって、ナンバー解析部２４、車両特徴解析部２６、または乗員顔解析部２８が、それぞれの負荷の状態に応じて処理タイミングを調整することがより容易になる。

実施の形態１に係る監視システム１によれば、乗員の顔が識別対象であることが、ナンバー解析部２４または車両特徴解析部２６による解析結果によって示されない限り、乗員顔解析部２８は、乗員顔映像データを解析せず、乗員の顔を識別しない。したがって、監視システム１は、全ての乗員の乗員顔映像データを解析する場合と比較して、乗員のプライバシ保護がより容易になる。

また、実施の形態１に係る撮影部１２によれば、露光時間の異なる２つの映像ストリームが得られるので、異なる露光時間に応じた映像ストリームを解析対象に応じて適切に使い分けることができる。例えば、比較的明るいナンバープレートの解析に用いる映像ストリームの露光時間を短く設定し、比較的暗い車中にいる乗員の顔の解析に用いる映像ストリームの露光時間を長く設定することにより、映像ストリームの解析の精度を向上できる。さらに、撮影部１２は、撮影素子１０６を１つ有し、撮影素子を複数有する場合と比較して、コストを節約できる。

（変形例１）
実施の形態１に係る撮影部１２は、撮影素子１０６を１つ有する。これに対して、複数の撮影素子を用いる変形例１も考えられる。

図９は、変形例１に係る撮影部１２ａの構成の一例を示す図である。

撮影部１２ａは、監視対象範囲を撮影する。監視装置１０は、前面フィルタモジュール１０２と、レンズモジュール１０４ａと、レンズモジュール１０４ｂと、撮影素子１０６ａと、レンズモジュール１０４ｂと、照度検出部１０８と、制御部１１０と、前面フィルタ駆動部１１２と、レンズ駆動部１１４と、照明駆動部１１６と、照明部１１８と、記憶部１２０と、を備える。撮影部１２ａは、レンズモジュール１０４ａと、レンズモジュール１０４ｂと、撮影素子１０６ａと、レンズモジュール１０４ｂと、を備える点において撮影部１２と異なる。撮影部１２と撮影部１２ａとにおいて共通する点については、説明を省略する。

レンズモジュール１０４ａは、レンズと、レンズ内フィルタと、を備える。レンズモジュール１０４ａのレンズは、監視対象範囲から前面フィルタモジュール１０２を介して入射する光を撮影素子１０６に集光する。監視対象範囲は、例えば、車両の乗員の顔が含まれる範囲である。レンズ内フィルタは、例えば、ＩＲ遮光フィルタおよび素ガラスである。

レンズモジュール１０４ｂは、レンズと、レンズ内フィルタと、を備える。レンズモジュール１０４ｂのレンズは、監視対象範囲から前面フィルタモジュール１０２を介して入射する光を撮影素子１０６に集光する。監視対象範囲は、例えば、車両の一部が含まれる範囲である。レンズ内フィルタは、例えば、ＩＲ遮光フィルタおよび素ガラスである。

撮影素子１０６ａ，１０６ｂは、レンズが集光した光を電気信号に変換する。撮影素子１０６は、例えば、ＣＭＯＳ画像センサ、ＣＣＤ画像センサといった、画像センサである。

図１０は、変形例１に係る撮影部１２ａのストリーミング動作の一例を示すフローチャートである。

ステップＳ４０１において、制御部１１０は、図３のステップＳ１０７において記憶部１２０に記憶させた映像データを取得する。

ステップＳ４０３において、制御部１１０は、車両映像データおよび車両映像データを、それぞれ、ストリーム形式にエンコード処理する。ストリーム形式は、例えば、ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６４、Ｈ．２６５、またはＪＰＥＧである。

次いで、ステップＳ４０５において、制御部１１０は、エンコード処理された乗員顔映像データおよび車両映像データを、それぞれ、第１のストリーム（ストリーム１）および第２のストリーム（ストリーム２）に配信（または、分配、割り当て、振り分け）する。

ステップＳ４０７において、制御部１１０は、監視システム１による監視を継続するか否かを判定する。制御部１１０は、例えば、監視システム１の稼働中は、監視システム１による監視を継続すると判定し、シャットダウンの際に、監視システム１による監視を継続しないと判定する。

監視を継続する場合（ステップＳ４０７：Ｙｅｓ）、ステップＳ４０１以降を繰り返す。一方、監視を継続しない場合（ステップＳ４０７：Ｎｏ）、処理は、終了する。

なお、図３に示される撮影動作のフローは、ステップＳ１０７においてシャッター駆動設定を記憶させる点を除いて、変形例１にも適用できる。また、図５に示される駆動動作のフローも、変形例１に適用できる。

変形例１に係る撮影部１２ａは、複数の撮影素子１０６ａ，１０６ｂを有し、撮影素子が１つである場合と比較して、フレームレートを高めることができ、より高速走行する車両に対しても適用できる。

（変形例２）
実施の形態１に係る撮影部１２または変形例１に係る撮影部１２ａは、それぞれ、２つの映像ストリームを出力する。これに対して、複数の撮影部または撮影装置（図示せず）が、それぞれ、１つの映像ストリームを出力する変形例２も考えられる。複数の撮影部または撮像装置は、ネットワークＮを介して映像蓄積解析装置２０に接続されてもよい。例えば、店舗外および店舗内に、１つずつ撮影装置を設け、店舗外に設けられた撮影装置（例えば、屋外用防犯カメラ）が、車両映像ストリームを出力し、店舗内に設けられた撮影装置（例えば、屋内用防犯カメラ）が、乗員顔映像ストリーム（顔映像ストリーム）を出力する。変形例２によれば、店舗を訪れた客および車両の乗員のプライバシ侵害に配慮しつつ、店舗内の明るい環境下で撮影された顔映像ストリームを用いて、乗員顔映像データ（顔映像データ）を解析できる。

（実施の形態２）
図１１は、実施の形態２に係る監視システム１ａの構成の一例を示す図である。

監視システム１ａは、監視装置（撮影装置）１０と、端末装置３０と、映像蓄積装置４０と、ナンバー解析装置５０と、車両特徴解析装置６０と、乗員顔解析装置（識別装置）７０と、を備える。

監視システム１ａは、端末装置３０と、映像蓄積装置４０と、ナンバー解析装置５０と、車両特徴解析装置６０と、乗員顔解析装置７０と、を個別に備える点において監視システム１と異なる。監視システム１と監視システム１ａとにおいて共通する点については、説明を省略する。

映像蓄積装置４０は、監視装置１０から受け取った映像データを一時的に蓄積する。次いで、映像蓄積装置４０は、蓄積した映像データを、ナンバー解析装置５０と、車両特徴解析装置６０と、乗員顔解析装置７０と、に出力する。映像蓄積装置４０は、映像蓄積部２２を備える。映像蓄積部２２は、実施の形態１に係る監視システム１の映像蓄積部２２と同等の構成を備える。映像蓄積装置４０は、例えば、ＮＡＳ（Network Attached Storage）である。

ナンバー解析装置５０は、車両映像データに基づいて、乗員顔映像データが顔画像解析対象であるか否かを判定する。ナンバー解析装置５０は、ナンバー解析部２４を備える。ナンバー解析部２４は、実施の形態１に係る監視システム１のナンバー解析部２４と同等の構成を備える。

車両特徴解析装置６０は、車両映像データに基づいて、乗員顔映像データが顔画像解析対象であるか否かを判定する。車両特徴解析装置６０は、車両特徴解析部２６を備える。車両特徴解析部２６は、実施の形態１に係る監視システム１の車両特徴解析部２６と同等の構成を備える。

乗員顔解析装置７０は、ナンバー解析装置５０および／または車両特徴解析装置６０が顔画像解析対象であると判定した乗員顔映像データを解析する。乗員顔解析装置７０は、乗員顔解析部２８を備える。乗員顔解析部２８は、実施の形態１に係る監視システム１の乗員顔解析部２８と同等の構成を備える。

映像蓄積装置４０と、ナンバー解析装置５０と、車両特徴解析装置６０と、乗員顔解析装置７０と、は、いずれも、例えば、ＣＰＵまたはＧＰＵとメモリとを備える、ＰＣ（Personal Computer）またはワークステーションといったサーバコンピュータであり、メモリが記憶するプログラムをＣＰＵまたはＧＰＵが実行することにより、各構成要素の機能を実現する。

実施の形態２においても、実施の形態１に係る映像蓄積解析装置２０の動作を、例えば、乗員顔解析装置７０が実行することにより、監視システム１ｂの各構成要素は、図６～図８を参照して上述したシーケンス図に沿って動作できる。

実施の形態２によれば、ナンバーの解析と車両の特徴の解析と乗員の顔の解析とが、それぞれ別体に設けられた装置で行われる。したがって、各装置を構成するプロセッサおよびメモリの構成を、それぞれの解析動作に合わせて最適化できる。なお、監視システム１ａは、端末装置３０と、映像蓄積装置４０と、ナンバー解析装置５０と、車両特徴解析装置６０と、乗員顔解析装置７０と、を個別に備えるが、これらのうちの少なくとも２つが、共通の装置であってもよい。

（実施の形態３）
図１２は、実施の形態３に係る監視システム１ｂの構成の一例を示す図である。

監視システム１ｂは、監視装置（撮影装置）１０ａと、映像蓄積解析装置（識別装置）２０ａと、端末装置３０と、を備える。監視システム１ｂは、監視装置１０ａと、映像蓄積解析装置２０ａと、を備える点において監視システム１と異なる。監視システム１と監視システム１ｂとにおいて共通する点については、説明を省略する。

監視装置１０ａは、監視対象範囲を撮影し、映像データを出力する。さらに、監視装置１０ａは、車両映像データに基づいて、顔映像データが顔画像解析対象であるか否かを判定する。監視装置１０ａは、判定の結果を映像蓄積解析装置２０ａに通知する。

監視装置１０ａは、撮影部１２（または撮影部１２ａ）と、ナンバー解析部３２と、を備える。監視装置１０ａの撮影部１２（または撮影部１２ａ）およびナンバー解析部２４は、それぞれ、実施の形態１に係る監視装置１０の撮影部１２（または撮影部１２ａ）およびナンバー解析部２４と同等の構成を備える。

映像蓄積解析装置２０ａは、映像蓄積部２２と、車両特徴解析部２６と、乗員顔解析部２８と、を備える。映像蓄積解析装置２０ａの映像蓄積部２２と乗員顔解析部２８と車両特徴解析部２６とは、それぞれ、実施の形態１に係る映像蓄積解析装置２０の映像蓄積部２２と乗員顔解析部２８と車両特徴解析部２６と同等の構成を備える。

図１３は、実施の形態３に係る監視システム１ｂの動作の一例を説明するシーケンス図である。

ステップＳ８０１において、監視装置１０ａは、監視対象範囲に含まれる車両の乗員の顔および車両の一部を撮影する。

ステップＳ８０３において、監視装置１０ａは、映像蓄積解析装置２０ａに、ネットワークＮを介して映像データを送信（配信）する。

ステップＳ８０５において、映像蓄積解析装置２０ａは、車両映像データを車両特徴解析部２６に渡す。ここで、図１３に示されているように、車両特徴解析部２６は、ナンバーが一致したことを示す通知（ナンバー一致通知）を受け取っていない場合、受け取った車両映像データを破棄する。

ステップＳ８０７において、映像蓄積解析装置２０ａは、乗員顔映像データを乗員顔解析部２８に渡す。ここで、図１３に示されているように、乗員顔解析部２８は、車両の特徴が一致したことを示す通知（車両特徴一致通知）またはナンバー一致通知を受け取っていない場合、受け取った乗員顔映像データを破棄する。なお、ステップＳ８０５およびステップＳ８０７が実行される順序は、逆であってもよく、または、同時（並列実行）であってもよい。

ステップＳ８０９において、監視装置１０ａのナンバー解析部３２は、ナンバーを認識し、認識したナンバーを登録済みのナンバーリストの中から検索する。

ステップＳ８１１において、監視装置１０ａのナンバー解析部３２は、ナンバーが一致したか否かを示す検索の結果を映像蓄積解析装置２０ａに通知する。

ステップＳ８１３において、ナンバーが一致することを検索の結果が示す場合、ナンバー一致通知を車両特徴解析部２６に通知する。

ステップＳ８１５において、車両特徴解析部２６は、車両映像データに基づいて、車両の特徴を検出する。

ステップＳ８１７において、車両特徴解析部２６は、車両の特徴が一致したか否かを示す検出の結果を映像蓄積解析装置２０ａに通知する。

ステップＳ８１９において、車両の特徴が一致することを検出の結果が示す場合、車両特徴一致通知を乗員顔解析部２８に通知する。

ステップＳ８２１において、乗員顔解析部２８は、乗員顔映像データに基づいて、映像に映っている乗員を識別する。

ステップＳ８２３において、乗員顔解析部２８は、乗員を識別したか否かを示す識別の結果を映像蓄積解析装置２０ａに渡す。

ステップＳ８２５において、映像蓄積解析装置２０ａは、検索の結果、検出の結果、識別の結果、およびワンショットを集約する。

ステップＳ８２７において、映像蓄積解析装置２０ａは、集約した検索の結果、検出の結果、識別の結果、およびワンショットを端末装置３０に送信する。

ステップＳ８２９において、端末装置３０は、集約した検索の結果、検出の結果、識別の結果、およびワンショットを表示する。

実施の形態３によれば、監視装置１０ａと映像解析装置２０ａとが別体として設けられ、ネットワークＮを介して接続されている。したがって、実施の形態１および２と比較して、映像解析装置２０ａを多数の監視装置１０ａとより容易に接続できる。

（実施の形態４）
図１４は、実施の形態４に係る監視システム１ｃの構成の一例を示す図である。

監視システム１ｃは、監視装置（撮影装置、識別装置）１０ｂと、端末装置３０と、映像蓄積装置４０と、を備える。監視システム１ｃは、監視装置１０ｂと、映像蓄積装置４０と、を備える点において監視システム１と異なる。監視システム１と監視システム１ｃとにおいて共通する点については、説明を省略する。

監視装置１０ｂは、監視対象範囲を撮影し、車両映像データおよび顔映像データを生成する。次いで、監視装置１０ｂは、車両映像データに基づいて、乗員顔映像データが顔画像解析対象であるか否かを判定する。次いで、監視装置１０ｂは、顔画像解析対象であると判定した乗員顔映像データを解析し、映像に映っている乗員を識別する。次いで、監視装置１０ｂは、識別の結果を端末装置３０に通知する。

監視装置１０ｂは、撮影部１２（または撮影部１２ａ）と、ナンバー解析部２４と、車両特徴解析部２６と、乗員顔解析部２８と、を備える。監視装置１０ｂの撮影部１２（または撮影部１２ａ）と、ナンバー解析部２４と、車両特徴解析部２６と、乗員顔解析部２８とは、それぞれ、実施の形態１に係る監視システム１の撮影部１２（または撮影部１２ａ）と、ナンバー解析部２４と、車両特徴解析部２６と、乗員顔解析部２８と同等の構成を備える。監視装置１０ｂは、例えば、ＣＰＵおよびメモリを備える、ＰＣ（Personal Computer）またはワークステーションといったサーバコンピュータであり、メモリが記憶するプログラムをＣＰＵが実行することにより、各構成要素の機能を実現する。

映像蓄積装置４０は、監視装置１０から受け取った映像データを一時的に蓄積する。映像蓄積装置４０は、映像蓄積部２２を備える。映像蓄積部２２は、実施の形態１に係る監視システム１の映像蓄積部２２と同等の構成を備える。

図１５は、実施の形態４に係る監視システム１ｃの動作の一例を説明するシーケンス図である。

ステップＳ９０１において、撮影部１２または撮影部１２ａは、監視対象範囲に含まれる車両の乗員の顔および車両の一部を撮影する。

ステップＳ９０３において、撮影部１２または撮影部１２ａは、映像データを監視装置１０ｂに渡す。

ステップＳ９０５において、監視装置１０ｂは、車両映像データをナンバー解析部２４に渡す。

ステップＳ９０７において、ナンバー解析部２４は、ナンバーを認識し、認識したナンバーを登録済みのナンバーリストの中から検索する。

ステップＳ９０９において、ナンバー解析部２４は、ナンバーが一致したか否かを示す検索の結果を監視装置１０ｂに通知する。

ステップＳ９１１において、監視装置１０ｂは、車両特徴解析部２６に車両映像データを渡す。一例において、監視装置１０ｂは、ナンバーが一致した場合に、車両特徴解析部２６に車両映像データを渡す。他の一例において、監視装置１０ｂは、ナンバーが一致していない場合であっても、車両特徴解析部２６に車両映像データを渡す。

ステップＳ９１３において、車両特徴解析部２６は、車両映像データに基づいて、車両の特徴を検出する。

ステップＳ９１５において、車両特徴解析部２６は、車両の特徴が一致したか否かを示す検出の結果を監視装置１０ｂに通知する。

ステップＳ９１７において、監視装置１０ｂは、乗員顔解析部２８に乗員顔映像データを渡す。一例において、監視装置１０ｂは、ナンバーが一致した場合に、乗員顔解析部２８に乗員顔映像データを渡す。他の一例において、監視装置１０ｂは、車両の特徴が一致した場合に、乗員顔解析部２８に乗員顔映像データを渡す。他の一例において、監視装置１０ｂは、ナンバーおよび車両の特徴がそれぞれ一致した場合に、乗員顔解析部２８に乗員顔映像データを渡す。

ステップＳ９１９において、乗員顔解析部２８は、乗員顔映像データに基づいて、映像に映っている乗員を識別する。

ステップＳ９２１において、乗員顔解析部２８は、乗員を識別したか否かを示す識別の結果を監視装置１０ｂに渡す。

ステップＳ９２３において、監視装置１０ｂは、検索の結果、検出の結果、識別の結果、およびワンショットを集約する。

ステップＳ９２５において、監視装置１０ｂは、集約した検索の結果、検出の結果、識別の結果、およびワンショットを、ネットワークＮを介して端末装置３０に通知する。

ステップＳ９２７において、端末装置３０は、集約した検索の結果、検出の結果、識別の結果、およびワンショットを表示する。

なお、ステップＳ９０５～Ｓ９０９とステップＳ９１１～Ｓ９１５とが実行される順序は、逆であってもよく、または、同時（並列実行）であってもよい。この場合、ステップＳ９０５において、一例において、映像蓄積解析装置２０は、車両の特徴が一致した場合に、ナンバー解析部２４に車両映像データを渡す。他の一例において、映像蓄積解析装置２０は、車両の特徴が一致していない場合であっても、ナンバー解析部２４に車両映像データを渡す。

実施の形態４によれば、監視装置１０ｂの乗員顔解析部２８が、乗員の識別を実行する。したがって、実施の形態１から３と比較して、乗員の識別を、より容易に分散処理できる。

上述の実施の形態においては、各構成要素に用いる「・・・部」という表記は、「・・・回路（circuitry）」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム（通信装置と総称）において実施可能である。通信装置の、非限定的な例としては、電話機（携帯電話、スマートフォン等）、タブレット、パーソナル・コンピューター（ＰＣ）（ラップトップ、デスクトップ、ノートブック等）、カメラ（デジタル・スチル／ビデオ・カメラ等）、デジタル・プレーヤー（デジタル・オーディオ／ビデオ・プレーヤー等）、着用可能なデバイス（ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等）、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン（遠隔ヘルスケア・メディシン処方）デバイス、通信機能付きの乗り物又は移動輸送機関（自動車、飛行機、船等）、及び上述の各種装置の組み合わせがあげられる。

通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス（家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等）、自動販売機、その他ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）ネットワーク上に存在し得るあらゆる「モノ（Things）」をも含む。

通信には、セルラーシステム、無線ＬＡＮシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサ等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサが含まれる。

また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。

本開示に係る撮影装置は、撮影素子と、前記撮影素子の出力から得られる画像フレームにおける前記撮影素子の露光時間に応じて、前記画像フレームを異なる映像ストリームに割り当てるプロセッサと、を備える。

本開示に係る撮影装置において、前記プロセッサは、連続する複数の前記画像フレームにおける前記撮影素子の露光時間を、第１の露光時間と前記第１の露光時間より短い第２の露光時間とに交互に設定する。

本開示に係る撮影装置において、
前記複数の映像ストリームは、第１の映像ストリームと第２の映像ストリームであり、前記プロセッサは、移動体の乗員の顔を含む前記乗員の一部を前記第１の露光時間で前記撮影素子が撮影した画像フレームを前記第１のストリームに割り当て、前記移動体の一部を前記第２の露光時間で前記撮影素子が撮影した画像フレームを前記第２の映像ストリームに割り当てる。

本開示に係る撮影方法は、撮像素子の出力から画像フレームを取得し、前記画像フレームにおける前記撮影素子の露光時間に応じて、前記画像フレームを異なる映像ストリームに割り当てる。

本開示に係る識別装置は、移動体を撮影した画像において前記移動体の乗員の顔が含まれない部分に基づいて前記乗員が識別対象であるか否かを判定した結果を取得し、前記結果が前記識別対象であることを示す場合に、前記乗員の顔が含まれる画像に基づいて、前記乗員の顔を識別する。

本開示に係る識別装置において、前記移動体の乗員の顔が含まれない部分は、ナンバープレートの画像を含み、前記識別対象であるか否かの判定は、前記ナンバープレートが示すナンバーに基づく。

本開示に係る識別装置において、前記移動体は、車両であり、前記移動体の乗員の顔が含まれない部分は、車両のエンブレム、前記車両のヘッドライト、前記車両のフロントマスク、前記車両のタイヤ、前記車両のホイール、および前記車両の塗装部分の少なくとも１つの画像を含み、前記識別対象であるか否かの判定は、前記エンブレム、前記ヘッドライト、前記フロントマスク、前記車両のタイヤ、前記車両のホイール、および前記塗装部分の色の少なくとも１つに基づく。

本開示に係る識別装置において、前記移動体の乗員の顔が含まれない部分は、前記乗員が着用する服装の少なくとも一部の画像を含み、前記識別対象であるか否かの判定は、前記服装の色に基づく。

本開示に係る識別方法は、移動体を撮影した画像において前記移動体の乗員の顔が含まれない部分に基づいて前記乗員が識別対象であるか否かを判定した結果を取得し、前記結果が前記識別対象であることを示す場合に、前記乗員の顔が含まれる画像に基づいて、前記乗員の顔を識別する。

本開示に係る識別プログラムは、実行されると、プロセッサに、移動体を撮影した画像において前記移動体の乗員の顔が含まれない部分に基づいて前記乗員が識別対象であるか否かを判定した結果を取得させ、前記結果が前記識別対象であることを示す場合に、前記乗員の顔が含まれる画像に基づいて、前記乗員の顔を識別させる。

本開示は、走行車両の乗員を監視する監視システムに有用である。

１，１ａ，１ｂ，１ｃ 監視システム
１０，１０ａ，１０ｂ 監視装置
１２，１２ａ 撮影部
２０，２０ａ 映像蓄積解析装置
２２ 映像蓄積部
２４，３２ ナンバー解析部
２６ 車両特徴解析部
２８ 乗員顔解析部
３０ 端末装置
４０ 映像蓄積装置
５０ ナンバー解析装置
６０ 車両特徴解析装置
７０ 乗員顔解析装置
１０２，１０２ａ，１０２ｂ 前面フィルタモジュール
１０４ レンズモジュール
１０６，１０６ａ，１０６ｂ 撮影素子
１０８ 照度検出部
１１０ 制御部
１１２ 前面フィルタ駆動部
１１４ レンズ駆動部
１１６ 照明駆動部
１１８ 照明部
１２０ 記憶部

Claims (12)

1. 監視装置により撮影された移動体の乗員の顔が含まれない部分の第１の映像と前記監視装置により撮影された前記移動体の前記乗員の顔が含まれる第２の映像とを蓄積する蓄積部と、
   前記第１の映像を用いて前記乗員の顔が識別対象であるか否かを判定する判定部と、
   前記判定の結果が前記乗員の顔が前記識別対象であることを示す場合に前記蓄積部から前記第２の映像を取得し、前記第２の映像を用いて、前記乗員の顔を識別する識別部と、を備える、
   識別装置。
2. 前記第１の映像を撮影するための前記監視装置の露光時間と前記第２の映像を撮影するための前記監視装置の露光時間とは異なる、
   請求項１に記載の識別装置。
3. 前記第１の映像は、前記移動体である車両のナンバープレートの画像を含み、
   前記判定部は、前記第１の映像からナンバープレートを抽出し、抽出された前記ナンバープレートからナンバーを認識し、前記ナンバーが登録済みの車両のナンバーリストに含まれるか否かを判定した第１の結果を用いて前記乗員の顔が前記識別対象であるか否かを判定する、
   請求項１に記載の識別装置。
4. 前記第１の映像は、前記移動体である車両の特徴を含み、
   前記判定部は、前記第１の映像から前記車両の特徴を抽出し、前記特徴が登録済みの車両の特徴リストに含まれるか否かを判定した第２の結果を用いて前記乗員の顔が前記識別対象であるか否かを判定する、
   請求項３に記載の識別装置。
5. 前記判定部は、前記第１の結果と前記第２の結果との少なくとも１つを用いて前記乗員の顔が前記識別対象であるか否かを判定し、
   前記識別部は、前記判定の結果が前記乗員の顔が前記識別対象であると判定された場合に前記蓄積部から前記第２の映像を取得し、前記第２の映像を用いて、前記乗員の顔を識別する、
   請求項４に記載の識別装置。
6. 前記移動体は、車両であり、前記移動体の前記乗員の顔が含まれない部分は、前記車両のエンブレム、前記車両のヘッドライト、前記車両のフロントマスク、前記車両のタイヤ、前記車両のホイール、および前記車両の塗装部分の少なくとも１つの画像を含み、
   前記判定部は、前記エンブレム、前記ヘッドライト、前記フロントマスク、前記車両のタイヤ、前記車両のホイール、および前記塗装部分の色の少なくとも１つに基づいて前記乗員の顔を前記識別対象であるか否かを判定する、
   請求項１、３または４のうち少なくとも１項に記載の識別装置。
7. 前記移動体の乗員の顔が含まれない部分は、前記乗員が着用する服装の少なくとも一部の画像を含み、
   前記判定部は、前記服装の色に基づいて前記乗員の顔が前記識別対象であるか否かを判定する、
   請求項１、３または４のうち少なくとも１項に記載の識別装置。
8. 監視装置により撮影された移動体の乗員の顔が含まれない部分の第１の映像と前記監視装置により撮影された前記移動体の前記乗員の顔が含まれる第２の映像とを蓄積し、
   前記第１の映像を用いて前記乗員の顔が識別対象であるか否かを判定し、
   前記判定の結果が前記乗員の顔が前記識別対象であることを示す場合に前記第２の映像を取得し、
   前記第２の映像を用いて、前記乗員の顔を識別する、
   識別方法。
9. 識別装置に、
   監視装置により撮影された移動体の乗員の顔が含まれない部分の第１の映像と前記監視装置により撮影された前記移動体の前記乗員の顔が含まれる第２の映像とを蓄積する処理と、
   前記第１の映像を用いて前記乗員の顔が識別対象であるか否かを判定する処理と、
   前記判定の結果が前記乗員の顔が前記識別対象であることを示す場合に前記第２の映像を取得する処理と、
   前記第２の映像を用いて、前記乗員の顔を識別する処理と、を実行させるための、
   識別プログラム。
10. 監視装置と、
    前記監視装置と通信可能に接続された識別装置と、を備え、
    前記識別装置は、
    前記監視装置により撮影された移動体の乗員の顔が含まれない部分の第１の映像と前記監視装置により撮影された前記移動体の前記乗員の顔が含まれる第２の映像とを蓄積する蓄積部と、
    前記第１の映像を用いて前記乗員の顔が識別対象であるか否かを判定する判定部と、
    前記判定の結果が前記乗員の顔が前記識別対象であることを示す場合に前記蓄積部から前記第２の映像を取得し、前記第２の映像を用いて、前記乗員の顔を識別する識別部と、を備え、
    前記監視装置は、前記第１の映像と前記第２の映像とを異なる露光時間で撮影する、
    監視システム。
11. 前記監視装置は、前記第１の映像を撮影するための第１の露光時間と、前記第１の露光時間より短く前記第２の映像を撮影するための第２の露光時間と、を交互に設定する、
    請求項１０に記載の監視システム。
12. 前記監視装置は、前記第１の映像を前記第１の露光時間で撮影し、前記第２の映像を前記第２の露光時間で撮影する、
    請求項１１に記載の監視システム。

Images