JP6632632B2 - 監視システム - Google Patents

Description

本発明は、監視システムに関するものである。

従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設には犯罪抑止や事故防止等の目的で、監視システムが設置されている。このような監視システムでは、監視対象の人物等をカメラ等の撮像装置で撮影し、撮影された映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、目的や必要に応じて注意を喚起する、あるいは映像を記録するものである。
近年、治安の悪化や社会不安の高まり、監視カメラの低価格化とともに、上述のような施設のみならず、商店街や繁華街の街頭、住宅地内の生活道路にまで、このような監視システムが設置されるケースが増加している。

先行技術文献としては、例えば、特許文献１に、音声通信、映像通信、その中間等の各種通信形態を低負担かつシームレスに利用できる発明が開示されている。
また、他の先行技術文献としては、例えば、特許文献２に、人物の振り向きざまの表情を撮り逃すことがなく、ベストショットを確実に記録する発明が開示されている。

特許登録第４４７５５７９号公報 特開２０１０−１７７８５９号公報

廣池敦他、「大規模な画像集合のための表現モデル」、日本写真学会誌、２００３年６６巻１号、Ｐ９３−Ｐ１０１

監視システムの設置場所の広がりは、システムに接続される撮像装置の数を飛躍的に増大させ、ネットワーク流量の増加から、ネットワークの構築や維持に掛かるコストを押し上げる要因となっている。
本発明の目的は、ネットワーク流量を低減することである。

本発明の監視システムは、撮像装置とユーザ撮像装置と端末装置を備えた監視システムであって、撮像装置は配信画像の画質やフレームレートを変更する手段を有し、ユーザ撮像装置は端末装置の監視者を撮影し、端末装置はユーザ撮像装置の撮影画像から、監視者の配信画像に対する注視頻度を取得する手段と、注視頻度に基づき配信画像の画質またはフレームレートを決定する手段と、該決定した結果に基づき撮像装置への配信指示を出す手段とを有することを特徴とする。

また、本発明の監視システムは、撮像装置とユーザ撮像装置と端末装置を備えた監視システムであって、撮像装置は配信画像の画質やフレームレートを変更する手段を有し、ユーザ撮像装置は端末装置の監視者を撮影し、端末装置は撮像装置からの配信画像を画面表示する手段と監視者毎に配信画像の画質やフレームレートを設定する手段とユーザ撮像装置の撮影画像から監視者の個人識別を行う手段と個人識別によって識別された監視者に対応した配信画像の画質やフレームレートを決定する手段と、該決定した結果に基づき撮像装置への配信指示を出す手段とを有することを特徴とする。

本発明によれば、ネットワーク流量を低減することができる。

本発明の一実施例に係る監視システムの構成を示す図である。 本発明の一実施例に係る監視システムの機能構成を示す図である。 本発明の一実施例に係る監視システムの配信指示部における配信指示データの態様を示す図である。 本発明の一実施例に係る監視システムの端末装置における処理の流れを説明するためのフローチャートである。 本発明の他の一実施例に係る監視システムの構成を示す図である。 本発明の他の一実施例に係る監視システムの機能構成を示す図である。 本発明の他の一実施例に係る監視システムの人物記録部における人物データの態様を示す図である。 本発明の他の一実施例に係る監視システムの端末装置における処理の流れを説明するためのフローチャートである。

以下、本発明の実施形態について図面を参照して詳細に説明する。（第１の実施形態） 本発明の第１の実施形態について、図１から図４を用いて説明する。
図１は本発明の一実施例に係る監視システムの構成を示す図である。
図１において、監視システムは、ネットワーク１００、監視撮像装置１０１〜１０５、端末装置１０６、ユーザ撮像装置１０７で構成されている。

ネットワーク１００は、監視撮像装置１０１〜１０５、端末装置１０６、ユーザ撮像装置１０７を相互に接続してデータ通信を行うＵＳＢ（Universal Serial Bus）等の専用線やイントラネット、インターネット、無線ＬＡＮ（Local Area Network）等の通信線である。
監視撮像装置１０１〜１０５は、遠近制御やピント制御が可能なズームレンズや、ＣＣＤやＣＭＯＳ等の撮像素子、アナログ信号をデジタル変換するＡ／Ｄ回路、ＲＡＭ等の一時記憶メモリ、データ伝送バス、タイミング回路、外部入出力インタフェース、電源回路、パンやチルト等を行う雲台、可視光ライトや近赤外ＬＥＤ（Light Emitting Diode）等の照明等を備える監視カメラ等の装置である。

監視撮像装置１０１〜１０５は、レンズを通った光を、撮像素子で電気信号に変換し、電気信号をＡ／Ｄ回路でデジタル変換し、一時記憶メモリに画像データとして格納（記憶）する。格納された画像データは、外部入出力インタフェースに入力された外部からの映像要求やタイミング回路からの指示等に応じて、外部入出力インタフェースからネットワークに出力される。また、同様に外部入出力インタフェースに入力された外部からの制御命令に応じて、配信する画像の画質や配信フレームレート等を変更することが可能である。

端末装置１０６は、ＣＰＵ（Central Processing Unit）等の演算回路や、ＲＡＭ（Random Access Memory）等の一時記憶メモリ、ＨＤＤ（Hard Disk Drive）等の記録媒体、データ伝送バス、外部入出力インタフェース、電源回路、液晶ディスプレイ等の画面、キーボードやマウス等のユーザ入力機器を備える、コンピュータ等の装置である。
端末装置１０６は、ネットワーク１００から外部入出力インタフェースに入力された監視撮像装置１０１〜１０５からの画像データを一時記憶メモリに格納する。格納された画像データを、演算回路を使い、表示に適した形態に変換を加え、画面表示する。記録媒体には、本発明の方式を含むソフトウェア一式や、ＯＳ（オペレーションシステム）等が格納されている。また、本端末装置１０６に対するユーザ操作は、ユーザ入力機器に対して行われる。

ユーザ撮像装置１０７は、遠近制御やピント制御が可能なズームレンズや、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子、アナログ信号をデジタル変換するＡ／Ｄ回路、ＲＡＭ等の一時記憶メモリ、データ伝送バス、タイミング回路、外部入出力インタフェース、電源回路等を備えるＵＳＢカメラ等の装置である。

ユーザ撮像装置１０７は、レンズを通った光を、撮像素子で電気信号に変換し、電気信号をＡ／Ｄ回路でデジタル変換し、一時記憶メモリに画像データとして格納する。格納された画像データは、外部入出力インタフェースに入力された外部からの映像要求やタイミング回路からの指示等に応じて、外部入出力インタフェースからネットワークに出力される。また、同様に外部入出力インタフェースに入力された外部からの制御命令に応じて、配信する画像の画質や配信フレームレート等を変更することが可能である。
ユーザ撮像装置１０７は、ユーザ（監視者）の顔を正面から撮影可能な位置、例えば、端末装置１０６の画面近傍に配置されるものとする。

次に、本発明の一実施例である監視システムの機能構成について図２を用いて説明する。 図２は本発明の一実施例に係る監視システムの機能構成を示す図である。図１と同一の符号は、同一の装置を示す。
端末装置１０６は、配信指示部２００、監視画像受信部２０１、画面表示部２０２、ユーザ画像取得部２０３、顔検出部２０４、注視判定部２０５、判定結果保持部２０６、制御部２０７で構成されている。

配信指示部２００は、監視撮像装置１０１〜１０５への監視画像配信を指示する機能部である。配信指示は、配信フレームレートや画質についての指示も含んで構成される。配信指示部２００は、配信指示データを保持する。配信指示データの態様については、後述する。
監視画像受信部２０１は、監視撮像装置からの監視画像取得を行う機能部である。本実施例では、監視撮像装置１０１〜１０５から入力された画像データの受信を行う。

画面表示部２０２は、監視画像の画面表示を行う機能部である。本実施例では、画像受信部２０１で受信した画像データを、表示に適した形態に変換し、表示を行う。
ユーザ画像取得部２０３は、ユーザ撮像装置からのユーザ（監視者）画像の取得を行う機能部である。本実施例では、ユーザ撮像装置１０７から画像データの取得を行う。
顔検出部２０４は、ユーザ画像中から監視者の顔を検出する機能部である。本実施例では、ユーザ画像取得部２０３にて取得した画像データに対し画像認識技術を用いた顔検出を行い、監視者の存在を判定し、監視者が存在する場合にはその領域座標出力を行う。

注視判定部２０５は、監視者の監視画像注視の有無とその注視対象画像を判定する機能部である。本実施例では、顔検出部２０４にて監視者が存在すると判定した場合に、その視線方向を検出し、視線の先が画面表示部２０２により表示している監視画像である場合に、注視されていると判定する。その際、注視対象となっている監視画像も併せて判定する。
判定結果保持部２０６は、注視判定部２０５にて判定した結果を所定時間保持する機能部である。本実施例では、注視判定部２０５にて判定した結果をその判定時刻とともに一時記憶メモリに保持する。保持時間は予め設定として与え、保持時間を越えた結果については破棄をする。保持の態様についてはどのようであってもよい。
制御部２０７は、端末装置１０６の各機能部の制御を行う機能部である。

次に、配信指示部における配信指示データの態様について図３を用いて説明する。
図３は本発明の一実施例に係る監視システムの配信指示部における配信指示データの態様を示す図である。
配信指示データ３００は、１種類の配信指示を１レコードとして保管する。本実施例では、レコード３０１〜３０７の７個のレコード、すなわち７種類の配信指示が保管できるようになっている。本データは予め設定しておくものとする。
レコードは、頻度セル３１０、配信フレームレートセル３１１、画質セル３１２で構成される。
頻度セル３１０は、注視頻度の範囲を格納する領域である。注視頻度は一定時間、例えば、１分間における注視の回数である。本例では、具体的な数値を示していないが、レコード３０１に格納された範囲が、最も高頻度であり、レコード３０７に格納された値が最も低頻度であるとする。

配信フレームレートセル３１１は、配信フレームレートを格納する領域である。配信フレームレートは、一定時間、例えば１秒間に撮像装置から出力される画像の枚数である。本実施例では、具体的な数値を示していないが、レコード３０１に格納された値が最も高いフレームレートであり、レコード３０７に格納された値が最も低いフレームレートであるとする。
画質セル３１２は、画質を格納する領域である。画質は、例えば、画像の解像度や圧縮率、あるいはそれらの組合せで構成する。本実施例では、具体的な数値を示していないが、レコード３０１に格納された値が最も高画質であり、レコード３０７に格納された値が最も低画質であるとする。

次に、端末装置１０６における処理の流れについて図４を用いて説明する。
図４は本発明の一実施例に係る監視システムの端末装置における処理の流れを説明するためのフローチャートである。
端末装置１０６における処理は、図４（Ａ）と図４（Ｂ）で構成されている。
図４（Ｂ）の処理は監視撮像装置１０１〜１０５毎に行われる処理である。図１のシステム構成において、端末装置１０６は内部にて、図４（Ａ）の処理が１つと、図４（Ｂ）の処理が５つの合計６つの処理が並列実行される形となる。

まず、図４（Ａ）の処理の流れについて説明する。
ステップ４００において、端末装置１０６の制御部２０７は、所定時間の待機を行う。待機時間の長さは予め設定する。所定時間経過後に、処理をステップ４０１に進める。
ステップ４０１において、端末装置１０６のユーザ画像取得部２０３は、ユーザ撮像装置１０７からのユーザ画像取得を行う。

ステップ４０２において、端末装置１０６の顔検出部２０４は、ステップ４０１にて取得したユーザ画像データに対して、顔検出を行う。顔検出は、例えば、背景画像との差分を求め、その差分領域の面積や形状等にて判定をする方法や、予め学習させ用意しておいた眼や鼻、口等の主要構成要素の配置や額と眼の濃淡差等の顔の画像特徴パターンを有する領域の有無や画像内探索を使って探す方法、等により行う。本発明の一実施例ではいずれの方法であってもよい。
顔検出部２０４は、ステップ４０２の判定で、顔を検出した場合（ＹＥＳ）にはステップ４０３の処理に進み、顔を検出しない場合（ＮＯ）にはステップ４００の処理に戻る。

ステップ４０３において、端末装置１０６の注視判定部２０５は、ステップ４０２で求めた顔領域に対し、目尻や目頭、黒目の中心、鼻や口等の器官位置検出を行う。
ステップ４０４において、端末装置１０６の注視判定部２０５は、視線方向の検出を行う。視線方向の検出は、ステップ４０３で求めた器官の位置関係から顔向きを推定し、顔向きと黒目の位置関係から求める方法等により行う。本発明ではいずれの方法であってもよい。

ステップ４０５において、端末装置１０６の注視判定部２０５は、監視画像注視の有無を判定する。ステップ４０４で求めた視線が監視画像を向いている場合に当該監視画像に対して注視有りと判定する。注視有りと判定した場合（ＹＥＳ）にはステップ４０６の処理に進み、注視無しと判定した場合（ＮＯ）にはステップ４００の処理に戻る。
ステップ４０６において、端末装置１０６の判定結果保持部２０６は、ステップ４０５で求めた判定結果と判定時刻を保管（記憶）する。

ステップ４０７において、端末装置１０６の判定結果保持部２０６は、所定時間における注視頻度を算出する。頻度の算出は、過去一定時間における注視有りの判定結果の数で求める。処理後、処理をステップ４００の処理に戻る。

次に、図４（Ｂ）の処理の流れについて説明する。
ステップ４１０において、端末装置１０６の配信指示部２００は、監視撮像装置に対して、画像配信の要求を送信する。その際、要求する配信フレームレートや画質は、配信指示データ３００から、デフォルトとして、例えば、レコード３０４に格納された値を取り出すものとする。本ステップで指示した配信フレームレートや画質について、現配信条件として保管（記憶）しておく。

ステップ４１１において、端末装置１０６の監視画像受信部２０１は、画像受信待機を行い、監視撮像装置１０１〜１０５からの画像着信を検知するとステップ４１２の処理に進む。
ステップ４１２において、端末装置１０６の監視画像受信部２０１は、監視撮像装置からの監視画像を受信する。

ステップ４１３において、端末装置１０６の画面表示部２０２は、受信した監視画像データに対して、必要に応じて、圧縮画像の展開や画像形式の変換を行い、画面に表示する。その際、ステップ４１０で保管した現配信条件を取り出し、条件が高画質である場合には大きな面積で、低画質である場合には小さな面積で表示したり、高フレームレートである場合には画面の上部に表示し、低フレームレートである場合には画面の下部に表示する等の配信条件に併せた表示制御も併せて行う。この表示制御は、並列実行されている５つの処理間で表示位置が重なったり等しないように協調動作させる。

ステップ４１４において、端末装置１０６の配信指示部２００は、ステップ４０７で算出・保管されている注視頻度を取出し、配信指示データ３００を参照する。レコード３０１〜３０７について、頻度セル３１０に格納された値と上記で取り出した注視頻度を順に比較し、該当するレコードを探し出す。そして、該当レコードに格納された配信フレームレートと画質を取り出す。取り出した配信フレームレートや画質について、新配信条件として保管する。

ステップ４１５において、端末装置１０６の配信指示部２００は、現配信条件と新配信条件を比較する。不一致であった場合（ＹＥＳ）にはステップ４１６の処理に進み、それ以外の場合（ＮＯ）にはステップ４１１の処理に戻る。
ステップ４１６において、端末装置１０６の配信指示部２００は、監視撮像装置に対して、画像配信の変更要求を送信する。その際、要求する配信フレームレートや画質は、ステップ４１４で取り出した値とする。本ステップで指示した配信フレームレートや画質について、現配信条件として保管しておく。処理後、ステップ４１１の処理に戻る。

ここまでに示したように、本発明では、監視画像に対する注視頻度をリアルタイムに求め、注視頻度に応じて配信条件を変化させながら配信を行う方式を提供する。注視頻度が高いほど、高フレームレート、高画質で監視画像表示を行う。また、逆に注視頻度が低いほど、低フレームレート、低画質で監視画像表示を行う。一般的に高フレームレートや高画質であるほどネットワーク流量は高く、低フレームレートや低画質であるほどネットワーク流量は低い。従って、本発明により、システム全体のネットワーク流量を最適化することを可能とした。
なお、ここまでの説明においては、説明の簡略化のため、監視撮像装置を５台、端末装置を１台の構成で示したが、これらはネットワークに対し、上記以外の台数の構成であってもよい。

（第２の実施形態） 次に、本発明の第２の実施形態について、図５から図８を用いて説明する。
図５は本発明の他の一実施例に係る監視システムの構成を示す図である。
図５において、図１と同一の符号の装置は、同一の装置を示す。
監視システムは、ネットワーク１００、監視撮像装置１０１〜１０５、端末装置５０６、ユーザ撮像装置１０７で構成されている。

端末装置５０６は、ＣＰＵ等の演算回路や、ＲＡＭ等の一時記憶メモリ、ＨＤＤ等の記録媒体、データ伝送バス、外部入出力インタフェース、電源回路、液晶ディスプレイ等の画面、キーボードやマウス等のユーザ入力機器を備える、コンピュータ等の装置である。

端末装置５０６は、ネットワーク１００から外部入出力インタフェースに入力された監視撮像装置１０１〜１０５からの画像データを一時記憶メモリに格納（記憶）する。格納された画像データを、演算回路を使い、表示に適した形態に変換を加え、画面表示する。記録媒体には、本発明の方式を含むソフトウェア一式や、ＯＳ（オペレーションシステム）、ユーザ（監視者）の画像（人物特徴量）一式等が格納されている。また、本端末装置に対するユーザ操作は、ユーザ入力機器に対して行われる。
ユーザ撮像装置１０７は、ユーザ（監視者）の顔を正面から撮影可能な位置、例えば、端末装置５０６の画面近傍に配置されるものとする。

次に、本発明の他の一実施例である監視システムの機能構成について図６を用いて説明する。
図６は本発明の他の一実施例に係る監視システムの機能構成を示す図である。
図６において、図１や図２、図５と同一の符号は、同一の装置を示す。
端末装置５０６は、配信指示部２００、監視画像受信部２０１、画面表示部２０２、ユーザ画像取得部２０３、顔検出部２０４、顔特徴量算出部６０８、人物識別部６０９、人物記録部６１０、制御部６１１の各機能部で構成されている。

顔特徴量算出部６０８は、顔検出部２０４で検出した画像中の顔領域に対して画像認識技術を用いて特徴量算出を行う機能部である。
人物識別部６０９は、顔検出部２０４で検出した監視者に対する人物識別を、顔特徴量算出部６０８で求めた特徴量を人物記録部６１０に格納されたデータベースに照合することにより判定する機能部である。

人物記録部６１０は、監視者の人物特徴量、本実施例では顔特徴量をその人物ＩＤ（姓名や人物固有に与えた識別情報）等と併せて人物データとして記録しておく機能部である。ここで用いる特徴量は画像上に映った人物に対し、個人を識別するための画像特徴量であり、例えば、目鼻口などの器官の位置関係やそれぞれの輪郭情報であったりする。本例においては、利用する特徴量はどのようであってもよい。
また、人物記録部６１０には、監視撮像装置１０１〜１０５に対する配信条件を人物毎に記録しておく。ここで配信条件とは、配信フレームレートや画質等で構成される。人物データは、事前に与えられておくものとし、その与え方はどのようであってもよい。人物データの態様については後述する。
制御部６１１は、端末装置５０６の各機能部の制御を行う機能部である。

次に、人物記録部６１０における人物データの態様について図７を用いて説明する。
図７は本発明の他の一実施例に係る監視システムの人物記録部における人物データの態様を示す図である。
人物データ７００は、人物１名の情報を１個のレコードとして記録する。本実施例は、監視者３名の情報、すなわち３個のレコードが記録されている状態を示し、レコード７０１〜７０３で構成される。本データは予め設定しておく。

レコードは、レコード番号セル７１０、人物ＩＤセル７１１、特徴量セル７１２、配信フレームレートセル７１３〜７１７、画質セル７１８〜７２２で構成される。
レコード番号セル７１０は、レコード番号を格納する領域である。レコード番号は、レコードの管理をするために用いる番号であり、例えば、レコード毎にユニークに振られる連続整数値である。

人物ＩＤセル７１１は、監視者の人物ＩＤを格納する領域である。本実施例では、人物名称としての文字列が格納された例を示すが、人物固有に与えた識別情報であれば、整数値等を用いるようにしてもよい。
特徴量セル７１２は、監視者の人物特徴量を格納する領域である。本実施例では、説明の容易さのため、１次元値としての小数値が格納された例を示すが、多次元値を用いるようにしてもよい。

配信フレームレートセル７１３〜７１７は、配信フレームレートを格納する領域である。配信フレームレートは、所定時間、例えば、１秒間に撮像装置から出力される画像の枚数である。配信フレームレートセル７１３は、監視撮像装置１０１に対する配信フレームレート、配信フレームレートセル７１４は、監視撮像装置１０２に対する配信フレームレート、配信フレームレートセル７１５は、監視撮像装置１０３に対する配信フレームレート、配信フレームレートセル７１６は、監視撮像装置１０４に対する配信フレームレート、配信フレームレートセル７１７は、監視撮像装置１０５に対する配信フレームレートを、それぞれ格納する。本セルに格納する値自体はどんな値でも良く、本実施例では、記号を具体的な数値の代わりに示す。

画質セル７１８〜７２２は、画質を格納する領域である。画質は、例えば、画像の解像度や圧縮率、あるいはそれらの組合せで構成する。本セルに格納する値自体はどんな値でも良く、本例では、記号を具体的な数値の代わりに示す。

次に、端末装置５０６における処理の流れについて図８を用いて説明する。
図８は本発明の他の一実施例に係る監視システムの端末装置における処理の流れを説明するためのフローチャートである。
端末装置５０６における処理は、図８（Ａ）と図（Ｂ）で構成されている。図８（Ｂ）の処理は監視撮像装置毎に行われる処理であるため、５台の監視撮像装置を示した図５のシステム構成においては、端末装置５０６の内部にて、図８（Ａ）の処理が１つと、図（Ｂ）の処理が５つの合計６つの処理が並列実行される形となる。

まず、図８（Ａ）の処理の流れについて説明する。
ステップ８００において、端末装置５０６の制御部６１１は、所定時間の待機を行う。待機時間の長さは予め設定する。所定時間経過後に、処理をステップ８０１に進める。
ステップ８０１において、端末装置５０６のユーザ画像取得部２０３は、ユーザ撮像装置１０７からのユーザ画像取得を行う。

ステップ８０２において、端末装置５０６の顔検出部２０４は、ステップ８０１にて取得したユーザ画像データに対して、顔検出を行う。顔検出は、例えば、背景画像との差分を求め、その差分領域の面積や形状等にて判定をする方法や、予め学習させ用意しておいた眼や鼻、口等の主要構成要素の配置や額と眼の濃淡差等の顔の画像特徴パターンを有する領域の有無を画像内探索を使って探す方法、等により行う。本発明の他の一実施例ではいずれの方法であってもよい。
顔検出部２０４は、ステップ８０２の判定で、顔を検出した場合（ＹＥＳ）にはステップ８０３に進み、顔を検出しない場合（ＮＯ）にはステップ８０８の処理に進む。

ステップ８０３において、端末装置５０６の制御部６１１は、監視者なしフラグをＯＦＦにし、処理をステップ８０４に進める。なお、説明の簡略化のため、図８には明示していないが、監視者なしフラグは初期状態ＯＮとする。
ステップ８０４において、端末装置５０６の顔特徴量算出部６０８は、ステップ８０２で求めた顔領域に対し、特徴量算出を行う。
ここで算出する特徴量には、例えば、頭髪や皮膚の色、顔の輪郭の形状や方向、目や鼻、口といった主要構成要素の大きさ・形状や配置関係等々の画像特徴量が挙げられるが、本発明の他の一実施例においては使用する特徴量の種類や数はいずれであってもよい。

ステップ８０５において、端末装置５０６の人物識別部６０９は、特徴量の照合を行う。具体的には、ステップ８０４で算出した特徴量を、人物記録部６１０に予め記録しておいた人物データ７００の各人物の特徴量全てを対象に順番に照合（一致度算出）していき、最も一致性の高い特徴量を探し出す。この特徴量を持つ人物を最類似人物とする。

ここで、一致度とは、画像（画像特徴量）同士の近さを示す数値であり、その算出方法については、例えば、非特許文献１の「大規模な画像集合のための表現モデル」（廣池敦他、日本写真学会誌２００３年６６巻１号Ｐ９３−Ｐ１０１）のような論文を参照することができる。本例における一致度は、値が小さいほど一致性が高いものとする。例えば、ステップ８０４で算出した特徴量が４．５であって、一致度の算出方法が特徴量値の差分であるとした場合、レコード７０１〜７０３の３レコードの特徴量セル７１２の格納値と照合した結果、差分、すなわち一致度が０.４であるレコード７０２に格納された人物が最類似人物となる。本発明において、照合順番の決定方法や、一致度の算出方法はどのようであってもよい。

ステップ８０６において、端末装置５０６の人物識別部６０９は、監視者の判定を行う。判定は、ステップ８０５で求めた最類似人物についてその一致度とある所定値（閾値）との関係において、一致度が閾値以下であった場合にその人物を監視者として判定する。閾値は予め設定する。例えば、閾値が０．６であるとした場合、ステップ８０５で求めた最類似人物の一致度は０．４であるので、ユーザ撮像装置１０７に撮影された人物は、レコード７０２に格納された人物、すなわち監視者と判定される。
人物識別部６０９は、ステップ８０６の処理で、監視者有りの場合（ＹＥＳ）にはステップ８０７の処理に進み、監視者なしの場合（ＮＯ）にはステップ８０８の処理に進む。

ステップ８０７において、端末装置５０６の制御部６１１は、監視者ＩＤにステップ８０６で求めた監視者の人物ＩＤをセットする。例えば、レコード７０２の人物ＩＤセル７１１の格納値をセットする。処理後、ステップ８００の処理に戻る。なお、説明の簡略化のため、図８には明示していないが、監視者ＩＤは初期状態では未設定とする。
ステップ８０８において、端末装置５０６の制御部６１１は、監視者なしフラグをＯＮにし、監視者ＩＤをクリアした上で、ステップ８００の処理に戻る。

次に、図８（Ｂ）の処理の流れについて説明する。
ステップ８１０において、端末装置５０６の制御部６１１は、所定時間の待機を行う。待機時間の長さは予め設定する。所定時間経過後に、ステップ８１１の処理に進む。
ステップ８１１において、端末装置５０６の制御部６１１は、監視者なしフラグがＯＮであるか否かを判定し、監視者なしフラグがＯＦＦである場合（ＮＯ）には、ステップ８１２の処理に進み、監視者なしフラグがＯＮである場合（ＹＥＳ）にはステップ８１０の処理に戻る。

ステップ８１２において、端末装置５０６の制御部６１１は、監視者ＩＤの変化を判定し、前回の判定から監視者ＩＤに変化がある場合（ＹＥＳ）にはステップ８１３の処理に進み、監視者ＩＤに変化がない場合（ＮＯ）にはステップ８１５の処理に進む。
ステップ８１３において、端末装置５０６の制御部６１１は、配信条件の取得を行う。人物記録部６１０に格納された人物データ７００の中から監視者ＩＤと人物ＩＤが一致するレコードを特定する。そして、一致レコードの配信フレームレートセルと画質セルから、配信フレームレート値と画質値を取り出す。

ステップ８１４において、端末装置５０６の配信指示部２００は、監視撮像装置に対して、画像配信の要求を送信する。その際、要求する配信条件、すなわち、配信フレームレートや画質は、ステップ８１３にて取り出した値とする。
ステップ８１５において、端末装置５０６の監視画像受信部２０１は、画像受信待機を行う。監視撮像装置からの画像着信を検知すると処理はステップ８１６に進む。
ステップ８１６において、端末装置５０６の監視画像受信部２０１は、監視撮像装置からの監視画像を受信する。

ステップ８１７において、端末装置５０６の画面表示部２０２は、受信した監視画像データに対して、必要に応じて、圧縮画像の展開や画像形式の変換を行い、画面に表示する。その際、ステップ８１３で取得した配信条件を参照し、条件が高画質である場合には大きな面積で、低画質である場合には小さな面積で表示したり、高フレームレートである場合には画面の上部に表示し、低フレームレートである場合には画面の下部に表示する等の配信条件に併せた表示制御も併せて行う。この表示制御は、並列実行されている５つの処理間で表示位置が重なったり等しないように協調動作させるものとする。処理後、ステップ８１１の処理に戻る。

上述で示したように、本発明の一実施例では、監視画像に対する監視者をリアルタイムに求め、監視者に応じて配信条件を変化させながら配信を行う方式を提供する。また、端末装置の前に人物が存在しない場合や人物は存在するが監視者でない場合には、配信を行わない方式を提供する。これらにより、システム全体のネットワーク流量の無駄を低減することを可能とした。

上述の説明においては、説明の簡略化のため、監視撮像装置を５台、端末装置を１台の構成で示したが、これらはネットワークに対し、上記以外の台数の構成であってもよい。
また、監視映像の配信元を撮像装置とした構成で示したが、録画装置や再配信装置とした構成であってもよい。
また、人物識別に掛かる処理を端末装置上にて実施する構成にて示したが、別個の装置、例えば、サーバ装置にて実施するようにしてもよい。
さらに、本発明の第１の形態と第２の形態を別個の実施例として示したが、第１の形態と第２の形態を組み合わせて実施するようにしてもよい。

本発明の実施形態である監視システムは、ネットワーク流量を低減することができる。

以上、本発明の一実施形態について詳細に説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更して実施することができる。

監視者の画像に対する注視頻度に基づき配信画像の画質やフレームレートを変更することによって、ネットワーク流量を低減したい用途に適用できる。

１００：ネットワーク、１０１〜１０５：監視撮像装置、１０６：端末装置、１０７：ユーザ撮像装置、２００：配信指示部、２０１：監視画像受信部、２０２：画面表示部、２０３：ユーザ画像取得部、２０４：顔検出部、２０５：注視判定部、２０６：判定結果保持部、２０７：制御部、３００：配信指示データ、３０１〜３０７：レコード、３１０：頻度セル、３１１：配信フレームレートセル、３１２：画質セル、５０６：端末装置、６０８：顔特徴量算出部、６０９：人物識別部、６１０：人物記録部、６１１：制御部、７００：人物データ、７０１〜７０３：レコード、７１０：レコード番号セル、７１１：人物ＩＤセル、７１２：特徴量セル、７１３〜７１７：配信フレームレートセル、７１８〜７２２：画質セル。

Claims (3)

1. 撮像装置とユーザ撮像装置と端末装置を備えた監視システムであって、
   前記撮像装置は、配信画像の画質やフレームレートを変更する手段を有し、
   前記ユーザ撮像装置は、前記端末装置の監視者を撮影し、
   前記端末装置は、前記ユーザ撮像装置の撮影画像から、監視者の前記配信画像に対する注視頻度を取得する手段と、前記注視頻度に基づき配信画像の画質またはフレームレートを決定する手段と、該決定した結果に基づき前記撮像装置への配信指示を出す手段とを有することを特徴とする監視システム。
2. 前記端末装置は、前記ユーザ撮像装置の撮影画像から監視者の個人識別を行う人物識別手段と、前記識別手段によって識別された監視者に対応した配信画像の画質やフレームレートを決定し、該決定した結果に基づき前記撮像装置への配信指示を出す配信指示手段とを有することを特徴とする請求項１の監視システム。
3. 前記端末装置は、前記ユーザ撮像装置の撮影画像から監視者の個人識別を行う人物識別手段と、前記人物識別手段が監視者の個人識別ができなかった場合、前記撮像装置への配信指示を出さない配信指示手段とを有することを特徴とする請求項１の監視システム。

Images