JP7014440B2 - 映像監視システム、映像処理方法および映像処理プログラム - Google Patents

映像監視システム、映像処理方法および映像処理プログラム Download PDF

Info

Publication number
JP7014440B2
JP7014440B2 JP2019075386A JP2019075386A JP7014440B2 JP 7014440 B2 JP7014440 B2 JP 7014440B2 JP 2019075386 A JP2019075386 A JP 2019075386A JP 2019075386 A JP2019075386 A JP 2019075386A JP 7014440 B2 JP7014440 B2 JP 7014440B2
Authority
JP
Japan
Prior art keywords
category
video
different
operator
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019075386A
Other languages
English (en)
Other versions
JP2019192227A (ja
Inventor
大地 久田
岳志 森部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2019192227A publication Critical patent/JP2019192227A/ja
Application granted granted Critical
Publication of JP7014440B2 publication Critical patent/JP7014440B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G08B13/19693—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound using multiple video sources viewed on a single or compound screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、監視カメラからの映像を解析する技術に関する。
上記技術分野において、特許文献１には、リアルタイム学習により、挙動認識システムの事前知識、事前学習を不要とする技術が開示されている。
ＷＯ２００８／０９８１８８号公報
しかしながら、上記文献に記載の技術では、挙動認識を機械学習することにより、類似の物体の過去の観測に基づいて、一定の挙動を正常または異常と特徴付けている。これでは、システム運用者が積極的に介在、支援しないため、運用過程での識別器学習ができない。つまり、挙動解析システムの実運用中に解析精度を向上させることができない。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係る映像監視システムは、
カメラで撮影された映像に基づいて特定のカテゴリの物体を検出し、検出の結果を出力する検出手段と、
前記映像と共に、前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御手段と、
前記カテゴリ設定画面において、前記異なるカテゴリの名称と、前記映像上で前記異なるカテゴリの物体に対応する領域を指定するための領域指定用グラフィックオブジェクトによって指定される注目領域との入力を、オペレータの操作により受け付ける入力手段と、
前記カテゴリ設定画面に対する前記オペレータの操作に応じて設定された前記異なるカテゴリの名称を、前記映像に含まれる画像と共に学習用データとして蓄積する学習用データ蓄積手段と、
を備える。
上記目的を達成するため、本発明に係る映像処理方法は、
カメラで撮影された映像に基づいて特定のカテゴリの物体を検出して、検出の結果を出力し、
前記映像と共に、前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリを設定するためのカテゴリ設定画面を表示し、
前記カテゴリ設定画面において、前記異なるカテゴリの名称と、前記映像上で前記異なるカテゴリの物体を含む領域を指定するための領域指定用グラフィックオブジェクトによって指定される注目領域との入力を、オペレータの操作により受け付け、
前記カテゴリ設定画面に対する前記オペレータの操作に応じて設定された前記異なるカテゴリの名称を、前記映像に含まれる画像と共に学習用データとして蓄積する。
上記目的を達成するため、本発明に係る映像処理プログラムは、
カメラで撮影された映像に基づいて特定のカテゴリの物体を検出し、検出の結果を出力する検出処理と、
前記映像と共に、前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御処理と、
前記カテゴリ設定画面において、前記異なるカテゴリの名称と、前記映像上で前記異なるカテゴリの物体に対応する領域を指定するための領域指定用グラフィックオブジェクトによって指定される注目領域との入力を、オペレータの操作により受け付ける入力処理と、
前記カテゴリ設定画面に対する前記オペレータの操作に応じて設定された前記異なるカテゴリの名称を、前記映像に含まれる画像と共に学習用データとして蓄積する学習用データ蓄積処理と、
をコンピュータに実行させる。
本発明によれば、監視システムの実運用中に効果的かつ効率的に映像解析精度を高めることができる。
本発明の第１実施形態に係る映像処理装置の構成を示すブロック図である。 本発明の前提技術に係る映像監視システムの構成を示すブロック図である。 本発明の前提技術に係る映像監視システムの構成を示すブロック図である。 本発明の前提技術に係る映像監視システムの処理の流れを示すフローチャートである。 本発明の前提技術に係る映像監視システムの学習処理の流れを示すフローチャートである。 本発明の第２実施形態に係る映像監視システムの構成を示すブロック図である。 本発明の第２実施形態に係る映像監視システムで用いられるカテゴリテーブルの構成を示す図である。 本発明の第２実施形態に係る映像監視システムで用いられるカテゴリテーブルの構成を示す図である。 本発明の第２実施形態に係る映像監視システムにおいて映像監視操作端末群から学習用映像抽出部に送られるカテゴリ情報の内容を示す。 本発明の第２実施形態に係る映像監視システムの表示画像例を示す図である。 本発明の第２実施形態に係る映像監視システムに格納されるカメラごとの発生事象テーブルの例を示す図である。 本発明の第２実施形態に係る映像監視システムの表示画像例を示す図である。 本発明の第２実施形態に係る映像監視システムの学習処理の流れを示すフローチャートである。 本発明の第２実施形態に係る映像監視システムの学習処理の流れを示すフローチャートである。 本発明の第３実施形態に係る映像監視システムの構成を示すブロック図である。 本発明の第３実施形態に係る映像監視システムのインセンティブテーブルの内容を示すブロック図である。 本発明の第３実施形態に係る映像監視システムの学習処理の流れを示すフローチャートである。 本発明の第４実施形態に係る映像監視システムの表示画像例を示す図である。 本発明の第４実施形態に係る映像監視システムの学習処理の流れを示すフローチャートである。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
［第１実施形態］
本発明の第１実施形態としての映像処理装置１０１について、図１を用いて説明する。図１に示すように、映像処理装置１０１は、映像データ蓄積部１２１と映像解析部１１１と表示制御部１２３と学習用データ蓄積部１４０とを含む。
映像データ蓄積部１２１は、監視カメラ１０２で撮影された映像データを蓄積する。映像解析部１１１は、映像データ蓄積部１２１に蓄積された映像データを解析して、特定のカテゴリ情報に属する事象を検出し、その検出結果を出力する。また、表示制御部１２３は、映像データ蓄積部１２１に蓄積された映像データの映像と共に、映像に含まれる事象のカテゴリ情報を設定するためのカテゴリ情報設定画面を表示させる。学習用データ蓄積部１４０は、カテゴリ情報設定画面に対するオペレータ１８０の操作に応じて設定されたカテゴリ情報とそのカテゴリ情報が設定された映像データとを学習用データとして蓄積する。そして、映像解析部１１１は学習用データ蓄積部１４０に蓄積された学習用データを用いて、学習処理を行なう。
本実施形態によれば、監視システムの実運用中に効果的かつ効率的に映像解析精度を高めることができる。
［第２実施形態］
本発明の第２実施形態は、映像検知エンジンの検知対象の学習用映像をカテゴリ別に収集し、収集した学習用映像を新規モジュール作成、既定モジュールの精度向上に活用する技術に関するものである。なお、以下の説明中「映像」という用語は、動画のみを意味する概念ではなく、静止画をも含む概念として用いている。
（前提技術）
まず、本発明の第２実施形態に係る映像監視システムの前提技術について、図２Ａ～図４を用いて説明する。図２Ａ、図２Ｂは、本実施形態の前提技術としての映像監視システム２００を説明するための図である。
図２Ａに示すように、映像監視システム２００は、データセンタ２０１と監視カメラ群２０２とを含む。データセンタ２０１は、映像解析プラットフォーム２１０と映像監視プラットフォーム２２０とを含み、さらに、複数の映像監視操作端末群２３２を含んでいる。この図では、複数の映像監視操作端末群２３２を備えた映像監視室２３０の様子を示している。映像監視室２３０では、オペレータ２４０が、映像監視操作端末群２３２のそれぞれの端末が備える２画面のモニタを見ながら、監視対象映像をチェックしている。ここでは、左画面において１６画面分割表示を行ない、右画面において１画面拡大表示を行なった場合の例を示している。しかし、本発明はこれに限定されるものではなく、どのような表示でもよい。例えば左右が逆でもよいし、それぞれの画面での分割数も任意の数である。映像監視室２３０の前方の壁には、複数の大型モニタ２３１が設けられ、問題のある映像または静止画面が表示される。このような映像監視室２３０では、例えば、２００人のオペレータ２４０が、交代しながら、一人あたり１６カメラの映像を監視し、全２０００カメラの映像を２４時間３６０日間監視し続ける。そして、オペレータ２４０は、割り当てられた１６台の監視カメラの映像を見つつ、暴走車、銃やナイフなどの危険物、窃盗、ひったくり、家出、傷害事件、殺人、麻薬取引、不法侵入といった問題行為、それらに準ずる物および行為（例えば不審者や群衆の動き）などといった検出すべき事象を見つけ出し、スーパバイザに報告する。スーパバイザは、映像を再確認して、必要に応じて警察や病院に連絡し、被害者の救助および犯罪者の逮捕に協力する。
映像監視プラットフォーム２２０は、ＶＭＳ(Video Management System)と呼ばれ、監視カメラ群２０２から取得した映像データの保存、および映像監視操作端末群２３２に対する配信を行なう。その結果、映像監視操作端末群２３２では、所定の割り当てルールに応じて、映像データのリアルタイム表示を行なう。映像監視プラットフォーム２２０は、映像監視操作端末群２３２を操作するオペレータ２４０からのリクエストに応じて、監視カメラ群２０２のいずれかを選択し、ＰＴＺ（パン・チルト・ズーム）操作指示を送る。
映像解析プラットフォーム２１０は、映像監視プラットフォーム２２０において保存された映像データに対して解析処理を施し、条件に合った映像データが存在した場合、対象となる映像データを指定したカテゴリ情報を映像監視プラットフォーム２２０へ送信する。映像監視プラットフォーム２２０は、映像解析プラットフォーム２１０から受け取ったカテゴリ情報に応じて、アラート画面を生成し、映像監視操作端末群２３２の所定端末に対して通知する。場合によっては、問題映像の強制拡大表示、大型モニタ２３１への表示を行なう。
図２Ｂは、映像監視システム２００の詳しい構成を示すブロック図である。図２Ｂに示すとおり、映像監視プラットフォーム２２０は、監視カメラ群２０２から映像データ２５０を収集して、採取時刻、カメラ位置、カメラＩＤ、その他の情報を付加して映像ストレージ２２１に蓄積する。また、カメラ選択操作部２２２は、オペレータ２４０による映像監視操作端末群２３２を介した、カメラの指定およびＰＴＺ（パン・チルト・ズーム）操作指示を受け取り、指定された監視カメラを操作する。
映像監視プラットフォーム２２０は、映像監視操作端末群２３２に対してアラートを表示させる表示制御部２２３と、映像監視操作端末群２３２からの指示に応じて、映像ストレージ２２１に保存された過去映像の再生／編集を行なう映像読出処理部２２４とを含む。
映像解析プラットフォーム２１０は、既定映像解析モジュール２１１を備えている。各映像解析モジュールは、それぞれ別々の種類の問題映像を検出するためのアルゴリズムおよび/またはパラメータで構成されている。これらの既定映像解析モジュール２１１は、あらかじめ用意されたアルゴリズムおよびパラメータを用いて、あらかじめ設定された事象を含む映像検出を行ない、検出した映像データに対して、あらかじめ用意されたカテゴリ情報を映像監視プラットフォーム２２０に送信する。
図３は、データセンタ２０１での処理の流れを説明するためのフローチャートである。ステップＳ３０１において、映像監視プラットフォーム２２０は、監視カメラ群２０２から、映像データ２５０を受信する。
次に、ステップＳ３０２において、映像監視プラットフォーム２２０は受信した映像データ２５０を映像ストレージ２２１へ保存し、映像監視操作端末群２３２および映像解析プラットフォーム２１０へ送信する。
次に、ステップＳ３０３において、カメラ選択操作部２２２は、映像監視操作端末群２３２を介してオペレータ２４０からカメラ選択情報とカメラ操作情報とを受信し、選択された監視カメラに対して操作コマンドを送信する。
一方、ステップＳ３０４では、映像解析プラットフォーム２１０が、既定映像解析モジュール２１１を用いて、映像監視プラットフォーム２２０から受信した映像データの解析処理を行なう。
そして、ステップＳ３０５において、既定映像解析モジュール２１１は、あらかじめ定められた条件を満たす映像を検出した場合に、ステップＳ３０７に進み、カテゴリ情報を映像監視プラットフォーム２２０へ送信する。条件を満たす映像を検出しない場合でも、ステップＳ３１０へ進み、「カテゴリ情報無し」というカテゴリ情報を映像監視プラットフォーム２２０へ送信する。
さらにステップＳ３０８では、映像監視プラットフォーム２２０の表示制御部２２３にてアラート画面を生成し、対象監視カメラの映像と共に映像監視操作端末群２３２に送信する。
ステップＳ３０９では、アラート画面に対するオペレータ２４０の操作（スーパーバイザや警察への報告操作）を受け付ける。
図４は、既定映像解析モジュール２１１を生成する際の処理の流れを説明するためのフローチャートである。ここでの映像解析モジュール生成処理は、データセンタ２０１を現地に構築する前に行なう。まずステップＳ４０１では、膨大な過去映像の中から検出すべき事象を含む映像を人間の目で大量に抽出する。あるいは、ステップＳ４０２において、実運用環境と類似の環境において、検出すべき事象と類似する事象を意図的に発生させ、撮影を実施し、サンプル映像を抽出する。ステップＳ４０３では、抽出／収集された大量の映像データの一つ一つに対してマニュアルで付加情報を付与し、学習用映像を作成する。さらに、ステップＳ４０４では、対象となるオブジェクト、事象、動作に対して最適なアルゴリズムを研究者／エンジニアが選択し、学習用映像データを学習させて既定映像解析モジュール２１１を生成する。
（前提技術の課題）
上記前提技術では既定映像解析モジュールを作成する際、収集と正解付けに莫大な工数と期間を必要としていた。例えば、顔認証では２０００枚の画像、ディープラーニングでの特定事象検知では１００万枚の画像が必要であり、導入までのハードルが高かった。つまり、学習用映像からの映像解析モジュール（識別器）作成はマニュアルで実施され、その過程の中で映像解析モジュールの動作検証も個別に実施しており、個別に環境を整備していた為、工数と期間を必要としていた。
これに対し、近年、犯罪や事故の種別が多様化する中で、検出できる事象の追加処理に対する運用顧客の需要は高まっている。また、監視環境とは異なる環境で収集をした学習用映像のみを適用した既定映像解析モジュールでは、実際の映像監視環境によっては問題映像の検出精度が大きく落ちてしまう場合があった。そして、実際の監視環境にフィットさせるためには、多くの工数と長い期間を必要としていた。
（本実施形態の構成）
図５は、本実施形態に係る監視情報処理システムの一例としての映像監視システム５００の構成を示すブロック図である。前提技術と同様の構成には同じ符号を付して説明を省略する。図２Ｂに示した前提技術と異なり、本実施形態に係る映像処理装置の一例としてのデータセンタ５０１は、学習用データベース５４０と、映像監視操作端末５７０とを備える。学習用データベース５４０は、オペレータ２４０が選択したカテゴリ情報５６１を付加された学習用映像データ５６０を蓄積する。また、映像監視操作端末５７０は、スーパバイザ５８０がカテゴリ情報指定を行なうための端末である。映像解析プラットフォーム５１０は、新規に作成される新規映像解析モジュール５１１とカテゴリ情報追加部５１５と新規映像解析モジュール生成部５１６とを備える。一方、映像監視プラットフォーム５２０は、新たに学習用映像抽出部５２５を備える。
カテゴリ情報とは映像中に検知したいオブジェクト、動作の分類を示す情報である。カテゴリ情報としては、例えば“拳銃”、“ナイフ”、“喧嘩”、“暴走”、“バイクの二人乗り”、“麻薬取引”等がある。映像解析プラットフォーム５１０は、カテゴリ情報テーブル５１７、５１８を備えており、各種のカテゴリ情報とその属性が対応付けて保存されている。
図６Ａ、図６Ｂは、既定カテゴリ情報テーブル５１７と新規カテゴリ情報テーブル５１８の内容を示す図である。カテゴリ情報テーブル５１７、５１８は、カテゴリ情報名に対応付けて、カテゴリ情報種別、形状、軌跡情報、大きさの閾値などを記憶している。これらを参照することにより、映像解析モジュール２１１、５１１は、映像データに含まれる事象のカテゴリを決定することができる。
図６Ｃに、映像監視操作端末群２３２から学習用映像抽出部５２５に送られるカテゴリ情報５３１の内容を示す。図６Ｃに示すように、カテゴリ情報５３１としては、「カテゴリ」、「カメラＩＤ」、「映像撮影時刻」、「事象領域」、「オペレータ情報」、「カテゴリ種別」を登録する。ここで、「カテゴリ」とは、検知したいオブジェクト名、動作の分類のことである。「カメラＩＤ」とは、監視カメラを特定するための識別子である。「映像撮影時刻」とは、そのカテゴリ情報を追加すべき映像データが撮影された年月日と時刻を示す情報である。特定の期間（採取開始～終了）を表す場合もある。「事象領域」とは、映像における“対象となる形”、“映像背景差分”、“背景差分の全体映像の中の位置”を表す情報である。事象領域は矩形領域だけでなく、マスク映像、背景差分映像、多角形映像等、様々な種類を用意する。「オペレータ情報」とは、カテゴリ情報を追加したオペレータの情報を示し、オペレータＩＤや名前などを含む。カテゴリ種別とは、検知対象物/事象のタイプのことである。例えばカテゴリ情報“銃“については、対象となる銃の「形状」を学習用映像データとして蓄積するカテゴリ種別である。また、カテゴリ“暴走”であれば、指定領域の背景差分の起点から終点までの軌跡を「動作」として学習用映像データを蓄積するカテゴリ情報種別である。さらに、カテゴリ情報“麻薬取引”であれば、映像全体における背景差分の軌跡を「動作」として学習用映像データを蓄積するカテゴリ情報種別である。
図５に戻ると、カテゴリ追加部５１５は、既に存在する映像解析モジュール２１１、５１１において、パラメータの調整または追加によって、新たに検出しようとする事象のカテゴリを増やすことができる場合、それらの映像解析モジュール２１１、５１１に対してパラメータの調整または追加を行なう。一方、既に存在する映像解析モジュール２１１、５１１のパラメータの調整または追加では、新たに検出しようとする事象カテゴリを増やすことができないと判断した場合、新規映像解析モジュール生成部５１６を用いて、新規映像解析モジュール５１１を生成する。また、学習用データベース５４０に蓄積された学習用映像データ５６０を、カテゴリ情報５６１に基づいて選択した映像解析モジュール２１１、５１１に振り分け、それぞれの映像解析モジュールに学習処理を行なわせる。
表示制御部５２３は、図７Ａに示すようなカテゴリ情報選択画面７０１を生成して、映像監視操作端末群２３２に送る。カテゴリ情報選択画面７０１には、あらかじめ用意されたカテゴリ情報（例えば「ヘルメット無し」「バイク二人乗り」「スピード超過」「拳銃」「ナイフ」「麻薬取引」「喧嘩」など）とは別に、カテゴリ情報の選択肢として「その他」７１１が含まれている。ここで、オペレータ２４０によるカテゴリ情報選択のモチベーションを下げないように、図７Ｂに示すカメラ事象テーブル７０２を参照することによりあらかじめ予測した一部のカテゴリ情報候補（例えば５個）のみをカテゴリ情報選択画面７０１に表示することが好ましい。カメラ事象テーブル７０２は、カメラＩＤ７２１ごとに、そのカメラで撮影される映像に含まれる可能性の高い事象のカテゴリ情報を蓄積したものである。すなわち、発生した事象のカテゴリ７２２とその発生率７２３とを、発生率の高いものから順次記憶する。選択されたカテゴリ情報に関するカテゴリ情報はカテゴリ情報が選択された映像データと共に学習用データベース５４０に蓄積される。
学習用映像抽出部５２５は、「その他」７１１が選択された映像データについては、スーパバイザ５８０が適宜、映像監視操作端末５７０を介して具体的なカテゴリ情報を入力できるように、別途、学習用データベース５４０に蓄積する。また、「その他」が選択された際、その時点での映像データを示す映像識別情報と共に、カテゴリ情報入力要求が、スーパバイザ５８０用の映像監視操作端末５７０に送信される。オペレータ２４０が映像監視操作端末群２３２を通じて映像監視中にカテゴリ情報選択操作を実施すると、映像識別情報とカテゴリとのセット５３１を、映像監視プラットフォーム５２０を介して学習用データベース５４０に蓄積する。一方、表示制御部５２３は、スーパバイザ５８０による新規カテゴリ情報生成処理を促すための、新規カテゴリ情報生成画面を映像監視操作端末５７０に送信する。
図８は、このような新規カテゴリ情報設定画面８０１の具体例を示す図である。この新規カテゴリ情報設定画面８０１では、例として、カテゴリ情報名入力欄８１１とカテゴリ情報種別選択欄８１３の他に、そのカテゴリ情報に含まれる映像を検出するために注目すべき領域を指定する領域指定用グラフィックオブジェクト８１２が用意されている。図８に示す新規カテゴリ情報設定画面８０１に加えて、「その他」カテゴリ情報を選択したオペレータ、映像を取得した場所、時間などを特定する情報を表示してもよい。映像解析により「その他」としてカテゴライズされた映像が、どのカテゴリ情報の映像に近いのかを判定し、スーパバイザ５８０に提示してもよい。
新規映像解析モジュール生成部５１６は、新たなカテゴリ情報にフィットする既存アルゴリズムを選択し、そのアルゴリズムに従ったニューラルネットワーク等により、新たな映像解析モジュールを作成する。そしてさらに、蓄積された学習用映像データを用いて、学習させる。学習、適用処理としては、カテゴリ情報に合わせてバッチ処理かオンザフライ処理かを選択可能である。
カテゴリ情報追加部５１５は、バッチ処理、もしくはリアルタイム処理を施し、追加されたカテゴリ情報に関する情報をカテゴリ情報テーブル５１８に登録し、既定映像解析モジュール２１１もしくは新規映像解析モジュール５１１が、そのカテゴリ情報テーブル５１７、５１８における参照すべきカテゴリ情報を指定する。
既定映像解析モジュール２１１、新規映像解析モジュール５１１は、指定されたカテゴリ情報に基づいてそれぞれの学習用映像データを用いて学習処理を行なう。これにより、既定映像解析モジュール２１１の映像解析精度が向上し、新規映像解析モジュール５１１は新たな映像解析モジュールとして完成する。
新規映像解析モジュール生成部５１６は、新たなカテゴリにフィットする既存アルゴリズムがない場合には、新たなアルゴリズム（例えば、人の前を複数の人が通過しても、後ろの人をまだ人として認識する）を自動生成してもよい。
（処理の流れ）
図９Ａ、図９Ｂは、映像監視システム５００による処理の流れを説明するためのフローチャートである。ステップＳ３０１からステップＳ３０９までは、図３において説明した前提技術の処理と同様であるため、ここでは説明を省略し、ステップＳ３０９以降のステップＳ９００～Ｓ９１１について説明する。
ステップＳ３０９において、学習用映像抽出部５２５が映像を精査し、検出すべき事象を含む映像であるというアラートが発生すると、ステップＳ９００に進み、表示制御部５２３は、映像監視操作端末群２３２において図７Ａに示すようなカテゴリ情報選択画面７０１を表示する。
ステップＳ９０１では、オペレータ２４０がカテゴリ情報を選択する。ここで選択したカテゴリ情報が、特定のカテゴリ情報の場合には、ステップＳ９０２に進み、学習用映像抽出部５２５において、カテゴリ情報を生成して、映像データに付与し、学習用映像データを生成する。
次にステップＳ９０３では、学習用映像抽出部５２５が、生成した学習用映像データを学習用データベース５４０蓄積し、さらにステップＳ９０４において、既定の映像解析モジュール２１１で学習処理を行なう。
一方、ステップＳ９０１において、オペレータ２４０が、「その他」カテゴリ情報を選択した場合には、ステップＳ９０５に進み、学習用映像抽出部５２５にてカテゴリ情報名を“その他”、カテゴリ情報種別を“NULL”としたカテゴリ情報を生成し、学習用映像データに付与する。
次にステップＳ９０６では、学習用映像抽出部５２５が、カテゴリ情報「その他」を付加した学習用映像データを学習用データベース５４０に格納すると同時に、表示制御部５２３が、スーパバイザ５８０の映像監視操作端末５７０に対し学習用映像データおよび新規カテゴリ情報設定画面８０１を送る。
ステップＳ９０７において、カテゴリ追加部５１５は、スーパバイザ５８０の指示を受けて新たなカテゴリ情報を設定し、蓄積された学習用映像データとの紐付けを行なう。
ステップＳ９０８に進むと、カテゴリ情報追加部５１５が、設定された新たなカテゴリ情報にフィットする既定の映像解析モジュール２１１があるか否かを判定する。設定された新たなカテゴリ情報にフィットする既定の映像解析モジュール２１１がある場合には、ステップＳ９０９に進み、対象の既定映像解析モジュール２１１の新たなカテゴリ情報として設定し、さらにステップＳ９０４において、新たなカテゴリ情報を付された学習用映像データを用いて学習を行なう。
一方、ステップＳ９０８において、設定された新たなカテゴリ情報にフィットする既定の映像解析モジュール２１１が存在していなければ、ステップＳ９１１に進み、新規映像解析モジュール５１１を生成し、学習用映像して学習させる。
図９Ｂは、ステップＳ９１１の新規映像解析モジュール生成処理の詳細な流れを示すフローチャートである。ステップＳ９２１では、不図示のアルゴリズムデータベースを参照する。ステップＳ９２３では、スーパバイザによって指定されたカテゴリ情報種別に応じたアルゴリズム（例えば特徴ベクトルを抽出するアルゴリズム、ブロブ（小さな画像領域）の集合からなるクラスタとそのクラスタの境界を抽出するアルゴリズムなど）を選択し、映像解析プログラムモジュールの骨組みを生成する。次に、ステップＳ９２５では、スーパバイザによって指定された判定領域を用いて、映像解析モジュールが解析対象とする映像領域を設定する。さらにステップＳ９２７において、複数の学習用映像データを用いて、検出対象となる物の形状、大きさや、検出対象となる動きの方向、距離などの閾値を決定する。このとき、学習用映像データ中の検出対象となる物やその動作の特徴ベクトルを抽出しその特徴量を閾値として設定してもよい。ブロブの集合からなるクラスタとそのクラスタの境界を特徴量として抽出する場合、その特徴量を閾値として設定してもよい。
以上、本実施形態によれば、運用者が実運用中、簡易に学習用映像を蓄積し、同時にカテゴリも付随させることができる。これにより、半自動的な学習用映像収集とカテゴリとの関連付けを実現でき、環境へのローカライズや、新規映像解析モジュール生成の工数と期間を抑制することができる。
また、運用環境の映像が学習できる為、より精度の高い映像解析モジュールを構築することが可能となる。このような技術は、映像監視や警備等のセキュリティ分野に適用可能である。また、映像による店舗や公共エリアでの顧客指向分析にも適用可能である。
［第３実施形態］
次に、本発明の第３実施形態に係る映像監視システムについて説明する。本実施形態に係る映像監視システムは、上記第２実施形態と比べると、オペレータに対するインセンティブを考慮する点で異なる。その他の構成および動作については、上記第２実施形態と同様であるため、同じ構成については同じ符号を付してここでは詳しい説明を省略する。
図１０は、本実施形態に係る映像監視システム１０００の構成を示すブロック図である。映像監視システム１０００に含まれる映像監視プラットフォーム１０２０は、第２実施形態と異なり、インセンティブテーブル１０２６を備えている。インセンティブテーブル１０２６、オペレータごとに、学習用データベース５４０に蓄積した学習用映像数に関して統計を取り、インセンティブをつけることにより、収集効率を向上させるものである。
インセンティブテーブル１０２６の一例を図１１に示す。インセンティブテーブル１０２６は、オペレータＩＤ１１０１に紐付けて、学習用映像数１１０２と新規カテゴリ数１１０３とポイント１１０４とを保存、管理している。学習用映像数１１０２は、そのオペレータがカテゴリを選択、付与した学習用映像データの数を表わしている。新規カテゴリ数１１０３は、そのオペレータがカテゴリとして「その他」を選択し，最終的にスーパバイザにより新規のカテゴリとして生成されたカテゴリの数を示す。これらの学習用映像数や新規カテゴリ数は、オペレータによる監視業務の貢献値として評価できるため、これらの値に応じてポイント１１０４を算出し、やはりオペレータＩＤに紐付けて保存、更新する。オペレータが発見し、カテゴリを付与した映像の重要度を、ポイント１１０４の算出の際に考慮して重み付けを行なってもよい。
オペレータの時給や給料などを、このポイント１１０４の値に応じて定めることにより、オペレータの監視業務に対するモチベーションを喚起することができる。インセンティブテーブル１０２６には、オペレータを評価する値として、ポイント以外に、カテゴリ付与の正確さを表わす値を用いてもよい。例えば、正解となるカテゴリを付与されたテスト映像データを複数のオペレータに見せて、それぞれのオペレータの検出スピード、検出精度、カテゴリ正解確率を検証し、それらを用いてオペレータ評価値を算出してもよい。
図１２は、映像監視システム１０００の処理の流れを説明するフローチャートである。カテゴリ選択やカテゴリ生成によって、既定映像解析モジュールに学習させ、または新規映像解析モジュールを生成すると、ステップＳ１２１１に進みポイントを付与する。つまり、例えば、オペレータが発見した事象のカテゴリに応じたインセンティブ（ポイント）
をカテゴリ付けを行なったオペレータＩＤに紐付けて保存する。
本実施形態によれば、オペレータの監視モチベーションを刺激することが可能となる。
［第４実施形態］
本手法の実施例として、監視情報システムの前提技術である図２Ｂのオペレータからのカテゴリ情報追加・修正を可能にしたシステムを説明する。
表示制御部５２３は、図１３に示すようなカテゴリ情報選択画面１３０１を生成して、映像監視操作端末群２３２に送る。カテゴリ情報選択画面１３０１には、映像の表示画面１３０３とアラートの発生状況を表すカテゴリ情報バー１３０２と映像制御用部品１３０４（例えば、「再生」「停止」「一時停止」「巻き戻し」「早送り」など）と映像の再生状況を表すプログレスバー１３０７とカテゴリ情報設定用ボタン１３０５が含まれている。カテゴリ情報設定用ボタン１３０５にはあらかじめ用意されたカテゴリ情報とは別に、カテゴリ情報の選択肢として「その他」１３０６が含まれている。オペレータ２４０は映像制御用部品１３０４を使用して映像を確認する。オペレータ２４０は表示画面１３０３に表示されている映像データのカテゴリ情報をカテゴリ情報設定用ボタン７０５により修正・追加する。オペレータ２４０が設定したカテゴリ情報に関するカテゴリ情報は映像データと共に学習用データベース５４０に蓄積される。
図１４は、映像監視システム５００による処理の流れを説明するためのフローチャートである。ステップＳ３０１からステップＳ３０９までは、図３において説明した前提技術の処理と同様であるため、ここでは説明を省略し、ステップＳ３０９以降のステップＳ９００～Ｓ９１０について説明する。また、ステップＳ９００、ステップＳ９０２からステップＳ９１０までも、図９Ａにおいて説明した処理と同様であるため、ここでは説明を省略し、ステップＳ１４０１について説明する。
ステップＳ３０９において、学習用映像抽出部５２５が映像を精査し、検出すべき事象を含む映像であるというアラートが発生すると、ステップＳ９００に進み、表示制御部５２３は、映像監視操作端末群２３２において図１３に示すようなカテゴリ情報選択画面１３０１を表示する。
カテゴリ情報選択画面１３０１では、映像とそのカテゴリ情報が表示部１３０３とカテゴリ情報バー１３０２に表示される。また、映像制御用部品１３０４を用いることにより再生・巻き戻し・早送りしてカテゴリ情報と映像を確認できる。カテゴリ情報バー１３０２はカテゴリ情報選択画面１３０１に表示された映像に対して発生したカテゴリ情報とオペレータ２４０が修正・追加した正しいカテゴリ情報を色で表示している。例えば、“ヘルメット無し“のアラートが発生した区間は青で表示し、何もアラートが発生していない区間や、カテゴリ情報が無い区間１３１０は黒で表示し、”バイク二人乗り”のアラートが発生した区間は赤で表示する。また、オペレータ２４０がカテゴリ情報設定用ボタン１３０５を用いて修正・追加した正しいカテゴリ情報も同様に表示する。
ステップＳ１４０１において、オペレータ２４０は、カテゴリ情報選択画面１３０１を用いてアラートが発生した映像とそのカテゴリ情報を確認し、カテゴリ情報の修正や追加が必要な区間に対してカテゴリ情報の修正・追加を行う。
カテゴリ情報修正・追加の際には、映像の一部を再生しながら特定のカテゴリ情報に対応するカテゴリ情報設定用ボタン１３０５を押す。例えば“ヘルメット無し“のアラートが発生している区間を”２人乗りバイク”のアラートに修正することを考える。ここで、“ヘルメット無し”のカテゴリ情報に属している区間はカテゴリ情報バー１３０２では青で表示されている。カテゴリ情報選択画面１３０１の映像制御用部品１３０４を使用して、映像を表示部１３０３上で再生しながら、該当の映像データが表示部１３０３に表示されたらカテゴリ情報設定用ボタン１３０５の「バイク二人乗り」ボタンを押し、“バイク二人乗り”のカテゴリへ修正する。この時、オペレータ２４０によりカテゴリ情報が設定された区間に対応するカテゴリ情報バー１３０２の色が「青」から「赤」に変化する。
映像制御用部品１３０４を用いて、同じ区間に対して複数種類のカテゴリ情報を追加することも出来る。このとき複数のカテゴリ情報が追加されている区間のカテゴリ情報バー１３０２は複数の色で層状に表示する。例えば、「ヘルメット無し」と「バイク二人乗り」を追加した場合、カテゴリ情報バー１３０９のように青と赤を層状に表示する。
また、カテゴリ情報を削除したい場合は映像制御用部品１３０４を使用してカテゴリ情報を削除したい区間の映像を再生しながら、「カテゴリ情報無し」ボタン１３０８を押せばよい。これは、カテゴリ情報に「カテゴリ情報無し」へ修正することと同じである。「カテゴリ情報無し」へ修正された区間のカテゴリ情報バー１３１０はアラートが発生していない区間と同様に黒で表示する。
ここで、連続したある一定区間の映像のカテゴリ情報を修正・追加する場合は、該当の区間の映像を再生している間にカテゴリ情報設定用ボタン１３０５の特定のボタンを押し続ければよい。更に、カテゴリ情報修正・追加をしたい区間が長い場合は、カテゴリ情報設定用ボタン１３０５の切り替えをトグル式にしてカテゴリ情報修正・追加をしたい区間の最初と最後のみにボタンを押すようにしてもよい。
ステップＳ１４０１において、オペレータが正しいカテゴリ情報を修正・追加していた場合は、映像解析モジュール２１１が出力すべきアラートを学習することが出来る。
ここで修正・追加したカテゴリ情報が、特定のカテゴリ情報の場合には、ステップＳ９０２に進み、学習用映像抽出部５２５において、カテゴリ情報を映像データに追加し、学習用映像データを生成する。
映像と監視情報システムからのカテゴリ情報をオペレータが確認し、オペレータが正しいカテゴリ情報を設定することにより、新しいオブジェクト、動作を検出する監視情報システムを構築することが出来る。また、カテゴリ情報をオペレータが修正することにより監視情報システムの精度を向上させることが出来る。
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
この出願は、２０１３年６月２８日に出願された日本出願特願２０１３－１３６９５３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (17)

  1. カメラで撮影された映像に基づいて特定のカテゴリの物体を検出し、検出の結果を出力する検出手段と、
    前記映像と共に、前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御手段と、
    前記映像上においてオペレータの操作により表示される矩形領域である領域指定用グラフィックオブジェクトであって、前記異なるカテゴリに対応する領域を指定するための領域指定用グラフィックオブジェクトによって指定される注目領域と、前記異なるカテゴリの名称との入力を、オペレータの操作により前記カテゴリ設定画面において受け付ける入力手段と、
    前記カテゴリ設定画面に対する前記オペレータの操作に応じて設定された前記異なるカテゴリの名称を、前記映像に含まれる画像と共に学習用データとして蓄積する学習用データ蓄積手段と、
    を備え、
    前記注目領域は、前記検出手段が検出した物体のカテゴリとは別のカテゴリの物体を示す領域である、
    映像処理システム。
  2. 前記入力手段は、前記カテゴリ設定画面において、前記異なるカテゴリの種別を設定するための入力を前記オペレータの操作により受け付ける、請求項１に記載の映像処理システム。
  3. 前記表示制御手段は、少なくとも１つのカテゴリ候補を含むカテゴリ情報選択画面を表示させ、
    前記入力手段は、前記カテゴリ情報選択画面において、前記映像の中の物体を示すカテゴリとして前記カテゴリ候補のうちから１つのカテゴリ候補を選択するための入力を、前記オペレータの操作により受け付け、
    前記学習用データ蓄積手段は、前記選択されたカテゴリ候補を前記学習用データとして蓄積する、
    請求項１または２に記載の映像処理システム。
  4. 前記学習用データ蓄積手段は、前記異なるカテゴリの物体に対応する前記注目領域を、前記異なるカテゴリの名称と共に前記学習用データとして蓄積し、 前記検出手段は、前記異なるカテゴリの物体を示す前記注目領域および前記異なるカテゴリの名称を学習した結果を用いて検出を実行する、 請求項１乃至３のいずれか１項に記載の映像処理システム。
  5. 前記検出手段は、前記学習用データ蓄積手段に蓄積された前記学習用データを用いた学習処理の後、前記検出を実行する、請求項１乃至４のいずれか１項に記載の映像処理システム。
  6. 前記表示制御手段は、前記映像の中から検出されたカテゴリの示す物体が存在する数の時系列変化を示すカテゴリ情報バーを表示させる、請求項１乃至５のいずれか１項に記載の映像処理システム。
  7. 前記検出手段は、
    前記異なるカテゴリの物体を検出するために必要な情報が入力された場合であって、前記異なるカテゴリにフィットする既定のアルゴリズムが無い場合に、前記異なるカテゴリの物体を検出するための、前記既定のアルゴリズムと異なるアルゴリズムを生成することで前記学習処理を実行し、
    前記生成された異なるアルゴリズムによって前記映像を解析することで、前記異なるカテゴリの物体を検出する、
    請求項５に記載の映像処理システム。
  8. カメラで撮影された映像に基づいて特定のカテゴリの物体を検出して、検出の結果を出力し、
    前記映像と共に、前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリを設定するためのカテゴリ設定画面を表示し、
    前記映像上においてオペレータの操作により表示される矩形領域である領域指定用グラフィックオブジェクトであって、前記異なるカテゴリに対応する領域を指定するための領域指定用グラフィックオブジェクトによって指定される注目領域と、前記異なるカテゴリの名称との入力を、オペレータの操作により前記カテゴリ設定画面において受け付け、
    前記カテゴリ設定画面に対する前記オペレータの操作に応じて設定された前記異なるカテゴリの名称を、前記映像に含まれる画像と共に学習用データとして蓄積する、
    映像処理方法であって、
    前記注目領域は、検出した前記物体のカテゴリとは別のカテゴリの物体を示す領域である、
    映像処理方法。
  9. 前記異なるカテゴリを設定する際に、前記カテゴリ設定画面において、前記異なるカテゴリの種別を設定するための入力を前記オペレータから受け付ける、
    請求項８に記載の映像処理方法。
  10. 前記学習用データとして蓄積する際に、
    少なくとも１つのカテゴリ候補を含むカテゴリ情報選択画面を表示し、
    前記カテゴリ情報選択画面において、前記映像の中の物体を示すカテゴリとして前記カテゴリ候補のうちから１つのカテゴリ候補を選択するための入力を、前記オペレータの操作により受け付ける、
    請求項８または９に記載の映像処理方法。
  11. 前記特定のカテゴリの物体の検出は、蓄積された前記学習用データを用いた学習処理の後に実行される、請求項８乃至１０のいずれか１項に記載の映像処理方法。
  12. 前記異なるカテゴリの物体を検出するために必要な情報が入力された場合であって、前記異なるカテゴリにフィットする既定のアルゴリズムが無い場合に、前記異なるカテゴリの物体を検出するための、前記既定のアルゴリズムと異なるアルゴリズムを生成することで前記学習処理を実行し、
    前記生成された異なるアルゴリズムによって前記映像を解析することで、前記異なるカテゴリの物体を検出する、
    請求項１１に記載の映像処理方法。
  13. カメラで撮影された映像に基づいて特定のカテゴリの物体を検出し、検出の結果を出力する検出処理と、
    前記映像と共に、前記映像に含まれる物体のカテゴリのうち設定済みのカテゴリとは異なるカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御処理と、
    前記映像上においてオペレータの操作により表示される矩形領域である領域指定用グラフィックオブジェクトであって、前記異なるカテゴリに対応する領域を指定するための領域指定用グラフィックオブジェクトによって指定される注目領域と、前記異なるカテゴリの名称との入力を、オペレータの操作により前記カテゴリ設定画面において受け付ける入力処理と、
    前記カテゴリ設定画面に対する前記オペレータの操作に応じて設定された前記異なるカテゴリの名称を、前記映像に含まれる画像と共に学習用データとして蓄積する学習用データ蓄積処理と、
    をコンピュータに実行させる映像処理プログラムであって、
    前記注目領域は、前記検出処理で検出した物体のカテゴリとは別のカテゴリの物体を示す領域である、
    映像処理プログラム。
  14. 前記入力処理は、前記カテゴリ設定画面において、前記異なるカテゴリの種別を設定するための入力を前記オペレータの操作により受け付ける処理を含む、請求項１３に記載の映像処理プログラム。
  15. 前記表示制御処理は、少なくとも１つのカテゴリ候補を含むカテゴリ情報選択画面を表示させる処理を含み、
    前記入力処理は、前記カテゴリ情報選択画面において、前記映像の中の物体を示すカテゴリとして前記カテゴリ候補のうちから１つのカテゴリ候補を選択するための入力を、前記オペレータの操作により受け付ける処理を含み、
    前記学習用データ蓄積処理は、前記選択されたカテゴリ候補を前記学習用データとして蓄積する処理を含む、
    請求項１３または１４に記載の映像処理プログラム。
  16. 前記検出処理は、前記学習用データ蓄積処理において蓄積された前記学習用データを用いた学習処理の後、前記検出を実行する処理である、請求項１３乃至１５のいずれか１項に記載の映像処理プログラム。
  17. 前記検出処理は、
    前記異なるカテゴリの物体を検出するために必要な情報が入力された場合であって、前記異なるカテゴリにフィットする既定のアルゴリズムが無い場合に、前記異なるカテゴリの物体を検出するための、前記既定のアルゴリズムと異なるアルゴリズムを生成することで前記学習処理を実行し、
    前記生成された異なるアルゴリズムによって前記映像を解析することで、前記異なるカテゴリの物体を検出する処理である、
    請求項１６に記載の映像処理プログラム。
JP2019075386A 2013-06-28 2019-04-11 映像監視システム、映像処理方法および映像処理プログラム Active JP7014440B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013136953 2013-06-28
JP2013136953 2013-06-28

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017118616A Division JP6555547B2 (ja) 2013-06-28 2017-06-16 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020199926A Division JP7036186B2 (ja) 2013-06-28 2020-12-01 映像処理システム、映像処理方法及び映像処理プログラム

Publications (2)

Publication Number Publication Date
JP2019192227A JP2019192227A (ja) 2019-10-31
JP7014440B2 true JP7014440B2 (ja) 2022-02-01

Family

ID=52141907

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2015524069A Active JP6474107B2 (ja) 2013-06-28 2014-06-25 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム
JP2017118616A Active JP6555547B2 (ja) 2013-06-28 2017-06-16 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム
JP2019075386A Active JP7014440B2 (ja) 2013-06-28 2019-04-11 映像監視システム、映像処理方法および映像処理プログラム
JP2020199926A Active JP7036186B2 (ja) 2013-06-28 2020-12-01 映像処理システム、映像処理方法及び映像処理プログラム
JP2022032816A Active JP7359237B2 (ja) 2013-06-28 2022-03-03 映像処理システム、映像処理方法及び映像処理プログラム
JP2023168332A Pending JP2024009835A (ja) 2013-06-28 2023-09-28 映像処理システム、映像処理方法及び映像処理プログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2015524069A Active JP6474107B2 (ja) 2013-06-28 2014-06-25 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム
JP2017118616A Active JP6555547B2 (ja) 2013-06-28 2017-06-16 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2020199926A Active JP7036186B2 (ja) 2013-06-28 2020-12-01 映像処理システム、映像処理方法及び映像処理プログラム
JP2022032816A Active JP7359237B2 (ja) 2013-06-28 2022-03-03 映像処理システム、映像処理方法及び映像処理プログラム
JP2023168332A Pending JP2024009835A (ja) 2013-06-28 2023-09-28 映像処理システム、映像処理方法及び映像処理プログラム

Country Status (3)

Country Link
US (8) US10275657B2 (ja)
JP (6) JP6474107B2 (ja)
WO (1) WO2014208575A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL124467U1 (pl) * 2013-06-18 2017-01-16 Alexandr Alexandrovich Kolotov Kask dla motocyklistów oraz osób zajmujących się ekstremalnymi rodzajami działalności
JP6597643B2 (ja) * 2015-02-05 2019-10-30 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
US10846537B2 (en) * 2015-09-30 2020-11-24 Nec Corporation Information processing device, determination device, notification system, information transmission method, and program
US10997422B2 (en) * 2016-01-29 2021-05-04 Nec Corporation Information processing apparatus, information processing method, and program
US11494579B2 (en) * 2016-01-29 2022-11-08 Nec Corporation Information processing apparatus, information processing method, and program
JP6717461B2 (ja) * 2016-08-25 2020-07-01 株式会社知能フレームワーク研究所 状態監視システム
EP3340104B1 (en) * 2016-12-21 2023-11-29 Axis AB A method for generating alerts in a video surveillance system
US10623680B1 (en) * 2017-07-11 2020-04-14 Equinix, Inc. Data center viewing system
CN107846578A (zh) * 2017-10-30 2018-03-27 北京小米移动软件有限公司 信息订阅方法及装置
JP6887132B2 (ja) * 2018-04-12 2021-06-16 パナソニックＩｐマネジメント株式会社 映像処理装置、映像処理システム及び映像処理方法
KR102015945B1 (ko) * 2018-04-19 2019-08-28 주식회사 크라우드웍스 자율주행을 위한 학습대상 이미지 패키징 장치 및 방법
JP2020005014A (ja) * 2018-06-25 2020-01-09 パナソニック株式会社 情報処理装置、映像テキスト変換方法、および映像データ生成方法
JP7308421B2 (ja) * 2018-07-02 2023-07-14 パナソニックＩｐマネジメント株式会社 学習装置、学習システム、及び学習方法
US10225492B1 (en) 2018-07-23 2019-03-05 Mp High Tech Solutions Pty Ltd. User interfaces to configure a thermal imaging system
US10839220B2 (en) * 2018-10-15 2020-11-17 Kepler Vision Technologies B.V. Method for categorizing a scene comprising a sub-scene with machine learning
US20210281745A1 (en) * 2018-11-13 2021-09-09 Sony Corporation Information processing apparatus, information processing method, and program
JP7320222B2 (ja) * 2018-11-26 2023-08-03 公立大学法人北九州市立大学 浴室監視装置及び浴室監視方法
US11763561B2 (en) * 2018-12-26 2023-09-19 Nec Corporation Information processing apparatus, information processing method, and program
US10950104B2 (en) 2019-01-16 2021-03-16 PANASONIC l-PRO SENSING SOLUTIONS CO., LTD. Monitoring camera and detection method
JP6573297B1 (ja) * 2019-01-16 2019-09-11 パナソニック株式会社 監視カメラおよび検知方法
JP2022550548A (ja) * 2019-09-29 2022-12-02 ザックダン カンパニー 機械学習を利用した画像内客体認識方法及び装置
JP6742623B1 (ja) * 2019-11-13 2020-08-19 尚範 伊達 監視装置、監視方法、及びプログラム
WO2021111704A1 (ja) * 2019-12-02 2021-06-10 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理システム及びプログラム
CN111563425B (zh) * 2020-04-22 2023-04-07 蘑菇车联信息科技有限公司 交通事件识别方法及电子设备
JP7478630B2 (ja) 2020-09-15 2024-05-07 株式会社日立製作所 映像解析システムおよび映像解析方法
JP7415872B2 (ja) * 2020-10-23 2024-01-17 横河電機株式会社 装置、システム、方法およびプログラム
US11354994B1 (en) * 2021-05-04 2022-06-07 Motorola Solutions, Inc. Analytics for planning an upgrade to a video camera surveillance system
CN113850144A (zh) * 2021-08-30 2021-12-28 湖南黑鲸数据科技有限公司 一种基于图像识别的视频可靠性自动巡检系统
CN117956116A (zh) * 2022-10-18 2024-04-30 霍尼韦尔国际公司 具有定向操作者警示的视频监控墙
JP7487392B1 (ja) 2023-10-06 2024-05-20 セーフィー株式会社 システム、方法、およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057349A (ja) 1998-08-10 2000-02-25 Hitachi Ltd 欠陥の分類方法およびその装置並びに教示用データ作成方法
JP2000099743A (ja) 1999-09-28 2000-04-07 Hitachi Ltd 動画像の表示装置およびそのためのプログラムを格納した記録媒体
JP2001016579A (ja) 1999-06-30 2001-01-19 Toshiba Corp 画像監視方法および画像監視装置
JP2002032751A (ja) 2000-07-18 2002-01-31 Olympus Optical Co Ltd 学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体
JP2004295923A (ja) 2004-07-07 2004-10-21 Hitachi Ltd 動画像の特徴場面検出方法及び装置
JP2011028689A (ja) 2009-07-29 2011-02-10 Sony Corp 動画抽出装置、プログラム、および動画抽出方法
JP2012205097A (ja) 2011-03-25 2012-10-22 Secom Co Ltd 映像処理装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728766A (ja) * 1993-06-24 1995-01-31 Toshiba Corp パターン認識システム及び監視システム
JP3967406B2 (ja) * 1996-11-01 2007-08-29 日本電子株式会社 部品検査システム
JP4132229B2 (ja) 1998-06-03 2008-08-13 株式会社ルネサステクノロジ 欠陥分類方法
JP4267103B2 (ja) * 1998-09-18 2009-05-27 株式会社日立製作所 外観画像分類装置およびその方法
US20040075738A1 (en) * 1999-05-12 2004-04-22 Sean Burke Spherical surveillance system architecture
GB9918248D0 (en) 1999-08-04 1999-10-06 Matra Bae Dynamics Uk Ltd Improvements in and relating to surveillance systems
JP4660879B2 (ja) * 2000-04-27 2011-03-30 ソニー株式会社 情報提供装置および方法、並びにプログラム
JP2004178258A (ja) 2002-11-27 2004-06-24 Mitsubishi Heavy Ind Ltd 港湾セキュリティシステム
JP2006148442A (ja) 2004-11-18 2006-06-08 Toshiba Corp 移動監視装置
CN101923647B (zh) * 2005-12-23 2013-01-09 英根亚控股有限公司 光学鉴别
AU2008213586B2 (en) 2007-02-08 2013-07-11 Motorola Solutions, Inc. Behavioral recognition system
US8295597B1 (en) * 2007-03-14 2012-10-23 Videomining Corporation Method and system for segmenting people in a physical space based on automatic behavior analysis
JP2008250908A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 映像判別方法および映像判別装置
JP5289290B2 (ja) 2009-11-27 2013-09-11 セコム株式会社 姿勢推定装置
JP2011133984A (ja) * 2009-12-22 2011-07-07 Panasonic Corp 動作特徴抽出装置および動作特徴抽出方法
JP5545877B2 (ja) * 2011-01-28 2014-07-09 日本電信電話株式会社 コンテンツ認識モデル学習装置、コンテンツ認識モデル学習方法及びコンテンツ認識モデル学習プログラム
JP5214762B2 (ja) 2011-03-25 2013-06-19 株式会社東芝 認識装置、方法及びプログラム
JP5492139B2 (ja) 2011-04-27 2014-05-14 富士フイルム株式会社 画像圧縮装置、画像伸長装置、方法、及びプログラム
JP5830784B2 (ja) 2011-06-23 2015-12-09 サイバーアイ・エンタテインメント株式会社 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム
WO2013039025A1 (ja) * 2011-09-16 2013-03-21 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報管理編集機能を備えた情報処理装置
JP5866728B2 (ja) 2011-10-14 2016-02-17 サイバーアイ・エンタテインメント株式会社 画像認識システムを備えた知識情報処理サーバシステム
JP5743849B2 (ja) 2011-10-27 2015-07-01 株式会社日立製作所 映像解析装置及びシステム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057349A (ja) 1998-08-10 2000-02-25 Hitachi Ltd 欠陥の分類方法およびその装置並びに教示用データ作成方法
JP2001016579A (ja) 1999-06-30 2001-01-19 Toshiba Corp 画像監視方法および画像監視装置
JP2000099743A (ja) 1999-09-28 2000-04-07 Hitachi Ltd 動画像の表示装置およびそのためのプログラムを格納した記録媒体
JP2002032751A (ja) 2000-07-18 2002-01-31 Olympus Optical Co Ltd 学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体
JP2004295923A (ja) 2004-07-07 2004-10-21 Hitachi Ltd 動画像の特徴場面検出方法及び装置
JP2011028689A (ja) 2009-07-29 2011-02-10 Sony Corp 動画抽出装置、プログラム、および動画抽出方法
JP2012205097A (ja) 2011-03-25 2012-10-22 Secom Co Ltd 映像処理装置

Also Published As

Publication number Publication date
US20190197319A1 (en) 2019-06-27
US20230362324A1 (en) 2023-11-09
US20230362323A1 (en) 2023-11-09
JPWO2014208575A1 (ja) 2017-02-23
JP7036186B2 (ja) 2022-03-15
US20230319230A1 (en) 2023-10-05
US11729347B2 (en) 2023-08-15
JP2019192227A (ja) 2019-10-31
JP2021061598A (ja) 2021-04-15
JP6555547B2 (ja) 2019-08-07
JP2024009835A (ja) 2024-01-23
US20160132731A1 (en) 2016-05-12
US10275657B2 (en) 2019-04-30
WO2014208575A1 (ja) 2014-12-31
JP2017225122A (ja) 2017-12-21
US20230362326A1 (en) 2023-11-09
JP6474107B2 (ja) 2019-02-27
US11210526B2 (en) 2021-12-28
US20220076028A1 (en) 2022-03-10
JP7359237B2 (ja) 2023-10-11
JP2022095617A (ja) 2022-06-28
US20230362325A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
JP7014440B2 (ja) 映像監視システム、映像処理方法および映像処理プログラム
US11328163B2 (en) Methods and apparatus for automated surveillance systems
US9226037B2 (en) Inference engine for video analytics metadata-based event detection and forensic search
US10489679B2 (en) Visualizing and updating long-term memory percepts in a video surveillance system
JP2015070401A (ja) 映像処理装置、映像処理方法および映像処理プログラム
US20190213424A1 (en) Image processing system and image processing method
KR102149832B1 (ko) 딥러닝 기반의 자동 폭력 감지 시스템
US20170294213A1 (en) Method for video investigation
JP5088463B2 (ja) 監視システム
CN115567690A (zh) 一种自动识别现场作业危险点的智慧监控系统
CN115240277A (zh) 安检行为的监控方法、装置、电子设备及存储介质
CN112766118A (zh) 对象识别方法、装置、电子设备和介质
US11335126B1 (en) Using artificial intelligence to analyze output from a security system to detect a potential crime in progress
US20240211480A1 (en) Information aggregation in a multi-modal entity-feature graph for intervention prediction
Mörzinger et al. Tools for semi-automatic monitoring of industrial workflows
TW202314411A (zh) 廠區告警事件處理方法與系統
Veres et al. Tools for semi-automatic monitoring of industrial workflows

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200730

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201201

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201201

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20201209

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20201215

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20201225

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210105

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210817

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20211116

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20211221

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220113