JP7287667B2 - 監視カメラおよび情報処理装置 - Google Patents

監視カメラおよび情報処理装置 Download PDF

Info

Publication number
JP7287667B2
JP7287667B2 JP2019131160A JP2019131160A JP7287667B2 JP 7287667 B2 JP7287667 B2 JP 7287667B2 JP 2019131160 A JP2019131160 A JP 2019131160A JP 2019131160 A JP2019131160 A JP 2019131160A JP 7287667 B2 JP7287667 B2 JP 7287667B2
Authority
JP
Japan
Prior art keywords
image
video frame
feature amount
control unit
surveillance camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019131160A
Other languages
English (en)
Other versions
JP2021016134A (ja
Inventor
健史 島田
純子 中野
貴光 荒井
修司 川添
利彦 山畠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
I Pro Co Ltd
Original Assignee
I Pro Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by I Pro Co Ltd filed Critical I Pro Co Ltd
Priority to JP2019131160A priority Critical patent/JP7287667B2/ja
Priority to US16/928,648 priority patent/US11462087B2/en
Publication of JP2021016134A publication Critical patent/JP2021016134A/ja
Application granted granted Critical
Publication of JP7287667B2 publication Critical patent/JP7287667B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Description

本開示は、監視カメラおよび情報処理装置に関する。
特許文献１には、被写体の動きに対する追尾性能を高めるカメラが開示されている。
特開２０１７－１９５６１７号公報
監視カメラは、移動する追尾対象物の画像を、一連の映像フレームにおいて追尾（抽出）するため、映像フレームに追尾対象物を探索するための探索範囲を設定する。監視カメラは、映像フレームの探索範囲に追尾対象外の物体が映っていると、追尾対象物を追尾対象外の物体に変更する場合がある。例えば、監視カメラは、映像フレームの探索範囲において、追尾対象物である車両に重なって追尾対象外の信号機が映っていると、追尾対象物を車両から信号機に誤って変更する場合がある。
本開示の非限定的な実施例は、追尾対象物を適切に追尾する監視カメラおよび情報処理装置の提供に資する。
本開示の一態様に係る監視カメラは、映像フレームを出力する撮像部と、前記映像フレームに探索範囲を設定する制御部と、を備え、前記制御部は、計算範囲を前記探索範囲において移動させながら、前記計算範囲を移動させた各位置において画像の特徴量を算出し、前記探索範囲内の最も前記特徴量が類似した画像を、前記映像フレームの追尾対象画像と判定し、前記探索範囲内に追尾対象外の物体画像が含まれる場合、前記物体画像の特徴量をマスクして前記追尾対象画像を抽出し、前記物体画像の物体の種類に応じて前記マスクのマスク強度を変更する。
本開示の一態様に係る情報処理装置は、監視カメラから映像フレームを受信する受信部と、前記映像フレームに探索範囲を設定する制御部と、を備え、前記制御部は、計算範囲を前記探索範囲において移動させながら、前記計算範囲を移動させた各位置において画像の特徴量を算出し、前記探索範囲内の最も前記特徴量が類似した画像を、前記映像フレームの追尾対象画像と判定し、前記探索範囲内に追尾対象外の物体画像が含まれる場合、前記物体画像の特徴量をマスクして前記追尾対象画像を抽出し、前記物体画像の物体の種類に応じて前記マスクのマスク強度を変更する。
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示の一実施例によれば、追尾対象物を適切に追尾できる。
本開示の一実施例における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
実施の形態に係る監視カメラシステムの構成例を示した図 監視カメラの追尾処理例を説明する図 監視カメラの追尾処理例を説明する図 追尾対象画像の変更例を説明する図 追尾対象画像の変更例を説明する図 追尾対象画像の変更例を説明する図 追尾対象画像の変更例を説明する図 監視カメラのマスク処理例を説明する図 監視カメラのマスク処理例を説明する図 非追尾対象物の検出例を説明する図 情報処理装置による非追尾対象物の領域の指定例を説明する図 情報処理装置の表示装置に表示される設定画面例を示した図 情報処理装置の表示装置に表示される監視カメラの映像画面例を示した図 情報処理装置の表示装置に表示される監視カメラの映像画面例を示した図 情報処理装置の表示装置に表示される監視カメラの映像画面例を示した図 非追尾対象物のマスク強度を説明する図 非追尾対象物のマスク強度を説明する図 監視カメラおよび情報処理装置のブロック構成例を示した図 監視カメラの動作例を示したフローチャート 図１２のＳ６の詳細動作例を示したフローチャート 監視カメラおよび情報処理装置のブロック構成例を示した図
以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
図１は、実施の形態に係る監視カメラシステムの構成例を示した図である。図１に示すように、監視カメラシステムは、監視カメラ１と、情報処理装置２と、を有する。監視カメラ１および情報処理装置２は、例えば、携帯電話等の無線ネットワークおよびインターネット等を含むネットワーク３を介して、通信する。
監視カメラ１は、例えば、交差点に設置されている信号機の柱や電信柱、またはビルなどの建物の外または中に設置される。監視カメラ１は、例えば、ＰＴＺ（パンチルトズーム）カメラであってもよい。
監視カメラ１は、撮影する映像上において、移動する物体を追尾する機能を有する。例えば、監視カメラ１は、自動車、バイク、もしくは自転車等の車両、または人などを映像上において追尾する。以下では、監視カメラ１が追尾する物体を、追尾対象物と呼ぶことがある。
情報処理装置２は、監視カメラ１を設定する装置である。情報処理装置２は、例えば、パーソナルコンピュータまたはサーバである。情報処理装置２は、例えば、ユーザの指示に応じて、追尾対象物の種類を監視カメラ１に対し指示してもよい。例えば、情報処理装置２は、追尾する対象として、自動車、バイク、自転車、または人などを監視カメラ１に指示してよい。指示する追尾対象物の種類は、複数であってもよい。
なお、情報処理装置２は、監視カメラ１の映像をモニタする装置であってもよい。監視カメラ１は、ネットワーク３を介して、撮影した映像を情報処理装置２に送信してもよい。
図２Ａおよび図２Ｂは、監視カメラ１の追尾処理例を説明する図である。図２Ａには、監視カメラ１の映像フレーム１１ａと、画像１２ａと、が示してある。図２Ｂには、監視カメラ１の映像フレーム１１ｂと、画像１２ｂと、が示してある。図２Ａおよび図２Ｂには、矩形状の探索範囲１３ａ，１３ｂと、特徴量計算窓１４ａ，１４ｂと、が示してある。映像フレーム１１ａ，１１ｂにおいて、監視カメラ１の画角は、固定であるとする。
図２Ａの映像フレーム１１ａは、時刻ｔ－１における映像フレームを示している。図２Ｂの映像フレーム１１ｂは、時刻ｔにおける映像フレームを示している。映像フレーム１１ｂは、映像フレーム１１ａの次の映像フレームである。時刻ｔ－１の映像フレーム１１ａを前映像フレーム、時刻ｔの映像フレーム１１ｂを現映像フレームと呼ぶことがある。
画像１２ａ，１２ｂは、追尾対象物の画像である。図２Ａおよび図２Ｂでは、追尾対象物の例として、自動車が示してある。
画像１２ａ，１２ｂの自動車は、同じ自動車である。画像１２ｂの自動車は、画像１２ａの自動車に対し、右方向に移動している。すなわち、自動車は、映像フレーム１１ａ，１１ｂにおいて、右方向に進行している。
監視カメラ１は、前映像フレームの探索範囲１３ａにおいて、追尾対象物である自動車を特定し、特定した自動車の画像１２ａの特徴量を算出しているとする。特徴量とは、例えば、画像の特徴を示す情報であり、エッジの形状、色、大きさ等の情報が含まれる。
監視カメラ１は、現映像フレーム内において、探索範囲１３ｂを設定し、特徴量計算窓１４ｂを探索範囲１３ｂにおいて移動させながら、探索範囲１３ｂ内の画像の特徴量を算出する。例えば、監視カメラ１は、特徴量計算窓１４ｂを水平方向に走査させ、水平方向の走査を垂直方向にずらしながら、特徴量計算窓１４ｂを探索範囲１３ｂにおいて移動させる。そして、監視カメラ１は、移動させた特徴量計算窓１４の各位置において、画像の特徴量を算出する。
監視カメラ１は、前映像フレームの追尾対象物の画像の特徴量に対し、現映像フレームの探索範囲１３ｂ内の最も特徴量が類似した画像を、現映像フレームの追尾対象画像と判定する。
例えば、前映像フレームの追尾対象画像は、画像１２ａである。現映像フレームの画像１２ｂの自動車は、画像１２ａと同じ自動車であり、探索範囲１３ｂ内における画像１２ｂの特徴量は、前映像フレームの追尾対象画像の特徴量に最も類似する。従って、監視カメラ１は、現映像フレームの探索範囲１３ｂ内の画像１２ｂを、前映像フレームに続く追尾対象画像と判定する。
なお、現映像フレームとは、追尾対象物の画像が探索される映像フレームであって、監視カメラ１が撮影した最新の映像フレームであってもよく、また、最新の映像フレームでなくてもよい。
図３Ａおよび図３Ｂは、追尾対象画像の変更例を説明する図である。図３Ａには、監視カメラの映像フレーム２１ａが示してある。図３Ｂには、監視カメラの映像フレーム２１ｂが示してある。図３Ａおよび図３Ｂには、矩形状の探索範囲２２ａ，２２ｂと、特徴量計算窓２５ａ，２５ｂと、が示してある。映像フレーム２１ａ，２１ｂにおいて、監視カメラの画角は、固定であるとする。
図３Ｂの映像フレーム２１ｂは、現映像フレームであり、図３Ａの映像フレーム２１ａは、映像フレーム２１ｂの前映像フレームである。映像フレーム２１ａには、自動車２３ａと信号機２４ａとが映っている。映像フレーム２１ｂには、自動車２３ｂと信号機２４ｂとが映っている。自動車２３ａおよび自動車２３ｂは、同じ自動車であり、信号機２４ａおよび信号機２４ｂは、同じ信号機である。
映像フレーム２１ｂの自動車２３ｂは、映像フレーム２１ａの自動車２３ａに対し、右下に移動している。信号機２４ａ，２４ｂは、例えば、道路に固定された柱に固定されているため、映像フレーム２１ａ，２１ｂにおいて、同じ位置に表示されている。
図３Ａの映像フレーム２１ａに示すように、追尾対象物の自動車２３ａに追尾対象物以外の信号機２４ａが重なると、監視カメラは、図３Ｂの映像フレーム２１ｂにおいて、追尾対象画像を信号機２４ｂに変更する場合がある。
例えば、映像フレーム２１ａの探索範囲２２ａには、自動車２３ａと信号機２４ａとが含まれる。このため、探索範囲２２ａ内の画像の特徴量には、追尾対象物である自動車２３ａの特徴量の他に、追尾対象物でない信号機２４ａの特徴量も含まれる。以下では、追尾対象物でない物体を非追尾対象物と呼ぶことがある。
監視カメラは、映像フレーム２１ｂにおいて、特徴量計算窓２５ａを移動させ、探索範囲２２ｂ内の画像の特徴量を算出する。探索範囲２２ｂには、信号機２４ｂが含まれる。探索範囲２２ａ内における特徴量に対し、信号機２４ｂの画像の特徴量が最も類似すると、監視カメラは、追尾対象画像を自動車２３ａから信号機２４ｂに変更する場合がある。
このように、監視カメラは、例えば、追尾対象物に重なって、追尾対象外の物体が映っていると、追尾対象物を追尾対象外の物体に誤って変更することがある。
図４Ａおよび図４Ｂは、追尾対象画像の変更例を説明する図である。図４Ａには、監視カメラの映像フレーム３１ａが示してある。図４Ｂには、監視カメラの映像フレーム３１ｂが示してある。図４Ａおよび図４Ｂには、矩形状の探索範囲３２ａ，３２ｂと、特徴量計算窓３６ａ，３６ｂと、が示してある。映像フレーム３１ａ，３１ｂにおいて、監視カメラの画角は、固定であるとする。
図４Ｂの映像フレーム３１ｂは、現映像フレームであり、図４Ａの映像フレーム３１ａは、映像フレーム３１ｂの前映像フレームである。映像フレーム３１ａには、人３３ａ、テーブル３４ａ、および収納ボックス３５ａが映っている。映像フレーム３１ｂには、テーブル３４ｂおよび収納ボックス３５ｂが映っている。
映像フレーム３１ｂでは、人３３ａは映っていない。映像フレーム３１ｂでは、人３３ａは映像フレーム３１ｂの外に移動している。テーブル３４ａおよび収納ボックス３５ａは、映像フレーム３１ａ，３１ｂにおいて、同じ位置に表示されている。すなわち、テーブル３４ａおよび収納ボックス３５ａは、映像フレーム３１ａ，３１ｂにおいて移動していない。
図４Ａの映像フレーム３１ａに示すように、探索範囲３２ａ内に、追尾対象物の人３３ａの他に、テーブル３４ａおよび収納ボックス３５ａが含まれると、監視カメラは、映像フレーム３１ｂにおいて、追尾対象画像をテーブル３４ａおよび収納ボックス３５ａの両方または一方に変更する場合がある。
例えば、映像フレーム３１ａの探索範囲３２ａには、人３３ａ、テーブル３４ａ、および収納ボックス３５ａが含まれる。このため、探索範囲３２ａ内の画像の特徴量には、追尾対象物である人３３ａの特徴量の他に、非追尾対象物のテーブル３４ａおよび収納ボックス３５ａの特徴量も含まれる。
監視カメラは、映像フレーム３１ｂにおいて、特徴量計算窓３６ａを移動させ、探索範囲３２ｂ内の画像の特徴量を算出する。探索範囲３２ｂには、テーブル３４ｂおよび収納ボックス３５ｂが含まれる。探索範囲３２ａ内における特徴量に対し、テーブル３４ｂおよび収納ボックス３５ｂの画像の特徴量が最も類似すると、監視カメラは、追尾対象画像を人３３ａからテーブル３４ｂと収納ボックス３５ｂとに変更する場合がある。
このように、監視カメラは、例えば、追尾対象物の画像に追尾対象外の物体が映っていると、追尾対象物を追尾対象外の物体に誤って変更することがある。
図５Ａおよび図５Ｂは、監視カメラ１のマスク処理例を説明する図である。図５Ａには、監視カメラ１の映像フレーム４１ａが示してある。図５Ｂには、図５Ａの映像フレーム４１ａの一部をマスク処理した映像フレーム４１ｂが示してある。映像フレーム４１ａ，４１ｂは、時刻ｔにおける映像フレームであり、現映像フレームである。図５Ｂには、矩形状の探索範囲４４と、特徴量計算窓４６と、が示してある。
映像フレーム４１ａには、自動車４２および信号機４３が映っている。図５Ａでは、説明を簡単にするため、一般的な信号機の位置を無視して図示している。
監視カメラ１は、追尾対象物である自動車４２を抽出する際、図５Ｂに示すように、映像フレーム４１ｂに探索範囲４４を設定し、特徴量計算窓４６を探索範囲４４において走査させる。監視カメラ１は、特徴量計算窓４６を走査させた探索範囲４４内の画像の特徴量を算出し、算出した特徴量と、前映像フレームにおける追尾対象物の画像（前映像フレームにおける自動車４２の画像）の特徴量との類似度を算出する。
監視カメラ１は、特徴量の類似度を算出する際、探索範囲４４内において、非追尾対象物の信号機４３が含まれる場合、非追尾対象物の信号機４３の特徴量を、図５Ｂの斜線４５に示すようにマスクする。
例えば、監視カメラ１は、特徴量の類似度を算出する際、マスクした領域の画像の特徴量の係数（重み付け）を、マスクしていない領域の画像の特徴量の重み付けより小さくする。より具体的には、監視カメラ１は、図５Ｂの探索範囲４４内において、領域４５以外の画像における特徴量の重み付けを１とし、斜線４５が付された画像における特徴量の重み付けを１より小さい値とする。そして、監視カメラ１は、探索範囲４４内の重み付けを付与した特徴量と、前映像フレームの追尾対象物の特徴量との類似度を算出する。これにより、監視カメラ１は、追尾対象物を誤って非追尾対象物に変更することを防止する。
監視カメラ１は、非追尾対象物の物体を、例えば、人工知能（ＡＩ：Artificial Intelligence）を用いて検出してもよい。例えば、監視カメラ１は、人工知能を用いて、現映像フレームに含まれる非追尾対象物の信号機４３を検出してもよい。
図６は、非追尾対象物の検出例を説明する図である。図６には、ディープニューラルネットワークＤＮＮ１と、映像フレーム５１と、出力結果５２と、が示してある。
ディープニューラルネットワークＤＮＮ１は、監視カメラ１に搭載（実装）される。映像フレーム５１は、監視カメラ１が撮影した映像フレームである。映像フレーム５１は、ディープニューラルネットワークＤＮＮ１の入力層に入力される。出力結果５２は、ディープニューラルネットワークＤＮＮ１の出力層から出力される。
ディープニューラルネットワークＤＮＮ１の構造は、映像フレーム５１内に含まれる非追尾対象物の領域（位置）を検出するよう、予め学習によって決定される。図６の例では、ディープニューラルネットワークＤＮＮ１は、映像フレーム５１に含まれる信号機５３の領域を検出するよう、予め学習によって構造が決定される。ディープニューラルネットワークＤＮＮ１からは、出力結果５２に示すように、映像フレーム内における信号機５３の領域５４が出力される。
監視カメラ１は、前映像フレームにおける追尾対象物の画像の特徴量と、現映像フレームにおける探索範囲内の画像の特徴量との類似度を算出する際、探索範囲内に、ディープニューラルネットワークＤＮＮ１が検出した非追尾対象物の領域５４が含まれる場合、領域５４の画像における特徴量の重み付けを、他の画像における特徴量の重み付けより小さくする。このように、監視カメラ１は、マスク領域を人工知能によって検出し、検出したマスク領域の画像における特徴量の重み付けを変更して、特徴量の類似度を算出する。
なお、ディープニューラルネットワークＤＮＮ１の構造は、監視カメラ１とは別の装置によって決定されてもよい。例えば、情報処理装置２において、非追尾対象物を学習し、ディープニューラルネットワークＤＮＮ１の構造を決定する。情報処理装置２は、決定した構造を監視カメラ１に送信する。監視カメラ１は、情報処理装置２から送信された構造に基づいて、ディープニューラルネットワークＤＮＮ１を構築する。
また、ディープニューラルネットワークＤＮＮ１は、映像フレームに含まれる複数種類の非追尾対象物を検知してもよい。例えば、ディープニューラルネットワークＤＮＮ１は、映像フレームに映っている信号機、街路樹、ガードレール、および歩道に設置された宣伝用の旗等の少なくとも１種類以上を検出してもよい。
図６では、監視カメラ１は、人工知能を用いて非追尾対象物の領域を検出するとしたが、情報処理装置２からの指示によって、フレーム内に映る非追尾対象物の領域が指定されてもよい。例えば、監視カメラ１は、図６に示した信号機５３の領域が、情報処理装置２から指示されてもよい。そして、監視カメラ１は、指示された領域をマスクしてもよい。
図７は、情報処理装置２による非追尾対象物の領域の指定例を説明する図である。図７には、情報処理装置２の表示装置に表示される画面６１が示してある。画面６１は、監視カメラ１が撮影している映像の画面である。
ユーザは、例えば、情報処理装置２のマウスを操作して、監視カメラ１に対しマスク処理させたい非追尾対象物を選択する。例えば、ユーザは、マウスを操作して、図７の線６２に示すように街路樹を囲み、監視カメラ１に対してマスク処理させたい非追尾対象物を選択する。また、ユーザは、マウスを操作して、図７の線６３ａ～６３ｃに示すように信号機を囲み、監視カメラ１に対してマスク処理させたい非追尾対象物を選択する。
情報処理装置２は、ユーザによって選択された非追尾対象物の情報を監視カメラ１に送信する。例えば、情報処理装置２は、監視カメラ１のフレーム内（画角内）における、ユーザが選択した非追尾対象物の領域の情報を監視カメラ１に送信する。
監視カメラ１は、情報処理装置２から非追尾対象物の領域の情報を受信する。監視カメラ１は、探索範囲内に、情報処理装置２から受信した非追尾対象物の領域の特徴量をマスクして、特徴量の類似度を算出する。
監視カメラ１は、図６で説明した人工知能による非追尾対象物の領域の検出と、図７で説明した非追尾対象物の領域の情報処理装置２による選択とが、情報処理装置２からの指示によって切替えられてもよい。以下では、監視カメラ１は、人工知能による非追尾対象物の領域の検出と、非追尾対象物の領域の情報処理装置２による選択とが、情報処理装置２において切替えられるとして説明する。
図８は、情報処理装置２の表示装置に表示される設定画面例を示した図である。図８に示す「設定」に対応するラジオボタンは、非追尾対象物のマスク処理を使用するか否かを選択するボタンである。「使用する」に対応するラジオボタンが選択された場合、監視カメラ１は、非追尾対象物に対し、マスク処理を行う。「使用しない」に対応するラジオボタンが選択された場合、監視カメラ１は、非追尾対象物に対し、マスク処理を行わない。監視カメラ１は、従来の追尾処理を実行する。
図８に示す「画角ずれ時の自動変更」に対応するラジオボタンは、監視カメラ１の画角が変更された場合、非追尾対象物のマスク領域設定を変更するか否かを選択するボタンである。「変更する」に対応するラジオボタンが選択された場合、監視カメラ１は、画角がずれると、人工知能による非追尾対象物の領域の再検出を行う。
なお、監視カメラ１の画角は、風または物体との衝突等によってずれることがある。監視カメラ１は、画角のずれを検出し、人工知能による非追尾対象物の領域の再検出を行ってもよい。
図８に示す「定期的に領域を更新」に対応するプルダウンメニューは、人工知能による非追尾対象物の検出頻度を選択するボタンである。プルダウンメニューがクリックされると、図８の矢印Ａ１に示すように、人工知能による非追尾対象物の検出頻度を選択するための情報が表示される。
なお、プルダウンメニューに表示されている時間が選択された場合、監視カメラ１は、選択された時間間隔で、非追尾対象物の領域の検出を行う。例えば、プルダウンメニューにおいて、１時間が選択される。非追尾対象物の検出対象を信号機とする。この場合、監視カメラ１は、１時間おきに人工知能によって、フレーム内における信号機の領域を検出する。
図８に示す「手動設定」に対応する「詳細設定」ボタンは、非追尾対象物のマスク領域を設定する画面に遷移するボタンである。例えば、「詳細設定」ボタンがユーザによってクリックされると、情報処理装置２の表示装置には、監視カメラ１が撮影する映像画面が表示される。より具体的には、情報処理装置２の表示装置には、図７に示した画面６１が表示される。ユーザは、図７で説明したように、画面６１において、非追尾対象物のマスク領域を選択する。
図８に示す「マスク領域変化アラーム」に対応するラジオボタンは、人工知能によって非追尾対象物を定期的に検出する場合において、マスク領域の大きさに変化があった場合に、監視カメラ１にアラームを発報させるか否かを設定するボタンである。例えば、「使用する」に対応するラジオボタンが選択された場合、監視カメラ１は、マスク領域の大きさに変化があると、アラーム信号を出力する。
より具体的には、非追尾対象物である街路樹が成長して大きくなった場合、マスク領域は大きくなる。監視カメラ１は、マスク領域が閾値を超えて大きくなった場合、アラーム信号を情報処理装置２に出力する。すなわち、監視カメラ１は、非追尾対象物の画像領域の変化量が閾値を超えた場合、アラーム信号を情報処理装置２に出力する。これにより、ユーザは、例えば、街路樹の伐採等を検討できる。
図９Ａ～図９Ｃは、情報処理装置２の表示装置に表示される監視カメラ１の映像画面例を示した図である。図９Ｃに示す画面例は、現映像フレームの映像である。図９Ｂに示す画面例は、前映像フレームの映像である。図９Ａに示す画面例は、前映像フレームの前の映像フレームの映像である。
図９Ａ～図９Ｃに示す画面例には、追尾対象物を示すマーカ６６ａ～６６ｃが表示されている。監視カメラ１が情報処理装置２に送信する映像フレームのデータには、追尾対象物を示すマーカ６６ａ～６６ｃの情報が含まれる。情報処理装置２は、監視カメラ１から送信されたマーカ６６ａ～６６ｃの情報に基づいて、図９Ａ～図９Ｃに示すように、マーカ６６ａ～６６ｃを表示する。
図９Ａ～図９Ｃの例では、１台の自動車を追尾し、マーカ６６ａ～６６ｃを付しているが、複数の自動車を追尾し、マーカを付してもよい。この場合、監視カメラ１は、複数の自動車を識別できるように、複数の自動車の各々のマーカの色を変えてもよい。
図１０Ａおよび図１０Ｂは、非追尾対象物のマスク強度を説明する図である。図１０Ａには、マスクされる非追尾対象物の例として木が示してある。図１０Ｂには、マスクされる非追尾対象物の例として信号機が示してある。
監視カメラ１は、非追尾対象物の種類に応じて、マスク領域のマスク強度を変更してもよい。例えば、監視カメラ１は、映像フレームに含まれる非追尾対象物のうち、形態が変化しない非追尾対象物の画像のマスク強度を、形態が変化する非追尾対象物の画像のマスク強度より大きくする。
例えば、木は、風によって形態が変わる場合がある。例えば、木は、風によって葉と葉の間に隙間が生じる場合がある。そのため、木の後を通過する追尾対象物は、葉と葉との間の隙間から、映像フレームに映る場合がある。一方、信号機は、一般的に形態が変わらす、信号機の後を通過する追尾対象物が、映像フレームに映る可能性は低い。そこで、監視カメラ１は、信号機より、木のマスク強度を小さくする。
より具体的には、監視カメラ１は、特徴量の類似度を算出する際、木の画像における特徴量の重み付け（係数）を１より小さい第１の係数に設定する。一方、監視カメラ１は、特徴量の類似度を算出する際、信号機の画像における特徴量の係数を１より小さく、かつ、第１の係数より小さい第２の係数に設定する。
マスク強度は、情報処理装置２によって指定される。例えば、監視カメラ１は、非追尾対象物の種類に応じた係数を情報処理装置２から受信する。監視カメラ１は、受信した係数を用いて、非追尾対象物の画像の特徴量をマスクし、特徴量の類似度を算出する。
なお、監視カメラ１は、信号機またはガードレール等、後ろを通過する追尾対象物が見える可能性が低い非追尾対象物の画像における特徴量に対しては、係数を０に設定してもよい。この場合、非追尾対象物の画像の特徴量は、特徴量の類似度の算出に反映されなくなる。
また、後ろを通過する追尾対象物が見える可能性が高い非追尾対象物には、例えば、旗がある。風によって旗が揺れると、旗の後を通過する追尾対象物は、映像フレームに映り込む可能性がある。
また、第１の係数に基づくマスクをソフトマスクと呼んでもよい。例えば、木または旗等におけるマスク強度の低いマスクをソフトマスクと呼んでもよい。また、第２の係数に基づくマスクをハードマスクと呼んでもよい。例えば、信号機またはガードレール等におけるマスク強度の高いマスクをハードマスクと呼んでもよい。
また、マスク強度の設定は、２つに限られない。マスク強度は、３以上設定されてもよい。
図１１は、監視カメラ１および情報処理装置２のブロック構成例を示した図である。図１１には、監視カメラ１および情報処理装置２の他にネットワーク３も示してある。図１１に示すように、監視カメラ１は、撮像部７１と、記憶部７２と、制御部７３と、受信部７４と、送信部７５と、を有している。
撮像部７１は、例えば、レンズおよび撮像素子（図示せず）を有している。撮像部７１のレンズは、撮像素子の受光面に被写体の像を結像する。撮像部７１は、撮像素子の受光面において受けた光に応じた電気信号（アナログ信号）をデジタル信号に変換し、デジタル信号の映像フレームを制御部７３に出力する。撮像部７１は、制御部７３の制御に応じて、パンおよびチルト方向に可動し、また、焦点距離を変える。
記憶部７２は、制御部７３が動作するためのプログラムが記憶される。また、記憶部７２には、制御部７３が算出処理を行うためのデータ、または、制御部７３が各部を制御するためのデータ等が記憶される。記憶部７２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、およびＨＤＤ（Hard Disk Drive）などの記憶装置によって構成されてもよい。
制御部７３は、監視カメラ１全体を制御する。制御部７３は、例えば、ＣＰＵ（Central Processing Unit）またはＤＳＰ（Digital Signal Processer）によって構成されてもよい。
制御部７３は、ＡＩ処理部７３ａと、マスク領域推定部７３ｂと、類似度算出部７３ｃと、マスク領域設定部７３ｄと、を有する。制御部７３の各部の機能は、例えば、制御部７３が記憶部７２に記憶されたプログラムを実行して実現される。
ＡＩ処理部７３ａは、例えば、ディープニューラルネットワークＤＮＮ１を構築する。マスク領域推定部７３ｂは、ＡＩ処理部７３ａが構築したディープニューラルネットワークＤＮＮ１によって、その機能が実現される。
マスク領域推定部７３ｂには、撮像部７１が撮影した映像フレームが入力される。マスク領域推定部７３ｂは、入力された映像フレームにおいて、信号機、街路樹、ガードレール、および旗等の非追尾対象物の画像の領域（マスク領域）と、それ以外の画像の領域（背景領域）とを推定する。
類似度算出部７３ｃは、撮像部７１が撮影した現映像フレームに探索範囲を設定し、設定した探索範囲内の画像の特徴量を算出する。類似度算出部７３ｃは、探索範囲内に、マスク領域推定部７３ｂが推定したマスク領域が含まれる場合、そのマスク領域の画像における特徴量の重み付けを、マスクしていない領域の画像における特徴量の重み付けより小さくする。
類似度算出部７３ｃは、特徴量計算窓を移動させながら、各位置における画像の特徴量を算出する。類似度算出部７３ｃは、前映像フレームの追尾対象画像の特徴量に対し、現映像フレームの最も特徴量が類似した探索範囲内の画像を、現映像フレームの追尾対象画像と判定する。
マスク領域設定部７３ｄは、情報処理装置２から受信した、手動設定によるマスク領域の情報を、類似度算出部７３ｃに出力する。類似度算出部７３ｃは、情報処理装置２からの手動設定によって、マスク領域が指定された場合、映像フレームの指定された領域をマスクし、特徴量を算出する。
受信部７４は、ネットワーク３を介して、情報処理装置２から送信される情報を受信する。送信部７５は、制御部７３から出力される情報を、ネットワーク３を介して、情報処理装置２に送信する。
情報処理装置２は、表示部８１と、入力部８２と、記憶部８３と、制御部８４と、受信部８５と、送信部８６と、を有している。
表示部８１は、制御部８４の制御に応じて、表示装置に画像を表示する。
入力部８２は、キーボードおよびマウス等の入力装置から出力された信号を受信し、制御部８４に出力する。
記憶部８３は、制御部８４が動作するためのプログラムが記憶される。また、記憶部８３には、制御部８４が算出処理を行うためのデータ、または、制御部８４が各部を制御するためのデータ等が記憶される。記憶部８３は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、およびＨＤＤなどの記憶装置によって構成されてもよい。
制御部８４は、情報処理装置２全体を制御する。制御部８４は、例えば、ＣＰＵによって構成されてもよい。
制御部８４は、マスク領域設定部８４ａを有する。マスク領域設定部８４ａの機能は、例えば、制御部８４が記憶部８３に記憶されたプログラムを実行して実現される。
マスク領域設定部８４ａは、入力部８２を介して、非追尾対象物の画像の選択操作を受付ける。マスク領域設定部８４ａは、ユーザが選択した非追尾対象物の画像の領域の情報を、送信部８６を介して監視カメラ１に送信する。
受信部８５は、ネットワーク３を介して、監視カメラ１から送信される情報を受信する。送信部８６は、制御部８４から出力される情報を、ネットワーク３を介して、監視カメラ１に送信する。
図１２は、監視カメラ１の動作例を示したフローチャートである。監視カメラ１の制御部７３は、現映像フレームの特徴量を算出する（Ｓ１）。
監視カメラ１の制御部７３は、マスク領域設定が有効か否かを判定する（Ｓ２）。例えば、図８の「設定」に対応する「使用する」のラジオボタンが選択された場合、監視カメラ１の制御部７３は、マスク領域設定が有効と判定する。
監視カメラ１の制御部７３は、マスク領域設定が有効でないと判定した場合（Ｓ２の「Ｎｏ」）、現映像フレームに対してマスク処理をせず、前映像フレームの追尾対象物の画像の特徴量と、現映像フレームの探索範囲内の画像の特徴量との類似度を算出する（Ｓ３）。なお、監視カメラ１の制御部７３は、現映像フレームの最も特徴量が類似した探索範囲内の画像を、現映像フレームの追尾対象画像と判定する。
監視カメラ１の制御部７３は、マスク領域設定が有効であると判定した場合（Ｓ２の「Ｙｅｓ」）、マスク領域の指定が手動設定か否かを判定する（Ｓ４）。例えば、監視カメラ１の制御部７３は、図８の「詳細設定」ボタンがクリックされ、非追尾対象物がユーザによって選択された場合、マスク領域の指定が手動設定されたと判定する。
監視カメラ１の制御部７３は、マスク領域の指定が手動設定されたと判定した場合（Ｓ４の「Ｙｅｓ」）、特徴量算出の際、手動マスク領域（ユーザによるマスク領域の選択）を採用することを決定する（Ｓ５）。
監視カメラ１の制御部７３は、現映像フレームのマスク領域における画像の特徴量に係数を反映（例えば、係数を乗算）して、前映像フレームの追尾対象物の画像の特徴量と、現映像フレームの探索範囲内の画像の特徴量との類似度を算出する（Ｓ６）。
監視カメラ１の制御部７３は、Ｓ４にて、マスク領域の指定が手動設定されていないと判定した場合（Ｓ４の「Ｎｏ」）、マスク領域変更タイミングが設定されたか否かを判定する（Ｓ７）。例えば、監視カメラ１の制御部７３は、図８の矢印Ａ１に示すプルダウンメニューにおいて、いずれかの時間が選択された場合、マスク領域変更タイミングが設定されたと判定する。
監視カメラ１の制御部７３は、マスク領域変更タイミングが設定されたと判定した場合（Ｓ７の「Ｙｅｓ」）、人工知能を用いて、非追尾対象物の画像領域を推定する（Ｓ８）。例えば、監視カメラ１の制御部７３は、現映像フレームに含まれる街路樹等の画像の領域を、ユーザが設定した時間間隔にて推定する。
監視カメラ１の制御部７３は、Ｓ８にて推定した非追尾対象物の画像領域が、前回推定した画像領域より大きくなったか否か判定する（Ｓ９）。
監視カメラ１の制御部７３は、Ｓ８にて推定した非追尾対象物の画像領域が、前回推定した画像領域より大きくなったと判定した場合（Ｓ９の「Ｙｅｓ」）、情報処理装置２に対し、アラームを発報する（Ｓ１０）。
監視カメラ１の制御部７３は、Ｓ７にてマスク領域変更タイミングが設定されていないと判定した場合（Ｓ７の「Ｎｏ」）、Ｓ９にて非追尾対象物の画像領域が、前回推定した画像領域より大きくなっていなと判定した場合（Ｓ９の「Ｎｏ」）、または、Ｓ１０にてアラームを発報した場合、特徴量算出の際、自動マスク領域（人工知能によるマスク領域の検出）を採用することを決定する（Ｓ１１）。そして、監視カメラ１の制御部７３は、処理をＳ６に移行する。
図１３は、図１２のＳ６の詳細動作例を示したフローチャートである。監視カメラ１の制御部７３は、追尾対象ごとに類似度を算出する（Ｓ２１）。
監視カメラ１の制御部７３は、現映像フレームに設定した探索範囲において特徴量計算窓を移動させながら、各位置における特徴量を算出し、画像の類似度を算出する（Ｓ２２）。
監視カメラ１の制御部７３は、現在の特徴量の類似度算出位置がマスク領域であるか否かを判定する（Ｓ２３）。
監視カメラ１の制御部７３は、現在の特徴量の類似度算出位置がマスク領域でないと判定した場合（Ｓ２３の「Ｎｏ」）、現在の特徴量にマスク処理をせず（例えば、重み付けを乗算せず）、類似度を算出する（Ｓ２４）。
一方、監視カメラ１の制御部７３は、現在の特徴量の類似度算出位置がマスク領域であると判定した場合（Ｓ２３の「Ｙｅｓ」）、マスク領域がソフトマスク領域であるか否かを判定する（Ｓ２５）。例えば、監視カメラ１の制御部７３は、撮像部７１が撮影したマスク領域の物体の種類に応じて、マスク領域がソフトマスク領域であるか否かを判定する。
監視カメラ１の制御部７３は、マスク領域がソフトマスク領域でないと判定した場合（Ｓ２５の「Ｎｏ」）、マスク領域を類似度算出の対象としない（Ｓ２６）。例えば、監視カメラ１の制御部７３は、マスク領域の画像の物体が、信号機またはガードレール等である場合、マスク領域をハードマスク領域と判定し、マスク領域の画像における特徴量の重み付けを０にする。
一方、監視カメラ１の制御部７３は、マスク領域がソフトマスク領域であると判定した場合（Ｓ２５の「Ｙｅｓ」）、マスク領域を類似度算出の対象とする（Ｓ２７）。例えば、監視カメラ１の制御部７３は、マスク領域の画像の物体が、街路樹または旗等である場合、マスク領域をソフトマスク領域と判定し、マスク領域の画像における特徴量の重み付けを０．５にする。
監視カメラ１の制御部７３は、探索範囲内における特徴量の類似度の合計を算出する（Ｓ２８）。例えば、監視カメラ１の制御部７３は、Ｓ２４にて算出したマスク領域外の特徴量の類似度と、２７にて算出したソフトマスク領域の特徴量の類似度との合計を算出する。
なお、Ｓ２６にて、例えば、ハードマスク領域の画像における特徴量の重み付けを、０より大きくかつソフトマスク領域の重み付けより小さい値にした場合、監視カメラ１の制御部７３は、ハードマスク領域の特徴量の類似度も合算する。
監視カメラ１の制御部７３は、Ｓ２８にて特徴量の類似度の合計を算出すると、算出した合計値に基づいて、追尾対象を決定する（Ｓ２９）。例えば、監視カメラ１の制御部７３は、各探索範囲における類似度のうち、最も類似度の大きかった探索範囲内の画像を追尾対象物の画像と決定する。
以上説明したように、監視カメラ１は、映像フレームを出力する撮像部７１と、映像フレームに追尾対象画像を探索するための探索範囲を設定し、探索範囲内の画像の特徴量を用いて追尾対象画像を抽出する制御部７３と、を備える。制御部７３は、探索範囲内に追尾対象外の物体画像が含まれる場合、物体画像の特徴量をマスクして追尾対象画像を抽出する。これにより、監視カメラ１は、追尾対象物を非追尾対象物に変更することを抑制し、追尾対象物を適切に追尾できる。
（変形例）
上記では、監視カメラ１が人工知能を搭載し、マスク領域を自動検知したがこれに限られない。情報処理装置２が人工知能を搭載し、マスク領域を自動検知してもよい。すなわち、情報処理装置２が、監視カメラ１から受信した映像を元に、マスク処理および追跡処理等を実行してもよい。
図１４は、監視カメラ１および情報処理装置２のブロック構成例を示した図である。図１４には、監視カメラ１および情報処理装置２の他にネットワーク３も示してある。図１４に示すように、情報処理装置２は、表示部１０１と、入力部１０２と、記憶部１０３と、制御部１０４と、受信部１０５と、送信部１０６と、を有している。
表示部１０１、入力部１０２、および記憶部１０３は、図１１で説明した表示部８１、入力部８２、および記憶部８３と同様の機能を有し、その説明を省略する。
制御部１０４は、図１１で説明した制御部７３と同様の機能を有する。ただし、制御部１０４には、受信部１０５が監視カメラ１から受信した映像データが入力され、追尾対象物の画像を追尾する点が異なる。また、マスク領域設定部１０４ｄは、図１１で説明したマスク領域設定部８４ａと同様の機能を有する。
受信部１０５および送信部１０６は、図１１で説明した受信部８５および送信部８６と同様の機能を有し、その説明を省略する。
監視カメラ１は、撮像部１１１と、記憶部１１２と、制御部１１３と、受信部１１４と、送信部１１５と、を有している。撮像部１１１、記憶部１１２、制御部１１３、受信部１１４、および送信部１１５は、図１１で説明した撮像部７１、記憶部７２、制御部７３、受信部１１４、および送信部１１５と同様の機能を有し、その説明を省略する。ただし、制御部１１３は、制御部７３のＡＩ処理部７３ａ、マスク領域推定部７３ｂ、類似度算出部７３ｃ、およびマスク領域設定部７３ｄの機能を有さない点が異なる。
以上説明したように、情報処理装置２は、監視カメラ１から映像フレームを受信する受信部１０５と、映像フレームに追尾対象画像を探索するための探索範囲を設定し、探索範囲内の画像の特徴量を用いて追尾対象画像を抽出する制御部１０４と、を備える。制御部１０４は、探索範囲内に追尾対象外の物体画像が含まれる場合、物体画像の特徴量をマスクして追尾対象画像を抽出する。これにより、情報処理装置２は、追尾対象物を非追尾対象物に変更することを抑制し、追尾対象物を適切に追尾できる。
上述の実施の形態においては、各構成要素に用いる「・・・部」という表記は、「・・・回路（circuitry）」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。
以上、図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかである。そのような変更例または修正例についても、本開示の技術的範囲に属するものと了解される。また、本開示の趣旨を逸脱しない範囲において、実施の形態における各構成要素は任意に組み合わされてよい。
本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡや、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
本開示は、追尾対象物の画像を追尾する監視カメラにおいて有用である。
１ 監視カメラ
２ 情報処理装置
３ ネットワーク
１１ａ，１１ｂ，２１ａ，２１ｂ，３１ａ，３１ｂ，４１ａ，４１ｂ，５１ 映像フレーム
１２ａ，１２ｂ 画像
１３ａ，１３ｂ，２２ａ，２２ｂ，３２ａ，３２ｂ，４４ 探索範囲
２３ａ，２３ｂ，４２ 自動車
２４ａ，２４ｂ，４３，５３ 信号機
３３ａ 人
３４ａ，３４ｂ テーブル
３５ａ，３５ｂ 収納ボックス
４５ 斜線
５２ 出力結果
５４ 領域
６１ 画面
６２，６３ａ～６３ｃ 線
７１，１１１ 撮像部
７２，８３，１０３，１１２ 記憶部
７３，８４，１０４，１１３ 制御部
７３ａ，１０４ａ ＡＩ処理部
７３ｂ，１０４ｂ マスク領域推定部
７３ｃ，１０４ｃ 類似度算出部
７３ｄ，１０４ｄ マスク領域設定部
７４，８５，１０５，１１４ 受信部
７５，８６，１０６，１１５ 送信部
８１，１０１ 表示部
８２，１０２ 入力部
８４ａ マスク領域設定部

Claims (8)

  1. 映像フレームを出力する撮像部と、
    前記映像フレームに探索範囲を設定する制御部と、
    を備え、
    前記制御部は、
    特徴量が計算される領域である計算範囲を前記探索範囲において移動させながら、前記計算範囲を移動させた各位置において画像の前記特徴量を算出し、
    前記探索範囲内の最も前記特徴量が類似した画像を、前記映像フレームの追尾対象画像と判定し、
    前記探索範囲内に追尾対象外の物体画像が含まれる場合、前記物体画像の特徴量をマスクして前記追尾対象画像を抽出し、
    前記物体画像の物体の種類に応じて前記マスクのマスク強度を変更する、
    監視カメラ。
  2. 前記制御部は、人工知能を用いて前記物体画像を検出する、
    請求項１に記載の監視カメラ。
  3. 前記物体画像の領域が、情報処理装置から指定される、
    請求項１に記載の監視カメラ。
  4. 前記制御部は、前記映像フレームに含まれる前記物体画像のうち、形態が変化しない前記物体画像のマスク強度を、形態が変化する前記物体画像のマスク強度より大きくする、
    請求項１に記載の監視カメラ。
  5. 前記制御部は、前記撮像部の画角が変化した場合、前記映像フレーム内における前記物体画像の領域を検出する、
    請求項１から４のいずれか一項に記載の監視カメラ。
  6. 前記制御部は、前記物体画像の領域の変化量が閾値を超えた場合、アラーム信号を出力する、
    請求項１から５のいずれか一項に記載の監視カメラ。
  7. 前記制御部は、前記特徴量をマスクする前記物体画像を定期的に検出する、
    請求項２に記載の監視カメラ。
  8. 監視カメラから映像フレームを受信する受信部と、
    前記映像フレームに探索範囲を設定する制御部と、
    を備え、
    前記制御部は、
    特徴量が計算される領域である計算範囲を前記探索範囲において移動させながら、前記計算範囲を移動させた各位置において画像の前記特徴量を算出し、
    前記探索範囲内の最も前記特徴量が類似した画像を、前記映像フレームの追尾対象画像と判定し、
    前記探索範囲内に追尾対象外の物体画像が含まれる場合、前記物体画像の特徴量をマスクして前記追尾対象画像を抽出し、
    前記物体画像の物体の種類に応じて前記マスクのマスク強度を変更する、
    情報処理装置。
JP2019131160A 2019-07-16 2019-07-16 監視カメラおよび情報処理装置 Active JP7287667B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019131160A JP7287667B2 (ja) 2019-07-16 2019-07-16 監視カメラおよび情報処理装置
US16/928,648 US11462087B2 (en) 2019-07-16 2020-07-14 Surveillance camera and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019131160A JP7287667B2 (ja) 2019-07-16 2019-07-16 監視カメラおよび情報処理装置

Publications (2)

Publication Number Publication Date
JP2021016134A JP2021016134A (ja) 2021-02-12
JP7287667B2 true JP7287667B2 (ja) 2023-06-06

Family

ID=74340977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019131160A Active JP7287667B2 (ja) 2019-07-16 2019-07-16 監視カメラおよび情報処理装置

Country Status (2)

Country Link
US (1) US11462087B2 (ja)
JP (1) JP7287667B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432286B (zh) * 2019-12-31 2022-05-20 杭州海康威视数字技术股份有限公司 视频处理的方法、装置和系统
CN115472014B (zh) * 2022-09-16 2023-10-10 苏州映赛智能科技有限公司 一种交通追溯方法、系统、服务器及计算机存储介质
KR102589401B1 (ko) * 2023-04-21 2023-10-17 엔아이소프트 주식회사 객체 인식을 통한 영상 분석 시스템 및 이를 이용한 영상 분석 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002208009A (ja) 2000-11-09 2002-07-26 Yaskawa Electric Corp 物体検出方法
JP2010009134A (ja) 2008-06-24 2010-01-14 Sony Corp 画像処理システム及び画像処理方法、並びに、プログラム
JP2018185724A (ja) 2017-04-27 2018-11-22 Kddi株式会社 画素変更処理画像を用いて対象を追跡する装置、プログラム及び方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10301468B4 (de) * 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
WO2009125596A1 (ja) * 2008-04-11 2009-10-15 パナソニック株式会社 画像処理装置、方法、および記憶媒体
US9589595B2 (en) * 2013-12-20 2017-03-07 Qualcomm Incorporated Selection and tracking of objects for display partitioning and clustering of video frames
US10922701B2 (en) * 2016-07-28 2021-02-16 Mastercard International Incorporated Systems and methods for characterizing geographic regions
JP6485490B2 (ja) 2017-05-31 2019-03-20 株式会社ニコン カメラ
US10788830B2 (en) * 2017-07-28 2020-09-29 Qualcomm Incorporated Systems and methods for determining a vehicle position
US10878578B2 (en) * 2017-10-30 2020-12-29 Qualcomm Incorporated Exclusion zone in video analytics
CN110505412B (zh) * 2018-05-18 2021-01-29 杭州海康威视数字技术股份有限公司 一种感兴趣区域亮度值的计算方法及装置
US10764588B2 (en) * 2018-08-10 2020-09-01 Apple Inc. Deep quality enhancement of adaptive downscaled coding for image compression
CN113544021B (zh) * 2019-03-08 2023-12-22 奥拉科产品有限责任公司 用于创建包括自部件排除的碰撞检测训练集的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002208009A (ja) 2000-11-09 2002-07-26 Yaskawa Electric Corp 物体検出方法
JP2010009134A (ja) 2008-06-24 2010-01-14 Sony Corp 画像処理システム及び画像処理方法、並びに、プログラム
JP2018185724A (ja) 2017-04-27 2018-11-22 Kddi株式会社 画素変更処理画像を用いて対象を追跡する装置、プログラム及び方法

Also Published As

Publication number Publication date
US11462087B2 (en) 2022-10-04
JP2021016134A (ja) 2021-02-12
US20210020005A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
JP7287667B2 (ja) 監視カメラおよび情報処理装置
US8102423B2 (en) Method and system for performing adaptive image acquisition
JP6522595B2 (ja) トラッカ補助画像キャプチャ
CN107408303A (zh) 用于对象跟踪的系统和方法
US20100141806A1 (en) Moving Object Noise Elimination Processing Device and Moving Object Noise Elimination Processing Program
US20060244866A1 (en) Moving object detection apparatus, method and program
KR20090006851A (ko) 통계적인 픽셀 모델링을 이용한 비디오 분할
CN108535727B (zh) 跟踪主车辆附近的多个对象的方法
CN112562314A (zh) 基于深度融合的路端感知方法、装置、路端设备和系统
US10937319B2 (en) Information provision system, server, and mobile terminal
US10458807B2 (en) Augmented reality system for visualization of traffic information in a transportation environment
Jain et al. Panoptes: Servicing multiple applications simultaneously using steerable cameras
CN111275737A (zh) 一种目标跟踪方法、装置、设备及存储介质
Chen et al. Single object tracking in satellite videos: A correlation filter-based dual-flow tracker
CN114639171B (zh) 一种停车场全景安全监控方法
US20110228119A1 (en) Image pickup apparatus having masking function
Chen et al. Vision-based road bump detection using a front-mounted car camcorder
US20090110240A1 (en) Method for detecting a moving object in an image stream
KR101780929B1 (ko) 움직이는 물체를 추적하는 영상감시 시스템
CN114615468A (zh) 一种基于安防监控的智能定位方法
US10997732B2 (en) Information display system and information display method
Asano et al. Person reidentification for detection of pedestrians in blind spots through V2V communications
CN114827436A (zh) 一种摄像方法及装置
JP2006012013A (ja) 移動物体追跡装置
KR101956008B1 (ko) 궤적서비스제공장치 및 그 장치의 데이터구축방법

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190902

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190910

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191205

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20201224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230518

R150 Certificate of patent or registration of utility model

Ref document number: 7287667

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150