JP6723208B2 - 監視カメラの向上した方向制御 - Google Patents

監視カメラの向上した方向制御 Download PDF

Info

Publication number
JP6723208B2
JP6723208B2 JP2017174422A JP2017174422A JP6723208B2 JP 6723208 B2 JP6723208 B2 JP 6723208B2 JP 2017174422 A JP2017174422 A JP 2017174422A JP 2017174422 A JP2017174422 A JP 2017174422A JP 6723208 B2 JP6723208 B2 JP 6723208B2
Authority
JP
Japan
Prior art keywords
movement
map
representative
camera
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017174422A
Other languages
English (en)
Other versions
JP2018046560A (ja
JP2018046560A5 (ja
Inventor
ルンドベルイ ステファン
ルンドベルイ ステファン
Original Assignee
アクシス アーベー
アクシス アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アクシス アーベー, アクシス アーベー filed Critical アクシス アーベー
Publication of JP2018046560A publication Critical patent/JP2018046560A/ja
Publication of JP2018046560A5 publication Critical patent/JP2018046560A5/ja
Application granted granted Critical
Publication of JP6723208B2 publication Critical patent/JP6723208B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617Surveillance camera constructional details
    • G08B13/1963Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)

Description

本明細書の実施形態は、現場を監視しているカメラの少なくともパンとチルトを制御することに関する。
カメラ制御装置とやりとりしている操作者の制御下にある1つ以上の監視カメラを備えた監視(surveillance)システム又はモニタリングシステムでは、操作者が、ほとんどのシナリオにおいて、監視される現場の関心対象の移動物体を(例えば、表示装置上で)識別及び追跡できることが非常に重要である。通常、モニタリングシステムのカメラは、チルト軸を中心に回転し、パン軸を中心に回転し、さらに、カメラに取り付けられたレンズをズームできるように構成されている。このようなカメラの頭字語には、PTZが用いられることが多く、「P」はパンを表し、「T」はチルトを表し、そして「Z」はズームを表す。小型電子モータは、通常、パン、チルト及びズームにおいて必要な回転/移動を提供するのに用いられ、操作者は、通常、パンモータ、チルトモータ及びズームモータを制御する調整信号を提供するように、コンピュータマウス又はジョイスティックなどの適切なユーザ入力装置を操作している。
現場の物体が最適でない方向に移動している場合、このようなPTZ構成カメラの操作者が、現場で移動する物体を、PTZカメラを用いて手動で追跡(follow)/追尾する(track)ことは困難であることが容易に予想される。最適でない方向は、2つ以上のカメラモータを移動させること、例えばパンとチルトの双方を同時に回転させることが必要な方向である。これは、入力装置がマウスか又はジョイスティックか否かに関係なく行われる。物体がディスプレイ上の最新の視界の大部分をカバーするように(例えば、十分にズームインされるように)カメラがズームされる場合、操作者には更に困難となる。言うまでもなく、乗り物などの高速で移動する物体は、時に、追跡するのが非常に困難であることがある。
先行技術は、回転台付きカメラ装置について記載されている国際公開第2010/064445A1号パンフレットを含む。検出された物体の位置及び速度は、操作者が物体を追尾するのを支援する回転台の検出手動操作速度と組み合わせて用いられる。
国際公開第2010/064445A1号パンフレット
上記の点に鑑み、本開示の目的は、先行技術のPTZカメラに関連する欠点のうちの少なくとも一部を克服するか又は少なくとも軽減することである。
これは、第1の態様において、カメラ制御装置により実行される方法によって達成される。カメラ制御装置は、最新のパン及びチルト(PT)位置から、監視方向の現場を監視しているカメラの少なくともパンとチルトを調整するように構成される。本方法は、調整信号であって、ユーザ入力装置から生じ、監視方向の少なくとも所望の調整を表す調整信号を検出することを含む。現場における物体の移動を表す代表的移動ベクトルが得られ、代表的移動ベクトルに基づいて、そして、監視方向の少なくとも所望の調整に基づいて、補正された調整信号が算出される。次いで、補正された調整信号は、カメラの少なくともパンとチルトを調整するのに用いられる。
換言すると、本開示は、物体が通常どのように現場を移動するかについて「学習した」カメラ制御装置が、代表的移動に従ってカメラを移動させることにより操作者を支援する方法を提供する。次に更に説明するように、代表的移動は、物体の移動分析から導き出すことができる。
一部の実施形態において、代表的移動ベクトルの取得は、第1の移動マップにおいて、監視方向に対応するマップ位置を特定することを含み得る。次いで、第1の移動マップにおいて特定されたマップ位置から、代表的移動ベクトルを読み取ることができる。
例えば、これらの実施形態のうちの一部には、監視方向の所望の調整を用いて、複数の候補移動マップから第1の移動マップを選択することを含んでもよい。このような候補移動マップはそれぞれ、移動ベクトルであって、監視方向の所望の調整に対応するそれぞれの通常の移動方向に沿って調整された移動ベクトルを備え得る。
これらの候補移動マップは、現場の複数の画像を取得し、そして現場の複数の移動物体を識別することによって作成され得る。識別された移動物体に基づいて、現場のそれぞれの部分における代表的移動ベクトルが決定され得る。次いで、代表的移動ベクトルがグループに分類され、それぞれのグループは、通常の移動方向によって定義され得る。移動ベクトルは、それぞれの候補移動マップに記憶され、候補移動マップはそれぞれ、前述したそれぞれの通常の移動方向に沿って調整された移動ベクトルを備え得る。
または、一部の実施形態において、現場の複数の画像を取得することによって第1の移動マップが作成されてもよく、現場では複数の移動物体が識別される。識別された移動物体に基づいて、現場のそれぞれの部分における代表的移動ベクトルが決定され、第1の移動マップに記憶され得る。
一部の実施形態において、調整信号は、監視方向の所望の調整を表すことに加えて、カメラの所望のズーム調整を表し得る。このような実施形態では、本方法は、さらに、監視方向における現場の移動物体のサイズを表す代表的サイズ値を得ることを含む。次いで、補正された調整信号の算出は、さらに、代表的サイズ値に基づき、そして、補正された調整信号に基づく調整は、カメラのパン、チルト及びズームの調整を含み得る。
一部の実施形態では、第1の移動マップの特定されたマップ位置から、代表的サイズ値を読み取ることができる。このような実施形態では、識別された移動物体に基づいて現場のそれぞれの部分における物体の代表的サイズが決定され、その後、代表的サイズは第1の移動マップに記憶され得る。
または、一部の実施形態において、現場のそれぞれの部分における物体の代表的サイズは、識別された移動物体に基づいて決定され、その後、代表的サイズは候補移動マップに記憶されてもよい。
これらの実施形態は、カメラ制御装置によって、現場がどのように見えるかについて学習し、そして、現場におけるグリッドの最も可能性のある移動方向を算出できることを示す。次いで、操作者が通常の方向に非常に類似する方向においてカメラを調整すると、カメラ制御装置は、操作者が行った調整に従ってまっすぐに進むのではなく、通常の移動に従うようにわずかに移動を調整する。
実施形態のうちの一部が示すように、学習は、カメラを最も広い位置に配置すること、すなわち、現場全体を見ることを可能にすること、及び、例えば適切な移動検出手順を用い、自動物体追尾を行うことによって実行することができる。また、学習は、現場の部分を分析し、後ですべての移動情報を合わせることによって実行することもできる。現場のそれぞれの部分については、現場を通過するそれぞれの物体及び方向について追尾が行われ、さらに、一部の実施形態では、用いられるサイズが決定及び記憶され得る。十分な物体が現場のそれぞれの部分を通過すると、通常の方向及びサイズの変化のグリッドが算出される。そして、グリッドは、操作者がカメラの位置を変えているときに、パン/チルト及びズームを調整するのに用いることができる。
第2の態様では、最新のパン及びチルト位置から、監視方向の現場を監視しているカメラの少なくともパンとチルトを調整するように構成されたカメラ制御装置が提供される。カメラ制御装置は、プロセッサとメモリと入出力回路とを備える。メモリがプロセッサで実行可能な命令を含むことによりカメラ制御装置は、
ユーザ入力装置から生じ、少なくとも監視方向の所望の調整を表す調整信号を検出し、
現場における物体の移動を表す代表的移動ベクトル(v)を得て、
代表的移動ベクトルに基づいて、及び、少なくとも監視方向の所望の調整に基づいて、補正された調整信号を算出し、
補正された調整信号を用いて、カメラの少なくともパンとチルトを調整するよう動作する。
別の態様では、カメラ制御装置の少なくとも1つのプロセッサ上で実行されると、カメラ制御装置に、第1の態様及びこの態様の種々の実施形態に関連して上で概説した方法を実行させる命令を含むコンピュータプログラムが提供される。
別の態様では、キャリアであって、上で概説した態様に係るコンピュータプログラムを含み、電子信号、光信号、無線信号、及びコンピュータ可読記憶媒体のうちの1つであるキャリアが提供される。
これらの他の態様は、第1の態様の方法に関連して上で概説したものと同じ効果及び利点を提供する。
カメラ制御装置を概略的に示す。 カメラ及び現場を概略的に示す。 カメラを概略的に示す。 カメラを概略的に示す。 現場を概略的に示す。 方法の実施形態のフローチャートである。 方法の実施形態のフローチャートである。 方法のフローチャートである。 移動マップを概略的に示す。 カメラ制御装置を概略的に示す。
図1a及び図1bが例示しているように、カメラ制御装置100は、最新のパン及びチルト(PT)位置から、監視方向111の現場112を監視しているカメラ101の少なくともパンとチルトを調整するように構成されている。カメラ制御装置100は、プロセッサ102と、メモリ104と、入出力回路106と、を備えている。メモリ104は、プロセッサ102によって実行可能な命令を含み、これによって、カメラ制御装置100は、図2〜5に関連して以下に説明する方法の実施形態を実行するように動作する。
操作者/ユーザによって作動するコンピュータ122の一部を通常形成する入力装置120及びディスプレイ121は、コンピュータ122を介してカメラ制御装置100に接続されている。コンピュータ122は、通常、クラウド130により概略的に示されているような周知の通信ネットワーク(無線及び/又は有線)によって接続されている。例えば、入力装置120は、キーパッド、コンピュータマウス、トラックボール、タッチパッド、ジョイスティックなどであってもよい。入力装置120とともにコンピュータ122の構成は、例えばカメラ制御装置100に接続されたカメラ101の、所望の調整を表す調整信号110を提供することが可能なものである。コンピュータ122は、入出力回路106を介してカメラ制御装置100のプロセッサ102に接続され、当業者に知られているように、入出力回路106は、調整信号110の必要な処理を実行して、以下に詳細に論じるように、プロセッサ102によって処理され得る。
以下に例示するように、カメラ制御装置100は、補正された調整信号116によって、カメラ101の少なくともパンとチルトを調整し、一部の実施形態ではズームも調整する。補正された調整信号116は、入出力回路106と連動してプロセッサ102によって生成され、補正された調整信号116は、クラウド131により概略的に示されているような周知の通信ネットワーク(無線及び/又は有線)を介して、カメラ101に提供される。
当業者が実現するように、カメラ101は、補正された調整信号116に反応するそれぞれのパン(P)アクチュエータ、チルト(T)アクチュエータ及びズーム(Z)アクチュエータによって、パンし、傾き、そしてズームすることができる。このようなアクチュエータによって、補正された調整信号116を必要な信号/電圧/電流に変換するのに必要とされる回路は、当技術分野において周知であるため、分かりやすくするように図から省略している。例えば、ステッパモータ又は直接駆動モータに基づくアクチュエータを用いて、補正された調整信号116を、通常アクチュエータによって増幅された後に、例えば認識可能なパルス幅変調(PWM)信号に変換してもよい。
通常、パンアクチュエータとチルトアクチュエータは一緒に配置され、ズームアクチュエータは、通常、カメラ101に取り付けられたレンズ系140に配置される。図1bは、PTZアクチュエータ150がカメラ101に配置されている第1の例を示している。図1cでは、PTアクチュエータ152は、カメラ101の外部に配置され、例えば、プラットフォームの形態により配置されているのに対し、Zアクチュエータ154はカメラの内部に配置されている。補正された調整信号116は、カメラ101外部のPTアクチュエータ152に、及びZアクチュエータ154が配置されたカメラ101に提供される。
更に別の例が図1dに示されており、制御装置100は、PTZアクチュエータ150とともにカメラ101の内部に配置されている。このような例では、調整信号110は、カメラ101内部のカメラ制御装置100に提供される。
ここで、図1a〜dを引き続き参照するともに、図2、図3a〜b、図4及び図5に移り、カメラ制御装置100によって実行される方法の実施形態を、多くの動作を参照して説明する。上述したように、カメラ制御装置100は、最新のPT位置から、監視方向111の現場112を監視しているカメラ101の少なくともパンとチルトを調整するように構成されている。
動作301
ユーザ入力装置120から生じる調整信号110が検出される。調整信号110は、監視方向111の少なくとも所望の調整を表している。
一部の実施形態において、調整信号110は、監視方向111の所望の調整を表すことに加えて、カメラ101のズーム(Z)の所望の調整を表し得る。
当業者が実現するように、監視方向の調整は、球面座標系における時間単位当たりの角度単位、例えば毎秒の度数により表され得る。ズームの調整は倍率として表され、例えば、一定間隔内の整数値によって表され得る。
動作303
代表的移動ベクトル(v)が得られる。代表的移動ベクトルは、現場112における物体133、134の移動を表している。当業者が実現するように、移動ベクトルは、球面座標系における時間単位当たりの角度単位を用いて表すことができる。
一部の実施形態において、動作351によって示されているように、代表的移動ベクトルの取得は、第1の移動マップ500において、監視方向111に対応するマップ位置502を特定することを含み得る。次いで、動作353によって示されているように、第1の移動マップ500において特定されたマップ位置502から、代表的移動ベクトルvを読み取ることができる。図5が例示しているように、移動ベクトル「11、12、42」は、(x,y)座標(123、654)を有するマップ位置に対応している。
監視方向111に対応するマップ位置502の特定は、例えば、カメラが自動露出制御などの手順をどのように行うかと同様の方法により行うことができ、所定の又はユーザが選択した中心点の周辺領域、例えば、「スポット」、「中心平均」、「加重平均」などが考慮される。すなわち、代表的移動ベクトルは、実際には、移動マップ500からの1回の読み取りに基づいて算出されるだけでなく、監視方向111に対応する移動ベクトルの加重値とともに、監視方向111に対応する移動マップにおける方向のおおよその値を用いて算出され得る。
一部の実施形態において、動作350によって示されているように、複数の候補移動マップ510から、監視方向の所望の調整を用いて、第1の移動マップ500を選択することができる。このような候補移動マップ510はそれぞれ、監視方向の所望の調整に対応するそれぞれの通常の移動方向に沿って調整された移動ベクトルを備え得る。例えば、監視方向111の現場112が4方向道路交差点(4-way road intersection)であるシナリオでは、第1の候補移動マップ510は上下方向の代表的移動ベクトルを備え、第2の候補移動マップ510は左右方向の代表的移動ベクトルを備え得る。そして、例えば交差点を90度曲がる乗り物を追跡することを望む運転者の結果としての、監視方向111の連続的な所望の調整によって、動作350の選択には、第1の候補移動マップから第2の候補移動マップへの切り替えが必要となる。
調整信号110がズームも表す実施形態では、代表的サイズ値(D)を得ることができる。そして、このような代表的サイズ値は、監視方向111の現場112における移動物体のサイズを表している。例えば、代表的サイズ値(D)は、実施形態のうちの一部では、第1の移動マップ500の特定されたマップ位置から読み取られてもよい。サイズ値Dをズーム値と同等なものにするために、得られるサイズ値Dを、使用時のレンズ系の特性を考慮した適切な変換アルゴリズムを用いて、一定の間隔により整数値に変換する必要があることがある。
動作305
代表的移動ベクトルに基づいて、そして、監視方向の少なくとも所望の調整に基づいて、補正された調整信号116が算出される。
調整信号110がズームも表す実施形態では、補正された調整信号116の算出は、さらに、代表的サイズ値Dに基づく。
動作307
その後、補正された調整信号116を用いて、カメラの少なくともパンとチルトが調整される。
調整信号110がズームも表す実施形態では、調整は、カメラのパン、チルト及びズームの調整を含む。
動作305及び動作307における補正された調整信号116の算出及び使用はそれぞれ、一部の実施形態では、調整信号110が、代表的移動ベクトルに近い(設定可能な「デルタ」値内にある)監視方向の調整値を示す場合にのみ実行されるように調節され得る。そうでなければ、検出された調整信号110は、補正されずに、カメラ101の少なくともパンとチルトを調整するのに用いられる。
図4を特に参照すると、代表的移動ベクトルvが第1の移動マップ500から読み出される実施形態には、1つ以上の移動マップがカメラ制御装置100によって学習される学習手順として理解できる次の動作を含むものが含まれる。
動作401
現場112の複数の画像が得られる。
動作403
現場112において複数の移動物体が識別される。
動作405
識別された移動物体133、134に基づいて、現場112のそれぞれの部分136、137における代表的移動ベクトルが決定される。
一部の実施形態において、識別された移動物体に基づいて、現場のそれぞれの部分における物体の代表的サイズも決定することができる。
動作406
第1の移動マップ500が複数の候補移動マップ510から選択される実施形態では、代表的移動ベクトルはグループに分類され、それぞれのグループは、通常の移動方向によって定義される。
動作407
移動ベクトルは、第1の移動マップ500に記憶される。第1の移動マップ500が複数の候補移動マップ510から選択される実施形態では、動作407は、移動ベクトルをそれぞれの候補移動マップ510に記憶することに関与し、それぞれの候補移動マップ510は、前述したそれぞれの通常の移動方向に沿って調整された移動ベクトルを備える。
物体の代表的サイズも決定される実施形態では、これらの代表的サイズは、第1の移動マップ500又は候補移動マップ510にも記憶される。
上述の実施形態では、焦点合わせの問題は明確に検討されていない。しかしながら、焦点合わせ、例えば、カメラ制御装置100において作動する自動焦点合わせ手順が、補正された調整信号116を、その入力のうちの一つとして用いることができることにも留意すべきである。このような支援により、焦点合わせを更に速くすることができ、困難な条件時に、いわゆるフォーカスハンティング(focus hunting)を回避することができる。
さらに、上述の実施形態及び関連する図において、パン、チルト及びズームの概念への言及は、例えばアクチュエータ及びレンズ系の空間的な移動に関係があると想定される。ただし、これらの概念は、カメラが、空間的な回転又はズームの移動を伴わずに動作する、いわゆる360度カメラ(360-camera)であるシナリオに適用できることに留意すべきである。このようなカメラは、カメラの周りのすべての方向、すなわち、多かれ少なかれ半球の適用範囲において、画像を取り込む。このようなシナリオでは、監視方向、並びにパン、チルト及びズームの値を仮想的な用語により定義することができ、このため、本明細書に説明されているすべての実施形態は、360度カメラのシナリオにも適用可能である。
戻って図1aを参照し、カメラ制御装置100をより詳細に説明する。カメラ制御装置100が、最新のパン及びチルト(PT)位置から、監視方向の現場を監視しているカメラ101の少なくともパンとチルトを調整するように構成される。カメラ制御装置100は、プロセッサ102とメモリ104と入出力回路106とを備える。メモリ104がプロセッサ102で実行可能な命令を含むことによりカメラ制御装置100は、
ユーザ入力装置120から生じ、少なくとも監視方向の所望の調整を表す調整信号110を検出し、
現場における物体の移動を表す代表的移動ベクトル(v)を得て、
代表的移動ベクトルに基づいて、及び、少なくとも監視方向の所望の調整に基づいて、補正された調整信号116を算出し、
補正された調整信号116を用いて、カメラ101の少なくともパンとチルトを調整する
よう動作する、
プロセッサ102により実行可能な命令は、コンピュータプログラム141の形態のソフトウェアでもよい。コンピュータプログラム141は、キャリア142内に又はキャリア142により含まれても良く、キャリア142は、メモリ104とプロセッサ102にコンピュータプログラム141を提供してもよい。キャリア142は、電子信号、光信号、無線信号、及びコンピュータ可読記憶媒体を含む適宜の形態でもよい。
一部の実施形態において、カメラ制御装置100は、代表的移動ベクトルを得ることが、
第1の移動マップにおいて、監視方向に対応するマップ位置を特定することと、
第1の移動マップにおいて特定されたマップ位置から、代表的移動ベクトルを読み取ること、
を含むように動作する。
一部の実施形態において、カメラ制御装置100は、
監視方向の所望の調整を用いて、複数の候補移動マップから第1の移動マップを選択するように動作し、候補移動マップがそれぞれ、監視方向の所望の調整に対応するそれぞれの通常の移動方向に沿って調整された移動ベクトルを備える。
一部の実施形態において、カメラ制御装置100は、第1の移動マップが、
現場の複数の画像を得ることと、
現場の複数の移動物体を識別することと、
識別された移動物体に基づいて、現場のそれぞれの部分における代表的移動ベクトルを決定することと、
第1の移動マップに移動ベクトルを記憶することと、
によって作成される
ように動作する。
一部の実施形態において、カメラ制御装置100は、候補移動マップが、
現場の複数の画像を得ることと、
現場の複数の移動物体を識別することと、
識別された移動物体に基づいて、現場のそれぞれの部分における代表的移動ベクトルを決定することと、
代表的移動ベクトルをグループに分類することであって、それぞれのグループが通常の移動方向によって定義される前記分類することと、
移動ベクトルをそれぞれの候補移動マップに記憶することであって、該候補移動マップがそれぞれ、それぞれの通常の移動方向に沿って調整された移動ベクトルを備える前記記憶することと、
によって作成されるように動作する。
一部の実施形態において、カメラ制御装置100は、
調整信号が、監視方向の所望の調整を表すことに加えて、カメラ101のズームZの所望の調整を表すように動作し、
監視方向における現場の移動物体のサイズを表す代表的サイズ値Dを得るよう動作し、
補正された調整信号の算出が、さらに、代表的サイズ値に基づき、
補正された調整信号に基づく調整が、カメラ101のパン、チルト及びズームの調整を含むように動作する。
一部の実施形態において、カメラ制御装置100は、
第1の移動マップの識別されたマップ位置から、代表的サイズ値を読み取るように動作する。
一部の実施形態において、カメラ制御装置100は、
識別された移動物体に基づいて、現場のそれぞれの部分における物体の代表的サイズを決定し、
第1の移動マップに代表的サイズを記憶する
ように動作する。
一部の実施形態において、カメラ制御装置100は、
識別された移動物体に基づいて、現場のそれぞれの部分における物体の代表的サイズを決定し、
候補移動マップに代表的サイズを記憶するように動作する。
図6は、カメラ制御装置600を概略的に示し、カメラ制御装置600は、最新のパン及びチルト(PT)位置から、監視方向の現場を監視しているカメラの少なくともパンとチルトを調整するように構成される。カメラ制御装置600は、
ユーザ入力装置から生じ、少なくとも監視方向の所望の調整を表す調整信号を検出するよう構成された検出モジュール601と、
現場における物体の移動を表す代表的移動ベクトル(v)を得るよう構成された取得モジュール603と、
代表的移動ベクトルに基づいて、及び、少なくとも監視方向の所望の調整に基づいて、補正された調整信号116を算出するよう構成された算出モジュール605と、
補正された調整信号116を用いて、カメラ101の少なくともパンとチルトを調整するよう構成された調整モジュール607と、
を備える。
カメラ制御装置600は、例えば、図1aに関連して上述したカメラ制御装置100と同様の手法で実行するよう構成されたさらなるモジュールを備えてもよい。

Claims (9)

  1. 監視方向(111)の現場(112)を監視しているカメラ(101)の少なくともパンとチルトを、現在のパンとチルトの位置から、調整するように構成されているカメラ制御装置(100)によって行われる方法であって、該方法は、
    ユーザ入力装置(120)によって受ける該監視方向の角度調整を表す調整信号(110)を該ユーザ入力装置(120)から検出すること(301)と、
    該現場における対象(133、134)の動きを表す代表的移動ベクトルを得ること(303)と、
    該代表的移動ベクトルと該ユーザ入力装置(120)によって受ける監視方向の角度調整とに基づいて、補正される調整信号(116)を算出すること(305)と、
    該補正される調整信号を用いて、該カメラの少なくともパンとチルトを調整すること(307)
    とを含み、
    該代表的移動ベクトルを得ることは、
    第1の移動マップ(500)において、該監視方向に対応するマップ位置(502)を特定すること(351)と、
    該第1の移動マップにおいて特定されたマップ位置から、該代表的移動ベクトルを読み取ること(353)
    とを含み、
    該第1の移動マップは、
    該現場の複数の画像を得ること(401)と、
    該現場における複数の動く対象を特定すること(403)と、
    該特定された動く対象に基づいて、該現場のそれぞれの部分(136、137)に対する代表的移動ベクトルを決定すること(405)と、
    該代表的移動ベクトルを該第1の移動マップに記憶すること(407)
    とによって作成される、ことを特徴とする方法。
  2. 前記ユーザ入力装置(120)によって受ける監視方向の角度調整を用いて、複数の候補移動マップから前記第1の移動マップを選択すること(350)を含み、
    各候補移動マップは、補正された調整信号を使用することによって、該ユーザ入力装置(120)によって受ける監視方向の角度調整に対応する、それぞれの典型的な移動方向に沿って調整される移動ベクトルを備える、請求項1に記載の方法。
  3. 前記候補移動マップが、
    前記現場の複数の画像を得ること(401)と、
    該現場における複数の動く対象を特定すること(403)と、
    該特定された動く対象に基づいて、該現場のそれぞれの部分(136、137)に対する代表的移動ベクトルを決定すること(405)と、
    該代表的移動ベクトルを、前記第1の移動マップを選択するために、典型的な移動方向によって定義される各グループに分類すること(406)と、
    補正された調整信号を使用することにより前記それぞれの典型的な移動方向に沿って調整される移動ベクトルを備える各候補移動マップにおける移動ベクトルを記憶すること(407)
    とによって作成される、請求項2に記載の方法。
  4. 前記調整信号が、前記ユーザ入力装置(120)によって受ける監視方向の角度調整を表すことに加えて、前記カメラのズームの所望の調整を表し、さらに、該監視方向の現場における動く対象のサイズを表す代表的サイズ値を得ることを含み、
    前記補正される調整信号の算出が、さらに、該代表的サイズ値に基づくと共に、
    該補正される調整信号を用いる調整が、該カメラのパン、チルト及びズームを調整することを含む、請求項1に記載の方法。
  5. 前記第1の移動マップにおいて特定されたマップ位置から、前記代表的サイズ値を読み取ることを含む、請求項4に記載の方法。
  6. 前記特定された動く対象に基づいて、前記現場のそれぞれの部分に対する対象の代表的サイズを決定すること、および
    前記第1の移動マップに該代表的サイズを記憶することを含む、請求項5に記載の方法。
  7. 監視方向(111)の現場(112)を監視しているカメラ(101)の少なくともパンとチルトを、現在のパンとチルトの位置から、調整するように構成されているカメラ制御装置(100)であって、
    該カメラ制御装置は、プロセッサ(102)とメモリ(104)と入出力回路(106)とを備え、
    該メモリは、ユーザ入力装置(120)によって受ける該監視方向の角度調整を表す調整信号(110)を該ユーザ入力装置(120)から検出し、該現場における対象(133、134)の動きを表す代表的移動ベクトルを取得し、該代表的移動ベクトルと該ユーザ入力装置(120)によって受ける監視方向の角度調整とに基づいて補正される調整信号(116)を算出し、該補正される調整信号を用いて、該カメラの少なくともパンとチルトを調整するための該カメラ制御装置を制御するための該プロセッサによって実行可能な命令を含み、
    該代表的移動ベクトルを取得することは、
    第1の移動マップ(500)において、該監視方向に対応するマップ位置(502)を特定することと、
    該第1の移動マップにおいて特定されたマップ位置から、該代表的移動ベクトルを読み取ること、
    とを含み、
    該第1の移動マップは、
    該現場の複数の画像を得ることと、
    該現場における複数の動く対象を特定することと、
    該特定された動く対象に基づいて、該現場のそれぞれの部分(136、137)に対する代表的移動ベクトルを決定することと、
    該代表的移動ベクトルを該第1の移動マップに記憶すること
    によって作成される、ことを特徴とするカメラ制御装置。
  8. 前記ユーザ入力装置(120)によって受ける監視方向の角度調整を用いて、複数の候補移動マップから前記第1の移動マップを選択するよう更に構成され、各候補移動マップは、補正された調整信号を使用することによって、該ユーザ入力装置(120)によって受ける監視方向の角度調整に対応する、それぞれの典型的な移動方向に沿って調整される移動ベクトルを備える、請求項に記載のカメラ制御装置。
  9. カメラ制御装置(100)の少なくとも1つのプロセッサ(102)が実行されると、該カメラ制御装置に請求項1に記載の方法を実行させるコンピュータに読み取り可能な命令を記憶している非一時的なコンピュータ可読記憶媒体。
JP2017174422A 2016-09-12 2017-09-11 監視カメラの向上した方向制御 Active JP6723208B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16188251.9 2016-09-12
EP16188251.9A EP3293963A1 (en) 2016-09-12 2016-09-12 Improved monitoring camera direction control

Publications (3)

Publication Number Publication Date
JP2018046560A JP2018046560A (ja) 2018-03-22
JP2018046560A5 JP2018046560A5 (ja) 2019-11-14
JP6723208B2 true JP6723208B2 (ja) 2020-07-15

Family

ID=56926037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017174422A Active JP6723208B2 (ja) 2016-09-12 2017-09-11 監視カメラの向上した方向制御

Country Status (6)

Country Link
US (1) US10397485B2 (ja)
EP (1) EP3293963A1 (ja)
JP (1) JP6723208B2 (ja)
KR (1) KR102085520B1 (ja)
CN (1) CN107820002B (ja)
TW (1) TWI691208B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108513070B (zh) * 2018-04-04 2020-09-04 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
KR102142651B1 (ko) * 2018-11-13 2020-08-07 전자부품연구원 Ptz 카메라 자동제어를 위한 강화학습 모델 생성 방법
KR20210058588A (ko) * 2019-11-14 2021-05-24 한국전자기술연구원 Ptz 카메라 제어 장치 및 그 방법
CN111010546A (zh) 2019-12-20 2020-04-14 浙江大华技术股份有限公司 监控预置点的调整方法、装置及存储介质
CN113572960B (zh) * 2021-07-23 2023-11-14 武汉星环恒宇信息科技有限公司 一种用于水务防控的视频快速标签定位方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7646401B2 (en) * 2004-01-30 2010-01-12 ObjectVideo, Inc Video-based passback event detection
JP4770178B2 (ja) * 2005-01-17 2011-09-14 ソニー株式会社 カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法
TWM347769U (en) * 2008-05-16 2008-12-21 Kd Comm Inc Tracing type camera
JP2012033982A (ja) 2008-12-05 2012-02-16 Panasonic Corp 回転台付きカメラ装置
CN102577347B (zh) * 2009-06-29 2015-09-23 博世安防系统有限公司 全方位智能自动巡视和态势感知的球形监视摄像机系统和方法
US8116527B2 (en) * 2009-10-07 2012-02-14 The United States Of America As Represented By The Secretary Of The Army Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background
CN102158684A (zh) * 2010-02-12 2011-08-17 王炳立 具有图像增强功能的自适应场景图像辅助系统
CN102131076B (zh) * 2011-01-19 2015-05-20 中兴通讯股份有限公司 视频监控方法及监控终端
TWM459641U (zh) * 2013-03-01 2013-08-11 Ewa Technology Cayman Co Ltd 目標自動追蹤系統
US9742974B2 (en) * 2013-08-10 2017-08-22 Hai Yu Local positioning and motion estimation based camera viewing system and methods
EP2879371B1 (en) * 2013-11-29 2016-12-21 Axis AB System for following an object marked by a tag device with a camera
JP6071866B2 (ja) * 2013-12-18 2017-02-01 キヤノン株式会社 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム
EP2961182A1 (en) * 2014-06-27 2015-12-30 Alcatel Lucent Method, system and device for navigating in ultra high resolution video content by a client device
CN105678809A (zh) * 2016-01-12 2016-06-15 湖南优象科技有限公司 手持式自动跟拍装置及其目标跟踪方法
US10262239B2 (en) * 2016-07-26 2019-04-16 Viisights Solutions Ltd. Video content contextual classification

Also Published As

Publication number Publication date
CN107820002B (zh) 2020-03-27
CN107820002A (zh) 2018-03-20
KR102085520B1 (ko) 2020-03-06
TW201813369A (zh) 2018-04-01
TWI691208B (zh) 2020-04-11
KR20180029898A (ko) 2018-03-21
EP3293963A1 (en) 2018-03-14
US10397485B2 (en) 2019-08-27
JP2018046560A (ja) 2018-03-22
US20180077357A1 (en) 2018-03-15

Similar Documents

Publication Publication Date Title
JP6723208B2 (ja) 監視カメラの向上した方向制御
US20240155219A1 (en) Photographing control method, apparatus, and control device
US7385626B2 (en) Method and system for performing surveillance
CN105100596B (zh) 相机设备和使用相机设备跟踪对象的方法
US8786672B2 (en) Monitoring camera and method for monitoring
JP5613041B2 (ja) カメラ装置、画像処理システムおよび画像処理方法
US9319641B2 (en) Controlling movement of a camera to autonomously track a mobile object
KR102151815B1 (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
TWI541767B (zh) 藉助於自動產生之巡邏路徑控制一監視系統之方法與裝置
CN104067111A (zh) 用于跟踪和监测目标对象上的差异的自动化系统和方法
KR101275297B1 (ko) 이동객체 추적 카메라 장치
WO2014136499A1 (ja) 監視装置、監視方法および撮像部の配置方法
US20150049185A1 (en) Method and apparatus for detecting posture of surveillance camera
US9091904B2 (en) Camera device with rotary base
CN113869231A (zh) 一种用于获取目标对象的实时图像信息的方法与设备
JP2017529709A (ja) オプティカルフロー場を構築する方法
KR101996907B1 (ko) 객체 추적 장치
CN112639405A (zh) 状态信息确定方法、装置、系统、可移动平台和存储介质
WO2005120070A2 (en) Method and system for performing surveillance
WO2024042944A1 (ja) 制御装置、撮像システム、制御方法、及び制御プログラム
CN113038120B (zh) 一种回程差确定方法及装置
Teh et al. Extended Dijkstra algorithm in path planning for vision based patrol robot
Zhao et al. Moving target detection and active tracking with a multicamera network
JPH11258043A (ja) 赤外線追跡型itv監視装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191004

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191004

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191004

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200623

R150 Certificate of patent or registration of utility model

Ref document number: 6723208

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250