TWI691208B - 改良之監視攝影機方向控制 - Google Patents

改良之監視攝影機方向控制 Download PDF

Info

Publication number
TWI691208B
TWI691208B TW106125294A TW106125294A TWI691208B TW I691208 B TWI691208 B TW I691208B TW 106125294 A TW106125294 A TW 106125294A TW 106125294 A TW106125294 A TW 106125294A TW I691208 B TWI691208 B TW I691208B
Authority
TW
Taiwan
Prior art keywords
movement
scene
camera
representative
map
Prior art date
Application number
TW106125294A
Other languages
English (en)
Other versions
TW201813369A (zh
Inventor
史戴方 朗德柏克
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201813369A publication Critical patent/TW201813369A/zh
Application granted granted Critical
Publication of TWI691208B publication Critical patent/TWI691208B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)

Abstract

一種攝影機控制單元，其具有“學習”物件通常如何在受監視的場景中移動，所述攝影機控制單元藉由根據所述場景中所述物件的代表性移動來移動一監視攝影機而對操作者提供協助。所述代表性移動可以在使用物件移動分析的學習過程中推導出來。

Description

改良之監視攝影機方向控制
本文的實施例係關於至少對監視一場景的攝影機的左右偏向(pan)和上下傾斜(tilt)進行控制。
在包括在與攝影機控制單元互動的操作者之控制下的一個或多個監視攝影機的監控或監視系統中，在大多數情況下，操作者能夠識別且跟蹤(例如，在顯示裝置上)被監視場景中感興趣的移動物件是非常重要的。通常，監視系統中的攝影機被配置成使得其可圍繞傾斜軸旋轉並且圍繞平轉軸旋轉，並且還被配置成縮放附接到攝影機的鏡頭。這種攝影機常用的字母縮寫是PTZ，其中“P”表示左右偏向(pan)，“T”表示上下傾斜(tilt)，“Z”表示縮放(zoom)。通常，小型電動馬達用以在左右偏向、上下傾斜和縮放中提供必要的轉動/移動，並且操作者通常操作適當的使用者輸入裝置，例如電腦滑鼠或搖桿，以便提供用於控制左右偏向、上下傾斜和縮放馬達的調整信號。
很容易想到，如果場景中的物件以非最佳方向移動，則此PTZ配置的攝影機的操作者難以用PTZ攝影機手動地跟蹤/追蹤場景中的移動物件。非最佳方向是需要多於一台攝影機馬達來移動的方向，例如，同時左右偏向且上下傾斜地旋轉。這與輸入裝置是滑鼠還是搖桿無關。如果 攝影機被縮放，以使物件在顯示器上覆蓋當前視野的大部分(例如，被足夠地放大)，操作者而言此情況將更困難。不用說，如車輛等快速移動的物件有時候很難跟蹤。
先前技術包括公開號為WO 2010/064445A1的國際專利申請案，其描述具有旋轉台的攝影機裝置。被偵測物件的位置和速度與偵測到的旋轉台之手動操作速度結合使用，用於輔助操作者跟蹤物件。
鑑於上述，本揭示的目的是克服或至少減輕與先前技術PTZ攝影機相關的至少一些缺點。
這是藉由一種由攝影機控制單元所執行的方法之第一態樣來實現。攝影機控制單元被配置以對在監視方向中正在監視場景的攝影機，從目前的左右偏向和上下傾斜(PT)位置處，至少調整所述攝影機的左右偏向和上下傾斜。所述方法包括偵測來自使用者輸入裝置的調整信號，其中所述調整信號至少表示所述監視方向的期望調整。獲得表示所述場景中的物件的移動的代表性移動向量，並且基於所述代表性移動向量且至少基於所述監視方向的所述期望調整，計算經校正的調整信號。然後，所述經校正的調整信號用以至少調整所述攝影機的左右偏向和上下傾斜。
換言之，本揭示提供了一種方法，其中攝影機控制單元具有“學習”物件通常如何在場景中移動，從而藉由根據代表性移動來移動攝影機而對操作者提供協助。如以下將更詳細地描述的，代表性移動可從物件移動分析中推導出來。
在一些實施例中，代表性移動向量的獲取可以包括在第一移 動映射中識別對應於所述監視方向的映射位置。然後，可以從所述第一移動映射中所識別的所述映射位置讀取所述代表性移動向量。
例如，在這些實施例中的一些實施例可包括使用所述監視方向的所述期望調整來從多個候選移動映射中選擇所述第一移動映射。每個這樣的候選移動映射可包括沿著各別典型移動方向對齊的移動向量，其中所述典型移動方向對應於所述監視方向的所述期望調整。
可以藉由獲得所述場景的多個圖像並識別所述場景中的多個移動物件來創建這些候選移動映射。基於所識別的移動物件，可以確定所述場景的各別部分的代表性移動向量。然後，可以將所述代表性移動向量分成群組，每個群組由典型移動方向所界定。所述移動向量可儲存在各別的候選移動映射中，每個候選移動映射包括沿著所述各別典型移動方向對齊的移動向量。
或者，在一些實施例中，可以藉由獲得所述場景的多個圖像來創建所述第一移動映射，其中，在所述場景中識別多個移動物件。基於所識別的移動物件，可以確定所述場景的各別部分的代表性移動向量並將其儲存在所述第一移動映射中。
在一些實施例中，調整信號除了表示所述監視方向的期望調整之外，還可以表示攝影機的縮放的期望調整。在這樣的實施例中，所述方法進一步包括獲得表示所述監視方向中所述場景中的移動物件的大小之代表性尺寸值。經校正的調整信號之計算可進一步基於所述代表性尺寸值，並且基於所述經校正的調整信號的調整可包括調整攝影機的左右偏向、上下傾斜和縮放。
在一些實施例中，可以從所述第一移動映射中所識別的所述映射位置讀取所述代表性尺寸值。在這樣的實施例中，可以基於所識別的移動物件來確定所述場景的各別部分的物件的代表性尺寸值，然後可以將所述代表性尺寸值儲存在所述第一移動映射中。
或者，在一些實施例中，可以基於所識別的移動物件來確定用於所述場景的各別部分的物件的代表性尺寸，然後可以將所述代表性尺寸儲存在所述候選移動映射中。
這些實施例說明了攝影機控制單元可以學習所述場景看起來是如何，且計算所述場景的柵格中最可能的移動方向。然後，當操作者在與典型方向非常類似的方向上調整攝影機時，攝影機控制單元會根據操作者進行的調整來調整移動稍微地跟隨所述典型移動，而不是直接根據操作者進行的調整。
如一些實施例所示，可以透過將攝影機放置在最寬的位置，即，使得能夠觀看整個場景，且透過以(例如)適當移動偵測程序進行自動物件追蹤來完成學習。學習也可以透過分析所述場景的部分並且之後合併所有移動資訊來完成。對於所述場景的每個部分，對通過所述場景的每個物件進行跟蹤，並且可以確定並儲存方向和尺寸，以用於一些實施例。當足夠的物件已經通過所述場景的每個部分時，典型方向和尺寸變化的柵格會加以計算。然後，當操作員重新定位攝影機時，柵格可用於調整左右偏向/上下傾斜和縮放。
在第二態樣中，提供了一種攝影機控制單元，其被配置以對在監視方向中正在監視場景的攝影機，從目前的左右偏向和上下傾斜位置 處，至少調整所述攝影機的左右偏向和上下傾斜。所述攝影機控制單元包括處理器、記憶體、以及輸入/輸出電路系統。所述記憶體包含可由所述處理器執行的指令，由此所述攝影機控制單元可操作以：-偵測來自使用者輸入裝置的調整信號，所述調整信號至少表示所述監視方向的期望調整，-獲得表示所述場景中的物件的移動的代表性移動向量v，-基於所述代表性移動向量且至少基於所述監視方向的所述期望調整，計算經校正的調整信號，以及-使用所述經校正的調整信號以至少調整所述攝影機的左右偏向和上下傾斜。
在另一態樣中，提供了一種電腦程式，包括指令，當在攝影機控制單元中的至少一個處理器上執行時，引導所述攝影機控制單元執行結合上述第一態樣和此態樣的各種實施例所概括的方法。
在另一態樣中，提供了一種載具，其包括根據以上所概括的態樣之電腦程式，其中所述載具是電信號、光信號、無線電信號、電腦可讀取儲存媒體之其中一者。
這些其它態樣提供了上述結合第一態樣的方法所概括的相同的效果和優點。
100‧‧‧攝影機控制單元
101‧‧‧攝影機
102‧‧‧處理器
104‧‧‧記憶體
106‧‧‧輸入/輸出電路系統
110‧‧‧調整信號
111‧‧‧監視方向
112‧‧‧場景
116‧‧‧經校正的調整信號
120‧‧‧輸入裝置
121‧‧‧顯示器
122‧‧‧電腦
130‧‧‧雲
131‧‧‧雲
133‧‧‧物件
134‧‧‧物件
136‧‧‧各別部分
137‧‧‧各別部分
140‧‧‧透鏡系統
141‧‧‧電腦程式
142‧‧‧載具
150‧‧‧PTZ致動器
152‧‧‧PT致動器
154‧‧‧Z致動器
301‧‧‧動作
303‧‧‧動作
305‧‧‧動作
307‧‧‧動作
350‧‧‧動作
351‧‧‧動作
353‧‧‧動作
401‧‧‧動作
403‧‧‧動作
405‧‧‧動作
406‧‧‧動作
407‧‧‧動作
500‧‧‧第一移動映射
502‧‧‧映射位置
510‧‧‧候選移動映射
600‧‧‧攝影機控制單元
601‧‧‧偵測模組
603‧‧‧獲取模組
605‧‧‧計算模組
607‧‧‧調整模組
圖1a示意性地顯示攝影機控制單元，圖1b示意性地顯示攝影機和場景， 圖1c、圖1d示意性地顯示攝影機，圖2示意性地顯示場景，圖3a、圖3b是方法的實施例的流程圖，圖4是方法的流程圖，圖5示意性地顯示移動映射，以及圖6示意性地顯示攝影機控制單元。
如圖1a和圖1b所示，攝影機控制單元100被配置以對在監視方向111中正在監視場景112的攝影機101，從目前的左右偏向和上下傾斜(PT)位置處，至少調整所述攝影機101的左右偏向和上下傾斜。攝影機控制單元100包括處理器102、記憶體104和輸入/輸出電路系統106。記憶體104包含可由處理器102執行的指令，由此攝影機控制單元100可操作以執行下面將結合圖2至圖5所描述的方法之實施例。
通常形成由操作者/使用者所操作的電腦122的一部分的輸入裝置120和顯示器121，會經由電腦122而連接到攝影機控制單元100。電腦122通常透過如圖式中的雲130所例示的公知通信網路(無線及/或有線)來連接。舉例而言，輸入裝置120可以是鍵盤、電腦滑鼠、軌跡球、觸控板、搖桿等。電腦122與輸入裝置120一起的配置，使得其能夠提供表示例如攝影機101的期望調整的調整信號110，其中該攝影機101係連接到攝影機控制單元100的。電腦122經由輸入/輸出電路系統106連接到攝影機控制單元100中的處理器102，並且如本領域技術人員所知的，輸入/輸出電路系統106可以執行調整信號110的任何必要的處理，使得其可以由處理 器102處理，這將在下面詳細討論。
如以下將舉例說明的，攝影機控制單元100會透過經校正的調整信號116，而至少調整攝影機101的左右偏向和上下傾斜，並且在一些實施例中也可以調整縮放。經校正的調整信號116由處理器102與輸入/輸出電路系統106協作而創建，且經校正的調整信號116經由如圖式中的雲131所例示的公知通信網路(無線及/或有線)而提供給攝影機101。
如本領域技術人員將認識到的，攝影機101可以藉由各別左右偏向(P)、上下傾斜(T)和縮放(Z)致動器的方式而進行左右偏向、上下傾斜和縮放，其中該些致動器係反應所述經校正的調整信號116的。任何此類致動器所需之用以將經校正的調整信號116轉換為信號/電壓/電流所需要的電路系統是本領域公知的，因此為了清楚起見，從圖式中省略。例如，使用基於步進馬達或直接驅動馬達的致動器，經校正的調整信號116可以被轉換成例如致動器可識別的(通常在被放大之後)脈寬調變(PWM)信號。
通常，左右偏向和上下傾斜致動器被配置在一起，而縮放致動器通常配置在附接於攝影機101的透鏡系統140上。圖1b顯示PTZ致動器150配置在攝影機101中的第一實例。在圖1c中，PT致動器152配置在攝影機101的外部，例如以平台的形式配置，而Z致動器154配置在攝影機內部。經校正的調整信號116被提供給在攝影機101外部的PT致動器152和配置有Z致動器154的攝影機101。
在圖1d中顯示另一個例子，其中控制單元100與PTZ致動器150一起配置在攝影機101的內部。在這樣的實例中，調整信號110被提 供給在攝影機101內部的攝影機控制單元100。
現在參考圖2、圖3a、圖3b、圖4和圖5，並繼續參考圖1a到圖1d，將參考多個動作來描述由攝影機控制單元100所執行的方法之實施例。如上所述，攝影機控制單元100被配置以對在監視方向111中正在監視場景112的攝影機101，從目前的PT位置處，至少調整所述攝影機101的左右偏向和上下傾斜。
動作301
偵測來自使用者輸入裝置120的調整信號110。調整信號110至少表示監視方向111的期望調整。
在一些實施例中，調整信號110除了表示監視方向111的期望調整之外，還可以表示攝影機101的縮放(Z)的期望調整。
本領域技術人員將會意識到，監視方向的調整可以以每個時間單位的角度單位來表示，例如在球面座標系統中的每秒的度數。縮放的調整可以表示為縮放因子，例如由間隔內的整數值來表示。
動作303
獲得代表性移動向量v。代表性移動向量表示場景112中物件133、134的移動。如本領域技術人員將認識到的，移動向量可以用球面座標系統中每個時間單位的角度單位表示。
在一些實施例中，代表性移動向量的獲得可以如動作351所示，包括在第一移動映射500中識別對應於監視方向111的映射位置502。然後，如動作353所示，可以從第一移動映射500中所識別的映射位置502讀取代表性移動向量v。如圖5所示，移動向量「11，12，42」對應於具有 (x，y)座標為(123，654)的映射位置。
對應於監視方向111的映射位置502的識別，可以例如以類似於攝影機執行諸如自動曝光控制的程序之方式來完成，其中在中心點周圍的預定或使用者選擇的區域被視為是例如「點」、「中心平均」、「加權平均」等。也就是說，代表性移動向量實際上可以是不僅基於來自移動映射500的一個單次讀取來計算，還可以使用對應於監視方向111的移動向量的加權值以及移動映射中對應於監視方向111的方向周圍的值來加以計算。
在一些實施例中，如動作350所示，可以使用監視方向的期望調整來從多個候選移動映射510中選擇第一移動映射500。每個這樣的候選移動映射510可包括沿著各別典型移動方向對齊的移動向量，其中典型移動方向對應於監視方向的期望調整。舉例而言，在監視方向111的場景112為四條道路交叉路口的情況下，第一候選移動映射510可以包括處於上/下方向的代表性移動向量，第二候選移動映射510可以包括處於左/右方向的代表性移動向量。監視方向111的連續期望調整，例如操作者希望跟蹤在交叉路口轉彎90度的車輛之結果，可能然後導致動作350中的選擇需要從第一候選移動映射切換到第二候選移動映射。
在調整信號110也表示縮放的實施例中，可以獲得代表性尺寸值D。此代表性尺寸值則代表監視方向111上的場景112中的移動物件的大小。舉例而言，在一些實施例中，代表性尺寸值D可以從第一移動映射500中所識別的映射位置來加以讀取。為了使尺寸值D與縮放值相當，所獲得的尺寸值D可能必須使用適當的轉換演算法在間隔中轉換為整數值，所述轉換演算法考慮到使用中的透鏡系統的任何特性。
動作305
基於代表性移動向量且至少基於監視方向的期望調整來計算經校正的調整信號116。
在調整信號110也表示縮放的實施例中，進一步基於代表性尺寸值D來計算經校正的調整信號116。
動作307
使用經校正的調整信號116來然後至少調整攝影機的左右偏向和上下傾斜。
在調整信號110還表示縮放的實施例中，調整包括調整攝影機的左右偏向、上下傾斜和縮放。
在一些實施例中，分別在動作305和動作307中對於經校正的調整信號116的計算和使用各別可以進行調整，使得只有當調整信號110指示用於調整監視方向的值靠近(在可配置的“差量”值內)代表性移動向量時，這些動作才被執行。否則，使用偵測到的調整信號110而不進行校正來至少調整攝影機101的左右偏向和上下傾斜。
具體參考圖4，從第一移動映射500讀取代表性移動向量v的實施例包含了包括以下動作的實施例，其可被視為學習過程，其中攝影機控制單元100學習一個或多個移動映射：
動作401
獲得場景112的多個圖像。
動作403
識別場景112中的多個移動物件。
動作405
基於所識別的移動物件133、134，確定場景112的各別部分136、137的代表性移動向量。
在一些實施例中，可以基於所識別的移動物件來確定場景的各別部分的物件的代表性尺寸。
動作406
在從多個候選移動映射510中選擇第一移動映射500的實施例中，代表性移動向量被分成群組，每個群組由典型移動方向所界定。
動作407
移動向量被儲存在第一移動映射500中。在從多個候選移動映射510中選擇第一移動映射500的實施例中，動作407涉及將移動向量儲存在各別的候選移動映射510中，每個候選移動映射510包括沿著所述各別典型移動方向對齊的移動向量。
在也有確定物件的代表性尺寸的實施例中，這些代表性尺寸也儲存在第一移動映射500或候選移動映射510中。
在上述實施例中，聚焦的問題尚未得到明確解決。然而，應注意的是，聚焦，例如在攝影機控制單元100中操作的自動聚焦程序，可以將經校正的調整信號116用作其輸入之一。通過這種幫助，聚焦可以更快，且在困難的條件下，所謂的聚焦搜索可以避免。
此外，在上述實施例和相關附圖中，係參照於左右偏向、上下傾斜和縮放的概念假定是有關例如致動器和透鏡系統的空間移動。然而，應當注意，這些概念可以應用於攝影機是所謂的360度攝影機的情況 下，其中，所述360攝影機在沒有任何空間旋轉或縮放移動的情況下操作。這樣的攝影機在攝影機周圍的所有方向捕獲圖像，即，或多或少的半球形覆蓋。在這種情況下，可以以虛擬方式來定義監視方向以及左右偏向、上下傾斜和縮放的值，因此，本文所述的所有實施例也可應用於360度攝影機的情況下。
返回參考圖1a，將更詳細地描述攝影機控制單元100。攝影機控制單元100被配置以對在監視方向中正在監視場景的攝影機101，從目前的左右偏向和上下傾斜(PT)位置處，至少調整攝影機101的左右偏向和上下傾斜。攝影機控制單元100包括處理器102、記憶體104和輸入/輸出電路106。記憶體104包含可由處理器102執行的指令，由此攝影機控制單元100可操作以：-偵測來自使用者輸入裝置120的調整信號110，所述調整信號110至少表示監視方向的期望調整，-獲得表示場景中物件的移動的代表性移動向量v，-基於代表性移動向量且至少基於監視方向的期望調整來計算經校正的調整信號116，以及-使用經校正的調整信號116以至少調整攝影機101的左右偏向和上下傾斜。
可由處理器102執行的指令可以是電腦程式141形式的軟體。電腦程式141可以包含在載具142中或由載具142提供，其可以將電腦程式141提供給記憶體104和處理器102。載具142可以是任何合適的形式，包括電信號、光信號、無線電信號或電腦可讀取儲存媒體。
在一些實施例中，攝影機控制單元100的操作使得代表性移動向量的獲得包括：-在第一移動映射中識別對應於監視方向的映射位置，-從第一移動映射中所識別的映射位置讀取代表性移動向量。
在一些實施例中，攝影機控制單元100可操作以：-使用監視方向的期望調整來從多個候選移動映射中選擇第一移動映射，其中每個候選移動映射包括沿著各別典型移動方向對齊的移動向量，所述典型移動方向對應於監視方向的期望調整。
在一些實施例中，攝影機控制單元100的操作使得第一移動映射透過以下方式創建：-獲得場景的多個圖像，-識別場景中的多個移動物件，-基於所識別的移動物件來確定場景的各別部分的代表性移動向量，-將移動向量儲存在第一移動映射中。
在一些實施例中，攝影機控制單元100的操作使得候選移動映射透過以下方式創建：-獲得場景的多個圖像，-識別場景中的多個移動物件，-基於所識別的移動物件，確定場景的各別部分的代表性移動向量，-將代表性移動向量分成群組，每個群組由典型移動方向所界定， 以及-將移動向量儲存在各別的候選移動映射中，每個候選移動映射包括沿著所述各別典型移動方向對齊的移動向量。
在一些實施例中，攝影機控制單元100的操作使得：-調整信號除了表示監視方向的期望調整之外，還表示攝影機101的縮放的期望調整，並且可操作以：-獲得表示監視方向上的場景中的移動物件的大小之代表性尺寸值D，並且操作使得-經校正的調整信號之計算進一步基於代表性尺寸值，以及-基於經校正的調整信號的調整，包括調整攝影機101的左右偏向、上下傾斜和縮放。
在一些實施例中，攝影機控制單元100可操作以：-從第一移動映射中所識別的映射位置讀取代表性尺寸值。
在一些實施例中，攝影機控制單元100可操作以：-基於所識別的移動物件，確定場景的各別部分的物件的代表性尺寸，以及-將代表性尺寸儲存在第一移動映射中。
在一些實施例中，攝影機控制單元100可操作以：-基於所識別的移動物件，確定場景的各別部分的物件的代表性尺寸，以及-將代表尺寸儲存在候選移動映射中。
圖6示意性地顯示攝影機控制單元600，其被配置以對在監 視方向中正在監視場景的攝影機，從目前的左右偏向和上下傾斜(PT)位置處，至少調整所述攝影機的左右偏向和上下傾斜。所述攝影機控制單元600包括：-偵測模組601，被配置以偵測來自使用者輸入裝置的調整信號，所述調整信號至少表示所述監視方向的期望調整，-獲取模組603，其被配置以獲得表示所述場景中的物件的移動的代表性移動向量v，-計算模組605，其被配置以基於所述代表性移動向量並且至少基於所述監視方向的期望調整來計算經校正的調整信號116，以及-調整模組607，被配置以使用經校正的調整信號116來至少調整攝影機101的左右偏向和上下傾斜。
攝影機控制單元600可以包括進一步的模組，其被配置為以與例如上述結合圖1a所描述的攝影機控制單元100類似的方式執行。
301‧‧‧動作
303‧‧‧動作
305‧‧‧動作
307‧‧‧動作

Claims (14)

  1. 一種由攝影機控制器所執行的方法，所述攝影機控制器被配置以對在監視方向中正在監視場景的攝影機，從目前的左右偏向和上下傾斜位置處，至少調整所述攝影機的左右偏向和上下傾斜，所述方法包括：偵測來自使用者輸入裝置的調整信號，所述調整信號表示由所述使用者輸入裝置所接收的所述監視方向的角度調整，獲得表示所述場景中的物件的移動的代表性移動向量，基於所述代表性移動向量且基於由所述使用者輸入裝置所接收的所述監視方向的所述角度調整，計算經校正的調整信號，以及使用所述經校正的調整信號來至少調整所述攝影機的左右偏向和上下傾斜。
  2. 如申請專利範圍第1項所述之方法，其中，獲得所述代表性移動向量包括：在第一移動映射中識別對應於所述監視方向的映射位置，從在所述第一移動映射中所識別的所述映射位置讀取所述代表性移動向量。
  3. 如申請專利範圍第2項所述之方法，包括：使用由所述使用者輸入裝置所接收的所述監視方向的所述角度調整來從多個候選移動映射中選擇所述第一移動映射，其中每個候選移動映射包括沿著各別典型移動方向對齊的移動向量，所述典型移動方向對應於由所述使用者輸入裝置所接收的所述監視方向的所述角度調整。
  4. 如申請專利範圍第2項所述之方法，其中，所述第一移動映射透過以 下方式創建：獲得所述場景的多個圖像，識別所述場景中的多個移動物件，基於所識別的移動物件來確定所述場景的各別部分的代表性移動向量，將移動向量儲存在所述第一移動映射中。
  5. 如申請專利範圍第3項所述之方法，其中，所述候選移動映射透過以下方式創建：獲得所述場景的多個圖像，識別所述場景中的多個移動物件，基於所識別的移動物件來確定所述場景的各別部分的代表性移動向量，將所述代表性移動向量分成群組，每個群組由典型移動方向所界定，以及將移動向量儲存在各別的候選移動映射中，每個候選移動映射包括沿著所述各別典型移動方向對齊的移動向量。
  6. 如申請專利範圍第4項所述之方法，其中：所述調整信號除了表示由所述使用者輸入裝置所接收的所述監視方向的所述角度調整之外，還表示所述攝影機的縮放的期望調整，所述方法進一步包括：獲得表示所述監視方向中的所述場景中的移動物件的大小之代表性尺寸值， 除了基於所述代表性移動向量且基於由所述使用者輸入裝置所接收的所述監視方向的所述角度調整之外，進一步基於所述代表性尺寸值和所述攝影機的縮放的期望調整，計算一進一步校正的調整信號，以及除了調整所述攝影機的左右偏向和上下傾斜之外，使用所述進一步校正的調整信號來進一步調整所述攝影機的縮放。
  7. 如申請專利範圍第6項所述之方法，包括：從在所述第一移動映射中所識別的所述映射位置讀取所述代表性尺寸值。
  8. 如申請專利範圍第7項所述之方法，包括：基於所識別的移動物件，確定所述場景的各別部分的物件的代表性尺寸，以及將所述代表性尺寸儲存在所述第一移動映射中。
  9. 如申請專利範圍第7項所述之方法，包括：基於所識別的移動物件，確定所述場景的各別部分的物件的代表性尺寸，以及當需要從多個候選移動映射中選擇所述第一移動映射時，將所述代表性尺寸儲存在所述多個候選移動映射中。
  10. 一種攝影機控制器，所述攝影機控制器被配置以對在監視方向中正在監視場景的攝影機，從目前的左右偏向和上下傾斜位置處，至少調整所述攝影機的左右偏向和上下傾斜，所述攝影機控制器包括處理器、記憶體、以及輸入/輸出電路系統，所述記憶體包含可由所述處理器執行的指令，藉以控制所述攝影機控制器用以： 偵測來自使用者輸入裝置的調整信號，所述調整信號表示由所述使用者輸入裝置所接收的所述監視方向的角度調整，獲得表示所述場景中的物件的移動的代表性移動向量，基於所述代表性移動向量且基於由所述使用者輸入裝置所接收的所述監視方向的所述角度調整，計算經校正的調整信號，以及使用所述經校正的調整信號來至少調整所述攝影機的左右偏向和上下傾斜。
  11. 如申請專利範圍第10項所述之攝影機控制器，其中，獲得所述代表性移動向量包括：在第一移動映射中識別對應於所述監視方向的映射位置，從在所述第一移動映射中所識別的所述映射位置讀取所述代表性移動向量。
  12. 如申請專利範圍第11項所述之攝影機控制器，其進一步用以：使用由所述使用者輸入裝置所接收的所述監視方向的所述角度調整來從多個候選移動映射中選擇所述第一移動映射，其中每個候選移動映射包括沿著各別典型移動方向對齊的移動向量，所述典型移動方向對應於由所述使用者輸入裝置所接收的所述監視方向的所述角度調整。
  13. 如申請專利範圍第11項所述之攝影機控制器，其中，所述第一移動映射透過以下方式創建：獲得所述場景的多個圖像，識別所述場景中的多個移動物件，基於所識別的移動物件來確定所述場景的各別部分的代表性移動 向量，將移動向量儲存在所述第一移動映射中。
  14. 一種非暫時性電腦可讀取儲存媒體，其儲存電腦可讀取指令，當在攝影機控制器中的至少一個處理器上執行時，引導所述攝影機控制器執行根據申請專利範圍第1項所述之方法。
TW106125294A 2016-09-12 2017-07-27 改良之監視攝影機方向控制 TWI691208B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16188251.9A EP3293963A1 (en) 2016-09-12 2016-09-12 Improved monitoring camera direction control
??16188251.9 2016-09-12
EP16188251.9 2016-09-12

Publications (2)

Publication Number Publication Date
TW201813369A TW201813369A (zh) 2018-04-01
TWI691208B true TWI691208B (zh) 2020-04-11

Family

ID=56926037

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106125294A TWI691208B (zh) 2016-09-12 2017-07-27 改良之監視攝影機方向控制

Country Status (6)

Country Link
US (1) US10397485B2 (zh)
EP (1) EP3293963A1 (zh)
JP (1) JP6723208B2 (zh)
KR (1) KR102085520B1 (zh)
CN (1) CN107820002B (zh)
TW (1) TWI691208B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108513070B (zh) * 2018-04-04 2020-09-04 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
KR102142651B1 (ko) * 2018-11-13 2020-08-07 전자부품연구원 Ptz 카메라 자동제어를 위한 강화학습 모델 생성 방법
KR20210058588A (ko) * 2019-11-14 2021-05-24 한국전자기술연구원 Ptz 카메라 제어 장치 및 그 방법
CN111010546A (zh) * 2019-12-20 2020-04-14 浙江大华技术股份有限公司 监控预置点的调整方法、装置及存储介质
CN113572960B (zh) * 2021-07-23 2023-11-14 武汉星环恒宇信息科技有限公司 一种用于水务防控的视频快速标签定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM347769U (en) * 2008-05-16 2008-12-21 Kd Comm Inc Tracing type camera
US20110081043A1 (en) * 2009-10-07 2011-04-07 Sabol Bruce M Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background
TWM459641U (zh) * 2013-03-01 2013-08-11 Ewa Technology Cayman Co Ltd 目標自動追蹤系統
US20150156423A1 (en) * 2013-11-29 2015-06-04 Axis Ab System for following an object marked by a tag device with a camera
US20150378566A1 (en) * 2014-06-27 2015-12-31 Alcatel Lucent Method, system and device for navigating in ultra high resolution video content by a client device
CN105678809A (zh) * 2016-01-12 2016-06-15 湖南优象科技有限公司 手持式自动跟拍装置及其目标跟踪方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7646401B2 (en) * 2004-01-30 2010-01-12 ObjectVideo, Inc Video-based passback event detection
JP4770178B2 (ja) * 2005-01-17 2011-09-14 ソニー株式会社 カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法
JP2012033982A (ja) 2008-12-05 2012-02-16 Panasonic Corp 回転台付きカメラ装置
US9215358B2 (en) * 2009-06-29 2015-12-15 Robert Bosch Gmbh Omni-directional intelligent autotour and situational aware dome surveillance camera system and method
CN102158684A (zh) * 2010-02-12 2011-08-17 王炳立 具有图像增强功能的自适应场景图像辅助系统
CN102131076B (zh) * 2011-01-19 2015-05-20 中兴通讯股份有限公司 视频监控方法及监控终端
US9742974B2 (en) * 2013-08-10 2017-08-22 Hai Yu Local positioning and motion estimation based camera viewing system and methods
JP6071866B2 (ja) * 2013-12-18 2017-02-01 キヤノン株式会社 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム
US10262239B2 (en) * 2016-07-26 2019-04-16 Viisights Solutions Ltd. Video content contextual classification

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM347769U (en) * 2008-05-16 2008-12-21 Kd Comm Inc Tracing type camera
US20110081043A1 (en) * 2009-10-07 2011-04-07 Sabol Bruce M Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background
TWM459641U (zh) * 2013-03-01 2013-08-11 Ewa Technology Cayman Co Ltd 目標自動追蹤系統
US20150156423A1 (en) * 2013-11-29 2015-06-04 Axis Ab System for following an object marked by a tag device with a camera
US20150378566A1 (en) * 2014-06-27 2015-12-31 Alcatel Lucent Method, system and device for navigating in ultra high resolution video content by a client device
CN105678809A (zh) * 2016-01-12 2016-06-15 湖南优象科技有限公司 手持式自动跟拍装置及其目标跟踪方法

Also Published As

Publication number Publication date
US20180077357A1 (en) 2018-03-15
JP6723208B2 (ja) 2020-07-15
CN107820002A (zh) 2018-03-20
JP2018046560A (ja) 2018-03-22
KR102085520B1 (ko) 2020-03-06
CN107820002B (zh) 2020-03-27
TW201813369A (zh) 2018-04-01
KR20180029898A (ko) 2018-03-21
EP3293963A1 (en) 2018-03-14
US10397485B2 (en) 2019-08-27

Similar Documents

Publication Publication Date Title
TWI691208B (zh) 改良之監視攝影機方向控制
CN111337947A (zh) 即时建图与定位方法、装置、系统及存储介质
CN107665506B (zh) 实现增强现实的方法及系统
KR102151815B1 (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
KR101533686B1 (ko) 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
US10012982B2 (en) System and method for focus and context views for telepresence and robotic teleoperation
TWI541767B (zh) 藉助於自動產生之巡邏路徑控制一監視系統之方法與裝置
US20110194755A1 (en) Apparatus and method with traveling path planning
JP5613041B2 (ja) カメラ装置、画像処理システムおよび画像処理方法
KR101916093B1 (ko) 객체 추적 방법
JP2020017173A (ja) 移動体
JP2009260564A (ja) 移動体画像追尾装置
Zuo et al. Cross-modal semi-dense 6-dof tracking of an event camera in challenging conditions
Karrer et al. Real-time dense surface reconstruction for aerial manipulation
Coaguila et al. Selecting vantage points for an autonomous quadcopter videographer
EP3547663B1 (en) Panaoramic vision system with parallax mitigation
KR102411612B1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
KR101996907B1 (ko) 객체 추적 장치
JP2014165866A (ja) 画像処理装置及びその制御方法、プログラム
Dönmez et al. The eye-out-device multi-camera expansion for mobile robot control
Zhang et al. A visual slam system with laser assisted optimization
Wan et al. Multiresolution and wide-scope depth estimation using a dual-PTZ-camera system
KR102669853B1 (ko) 다중-카메라 시스템들에 대한 카메라 스위칭오버 제어 기술들
Huang et al. AR Mapping: Accurate and Efficient Mapping for Augmented Reality