TW201921288A - 相對於一固定攝影機來校準另一水平移動、俯仰、變焦攝影機之方向之方法及用來執行所述校準之系統 - Google Patents
相對於一固定攝影機來校準另一水平移動、俯仰、變焦攝影機之方向之方法及用來執行所述校準之系統 Download PDFInfo
- Publication number
- TW201921288A TW201921288A TW107129541A TW107129541A TW201921288A TW 201921288 A TW201921288 A TW 201921288A TW 107129541 A TW107129541 A TW 107129541A TW 107129541 A TW107129541 A TW 107129541A TW 201921288 A TW201921288 A TW 201921288A
- Authority
- TW
- Taiwan
- Prior art keywords
- camera
- ptz camera
- image
- ptz
- overview image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013507 mapping Methods 0.000 claims abstract description 92
- 230000007423 decrease Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 241000226585 Antennaria plantaginifolia Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19617—Surveillance camera constructional details
- G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
- G08B29/20—Calibration, including self-calibrating arrangements
- G08B29/24—Self-calibration, e.g. compensating for environmental drift or ageing of components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Studio Devices (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Accessories Of Cameras (AREA)
Abstract
本發明提供一種相對於一固定攝影機來校準一水平移動、俯仰、變焦(PTZ)攝影機之一方向的方法。接收藉由該固定攝影機擷取的一場景之一概覽影像及藉由該PTZ攝影機在導向於一第一方向上時擷取的該場景之一影像。藉由匹配該概覽影像中之特徵與藉由該PTZ攝影機擷取之該影像中的特徵,藉由使該第一方向與該概覽影像中之該等匹配特徵之一位置相關來執行一拳頭校準。另外,藉由該PTZ攝影機擷取之該影像與該概覽影像之間的一映射基於該等匹配特徵來界定。該映射用以將來自藉由該PTZ攝影機擷取之該影像的一物件映射至該概覽影像。基於該經映射物件之一外觀,計算該映射之一品質。若該品質不夠好,則該PTZ攝影機經重導向至一第二方向,並且再次藉由匹配特徵來執行另一校準。
Description
本發明係關於攝影機之領域。詳言之,本發明係關於一種用於相對於一固定攝影機校準水平移動、俯仰、變焦攝影機之方向的方法及系統。
存在攝影機系統,諸如Axis Q6000-E系列,其整合一或多個固定感測器與可移動之水平移動、俯仰、變焦(PTZ)攝影機。固定感測器可通常經佈置以提供場景之概覽,諸如完整之360º視場,而PTZ攝影機可經配置以導向至場景之特定部分並放大該等特定部分。在此系統中,使用者可例如指示場景之特定部分,該PTZ攝影機應藉由點選藉由固定感測器中之一者提供的概覽影像而導向朝向該特定部分。在此點選之後,PTZ攝影機將被導向至場景之特定部分,及/或放大該特定部分。
PTZ攝影機之檢視方向(亦即,水平移動及俯仰設置)及/或變焦可因此藉由點選由固定感測器擷取之影像來控制。PTZ攝影機之此控制可依賴於以下兩者之間的關係:一方面藉由一或多個固定感測器擷取之影像中的位置,與另一方面PTZ攝影機之方向。通常,一旦PTZ攝影機之方向已最初相對於固定感測器進行了校準,所需要關係便可自攝影機系統之幾何佈置及光學件,包括固定感測器與PTZ攝影機之間的相對位置來判定。更具體而言,隨著PTZ攝影機安設於攝影機系統中,其與固定感測器中之彼等相關的檢視方向並不知曉,且PTZ攝影機因此需要校準。此校準通常旨在找尋藉由固定感測器中之一者擷取之影像中的位置與PTZ攝影機之方向之間的相關。
作為SG 191452 A1公開之專利申請案描述用於相對於廣視場攝影機校準PTZ攝影機的特徵匹配方法。特定言之,提供一種用於判定藉由廣視場攝影機擷取之影像的座標與PTZ攝影機之PTZ值之間的相關之方法。SG 191452 A1之方法之精度依賴於廣視場影像中之特徵與藉由PTZ攝影機影像擷取之重疊影像中之特徵之匹配的準確性。特徵匹配之準確性可又取決於若干因素,諸如,存在於影像中之特徵的數目及攝影機之透鏡的性質。在前一實例中,可發生的是,PTZ攝影機係朝向場景的存在幾個物件之一部分,藉此在影像中產生幾個相關特徵。在後一實例中,可發生的是,歸因於廣視場影像中之桶形失真或其他幾何失真,難以準確地匹配特徵。在此等實例中之兩者中,校準之精度可最後為困苦的。因此需要改良。
鑒於以上內容,因此本發明之一目標為提供一種在相對於一固定攝影機校準PTZ攝影機時的改良之精度。
根據一第一態樣,以上目標藉由一種相對於一第一固定攝影機校準一水平移動、俯仰、變焦PTZ攝影機之一方向的方法來達成,該方法包含: 接收藉由一第一固定攝影機擷取的一場景之一概覽影像, 將一PTZ攝影機導向於一第一方向上, 當該PTZ攝影機係處於該第一方向時,執行以下步驟: a)接收藉由該PTZ攝影機擷取的該場景之一影像,其中藉由該PTZ攝影機擷取之該影像的一視場與該概覽影像之一視場部分重疊, b)識別藉由該PTZ攝影機擷取之該影像中的該場景之一第一特徵集合, c)區域化該概覽影像中之該第一特徵集合或其一子集以便使藉由該PTZ攝影機擷取之該影像中的該第一特徵集合與該概覽影像中之一第二特徵集合相關聯, d)記錄該概覽影像中之該第二特徵集合的位置資料, e)基於該第一特徵集合與該第二特徵集合而界定藉由該PTZ攝影機擷取之該影像與該概覽影像之間的一映射,藉由使用該所界定之映射將藉由該PTZ攝影機擷取之該影像中之一物件映射至該概覽影像,及基於該物件在映射至該概覽影像之後的一外觀計算該映射之一品質, 藉由使該PTZ攝影機之該第一方向與在該PTZ攝影機導向於該第一方向上時記錄之該第二特徵集合的該位置資料相關而執行該PTZ攝影機之一第一校準, 倘若該映射之該品質低於一第一臨限值: 將該PTZ攝影機重導向於一第二方向, 當該PTZ攝影機係處於該第二方向時,執行步驟a)至d),且 藉由使該PTZ攝影機之該第二方向與在該PTZ攝影機導向於該第二方向上時記錄之該第二特徵集合的位置資料相關而執行該PTZ攝影機之一第二校準。
根據以上方法,基於特徵映射之一第一校準在該PTZ攝影機係導向於一第一方向上時進行。若發現該映射之該品質不夠好,亦即,該品質低於臨限值,則該PTZ攝影機經重導向至一第二方向,且基於特徵映射之一第二校準在該PTZ攝影機係處於該第二方向時進行。藉由在該品質不夠好時重導向該PTZ攝影機且重複該校準,該所得校準之該品質及精度可得以改良。
藉由相對於一固定攝影機校準一PTZ攝影機之一方向通常意謂找尋該PTZ攝影機之一方向與藉由該固定攝影機擷取之一影像中一位置之間的一對應。
藉由由該PTZ攝影機擷取之該影像與該概覽影像之間的一映射通常意謂將藉由該PTZ攝影機擷取之該影像中之點映射至該概覽影像中之點的一功能或變換。該映射可例如藉由一變換矩陣來界定。
藉由一映射之品質通常意謂基於一物件在該映射已應用之後的一外觀例如大小及形狀評估的一量度。一映射之該品質通常為該映射保持一物件之該外觀之良好程度的一量測。
該方法可進一步包含在該PTZ攝影機係處於該第二方向時執行步驟e),其中執行該PTZ攝影機之一第二校準的該步驟在如下條件下進行:當該PTZ攝影機係處於該第二方向時在步驟e)中計算之該映射之該品質大於或等於該第一臨限值。以此方式,該第二校準僅在該映射在該PTZ係處於該第二方向時之該品質足夠好時進行。
該方法可進一步包含使該PTZ攝影機重導向至其他方向,且重複步驟a)至e),直至在步驟e)中計算之該映射的該品質大於或等於該第一臨限值。該PTZ攝影機可因此經重導向,直至達成具有足夠好品質之一映射。以此方式,該校準之該精度可進一步得以改良。
如上文進一步所論述,一特徵匹配之準確性且又藉由該匹配特徵集合界定之一映射的品質可取決於存在於該等影像中之特徵的數目。舉例而言,若PTZ攝影機在導向於第一方向上時係朝向場景中存在很少物件的一區,則將很可能在藉由該PTZ攝影機擷取之該場景之影像中存在很少特徵以映射為基礎。因此,匹配之準確性且藉此映射之品質將通常比更多特徵已存在於PTZ攝影機影像中情況下更差。為了改良映射之品質,PTZ攝影機可因此經重導向至場景之存在更多物件之一部分,藉此導致藉由PTZ攝影機擷取之影像中的更多特徵。場景之此部分可藉由考慮概覽影像並識別其中包含許多特徵之區域。當概覽影像中之此區域已被識別出時,PTZ攝影機可使用第一校準作為初始校準經重導向,使得PTZ攝影機擷取影像,該影像覆蓋識別出之區域或與該識別出之區域至少重疊。更詳細而言,該方法可包含:識別該概覽影像中的一區域,在該區域中,該概覽影像中之特徵之一密度超出一第二臨限值,及基於該PTZ攝影機之該第一校準選擇該第二方向,使得藉由該PTZ攝影機擷取之一影像在導向於該第二方向上時覆蓋該概覽影像中之該所識別區域。該特徵密度可例如計算為該概覽影像中每單位面積之特徵的數目。
可影響特徵匹配之準確性的另一因素且又藉由匹配特徵集合界定之映射之品質為攝影機之透鏡的性質。舉例而言,相較於藉由PTZ攝影機擷取之影像,概覽影像可藉由廣角透鏡擷取,該廣角透鏡引起概覽影像之桶形失真或其他失真,諸如針墊失真或觸鬚失真。此等失真影響所得概覽影像中之檢視方塊及比例。此等變形通常將在概覽影像之周邊處為更顯著的,且在概覽影像之中心處較不顯著。因此,可預期到,在PTZ攝影機經導向使得其指向場景之描繪於概覽影像之中心處之一部分情況下,概覽影像及藉由PTZ攝影機擷取之影像中特徵之匹配的準確性可更高。該方法可因此包含:基於該PTZ攝影機之該第一校準選擇該第二方向,使得藉由該PTZ攝影機擷取之一影像在導向於該第二方向上時覆蓋該概覽影像之一中心。PTZ攝影機可因此使用第一校準作為初始校準重導向,使得藉由PTZ攝影機擷取之影像覆蓋概覽影像之中心或與概覽影像之中心至少重疊。
如上所述,藉由PTZ攝影機擷取之影像中識別出之第一特徵集合及在概覽影像中識別出之第二特徵集合用以界定例如呈變換矩陣形式的映射。藉由該映射,藉由PTZ攝影機擷取之影像中的點可被映射至概覽影像中之點。該映射亦可用以將藉由該PTZ攝影機擷取之該影像的一物件映射至該概覽影像。舉例而言,物件之每一點或物件之所選擇點可使用所界定之映射來映射。物件之外觀在映射至概覽影像時可接著用以計算映射之品質。特定言之,計算映射之品質可包括計算藉由該PTZ攝影機擷取之影像中物件之外觀與物件在映射至概覽影像之後的外觀之間的類似性。若物件在映射之後具有類似外觀,則映射之品質被視為高的,而若映射大量改變外觀,則映射之品質被視為低的。一映射之該品質因此為該映射保持一物件之該外觀之良好程度的一量測。
該方法在計算物件在映射至概覽影像之前及之後的外觀之類似性時可進一步補償桶形失真。舉例而言,假設藉由PTZ攝影機擷取之影像中的物件具有矩形形狀。即使發現了完美特徵匹配且完美映射,矩形形狀仍將在概覽影像中並非為矩形的,此係由於桶形失真變更矩形形狀之檢視方塊。將因此使得以下情形為有意義的:並非藉由比較矩形形狀與原始矩形形狀而比較矩形在映射至概覽影像之後的外觀與矩形在藉由桶形失真變更時將具有的形狀。因此,方法可在計算該類似性之前,基於該第一攝影機之一透鏡系統的性質來調整藉由該PTZ攝影機擷取之該影像中之該物件的該外觀。以此方式,物件的藉由概覽影像之桶形失真引起之外觀之不類似性將不影響類似性計算,且藉此不影響所判定之映射品質。桶形失真之量可自第一攝影機之透鏡系統的性質推論出。
替代地,概覽影像之桶形失真可藉由耐受映射之更靠近於概覽影像之邊界的較低品質而考慮到。此情形可藉由允許第一臨限值隨著距概覽影像之中心的距離而減小來實現,映射之品質與該第一臨限值比較。更具體而言,第一臨限值可取決於第二特徵集合之位置資料,使得該一臨限值隨著距概覽影像之中心的距離而減小。
物件之外觀可為該物件之一大小及該物件之一幾何形狀中的至少一者。
藉由該PTZ攝影機擷取之該影像中之該物件可對應於藉由該PTZ攝影機擷取之該影像的一周邊,亦即邊界。因此,物件並不需要對應於場景中之物件。藉由PTZ攝影機擷取之影像之周邊可藉由使用映射將四個隅角位置亦即藉由PTZ攝影機擷取之影像之四個隅角座標映射至概覽影像來映射至概覽影像。藉由PTZ攝影機擷取之影像的物件可因此具有矩形形狀。
特徵諸如第一特徵集合及第二特徵集合中之特徵可包括場景之所擷取影像中一邊緣或隅角中的至少一者。特徵可進一步與諸如色彩、大小及/或方向之屬性相關聯。藉由PTZ攝影機擷取之影像中識別出之特徵的屬性可在區域化概覽影像中之對應特徵來使用。以此方式,可簡化特徵匹配且可使特徵匹配更準確。
第一固定攝影機及PTZ攝影機可為包括另一固定攝影機之系統的部分。倘若第一固定攝影機之間的關係諸如其相對位置及檢視方向並不知曉,則以上方法應針對每一固定攝影機重複。若固定攝影機之間的關係已知曉,則相對於第一固定攝影機進行之校準可在校準系統中另一固定攝影機中使用。在此狀況下,該方法可進一步包含:使用一第二固定攝影機擷取該場景之另一概覽影像,該第二固定攝影機具有相對於該第一攝影機的一已知位置及方向,及基於該第一攝影機之該第一或第二校準以及該第二攝影機相對於該第一攝影機之該已知位置及方向,相對於藉由該第二攝影機擷取的該場景之該另一概覽影像校準該PTZ攝影機。
根據一第二態樣,以上目標藉由一系統來達成,該系統包含: 一第一固定攝影機,其經配置以擷取一場景之一概覽影像, 一水平移動、俯仰、變焦PTZ攝影機,其與該第一固定攝影機分離,及 以操作方式連接至該第一攝影機及該PTZ攝影機之一控制器,該控制器經組態以將PTZ攝影機導向於一第一方向,且在該PTZ攝影機係處於該第一方向時執行以下步驟: a)控制該PTZ攝影機以擷取該場景之一影像,其中藉由該PTZ攝影機擷取之該影像的一視場與該概覽影像之一視場部分重疊, b)識別藉由該PTZ攝影機擷取之該影像中的該場景之一第一特徵集合, c)區域化該場景之該概覽影像中之該第一特徵集合或其一子集以便使藉由該PTZ攝影機擷取之該影像中的該第一特徵集合與該概覽影像中之一第二特徵集合相關聯, d)記錄該概覽影像中之該第二特徵集合的位置資料, e)基於該第一特徵集合與該第二特徵集合而界定藉由該PTZ攝影機擷取之該影像與該概覽影像之間的一映射,藉由使用該所界定之映射將藉由該PTZ攝影機擷取之該影像中之一物件映射至該概覽影像,及基於該物件在映射至該概覽影像之後的一外觀計算該映射之一品質, 該控制器經進一步組態以: 藉由使該PTZ攝影機之該第一方向與在該PTZ攝影機導向於該第一方向上時記錄之該第二特徵集合的該位置資料相關而執行該PTZ攝影機之一第一校準, 倘若該映射之該品質低於一第一臨限值: 將該PTZ攝影機重導向於一第二方向, 當該PTZ攝影機係處於該第二方向時,執行步驟a)至d),且 藉由使該PTZ攝影機之該第二方向與在該PTZ攝影機導向於該第二方向上時記錄之該第二特徵集合的位置資料相關而執行該PTZ攝影機之一第二校準。
該系統可進一步包含: 至少一個另一固定攝影機,其中該第一攝影機及該至少一個另一固定攝影機經導向於不同方向以便擷取覆蓋該場景之不同部分的概覽影像, 其中該PTZ攝影機相對於該第一攝影機及該至少一個另一固定攝影機安裝,使得該PTZ攝影機可經導向以擷取與藉由該第一攝影機擷取之一概覽影像重疊的影像以及擷取與藉由該至少一個另一固定攝影機擷取之一概覽影像重疊的影像。
根據第三態樣,提供一種包含(非暫時性)電腦可讀媒體之電腦程式產品,該電腦可讀媒體上面儲存有電腦程式碼從而在藉由一處理器執行時進行根據第一態樣之方法。
第二及第三態樣可通常具有與第一態樣相同之特徵及優勢。進一步注意到,本發明係關於特徵之所有可能組合,除非以其他方式明確陳述。
現將在下文中參考展示本發明的實施例的附圖更充分地描述本發明。然而,本發明可以諸多不同形式體現且不應解釋為限於本文中所闡述之實施例;相反地,出於徹底性及完整性而提供此等實施例,且提供此等實施例以向熟習此項技術者完整地傳達本發明之範疇。本文中揭示之系統及裝置將在操作期間予以描述。
圖1說明攝影機系統100。攝影機系統100可例如用以監視場景。攝影機系統100包含一或多個固定攝影機102a、102b,可移動攝影機104,及控制器106。所說明之攝影機系統100包含四個固定攝影機,該等固定攝影機中之兩個固定攝影機102a、102b在圖1中可見。
固定攝影機102a、102b在其正擷取場景之固定視圖亦即始終擷取同一視圖的意義上為固定的。固定攝影機102a、102b中之每一者因此始終導向於固定方向,且並非經佈置以在使用期間重導向於不同方向。固定攝影機可配置於導軌或導塊上,使得其視場可藉由沿著導軌或導塊移動攝影機且藉由調整俯仰角而手動地變更。一或多個固定攝影機102a、102b通常導向於不同方向上以便擷取覆蓋場景之不同部分的影像。一或多個固定攝影機102a、102b因此具有不同視場,儘管攝影機102a、102b之視場可重疊。舉例而言,一或多個攝影機102a、120b可經配置,使得其經組合之視場覆蓋場景的完整之360º視場。
一或多個固定攝影機102a、102b各自經配置以擷取場景之概覽影像。為此目的,一或多個固定攝影機102a、102b可各自裝備有廣角透鏡,從而允許一或多個固定攝影機102a、102b擷取場景的廣泛角範圍。圖2說明藉由攝影機系統100之四個固定攝影機擷取的四個概覽影像202a、202b、202c、202d。影像202a、202b、202c、202d自不同角度描繪場景,在此狀況下為停車坪。舉例而言,概覽影像202a可藉由固定攝影機102a擷取,且概覽影像202b可藉由固定攝影機102b擷取。如自影像可看出,一或多個攝影機102a、102b之視場重疊。描繪於概覽影像202a中間的汽車例如亦描繪於概覽影像202b之右下隅角處。
一或多個固定攝影機102a、102b經安裝,使得其相對於彼此之位置為已知的。另外,一或多個固定攝影機102a、102b相對於彼此之方向通常亦為已知的。此情形的確例如允許場景中之兩個點之間的角度(亦即,方向差)將自兩個點之座標判定,如藉由固定攝影機102a、102b中之兩個不同固定攝影機擷取的概覽影像中所描繪。
可移動攝影機104可為PTZ攝影機。可移動攝影機104可因此藉由調整水平移動及俯仰設定來重導向,如藉由圖1中之箭頭所說明,使得其視場經變更以覆蓋場景之不同部分。特定言之,PTZ相對於一或多個固定攝影機102a、102b安裝,使得PTZ可經導向以擷取藉由一或多個固定攝影機102a、102b覆蓋之完整視場之不同部分的影像。可移動攝影機104可因此經導向以擷取與藉由一或多個固定攝影機102a、102b擷取之概覽影像中之每一者重疊的影像。圖2說明藉由可移動攝影機104擷取之影像204。影像204與概覽影像202a重疊且描繪亦描繪於概覽影像202a之中間的汽車之擋風玻璃。
可移動攝影機104相較於固定攝影機102a、102b通常具有更窄視場。然而,可移動攝影機104為有利的在於,其可朝向場景中之不同部分諸如感興趣物件導向且放大該等不同部分。另外,如圖2中所看出,歸因於固定攝影機102a、102b之廣角光學件,概覽影像202a、202b、202c、202d經受桶形失真,從而使得影像中之檢視方塊及比例失真。藉由可移動攝影機204擷取之影像204並不遭受此等失真。
控制器106可大體經配置以控制可移動攝影機104以便控制可移動攝影機104以查看不同方向。控制器106可以軟體實施。為此目的,該控制器可包含:場可程式閘極陣列之處理器,諸如微處理器、數位信號處理器;及諸如非揮發性記憶體的非暫時性記憶體。非暫時性處理器可儲存電腦程式碼指令,其在由處理器執行時使得該控制器進行本文中所描述之任何方法。特定言之,該非暫時性處理器可係進行相對於固定攝影機校準可移動攝影機104之方向之方法的原因。
可移動攝影機104之控制可係基於使用者輸入,諸如與概覽影像202a、202b、202c、202d中之特定位置相關的輸入。舉例而言,控制器106可經配置以自操作者接收關於概覽影像202a、202b、202c、202d中之一者中的特定位置亦即像素座標的輸入,且回應於此操作將可移動攝影機104之方向自其當前方向改變,使得視場覆蓋場景的描繪於概覽影像202a、202b、202c、202d中之該位置中的一部分。為了該目的,控制器106可利用使概覽影像202a、202b、202c、202d中之不同像素座標與可移動攝影機104之不同方向,亦即水平移動/俯仰設定相關聯的關係。此關係取決於攝影機系統100之幾何形狀及攝影機102a、102b、104之光學件,諸如透鏡。然而,一旦已設定了幾何形狀及光學件,關係便可經判定且例如以函數或表形式儲存於控制器106之非揮發性記憶體中。此相關通常經預先判定且預先儲存於控制器106中。
控制器106通常對相對方向改變起作用,亦即控制器基於預儲存關係將可移動攝影機104自對應於概覽影像中之第一位置的第一方向重導向至對應於概覽影像中之第二位置的第二方向。因此,在安設攝影機系統100之後且在控制器106可開始將此關係用於控制可移動攝影機104之前,可移動攝影機104且更具體言之其方向需要相對於一或多個固定攝影機102a、102b校準。此意謂,控制器106需要找尋PTZ攝影機之初始方向與藉由固定攝影機中之一者擷取之概覽影像中的位置之間的對應。現將參看圖1、圖2、圖4,及圖3之流程圖而描述執行此校準之方法。
步驟S02中,控制器106接收概覽影像。概覽影像藉由固定攝影機102a、102b中之一者擷取。圖4說明例如可對應於圖2之概覽影像202a的概覽影像402。在一些實施例中,控制器106自如展示於圖2中之固定攝影機102、102b中的一個以上攝影機或所有攝影機接收概覽影像。
步驟S04中,控制器106引導可移動攝影機104查看第一方向。第一方向為任意的,且可對應於可移動攝影機104在安設之後便具有的方向。
在可移動攝影機104導向於第一方向上情況下,控制器106在步驟S06a中自可移動攝影機104接收第一影像404。第一影像404可(例如)對應於圖2之影像204。第一影像404之視場406與概覽影像402之視場部分重疊。在存在藉由不同固定攝影機擷取之若干概覽影像狀況下,第一影像404將與概覽影像中之至少一者重疊。
接著,控制器106在步驟S06b中識別第一影像404中之第一特徵集合408。特徵可(例如)為第一影像404中之邊緣或隅角。特徵可進一步具有關聯屬性,諸如大小、色彩及/或方向。特徵可藉由使用習知技術諸如將濾波應用於第一影像404來自第一影像404提取。可用以提取特徵之演算法的實力為尺度不變特徵變換(scale-invariant feature transform;SIFT)。特徵在圖4中藉由「x」說明。控制器106亦可記錄,亦即儲存識別出之特徵408的位置,諸如像素座標。第一特徵集合408亦可與單一位置資料諸如集合中個別特徵之位置的平均值相關聯。
步驟S06c中,控制器106執行特徵匹配。更詳細而言,控制器106區域化概覽影像402中之第一特徵集合或其子集。以此方式,控制器106可使影像404中之第一特徵集合與概覽影像402中之第二特徵集合410相關聯。步驟S06c可藉由首先自概覽影像402提取特徵且接著使第一特徵集合408與所提取特徵匹配來進行以找尋最佳匹配。最佳匹配接著為第二特徵集合410。此操作可藉由使用適合於此目的之任何已知特徵匹配演算法來進行。舉例而言,自近似最近鄰相鄰者快速程式庫(fast library for approximate nearest neighbor;FLANN)的演算法可用以找尋最佳匹配。在若干概覽影像狀況下,特徵匹配可相對於概覽影像中之每一者進行,以便找尋所有概覽影像中可能匹配之間的最佳匹配。
步驟S06d中,控制器106記錄亦即儲存特徵410之位置,諸如像素座標。第二特徵集合410亦可與單一位置資料諸如集合中個別特徵之位置的平均值相關聯。
步驟S06e中,控制器106使用第一特徵集合408及第二特徵集合410以界定藉由可移動攝影機104擷取之影像404與藉由固定攝影機102a、102b擷取之概覽影像402之間的映射。映射可例如依據變換矩陣來界定,該變換矩陣將影像404中之點映射至概覽影像402中的點。變換矩陣可例如藉由應用最小二乘法方法基於第一特徵集合408及第二特徵集合410判定。更具體而言,變換矩陣可經判定為矩陣,該矩陣將最小二乘法意義上儘可能靠近的第一集合之特徵408的位置映射至第二集合中特徵410的位置。
控制器106接著使用所界定之映射以將影像404中之物件映射至概覽影像402。物件可例如對應於描繪於概覽影像402中之物件,諸如展示於圖2之影像204中的汽車之風擋玻璃。在此實例中,然而,物件的確對應於影像404之矩形周邊412。物件可藉由將變換矩陣應用至屬於物件之所有點而映射至概覽影像402。替代地,物件可藉由所選擇數目個點表示,該等點藉由應用變換矩陣映射至概覽影像。映射物件414,亦即矩形邊緣412在映射至概覽影像時說明為圖4中的經變形矩形。
歸因於不同因素,經映射物件414之外觀看起來不同於原始物件412。根據第一因素,第一特徵集合408可能並不與第二特徵集合410恰當地匹配,此舉導致所界定之映射並不將影像404中之位置正確地映射至概覽影像402中之對應位置。根據第二因素,概覽影像402之桶形失真將致使概覽影像402中之任何物件具有不同於影像404中的外觀。第二因素靠近於概覽影像402之邊界將更明顯。
控制器106可基於映射物件414之外觀計算映射之品質。映射之品質通常為映射保持物件之外觀之良好程度的量測,且可判定將上述第一因素或第一因素及第二因素兩者考慮在內。大體而言,映射之品質可為基於經映射物件之外觀評估的任何量度。此可包括評估映射物件414之大小及/或幾何形狀。
在一些實施例中,映射之品質藉由比較物件412在映射之前的外觀與物件414在映射之後的外觀來計算。特定言之,映射之品質可基於物件412在映射之前的外觀與物件414在映射之後的外觀之間的類似性來計算。此可係關於量測形狀類似性及/或大小類似性。因此計算之映射品質將上文提及之第一因素及第二因素兩者考慮在內。為了量測物件412之形狀類似性,物件可藉由複數個點諸如其周邊上之點來表示。對於矩形物件,將較佳選擇隅角點。可接著比較此等點在物件映射之前及之後之間的關係。舉例而言,可查看藉由映射已改變了點之間的距離達多少。與點之間的原始距離相關之改變量可用作形狀類似性之量測。為了量測大小類似性,可比較物件在映射之前及之後的面積。
對於矩形物件,在物件之四個隅角在映射之後仍界定矩形情況下,接收到高形狀類似性。相反,在四個隅角經映射以位於一線上情況下,接收到低類似性。另外,在矩形大小在映射之後亦即在映射之後藉由物件覆蓋之面積具有對應於將攝影機之不同透鏡考慮在內情況下預期到之大小的大小情況下,達成高的大小類似性。對比而言,在映射之後的矩形大小相較於預期大小具有大得多或低得多之大小情況下,達成低的大小類似性。
在其他實施例中,需要的是,映射之品質僅反應上述第一因素。在此類狀況下,第二因素之效應,亦即歸因於桶形失真之失真,應在計算映射之品質之前被移除。桶形失真之效應可基於固定攝影機102a、102b之透鏡系統,亦即廣角透鏡之已知性質被移除。更具體而言,即將具有此透鏡系統性質,控制器109可計算影像404中之物件412看起來將像概覽影像402中的何物,亦即,廣角透鏡將在概覽影像之第二特徵集合之位置處如何描繪此物件。控制器106可接著行進以調整物件412之外觀為映射物件414將進行比較之外觀,使得經調整外觀與物件412在藉由廣角透鏡描繪時將具有的所計算外觀相同。具有物件412的已調整之外觀,控制器106可行進以根據上文所描述之內容量測映射物件414與物件412之經調整外觀的類似性。
步驟S10中,控制器106執行可移動攝影機104之第一校準。更詳細而言,控制器106使攝影機之第一當前方向與在上述步驟S06d中記錄之第二特徵集合的位置資料相關。以此方式,控制器因此找尋可移動攝影機104之方向與概覽影像402中之位置之間的第一對應。
步驟S12中,控制器106檢查確認映射之所判定品質是否低於第一臨限值T1。第一臨限值可為恆定之預定義值。在一些實施例中,通常當映射之品質已在未移除桶形失真之效應情況下計算出時,第一臨限值可為第二特徵集合之位置距概覽影像之中心之距離的遞減函數。換言之,映射之品質可被允許以靠近概覽影像402之邊界愈近便愈低,在該邊界處,桶形失真之效應更明顯。此可被用作對在計算映射品質時校正桶形失真之效應的替代例。
若映射之品質並不低於第一臨限值T1,則方法結束,且第一校準變成最終校準。然而,若映射之品質低於第一臨限值T1,則控制器行進至步驟S14,其中控制器控制可移動攝影機104以將方向自第一方向改變至第二方向。
如上文進一步描述,映射之品質高度取決於找尋影像404及概覽影像402中特徵之間的良好匹配。導致具有不良品質之映射的不良匹配可係歸因於可移動攝影機104朝向場景之存在需要描繪之很少物件之一部分,此係由於此舉導致存在很少特徵來自影像402提取。此情形可(例如)在可移動攝影機104朝向描繪於圖2中之停車坪的瀝青,諸如朝向概覽影像202d之中心情況下發生。根據實施例,可移動攝影機104可因此重定向朝向場景之存在更多物件及關注特徵的部分。場景之該部分可描繪於同一概覽影像402中,或藉由固定攝影機102a、102b中之另一者擷取的概覽影像中。為了達成此情形,控制器106可行進以識別概覽影像402中(或藉由另一固定攝影機擷取之其他概覽影像中的一者)之區域406,在該區域處,存在許多特徵,例如每單位面積之特徵的數目超出第二臨限值。藉由使用使可移動攝影機104之方向與概覽影像402中之位置相關聯的預定義關係且使用藉由第一校準作為方向之初始校準建立的對應,控制器106可計算如何將可移動攝影機104自第一方向重導向至第二方向,在該第二方向上,藉由可移動攝影機104擷取之影像覆蓋概覽影像402之所識別區域406。
根據其他實施例,桶形失真或其他幾何變形諸如針墊失真及觸鬚失真對映射之品質的影響可替代地藉由將可移動攝影機104自第一方向重導向至第二方向來減小,在該第二方向上,藉由可移動攝影機104擷取之影像覆蓋概覽影像402之中心,在該中心處,桶形失真較不明顯。再者,此可藉由使用使可移動攝影機104之方向與概覽影像402中之位置相關聯的預定義關係且使用藉由第一校準作為方向之初始校準建立之對應來達成。
根據又其他實施例,控制器106可隨機地選擇第二方向。
一旦可移動攝影機104已經重導向,該可移動攝影機便行進至步驟S16。步驟S16中,控制器106重複至少上文所描述之步驟S06a至S06d,但現在可移動攝影機104導向於第二方向上。
在一些實施例中,一旦步驟S06a至S06d已針對第二方向予以了重複,控制器106便行進至下文所描述之步驟S20從而執行另一校準。
在其他實施例中,控制器106亦在攝影機處於第二方向上情況下重複步驟S06e。在此等實施例中,控制器106通常亦執行比較用處於第二方向上之攝影機計算之映射的品質與第一臨限值的步驟S18。若品質足夠好,亦即大於或等於第一臨限值,則控制器106行進至執行另一校準之步驟S20。若映射之品質不夠好,亦即低於第一臨限值,則控制器106再次返回以重複重導向可移動攝影機104的步驟S14、重複步驟S06a至S06e之S16以及檢查確認映射之品質是否低於第一臨限值的S18。控制器106可保持重複步驟S14、S16及S18,直至映射之品質大於或等於第一臨限值,藉此控制器106行進至執行另一校準之步驟S20。
步驟S20中,控制器106執行另一校準,亦即,第二校準。更詳細而言,控制器106使攝影機之當前方向與第二特徵集合的位置資料相關,該第二特徵集合之位置資料記錄步驟S06d在如上文所描述之步驟S16下重複的最後時間。以此方式,控制器因此找尋可移動攝影機104之方向與概覽影像402中之位置之間的另一對應。一旦控制器106已執行了另一校準,方法便結束,藉此最終校準等於步驟S20之另一校準。
應注意到,當諸如在攝影機系統100中存在具有相對於固定攝影機中之一第一固定攝影機之已知位置及方向的若干固定攝影機102a、102b時,一旦可移動攝影機104已藉由第一固定攝影機校準,該可移動攝影機便可相對於其他固定攝影機方便地予以校準。更詳細而言,一旦可移動攝影機104之方向與藉由固定攝影機中之第一者擷取之概覽影像中之位置之間的相關已建立,可移動攝影機104之方向與固定攝影機中之其他固定攝影機中之每一者的概覽影像中之位置之間的相關可予以計算。計算可係基於第一固定攝影機之校準以及其他攝影機相對於第一固定攝影機之已知位置及方向。
若存在不知曉相對位置及方向之若干固定攝影機102a、102b,則可移動攝影機104需要藉由應用說明於圖3中且以上文所描述之方法相對於攝影機中之每一者校準。在此情形下,可難以找尋PTZ攝影機之方向及變焦位準的問題可出現,此舉使得PTZ攝影機與固定攝影機中之某一者的視場重疊。可例如在某固定攝影機具有高變焦位準情況下為該狀況。一旦PTZ攝影機已相對於固定攝影機中之一或多者校準,則此問題可經簡化,此係由於已經校準之固定攝影機之視場可在搜尋某固定攝影機之視場時自PTZ攝影機之搜尋範圍排除。又,若固定攝影機中之若干固定攝影機已予以了校準,諸如圖1之攝影機系統之固定攝影機的第一、第二及第四者已予以了校準,則PTZ攝影機可搜尋第二攝影機與第四攝影機之視場之間的第三攝影機之視場。
應瞭解,熟習此項技術者可以許多方式修改上述實施例,且仍使用本發明之優勢,如以上實施例中所展示。因此,本發明不應限於所展示之實施例,而且應僅藉由隨附申請專利範圍界定。另外,如熟習此項技術者理解,所展示實施例可予以組合。
100‧‧‧攝影機系統
102a‧‧‧固定攝影機
102b‧‧‧固定攝影機
104‧‧‧可移動攝影機
106‧‧‧控制器
202a‧‧‧概覽影像
202b‧‧‧概覽影像
202c‧‧‧概覽影像
202d‧‧‧概覽影像
204‧‧‧影像
402‧‧‧概覽影像
404‧‧‧第一影像
406‧‧‧視場
408‧‧‧第一特徵集合/所識別特徵
410‧‧‧第二特徵集合
412‧‧‧矩形周邊/原始物件
414‧‧‧映射物件
S02‧‧‧步驟
S04‧‧‧步驟
S06a‧‧‧步驟
S06b‧‧‧步驟
S06c‧‧‧步驟
S06d‧‧‧步驟
S06e‧‧‧步驟
S10‧‧‧步驟
S12‧‧‧步驟
S14‧‧‧步驟
S16‧‧‧步驟
S18‧‧‧步驟
S20‧‧‧步驟
經由本發明之實施例之以下說明性及非限制性詳細描述,參考隨附圖式,將更好地理解本發明之上述以及額外目標、特徵及優勢,其中相同參考標號將用於類似元件,其中: 圖1示意地說明根據實施例之攝影機系統。 圖2說明藉由固定攝影機擷取之場景的概述影像及藉由可移動之PTZ攝影機擷取的影像。 圖3為根據實施例之方法的流程圖。 圖4示意地說明藉由固定攝影機擷取之概覽影像及藉由可移動之PTZ攝影機擷取的影像。
Claims (14)
- 一種相對於一第一固定攝影機校準一水平移動、俯仰、變焦PTZ攝影機之一方向的方法,其包含: 接收藉由一第一固定攝影機擷取的一場景之一概覽影像, 將一PTZ攝影機導向於一第一方向上, 當該PTZ攝影機係處於該第一方向時,執行以下步驟: a)接收藉由該PTZ攝影機擷取的該場景之一影像,其中藉由該PTZ攝影機擷取之該影像的一視場與該概覽影像之一視場部分重疊, b)識別藉由該PTZ攝影機擷取之該影像中的該場景之一第一特徵集合, c)區域化該概覽影像中之該第一特徵集合或其一子集以便使藉由該PTZ攝影機擷取之該影像中的該第一特徵集合與該概覽影像中之一第二特徵集合相關聯, d)記錄該概覽影像中之該第二特徵集合的位置資料, e)基於該第一特徵集合與該第二特徵集合而界定藉由該PTZ攝影機擷取之該影像與該概覽影像之間的一映射,且計算該映射之一品質, 藉由使該PTZ攝影機之該第一方向與在該PTZ攝影機導向於該第一方向上時記錄之該第二特徵集合的該位置資料相關而執行該PTZ攝影機之一第一校準, 倘若該映射之該品質低於一第一臨限值: 將該PTZ攝影機重導向於一第二方向, 當該PTZ攝影機係處於該第二方向時,執行步驟a)至d),且 藉由使該PTZ攝影機之該第二方向與在該PTZ攝影機導向於該第二方向上時記錄之該第二特徵集合的位置資料相關而執行該PTZ攝影機之一第二校準, 其中步驟e)進一步包含藉由使用該所界定之映射而將藉由該PTZ攝影機擷取之該影像中之一物件映射至該概覽影像,其中計算該映射之該品質包括計算藉由該PTZ攝影機擷取之該影像中之該物件的一外觀與該物件在映射至該概覽影像之後的一外觀之間的一類似性。
- 如請求項1之方法,其進一步包含在該PTZ攝影機係處於該第二方向時執行步驟e),其中執行該PTZ攝影機之一第二校準的該步驟在如下條件下進行:當該PTZ攝影機係處於該第二方向時在步驟e)中計算之該映射之該品質大於或等於該第一臨限值。
- 如請求項1之方法,其進一步包含: 使該PTZ攝影機重導向至其他方向,且重複步驟a)至e),直至在步驟e)中計算之該映射的該品質大於或等於該第一臨限值。
- 如請求項1之方法,其進一步包含: 識別該概覽影像中的一區域,在該區域中,該概覽影像中之特徵之一密度超出一第二臨限值,及 基於該PTZ攝影機之該第一校準選擇該第二方向,使得藉由該PTZ攝影機擷取之一影像在導向於該第二方向上時覆蓋該概覽影像中之該所識別區域。
- 如請求項1之方法,其進一步包含: 基於該PTZ攝影機之該第一校準選擇該第二方向,使得藉由該PTZ攝影機擷取之一影像在導向於該第二方向上時覆蓋該概覽影像之一中心。
- 如請求項1之方法,其中在計算該類似性之前,基於該第一攝影機之一透鏡系統的性質來調整藉由該PTZ攝影機擷取之該影像中之該物件的該外觀。
- 如請求項1之方法,其中該第一臨限值取決於該第二特徵集合之該位置資料,使得該第一臨限值隨著距該概覽影像之一中心的一距離而減小。
- 如請求項1之方法,其中一物件之該外觀為該物件之一大小及該物件之一幾何形狀中的至少一者。
- 如請求項1之方法,其中藉由該PTZ攝影機擷取之該影像中之該物件對應於藉由該PTZ攝影機擷取之該影像的一周邊。
- 如請求項1之方法,其中一特徵包括該場景之一擷取影像中一邊緣或一隅角中的至少一者。
- 如請求項1之方法,其進一步包含 使用一第二固定攝影機擷取該場景之另一概覽影像,該第二固定攝影機具有相對於該第一攝影機的一已知位置及方向,及 基於該第一攝影機之該第一或第二校準以及該第二攝影機相對於該第一攝影機之該已知位置及方向,相對於藉由該第二攝影機擷取的該場景之該另一概覽影像校準該PTZ攝影機。
- 一種系統,其包含: 一第一固定攝影機,其經配置以擷取一場景之一概覽影像, 一水平移動、俯仰、變焦PTZ攝影機,其與該第一固定攝影機分離,及 以操作方式連接至該第一攝影機及該PTZ攝影機之一控制器,該控制器經組態以將PTZ攝影機導向於一第一方向,且在該PTZ攝影機係處於該第一方向時執行以下步驟: a)控制該PTZ攝影機以擷取該場景之一影像,其中藉由該PTZ攝影機擷取之該影像的一視場與該概覽影像之一視場部分重疊, b)識別藉由該PTZ攝影機擷取之該影像中的該場景之一第一特徵集合, c)區域化該場景之該概覽影像中之該第一特徵集合或其一子集以便使藉由該PTZ攝影機擷取之該影像中的該第一特徵集合與該概覽影像中之一第二特徵集合相關聯, d)記錄該概覽影像中之該第二特徵集合的位置資料, e)基於該第一特徵集合與該第二特徵集合而界定藉由該PTZ攝影機擷取之該影像與該概覽影像之間的一映射,且計算該映射之一品質, 該控制器經進一步組態以: 藉由使該PTZ攝影機之該第一方向與在該PTZ攝影機導向於該第一方向上時記錄之該第二特徵集合的該位置資料相關而執行該PTZ攝影機之一第一校準, 倘若該映射之該品質低於一第一臨限值: 將該PTZ攝影機重導向於一第二方向, 當該PTZ攝影機係處於該第二方向時,執行步驟a)至d),且 藉由使該PTZ攝影機之該第二方向與在該PTZ攝影機導向於該第二方向上時記錄之該第二特徵集合的位置資料相關而執行該PTZ攝影機之一第二校準, 其中步驟e)進一步包含藉由使用該所界定之映射而將藉由該PTZ攝影機擷取之該影像中之一物件映射至該概覽影像,其中計算該映射之該品質包括計算藉由該PTZ攝影機擷取之該影像中之該物件的一外觀與該物件在映射至該概覽影像之後的一外觀之間的一類似性。
- 如請求項12之系統,其進一步包含: 至少一個另一固定攝影機,其中該第一攝影機及該至少一個另一固定攝影機經導向於不同方向以便擷取覆蓋該場景之不同部分的概覽影像, 其中該PTZ攝影機相對於該第一攝影機及該至少一個另一固定攝影機安裝,使得該PTZ攝影機可經導向以擷取與藉由該第一攝影機擷取之一概覽影像重疊的影像以及擷取與藉由該至少一個另一固定攝影機擷取之一概覽影像重疊的影像。
- 一種電腦可讀媒體,其上儲存有電腦程式碼指令,用於在由如請求項12之系統之該控制器執行時執行如請求項1之方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17188260.8 | 2017-08-29 | ||
??17188260.8 | 2017-08-29 | ||
EP17188260.8A EP3451650B1 (en) | 2017-08-29 | 2017-08-29 | A method of calibrating a direction of a pan, tilt, zoom, camera with respect to a fixed camera, and a system in which such a calibration is carried out |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201921288A true TW201921288A (zh) | 2019-06-01 |
TWI689870B TWI689870B (zh) | 2020-04-01 |
Family
ID=59745233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107129541A TWI689870B (zh) | 2017-08-29 | 2018-08-24 | 相對於一固定攝影機來校準另一水平移動、俯仰、變焦攝影機之方向之方法及用來執行所述校準之系統 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10430972B2 (zh) |
EP (1) | EP3451650B1 (zh) |
JP (1) | JP6698127B2 (zh) |
KR (1) | KR102073482B1 (zh) |
CN (1) | CN109427076B (zh) |
TW (1) | TWI689870B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114299167A (zh) * | 2022-03-11 | 2022-04-08 | 杭州灵西机器人智能科技有限公司 | 一种变焦镜头的单目标定方法、系统、装置和介质 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109151295B (zh) * | 2017-06-16 | 2020-04-03 | 杭州海康威视数字技术股份有限公司 | 一种目标对象抓拍方法、装置及视频监控设备 |
USD888794S1 (en) * | 2018-01-15 | 2020-06-30 | Axis Ab | Camera |
USD882663S1 (en) * | 2018-01-15 | 2020-04-28 | Axis Ab | Camera |
DE102018215491A1 (de) * | 2018-09-12 | 2020-03-12 | Robert Bosch Gmbh | Verfahren zur Kalibrierung eines Erfassungssystems |
KR102619271B1 (ko) * | 2018-11-01 | 2023-12-28 | 한화비전 주식회사 | 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템 |
US20220067968A1 (en) * | 2020-08-28 | 2022-03-03 | Weta Digital Limited | Motion capture calibration using drones with multiple cameras |
US11600022B2 (en) | 2020-08-28 | 2023-03-07 | Unity Technologies Sf | Motion capture calibration using drones |
US11636621B2 (en) | 2020-08-28 | 2023-04-25 | Unity Technologies Sf | Motion capture calibration using cameras and drones |
CN113280806A (zh) * | 2021-05-12 | 2021-08-20 | 上海智能网联汽车技术中心有限公司 | 适用于车路协同网联设备姿态调节的智能云台和调节方法 |
EP4171022B1 (en) * | 2021-10-22 | 2023-11-29 | Axis AB | Method and system for transmitting a video stream |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0507869D0 (en) | 2005-04-19 | 2005-05-25 | Wqs Ltd | Automated surveillance system |
TWI307484B (en) * | 2006-02-21 | 2009-03-11 | Univ Nat Chiao Tung | Image capture apparatus calibration system and method there |
US8405720B2 (en) * | 2008-08-08 | 2013-03-26 | Objectvideo, Inc. | Automatic calibration of PTZ camera system |
CN101763632B (zh) * | 2008-12-26 | 2012-08-08 | 华为技术有限公司 | 摄像机标定的方法和装置 |
CN101515987B (zh) * | 2008-12-30 | 2012-04-25 | 中国资源卫星应用中心 | 一种用于旋转扫描多元并扫红外相机的遥感图像辐射校正方法 |
SG191452A1 (en) | 2011-12-30 | 2013-07-31 | Singapore Technologies Dynamics Pte Ltd | Automatic calibration method and apparatus |
TWI530180B (zh) * | 2013-06-14 | 2016-04-11 | 晶睿通訊股份有限公司 | 連動式攝影系統及其多攝影機的控制方法 |
CN103780830B (zh) * | 2012-10-17 | 2017-04-12 | 晶睿通讯股份有限公司 | 连动式摄影系统及其多摄影机的控制方法 |
CN103105858A (zh) | 2012-12-29 | 2013-05-15 | 上海安维尔信息科技有限公司 | 在固定相机和云台相机间进行目标放大、主从跟踪的方法 |
KR101567359B1 (ko) * | 2014-02-10 | 2015-11-10 | 아이브스테크놀러지(주) | Ptz 카메라에 대한 자동 캘리브레이션 장치 및 방법 |
CN104537659B (zh) | 2014-12-23 | 2017-10-27 | 金鹏电子信息机器有限公司 | 双摄像机的自动标定方法和系统 |
CN104574425B (zh) * | 2015-02-03 | 2016-05-11 | 中国人民解放军国防科学技术大学 | 一种基于旋转模型的主从摄像机系统的标定以及联动方法 |
CA3012721C (en) * | 2016-02-03 | 2022-04-26 | Sportlogiq Inc. | Systems and methods for automated camera calibration |
-
2017
- 2017-08-29 EP EP17188260.8A patent/EP3451650B1/en active Active
-
2018
- 2018-07-04 KR KR1020180077557A patent/KR102073482B1/ko active IP Right Grant
- 2018-08-01 CN CN201810863465.8A patent/CN109427076B/zh active Active
- 2018-08-10 JP JP2018150951A patent/JP6698127B2/ja active Active
- 2018-08-23 US US16/110,535 patent/US10430972B2/en active Active
- 2018-08-24 TW TW107129541A patent/TWI689870B/zh active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114299167A (zh) * | 2022-03-11 | 2022-04-08 | 杭州灵西机器人智能科技有限公司 | 一种变焦镜头的单目标定方法、系统、装置和介质 |
Also Published As
Publication number | Publication date |
---|---|
KR20190024647A (ko) | 2019-03-08 |
CN109427076B (zh) | 2020-07-21 |
JP2019075776A (ja) | 2019-05-16 |
EP3451650B1 (en) | 2020-01-08 |
KR102073482B1 (ko) | 2020-02-04 |
JP6698127B2 (ja) | 2020-05-27 |
EP3451650A1 (en) | 2019-03-06 |
US10430972B2 (en) | 2019-10-01 |
TWI689870B (zh) | 2020-04-01 |
CN109427076A (zh) | 2019-03-05 |
US20190066335A1 (en) | 2019-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI689870B (zh) | 相對於一固定攝影機來校準另一水平移動、俯仰、變焦攝影機之方向之方法及用來執行所述校準之系統 | |
US9325899B1 (en) | Image capturing device and digital zooming method thereof | |
KR101333871B1 (ko) | 멀티-카메라 교정을 위한 방법 및 장치 | |
KR101666397B1 (ko) | 객체 영상 획득 장치 및 방법 | |
JP5074322B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 | |
JP4858263B2 (ja) | 3次元計測装置 | |
CN109479082B (zh) | 图象处理方法及装置 | |
JP4957134B2 (ja) | 距離計測装置 | |
JP5825172B2 (ja) | 画像判定装置、画像判定方法及び画像判定用コンピュータプログラム | |
US8532337B2 (en) | Object tracking method | |
CN105791801A (zh) | 图像处理装置、图像拾取装置和图像处理方法 | |
SG191452A1 (en) | Automatic calibration method and apparatus | |
EP3093822B1 (en) | Displaying a target object imaged in a moving picture | |
KR101983586B1 (ko) | 스테레오 이미지들에 관한 깊이 맵 스티칭 방법 | |
CN109559353B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
KR102335167B1 (ko) | 영상 촬영 장치 및 이의 촬영 방법 | |
CA2916849A1 (en) | Georeferencing method and system | |
US20210335010A1 (en) | Calibration method and calibration apparatus | |
CN109543496B (zh) | 一种图像采集方法、装置、电子设备及系统 | |
KR102629639B1 (ko) | 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법 | |
CN109565544B (zh) | 位置指定装置及位置指定方法 | |
CN112740649A (zh) | 拍摄方法、拍摄设备及计算机可读存储介质 | |
CN112924707A (zh) | 利用影像追踪的车辆速度检测装置及方法 | |
JP2005216191A (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
JP2010041416A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 |