KR102073482B1 - 고정된 카메라에 대해 팬, 틸트, 줌, 카메라의 방향을 보정하는 방법 및 이러한 보정이 수행되는 시스템 - Google Patents

고정된 카메라에 대해 팬, 틸트, 줌, 카메라의 방향을 보정하는 방법 및 이러한 보정이 수행되는 시스템 Download PDF

Info

Publication number
KR102073482B1
KR102073482B1 KR1020180077557A KR20180077557A KR102073482B1 KR 102073482 B1 KR102073482 B1 KR 102073482B1 KR 1020180077557 A KR1020180077557 A KR 1020180077557A KR 20180077557 A KR20180077557 A KR 20180077557A KR 102073482 B1 KR102073482 B1 KR 102073482B1
Authority
KR
South Korea
Prior art keywords
camera
ptz camera
image
features
mapping
Prior art date
Application number
KR1020180077557A
Other languages
English (en)
Other versions
KR20190024647A (ko
Inventor
달스트롬 로빈
길린 마티아스
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20190024647A publication Critical patent/KR20190024647A/ko
Application granted granted Critical
Publication of KR102073482B1 publication Critical patent/KR102073482B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/20—Calibration, including self-calibrating arrangements
    • G08B29/24—Self-calibration, e.g. compensating for environmental drift or ageing of components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2259—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Accessories Of Cameras (AREA)

Abstract

고정된 카메라에 대해 팬, 틸트, 줌(PTZ) 카메라의 방향을 보정하는 방법을 제공한다. 고정된 카메라에 의해 캡쳐된 장면의 개관 이미지와 제1 방향으로 향하는 경우 PTZ 카메라에 의해 캡쳐된 장면의 이미지가 수신된다. 개관 이미지와 PTZ 카메라에 의해 캡쳐된 이미지에서의 피쳐를 일치시킴으로써, 제1 보정은 제1 방향을 개관 이미지에서 일치하는 피쳐의 위치로 서로 관련시킴으로써 수행된다. 또한, PTZ 카메라에 의해 캡쳐된 이미지와 개관 이미지 사이를 맵핑하는 것은 일치하는 피쳐를 토대로 정의된다. 맵핑은 PTZ 카메라에 의해 캡쳐된 이미지로부터 개관 이미지까지 물체를 작도(map)하는데 사용된다. 작도된 물체의 외관을 바탕으로, 맵핑의 품질을 계산한다. 품질이 충분하지 않으면, PTZ 카메라는 제2 방향으로 다시 향하고, 추가 보정은 피쳐를 다시 일치시킴으로써 수행된다.

Description

고정된 카메라에 대해 팬, 틸트, 줌, 카메라의 방향을 보정하는 방법 및 이러한 보정이 수행되는 시스템{A METHOD OF CALIBRATING A DIRECTION OF A PAN, TILT, ZOOM, CAMERA WITH RESPECT TO A FIXED CAMERA, AND A SYSTEM IN WHICH SUCH A CALIBRATION IS CARRIED OUT}
본 발명은 카메라 분야에 관한 것이다. 특히, 고정 카메라에 대해 팬, 틸트, 줌 카메라의 방향을 보정하는 방법 및 시스템에 관한 것이다.
Axis Q6000-E 시리즈와 같이 하나 이상의 고정된 센서를 이동 가능한 PTZ (pan, tilt, zoom) 카메라와 통합하는 카메라 시스템이 있다. 고정된 센서는 일반적으로 완전한 360°시야각과 같은 장면의 개관을 제공하도록 배치될 수있는 반면, PTZ 카메라는 장면의 특정 부분으로 향하게 되고 줌인(zoom in)되도록 배치될 수 있다. 이러한 시스템에서, 사용자는 예를 들어, 고정된 센서들 중 하나에 의해 제공되는 개관 이미지를 클릭(click)함으로써 PTZ 카메라가 향하게 되는 장면의 특정 부분을 나타낼 수 있다. 이러한 클릭으로 인해, PTZ 카메라가 장면의 특정 부분으로 향하거나 줌인될 수 있다.
따라서, PTZ 카메라의 시야(field of view) 방향(즉, 팬 및 틸트 설정) 및/또는 줌은 고정 된 센서에 의해 포착된 이미지를 클릭함으로써 제어될 수 있다. 이러한 PTZ 카메라의 제어는 한편으로는 하나 이상의 고정된 센서에 의해 포착된 이미지에서의 위치와 다른 한편으로는 PTZ 카메라의 방향 사이의 관계에 의존할 수 있다. 일반적으로, 요구되는 관계는 PZT 카메라의 방향이 고정된 센서에 대해 초기에 보정되면, 고정된 센서 및 PTZ 카메라의 상대 위치를 포함하여 카메라 시스템의 기하학(geometry) 및 광학(optics)으로부터 결정될 수 있다. 보다 구체적으로, PTZ 카메라가 카메라 시스템에 설치되기 때문에, 고정된 센서의 상대 위치와 관련된 이의 시야 방향이 알려지지 않기 때문에, 보정될 필요가 있다. 이러한 보정은 일반적으로 고정된 센서들 중 하나에 의해 포착된 이미지에서의 위치와 PTZ 카메라의 방향 사이의 상관 관계(correlation)를 찾는 것을 목표로 한다.
SG 191452 A1으로 공개된 특허 출원은 넓은 시야각 카메라에 대해 PTZ 카메라를 보정하기 위한 특징-일치 접근법(feature-matching approach)을 기술한다. 특히, 넓은 시야각 카메라에 의해 포착된 이미지의 좌표와 PZT 카메라의 PTZ 값 간의 상관 관계를 결정하는 방법이 제공된다. SG 191452 A1의 방법의 정확도는 넓은 시야각 이미지와 PTZ 카메라 이미지에 의해 포착된 중첩 이미지에서의 일치하는 특징의 정확도에 달려있다. 특징 일치의 정확도는 이미지에 존재하는 특징의 수 및 카메라 렌즈의 특성과 같은 여러 인자(factor)에 따라 달라질 수 있다. 전자의 예에서, PTZ 카메라는 물체가 거의 없는 장면의 일부분으로 향하게(direct) 되어, 이미지에서의 관련 특징이 거의 없다. 후자의 예에서, 넓은 시야각 이미지에서 배럴 왜곡(barrel distortion) 또는 다른 기하학적 왜곡 때문에, 특징을 정확하게 일치시키는 것이 어렵다. 이들 예 모두에서, 보정의 정밀도가 결국 저하될 수 있다. 그러므로, 개선이 필요하다.
전술한 관점에서, 따라서 본 발명의 목적은 고정 카메라와 관련된 PTZ 카메라를 보정할 때 개선된 정밀도(precision)를 제공하는 것이다.
제1 양태에 따르면, 상기 목적은 제1 고정 카메라에 대해 팬, 틸트, 줌, PTZ 카메라의 방향을 보정하는 방법에 의해 달성되며, 상기 방법은 하기를 포함한다:
제1 고정 카메라에 의해 캡쳐(capture)된 장면의 오버뷰 이미지(overview image)를 수신하는 단계,
PTZ 카메라를 제1 방향으로 향하게 하는 단계,
상기 PTZ 카메라가 상기 제1 방향에 있을 때,
a) 상기 PTZ 카메라에 의해 캡쳐된 장면의 이미지를 수신하는 단계 -상기 PTZ 카메라에 의해 캡쳐된 이미지의 시야는 부분적으로 상기 오버뷰 이미지의 시야와 부분적으로 중첩됨-,
b) 상기 PTZ 카메라에 의해 캡쳐된 상기 장면의 이미지에서의 제1 세트의 특징들을 식별하는 단계,
c) 상기 오버뷰 이미지에서 상기 제1 세트의 특징들, 또는 부분 세트를 국부화(localizing)하여 상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 상기 제1 세트의 특징들을 상기 오버뷰 이미지에서의 제2 세트의 특징들과 관련(associate)시키는 단계,
d) 상기 오버뷰 이미지에서 상기 제2 세트의 특징들의 위치 데이터를 기록(logging)하는 단계,
e) 상기 제1 세트의 특징들 및 상기 제2 세트의 특징들에 기초하여 상기 PTZ 카메라에 의해 캡쳐된 이미지와 상기 오버뷰 이미지 사이의 맵핑(mapping)을 형성(define)하고, 상기 형성된 맵핑을 이용하여 상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 물체를 상기 오버뷰 이미지로 맵핑하며, 상기 오버뷰 이미지로의 맵핑 후 상기 물체의 외형(appearance)에 기초하여 상기 맵핑의 품질을 계산하는 단계,
상기 PTZ 카메라의 상기 제1 방향을 상기 PTZ 카메라가 상기 제1 방향으로 향할 때 기록되는 상기 제2 세트의 특징들의 상기 위치 데이터와 서로 관련시킴으로써 상기 PTZ 카메라의 제1 보정을 수행하는 단계,
상기 맵핑의 품질이 제1 임계값 미만인 경우:
상기 PTZ 카메라를 제2 방향으로 다시 향하게(redirect) 하는 단계,
상기 PTZ 카메라가 상기 제2 방향에 있을 때, 상기 a) 단계 내지 d) 단계를 수행하는 단계,
상기 PTZ 카메라의 상기 제2 방향을 상기 PTZ 카메라가 상기 제2 방향으로 향할 때 기록되는 상기 제2 세트의 특징들의 위치 데이터와 서로 관련시킴으로써 상기 PTZ 카메라의 제2 보정을 수행하는 단계.
상기 방법에 따르면, 특징 맵핑에 기초한 제1 보정은 상기 PTZ 카메라가 상기 제1 방향으로 향할 때 수행된다. 상기 맵핑의 품질이 충분하지 않다고 판단되면, 즉 품질이 임계값 미만인 경우, 상기 PTZ 카메라는 제2 방향으로 다시 향하고, 특징 맵핑에 기초한 제2 보정이 상기 PTZ 카메라가 상기 제2 방향에 있을 때 수행된다. 상기 품질이 충분하지 않는 경우 상기 PTZ 카메라를 다시 향하게 하고 상기 보정을 반복함으로써, 최종 보정의 품질 및 정밀도가 향상될 수 있다.
고정 카메라에 대한 PTZ 카메라의 방향을 보정하는 것은 일반적으로 상기 PTZ 카메라의 방향과 상기 고정 카메라에 의해 캡쳐된 이미지에서의 위치 사이의 대응 관계(correspondence)를 찾는 것을 의미한다.
상기 PTZ 카메라에 의해 캡쳐된 이미지와 상기 오버뷰 이미지 사이의 맵핑은 일반적으로 상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 점(point)을 상기 오버뷰 이미지에서의 점으로 맵핑하는 함수(function) 또는 변환(transformation)을 의미한다. 상기 맵핑은 예를 들어 변환 계량스(transformation matrix)에 의해 형성될 수 있다.
맵핑의 품질은 일반적으로 맵핑이 적용된 후 물체의 크기와 형상과 같은 외형에 기초하여 평가되는 계량(metric)을 의미한다. 맵핑의 품질은 일반적으로 맵핑이 물체의 외형을 유지하는 정도를 나타내는 척도이다.
상기 방법은, 상기 PTZ 카메라가 제2 방향에 있을 때, 단계 e)를 수행하는 단계를 더 포함할 수 있고, 여기서 상기 PTZ 카메라의 제2 보정을 수행하는 단계는 상기 PTZ 카메라가 상기 제2 방향에 있을 때 단계 e)에서 계산된 상기 맵핑의 품질이 상기 제1 임계값(threshold) 이상인 조건에서 이루어진다. 이러한 방식으로, 상기 PTZ가 제2 방향에 있을 때 맵핑의 품질이 충분하면, 제2 보정만이 이루어진다.
상기 방법은 상기 PTZ 카메라를 다른 방향으로 계속 다시 향하게 하고, 단계 e)에서 계산된 맵핑의 품질이 상기 제1 임계값 이상일 때까지 단계 a) 내지 단계 e)를 반복하는 단계를 더 포함할 수 있다. 따라서 상기 PTZ 카메라는 충분한 품질의 맵핑이 달성될 때까지 다시 향하게 될 수 있다. 이러한 방식으로, 상기 보정의 정밀도가 더욱 향상될 수 있다.
전술한 바와 같이, 특징 매칭(feature matching)의 정확도 및 세트의 특징들을 매칭하여 형성된 맵핑의 품질은 이미지에 존재하는 특징들의 수에 좌우될 수 있다. 예를 들어, 상기 PTZ 카메라가 제1 방향으로 향할 때, 물체가 거의 존재하지 않는 장면에서의 영역(region)으로 향하게 되면, 상기 PTZ 카메라에 의해 캡쳐된 장면의 이미지에서 맵핑을 기반으로 하는 특징이 거의 없을 것이다. 결과적으로, 매칭의 정확도와 그에 따른 맵핑의 품질은 상기 PTZ 카메라 이미지에 더 많은 특징이 존재하는 경우보다 일반적으로 더 나빠질 것이다. 상기 맵핑의 품질을 향상시키기 위해, 상기 PTZ 카메라는 더 많은 물체가 존재하는 장면의 부분으로 다시 향하게 될 수 있고, 이에 의해 상기 PTZ 카메라에 의해 캡쳐된 이미지에서 더 많은 특징들이 나타난다. 이러한 장면의 부분은 오버뷰 이미지를 고려하고 다수의 특징들을 포함하는 이의 면적(area)을 식별함으로써 위치할 수 있다. 상기 오버뷰 이미지에서의 이러한 면적이 식별되면, 상기 PTZ 카메라는 초기 보정으로서의 제1 보정을 사용하여 다시 향할 수 있어, 상기 PTZ 카메라는 식별된 면적을 커버하거나 적어도 중첩하는 이미지를 캡쳐한다. 보다 상세하게, 상기 방법은 하기를 포함한다: 상기 오버뷰 이미지에서의 특징들의 밀도가 제2 임계값을 초과하는 상기 오버뷰 이미지에서의 면적을 식별하는 단계 및 상기 제2 방향으로 향할 때 상기 PTZ 카메라에 의해 캡쳐된 이미지가 상기 오버뷰 이미지에서의 식별된 면적을 커버하도록 상기 PTZ 카메라의 상기 제1 보정에 기초하여 상기 제2 방향을 선택하는 단계. 상기 특징들의 밀도는, 예를 들어, 상기 오버뷰 이미지에서의 단위 면적당 특징들의 수로서 계산될 수 있다.
상기 특징 매칭의 정확도 및 세트의 특징들을 매칭하여 형성된 맵핑의 품질에 영향을 미칠 수 있는 또 다른 인자는 상기 카메라의 렌즈 특성(properties)이다. 예를 들어, 상기 오버뷰 이미지는 상기 PTZ 카메라에 의해 포착된 이미지와 대조적으로 배럴-외곡 또는 오버뷰 이미지의 핀쿠션 왜곡(pincushion distortion) 또는 파도형 왜곡(moustache distortion)과 같은 다른 왜곡을 발생시키는 광각 렌즈(wide-angle-lens)에 의해 캡쳐될 수 있다. 이들 왜곡은 최종 오버뷰 이미지에서 원근법 및 비율에 영향을 미친다. 이러한 왜곡은 일반적으로 오버뷰 이미지의 주변부(periphery)에서 더욱 두드러지고, 오버뷰 이미지의 중심에서는 덜 두드러진다. 그러므로, 상기 PTZ 카메라가 상기 오버뷰 이미지의 중심에 묘사된 장면의 부분을 가리키도록 향하면, 상기 PTZ 카메라에 의해 캡쳐된 오버뷰 이미지 및 이미지에서의 특징들의 매칭 정확도가 높을 수 있음을 예상할 수 있다. 그러므로 상기 방법은: 상기 제2 방향으로 향할 때 상기 PTZ 카메라에 의해 캡쳐된 이미지가 상기 오버뷰 이미지의 중심을 커버하도록 상기 PTZ 카메라의 상기 제1 보정에 기초하여 상기 제2 방향을 선택하는 단계를 포함할 수 있다. 따라서, 상기 PTZ 카메라에 의해 캡쳐된 이미지가 상기 오버뷰 이미지의 중심을 커버하거나 중첩하도록 초기 보정으로서 상기 제1 보정을 사용하여 상기 PTZ 카메라가 다시 향하게 할 수 있다.
전술한 바와 같이, 상기 PTZ 카메라에 의해 캡쳐된 이미지에서 식별된 제1 세트의 특징들 및 상기 오버뷰 이미지에서 식별된 상기 제2 세트의 특징들은 예를 들어 변환 매트릭스의 형태로 맵핑을 형성하는데 사용된다. 이러한 맵핑에 의해, 상기 PTZ 카메라에 의해 포착된 이미지에서의 점(point)은 상기 오버뷰 이미지에서의 점으로 맵핑될 수 있다. 상기 맵핑은 또한 상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 물체를 상기 오버뷰 이미지로 맵핑하는데 사용될 수 있다. 예를 들어, 물체의 각각의 점 또는 물체의 선택된 점은 상기 형성된 맵핑을 사용하여 맵핑될 수 있다. 그런 다음, 상기 오버뷰 이미지로 맵핑될 때 상기 물체의 외형은 상기 맵핑의 품질을 계산하는데 사용될 수 있다. 특히, 상기 맵핑의 품질을 계산하는 단계는 상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 상기 물체의 외형과 상기 오버뷰 이미지로 맵핑 후의 상기 물체의 외형 사이의 유사점(similarity)을 계산하는 단계를 포함할 수 있다. 상기 물체가 맵핑 후 유사한 외형을 갖는 경우, 상기 맵핑의 품질은 높은 것으로 간주되고, 상기 맵핑이 외형을 많이 변경하면 상기 맵핑의 품질은 낮은 것으로 간주된다. 따라서 맵핑의 품질은 상기 맵핑이 물체의 외형을 유지하는 정도의 척도이다.
상기 방법은 상기 오버뷰 이미지로 맵핑하기 전후에 물체의 외형의 유사점을 계산할 때 상기 오버뷰 이미지에서의 배럴 왜곡을 추가로 보상할 수 있다. 예를 들어, 상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 물체가 직사각형 모양이라고 가정한다. 특징들이 완벽하게 매칭되고 맵핑이 완벽하더라도, 배럴 왜곡이 상기 직사각형 모양의 원근법(perspective)과 비율(proportion)을 변경하기 때문에 상기 직사각형 모양은 상기 오버뷰 이미지에서 여전히 직사각형이 아닐 수 있다. 따라서 상기 오버뷰 이미지로 맵핑한 후에 직사각형의 외형을 원래 직사각형 모양과 비교하는 것보다 배럴 왜곡에 의해 변경된 경우 사각형이 갖는 모양과 비교하는 것이 더 적합하다. 그러므로, 상기 방법은 유사점을 계산하기 전에, 제1 카메라의 렌즈 시스템의 특성에 기초하여 상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 물체의 외형을 조정할 수 있다. 이러한 방식으로, 상기 오버뷰 이미지의 배럴 왜곡에 의해 야기되는 물체의 외형에서의 비유사점은 유사점 계산에 영향을 미치지 않으며, 이에 따라 상기 맵핑의 결정된 품질에 영향을 미치지 않는다. 배럴 왜곡의 양은 상기 제1 카메라의 렌즈 시스템의 특성으로부터 추정될 수 있다.
대안으로, 상기 오버뷰 이미지의 배럴 왜곡은 상기 오버뷰 이미지의 경계에 더 가깝게 낮은 품질의 맵핑을 허용함으로써 고려될 수 있다. 이는 상기 맵핑의 품질이 비교되는 제1 임계값이 상기 오버뷰 이미지의 중심으로부터의 거리에 따라 감소하게 함으로써 실현될 수 있다. 보다 구체적으로, 상기 제1 임계값은 상기 제2 세트의 특징들의 위치 데이터에 따라 결정될 수 있어, 상기 제1 임계값은 상기 오버뷰 이미지의 중심으로부터의 거리에 따라 감소한다.
상기 물체의 외형은 상기 물체의 크기 및 상기 물체의 기하학적 모양(geometrical shape) 중 적어도 하나일 수 있다.
상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 물체는 상기 PTZ 카메라에 의해 캡쳐된 이미지의 주변부, 즉 경계(boundary)에 해당할 수 있다. 따라서, 상기 물체는 상기 장면에서의 물체에 해당할 필요는 없다. 상기 PTZ 카메라에 의해 캡쳐된 이미지의 주변부는 4개의 코너 위치, 즉 상기 PTZ 카메라에 의해 캡쳐된 이미지의 4개의 코너 좌표(coordinate)를 상기 맵핑을 이용하여 상기 오버뷰 이미지로 맵핑함으로써 상기 오버뷰 이미지로 맵핑될 수 있다. 따라서 상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 물체는 직사각형 모양을 가질 수 있다.
상기 제1 세트의 특징들 및 상기 제2 세트의 특징들과 같은 특징은 장면의 캡쳐된 이미지에서 모서리 또는 코너 중 적어도 하나를 포함할 수 있다. 특징은 또한 색상, 크기 및/또는 방향과 같은 속성(attribute)과 관련될 수 있다. 상기 PTZ 카메라에 의해 캡쳐된 이미지에서 식별된 특징의 속성은 상기 오버뷰 이미지에서 해당하는 특징을 국부화할 때 사용될 수 있다. 이러한 방식으로, 특징 매칭은 단순화되고 보다 정확해질 수 있다.
상기 제1 고정 카메라 및 상기 PTZ 카메라는 추가로 고정 카메라를 포함하는 시스템의 일부일 수 있다. 예를 들어 이들의 상대 위치와 보는 방향과 같은 제1 고정 카메라 간의 관계(relation)가 알려지지 않은 경우, 상기 방법은 각각의 고정 카메라에 대해 반복되어야 한다. 고정 카메라들 사이의 관계가 알려지면, 상기 제1 고정 카메라에 대해 수행된 보정이 상기 시스템에서 추가 고정 카메라들의 보정에 사용될 수 있다. 이런 경우, 상기 방법은 하기 단계를 더 포함할 수 있다: 상기 제1 카메라와 관련된 알려진 위치 및 방향을 갖는 제2 고정 카메라를 사용하여 상기 장면의 추가 오버뷰 이미지를 캡쳐하는 단계 및 상기 제1 카메라의 상기 제1 또는 제2 보정 및 상기 제1 카메라와 관련된 상기 제2 카메라의 알려진 위치와 방향에 기초하여 상기 제2 카메라에 의해 캡쳐된 장면의 추가 오버뷰 이미지에 대해 상기 PTZ 카메라를 보정하는 단계.
제2 양태에 따르면, 상기 목적은 시스템에 의해 달성되고, 상기 시스템은 하기를 포함한다:
장면의 오버뷰 이미지를 캡쳐하도록 구성된 제1 고정 카메라,
상기 제1 고정 카메라로부터 분리되는 팬, 틸트, 줌, PTZ 카메라 및
상기 제1 카메라 및 상기 PTZ 카메라에 작동 가능하게 연결되고, PTZ 카메라를 제1 방향으로 향하도록 구성되며, 상기 PTZ 카메라가 상기 제1 방향에 있을 때 하기 단계를 수행하는 제어기(controller):
a) 상기 장면의 이미지를 캡쳐하도록 상기 PTZ 카메라를 제어하는 단계 -상기 PTZ 카메라에 의해 캡쳐된 이미지의 시야는 상기 오버뷰 이미지의 시야와 부분적으로 중첩됨-,
b) 상기 PTZ 카메라에 의해 캡쳐된 상기 장면의 이미지에서 제1 세트의 특징들을 식별하는 단계,
c) 상기 장면의 오버뷰 이미지에서 상기 제1 세트의 특징들 또는 이의 부분 세트들을 국부화하여 상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 상기 제1 세트의 특징들을 상기 오버뷰 이미지에서의 제2 세트의 특징들과 관련시키는 단계,
d) 상기 오버뷰 이미지에서의 상기 제2 세트의 특징들의 위치 데이터를 기록하는 단계,
e) 상기 제1 세트의 특징들 및 상기 제2 세트의 특징들에 기초하여 상기 PTZ 카메라에 의해 캡쳐된 이미지와 상기 오버뷰 이미지 사이의 맵핑을 형성하고, 상기 형성된 맵핑을 사용하여 상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 물체를 상기 오버뷰 이미지로 맵핑하며, 상기 오버뷰 이미지로 맵핑한 후 상기 물체의 외형에 기초하여 상기 맵핑의 품질을 계산하는 단계,
상기 제어기는
상기 PTZ 카메라의 상기 제1 방향을 상기 PTZ 카메라가 상기 제1 방향으로 향할 때 기록되는 상기 제2 세트의 특징들의 위치 데이터와 서로 관련시킴으로써 상기 PTZ 카메라의 제1 보정을 수행하고,
상기 맵핑의 품질이 제1 임계값 미만인 경우:
상기 PTZ 카메라를 제2 방향으로 다시 향하게 하고,
상기 PTZ 카메라가 상기 제2 방향에 있을 때 상기 a) 단계 내지 d) 단계를 수행하며,
상기 PTZ 카메라의 제2 방향을 상기 PTZ 카메라가 상기 제2 방향으로 향할 때 기록되는 상기 제2 세트의 특징들의 위치 데이터와 서로 관련시킴으로써 상기 PTZ 카메라의 제2 보정을 수행하도록 추가로 구성된다.
상기 시스템은:
적어도 하나의 추가 고정 카메라를 더 포함할 수 있고, 상기 제1 카메라 및 상기 적어도 하나의 추가 고정 카메라는 상기 장면의 상이한 부분을 커버하는 오버뷰 이미지를 캡쳐하기 위해 서로 다른 방향으로 향하게 하고,
상기 PTZ 카메라는 상기 제1 카메라 및 상기 적어도 하나의 추가 고정 카메라와 관련하여 장착되어, 상기 PTZ 카메라가 상기 제1 카메라에 의해 캡쳐된 오버뷰 이미지를 중첩하는 이미지를 캡쳐하고, 상기 적어도 하나의 추가 고정 카메라에 의해 캡쳐된 오버뷰 이미지를 중첩하는 이미지를 캡쳐하도록 향하게 할 수 있다.
제3 양태에 따르면, 프로세서에 의해 실행될 때 상기 제1 양태에 따른 방법을 수행하기 위해 이에 저장된 컴퓨터 코드 명령어를 갖는 (비-일시적) 컴퓨터-판독 가능 매체를 포함하는 컴퓨터 프로그램 제품이 제공된다.
제2 및 제3 양태는 일반적으로 제1 양태와 동일한 특징 및 이점을 가질 수 있다. 또한, 본 발명은 달리 명시적으로 언급되지 않는 한 특징들의 모든 가능한 조합에 관한 것이다.
전술한 것 뿐만 아니라 본 발명의 추가적인 목적, 특징 및 이점은 첨부된 도면을 참조하여 본 발명의 실시 형태에 대한 하기 예시적이고 비-제한적인 상세한 설명을 통해 더 잘 이해될 것이며, 동일한 도면 부호는 유사한 요소에 대해 사용된다.
도 1은 실시 형태에 따른 카메라 시스템을 개략적으로 도시한다.
도 2는 고정 카메라에 의해 캡쳐된 장면의 오버뷰 이미지와 이동 가능한 PTZ 카메라에 의해 캡쳐된 이미지를 도시한다.
도 3은 실시 형태에 따른 방법의 순서도이다.
도 4는 고정 카메라에 의해 캡쳐된 오버뷰 이미지 및 이동 가능한 PTZ 카메라에 의해 캡쳐된 이미지를 개략적으로 도시한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태를 상세히 설명한다. 그러나, 본 발명은 많은 상이한 형태로 실시될 수 있으며, 본 발명에서 설명된 실시 형태에 한정되는 것으로 해석되어서는 안된다; 오히려, 이들 실시 형태는 철저하고 완전하게 제공되고, 본 발명의 범위를 당업자에게 완전히 전달하기 위해 제공된다. 본 발명에서 개시한 시스템 및 장치는 작동 동안 설명될 것이다.
도 1은 카메라 시스템(100)을 도시한다. 예를 들어, 카메라 시스템(100)은 장면을 모니터하는데 사용될 수 있다. 카메라 시스템(100)은 하나 이상의 고정 카메라(102a, 102b), 이동 가능한 카메라(104) 및 제어기(106)를 포함한다. 도시된 카메라 시스템(100)은 4개의 고정 카메라를 포함하고, 이중 두개의 고정 카메라(102a, 102b)는 도 1에서 볼 수 있다.
고정 카메라(102a, 102b)는 장면의 고정된 시야, 즉 항상 동일한 풍경(view)을 캡쳐하는 의미에서 고정된다. 따라서 각각의 고정 카메라(102a, 102b)는 항상 고정된 방향으로 향하고, 사용 동안 서로 다른 방향으로 다시 향하게 하도록 배치되지 않는다. 고정 카메라는 레일(rail)이나 가이드(guide)에 배치될 수 있어, 이들 시야는 레일 또는 가이드를 따라 카메라를 이동시키거나 경사각을 조정함으로써 수동으로 변경될 수 있다. 하나의 이상의 고정 카메라(102a, 102b)는 일반적으로 장면의 서로 다른 부분을 커버하는 이미지를 캡쳐하도록 서로 다른 방향으로 향하게 한다. 하나 이상의 고정 카메라(102a, 102b)는 따라서 카메라(102a, 102b)의 시야가 중첩될 수 있더라도, 서로 다른 시야를 갖는다. 예를 들어, 하나 이상의 카메라(102a, 120b)는 이들의 결합된 시야가 장면의 완전한 360 °시야를 커버하도록 배치될 수 있다.
하나 이상의 고정 카메라(102a, 102b)는 장면의 오버뷰 이미지를 캡쳐하도록 각각 배치된다. 이러한 목적을 위해, 하나 이상의 고정 카메라(102a, 102b)는 광각 렌즈가 각각 장착될 수 있어, 하나 이상의 고정 카메라(102a, 102b)는 광각 범위의 장면을 캡쳐하는 것이 가능하다. 도 2는 카메라 시스템(100)의 4개의 고정 카메라에 의해 캡쳐되는 4개의 오버뷰 이미지(202a, 202b, 202c, 202d)를 도시한다. 이미지(202a, 202b, 202c, 202d)는 이러한 경우에 서로 다른 각도에서 주차장 장면을 묘사한다. 예를 들어, 오버뷰 이미지(202a)는 고정 카메라(102a)에 의해 캡쳐될 수 있고, 오버뷰 이미지(202b)는 고정 카메라(102b)에 의해 캡쳐될 수 있다. 이미지들로부터 알 수 있는 바와 같이, 하나 이상의 카메라들(102a, 102b)의 시야는 중첩된다. 오버뷰 이미지(202a)의 중간에 묘사된 자동차는, 예를 들어, 오버뷰 이미지(202b)의 하부 우측 코너에도 묘사된다.
하나 이상의 고정 카메라(102a, 102b)는 서로와 관련된 이들 위치가 인지되도록 장착된다. 또한, 서로와 관련하여 하나 이상의 고정 카메라(102a, 102b)의 방향은 일반적으로 인지된다. 이는 예를 들어 고정 카메라들(102a, 102b)의 두개의 서로 다른 장면에 의해 캡쳐된 오버뷰 이미지에 묘사된 바와 같이 상기 장면에서의 두개의 점들 사이의 각도(즉, 방향의 차이)가 2개 점들의 좌표로부터 결정되게 한다.
이동 가능한 카메라(104)는 PTZ 카메라일 수 있다. 따라서 이동 가능한 카메라(104)는 이의 시야가 장면의 서로 다른 부분을 커버하기 위해 변경되도록, 도 1에서 화살표로 도시된 바와 같이, 팬 및 틸트 설정을 조정함으로써 다시 향하게 할 수 있다. 특히, PTZ는 하나 이상의 고정 카메라(102a, 102b)와 관련하여 장착되어, PTZ가 하나 이상의 고정 카메라(102a, 102b)에 의해 커버된 전체 시야의 서로 다른 부분의 이미지를 캡쳐하도록 향하게 할 수 있다. 따라서 이동 가능한 카메라(104)는 하나 이상의 고정 카메라(102a, 102b)에 의해 캡쳐된 오버뷰 이미지 각각과 중첩되는 이미지를 캡쳐하도록 향할 수 있다. 도 2는 이동 가능한 카메라(104)에 의해 캡쳐된 이미지(204)를 도시한다. 이미지(204)는 오버뷰 이미지(202a)와 중첩되고, 또한 오버뷰 이미지(202a)의 중간에 도시된 자동차의 유리창을 묘사한다.
이동 가능한 카메라(104)는 일반적으로 고정 카메라(102a, 102b)와 비교하여 더 좁은 시야를 갖는다. 그러나, 이동 가능한 카메라(104)는 장면에서 관심있는 물체와 같이 서로 다른 부분을 향할 수 있고, 줌인(zoom in)할 수 있다는 점에서 유리하다. 또한, 도 2에서 알 수 있는 바와 같이, 고정 카메라들(102a, 102b)의 광각 광학(wide-angle optics)으로 인해, 오버뷰 이미지들(202a, 202b, 202c, 202d)은 배럴 왜곡되어, 이미지들에서의 원근법 및 비율이 왜곡될 수 있다. 이동 가능한 카메라(204)에 의해 캡쳐된 이미지(204)는 이러한 왜곡을 겪지 않는다.
제어기(106)는 일반적으로 이동 가능한 카메라(104)를 서로 다른 방향에서 볼 수 있도록 제어하기 위해 이동 가능한 카메라(104)를 제어하도록 배치될 수 있다. 제어기(106)는 소프트웨어로 구현될 수 있다. 이를 위해, 마이크로 프로세서, 디지털 신호 프로세서, 필드 프로그램 가능한 게이트 어레이(field programmable gate array)와 같은 프로세서 및 비-휘발성 메모리와 같은 비-일시적 메모리를 포함할 수 있다. 비-일시적 프로세서는 프로세서에 의해 실행될 때 제어기가 본 발명에서 설명된 임의의 방법을 수행하게 하는 컴퓨터 코드 명령어를 저장할 수 있다. 특히, 고정 카메라에 대해 이동 가능한 카메라(104)의 방향을 보정하는 방법을 수행하도록 야기될 수 있다.
이동 가능한 카메라(104)의 제어는 오버뷰 이미지(202a, 202b, 202c, 202d)에서의 특정 위치에 관한 입력과 같은 사용자 입력에 기초할 수 있다. 예를 들어, 제어기(106)는 오버뷰 이미지(202a, 202b, 202c, 202d) 중 하나에서 특정 위치, 즉 픽셀 좌표에 관련된 작동자로부터의 입력을 수신하고, 이에 응답하여 이의 현재 방향으로부터 이동 가능한 카메라(104)의 방향을 변경하도록 배치될 수 있어 시야가 오버뷰 이미지(202a, 202b, 202c, 202d)에서의 그 위치에 묘사된 장면 부분을 커버한다. 이 목적을 위해, 제어기(106)는 오버뷰 이미지(202a, 202b, 202c, 202d)에서의 서로 다른 픽셀 좌표를 이동 가능한 카메라(104)의 상이한 방향, 즉 팬/틸트 설정과 관련된 관계를 이용할 수 있다. 이러한 관계는 카메라 시스템(100)의 기하학적 구조 및 카메라(102a, 102b, 104)의 렌즈와 같은 광학적 특성에 따라 결정된다. 그러나, 일단 기하학적 구조 및 광학적 특성이 설정되면, 관계가 결정될 수 있어 예를 들어 함수 또는 표의 형태로, 제어기(106)의 비-휘발성 메모리에 저장될 수 있다. 이러한 관계는 일반적으로 미리-결정되고 제어기(106)에 미리-저장된다.
제어기(106)는 일반적으로, 방향에서의 상대적인 변화, 즉 오버뷰 이미지에서의 제1 위치에 해당하는 제1 방향으로부터 오버뷰 이미지에서의 제2 위치에 해당하는 제2 방향으로 이동 가능한 카메라(104)를 향하게 하는 미리-저장된 관계에 기초하여 작동한다. 따라서, 카메라 시스템(100)의 설치시, 그리고 제어기(106)가 이동 가능한 카메라(104)를 제어하기 위해 이러한 관계를 사용하는 것을 시작할 수 있기 전에, 이동 가능한 카메라(104), 보다 구체적으로 이의 방향이 하나 이상의 고정 카메라(102a, 102b)에 대해 보정되는 것이 필요하다. 이는 제어기(106)가 PTZ 카메라의 초기 방향과 고정 카메라들 중 하나에 의해 캡쳐된 오버뷰 이미지에서의 위치 사이의 대응 관계를 발견할 필요가 있음을 의미한다. 이러한 보정을 수행하는 방법은 도 1, 2, 4 및 도 3의 순서도를 참조하여 설명될 것이다.
단계(S02)에서, 제어기(106)는 오버뷰 이미지를 수신한다. 오버뷰 이미지는 고정 카메라(102a, 102b) 중 하나에 의해 캡쳐된다. 도 4는 예를 들어 도 2의 오버뷰 이미지(202a)에 해당할 수 있는 오버뷰 이미지(402)를 도시한다. 일부 실시 형태에서, 제어기(106)는 도 2에 나타낸 바와 같이 고정 카메라(102, 102b) 중 하나 또는 모두로부터 오버뷰 이미지를 수신한다.
단계(S04)에서, 제어기(106)는 이동 가능한 카메라(104)가 제1 방향으로 보도록 지시한다. 제1 방향은 임의적이며, 이동 가능한 카메라(104)가 설치시의 방향에 해당할 수 있다.
이동 가능한 카메라(104)는 제1 방향으로 향함으로서, 단계(S06a)에서 제어기(106)는 이동 가능한 카메라(104)로부터 제1 이미지(404)를 수신한다. 예를 들어, 제1 이미지(404)는 도 2의 이미지(204)에 해당할 수 있다. 제1 이미지(404)의 시야(406)는 오버뷰 이미지(402)의 시야와 부분적으로 중첩된다. 다른 고정 카메라에 의해 캡쳐된 다수의 오버뷰 이미지가 존재하는 경우, 제1 이미지(404)는 오버뷰 이미지 중 적어도 하나와 중첩될 것이다.
다음으로, 단계(S06b)에서 제어기(106)는 제1 이미지(404)에서의 제1 세트의 특징들(408)을 식별한다. 특징들은 예를 들어 제1 이미지(404)에서의 모서리 또는 코너일 수 있다. 특징들은 크기, 색상 및/또는 방향과 같은 관련된 속성을 가질 수 있다. 특징들은 제1 이미지(404)에 필터를 적용하는 것과 같은 종래 기술을 사용함으로써 제1 이미지(404)로부터 추출될 수 있다. 특징들을 추출하는데 사용될 수 있는 알고리즘의 예는 스케일-불변 특징 변환(SIFT)이다. 특징들은 도 4의 "x"로 나타낸다. 제어기(106)는 또한 식별된 특징들(408)의 픽셀 좌표와 같은 위치를 기록, 즉 저장한다. 제1 세트의 특징들(408)은 또한 세트에서의 개별 특징들의 위치 평균값과 같은 단일 위치 데이터과 관련될 수 있다.
단계(S06c)에서, 제어기(106)는 특징 매칭을 수행한다. 보다 상세하게, 제어기(106)는 오버뷰 이미지(402)에서 제1 세트의 특징들 또는 이의 부분 세트를 국부화한다. 이러한 방식으로, 제어기(106)는 이미지(404)에서의 제1 세트의 특징들을 오버뷰 이미지(402)에서의 제2 세트의 특징들(410)과 관련되게 할 수 있다. 단계(S06c)는 우선 오버뷰 이미지(402)로부터 특징들을 추출한 다음, 최상의 매칭을 발견하기 위해 제1 세트의 특징들(408)을 추출된 특징들과 매칭시켜 수행될 수 있다. 최상의 매칭은 제2 세트의 특징들(410)이다. 이는 이러한 목적에 적합한 임의의 알려진 특징 매칭 알고리즘을 사용함으로써 수행될 수 있다. 예를 들어, FLANN(fast library for approximate nearest neighbor)을 위한 빠른 라이브러리(fast library)로부터의 알고리즘이 최상의 매칭을 발견하는데 사용될 수 있다. 다수의 오버뷰 이미지의 경우, 특징 매칭은 모든 오버뷰 이미지에서의 가능한 매칭 중 최상의 매칭을 찾기 위해, 오버뷰 이미지 각각에 대해 수행될 수 있다.
단계(S06d)에서, 제어기(106)는 특징들(410)의 픽셀 좌표와 같은 위치를 기록, 즉 저장한다. 제2 세트의 특징들(410)은 세트에서의 개별 특징들의 위치의 평균값과 같은 단일 위치 데이터와 관련될 수 있다.
단계(S06e)에서, 제어기(106)는 이동 가능한 카메라(104)에 의해 캡쳐된 이미지(404)와 고정 카메라(102a, 102b)에 의해 캡쳐된 오버뷰 이미지(402) 간의 맵핑을 형성하기 위해 제1 세트의 특징들(408) 및 제2 세트의 특징들(410)을 사용한다. 맵핑은 예를 들어, 이미지(404)에서의 점을 오버뷰 이미지(402)에서의 점으로 맵핑하는 변환 매트릭스의 관점에서 형성될 수 있다. 변환 매트릭스는, 예를 들어 최소-제곱법(least-squares method)을 적용하여 제1 세트의 특징들(408) 및 제2 세트의 특징들(410)에 기초하여 결정될 수 있다. 보다 구체적으로, 변환 매트릭스는 최소-제곱법으로 가능한한 근접한 제1 세트의 특징들(408)의 위치를 제2 세트에서의 특징들(410)의 위치로 맵핑하는 매트릭스로 결정될 수 있다.
그 다음, 제어기(106)는 형성된 맵핑을 사용하여 이미지(404)에서의 물체를 오버뷰 이미지(402)로 맵핑한다. 물체는 예를 들어 도 2의 이미지(204)에서 나타낸 자동차 창문과 같은 오버뷰 이미지(402)에 도시된 물체에 해당할 수 있다. 그러나, 이러한 예에서 물체는 이미지(404)의 직사각형 주변부(412)에 해당한다. 물체는 물체에 속하는 모든 점에 변환 매트릭스를 적용함으로써 오버뷰 이미지(402)로 맵핑될 수 있다. 또는, 물체는 변환 매트릭스의 적용에 의해 오버뷰 이미지로 맵핑되는 선택된 수의 점들로 나타낼 수 있다. 맵핑된 물체(414), 즉 오버뷰 이미지로 맵핑될 때 직사각형 주변부(412)는 도 4에서 변형된 직사각형으로 도시된다.
서로 다른 인자로 인해, 맵핑된 물체(414)의 외형은 본래 물체(412)보다 다르게 보인다. 제1 인자에 따르면, 제1 세트의 특징들(408)은 제2 세트의 특징들(410)과 적절히 매칭되지 않을 수 있으며, 이는 결과적으로 형성된 맵핑이 이미지(404)에서의 위치를 오버뷰 이미지(402)에서의 해당하는 위치에 정확하게 맵핑되지 않는다. 제2 인자에 따르면, 오버뷰 이미지(402)의 배럴 왜곡은 오버뷰 이미지(402)에서의 임의의 물체가 이미지(404)에서 보다 다른 외형을 가지도록 야기한다. 제2 인자는 오버뷰 이미지(402)의 경계에 더욱 현저하게 가깝게 될 것이다.
제어기(106)는 맵핑된 물체(414)의 외형에 기초하여 맵핑의 품질을 계산할 수 있다. 맵핑의 품질은 일반적으로 맵핑이 물체의 외형을 얼마나 잘 유지하는지에 대한 척도이며, 전술한 제1 인자 또는 제1 및 제2 인자 모두를 고려하도록 결정될 수 있다. 일반적으로, 맵핑의 품질은 맵핑된 물체의 외형에 기초하여 평가되는 임의의 계량일 수 있다. 이는 맵핑된 물체(414)의 크기 및/또는 기하학적 형상을 평가하는 것을 포함할 수 있다.
일부 실시 형태에서, 맵핑의 품질은 맵핑 이전의 물체(412) 및 맵핑 이후의 물체(414)의 외형을 비교함으로써 계산된다. 특히, 맵핑의 품질은 맵핑 전의 물체(412)와 맵핑 후의 물체(414)의 외형 사이의 유사점에 기초하여 계산될 수 있다. 이는 모양의 유사점 및/또는 크기의 유사점을 측정하는 것과 관련될 수 있다. 이렇게 계산된 맵핑의 품질은 전술한 제1 인자와 제2 인자를 모두 고려할 것이다. 물체(412)의 모양의 유사점을 측정하기 위해, 물체는 그 주변부에서의 점과 같은 복수의 점으로 나타낼 수 있다. 직사각형 물체의 경우, 코너 점이 선택되는 것이 바람직하다. 그런 다음 물체의 맵핑 전후에 이들 점들 사이의 관계를 비교할 수 있다. 예를 들어, 하나는 맵핑에 의해 점 사이의 거리가 얼마나 변경되었는지 확인할 수 있다. 점들의 원래 거리에 대한 변화량이 모양의 유사점을 측정하는데 사용될 수 있다. 크기의 유사점을 측정하기 위해, 맵핑 후와 맵핑하기 전의 물체의 면적을 비교할 수 있다.
직사각형 물체의 경우, 맵핑 후 물체의 4개의 코너가 여전히 직사각형을 형성하면 높은 유사점이 수신된다. 반대로, 4개의 코너가 한 줄에 놓여 있으면 낮은 유사점이 수신된다. 또한, 맵핑 후 직사각형의 크기, 즉 맵핑 후에 물체에 의해 커버되는 면적이 카메라의 서로 다른 렌즈를 고려한 예상된 크기에 행당하는 크기를 갖는다면, 크기에서 높은 유사점이 달성된다. 반대로, 맵핑 후의 직사각형의 크기가 예상보다 훨씬 크거나 훨씬 작으면 크기에서 낮은 유사점이 달성된다.
다른 실시 형태에서, 맵핑의 품질은 전술한 제1 인자만을 반영하는 것이 바람직하다. 이러한 경우, 제2 인자의 효과, 즉 배럴 왜곡으로 인한 왜곡은 맵핑의 품질을 계산하기 전에 제거되어야 한다. 배럴 왜곡의 효과는 고정 카메라(102a, 102b)의 렌즈 시스템, 즉 광각 렌즈의 알려진 특성에 기초하여 제거될 수 있다. 보다 구체적으로, 제어기(109)는 이러한 렌즈 시스템 특성을 갖는 상태에서, 이미지(404)에서의 물체(412)가 오버뷰 이미지(402)에서 어떻게 보이는지, 즉 광각 렌즈가 오버뷰 이미지에 설정된 제2 특징들의 위치에서 이러한 물체를 어떻게 묘사하는지를 계산할 것이다. 그런 다음, 제어기(106)는 물체(412)의 외형을 비교될 맵핑된 물체(414)로 조정하는 것을 진행할 수 있어, 조정된 외형이 광각 렌즈에 의해 묘사될 때 물체(412)가 갖는 계산된 외형과 동일하다. 물체(412)의 외형을 조정하면, 제어기(106)는 전술된 것에 따라 맵핑된 물체(414)의 유사점 및 물체(412)의 조정된 외형을 측정하는 것을 진행할 수 있다.
단계(S10)에서, 제어기(106)는 이동 가능한 카메라(104)의 제1 보정을 수행한다. 보다 상세하게, 제어기(106)는 카메라의 제1 현재 방향을 전술한 단계(S06d)에서 기록되는 제2 세트의 특징들의 위치 데이터와 서로 관련시킨다. 이러한 방식으로, 제어기는 따라서 이동 가능한 카메라(104)의 방향과 오버뷰 이미지(402)에서의 위치 사이의 제1 대응 관계를 발견한다.
단계(S12)에서, 제어기(106)는 맵핑의 결정된 품질이 제1 임계값(T1) 미만 인지를 검사한다. 제1 임계값은 상수, 미리 정의된 값일 수 있다. 일부 실시 형태에서, 일반적으로 맵핑의 품질이 배럴 왜곡의 효과를 제거하지 않고 계산된 경우, 제1 임계값은 오버뷰 이미지의 중심에 대한 제2 세트의 특징들의 위치의 거리 감소 함수일 수 있다. 즉, 맵핑의 품질은 배럴 왜곡의 효과가 더 현저한 오버뷰 이미지(402)의 경계에 더 가깝게 낮추도록 허용될 수 있다. 이는 맵핑의 품질을 계산할 때 배럴 왜곡의 효과를 수정(correct)하는 대안으로 사용될 수 있다.
맵핑의 품질이 제1 임계값(T1) 미만이 아니면, 상기 방법은 종료되고, 제1 보정은 최종 보정이 된다. 그러나, 맵핑의 품질이 제1 임계값(T1) 미만이면, 제어기는 단계(S14)로 진행하여 이동 가능한 카메라(104)를 제1 방향에서 제2 방향으로의 방향을 변경하도록 제어한다.
전술한 바와 같이, 맵핑의 품질은 이미지(404) 및 오버뷰 이미지(402)에서의 특징들 간의 양호한 매칭을 발견하는 것에 크게 좌우된다. 낮은 품질의 맵핑으로 나타나는 불량한 매칭은 묘사할 물체가 거의 없는 장면의 부분 방향으로 향하는 이동 가능한 카메라(104) 때문일 수 있고, 이는 이미지(402)으로부터 추출할 특징이 거의 없기 때문에 발생한다. 이는 예를 들어, 오버뷰 이미지(202d)의 중심으로 향하는 것과 같은 이동 가능한 카메라(movable camera, 104)가 도 2에 도시된 주차장의 아스팔트를 향하는 경우 발생할 수 있다. 따라서, 실시 형태에 따르면, 이동 가능한 카메라(104)는 더 많은 물체와 관심있는 특징이 있는 장면의 부분을 향하여 다시 향하게 할 수 있다. 장면의 그 부분은 동일한 오버뷰 이미지(402) 또는 고정 카메라(102a, 102b) 중 다른 하나에 의해 캡쳐된 오버뷰 이미지에 묘사될 수 있다. 이를 달성하기 위해, 제어기(106)는 많은 특징이 있는, 예를 들어 단위 면적당 특징들의 수가 제2 임계값을 초과하는 오버뷰 이미지(402)(또는 다른 고정 카메라에 의해 캡쳐된 다른 오버뷰 이미지 중 하나)의 면적(406)을 식별하도록 진행될 수 있다. 이동 가능한 카메라(104)의 방향과 오버뷰 이미지(402)에서의 위치를 관련시키는 전술한 미리-결정된 관계(pre-defined relation)를 사용하고, 방향의 초기 보정으로서 제1 보정에 의해 설정된 대응 관계를 사용함으로써, 제어기(106)는 제1 방향으로부터 이동 가능한 카메라(104)에 의해 캡쳐된 이미지가 오버뷰 이미지(402)의 식별된 면적(406)을 커버하는 제2 방향으로 이동 가능한 카메라(104)를 어떻게 다시 향하게 하는지를 계산할 수 있다.
다른 실시 형태에 따르면, 맵핑의 품질에 대한 배럴-왜곡 또는 핀쿠션 왜곡 및 파도형 왜곡과 같은 다른 기하학적 왜곡의 영향은 대신에 이동 가능한 카메라(104)를 제1 방향으로부터 이동 가능한 카메라(104)에 의해 캡쳐된 이미지가 오버뷰 이미지(402)의 중심을 커버하는 제2 방향으로 다시 향하게 함으로써 감소될 수 있고, 여기서 배럴-왜곡은 덜하다. 또한 이는 이동 가능한 카메라(104)의 방향 및 오버뷰 이미지(402)에서의 위치를 관련시키는 미리-정의된 관계를 사용하고, 방향의 초기 보정으로서 제1 보정에 의해 설정된 대응 관계를 사용함으로써 달성될 수 있다.
또 다른 실시 형태에 따르면, 제어기(106)는 무작위로 제2 방향을 선택할 수 있다.
이동 가능한 카메라(104)가 다시 향하게 되면, 단계(S16)로 진행한다. 단계(S16)에서, 제어기(106)는 이동 가능한 카메라(104)가 제2 방향을 향한 상태에서, 전술한 단계들(S06a-S06d)을 반복한다.
일부 실시 형태들에서, 제어기(106)는 단계들(S06a-d)이 제2 방향에 대해 반복되면 추가 보정을 수행하는 후술되는 단계(S20)로 진행한다.
다른 실시 형태에서, 제어기(106)는 제2 방향에서의 카메라로 단계(S06e)를 반복한다. 이러한 실시 형태에서, 제어기(106)는 또한 일반적으로 제2 방향에서의 카메라로 계산된 맵핑의 품질을 제1 임계값과 비교하는 단계(S18)를 수행한다. 품질이 충분히 양호하면, 즉 제1 임계값 이상인 경우, 제어기(106)는 추가 보정을 수행하는 단계(S20)로 진행한다. 맵핑의 품질이 충분히 좋지 않은 경우, 즉 제1 임계값 미만인 경우, 제어기(106)는 다시 한번 이동 가능한 카메라(104)를 다시 향하게 하는 단계(S14), 단계(S06a-e)를 반복하는 단계(S16) 및 맵핑 품질이 제1 임계값 미만인지를 확인하는 단계(S18)로 돌아간다. 제어기(106)는 맵핑의 품질이 제1 임계값 이상이 될 때까지 단계들(S14, S16 및 S18)을 반복할 수 있으며, 이에 의해 제어기(106)는 추가 보정을 수행하는 단계(S20)를 진행한다.
단계(S20)에서, 제어기(106)는 추가 보정, 즉 제2 보정을 수행한다. 보다 상세하게, 제어기(106)는 카메라의 현재 방향을 전술한 바와 같이 단계(S06d)가 단계(S16) 하에서 반복되는 마지막 시간에 기록된 제2 세트의 특징들의 위치 데이터와 서로 관련된다. 이러한 방식으로, 제어기는 따라서 이동 가능한 카메라(104)의 방향과 오버뷰 이미지(402)에서의 위치 사이의 추가 대응 관계를 발견한다. 제어기(106)가 추가 보정을 수행하면, 본 방법은 종료되고, 최종 보정은 단계(S20)의 추가 보정과 동일하다.
카메라 시스템(100)에서와 같이 고정 카메라 중 제1 카메라에 대해 알려진 위치 및 방향을 갖는 다수의 고정 카메라(102a, 102b)가 있는 경우, 이동 가능한 카메라(104)는 일단 제1 고정 카메라로 보정되고 다른 고정 카메라에 대해 편리하게 보정될 수 있다는 것을 주목해야 한다. 보다 상세하게, 이동 가능한 카메라(104)의 방향과 제1 고정 카메라에 의해 캡쳐된 오버뷰 이미지에서의 위치 사이의 상호 관계(correlation)가 설정되면, 이동 가능한 카메라(104)의 방향과 다른 고정 카메라 각각의 오버뷰 이미지에서의 위치 간의 상호 관계가 계산될 수 있다. 계산은 제1 고정 카메라의 보정 및 제1 고정 카메라와 관련된 다른 카메라의 알려진 위치 및 방향에 기초할 수 있다.
상대 위치 및 방향이 알려지지 않은 고정 카메라(102a, 102b)가 여러 개인 경우, 도 3에 도시된 방법을 적용하여 각각의 카메라에 대해 이동 가능한 카메라(104)를 보정할 필요가 있다. 이러한 상황에서, PTZ 카메라의 방향 및 줌 레벨을 찾기가 어려울 수 있어, 고정 카메라 중 특정 하나의 시야와 중첩되어 야기되는 문제가 발생할 수 있다. 이는 예를 들어, 특정 고정 카메라가 높은 줌 레벨을 갖는 경우일 수 있다. 특정 고정 카메라의 시야에 대해 탐색할 때 이미 보정된 고정 카메라의 시야가 PTZ 카메라의 탐색 범위에서 제외될 수 있기 때문에, PTZ 카메라가 고정 카메라 중 하나 이상에 대해 보정되면 이러한 문제는 단순화될 수 있다. 또한, 도 1의 카메라 시스템의 제1, 제2, 및 제4 고정 카메라와 같이 고정 카메라 중 몇개가 이미 보정된 경우, PTZ 카메라는 제2 및 제4 카메라의 시야 사이에서 제3 카메라의 시야를 탐색할 수 있다.
당업자는 여러 가지 방식으로 전술한 실시 형태를 변형할 수 있고, 상기 실시 형태에 도시된 바와 같이 본 발명의 이점을 여전히 사용할 수 있음을 이해할 것이다. 따라서, 본 발명은 도시된 실시 형태들로 제한되어서는 안되며 첨부된 청구항에 의해서만 한정되어야 한다. 또한, 당업자가 이해하는 바와 같이, 도시된 실시 형태들은 조합될 수 있다.

Claims (14)

  1. 제1 고정 카메라에 대해 팬, 틸트, 줌, PTZ 카메라의 방향을 보정하는 방법으로서,
    제1 고정 카메라에 의해 캡쳐된 장면의 오버뷰 이미지를 수신하는 단계,
    PTZ 카메라를 제1 방향으로 향하게 하는 단계,
    상기 PTZ 카메라가 상기 제1 방향에 있는 경우,
    a) 상기 PTZ 카메라에 의해 캡쳐된 장면의 이미지를 수신하는 단계-상기 PTZ 카메라에 의해 캡쳐된 이미지의 시야가 상기 오버뷰 이미지의 시야와 부분적으로 중첩됨-,
    b) 상기 PTZ 카메라에 의해 캡쳐된 상기 장면의 이미지에서 제1 세트의 특징들을 식별하는 단계,
    c) 상기 오버뷰 이미지에서 상기 제1 세트의 특징들 또는 이의 부분 세트를 국부화하여 상기 PTZ 카메라에 의해 캡쳐된 상기 이미지에서의 상기 제1 세트의 특징들을 상기 오버뷰 이미지에서의 제2 세트의 특징들과 관련시키는 단계,
    d) 상기 오버뷰 이미지에서의 상기 제2 세트의 특징들의 위치 데이터를 기록하는 단계,
    e) 상기 PTZ 카메라에 의해 캡쳐된 이미지와 상기 제1 세트의 특징들 및 상기 제2 세트의 특징들에 기초한 상기 오버뷰 이미지 사이의 맵핑을 형성하고, 상기 맵핑의 품질을 계산하는 단계를 수행하는 단계,
    상기 PTZ 카메라의 상기 제1 방향을 상기 PTZ 카메라가 상기 제1 방향으로 향할 때 기록되는 상기 제2 세트의 특징들의 위치 데이터와 서로 관련시킴으로써 상기 PTZ 카메라의 제1 보정을 수행하는 단계,
    상기 맵핑의 품질이 제1 임계값 미만인 경우:
    상기 PTZ 카메라를 제2 방향으로 다시 향하게 하는 단계,
    상기 PTZ 카메라가 상기 제2 방향에 있을 때 상기 a) 단계 내지 d) 단계를 수행하는 단계,
    상기 PTZ 카메라의 제2 방향을 상기 PTZ 카메라가 상기 제2 방향으로 향할 때 기록되는 상기 제2 세트의 특징들의 위치 데이터와 서로 관련시킴으로써 상기 PTZ 카메라의 제2 보정을 수행하는 단계를 포함하고,
    상기 단계 e)는 상기 형성된 맵핑을 이용하여 상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 물체를 상기 오버뷰 이미지로 맵핑하는 단계를 더 포함하고, 상기 맵핑의 품질을 계산하는 단계는 상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 상기 물체의 외형과 상기 오버뷰 이미지로 맵핑한 후의 상기 물체의 외형 사이의 유사점을 계산하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 PTZ 카메라가 상기 제2 방향에 있는 경우 상기 단계 e)를 수행하는 단계를 더 포함하고, 상기 PTZ 카메라의 제2 보정을 수행하는 단계는 상기 PTZ 카메라가 상기 제2 방향에 있는 경우 상기 단계 e)에서 계산된 상기 맵핑의 품질이 상기 제1 임계값 이상인 조건에서 이루어지는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 PTZ 카메라를 다른 방향으로 다시 향하게 하고, 상기 단계 e)에서 계산된 상기 맵핑의 품질이 상기 제1 임계값 이상일 때까지 상기 단계 a) 내지 단계 e)를 반복하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 오버뷰 이미지에서의 특징들의 밀도가 제2 임계값을 초과하는 상기 오버뷰 이미지에서의 면적을 식별하는 단계 및
    상기 제2 방향으로 향할 때 상기 PTZ 카메라에 의해 캡쳐된 이미지가 상기 오버뷰 이미지에서의 상기 식별된 면적을 커버하도록 상기 PTZ 카메라의 상기 제1 보정에 기초하여 상기 제2 방향을 선택하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 제2 방향으로 향할 때 상기 PTZ 카메라에 의해 캡쳐된 이미지가 상기 오버뷰 이미지의 중심을 커버하도록 상기 PTZ 카메라의 상기 제1 보정에 기초하여 상기 제2 방향을 선택하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서, 상기 유사점을 계산하기 전에, 상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 상기 물체의 외형이 상기 제1 카메라의 렌즈 시스템의 특성에 기초하여 조정되는 것을 특징으로 하는 방법.
  7. 제1항에 있어서, 상기 제1 임계값은 상기 제2 세트의 특징들의 위치 데이터에 따라 결정되어, 상기 제1 임계값은 상기 오버뷰 이미지의 중심으로부터의 거리에 따라 감소되는 것을 특징으로 하는 방법.
  8. 제1항에 있어서, 상기 물체의 외형은 상기 물체의 크기 및 상기 물체의 기하학적 형상 중 적어도 하나인 것을 특징으로 하는 방법.
  9. 제1항에 있어서, 상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 물체는 상기 PTZ 카메라에 의해 캡쳐된 이미지의 주변부에 해당하는 것을 특징으로 하는 방법.
  10. 제1항에 있어서, 상기 제1 세트의 특징들 및 상기 제2 세트의 특징들은 상기 장면의 캡쳐된 이미지에서 모서리 또는 코너 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  11. 제1항에 있어서,
    상기 제1 카메라와 관련된 알려진 위치 및 방향을 갖는 제2 고정 카메라를 사용하여 상기 장면의 추가 오버뷰 이미지를 캡쳐하는 단계 및
    상기 제1 카메라의 상기 제1 또는 제2 보정 및 상기 제1 카메라와 관련된 상기 제2 카메라의 알려진 위치 및 방향에 기초하여 상기 제2 카메라에 의해 캡쳐된 상기 장면의 추가 오버뷰 이미지에 대해 상기 PTZ 카메라를 보정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  12. 장면의 오버뷰 이미지를 캡쳐하도록 구성된 제1 고정 카메라,
    상기 제1 고정 카메라로부터 분리되는 팬, 틸트, 줌, PTZ 카메라,
    상기 제1 카메라 및 상기 PTZ 카메라와 작동 가능하게 연결되고, 상기 PTZ 카메라를 제1 방향으로 향하도록 구성되며, 상기 PTZ 카메라가 상기 제1 방향에 있을 때,
    a) 상기 장면의 이미지를 캡쳐하도록 상기 PTZ 카메라를 제어하는 단계 -상기 PTZ 카메라에 의해 캡쳐된 이미지의 시야는 상기 오버뷰 이미지의 시야와 부분적으로 중첩됨-,
    b) 상기 PTZ 카메라에 의해 캡쳐된 상기 장면의 이미지에서의 제1 세트의 특징들을 식별하는 단계,
    c) 상기 장면의 오버뷰 이미지에서 상기 제1 세트의 특징들 또는 이의 부분 세트들을 국부화하여 상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 상기 제1 세트의 특징들을 상기 오버뷰 이미지에서의 제2 세트의 특징들과 관련시키는 단계,
    d) 상기 오버뷰 이미지에서의 상기 제2 세트의 특징들의 위치 데이터를 기록하는 단계,
    e) 상기 제1 세트의 특징들 및 상기 제2 세트의 특징들에 기초하여 상기 PTZ 카메라에 의해 캡쳐된 이미지와 상기 오버뷰 이미지 사이의 맵핑을 형성하고, 상기 맵핑의 품질을 계산하는 단계를 수행하도록 구성된 제어기를 포함하고,
    상기 제어기는,
    상기 PTZ 카메라의 상기 제1 방향을 상기 PTZ 카메라가 상기 제1 방향으로 향할 때 기록되는 상기 제2 세트의 특징들의 위치 데이터와 서로 관련시킴으로써 상기 PTZ 카메라의 제1 보정을 수행하고,
    상기 맵핑의 품질이 제1 임계값 미만인 경우:
    상기 PTZ 카메라를 제2 방향으로 다시 향하게 하고,
    상기 PTZ 카메라가 상기 제2 방향에 있을 때 상기 a) 단계 내지 d) 단계는 수행하며,
    상기 PTZ 카메라의 상기 제2 방향을 상기 PTZ 카메라가 상기 제2 방향으로 향할 때 기록되는 상기 제2 세트의 특징들의 위치 데이터와 서로 관련시킴으로써 상기 PTZ 카메라의 제2 보정을 수행하고,
    상기 단계 e)는 상기 형성된 맵핑을 이용하여 상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 물체를 상기 오버뷰 이미지로 맵핑하는 단계를 더 포함하고, 상기 맵핑의 품질을 계산하는 단계는 상기 PTZ 카메라에 의해 캡쳐된 이미지에서의 상기 물체의 외형과 상기 오버뷰 이미지로 맵핑 후 상기 물체의 외형 사이의 유사점을 계산하는 단계를 포함하는 것을 특징으로 하는 시스템.
  13. 제12항에 있어서,
    적어도 하나의 추가 고정 카메라를 더 포함하고, 상기 제1 카메라 및 상기 적어도 하나의 추가 고정 카메라는 상기 장면의 서로 다른 부분을 커버하는 오버뷰 이미지를 캡쳐하기 위해 서로 다른 방향으로 향하게 하고,
    상기 PTZ 카메라는 상기 제1 카메라 및 상기 적어도 하나의 추가 고정 카메라와 관련하여 장착되어, 상기 PTZ 카메라가 상기 제1 카메라에 의해 캡쳐된 오버뷰 이미지를 중첩하는 이미지를 캡쳐하고, 상기 적어도 하나의 추가 고정 카메라에 의해 캡쳐된 오버뷰 이미지를 중첩하는 이미지를 캡쳐하도록 향하게 할 수 있는 것을 특징으로 하는 시스템.
  14. 제12항에 따른 시스템의 제어기에 의해 실행될 때 제1항에 따른 방법을 수행하기 위해 컴퓨터 코드 명령어가 저장된 컴퓨터-판독 가능 매체.
KR1020180077557A 2017-08-29 2018-07-04 고정된 카메라에 대해 팬, 틸트, 줌, 카메라의 방향을 보정하는 방법 및 이러한 보정이 수행되는 시스템 KR102073482B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17188260.8A EP3451650B1 (en) 2017-08-29 2017-08-29 A method of calibrating a direction of a pan, tilt, zoom, camera with respect to a fixed camera, and a system in which such a calibration is carried out
EP17188260.8 2017-08-29

Publications (2)

Publication Number Publication Date
KR20190024647A KR20190024647A (ko) 2019-03-08
KR102073482B1 true KR102073482B1 (ko) 2020-02-04

Family

ID=59745233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180077557A KR102073482B1 (ko) 2017-08-29 2018-07-04 고정된 카메라에 대해 팬, 틸트, 줌, 카메라의 방향을 보정하는 방법 및 이러한 보정이 수행되는 시스템

Country Status (6)

Country Link
US (1) US10430972B2 (ko)
EP (1) EP3451650B1 (ko)
JP (1) JP6698127B2 (ko)
KR (1) KR102073482B1 (ko)
CN (1) CN109427076B (ko)
TW (1) TWI689870B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151295B (zh) * 2017-06-16 2020-04-03 杭州海康威视数字技术股份有限公司 一种目标对象抓拍方法、装置及视频监控设备
USD882663S1 (en) * 2018-01-15 2020-04-28 Axis Ab Camera
USD888794S1 (en) * 2018-01-15 2020-06-30 Axis Ab Camera
DE102018215491A1 (de) * 2018-09-12 2020-03-12 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Erfassungssystems
KR102619271B1 (ko) * 2018-11-01 2023-12-28 한화비전 주식회사 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템
US20220067968A1 (en) * 2020-08-28 2022-03-03 Weta Digital Limited Motion capture calibration using drones with multiple cameras
US11636621B2 (en) 2020-08-28 2023-04-25 Unity Technologies Sf Motion capture calibration using cameras and drones
US11600022B2 (en) 2020-08-28 2023-03-07 Unity Technologies Sf Motion capture calibration using drones
CN113280806A (zh) * 2021-05-12 2021-08-20 上海智能网联汽车技术中心有限公司 适用于车路协同网联设备姿态调节的智能云台和调节方法
EP4171022B1 (en) * 2021-10-22 2023-11-29 Axis AB Method and system for transmitting a video stream
CN114299167B (zh) * 2022-03-11 2022-07-26 杭州灵西机器人智能科技有限公司 一种变焦镜头的单目标定方法、系统、装置和介质
US20240112315A1 (en) * 2022-09-23 2024-04-04 Microsoft Technology Licensing, Llc Distortion correction via analytical projection

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008538474A (ja) 2005-04-19 2008-10-23 ダブリュキューエス リミテッド 自動化監視システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI307484B (en) * 2006-02-21 2009-03-11 Univ Nat Chiao Tung Image capture apparatus calibration system and method there
US8405720B2 (en) * 2008-08-08 2013-03-26 Objectvideo, Inc. Automatic calibration of PTZ camera system
CN101763632B (zh) * 2008-12-26 2012-08-08 华为技术有限公司 摄像机标定的方法和装置
CN101515987B (zh) * 2008-12-30 2012-04-25 中国资源卫星应用中心 一种用于旋转扫描多元并扫红外相机的遥感图像辐射校正方法
SG191452A1 (en) 2011-12-30 2013-07-31 Singapore Technologies Dynamics Pte Ltd Automatic calibration method and apparatus
TWI530180B (zh) * 2013-06-14 2016-04-11 晶睿通訊股份有限公司 連動式攝影系統及其多攝影機的控制方法
CN103780830B (zh) * 2012-10-17 2017-04-12 晶睿通讯股份有限公司 连动式摄影系统及其多摄影机的控制方法
CN103105858A (zh) 2012-12-29 2013-05-15 上海安维尔信息科技有限公司 在固定相机和云台相机间进行目标放大、主从跟踪的方法
KR101567359B1 (ko) * 2014-02-10 2015-11-10 아이브스테크놀러지(주) Ptz 카메라에 대한 자동 캘리브레이션 장치 및 방법
CN104537659B (zh) 2014-12-23 2017-10-27 金鹏电子信息机器有限公司 双摄像机的自动标定方法和系统
CN104574425B (zh) * 2015-02-03 2016-05-11 中国人民解放军国防科学技术大学 一种基于旋转模型的主从摄像机系统的标定以及联动方法
WO2017132766A1 (en) * 2016-02-03 2017-08-10 Sportlogiq Inc. Systems and methods for automated camera calibration

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008538474A (ja) 2005-04-19 2008-10-23 ダブリュキューエス リミテッド 自動化監視システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A novel image similarity measure for image registration

Also Published As

Publication number Publication date
KR20190024647A (ko) 2019-03-08
CN109427076B (zh) 2020-07-21
EP3451650B1 (en) 2020-01-08
TW201921288A (zh) 2019-06-01
JP6698127B2 (ja) 2020-05-27
US20190066335A1 (en) 2019-02-28
EP3451650A1 (en) 2019-03-06
JP2019075776A (ja) 2019-05-16
CN109427076A (zh) 2019-03-05
TWI689870B (zh) 2020-04-01
US10430972B2 (en) 2019-10-01

Similar Documents

Publication Publication Date Title
KR102073482B1 (ko) 고정된 카메라에 대해 팬, 틸트, 줌, 카메라의 방향을 보정하는 방법 및 이러한 보정이 수행되는 시스템
CN113256730B (zh) 用于阵列相机的动态校准的系统和方法
CN107533753B (zh) 图像处理装置
KR101666397B1 (ko) 객체 영상 획득 장치 및 방법
EP1343332B1 (en) Stereoscopic image characteristics examination system
CN106412426B (zh) 全聚焦摄影装置及方法
US8587712B2 (en) Image processing apparatus and method of correcting image quality degradation caused by aberrations due to optical system
JP4858263B2 (ja) ３次元計測装置
CN109712192B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
US20140253785A1 (en) Auto Focus Based on Analysis of State or State Change of Image Content
CN107240124A (zh) 基于时空约束的跨镜头多目标跟踪方法及装置
TW201403553A (zh) 自動校正鳥瞰影像方法
CN106991690A (zh) 一种基于运动目标时序信息的视频序列同步方法
CN105791801A (zh) 图像处理装置、图像拾取装置和图像处理方法
SG191452A1 (en) Automatic calibration method and apparatus
CN107492080B (zh) 免定标便捷的单目镜头图像径向畸变矫正方法
KR101938067B1 (ko) Sift 플로우를 이용한 광각영상의 스테레오 정합 방법 및 장치
KR101728832B1 (ko) 차량용 영상 정합을 위한 수동보정장치 및 그 방법
JP7293100B2 (ja) カメラシステム
CN113327198A (zh) 一种远距离双目视频拼接方法及系统
KR102429893B1 (ko) 차량용 영상 처리 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
CN112907487B (zh) 双目校正结果的确定方法、装置和电子设备
JP2008123142A (ja) 対応点探索方法および３次元位置計測方法
KR101760892B1 (ko) 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법
CN113870115A (zh) 一种基于双相机点云数据的拼接方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant