KR101523643B1 - 감시 시스템에서 카메라 제어를 위한 시스템 및 방법 - Google Patents

감시 시스템에서 카메라 제어를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR101523643B1
KR101523643B1 KR1020137015129A KR20137015129A KR101523643B1 KR 101523643 B1 KR101523643 B1 KR 101523643B1 KR 1020137015129 A KR1020137015129 A KR 1020137015129A KR 20137015129 A KR20137015129 A KR 20137015129A KR 101523643 B1 KR101523643 B1 KR 101523643B1
Authority
KR
South Korea
Prior art keywords
coordinates
coordinate system
cartesian
camera
cartesian coordinate
Prior art date
Application number
KR1020137015129A
Other languages
English (en)
Other versions
KR20130103577A (ko
Inventor
앤드류 디. 에스테스
조니 이. 프레더릭
Original Assignee
인터그래프 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터그래프 코포레이션 filed Critical 인터그래프 코포레이션
Publication of KR20130103577A publication Critical patent/KR20130103577A/ko
Application granted granted Critical
Publication of KR101523643B1 publication Critical patent/KR101523643B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

감시 시스템에서 카메라를 교정하기 위한 방법 및 시스템. 이러한 방법 및 시스템은 영역의 지도로 카메라를 교정하기 위해 제1직교 좌표계와 제2직교 좌표계제2직교 좌표계학적 회전을 이용한다. 일부 실시예에서, 교정은 카메라를 제어하며/하거나 지도에 시야 원추를 표시하는 데에 이용될 수 있다.

Description

감시 시스템에서 카메라 제어를 위한 시스템 및 방법{SYSTEM AND METHOD FOR CAMERA CONTROL IN A SURVEILLANCE SYSTEM}
본 발명은 카메라 제어 방법에 관한 것으로서, 특히 감시 시스템에서의 카메라 제어 방법에 관한 것이다.
감시 시스템은 관심 영역을 감시하기 위해 카메라를 사용한다. 카메라는 사용자에게 표시될 수 있는 비디오 피드(video feed)를 생성한다. 이러한 방식으로, 사용자는 원격에서 관심 영역을 관찰할 수 있다. 일부 경우에, 감시 시스템에서의 카메라들은 고정되어 있으며, 사용자는 카메라의 시야(field of view)를 변경할 수 없다. 그러나, 다른 경우에, 카메라 및 카메라의 시야는 사용자 제어를 통해 조정될 수 있다. 전형적으로, 제어는 조이스틱과 같이 수동 제어를 이용하여 수행된다. 따라서, 비디오 피드가 움직이는 물체를 포함하면, 사용자는 움직이는 물체를 따르도록 수동으로 카메라를 제어한다. 이러한 카메라의 수동 제어는 특히 사용자가 움직이는 물체를 캡처하며/하거나 이에 응답하는 제한된 기간을 가질 경우에는 매우 효율적이지 않다. 이러한 문제는 카메라가 (예를 들어, 지면과 수평이 되도록) 정확하고 적절하게 설치되지 않을 경우에 더욱 심해진다. 다른 예에서, 이미지 분석은 시야 내에서 물체를 따르도록 카메라를 자동으로 제어하는 데에 사용된다. 이러한 접근 방식이 가진 결점은 물체가 카메라의 시야 내에 있지 않는다면 이미지 분석이 수행될 수 없다는 것이다. 움직이는 물체가 시야 내에 있지 않은 경우, 사용자는 시야 내에서 움직이는 물체를 캡처하도록 카메라를 수동으로 안내해야 한다.
본 발명의 목적은 감시 시스템을 교정하는 방법, 시스템 및 명령어로 인코딩된 컴퓨터 판독 가능한 매체를 제공하기 위한 것이며,
더 나아가 본 발명은 팬, 줌 및 틸트 좌표에 의해 특징 지워지는 배향을 가진 카메라를 제어하는 방법, 시스템 및 명령어로 인코딩된 컴퓨터 판독 가능한 매체를 제공하기 위한 것이다.
더 나아가 본 발명은 좌표에 의해 특징 지워지는 위치를 가진 복수의 카메라로부터 비디오 피드의 우선 순위를 지정하는 방법, 시스템 및 명령어로 인코딩된 컴퓨터 판독 가능한 매체를 제공하기 위한 것이며,
팬, 줌 및 틸트 좌표에 의해 특징 지워지는 배향을 가진 카메라 및 센서를 이용하여 적어도 하나의 타겟을 추적하는 방법, 시스템 및 명령어로 인코딩된 컴퓨터 판독 가능한 매체를 제공하기 위한 것이다.
또한 본 발명은 팬, 줌 및 틸트 좌표에 의해 특징 지워지는 배향을 가진 카메라에 대한 시야 원추를 표시하는 방법, 시스템 및 명령어로 인코딩된 컴퓨터 판독 가능한 매체를 제공하기 위한 것이다.
본 발명의 예시적인 실시예는 감시 시스템을 교정하는 방법, 시스템 및 명령어로 인코딩된 컴퓨터 판독 가능한 매체에 대한 것이다. 본 발명의 예시적인 실시예는 팬, 줌 및 틸트 좌표에 의해 특징 지워지는 배향(orientation)을 가진 카메라로부터의 비디오 피드를 표시하는 것을 포함한다. 예시적인 실시예는 추가로 지리 공간 좌표(geospatial coordinate)에 의해 특정되는 영역의 지도를 표시하는 것을 포함한다. 사용자는 입력 장치를 이용하여 적어도 세 쌍의 지점을 선택한다. 상기 쌍 중 제1지점은 지도에서 선택되고, 상기 쌍 중 제2지점은 비디오 피드로부터 선택된다. 상기 제1지점 및 제2지점은 동일한 지리적 위치에 상응한다. 지도에서 선택된 3개의 지점은 지리 공간 좌표에서 제1직교 좌표계(좌표 시스템)에 의해 정의된 직교 좌표로 변환된다. 비디오 피드에서 선택된 3개의 지점은 팬, 줌 및 틸트 좌표에서 제2직교 좌표계에 의해 정의된 직교 좌표로 변환된다. 그 후, 상기 제1직교 좌표계 및 제2직교 좌표계 사이의 수학적 회전은 세 쌍의 지점들에 대한 직교 좌표에 기초하여 결정된다.
본 발명의 다양한 실시예는 또한 사용자가 입력 장치를 이용하여 지도에서 적어도 하나의 지점을 선택하도록 하는 것을 포함한다. 선택된 지점에 대한 지리 공간 좌표들은 제1직교 좌표계에 의해 정의된 직교 좌표로 변환되며, 수학적 회전은 제2직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 이러한 직교 좌표에 적용된다. 그 다음, 상기 제2직교 좌표계에 의해 정의된 직교 좌표들은 추가로 상기 선택된 지점에 대한 팬 및 틸트 좌표로 변환된다. 그 후, 배향 명령어(orientation instruction)는 선택된 지점에 대한 팬 및 틸트 좌표에 기초하여 카메라에 제공된다.
본 발명의 추가적 또는 대안적인 실시예에서, 타겟에 대한 센서로부터의 좌표가 수신되고, 상기 타겟에 대한 좌표가 상기 제1직교 좌표계에 의해 정의된 직교 좌표들이 아닌 경우에, 이러한 타겟에 대한 좌표는 상기 제1직교 좌표계에 의해 정의된 직교 좌표로 변환된다. 상기 수학적 회전은 상기 제2직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 상기 제1직교 좌표계에 의해 정의된 직교 좌표에 적용된다. 상기 제2직교 좌표계에 의해 정의된 직교 좌표는 팬 및 틸트 좌표로 변환되고, 배향 명령어들은 팬 및 틸트 좌표에 기초하여 카메라에 제공된다.
본 발명의 다른 예시적인 실시예에서, 상기 비디오 피드는 상위 왼쪽, 상위 오른쪽, 하위 왼쪽 및 하위 오른쪽 모서리를 갖는다. 본 발명의 예시적인 실시예는 카메라 배향에 대한 팬, 줌 및 틸트 좌표에 기초하여 비디오 피드의 적어도 하위 왼쪽 및 하위 오른쪽 모서리에 대한 유효(effective) 팬 및 틸트 각도를 결정하는 것을 더 포함한다. 상기 비디오 피드의 적어도 하위 왼쪽 및 하위 오른쪽 모서리에 대한 유효 팬 및 틸트 각도들은 상기 제2직교 좌표계에 의해 정의된 직교 좌표로 변환된다. 상기 수학적 회전은 상기 비디오 피드의 적어도 하위 왼쪽 및 하위 오른쪽 모서리에 대해 상기 제1직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 상기 제2직교 좌표계에 의해 정의된 직교 좌표에 적용된다. 시야 원추(view cone)는 상기 비디오 피드의 적어도 하위 왼쪽 및 하위 오른쪽 모서리에 대해 상기 제1직교 좌표계에 의해 정의된 직교 좌표를 이용하고 상기 비디오 피드의 상위 왼쪽 및 상위 오른쪽 모서리에 기초하여 결정된다. 상기 시야 원추는 지도상에 표시된다.
본 발명의 예시적인 실시예는 팬, 줌 및 틸트 좌표에 의해 특징 지워지는 배향을 가진 카메라를 제어하는 방법, 시스템 및 명령어로 인코딩된 컴퓨터 판독 가능한 매체에 대한 것이다. 본 발명의 예시적인 실시예는 지리 공간 좌표에 의해 특징 지워지는 영역의 지도를 표시하는 것을 포함한다. 사용자는 입력 장치를 이용하여 지도에서 적어도 하나의 지점을 선택한다. 선택된 지점에 대한 지리 공간 좌표는 지도를 특징짓는 제1직교 좌표계에 의해 정의된 직교 좌표로 변환된다. 수학적 회전은 카메라로부터 비디오 피드를 특징짓는 제2직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 선택된 지점에 대한 직교 좌표에 적용된다. 상기 수학적 회전은 상기 제1직교 좌표계와 상기 제2직교 좌표계 사이에 변환을 제공한다. 상기 제2직교 좌표계에 의해 정의된 직교 좌표는 선택된 지점에 대한 팬 및 틸트 좌표로 변환되며, 배향 명령어는 상기 선택된 지점에 대한 적어도 팬 및 틸트 좌표에 기초하여 카메라에 제공된다. 그 후, 카메라로부터의 비디오 피드는 팬 및 틸트 좌표에 따라 표시된다.
본 발명의 예시적인 실시예는 좌표에 의해 특징지워지는 위치를 가진 복수의 카메라로부터 비디오 피드의 우선 순위를 지정하는 방법, 시스템 및 명령어로 인코딩된 컴퓨터 판독 가능한 매체에 대한 것이다. 본 발명의 예시적인 실시예는 관심 지점에 대한 좌표를 수신하고, 관심 지점이 복수의 카메라 중 어느 하나의 시야 범위(viewing range) 내에 있는지를 판단하는 것을 포함한다. 하나 이상의 카메라가 관심 지점의 시야 범위 내에 있는 경우, 카메라와 관심 지점 사이의 거리가 결정된다. 본 발명의 다양한 실시예는 어떤 카메라가 관심 지점에서 가장 최소 거리 떨어져 있는지를 판단하는 것을 더 포함한다. 배향 명령어는 관심 지점의 좌표에 기초하여 가장 최소 거리 카메라에 제공되고, 비디오 피드는 가장 최소 거리 카메라로부터 표시된다.
본 발명의 예시적인 실시예는 팬, 줌 및 틸트 좌표에 의해 특징 지워지는 배향을 가진 카메라 및 센서를 이용하여 적어도 하나의 타겟을 추적하는 방법, 시스템 및 명령어로 인코딩된 컴퓨터 판독 가능한 매체에 대한 것이다. 본 발명의 예시적인 실시예는 타겟에 대한 센서로부터 좌표를 수신하는 것을 포함한다. 상기 타겟에 대한 좌표가 지도를 특징짓는 제1직교 좌표계에 의해 정의된 직교 좌표가 아닌 경우, 상기 좌표는 상기 제1직교 좌표계에 의해 정의된 직교 좌표로 변환된다. 수학적 회전은 카메라로부터 비디오 피드를 특징짓는 제2직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 상기 제1직교 좌표계에 의해 정의된 직교 좌표에 적용된다. 상기 수학적 회전은 상기 제1직교 좌표계와 상기 제2직교 좌표계 사이에 변환을 제공한다. 상기 제2직교 좌표계에 의해 정의된 직교 좌표는 팬 및 틸트 좌표로 변환되며, 배향 명령어들은 상기 팬 및 틸트 좌표에 기초하여 카메라에 제공된다. 그리고 나서, 카메라로부터의 비디오 피드는 상기 팬 및 틸트 좌표에 따라 표시된다.
본 발명의 예시적인 실시예는 팬, 줌 및 틸트 좌표에 의해 특징 지워지는 배향을 가진 카메라에 대한 시야 원추를 표시하는 방법, 시스템 및 명령어로 인코딩된 컴퓨터 판독 가능한 매체에 대한 것이다. 본 발명의 예시적인 실시예는 영역의 지도를 표시하고, 카메라에 대한 팬, 줌 및 틸트 좌표들에 기초하여 시야 원추를 결정하며, 상기 시야 원추를 상기 지도에 표시하는 것을 포함한다.
본 발명의 예시적인 실시예는 팬, 줌 및 틸트 좌표에 의해 특징 지워지는 배향을 가진 카메라에 대한 시야 원추를 표시하기 위한 방법, 시스템 및 명령어로 인코딩된 컴퓨터 판독 가능한 매체에 대한 것이다. 본 발명의 예시적인 실시예는 지리 공간 좌표에 의해 특징 지워지는 영역의 지도를 표시하는 것을 포함한다. 효과적인 팬 및 틸트 각도들은 상기 카메라 배향에 대한 팬, 줌 및 틸트 좌표에 기초한 비디오 피드의 적어도 하위 왼쪽 및 하위 오른쪽 모서리에 대해 결정된다. 상기 비디오 피드의 적어도 하위 왼쪽 및 하위 오른쪽 모서리에 대한 효과적인 팬 및 틸트 각도들은 상기 비디오 피드를 특징짓는 제2직교 좌표계에 의해 정의된 직교 좌표로 변환된다. 수학적 회전은 상기 지도를 특징짓는 제1직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 비디오 피드의 적어도 하위 왼쪽 및 하위 오른쪽 모서리에 대한 직교 좌표에 적용된다. 상기 수학적 회전은 상기 제1직교 좌표계와 제2직교 좌표계 사이에 변환을 제공한다. 그리고 나서, 시야 원추는 적어도 하위 왼쪽 및 하위 오른쪽 모서리에 대해 상기 제1직교 좌표계에 의해 정의된 직교 좌표, 및 비디오 피드의 상위 왼쪽 및 상위 오른쪽 모서리에 기초하여 결정된다. 그 후, 시야 원추는 상기 지도에 표시된다.
카메라에 대한 틸트 좌표가 지평선(horizon) 아래에 있으면, 상기 비디오 피드의 상위 왼쪽 및 상위 오른쪽 모서리에 기초하여 시야 원추를 결정하는 것은 추가로 카메라 배향에 대한 팬, 줌 및 틸트 좌표에 기초하여 상기 비디오 피드의 상위 왼쪽 및 상위 오른쪽 모서리에 대해 유효 팬 및 틸트 각도들을 결정하는 것을 포함한다. 상기 비디오 피드의 상위 왼쪽 및 상위 오른쪽 모서리에 대한 유효 팬 및 틸트 각도들은 상기 제2직교 좌표계에 의해 정의된 직교 좌표로 변환된다. 상기 수학적 회전은 상기 비디오 피드의 상위 왼쪽 및 상위 오른쪽 모서리에 대해 제1직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 직교 좌표에 적용된다. 상기 시야 원추는 상위 왼쪽, 상위 오른쪽, 하위 왼쪽 및 하위 오른쪽 모서리에 대해 상기 제1직교 좌표계에 의해 정의된 직교 좌표에 기초하여 결정된다.
카메라에 대한 틸트 좌표가 지평선 위에 있으면, 상기 비디오 피드의 상위 왼쪽 및 상위 오른쪽 모서리에 기초하여 시야 원추를 결정하는 것은 카메라에 대한 팬, 줌 및 틸트 좌표에 기초하여 비디오 피드의 상위 왼쪽 및 상위 오른쪽 모서리에 대해 유효 틸트 각도들을 결정하는 것을 포함한다. 비디오 피드의 상위 왼쪽 및 상위 오른쪽 모서리에 대해 상기 제1직교 좌표계에 의해 정의된 좌표는 카메라의 확인 가능한 거리(resolvable distance)에 기초하여 결정된다. 상기 시야 원추는 상위 왼쪽, 상위 오른쪽, 하위 왼쪽 및 하위 오른쪽 모서리에 대해 상기 제1직교 좌표계에 의해 정의된 직교 좌표에 기초하여 결정된다.
추가의 예시적인 실시예에서, 상기 시야 원추는 다각형이고, 상위 왼쪽, 상위 오른쪽, 하위 왼쪽 및 하위 오른쪽 모서리에 대해 상기 제1직교 좌표계에 의해 정의된 직교 좌표는 다각형의 꼭지점들이다.
본 발명의 예시적인 실시예는 카메라를 제어하기 위한 방법, 교정(calibrated) 시스템 및 명령어로 인코딩된 컴퓨터 판독 가능한 매체에 대한 것이다. 본 발명의 예시적인 실시예는 영역의 지도를 표시하고, 관심 지점에 대한 직교 좌표를 결정하는 것을 포함한다. 상기 직교 좌표들은 상기 지도를 특징짓는 제1직교 좌표계에 의해 정의된다. 추가적인 실시예는 카메라로부터 비디오 피드를 특징짓는 제2직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 수학적 회전을 상기 관심 지점에 대한 직교 좌표에 적용하는 것을 더 포함한다. 상기 수학적 회전은 상기 제1직교 좌표계와 제2직교 좌표계 사이에 변환을 제공한다. 상기 제2직교 좌표계에 의해 정의된 직교 좌표는 관심 지점에 대한 적어도 팬 및 틸트 좌표로 변환되며, 배향 명령어는 관심 지점에 대한 적어도 팬 및 틸트 좌표에 기초하여 카메라에 제공된다. 카메라로부터의 비디오 피드는 상기 배향 명령어에 따라 표시된다.
상술한 실시예의 모두 또는 일부에서, 지리 공간 좌표는 위도, 경도 및 고도 좌표이다. 입력 장치는 마우스, 커서, 조준용 십자선(crosshair), 터치 스크린 및 키보드 중 하나 이상이다. 센서는 카메라, 레이더 및 움직임 검출기(motion detector)이다.
더욱이, 상술한 실시예의 모두 또는 일부에서는 영역의 지도가 표시되며, 상기 지도가 지리 공간 좌표를 특징으로 한다. 일부 실시예에서, 적어도 하나의 카메라의 위치는 지도에 표시된다. 추가적인 또는 대안적인 실시예에서, 적어도 하나의 센서의 위치는 지도에 표시된다. 또한, 일부의 실시예에서는 적어도 하나의 타겟의 위치가 지도에 표시된다.
상술한 실시예의 모두 또는 일부에서, 수학적 회전은 지리 공간 좌표에 의해 특징 지워지는 영역의 지도를 표시하여 결정된다. 사용자는 입력 장치를 이용하여 적어도 세 쌍의 지점을 선택한다. 세 쌍 중 제1지점은 지도에서 선택되며, 상기 세 쌍 중 제2지점은 비디오 피드로부터 선택된다. 상기 제1지점 및 제2지점은 동일한 지리적 위치에 상응한다. 상기 지도에서 선택된 3개의 지점은 지리 공간 좌표에서 상기 제1직교 좌표계에 의해 정의된 직교 좌표로 변환된다. 상기 비디오 피드에서 선택된 적어도 3개의 지점은 팬, 줌 및 틸트 좌표에서 제2직교 좌표계에 의해 정의된 직교 좌표로 변환된다. 상기 제1직교 좌표계 및 제2직교 좌표계 사이의 수학적 회전은 적어도 세 쌍의 지점에 대한 직교 좌표에 기초하여 결정된다. 일부 실시예에서, 상기 수학적 회전은 행렬이다.
본 발명의 예시적인 실시예들은 카메라가 다른 기준 지점들과 정확하게 정렬될 필요가 없기 때문에 많은 종래의 시스템에 비해 유리하다. 예를 들면, 많은 종래의 시스템들은 설치될 때에 지면과 수평이 되거나, 특정 좌표계와 적절히 정렬되도록 팬-줌-틸트 카메라를 필요로 한다. 적절히 정렬되지 않으면, 카메라는 관심 지점을 정확하게 시프트하고 캡처하지 않을 것이다. 본 발명자는 제1직교 좌표계와 제2직교 좌표계 사이의 수학적 회전을 이용하여 카메라를 교정함으로써 이러한 문제를 극복하였다.
타겟 추적을 통한 본 발명의 예시적인 실시예에서, 프로세서는 지속적으로 센서로부터 좌표를 수신하고 새로운 좌표에 기초하여 반복적으로 카메라 명령어를 결정한다. 이러한 방식으로, 프로세서 및 카메라는 영역을 이동할 때 자동으로 타겟을 추적할 수 있다.
카메라 우선순위를 통한 본 발명의 예시적인 실시예에서, 감시 시스템이 복수의 카메라를 포함하지만, 비디오 피드를 표시하기 위해 제한된 대역폭 및/또는 제한된 수의 표시 장치만을 가질 때에 특히 유용하다. 이 경우에, 본 발명의 예시적인 실시예는 시스템이 카메라의 우선 순위를 지정하고, 관심 지점에 가장 가깝고 관심 지점의 최상의 시야를 가진 카메라로부터의 비디오 피드를 표시하도록 한다.
더욱이, 본 발명의 예시적인 실시예는 더 이상 관심 지점 또는 움직이는 물체를 캡처하기 위해 사용자의 수동 제어에 의존하지 않는다. 예를 들면, 타겟이 필드에서 걷고 있고 갑자기 벽 뒤에 숨는다면, 타겟은 벽의 앞에 위치된 카메라의 시야 범위 내에 있지 않을 수 있지만, 타겟은 여전히 벽 뒤에 위치된 다른 카메라의 시야 범위 내에 있을 수 있다. 일부 종래의 시스템에서, 사용자는 벽 뒤의 타겟을 캡처하기 위해 두 카메라 사이를 수동으로 왔다 갔다(toggle) 할 필요가 있다. 그러나, 본 발명의 예시적인 실시예는 타겟으로부터의 카메라의 시야 범위 및 거리에 기초하여 자동으로 비디오 피드의 우선 순위를 지정하고 표시한다.
본 발명의 예시적인 실시예는 팬, 줌 및 틸트 좌표를 특징으로 하는 카메라(예를 들어, 팬-줌-틸트 카메라)와 함께 사용하는 데 제한을 받지 않는다. 예를 들면, 본 발명의 예시적인 실시예는 또한 고정 카메라 또는 제한된 움직임 범위를 가지는 다른 카메라와 함께 사용할 수 있다. 실제로, 상술한 교정 및 우선 순위 방법은 유사하게 고정 카메라에 적용한다. 또한, 본 발명의 예시적인 실시예에 따르면, 고정 카메라의 시야 원추는 줌 변화에 따라 수정될 수 있다. 본 발명의 다양한 실시예는 또한 틸트 배향을 시프트할 수 없는 카메라와 같은 다른 타입의 카메라에 적용 가능하다.
본 발명의 상술한 특징은 첨부 도면을 참조하여 해석되는 다음의 상세한 설명을 참조하여 더욱 쉽게 이해될 것이다.
도 1은 본 발명의 일 실시예에 따른 감시 시스템을 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 감시 시스템을 교정하는 방법을 도시한 것이다.
도 3a는 본 발명의 일 실시예에 따른 카메라에서 비디오 피드를 도시한 것이다.
도 3b는 본 발명의 일 실시예에 따른 건물 바닥 평면(building floor plan)의 지도를 도시한 것이다.
도 4a는 본 발명의 일 실시예에 따른 카메라에서 비디오 피드를 도시한 것이다.
도 4b는 본 발명의 일 실시예에 따른 카메라에서 비디오 피드를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 선택된 지점의 테이블을 도시한 것이다.
도 6은 본 발명의 일 실시예에 따라 적어도 하나의 카메라를 제어하는 방법을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 실외 지형(outdoor terrain)의 지도를 도시한 것이다.
도 8은 본 발명의 일 실시예에 따라 타겟을 추적하는 방법을 도시한 것이다.
도 9는 본 발명의 일 실시예에 따라 복수의 카메라로부터 비디오 피드의 우선 순위를 지정하는 방법을 도시한 것이다.
도 10은 본 발명의 일 실시예에 따라 복수의 카메라와 함께 실외 지형의 지도를 도시한 것이다.
도 11은 본 발명의 일 실시예에 따른 카메라의 시야 범위를 도시한 것이다.
도 12는 본 발명의 일 실시예에 따라 적어도 하나의 카메라에 대한 시야 원추를 표시하는 방법을 도시한 것이다.
도 13은 본 발명의 일 실시예에 따른 시야 원추 및 카메라 아이콘을 도시한 것이다.
도 14는 본 발명의 일 실시예에 따라 지도에 적용된 시야 원추 및 카메라 아이콘을 도시한 것이다.
도 15는 본 발명의 일 실시예에 따른 비디오 피드 및 상응하는 시야 원추를 도시한 것이다.
도 16은 본 발명의 일 실시예에 따라 다각형 시야 원추로 바꿔 놓은(transposed) 비디오 이미지를 도시한 것이다.
도 17은 본 발명의 일 실시예에 따라 관측 가능한 거리가 직각 삼각형을 이용하여 계산되는 방법을 도시한 것이다.
도 18은 본 발명의 일 실시예에 따른 시야 원추를 도시한 것이다.
본 발명의 예시적인 실시예는 감시 시스템에 대한 것이다. 도 1은 본 발명의 일 실시예에 따른 감시 시스템(100)을 도시한 것이다. 감시 시스템의 예시적인 실시예는 적어도 하나의 카메라(102)를 포함한다. 도 1에 도시된 것과 다른 실시예에서, 시스템은 복수의 카메라(102, 104, 106)를 포함한다. 카메라들(102, 104, 106)은 예를 들어 통신 네트워크(110)를 통해 프로세서(예를 들어, 카메라 서버)와 전자 통신한다. 프로세서(108)는 또한 모니터(112)와 같은 적어도 하나의 표시 장치와 통신한다. 상기 표시 장치(112)는 사용자가 카메라(102, 104, 106)로부터의 비디오 피드를 보도록 해준다. 상기 시스템(100)은 또한 컴퓨터 마우스, 커서, 조준용 십자선, 키보드, 메뉴 및/또는 조이스틱과 같은 입력 장치(114)를 포함한다. 다양한 실시예에서, 상기 표시 장치(112)는 또한 입력 장치(114)(예를 들어 터치 스크린)이다. 입력 장치(114)는 상기 프로세서(108)와 전자 통신하며 사용자가 카메라(102, 104, 106)를 제어하고 카메라 각각으로 부터 비디오 피드의 지점들을 선택하도록 한다.
예시적인 실시예에서, 상기 감시 시스템은 또한 지리 정보 시스템(116)을 포함한다. 지리 정보 시스템(116)은 지리 영역(예를 들어, 건물 바닥 평면 및/또는 실외 지형)의 지도 데이터베이스를 포함한다. 각 지도는 지리 좌표계(예를 들어, 위도, 경도, 고도)에 의해 정의 가능한 지리 공간 좌표를 포함한다. 추가적인 또는 대안적인 실시예에서, 지리 공간 좌표는 직교 좌표계에 의해 정의 가능하다.
일부 실시예에서, 프로세서(108) 자체는 지리 정보 시스템(116)을 포함하지만, 다른 실시예에서는 지리 정보 시스템이 통신 네트워크(110)(예를 들어 인터넷)를 통해 프로세서와 통신할 수 있다. 표시 장치(112)는 지도를 표시하는 데 사용되며, 입력 장치(114)는 지도에서 지점을 선택하는 데 사용된다. 다양한 예시적인 실시예에서, 제1표시장치는 카메라(102, 104, 106)로부터 비디오 피드를 표시하는 데 사용될 수 있으며, 제2표시장치는 지도를 표시하는 데 사용된다. 추가적 또는 대안적으로, 감시 시스템(100)은 카메라, 레이더 및/또는 움직임 검출기와 같은 적어도 하나의 센서(118)를 포함할 수 있다. 상기 센서(118)는 예를 들어 컴퓨터 네트워크(110)를 통해 프로세서(108)와 전자 통신한다.
교 정
본 발명의 예시적인 실시예는(도 1에 도시된 것과 같은) 감시 시스템을 교정하는 방법에 대한 것이다. 도 2는 본 발명의 일 실시예에 따른 감시 시스템을 교정하는 방법(200)을 도시한다. 이러한 방법은 표시 장치를 이용하여 카메라로부터의 비디오 피드를 표시(202단계)하는 것을 포함한다. 도 3a는 본 발명의 일 실시예에 따라 하나의 카메라로부터의 비디오 피드(301)를 도시한 것이다. 본 예에서, 비디오 피드(301)는 건물의 옥외 통로(breeze way)를 도시한다. 예시적인 실시예에서, 카메라는 팬, 줌, 틸트 좌표에 의해 특징 지워지는 배향(방위)에 따른 PTZ 카메라이지만, 다른 카메라의 사용은 또한 본 발명의 범위 내에서 가능하다.
본 발명의 방법은 또한 영역의 지도를 표시(204단계)하기 위해 표시 장치를 이용하는 것을 포함한다. 도 3b는 본 발명의 일 실시예에 따른 건물 바닥 평면의 지도(300)를 도시한 것이다. 상기 바닥 평면은 2개의 방 사이에 위치된 복도를 포함한다. 상기 지도(300)는 지리 공간 좌표에 의해 특징되어 진다. 다시 말하면, 지도(300)에서 각 지점은 위도 및 경도와 같은 지리 공간 좌표의 관점에서 정의될 수 있다. 본 발명의 일부 실시예에서, 상기 지도(300)는 고도에 대한 좌표를 포함하지 않는다. 이와 같은 실시예에서, 고도는 "0"인 것으로 추정된다. 본 발명의 다른 예시적인 실시예에서, 지도(300) 상의 모든 지점은 고도 좌표에 의해 정의되며, 따라서 지도상의 모든 지점은 위도, 경도 및 고도의 세 좌표에 의해 정의된다. 본 발명의 또 다른 실시예에서, 지도(300)에서 지점 중 일부만이 고도의 관점에서 정의된다. 이와 같은 실시예에서, 정의되지 않은 지점에 대한 고도는 고도를 정의한 인접한 지점으로부터 추정될 수 있다. 예를 들면, 위도 30.000 도 및 경도 20.000 도에서의 제1지점이 정의된 고도를 갖지 않은 경우, 제1지점에 가장 가까운 지점은 상기 제1지점에 대한 고도를 추정하는 데 사용될 수 있다. 이와 같은 예에서, 본 발명의 방법은 4피트의 고도와 함께 위도 30.000도 및 경도 19.999 도에서 제2지점을 이용하고, 10 피트의 고도와 함께 위도 30.000도 및 경도 20.001 도에서 제3지점을 이용하여, 상기 제1지점에 대한 고도가 약 7 피트임을 추정한다. 예시적인 실시예에서, 다양한 다른 추정 기술이 또한 이용될 수 있다. 예를 들면, 일부 실시예에서, 추정된 고도를 평활화하는 알고리즘이 이용될 수 있다.
지도(300)의 예시적인 실시예는 카메라 아이콘(302)을 이용하여 지도에 카메라의 위치를 도시한다. 이러한 방식으로, 사용자는 지도(300)를 시야 카메라로부터 비디오 피드의 유리한 점 및 관점을 이해할 수 있다. 도 3b에서 카메라 아이콘(302)은 복도의 끝에서 카메라의 위치를 도시한 것이다.
지도(300)는 또한 사용자가 지도(300)에서 지점을 선택할 수 있도록 입력 장치(304)를 표시한다. 도 3b에서 입력 장치(304)는 조준용 십자선이지만, 다른 실시예에서 입력 장치는 예를 들어 화살표, 터치 스크린 및/또는 메뉴의 형태를 취할 수 있다.
교정 방법의 예시적인 실시예는 사용자가 입력 장치(304)를 이용하여 적어도 세 쌍의 지점을 선택하도록 한다(206단계). 상기 세 쌍 중 제1지점은 입력 장치(304)를 이용하여 지도(300)에서 선택된다. 도 3b에서, 사용자는 조준용 십자선(304)를 이용하여 복도에서 왼쪽 모서리(306)를 선택한다. 프로세서는 선택된 지점에 대한 특정 지리 공간 좌표를 등록한다. 사용자가 지도(300)상에서 제1지점을 선택하면, 비디오 피드로부터 상기 쌍 중 제2지점을 선택한다. 도 4a는 본 발명의 일 실시예에 따른 비디오 피드(400)를 도시한 것이다. 비디오 피드(400) 및 지도(300)는 하나의 표시 장치에서 별도의 창에 동시에 표시되거나 제각기 개별적으로 자신의 표시 장치에 표시될 수 있다. 도 4a에서, 사용자는 조준용 십자선(402)를 이용하여 비디오 피드(400)의 복도에서 왼쪽 모서리(306)를 선택한다. 사용자가 비디오 피드(400)에서 하나의 지점을 선택하면, 프로세서는 배향(예를 들어, 팬 각도, 틸트 각도 및 줌)에 대해 카메라에 질의한다. 배향이 카메라로부터 수신되면, 프로세서는 카메라의 특정 배향을 등록한다. 상기 쌍에서 제1 및 제2지점은 동일한 지리적 위치에 상응하도록 선택 되어져야 한다. 이런 방식으로, 본 발명의 방법은 지도(300)에 대한 비디오 피드(400)를 적절히 교정한다.
제1쌍의 지점이 선택되면, 사용자는 제2쌍의 지점을 선택한다. 도 3b에서, 사용자는 쌍의 제1지점을 복도에서의 오른쪽 모서리(308)로 선택한다. 그 다음, 쌍의 제2지점은 비디오 피드(400)에서 선택된다. 도 4b는 본 발명의 일 실시예에 따른 비디오 피드(400)를 도시한 것이다. 도 4b에서, 사용자는 카메라의 배향을 시프트했으며, 이에 비디오 피드(400)는 복도의 다른 부분을 표시한다. 사용자는 조준용 십자선(402)를 이용하여 비디오 피드(400)에 나타낸 바와 같이 복도의 오른쪽 모서리(308)를 선택한다.
제2쌍의 지점이 선택되면, 사용자는 제3쌍의 지점을 선택한다. 본 발명의 예시적인 실시예에서, 사용자는 세 쌍의 지점을 선택하지만, 다른 예시적인 실시예에서는 사용자가 교정을 위해 4, 5 또는 그 이상의 쌍의 지점을 선택할 수 있다. 일부 예시적인 실시예에서, 하나의 지점의 좌표 내의 어떤 오류가 더 많은 지점에 걸쳐 평균화되기 때문에 더 많은 쌍의 지점을 이용함으로써 더욱 정확한 교정이 이루어질 수 있다.
상술한 바와 같이, 본 발명의 예시적인 실시예에서, 사용자는 지도(300)에서 쌍의 제1지점을 선택하고, 비디오 피드(400)에서 쌍의 제2지점을 선택한다. 제1쌍의 지점이 선택되면, 사용자는 다음 쌍의 지점을 선택한다. 그러나, 본 발명의 실시예는 이러한 특정 순서로 제한되지 않는다. 사실상, 상기 지점들은 적어도 세 쌍의 지점이 선택되는 한 아무 순서대로 선택될 수 있다. 예를 들면, 예시적인 일 실시예에서, 사용자는 먼저 비디오 피드(400)에서 쌍의 한 지점을 선택한 다음에 지도(300)에서 쌍의 다른 지점을 선택한다. 또 다른 예시적인 실시예에서, 사용자는 먼저 비디오 피드(400)에서 모든 세 지점을 선택한 다음에 지도(300)에서 상응하는 지점들을 선택한다.
도 5는 본 발명의 일 실시예에 따라 선택된 지점들의 테이블(500)을 도시한 것이다. 상기 테이블은 6쌍의 지점들을 포함하고 각 쌍에 대한 특정 좌표를 열거한 것이다. 열 502 및 504는 지도(301)에서 선택된 지점들에 대한 지리 공간 좌표를 열거한다. 열 506 및 508은 비디오 피드(400)에서 선택된 지점들에 대한 카메라 배향을 열거한다. 상기 테이블 500에서의 지리 공간 좌표는 위도, 경도 및 고도(고도는 표시되지 않음)이지만, 카메라 좌표에 대한 좌표는 팬 각도, 틸트 각도 및 줌(줌은 표시되지 않음)을 나타낸다.
교정 방법에 대한 다양한 실시예에서, 비디오 피드의 각 지점에 대한 카메라의 팬, 틸트 및 줌 배향은 지점 자체에 대한 유효(effective) 팬 및 틸트 각도로 변환된다. 프로세서는 초기에 카메라 자체의 배향을 등록하지만, 이러한 초기 팬 및 틸트 각도들은 비디오 피드의 중심을 나타낸다. 사용자가 비디오 피드(400)의 중심에서 떨어진 지점을 선택하면, 이러한 지점에 대한 유효 팬 및 틸트 각도는 카메라 자체의 팬 및 틸트 배향과 상이할 것이다. 상기 지점들에 대한 유효 팬 및 틸트 각도를 결정하기 위해, 수평 각도 시야(H FOV ) 및 수직 각도 시야(V FOV )는 식 1 및 2를 이용하여 결정된다.
Figure 112013052207217-pct00001
유효 팬 각도(θ)는 식 3을 이용하여 계산될 수 있다.
Figure 112013052207217-pct00002
여기서 H D 는 비디오 피드(400)의 중심에서 지점까지의 수평 거리(예를 들어, 픽셀 단위)이며, W Videofeed 는 비디오 피드의 폭(예를 들어, 픽셀 단위)이다. 또한, 유효 틸트 각도(
Figure 112013052207217-pct00003
)는 식 4를 이용하여 계산될 수 있다.
Figure 112013052207217-pct00004
여기서 V D 는 비디오 피드(400)의 중심에서 지점까지의 수직 거리(예를 들어, 픽셀 단위)이며, H Videofeed 는 상기 비디오 피드의 높이(예를 들어, 픽셀 단위)이다.
상기 교정 방법의 예시적인 실시예는 또한 비디오 피드(400)에서 선택된 적어도 세 지점을 유효 팬 및 틸트 각도에서 직교 좌표계에 의해 정의된 직교 좌표로 변환(210단계)하는 것을 포함한다. 상기 교정 방법의 다양한 실시예에서, 유효 팬 및 틸트 각도는 카메라의 위치에서 원점을 가진 "카메라" 직교 좌표계에서 단위 벡터로 변환된다. 상기 유효 팬 및 틸트 각도는 식 5, 6 및 7을 이용하여 직교 좌표로 변환될 수 있다.
Figure 112013052207217-pct00005
이런 방식으로, 직교 좌표는 비디오 피드(400)에서 선택된 각 지점의 유효 팬(θ) 및 틸트 각도(
Figure 112013052207217-pct00006
)에 대해 계산된다.
상기 교정 방법의 예시적인 실시예는 지도(300)에서 선택된 세 지점을 지리 공간 좌표에서 좌표계에 의해 정의된 직교 좌표로 변환(208단계)하는 것을 더 포함한다. 상기 좌표계는 지점(P lat , P lon , P alt )에 대한 지리 공간 위치 및 상기 카메라(C lat , C lon , C alt )에 대한 지리 공간 위치를 이용하여 생성될 수 있다. "지도" 직교 좌표계의 원점은 카메라의 위치로 설정된다. 예시적인 실시예에서, 좌표계의 x 축은 동쪽을 가리키고, y 축은 북쪽을 가리키며, z 축은 동쪽에서 떨어지고 동쪽과 수직인 방향을 가리킨다.
카메라에서 x 축을 따른 지점까지의 거리는 식 8을 이용하여 계산될 수 있다.
Figure 112013052207217-pct00007
(8)
카메라에서 y 축을 따른 지점까지의 거리는 식 9를 이용하여 계산될 수 있다.
Figure 112013052207217-pct00008
카메라에서 z 축을 따른 지점까지의 거리는 식 10을 이용하여 계산될 수 있다.
Figure 112013052207217-pct00009
식 8, 9 및 10의 각각에서, R E 는 식 11에 따라 계산될 수 있는 장반경 지축(semi-major axis of the earth)이다.
Figure 112013052207217-pct00010
여기서 K flat 는 약 1/298.257인 지구 평탄 상수(Earth flatness constant)이며, R a 는 약 6,378,137 미터인 지구의 반경이다. 따라서, 식 8, 9 및 10을 이용하여 지점에 대한 직교 좌표는 (X P , Y P , Z P )이고, 카메라에 대한 직교 좌표는 (0, 0, 0)이다.
그 다음, 예시적인 실시예에서, 비디오 피드로부터 선택된 세 지점은 단위 벡터로 변환된다. 상기 단위 벡터는 식 12, 13 및 14를 이용하여 결정될 수 있다.
Figure 112013052207217-pct00011
따라서, 지도로부터 선택된 세 지점 각각은 "지도" 직교 좌표계의 단위 벡터(u, v, w)로 정의된다.
상술한 예시적인 실시예에서, 지도(300)는 위도, 경도 및 고도와 같은 지리 공간 좌표에 의해 특징 지워진다. 그러나, 다른 실시예에서, 상기 지도는 이미 (상술한 교정 프로세스 전에) 직교 좌표계에 의해 특징 지워지므로 지리 공간 좌표에서 직교 좌표계로의 변환은 필요하지 않을 수 있다.
본 발명의 예시적인 실시예는 상기 지도 및 상기 비디오 피드로부터 선택된 적어도 세 쌍의 지점들에 대한 직교 좌표에 기초하여 "지도" 좌표계와 "카메라" 좌표계 사이의 수학적 회전을 결정(212단계)하는 것을 더 포함한다. 상기 수학적 회전은 "지도" 좌표계에서의 지점들을 "카메라" 좌표계에서의 상응하는 지점들로 변환하는 것을 제공한다. 이러한 회전의 변환은 "카메라" 좌표계에서의 지점들을 "지도" 좌표계에서의 상응하는 지점들로의 변환을 제공한다. 또는 그 반대로, 상기 수학적 회전의 변환은 "카메라" 좌표계에서의 지점들을 "지도" 좌표계에서의 상응하는 지점들로의 변환을 제공하며, 이의 변환은 "지도" 좌표계에서의 지점들을 "카메라" 좌표계에서의 상응하는 지점들로의 변환을 제공한다. 본 출원에 사용된 바와 같이, 용어 "회전"은 또한 회전의 변환을 포함한다.
제1직교 좌표계와 제2직교 좌표계 사이의 수학적 회전(및 이의 변환)을 전개하는 방법은 본 기술 분야에 알려져 있다. 예를 들면, 다양한 실시예에서, 상기 수학적 회전은 "카메라" 및 "지도" 좌표계 중 하나에서 하나의 지점을 정의하는 단위 벡터들에 적용되는 4×4 행렬이다. 상기 4×4 회전은 초기 4×4 행렬을 전개함으로서 결정된다. 초기 4×4 행렬은 예를 들어 Berthold K. P. Horn의 4 장, "단위 쿼터니언을 이용한 절대 배향의 폐쇄형 해(Closed-form Solution of Absolute Orientation Using Unit Quaternions)" 미국 광학 학회 학회지 4(4 Journal of the Optical Society of America 629) (1987년 4월)에 따라 전개된다. Horn 논문은 이에 의해 참조로서 전체적으로 통합된다. 그 다음, 초기 4×4 행렬의 고유 벡터는 본 기술 분야에 알려진 야코비 고유 값 알고리즘(Jacobi Eigenvalue algorithm)을 이용하여 계산된다. 고유 값의 계산은 예를 들어 William H. Press 등의 섹션 11.1, "C에서의 수치적 방법(Numerical Recipes in C)" (케임브리지 대학 출판사 2판(Cambridge University Press 2d ed.) (1992)에 개시되어 있는 바와 같이 코드화된 소프트웨어일 수 있다. 이 책의 섹션 11.1은 이에 의해 참고로서 통합된다. 고유 벡터가 계산되면, 가장 큰 양의 고유값에 상응하는 고유 벡터는 회전 행렬로 선택된다. 예시적인 실시예에서, 상기 회전 행렬은 프로세서에 의해 쿼터니언(quaternion)으로 저장된다.
본 발명의 예시적인 실시예들은 카메라가 다른 기준 지점들과 정확하게 정렬될 필요가 없기 때문에 많은 종래의 시스템에 비해 유리하다. 예를 들면, 많은 종래의 시스템들은 설치될 때에 지면과 수평이 되거나, 특정 좌표계와 적절히 정렬되도록 팬-줌-틸트 카메라를 필요로 한다. 적절히 정렬되지 않으면, 카메라는 관심 지점을 정확하게 시프트하고 캡처하지 않을 것이다. 본 발명자는 제1직교 좌표계와 제2직교 좌표계 사이의 수학적 회전을 이용하여 카메라를 교정함으로써 이러한 문제를 극복하였다. 본 발명의 예시적인 실시예들에서, 본 발명자는 상술한 교정이 지면 또는 좌표계와 카메라의 어떤 오정렬의 원인이다는 것을 발견하였다. 과거에는, 아마도 위도-경도 좌표 및 팬-줌-틸트 카메라의 움직임이 직교 좌표계와 상응하지 않기 때문에, 영역의 지도에 따른 카메라의 교정은 2개의 직교 좌표계 사이의 수학적 회전의 이용을 통해 해결될 수 있는 문제로 접근되지 않았다.
지도를 이용한 카메라 제어
본 발명의 예시적인 실시예들은 또한 (도 1에 도시된 시스템과 같은) 감시 시스템에서 카메라를 제어하는 컴퓨터 구현 방법에 대한 것이다. 도 6은 본 발명의 일 실시예에 따라 적어도 하나의 카메라를 제어하는 방법(600)을 도시한 것이다. 상기 방법은 표시 장치를 이용하여 영역의 지도를 표시(602단계)하는 것을 포함한다. 도 7은 본 발명의 일 실시예에 따른 실외 지형의 지도(700)를 도시한 것이다. 상기 지도(700)는 위도, 경도 및 고도와 같은 지리 공간 좌표에 의해 특징 지워진다. 상기 방법은 사용자가 입력 장치를 이용하여 지도(700)에서 관심 지점을 선택하도록 하는 것(604단계)을 더 포함한다. 도 6의 실시예에서, 입력 장치는 조준용 십자선(702)이다. 그 다음, 본 발명의 예시적인 실시예에서, 카메라(704)는 관심 지점을 보기 위해 시프트한다. 이러한 방식으로, 사용자는 조준용 십자선(702)를 이용하여 지도(700)에서 지점을 간단히 선택하여 카메라(704) 및 이의 배향을 제어한다. 따라서, 사용자는 카메라 제어를 자동화하기 위해 지리 공간 인터페이스를 이용할 수 있다. 도 7의 예에서, 사용자는 지도(700)상에 도로(706)를 긋고 그 도로상의 활동에 관심을 가진다. 지도(700)에서 도로(706) 상의 지점을 선택함으로써, 카메라(704)는 자동으로 카메라의 배향을 도로로 시프트하며, 사용자는 카메라로부터 비디오 피드를 통해 도로상의 활동을 볼 수 있다.
예시적인 실시예에서, 사용자가 지도 상에서 지점을 선택하면, 프로세서는 선택된 지점에 대한 지리 공간 좌표를 좌표계에 의해 정의된 직교 좌표로 변환(606단계)한다. 예시적인 실시예에서, 본 출원의 "교정" 섹션에서 설명된 바와 같이 상기 변환은 식 8, 9, 10, 11, 12, 13 및 14를 이용하여 수행된다. 따라서, 상기 지점에 대한 지리 공간 좌표는 "지도" 직교 좌표계의 단위 벡터로 정의된다. 그 후, 프로세서(108)는 "카메라" 직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 상기 선택된 지점에 대한 "지도" 직교 좌표에 수학적 회전을 적용(608단계)한다. 상기 "카메라" 좌표계는 카메라로부터의 비디오 피드를 특징 지우며, 수학적 회전(또는 이의 변환)은 "지도" 좌표계와 "카메라" 좌표계 사이에 변환을 제공한다. 예시적인 실시예에서, 수학적 회전은 본 출원의 "교정" 섹션에서 설명된 방법에 따라 전개된다.
그 다음, 상기 선택된 지점(예를 들어 단위 벡터 u, v, w)에 대한 직교 좌표는 팬, 줌 및 틸트 좌표(예를 들어, 팬(θ) 및 틸트(
Figure 112013052207217-pct00012
))의 관점에서 정의된다. ("카메라" 좌표계에 의해 정의된) 상기 직교 좌표는 식 15 및 16을 이용하여 팬 및 틸트 각도로 변환(610단계)될 수 있다.
Figure 112013052207217-pct00013
따라서, 상기 선택된 지점은 카메라의 팬 및 틸트 각도의 관점에서 정의된다. 이러한 팬 및 틸트 각도에 기초하여, 카메라가 상기 선택된 지점을 뷰(view)하기 위해 시프트하고, 상기 선택된 비디오 피드가 사용자에 표시(612,614단계)되도록 프로세서는 배향 명령어를 카메라에 제공할 수 있다.
타겟 추적
본 발명의 예시적인 실시예는 또한(예를 들어 도 1에 도시된 것과 같은) 적어도 하나의 카메라 및 적어도 하나의 센서를 이용하여 타겟을 추적하는 컴퓨터 구현 방법에 대한 것이다. 도 8은 본 발명의 일 실시예에 따라 타겟을 추적하는 방법(800)을 도시한 것이다. 상기 방법은 프로세서에서 타겟에 대한 좌표를 센서로부터 수신(802단계)하는 것을 포함한다. 일부 실시예에서, 상기 센서 및 좌표로부터 수신되는 타겟에 대한 좌표는 이미 영역의 지도를 특징짓는 직교 좌표계의 관점에서 정의된다. 예를 들면, 일부 실시예에서, 상기 지도에서 움직임 검출기에 대한 직교 좌표는 검출기가 상기 영역에 배치될 때 결정된다. 그래서, 움직임 검출기가 셋오프(set-off)되면, 프로세서는 타겟이 움직임 검출기의 좌표 근처에 위치되며, 적절한 카메라의 동작을 결정하기 위해 "지도" 좌표계에 의해 정의된 센서의 좌표를 이용한다는 것을 추정할 수 있다. 그러나, 다른 실시예에서, 센서로부터 수신되는 타겟에 대한 좌표는 지리 공간 좌표계의 관점에서 정의된다. 이와 같은 실시예에서, 지리 공간 좌표는 "지도" 좌표계에 의해 정의된 직교 좌표로 변환(804단계)된다. 예시적인 실시예에서, 본 출원의 "교정" 섹션에서 설명된 바와 같이 변환은 식 8, 9, 10, 11, 12, 13 및 14를 이용하여 수행된다. 이러한 방식으로, 타겟에 대한 지리 공간 좌표는 "지도" 직교 좌표계의 단위 벡터(u, v, w)로 정의된다.
타겟 추적 방법은 또한 "카메라" 직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 수학적 회전(또는 이의 변환)을 타겟에 대한 "지도" 직교 좌표에 적용(806단계)하는 것을 포함한다. "카메라" 좌표계는 카메라로부터 비디오 피드를 정의하며, 수학적 회전은 "지도" 좌표계와 "카메라" 좌표계 사이에 변환을 제공한다. 예시적인 실시예에서, 수학적 회전은 본 출원의 "교정" 섹션에서 설명된 방법에 따라 전개된다.
그 다음, 타겟(u, v, w)에 대한 직교 좌표는 카메라에 대한 팬, 줌 및 틸트 좌표(예를 들어 팬 "θ" 및 틸트 "
Figure 112013052207217-pct00014
")의 관점에서 정의된다. 다양한 예시적인 실시예에서, 본 출원의 "지도를 이용한 카메라 제어" 섹션에서 설명된 바와 같이 직교 좌표는 식 15 및 16을 이용하여 팬 및 틸트 각도로 변환(808단계)된다. 따라서, 타겟은 카메라의 팬 및 틸트 각도의 관점에서 정의된다. 이러한 팬 및 틸트 각도에 기초하여, 프로세서는 카메라가 타겟을 시야 위해 시프트하도록 배향 명령어를 카메라에 제공(810,812단계)한다.
예시적인 실시예에서, 프로세서는 지속적으로 센서로부터 좌표를 수신하고 새로운 좌표에 기초하여 반복적으로 카메라 명령어를 결정한다. 이러한 방식으로, 프로세서 및 카메라는 영역을 이동할 때 자동으로 타겟을 추적한다.
타겟 추적 방법의 예시적인 실시예는 또한 센서 아이콘을 이용하여 센서의 위치를 나타내는 지도를 표시할 수 있다. 더욱이, 추가적 또는 대안적인 실시예에서, 지도는 타겟 아이콘을 이용하여 영역에 타겟의 위치를 표시한다. 프로세서는 센서 및/또는 타겟에 대한 지리 공간 및/또는 "카메라" 직교 좌표를 이용하여 이를 지도에 표시할 수 있다. 타겟, 센서 및 카메라를 지도에 표시함으로써, 사용자는 센서 및 카메라와 관련하여 타겟의 위치를 더 잘 이해할 수 있다.
카메라의 우선 순위
본 발명의 예시적인 실시예는 또한(예를 들어 도 1에 도시된 것과 같은) 복수의 카메라로부터 비디오 피드의 우선 순위를 지정하는 컴퓨터 구현 방법에 대한 것이다. 도 9는 본 발명의 일 실시예에 따라 복수의 카메라로부터 비디오 피드의 우선 순위를 지정하는 방법(900)을 도시하지만, 도 10은 본 발명의 다른 실시예에 따라 복수의 카메라(1002, 1004, 1006, 1008)를 포함하는 실외 지형의 지도(1000)를 도시한다.
방법의 예시적인 실시예는 관심 지점(1010)에 대한 지리 공간 좌표를 수신(902단계)하는 것을 포함한다. 도 10에 도시된 실시예에서, 관심 지점(1010)은 표시 장치 및 입력 장치를 이용하여 사용자에 의해 지도(1000)로부터 선택된다. 다른 예시적인 실시예에서, 관심 지점에 대한 좌표는 타겟을 나타내고, 좌표는 센서로부터 수신된다. 다양한 실시예에서, 관심 지점에 대한 좌표가 수신되면, 하나 이상의 카메라(1002, 1004, 1006, 1008)는 관심 지점(1010)을 캡처하기 위해 배향을 시프트한다. 본 발명의 예시적인 실시예에서, 카메라(1002, 1004, 1006, 1008)에는 관심 지점(1010)으로부터의 거리에 기초하여 우선 순위가 할당된다.
우선 순위 방법의 다양한 예시적인 실시예는 관심 지점(1010)이 어떤 카메라(1002, 1004, 1006, 1008, 904)의 시야 범위 내에 있는지를 판단하는 것을 포함한다. 일부 예시적인 실시예에서, 상기 방법은 또한 어떤 카메라(1002, 1004, 1006, 1008)가 관심 지점을 보기(viewing) 위해 이용 가능한지를 판단하는 것을 포함한다(예를 들면, 일부 카메라가 다른 타겟을 추적할 수 있거나 사용자가 어떤 카메라를 사용할 수 있는 권한이 없을 수 있다).
도 11은 본 발명의 일 실시예에 따른 카메라(1102)의 시야 범위(1100)를 도시한 것이다. 도 11에 도시된 바와 같이, 카메라(1102)의 시야 범위(1100)는 또한 장애물(1104, 1106, 1108)에 의해 제한될 수 있다. 예를 들면, 도 11에서, 카메라(1102)의 시야 범위(1100)는 벽(1108)에 의해 차단되며, 따라서 벽 뒤에 나타나는 영역(1110)은 시야 범위에서 생략된다. 마찬가지, 집(1106)은 또한 시야 범위(1100)의 방해가 되며, 따라서 집 뒤의 영역(1112)은 시야 범위에서 생략된다.
다양한 예시적인 실시예에서, 각 카메라에 대한 시야 범위는 사용자에 의해 정의된다. 이를 위해, 예시적인 실시예에서, 사용자는 도 11에 도시된 바와 같이 표시된 지도 내에서 카메라(1102)에 대한 시야 범위(1100)의 윤곽을 나타내기 위해 입력 장치를 이용할 수 있다. 예시적인 실시예에서, 사용자는 시작점 및 종점을 갖는 복수의 선분을 생성하여 카메라의 시야 영역의 윤곽을 나타낼 수 있다. 그리고 나서, 사용자는 선분의 시작점 및 종점에 의해 정의된 꼭지점을 가진 다각형을 형성하기 위해 선분을 닫는다. 이러한 방식으로, 카메라의 시야 범위는 도 11에 도시된 시야 범위(1100)와 같이 비교적 복잡하고 불규칙한 영역으로 정의될 수 있다. 어떤 경우에는 복수의 다각형을 이용하여 카메라의 시야 범위를 나타내는 것이 적절할 수 있다. 다양한 예시적인 실시예에서, 다각형의 꼭지점은 지리 공간 좌표의 관점에서 정의되지만, 다른 실시예에서는 꼭지점이 "지도" 직교 좌표계 또는 심지어 "카메라" 좌표계의 관점에서 정의된다.
예시적인 실시예에서, 관심 지점(1010)이 어떤 카메라(1002, 1004, 1006, 1008)의 시야 범위 내에 있는지를 판단하기 위해, 본 발명의 방법은 관심 지점이 카메라 각각의 다각형 시야 범위 내에 나타나는지를 판단한다. 이를 위해, 본 발명의 예시적인 실시예에서는 본 기술 분야에서 알려진 다양한 PIP(point in polygon) 알고리즘을 이용한다. 이와 같은 알고리즘의 일례에서, 본 발명의 방법은 관심 지점에서 시작하고 지도에 걸쳐 계속하는 수평선을 추정한다. 추정된 수평선이 다각형의 선분을 짝수번(예를 들어, 0, 2, 4) 교차하는 경우, 관심 지점은 다각형 밖에 있다. 추정된 선이 다각형을 홀수번(예를 들어, 1, 3, 5) 교차하는 경우, 관심 지점은 다각형 내에 있다. 다른 예에서, 관심 지점과 다각형을 구성하는 각 꼭지점(또는 점) 사이에 형성된 각도의 합이 계산된다. 합이 360도(예를 들어, 2π)이면, 관심 지점은 다각형 내부에 있다. 합이 0도이면, 관심 지점은 다각형 외부에 있으며, 또한 카메라의 시야 범위 외부에 있다. PIP 알고리즘에 대한 추가의 상세 사항은 참고 문헌: Paul Bourke, "지점이 다각형의 내부에 있는 지의 판단(Determining If a Point Lies on the Interior of a Polygon)" (1987년 11월)(http://local.wasp.uwa.edu.au/~pbourke/geometry/insidepoly/에서 접속 가능)에서 찾을 수 있으며, 이는 여기서 전체적으로 참조로 통합된다.
하나의 예시적인 경우에, 하나의 카메라만이 관심 지점을 캡처하기 위해 시야 범위를 가질 경우, 프로세서는 관심 지점을 캡처하기 위해 배향 명령어를 상기 카메라에 제공한다. 다른 예에서, 관심 지점을 캡처하기 위해 시야 범위를 가진 적어도 2개의 카메라가 있는 경우, 프로세서는 두 카메라와 관심 지점 사이의 거리를 결정(906단계)한다. 카메라 위치 및 관심 지점이 양자 모두 직교 좌표계(예를 들어, 상술한 "지도" 직교 좌표계 및/또는 "카메라" 직교 좌표계)의 관점에서 정의되면, 카메라와 관심 지점 사이의 거리는 식 17에 따라 계산될 수 있다.
Figure 112013052207217-pct00015
여기서, (X C , Y C , Z C )는 카메라에 대한 직교 좌표이며, (X P , Y P , Z P )는 관심 지점에 대한 직교 좌표이다. 식 17은 특히 지구의 곡률을 설명할 필요가 없는 감시 시스템(예를 들어, 건물 내의 감시 시스템)과 함께 사용하는데에 정확하다. 카메라 위치 및 관심 지점이 양자 모두 지리 공간 좌표계(예를 들어, 위도, 경도 및 고도)의 관점에서 정의되면, 직교 거리는 본 출원의 "교정" 섹션에서 설명된 바와 같이 식 8, 9, 10 및 11을 이용하여 계산될 수 있다. 그 다음, 이러한 거리는 이러한 섹션에서 설명된 바와 같이 식 17을 이용하여 계산될 수 있다. 식 8, 9, 10 및 11을 이용하는 이점은 지구의 곡률을 설명하며, 따라서 예를 들어 실외 지형을 조사하는 감시 시스템에 더욱 양호한 정확성을 제공하는 것이다. 지리 공간 좌표 사이의 거리 계산에 대한 추가의 상세 사항은 참고 문헌: Ivan S. Ashcroft, "탄젠트 평면으로의 임의의 위도 및 경도의 투사(Projecting an Arbitrary Latitude and Longitude onto a Tangent Plane)" 브리검 영 대학(Brigham Young University) (1999년 1월 21일)에서 발견될 수 있으며, 이는 이에 의해 전체적으로 참조로서 통합된다.
관심 지점과 카메라 사이의 거리가 결정되면, 프로세서는 어떤 카메라가 관심 지점에서 최단 거리인지를 판단(908단계)한다. 그 다음, 본 발명의 예시적인 실시예에서, 최단 거리 카메라에는 관심 지점의 좌표에 기초하여 배향 명령어가 제공되며, 최단 거리 카메라로부터의 비디오 피드는 표시 장치에 표시(910단계)된다.
본 발명의 예시적인 실시예는 감시 시스템이 복수의 카메라를 포함하지만, 비디오 피드를 표시하기 위해 제한된 대역폭 및/또는 제한된 수의 표시 장치만을 가질 때에 특히 유용하다. 이 경우에, 본 발명의 예시적인 실시예는 시스템이 카메라의 우선 순위를 지정하고, 관심 지점에 가장 가깝고 관심 지점의 최상의 시야를 가진 카메라로부터의 비디오 피드를 표시하도록 한다.
더욱이, 본 발명의 예시적인 실시예는 더 이상 관심 지점 또는 움직이는 물체를 캡처하기 위해 사용자의 수동 제어에 의존하지 않는다. 예를 들면, 타겟이 필드에서 걷고 있고 갑자기 벽 뒤에 숨는다면, 타겟은 벽의 앞에 위치된 카메라의 시야 범위 내에 있지 않을 수 있지만, 타겟은 여전히 벽 뒤에 위치된 다른 카메라의 시야 범위 내에 있을 수 있다. 일부 종래의 시스템에서, 사용자는 벽 뒤의 타겟을 캡처하기 위해 두 카메라 사이를 수동으로 왔다 갔다(toggle) 할 필요가 있다. 그러나, 본 발명의 예시적인 실시예는 타겟으로부터의 카메라의 시야 범위 및 거리에 기초하여 자동으로 비디오 피드의 우선 순위를 지정하고 표시한다.
시야 원추( view cone )
본 발명의 예시적인 실시예는 또한 카메라에 대한 시야 원추를 표시하는 컴퓨터 구현 방법에 대한 것이다. 도 12는 본 발명의 일 실시예에 따라 적어도 하나의 카메라에 대한 시야 원추를 표시하는 방법(1200)을 도시한 것이다. 도 13은 본 발명의 일 실시예에 따른 시야 원추(1300) 및 카메라 아이콘(1302)을 도시한 것이다. 본 발명의 예시적인 실시예에서, 시야 원추(1300)는 카메라의 시야를 나타낸다. 시야 원추(1300)를 이용하는 것은 특히 이것이 지도에 적용될 때에 유용한데, 그 이유는 지도는 사용자가 영역 내의 카메라의 유리한 점 및 관점을 이해하는데 도움을 주기 때문이다. 도 14는 본 발명의 일 실시예에 따라 지도(1404)에 적용되는 시야 원추(1400) 및 카메라 아이콘(1402)을 도시한 것이다.
본 발명의 예시적인 실시예에서, 시야 원추는 비디오 피드의 상위 왼쪽, 상위 오른쪽, 하위 왼쪽 및 하위 오른쪽 모서리의 효과적인 좌표를 지도 상으로 바꾸어(transposing) 생성된다. 도 15는 본 발명의 다른 실시예에 따른 비디오 피드(1500) 및 시야 원추(1502)를 도시한 것이다. 비디오 피드(1500)는 상위 왼쪽(1504), 상위 오른쪽(1506), 하위 왼쪽(1508) 및 하위 오른쪽 모서리(1510)를 포함한다. 시야 원추(1502)는 또한 상위 왼쪽(1512), 상위 오른쪽(1514), 하위 왼쪽(1516) 및 하위 오른쪽 꼭지점(1518)을 포함한다. 본 발명의 예시적인 실시예에서, 시야 원추(1502)는 비디오 피드(1500)의 상위 왼쪽(1504), 상위 오른쪽(1506), 하위 왼쪽(1508) 및 하위 오른쪽 모서리(1510)의 효과적인 좌표를 시야 원추(1502)의 상위 왼쪽(1512), 상위 오른쪽(1514), 하위 왼쪽(1516) 및 하위 오른쪽 꼭지점(1518)으로 바꾸어 생성된다. 비디오 피드의 효과적인 좌표에 기초하여 시야 원추를 생성하는 이점은 카메라의 배향이 시프트할 때 지도상의 시야 원추(1502)가 또한 카메라의 시야를 더 양호하게 나타내도록 변화한다는 것이다.
본 발명의 예시적인 실시예에서, 비디오 피드(1500)의 상위 왼쪽(1504), 상위 오른쪽(1506), 하위 왼쪽(1508) 및 하위 오른쪽 모서리(1510)의 효과적인 좌표는 카메라의 배향(예를 들어 카메라에 대한 팬, 줌 및 틸트 좌표)으로부터 결정된다. 비디오 피드(1500)의 상위 왼쪽(1504), 상위 오른쪽(1506), 하위 왼쪽(1508) 및 하위 오른쪽 모서리(1510)의 각각에 대해, 유효(effective) 팬 및 틸트 각도가 계산된다(1204단계). 각 지점에 대해 유효한 팬 및 틸트 각도를 결정하기 위해, 수평 각도 시야(H FOV )(1520) 및 수직 각도 시야(V FOV )(1522)는 예를 들어 본 출원의 "교정" 섹션에서 설명된 바와 같이 식 1 및 2를 이용하여 결정된다. 그 다음, 모서리(1504, 1506, 1508 및 1510) 각각에 대한 유효 팬 및 틸트 각도(θ,
Figure 112013052207217-pct00016
)는 예를 들어 본 출원의 "교정" 섹션에서 설명된 바와 같이 식 3 및 4를 이용하여 결정된다.
본 발명의 예시적인 실시예에서, 모서리(1504, 1506, 1508 및 1510)에 대한 유효 팬 및 틸트 각도(θ,
Figure 112013052207217-pct00017
)는 직교 좌표계에 의해 정의된 직교 좌표로 변환(1206단계)된다. 상기 방법의 다양한 실시예에서, 유효 팬 및 틸트 각도는 카메라의 위치에서 원점을 가진 "카메라" 직교 좌표계에서 단위 벡터(u, v, w)로 변환된다. 유효 팬 및 틸트 각도는 본 출원의 "교정" 섹션에서 설명된 바와 같이 식 5, 6 및 7을 이용하여 직교 좌표로 변환될 수 있다.
비디오 피드(1502)의 모서리(1504, 1506, 1508 및 1510)를 지도상의 시야 원추(1500)의 모서리(1512, 1514, 1516 및 1512)로 바꾸기 위해, 수학적 회전(또는 변환)이 상기 모서리(1504, 1506, 1508 및 1510)에 대한 "카메라" 직교 좌표에 적용(1208단계)된다. 수학적 회전(또는 변환)은 "지도" 직교 좌표계에 의해 정의된 단위 벡터(u, v, w)를 결정한다. "지도" 좌표계는 지도를 정의하고 수학적 회전은 "카메라" 좌표계와 "지도" 좌표계 사이에 변환을 제공한다. 예시적인 실시예에서, 수학적 회전은 본 출원의 "교정" 섹션에서 설명된 방법에 따라 전개된다. 수학적 회전 후, 단위 벡터(u, v, w)는 식(18, 19 및 20)을 이용하여 스케일링된 직교 좌표로 변환된다.
Figure 112013052207217-pct00018
본 발명의 다양한 실시예에서, 스케일링 계수는 식(21)을 이용하여 결정될 수 있다.
Figure 112013052207217-pct00019
다양한 실시예에서, Calt는 지면 위의 카메라의 고도이다. 본 발명의 예시적인 실시예에서, 모서리(1504, 1506, 1508 및 1510)에 대한 스케일링된 "지도" 직교 좌표(X P , Y P , Z P )는 시야 원추(1500)를 결정(1210단계)하는 데 사용된 다음에 시야 원추가 지도에 표시(1212단계)된다. 도 15에 도시된 바와 같이 보다 특정한 예시적인 실시예에서, 시야 원추는 다각형이고 모서리(1504, 1506, 1508 및 1510)에 대한 "지도" 직교 좌표는 시야 원추(1500)의 꼭지점(1512, 1514, 1516 및 1512)을 정의하는 데 사용된다.
본 발명의 또 다른 실시예에서, 모서리(1504, 1506, 1508 및 1510)에 대한 스케일링된 "지도" 직교 좌표(X P , Y P , Z P )는 지리 공간 좌표(Plat, Plon, Palt)로 변환된다. 다양한 예시적인 실시예에서, "지도" 직교 좌표(X P , Y P , Z P )는 식(22 및 23)을 이용하여 경도 및 위도에 대한 델타를 결정하여 지리 공간 좌표(Plat, Plon, Palt)로 변환될 수 있다.
Figure 112013052207217-pct00020
여기서 C lat 는 카메라에 대한 알려진 위도 지리 공간 좌표이고, R E 는 상기 식(11)으로부터 계산될 수 있으며, R lon 은 알려져 있지 않지만 카메라의 경도 좌표 "C lon "와 거의 동일한 것으로 추정될 수 있다. 직교 좌표를 지리 공간 좌표로 변환하기 위한 추가의 상세 사항은 참고 문헌: Ivan S. Ashcroft, "탄젠트 평면으로의 임의의 위도 및 경도의 투사(Projecting an Arbitrary Latitude and Longitude onto a Tangent Plane)" 브리검 영 대학(Brigham Young University) (1999년 1월 21일)에서 발견될 수 있다.
본 발명의 예시적인 실시예에서, 델타 "△ lat 및 △ lat "가 결정되면, 이는 식(24, 25, 26)을 이용하여 모서리(1504, 1506, 1508 및 1510)에 대한 지리 공간 좌표(Plat, Plon, Palt)를 결정하는 데 사용될 수 있다.
Figure 112013052207217-pct00021
여기서 (Clat, Clon, Calt)는 카메라의 알려진 지리 공간 좌표이다. 따라서, 이와 같은 실시예에서, 모서리(1504, 1506, 1508 및 1510)에 대한 지리 공간 좌표(Plat, Plon, Palt)는 시야 원추(1500)를 결정하는 데 사용되며, 그 다음 시야 원추는 지도에 표시된다. 보다 특정한 예시적인 실시예에서, 시야 원추는 다각형이고 모서리(1504, 1506, 1508 및 1510)에 대한 지리 공간 좌표는 시야 원추(1500)의 꼭지점(1512, 1514, 1516 및 1512)을 정의하는 데 사용된다. 도 16은 본 발명의 일 실시예에 따라 4개의 꼭지점을 가진 다각형 시야 원추(1602)로 바꿔 놓은 4개의 모서리를 가진 비디오 이미지(1600)를 도시한 것이다.
본 발명의 추가의 예시적인 실시예에서, 시야 원추(1500)의 상위 왼쪽(1512) 및 상위 오른쪽 꼭지점(1514)은 서로 다른 방식으로 결정된다. 어떤 경우에, 카메라에 대한 틸트 각도(또는 비디오 피드의 모서리 중 적어도 하나에 대한 유효 틸트 각도)가 수평선 위에 있을 때(예를 들어,
Figure 112013052207217-pct00022
가 0보다 클 때), 모서리를 지도로 바꾸는 것은 모서리의 적어도 일부에 대한 유효 틸트 각도가 지면과 교차하지 않기 때문에 가능하지 않을 수 있다.
이러한 문제를 해결하는 예시적인 방법 중 하나는 카메라의 확인 가능한 거리에 기초하여 시야 원추(1500)의 상위 왼쪽(1512) 및 상위 오른쪽 꼭지점(1514)을 결정하는 것이다. 확인 가능한 거리는 카메라의 해상도를 이용하여 계산될 수 있다. 이와 같은 접근 방식은 카메라의 참된 시야를 더 잘 나타내기 때문에 유리하다. 예시적인 일 실시예에서, 시야 원추(1500)는 시야 원추 내의 물체가 비디오 피드(예를 들어, 확인 가능한 거리 내의 물체)에서 식별될 수 있도록 표시되지만, 시야 원추를 넘어선 물체는 배경(예를 들어 확인 가능한 거리를 넘어선 물체)과 구별될 수 없다. 예시적인 일 실시예에서, 확인 가능한 거리는 4 미터 길이의 물체(대략 차량의 크기)가 디스플레이 상의 두 픽셀에 상응하는 거리에 상응한다. 일 실시예에서, 확인 가능한 거리는 식(27)을 이용하여 결정된다.
Figure 112013052207217-pct00023
여기서 W는 픽셀의 비디오 피드의 폭이고, R은 픽셀 당 미터의 카메라의 해상도이며, θ는 2로 나누어지는 수평 각도 시야(H FOV )(1520)이다. 일부 실시예에서, 비디오 피드의 폭은 카메라에 의해 프로세서로 전달된다. 다른 예시적인 실시예에서, 비디오 피드의 폭은 320 픽셀과 같은 고정된 수이다. 도 11은 확인 가능한 거리가 본 발명의 실시예에 따라 직각 삼각형을 이용하여 계산되는 방법을 도시한다. 그 후, 계산된 확인 가능한 거리는 시야 원추(1500)의 상위 왼쪽(1512) 및 상위 오른쪽 꼭지점(1514)을 결정하는 데 사용된다.
예시적인 일 실시예에서, 확인 가능한 거리는 비디오 피드의 상위 왼쪽(1504) 및 상위 오른쪽(1506) 모서리에 대한 유효 팬 각도(θ)에 따라 예측(project)된다. 상위 왼쪽(1512) 및 상위 오른쪽(1514) 꼭지점에 대한 "지도" 직교 좌표(X P , Y P , Z P )는 식(28, 29 및 30)에 따라 결정될 수 있다.
Figure 112013052207217-pct00024
여기서 (X C , Y C , Z C )는 카메라에 대한 "지도" 직교 좌표이다. 그 다음, 본 발명의 예시적인 실시예에서, 상위 왼쪽(1512) 및 상위 오른쪽(1514) 꼭지점에 대한 "지도" 직교 좌표(X P , Y P , Z P )는 시야 원추를 결정하여 지도에 표시하는데 사용된다. 다른 예시적인 실시예에서, 이러한 "지도" 직교 좌표는 (예를 들어 식(22-26)을 이용하여) 지리 공간 좌표로 변환된 다음에 시야 원추를 결정하여 지도에 표시하는 데 사용된다.
다른 예시적인 실시예에서, 모서리(1504 및 1506)에 대한 유효 팬 각도 (θ)에 따라 확인 가능한 거리를 예측하는 대신에, 확인 가능한 거리는 확인 가능한 지점에 대한 카메라의 팬 각도(θ)에 따라 예측된다. 일부 실시예에서, 확인 가능한 지점은 시야 원추(1502)의 가장 먼 가장자리의 중심이다. 도 18은 본 발명의 일 실시예에 따라 확인 가능한 지점으로서 가장 먼 가장자리의 중심(1802)을 가진 시야 원추(1800)를 도시한 것이다. 확인 가능한 지점에 대한 "지도" 직교 좌표(X R , Y R , Z R )는 식(31, 32 및 33)에 따라 결정될 수 있다.
Figure 112013052207217-pct00025
그 다음, 확인 가능한 지점(X R , Y R , Z R )은 시야 원추의 상위 왼쪽(1804) 및 상위 오른쪽(1806) 꼭지점에 대한 "지도" 직교 좌표(X P , Y P , Z P )를 결정하기 위해 수평 시야(H FOV )(1520)의 절반만큼 왼쪽 및 오른쪽으로 회전된다. 프로세서의 계산 효율성을 위해, 행렬은 확인 가능한 지점을 회전하는 데 사용될 수 있다. 그 다음, 상위 왼쪽(1804) 및 상위 오른쪽(1806) 꼭지점에 대한 "지도" 직교 좌표(X P , Y P , Z P )는 시야 원추를 결정하여 지도에 표시하는 데 사용된다. 그러나, 다른 예시적인 실시예에서, "지도" 직교 좌표는 지리 공간 좌표로 변환된 다음에 시야 원추를 결정하여 지도에 표시하는데 사용된다.
또 다른 예시적인 실시예에서, 이러한 섹션의 식(28-33)에서 논의된 예측은 "카메라" 직교 좌표계에서 수행된 다음에 수학적 변환(또는 변환)을 이용하여 "지도" 직교 좌표계로 변환된다.
본 발명의 예시적인 실시예는 팬, 줌 및 틸트 좌표를 특징으로 하는 카메라(예를 들어, 팬-줌-틸트 카메라)와 함께 사용하는 데 제한을 받지 않는다. 예를 들면, 본 발명의 예시적인 실시예는 또한 고정 카메라 또는 제한된 움직임 범위를 가지는 다른 카메라와 함께 사용할 수 있다. 실제로, 상술한 교정 및 우선 순위 방법은 유사하게 고정 카메라에 적용한다. 또한, 본 발명의 예시적인 실시예에 따르면, 고정 카메라의 시야 원추는 줌 변화에 따라 수정될 수 있다. 본 발명의 다양한 실시예는 또한 틸트 배향을 시프트할 수 없는 카메라와 같은 다른 타입의 카메라에 적용 가능하다.
"시스템", "프로세서", "서버", "입력 장치", "표시 장치", "통신 네트워크"및 "데이터베이스"와 같은 용어는 여기서 본 발명의 어떤 실시예에 이용될 수 있는 장치를 설명하는 데 사용될 수 있으며 문맥이 달리 요구하지 않는 한 본 발명을 어떤 특정 장치 타입 또는 시스템으로 제한하는 것으로 해석되지 않는다는 것이 주목될 것이다. 따라서, 시스템은 제한 없이 클라이언트, 서버, 컴퓨터, 가전 제품 또는 다른 타입의 장치를 포함할 수 있다. 이와 같은 장치는 일반적으로 통신 네트워크(예를 들어, 컴퓨터 네트워크)를 통해 통신하는 하나 이상의 네트워크 인터페이스, 및 이에 따라 장치 및/또는 시스템 기능을 수행하도록 구성된 프로세서(예를 들어, 메모리 및 다른 주변 장치 및/또는 애플리케이션 특정 하드웨어를 가진 마이크로프로세서)를 포함한다. 통신 네트워크는 일반적으로 공중 및/또는 사설 네트워크를 포함할 수 있고, 근거리, 광역, 광역 도시권, 저장 및/또는 다른 타입의 네트워크를 포함할 수 있으며, 아날로그 기술, 디지털 기술, 광학 기술, 무선 기술, 네트워킹 기술 및 인터네트워킹 기술을 포함하지만, 이에 결코 제한되지 않는 통신 기술을 채용할 수 있다.
또한, 장치는 통신 프로토콜 및 메시지(예를 들어, 시스템에 의해 생성, 전송, 수신, 저장 및/또는 처리된 메시지)를 이용할 수 있으며, 이와 같은 메시지는 통신 네트워크 또는 매체에 의해 전달될 수 있다는 것이 주목되어야 한다. 문맥이 달리 요구하지 않는 한, 본 발명은 어떤 특정 통신 메시지 타입, 통신 메시지 형식 또는 통신 프로토콜로 제한되는 것으로 해석되지 않아야 한다. 따라서, 통신 메시지는 일반적으로 제한 없이 프레임, 패킷 데이터그램, 사용자 데이터그램, 셀 또는 다른 타입의 통신 메시지를 포함할 수 있다. 문맥이 달리 요구하지 않는 한, 특정 통신 프로토콜에 대한 참조는 예시적이며, 대안적인 실시예는 적절히 이와 같은 통신 프로토콜의 변형(가끔 행해질 수 있는 프로토콜의 수정 또는 확장) 또는 알려져 있거나 향후 개발될 다른 프로토콜을 채용할 수 있다는 것이 이해될 것이다.
또한, 논리 흐름은 여기서 본 발명의 다양한 양태를 증명하기 위해 설명될 수 있고 본 발명을 어떤 특정 논리 흐름 또는 논리 구현으로 제한하는 것으로 해석되지 않는다는 것이 주목되어야 한다. 설명된 논리는 종합적인 결과를 변경하거나 본 발명의 참된 범위에서 벗어나지 않고 여러 논리 블록(예를 들어, 프로그램, 모듈, 인터페이스, 함수 또는 서브루틴)으로 분할될 수 있다. 종종, 논리 요소는 종합적인 결과를 변경하거나 본 발명의 참된 범위에서 벗어나지 않고 여러 논리 구조(예를 들어, 논리 게이트, 루핑 기초 요소(looping primitives), 조건부 논리(conditional logic) 및 다른 논리 구조)를 이용하여 추가, 수정, 생략, 서로 다른 순서로 수행 또는 구현될 수 있다.
본 발명은 프로세서(예를 들어, 마이크로프로세서, 마이크로 제어기, 디지털 신호 프로세서 또는 범용 컴퓨터)와 함께 사용하기 위한 컴퓨터 프로그램 논리, 프로그램 가능한 논리 장치(예를 들어, 필드 프로그램 가능한 게이트 어레이(FPGA) 또는 다른 PLD)와 함께 사용하기 위한 프로그램 가능한 논리, 개별 구성 요소, 집적 회로(예를 들어, 주문형 반도체(ASIC)), 또는 이의 어떤 조합을 포함하는 어떤 다른 수단을 포함하지만 결코 이에 제한되지 않는 많은 서로 다른 형태로 실시될 수 있다. 본 발명의 전형적인 실시예에서, 주로 설명된 논리의 모두는 컴퓨터 실행 가능한 형태로 변환되고, 이와 같이 컴퓨터 판독 가능한 매체에 저장되며, 운영 체제의 제어하에 마이크로프로세서에 의해 실행되는 컴퓨터 프로그램 명령어의 세트로 구현된다.
이전에 여기에 설명된 기능의 모두 또는 부분을 구현하는 컴퓨터 프로그램 논리는 소스 코드 형태, 컴퓨터 실행 가능한 형태 및 다양한 중간 형태(예를 들어, 어셈블러, 컴파일러, 링커 또는 로케이터에 의해 생성되는 형태)를 포함하지만 결코 이에 제한되지 않는 다양한 형태로 실시될 수 있다. 소스 코드는 다양한 운영 체제 또는 운영 환경과 함께 사용하기 위한 어느 다양한 프로그래밍 언어(예를 들어, 객체 코드, 어셈블리 언어, 또는 Fortran, C, C++, JAVA 또는 HTML과 같은 높은 수준의 언어)로 구현되는 일련의 컴퓨터 프로그램 명령어를 포함할 수 있다. 소스 코드는 다양한 데이터 구조 및 통신 메시지를 정의하고 사용할 수 있다. 소스 코드는(예를 들어, 해석기를 통해) 컴퓨터 실행 가능한 형태로 있을 수 있거나 소스 코드는(예를 들어, 번역기, 어셈블러 또는 컴파일러를 통해) 컴퓨터 실행 가능한 형태로 변환될 수 있다.
컴퓨터 프로그램은 반도체 메모리 장치(예를 들어, RAM, ROM, PROM, EEPROM 또는 플래시 프로그램 가능한 RAM), 자기 메모리 장치(예를 들어, 디스켓 또는 고정 디스크), 광 메모리 장치(예를 들어, CD-ROM), PC 카드(예를 들어, PCMCIA 카드) 또는 다른 메모리 장치와 같은 유형의 저장 매체에서 영구적 또는 일시적으로 어떤 형태(예를 들어, 소스 코드 형태, 컴퓨터 실행 가능한 형태 또는 중간 형태로)로 고정될 수 있다. 컴퓨터 프로그램은 아날로그 기술, 디지털 기술, 광학 기술, 무선 기술, 네트워킹 기술 및 인터네트워킹 기술을 포함하지만, 이에 결코 제한되지 않는 다양한 통신 기술 중 어느 하나를 이용하여 컴퓨터로 전송할 수 있는 신호로 어떤 형태에 고정될 수 있다. 컴퓨터 프로그램은 인쇄 또는 전자 문서(예를 들어, 개별 포장 소프트웨어(shrink wrapped software))를 수반하면서 이동식 저장 매체로서 어떤 형태에서 분산되고, 컴퓨터 시스템(예를 들어, 시스템 ROM 또는 고정 디스크 상에)를 미리 적재하며, 또는 통신 시스템(예를 들어, 인터넷 또는 월드 와이드 웹)을 통해 서버 또는 전자 게시판으로부터 분산될 수 있다.
이전에 여기에 설명된 기능의 모두 또는 부분을 구현하는 (프로그램 가능한 논리 장치와 함께 사용하기 위한 프로그램 가능한 논리를 포함하는) 하드웨어 논리는 전통적인 수동 방법을 이용하여 설계될 수 있거나, 컴퓨터 이용 설계(CAD), 하드웨어 기술 언어(예를 들어, VHDL 또는 AHDL) 또는 PLD 프로그래밍 언어(예를 들어, PALASM, ABEL 또는 CUPL)와 같은 다양한 도구를 이용하여 전자식으로 설계, 캡처, 시뮬레이션 또는 문서화될 수 있다.
프로그램 가능한 논리는 반도체 메모리 장치(예를 들어, RAM, ROM, PROM, EEPROM 또는 플래시 프로그램 가능한 RAM), 자기 메모리 장치(예를 들어, 디스켓 또는 고정 디스크), 광 메모리 장치(예를 들어, CD-ROM) 또는 다른 메모리 장치와 같은 적어도 하나의 유형의 저장 매체에 영구적 또는 일시적으로 고정될 수 있다. 프로그램 가능한 논리는 아날로그 기술, 디지털 기술, 광학 기술, 무선 기술(예를 들어, 블루투스), 네트워킹 기술 및 인터네트워킹 기술을 포함하지만, 이에 결코 제한되지 않는 다양한 통신 기술 중 어느 하나를 이용하여 컴퓨터로 전송할 수 있는 신호로 고정될 수 있다. 프로그램 가능한 논리는 인쇄 또는 전자 문서(예를 들어, 개별 포장 소프트웨어)를 수반하면서 이동식 저장 매체로서 분산되거나, 컴퓨터 시스템(예를 들어, 시스템 ROM 또는 고정 디스크 상에)를 미리 적재되거나, 통신 시스템(예를 들어, 인터넷 또는 월드 와이드 웹)을 통해 서버 또는 전자 게시판으로부터 분산될 수 있다. 물론, 본 발명의 일부 실시예는 소프트웨어(예를 들어, 컴퓨터 프로그램 제품) 및 하드웨어 양방의 조합으로 구현될 수 있다. 본 발명의 또 다른 실시예는 전적으로 하드웨어 또는 전적으로 소프트웨어로 구현된다.
전술한 본 발명의 실시예는 단지 예시적인 것으로 의도되며, 많은 변경 및 수정이 당업자들에게 자명할 것이다. 그러한 모든 변경 및 수정은 어느 첨부된 청구항에 정의된 바와 같은 본 발명의 범위 내에 있도록 의도된다.

Claims (24)

  1. 시스템이 적어도 하나의 카메라를 포함하는 적어도 하나의 카메라를 교정하는 컴퓨터 구현 방법에 있어서,
    팬, 줌 및 틸트 좌표에 의해 특징 지워지는 배향(orientation)을 가진 상기 적어도 하나의 카메라로부터의 비디오 피드를 표시하는 단계;
    지리 공간 좌표에 의해 특징 지워지는 영역의 지도를 표시하는 단계;
    사용자가 적어도 하나의 입력 장치를 이용하여 적어도 세 쌍의 지점을 선택하도록 허용하되, 상기 쌍의 제1지점은 상기 지도에서 선택되고, 상기 쌍의 제2지점은 상기 비디오 피드로부터 선택되며, 상기 제1지점 및 상기 제2지점은 동일한 지리적 위치에 상응하는 단계;
    컴퓨터 프로세스에서, 상기 지도에서 선택된 적어도 세 지점을 지리 공간 좌표에서 제1직교 좌표계에 의해 정의된 직교 좌표로 변환하는 단계;
    컴퓨터 프로세스에서, 상기 비디오 피드에서 선택된 적어도 세 지점을 팬, 줌 및 틸트 좌표에서 제2직교 좌표계에 의해 정의된 직교 좌표로 변환하는 단계; 및
    컴퓨터 프로세스에서, 상기 적어도 세 쌍의 지점에 대한 직교 좌표에 기초하여 상기 제1직교 좌표계 및 상기 제2직교 좌표계 사이의 수학적 회전을 결정하는 단계;를 포함하는 컴퓨터 구현 방법.
  2. 제1항에 있어서, 상기 수학적 회전은 행렬인 컴퓨터 구현 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 카메라의 상기 위치를 상기 지도에 표시하는 단계;를 더 포함하는 컴퓨터 구현 방법.
  4. 제1항에 있어서, 상기 지리 공간 좌표는 위도, 경도 및 고도 좌표인 컴퓨터 구현 방법.
  5. 제1항에 있어서, 상기 입력 장치는 마우스, 커서, 조준용 십자선, 터치 스크린 및 키보드 중 적어도 하나인 컴퓨터 구현 방법.
  6. 제1항에 있어서,
    상기 사용자가 상기 적어도 하나의 입력 장치를 이용하여 상기 지도에서 적어도 하나의 지점을 선택하도록 허용하는 단계;
    컴퓨터 프로세스에서, 상기 선택된 지점에 대한 상기 지리 공간 좌표를 상기 제1직교 좌표계에 의해 정의된 직교 좌표로 변환하는 단계;
    컴퓨터 프로세스에서, 상기 제2직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 상기 회전을 상기 선택된 지점에 대한 상기 직교 좌표에 적용하는 단계;
    컴퓨터 프로세스에서, 상기 제2직교 좌표계에 의해 정의된 상기 직교 좌표를 상기 선택된 지점에 대한 팬 및 틸트 좌표로 변환하는 단계; 및
    상기 선택된 지점에 대한 상기 팬 및 틸트 좌표에 기초하여 배향 명령어를 상기 적어도 하나의 카메라에 제공하는 단계;를 더 포함하는 컴퓨터 구현 방법.
  7. 제1항에 있어서,
    적어도 하나의 타겟에 대해 센서로부터 좌표를 수신하는 단계;
    상기 적어도 하나의 타겟에 대한 좌표가 상기 제1직교 좌표계에 의해 정의된 직교 좌표가 아닌 경우에, 컴퓨터 프로세스에서 상기 좌표를 상기 제1직교 좌표계에 의해 정의된 직교 좌표로 변환하는 단계;
    컴퓨터 프로세스에서 상기 제2직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 상기 회전을 상기 제1직교 좌표계에 의해 정의된 상기 직교 좌표에 적용하는 단계;
    컴퓨터 프로세스에서 상기 제2직교 좌표계에 의해 정의된 상기 직교 좌표를 팬 및 틸트 좌표로 변환하는 단계; 및
    상기 팬 및 틸트 좌표에 기초하여 배향 명령어를 상기 적어도 하나의 카메라에 제공하는 단계;를 더 포함하는 컴퓨터 구현 방법.
  8. 제7항에 있어서,
    상기 적어도 하나의 센서의 위치를 상기 지도에 표시하는 단계;를 더 포함하는 컴퓨터 구현 방법.
  9. 제7항에 있어서,
    상기 적어도 하나의 타겟의 위치를 상기 지도에 표시하는 단계;를 더 포함하는 컴퓨터 구현 방법.
  10. 제1항에 있어서,
    상기 비디오 피드는 상위 왼쪽, 상위 오른쪽, 하위 왼쪽 및 하위 오른쪽 모서리를 갖지며, 상기 방법은,
    컴퓨터 프로세스에서 상기 카메라 배향에 대한 팬, 줌 및 틸트 좌표에 기초하여 상기 비디오 피드의 적어도 하위 왼쪽 및 하위 오른쪽 모서리에 대한 유효(effective) 팬 및 틸트 각도를 결정하는 단계;
    컴퓨터 프로세스에서 상기 비디오 피드의 적어도 하위 왼쪽 및 하위 오른쪽 모서리에 대한 상기 유효 팬 및 틸트 각도를 상기 제2직교 좌표계에 의해 정의된 직교 좌표로 변환하는 단계;
    컴퓨터 프로세스에서 상기 비디오 피드의 적어도 하위 왼쪽 및 하위 오른쪽 모서리에 대해 상기 제1직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 상기 회전을 상기 제2직교 좌표계에 의해 정의된 상기 직교 좌표에 적용하는 단계;
    컴퓨터 프로세스에서 상기 비디오 피드의 적어도 하위 왼쪽 및 하위 오른쪽 모서리에 대해 상기 제1직교 좌표계에 의해 정의된 상기 직교 좌표를 이용하여 시야 원추(view cone)를 결정하는 단계;
    컴퓨터 프로세스에서 상기 비디오 피드의 상기 상위 왼쪽 및 상위 오른쪽 모서리에 기초하여 상기 시야 원추를 결정하는 단계; 및
    상기 시야 원추를 상기 지도에 표시하는 단계;를 포함하는 컴퓨터 구현 방법.
  11. 제10항에 있어서, 상기 카메라에 대한 상기 틸트 좌표가 지평선 아래에 있으면, 상기 비디오 피드의 상기 상위 왼쪽 및 상위 오른쪽 모서리에 기초하여 상기 시야 원추를 결정하는 단계는,
    컴퓨터 프로세스에서 상기 카메라 배향에 대한 상기 팬, 줌 및 틸트 좌표에 기초하여 상기 비디오 피드의 상기 상위 왼쪽 및 상위 오른쪽 모서리에 대한 유효 팬을 결정하는 단계;
    컴퓨터 프로세스에서 상기 비디오 피드의 상기 상위 왼쪽 및 상위 오른쪽 모서리에 대한 유효 팬 및 틸트 각도를 상기 제2직교 좌표계에 의해 정의된 직교 좌표로 변환하는 단계;
    컴퓨터 프로세스에서 상기 비디오 피드의 상기 상위 왼쪽 및 상위 오른쪽 모서리에 대해 상기 제1직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 상기 수학적 회전을 상기 직교 좌표에 적용하는 단계;
    컴퓨터 프로세스에서 상기 상위 왼쪽, 상위 오른쪽, 하위 왼쪽 및 하위 오른쪽 모서리에 대해 상기 제1직교 좌표계에 의해 정의된 상기 직교 좌표에 기초하여 상기 시야 원추를 결정하는 단계;를 포함하는 컴퓨터 구현 방법.
  12. 제11항에 있어서, 상기 시야 원추는 다각형이며, 상기 상위 왼쪽, 상위 오른쪽, 하위 왼쪽 및 하위 오른쪽 모서리에 대해 상기 제1직교 좌표계에 의해 정의된 상기 직교 좌표는 상기 다각형의 꼭지점인 컴퓨터 구현 방법.
  13. 제10항에 있어서, 상기 카메라에 대한 상기 틸트 좌표가 지평선 위에 있으면, 상기 비디오 피드의 상기 상위 왼쪽 및 상위 오른쪽 모서리에 기초하여 상기 시야 원추를 결정하는 단계는,
    컴퓨터 프로세스에서 상기 카메라에 대한 상기 팬, 줌 및 틸트 좌표에 기초하여 상기 비디오 피드의 상기 상위 왼쪽 및 상위 오른쪽 모서리에 대해 유효 틸트 각도를 결정하는 단계;
    컴퓨터 프로세스에서 상기 카메라의 확인 가능한 거리에 기초하여 상기 비디오 피드의 상기 상위 왼쪽 및 상위 오른쪽 모서리에 대해 상기 제1직교 좌표계에 의해 정의된 좌표를 결정하는 단계; 및
    컴퓨터 프로세스에서 상기 상위 왼쪽, 상위 오른쪽, 하위 왼쪽 및 하위 오른쪽 모서리에 대해 상기 제1직교 좌표계에 의해 정의된 상기 직교 좌표에 기초하여 상기 시야 원추를 결정하는 단계;를 포함하는 컴퓨터 구현 방법.
  14. 제13항에 있어서, 상기 시야 원추는 다각형이며, 상기 상위 왼쪽, 상위 오른쪽, 하위 왼쪽 및 하위 오른쪽 모서리에 대해 상기 제1직교 좌표계에 의해 정의된 상기 직교 좌표는 상기 다각형의 꼭지점인 컴퓨터 구현 방법.
  15. 명령어가 적어도 하나의 컴퓨터에 로드(loaded)될 때, 팬, 줌 및 틸트 좌표에 의해 특징 지워지는 적어도 하나의 카메라 배향을 교정하는 프로세스를 설정(establish)하는 명령어로 인코딩된 적어도 하나의 비일시적(non-transitory) 컴퓨터 판독 가능한 매체를 포함하는 장치에 있어서,
    상기 프로세스는,
    사용자가 적어도 하나의 입력 장치를 이용하여 적어도 세 쌍의 지점을 선택하도록 허용하되, 상기 쌍의 제1지점은 지리 공간 좌표에 의해 특징 지워지는 지도에서 선택되고, 상기 쌍의 제2지점은 상기 적어도 하나의 카메라에서의 비디오 피드로부터 선택되며, 상기 제1지점 및 상기 제2지점은 동일한 지리적 위치에 상응하는 단계,
    상기 지도에서 선택된 적어도 세 지점을 지리 공간 좌표에서 제1직교 좌표계에 의해 정의된 직교 좌표로 변환하는 단계;
    상기 비디오 피드에서 선택된 상기 적어도 세 지점을 팬, 줌 및 틸트 좌표에서 제2직교 좌표계에 의해 정의된 직교 좌표로 변환하는 단계; 및
    상기 적어도 세 쌍의 지점에 대한 상기 직교 좌표에 기초하여 상기 제1직교 좌표계 및 상기 제2직교 좌표계 사이의 수학적 회전을 결정하는 단계;를 포함하는 적어도 하나의 비일시적 컴퓨터 판독 가능한 매체를 포함하는 장치.
  16. 제15항에 있어서, 상기 명령어 설정 프로세스는,
    상기 선택된 지점에 대한 상기 지리 공간 좌표를 상기 제1직교 좌표계에 의해 정의된 직교 좌표로 변환하는 단계;
    상기 제2직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 상기 회전을 상기 선택된 지점에 대한 상기 직교 좌표에 적용하는 단계;
    상기 제2직교 좌표계에 의해 정의된 상기 직교 좌표를 상기 선택된 지점에 대한 팬 및 틸트 좌표로 변환하는 단계; 및
    상기 선택된 지점에 대한 상기 팬 및 틸트 좌표에 기초하여 배향 명령어를 상기 적어도 하나의 카메라에 제공하는 단계;를 더 포함하는 적어도 하나의 비일시적 컴퓨터 판독 가능한 매체를 포함하는 장치.
  17. 제15항에 있어서, 상기 명령어 설정 프로세스는,
    적어도 하나의 타겟에 대한 센서로부터 좌표를 수신하는 단계;
    상기 적어도 하나의 타겟에 대한 좌표가 상기 제1직교 좌표계에 의해 정의된 직교 좌표가 아닌 경우에, 상기 좌표를 상기 제1직교 좌표계에 의해 정의된 직교 좌표로 변환하는 단계;
    상기 제2직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 상기 회전을 상기 제1직교 좌표계에 의해 정의된 상기 직교 좌표에 적용하는 단계;
    상기 제2직교 좌표계에 의해 정의된 상기 직교 좌표를 팬 및 틸트 좌표로 변환하는 단계; 및
    상기 팬 및 틸트 좌표에 기초하여 배향 명령어를 상기 적어도 하나의 카메라에 제공하는 단계;를 더 포함하는 적어도 하나의 비일시적 컴퓨터 판독 가능한 매체를 포함하는 장치.
  18. 제15항에 있어서,
    상기 비디오 피드는 상위 왼쪽, 상위 오른쪽, 하위 왼쪽 및 하위 오른쪽 모서리를 포함하며,
    상기 명령어 설정 프로세스는,
    상기 카메라 배향에 대한 상기 팬, 줌 및 틸트 좌표에 기초하여 상기 비디오 피드의 적어도 하위 왼쪽 및 하위 오른쪽 모서리에 대한 효과적인 팬 및 틸트 각도를 결정하는 단계;
    상기 비디오 피드의 적어도 하위 왼쪽 및 하위 오른쪽 모서리에 대한 상기 효과적인 팬 및 틸트 각도를 상기 제2직교 좌표계에 의해 정의된 직교 좌표로 변환하는 단계;
    상기 비디오 피드의 적어도 하위 왼쪽 및 하위 오른쪽 모서리에 대해 상기 제1직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 상기 회전을 상기 제2직교 좌표계에 의해 정의된 상기 직교 좌표에 적용하는 단계;
    상기 비디오 피드의 적어도 하위 왼쪽 및 하위 오른쪽 모서리에 대해 상기 제1직교 좌표계에 의해 정의된 상기 직교 좌표를 이용하여 시야 원추를 결정하는 단계;
    상기 비디오 피드의 상기 상위 왼쪽 및 상위 오른쪽 모서리에 기초하여 상기 시야 원추를 결정하는 단계; 및
    상기 시야 원추를 상기 지도에 표시하는 단계;를 포함하는 적어도 하나의 비일시적 컴퓨터 판독 가능한 매체를 포함하는 장치.
  19. 적어도 하나의 카메라를 제어하는 교정 시스템에 있어서,
    프로세서, 및
    프로세스를 수행하기 위해 상기 프로세서에 의해 실행 가능한 명령어를 저장하는 메모리를 포함하되, 상기 프로세스는,
    영역의 지도를 표시하는 단계;
    관심 지점에 대해 상기 지도를 특징짓는 제1직교 좌표계에 의해 정의되는 직교 좌표를 결정하는 단계;
    상기 적어도 하나의 카메라로부터 비디오 피드를 특징짓는 제2직교 좌표계에 의해 정의된 직교 좌표를 결정하기 위해 상기 관심 지점에 대한 상기 직교 좌표에 수학적 회전을 적용하되, 상기 수학적 회전은 상기 제1직교 좌표계와 상기 제2직교 좌표계 사이에 변환을 제공하는 단계;
    상기 제2직교 좌표계에 의해 정의된 상기 직교 좌표를 상기 관심 지점에 대한 적어도 팬 및 틸트 좌표로 변환하는 단계;
    상기 관심 지점에 대한 적어도 팬 및 틸트 좌표에 기초하여 배향 명령어를 상기 적어도 하나의 카메라에 제공하는 단계; 및
    상기 적어도 하나의 카메라로부터의 상기 비디오 피드를 표시하는 단계;를 포함하는 교정 시스템.
  20. 제19항에 있어서, 상기 프로세스는
    사용자가 적어도 하나의 입력 장치를 이용하여 상기 지도에서 상기 관심 지점을 선택하도록 허용하는 단계;를 더 포함하는 교정 시스템.
  21. 제19항에 있어서, 상기 관심 지점은 센서로부터 수신되는 교정 시스템.
  22. 제1항 내지 제14항 중 어느 한 항에 있어서, 상기 직교 좌표들은 삼차원 직교 좌표들이며, 상기 제1직교 좌표계는 삼차원 직교 좌표계이고 상기 제2직교 좌표계는 삼차원 직교 좌표계인 컴퓨터 구현 방법.
  23. 제15항 내지 제18항 중 어느 한 항에 있어서, 상기 직교 좌표들은 삼차원 직교 좌표들이며, 상기 제1직교 좌표계는 삼차원 직교 좌표계이고 상기 제2직교 좌표계는 삼차원 직교 좌표계인 비일시적 컴퓨터 판독 가능한 매체를 포함하는 장치.
  24. 제19항 내지 제21항 중 어느 한 항에 있어서, 상기 직교 좌표들은 삼차원 직교 좌표계들이며, 상기 제1직교 좌표계는 삼차원 직교 좌표계이고 상기 제2직교 좌표계는 삼차원 직교 좌표계인 교정 시스템.

KR1020137015129A 2010-11-15 2010-11-15 감시 시스템에서 카메라 제어를 위한 시스템 및 방법 KR101523643B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2010/056691 WO2012067603A1 (en) 2010-11-15 2010-11-15 System and method for camera control in a surveillance system

Publications (2)

Publication Number Publication Date
KR20130103577A KR20130103577A (ko) 2013-09-23
KR101523643B1 true KR101523643B1 (ko) 2015-05-28

Family

ID=46084304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137015129A KR101523643B1 (ko) 2010-11-15 2010-11-15 감시 시스템에서 카메라 제어를 위한 시스템 및 방법

Country Status (7)

Country Link
EP (1) EP2641395B1 (ko)
KR (1) KR101523643B1 (ko)
AU (1) AU2010364001B2 (ko)
BR (1) BR112013010772A2 (ko)
CA (1) CA2816616C (ko)
WO (1) WO2012067603A1 (ko)
ZA (1) ZA201303047B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2993385B1 (fr) * 2012-07-16 2014-08-01 Egidium Technologies Procede et systeme de reconstruction de trajectoire 3d en temps reel
EP3643235A1 (en) * 2018-10-22 2020-04-29 Koninklijke Philips N.V. Device, system and method for monitoring a subject
CN112986929B (zh) * 2019-12-02 2024-03-29 杭州海康威视数字技术股份有限公司 联动监控的装置、方法及存储介质
JP2022057800A (ja) * 2020-09-30 2022-04-11 株式会社リコー 画像通信システム、通信管理装置、通信管理方法及びプログラム
JP2022057771A (ja) 2020-09-30 2022-04-11 株式会社リコー 通信管理装置、画像通信システム、通信管理方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6680746B2 (en) * 1994-11-28 2004-01-20 Canon Kabushiki Kaisha Apparatus and method for controlling configuration of video camera
US20080031493A1 (en) * 2006-05-22 2008-02-07 Martin Brogren Identification apparatus and method for identifying properties of an object detected by a video surveillance camera

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7151562B1 (en) * 2000-08-03 2006-12-19 Koninklijke Philips Electronics N.V. Method and apparatus for external calibration of a camera via a graphical user interface
US7019644B2 (en) * 2003-02-04 2006-03-28 Barrie Robert P Mobile object monitoring system
US7884849B2 (en) * 2005-09-26 2011-02-08 Objectvideo, Inc. Video surveillance system with omni-directional camera
EP1975752B1 (en) * 2007-03-30 2010-07-07 Abb Research Ltd. A method for operating remotely controlled cameras in an industrial process
KR101204082B1 (ko) * 2007-11-15 2012-11-22 삼성테크윈 주식회사 감시 카메라 시스템
US8237791B2 (en) * 2008-03-19 2012-08-07 Microsoft Corporation Visualizing camera feeds on a map
KR100961719B1 (ko) * 2008-07-07 2010-06-10 한국전자통신연구원 지리정보 시스템을 이용한 카메라 위치제어 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6680746B2 (en) * 1994-11-28 2004-01-20 Canon Kabushiki Kaisha Apparatus and method for controlling configuration of video camera
US20080031493A1 (en) * 2006-05-22 2008-02-07 Martin Brogren Identification apparatus and method for identifying properties of an object detected by a video surveillance camera

Also Published As

Publication number Publication date
AU2010364001B2 (en) 2015-02-19
EP2641395A1 (en) 2013-09-25
CA2816616A1 (en) 2012-05-24
CN103380618A (zh) 2013-10-30
WO2012067603A1 (en) 2012-05-24
ZA201303047B (en) 2014-07-30
CA2816616C (en) 2016-06-07
EP2641395B1 (en) 2019-10-09
AU2010364001A1 (en) 2013-05-30
BR112013010772A2 (pt) 2021-12-28
KR20130103577A (ko) 2013-09-23
EP2641395A4 (en) 2014-08-13

Similar Documents

Publication Publication Date Title
US8193909B1 (en) System and method for camera control in a surveillance system
US11710322B2 (en) Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program
CN112567201B (zh) 距离测量方法以及设备
EP3321888B1 (en) Projected image generation method and device, and method for mapping image pixels and depth values
US10061486B2 (en) Area monitoring system implementing a virtual environment
US20170094227A1 (en) Three-dimensional spatial-awareness vision system
CN111081199B (zh) 选择用于显示的时间分布的全景图像
JP2022009671A (ja) 監視方法、監視システムおよびコンピュータプログラム
KR20150096922A (ko) 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
US11200640B2 (en) Displaying oblique imagery
KR101523643B1 (ko) 감시 시스템에서 카메라 제어를 위한 시스템 및 방법
KR100961719B1 (ko) 지리정보 시스템을 이용한 카메라 위치제어 방법 및 장치
JP2005091298A (ja) 画像処理を用いたグローバル座標取得装置
JP6436461B2 (ja) 鉛直軸校正装置、方法及びプログラム
US10447991B1 (en) System and method of mapping elements inside walls
JP2020042667A (ja) 投影システム、投影方法及びプログラム
CN113227818B (zh) 使用对齐参照系在物理空间中进行物体跟踪的系统
Milosavljević et al. Transforming smartphone into geospatial video provider

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180510

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190516

Year of fee payment: 5