KR20170102424A - 팬 및 틸트 제어가 가능한 카메라를 제어하기 위한 방법 및 디바이스 - Google Patents

Abstract

본 발명은 일반적으로 팬 및 틸트 제어가 가능한 카메라를 제어하기 위한 방법 및 디바이스에 관한 것이고, 더 구체적으로는 이러한 카메라의 시계의 조정을 제어하기 위한 방법 및 디바이스에 관한 것이다.

Description

팬 및 틸트 제어가 가능한 카메라를 제어하기 위한 방법 및 디바이스{A METHOD AND DEVICE FOR CONTROLLING A CAMERA CAPABLE OF PAN AND TILT CONTROL}

본 발명은 일반적으로 팬 및 틸트 제어(pan and tilt control)가 가능한 카메라를 제어하기 위한 방법 및 디바이스에 관한 것이고, 더 구체적으로는 이러한 카메라의 시계(field of view)의 조정(adjustments)을 제어하기 위한 방법 및 디바이스에 관한 것이다.

많은 비디오 카메라 애플리케이션(video camera application)들에 있어서, 예를 들어, 모니터링 애플리케이션(monitoring application)들에 있어서, 넓은 영역을 커버(cover)하기 위해 팬(pan) 및 틸트(tilt)(그리고 선택에 따라서는 줌(zoom) 및/또는 회전(rotate))를 행할 수 있는 카메라를 사용하는 것이 이롭다. 이러한 카메라는 PT(Pan-Tilt; 팬-틸트) 카메라, PTZ(Pan-Tilt-Zoom; 팬-틸트-줌) 카메라 등과 같은 명칭으로 알려져 있다. PT 기능은 또한 소위 PT 헤드(PT head) 상에 장착된 카메라에 의해 제공될 수 있으며, 여기서 PT 헤드는 그 위에 장착된 카메라를 패닝(panning) 및 틸팅(tilting)시킬 수 있는 동력을 갖춘 장착 기저부(motorized mounting base)이다. 예를 들어, 카메라의 팬/틸트 움직임 동안, 카메라에 의해 촬영(capture)된 비디오 스트림(video stream)의 비트 레이트(bit rate)는 높은 레벨에 도달할 수 있다. 이것은 비디오 스트림 내의 조정, 즉, 비디오 스트림 내의 두 개의 연속하는 이미지 프레임(image frame)들 간의 조정이 P-블록 인코딩(P-block encoding)의 달성을 어렵게 만들기 때문이다. 결과적으로, 이미지 프레임 내의 대부분의 픽셀 블록(pixel block)들 혹은 모든 픽셀 블록들은 이러한 조정 동안 비용이 많이 드는 I-블록들을 사용하여 인코딩되고, 이것은 비트 레이트의 증가를 초래한다.

비디오 프로세싱(video processing)에서는, 비디오 스트림의 지각 품질(perceived quality)을 유지하면서 비트 레이트를 감소시키려는 계속적인 노력이 존재한다. 앞서의 문제에 대한 해법은 비디오 스트림을 인코딩하는 인코더(encoder)의 움직임 벡터 탐색 범위(motion vector search range)를 팬/틸트 조정의 속력에 따라 조절하는 것이다. 두 개의 이미지들 간의 픽셀(pixel)들의 블록(block)들을 매칭(matching)시키기 위한 탐색(searching)은 일반적으로 많은 양의 산술적 연산(arithmetic computation)을 요구하고 움직임 벡터 탐색 범위의 증가는 더 많은 비교들이 수행되게 하기 때문에, 이러한 해법이 갖는 문제는 인코딩 프로세스의 연산 복잡도가 증가하게 된다는 것, 따라서 인코딩 프로세스를 완료하기 위해 더 많은 프로세서 파워(processor power)를 요구하고 그리고/또는 프로세싱 시간을 증가시키게 된다는 것이다.

따라서, 이러한 맥락에서 개선의 필요성이 존재한다.

앞서의 상황을 고려하여 볼 때, 본 발명의 목적은 앞서 논의된 단점들 중 하나 혹은 수 가지 단점들을 해결하거나 적어도 감소시키려는 것이다. 일반적으로, 앞서의 목적은 첨부되는 본원의 독립 특허 청구항들에 의해 달성된다.

제 1 실시형태에 따르면, 본 발명은 팬 및 틸트(Pan and Tilt, PT) 제어가 가능한 카메라를 제어하기 위한 방법에 의해 실현되며, 여기서 카메라는 카메라에 의해 촬영된 비디오 스트림을 인코딩하도록 구성된 인코더에 연결되고, 인코더는 움직임 벡터 탐색 범위(motion vector search range)를 가지며, 본 방법은,

- 비디오 스트림 내의 현재 이미지 프레임(image frame)의 제 1 시계(Field Of View, FOV) 설정(setting)을 검색(retrieving)하는 단계와,

- 제 1 FOV 설정으로부터 비디오 스트림 내의 후속하는 후속 이미지 프레임에서의 제 2 FOV 설정으로의 FOV의 원하는 조정(desired adjustment)과 관련된 사용자 입력을 수신하는 단계와,

- 카메라의 초당 프레임(Frame Per Second, FPS) 설정을 사용하여 현재 이미지 프레임과 후속 이미지 프레임 간의 기간(period of time)을 정의하고, 이러한 기간을 사용하여 FOV의 원하는 조정의 속력 및 방향을 계산하는 단계와,

- 앞서의 기간 동안 인코더의 움직임 벡터 탐색 범위를 카메라의 FOV의 최대 조정으로 변환(translating)하고 FOV의 최대 조정의 속력을 계산함으로써 제 1 임계 속력(threshold speed)을 결정하는 단계와,

- 제 1 임계 속력을 1보다 큰 값과 곱함으로써 제 2 임계 속력을 결정하는 단계와, 그리고

- FOV의 원하는 조정의 속력을 제 1 임계 속력 및 제 2 임계 속력과 비교하는 단계를 포함한다.

만약 FOV의 원하는 조정의 속력이 제 2 임계 속력보다 더 크다면 혹은 제 1 임계 속력보다 더 작다면, 앞서의 기간 동안 카메라의 FOV가 제 1 FOV 설정으로부터 제 2 FOV 설정으로 조정된다. 달리 말하면, 카메라의 FOV는 사용자 입력에 따라 조정된다.

하지만, 만약 FOV의 원하는 조정의 속력이 제 1 임계 속력과 제 2 임계 속력 사이에 있다면, FOV의 원하는 조정의 방향 및 제 1 임계 속력에 근거하여 앞서의 기간 동안 카메라의 FOV가 조정된다.

이것이 의미하는 것은, 사용자가 카메라의 FOV를 조정하기를 원하되, 인코더가 인코더의 움직임 벡터 탐색 범위를 사용하여 비디오 스트림 내의 두 개의 연속하는 이미지들 간에 매칭되는 블록들을 여전히 찾을 수 있도록 하는 그러한 크기(magnitude)로 카메라의 FOV를 조정하기를 원하는 경우, (카메라의 팬/틸트 움직임을 통한) FOV의 조정은 사용자에 의해 요청된 대로 수행됨을 의미한다. 예를 들어, 만약 인코더의 움직임 벡터 탐색 범위가 15개의 픽셀들이고, 사용자가 비디오 스트림 내의 두 개의 연속하는 이미지들 간에 15개보다 적거나 같은 픽셀 차이에 대응하는 크기로 FOV를 조정하기를 원한다면, 조정은 사용자가 원하는 대로 수행되고, 비디오 스트림 내의 픽셀들의 대부분의 블록들은 P-블록들을 사용하여 인코딩될 것이다.

또한, 만약 사용자가 카메라의 FOV를 조정하기를 원하되, 움직임 벡터 탐색 범위의 임계 배수(threshold times)보다 큰 것에 대응하는 크기, 예를 들어, 움직임 벡터 탐색 범위가 15개의 픽셀들인 경우 비디오 스트림 내의 두 개의 연속하는 이미지들 간에 50개의 픽셀 차이에 대응하는 크기로 카메라의 FOV를 조정하기를 원한다면, 조정은 사용자가 원하는 대로 수행되고, 비디오 스트림 내의 픽셀들의 대부분의 블록들은 I-블록들을 사용하여 인코딩될 것이다.

하지만, 만약 사용자가 카메라의 FOV를 조정하기를 원하되, 두 개의 연속하는 이미지 프레임들 간의 픽셀 차이가 움직임 벡터 탐색 범위보다 큰 것에 대응하는 크기, 하지만 여전히 제 2 임계 차이보다는 작은 크기로 카메라의 FOV를 조정하기를 원한다면, FOV의 조정의 속력은 사용자로부터의 원했던 것과 비교하여 감소되고, 이에 따라 비디오 스트림 내의 픽셀들의 대부분의 블록들은 P-블록들을 사용하여 인코딩될 것이다.

본 실시예의 하나의 장점은 FOV의 조정의 특정 범위에 대해 조정의 속력이 인코더의 움직임 벡터 탐색 범위를 충족시키도록 제한(cap)되게 된다는 것이다. 결과적으로, 인코더는 픽셀들의 블록들 대부분을 P-블록들을 사용하여 인코딩할 수 있을 것이고, 사용자는 원하는 속력과 비교하여 카메라의 FOV의 조정의 속력의 편차(deviation)를 인지하지 못할 수 있다. 예를 들어, 사용자 입력은 다음 24개의 이미지 프레임들에 걸쳐 수평 방향으로 96도인 FOV의 조정과 관련될 수 있다. 이것이 의미하는 것은, 각각의 프레임에 대해, FOV가 4도씩 조정될 필요가 있음을 의미한다. (인코더의 움직임 벡터 탐색 범위에 근거하여) FOV의 최대 조정의 속력을 결정하는 경우, 이것은 본 예에서 이미지 프레임 당 3도의 조정에 대응하도록 계산된다. 따라서, FOV의 조정은 대신에 FOV의 80도 조정이 다음 32개의 프레임들 동안 수행되도록 변경될 수 있고, 이것은 비트 레이트가 더 낮아지게 할 것인데 왜냐하면 인코더는 이미지 프레임들 대부분을 P-블록들을 사용하여 인코팅할 수 있기 때문이며, 그리고 사용자는 조정이 교란(disturbing)으로서 취급하는 8개의 추가 프레임들을 지각하지 못할 수 있다.

용어에 있어서, "움직임 벡터 탐색 범위(motion vector search range)"는, 본 명세서의 맥락에서, 인코더 내의 움직임 보상(motion compensation)을 위한 이미지 탐색 범위인 것으로 이해돼야 한다. 비디오 압축에 있어서, 움직임 벡터는 움직임 추정 프로세스에서 핵심 요소이다. 이것은 임의의 이미지 프레임 내의 픽셀들의 블록을 나타내는데 사용되는바, 또 하나의 다른 이미지 프레임(기준 이미지(reference image)), 예를 들어, 비디오 스트림 내에서의 직전 이미지 프레임에서 픽셀들의 이러한 블록(혹은 픽셀들의 유사한 블록)의 위치에 근거하여 해당 이미지 프레임 내의 픽셀들의 블록을 나타내는데 사용된다. 앞에서 기술된 바와 같이, 움직임 벡터 탐색 범위는 픽셀들의 유사한 블록에 대한 탐색이 수행되는 기준 이미지에서의 영역의 크기를 결정한다.

용어에 있어서, "FOV 설정(FOV setting)"은, 본 명세서의 맥락에서, 카메라의 이미지 센서(image sensor)에 의해 촬영되어 임의의 주어진 순간에 인코더로 전송되는 카메라 주변의 장면(scene)의 범위(extent)인 것으로 이해돼야 한다. 시계(field of view, FOV)는 또한 시각(Angle Of View, AOV)으로 지칭될 수 있다. 카메라의 이미지 센서가 촬영하는 카메라 주변의 장면의 범위와 용어 FOV를 구분하는 것이 중요하다. 보통의 경우, 이미지 센서에 의해 촬영되는 이미지 데이터는 FOV와 동등하지만, 일부 경우들에서, 소위 디지털 FOV(digital FOV)가 이용될 수 있다. 이것이 의미하는 것은, 이미지 센서에 의해 촬영된 데이터로부터 단지 하위 일부분(subpart)만이 인코더로 전송되고 후속하여, 인코딩된 비디오 스트림을 형성함을 의미한다. 본 명세서에서, 용어 "카메라의 FOV"는 FOV의 앞서 기술된 구현예들 모두를 포괄하는 것으로 이해돼야 한다. 청구항들을 포함하는 본 명세서 전체에 걸쳐, "FOV" 및 "FOV 설정"은 카메라의 이미지 센서에 의해 촬영되어 임의의 주어진 순간에 인코더로 전송되는 카메라 주변의 장면의 범위를 나타내기 위해 같은 의미로 사용된다.

제 1 임계 속력을 결정할 때, 인코더의 움직임 벡터 탐색 범위(예를 들어, 15개의 픽셀들)는 대신 FOV의 조정을 기술(describe)하기 위해 변환(translate)된다. 달리 말하면, 인코더로 하여금 움직임 벡터 탐색 범위에 의해 정의되는 영역 내에서 두 개의 이미지 프레임들 간의 픽셀들의 매칭되는 블록들을 여전히 찾을 수 있게 하는 FOV의 최대 조정이 무엇인지가 계산된다. 당연한 것으로, 이것은 카메라에 의해 촬영된 장면의 내용물들이 두 개의 이미지들 간에 움직이지 않았다는 가정에 근거하여 행해지는 이론적인 계산이다. 이러한 이론적 계산에 근거하여, FOV의 최대 조정의 속력이 계산될 수 있고 제 1 임계 속력으로서 사용될 수 있다. 다수의 픽셀들(움직임 벡터 탐색 범위)로부터 FOV의 조정으로의 변환은 카메라에 의해 촬영된 이미지 프레임들의 이미지 해상도와 관련되어 있고, 뿐만 아니라 카메라에 의해 촬영되어 인코더에 의해 인코딩되는 임의의 주어진 장면의 각도 범위(angular extent)(일부 경우들에서는, 카메라의 렌즈의 시각(angle of view))와 관련되어 있다.

일부 실시예들에 따르면, 카메라는 또한 줌(Zoom, Z) 제어가 가능하다.

일부 실시예들에 따르면, 카메라는 또한 회전(Rotation, R) 제어가 가능하다.

일부 실시예들에 따르면, 인코더는 카메라의 FPS 설정과는 다른 FPS 설정으로 비디오 스트림을 인코딩하도록 구성된다. 이러한 경우에, 인코더의 FPS 설정과 카메라의 FPS 설정 간의 비율(ratio)이 이롭게 계산되고 제 1 임계 속력을 결정할 때 고려된다. 예를 들어, 만약 카메라가 초당 20개의 이미지 프레임들을 촬영하는 동안 인코더가 초당 단지 하나의 이미지 프레임만을 인코딩한다면, 카메라에 대한 하나의 이미지 프레임으로부터 다음 이미지 프레임으로의 FOV의 최대 조정은 앞에서 기술된 바와 같이 단지 움직임 벡터 탐색 범위의 1/20에 대응할 수 있다. 대안적으로, 이미지 프레임 n로부터 이미지 프레임 n+20으로의 FOV의 최대 조정은 앞에서 기술된 바와 같이 단지 움직임 벡터 탐색 범위에 대응할 수 있다.

일부 실시예들에 따르면, 제 2 임계 속력은 제 1 임계 속력을 2와 곱함으로써 결정된다. 이것은 FOV의 조정의 실제 속력과 원하는 속력 간의 사용자들의 지각 편차와 인코더로부터 출력되는 인코딩된 비디오 스트림의 비트 레이트의 감소 간에 양호한 균형(good balance)으로서 고려될 수 있다.

제 2 실시형태에서, 본 발명은, 프로세싱 능력을 갖는 디바이스에 의해 실행될 때 제 1 실시형태의 방법을 수행하도록 구성된 명령들을 갖고 있는 컴퓨터-판독가능 저장 매체를 포함하는 컴퓨터 프로그램 제품(computer program product)을 제공한다.

제 3 실시형태에서, 본 발명은, 팬 및 틸트(PT) 제어가 가능한 카메라를 제어하도록 구성된 제어 디바이스를 제공하고, 여기서 카메라는 카메라에 의해 촬영된 비디오 스트림을 인코딩하도록 구성된 인코더에 연결되고, 인코더는 움직임 벡터 탐색 범위를 가지며, 제어 디바이스는 프로세서를 포함하고, 프로세서는,

비디오 스트림 내의 현재 이미지 프레임의 제 1 시계(FOV) 설정을 카메라로부터 검색하는 것과,

제 1 FOV 설정으로부터 비디오 스트림 내의 후속하는 후속 이미지 프레임에서의 제 2 FOV 설정으로의 FOV의 원하는 조정과 관련된 사용자 입력을 수신하는 것과,

카메라의 초당 프레임(FPS) 설정을 사용하여 현재 이미지 프레임과 후속 이미지 프레임 간의 기간을 정의하고, 이러한 기간을 사용하여 FOV의 원하는 조정의 속력 및 방향을 계산하는 것과,

앞서의 기간 동안 인코더의 움직임 벡터 탐색 범위를 카메라의 FOV의 최대 조정으로 변환하고 FOV의 최대 조정의 속력을 계산함으로써 제 1 임계 속력을 결정하는 것과,

제 1 임계 속력을 1보다 큰 값과 곱함으로써 제 2 임계 속력을 결정하는 것과,

FOV의 원하는 조정의 속력을 제 1 임계 속력 및 제 2 임계 속력과 비교하는 것과,

FOV의 원하는 조정의 속력이 제 2 임계 속력보다 더 큼 혹은 제 1 임계 속력보다 더 작음을 결정하는 경우, 앞서의 기간 동안 카메라의 FOV를 제 1 FOV 설정으로부터 제 2 FOV 설정으로 조정하는 것과, 그리고

FOV의 원하는 조정의 속력이 제 1 임계 속력과 제 2 임계 속력 사이에 있음을 결정하는 경우, FOV의 원하는 조정의 방향 및 제 1 임계 속력에 근거하여 앞서의 기간 동안 카메라의 FOV를 조정하는 것을 수행하도록 구성된다.

제 4 실시형태에서, 본 발명은, 팬 및 틸트(PT) 제어가 가능한 카메라를 제공하고, 여기서 카메라는 카메라에 의해 촬영된 비디오 스트림을 인코딩하도록 구성된 인코더에 연결되고, 카메라는 제 3 실시형태를 따르는 제어 디바이스를 포함한다.

일부 실시예들에 따르면, 카메라는 FOV의 원하는 조정과 관련된 사용자 입력을 제공하기 위해 조이스틱(joystick)에 연결된다.

제 2 실시형태, 제 3 실시형태, 그리고 제 4 실시형태는 전체적으로 제 1 실시형태와 동일한 특징들 및 장점들을 가질 수 있다.

본 발명의 앞서의 목적들, 특징들 및 장점들 그리고 추가적인 목적들, 특징들 및 장점들은 첨부되는 도면들을 참조하여 기재되는 본 발명의 다음과 같은 예시적 그리고 비-한정적 상세한 설명을 통해 더 잘 이해될 것이고, 도면들에서 동일한 참조 번호들은 유사한 요소들을 위해 사용될 것이다.
도 1은 움직임이 보상된 예측 인코딩(motion-compensated prediction encoding)의 기본원리(basis), 그리고 인코더의 움직임 벡터 탐색 범위(motion vector search range)의 용도(purpose)를 도식적으로 보여준다.
도 2는 카메라의 FOV의 원하는 조정의 속력과 카메라의 FOV의 조정의 실제 속력 간의 전달 함수(transfer function)를 보여준다.
도 3 내지 도 6은 각각 FOV의 조정이 어떻게 조정의 속력 및 방향으로 변환될 수 있는지를 예시적으로 보여준다.
도 7은 본 발명의 실시예들에 따른 PT 제어가 가능한 카메라를 제어하기 위한 방법을 보여준다.

도 1은 복수의 이미지 프레임들(106, 108)을 포함하는 비디오 스트림(104)을 촬영하고 있는 카메라(102)를 보여준다. 이러한 비디오 스트림을 인코딩할 때, 인코딩 방법으로서 움직임이 보상된 예측 인코딩(motion-compensated prediction encoding)이 유리하게 사용될 수 있다. 카메라가 3차원 공간에서 움직일 때, 혹은 카메라에 의해 촬영된 장면 내의 내용물이 움직일 때, 이것은 결과적으로 이미지 프레임들 내에서 내용물의 이미지 평면에서의 변위(displacement)를 일으킨다. 이것이 도 1에서 예시되고 있는데, 도 1에서 비디오 스트림의 제 1 이미지 프레임(106) 내의 객체(object)는 비디오 스트림의 제 2 이미지(108)에서 이동되었다. 움직임이 보상된 예측 인코딩은 전형적으로 제 2 이미지 프레임(108) 내에서 블록(110)과 같은 픽셀들의 블록을, 제 2 이미지 프레임과 이전의 이미지 프레임(106) 간의 픽셀들의 그 블록에 대한 움직임을 기술하는 움직임 벡터로 나타내려고 한다. 선택에 따라서는, 픽셀들의 인코딩되는 블록(110)과 이전의 이미지 프레임에서의 픽셀들의 최상의 매칭되는 블록(114) 간의 내용물의 차이에 대응하는 잔여 데이터(residual data)가 또한 인코딩된다.

움직임이 보상된 예측 인코딩은 인코딩되고 있는 픽셀들의 블록에 대해, 예를 들어 이전의 이미지 프레임에서의 픽셀들의 매칭되는 블록들을 탐색할 때, 움직임 벡터 탐색 범위(motion vector search range)(116)를 이용한다. 이러한 인코딩은 전형적으로 현재 인코딩되고 있는 블록(110)의 위치와 동일한 이전의 이미지(106)에서의 위치(112)에서 픽셀들의 유사한 블록을 탐색하기 시작한다. 임의의 적절한 블록 매칭 알고리즘이 이러한 탐색에서 사용될 수 있다. 시작 위치(112)로부터 시작하여, 인코더는 움직임 벡터 탐색 범위(116) 내에서 픽셀들의 매칭되는 블록을 탐색할 것이다. 움직임 벡터 탐색 범위(118) 내에서 적절한 매칭되는 블록이 발견되지 않는 경우에, 인코더는 전형적으로 I-블록 인코딩을 사용하여 픽셀들의 블록을 인코딩할 것인데, 이러한 I-블록 인코딩은 예를 들어, p-블록 인코딩(움직임이 보상된 예측 인코딩)이 사용될 수 있는 경우와 비교하여 더 많은 비트들을 요구한다. 말할 필요도 없이, 만약 카메라가 움직이되 두 개의 이미지 프레임들 간의 대응하는 블록들이 움직임 벡터 탐색 영역(118) 외부에 있도록 움직였다면, 매칭되는 블록들은 발견되지 않을 것이고, 전체 이미지 프레임은 I-프레임 인코딩을 사용하여 인코딩될 필요가 있을 수 있으며, 이것은 결과적으로, 이미지 프레임 내의 픽셀들의 대부분의 블록들 혹은 모든 블록들에 대해 p-블록 인코딩이 사용될 수 있는 경우와 비교해, 인코딩된 이미지 프레임을 전송하기 위한 비트 레이트를 증가시키게 된다. 이러한 상황은 카메라의 팬-틸트(PT) 움직임 동안 일어날 수 있는데, 이 경우 비트 레이트는 높은 레벨에 도달할 수 있다. 최상의 경우인 상황에서, PT-움직임(FOV의 조정)은 인코더가 양호한 움직임 벡터 매칭을 발견할 수 있도록 그리고 각각의 매크로블록(macroblock)을 P-블록으로서 인코딩할 수 있도록 충분히 작을 것이다. 그러나, 많은 경우들에 있어서(특히 인코더가, 한정된 움직임 벡터 탐색 범위(116)를 갖는 경우), 움직임은 너무 크고 대부분의 블록들은 대신 I-블록들로서 인코딩된다. 앞에서 기술된 바와 같이, I-블록들은 일반적으로 P-블록들보다 인코딩을 위해 훨씬 더 많은 비용이 들고, 이것은 결과적으로 비트 레이트의 급등(spike)을 일으킬 것이다.

본 발명이 기반을 두고 있는 사상은 인코더의 움직임 벡터 탐색 범위에 근거하여 (카메라의 PT(Z) 움직임에 의한) FOV의 조정의 허용된 속력을 제한하려는 것이며, 이에 따라, 만약 본 발명이 이용되지 않는 경우 I-블록 인코딩이 필요했었을 그러한 일부 경우들에서, 예측 인코딩이 사용될 수 있도록 하려는 것이다. 전형적인 구현예는 도 2에서 제시되는 바와 같이 FOV의 조정의 속력을 규제(clamp)하는 것일 수 있는바, 이에 따라 만약 FOV의 원하는 조정의 속력이 인코더가 P-블록들을 사용하여 인코딩할 수 있는 것보다 더 크지만 특정 임계 속력보다 작다면, 조정의 속력은 p-블록 인코딩을 위한 인코더 요건들을 충족시키도록 제한될 수 있게 된다. 도 2에서, FOV의 원하는 조정의 속력(202)과 조정의 실제 속력(204)의 속력은, 실제 속력(204)이 규제되는 곳인 속력의 특정 범위(제 1 임계 속력(206)과 제 2 임계 속력(208) 사이)를 제외하고 동일하다.

달리 말하면, FOV의 원하는 조정의 속력이 제 1 임계 속력(206)과 제 2 임계 속력(208) 사이에 있는 경우에, FOV는 제 1 임계 속력 및 FOV의 원하는 조정의 방향에 근거하여 조정될 것이다. 이렇게 함으로써, FOV의 조정의 속력은 특정 범위의 속력들에 대해 인코더 한계치까지 제한될 것이고, 반면 임계치보다 큰 속력들에 대해서는 실제 속력은 원하는 속력에 대응할 것이다. 이것은 이로운 것인데, 왜냐하면 FOV를 신속하게 조정하기를 원하는 사용자에 있어서, FOV의 원하는 조정이 또한 FOV의 결과적인 실제 조정이 될 것이기 때문이다.

FOV의 원하는 조정의 속력 및 방향을 계산하기 위해, 상이한 알고리즘들 및 스케일(scale)들이 사용될 수 있다. 예를 들어, 원하는 조정의 속력은 3차원 공간에서 벡터의 길이로 표현될 수 있는데, 예를 들어, 제 1 FOV의 중심으로부터 제 2 FOV의 중심까지의 길이로 표현될 수 있다. 이러한 실시예가 도 3에서 도식적으로 제시된다. 예시를 단순화시키기 위해, 도 3(그리고 또한 도 4 내지 도 6)은 2차원 공간에서의 FOV의 조정을 제시한다(즉, 3차원 공간에서의 FOV의 2차원 투영(projection)).

대안적으로, 카메라에 대한 움직임의 원점(origin)(즉, 카메라가 특정 지점을 중심으로 움직일 수 있을 때 그 지점을 나타내는 (카메라에 대한) 현수점(suspension point))에 중심을 갖는 가상의 구(sphere) 주변에서의 벡터의 길이 및 방향을 계산하기 위해 극좌표(polar coordinate)들이 사용될 수 있다.

FOV는 (아래에서 더 설명되는) 카메라에 의해 촬영된 임의의 주어진 장면의 각도 범위(angular extent), 그리고 카메라의 지시 방향(pointing direction)을 나타내는 3차원 공간에서의 지점에 의해 표현될 수 있다. 따라서, FOV의 중심 지점은 지시 방향(X 값, Y 값, Z 값, 혹은 유사한 것)에 의해 표현될 수 있고, FOV의 모서리(corner)들은 중심 지점, 그리고 카메라에 의해 촬영된 임의의 주어진 장면의 각도 범위를 사용하여 계산될 수 있다.

제 1 FOV(302)와 원하는 제 2 FOV(304) 간의 벡터(306)를 계산함으로써, 벡터(306)의 길이가 조정의 속력을 표시하는 값으로서 사용될 수 있고, 반면 벡터의 방향은 FOV의 조정의 방향을 표시하는데 사용될 수 있다. 길이는 예를 들어, 제 1 FOV(302)를 갖는 카메라의 지시 방향과 원하는 제 2 FOV(304)를 갖는 카메라의 지시 방향 간의 X, Y 및 Z에서의 차이로서 계산될 수 있다.

속력 및 방향을 계산하기 위해 단지 제 1 FOV 및 제 2 FOV의 중심 지점만을 사용하는 대신에, FOV의 모서리들이 사용될 수 있다. 이것이 도 4에서 제시되는바, 도 4에서는 FOV의 각각의 모서리 당 한 개씩 총 4개의 벡터들(306a 내지 306d)이 계산된다. 속력 및 방향을 계산하기 위해, 4개의 벡터들(306a 내지 306d)의 평균값이 사용될 수 있다. 대안적으로, 가장 긴 벡터 혹은 가장 짧은 벡터가 사용될 수 있다.

줌이 관련된 경우, 또는 만약 조정에 FOV의 회전이 관련된다면, FOV의 조정의 속력 및 방향을 계산하기 위해 FOV의 모서리들을 사용하는 것이 이로울 수 있다. 도 5에서 제시되는 바와 같이, 회전의 경우, 이것은 결과적으로 4개의 벡터들(306a 내지 306d)의 길이 및 방향이 서로 달라지게 할 것이다. FOV의 원하는 조정의 결과적인 속력 및 방향은 앞에서 기술된 바와 같이 계산될 수 있다. (도 6에서 제시되는 바와 같이) 줌을 수행하는 경우에, 제 1 FOV(302) 및 제 2 FOV(304)의 중심을 사용하는 것은 결과적으로 제로 벡터(zero vector)를 생성하게 되는바, 즉 길이가 0인 벡터가 생성되게 하고, 따라서 이것은 모든 성분들이 제로(0)가 되게 한다. 하지만, 이것은 올바르지 않은데, 왜냐하면 카메라에 의해 촬영된 장면의 내용물은 제 1 FOV(302)를 갖는 카메라에 의해 촬영된 이미지 프레임과 제 2 FOV(304)를 갖는 카메라에 의해 촬영된 이미지 프레임 간에 이동되었을 것이기 때문이다.

FOV의 원하는 조정은 순간적으로 일어나지 않고 대신에 일정 기간 동안 일어날 것임에 유의해야 한다. 예를 들어, 제 1 FOV(302)는 제 1 이미지 프레임에 대한 FOV일 수 있고, 반면 제 2 FOV는 n번째 이미지 프레임에 대한 FOV일 수 있다. 카메라의 초당 프레임(FPS)을 사용함으로써, 조정의 기간이 계산될 수 있다. 예를 들어, 만약 FPS가 초당 x개의 프레임들이라면, 이러한 경우에 그 기간은 n/x 초일 것이다. 이러한 기간에 근거하여 속력을 계산함으로써, 카메라의 FPS가 인코더의 인코딩 FPS와는 다른 경우가 앞서 기술된 바와 같이 유리하게 처리될 수 있다.

제 1 임계 속력(도 2에서의 도면참조번호 "206")을 결정할 때, 인코더의 움직임 벡터 탐색 범위는 일정 기간 동안 카메라의 FOV의 최대 조정으로 변환될 필요가 있다. 카메라에 의해 촬영된 이미지들의 해상도, 그리고 카메라에 의해 촬영된 임의의 주어진 장면의 각도 범위를 고려함으로써, 인코더의 움직임 벡터 탐색 범위는 카메라의 FOV의 최대 조정으로 변환될 수 있다. 카메라의 렌즈 혹은 렌즈들은 광추(cone of light)를 포착하도록 구성된다. 이미지 원(image circle)은 광추의 단면이다. 비네팅(vignetting)(이미지의 주변에서의 포화(saturation))을 피하기 위해, 카메라는 촬영된 이미지의 이미지 포맷의 크기보다 더 큰 이미지 원을 가져야만 한다. 카메라에 의해 촬영된 임의의 주어진 장면의 각도 범위는, 렌즈가 이미지화할 수 있는 각도 범위에 대응하는 것이 아니라, 촬영된 이미지에 대응한다.

예를 들어, 카메라에 의해 촬영된 장면의 각도 범위는 수평 방향에서 40도일 수 있고, 수직 방향에서 30도일 수 있다. 촬영된 이미지의 해상도는 1200 * 900 픽셀들일 수 있다. 이것이 의미하는 것은 픽셀 하나하나는 1/30도에 대응함을 의미한다. 움직임 벡터 탐색 범위가 30개의 픽셀들인 경우에, 이것은 인코더에서의 두 개의 인코딩된 이미지들 간의 FOV의 1도의 조정에 대응한다. 인코더의 FPS가 카메라의 FPS와 동일한 경우에, 두 개의 촬영된 이미지들 간의 FOV의 최대 조정은 1도이다. 따라서, 이러한 예에 있어서, 제 1 임계치는 (3차원 공간에서) 카메라의 FOV의 1도 조정에 대응하게 된다.

제 2 임계 속력(도 2에서의 도면참조번호 "208")은 제 1 임계 속력을 1보다 큰 값과 곱함으로써 결정된다. 이러한 값은 1.2, 1.5, 2, 4 등일 수 있다. 일부 실시예들에 따르면, 이러한 값은 2이다. 따라서, 앞서의 예를 사용하면, 제 2 임계치는 두 개의 촬영된 이미지들 간에 카메라의 FOV의 2도 조정에 대응할 수 있다.

따라서, 만약 사용자가 다음 20개의 프레임들에 걸쳐 수평 방향에서 38도만큼 FOV를 조정하고자 한다면, 조정의 속력의 제한이 이용될 수 있고 이에 따라 FOV의 조정을 위해 38개의 프레임들이 채택되게 될 것이며, 결과적으로 이것은 인코딩된 비디오 스트림의 비트 레이트가 더 낮아지게 한다. 만약 사용자가 대신 45도 만큼 FOV를 조정하고자 한다면, 제한은 이용되지 않을 것이고, 조정은 원하는 20개의 프레임들을 채택할 것인데, 이것은 결과적으로 I-인코딩을 필요로 할 수 있기 때문에 FOV의 조정 동안 비트 레이트에서의 급상승을 일으킬 수 있다. 앞에서 기술된 바와 같이 제 2 임계치를 사용하면, 카메라의 FOV를 신속하게 조정하고자 하는 사용자들은, 조정을 위한 원하는 기간 동안 제 2 임계치를 초과하는 속력으로 이것을 여전히 할 수 있다.

도 7은 본 발명의 실시예들에 따른 PT 제어가 가능한 카메라를 제어하기 위한 방법을 보여준다. 앞에서 기술된 바와 같이, 이러한 방법을 사용하여 PTZ, PTR 혹은 PTZR 제어가 가능한 카메라가 또한 제어될 수 있다. 카메라의 움직임들은 원격으로 제어되도록 구성될 수 있다.

카메라는 카메라에 의해 촬영된 비디오 스트림을 인코딩하도록 구성된 인코더에 연결된다. 인코더는 카메라 외부 혹은 내부에 있을 수 있다. 인코더는 임의의 정의된 움직임 벡터 탐색 범위를 갖는데, 이러한 범위는 조정가능할 수 있거나 조정가능하지 않을 수 있다.

본 방법은 비디오 스트림 내의 현재 이미지 프레임의 제 1 FOV 설정을 검색하는 단계(S702)를 포함한다. 이것이 의미하는 것은, 카메라의 현재 FOV가 검색됨을 의미한다.

본 방법은 또한, 제 1 FOV 설정으로부터 비디오 스트림 내의 후속하는 후속 이미지 프레임에서의 제 2 FOV 설정으로의 FOV의 원하는 조정과 관련된 사용자 입력을 수신하는 단계(S704)를 포함한다. 사용자는 예를 들어, 카메라가 수평 방향으로 90도 회전하도록 요청하는 커맨드(command) 혹은 줌 값을 1배(1x)로부터 2.5배(2.5x)로 변경하도록 요청하는 커맨드를 카메라에 입력할 수 있다. 원하는 조정은 FOV의 임의의 조정과 관련될 수 있다.

사용자 입력은 조이스틱에 의해, 혹은 카메라의 FOV를 제어하기 위한 다른 적절한 제어 수단(예를 들어, 컴퓨터 마우스와 같은 것)에 의해 카메라에 제공될 수 있다. 조이스틱(마우스 등)은 제 1 임계치와 제 2 임계치 사이에서의 조정의 속력의 제한을 무시(override)하기 위한 것, 예를 들어, 눌릴 수 있는(활성화 등이 될 수 있는) 버튼 혹은 유사한 것을 포함할 수 있다. 이러한 무시하는 기능은 또한 사용자에게 이용가능한 컴퓨터 인터페이스에서 제공될 수 있다. 제어 수단은 제어 수단(예를 들어, 조이스틱의 스틱)의 움직임에 의해 FOV를 직접적으로 조정하기 위해 사용될 수 있거나, 또는 제어 수단은 컴퓨터 인터페이스와 결합되어 카메라의 FOV를 조정하기 위해서 이미지 내에서의 포인팅(pointing) 및 클릭(click)을 행하기 위해 사용될 수 있다. 후자의 경우, 이러한 조정은 특정 기간 동안 일어나도록 미리정의될 수 있으며, 이러한 기간은, 앞에서 기술된 바와 같이 그리고 아래에서 더 기술되는 바와 같이, 이후 제 1 임계치 및 제 2 임계치에 근거하여 변경될 수 있다. 또 하나의 다른 전형적인 상황은 카메라가 임의의 미리정의된 속력에서 복수의 미리정의된 위치들 간을 이동하며 가드 투어(guard tour)를 수행하도록 설정된 경우이다.

따라서, 원하는 조정은 조정이 일어나는 기간과 관련될 수 있고, 혹은 조정 동안 촬영될 수 있는 비디오 스트림 내의 이미지 프레임들의 개수와 관련될 수 있다. 달리 말하면, 사용자 입력은 제 1 FOV 설정으로부터 비디오 스트림 내의 후속하는 후속 이미지 프레임에서의 제 2 FOV 설정으로의 FOV의 원하는 조정과 관련된다. 이로부터, 카메라의 FPS 설정을 사용하여 현재 이미지 프레임과 후속 이미지 프레임 간의 기간이 정의될 수 있다.

FOV의 원하는 조정으로부터, FOV의 원하는 조정의 속력 및 방향이 계산될 수 있다(S706). 속력의 계산에는 조정이 일어나는 기간이 관련되어 있다.

본 발명은 또한, 일정 기간 동안 인코더의 움직임 벡터 탐색 범위를 카메라의 FOV의 최대 조정으로 변환함으로써 제 1 임계 속력을 결정하는 단계(S708)를 포함한다. 이로부터, FOV의 최대 조정의 속력이 계산될 수 있다. 인코더의 움직임 벡터 탐색 범위가 고정된 개수(예를 들어, 15개, 30개, 40개, 50개 등)의 다수의 픽셀들인 경우, 제 1 임계 속력을 결정하는 단계(S708)는 각각의 카메라에 대해 단지 한 번만 수행될 필요가 있을 수 있거나, 또는 단지 카메라의 시동(startup)시에만 수행될 필요가 있을 수 있음에 유의해야만 한다.

본 방법은 또한, 제 1 임계 속력을 1보다 큰 값과 곱함으로써 제 2 임계 속력을 결정하는 단계(S710)를 포함한다. 앞서로부터 이해되는 바와 같이, 일부 실시예들에 따르면, 이러한 단계는 단지 제 1 임계 속력이 결정될 때(S708)만 수행된다. 이러한 값은 1보다 큰 임의의 적절한 값일 수 있는데, 예를 들어, 1.2, 1.5, 2, 2.5, 4 등일 수 있다.

본 발명은 또한, FOV의 원하는 조정의 속력을 제 1 임계 속력 및 제 2 임계 속력과 비교하는 단계(S712)를 포함하고, 그리고 이러한 비교에 근거하여, FOV는 두 개의 상이한 방식들로 조정될 수 있다.

만약 FOV의 원하는 조정의 속력이 제 2 임계 속력보다 더 크거나 혹은 제 1 임계 속력보다 더 작다고 결정된다면, 일정 기간 동안 카메라의 FOV가 제 1 FOV 설정으로부터 제 2 FOV 설정으로 조정된다(S714). 이것이 의미하는 것은, 사용자의 FOV의 원하는 조정이 수행됨을 의미한다.

하지만, 만약 FOV의 원하는 조정의 속력이 제 1 임계 속력과 제 2 임계 속력 사이에 있다고 결정된다면, FOV의 원하는 조정의 방향 및 제 1 임계 속력에 근거하여 일정 기간 동안 카메라의 FOV가 조정된다(S716). 이것이 의미하는 것은, FOV가 최대 속력으로 조정되데, 인코더가 비디오 스트림 내에서 이미지 프레임들 간의 픽셀들의 대응하는 블록들을 여전히 발견할 수 있도록 하는 그러한 최대 속력으로 조정됨을 의미하며, 이에 따라 사용자의 원하는 바에 따라 FOV가 조정될 수 있었던 경우와 비교하여 비트 레이트는 더 낮은 레벨에서 유지될 수 있음을 의미한다.

Claims (9)

1. 팬 및 틸트(Pan and Tilt, PT) 제어가 가능한 카메라를 제어하기 위한 방법으로서, 상기 카메라는 상기 카메라에 의해 촬영된 비디오 스트림(video stream)을 인코딩(encoding)하도록 되어 있는 인코더(encoder)에 연결되고, 상기 인코더는 움직임 벡터 탐색 범위(motion vector search range)를 가지며, 상기 방법은,
   상기 비디오 스트림 내의 현재 이미지 프레임(image frame)의 제 1 시계(Field Of View, FOV) 설정(setting)을 검색(retrieving)하는 단계(S702)와;
   상기 제 1 FOV 설정으로부터 상기 비디오 스트림 내의 후속하는 후속 이미지 프레임에서의 제 2 FOV 설정으로의 FOV의 원하는 조정(desired adjustment)과 관련된 사용자 입력을 수신하는 단계(S704)와;
   상기 카메라의 초당 프레임(Frame Per Second, FPS) 설정을 사용하여 상기 현재 이미지 프레임과 상기 후속 이미지 프레임 간의 기간(period of time)을 정의하고, 상기 기간을 사용하여 FOV의 상기 원하는 조정의 속력 및 방향을 계산하는 단계(S706)와;
   상기 기간 동안 상기 인코더의 상기 움직임 벡터 탐색 범위를 상기 카메라의 FOV의 최대 조정으로 변환(translating)하고 FOV의 상기 최대 조정의 속력을 계산함으로써 제 1 임계 속력(threshold speed)을 결정하는 단계(S708)와;
   상기 제 1 임계 속력을 1보다 큰 값과 곱함으로써 제 2 임계 속력을 결정하는 단계(S710)와;
   FOV의 상기 원하는 조정의 속력을 상기 제 1 임계 속력 및 상기 제 2 임계 속력과 비교하는 단계(S712)와;
   FOV의 상기 원하는 조정의 속력이 상기 제 2 임계 속력보다 더 큼 혹은 상기 제 1 임계 속력보다 더 작음을 결정하는 경우, 상기 기간 동안 상기 카메라의 FOV를 상기 제 1 FOV 설정으로부터 상기 제 2 FOV 설정으로 조정하는 단계(S714)와; 그리고
   FOV의 상기 원하는 조정의 속력이 상기 제 1 임계 속력과 상기 제 2 임계 속력 사이에 있음을 결정하는 경우, FOV의 상기 원하는 조정의 방향 및 상기 제 1 임계 속력에 근거하여 상기 기간 동안 상기 카메라의 FOV를 조정하는 단계(S716)를 포함하는 것을 특징으로 하는 카메라를 제어하기 위한 방법.
2. 제1항에 있어서,
   상기 카메라는 또한 줌(Zoom, Z) 제어가 가능한 것을 특징으로 하는 카메라를 제어하기 위한 방법.
3. 제1항에 있어서,
   상기 카메라는 또한 회전(Rotation, R) 제어가 가능한 것을 특징으로 하는 카메라를 제어하기 위한 방법.
4. 제1항 내지 제3항 중 임의의 항에 있어서,
   상기 인코더는 상기 카메라의 FPS 설정과는 다른 FPS 설정으로 상기 비디오 스트림을 인코딩하도록 되어 있고,
   상기 제 1 임계 속력을 결정하는 단계는, 상기 인코더의 FPS 설정과 상기 카메라의 FPS 설정 간의 비율(ratio)을 계산하는 것을 포함하는 것을 특징으로 하는 카메라를 제어하기 위한 방법.
5. 제1항 내지 제3항 중 임의의 항에 있어서,
   상기 제 2 임계 속력은 상기 제 1 임계 속력을 2와 곱함으로써 결정되는 것을 특징으로 하는 카메라를 제어하기 위한 방법.
6. 프로세싱 능력을 갖는 디바이스에 의해 실행될 때 제1항에 기재된 방법을 수행하도록 되어 있는 명령들을 갖고 있는 컴퓨터 판독가능 저장 매체를 포함하는 컴퓨터 프로그램 제품.
7. 팬 및 틸트(PT) 제어가 가능한 카메라를 제어하도록 되어 있는 제어 디바이스로서, 상기 카메라는 상기 카메라에 의해 촬영된 비디오 스트림을 인코딩하도록 되어 있는 인코더에 연결되고, 상기 인코더는 움직임 벡터 탐색 범위를 가지며, 상기 제어 디바이스는 프로세서를 포함하고, 상기 프로세서는,
   상기 비디오 스트림 내의 현재 이미지 프레임의 제 1 시계(FOV) 설정을 상기 카메라로부터 검색하는 것과;
   상기 제 1 FOV 설정으로부터 상기 비디오 스트림 내의 후속하는 후속 이미지 프레임에서의 제 2 FOV 설정으로의 FOV의 원하는 조정과 관련된 사용자 입력을 수신하는 것과;
   상기 카메라의 초당 프레임(FPS) 설정을 사용하여 상기 현재 이미지 프레임과 상기 후속 이미지 프레임 간의 기간을 정의하고, 상기 기간을 사용하여 FOV의 상기 원하는 조정의 속력 및 방향을 계산하는 것과;
   상기 기간 동안 상기 인코더의 상기 움직임 벡터 탐색 범위를 상기 카메라의 FOV의 최대 조정으로 변환하고 FOV의 상기 최대 조정의 속력을 계산함으로써 제 1 임계 속력을 결정하는 것과;
   상기 제 1 임계 속력을 1보다 큰 값과 곱함으로써 제 2 임계 속력을 결정하는 것과;
   FOV의 상기 원하는 조정의 속력을 상기 제 1 임계 속력 및 상기 제 2 임계 속력과 비교하는 것과;
   FOV의 상기 원하는 조정의 속력이 상기 제 2 임계 속력보다 더 큼 혹은 상기 제 1 임계 속력보다 더 작음을 결정하는 경우, 상기 기간 동안 상기 카메라의 FOV를 상기 제 1 FOV 설정으로부터 상기 제 2 FOV 설정으로 조정하는 것과; 그리고
   FOV의 상기 원하는 조정의 속력이 상기 제 1 임계 속력과 상기 제 2 임계 속력 사이에 있음을 결정하는 경우, FOV의 상기 원하는 조정의 방향 및 상기 제 1 임계 속력에 근거하여 상기 기간 동안 상기 카메라의 FOV를 조정하는 것을
   수행하도록 되어 있는 것을 특징으로 하는 제어 디바이스.
8. 팬 및 틸트(PT) 제어가 가능한 카메라로서, 상기 카메라는 상기 카메라에 의해 촬영된 비디오 스트림을 인코딩하도록 되어 있는 인코더에 연결되고, 상기 카메라는 제7항에 기재된 제어 디바이스를 포함하는 것을 특징으로 하는 카메라.
9. 제8항에 있어서,
   상기 카메라는 FOV의 원하는 조정과 관련된 사용자 입력을 제공하기 위해 조이스틱(joystick)에 연결되는 것을 특징으로 하는 카메라.

Images