KR20130136940A - 이미지 캡쳐 디바이스의 개선된 제어 - Google Patents

이미지 캡쳐 디바이스의 개선된 제어 Download PDF

Info

Publication number
KR20130136940A
KR20130136940A KR1020130064980A KR20130064980A KR20130136940A KR 20130136940 A KR20130136940 A KR 20130136940A KR 1020130064980 A KR1020130064980 A KR 1020130064980A KR 20130064980 A KR20130064980 A KR 20130064980A KR 20130136940 A KR20130136940 A KR 20130136940A
Authority
KR
South Korea
Prior art keywords
image
view field
capture device
image capture
captured
Prior art date
Application number
KR1020130064980A
Other languages
English (en)
Other versions
KR101520049B1 (ko
Inventor
퍼 잔더
매트 출린
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20130136940A publication Critical patent/KR20130136940A/ko
Application granted granted Critical
Publication of KR101520049B1 publication Critical patent/KR101520049B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Accessories Of Cameras (AREA)

Abstract

이미지 캡쳐 디바이스의 오퍼레이터에게 제1 뷰 필드에 대응하는 이미지를 디스플레이하기 위한, 방법, 시스템 및 디바이스가 제공된다. 본 방법은 상기 제1 뷰 필드의 위치, 배향, 또는 스케일링 중 적어도 하나에서의 변화와 관련된 입력 데이터를 수신하는 단계 및, 상기 입력 데이터에 근거하여, 상기 제1 뷰 필드보다 큰 제2 뷰 필드에 대하여 상기 제1 뷰 필드의 위치, 배향, 또는 스케일링 중 적어도 하나를 결정하는 단계를 포함한다. 또한, 본 방법은 상기 이미지 캡쳐 디바이스에 의해 캡쳐되는 이미지를 수신하는 단계 및 상기 수신된 이미지 및 상기 제1 뷰 필드의 오버랩 부분을 결정하는 단계를 포함한다. 오버랩 부분 내에 상기 수신된 이미지의 이미지 데이터를 사용하고, 비-오버랩 부분 내에 상기 제2 뷰 필드의 이미지 데이터를 사용하여, 디스플레이될 이미지가 결정된다. 본 방법은 이미지 캡쳐 디바이스의 개선된 동작을 제공한다는 점에서 유익하다.

Description

이미지 캡쳐 디바이스의 개선된 제어{IMPROVED CONTROL OF AN IMAGE CAPTURING DEVICE}
본 발명은 이미지 캡쳐 디바이스의 동작 분야에 관한 것이다.
팬, 틸트 및 줌 기능을 갖는 카메라들이 감시 목적으로 흔히 사용된다. 그러한 카메라들은 일반적으로, 오퍼레이터가 카메라의 이동을 제어할 수 있게 하는 소프트웨어 또는 하드웨어 인터페이스로서 기능하는 클라이언트 디바이스들에 네트워크를 통해 연결된다.
네트워크에서의 레이턴시(latency)로 인하여, 카메라에서 또는 클라이언트 디바이스에서, 카메라 제어가 수행될 때의 시간으로부터 카메라-제어된(camera-controlled) 이미지가 도착할 때의 시간까지 시간 지연이 있을 것이다. 즉, 오퍼레이터의 제어 명령을 반영하는 이미지가 오퍼레이터에게 보여질 수 있을 때까지는 시간이 걸린다. 오퍼레이터에게 보여지는 이미지들이 래그(lag)되므로, 팬/틸트/줌 이동을 제어하기가 어려워진다. 이 문제는 팬/틸트/줌 이동의 속도가 증가될 때 더 심각해진다.
미국 특허 제US6822676호는 줌 제어의 맥락에서 이 문제를 해결한다. 줌-인 제어 커맨드가 수신됨에 따라, 카메라로부터 수신된 최종 이미지에서 전자적 줌 처리가 수행되고, 그리고 상기 전자적으로 줌된 이미지가 오퍼레이터에게 보여진다. 소정의 시간이 경과될 때, 디스플레이된 이미지는 전자적 줌 처리를 겪은 이미지로부터, 카메라로부터 전송된 새 이미지로 변경된다.
그러나, 이 기법의 단점은 이 기법이 줌인으로 제한된다는 것이다. 추가의 단점은 오퍼레이터에게 새 이미지 데이터가 제시될 때까지 오퍼레이터가 대기해야 한다는 것이다. 따라서 개선이 필요하다.
위의 관점에서, 본 발명의 목적은 위에 언급된 단점들을 극복하거나 적어도 경감시키고 그리고 이미지 캡쳐 디바이스의 제어에서 레이턴시의 부정적 영향을 경감시키는 개선된 방법, 디바이스 및 시스템을 제공하는 것이다.
본 발명의 제1 양상에 따르면, 팬, 틸트, 및 줌 기능 중 적어도 하나를 갖는 이미지 캡쳐 디바이스의 오퍼레이터에게 제1 뷰 필드(field of view)에 대응하는 이미지를 디스플레이하기 위한 방법이 제공된다. 상기 방법은, 제1 동작 커맨드에 관련된 입력 데이터를 수신하는 단계와, 상기 제1 동작 커맨드는 상기 제1 뷰 필드의 위치, 배향, 또는 스케일링 중 적어도 하나에서의 변화와 관련되며; 상기 입력 데이터에 근거하여, 상기 제1 뷰 필드보다 큰 제2 뷰 필드에 대하여 상기 제1 뷰 필드의 위치, 배향, 또는 스케일링 중 적어도 하나를 결정하는 단계와; 상기 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지를 수신하는 단계와; 상기 제1 뷰 필드와 상기 이미지 캡쳐 디바이스에 의해 캡쳐된 상기 이미지와의 오버랩 부분을 결정하는 단계를 포함한다. 상기 방법은, 상기 오버랩 부분 내에 상기 이미지 캡쳐 디바이스에 의해 캡쳐된 상기 이미지의 이미지 데이터를 사용하고, 그리고 상기 제2 뷰 필드의 이미지 데이터에 액세스하고 그리고 상기 오버랩 부분 밖에 있는 상기 제1 뷰 필드의 부분 내에 상기 제2 뷰 필드의 상기 이미지 데이터를 이용하여, 디스플레이될 이미지를 결정하는 단계를 더 포함한다. 본 방법은, 상기 결정된 이미지를 오퍼레이터에게 디스플레이하는 단계 및 상기 제1 동작 커맨드에 관련된 제2 동작 커맨드를 이미지 캡쳐 디바이스에 전송하는 단계를 더 포함한다.
용어 "제1 뷰 필드"는 디스플레이 상에 보여질 이미지의 이미지 영역으로서 해석될 것이다. 일반적으로, 상기 이미지 영역은 직사각형 형상을 가진다.
용어 "제1 동작 커맨드"는 제1 뷰 필드의 위치, 배향 및/또는 스케일링이 어떻게 변경될 것인지에 대한 명령어로서 해석된다. 예를 들어, 명령어는 제1 뷰 필드의 타겟 위치의 좌표, 제1 뷰 필드의 타겟 회전 각도, 또는 타겟 줌인 또는 줌아웃 값과 같은 제1 뷰 필드의 타겟 스케일링 값에 관련된 것일 수 있다. 대안적으로, 명령어는 제1 뷰 필드의 병진 이동(translational movement)의 속도 및 방향, 제1 뷰 필드의 회전 속도 및 방향, 또는 제1 뷰 필드의 줌 속도 및 줌 방향과 같은 제1 뷰 필드의 이동 속도 및 이동 방향에 관련된 것일 수 있다.
"제1 뷰 필드의 위치"는 어떤 미리정의된 좌표 시스템에 대하여 정의될 수 있다. 예를 들어, 상기 위치는 미리정의된 좌표 시스템에 대하여 제1 뷰 필드의 중심 점 또는 모서리 점과 같은 점의 좌표를 나타낼 수 있다. 이와 유사하게, "제1 뷰 필드의 배향"이 어떤 미리정의된 방향에 대하여 정의될 수 있다. 마찬가지로, "제1 뷰 필드의 스케일링"이 어떤 기준 스케일링 값에 대하여 정의될 수 있다.
용어 "제2 뷰 필드"는 제1 뷰 필드에 대응하는 이미지 영역보다 큰 이미지 영역으로서 해석될 것이다. 일반적으로, 제2 뷰 필드는 제1 뷰 필드를 포함하나, 반드시 그러할 필요는 없다. 예를 들어, 제2 뷰 필드는 이미지 캡쳐 디바이스의 전체 필드에 대응할 수 있다.
용어 "제2 동작 커맨드"는 이미지 캡쳐 디바이스의 요구되는 이동에 관련된 정보를 포함하는 명령어로서 해석될 것이다. 제2 동작 커맨드는 예를 들어, 요구되는 팬/틸트/줌 위치 또는 요구되는 팬/틸트/줌 이동 속도 및 이동 방향에 관련될 수 있다. 대안적으로, 제2 동작 커맨드는 이미지 캡쳐 디바이스에 의해 캡쳐되는 이미지들의 위치, 배향 또는 스케일링의 변화에 관련될 수 있다. 제2 동작 커맨드는 제1 동작 커맨드에 관련된다. 일부 실시예들에서, 제2 동작 커맨드는 제1 동작 커맨드와 동일하다. 다른 실시예들에서, 제2 동작 커맨드는 제1 동작 커맨드에 근거하여 결정될 수 있다. 제2 동작 커맨드는 제1 동작 커맨드들의 이력에 근거하여(즉, 특정 시간 기간 동안 입력되었던 제1 동작 커맨드들에 근거하여) 결정될 수 있다.
"제1 뷰 필드와 이미지 캡쳐 디바이스에 의해 캡쳐되는 이미지와의 오버랩 부분"은, 제1 뷰 필드에 대응하는 이미지 영역과 이미지 캡쳐 디바이스로부터 수신된 이미지의 이미지 영역과의 공통 부분을 의미한다.
"제2 뷰 필드의 이미지 데이터"는 일반적으로 제2 뷰 필드에 포함된 장면을 나타내는 데이터를 의미한다. 일부 실시예들에서, 제2 뷰 필드의 이미지 데이터는 이미지 캡쳐 디바이스에 의해 캡쳐되는 제2 뷰 필드의 적어도 부분들을 커버하는 이미지 데이터에 대응한다. 다른 실시예들에서, 이미지 데이터는 장면의 기하학적 모델로부터 렌더링될 수 있다.
본 방법이 수행될 시점에, 이미지 캡쳐 디바이스의 오퍼레이터의 요구 동작을 완전히 반영하는 이미지는 레이턴시로 인하여 아직 가능하지 않았다. 보다 구체적으로, 이미지 캡쳐 디바이스로부터 수신된 이미지에 의해 커버되는 이미지 영역은 오퍼레이터가 요구하는 뷰 필드를 반영하지 않는다. 이 문제를 해결하기 위하여, 본 방법은, 제1 동작 커맨드에 의해 정의되는 것과 같은 오퍼레이터의 요구되는 동작에 부합하게끔 위치되고, 배향되고, 스케일된 제1 뷰 필드에 대응하는 이미지를 오퍼레이터에게 디스플레이한다. 이러한 방식으로, 오퍼레이터에게 보여지는 이미지에 래그가 없고, 따라서, 오퍼레이터는 이미지 캡쳐 디바이스의 이동에 대해 보다 정밀한 제어를 갖는 경험을 한다.
디스플레이된 이미지는 현재 이용가능한 데이터로 구성된다. 현재 이용가능한 데이터는 적어도 부분적으로, 이미지 캡쳐 디바이스로부터 현재 수신되는 이미지 데이터의 형태이다. 구체적으로, 이미지 캡쳐 디바이스로부터 수신된 이미지와 오버랩하는 부분 내의 상기 디스플레이된 이미지는 상기 수신된 이미지로부터의 이미지 데이터에 근거하여 결정된다. 따라서, 오퍼레이터가 현재의 이미지 정보를 구성하기 위하여 상기 디스플레이된 이미지를 대기하지 않아도 되게끔, 이미지 캡쳐 디바이스로부터 현재 수신된 이미지 데이터가 가능한 한 빨리 오퍼레이터에게 디스플레이된다.
또한, 본 방법은 비-오버랩 부분(non-overlapping portion) 내의 제2 뷰 필드로부터 액세스가능한 이미지 데이터를 사용한다. 예를 들어, 제2 뷰 필드의 이미지 데이터는 디스플레이될 이미지보다 더 큰 영역을 포함하는 이전에 수신된 이미지에 대응할 수 있다. 이러한 식으로, 제2 뷰 필드의 이미지 데이터를 디스플레이되는 제1 뷰 필드보다 크게 함으로써, 제1 뷰 필드의 비-오버랩 부분의 적어도 부분들을 포함하는 이미지 데이터가 이용가능할 것이다.
일부 실시예들에서, 오버랩 부분 바깥에 있는 제1 뷰 필드의 부분이 존재하는 경우에만 제2 뷰 필드의 이미지 데이터가 액세스된다. 본 방법은 따라서, 오버랩 부분 밖에 있는 제1 뷰 필드의 부분이 존재하는지 검사하는 단계를 더 포함한다.
제2 뷰 필드의 이미지 데이터를 어떻게 결정할지에 대한 다수의 옵션들이 존재한다. 일 실시예에서, 제2 뷰 필드의 이미지 데이터가 이미지 캡쳐 디바이스 또는 다른 별개의 이미지 캡쳐 디바이스에 의해 캡쳐된다. 예를 들어, 제2 뷰 필드의 이미지 데이터는 종종 갱신되는 사전 녹화된 이미지에 대응할 수 있다. 제2 뷰 필드의 이미지 데이터는 이미지 캡쳐 디바이스로부터 직접 수신되거나 메모리로부터 액세스될 수 있다.
일 실시예에서, 제2 뷰 필드의 이미지 데이터가 장면의 기하학적 모델로부터 렌더링된다. 이를 위하여, 본 방법은, 장면의 기하학적 모델에 근거하여 제2 뷰 필드의 이미지 데이터를 렌더링하는 단계를 포함할 수 있다. 제2 뷰 필드의 렌더링된 이미지 데이터는, 예를 들어, 그것이 일시적으로 저장되어 있는 메모리로부터 액세스될 수 있다. 장면의 기하학적 모델은 일반적으로 장면의 이미지를 렌더링할 수 있게 하는 정보를 포함한다. 이는, 이미지 캡쳐 디바이스로부터 제2 뷰 필드에 관련된 이미지 데이터를 수신하는 것에 의존하지 않고 제2 뷰 필드의 이미지 데이터를 생성할 수 있게 한다는 점에서 유익하다.
본 방법은, 이미지 캡쳐 디바이스의 오퍼레이터에게 이미지를 디스플레이하기 위하여 시스템에서의 레이턴시에 관련된 시간 지연에 액세스하는 단계, 및 상기 시간 지연 및 입력 데이터에 근거하여 제2 동작 커맨드를 결정하는 단계를 더 포함한다. 예를 들어, 동작 입력 디바이스와 이미지 캡쳐 디바이스 사이와 같은 시스템의 서로 다른 파트들 사이에서의 신호 전송에 레이턴시가 있을 수 있고, 이미지 캡쳐 디바이스가 연결되어 있는 네트워크에 레이턴시가 있을 수 있고, 이미지 캡쳐 디바이스의 메커닉(mechanic)에 레이턴시가 있을 수 있고, 그리고 이미지 캡쳐 디바이스의 코딩에 그리고 시스템의 다른 부분들에 레이턴시가 있을 수 있다. 시간 지연은 일반적으로 제2 동작 커맨드가 이미지 캡쳐 디바이스로 송신되는 순간부터 이미지 캡쳐 디바이스가 제2 동작 커맨드의 명령어를 반영하는 이미지를 전달 할 수 있을 때까지의 시간 지연에 관련된다. 상기 시간 지연은, 추정된 시간 지연일 수 있다. 상기 시간 지연은 측정된 시간 지연일 수 있다. 상기 시간 지연은, 예를 들어, 메모리로부터 액세스되거나 사용자 입력을 통해 수신될 수 있다.
입력 데이터, 즉, 디스플레이되는 뷰 필드의 위치, 배향 및/또는 스케일링에서 있어서 오퍼레이터가 요구하는 변화, 및 시간 지연에 근거하여, 이미지 캡쳐 디바이스의 예측된 이동이 추정될 수 있다. 예측된 이동이 입력 데이터에 의해 표현되는 요구되는 이동과 다르면, 제1 동작 커맨드에 대한 조정인 제2 동작 커맨드가 결정될 수 있다. 예를 들어, 요구되는 이동과 예측된 이동 사이에 래그가 있다면, 제2 동작 커맨드는 래그를 감소시키기 위하여 이미지 캡쳐 디바이스에게 더 빠르게 움직이도록 지시할 수 있다.
이는 따라서 이미지 캡쳐 디바이스의 제어가 시간 지연의 영향이 더 감소되게끔 조정될 수 있다는 점에서 유익하다.
바람직하게는, 제2 동작 커맨드는 이미지 캡쳐 디바이스에 의해 캡쳐되는 이미지의 타겟 위치, 타겟 배향, 또는 타겟 스케일링 중 적어도 하나에 관련된다. 이는 사용하기에 쉽고 유연성이 있다는 점에서 유익하다. 또한, 그러한 타겟 값들을 사용함으로써, 누적 에러들(accumulated errors)을 고려하지 않아도 된다. 대안적으로, 제2 동작 커맨드는 팬 위치, 틸트 위치, 및 줌 위치 중 적어도 하나의 타겟 값에 관련될 수 있다. 대안적으로, 또는 추가적으로, 제2 동작 커맨드는 이미지 캡쳐 디바이스의 이동 속도 및 이동 방향에 관련될 수 있다. 예를 들어, 제2 동작 커맨드는 팬 이동, 틸트 이동, 및 줌 이동 중 적어도 하나의 이동 속도 및 이동 방향에 관련될 수 있다.
제1 동작 커맨드는, 디스플레이될 이미지의 제1 뷰 필드의 타겟 위치, 타겟 배향, 또는 타겟 스케일링 중 적어도 하나에 관련될 수 있다. 예를 들어, 타겟 위치는 어떤 좌표 시스템에 대한 제1 뷰 필드의 중심의 타겟 좌표일 수 있고, 타겟 배향은 어떤 미리정해진 방향에 대한 타겟 회전 각도일 수 있고, 타겟 스케일링은 타겟 줌-인 값 또는 타겟 줌-아웃 값일 수 있다.
대안적으로, 또는 추가적으로, 제1 동작 커맨드는 디스플레이될 이미지의 제1 뷰 필드의 이동 속도 및 이동 방향에 관련될 수 있다. 예를 들어, 제1 동작 커맨드는 어떤 x-y 좌표 시스템에 대한 x-방향 및 y-방향에서의 이동 속도에 관한 것일 수 있고, 제1 동작 커맨드는 시계방향 또는 반시계 방향에서의 회전 속도에 관한 것일 수 있고, 그리고/또는 제1 동작 커맨드는 줌-인 또는 줌-아웃의 속도에 관한 것일 수 있다. 이는 예를 들어, 오퍼레이터가 자신이 제1 뷰 필드를 어떻게 움직이기를 원하는지 에 대한 입력을 제공할 수 있다는 점에서 유익하다. 제1 동작 커맨드는 예를 들어, 하기에서 더 설명될 바와 같이, 조이스틱을 통한 또는 그래픽 사용자 인터페이스를 통한 입력일 수 있다.
본 방법은, 제2 뷰 필드에 대하여, 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지의 위치, 배향, 또는 스케일링 중 적어도 하나를 결정하는 단계를 더 포함할 수 있다. 이는, 상기 방법이 수신된 이미지와 제1 뷰 필드의 위치들, 배향들 및/또는 스케일링들 사이의 비교를 간단하게 해준다는 점에서 유익하다.
제1 뷰 필드와 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지와의 사이의 오버랩 부분을 결정하는 동작은, 상기 제1 뷰 필드와 상기 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지와의 사이의 위치, 배향, 및 스케일링 중 적어도 하나에서의 오프셋을 결정하는 단계를 포함할 수 있다. 이는 제1 뷰 필드와 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지의 상대적 위치, 배향 및/또는 스케일링에 대한 정보를 얻는다는 점에서 유익하다.
일 실시예에서, 본 방법은 이미지 캡쳐 디바이스로부터 상기 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지의 위치, 배향, 또는 스케일링 중 적어도 하나에 관련된 정보를 수신하는 단계를 포함한다. 상기 수신된 정보는 제1 뷰 필드와 상기 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지 사이의 오프셋을 결정하는데 사용된다. 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지의 위치는 임의의 좌표 시스템에 대해 주어질 수 있다. 배향은 어떤 기준 방향에 대해 주어질 수 있다. 스케일링은 임의의 기준 스케일링 값에 대해 주어질 수 있다. 이는 본 방법이 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지의 제1 뷰 필드와의 사이의 오프셋이 간단하고 효과적인 방식으로 계산될 수 있게한다는 점에서 유익하다.
일 실시예에서, 본 방법은, 이미지 캡쳐 디바이스의 이동 속도 및 이동 방향에 대한 정보를 수신하는 단계, 및 이미지 캡쳐 디바이스의 이동 속도 및 이동 방향에 관련된 정보에 근거하여 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지의 위치, 배향, 또는 스케일링 중 적어도 하나를 결정하는 단계를 포함한다. 상기 이동은 팬/틸트/줌 이동과 관련될 수 있다. 이는 본 방법이, 제1 뷰 필드와 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지와의 사이의 오프셋을 간단하고 효과적인 방식으로 계산할 수 있게 한다는 점에서 유익하다. 이는 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지의 위치, 배향, 또는 스케일링 중 적어도 하나에 관련된 이용가능한 정보가 없는 경우에 특히 유익하다.
제2 뷰 필드에 대하여 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지의 위치, 배향, 및 스케일링 중 적어도 하나가, 제2 뷰 필드의 이미지 데이터와 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지 사이의 상관을 수행함으로써 결정될 수 있다. 선택적으로, 결과의 정확성을 희생하여 프로세싱 전력을 감소시키기 위하여 상관을 수행할 때 제2 뷰 필드의 이미지 데이터가 제1 뷰 필드로 제한될 수 있다.
일 실시예에서, 이 방법은 이미지 캡쳐 디바이스로부터 상기 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지의 위치, 배향, 또는 스케일링 중 적어도 하나에 관한 정보를 수신하고, 이미지 캡쳐 디바이스의 이동 속도 및 이동 방향에 관한 정보를 수신하는 상기의 기법에 대한 보완으로서 사용된다. 이러한 식으로, 제2 뷰 필드에 대해 수신된 이미지의 결정된 위치, 배향, 및/또는 스케일링의 정확성이 향상될 수 있다. 또 다른 실시예에서, 이 기법은 이미지 캡쳐 디바이스로부터 어떠한 추가의 정보도 수신하지 않고 독립적으로 사용될 수 있다. 이는 상기 기법이, 제2 뷰 필드에 대해 수신된 이미지의 위치, 배향, 및/또는 스케일링을 가능하게 해주고, 그럼으로써, 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지의 위치, 배향, 또는 스케일링에 대한 어떠한 추가의 지식에 대한 액세스를 가짐이 없이, 오버랩 부분이 결정될 수 있게 한다는 점에서 유익하다.
일 실시예에서, 오프셋은, 시간 지연을 고려하여 이미지 캡쳐 디바이스의 움직임(motion)을 추정함으로써 결정될 수 있다. 이러한 식으로, 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지의 위치가 추정될 수 있고 대응하는 오프셋이 쉽게 결정될 수 있다.
바람직하게는, 제2 뷰 필드의 이미지 데이터가 종종 갱신된다. 예를 들어, 제2 뷰 필드의 이미지 데이터가 주기적으로 갱신될 수 있다. 구체적으로, 본 방법은, 이미지 캡쳐 디바이스에 의해 캡쳐되는 이미지를 사용하여 제2 뷰 필드의 이미지 데이터를 갱신하는 단계를 포함할 수 있다. 예를 들어, 이미지 캡쳐 디바이스에 의해 캡쳐되는 이미지의 이미지 영역에 대응하는 제2 뷰 필드의 이미지 데이터가 이미지 캡쳐 디바이스로부터의 이미지를 사용하여 갱신될 수 있다. 이는 팬/틸트/줌 이동이 느려지거나 방향이 역전되는 경우에 특히 유익한바, 제1 뷰 필드가, 최근에 새 이미지로 갱신된 제2 뷰 필드의 영역들로 이동하기 때문이다.
본 발명의 제2 양상에 따르면, 팬, 틸트, 및 줌 기능 중 적어도 하나를 갖는 이미지 캡쳐 디바이스의 오퍼레이터에게 제1 뷰 필드에 대응하는 이미지를 디스플레이하기 위한 프로세싱 디바이스가 제공되며, 상기 이미지 캡쳐 디바이스는 제1 동작 커맨드에 관련된 동작 커맨드를 수신하도록 되어있다. 프로세싱 디바이스는, 제2 뷰 필드의 이미지 데이터를 저장하도록 구성된 메모리와, 제1 동작 커맨드 - 상기 제1 동작 커맨드는 디스플레이될 이미지의 제1 뷰 필드의 위치, 배향, 또는 스케일링 중 적어도 하나에서의 변화와 관련됨 - 에 관련된 입력 데이터를 수신하고, 그리고 상기 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지를 수신하도록 된 수신기와, 상기 입력 데이터에 근거하여, 상기 제1 뷰 필드보다 큰 제2 뷰 필드에 대하여 상기 제1 뷰 필드 위치, 배향, 또는 스케일링 중 적어도 하나를 결정하고, 상기 제1 뷰 필드와 상기 이미지 캡쳐 디바이스에 의해 캡쳐된 상기 이미지와의 오버랩 부분을 결정하고, 상기 오버랩 부분 내에 상기 이미지 캡쳐 디바이스에 의해 캡쳐된 상기 이미지의 이미지 데이터를 사용하고, 그리고 상기 메모리로부터 상기 제2 뷰 필드의 이미지 데이터에 액세스하고 그리고 상기 오버랩 부분 밖에 있는 상기 제1 뷰 필드의 부분 내에 상기 제2 뷰 필드의 상기 이미지 데이터를 사용하여, 디스플레이될 이미지를 결정하도록 된 프로세싱 유닛을 포함한다. 상기 프로세싱 디바이스는 결정된 이미지를 디스플레이에 전송하도록 된 전송기를 더 포함한다.
본 발명의 제3 양상에 따르면, 이미지 캡쳐 디바이스의 오퍼레이터에게 제1 뷰 필드에 대응하는 이미지를 디스플레이하기 위한 시스템이 제공되는바, 상기 시스템은, 상기 오퍼레이터로부터 제1 동작 커맨드에 관련된 입력을 수신하도록 된 동작 입력 디바이스와, 상기 제1 동작 커맨드는 상기 제1 뷰 필드의 위치, 배향, 또는 스케일링 중 적어도 하나에서의 변화와 관련되며; 팬, 틸트, 및 줌 기능 중 적어도 하나를 갖는 이미지 캡쳐 디바이스와, 상기 이미지 캡쳐 디바이스는 상기 제1 동작 커맨드에 관련된 동작 커맨드를 수신하도록 되어 있고, 상기 동작 입력 디바이스 및 상기 이미지 캡쳐 디바이스에 연결되어, 상기 동작 입력 디바이스로부터 상기 제1 동작 커맨드에 관련된 입력 데이터를 수신하고 그리고 상기 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지를 수신하도록 된 제1 양상에 따른 프로세싱 디바이스와; 그리고 상기 프로세싱 디바이스로부터 이미지들을 수신하고 그리고 상기 오퍼레이터에게 상기 수신된 이미지들을 제시하도록 된 디스플레이를 포함한다.
본 발명의 제4 양상에 따르면, 프로세싱 능력을 갖는 디바이스 상에서 수행될 때 제1 양상에 따른 방법을 실행하는 프로그램이 수록된 컴퓨터 판독가능 기록 매체가 제공된다.
제2, 제3, 및 제4 양상은 일반적으로 제1 양상과 동일한 피쳐들 및 이점들을 가질 수 있다. 명시적으로 달리 언급하지 않는한, 본 발명은 모든 가능한 피쳐들의 조합에 관련된다는 것이 또한 주목되어야 한다 .
일반적으로, 청구항에서 사용되는 모든 용어들은 본 명세서에서 달리 명시적으로 정의되지 않는 한, 본 기술 분야에서의 통상적인 의미에 따라 해석되어야 한다. "하나의/상기 [디바이스, 이벤트, 메시지, 알람, 파라미터, 단계 등]에 대한 모든 기재는, 달리 명시적으로 언급되지 않는 한, 상기 디바이스, 이벤트, 메시지, 알람, 파라미터, 단계 등의 적어도 하나의 경우를 지칭하는 것으로서 열린 의미로 해석되어야 한다. 본 명세서에 개시된 임의의 방법의 단계들은, 달리 명시적으로 언급되지 않는 한, 개시된 정확한 순서로 수행되어야야만 하는 것은 아니다.
상기의 내용, 및 본 발명의 추가의 목적, 피쳐 및 이점이 첨부된 도면을 참조로 본 발명의 바람직한 실시예들에 대한 하기의 예시적이고 비-제한적한 상세한 설명을 통해 더 잘 이해될 것이며, 도면에서 유사한 도면부호는, 유사한 구성요소를 나타내기 위해 사용될 것이다.
도 1은 본 발명의 실시예들에 따른 이미지 캡쳐 디바이스의 오퍼레이터에게 이미지를 디스플레이하기 위한 시스템의 개략적인 도면이다.
도 2는 본 발명의 실시예들에 따른 이미지 캡쳐 디바이스의 오퍼레이터에게 이미지를 디스플레이하기 위한 디바이스의 개략적인 도면이다.
도 3a 내지 5b는 본 발명의 실시예들에 따른 이미지 캡쳐 디바이스로부터 수신된 이미지 및 제2 뷰 필드의 이미지 데이터에 근거하여 제1 뷰 필드에 대응하는 이미지가 어떻게 결정되는지에 대한 개략적인 도면이다.
도 6은 본 발명의 실시예들에 따른 방법의 흐름도이다.
도 1은 이미지 캡쳐 디바이스(104)의 오퍼레이터에게 이미지들을 디스플레이하기 위한 시스템(100)의 실시예를 도시한다. 시스템(100)은 동작 상태에서 기술될 것이다. 시스템은 이미지 캡쳐 디바이스(104)에 동작적으로 연결된 프로세싱 디바이스(102), 동작 입력 디바이스(106), 및 디스플레이(108)를 포함한다. 연결은 유선 연결, 무선 연결 또는 이들의 조합일 수 있다.
프로세싱 디바이스(102)는, 동작 입력 디바이스(106) 및 디스플레이(108)와 함께, 오퍼레이터가 이미지 캡쳐 디바이스(104)를 제어할 수 있게 하는 인터페이스로서 기능한다. 이미지 캡쳐 디바이스들의 네트워크의 부분일 수 있는 이미지 캡쳐 디바이스(104)는 다양한 방향에서 이미지를 캡쳐하도록 제어될 수 있다. 예를 들어, 이미지 캡쳐 디바이스(104)는 반구(half-sphere) 내의 방향들에서 이미지들을 캡쳐하도록 지시받을 수 있다. 이를 위하여, 이미지 캡쳐 디바이스(104)는 팬 기능, 필트 기능, 및 줌 기능 중 적어도 하나를 가질 수 있다. 이미지 캡쳐 디바이스(104)는 미리정해진 속도로 프로세싱 디바이스(102)에 이미지들을 전송한다. 프로세싱 디바이스(102)는 수신된 이미지들을 처리하고 이들을 디스플레이(108) 상에서 오퍼레이터에게 보여줄 수 있다.
오퍼레이터는 동작 입력 디바이스(106)를 통해 프로세싱 디바이스(102)에 동작 커맨드들을 전송한다. 동작 커맨드들은 오퍼레이터가 디스플레이(108) 상에 보여지는 뷰 필드의 위치, 배향 및/또는 스케일을 어떻게 변경하기를 원하는지와 관련된다. 동작 커맨드들은 동작 입력 디바이스(106)로부터 이미지 캡쳐 디바이스(104)에 직접 또는 (도 1에서 대시 선으로 표시된 것과 같이) 프로세싱 디바이스(102)를 통해 이미지 캡쳐 디바이스(104)에 송신될 수 있다.
동작 입력 디바이스(106)는 그러한 동작 커맨드들의 입력에 적합한, 일반적으로 본 기술분야에서 알려져 있는 임의의 디바이스일 수 있다. 예를 들어, 동작 입력 디바이스(106)는 조이스틱, 키보드, 아이 모션(eye motion) 센서, 헤드 모션 센서, 발 페달, 터치스크린, 음성 제어 등일 수 있다. 예를 들어, 동작 입력 디바이스(106)는 오퍼레이터가 그래픽 사용자 인터페이스를 통해 동작 커맨드들을 입력할 수 있게 하는 마우스일 수 있다.
도 1에 도시된 타입의 시스템들에서, 일반적으로 레이턴시가 존재한다. 예를 들어, 동작 입력 디바이스(106)와 이미지 캡쳐 디바이스(104) 사이에 신호들의 전송에 있어서 레이턴시가 있을 수 있고, 네트워크에 레이턴시가 있을 수 있고, 이미지 캡쳐 디바이스(104)의 메커닉에 레이턴시가 있을 수 있고, 그리고 이미지 캡쳐 디바이스(104)의 코딩에 그리고 프로세싱 디바이스(102)에 레이턴시가 있을 수 있다. 그 결과, 오퍼레이터가 동작 입력 디바이스(106)에 영향을 주어 동작 커맨드를 주는 순간과 오퍼레이터의 입력을 반영하는 이미지 캡쳐 디바이스(104)로부터의 이미지가 디스플레이(108) 상에 보여지는 순간까지의 지연이 존재한다. 이 지연은 오퍼레이터를 상당히 방해하고 이미지 캡쳐 디바이스(104)를 만족스러운 정도로 동작시키는 것을 어렵게 만든다. 본 발명에서, 하기에서 더 설명되는 것과 같이, 그러한 지연의 부정적 영향이 감소되어, 이미지 캡쳐 디바이스(104)에 대한 개선된 제어를 오퍼레이터에게 제공한다.
디스플레이(108) 상에서 오퍼레이터에게 제시되는 이미지는 제1 뷰 필드에 대응한다. 동작 중에, 동작 입력 디바이스(106)는 이미지 캡쳐 디바이스(104)의 오퍼레이터로부터 제1 동작 커맨드를 수신한다. 동작 입력 디바이스(106)는 제1 동작 커맨드에 관련된 입력 데이터를 프로세싱 디바이스(102)에 전송한다. 제1 동작 커맨드는 오퍼레이터가 디스플레이(108) 상에 보여지기를 원하는 제1 뷰 필드에 관련된다. 특히, 제1 동작 커맨드는 제1 뷰 필드의 위치, 배향 및/또는 스케일링에서의 변화와 관련될 수 있다. 제1 동작 커맨드는 따라서 제1 뷰 필드의 병진 이동, 회전 이동 및 주밍(zooming)과 관련된다. 따라서, 제1 동작 커맨드는 제1 뷰 필드의 위치, 배향, 및/또는 스케일링이 어떻게 변경될 것인지에 대한 명령어들을 포함할 수 있다. 예를 들어, 제1 동작 커맨드는 제1 뷰 필드의 타겟 위치, 타겟 배향, 또는 타겟 스케일링에 관련될 수 있다. 대안적으로, 제1 동작 커맨드는, 병진 이동, 회전 이동, 및/또는 스케일링 이동의 속도와 같은, 제1 뷰 필드의 요구되는 이동 속도 및 이동 방향에 관련될 수 있다. 타겟 위치 및 이동의 방향은 프로세싱 디바이스(102)에게 알려져 있는 어떤 좌표계에 대하여 정의될 수 있다. 타겟 배향은 프로세싱 디바이스(102)에게 알려져 있는 어떤 미리 정의된 방향에 대한 타겟 각도로서 정의될 수 있다. 또한, 타겟 스케일링 값은 프로세싱 디바이스(102)에게 알려져 있는 어떤 기준 스케일링 값에 대하여 정의될 수 있다. 결과적으로, 프로세싱 디바이스(102)에 의해 수신된 입력 데이터가 제1 뷰 필드의 타겟 위치의 좌표, 제1 뷰 필드의 타겟 각도, 및/또는 제1 뷰 필드의 타겟 스케일링 값을 포함할 수 있다. 또한, 프로세싱 디바이스(102)에 의해 수신된 입력 데이터가 제1 뷰 필드의 요구되는 모션의 이동 방향 및 속도를 포함할 수 있다. 이는 도 3a에 더 도시되는바, 도 3a는 오퍼레이터가 제1 뷰 필드의 위치에서의 변화와 관련된 제1 동작 커맨드를 입력하는 예이다. 배향 또는 스케일링에서의 변화와 관련된 대응하는 예가 도 4-5를 참조로 추후에 더 기술될 것이다. 이 예들이 서로 조합될 수 있다는 것이 이해된다.
도 3a에는, 제2 뷰 필드(300)가 도시된다. 하기에 더 개시된 바와 같이, 프로세싱 디바이스(102)가 제2 뷰 필드(300)의 이미지 데이터에 액세스한다. 도 3a는 제2 뷰 필드(300) 내에서 제1 위치(P1)에 위치되어 있는 제1 뷰 필드(302a)를 더 도시한다. 제1 위치(P1)에 위치된 제1 뷰 필드(302a)는 디스플레이(108) 상에 보여지는 현재의 이미지에 대응할 수 있다. 제2 뷰 필드(300)는 제1 뷰 필드(302A)보다 큰 영역을 커버한다. 예를 들어, 제2 뷰 필드(300)는 이미지 캡쳐 디바이스(104)가 이미지들을 캡쳐할 수 있는 전체 뷰 필드에 대응할 수 있다.
도시된 예에서, 프로세싱 디바이스(102)에 의해 수신된 입력 데이터는 화살표(310)로 도시된 것과 같은 제1 뷰 필드(302a)의 위치(P1) 변화에 관련된다. 특히, 입력 데이터는 제1 위치(P1) 내의 제1 뷰 필드(302a)가 제2 위치(P2)로 이동하는 것과 관련될 수 있다. 이는 제2 위치(P2)에 위치된 제1 뷰 필드(302b)로 도시된다. 예를 들어, 입력 데이터는 제1 뷰 필드(302b)의 타겟 위치에 관련될 수 있다. 타겟 위치는 제1 뷰 필드(302b)의, 중심점과 같은 점의 좌표들에 관하여 주어질 수 있다. 대안적으로, 입력 데이터는 제1 뷰 필드(302a)의 요구되는 이동의 이동 속도 및 이동 방향에 관련될 수 있다. 예를 들어, 이동 속도는 어떤 x-y 좌표계에 대하여 x-방향 및 y-방향과 같은 두 개의 미리 정해진 방향에 대해 주어질 수 있다.
도 3a는 이미지 캡쳐 디바이스(104)의 뷰 필드(304a)를 더 도시한다. 뷰 필드(304a)는 처음에는 이미지 캡쳐 디바이스(104)의 현재의 뷰 필드에 대응한다. 도시된 예에서, 이미지 캡쳐 디바이스(104)의 뷰 필드(304a)는 제1 뷰 필드(302a)에 중심을 둔다. 그러나, 일반적으로, 반드시 이러한 경우일 필요는 없다. 달리 말하면, 디스플레이(108) 상에 보여진 이미지의 제1 뷰 필드가 반드시 이미지 캡쳐 디바이스(104)의 뷰 필드에 대응할 필요는 없다.
입력 데이터를 수신시, 프로세싱 디바이스(102)는, 상기 입력 데이터에 근거하여, 제2 뷰 필드(300) 내에서 제1 뷰 필드(302b)의 위치(P2)를 결정한다. 입력 데이터가 타겟 위치와 관련되는 경우에, 결정된 위치(P2)는 타겟 위치와 동일하다. 입력 데이터가 이동 속도 및 이동 방향에 관련되는 경우에, 상기 위치는 이동 속도, 이동 방향 및 이미지들이 디스플레이(108) 상에 디스플레이되는 시간 인터벌에 근거하여 결정될 수 있다. 도시된 예에서, 시간 인터벌은 제1 위치(P1) 내의 제1 뷰 필드(302a)의 디스플레이와 제2 위치(P2) 내의 제1 뷰 필드(302b)의 디스플레이 사이의 경과 시간에 대응한다.
프로세싱 디바이스(102)는 계속해서 이미지 캡쳐 디바이스(104)로부터 이미지들을 수신한다. 특히, 프로세싱 디바이스(102)는 위치(P2)에서 제1 뷰 필드(302b)에 대응하는 이미지가 디스플레이(108) 상에 보여질 때의 시간에, 이미지 캡쳐 디바이스(104)로부터 이미지를 수신한다. 도 3b는 그 시간에 이미지 캡쳐 디바이스(104)로부터 수신된 이미지(304b)를 도시한다. 이상적으로, 수신된 이미지(304b)는 제1 뷰 필드(302b)에 중심을 두어야 하며, 이는 디스플레이 상에 보여질 제1 뷰 필드(302b)와 수신된 이미지(304b) 사이에 위치에 있어서의 래그(lag)가 없음을 의미한다. 그러나, 도 3b에 도시된 바와 같이, 수신된 이미지는 일반적으로, 시스템(100)에서의 레이턴시로 인하여, 제1 뷰 필드(302b)에 중심에 두고 위치되지 않는다. 구체적으로, 도 3b에서, 이미지(304b)는 위치(P2)와는 다른 위치(P4)에 위치된다. 따라서, 레이턴시로 인하여, 이미지 캡쳐 디바이스(104)는 제1 뷰 필드(302a-b)의 위치에 있어서 요구되는 변화를 반영하는 이미지를 아직 전송할 수 없다.
이 문제를 해결하기 위하여, 프로세싱 디바이스(102)는 제1 뷰 필드(302b)와 이미지 캡쳐 디바이스(104)로부터 수신되는 이미지(304b)와의 오버랩 부분(306)을 결정하도록 진행한다. 오버랩 부분의 결정은 이미지 캡쳐 디바이스(104)로부터 수신되는 이미지(304b)의 위치를 결정하는 것을 포함할 수 있다. 또한, 제1 뷰 필드(402b)와 이미지 캡쳐 디바이스(104)로부터 수신된 이미지(304b)와의 위치 사이의 오프셋(즉, 상대적 위치)가 결정될 수 있다. 예를 들어, 제1 뷰 필드(302b)와 수신된 이미지(304b)의 위치들(P2, P4)과 같은 중심 점들 또는 어떤 다른 미리정해진 점들 사이의 오프셋이 결정될 수 있다.
일 실시예에서, 프로세싱 디바이스(102)는 이미지 캡쳐 디바이스(104)로부터, 이미지(304B)와 함께 메타데이터와 같은 정보를 수신한다. 이 정보는 이미지 캡쳐 디바이스(104)에 의해 캡쳐되는 이미지(304b)의 위치(P4)에 관련될 수 있다. 수신된 정보에 근거하여, 프로세싱 디바이스(102)는 오프셋을, 이미지(304b)의 위치(P4)와 제1 뷰 필드(302b)의 위치(P2) 사이의 차로서 결정할 수 있다.
대안적으로, 또는 추가적으로, 상기 정보는 이미지(304b)가 캡쳐된 시간의 이미지 캡쳐 디바이스(104)의 이동 속도 및 이동 방향에 관련된 정보를 포함할 수 있다. 수신된 정보에 근거하여, 프로세싱 디바이스(102)는, 수신된 이미지(304b)의 위치(P4)를 결정하거나 적어도 추정할 수 있다. 특히, 위치(P4)는, 이미지(304a)의 위치(P3)와 같은 이전에 수신된 이미지의 위치, 이전에 수신된 이미지가 캡쳐된 때로부터의 경과된 시간, 및 이미지 캡쳐 디바이스(104)의 이동 속도 및 이동 방향에 관련된 정보에 근거하여 추정될 수 있다.
대안적으로, 또는 추가적으로, 프로세싱 디바이스(102)는 이미지 상관(image correlation)에 의해 제1 뷰 필드(302b)와 수신된 이미지(304b) 사이의 오프셋을 결정한다. 더욱 상세히는, 프로세싱 디바이스(102)는 수신된 이미지(304b)의 위치(P4)를 결정하기 위하여 제2 뷰 필드(300)의 이미지 데이터를 수신된 이미지(304b)와 상관시킬 수 있다. 선택적으로, 프로세싱 자원들을 절약하기 위하여 상관을 수행하기 전에 제2 뷰 필드의 이미지 데이터가 제1 뷰 필드로 제한될 수 있다. 상관은 알려진 임의의 방식으로 수행될 수 있다.
이미지 상관 기법을 사용하여 오프셋을 결정하기 위하여 메타데이터를 사용한 위의 기법을 결합함으로써, 오프셋의 결정에 대한 추가의 개선이 이루어질 수 있다.
또 다른 실시예에서, 프로세싱 디바이스(102)는 이미지 캡쳐 디바이스(104)에 송신된 동작 커맨드(들) 및 시스템(100)의 시간 지연에 근거하여 수신된 이미지(304b)의 위치를 추정한다. 보다 구체적으로, 프로세싱 디바이스(102)는 어떤 동작 커맨드들이 이미지 캡쳐 디바이스(104)에 송신되었는지에 대한 지식을 가지고 있고 따라서, 시간 지연을 알게되면 이미지 캡쳐 디바이스(104)의 이동을 추정할 수 있다. 이미지 캡쳐 디바이스(104)로 송신된 동작 커맨드가 제1 동작 커맨드와 동일한 경우(예를 들어, 동작 입력 디바이스(106)가 이미지 캡쳐 디바이스(104)에 동작 커맨드를 직접 전송하는 경우일 수 있음), 프로세싱 디바이스(102)가 입력 데이터 및 시간 지연으로부터 이미지 캡쳐 디바이스(104)의 이동을 추정할 수 있다.
프로세싱 디바이스(102)가 제1 뷰 필드(302b)와 수신된 이미지(304b) 사이의 오버랩 부분을 결정하면, 프로세싱 디바이스(102)는 디스플레이(108) 상에 디스플레이될 이미지를 결정하도록 진행한다. 디스플레이될 이미지는 위치(P2)에서의 제1 뷰 필드(302b)에 대응한다. 도 3b에 도시된 바와 같이, 제1 뷰 필드(302b)는 2 개의 부분들 - 오버랩 부분(306), 및 비-오버랩 부분(308)을 포함할 수 있다. 비-오버랩 부분(308)은 오버랩 부분(306) 밖에 있는 제1 뷰 필드의 부분으로서 보여질 수 있다. 수신된 이미지(304b)가 제1 뷰 필드(302b)와 완전히 오버랩되고 따라서 비-오버랩 부분이 없는 때의 경우들이 있음이 이해되어야 한다.
오버랩 부분(306) 내에서, 프로세싱 디바이스(102)는, 수신된 이미지(304b)를 통해, 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 현재의 이미지 데이터에 액세스한다. 따라서, 프로세싱 디바이스(102)는 오버랩 부분(306)의 이미지 데이터를
수신된 이미지(304b)의 대응 부분(306)으로부터의 이미지 데이터에 대응하는 것으로 결정한다.
비-오버랩 부분(308) 내에서, 프로세싱 디바이스(102)는 이미지 캡쳐 디바이스(104)로부터의 현재의 이미지 데이터에 대한 액세스를 갖지 않는다. 대신에, 프로세싱 디바이스(102)는 제2 뷰 필드(300)의 이미지 데이터에 액세스할 수 있다. 프로세싱 디바이스(102)는 이후 비-오버랩 부분(308)의 이미지 데이터를 제2 뷰 필드(300)의 대응 부분의 이미지 데이터에 대응하는 것으로 결정할 수 있다. 선택적으로, 비-오버랩 부분(308)의 이미지 데이터가 예컨대, 강도, 명암 및/또는 색상에 대하여 수신된 이미지(304b)의 대응하는 파라미터들에 정합하도록 조정될 수 있다.
제2 뷰 필드의 이미지 데이터는 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지 데이터를 포함할 수 있다. 예를 들어, 프로세싱 디바이스(102)는, 내부 메모리로부터, 이미지 캡쳐 디바이스(104)의 잠재적 뷰 필드의 전부 또는 부분을 커버하는 사전 녹화된(pre-recorded) 이미지에 액세스할 수 있다. 사전 녹화된 이미지는, 예를 들어, 이미지 캡쳐 디바이스(104)에 의해 캡쳐될 수 있다. 일 실시예에서, 제2 뷰 필드(300)의 이미지 데이터는, 제2 뷰 필드(300)의 완전한 이미지 데이터를 형성하도록 나란히 배열된 또는 약간 오버랩되어 배열된 복수의 서브-이미지들로 구성된다. 예를 들어, 상기 서브-이미지들은 제2 뷰 필드(300)를 스캐닝함으로써 이미지 캡쳐 디바이스(104)에 의해 생성될 수 있다. 제2 뷰 필드(300)의 그러한 스캐닝은 미리정해진 시간 인터벌들에 수행될 수 있다. 다른 실시예들에 따르면, 제2 뷰 필드(300)의 이미지 데이터가 이미지 캡쳐 디바이스(104)로부터 또는 또 다른, 별도의 이미지 캡쳐 디바이스(도시되지 않음)로부터 수신될 수 있다. 만약 그렇다면, 대역폭을 절약하기 위하여, 이미지의 미리정해진 중앙 부분 밖에 있는, 이미지 캡쳐 디바이스(104)에 의해 또는 상기 별도의 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지의 이미지 데이터가, 상기 미리정해진 중앙 부분 내부의 이미지 데이터보다 더 압축될 수 있다. 이는 이미지가 이미지 캡쳐 디바이스(104) 그 자체에 의해 캡쳐될 때 특히 유익한데, 그 이유는 이 경우에 대역폭이 더 제한되어 있기 때문이다. 일 실시예에 따르면, 이미지 캡쳐 디바이스(104)는 그것의 현재 주밍 레벨로부터 줌-아웃함으로써 제2 뷰 필드(300)의 이미지 데이터를 캡쳐할 수 있고, 그럼으로써 캡쳐된 이미지가 더 넓은 뷰 필드를 커버하게 한다. 대안적으로, 프로세싱 디바이스(102)는 장면의 기하학적 모델로부터 제2 뷰 필드(300)의 이미지 데이터를 렌더링할 수 있다. 렌더링된 이미지 데이터는 프로세싱 디바이스의 내부 메모리에 일시적으로 저장될 수 있다. 또한, 기하학적 모델이 프로세싱 디바이스(102)의 내부 메모리에 저장될 수 있다. 제2 뷰 필드의 이미지 데이터는 또한 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지 데이터와 기하학적 모델 데이터로부터 렌더링된 이미지 데이터의 조합일 수 있다.
일부 실시예들에서, 제2 뷰 필드(300)의 이미지 데이터가 이미지 캡쳐 디바이스(104)로부터 수신된 이미지(304)로 갱신될 수 있다. 보다 구체적으로, 수신된 이미지(304b)의 이미지 데이터를 이용함으로써, 프로세싱 디바이스(102)는 이미지(304b)의 내부에 있는 부분 내의 제2 뷰 필드(300)의 이미지 데이터를 갱신할 수 있다.
디스플레이될 이미지를 결정하면, 프로세싱 디바이스(102)가 이미지 데이터를 디스플레이(108)에 전송하여 이미지 데이터가 통상적인 방식으로 오퍼레이터에게 디스플레이될 수 있다.
위에서 논의된 바와 같이, 동작 입력 디바이스(106)에 입력되는 동작 커맨드들이 이미지 캡쳐 디바이스(104)에 전송될 수 있다. 특히, 제1 동작 커맨드에 관련된 제2 동작 커맨드가 이미지 캡쳐 디바이스(104)에 전송될 수 있다. 일 실시예에서, 제2 동작 커맨드가 동작 입력 디바이스(106)에 의해 이미지 캡쳐 디바이스(104)로 직접 전송된다. 그렇다면, 제2 동작 커맨드는 제1 동작 커맨드와 일반적으로 동일하다.
또 다른 실시예에서, 제2 동작 커맨드가 프로세싱 디바이스(102)에 의해 이미지 캡쳐 디바이스(104)로 전송된다. 만약 그렇다면, 제2 동작 커맨드가 제1 동작 커맨드와 동일하거나 또는 제1 동작 커맨드에 근거하여 프로세싱 디바이스(102)에 의해 결정될 수 있다. 특히, 제2 동작 커맨드는 입력 데이터 및 시스템(100)에서의 레이턴시에 관련된 시간 지연에 근거하여 프로세싱 디바이스(102)에 의해 결정될 수 있다. 이 경우에, 프로세싱 디바이스(102)는 예컨대 내부 메모리로부터, 시간 지연에 액세스할 수 있고, 액세스된 시간 지연 및 입력 데이터에 근거하여 제2 동작 커맨드를 결정할 수 있다. 이러한 식으로, 프로세싱 디바이스(102)가 오퍼레이터로부터 수신된 명령어들에 근거하여 그리고 레이턴시를 고려함으로써 이상적인 이미지 위치 또는 이미지 캡쳐 디바이스(104)의 요구되는 이동 속도 및 방향을 추정할 수 있다. 이는, 예를 들어, 시스템(100)에서의 레이턴시에 대해 보상하기 위하여 이미지 캡쳐 디바이스(104)가, 오퍼레이터가 동작 입력 디바이스(106)에 입력한 것보다 더 빠르게 움직일 필요가 있는 경우일 수 있다.
대안으로서, 제2 동작 커맨드는 제1 뷰 필드(302b)와 이미지 캡쳐 디바이스(104)로부터 수신된 이미지(304b) 사이의 오프셋에 근거할 수 있다. 예를 들어, 오프셋이 특정 값보다 크면, 프로세싱 디바이스는 이미지 캡쳐 디바이스(104)에게 더 빠르게 움직일 것을 명령하는 제2 동작 커맨드를 송신할 수 있다. 예를 들어, 제2 동작 커맨드는 오프셋의 함수인 이동 속도와 이동 방향에 관련될 수 있다. 제2 동작 커맨드의 이동 속도는 오프셋의 절대값에 비례할 수 있다.
제1 뷰 필드의 배향에 있어서의 변화에 관현 다른 예가 이제 도 4a 내지 도 4b를 참조로 기술될 것이다.
도 4a는 제2 뷰 필드(400) 내에 위치된 제1 뷰 필드(402a)를 도시한다. 도시된 예에서, 제1 뷰 필드(402a)는 제2 뷰 필드(400)와 동일한 배향을 가진다. 그러나, 일반적으로, 제1 뷰 필드(402a)는 제2 뷰 필드(400)에 대해 임의적인 배향(arbitrary oritentation)을 가질 수 있다. 오퍼레이터는 그가 제1 뷰 필드(402a)의 배향을 변경할 것을 원한다는 것을 동작 입력 디바이스(106)를 통해 프로세싱 디바이스(102)에 입력할 수 있다. 프로세싱 디바이스에 의해 수신된 입력 데이터는 예를 들어 어떤 미리정해진 방향 또는 요구되는 각속도(angular speed) 및 각방향(angular direction)에 대한 타겟 각도와 같은 타겟 배향에 관한 것일 수 있다. 입력에 근거하여, 프로세싱 디바이스(102)는 제2 뷰 필드(400)에 대하여 제1 뷰 필드(402a)의 새로운 배향을 결정할 수 있다. 새로운 배향을 갖는 제1 뷰 필드가 제1 뷰 필드(402b)로 도시된다. 이 예에서, 제1 뷰 필드(402b)는 제2 뷰 필드에 대해 각도 α를 가지고 회전된다. 각도 α는 미리정해진 방향에 대해 정의될 수 있다.
프로세싱 디바이스(102)는 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 이미지(404b)를 더 수신한다. 수신된 이미지(404b)에 근거하여, 프로세싱 디바이스(102)는 수신된 이미지와 제1 뷰 필드(402b)와의 오버랩 부분(406)을 결정하도록 진행한다. 이렇게 하기 위하여, 프로세싱 디바이스는 제2 뷰 필드(400)에 대한 수신된 이미지(404b)의 배향을 결정할 수 있다. 도 3a 내지 3b를 참조로 추가로 논의되는 바와 같이, 그러한 결정은 예를 들어 이미지(404b)와 함께 프로세싱 디바이스(102)로 송신된 메타데이터에 근거하고/근거하거나 이미지 상관 기법에 근거하고/근거하거나 시간 지연을 고려하는 이미지 캡쳐 디바이스(104)의 이동의 추정에 근거할 수 있다. 메타데이터는, 예를 들어, 미리정해진 방향에 대한 이미지(404b)의 배향을 포함할 수 있다. 대안적으로, 메타데이터는 이미지 캡쳐 디바이스(104)의 각속도 및 방향에 관한 것일 수 있다. 도시된 예에서, 수신된 이미지(404b)는 제2 뷰 필드(400)에 대해 각도 β만큼 회전된다. 따라서, 제1 뷰 필드(402b)와 수신된 이미지(404b) 사이에 α-β의 각도 오프셋이 있다.
제2 뷰 필드(400)에 대해 제1 뷰 필드(402b)와 수신된 이미지(404b)의 각도 배향에 대한 지식을 가지면, 프로세싱 디바이스(102)는 제1 뷰 필드(402b)와 수신된 이미지(404b) 사이의 오버랩 부분(406)을 결정할 수 있다. 또한, 프로세싱 디바이스(102)는 제1 뷰 필드(402b)의 비-오버랩 부분(408)이 있는지 여부, 즉, 오버랩 부분(406) 바깥에 있는 제1 뷰 필드(402b)의 부분이 있는지를 결정할 수 있다.
디스플레이될 이미지를 결정하기 위하여, 프로세싱 디바이스(102)는 오버랩 부분(406) 내의 수신된 이미지(404b)의 이미지 데이터를 사용한다. 또한, 프로세싱 디바이스(102)는 제2 뷰 필드(400)의 이미지 데이터에 액세스하고 비-오버랩 부분(408) 내의 상기 액세스된 이미지 데이터를 사용한다.
도 4b는 디스플레이(108) 상에 보여지는 결과적인 이미지(402)를 도시한다. 디스플레이될 이미지(402)를 구성할 때, 제2 뷰 필드(400)에 대한 수신된 이미지(404b) 및 제1 뷰 필드(402b) 각각의 회전들이 고려되도록 주의하여야 한다. 위에 개시된 바와 같이, 프로세싱 디바이스(102)는 비-오버랩 부분(408) 내에 제2 뷰 필드(400)의 이미지 데이터를 사용한다. 상기 이미지 데이터는 제1 뷰 필드(402b)에 대해 -α의 각도에 배향되는 제2 뷰 필드(400)에 기원을 두고 있으므로, 이미지(402)에 피트되기 위하여 -α각도만큼 회전되어야 한다. 마찬가지로, 프로세싱 디바이스(102)는 오버랩 부분(406) 내에 수신된 이미지(404b)의 이미지 데이터를 사용한다. 상기 이미지 데이터는 제1 뷰 필드(404b)에 대해 -(α-β)의 각도로 배향되므로, 이미지(402)에 피트되게 위하여 -(α-β)의 각도만큼 회전되어야 한다.
제1 뷰 필드의 스케일링 변화에 관한 다른 예가 이제 도 5a-5b를 참조로 기술될 것이다.
도 5a는 제2 뷰 필드(500) 내에 위치되는 제1 뷰 필드(502a)를 도시한다. 오퍼레이터는 그가 제1 뷰 필드(502a)의 스케일링을 변경하기를 원한다는 것을 동작 입력 디바이스(106)를 통해 프로세싱 디바이스(102)에 입력할 수 있다. 예를 들어, 스케일링 변화는 줌-인 또는 줌-아웃에 관련될 수 있다. 상기 입력에 근거하여, 프로세싱 디바이스(102)는 제2 뷰 필드(500)에 대한 제1 뷰 필드(502a)의 새로운 스케일링을 결정할 수 있다. 스케일링은 예를 들어 스케일링 인자에 관하여 주어질 수 있다. 프로세싱 디바이스에 의해 수신된 입력 데이터는, 예를 들어, 어떤 미리정해진 값에 대한 타겟 스케일링 인자와 같은 타겟 스케일링 인자, 또는 줌-인 속도 또는 줌-아웃 속도와 같은 요구되는 스케일링 속도 및 스케일링 방향에 관련될 수 있다. 도시된 예에서, 스케일링의 변화는 줌-아웃에 관련된다. 새 스케일링을 갖는 제1 뷰 필드가 제1 뷰 필드(502a)보다 큰 이미지 영역을 커버하는 제1 뷰 필드(502b)로 도시된다. 이것은 단지 예시의 목적임이 강조된다. 실제로, 제1 뷰 필드의 사이즈는 불변(constant)인바, 즉, 디스플레이 상에 보여지는 이미지의 사이즈가 불변이고, 이미지의 콘텐츠가 스케일된다. 예에서, 제1 뷰 필드(502b)는 제2 뷰 필드(500)에 대해 인자 K1으로 스케일된다.
프로세싱 디바이스(102)는 이미지 캡쳐 디바이스(104)에 의해 캡쳐되는 이미지(504b)를 더 수신한다. 수신된 이미지(504b)에 근거하여, 프로세싱 디바이스(102)는 수신된 이미지와 제1 뷰 필드(502b)와의 오버랩 부분(506)을 결정하도록 진행한다. 이를 위하여, 프로세싱 디바이스는 제2 뷰 필드(500)에 대하여 수신된 이미지(504b)의 스케일링을 결정할 수 있다. 도 3a-b를 참조로 더 논의되는 바와 같이, 그러한 결정은 예를 들어, 이미지(504b)와 함께 프로세싱 디바이스(102)에 송신된 메타데이터에 근거하고/근거하거나 이미지 상관 기법에 근거하고, 그리고/또는 시간 지연을 고려한 이미지 캡쳐 디바이스(104)의 이동의 추정에 근거할 수 있다. 메타데이터는 예를 들어 미리정해진 기준 스케일링 값에 대한 이미지(504b)의 스케일링 인자를 포함할 수 있다. 대안적으로, 메타데이터는 이미지 캡쳐 디바이스(104)의 줌 속도 및 줌 방향에 관한 것일 수 있다. 도시된 예에서, 수신된 이미지(504b)는 제2 뷰 필드(500)에 대하여 인자(K2)로 스케일된다.
제2 뷰 필드(500)에 대한 제1 뷰 필드(502b) 및 수신된 이미지(504b)의 스케일링 인자(K1 및 K2)에 대한 지식을 가지고, 프로세싱 디바이스(102)는 제1 뷰 필드(502b)와 수신된 이미지(504b) 사이의 오버랩 부분을 결정할 수 있다. 이것이 도 5b에 도시된다. 또한, 프로세싱 디바이스(102)는 제1 뷰 필드(502b)의 비-오버랩 부분(508)이 있는지 여부, 즉, 제1 뷰 필드(502b)의 부분이 오버랩 부분(506) 밖에 있는지를 결정할 수 있다.
디스플레이될 이미지를 결정하기 위하여, 프로세싱 디바이스(102)는 오버랩 부분(506) 내의 수신된 이미지(504b)의 이미지 데이터를 사용한다. 또한, 프로세싱 디바이스(102)는 제2 뷰 필드(500)의 이미지 데이터에 액세스하고 비-오버랩 부분(508) 내의 액세스된 이미지 데이터를 사용한다.
디스플레이될 이미지를 구성할 때, 제2 뷰 필드(500)에 대한 수신된 이미지(504b) 및 제1 뷰 필드(502b)의 각각의 스케일링이 고려되도록 주의하여야 한다. 위에 개시된 것과 같이, 프로세싱 디바이스(102)는 비-오버랩 부분(508) 내의 제2 뷰 필드(500)의 이미지 데이터를 사용한다. 이미지 데이터의 비-오버랩 부분은 제1 뷰 필드(502b)에 대해 1/K1 배만큼 스케일되는 제2 뷰 필드(500)에 그 기원을 두므로, 제1 뷰 필드에 피트되기 위하여 K1배만큼 스케일되어야 한다. 마찬가지로, 프로세싱 디바이스(102)는 오버랩 부분(506) 내에 수신된 이미지(504b)의 이미지 데이터를 사용한다. 이미지 데이터는 제1 뷰 필드(502b)에 대해 K2/K1 배만큼 스케일되는 수신된 이미지(504b)에 그 기원을 두고 있으므로, 제1 뷰 필드에 피트되기 위하여 K1/K2 배만큼 스케일되어야 한다.
프로세싱 디바이스(102)는 소프트웨어 또는 하드웨어로 구현될 수 있다. 도 2는 일 실시예에 따른 프로세싱 디바이스(102)의 내부 부분을 도시한다. 프로세싱 디바이스(102)는 중앙 처리 유닛(CPU)일 수 있는 프로세싱 유닛(202)을 포함한다. 프로세싱 유닛(202)은 메모리(204), 수신기(206), 및 전송기(208)에 동작적으로 연결된다. 수신기(206)는 임의의 알려진 방식으로 외부 유닛, 디바이스, 장치로부터 데이터 신호들을 수신하도록 구성된다. 예를 들어, 수신기(202)는 동작 입력 디바이스(106) 및 이미지 캡쳐 디바이스(104)로부터 데이터를 수신하도록 구성된다. 마찬가지로, 전송기(208)는 임의의 알려진 방식으로 외부 유닛, 디바이스, 장치에 데이터 신호들을 전송하도록 구성된다. 예를 들어, 전송기는 디스플레이(108) 및 이미지 캡쳐 디바이스(104)에 데이터를 전송하도록 구성될 수 있다. 메모리(204)는 이미지 캡쳐 디바이스(104)의 오퍼레이터에게 이미지를 디스플레이하기 위한 컴퓨터로 구현된 방법과 관련된 소프트웨어 명령어들을 저장하도록 구성될 수 있다. 메모리(204)는 따라서 소프트웨어 명령어들이 저장되어 있을 수 있는 컴퓨터-판독가능 매체를 형성할 수 있다. 소프트웨어 명령어들은 프로세싱 유닛(202)으로 하여금 본 발명의 실시예들에 따른 방법을 실행하도록 할 수 있다.
일 실시예에 따른 방법이 도 1 내지 5 및 도 6의 흐름도를 참조로 하기에서 기술될 것이다. 본 방법은 이미지 캡쳐 디바이스(104)의 오퍼레이터에게 제1 뷰 필드에 대응하는 이미지를 디스플레이하는 것에 관한 것이다.
단계(S02)에서, 프로세싱 디바이스(102)는 동작 입력 디바이스(106)로부터 입력 데이터를 수신한다. 입력 데이터는 제1 동작 커맨드에 관한 것이다. 일반적으로 제1 동작 커맨드는 디스플레이(108) 상에 보여질 제1 뷰 필드의 위치, 배향, 또는 스케일링 중 적어도 하나의 변화에 관한 것이다.
단계(S04)에서, 프로세싱 디바이스(102)는, 입력 데이터에 근거하여, 제2 뷰 필드(300)에 대한 제1 뷰 필드(302B)의 위치, 배향, 또는 스케일링 중 적어도 하나를 결정한다. 예를 들어, 단계(S04)에서 결정된 위치는 도 3a의 제1 뷰 필드(302b)의 위치(P2), 도 4a의 각도 α, 및 도 5a를 참조로 위에서 개시된 스케일링 인자 K1에 대응한다. 입력 데이터가 타겟 위치, 타겟 배향, 또는 타겟 스케일링에 관한 것인 경우, 결정된 위치/배향/스케일링은 타겟 위치/타겟 배향/타겟 스케일링과 동일하다. 입력 데이터가 이동 속도 및 이동 방향에 관한 것인 경우, 위치, 배향, 및/또는 스케일링이 이동 속도, 이동 방향 및 이미지들이 디스플레이(108) 상에 디스플레이되는 시간 인터벌에 근거하여 결정될 수 있다.
단계(S06)에서, 프로세싱 디바이스(102)는 이미지 캡쳐 디바이스(104)로부터 이미지를 수신한다. 프로세싱 디바이스(102)는, 제2 뷰 필드에 대해 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지의 위치, 배향, 또는 스케일링 중 적어도 하나를 결정할 수 있다.
단계(S08)에서, 프로세싱 디바이스(102)는 제1 뷰 필드와 이미지 캡쳐 디바이스(104)로부터 수신된 이미지(304b)와의 오버랩 부분(306)을 결정한다. 오버랩 부분의 결정은 제1 뷰 필드와 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 이미지와의 사이의 위치, 배향, 또는 스케일링 중 적어도 하나 사이의 오프셋을 결정하는 것을 포함할 수 있다. 오프셋은 따라서 위치에서의 오프셋, 예를 들어, 제1 뷰 필드(302b)와 수신된 이미지(304b)의 중심 점들 또는 임의의 다른 미리정해진 점들 사이의 오프셋, 및/또는 배향에서의 오프셋(예컨대, 각도 오프셋), 및/또는 스케일링에서의 오프셋(예컨대, 스케일링 인자들에서의 오프셋)에 대응할 수 있다. 위에서 기술된 바와 같이, 그러한 결정은 이미지 캡쳐 디바이스(104)로부터 수신된 메타데이터, 및/또는 수신된 이미지(304b)와 제2 뷰 필드(300)의 이미지 데이터 사이에 수행된 상관에 근거하거나, 또는 시간 지연을 고려한 이미지 캡쳐 디바이스(104)의 이동 추정에 의한 것일 수 있다.
이후, 단계(S10)에서, 프로세싱 디바이스(102)는 오버랩 부분(306) 내의 이미지 캡쳐 디바이스(104)에 의해 캡쳐되는 이미지(304b)의 이미지 데이터를 사용하여 디스플레이될 이미지를 결정한다. 프로세싱 디바이스(102)는 제2 뷰 필드의 이미지 데이터에 더 액세스한다. 예를 들어, 프로세싱 디바이스(102)는, 메모리(204)로부터, 이미지 캡쳐 디바이스(104)의 잠재적인 뷰 필드의 전부 또는 부분을 커버하는 사전녹화된 이미지에 액세스할 수 있다. 프로세싱 디바이스(102)는 이후 오버랩 부분 밖에 있는 제1 뷰 필드의 부분(308) 내의 제2 뷰 필드(300)의 액세스된 이미지 데이터를 사용한다. 도 3-5를 참조로 위에서 논의된 바와 같이, 디스플레이될 이미지를 구성할 때, 제1 뷰 필드와 이미지 캡쳐 디바이스(104)로부터 수신된 이미지의 상대적인 위치, 상대적인 배향, 및/또는 상대적인 스케일링이 고려된다.
일 실시예에서, 단계(S10)는 다수의 서브단계들로 수행된다. 제1 서브단계에서, 제1 이미지가 제2 뷰 필드(302b)의 내부에 있는 제2 뷰 필드(300)의 이미지 데이터로서 결정된다. 선택적으로, 제1 이미지는 다음 서브단계를 수행하기 전에 디스플레이(108) 상에서 오퍼레이터에게 디스플레이될 수 있다. 제2 서브단계에서, 이미지 캡쳐 디바이스(104)에 의해 캡쳐되는 이미지(304b)의 이미지 데이터와의 오버랩 부분 내의 제1 이미지가 갱신된다. 갱신된 제1 이미지는 이후 단계(S16)에서 오퍼레이터에게 디스플레이된다.
단계(S12)에서, 결정된 이미지가 오퍼레이터에게 디스플레이된다.
단계(S14)에서, 제1 동작 커맨드와 관련된 제2 동작 커맨드가 이미지 캡쳐 디바이스(104)로 전송된다. 일 실시예에서, 제2 동작 커맨드가 프로세싱 디바이스(102)에 의해 이미지 캡쳐 디바이스(104)로 전송된다. 다른 실시예에서, 제2 동작 커맨드가 동작 입력 디바이스(106)에 의해 이미지 캡쳐 디바이스(104)로 전송된다.
본 기술분야의 당업자는 위에 기술된 실시예들을 다양한 방식으로 수정하고 위의 실시예들에 보인 것과 같은 본 발명의 이점을 여전히 이용할 수 있다는 것이 이해될 것이다. 예를 들어, 주된 지연이 네트워크 전송 또는 프로세싱 디바이스가 아닌 이미지 캡쳐 디바이스 그 자체에 있다면, 본 발명의 원리가 이미지 캡쳐 디바이스에 국부적으로 적용될 수 있다. 따라서, 본 발명은 도시된 실시예들로 제한되어서는 안되며 단지 첨부된 청구항들에 의해 정의되어야만 한다.

Claims (15)

  1. 팬, 틸트, 및 줌 기능 중 적어도 하나를 갖는 이미지 캡쳐 디바이스(104)의 오퍼레이터에게 제1 뷰 필드(302a, 402a, 502a)에 대응하는 이미지를 디스플레이하기 위한 방법으로서,
    제1 동작 커맨드에 관련된 입력 데이터를 수신하는 단계(S02)와, 상기 제1 동작 커맨드는 상기 제1 뷰 필드(302a, 402a, 502a)의 위치, 배향, 또는 스케일링 중 적어도 하나에서의 변화와 관련되며;
    상기 입력 데이터에 근거하여, 상기 제1 뷰 필드(302a, 402a, 502a)보다 큰 제2 뷰 필드(300, 400, 500)에 대하여 상기 제1 뷰 필드(302a, 402a, 502a)의 위치, 배향, 또는 스케일링 중 적어도 하나를 결정하는 단계(S04)와;
    상기 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지(304b, 404b, 504b)를 수신하는 단계(S06)와;
    상기 제1 뷰 필드(302a, 402a, 502a)와 상기 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 상기 이미지(304b, 404b, 504b)와의 오버랩 부분(306, 406, 506)을 결정하는 단계(S08)와,
    a) 상기 오버랩 부분(306, 406, 506) 내에 상기 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 상기 이미지(304b, 404b, 504b)의 이미지 데이터를 사용하고, 그리고 b) 상기 제2 뷰 필드(300, 400, 500)의 이미지 데이터에 액세스하고 그리고 상기 오버랩 부분(306, 406, 506) 밖에 있는 상기 제1 뷰 필드(302a, 402a, 502a)의 부분(308, 408, 508) 내에 상기 제2 뷰 필드(300, 400, 500)의 상기 이미지 데이터를 이용함으로써, 디스플레이될 이미지를 결정하는 단계(S10)와;
    상기 오퍼레이터에게 상기 결정된 이미지를 디스플레이하는 단계(S12)를 포함하여 구성되며,
    상기 제2 뷰 필드(300, 400, 500)의 상기 이미지 데이터는 사전 녹화된(pre-recorded) 이미지를 포함하고, 상기 방법은 상기 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 이미지(304b, 404b, 504b)를 사용하여 상기 사전 녹화된 이미지를 갱신하는 단계를 더 포함하는 것을 특징으로 하는 이미지를 디스플레이하기 위한 방법.
  2. 제1 항에 있어서,
    상기 제2 뷰 필드(300, 400, 500)의 상기 이미지 데이터는 상기 이미지 캡쳐 디바이스(104)에 의해, 또는 다른 별개의 이미지 캡쳐 디바이스에 의해 캡쳐된 것을 특징으로 하는, 이미지를 디스플레이하기 위한 방법.
  3. 제1 항에 있어서,
    상기 제2 뷰 필드(300, 400, 500)의 상기 이미지 데이터는 장면의 기하학적 모델로부터 렌더링된 것을 특징으로 하는, 이미지를 디스플레이하기 위한 방법.
  4. 제1 항에 있어서,
    - 상기 제1 동작 커맨드에 관련된 제2 동작 커맨드를 상기 이미지 캡쳐 디바이스(104)에 전송하는 단계(S14)와;
    - 상기 이미지 캡쳐 디바이스(104)의 오퍼레이터에게 이미지를 디스플레이하기 위하여 시스템(100)의 레이턴시와 관련된 시간 지연에 액세스하는 단계와; 그리고
    - 상기 입력 데이터 및 상기 시간 지연에 근거하여 상기 제2 동작 커맨드를 결정하는 단계를 더 포함하는 것을 특징으로 하는, 이미지를 디스플레이하기 위한 방법.
  5. 제4 항에 있어서,
    상기 제2 동작 커맨드는, 상기 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 이미지들의 타겟 위치, 타겟 배향, 또는 타겟 스케일링 중 적어도 하나 및/또는 상기 이미지 캡쳐 디바이스(104)의 이동 속도 및 이동 방향에 관련된 것을 특징으로 하는, 이미지를 디스플레이하기 위한 방법.
  6. 제1 항에 있어서,
    상기 제1 동작 커맨드는 상기 디스플레이될 이미지의 상기 제1 뷰 필드(302a, 402a, 502a)의 타겟 위치, 타겟 배향, 또는 타겟 스케일링 중 적어도 하나, 및/또는 상기 디스플레이될 이미지의 상기 제1 뷰 필드(302a, 402a, 502a)의 이동 속도 및 이동 방향에 관련된 것을 특징으로 하는, 이미지를 디스플레이하기 위한 방법.
  7. 제1 항에 있어서,
    상기 제2 뷰 필드(300, 400, 500)에 대하여 상기 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 상기 이미지(304b, 404b, 504b)의 위치, 배향, 또는 스케일링 중 적어도 하나를 결정하는 단계를 더 포함하는 것을 특징으로 하는, 이미지를 디스플레이하기 위한 방법.
  8. 제7 항에 있어서,
    상기 제1 뷰 필드(302a, 402a, 502a)와 상기 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 상기 이미지(304b, 404b, 504b)와의 오버랩 부분(306, 406, 506)을 결정하는 단계는, 상기 제1 뷰 필드(302a, 402a, 502a)와 상기 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 상기 이미지(304b, 404b, 504b)와의 사이의 위치, 배향, 또는 스케일링 중 적어도 하나에서의 오프셋을 결정하는 단계를 포함하는 것을 특징으로 하는, 이미지를 디스플레이하기 위한 방법.
  9. 제7 항 내지 제8 항 중 어느 한 항에 있어서,
    - 상기 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 상기 이미지(304b, 404b, 504b)의 상기 위치, 상기 배향, 또는 상기 스케일링 중 적어도 하나에 관련된 정보를 상기 이미지 캡쳐 디바이스(104)로부터 수신하는 단계를 더 포함하는 것을 특징으로 하는, 이미지를 디스플레이하기 위한 방법.
  10. 제7 항 내지 제8 항 중 어느 한 항에 있어서,
    - 상기 이미지 캡쳐 디바이스(104)의 이동 속도 및 이동 방향에 관련된 정보를 수신하는 단계와;
    - 상기 이미지 캡쳐 디바이스(104)의 상기 이동 속도 및 상기 이동 방향에 관련된 상기 정보에 근거하여, 상기 이미지 캡쳐 디바이스(104)에 의해 캡쳐되는 상기 이미지(304b, 404b, 504b)의 상기 위치, 상기 배향, 또는 상기 스케일링 중 적어도 하나를 결정하는 단계를 더 포함하는 것을 특징으로 하는, 이미지를 디스플레이하기 위한 방법.
  11. 제7 항 내지 제8 항 중 어느 한 항에 있어서,
    상기 제2 뷰 필드(300, 400, 500)에 대하여 상기 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 상기 이미지(304b, 404b, 504b)의 위치, 배향, 또는 스케일링 중 상기 적어도 하나는, 상기 제2 뷰 필드(300, 400, 500)의 상기 이미지 데이터와 상기 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 상기 이미지(304b, 404b, 504b)와의 사이의 상관(correlation)을 수행함으로써 결정되는 것을 특징으로 하는, 이미지를 디스플레이하기 위한 방법.
  12. 제1 항에 있어서,
    - 상기 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 상기 이미지(304b, 404b, 504b)를 사용하여 상기 제2 뷰 필드(300, 400, 500)의 상기 이미지 데이터를 갱신하는 단계를 더 포함하는 것을 특징으로 하는, 이미지를 디스플레이하기 위한 방법.
  13. 팬, 틸트, 및 줌 기능 중 적어도 하나를 갖는 이미지 캡쳐 디바이스(104)의 오퍼레이터에게 제1 뷰 필드(302a, 402a, 502a)에 대응하는 이미지를 디스플레이하기 위한 프로세싱 디바이스(102)로서, 상기 이미지 캡쳐 디바이스(104)는 제1 동작 커맨드에 관련된 동작 커맨드를 수신하도록 되어 있고, 상기 프로세싱 디바이스(102)는,
    제2 뷰 필드(300, 400, 500)의 이미지 데이터를 저장하도록 된 메모리(204)와;
    제1 동작 커맨드에 관련된 입력 데이터 및 상기 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 이미지(304b, 404b, 504b)를 수신하도록 된 수신기(206)와, 상기 제1 동작 커맨드는 디스플레이될 상기 이미지의 상기 제1 뷰 필드(302a, 402a, 502a)의 위치, 배향, 또는 스케일링 중 적어도 하나에서의 변화와 관련되며;
    상기 입력 데이터에 근거하여, 상기 제1 뷰 필드(302a, 402a, 502a)보다 큰 제2 뷰 필드(300, 400, 500)에 대하여 상기 제1 뷰 필드(302a, 402a, 502a)의 위치, 배향, 또는 스케일링 중 적어도 하나를 결정하고, 상기 제1 뷰 필드(302a, 402a, 502a)와 상기 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 상기 이미지(304b, 404b, 504b)와의 오버랩 부분(306, 406, 506)을 결정하고, 디스플레이될 이미지를 결정하도록 된 프로세싱 유닛(202)과, 상기 디스플레이될 이미지는, 상기 오버랩 부분(306, 406, 506) 내에 상기 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 상기 이미지(304b, 404b, 504b)의 이미지 데이터를 사용하고, 그리고 상기 메모리로부터 상기 제2 뷰 필드(300, 400, 500)의 이미지 데이터에 액세스하고 그리고 상기 오버랩 부분(306, 406, 506) 밖에 있는 상기 제1 뷰 필드(302a, 402a, 502a)의 부분(308, 408, 508) 내에 상기 제2 뷰 필드(300, 400, 500)의 상기 이미지 데이터를 이용하여 결정되고; 그리고
    상기 결정된 이미지를 디스플레이에 전송하도록 된 전송기(208)를 포함하여 구성되며,
    상기 제2 뷰 필드(300, 400, 500)의 상기 이미지 데이터는 사전 녹화된(pre-recorded) 이미지를 포함하고, 상기 프로세싱 유닛은 또한, 상기 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 상기 이미지(304b, 404b, 504b)를 사용하여 상기 사전 녹화된 이미지를 갱신하도록 된 것을 특징으로 하는 프로세싱 디바이스(102).
  14. 이미지 캡쳐 디바이스(104)의 오퍼레이터에게 제1 뷰 필드(302a, 402a, 502a)에 대응하는 이미지를 디스플레이하기 위한 시스템(100)으로서,
    상기 오퍼레이터로부터 제1 동작 커맨드에 관련된 입력을 수신하도록 된 동작 입력 디바이스(106)와, 상기 제1 동작 커맨드는 상기 제1 뷰 필드(302a, 402a, 502a)의 위치, 배향, 또는 스케일링 중 적어도 하나에서의 변화와 관련되며;
    팬, 틸트, 및 줌 기능 중 적어도 하나를 갖는 이미지 캡쳐 디바이스(104)와, 상기 이미지 캡쳐 디바이스(104)는 상기 제1 동작 커맨드에 관련된 제2 동작 커맨드를 수신하도록 되어 있고,
    상기 동작 입력 디바이스(106) 및 상기 이미지 캡쳐 디바이스(104)에 연결되어, 상기 동작 입력 디바이스(106)로부터 상기 제1 동작 커맨드에 관련된 입력 데이터를 수신하고 그리고 상기 이미지 캡쳐 디바이스(104)에 의해 캡쳐된 이미지(304b, 404b, 504b)를 수신하도록 된 제13 항에 따른 프로세싱 디바이스(102)와; 그리고
    상기 프로세싱 디바이스(102)로부터 이미지들을 수신하고 그리고 상기 오퍼레이터에게 상기 수신된 이미지들을 제시하도록 된 디스플레이(108)를 포함하는 것을 특징으로 하는 시스템(100).
  15. 프로세싱 능력을 갖는 디바이스에서 수행될 때 청구항 1 항에 따른 방법을 실행하기 위한 프로그램이 수록된 컴퓨터 판독가능 기록 매체.
KR1020130064980A 2012-06-05 2013-06-05 이미지 캡쳐 디바이스의 개선된 제어 KR101520049B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP12170820.0 2012-06-05
EP12170820.0A EP2672694B1 (en) 2012-06-05 2012-06-05 Improved control of an image capturing device

Publications (2)

Publication Number Publication Date
KR20130136940A true KR20130136940A (ko) 2013-12-13
KR101520049B1 KR101520049B1 (ko) 2015-05-13

Family

ID=46319574

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130064980A KR101520049B1 (ko) 2012-06-05 2013-06-05 이미지 캡쳐 디바이스의 개선된 제어

Country Status (6)

Country Link
US (1) US8648916B2 (ko)
EP (1) EP2672694B1 (ko)
JP (1) JP5554438B2 (ko)
KR (1) KR101520049B1 (ko)
CN (1) CN103475808B (ko)
TW (1) TWI507029B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9986113B2 (en) * 2016-05-06 2018-05-29 Fuji Xerox Co., Ltd. Information processing apparatus and nontransitory computer readable medium
US10650650B2 (en) * 2016-08-12 2020-05-12 A9.Com, Inc. Parcel theft deterrence for A/V recording and communication devices
US11303689B2 (en) * 2017-06-06 2022-04-12 Nokia Technologies Oy Method and apparatus for updating streamed content
CN115334337B (zh) * 2022-10-13 2023-03-24 深圳市华曦达科技股份有限公司 一种vr视频传输方法、装置、终端及系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69520329T2 (de) 1994-11-17 2001-09-27 Canon Kk Kamerasteuervorrichtung und -Verfahren
US6008837A (en) 1995-10-05 1999-12-28 Canon Kabushiki Kaisha Camera control apparatus and method
JP4332231B2 (ja) * 1997-04-21 2009-09-16 ソニー株式会社 撮像装置コントローラおよび撮像システム
JP4109739B2 (ja) 1998-01-19 2008-07-02 キヤノン株式会社 カメラ制御装置、カメラ制御システム、カメラ制御装置の制御方法、及び記憶媒体
JP2004214830A (ja) * 2002-12-27 2004-07-29 Iwane Kenkyusho:Kk 一部リアルタイム画像表示装置
JP2004289658A (ja) * 2003-03-24 2004-10-14 Matsushita Electric Ind Co Ltd 撮像システムおよび撮像装置の操作方法
US8098290B2 (en) * 2004-01-30 2012-01-17 Siemens Corporation Multiple camera system for obtaining high resolution images of objects
US7502010B2 (en) * 2004-08-31 2009-03-10 Nvidia Corporation Variable brightness LCD backlight
US7663662B2 (en) * 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
KR100765399B1 (ko) * 2005-02-15 2007-10-11 세이코 엡슨 가부시키가이샤 이동체의 표시 모듈과, 이것에 사용되는 패널 유닛 및 화상제어 유닛
JP2006237980A (ja) * 2005-02-24 2006-09-07 Canon Inc 画像処理装置
US7583815B2 (en) * 2005-04-05 2009-09-01 Objectvideo Inc. Wide-area site-based video surveillance system
US7643064B1 (en) * 2005-06-21 2010-01-05 Hewlett-Packard Development Company, L.P. Predictive video device system
JP2008017238A (ja) * 2006-07-07 2008-01-24 Casio Comput Co Ltd 撮像装置、スルー画像表示制御方法、及びスルー画像表示制御プログラム
CN101115140B (zh) * 2006-07-25 2010-09-29 富士胶片株式会社 图像摄取系统
TWI343203B (en) * 2006-11-15 2011-06-01 Network audio/video communication device, operation and audio/video data process method
US7936319B2 (en) 2007-03-08 2011-05-03 Lockheed Martin Corporation Zero-lag image response to pilot head mounted display control
US8159519B2 (en) * 2007-05-31 2012-04-17 Eastman Kodak Company Personal controls for personal video communications

Also Published As

Publication number Publication date
TWI507029B (zh) 2015-11-01
CN103475808B (zh) 2016-09-14
TW201351982A (zh) 2013-12-16
KR101520049B1 (ko) 2015-05-13
JP2013255226A (ja) 2013-12-19
CN103475808A (zh) 2013-12-25
EP2672694B1 (en) 2014-01-15
JP5554438B2 (ja) 2014-07-23
US20130321670A1 (en) 2013-12-05
EP2672694A1 (en) 2013-12-11
US8648916B2 (en) 2014-02-11

Similar Documents

Publication Publication Date Title
JP6587113B2 (ja) 画像処理装置及び画像処理方法
US7551200B2 (en) Camera controller and zoom ratio control method for the camera controller
JP6226539B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6526051B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6226538B2 (ja) 表示制御装置、表示制御方法、およびプログラム
US20040179121A1 (en) System and method for displaying captured images according to imaging device position
KR101520049B1 (ko) 이미지 캡쳐 디바이스의 개선된 제어
US9906710B2 (en) Camera pan-tilt-zoom (PTZ) control apparatus
JP2004128997A (ja) 映像遠隔制御装置，映像遠隔制御方法，映像遠隔制御プログラムおよび映像遠隔制御プログラムを記録した記録媒体
JP2010154391A (ja) 自動追尾カメラ装置
EP2648406B1 (en) Method for switching viewing modes in a camera
JP6608196B2 (ja) 情報処理装置、情報処理方法
US10979687B2 (en) Using super imposition to render a 3D depth map
JP6621565B2 (ja) 表示制御装置、表示制御方法、及びプログラム
JP2006191408A (ja) 画像表示プログラム
KR101452372B1 (ko) 카메라 제어 방법 및 그 시스템
CN111625210B (zh) 一种大屏控制方法、装置及设备
EP4312434A1 (en) Image capturing system, control apparatus, image capturing apparatus, and display apparatus constituting the system, control method, and display method
CN113489906B (zh) 控制拍摄设备的方法、装置、计算机设备和存储介质
JP2000083245A (ja) 撮像装置の遠隔制御装置、撮像システム、および撮像装置の遠隔制御方法
JP2008078958A (ja) 映像表示プログラムおよび映像表示システム
JP2022097165A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017017649A (ja) 情報処理装置、情報処理方法及びプログラム
JP2000083244A (ja) カメラ装置、映像送信装置、映像受信装置、カメラ姿勢制御方法、映像表示方法、及び記憶媒体
JP2024010639A (ja) 撮像システム及びそれを構成する制御装置、撮像装置、表示装置、制御方法、表示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180425

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190425

Year of fee payment: 5