KR102285078B1 - 물체의 원격 탐지 및 추적 - Google Patents

Abstract

본 발명은 통신 링크의 대역폭 제한에도 불구하고, 넓은 영역을 감시할 뿐만 아니라 감시 영역 내의 물체를 추적하기 위해 고해상도 이미징 어셈블리를 사용할 수 있게 하는 방법 및 시스템을 포함한다.

Description

물체의 원격 탐지 및 추적

본 발명은 감지 장치에 의한 물체의 원격 추적에 관한 것이다.

다수의 애플리케이션에서, 원격 감시 시스템의 조작자는 통신 링크를 통해 원격 이미지 센서를 제어한다. 이러한 애플리케이션의 예로는 교통 통제, 국경 통제, 수색 및 구조 작업, 토지 조사, 경찰 감시, 군사 애플리케이션 등이 있다.

일반적으로, 물체의 감시 및 원격 추적 시스템(여기에서 감시 시스템이라 칭함)은 한 위치에서의 제어 유닛 및 제어 유닛으로부터 원격의 다른 위치에서의 감지 유닛을 포함하고, 제어 유닛 및 감지 유닛은 통신 링크를 통해 통신한다. 이미지 센서를 포함하는 감지 유닛은 장면을 감시(survey)하고, 감지 유닛에 의해 획득된 데이터 또는 상기 획득된 데이터와 관련하여 감지 유닛에 의해 생성된 데이터를 포함하는 감지 데이터(예를 들면, 캡처된 이미지, 캡처된 이미지들에서 식별된 물체들을 특징화하는 물체 데이터)를 제어 유닛에 전송하는 데에 사용될 수 있다. 제어 유닛에서, 이미지는 조작자가 보기 위해 디스플레이상에 표시될 수 있다. 또한, 감지 유닛은 관측된(sighted) 물체를 위치조정하고(locate) 추적하도록 구성될 수 있다. 제어 유닛은 예를 들면 잠금 및 추적 명령, 줌 명령, 센터링 명령 등과 같은 상이한 유형의 명령을 포함하는 제어 데이터를 감지 유닛에 제공한다.

지형 제어(Terrain Dominance) 애플리케이션과 같은 일부 애플리케이션에서, 짧은 시간에 넓은 영역(예를 들면, 지상의)을 포착하는 것이 바람직하다. 하나의 공지된 해결안은 지상 지형의 항공 이미지를 포착하기 위한 카메라(CCD 또는 CMOS)를 포함하는, 항공기 상에 적절히 탑재된 이미징 어셈블리를 사용하는 것을 포함한다. 이미징 어셈블리는 카메라가 장착된 축을 회전시키고 적어도 하나의 카메라의 시야를 이동시키는 스위핑 전후 운동을 생성하기 위한 모터로 구성된다. 지상 지형의 여러 이미지가 캡처되어 하나의 연속 이미지로 합성하여 조합된다.

이 접근법은 카메라의 시야(FOV)보다 큰 지형 영역의 이미징을 제공할 수 있지만, 스위핑 메커니즘을 갖춘 지정된 이미징 어셈블리를 제작하고, 여러 이미지를 캡처하며, 완전한 단일 이미지를 생성하기 위해 융합 알고리즘을 사용해야 한다.

본 발명의 주제는 고해상도 이미징 어셈블리(달리 "이미지 형성 시스템"으로 알려짐)를 포함하는 원격 감지 유닛을 포함한다. 고해상도 이미징 어셈블리는 고해상도 센서 및 광각과 고해상도 이미지를 포착하기 위한 적절한 각도 분해능 및 적절하게 넓은 시야(FOV)를 갖는 렌즈 어셈블리를 포함한다. 요즘, 그러한 고해상도 센서는 수십 개의 메가 픽셀(예를 들면, 적어도 25 메가 픽셀)에서 최대 기가 픽셀까지를 포함할 수 있다. 이러한 카메라의 해상도는 기술 발전에 따라 미래에 상승할 것으로 예상된다. 오늘날의 기술을 통해, 원하는 지상 샘플 거리(GSD)에 따라, 고해상도 이미지는 10 평방 킬로미터에서 수백 평방 킬로미터에 이르는 범위의 면적을 커버할 수 있다. 이러한 기능은 주로 고급 원격 제어 기술 및 자율 수단을 이용하여 영역을 제어하는 기능을 필요로하는 지형 우위 관련 애플리케이션에 적합하다.

본 명세서에 개시된 고해상도 이미징 어셈블리는 공중운반차량(airborne vehicle) 또는 높은 유리한 지점(high vantage point)에 위치한 다른 장치에 적절하게 장착될 수 있으며, 각 단일 프레임에서 큰 영역을 포착할 수 있게 하면서 지형의 고해상도 이미지를 포착하는데 사용될 수 있다.

상술한 바와 같이, 고해상도 이미징 어셈블리는 제어 유닛 조작자가 다양한 고도에서 이미징 어셈블리를 작동시키고 상이한 GSD를 선택하여 상이한 크기의 영역 범위를 획득할 수 있도록 하는 넓은 FOV 및 줌 기능으로 구성될 수 있다.

일부 동작 시나리오에서, 고해상도 감지 유닛과 각각의 제어 유닛 사이의 통신 링크의 대역폭 제한은 그 큰 크기로 인해 캡처된 고해상도 이미지의 충분히 빠른 전송을 배제한다. 예를 들면, 초당 25 또는 30 프레임의 비디오 프레임 속도와 수십 메가픽셀 이상의 고해상도 이미지를 고려해라. 또한, 컬러 비디오 스트림에서, 모든 픽셀은 3바이트의 색 정보를 가지므로 전송된 데이터의 크기를 증가시킨다.

현재 이용 가능한 통신 시스템은 고압축 방법을 사용한 후에도 상술한 바와 같이 고해상도 이미지 및/또는 비디오를 전송하기에 불충분한 전송 속도인 1초에 수 메가 비트의 정보를 전송할 수 있다. 또한, 고선명 광학 센서 분야의 기술 진보는 현재 통신 분야보다 더 빠르므로, 이 문제가 앞으로 더 심화 될 가능성이 있다.

따라서, 본 발명은 상술한 통신 링크의 대역폭 제한에도 불구하고, 넓은 영역을 감시하고 감시된 영역 내의 물체를 추적하기 위해 고해상도 이미징 어셈블리를 사용할 수 있도록 구성된 방법 및 시스템을 포함한다.

본 발명의 일 실시 형태에 따르면, 통신 링크를 통해 제어 유닛과 통신하도록 구성된 감지 유닛;을 포함하는 감시 시스템으로서: 상기 감지 유닛은 적어도 하나의 프로세서에 동작 가능하게 연결된 고해상도 이미징 어셈블리를 포함하며; 상기 고해상도 이미징 어셈블리는 연속한 고해상도 이미지를 캡처하도록 구성되며; 상기 통신 링크의 대역폭은 원하는 전송 속도로 상기 고해상도 이미지들의 전송을 허용하기에 충분히 크지 않고;

상기 프로세서는: 상기 연속한 고해상도 이미지들 내의 각각의 이미지들로부터 열화 이미지들을 생성하고; 연속적으로 감지 데이터를 상기 제어 유닛으로 전송하도록 구성되고;

상기 감지 데이터는 상기 열화 이미지들 및 상기 열화 이미지들에서의 하나 이상의 관심 물체들을 나타내는 데이터를 포함하고; 상기 열화 이미지들은 상기 통신 링크를 통해 상기 원하는 전송 속도로 전송되는 것에 적합하고;

상기 프로세서는, 적어도 하나의 선택된 엘리먼트를 나타내는, 상기 제어 유닛으로부터 수신된 제어 데이터에 응답하여:

상기 연속한 고해상도 이미지들 중 최근 캡처된 고해상도 이미지들에서 상기 선택된 엘리먼트의 위치를 식별하고; 적어도 상기 선택된 엘리먼트를 포함하는 이미지 세그먼트로서, 상기 연속한 고해상도 이미지 내의 이미지들로부터 각각의 고해상도 이미지 세그먼트를 추출하고; 상기 각각의 고해상도 이미지 세그먼트를 상기 제어 유닛에 연속적으로 전송;하도록 더 구성되고,

상기 고해상도 이미지 세그먼트들은 상기 원하는 전송 속도로 상기 통신 링크를 통해 전송되는 것에 적합한, 상기 감시 시스템이 제공된다.

상기 특징들에 부가하여, 본 발명의 상기 양태에 따른 방법은 임의의 바람직한 조합 또는 치환으로, 하기의 (i) 내지 (xxii)의 특징들 중 하나 이상을 선택적으로 포함할 수 있다:

(i). 상기 적어도 하나의 프로세서는 상기 고해상도 이미지들에서 하나 이상의 관심 물체들을 식별하고, 하나 이상의 태그된 물체들을 산출하기 위해 하나 이상의 관심 물체에 각각의 물체 태그를 할당하고; 상기 감지 데이터는 상기 물체 태그를 더 포함한다.

(ii). 상기 제어 데이터는 커맨드 명령들을 더 포함하고, 상기 적어도 하나의 프로세서는 상기 고해상도 이미지 세그먼트들이 상기 제어 유닛에서 검증되는 경우에만 상기 커맨드 명령들을 실행하도록 구성된다.

(iii). 상기 적어도 하나의 프로세서는 열화 프레임 속도에서, 상기 연속한 고해상도 이미지들을 상기 제어 유닛에 연속적으로 전송하도록 더 구성된다.

(iv). 상기 제어 데이터는 하나 이상의 주어진 물체들을 추적하도록 명령하는 추적 명령을 실행하기 위한 커맨드 명령들을 더 포함하고; 상기 고해상도 이미지 세그먼트들은 상기 연속한 상기 고해상도 이미지들로부터의 이미지들에서 상기 하나 이상의 주어진 물체들의 현재 위치에 따라 상기 연속한 고해상도 이미지들에서의 이미지들로부터 추출된다.

(v). 상기 적어도 하나의 프로세서는 각각의 고해상도 캡처 이미지의 상기 열화 이미지 및 고해상도 이미지 세그먼트 모두를 상기 제어 유닛에 연속적으로 전송하도록 더 구성되고; 동일한 고해상도 이미지로부터 생성된 열화 이미지 및 고해상도 이미지 세그먼트가 병합된 이미지로 표시되고, 상기 이미지 세그먼트를 둘러싸고 있는 영역이 열화된 해상도로 표시되는 동안 상기 이미지 세그먼트는 고해상도로 표시되고; 상기 열화 이미지에 대한 상기 이미지 세그먼트의 위치는 선택된 엘리먼트의 현재 위치에 따라 조정된다.

(vi). 상기 적어도 하나의 프로세서는 각각의 고해상도 캡처 이미지의 열화 이미지 및 고해상도 이미지 세그먼트 모두를 상기 제어 유닛에 연속적으로 전송하도록 더 구성되고; 동일한 고해상도 이미지로부터 생성된 열화 이미지 및 고해상도 이미지 세그먼트 각각은 상이한 디스플레이 장치 상에 개별적으로 표시된다.

(vii). 관심 물체는 이동 물체이고, 상기 감지 유닛은 연속한 고해상도 이미지에서 하나 이상의 이동 물체를 식별하도록 구성된다.

(viii). 상기 감지 유닛은 상기 하나 이상의 이동 물체를 식별하도록 구성된 비디오 모션 검출 모듈을 더 포함한다.

(ix). 상기 선택된 엘리먼트의 위치의 식별은:

적어도 하나의 상기 선택된 엘리먼트가 이동 물체인지 또는 정지 물체인지를 판정하는 단계; 상기 적어도 하나의 선택된 엘리먼트가 이동 물체인 경우, 상기 제어 데이터로부터 상기 적어도 하나의 선택된 물체에 대응하는 물체 태그를 획득하고, 상기 적어도 하나의 선택된 물체를 상기 연속한 고해상도 이미지들에서 식별하는 단계; 상기 적어도 하나의 선택된 엘리먼트가 정지 물체인 경우, 상기 제어 데이터로부터 이미지 또는 그 일부를 획득하는 단계; 상기 이미지 또는 그 일부를 상기 연속한 고해상도 이미지들에서의 하나 이상의 최근 캡처된 고해상도 이미지들과 매칭시키는 단계; 및 상기 연속한 고해상도 이미지에서 상기 적어도 하나의 선택된 물체를 식별하는 단계;를 포함한다.

(x). 태그된 물체가 상기 연속한 이미지에서의 상기 태그된 물체의 위치를 나타내는 정보에 기초하여 그 각각의 물체 태그와 연관되고; 상기 감지 유닛은 상기 연속한 이미지들 내의 이전의 이미지로부터 상기 연속한 이미지들 내의 후속 이미지까지 상기 태그된 물체를 추적하여, 상기 연속한 이미지를 따라서 각각의 태그된 물체와 연관된 주어진 물체 태그를 유지하도록 더 구성된다.

(xi). 상기 감지 유닛은 상기 연속한 고해상도 이미지들로부터 생성된 열화 이미지들의 스트림을 상기 제어 유닛으로 연속적으로 전송하도록 구성된다.

(xii). 상기 하나 이상의 물체 및 각각의 물체 태그에 관한 정보는 상기 감지 유닛과 관련된 데이터 저장소에 저장된다.

(xiii). 상기 시스템은 상기 제어 유닛을 더 포함하고; 상기 제어 유닛은 상기 감지 유닛으로부터 열화 이미지를 수신하고, 디스플레이 장치상에 상기 열화 이미지를 디스플레이하고; 상기 이미지 내의 물체의 선택에 응답하여, 상기 선택된 물체가 이동 물체인지 아니면 정지 물체인지를 판정;하도록 구성되고;

상기 선택된 물체가 이동 물체인 경우, 상기 선택된 물체에 할당된 물체 태그를 식별하여, 상기 물체 태그를 포함하는 제어 데이터를 생성하고;

상기 선택된 물체가 정지 물체인 경우, 상기 이미지 또는 그 일부를 포함하는 제어 데이터를 생성하고; 및 상기 감지 유닛에 상기 제어 데이터를 전송한다.

(xiv). 상기 제어 유닛은 상기 열화 이미지 위에 상기 물체 태그를 표시하도록 구성된다.

(xv). 상기 제어 유닛은: 각각의 고해상도 캡처 이미지의 열화 이미지 및 고해상도 이미지 세그먼트를 모두 연속적으로 수신하고; 상기 동일한 고해상도 이미지로부터 생성된 상기 열화 이미지 및 고해상도 이미지 세그먼트를 병합된 이미지로서 표시하며, 상기 이미지 세그먼트를 둘러싸고 있는 영역이 열화된 해상도로 표시되는 동안 상기 이미지 세그먼트가 고해상도로 표시되고; 선택된 엘리먼트의 현재 위치에 따라 열화 이미지에 대한 이미지 세그먼트의 위치를 조정하도록; 구성된다.

(xvi). 상기 시스템은 상기 감지 유닛이 상기 선택된 물체로 상기 이미지를 획득하는 시간과 대응하는 명령이 상기 선택된 물체에 대해 상기 감지 유닛에서 수신되는 시간까지의 사이의 시간 지연에도 불구하고 상기 선택된 물체에 대한 명령을 실행하도록 구성된다.

(xvii). 상기 감지 유닛은 공중운반차량(airborne vehicle) 상에 위치된다.

(xviii). 상기 고해상도 이미지는 메가 픽셀과 기가 픽셀 사이의 수십 개를 포함하고, 비디오 스트림 속도는 초당 20프레임 이상의 속도로 특성화된다.

(xix). 상기 열화 이미지는 각각의 고해상도 이미지와 비교하여 열화된 해상도로 특징 지어진다.

(xx). 여기서 상기 열화 이미지는 각각의 고해상도 이미지와 비교하여 열화된 컬러 정보에 의해 특징 지어진다.

(xxi). 여기서 원하는 전송 속도는 비디오 스트리밍 전송 속도이다.

(xxii). 시스템은 상기 적어도 하나의 프로세서에 동작 가능하게 연결된 디스플레이 유닛을 더 포함하고; 상기 디스플레이 장치는 조작자가 상기 열화 이미지들에 표시된 상이한 엘리먼트들 사이에서 점프할 수 있도록 구성된 스크롤러를 포함한다.

본 발명의 다른 양태에 따르면, 통신 링크를 통해 제어 유닛과 통신하도록 구성된 감지 유닛을 사용하여 영역을 감시하는 방법으로서; 상기 감지 유닛은 적어도 하나의 프로세서에 동작 가능하게 연결된 고해상도 이미징 어셈블리를 포함하는, 상기 방법은:

연속한 고해상도 이미지를 캡처하는 단계로서; 상기 통신 링크의 대역폭은 원하는 전송 속도로 상기 고해상도 이미지들의 전송을 허용하기에 충분히 크지 않은 상기 단계;를 포함하고,

상기 프로세서의 도움으로, 적어도 하기의:

상기 연속한 고해상도 이미지 내의 각각의 이미지로부터 열화 이미지를 생성하는 단계로서, 열화 이미지는 열화된 해상도를 특징으로 하는 상기 단계; 및 연속적으로 감지 데이터를 상기 제어 유닛으로 전송하는 단계; 상기 감지 데이터는 상기 열화 이미지들 및 상기 열화 이미지들에서의 하나 이상의 관심 물체를 나타내는 데이터를 포함하고; 상기 열화 이미지들은 상기 통신 링크를 통해 상기 원하는 전송 속도로 전송되는 것이 적합한 상기 단계;

적어도 하나의 선택된 엘리먼트를 나타내는, 상기 제어 유닛으로부터 수신된 제어 데이터에 응답하여,

상기 연속한 고해상도 이미지들에서의 최근 캡처된 고해상도 이미지들에서 상기 선택된 엘리먼트의 위치를 식별하는 단계;

적어도 상기 선택된 엘리먼트를 구비하는 이미지 세그먼트로서, 상기 연속한 고해상도 이미지들부터 각각의 고해상도 이미지 세그먼트들을 추출하는 단계; 및

상기 각각의 고해상도 이미지 세그먼트를 연속적으로 상기 제어 유닛에 전송하는 단계로서; 상기 고해상도 이미지 세그먼트들은 상기 원하는 전송 속도로 상기 통신 링크를 통해 전송되는 것이 적합한 상기 단계;

를 수행한다.

본 발명의 또 다른 양태에 따라, 영역을 감시하는 방법을 수행하기 위해 컴퓨터에 의해 실행 가능한 명령들의 프로그램을 유형으로 구현하는 상기 컴퓨터에 의해 판독 가능한 비일시적인 프로그램 저장 장치가 제공되며; 상기 방법은,

고해상도 이미지 어셈블리에 의해 캡처된 연속한 고해상도 이미지를 획득하는 단계; 열화 이미지가 열화된 해상도를 특징으로하는 상기 연속한 고해상도 이미지에서의 각각의 이미지로부터 상기 열화 이미지를 생성하는 단계; 감지 데이터를 통신 링크를 통해 연속적으로 원격 컴퓨터로 전송하는 단계로서, 상기 감지 데이터는 상기 열화 이미지들 및 상기 열화 이미지들에서의 하나 이상의 관심 물체들을 나타내는 데이터를 포함하고; 상기 열화 이미지는 통신 링크를 통해 원하는 전송 속도로 전송되는 것에 적합한; 상기 단계;

적어도 하나의 선택된 엘리먼트를 나타내는 상기 원격 컴퓨터로부터 수신된 제어 데이터에 응답하여,

상기 연속한 고해상도 이미지들 내의 최근 캡처된 고해상도 이미지들에서 상기 선택된 엘리먼트의 위치를 식별하는 단계;

적어도 상기 선택된 엘리먼트를 포함하는 이미지 세그먼트로서, 상기 연속한 고해상도 이미지들에서의 이미지들로부터 각각의 고해상도 이미지 세그먼트들을 추출하는 단계; 및

상기 각각의 고해상도 이미지 세그먼트를 상기 원격 컴퓨터로 연속적으로 전송하는 단계로서; 상기 고해상도 이미지 세그먼트들은 상기 원하는 전송 속도로 상기 통신 링크를 통해 전송되는 것이 적합한, 상기 단계;

를 포함한다.

본 발명의 또 다른 양태에 따르면, 제1 양태와 관련하여 상술되고 하기에서 더 설명되는 바와 같이 통신 링크를 통해 감지 유닛과 통신하도록 구성된 제어 유닛이 제공된다.

본 발명에 따라 개시된 방법, 컴퓨터 저장 장치 및 제어 유닛은 임의의 바람직한 조합 또는 치환으로, 필요에 따라 변경하여 상기 나열된 특징 (i) 내지 (xxii) 중 하나 이상을 선택적으로 포함할 수 있다.

본 발명을 이해하고 그것이 실제로 어떻게 수행될 수 있는지를 알기 위해, 이제 첨부된 도면을 참조하여 본 발명을 비제한적인 예시에 의해서만 설명할 것이다.
도 1은 본 발명의 일 예시에 따른 감시 시스템을 개략적으로 도시한 기능 블록도이다.
도 2a는 본 발명의 일 예시에 따라 감시 시스템에 의해 수행되는 동작을 나타내는 흐름도이다.
도 2b는 본 발명의 일 예시에 따라, 데이터 검증 프로세스 동안 수행되는 동작을 나타내는 흐름도이다.
도 3은 본 발명의 일 예시에 따라, 일부 원리를 예시하는 캡처된 이미지의 개략도이다.
도 4a 및 도 4b는 본 발명의 일 예시에 따라, 일부 원리를 예시하는 캡처된 이미지의 개략도이다.
도 5는 본 발명의 일 예시에 따라, 감지 유닛에 의해 수행되는 동작을 도시하는 흐름도이다.
도 6은 본 발명의 일 예시에 따라, 제어 유닛에 의해 수행되는 동작을 예시하는 흐름도이다.
도 7은 본 발명의 일 예시에 따라, 감지 유닛에 의해 수행되는 동작을 도시하는 흐름도이다.
도 8a-8c는 본 발명의 일 예시에 따라 정지 물체의 추적 방법을 예시하는 개략도이다.

설명된 도면 및 설명에서, 동일한 참조 번호는 상이한 실시 예 또는 구성에 공통인 구성 요소를 나타낸다. 도면의 엘리먼트는 반드시 축척대로 그려지지는 않는다.

달리 언급되지 않는 한, 이하의 설명으로부터 명백한 바와 같이, "생성", "전송", "식별", "추출" 등과 같은 용어를 이용하는 논의는 명세서 전체에 걸쳐 데이터를 다른 데이터로 조작 및/또는 변환하는 컴퓨터의 액션 및/또는 프로세스로서, 상기 데이터는 예를 들면 전자적인 양과 같은 물리량으로 표현되고, 및/또는 상기 데이터는 상기 물리적인 물체를 나타낸다는 것이 이해될 것이다.

"컴퓨터"라는 용어는 비제한적인 예시에 의해, 개인용 컴퓨터 장치, 서버 장치, 컴퓨팅 시스템, 통신 장치, 프로세서(예를 들면, 디지털 신호 처리장치(DSP), 마이크로 컨트롤러, 필드 프로그래머블 게이트 어레이(FPGA), 주문형 집적 회로(ASIC) 등), 임의의 기타 전자 컴퓨팅 장치, 및 이들의 임의의 조합을 포함하는 데이터 처리 기능을 가진 임의의 종류의 전자 장치를 커버하도록 확장하여 간주 되어야 한다. 도 1을 참조하여 본 명세서에서 설명된 감지 유닛 및 제어 유닛 각각은 하나 이상의 컴퓨터를 포함하거나 그렇지 않으면 그에 연관된다.

본 명세서의 교시에 따른 동작은 원하는 목적을 위해 특별히 구성된 컴퓨터 또는 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램에 의해 원하는 목적을 위해 특별히 구성된 범용 컴퓨터에 의해 수행될 수 있다.

본 명세서에서 사용된 바와 같이, 어구 "예를 들면 "~와 같은" 및 "예를 들어" 및 그의 변형은 본 발명의 비제한적인 실시 예를 기술한다. 본 명세서에서 "하나의 경우", "일부 경우들", "다른 경우들" 또는 그 변형들은 실시 예(들)과 관련하여 기술된 특정한 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시 예에 포함됨을 의미한다. 따라서, "하나의 경우", "일부 경우들", "다른 경우들" 또는 그 변형의 어구의 표현은 반드시 동일한 실시 예(들)을 지칭하지 않는다.

명료함을 위해, 별개의 실시 예들의 문맥으로 설명된, 본 명세서에서 개시된 주제의 특정 특징들이 또한 단일 실시 예에서 조합하여 제공될 수 있음이 이해될 것이다. 반대로, 간결하게, 단일 실시 예의 문맥으로 설명된, 본 명세서에 개시된 주제의 다양한 특징은 또한 개별적으로 또는 임의의 적합한 하위 조합으로 제공될 수 있다. 예를 들면, 도 1은 다양한 이미지 처리 동작을 실행하도록 구성된 처리 유닛(150)을 설명한다. 단일 처리 유닛을 제공하는 것은 명확성 및 간략성을 위해서만 수행되며, 당업자는 각각 상이한 작업을 수행하도록 구성된 복수의 개별 처리 유닛이 또한 사용될 수 있음이 명료해야 한다.

본 명세서에 개시된 주제의 실시 예에서, 도 2a, 2b, 5, 6 및 7에 도시된 것보다 적은 단계, 더 많은 단계 및/또는 상이한 단계가 실행될 수 있다. 본 명세서에 개시된 주제의 실시 예에서, 도 2 및, 5 내지 7에 예시된 하나 이상의 스테이지는 상이한 순서로 실행될 수 있거나 및/또는 스테이지들의 하나 이상의 그룹이 동시에 실행될 수 있다. 도 1은 본 발명의 일 실시 예에 따른 시스템 아키텍처의 개략도를 도시한다. 도 1의 기능적 엘리먼트는 본 명세서에서 정의되고 설명된 기능을 수행하는 소프트웨어 및 하드웨어 및/또는 펌웨어의 임의의 조합으로 구성될 수 있다. 도 1의 기능적 엘리먼트들은 하나의 위치에 집중되거나 하나 이상의 위치에 분산될 수 있다. 본 개시된 주제의 다른 실시 예에서, 시스템은 도 1에 도시된 것보다 더 적거나, 더 많거나 및/또는 상이한 기능적 엘리먼트를 포함할 수 있다.

본 명세서에서 사용된 용어 "기준"은 예를 들면 여러 기준 및/또는 그들의 논리적 조합을 포함하는 임의의 복합 기준을 포함하도록 확장적으로 간주 되어야 한다.

"연속적으로 전송", "연속 전송", "연속 데이터" 또는 그 변형은, 하나의 말단에서 생성된 데이터가 다른 말단에서 재구축될 수 있도록, 하나의 위치에서 획득된 데이터 시퀀스(예를 들면, 캡처된 이미지)가 또다른 위치로 전송되는 통신 링크를 통한 데이터 전송을 포함하는 것으로 확장적으로 해석되어야 한다.

"이미지"라는 용어는 비디오 스트림에 결합된 모든 유형의 스틸 이미지 또는 이미지들을 커버하도록 확장적으로 해석되어야 한다. 이러한 이미지는 예를 들면 컬럭 광학 이미지, 흑백 광학 이미지 및 기타 유형의 이미징 시스템에 의해 생성된 이미지들을 제공할 수 있는 전기 광학 센서에서 가져올 수 있다.

이제 본 명세서에 개시되는 주제의 일 예시에 따라, 감시 시스템을 개략적으로 도시하는 기능 블록도를 도시한 도 1을 주목하자. 도 1은 통신 링크(160)를 통해 통신하는 감지 유닛(110) 및 제어 유닛(120)을 포함하는 감시 시스템(100)을 도시한다. 감지 유닛(110) 및 제어 유닛(120)은 서로 원격으로 위치될 수 있다. 예를 들면. 감지 유닛(110)이 유인 또는 무인 공중 차량(UAV)과 같은 공중부양(airborne) 차량 또는 장치상에, 위성 등에 배치되는 동안, 제어 유닛(120)은 지면상에 위치될 수 있다. 다른 예시에서, 유인 또는 무인 지상 차량, 유인 또는 무인 선박, 하이 폴(high pole) 등과 같은 원격 위치에 감지 유닛(110)이 위치될 수 있다. 감지 유닛(110)과 제어 유닛(120) 간의 통신은 예를 들면 감지 유닛(110) 내의 통신 모듈(111) 및 제어 유닛(120) 내의 통신 모듈(121)에 의해 보조될 수 있다. 감지 유닛(110)과 제어 유닛(120) 간의 통신은 당 업계에 공지된 임의의 적합한 통신 기반 시설 및 프로토콜에 의해 실현될 수 있다.

본원에 개시된 교시에 따라, 감지 유닛(110)은 이미징 어셈블리(113), 이미지 처리 유닛(150) 및 데이터 저장소(130)를 더 포함한다. 이미징 어셈블리(113)는 고해상도 센서 및 적절하게 넓은 FOV 및 감시되는 장면의 넓은 각도를 캡처하는 고해상도 이미지를 위한 적절한 각도 분해능을 갖는 렌즈 어셈블리를 포함한다.

이미지 처리 유닛(150)은 예를 들면 물체 검출 및 태깅(예를 들면, 물체 처리 모듈(131)의 도움으로), 이미지 열화(예를 들면 이미지 열화 모듈(133)의 도움으로) 및 이미지 분할(segmentation)(이미지 분할 모듈(135)의 도움으로)을 포함하는 다양한 이미지 처리 동작을 실행하도록 구성된다. 이미지 처리 동작의 보다 상세한 설명은 하기에서 더 상세히 설명된다. 이미지 처리 유닛은 관련 동작들을 실행하도록 구성된 적어도 하나의 컴퓨터(하나 이상의 컴퓨터 프로세서들(140) 및 컴퓨터 메모리를 포함)의 일부로서 구성되거나 그에 동작 가능하게 접속된다.

제어 유닛(120)은 수신된 감지 데이터를 디스플레이하기 위한 하나 이상의 디스플레이 장치(예를 들면 LED 스크린)를 포함하는 디스플레이 유닛(123); 예를 들면 조이스틱, 마우스, 터치 패드, 터치 스크린 또는 제어 유닛(120)과 조작자 상호 작용을 가능하게 하는 임의의 다른 장치를 포함하는 입력 장치(들)(127); 및 장면 내의 관심 물체의 식별 및 추적을 가능하게 하도록 구성된 물체 처리 모듈(125)을 포함한다.

도 2a는 본 발명의 일 실시 예에 따라 감시 시스템(100)에 의해 수행되는 동작을 도시하는 흐름도이다. 도 2a 및 도 2b, 도 5, 도 6 및 도 7를 참조하여 기술된 동작은, 예를 들면 도 1을 참조하여 상술한 시스템(100)의 원리에 따라 구성된 감시 시스템의 도움으로 실행될 수 있다. 도 1의 엘리먼트를 참조하여 만들어진 동작들의 임의의 설명은 단지 예시이며 예시의 목적만을 위한 것이며, 어떠한 방식으로든 제한하는 것으로 해석되어서는 안된다는 것에 유의하라.

이미징 어셈블리는 감시된 장면의 고해상도 이미지를 획득한다(블록 201). 생성된 고해상도 이미지는 이미지 처리 유닛(150)에 의해 처리된다. 일 예시에 따라 이미지 처리 유닛(150)은 물체 식별 프로세스를 실행하도록 구성된다(블록 203). 물체 식별 프로세스동안, 관심 물체는 감시된 장면의 고해상도 이미지에서 식별된다. 식별된 관심 물체에는 태그가 붙여지며, 각 관심 물체는 해당 물체 태그로 식별을 가능하게 한다.

태그된 물체는 연속한 캡처된 이미지를 따라 이전 이미지에서 다음 이미지로 추적되어, 연속한 이미지를 따라 자신의 각각의 태그된 물체와 연관된 각 물체 태그를 유지하고 연속한 이미지들을 따라서 한 이미지로부터 다음 이미지로의 태그된 물체를 추적할 수 있다. 물체 식별 프로세스에 대한 보다 상세한 설명은 도 5를 참조하여 하기에 개시된다.

본 명세서에 사용된 용어 "물체"는 장면(예를 들면 자동차, 건물 또는 항공기 등)의 이미지 내의 특정 유형의 물체뿐만 아니라 하나 이상의 픽셀의 인식 가능한 그룹(예를 들면, 이동 픽셀의 그룹 또는, 주변 장면에 대해 인식 가능한 온도 또는 컬러에 의해 특징지어지는 픽셀의 그룹) 또는 감시 장면의 이미지 내에서 선택된 영역을 포함하는, 장면 또는 그 일부의 이미지 내의 임의의 유형의 식별 가능한 물체를 포함하도록 넓게 해석되어야 한다는 것을 유의해야 한다. 하기의 설명에서, 용어 "엘리먼트"는 또한 때때로 물체 또는 영역을 집합적으로 지칭하기 위해 사용된다. 물체 태그는 물체에 할당되고 물체를 식별하는 데 사용될 수 있는 임의의 숫자, 이름, 문자, 휘장, 아이콘 등일 수 있다.

다음 설명에서 태그가 할당된 물체는 "태그된 물체"라고 한다. 이미지, 태그된 물체의 물체 태그, 및 가능하다면 추가의 물체 데이터는 데이터 저장소(130)(예를 들면 일종의 비일시적인 컴퓨터 메모리를 포함)에 저장될 수 있다. "물체 데이터"라는 용어는, 예를 들면 획득된 이미지에 관한 좌표 및/또는 물체의 전역 위치에 대한 좌표, 물체의 속도, 물체의 크기, 물체의 온도, 물체의 색, 물체의 형상, 상관 데이터 및 주어진 이미지 내의 물체의 식별에 도움이 되는 임의의 정보를 포함하는 물체의 다양한 특징들을 포함할 수 있다.

블록(205)에서, 이미지 열화 프로세스가 실행된다. 이를 위해, 이미지 처리 유닛(150)은 원래 캡처된 고해상도 이미지를 처리하고 각각의 열화 이미지를 생성하도록 더 구성될 수 있다. 열화는 충분한 속도로 통신 링크를 통해 캡처된 이미지를 제어 유닛으로 전송할 수 있도록 하기 위해 통신 링크의 가용 대역폭에 따라 적응된다. 하나 이상의 사용 가능한 열화 방법을 구현하여 원래의 고해상도 이미지를 열화시킬 수 있다. 예를 들면, 열화 프로세스는 감지 데이터가 비디오 스트리밍 디스플레이(예를 들면 25-30 FPS)에 대해 수용 가능한 속도로 제어 유닛에 도달할 수 있게 보장하도록 적응될 수 있다.

예를 들면 열화 프로세스는 원래 캡처된 고해상도 이미지와 비교하여 열화된 해상도를 특징으로 하는 열화 이미지를 생성하는 것을 포함할 수 있다. 열화는 충분한 속도로 통신 링크를 통해 캡처된 이미지를 제어 유닛으로 전송할 수 있도록 이미지 해상도 및 그에 따른 이미지 크기를 감소시키도록 적응된다.

선택적으로 또는 부가적으로, 열화 프로세스는 프레임의 전송 속도를 열화시키는 것을 포함할 수 있다. 이 방법에 따르면, 고해상도 이미지는 더 낮은 전송 속도(예를 들면 1초당 25 또는 30프레임 대신 1초마다 1프레임 또는 더 느리게)로 정지 이미지로서 전송될 수 있다.

또한 대안적으로 또는 부가적으로, 열화 프로세스는 원래의 고해상도 이미지의 색 정보를 열화시키는 것을 포함할 수 있다. 이 방법에 따르면, 열화 이미지는 원래의 고해상도 이미지에서 발견되는 것보다 적은 수의 컬러(예를 들면 흑백만)를 포함한다.

특히, 본원에 기술된 열화 방법은 비제한적인 실시 예로서 제시되고, 추가의 열화 기술이 본 발명의 범위 내에서 고려된다.

블록(207)에서, 감지 데이터는 통신 링크를 통해 제어 유닛(120)에 전송된다. 일 예시에 따르면, 제어 유닛(120)에 전송되는 감지 데이터는 열화 이미지, 캡처된 이미지에서 식별된 관심 물체에 할당된 하나 이상의 물체 태그 및 가능하게는 태그된 물체에 관한 추가 물체 데이터를 포함한다. 부가적인 물체 데이터는 예를 들면 물체 태그를 연속한 이미지의 이미지 내의 각각의 물체와 연관시킬 수 있는 상관 데이터(예를 들면 각각의 캡처된 이미지 및/또는 이미지 내의 각각의 좌표 및 그것들의 크기를 식별하는 이미지 ID)를 포함할 수 있다. 주목할 만하게는, 물체 태그는 열화 이미지와 병렬로 전송될 수 있는데, 여기서 물체 태그는 제어 유닛에서 각각의 태그된 물체와 관련된다.

감시된 장면의 연속적인 비디오 피드를 제공할 목적으로, 이미지는 감지 유닛에서 연속적으로 캡처 및 처리될 수 있고, 생성된 감지 데이터는 제어 유닛으로 연속적으로 전송될 수 있다.

블록(209)에서, 감지 데이터는 제어 유닛(120)에서 수신되고 디스플레이 유닛(123)의 하나 이상의 디스플레이 장치상에 디스플레이될 수 있다. 감지 데이터는 또한 데이터 저장소(160)에 저장될 수 있다.

특히, 제어 유닛 디스플레이 상에 디스플레이되는 이미지는 해상도가 열화되는 것을 특징으로 하므로, 감시된 장면에 대해 매우 상세하고 명확한 이미지를 제공할 필요가 없다. 그러나, 일 예시에 따르면, 조작자가 이미지 내의 물체의 존재를 식별할 뿐만 아니라 이미지에 나타나는 물체의 유형을 식별할 수 있도록 충분한 이미지 해상도를 유지하면서 이미지 열화가 실행될 수 있다.

또한, 다른 예시에 따르면, 물체 태그는 또한 열화 이미지를 통해 디스플레이되어 수신된 이미지의 각각의 물체의 위치를 나타내도록 할 수 있다. 따라서, 감소된 이미지 해상도에도 불구하고 표시된 이미지에 나타나는 관심 물체가 관련 물체 태그를 기반으로 인식될 수 있다. 예를 들면, 호송 차량이 도로를 따라 이동한다고 가정하면, 호송 차량의 적어도 일부는 도로를 따라 진행하는 물체 태그의 그룹으로서 전체 호송 장치를 식별하는 각각의 물체 태그에 의해 식별될 수 있다.

도 3은 도로를 주행하는 3대의 호송 차량으로 열화 이미지를 나타내는 캡처된 이미지의 개략적인 예시이다. 물체 태그는 디스플레이된 비디오 스트림에서 차량의 식별 및 추적을 돕는다. 도 3은 단지 예시적인 것이며, 실제 이미지는 상이하여 예를 들면 이미지의 해상도가 그림에 표시된 것보다 덜 열화되거나 열화될 수 있다. 상술한 바와 같이, 열화 속도는, 특히 원하는 전송 속도 및 유닛들(110 및 120) 간의 통신 링크의 가용 대역폭에 따른다.

제어 데이터는 제어 유닛(120)에서 생성될 수 있다(블록 211). 일 예시에 따르면, 제어 유닛 조작자는 제어 유닛(120)에 디스플레이된 이미지에서 하나 이상의 물체(이하 "선택된 물체")를 선택할 수 있다. 대안으로 또는 추가적으로, 조작자는 표시된 이미지 내에서 관심 영역을 표시하거나 선택할 수 있다.

선택적으로, 디스플레이 유닛(123)은 조작자가 디스플레이된 이미지의 엘리먼트들을 보고 선택하는 것을 돕도록 구성될 수 있다. 예를 들면, 디스플레이 유닛(123)은 디스플레이된 이미지의 상이한 엘리먼트들간의 스크롤링을 가능하게 하도록 구성된 지정된 스크롤러로 구성될 수 있다. 스크롤러를 스크롤링함으로써, 초점이 한 엘리먼트에서 다음 엘리먼트로 이동한다. 일단 엘리먼트가 초점에 있으면, 예를 들면, 조작자가 지정된 버튼을 누르거나 마우스를 클릭함으로써 그 엘리먼트를 쉽게 선택할 수 있다.

스크롤러는 회전 노브 또는 휠(예를 들면 지정된 휠 또는 마우스 휠)과 같은 물리적 스크롤링 장치로 구현될 수 있으며, 노브 또는 휠의 회전은 초점을 이미지 내의 한 엘리먼트에서 다른 엘리먼트로 이동하게 한다. 선택적으로 또는 추가적으로, 스크롤러는 소프트웨어에 의해 구현되고 디스플레이된 이미지와 함께 스크린상에 디스플레이되는 가상 스크롤러로서 구현될 수 있다. 예를 들면, 키보드 또는 마우스 커서의 화살표 키를 사용하여 스크롤 바가 이동될 수 있다. 스크롤 바를 움직이면 이미지의 한 엘리먼트에서 다른 엘리먼트로 포커스의 초점이 이동한다.

스크롤러는 또한 스크롤러와의 상호 작용에 응답하도록 구성된 적절한 소프트웨어를 포함할 수 있으며, 현재 어떤 엘리먼트가 초점 내에 있는지 및/또는 어떤 엘리먼트가 선택되었는지를 나타내는 표시를 생성할 수 있다. 예를 들면, 초점에 있는 엘리먼트는 특정 색으로 채색되거나 엘리먼트를 둘러싸는 사각형 또는 원으로 마킹될 수 있다. 조작자가 하나의 엘리먼트에서 다음 엘리먼트로 스크롤링함에 따라, 어떤 엘리먼트가 현재 초점 내에 있는지를 나타내기 위해 표시(예를 들면, 특정 컬러링)가 하나의 엘리먼트로부터 다음 엘리먼트로 이동된다.

조작자 선택에 응답하여, 제어 데이터가 제어 유닛(120)에 의해 생성된다. 일 예시에 따르면, 제어 데이터는 선택된 물체(들) 또는 선택된 영역을 포함한다. 또 다른 예시에 따르면, 제어 데이터는 또한 선택된 물체 또는 선택된 영역에 대해 발행된 일부 유형의 명령을 포함할 수 있다.

예를 들면 선택된 물체(예를 들면, 이동 물체)를 록킹하고 추적하는 명령, 선택한 물체에 줌인하는 명령, 선택한 물체를 마킹하는 명령, 선택된 물체의 특정 파라미터(예를 들면, 속도)에 대한 데이터를 얻기 위한 명령 등을 포함하는 상이한 유형의 명령들이 물체와 관련하여 생성될 수 있다. 예를 들면 입력 장치(127)의 도움으로 관심 물체를 포인팅하거나 그렇지 않으면 마킹함으로써, 당 업계에 공지된 임의의 방법에 의해 물체를 선택할 수 있다.

반드시 물체와 관련되지 않은 다른 유형의 명령도 생성될 수 있다. 예를 들면, 캡처된 이미지의 선택된 영역을 최대 품질로, 즉 비디오 스트림의 열화없이 전송하도록 감지 유닛에 명령하는 가상 줌 명령이 있다. 줌 명령은 원하는 관심 영역을 나타내는 포인팅 명령 및 예를 들면 이미지 내의 표시된 영역의 열화를 방지하기 위한 줌 커맨드 명령을 포함할 수 있다.

본 발명의 일 실시 예에 따른 명령 생성 프로세스에 대한 보다 상세한 설명은 도 6을 참조하여 아래에서 설명한다. 생성된 제어 데이터는 감지 유닛(110)으로 다시 전송된다(블록 213).

제어 데이터는 감지 유닛(110)에 의해 수신되고(블록 215), 선택된 물체(들) 또는 영역(들)은 보다 최근에 캡처된 고해상도 이미지에서 감지 유닛(110)에 의해 식별된다(블록 217). 일부 예시에서, 선택된 물체는 제어 데이터가 수신될 때 처리에 가용한 가장 최근에 캡처된 고해상도 이미지에서 식별된다. 선택된 엘리먼트(예를 들면, 물체(들) 또는 영역(들))를 식별하는 방법은 하기에서 논의된다.

선택적으로, 데이터 검증 프로세스(250)가 실행될 수 있다(프로세스 250). 조작자 선택은 열화된 해상도를 가진 이미지를 보면서 수행되므로, 선택 오류(예를 들면, 잘못된 물체 선택)를 피하기 위해 선택을 검증하는 것이 바람직하다. 또한, 조작자는 장면의 상이한 엘리먼트들을 보다 면밀히 빠르게 검사하기를 원한다. 따라서, 검증 프로세스는 명령을 실행하기 전에 선택 사항을 변경할 수 있는 기회를 조작자에게 제공한다.

도 2b는 본 발명의 예시에 따라, 데이터 검증 프로세스 동안 감시 시스템에 의해 수행되는 동작을 도시하는 흐름도이다. 검증 프로세스 동안, 고해상도 이미지는 선택된 물체(들) 또는 영역을 포함하는 고해상도 이미지 세그먼트를 얻기 위해 잘라낸다(cropped)(블록 251). 그런 다음, 고해상도 이미지 세그먼트가 제어 유닛(120)에 전송되어(블록 253), 수신되고 디스플레이된다(블록 255). 특히, 이미지 세그먼트의 크기는 원하는 전송 속도와 일치하도록 선택되고 유닛(110 및 120) 사이의 통신 링크의 가용 대역폭에 의존할 수 있다. 상술한 바와 같이, 감시 장면의 연속적인 비디오 피드를 제공하기 위해, 이미지 세그먼트가 연속적으로 생성되어 제어 유닛으로 전송된다.

그런 다음 조작자는 고해상도 이미지 세그먼트에서 선택된 물체(들) 또는 선택된 영역을 보고 표시된 정보를 보다 자세히 검사할 수 있다. 이미지 세그먼트의 고해상도 품질로 인해, 그것은 디스플레이된 정보를 편리하게 볼 수 있는 적절한 대형 디스플레이 장치상에 디스플레이될 수 있다. 그런 다음, 디스플레이된 정보가 조작자의 승인을 만족시키는 지의 여부가 판정된다(블록 257).

표시된 정보가 조작자의 승인을 충족시키지 못하면 프로세스를 재설정할 수 있다. 이에 응답하여, 조작자는 상이한 물체(들) 또는 영역을 재선택하도록 허용될 수 있다(블록 211로 복귀). 선택적으로, 리셋 동작에 응답하여, 이전에 선택된 엘리먼트의 이미지 세그먼트의 추가 생성 및 전송을 중지시키도록 지시하는 적절한 명령이 감지 유닛에 전송될 수 있다.

그러나, 조작자가 그의 승인으로 이미지 세그먼트에 표시된 정보가 충족하는 것으로 판정하면, 이미지 세그먼트는(예를 들면 지정된 조작자 동작에 의해) 검증될 수 있다. 검증 후에, 각각의 명령은 선택된 물체(들) 또는 영역에 대해 실행될 수 있다(도 2의 블록(223)).

(예를 들면 블록(211)에서 제어 데이터의 생성 중에) 명령이 먼저 발행된 경우, 각각의 커맨드 명령은 감지 유닛으로 송신될 수 있고 및/또는(명령이 이미 송신된 경우) 감지 유닛에서 실행될 수 있다. 그렇지 않으면, 표시된 이미지 세그먼트의 검증 후에 명령이 발행될 수 있고, 그 다음에 각각의 커맨드 명령이 감지 유닛으로 전송되어 실행될 수 있다. 일 예시에 따르면, 조작자는 각각의 지시를 발행하거나 또는 이전에 발행된 지시를 실행하기 위해 감지 유닛에 명령을 전송함으로써 디스플레이된 이미지 세그먼트를 검증할 수 있다.

지시의 실행 동안(블록 225), 감지 유닛(110)은 선택된 엘리먼트(들), 예를 들면, 선택된 물체(들) 또는 영역에 대한 커맨드 명령을 실행하도록 구성된다(블록 231). 또한, 감지 유닛(110)은 캡처된 연속한 고해상도 이미지를 절단하고 선택된 엘리먼트를 포함하는 이미지 세그먼트를 생성하도록 더 구성된다(블록 233). 이미지 세그먼트는 제어 유닛에 연속적으로 전송되어(블록 235), 조작자가 보기 위해 표시한다(블록 227).

예를 들면, 특정 이동 차량을 잠그고 차량이 주행할 때 차량을 추적하도록 감지 유닛(110)에 지시하는 잠금 및 추적 명령을 생각해 보라. 선택적으로, 필요하다면, 이미지 센서는 선택된 물체의 방향을 지시하도록 지시된다(예를 들면 센터링 명령을 실행). 고해상도 이미지는 선택된 차량 및 가능하게는 차량 주변의 일부 영역을 포함하는 고해상 이미지 세그먼트를 얻기 위해 잘려 진다. 이미지 세그먼트는 그런 다음 제어 장치로 전송되어 디스플레이 장치에 표시된다. 감지 유닛이 선택된 차량을 계속 추적함에 따라, 그것은 선택된 차량(또는 차량들)을 포함하는 이미지 세그먼트를 생성하여 제어 유닛(120)에 전송한다.

도 4a 및 4b에 개략적으로 도시된 바와 같이, 일 실시 예에 따르면, 원래의 고해상도 이미지는 복수의 세그먼트로 분할될 수 있다. 차량이 주행할 때, 그것은 원래 캡처된 고해상도 이미지의 다른 영역을 횡단할 수 있다. 감지 유닛(110)은 이동 차량을 연속적으로 추적하고 원래 캡처된 고해상도 이미지에서 차량의 현재 위치에 따라 상이한 이미지 세그먼트를 제어 유닛에 전송하도록 구성될 수 있다. 이 절차는 추적 중에 이미징 어셈블리를 이동해야 하는 필요성을 줄이면서(때로는 완전히 방지함) 감지 유닛이 이동 물체를 추적하는 데 고해상도 이미징 어셈블리를 활용하도록 한다.

물체 또는 관심 영역이 프레임 밖으로 벗어나는(또는 이동하는 경우,) 감지 유닛은 선택된 물체(들) 또는 영역을 놓치지 않기 위해 센서의 위치를 재배치하도록 구성된다.

마찬가지로, 감지 유닛(110)이 선택된 물체(들)(예를 들면 정지 물체) 또는 선택된 영역에 대해 줌 하도록 지시하는 줌 명령의 경우, 선택적으로, 필요한 경우, 이미지 센서는 선택된 물체의 방향(예를 들면, 선택된 물체 또는 영역을 센터링하기 위해)을 포인팅하도록 지시를 받거나, 또는 원하는 줌 효과(가상(즉, 열화 방지) 또는 실제(줌렌즈 사용))가 이미지 센서에 의해 제공된다. 이전과 마찬가지로, 고해상도 이미지는 선택된 물체(또는 영역) 및 가능하게는 물체 주위의 일부를 포함하는 고해상도 이미지 세그먼트를 얻기 위해 잘린다. 이미지 세그먼트는 제어 장치로 전송되어 디스플레이 장치에 표시된다. 감지 유닛은 확대된 엘리먼트를 포함하는 이미지 세그먼트를 생성하여 제어 유닛(120)에 계속 송신할 수 있다.

블록(229)에서, 조작자는 발행된 명령을 리셋하고(블록(211)으로 돌아가고) 다른 물체(들) 또는 다른 영역을 선택할 수 있다.

또 다른 예에 따르면, 열화된 이미지 세그먼트 및 고해상도 이미지 세그먼트가 병합되어 단일 이미지로 표시된다. 병합된 이미지에서, 이미지 세그먼트는 고해상도로 표시되지만 이미지 세그먼트 주변의 영역은 열화된 해상도로 표시된다. 관심 물체(들)(또는 관심 영역)의 위치가 캡처되는 전체 영역에 대해 변경되면, 고해상도 형식으로 표시되는 이미지 세그먼트의 영역은 물체의 움직임에 따라 변경된다.

상술한 바와 같이, 고해상도 이미징 어셈블리를 사용할 때, 송신 대역폭 한계의 문제점에 대한 또 다른 선택적인 해결안은 이미지가 전송되는 프레임 속도를 감소시키는 것이다. 이 방법에 따르면, 전송되는 이미지가 반드시 열화되는 것은 아니며, 오히려 감지 유닛과 제어 유닛 사이의 통신 링크를 통한 이미지 전송의 프레임 속도가 가용 대역폭에 맞게 조정된다. 제어 유닛에서 수신된 고해상도 이미지(및 물체 태그)는 디스플레이 장치(123) 상에 디스플레이된다. 적절한 픽셀 해상도 및 적절하게 큰 치수를 갖는 고해상도 이미지를 디스플레이하기에 적합한 디스플레이 장치가 사용될 수 있다. 표시된 고해상도 이미지의 재생 속도는 감소된 프레임 속도와 상관 관계가 있으므로, 그것은 완전한 비디오 스트리밍 효과를 제공하지 못할 수 있다.

또 다른 예에 따르면, 열화 이미지의 고속 비디오 스트리밍 및 감소된 속도의 고해상도 이미지 모두가 전송되어 디스플레이 유닛(123) 상에 디스플레이될 수 있다. 이러한 경우, 이미지 열화 및 감소된 프레임 속도가 통신 링크를 통한 두 가지 유형의 이미지 모두의 전송을 가능하게 하도록 조정된다. 디스플레이 유닛(123)은 열화된 비디오 스트림을 디스플레이하기에 적합한 적어도 하나의 디스플레이 장치 및 감소된 속도로 전송되는 고해상도 이미지를 디스플레이하기에 적합한 적어도 하나의 디스플레이 장치를 포함할 수 있다. 물체 태그는 두 가지 유형의 이미지 모두에 표시될 수 있으며 두 가지 유형의 이미지에 표시되는 물체 간의 연관 시키기를 지원한다.

원격 통신 링크를 통해 이미지 센서를 제어하는 것과 관련된 하나의 문제점은 감지 유닛이 물체의 이미지를 획득하는 시간과, 제어 장치에 위치한 디스플레이상에 이미지가 디스플레이될 때까지의 시간, 그리고 감지 유닛에서 대응하는 명령들이 수신될 때까지의 시간 사이에 존재하는 시간 지연에 관한 것이다. 지연에 기여할 수 있는 팩터는 예를 들면 처리, 이미지 압축/압축 해제, 통신 기간 및/또는 통신 링크 대역폭 제한을 포함한다. 누적된 지연 시간은 몇분의 1초에서 몇 초까지 일 수 있다.

이 시간 지연으로 인해, 제어 유닛에서 디스플레이상에 디스플레이된 바와 같이 물체의 위치는 일반적으로 물체의 현재 위치가 아니다. 디스플레이상에 디스플레이된 위치는 감지 유닛으로부터 제어 유닛으로의 감지 데이터의 전송 전의(예를 들면 x 초 전) 물체의 위치이다. 또한, 감지 유닛이 제어 유닛으로부터 제어 데이터를 수신하고 이미지 센서에 대한 명령을 생성할 때까지, 추가적인 시간 지연(예를 들면 추가 y 초)이 발생한다. 결과적으로, 이미지 센서가 물체를 위치지정하도록 지시받을 때까지, 물체는 더 이상 x + y 초 전에 촬상될 때와 동일한 위치에 있지 않을 수 있다.

분명히, 이 시간 지연은 물체에 고정하려는 노력을 복잡하게 한다. 조작자는 지시가 감지 유닛에 도착할 때 미래의 특정 시간에서의 물체의 예상 위치를 정확하게 추정해야 한다. 그래야만 계산된 추정 위치로 감지 장치가 향하게 되어 잠금 및 추적 동작이 개시될 수 있다.

추정된 위치가 충분히 정확하지 않다면, 감지 유닛은 다른 배경 물체에 고정될 것이고 전체 추정, 계산 및 잠금 프로세스가 반복되어야 한다. 따라서, 효과는 지연을 갖는 연속 피드백 제어 루프이며, 이는 오버 슛 및 불안정성을 겪을 수 있는 상황이다.

상술한 시간 지연 문제를 극복하기 위해 지시되는 당 업계에 공지된 다양한 방법이 있다. 이 문제에 대한 한가지 해결안은 미국 특허 제7,184,574호에 개시되어 있으며, 이는 본 명세서에 그 전체가 참조에 의해 통합된다. 다른 해결안은 본 출원인에 의해 출원된 PCT 출원, WO2014/111923호에 개시되어있다. 다음의 논의에서, WO2014/111923에 제공된 해결안은 본 명세서에 개시된 주제의 문맥에서 설명된다. 그러나, 본 명세서에 개시된 감시 시스템은 시간 지연 문제를 해결하기 위해 지시된 기술 중 임의의 하나의 원리에 따라 동작할 수 있으며, 하나의 특정 기술에 고정되지 않는다는 것에 유의된다.

도 5는 본 발명의 일 실시 예에 따른 감지 유닛에 의해 수행되는 동작을 도시 한 흐름도이다. 도 2의 블록(201-203)을 참조하여 상술한 바와 같이, 장면의 고해상도 이미지는 이미징 어셈블리에 의해 캡처되고 관심 물체를 식별하기 위한 물체 식별 프로세스를 거친다. 관심 물체는 다른 물체 파라미터에 따라 정의될 수 있다. 일 예시에 따르면, 관심 물체는 이동 물체만을 포함한다. 이 예시에 따르면, 물체 식별 프로세스 동안, 캡처된 이미지 내에 나타나는 이동 물체가 식별된다. 각 물체 태그는 식별된 물체의 일부 또는 전부에 각각 할당된다. 물체 태그는 할당된 각 이동 물체를 고유하게 식별한다.

감지 유닛(110)의 물체 처리 모듈(151)은 이동 물체의 태깅을 포함하는 식별 프로세스를 실행하도록 구성될 수 있다. 이미지 스트림에서 이동 이미지를 식별하는 방법은 당해 기술 분야에 잘 알려져 있다. 예를 들면 이동 물체는 VMD(Video Motion Detection) 알고리즘을 사용하여 식별할 수 있다. 이를 위해, 물체 처리 모듈(151)은 VMD 알고리즘을 구현하고 연속한 이미지들에서 이동 물체들을 식별하도록 구성된 VMD 모듈을 포함할 수 있거나 그에 동작 가능하게 연결될 수 있다.

선택적으로, 획득된 이미지들에서 식별되는 모든 이동 물체는 각각의 물체 태그가 할당된다. 대안적으로, 장면 내의 모든 이동 물체가 물체 처리 모듈(151)에 의해 태깅되지는 않는다. 오히려, 관심 있는 특정 물체가 상이한 파라미터에 기초하여 선택될 수 있다. 예를 들면 어떤 기준과 일치하는 장면의 물체를 선택하도록 구성된 컴퓨터 프로그램의 도움으로 특정 물체를 선택할 수 있다. 이를 위해, 감지 유닛(110)은 선택적으로 자동 물체 인식 유닛(AOR)(115)이 장치될 수 있다.

현재 개시된 주제에 따르면, AOR 유닛(115)은 장면의 물체를 선택하여, 물체의 특징에 기초하여 각각의 물체 태그로 태그된다. AOR 유닛(115)은 미리 정의된 특성들 및 탐색된 물체들의 선택을 위한 각각의 기준으로 미리 프로그램될 수 있다. 이러한 특성 및 기준은 예를 들면 물체의 크기, 물체의 속도, 물체로부터 나오는 온도 등을 포함할 수 있다. 물체는 또한 이미지 전체의 분산에 기초하여 스크린되고, 상기 복수의 물체들 사이의 거리가 미리 정해진 거리보다 작도록 상기 물체들이 함께 모이게 되는 경우에, 예를 들면 획득된 이미지 내의 복수의 식별된 물체들 중에서 단지 하나의 물체가 태그된다. 관심 물체가 이동 물체만 포함하는 경우, 미리정의된 특성에 따라 식별된 이동 물체에서 스크리닝이 구현될 수 있다. 관심 물체가 또한 정지 물체를 포함하는 경우, 스크리닝은 장면에서 식별된 모든 물체에서 구현될 수 있다.

AOR 유닛(115)은 연속한 캡처된 이미지들(예를 들면 VMD 모듈로부터)에서 이동 물체들을 나타내는 정보를 획득하고, 수신된 정보를 분석하고, 이미지 내의 이동 물체들의 특성을 판정하도록 구성될 수 있다. 그 후, AOR 유닛(115)은 이러한 특성들이 소정 유형의 사전 정의된 기준을 충족시키는지를 판정하고 이에 따라 표시를 생성할 수 있다. AOR 유닛(115)은 이동 물체들 중 어느 것이 요구되는(sought after) 물체의 미리 정의된 특성들 및 기준을 따르는지를 나타내는 정보를 물체 태깅 모듈(115)에 전송하도록 구성될 수 있다. 그런 다음, 물체 태깅 모듈(115)은 AOR 유닛(115)에 의해 표시된 이동 물체(또는 물체들)를 태그하도록 구성될 수 있다.

획득된 이미지 및 선택적으로 물체 데이터에서의 이동 물체에 할당된 물체 태그는 지정된 데이터 저장소에 저장될 수 있다(블록 505). 예를 들면, 데이터는 획득된 이미지(i) 내의 이동 물체의 위치를 나타내는 x, y 좌표 및 그 물체에 할당된 물체 태그를 포함하는 데이터 구조로 저장될 수 있다. 선택적으로, 획득된 이미지가 또한 저장될 수 있지만, 이는 반드시 필요한 것은 아니며, 일부 경우에는 이전에 캡처된 이미지는 더 새로운 이미지가 캡처되면 폐기된다.

이전의 이미지에서 이동 물체의 위치는 물체의 움직임 및/또는 감지 유닛의 움직임 및/또는 이미지 센서의 움직임으로 인해 이후 이미지에서 변할 가능성이 있다. 이 목적을 위해, 물체 처리 모듈(151)은 이미징 어셈블리(113)에 의해 캡처된 이미지를 수신하고 연속한 캡처된 이미지를 따라 이전 이미지로부터 다음 이미지로 태그된 물체를 추적하도록 더 구성될 수 있고(블록 507), 그에 의해 연속한 이미지를 따라 자신의 각각의 태그된 물체와 연관된 각각의 물체 태그를 유지하고, 연속한 이미지를 따라 하나의 이미지에서 다음 이미지로 태그된 물체를 추적하는 것을 가능하게 한다.

예를 들면 물체 처리 유닛(151)은 이미지 센서에 의해 캡처된 연속한 이미지들에서 각각의 태그된 물체를 이전 이미지로부터 다음 이미지로 추적하고, 나중의 이미지에서의 이동 물체의 위치(예를 들면 x 및 y 좌표)를 판정하도록 구성될 수 있다.

연속한 이미지를 따라 이전 이미지로부터 다음 이미지로 물체를 추적하는 방법은 당해 기술 분야에 공지되어 있고, 예를 들면 이동 물체가 하나의 이미지에서 후속 이미지로 검출될 때 이동 물체를 추적할 수 있게 하는 VMD 알고리즘을 포함한다. 다른 방법은 질량 중심 식별, 엣지 검출, 상관 등에 기초한다. 본 명세서에서 사용되는 바와 같이, "이후"라는 용어는 보다 이른 시간에서 캡처된 이미지(즉, 이전 이미지)보다 늦은 시간에 캡처되는 이미지를 포함한다. "다음 이미지"라는 용어는 연속적인 이미지를 포함하지만 이에 국한되지 않는다.

블록(509)에서, 나중 이미지에서 태그된 물체의 위치가 이전 이미지에서의 물체의 위치와 다른 지의 여부가 판정되고, 그럴 경우 물체의 위치를 나타내는 정보가 업데이트되고 물체의 업데이트된 위치는 각각의 물체 태그(예를 들면, 데이터 저장소(130))와 관련된다. 이미징 어셈블리(113)의 동작 동안, 이미지 센서의 FOV에 들어가는 새로운 이동 물체가 식별되고 각각의 물체 태그로 할당된다.

상술한 바와 같이, 일 실시 예에 따르면, 원래 캡처된 고해상도 이미지는 해상도 감소에 의해 특성화된 열화 이미지를 얻기 위한 열화 프로세스를 거친다(블록 205).

열화 이미지 및 열화 이미지 내의 이동 물체에 할당된 물체 태그를 포함하는 감지 데이터는 제어 유닛으로(예를 들면 캡처된 순서에 따라) 연속적으로 전송된다(블록 207).

상술한 바와 같이, 감지 데이터는 선택적으로 태그된 물체에 관한 물체 데이터를 포함할 수 있는데, 예를 들면 획득된 이미지 내의 각 태그된 물체의 위치를 나타내는 좌표 및 태그된 물체의 가능한 다른 특성(예를 들면, 모양, 크기, 온도, 속도, 색 등)을 포함한다.

이제, 본 발명의 일 예시에 따라, 제어 유닛에서 수행되는 동작을 도시하는 흐름도인 도 6을 참조한다. 감지 유닛(110)에서 생성된 감지 데이터는 제어 유닛에서 수신된다(블록 601). 열화 이미지는 제어 유닛에 표시된다. 하나 이상의 이동 물체가 식별되고 태깅되면, 물체 태그는 표시된 이미지에서 각 물체의 위치를 나타내는 적절한 위치의 이미지 위에 표시된다.

물체 태그는 각각의 이미지 내의 물체들의 위치에 기초하여 연속한 이미지들 내의 각각의 물체와 관련될 수 있다. 따라서, 예를 들면 감지 데이터는 연속한 이미지들에서의 각각의 고해상도 캡처 이미지에 대해, 열화 이미지, 이미지 내의 각각의 이동 물체들의 하나 이상의 물체 태그, 및 이미지 내의 태그된 이미지의 위치를 나타내는 데이터를 포함할 수 있다.

제어 유닛에서 선택된 하나 이상의 엘리먼트들(물체(들) 또는 영역(들))에 응답하여, 물체 식별 프로세스가 실행된다(블록 211). 물체 식별 프로세스 동안, 선택된 엘리먼트가 움직이거나 정지하는지 여부가 판정된다(블록 603). 일 예시에 따르면, 이동 물체들만이 감지 유닛에 의해 태그되는 경우, 이것은 선택된 엘리먼트가 각각의 물체 태그로 할당되는지의 여부에 기초하여 달성될 수 있다. 그럴 경우, 이동 물체로 식별되고, 그렇지 않으면 정지 물체로 식별된다. 선택적으로, 감지 유닛은 주어진 물체가 움직이고 있음을 나타내는 전역 태그를 모든 식별된 이동 물체에 할당하도록 구성될 수 있다. 그러한 경우, 선택된 엘리먼트가 이 전역 태그에 기초하여 움직이거나 정지하는지 여부를(예를 들면 물체 처리 모듈(125)의 도움으로) 판정할 수 있다. 선택적으로 또는 부가적으로, 제어 유닛(120)은 이동 물체를 식별하기 위한 VMD 모듈을 포함할 수 있다.

선택된 엘리먼트가 움직이거나 정지하는지 여부가 판정되면, 각 유형의 물체를 처리하기 위한 다른 접근 방식이 채택된다. 블록(605)에서, 선택된 엘리먼트가 정지 물체인 것으로 판정되는 경우, 엘리먼트가 선택된 전체 이미지가 제어 데이터에 통합된다. 대안적으로, 전체 이미지를 사용하기보다는 제어 데이터의 크기를 줄이기 위해, 선택된 물체를 둘러싸고 있는 이미지 조각이 복사되어 제어 데이터에 통합된다. 제어 데이터는 복사된 이미지 조각 또는 전체 이미지에 추가하여, 이미지 내의 선택된 엘리먼트의 위치(예를 들면 x, y 좌표)를 나타내는 데이터를 포함할 수 있다. 이미지 조각이 사용되는 경우, 복사된 이미지 조각의 경계에 대해 선택된 물체의 위치를 나타내는 좌표를 사용할 수 있다.

전체 이미지 또는 현재 이미지의 조각을 포함하는 적절한 제어 데이터가 생성된다(블록 607). 예를 들면 조작자가 열화 이미지에서 본 물체를 선택하는 경우에는, 제어 유닛에서 적절한 제어 데이터가 생성될 수 있고, 여기서 제어 데이터는 현재 표시되어있는 열화 이미지 및 복사된 이미지 조각에서 선택된 물체의 위치를 나타내는 정보로부터 추출된 이미지 조각을 포함한다. 생성된 제어 데이터는 감지 유닛(110)으로 전송된다(블록 213).

도 8a 및 도 8c는 본 발명에 따른 정지 물체에 대한 추적 명령을 처리하는 것을 예시한 개략도이다. 도 8a는 감지 유닛에 의해 모니터링되는 장면을 도시한다. 예시된 장면에는 3개의 건물과 자동차가 포함되어 있다. 도 8b는 제어 유닛에서 표시되고 있는 장면의 일부를 커버하는(감지 유닛에 의해 캡처된) 이미지의 일 예시인 이미지 I를 도시한다. 제어 유닛의 조작자가 윈도우(801)를 보다 가깝게(그리고 가능하게는 또한 윈도우를 추적하기 위해) 보고자 한다고 가정하면, 조작자는 이미지 I에서 윈도우(801)를 선택한다. 조작자의 동작에 응답하여, 제어 유닛(120)은 선택된 물체가 정지하고 있다고 판정하고 선택된 윈도우를 포함하는 이미지 I(803)의 조각을 추출한다.

이미지 또는 이미지 조각(803) 내의 윈도우(601)의 위치(예를 들면 x, y 좌표)를 나타내는 정보와 함께 이미지 조각(803)을 포함하는 제어 데이터가 생성된다. 복사된 이미지 조각(803) 내의 윈도우의 좌표는 이미지 I에 대한 윈도우의 좌표로부터 이미지 조각(803)의 경계의 오프셋(OS)을 삭감함으로써 계산될 수 있다.

도 3의 블록(603)으로 되돌아가서, 선택된 물체가 이동 물체인 것으로 판정되면, 감지 유닛에 의해 선택된 물체로 할당된 물체 태그가 식별된다(블록 611). 예를 들면, 감지 데이터는 이미지, 하나 이상의 물체 태그 및 이미지 내의 각각의 태그된 물체 각각의 업데이트된 위치를 포함할 수 있다. 이는 제어 유닛이 이미지 내의 물체의 위치에 기초하여 선택된 물체와 그 대응하는 물체 태그 사이를 연관시킬 수 있게 한다. 다른 예시에서, 물체 태그는 물체 태그가 이미지 내의 자신들의 각각의 물체와 연관될 수 있도록 이미지의 오버레이로서 통합될 수 있다.

선택된 물체의 물체 태그를 포함하는 제어 데이터가 생성된다(블록 613). 예를 들면 조작자가 열화 이미지에서 그가 더 면밀하게 검사하기를 원하는 이동 차량을 선택하는 경우, 선택된 물체의 물체 태그를 포함하는 제어 데이터가 제어 유닛(120)에서 생성된다(예를 들면 추적 모듈(125)에 의해). 생성된 제어 데이터는 감지 유닛으로 전송된다(블록 213).

도 5로 되돌아가면, 제어 유닛(120)에서 생성된 제어 데이터가 감지 유닛(110)에서 수신된다(블록 216). 제어 데이터에 표시된 선택된 엘리먼트는 이용 가능한 이미지에서 식별된다(블록 217). 일 예시에 따르면, 선택된 엘리먼트(들)는 처리를 위해 이용가능한 가장 최근의 고해상도 캡처 이미지에서 식별된다. 식별된 엘리먼트는 캡처된 고해상도 이미지 스트림을 따라 하나의 이미지에서 다음 이미지까지 추적된다. 물체 식별 프로세스에 대한 보다 상세한 설명은 도 7을 참조하여 아래에 설명된다.

선택적으로, 도 2b를 참조하여 앞서 설명된 바와 같이, 검증 프로세스가 실행된다(블록 219). 선택된 엘리먼트들을 포함하는 고해상도 이미지 세그먼트들이 생성되어 제어 유닛으로 전송된다. 검증 과정에서 이미지 세그먼트가 승인되거나, 검증 프로세스가 실행되지 않으면 발행된 명령이 감지 유닛에서 실행되고 감지 유닛으로부터 수신된 관련 감지 데이터가 제어 유닛(227)에 표시된다. 상술한 바와 같이, 감지 데이터는 실행된 명령에 관한 정보를 갖는 고해상도 데이터 세그먼트를 포함할 수 있다. 선택적으로, 감지 데이터는 열화된 전송 속도로 전송될 수 있는 이미징 어셈블리에 의해 캡처된 전체 고해상도 이미지를 포함할 수 있다.

도 7은 본 발명의 일 예시에 따라, 도 2 및 도 5의 블록(217)과 관련된 동작의 보다 상세한 설명을 예시하는 흐름도이다. 도 7을 참조하여 기술된 동작들은(원격) 물체 처리 모듈(151) 또는 물체들을 추적하도록 특정하게 구성된 다른 처리 유닛에 의해 실행될 수 있다.

수신된 제어 데이터에 응답하여, 인입 제어 데이터에 표시된 선택된 엘리먼트가 이동 또는 정지중인지가 판정된다(블록 701). 수신된 제어 데이터는 물체 태그(제어 데이터가 이동 물체에 대해 생성된 경우) 또는 이미지의 일부(제어 데이터가 정지 물체에 대해 생성된 경우) 중 하나를 포함한다. 수신된 제어 데이터의 선택된 엘리먼트가 움직이거나 정지하는지 판정하는 것은 제어 데이터의 내용을 기반으로 할 수 있다. 예를 들면 제어 데이터는 각각의 선택된 물체가 정지 상태인지 또는 이동 중인지를 나타내는 데이터를 포함할 수 있다. 대안적으로, 감지 유닛(110)은 제어 데이터가 물체 태그 또는 이미지의 일부를 포함하는지 여부에 기초하여 각각의 선택된 엘리먼트가 정지 상태인지 또는 동작 중인지 여부를 판정하도록 구성될 수 있다.

수신된 제어 데이터가 이동 물체에 대해 생성된 경우, 감지 유닛은 제어 데이터에 포함된 각각의 물체 태그에 의해 식별된 물체를 최근 이용 가능한 캡처 이미지에서 위치지정 하도록 구성된다(블록 703). 일 실시 예에 따르면, 최근 이용 가능한 캡처된 이미지에서 선택된 물체를 식별하기 위해, 감지 유닛은 가장 최근의 이용 가능한 캡처된 이미지 내에 태그된 물체를 위치지정하기 위해, 수신된 물체 태그를 이용하고, 물체 태그에 대한 데이터 저장소(130)를 검색하고, 각각의 태그된 물체의 업데이트된 위치를 찾고, 및 그의 가장 최근 업데이트된 위치를 사용하도록 구성된다.

정지 물체에 대해 생성된 제어 데이터에 응답하여, 감지 유닛(110)은 선택된 정지 물체를 최근 이용 가능한 캡처된 이미지에 위치시키도록 구성된다. 이미지 또는 그 일부는 수신된 명령의 제어 데이터로부터 추출된다. 이미지의 일부가 수신되는 경우, 제어 데이터는 이미지 또는 그 일부(예를 들면 이미지 또는 그 일부 내의 물체의 좌표)에서 선택된 물체의 위치를 나타내는 데이터를 더 포함할 수 있다.

이미지 조각(또는 경우에 따라 전체 이미지)은 가장 최근에 이용 가능한 캡처된 이미지와 매칭되어(블록 705) 두 이미지의 동일한 영역이 중첩되어 식별되도록 한다. 이는 예를 들면 업계에 공지된 이미지 등록 기술에 의해 달성될 수 있다.

이미지 조각 및 가장 최근에 이용 가능한 이미지가 매칭된 후에, 선택된 물체는 복사된 이미지 조각에 표시된 선택된 물체의 위치와 중첩되는 포인트에서 가장 최근에 이용 가능한 이미지에 위치될 수 있다(블록 707).

도 8a의 예시로 다시 돌아가면, 감지 유닛(110)에서 수신된 제어 데이터에 응답하여, 선택된 물체가 정지 물체로서 식별되었다고 가정하면, 감지 유닛(110)은 이미지 조각(803)을 최근 이용 가능한 캡처 이미지(이미지 II(도 9c) 내에 위치시킨다. 이미지 II는 장면의 다른 영역을 덮을 때 이미지 I과 다르지만, 이미지 조각(803)은 여전히 이미지 II와 오버랩된다. 이미지 조각(803)이 이미지 II에 위치되면, 윈도우(801)의 위치는 이미지 부분(803) 내의 자신의 위치에 기초하여 이미지 II 내에서 발견될 수 있다. 일부 경우에는 제어 데이터를 가지고 수신된 이미지 조각(또는 전체 이미지)이 최근의 이용 가능한 캡처된 이미지와 부분적으로만 중첩되도록 한다는 것에 유의해야 한다.

따라서, 본 명세서에 개시된 감시 시스템 및 방법은, 감지 유닛이 이미지를 획득한 시간과 잠금 명령이 제어 유닛으로부터 수신된 시간 사이의 시간 지연에도 불구하고, 감지 유닛에서 선택된 물체에 대해 제어 유닛에 표시된 이미지에서 선택된 물체를 잠금하고 추적할 수 있게 한다.

일단 선택된 엘리먼트가 식별되면, 프로세스는 상술한 바와 같이 블록(219) 또는 블록(225) 중 어느 하나에 따라 동작 실행을 진행한다.

또한, 본 발명에 따른 시스템은 적절히 프로그램된 컴퓨터일 수 있음을 이해할 것이다. 유사하게, 본 개시된 주제는 본 발명의 방법을 실행하기 위해 컴퓨터에 의해 판독 가능한 컴퓨터 프로그램을 고려한다. 본 개시된 주제는 또한 본 발명의 방법을 실행하기 위해 기계에 의해 실행 가능한 명령 프로그램을 유형적으로 구현하는 기계 판독 가능한 비일시적인 메모리를 더 고려한다.

본 개시된 주제는 본 명세서에 포함되거나 도면에 도시된 설명에 기재된 상세한 설명으로 그 적용에 제한되지 않는다는 것을 이해해야 한다. 본 개시된 주제는 다른 실시 예가 가능하고 다양한 방법으로 실시 및 수행될 수 있다. 따라서, 여기에 사용된 표현 및 용어는 설명의 목적을 위한 것이며 한정으로 간주되어서는 안된다는 것을 이해해야한다. 이와 같이, 본 개시물의 기초가 되는 개념은 본 명세서에 개시된 주제의 여러 목적을 수행하기 위한 다른 구조, 방법 및 시스템을 설계하기 위한 기초로서 용이하게 이용될 수 있음을 당업자는 이해할 것이다.

Claims (41)

1. 감시 시스템에 있어서,
   통신 링크를 통해 데이터 처리 기능을 가진 컴퓨터 장치와 통신하도록 구성된 감지 유닛;
   을 포함하고,
   상기 감지 유닛은 적어도 하나의 프로세서에 동작 가능하게 연결된 고해상도 이미징 어셈블리를 포함하고; 상기 고해상도 이미징 어셈블리는 하나 이상의 엘리먼트를 구비한 연속한 고해상도 이미지들을 캡처하도록 구성되고; 상기 통신 링크의 대역폭은 원하는 전송 속도로 상기 고해상도 이미지들의 전송을 허용하기에 충분히 크지 않고;
   상기 적어도 하나의 프로세서는:
   상기 연속한 고해상도 이미지들에서의 각각의 이미지들로부터 열화 이미지들을 생성하고 연속적으로 감지 데이터를 상기 컴퓨터 장치로 전송;
   하도록 구성되고,
   상기 감지 데이터는 상기 열화 이미지들 및 상기 열화 이미지들에서의 하나 이상의 엘리먼트를 나타내는 데이터를 포함하고; 열화는 상기 통신 링크의 가용한 대역폭에 따라 조정되고;
   상기 적어도 하나의 프로세서는, 적어도 하나의 선택된 엘리먼트를 나타내는, 상기 컴퓨터 장치로부터 수신된 제어 데이터에 응답하여:
   상기 연속한 고해상도 이미지들에서의 최근 캡처된 고해상도 이미지들에서 상기 선택된 엘리먼트의 위치를 식별하고;
   적어도 상기 선택된 엘리먼트를 구비하는 이미지 세그먼트로서, 상기 연속한 고해상도 이미지들 내의 이미지로부터 각각의 고해상도 이미지 세그먼트를 추출하고; 및
   상기 각각의 고해상도 이미지 세그먼트를 연속적으로 상기 컴퓨터 장치로 전송;
   하도록 더 구성되고,
   상기 고해상도 이미지 세그먼트는 상기 통신 링크의 상기 가용한 대역폭에 따라 조정되어, 상기 이미지 세그먼트가 원하는 전송 속도로 통신될 수 있도록 하는 것을 특징으로 하는 감시 시스템.
2. 제1 항에 있어서, 상기 적어도 하나의 프로세서는 상기 하나 이상의 엘리먼트로부터 상기 고해상도 이미지들에서 하나 이상의 관심 물체들을 식별하고, 하나 이상의 각각의 태그된 물체를 산출하기 위해 상기 하나 이상의 관심 물체들에 각각의 물체 태그를 할당하도록 구성되고; 상기 감지 데이터는 상기 물체 태그를 더 포함하는 것을 특징으로 하는 감시 시스템.
3. 제1 항에 있어서, 상기 제어 데이터는 상기 하나 이상의 엘리먼트로부터 하나 이상의 주어진 물체를 추적하도록 지시하는 추적 명령을 더 포함하고; 상기 적어도 하나의 프로세서는 상기 추적 명령에 응답하여, 상기 연속한 고해상도 이미지들 내의 이미지들에서 상기 하나 이상의 주어진 물체들의 현재 위치에 따라 상기 연속한 고해상도 이미지들 내의 이미지들로부터 상기 고해상도 이미지 세그먼트들을 추출하도록 구성되는 것을 특징으로 하는 감시 시스템.
4. 제3 항에 있어서, 상기 적어도 하나의 프로세서는 각각의 고해상도 캡처 이미지의 상기 열화 이미지 및 고해상도 이미지 세그먼트 모두를 상기 컴퓨터 장치에 연속적으로 전송하도록 더 구성되고;
   공통의 고해상도 이미지로부터 생성된 열화 이미지 및 고해상도 이미지 세그먼트가 병합된 이미지로 표시되고, 상기 이미지 세그먼트를 둘러싸고 있는 영역이 열화된 해상도로 표시되는 동안 상기 이미지 세그먼트는 고해상도로 표시되고;
   상기 열화 이미지에 대한 상기 이미지 세그먼트의 위치는 선택된 엘리먼트의 현재 위치에 따라 조정되는 것을 특징으로 하는 감시 시스템.
5. 제2 항에 있어서, 상기 적어도 하나의 선택된 엘리먼트의 위치의 식별은:
   상기 적어도 하나의 선택된 엘리먼트가 이동 물체인지 또는 정지 물체인지를 판정하는 단계;
   상기 적어도 하나의 선택된 엘리먼트가 이동 물체인 경우, 상기 제어 데이터로부터 상기 적어도 하나의 선택된 엘리먼트에 대응하는 물체 태그를 획득하는 단계, 및 상기 적어도 하나의 선택된 엘리먼트를 상기 연속한 고해상도 이미지들에서 식별하는 단계;
   상기 적어도 하나의 선택된 엘리먼트가 정지 물체인 경우, 상기 제어 데이터로부터 이미지 또는 그 일부를 획득하는 단계, 상기 이미지 또는 그 일부를 상기 연속한 고해상도 이미지들 내의 하나 이상의 최근 캡처된 고해상도 이미지들과 매칭시키는 단계, 및 상기 연속한 고해상도 이미지들에서 상기 적어도 하나의 선택된 엘리먼트를 식별하는 단계;
   를 포함하는 것을 특징으로 하는 감시 시스템.
6. 제2 항에 있어서, 상기 컴퓨터 장치를 더 포함하고, 상기 컴퓨터 장치는:
   상기 감지 유닛으로부터 열화 이미지를 수신하고; 디스플레이 장치상에 상기 열화 이미지를 표시하고; 상기 이미지 내의 물체의 선택에 응답하여, 상기 선택된 물체가 이동 물체인지 아니면 정지 물체인지를 판정;
   하도록 구성되고,
   상기 선택된 물체가 이동 물체인 경우, 상기 선택된 물체에 할당된 물체 태그를 식별하고, 상기 물체 태그를 포함하는 제어 데이터를 생성하고;
   상기 선택된 물체가 정지 물체인 경우, 상기 이미지 또는 그 일부를 포함하는 제어 데이터를 생성하고; 및
   상기 감지 유닛에 상기 제어 데이터를 전송하는 것을 특징으로 하는 감시 시스템.
7. 제6 항에 있어서, 상기 컴퓨터 장치는:
   각각의 고해상도 캡처 이미지의 상기 열화 이미지 및 고해상도 이미지 세그먼트 모두를 연속적으로 수신하고;
   공통의 상기 고해상도 이미지로부터 생성된 상기 열화 이미지 및 고해상도 이미지 세그먼트를 병합된 이미지로서 표시하고;
   선택된 엘리먼트의 현재 위치에 따라 상기 열화 이미지에 대해 상기 이미지 세그먼트의 위치를 조정;
   하도록 구성되고,
   상기 이미지 세그먼트를 둘러싸고 있는 영역이 열화된 해상도로 표시되는 동안 상기 이미지 세그먼트는 고해상도로 표시되는 것을 특징으로 하는 감시 시스템.
8. 제2 항에 있어서, 상기 감지 유닛이 상기 적어도 하나의 선택된 엘리먼트로 상기 고해상도 이미지를 획득하는 시간과 대응하는 명령이 상기 적어도 하나의 선택된 엘리먼트에 대해 상기 감지 유닛에서 수신되는 시간 사이의 시간 지연에도 불구하고 상기 적어도 하나의 선택된 엘리먼트에 대한 명령을 실행하도록 구성되는 것을 특징으로 하는 감시 시스템.
9. 제1 항에 있어서, 상기 감지 유닛은 공중운반차량(airborne vehicle) 상에 위치되는 것을 특징으로 하는 감시 시스템.
10. 제1 항에 있어서, 상기 적어도 하나의 프로세서에 동작 가능하게 연결된 디스플레이 장치;
    를 더 포함하고,
    상기 디스플레이 장치는 조작자가 상기 열화 이미지들에 표시된 상이한 엘리먼트들 사이에서 점프할 수 있도록 구성된 스크롤러를 포함하는 것을 특징으로 하는 감시 시스템.
11. 통신 링크를 통해 데이터 처리 기능을 가진 컴퓨터 장치와 통신하도록 구성된 감지 유닛을 사용하여 영역을 감시하는 방법으로서, 상기 감지 유닛은 적어도 하나의 프로세서에 동작 가능하게 연결된 고해상도 이미징 어셈블리를 포함하는, 상기 방법은:
    하나 이상의 엘리먼트를 구비한 연속한 고해상도 이미지를 캡처하는 단계로서, 상기 통신 링크의 대역폭은 원하는 전송 속도로 상기 고해상도 이미지들의 전송을 허용하기에 충분히 크지 않은 상기 캡처하는 단계;
    상기 적어도 하나의 프로세서의 의해, 적어도 다음의,
    상기 연속한 고해상도 이미지들에서의 각각의 이미지들로부터 열화 이미지들을 생성하는 단계 및 연속적으로 감지 데이터를 상기 컴퓨터 장치로 전송하는 단계로서, 상기 감지 데이터는 상기 열화 이미지들 및 상기 열화 이미지들에서의 하나 이상의 엘리먼트를 나타내는 데이터를 구비하고, 열화는 상기 통신 링크의 가용한 대역폭에 따라 조정되는 상기 단계;
    를 수행하는 단계;
    적어도 하나의 선택된 엘리먼트를 나타내는, 상기 컴퓨터 장치로부터 수신된 제어 데이터에 응답하여,
    상기 연속한 고해상도 이미지들의 최근 캡처된 고해상도 이미지들에서 상기 선택된 엘리먼트의 위치를 식별하는 단계;
    적어도 상기 선택된 엘리먼트를 포함하는 이미지 세그먼트로서, 상기 연속한 고해상도 이미지들에서의 이미지들로부터 각각의 고해상도 이미지 세그먼트들을 추출하는 단계; 및
    상기 각각의 고해상도 이미지 세그먼트를 연속적으로 상기 컴퓨터 장치로 전송하는 단계;
    를 포함하고,
    상기 고해상도 이미지 세그먼트는 상기 통신 링크의 상기 가용한 대역폭에 따라 조정되어, 상기 이미지 세그먼트가 상기 원하는 전송 속도로 통신될 수 있도록 하는 것을 특징으로 하는 영역을 감시하는 방법.
12. 제11 항에 있어서,
    상기 고해상도 이미지에서 하나 이상의 관심 물체를 상기 하나 이상의 엘리먼트로부터 식별하는 단계;
    하나 이상의 각각의 태그된 물체를 산출하기 위해 각각의 물체 태그를 상기 하나 이상의 관심 물체에 할당하는 단계;
    를 더 포함하고,
    상기 감지 데이터는 상기 물체 태그를 더 포함하는 것을 특징으로 하는 영역을 감시하는 방법.
13. 제11 항에 있어서, 상기 제어 데이터는 커맨드 명령을 더 포함하고,
    상기 고해상도 이미지 세그먼트가 상기 컴퓨터 장치에서 검증되는 경우에만 상기 커맨드 명령을 실행하는 단계를 더 포함하는 것을 특징으로 하는 영역을 감시하는 방법.
14. 제11 항에 있어서, 열화된 프레임 속도로 상기 연속한 고해상도 이미지를 연속적으로 상기 컴퓨터 장치로 전송하는 단계를 더 포함하는 것을 특징으로 하는 영역을 감시하는 방법.
15. 제11 항에 있어서, 상기 제어 데이터는 상기 하나 이상의 엘리먼트로부터 하나 이상의 주어진 물체를 추적하도록 명령하는 추적 명령을 더 포함하고,
    상기 방법은 상기 연속한 고해상도 이미지에서의 이미지 내의 상기 하나 이상의 주어진 물체의 현재 위치에 따라 상기 연속한 고해상도 이미지 내의 이미지로부터 상기 고해상도 이미지 세그먼트를 추출하는 단계를 더 포함하는 것을 특징으로 하는 영역을 감시하는 방법.
16. 제15 항에 있어서,
    각각의 고해상도 캡처 이미지의 상기 열화 이미지 및 고해상도 이미지 세그먼트 모두를 상기 컴퓨터 장치로 연속적으로 전송하는 단계;
    공통의 고해상도 이미지로부터 생성된 열화 이미지 및 고해상도 이미지 세그먼트를 병합된 이미지로서 표시하는 단계로서, 상기 이미지 세그먼트를 둘러싸고 있는 영역이 열화된 해상도로 표시되는 동안 상기 이미지 세그먼트는 고해상도로 표시되는 상기 단계; 및
    선택된 엘리먼트의 현재 위치에 따라 상기 열화 이미지에 대한 상기 이미지 세그먼트의 위치를 조정하는 단계;
    를 더 포함하는 것을 특징으로 하는 영역을 감시하는 방법.
17. 제15 항에 있어서,
    각각의 고해상도 캡처 이미지의 상기 열화 이미지 및 고해상도 이미지 세그먼트 모두를 상기 컴퓨터 장치로 연속적으로 전송하는 단계; 및
    동일한 고해상도 이미지로부터 생성된 열화 이미지 및 고해상도 이미지 세그먼트 각각을 상이한 디스플레이 장치상에 개별적으로 표시하는 단계;
    를 더 포함하는 것을 특징으로 하는 영역을 감시하는 방법.
18. 제11 항에 있어서, 상기 하나 이상의 엘리먼트로부터 상기 연속한 고해상도 이미지 내의 이미지에서 하나 이상의 이동 물체를 식별하는 단계를 더 포함하는 것을 특징으로 하는 영역을 감시하는 방법.
19. 제12 항에 있어서, 상기 적어도 하나의 선택된 엘리먼트의 위치의 식별은:
    상기 적어도 하나의 선택된 엘리먼트가 이동 물체인지 또는 정지 물체인지를 판정하는 단계;
    상기 적어도 하나의 선택된 엘리먼트가 이동 물체인 경우, 상기 제어 데이터로부터 상기 적어도 하나의 선택된 물체에 대응하는 물체 태그를 획득하고, 상기 적어도 하나의 선택된 엘리먼트를 상기 연속한 고해상도 이미지들에서 식별하는 단계; 및
    상기 적어도 하나의 선택된 엘리먼트가 정지 물체인 경우, 상기 제어 데이터로부터 이미지 또는 그 일부를 획득하고, 상기 이미지 또는 그 일부를 상기 연속한 고해상도 이미지들에서의 하나 이상의 최근 캡처된 고해상도 이미지들과 매칭시키고, 상기 연속한 고해상도 이미지에서 상기 적어도 하나의 선택된 엘리먼트를 식별하는 단계;
    를 포함하는 것을 특징으로 하는 영역을 감시하는 방법.
20. 제12 항에 있어서,
    상기 감지 유닛으로부터 열화 이미지를 수신하는 단계; 디스플레이 장치상에 상기 열화 이미지를 디스플레이하는 단계; 상기 이미지 내의 물체의 선택에 응답하여, 상기 선택된 물체가 이동 물체인지 정지 물체인지를 판정하는 단계;
    상기 선택된 물체가 이동 물체인 경우, 상기 선택된 물체에 할당된 물체 태그를 식별하고, 상기 물체 태그를 포함하는 제어 데이터를 생성하는 단계;
    상기 선택된 물체가 정지 물체인 경우, 상기 이미지 또는 그 일부를 포함하는 제어 데이터를 생성하는 단계; 및 상기 감지 유닛에 상기 제어 데이터를 전송하는 단계;
    를 더 포함하는 것을 특징으로 하는 영역을 감시하는 방법.
21. 제20 항에 있어서,
    각각의 고해상도 캡처 이미지의 상기 열화 이미지 및 고해상도 이미지 세그먼트 모두를 연속적으로 수신하는 단계;
    공통의 상기 고해상도 이미지로부터 생성된 상기 열화 이미지 및 고해상도 이미지 세그먼트를 병합된 이미지로서 표시하는 단계로서, 상기 이미지 세그먼트를 둘러싸고 있는 영역이 열화된 해상도로 표시되는 동안 상기 이미지 세그먼트는 고 해상도로 표시되는 상기 단계; 및
    선택된 엘리먼트의 현재 위치에 따라 상기 열화 이미지에 대한 상기 이미지 세그먼트의 위치를 조정하는 단계;
    를 더 포함하는 것을 특징으로 하는 영역을 감시하는 방법.
22. 제19 항에 있어서, 상기 감지 유닛이 상기 적어도 하나의 선택된 엘리먼트로 상기 이미지를 획득하는 시간과 대응하는 명령이 상기 적어도 하나의 선택된 엘리먼트에 대해 상기 감지 유닛에서 수신된 시간 사이의 시간 지연에도 불구하고, 상기 적어도 하나의 선택된 엘리먼트에 대한 명령을 실행하는 단계를 더 포함하는 것을 특징으로 하는 영역을 감시하는 방법.
23. 영역을 감시하는 방법을 수행하기 위해 컴퓨터에 의해 실행 가능한 명령들의 프로그램을 유형적으로 구현하는, 상기 컴퓨터에 의해 판독 가능한 비일시적 프로그램 저장 장치로서, 상기 방법은:
    고해상도 이미지 어셈블리에 의해 캡처되고 하나 이상의 엘리먼트를 구비한 연속한 고해상도 이미지를 획득하는 단계;
    상기 연속한 고해상도 이미지들에서 각각의 이미지들로부터 열화 이미지들을 생성하는 단계; 감지 데이터를 통신 링크를 통해 원격 컴퓨터로 연속적으로 전송하는 단계로서, 상기 감지 데이터는 상기 열화 이미지들 및 상기 열화 이미지들에서의 하나 이상의 관심 엘리먼트를 나타내는 데이터를 포함하고, 열화는 상기 통신 링크의 가용한 대역폭에 따라 조정되는 상기 단계;
    적어도 하나의 선택된 엘리먼트를 나타내는 상기 원격 컴퓨터로부터 수신된 제어 데이터에 응답하여,
    상기 연속한 고해상도 이미지들에서의 최근 캡처된 고해상도 이미지들에서 상기 선택된 엘리먼트의 위치를 식별하는 단계;
    적어도 상기 선택된 엘리먼트를 구비하는 이미지 세그먼트로서, 상기 연속한 고해상도 이미지들에서의 이미지들로부터 각각의 고해상도 이미지 세그먼트들을 추출하는 단계; 및
    상기 각각의 고해상도 이미지 세그먼트를 상기 원격 컴퓨터로 연속적으로 전송하는 단계로서, 상기 고해상도 이미지 세그먼트는 상기 통신 링크의 상기 가용한 대역폭에 따라 조정되어, 상기 이미지 세그먼트가 원하는 전송 속도로 통신될 수 있도록 하는 단계;
    를 포함하는 것을 특징으로 하는 컴퓨터에 의해 판독 가능한 비일시적 프로그램 저장 장치.
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제
41. 삭제

Images