KR20080068569A

KR20080068569A - 물체 검출 방법 및 장치

Info

Publication number: KR20080068569A
Application number: KR1020080005240A
Authority: KR
Inventors: 스티븐 알렌 슈와츠; 케네스 제이 월렌스타인; 데이비드 에스 리
Original assignee: 노스랍 그루만 코포레이션
Priority date: 2007-01-18
Filing date: 2008-01-17
Publication date: 2008-07-23
Also published as: US7916933B2; US20080175434A1; AU2008200193A1; JP2008292449A

Abstract

수중의 물체를 검출하는 방법은 관심 영역의 복수의 이미지를 포착하는 단계와, 이미지로부터 화적소 데이터를 추출하는 단계와, 관심 영역의 관심 항목을 검출하기 위해 화적소 데이터를 처리하는 단계를 포함한다. 이 방법을 수행하는 장치가 또한 포함된다.

화적소 데이터, 관심 영역, 복수의 이미지, 레이다 송신기, 수퍼프레임, 복수의 센서, 프로세서

Description

물체 검출 방법 및 장치{AUTOMATIC TARGET RECOGNITION SYSTEM FOR DETECTION AND CLASSIFICATION OF OBJECTS IN WATER}

정부 이익의 진술

본 발명은 계약 번호 N61331-00-C-0022호 하에 이루어졌다. 미국 정부는 이 계약 하에서 본 발명에 대한 권리를 갖는다.

본 발명은 수중 물체 검출 및 분류 방법 및 장치에 관한 것이다.

다양한 시스템이 수중 광산을 위치 확인하고 식별하기 위해 제안되어 왔다. 광산을 검출하기 위한 일 시스템은 미국 해군에 의해 개발되어 제조된 노스롭 그루만 공중 레이저 광산 검출 시스템(Northrop Grumman Airborne Laser Mine Detection System)(ALMDS)이다. ALMDS 시스템은 이미지의 세트의 형태로 정보를 포착(capture)하는 레이저 검출 및 거리 측정(ranging) 시스템(LADAR)이다. 각각의 이미지는 관심 물의 체적을 통해 거의 수직의 슬라이스를 표현한다.

ALMDS 시스템은 펄스형 팬 빔 레이저 송신기, 4개의 스트리크관(streak tube) 수신기 및 데이터 처리 유닛을 포함한다. 각각의 수신기는 스트리크관 이미져(imager), 강화기(intensifier) 및 이미지를 포착하기 위한 카메라와, 물의 체적 이 광산을 포함하는지를 판정하기 위한 데이터 처리 장비로 구성된다. 각각의 수신기는 전송된 팬빔(fan beam)의 대략 4/1로부터 반사광을 기록한다. 이 하드웨어 모두는 일반적으로 헬리콥터에 부착된 포드(pod)에 포함된다.

본 발명은 물의 체적의 레이더 이미지 내의 물체를 검출하기 위한 향상된 데이터 처리 알고리즘을 제공하는 것을 목적으로 한다.

본 발명은 일반적으로 해수(seawater)인 부분적으로 투명한 물질 내의 사용자 선택된 크기의 물체를 검출하는 방법을 제공한다. 이 방법은 관심 체적의 복수의 이미지를 포착하는 단계와, 이미지로부터 화적소(voxel)를 추출하는 단계와, 체적 내에 있는 또는 체적 내의 물질의 표면 상에 부유하는 물체를 검출하기 위해 화적소 데이터를 처리하는 단계를 포함한다. 체적 내의 물질이 해수일 때, 이들 검출된 물체는 "콘택트(contact)"로서 미국 해군에 공지되어 있다. 본 발명은 또한 광산형 물체 또는 비광산형 물체로서 "콘택트"를 분류한다.

본 발명에 따르면, 물의 체적의 레이더 이미지 내의 물체를 검출하기 위한 향상된 데이터 처리 알고리즘이 제공된다.

도면을 참조하면, 도 1은 본 발명의 실시예에 따라 구성되고 동작될 수 있는 장치(10)의 개략도이다. 이 장치는 항공기(14) 상에 장착된 레이저 레이더[레이다(ladar)] 시스템(12)을 포함한다. 레이다 시스템 내의 레이저는 관심 영역(16)을 향해 지향되는 공간적 팬빔 내의 일시적 펄스의 형태의 신호를 방출한다. 특정 예에서, 관심 영역은 수체(body of water)를 포함할 수 있다.

도 2는 본 발명의 방법의 일 실시예를 실시하는데 사용될 수 있는 장치의 블록도이다. 시스템은 레이저(18)와, 항공기 상에 장착되는 하나 이상의 카메라(20)의 형태의 단일 또는 다중 센서를 포함한다. 레이저는 광의 전송된 펄스로 관심 영역을 조사한다. 전송된 신호는 화적소의 형태로 관심 영역의 이미지를 생성하는 카메라에 의해 수신되는 반환 신호를 생성하도록 관심 영역 내의 물체에 의해 반사된다. 화적소 데이터는 관심 영역 내의 물체를 검출하고 분류하기 위해 포드-장착 신호 처리 디바이스(22)(또한 데이터 프로세서라 칭함)에서 처리된다. 반사체는 카메라(20)에 의해 수신되고 원시 데이터 기록기(RDR)(24)에 의해 기록된다. 카메라에 의해 관찰된 반사체에 대응하는 화적소 값은 데이터 프로세서 내에서 전처리되고(26), 이미지 처리되고(28), 검출되고(30), 분류된다(32). 검출된 광산형 물체는 데이터베이스(34) 및/또는 다른 출력 디바이스(36)로 송신된다. 본 발명은 데이터 프로세서 내에 포함된 알고리즘을 사용하여 구현될 수 있다.

본 명세서에 사용될 때, "원시 데이터"는 카메라 전자 기기(20)를 떠나는 데이터이다. 원시 데이터는 관심 영역의 체적에 관한 정보를 표현한다. 원시 데이터는 이하와 같이 수집된다. ALMDS 예에서, 광선 레이더(lidar)는 광선 레이더 플랫폼의 이동 방향에 수직인 60°팬빔의 형상의 펄스를 전송한다. 센서는 "푸쉬브룸(pushbroom)" 센서라 공지되어 있다. 물의 체적은 동시에 하나의 "슬라이스"로 이미징된다. 물 체적을 표현하는 데이터는 슬라이스의 순서화된 세트이다. 이들 슬라이스는 또한 "프레임"이라 칭한다. 작은 중첩을 제외하고는, 각각의 카메라는 전송된 팬빔으로부터 반사체의 특정 각도 섹터로부터 반사체를 기록한다. 일반적으로, 팬빔은 약 197.5 m(648 ft) 직경이고, 각각의 카메라는 팬빔의 약 15°또는 약 49.38 m(162 ft)로부터 기인하는 반사체를 기록한다. 데이터 프로세서에서, 이들 프레임은 수퍼프레임(superframe)이라 공지된 8개의 그룹으로 이후에 합산될 수 있다(도 4 참조).

ALMDS에 의해 생성된 원천 데이터(native data)는 열(column)이 원추각에 대응하고, 행(row)이 경사 거리(비행 시간에 대응함)에 대응하고, 프레임이 트랙을 따른 뷰(along-track view)에 대응하는 원통 좌표계에서 또는 각각 각도(θ), 반경(r) 및 축(z)인 원통 좌표계의 표현으로 수집된다.

전송된 펄스는 전송 신호라 칭하고, 수신된 펄스는 수신 신호이다. 단일의 전송된 펄스는, 물의 체적 요소 자체가 각각 전송된 펄스의 작지만 검출 가능한 부분을 레이다로 재반사할 수 있고 이들이 시간 증분으로 분석될 수 있기 때문에 다수의 수신된 펄스를 발생시킨다. 종종, 물의 표면으로부터 밝은 플래쉬(flash)가 이 "체적" 반환체, 뿐만 아니라 수중의 물체로부터의 반사체에 첨가된다. 전송 신호는 광학체, 공기, 관심 영역 내의 물 상부의 아지랑이, 수면 및 물을 포함하는 채널을 통과하고, 이어서 타겟(하나 존재하는 경우)으로부터 반사된다.

본 명세서에 사용될 때, "콘택트"는 물, 해저 또는 파도가 아닌 임의의 물체의 검출을 의미한다. 콘택트는 예를 들면, 물고기, 광산 또는 부유물일 수 있다. "분류"는 콘택트가 광산형 물체(MLO) 또는 비광산형 물체(NMLO)이라는 선언이다. 이 용어는 본 발명의 주 동기가 광산을 발견하는 것이기 때문에 이용된다. 그러 나, 커널의 형상을 변경함으로써(도 6 및 도 7), 본 발명은 다른 형상을 갖는 물체, 즉 물고기형 물체를 발견하는데 이용될 수 있다. "식별"은 형상을 더 상세히 결정하기 위해 현존하는 알고리즘의 변형을 사용하는 것이 가능한 광산의 유형의 결정을 의미한다.

검출이 이루어지면, 검출체를 포함하는 화적소의 원시 데이터 큐브는 그 지정학적 위치와 같은 부가의 정보 및 물 감쇠 상수와 함께 데이터베이스(34) 내에 데이터 큐브와 함께 저장된다. 원시 데이터 기록기(RDR)(24)라 칭하는 다른 데이터베이스는 하나 이상의 카메라로부터 동시에 스트리밍 원시 이미지를 기록하는 것이 가능하다.

수중 침투 레이저 레이더(레이다)에서, 매립된 광산에 대해 MLO 또는 NMLO인 것으로서 데이터 큐브의 분류를 복잡하게 하는 두 개의 관점이 있다. 제 1 관점은 물(및 다른 팩터)에 의해 발생되는 흡수 및 산란이고, 제 2 관점은 타겟으로부터의 저레벨의 반사광이다. 감쇠는 블러링(blurring)과 조합하여 광산으로부터의 수신된 반사체가 육안으로 이미지 데이터에서 식별 가능하지 않지만 이 알고리즘에 의해 검출될 수 있도록 매우 극단적일 수 있다. 부가의 향상이 블러링 및 검출기의 통계적인 특성이 공지될 때 통계적인 추정에 의해 얻어질 수 있다.

도 3에 도시되어 있는 바와 같이, 일 실시예에서 본 발명의 방법은 4개의 단계, 즉 전처리 단계(40), 이미지 처리 단계(422), 검출 단계(44) 및 분류 단계(46)를 포함한다. 전처리 단계는 데이터 흐름을 감소시키고 수신기 아티팩트를 제거하는데 사용된다. 이미지 처리 단계는 관심 영역을 결정하고, 검출기의 성능을 열화 시키는 데이터 내의 바이어스를 제거한다. 검출 단계는 콘택트를 검출하기 위해 수정된 가능성 비율 표현을 사용한다. 분류 단계는 광산형 물체(MLO) 또는 비광산형 물체(NMLO)를 식별하는데 이용되는 텍스처 및 크기와 같은 특징을 연산한다.

본 명세서에서 자동 타겟 인식(ATR)은 경고/확인 순차적인 검출기인 것으로 고려될 수 있다. 검출기는 상당한 체적에 대한 판단, 즉 콘택트인지 여부를 판정을 수행한다. 검출 후에, 제 2 단계는 콘택트를 광산형 물체(MLO) 또는 비광산형 물체(NMLO)로서 분류한다. 신호 처리는 공중 레이저 광산 검출 시스템(ALMDS) 포드의 데이터 처리 유닛 내의 소프트웨어를 사용하여 수행될 수 있다.

각각의 카메라로부터의 데이터는 일반적으로 매트릭스 뷰 내에 화소값의 매트릭스로서 표시되어, 데이터가 데카르트 좌표계로 표현되는 잘못된 인상을 제공한다. 예를 들면, ALMDS가 지형적 수집에 사용되면, 데이터는 원통 좌표계로 수집된다. 이는 또한 관심 영역이 단지 해수면일 때 해당한다. 열은 원추각에 직접 대응하고, 행은 원점(센서)으로부터의 반경방향 거리에 대응하고, 프레임(트랙을 따른 운동)은 z-축(항공기 비행 방향)을 따른 이동에 대응한다. 이는 또한, 공기-물 계면에서 굴곡되는 스넬(Snell) 광선이 고려되어야 하고 광자에 대한 비행 시간이 수중의 광속을 고려하도록 해석되어야 하는 것을 제외하고는 수중 데이터에 대해서도 해당된다. 따라서, 각도/반경 화소의 매트릭스가 종종 행렬의 데카르트 배열로 제시되지만, 이는 실제로는 전혀 데카르트 좌표가 아니고, 스넬의 굴곡 법칙에 기인하여 정확하게는 정확한 원통 좌표계도 아니다. 이 방식(데카르트 프레임의 매트릭스로서)으로 데이터를 제시하는 것은 레이다에 의해 포착된 이미지를 왜곡시킨 다. 특히, 모두가 평균적으로 국부적으로 편평하다고 알고 있는 해수면은 ALMDS 데이터에서는 평균적으로 만곡된 것으로 나타난다. 센서가 조정되지 않으면, 수학적으로는 표면 곡선은 롤 각도(roll angle)(또는 열)와 시컨트 관계를 따른다. 그 원천 좌표계로부터 데카르트 좌표계로 데이터를 변경하는 것은 정사-보정(ortho-rectification)이라 한다. 이는 왜곡이 물체에 대해 광산의 크기가 작고 정사-보정이 계산적으로 고비용이기 때문에 수중 데이터에서는 이루어지지 않는다. 이 종류의 프로세스가 요구되면, 타겟 템플레이트는 모든 데이터를 처리하기보다는 데이터의 왜곡에 정합하도록 수정될 수 있다.

전처리 단계는 두 개의 기능, 즉 (1) 수신기 아티팩트를 제거하고, (2) 데이터 흐름을 감소시키는 기능을 갖는다. 예를 들면, 데이터보다는 단지 수신기 아티팩트만을 포함하는 수직 열이 카메라 이미지 내에 존재하면, 이 열은 그 좌측 및 우측으로의 데이터의 평균에 의해 대체될 수 있다. 레이다 데이터는 단일 수퍼프레임으로 8개의 연속적인 프레임의 각각의 그룹을 평균화함으로써 바이닝(binning)된다. 따라서, 수퍼프레임 내의 각각의 화소는 "원시" 프레임 내에 동일한 행/열 지수를 갖는 8개의 화소의 평균이다. 각각의 수퍼프레임은 이미지 처리를 위해 그리고 이어서 검출기에 송신되는 2차원 물체이다. 바이닝은 두 개의 스트라이드에 의해 수행된다. 달리 말하면, 각각의 수퍼프레임은 이전의 그리고 다음의 수퍼프레임과 그 구조에서 6개의 프레임을 공유한다.

광선 레이더 시스템이 비행할 때, 프레임은 초당 소정의 수의 프레임의 비율로 수집된다. 도 4의 예는 각각의 수퍼프레임이 시간상으로 순차적으로 수집되어 있는 8개의 원시 프레임의 평균인 것을 도시하고 있다. 이는 각각의 화소의 이동 평균을 구성하는 것과 유사하다. 수학적으로, 바이닝의 효과는 비코히어런트 적분(non-coherent integration)과 유사하고, 트랙을 따른 차원에서 펄스 정합된 필터와의 콘볼루션과 유사하다.

ALMDS 카메라 프레임 데이터는 0 내지 511로 번호를 붙인 512개의 열로 배열된다. ALMDS 수신기는 4분면 경계에서 아티팩트를 갖고, 이전의 프레임의 열 511은 현재의 프레임의 열 0에 복제된다. 4분면 경계는 열 128, 256 및 384에 위치된다. 4분면 경계는 누락 데이터가 있는 열이다. 전처리 없이 이들은 검출기의 성능에 영향을 줄 수 있다. 4분면 경계 열(128, 256, 384) 내의 데이터는 임의의 측에서 열 내의 데이터의 평균에 의해 대체된다. 열 511(극우측 열)의 열 0(극좌측 열) 내로의 복제는 열 511을 열 0 내로 복제함으로써 접근된다. 상이한 아티팩트 또는 상이한 데이터 전송율을 갖는 상이한 LIDAR가 사용되거나 또는 데이터 프로세서가 상이한 계산 용량(FLOPS에서)을 가지면, 이 절차에 대한 적절한 변경이 이루어져야 한다.

이미지 처리 단계는 해수면이 편평하게 나타나게 하는 점에서 정사-보정과 유사한 단계를 포함한다. 이 단계는 프레임의 "비왜곡(unwarping)"이라 공지되어 있다. 비왜곡하기 위해, 이미지의 각각의 열에 대응하는 원추각을 인지할 필요가 있다. 따라서, 원추각은 육지에 대한 플랫폼(예를 들면, 헬리콥터)의 방위, 플랫폼에 대한 센서의 방위, 뿐만 아니라 이미지 내의 각각의 열이 대응하는 센서 내의 시야각에 의존한다. 이하의 규칙,

(1)

으로부터 각각의 열의 대략의 원추각을 얻을 수 있고, 여기서, θ_platpitch는 플랫폼 피치이고, φ_roll은 플랫폼 롤의 합이고, 특정 열에 대응하는 롤 각도는

(2)

에 의해 제공된다.

센서 좌표계(항공기의 좌표계에 대비되는 바와 같이)에서, 특정 열(j)에 대응하는 롤 각도는

(3)

이고, 여기서, N_camID는 도 8에 도시되어 있는 관례에 따른 카메라 신원(ID)이다.

해수면의 행 변위(displacement)[천저(nadir)에서의 그 행 지수에 대한]는,

(4)

에 의해 제공되고, 여기서, h는 고도이다.

소프트웨어는, 일 실시예에서 카메라가 20.48개의 중첩 열을 갖고, 이들의 시야의 에지가 14.1, 0.3, -0.3 및 -14.1도의 롤 오프셋에 위치되어 있다는 사실을 고려한다.

Δi(j)를 직접 사용하는 문제점은 이것이 천저로부터 해수면의 행의 절대 변 위이고, 따라서 이 j의 함수는 천저로부터 특정 카메라에서의 표면의 최고 행으로의 해수면의 행의 변위에 동일한 일정한 바이어스를 갖는다는 것이다.

선외 카메라(outboard camera)는 일반적으로 천저 열을 포함하지 않는다. 따라서, 선외 카메라는 인접한 선내 카메라(inboard camera)를 가로질러 해수면의 행의 전체 범위에 동일한 행 내의 큰 일정한 바이어스를 가질 수 있다. 이미지를 비왜곡하기 위해, 해수면의 최고 행이 발견되어 있는 열이 제로 행에 의해 변위되고, 해수면이 더 낮은 임의의 다른 열은 해수면의 최고 행에 정합하도록 "끌어당겨진다". 최고 행은 LIDAR에 가장 근접한 광선 레이더를 표현하는 것이거나 또는 그래픽 뷰어에서 볼 때의 사용자의 관점이다. 매트릭스 지수에 대한 표준 수학적 관례가 이용되기 때문에, (0,0)이 좌상측에 위치되는데, 즉 더 낮은 열 지수는 LIDAR에 더 근접한 반사체를 포함한다.

특정 카메라에 대한 해수면의 절대 변위의 범위는 소프트웨어에서의 철저한 탐색에 의해 발견된다. 수학적으로는, 이는

(5)

이고, 여기서,

(6)

(7)

이다.

각각의 열의 행 지수로부터 감산된 실제 변위는,

(8)

에 의해 제공된다.

따라서, 해수면이 최고인 열(j_min)은 전혀 이동되지 않는다. 모든 다른 화소값은 이하의 규칙,

(9)

에 따라 이동되고[여기서 λ_ij는 행(i), 열(j)에서의 이미지의 그레이 레벨임], 이 식은 i의 값이 증가함에 따라 반복되어야 한다(데이터를 덮어쓰지 않기 위해). 이는 열이 이미지 내에서 상향으로 끌어당겨져서 나타나게 하고, 해수면이 "평탄화"되어 나타날 수 있게 한다.

공중 데이터 프로세서가 제한된 메모리 하드웨어를 가질 때 모든 화소가 이동될 수 있는 것은 아니다. 프레임의 저부는 비왜곡 동작 후에 "절결된다". 이 시점으로부터 전방으로, 데이터 프로세서는 훨씬 더 작은 프레임 상에서 동작한다.

프레임이 비왜곡되어 있기 때문에, 해수면을 포함하는 행은 비왜곡 프레임의 수직 실루엣(투영)에서 최대값의 행으로서 용이하게 발견된다.

(10)

그 지수가 10 내지 501의 지수 범위 내의 열에 있는 양호하게 거동하는 열(WBC)을 먼저 발견함으로써 평형화가 수행된다. 이미지 에지에 인접한 열은 아 티팩트 또는 잡음 데이터를 가질 수 있다. 양호하게 거동하는 열은 4000보다 크거나 소정의 미리 결정된 최소값 미만의 값을 전혀 갖지 않는 것이다. 제 1 제한은 열이 비포화되는 것을 보장하고, 제 2 제한은 실재적인 표면 반사를 갖는 적어도 하나의 화소를 갖는 것을 보장한다. 따라서, 양호하게 거동하는 열이 포화를 갖지 않는 양호한 동적 범위를 갖는다. 이들의 양호한 특성에 기인하여, 양호하게 거동하는 열은 또한 k_lidar(후술됨)를 연산하는데 이용된다.

평형화를 위한 모델은 각각의 열이 일정한 승산기를 제외하고는 동일한 감쇠 곡선을 따르는 것이다. 감쇠 곡선은 지수 함수일 필요는 없다. 실제로, 정확하게는 이 이유로 지수 함수 곡선보다는 WBC가 이용된다. 즉, 임의의 화소(표면의 하부)의 값에 대한 모델은,

(11)

이고, 여기서 f(i)는 WBC의 감쇠 곡선이고, A_j는 해수면에서의 곡선의 값이고, A_j=

이다. j'를 WBC의 지수라 하자. 감쇠 곡선은,

(12)

로서 형성된다.

따라서, 감쇠 곡선은 개체의 최대값(표면에서의)을 갖고 지수(i)가 증가함에 따라 제로를 향해 감소하는 수의 세트이다.

이 모델은 WBC를 평형화하기 위해 완벽하다. 이 모델이 모든 열에 대해 완벽하면,

(13)

가 타겟을 포함하는 화소를 제외하고는 항상 개체일 수 있다. 이는 WBC가 타겟을 포함하지 않는 것을 가정한다. 이는 물론 실생활에서는 해당하지 않지만, 충분히 근접한다. 수중의 임의의 장애 또는 수신기 아티팩트는 평형화의 문제점을 초래한다. 따라서, 스트리크관 얼룩(blob) 또는 MLO 화소가 적절하게 평형화되지 않을 수 있다. 전체적으로, 이는 검출기를 보조한다.

검출의 전체 시스템 확률의 약간의 손실은, 타겟이 때때로 WBC 내에 위치하는 사실에 기인하여 발생한다. 이 문제점은 타겟이 명백한 것을 확실하게 하도록 WBC를 테스트함으로써 극복될 수 있다. 이를 수행하기 위한 다수의 방식이 존재한다. 타겟이 WBC 내에 있는 것으로 판정되면, 다른 열이 WBC로 선택되어야 한다.

상기 시스템은

으로 수정될 수 있고, 여기서 표면 하부의 행에서 합산이 수행된다. 해수면 하부의 행에서의 그레이 레벨의 평균을 사용하는 것이 단일 그레이 레벨을 사용하는 것보다 더 안정적일 수 있다.

검출기는 데이터의 영역 내의 통계치(즉, MLO의 크기에 대한)를 연산하고, 이어서 이 통계치를 임계치와 비교함으로써 동작한다. 통계치가 임계치보다 크면, 타겟은 데이터의 그 영역에 존재하는 것으로 선언된다. 그렇지 않으면, 타겟이 선 언되지 않는다. 이 절차는 타겟에 대한 탐색의 데이터의 모든 영역에 철저하게 적용된다. 타겟이 선언될 때에도, 이는 여전히 MLO 또는 NMLO로 분류되어야 한다.

본 발명은 스트리크관/CCD 카메라에 대한 데이터 모델이 포아송(Poisson)으로서 적당하게 모델링되는 것으로 가정한다. 이 경우에, 불균일 강도의 타겟은 그 충분한 통계치로서 가중합,

(14)

을 갖는다. 상이한 데이터 모델이 데이터에 더 양호하게 적용되면, 상기 표현은 충분한 계산 용량이 존재하면 대체될 수 있다.

연산을 가속화하기 위해, 타겟은 균일한 강도를 갖는 것과 같이 검출기를 설계한다. 상기 표현은 이어서,

(15)

로 감소된다.

이 합산은 개체 진폭의 구형파를 갖는 콘볼루션과 수학적으로 동일하다. 달리 말하면, '1 및 가산에 의한 곱셈'은 '가산'에 동일하다. 충분한 통계치는 단지 화소값의 합이다. 성능은 충분한 통계치 및 포아송 확률 모델로부터 분석적으로 유도될 수 있다. 도 5는 (2차원) 검출기의 1차원 예이다.

균일한 강도의 가정이 검출기가 상관 수신기인 것을 의미한다. 수신기는 저장된 직사각형 템플레이트로의 입력 데이터의 정규화 버전을 비교한다. 이는 저장 된 템플레이트 내의 대응 화소와 데이터의 영역 내의 점단위 승산을 합산함으로써 성취된다.

이어서, 정규화 합은 임계치에 비교된다. 임계치는 순차적인 검출의 "경고"부의 오경보율(FAR)을 결정한다. 임계치는 오경보율이 시스템 요건 미만으로 검출 성능을 감소시키지 않고 가능한 한 낮도록 설정된다.

ALMDS 검출기를 위한 저장된 템플레이트는 일 수퍼프레임 내의 행렬 차원에서의 수의 직사각형 영역이다. 다차원 공간에서 벡터로 템플레이트를 고려할 수 있다.

'1' 및 '0'을 사용하여 템플레이트의 과잉 단순화된 도면이 도 6에 도시되어 있다. 도 6은 광산의 간단한 N×N 템플레이트이다. 음영 표시된 화소는 타겟('1')에 대응하고, 투명한 화소는 배경('0')에 대응한다. 각각의 박스는 하나의 화소를 표현한다.

도 7은 연산 시스템에 대한 더 실재적인 예시적인 템플레이트를 도시하고 있다. 도 7은 직사각형 필터의 교차-트랙(cross-track) 대 사거리(down-range)(행)를 도시하고 있다. 이는 도 6의 것보다 훨씬 더 큰 템플레이트이지만, 연산을 가속화하기 위해 1과 0으로 구성된다. 템플레이트 차원은 소프트웨어로의 입력 파라미터이다.

전술된 바와 같이, 간단한 2진 템플레이트(1 및 0)의 선택은 연산이 가속화될 수 있게 한다. 이는 두 개의 이유에 의해, 즉 (1) 각각의 템플레이트 위치에서 수행되어야 하는 승산/가산이 이제 단순히 "가산"이기 때문에, 그리고 (2) 도 8에 1차원으로 도시된 바와 같이, 다음 템플레이트 위치에서의 합이 일 데이터 값을 가산하고 다른 값을 감산함으로써 발견될 수 있기 때문에 그러하다. 도 8은 1차원 연산 가속화의 예이다. 제 1 합산이 완료된 후에, 각각의 후속의 합이 하나의 수를 가산하고 다른 수를 감산함으로써 발견될 수 있다.

두 개의 차원에서, 이 프로세스는 이하와 같이 구현된다. 도 10의 수퍼프레임이 제공되면, 부분 합의 프레임(도 11)이 그 지수가 부분 합의 프레임 내의 화소의 지수 이하인 모든 화소를 합산함으로써 연산된다. 모든 가산은 직사각형 필터에 의한 콘볼루션의 연산을 가속화하기 위해 미리 수행된다. 부분 합의 프레임이 생성되는 이유는 부분합이 도 9에 도시되어 있는 바와 같이 단지 3개의 가산만을 필요로 하는 단순한 방식으로 조합될 수 있고, 직사각형 필터의 출력은 (직사각형 A+직사각형 B)-(직사각형 B+직사각형 C)의 합과 동일하다.

도 10 및 도 11은 합산 이미지를 사용하여 2×2 직사각형 정합 필터의 연산의 구현의 예를 도시하고 있다. 도 10에 강조되어 있는 수퍼프레임 화소값의 합은 18이다. 이 동일한 값은 도 9의 규칙에 따라 도 11의 부분 합의 프레임으로부터 값을 조합함으로써 얻어질 수 있다. 재차 값 18이 얻어진다.

검출기를 신호 강도가 아니라 신호 형상에 응답하게 하기 위해, 검출기로 송신된 이미지의 모든 영역이 단위 에너지로 정규화된다. 영역 내의 에너지는 대략 L1 놈(norm), 달리 말하면 화소값의 합에 의해 근사화된다. 이는 부분 합의 합산 이미지가 제곱의 합의 고비용 연산보다는 신호 에너지를 연산하기 위해 재사용될 수 있게 한다. 따라서, 검출기의 출력은 실제로는 두 개의 합의 비율이다. 부분 합의 프레임은 각각의 합을 연산하는데 이용된다. 도 12는 외부 직사각형 내의 화소값의 합으로 나눈 내부 직사각형의 화소값의 합의 비율이다. 도 12에서, 작은 직사각형(50) 내의 내부 합(정합된 필터값)이 큰 직사각형(52) 내의 외부 합(데이터 내의 에너지)으로 나눠진다.

임계치는 또한 깊이 의존성이 있다는 점에서 정규화되어 있다. 이는 이하와 같이 성취된다. 각각의 깊이(행)에서의 검출기의 출력은 그 깊이에서 검출기의 평균 및 표준 편차를 연산하도록 이용된다. 검출기의 통계적-k는 해당 행에서 표준 편차(σ_i)에 의해 [검출기의 출력(x_ij)-그 행의 평균(

)]을 나눈 값으로 정의된다.

(16)

실제로 임계치에 비교되는 것은 검출기 입력의 통계적-k이다. 전형적인 임계치(r_b)는 검출의 확률을 상당히 감소시키지 않고 오경보(false alarm)를 감소시키기 위해 4.5 정도가 되도록 실험적으로 결정된다.

검출기는 서로의 부근에서 다수의 히트(hit)(임계 교차)를 생성할 수 있다. 이러한 이벤트는 타겟 부근에서 일반적이다. 이러한 이벤트가 발생할 때, 최대 통계적-k를 갖는 히트가 보유된다. 규칙은 단지 하나의 타겟만이 각각의 열에 허용되도록 알고리즘 내에 형성된다. 이는 클러스터링 알고리즘(clustering algorithm)이라 칭한다. 이는 레이다가 타겟을 통해 보는 것이 물리적으로 불가능하고 각각의 열이 각도 시야선에 정확하게 대응하기 때문이다.

분류기는 타겟을 분류하기 위해 텍스처, 크기 및 종횡비를 사용한다. 분류기는 콘택트 상에 중심 설정된 3차원 50 프레임×50 열×50 행 텐서(tensor)(콘택트 큐브라 공지됨)로 구성된 2차원 영역["우표(postage stamp)"라 공지됨]을 입력으로서 취한다. 전체 우표는 50 프레임×50 열이다. 우표는 타겟 주위의 영역 내의 5개의 행을 평균화함으로써 구성된다.

텍스처는 크루거의 공간적 그레이 레벨 의존 매트릭스의 단순화된 버전을 사용하여 연산된다. 크기 및 종횡비는 레벤버그-마쿼트(Levenberg-Marquardt) 알고리즘을 사용하여 타겟의 2차원 투영에 적합된 2차원 가우스 강도 표면의 파라미터로부터 유도된다.

텍스처는 오경보로부터 타겟을 구별하는데 이용된 주요 특징이다. 콘택트가 더 평활할수록, 콘택트가 MLO일 가능성이 더 많다. 일 예에서, 텍스처는 121개의 수로 이루어진 우표 내의 11 프레임×11 열 영역 상에서 측정된다.

상관 텍스처 분류기는 크루거(Kruger)의 공간적 그레이 레벨 의존 매트릭스,

(17)

에 기초하는데, 여기서 S(i, j｜d, θ)는

및

인 경우

이고,

(18)

(19)

가 되도록 그레이 레벨(i)이 그레이 레벨(j)에 대해 배향되어 있는 회수이다.

S 함수는 인접하는 화소[거리(d) 내의] 중의 그레이 레벨의 결합 확률 함수와 유사하다. 이 모두로부터, 단일 텍스처 수가 모든 방향에서의 평균을 고려함으로써 생성된다.

(20)

(21)

상관 텍스처가 깊이 의존성 임계치보다 크면, 콘택트는 MLO인 것으로 선언된다.

표면 타겟은 일치 섀도우 검출(CSD)이라 공지된 처리의 부가의 단계를 통과한다. 도 13은 CSD 알고리즘의 요소를 설명하고 있는 상부 레벨 블록도이다. 알고리즘은 신호의 원시 검출 단계(60), 섀도우 검출 단계(62), 클러스터링 단계(64), 타겟 검출 단계(66) 및 텍스처에 의한 판별 단계(68)를 포함한다.

신호의 원시 검출에 있어서, 표면층을 화소 단위에서 깊이(n₁, n₂) 사이에 한정된다고 하자. 소정의 방위각(m)에서, n₁≤n_max(m)≤n₂를 신호가 최대인 깊이라 하자. 이는 '표면'을 정의한다.

'표면 신호'는 S(m, n_max(m), k)로 나타내고, 여기서 k는 프레임 지수이다. 소정의 임계값(T_raw)에 대해, {m_p, p=1, 2, 3,.....}을 신호가 임계치를 상회하여 피크가 되는, 즉

(22)

인 방위각의 세트라 하자.

이 처리의 출력은 피크 검출 방위각의 함수로서의 피크 검출 깊이이다.

(23)

처리의 섀도우 검출부에서, 섀도우의 존재는 원시 검출 단계에서 발견된 피크 방위각 {m_p, p=1, 2, 3,.....}에서 검사된다. 소정의 m_p에 대해서, 섀도우 확인은 방위각 화소(m_p) 둘레에 중심 설정된 3·(2Δm+1) 화소를 사용하여 '섀도우 깊이', 즉

(24)

에서 수행된다.

도 14는 Δm=2에 대한 섀도우 검출 체계를 도시하고 있다. 섀도우 확인 처리에서의 제 1 단계는 저역 통과 필터링이다. 이는 단순한 5-점 삼각형 필터로 신 호를 콘볼루션함으로써 성취될 수 있다. 필터링된 q번째 화소값은 이하의 식에 의해 주어진다.

(25)

(26)

을 도 14에 도시되어 있는 바와 같이 섀도우 깊이(n_shadow)에서의 3번째, 8번째 및 13번째 방위각 화소에 중심 설정된 3개의 상이한 방위각 섹션에서의 필터링된 출력합이라 하자. 데이터는 제 1 및 최종의 두 개의 화소의 반사체인 각각의 단부에서의 두 개의 잉여 화소에 의해 증가되는 것을 주목하라. 달리 말하면,

(27)

이다.

섀도우는,

(28)

이면 선언된다.

이 프로세스는 n_offset으로부터 시작하여 N개의 상이한 깊이에서 반복된다. 이어서, N 중 M개의 섀도우 검출 기준이 질의 하에서 피크 신호가 섀도우인지 여부를 판정하도록 부여된다.

클러스터링 및 일치 섀도우 검출에 있어서, 섀도우 검출 처리의 출력은 데이 터 큐브이고, 3개의 차원에서의 섀도우-검출 위치의 세트는 (m_s, n_s, k)이다. 본 예에서, 엄밀하게는 표면 타겟을 취급하기 때문에, 이 데이터 큐브는 깊이 차원에서 붕괴되고, 클러스터링은 방위각에서만 수행된다. 이 절차는 표면하 타겟 검출이 관심이 있는 경우에는 유효하지 않다. 결과는 데이터 시트, 즉 방위각 및 트랙을 따른 차원에서의 섀도우 검출 위치의 2차원 어레이(m_s, k)이다.

m_w를 방위각 '클러스터링 윈도우'의 크기라 하자. 일치 섀도우 검출에 대한 전구체로서, 윈도우 내의 데이터가 방위각 차원에서 붕괴된다. 도식적으로는, 클러스터 처리는 도 15에 도시되어 있는 바와 같이 진행된다.

도 16은 '슬라이딩 윈도우' 클러스터링(개체 스트라이드를 갖는)의 결과를 도시하고 있다. 도 16에서, M번째 행은 M번째 방위각으로부터 (M+m_w-1)번째 방위각으로 연장되는 클러스터링 윈도우 내에서 발생하는 검출체의 투영을 표시한다.

일 실시예에서, 검출 기준은 최소 5개의 인접하는 섀도우 또는 최소 7개 중 6개의 섀도우(8개 중 7개, 9개 중 8개 등도 허용될 수 있음)이다. 두 개의 검출체는 두 개 이상의 연속적인 누락 섀도우가 이들 사이에 존재하는 경우 트랙을 따른 차원에서 분리된 것으로 고려된다.

이 기준에 부합하는 섀도우 검출체의 그룹에 대해, 검출된 물체의 방위각 및 프레임이 그룹 내의 검출체의 방위각 및 프레임에 의해 결정된다.

판별은 섬광 계측(scintillation count)을 사용하여 수행될 수 있다. 타겟 신호의 시간적 변동이 타겟의 중심 방위각에서 검사된다. 특정 수 이상의 섬광이 발생하면, 콘택트는 MLO가 아닌 것으로 고려된다. 이 선언을 수행하기 위한 섬광 및 섬광의 임계 수를 구성하는 것은 실험적으로 결정된다.

지수형 감쇠의 모델이 가정될 때, 변수(k_lidar)는 물로부터 광선 레이더 에코의 흡광 계수(extinction coefficient)이다. k_lidar-추정 알고리즘의 도함수는 체적 반환체가 수중의 왕복 감쇠에 비례하는 강도를 갖는 것의 관찰에서 시작된다.

측정된 반환체[f(z)]는,

(29)

이고, 여기서 G는 모든 수신기 파라미터 및 수반사도를 포함하여 상수이다. 이하의 비율을 형성할 수도 있다.

(30)

다음에,

(31)

및,

(32)

이고, 여기서, 측정의 기수법을 단순화하기 위해 f_k=f(z_k)이다. 두 개의 깊이(z₁, z₂)가 Δz에 의해 분리된 인접한 행이면,

(33)

이다.

또한,

(34)

이고, 따라서,

(35)

이다.

다른 기수법의 관점에서,

(36)

즉, 두 개의 인접한 행의 체적 반환체의 비는 이상적으로는 상수이다. 다수의 비율이 더 안정적인 추정을 생성하기 위해 평균화된다. 동작시에는, 소프트웨어에서, 이들 행이 최대 수의 유효수를 갖기 때문에 4개의 행이 평균화된다.

(37)

시스템 유효성 지수(SEI)는 탐색되는 물 체적에 대한 추정 k 값(k_est)(임무 중에 계산됨)과 데이터 초기화 중에 입력된 최대 성능 깊이 적(k'z')에 기초하여 계산된다.

SEI는 SEI=(k'z')/K_est로서 계산된다. 시스템은 또한 최대 성능 깊이 적에 대한 디폴트 값을 계산한다.

따라서,

(38)

이고, 여기서 K_d는 확산 감쇠의 측정값이고, K_d'는 임무가 계획될 때의 확산 감쇠의 예측값이고, z'는 지정 탐색 깊이이다. 예를 들면, K_d'는 광학 해양학 교본으로부터, 또는 해군 MEDAL 시스템으로부터 얻어지는 해양의 부분에 대한 확산 감쇠의 값일 수 있다.

SEI는 거리를 측정한다. SEI_PIDS는 이하와 같이 전개된다. 지정된 깊이(z')에서의 ATR Pd 및 FAR 성능은 적 K_d'z'에 의해 결정되고, 여기서 K_d'는 예측된 확산 감쇠이다.

확산 감쇠(K_d)의 측정된 값이 예측값과 상이하면, 감쇠적이 일정하게 유지되 는 한, 즉

(39)

이면, 동일한 성능이 새로운 깊이에서 성취된다.

따라서, 동일한 Pd 및 FAR 성능이 성취되는 새로운 깊이는,

(40)

이다.

따라서, 시스템 유효성은 예측된 확산 감쇠(K_d')로 지정된 깊이(z')에서 예측되는 바와 같이 동일한 성능이 성취되는 실제의 절대 깊이이다.

본 발명이 다수의 실시예의 관점에서 설명되었지만, 이하의 청구범위에 설명된 바와 같은 본 발명의 범주로부터 일탈하지 않고 다양한 변경이 설명된 실시예에 이루어질 수 있다는 것이 당업자에게 명백할 것이다.

도 1은 본 발명의 실시예에 따라 구성된 시스템의 개략도.

도 2는 본 발명의 실시예에 따라 구성된 시스템의 블록도.

도 3은 본 발명의 방법을 도시하고 있는 흐름도.

도 4는 어떠한 방식으로 이미지 프레임이 조합되는지를 나타내는 개략도.

도 5는 1차원 예시적인 데이터에 적용된 1차원 직사각형 커널(kernel)의 1차원 개략도.

도 6 및 도 7은 2차원 커널의 개략도.

도 8은 어떠한 방식으로 본 발명에 사용된 커널에 의한 콘볼루션(convolution)이 갱신되는지를 나타내는 1차원 개략도.

도 9, 도 10 및 도 11은 어떠한 방식으로 정합된 필터 커널 콘볼루션 값이 합산 이미지로부터 계산되는지를 도시하고 있는 수치 다이어그램.

도 12는 ALMDS 시스템 내의 타겟의 특정 형상을 검출하기 위해 사용된 커널의 개략도.

도 13은 본 발명의 표면 타겟 검출부의 방법을 도시하고 있는 흐름도.

도 14는 본 발명에 사용된 표면 타겟 데이터의 개략도.

도 15, 도 16 및 도 17은 다중 이미지 프레임을 가로지르는 예시적인 표면 타겟 데이터의 개략도.

도면의 주요 부분에 대한 부호의 설명

10: 장치 12: 레이다 시스템

14: 항공기 16: 관심 영역

18: 레이저 20: 카메라

22: 포드-장착 신호 처리 디바이스 34: 데이터베이스

36: 출력 디바이스

Claims

광학적 전송 매체 내에 또는 그 상부에 부유하는 물체를 검출하는 방법에 있어서,

관심 영역의 복수의 이미지를 포착하는 단계와,

상기 이미지로부터 화적소(voxel) 데이터를 추출하는 단계와,

상기 화적소 데이터를 처리하여 상기 관심 영역 내의 관심 항목을 검출하고 분류하는 단계를 포함하는

방법.
제 1 항에 있어서,

상기 화적소 데이터를 비왜곡하는(unwarping) 단계를 더 포함하는

방법.
제 1 항에 있어서,

상기 관심 영역의 복수의 이미지를 포착하는 단계는,

레이다 송신기로부터 관심 화적소로 전송된 빔을 전파하는 단계와,

상기 관심 화적소로부터 레이다 수신기로 반사된 빔을 전파하는 단계를 포함하는

방법.
제 1 항에 있어서,

시스템 유도 아티팩트를 제거하기 위해 상기 화적소 데이터를 전처리하는 단계를 더 포함하는

방법.
제 1 항에 있어서,

상기 이미지로부터 화적소 데이터를 추출하는 단계는,

수퍼프레임 내로 연속적인 이미지 프레임의 그룹을 평균화하는 단계를 포함하는

방법.
제 5 항에 있어서,

각각의 수퍼프레임은 이전의 및 후속의 수퍼프레임으로부터 복수의 이미지 프레임을 공유하는

방법.
제 1 항에 있어서,

상기 전송 매체의 표면을 비왜곡하는 단계와,

전형적인 열에 기초하여 적응성 감쇠 모델을 사용하여 깊이 의존성 강도 평 형화를 수행하는 단계를 더 포함하는

방법.
제 7 항에 있어서,

흡광 계수(extinction coefficient)(k_lidar)라 공지된 물 혼탁도(water turbidity)의 측정이 전형적인 열로부터 추정되는

방법.
제 1 항에 있어서,

상기 관심 영역 내의 관심 항목을 검출하기 위해 상기 화적소 데이터를 처리하는 단계는,

상기 화적소 데이터의 정규화 서브매트릭스를 저장된 템플레이트에 비교하는 단계를 포함하는

방법.
제 9 항에 있어서,

상기 화적소 데이터의 정규화된 서브매트릭스를 저장된 템플레이트와 비교하는 단계는,

상기 저장된 템플레이트 내의 대응 화소와 상기 화적소 내의 각각의 화소의 점단위 승산을 합산하여 합을 생성하는 단계와,

상기 합을 정규화하는 단계와,

상기 합을 임계치와 비교하는 단계를 포함하는

방법.
제 10 항에 있어서,

부분 합의 매트릭스가 상기 저장된 템플레이트와 화적소 데이터의 정규화된 서브매트릭스의 비교의 연산을 가속화하도록 이용되는

방법.
제 10 항에 있어서,

상기 임계치는 깊이 의존성이 있는

방법.
제 1 항에 있어서,

상기 관심 항목을 분류하는 단계는 텍스처, 크기 및 종횡비를 사용하여 타겟을 분류하는

방법.
제 1 항에 있어서,

관심 표면 항목은 일치 섀도우 검출(coincidence shadow detection)을 받게 되는

방법.
제 1 항에 있어서,

상기 관심 영역의 관심 항목을 클러스터링하는 단계를 더 포함하는

방법.
제 15 항에 있어서,

상기 관심 표면 항목에 대해, 상기 화적소 데이터는 깊이 차원에서 붕괴되고, 클러스터링은 단지 방위각에서만 수행되는

방법.
관심 영역의 복수의 이미지를 포착하기 위한 복수의 센서와,

상기 이미지로부터 화적소 데이터를 추출하고 관심 영역의 관심 항목을 검출하도록 상기 화적소 데이터를 처리하기 위한 프로세서를 포함하는

장치.
제 17 항에 있어서,

상기 프로세서는 상기 화적소 데이터를 비왜곡시키는

장치.
제 17 항에 있어서,

상기 프로세서는 수퍼프레임 내로 연속적인 이미지 프레임의 그룹을 평균화하는

장치.
제 19 항에 있어서,

각각의 수퍼프레임은 이전의 및 후속의 수퍼프레임으로부터 복수의 이미지 프레임을 공유하는

장치.
제 17 항에 있어서,

상기 프로세서는 관심 항목을 분류하는

장치.