KR940006841B1 - 로우 및 하이레벨 특징 처리를 이용한 장면 인식 시스템 및 방법 - Google Patents

Abstract

내용 없음.

Description

로우 및 하이레벨 특징 처리를 이용한 장면 인식 시스템 및 방법

제1도는 본 발명 원리에 따라서 표적을 확인하고 추적하기 위해 로우 및 하이레벨(1ow and high level)검출을 이용한 장면 인식 시스템의 블럭도.

제2도는 제1도의 시스템을 상술한 기능 블럭도.

제3a 내지 3f도는 로우레벨 특징을 검출하기 위해 수행되는 처리를 도시하는 도면.

제4a 내지 4b도는 제2도의 장면 분할 부분에서 수행되는 평면연결 및 영역 확대 처리의 결과를 도시하는 도면.

제5a 내지 5c도는 제2도의 영상 분할 부분에서 수행되는 경계선 형성 및 선형 특징 추출 처리의 결과를 도시하는 도면.

제6도 및 7도는 제2도의 장면 분할 부분에서 수행되는 처리중 대상 형성 처리에서 각각 영역 및 리본(ribbon) 대상의 계산에 의한 속성을 도시하는 도면.

제8a 내지 8c도는 속성형 감지 그래프를 만드는데 있어서 변천단계를 도시하는 도면.

제9a 및 9b도는 기준 장면 및 속성형 기준 그래프를 각각 도시하는 도면.

제10도는 제2도의 장면 인식부에서 그래프 정합 부분에 의해 결정된 최적 공통 서브 그래프를 도시하는 도면.

제11a 및 11b도는 표적지가 각각 지시된 기준 장면 및 감지된 장면을 도시하는 도면.

* 도면의 주요부분에 대한 부호의 설명

11 : 로우레벨 특징 검출기 12 : 하이레벨 그래프 정합기

13 : 그래프 합성기 14 : 그래프 정합기

15 : 표적기 계산기 16 : 기준 그래프 기억장치

22 : 장면 묘사 23 : 장면 인식

본 발명은 장면 인식 시스템 및 방법에 관한 것으로서, 특히, 표적을 확인하고 추적하기 위해 로우 및 하이레벨 특징검출을 이용하는 장면 인식 시스템 및 방법에 관련된다.

현대 미사일의 장면 인식 시스템은 특수화된 신호 처리 구성 및 알고리듬을 이용하는데, 상기 특수화된 신호처리 구성 및 알고리듬은 미사일의 공격 반경 내에 들어오는 빌딩, 트럭, 탱크 등과 같은 특정한 표적물의 출현을 신속하고도 효과적으로 검출하기 위해 고안된 것이다. 따라서, 매우 짧은 시간내에 표적을 정확하게 확인하거나 구별할 수 있는 보다 정교한 구성을 알고리듬이 항상 요청된다.

본 발명은 미사일 유도 및 추적 시스템과 더불어 사용되는 영상 인식 시스템 및 방법을 포함하는데, 상기영상 인식 시스템 및 방법은 표적의 확인 및 추적을 위해 로우 및 하이레벨 특징 검출을 이용한다. 상기 시스템은 소정의 통상적인 결상센서, 예로서, 적외선 센서, 밀리미터파 또는 합성 개구면 레이다, 또는 소나(sonar)를 이용하여 장면을 영상화한다. 센서의 출력(영상)은 로우레벨 특징을 영상에서 추출하는 로우레벨 특징 검출 프로세서에 의해 처리된다. 이같은 추출은 센서 데이타(영상 데이타) 매트릭스를 직교 아이콘(icon) 매트릭스로 변환함으로써 수행되는데, 여기서, 직교 아이콘 매트릭스는 사전 설정된 일련의 속성을 사용하여 영상을 기호로 표현한 것이다. 로우레벨 특징 검출에 이어지는 기호적 장면 분할, 묘사 및 인식처리를 이용하는 하이레벨 그래프 정합 프로세서는 직교아이콘을 처리기준으로 삼는다. 상기한 처리에 따라, 영상에 나타난 표적물을 표시하는 속성이 부여된 그래프가 얻어진다. 하이레벨 그래프 정합 프로세서는 기설정된 속성 기준 그래프와 감지된 그래프를 비교하여, 상기 두 그래프간의 유사도에 입각한 최적 공통서브그래프를 만든다. 하이레벨 정합 프로세서는 유사도 및 기설정된 임계값을 근거로 인식 판단을 한다. 하이레벨 정합 프로세서의 출력에서 표적지를 결정하는 데이타를 얻는다. 그 표적지는 확인된 표적을 추적하는 미사일 유도 시스템에 입력된다.

본 발명의 각종 특징 및 장점은 도면을 참조한 다음의 상세설명으로부터 더욱 쉽게 알 수 있을 것이다. 도면에 있어서, 동일한 구성요소에는 동일한 부호를 병기한다.

도면을 참조하면, 제1도는 본 발명의 원리에 의하여 표적을 확인하고 추적하기 위해서 로우 및 하이레벨 특징 검출을 이용한 장면 인식 시스템의 블럭도이다. 상기 시스템은 적외선센서, 텔레비젼 센서 또는 레이다와 같은 결상 센서(9)에서 얻은 영상 데이타를 받아들이는데 적합한 로우레벨 특징 검출기(11)를 포함한다. 상기 로우레벨 특징 검출기(11)는 로우레벨 특징 검출기에 의해 만들어진 영상 장면안에 들어 있는 특징을 표시한 아이콘을 처리하는데 적합한 하이레벨 그래프 정합 프로세서(12)에 연결된다 미사일 순항 시스템(24)은 미사일을 원하는 표적으로 나아가게 하기 위해 표적지 정보를 만들어서 사용한다.

하이레벨 그래프 정합 프로세서(12)는 연속적으로 연결된 그래프 합성기(13), 그래프 정합기(14) 및 표적지 계산(l5)을 포함한다. 기준 그래프 기억장치(16)는 그래프 정합 프로세서(12)에 연결되고 영상에 나타날것으로 예상되는 표적물을 표시한 기설정된 그래프를 저장하는데 적합하다. 기준 그래프는, 예를들어, 탱크, 빌딩, 육상목표물 및 수상 목표물을 표시하는 그래프이다.

상기 로우레벨 특징 검출기(11)는 "개선된 데이타 디컴프레션 시스템 및 방법"이라는 명칭으로 1990년 4월 25일 출원된 미합중국 출원 제514,779호에 자세히 설명되어 있는데, 요약해 보면, 로우레벨 특징 검출기(11)는 센서 데이타(영상 데이타) 매트릭스를 직교 아이콘 매트릭스로 변환하는 것으로, 상기 직교 아이콘매트릭스는 영상화된 장면을 일련의 속성을 이용하여 기호적으로 표시한 것이다. 이러한 것들은 제3 내지 11도를 참조하여 후술하겠다.

제1도에 도시된 장면 인식 시스템에 의해 수행되는 처리는 영상 정보를 점진적으로 보다 압축적이고 추상적인 형태로 바꾸는 일련의 변환을 이용한다. 로우레벨 특징 검출기(11)에 의해 실행되는 제1변환은, 각 화상위치의 휘도를 나타내는 숫자의 배열인 센서 이미지를 속성을 가진 보다 압축된 아이콘의 배열로 변환하는 것인데, 상기 압축된 아이콘 배열은 이미지 데이타를 10×10 픽셀 블럭인 기본 휘도 분포로 기술되는 속성을 갖는다.

하이레벨 그래프 정합 프로세서(12)에서 이행되는 제2변환은 아이콘 배열을 거의 일정한 휘도를 갖는 분리된 영역으로 연결하고, 영역들 간의 선형 경계선을 식별한다. 대층 평행한 면을 갖는 길고 좁은 영역의 특별한 경우를 리본(ribbon)으로 규정한다. 이 변환의 결과로써 대상 장체의 다양한 속성 및 대상 간의 관계는 대상의 리스트(list)를 형성한다. 이 정보를 속성형 그래프로 규정된 구조로 코드화 된다.

그래프 정합기(14)는 센서 이미지에서 얻어진 그래프 구조를 사전에 저장된 그래프, 예를들면, 정찰정보로부터 일찍이 얻어진 그래프와 비교한다. 만약 높은 상관도가 발견되면, 기준 그래프에 의해 그려진 장면은 센서에 의해 그려진 장면과 동일한 것으로 규정된다. 정합이 되면 표적기 계산기(15)는 기준 그래프에서 선험적으로 주어진 감지된 그래프와 관련시켜 계산한다. 그리고 이 정보는 미사일 순항 및 유도 시스템의 입력으로서 제공된다.

전통적인 그래핑 응용분야에 있어서, 두 그래프를 상관시키는데 있는 전반적인 문제는 N-P 완전(N-Pcomplete)이다. N-P 완전이 일어나는 이유는 노드(node)수의 선형적 증가에 대해 그래프를 정합하는데 필요한 탐색 혹은 비교의 수가 대수적으로 증가하기 때문이다. 본 발명에서는 탐색공간을 상당히 줄여서, 빠른 실시간 탐색을 가능케하는 독특한 속성을 감지된 그래프 및 기준 그래프에 많이 추가함으로써 상기 문제를 해결한다.

제2도는 제1도의 시스템에 대한 자세한 기능블럭도이다. 장면 분할처리(21)는 로우레벨 특징 묘사 처리, 휘도 및 경사도를 근거로 하는 분할처리(32)(33) 및 경사도/휘도 대상 병합(gradient/intensity object merging)(34)을 포함하며, 상기 모든 과정은 로우레벨 특징 검출기(11)(제1도)에서 수행된다. 영상 분할처리(21)의 출력신호는 영상묘사처리(22)에 연결되며, 상기 영상 묘사처리(22)는 영상에 나타난 대상이 감지된 그래프를 만드는 그래프 합성 처리(25)를 포함한다. 예를들면, 차량, 건물, 육상 목표물 및 수상물과 같은 것을 나타내는 그래프인 기준 그래프(36)가 저장된다. 이러한 그래프는 정보를 얻을 목적으로 하는 정찰 비행중에 수집된 데이타에서 얻는다. 본 발명에 의해 비디오 데이타에 나타난 표적물을 처리하여 기준그래프를 만든다. 상기 기준 그래프는 궁극적으로 본 발명에 의해 조작되어 사용되는 동안 표적물을 확인하고 선택하기 위한 비교 데이타로 사용된다.

그래프 정합 처리(37) 및 장면 변환 처리(38)로 구성된 장면 인식 처리(23)에서는 그래프 합성처리(35)및 기준 그래프(36)에 의해 만들어진 그래프를 사용한다. 상기 그래프 정합 처리(37) 및 영상 변환처리(38)에서는 순항 시스템(24)으로 공급할 표적지를 계산한다.

제3a 내지 3f도는 로우레벨 특징을 추출하기 위해 수행되는 처리를 도시한다. 이 처리로써 센서 데이타매트릭스(이미지 데이타)를, 일련의 속성을 통해 기호적으로 영상화된 장면을 나타내는 직각 아이콘 매트릭스를 변환한다. 상기 직각 아이콘은 제2도에 도시된 기호적 장면 분할, 묘사 및 인식 프로세서가 수행하는데 있어서 기초적 구실을 한다. 제3a도는 집(41)의 영상을 나타내는데, 집의 측면(42)(43) 및 지붕부분(44)(45)은 거기서 비추어지는 태양의 방향에 의하여 상이한 음영을 가진다. 제3a도에서 확인된 상이한 텍스쳐(texture)(음영)에 의해 집의 각면이 구별된다. 집(41)의 영상은 각 픽셀의 데이타와 관련된 상이한 휘도를 표현하는 수의 배열이다.

집(41)을 표현하는 영상 데이타는 제3b도에 대충 도시된 10×10 블럭 윈도우(46)에 의해 처리되며, 상기10×10 블럭 윈도우는 제3c도에 도시된 픽셀 데이타를 만든다. 상기 픽셀 데이타가 직각 아이콘을 포함한다. 제3c도에 도시된 각각의 픽셀은 제3b도에 도시된 음영에 따라서 그늘져 있다. 제3c도에 도시된 데이타의 블럭 또는 셀은 로우레벨 특징 검출기(11)에서 만들어진다.

제3d도에서는 선이 형성되어 있고, 제3e도에서는 제3c도에서 도시된 그늘진 픽셀로 형성된 영역이 있다. 제2도에서 도시된 장면 분할 프로세서(21)에서 경사도를 근거로한 분할 처리(33)로써 선을 만드는 반면, 제2도에 도시된 장면 분할 프로세서(12)에서 휘도를 근거로한 분할처리(32)로써 영역을 만든다. 평면 연결(flat linking) 및 경사 연결(gradient linkging)을 사용하여 영역을 형성하여 영역 형태를 결정한다. 선 및 영역의 정보는 제2도에서 도시된 경사도/휘도 대상 병합(34) 및 그래프 합성처리(35)에 의하여 영역 및 리본을 형성하여 하나의 그래프가 합성되는데, 제3f도에 도시된 상기 합성된 그래프는 제3a도의 집(41)을 표현한 것이다.

평면 연결 및 영역 확대 처리는 제2도의 장면 분할 처리(21)의 일부이다. 상기 평면 연결 및 영역 확대처리는 2개의 서브 프로세서로 구성된다. 평면 연결 처리는 완화(relaxatin)를 기초로한 알고리듬을 사용하여 로우레벨 특징 구별된 FLAT형의 직각 아이콘을 동질의 휘도를 가진 평면영역으로 분류한다. 그 결과로서 일련의 영역은 FLAT 아이콘으로 구성되고, 영역의 면적(구성요소인 FLAT 아이콘의 수), 휘도(구성요소인 FLAT 아이콘의 평균 휘도) 및 구성요소인 FLAT 아이콘의 리스트로 기술된다. 보다 특히, 동질의 휘도 영역을 갖는 직각 아이콘의 집단이 형성되어 블럭 해상도 경계선(block resolution loundary)를 갖는 일련의 영역을 만든다. 직각 아이콘의 집단은 동질의 휘도를 갖는 구성요소인 아이콘의 수를 포함하는 면적, 구성요소인 동질 휘도 아이콘의 평균 휘도 및 상기 구성요소인 동질 휘도 아이콘의 리스트로 설명되는 동질 휘도 아이콘들로 구성된다. 영역 확대 처리는 그곳에 휘도 및 경사도가 있는 인접한 직각 아이콘을 붙여서 특징-해상도 경계선을 제공한다.

영역 확대 프로세서는 경사 형태의 인접한 직각 아이콘(FLAT하지 않음)의 정보를 확대된 평면 영역에 첨가하여 특징-해상도 경계선을 제공하는데, 상기 특징-해상도 경계선은 평면 연결 처리에 의해 제공되는10×10 블럭 해상도 경계선에 대조된다. 사용되는 방법은 다음과 같다. (1) 평면 연결 프로세서에 의해 제공되는 평면 영역에서 시작한다. 영역은 오로지 FLAT 아이콘으로 구성되며 경사 아이콘의 측면까지 확대되어 영역확대가 멈추어진다. (2) 영역의 측면에 접한 경사 아이콘을 검토한다. 각각의 경사 아이콘의 2개의 휘도 모델로 기술되는데, 상기 모델의 휘도 중 하나가 평면 영역에 인접한다. 상기 휘도가 평면 영역의 휘도와 비슷하면 영역 경계선을 확장하여 경사 아이콘의 분분을 영역의 휘도로서 포함시킨다. (3) 모든 평면 영역에 대해서 반복한다. 평면 연결에서는 한개의 영역 번호를 모든 FLAT 아이콘에 지정한다. 영역 확대에서는 다수의 영역번호를 경사 아이콘에 지정한다. EDGE 및 CORNER형의 경사 아이콘에서는 2개의 영역번호가 지정되어 있고, RIBBON형의 경사 아이콘에서는 3개의 영역번호가 지정되어 있다. SPOT형의 경사아이콘은 고려되지 않는다. 이 과정의 결과로써 FLAT 아이콘 및 경사 아이콘의 부분으로 구성되는 일련의 동질 휘도영역이 만들어진다. 이것은 상기에서 언급한 특허출원인 "개선된 데이타 디컴프레션 시스템 및 방법"에 자세히 기술된다.

제4a 내지 4b도는 제2도의 장면 분할 처리(21)에 의해 수행된 평면 연결 및 영역 확대의 결과를 도시한다. 상세히 설명하면, 상기 처리는 제2도에서 도시한 휘도를 근거로한 분할처리(32), 경사도를 근거로한 분할 처리(33) 및 경사도/휘도 대상 병합(34) 과정에 의해 수행된다. 제4a 내지 4b도에서 단일 색조인 회색의 직각 아이콘은 FLAT 아이콘(50)(51)을 표시한다. 2개의 색조(대각선을 따라서)를 갖는 회색의 직각아이콘은 EDGE아이콘(52)를 표시한다. 영역은 FLAT 및 경사(FLAT하지 않음)아이콘으로 구성된다. EDGE 아이콘(52)뿐만 아니라 다른 모든 경사 아이콘에서는 다수의 영역이 결합되어 있다. 즉, 상기 경사아이콘에는 다수의 영역번호가 지정되어 있다. 이것으로써 로우레벨 특징 검출 프로세서에 의해 검출되는 경사특징에 대한 정확한 경계선을 알 수 있다.

경계선 형성 및 선형 특징 추출 처리는 제2도의 장면 분할 처리에 의해 수행된다. 이 처리는 3개의 서브프로세서로 구성된다. 각 영역(60-63)(제5a도)의 경사 경계선을 가로질러서 각 영역의 둘레에 경사 사슬을 형성한다. 각 영역의 경사 사슬은(64-68)(제5b도)으로 분할되고, 각각의 선형 부분(64-68)에서 시작 및 끝의 사슬에 포인터가 들어있다. 선의 부분을 형성하는 2개 혹은 그 이상의 영역에 관련된 인접한 부분의 존재여부를 알기 위해 선형 부분(64-68)을 분해한다. 이런 과정들의 결과로서, 평면 연결 및 영역확대처리에 의해 명확한 형태로 되어진 각각의 영역(60-63)에 대한 경계선 묘사 및 길이, 방위 및 끝점의 좌표로 표시되는 선형 부분(70-73)(제5c도)에 대한 경계선 묘사가 이루어진다.

제5a도 내지 5c도는 제2도의 장면 분할 처리에서 수행되는 경계선 형성 및 선형 특징 추출의 결과를 도시한다. 제5a도는 평면 연결 및 영역 확대 처리에서 얻은 영역(60-63)을 도시한다. 제5b도는 경계선 형성프로세서에서 얻어진 각각의 영역(60-63)을 묘사하는 경계선을 도시한다. 제5c도는 선형 특징 추출 처리에서 얻어진 선의 부분(70-73)을 도시한다.

대상 형성 프로세서(object frmation process)는 2개의 서브프로세서로 이루어진다. 제1프로세서에서는, 경사 경계 및 선형 특징 추출 처리에 의해 제공되는 선형 특징으로부터 리본 대상(75)이 형성되고 이런 대상을 기호적으로 묘사한다. 제2프로세서에서는, 평면 연결 및 영역 확대 처리에 의하여 제공되는 영역을 기호로 묘사하여 영역 대산(76-78)(제8a,8b도)을 만든다. 상기 리본 및 영역 대상은 속성형 감지 그래프(attributed sensed graph)의 노드가 된다. 상기 기호적 묘사가 속성의 역할을 한다. 제6 및 7도는 영역 및 리본 대상(75-78)을 위해 계산된 속성을 도시하며, 상기 영역 및 리본 대상은 각각 제8a 및 8b도에 각각 도시되며, 상기 속성은 제2도의 장면 분할 프로세서(21) 및 특히, 제2도의 그래프 합성 처리(35)에 의해서 수행되는 대상형성 처리에서 계산된다.

제6도는 영역대상 및 도면에서 도시된 식을 이용하여 영역 경계선 및 블록 닥가헝(convex hull)에 대한 계산을 도시한다. 제7도를 참조하면, 제7도는 제7a도에서 리본 길이, 제7b도에서 리본 휘도, 제7c도에서 극성 및 제7d도에서 리본 방위를 포함하는 리본 대상 속성을 도시한다.

영역 대상에 대하여, 상기 프로세스는 면적, 주변의 길이, 및 블록 다각형의 속성을 계산한다. 리본 대상에 대하여, 상기 프로세서는 라인 테이블을 조사함으로써 (1) 180° 방위가 다른 라인쌍, (2) 서로 매우근접한 라인쌍, (3) 비슷한 휘도가 측면에 있는 라인쌍 및 (4) 양라인이 평행인 다른 라인 부분을 둘러싸지 않는 라인쌍을 찾는다. 이런 제한에 해당되는 한쌍의 라인이 발견되면 그것들에 대한 속성이 계산된다. 리본 대상에 대한 속성에는 (1) 리본의 휘도, (2) 리본의 극성(어둠위 밝음 또는 밝음 위의 어둠), (3) 리본의 폭(두라인 사이의 거리) 및 (4) 리본의 방위가 있다. 그래프 합성 프로세서 및 그 프로세서에 연관된 그래프언로서써 대상 형성 프로세서에 의해 제공되는 영역 및 리본 대상(75-78)(제8a,8b도) 사이의 관계를 묘사한다. 그리고 상기 합성 프로세스 및 프로세스에 관련된 그래프 언로써 영역 및 리본 대상 그리고 그들의 관계로부터 소성형 감지 그래프를 명확하게 나타낸다. 모든 영역/영역, 영역/리본 및 리본/리본 쌍사이의 관계가 계산된다. 관계에는 공간적 형태(다른 하나에로의 근접) 또는 비교적 형태(속성 비교)가 있다. 그래프, 노드, 노드사이의 링크 및 그래프 형성과 처리는 본 기술분야에 잘 알려져 있으므로 여기서 자세히 설명하지 않을 것이다. 그래프 처리에 관련된 본 기술분야에서 통상의 지식을 가진 자는 주어진 속성의 지식으로 여기에 묘사된 그래프를 유도할 수 있다. 상기 속성은 기준이 되고 여기에서 묘사된 그래프의 설명서가 된다.

속성형 감지 그래프를 구체화함에 있어서, 영역 및 리본 대상이 그들의 기술적인 속성과 함께 하나씩 그래프 노드에 배치된다. 대상의 각 쌍간의 관계를 그들의 속성과 함께 그래프 아크(링크)에 배치한다. 이러한 도식으로, 원래의 영상 장면을 기호적으로 나타내는, 완전히 연결된 속성가 구체화된다.

제8a 내지 8c도는 제2도의 그래프 합성, 프로세스(35)에서 만들어 지는 속성형 감지 그래프(80)의 변전단계를 도시한다. 상기 그래프(80)는 노드(81-84)와 아크(또는 링크)로 구성되며, 상기 노드(81-84)는 장면내에서의 대상 및 그 대상을 묘사하는 노드 속성을 기호적으로 나타내며, 상기 아크(또는 링크)는 장면내의 대상 간의 관계 및 대상 간의 관계를 묘사하는 링크 속성을 기호적으로 나타낸다. 보다 구체적으로, 노드 1은 영역 1인 대상 76을 나타내고, 노드 2는 영역 2인 대상 77을 나타내고, 노드 3은 영역 3인 대상 78을 나타내고, 노드 4는 리본 대상 75를 나타낸다. 리본 및 영역 대상(75-78)간의 서로 다른 링크가 1링크2, 2링크 4, 1링크 4, 1링크 3, 2링크 3, 및 3링크 4로서 도시된다. 상기 링크에 그러한 파라미터를 포함시킨 것은 다음과 같은 사실을 말한다. 즉, 영역 1인 대상 76이 영역 2인 대상 77위에 근접해 있고, 영역 1은 대상 76이 영역 3인 대상 78의 좌측에 있고, 영역 2인 대상 77이 리본 대상 75의 좌측에 근접해 있다는 등등이다. 기준 그래프 처리에는 대상 형성 및 그래프 합성처리와 같은 기능이 수반되지만 2가지 차이점이 있다. 제1차이점은, 상기 기준 그래프 처리가 감지된 영상의 포착과 그 다음의 장면 분할 및 묘사에 앞서 수행된다. 제2차이점은, 상기 기준 그래프 처리에서의 입력은 자체적인 분할 프로세서 보다는 인간이 조작하는 그래프 입력 장치로부터 얻는다.

제9a 및 9b도는 기준 장면(90) 및 속성형 기준 그래프(91)를 각각 도시한다. 제9a도는 영역 1 및 영역2, 리본 및 요구되는 표적지(94)로 구성되는 기준 장면(90)을 도시한다. 제9b도에 도시된 속성형 기준 그래프(91)는 제8c도에 도시된 것과 근본적으로 같은 노드 및 링크로 구성된다. 제8c도를 참조하며 노드와 링크는 제8도와 같은 형태로 관계를 묘사한다.

그래프 정합 처리(37)(제2도)에서는 속성형 기준 그래프 및 속성형 감지 그래프를 비교하여, 두 그래프간의 유사도(신뢰수)를 근거로 두 그래프 간의 최적 공통 서브그래프를 만들며, 신뢰수 및 기설정된 임계값을 근거로 인식판단을 한다. 각각의 그래프에서 노드 및 아크간의 정합도로써 가능성을 결정한다. 기설정된 임계값 보다 큰 신뢰수를 발생할 수 없는 경로를 버리는 탐색 절차가 그래프 정합처리(37)에 포함된다. 모호한 해결법, 즉, 어떤 그래프에 있는 단일 대상을 다른 그래프에 있는 다수의 대상과 정합하는 해결법을 이끌어내는 경로 또한 무시된다. 끝으로 원래 장면에 나타난대로 대상간의 공간적 관계를 유지하지 않는 경로도 무시된다.

제10도는 제2도의 장면 인식 처리(23)에 있는 그래프 정합부분에 의해서 결정되는 최적 공통 서브그래프(92)를 도시한다. 제8c도에 도시된 그래프를 제9b도에 도시된 그래프와 대조시켜 제10도의 공통 서브그래프를 만든다. 이것은 그래프 처리 기술분야에서 잘 알려진 기존의 방법으로 수행되므로, 여기서는 자세히 설명하지 않을 것이다.

제11a 및 11b도는 거기에 지시된 각각의 표적지(94)(95)를 갖는 기준 장면(90) 및 감지된 장면(93)을 도시한다. 보다 구체적으로, 제11a 및 11b도는 어떤 대상이 감지된 장면(영역 3)에서는 검출되지만 기준 그래프에서는 지시되어 있지 않은, 가능한 시나리오를 묘사한다. 고유의 표적지는 대상의 첨가물 혹은, 생략몰, 대상의 크기 및 형태의 차이점, 및 결상조건이 변화를 포함하는 것 뿐만 아니라 상기 차이점에도 불구하고 지시된다. 기준 장면(90)의 표적지(94)는 속성형 기준 그래프에 포함되고 요구되는 표적물의 위치를 표시한다. 미사일이 향하는 표적지로서의 감지된 장면으로 상기 표적지를 "이동"시킨다. 이 정보를 이용하기 위하여 이 정보를 미사열 순항 시스템으로 전달한다.

표적을 확인하고 추적하기 위해 로우 및 하이레벨 특정 검출을 이용한, 새롭게 향상된 장면 인식 시스템을 기술했다. 상기 기술된 실시예는 단지 본 발명의 원리를 적용하여 특정 실시예의 일부를 설명한 것이다. 확실히 본 발명의 범위내에서, 본 기술분야에 통상의 지식을 가진 사람들은 많은 다른 장치를 쉽게 고안할수 있다.

Claims (10)

1. 영상화된 장면에 있는 표적을 확인하고 추적하기 위해 로우 및 하이레벨 특징 검출을 이용하며, 원하는 상기 표적 쪽으로 미사일을 향하게 하는데 적합한 미사일 유도 시스템과 더불어 사용하기에 적합한 것으로서, 영상화된 장면으로부터 얻어지고 상기 영상화된 장면을 표시하는 영상 데이타를 처리하는데 적합하며, 기설정된 일련의 속성을 이용하여 영상 데이타를 영상을 기호적으로 표시하는 직각 아이콘 매트릭스로 변환함으로써 상기 영상화된 장면으로부터 특징을 추출하는 로우레벨 특징 검출 프로세서와; 상기 로우레벨 특징 검출 프로세서에 연결되며, 상기 직각 아이콘을 처리하여 상기 영상화된 장면에 나타난 대상들을 형성하고 자신들의 속성에 의해 묘사되는 상기 대상들 및 상기 대상들간의 관계로부터 얻어지는 속성형 감지 그래프를 형성하되, 그래프노드에 상기 대상들의 각각이 그의 속성과 함께 놓이고 상기 노드들을 링크하는 그래프 링크들에 상기 대상쌍들 간의 관계들이 그들의 속성들과 놓임으로써 상기 영상들을 기호적으로 나타내는 완전연결된 속성형 그래프가 형성되게 하는 그래프 합성 프로세서와; 상기 그래프 합성 프로세서에 연결되며, 영상에 나타날 것으로 기대되는 확인 가능한 표적을 표시하는 기설정된 기준 그래프를 저장하는 기준 그래프 기억 수단과: 상기 그래프 합성 프로세서에 연결되며, 상기 기설정된 속성형 기준 그래프를 상기 속성형 감지 그래프와 비교하여 상기 속성형 기준 그래프와 상기 속성형 감지 그래프간의 유사도를 근거로 대상 인식판단을 하며, 표적지를 결정하는 출력신호로서 상기 미사일 유도 시스템에 입력되어 상기 미사일을 상기 확인된 표적으로 향하게 하는데 적합한 유도 신호가 발생되게 하는 상기 출력 신호를 제공하는 장면 인식 시스템.
2. 영상화된 장면에 있는 표적을 확인하고 추적하기 위해 로우 및 하이레벨 특징 검출을 이용하며, 원하는 상기 표적으로 미사일을 향하게 하는데 적합한 미사일 유도 시스템과 더불어 사용하기에 적합한 것으로서, 영상화된 장면으로부터 얻어지고 영상화된 장면을 표시하는 영상 데이타를 처리하며, 기설정된 일련의 속성을 이용하여 영상 데이타를 기호적으로 표시하는 각각 아이콘 매트릭스로 변환함으로써 상기 영상화된 장면으로부터 속성을 추출하는 로우레벨 특징 검출 프로세서 수단과; 상기 로우레벨 특징 검출 프로세서수단에 연결되며, 상기 직각 아이콘을 처리하여 장면에 있는 대상을 표시하는 기설정된 대상들을 만들고, 상기 대상물 간의 관계적 묘사를 계산하여 속성으로 묘사되는 상기 대상들 및 상기 대상들 간의 관계로부터 속성형 감지 그래프를 형성하되, 그래프 노드들에 그래프 노드마다 하나씩 상기 대상들이 그들의 속성과 함께 놓이고 그래프 핑크들에 상기 대상 쌍들 간의 관계들이 그들의 속성과 함께 놓임으로써 상기 영상화된 장면을 기호로 표시하는 완전히 연결된 속성형 그래프가 공식화되게 하는 그래프 합성 프로세서 수단과; 상기 그래프 합성 처리 수단에 연결되며, 데이타로 구성된 영상에 나타날 것으로 기대되는 확인 가능한 표적을 표시하는 기준 그래프를 저장하는 기준 그래프 기억 수단과; 상기 그래프 합성 처리 수단에 연결되며, 기설정된 속성형 기준 그래프를 상기 속성형 감지 그래프와 비교하여, 상기 속성형 기준 그래프와 상기속성형 감지 그래프 간의 유사도와 기설정된 임계값을 근거로한 대상인식 판단을 하며, 표적지를 결정하는 것으로서 상기 표적으로 상기 미사일을 향하게 하는데 적합한 유도 신호를 제공하기 위하여 미사일 유도 시스템의 입력으로 연결되는 출력 신호를 제공하는 그래프 정합 처리 수단을 포함하는 장면 인식 시스템.
3. 제2항에 있어서, 상기 로우레벨 검출처리 수단은; 상기 로우레벨 특징 검출 처리 수단에 연결되어 블럭 해상도 경계선을 가진 일련의 영역을 발생하기 위해 동질휘도 영역을 가진 직각 아이콘 집단을 형성하되, 동질 휘도를 갖는 구성요소인 아이콘의 수를 포함하는 영역, 구성요소인 동질 휘도 아이콘의 평균 휘도를 포함하는 휘도 및 상기 구성요소인 동질휘도 아이콘의 리스트에 의해 설명되는 동질 휘도 아이콘들로 구성되는 상기 직각 아이콘 집단을 형성하는 평면 연결 처리 수단과; 상기 평면 연결 처리 수단에 연결되며,휘도 및 경사도를 갖는 인접한 직각 아이콘을 부속시켜 특징-해상도 경계선을 제공하는 영역 확대 처리 수단을 포함하는 장면 인식 시스템.
4. 제3항에 있어서, 상기 로우레벨 특징 검출처리 수단은; 상기 영역 확대 처리 수단에 연결되며, (1)각 영역의 경사 경계선을 가로질로 각 영역의 둘레에 경사 사슬을 형성하며, (2) 각 선형 부분의 시작과 끝에 있는 사슬에 포인터를 삽입함으로써 각 영역에 대한 경사사슬을 선형 부분으로 분해하며, (3) 2개 혹은그 이상의 영역에 관련된 부분을 결합한 상기 선형 부분을 분해하여 선형 부분을 형성하며, 상기 과정으로 평면 연결 및 영역 확대 처리 수단으로 구체화된 각 영역의 경계선 묘사 및 길이, 방위 및 끝점의 좌표로 표시되는 선형부분에 대한 경계선 묘사를 만드는 경계선 형성 및 선형 특징 추출처리수단을 더 포함하는 장면 인식 시스템.
5. 제4항에 있어서, 상기 로우레벨 특징 검출 처리 수단은, 상기 경계선 형성 및 선형 특징 추출 처리수단에 연결되며, 경사 경계선 및 선형 특징 추출 처리 수단으로써 제공되는 선형 특징으로부터 리본 대상을 형성하며, 상기 대상의 기호적 묘사를 만들며, 평면 연결 및 영역 확대 처리 수단으로써 제공되는 영역을 기호적으로 묘사함으로서 속성형 감지 그래프의 노드로 정의되는 영역 대상을 만들며, 상기 영역의 기호적 묘사가 속성을 포함하는 대상 형성 처리 수단을 포함함으로써 영역 대상에 대하여 상기 대상 형성 처리수단은 면적, 주변의 길이 및 블록 다가형의 속성을 계산하며, 리본 대상에 대하여 상기 대상 형성 처리 수단은 라인 테이블을 조사함으로써 (1) 180° 방위가 다른 라인쌍, (2) 서로 매우 근접한 라인쌍, (3) 비슷한 휘도가 측면에 있는 라인쌍 및 (4) 양라인이 평행인 다른 라인 부분을 둘러싸지 않는 라인쌍을 찾아 상기 리본에 대한 속성을 계산하는 바 리본의 속성에는 (1) 리본의 휘도, (2) 리본의 극성(어둠위 밝음 또는 밝음 위의 어둠), (3) 리본의 폭(두라인 사이의 거리) 및 (4) 리본의 방위가 포함되는 장면 인식 시스템.
6. 영상화된 장면에 있는 표적을 확인하고 추적하기 위해 로우 및 하이레벨 특징 검출을 이용하며, 원하는 상기 표적쪽으로 미사일을 향하게 하는데 적합한 미사일 유도시스템과 더불어 사용하기에 적합한 것으로서, 영상화된 장면으로부터 얻어지고 영상화된 장면을 표시하는 영상 데이타를 처리하는데 적합하며, 기설정된 일련의 속성을 이용하여 영상 데이타를 기호적으로 영상으로 표시한 직각 아이콘 매트릭스로 변환함으로써 영상화된 장면으로부터 특징을 추출하는 로우레벨 특징 검출 처리 수단과; 상기 로우레벨 특징 검출처리 수단에 연결되며, 직각 아이콘을 처리하고 대상 형성 처리 수단으로써 제공되는 영역 및 리본 대상 간의 관계적 묘사를 계산하여 영역 및 리본 대상과 상기 대상의 관계로부터 속성형 감지 그래프를 형성하되, 그래프 노드에 상기 영역 및 리본 대상의 각각이 그의 속성과 함께 놓이고, 상기 노드들을 링크하는 그래프링크들에 상기 대상 쌍들 간의 관계들이 그들의 속성들과 함께 놓임으로써 상기 영상들을 기호적으로 나타내는 완전 연결된 속성형 그래프가 형성되게 하는 그래프 합성 처리 수단과; 상기 그래프 합성 처리 수단과 연결되며, 영상을 구성하는 데이타에 나타날 것으로 기대되는 확인 가능한 표적을 표시하는 기설정된 기준 그래프를 저장하는 기준 그래프 기억 수단과; 상기 그래프 합성 처리 수단에 연결되며, 기설정된 속성형 기준 그래프를 감지 그래프 비교하여 대상 인식 판단을 하며, 그리고 상기 두 그래프 간의 유사도를 근거로 상기 두 그래프 간의 최적 공통 서브그래프를 만들며, 유사도 및 기설정된 임계값을 근거로 인식판단을 하며, 표적지를 결정하는 출력 신호를 제공하며, 그리고 상기 출력 신호가 확인된 표적으로 미사일을 향하게 하는데 적합한 유도신호를 제공하기 위하여 미사일 유도 시스템의 입력으로 연결되는 그래프 정합 처리 수단을 포함하는 장면 인식 시스템.
7. 영상화된 장면에 놓인 표적을 확인하고 추적하기 위하여 로우 및 하이레벨 특징 검출을 이용하는 장면 인식 시스템으로서, 영상화된 장면으로부터 얻어지고 영상화된 장면을 표시한 영상 데이타를 처리하는데 적합하며, 기설정된 일련의 속성을 이용하여 영상 데이타를 기호적으로 영상을 표시한 직각 아이콘 매트릭스로 변환함으로써 영상화된 장면으로부터 로우레벨 특징을 추출하는 로우레벨 특징 검출 처리 수단과; 상기 로우레벨의 특징 검출 처리 수단에 연결되며, 블럭 해상도 경계선을 가진 일련의 영영을 발생하기 위해 완화를 기초로한 알고리듐으로써 동질 휘도 영역을 가진 직각 아이콘 집단을 형성하되, 동질 휘도를 갖는 구성요소인 아이콘의 수를 포함하는 영역, 구성요소인 동질 휘도 아이콘의 평균 휘도를 포함하는 휘도 및 상기 구성요소인 동질 휘도 아이콘의 리스트에 의해 설명되는 동일 휘도 아이콘들로 구성되는 상기 직각 아이콘 집단을 형성하는 평면 연결 처리 수단과; 상기 평면 연결 처리 수단에 연결되며, 휘도 및 경사도를갖는 인접한 직각 아이콘을 부속시켜 특징-해상도 경계선을 제공하는 영역 확대 처리 수단과; 상기 영역확대 처리 수단에 연결되며, (1) 각 영역의 경사 경계선을 가로질러 각 영역의 둘레에 경사 사슬을 형성하며, (2) 각 선형 부분의 시작과 끝에 있는 사슬에 포인터를 삽입함으로써 각 영역에 대한 경사사슬을 선형부분으로 분해하며, (3) 2개 혹은 그 이상의 영역에 관련된 부분을 결합한 상기 선형 부분을 분해하여 선형부분을 형성하며, 상기 과정으로 평면 연결 및 영역 확대 처리 수단으로 구체화된 각 영역의 경계선 묘사 및 길이, 방위 및 끝점의 좌표로 표시되는 선형 부분에 대한 경계선 묘사를 만드는 경계선 형상 및 선형 특징 추출처리 수단과; 상기 경계선 형성 및 선형 특징 추출 처리 수단에 연결되며, 경사 경계선 및 선형 특징 추출 처리 수단으로써 제공되는 선형 특징으로부터 리본 대상을 형성하며, 상기 대상의 기호적 묘사를 만들며, 평면 연결 및 영역 확대 처리 수단으로써 제공되는 영역을 기호적으로 묘사함으로서 속성형 감지그래프의 노드로 정의되는 영역 대상을 만들며, 상기 영역의 기호적 묘사가 속성을 포함하는 대상 형성 처리 수단을 포함함으로써 영역 대상에 대하여 상기 대상 형성 처리 수단은 면적, 주변의 길이 및 블록 다각형의 속성을 계산하며, 리본 대상에 대하여 상기 대상 형성 처리 수단은 라인 테이블을 조사함으로써 (1)180°로 방위가 다른 라인쌍,(2) 서로 매우 근접한 라인쌍, (3) 비슷한 휘도가 측면에 있는 라인쌍 및 (4)양라인이 평행인 다른 라인 부분을 둘러싸지 않는 라인쌍을 찾아 이런 제한에 해당되는 한쌍의 라인이 발견되면 상기 리본에 대한 속성을 계산하는 바 리본 대상에 대한 속성에는 (1) 리본의 휘도, (2) 리본의 극성(어둠위 밝음 또는 밝음 위의 어둠), (3) 리본의 폭(두라인 사이의 거리) 및 (4) 리본의 방위가 포함되며; 상기 로우레벨 특징 검출 처리 수단에 연결되며, 직각 아이콘을 처리하고 대상 형성 처리 수단으로써 제공되는 영역 및 리본 대상 간의 관계적 묘사를 계산하여 영역 및 리본 대상과 상기 대상의 관계로부터 속성형감지 그래프를 형성하되, 그래프 노드에 상기 영역 및 리본 대상의 각각이 그의 속성과 함께 놓이고 상기 노드들을 링크하는 그래프 링크들에 상기 대상 쌍들간의 관계들이 그들의 속성들과 함께 놓임으로써 상기영상들을 기호적으로 나타내는 완전 연결된 속성형 그래프가 형성되게 하는 그래프 합성 처리 수단과; 상기 그래프 합성 프로세서에 연결되며, 영상화된 장면을 구성하는 데이타에 나타날 것으로 기대되는 확인 가능한 표적을 표시하는 기설정된 기준 그래프를 저장하는 기존 그래프 기억 수단과, 상기 그래프 합성 프로세서에 연결되며, 기설정된 속성형 기준 그래프를 감지 그래프에 비교하여 상기 두 그래프 간의 유사도를 근거로하여 상기 두 그래프 간의 최적 공통 서브그래프를 만들며, 유사도 및 기설정된 임계값을 근거로 인식판단을 하며, 그래서 그래프 정합 처리 수단이 방향이 있는 깊이 우선 탐색 기술을 이용하여 속성형 기준 및 감지 그래프에서 노드 및 아크 속성간의 가능한 정합을 평가하며, 그래서 상기 속성형 기준 및 감지 그래프에서 노드 및 아크 속성간의 정합도로써 가능성이 결정되며, 탐색 절차가 포함되어 기설정된 임계값보다 큰 유사도를 만들 수 없는 트리의 경로를 버리며, 그래서 어떤 그래프에 있는 단일 대상을 다른 그래프에 있는 다수의 대상과 정합하는 해결법과 같은 모호한 해결법을 이끌어 내는 경로가 무시되며, 원래 장면에 나타난 대로 대상간의 공간적 관계를 유지하지 않는 경로가 무시되는 그래프 정합 수단을 포함하는 상기장면 인식 시스템.
8. 영상화된 장면에 놓인 표적을 추적하기 위한 미사일 유도 시스템으로 사용하기 위한 방법으로서, 상기 방법이; 영상화된 장면으로부터 얻어지고 영상화된 장면을 표시하는 영상 데이타를 처리하고, 기설정된 일련의 속성을 이용하여 영상 데이타를 영상화된 장면을 기호적으로 표시하는 각각 아이콘 매트릭스로 변화함으로써 로우레벨 특징을 추출하는 단계와; 상기 직각 아이콘을 처리하여 직각 아이콘과 상기 대상의 관계를 포함하는 영역 및 리본 대상으로부터 속성형 기준 그래프를 형성하되, 그래프 노드에 상기 대상들의 각각이 그의 속성과 함께 놓이고 상기 노드들을 링크하는 그래프 링크들에 상기 대상쌍들간의 관계들이 그들의 속성과 함께 놓임으로써 상기 영상들을 기호적으로 나타내는 완전 연결된 속성형 그래프가 형상되게하는 단계와; 상기 영상화된 장면을 구성하는 데이타에 나타낼 것으로 기대되는 확인 가능한 표적을 표시하는 기설정된 기준 그래프를 저장하는 단계와; 상기 기설정된 기준 그래프를 속성형 감지 그래프에 비교하여 대상 인식 판단을 하며, 표적지를 결정하는 출력 신호를 제공하며, 그리고 확인된 표적으로 미사일을 향하게 하는데 적합한 유도 신호를 제공하기 위하여 상기 출력 신호가 미사일 유도 시스템의 입력으로 연결되는 단계를 포함하는 상기 방법.
9. 제8항에 있어서, 상기 영상 데이타 처리 단계는; 블럭 해상도 경계선을 가진 일련의 영역을 발생하기 위해 완화를 기초로한 알로리듐으로써 동질 휘도 영역을 가진 직각 아이콘 집단을 형성하되, 동질 휘도를 갖는 구성 요소인 아이콘 수를 포함하는 영역, 구성요소인 동질 휘도 아이콘의 평균 휘도를 포함하는 휘도 및 상기 구성요인 동질 휘도 아이콘의 리스트에 의해 설명되는 동질 휘도 아이콘들로 구성되는 상기 직각 아이콘 집단을 형성하는 단계와; 휘도 및 경사도가 있는 인접한 직각 아이콘을 부속시켜 특징-해상도 경계선을 제공하는 단계를 포함하는 상기 방법.
10. 영상화된 장면에 놓인 미리 정한 대상을 확인하는 방법으로서, 미리 정한 대상의 표시를 기설정된 그래프 포맷에 저장하는 단계와; 영상 데이타를 처리하여 상기 영상화된 평면에 있는 영상 특징을 표시하는 아이콘을 만드는 단계와; 상기 아이콘을 처리하여 상기 영상화된 장면에 있는 대상을 형성하는 단계와; 영상화된 장면에서의 대상을 대상의 표시로 합성하는 단계와; 상기 영상화된 장면에서의 합성된 대상 표시는 밀 저장된 대상의 표시에 비교하여 상호간의 관련 여부를 결정하는 단계와; 합성된 표시와 저장된 표시간의 정합을 나타내는 출력신호를 제공하며, 그리고 상기 출력 신호가 영상화된 장면에 놓인 미리 정한 대상의 표시를 나타내는 단계를 포함하는 상기 방법.