KR20090018093A - Ｓｉｍｄ 프로세서 상의 패턴 검출 - Google Patents

Abstract

데이터 구성요소 그리드를 포함하는 이미지내에 있는 패턴을 검출하는 방법은 각 데이터 요소를 사전결정된 순서로 처리한다. 데이터 구성요소 중 하나를 처리할 때, 다음 단계가 수행된다. 만일 국부적 특징이 존재한다면 이 국부적 특징에 관한 정보를 생성하기 위해 사전결정된 국부적 특징이 데이터 구성요소에서 존재하는 지가 체크된다(100). 전파 방향(42)은 생성된 정보와 연관되고, 여기서 전파 방향은 이 전파 방향을 따라 데이터 구성요소가 여전히 처리되어야 하도록 선택된다. 데이터 구성요소에 전파된 정보뿐만 아니라 생성된 정보는 각 정보와 연관된 각 전파 방향을 따라 데이터 구성요소에 최근접한 각 데이터 구성요소에 전파된다(110). 이미지 내의 어느 곳에 확립된 국부적 특징에 관한 데이터 구성요소로 전파된 정보에 기초된 복수의 특징(32)을 포함하는 사전 결정된 패턴이 존재하는 지가 체킹되고(104), 만일 발견된다면 이 패턴에 관한 정보는 출력된다(108).

SIMD, 프로세서, 컴퓨터, 이미지인식, 패턴인식

Description

ＳＩＭＤ 프로세서 상의 패턴 검출{PATTERN DETECTION ON AN SIMD PROCESSOR}

본 발명은 데이터 구성요소 그리드를 포함하는 이미지에서 패턴을 검출하는 방법에 관한 것이다. 본 발명은 또한 시스템 및 컴퓨터 프로그램 제품에 대한 것이다.

이미지에서의 물체 및 패턴 인식은 예를 들면, 로봇식의 시각에서 중요하다. 패턴 인식 업무의 계산적 복잡성때문에, 특히 결과가 실시간으로 요구되고 계산 리소스가 제한된다면 병렬화가 바람직하다. 단일 명령어, 복수 데이터(SIMD: Single Instruction Multiple Data) 프로세서는 이들이 픽셀 크런칭 업무(crunching task)를 위해 저전력 소모와 결합된 비교적 고성능을 제공하므로 이미지 처리를 위해 사용될 수 있다. 수개의 비디오 개선 기술은 이들 머신상에 성공적으로 구현되어 왔지만, 그러나 다르게 사이즈가 형성되고, 아마도 변형될 수 있는 물체를 위한 이미지 분석을 수행하는 것은 어려운데, 왜냐하면 선형 SIMD 머신의 국부적인 라인 기반 시야때문이다.

미국특허출원번호 제2002/0181775호는 물체의 이미지와 물체 모델 사이의 유사성 정도를 나타내는 특징값을 계산하기 위한 이미지 인식 알고리즘을 기술한다. 계층적 병렬 처리를 써서 계산이 수행될 수 있다. 이 방법은 사전결정된 카테고리 및 사이즈의 패턴을 검출하거나 또는 다양한 사이즈를 위한 소규모 회로를 사용하여 효율적으로 인식을 수행할 수 있는 패턴 인식 처리를 제공할 수 있다. 장치는 패턴 데이터를 복수회 시간 순차적으로 입력함으로써 데이터를 입력하기 위한 시분할 데이터 입력 수단과, 위치 입력 수단, 및 특징 검출 수단을 포함한다. 이 특허 출원은 다른 스캐닝 위치에서 검출된 복수의 특징을 통합하는 단계 및 통합 결과에 기초하여 특정 패턴 존재의 가능성을 결정하는 단계를 포함하는 방법을 공개한다.

미국특허출원번호 제2002/0181765호는 신경망 등의 병렬 동작에 의해 패턴 인식, 특정 물체의 검출 등을 실행하는 패턴 인식 장치의 회로 구성을 기술한다. 종래에는, 이미지 인식 또는 음성 인식의 처리는 컴퓨터 소프트웨어로서 어떤 물체의 인식을 위해 특정된 인식 처리 알고리즘을 연속적으로 실행하는 타입, 및 전용 병렬 이미지 프로세서(SIMD, MIMD 머신등)에 의해 이러한 알고리즘을 실행하는 타입으로 분할된다. 예를 들면, 물체 인식 장치가 알려져 있으며, 이 장치에서 복수의 이미지 프로세서 유닛이 이러한 프로세서 유닛에서 제공된 DSP에 의해 프로세스를 실행하기 위해 사용된다. 이 특허 출원은 입력 신호 내에 포함된 사전결정된 패턴을 검출하는 패턴 인식 장치를 공개하며, 이 장치는 동일한 입력에 대해 각각 상이한 특징을 검출하는 복수의 검출 처리 수단과; 각 프로세스 결과를 위해, 상기 복수의 검출 처리 수단에 의해 검출된 특징을 공간적으로 적분하는 복수의 적분 처 리 수단과; 상기 적분 처리 수단의 프로세스 결과를 보유하기 위한 복수의 적분 메모리와; 모든 상기 사전결정된 검출 처리 수단과 모든 상기 사전결정된 적분 메모리가 일정한 타이밍에서 연결된 공통 데이터 라인과; 각각이 상기 검출 처리 수단, 상기 적분 처리 수단 및 상기 검출 메모리의 사전결정된 세트에 연결되는 복수의 국부적 데이터 라인을 포함하되, 상기 검출 메모리에 보유된 상기 검출 처리 수단의 처리 결과를 상기 적분 처리 수단으로 입력할때, 상기 복수의 검출 메모리내에 있는 동일한 어드레스의 데이터가 판독되고 상기 적분 처리 수단으로 입력되고; 상기 적분 메모리내에 보유된 상기 적분 처리 수단의 처리 결과를 상기 검출 처리 수단으로 입력할때, 상기 복수의 검출 메모리내에 있는 동일한 어드레스의 데이터가 판독되고 상기 검출 처리 수단으로 입력된다.

종래 기술에서 공개된 시스템은 비교적 복잡하다. 이들은 종종 이 데이터를 복수회, 때때론 다른 규모에서 입력 및 처리하는 것을 요구한다. 신경망은 계산적으로 비싸고, 개발 노력에 더하여, 다방면에 걸치는 훈련 절차를 요구한다.

본 발명의 목적은 덜 복잡한 신뢰성있는 물체 인식을 제공하는 것이다. 본 발명은 독립항에 의해 한정된다. 종속항은 유리한 실시예를 한정한다.

본 방법은 패턴 인식을 위한 효율적인 원-패쓰(one-pass) 알고리즘을 제공하는데, 여기서 패턴은 복수의 특징을 포함한다. 이 특징에 관련한 정보는 이미지를 따라 사전결정되고 관련된 방향으로 전파되므로, 따라서 정보는 전파 방향을 따라 데이터 구성요소를 처리하는 때에 처리 구성요소에 이용가능하다. 이는 데이터를 단일 패쓰(single pass)로 처리하는 동안, 처리 구성요소가 특징과 관련한 정보를 다른 정보와 결합하여 패턴에 관련한 정보를 확립하는 것을 허용한다.

2개 이상의 특징은 다른 방향으로 전파될 수 있으므로, 따라서 제 1 및 제 2 특징 둘 다에 관련한 정보는 2개의 전파 방향의 교차점에서 데이터 구성요소를 처리하는 처리 구성요소에서 이용가능하게 된다. 따라서, 복수의 특징을 포함하는 물체는 각 전파 방향의 교차점에서 검출될 수 있다. 제 1 및/또는 제 2 특징은 또한 2개 이상의 방향, 또는 팬 각도 내의 모든 방향으로 전파되어 전파된 특징이 교차점에서 만날 확률을 증가시킬 수 있다.

또한 패턴의 존재를 체킹하는 단계에서, 전파된 정보와 국부적 특징에 관한 정보를 결합하는 것이 가능하다.

일실시예에서, 데이터 구성요소를 처리하는 사전결정된 순서로 인해 격자선의 모든 데이터 구성요소는 후속하는 이웃 격자선의 데이터 구성요소를 처리하기 위한 진행에 앞서 처리된다. 데이터 구성요소를 처리하는 이러한 순서를 이용하면, 전파 방향을 따라 데이터 구성요소가 여전히 처리되도록 전파 방향을 발견하는 것이 특히 용이하다.

실시예는 사전결정된 순서에 따라 병렬로 복수의 각 데이터 구성요소를 처리하기 위한 복수의 처리 구성요소를 사용하는 단계를 포함하며, 여기서 정보를 전파하는 단계는 정보가 전파되는 각 데이터 구성요소를 처리하기 위해 스케쥴링되는 처리 구성요소에 이 정보가 이용가능하게 하는 단계를 포함한다. 본 발명은 병렬 처리 아키텍처에서 유리하게 이용될 수 있다.

실시예에서, 데이터 구성요소를 처리하는 사전결정된 순서로 인해 병렬로 처리되도록 스케쥴링된 복수의 데이터 구성요소는 단일 격자선의 일부가 되고, 격자선의 모든 데이터 구성요소는 후속하는 이웃 격자선의 데이터 구성요소를 처리하기 위한 진행에 앞서 처리된다. 예를 들면, 데이터 구성요소는 처리되는 단일 격자선 중 적어도 하나에 수직으로 배향된 분리된 스트립으로 분할되며, 각 처리 구성요소는 각 스트라이프 내에 있는 데이터 구성요소를 처리하기 위해 배열된다. 격자선은 이미지의 한쪽면에서 시작하여, 이미지의 다른 쪽면을 향하여 동작하면서, 하나씩 처리될 수 있다. 전파 방향은 아직 처리되지 않고 여전히 처리를 필요로 하는 데이터 구성요소쪽으로 향한다.

본 발명의 이 측면은 예를 들면, 일련의 프로세서는 다른 열의 이미지를 각 처리하는 경우에서 효율적이다. 완전한 일련의 프로세서는 한 단계에서 모든 라인의 이미지를 처리할 수 있다. 두 번째 단계에서, 다음 라인이 처리된다. 제 1 처리 구성요소로부터 그 인접 처리 구성요소(이웃열의 이미지를 처리함)로 정보를 전파함으로써, 그 이웃 처리 구성요소는 이웃 열 및 다음 라인에 위치된 데이터 구성요소를 처리하는 경우 발견된 특징에 관련한 정보를 고려할 수 있다.

실시예에서, 패턴의 존재를 체킹하는 단계는 또한 생성된 정보에 기초하여 실행된다. 이는 현재 처리되는 데이터 구성요소에서 발견된 특징을 갖는 이미지의 어딘가에 있는 특징에 관한 전파된 정보를 결합하는 것을 허용한다.

일실시예에서, 처리 구성요소는 단일 명령어 다중 데이터 타입의 프로세서의 처리 구성요소이다. 이러한 타입의 프로세서는 특히 이전에 설명된 데이터 처리 타입에 적합하다.

일실시예에서, 이 패턴은 사전한정된 타입의 물체에 대응한다.

종종 물체는 이 물체에 관련된 다수의 다른 특징을 검출함으로써 인식될 수 있다. 이 특징은 이미지에서의 한 패턴을 함께 형성한다. 이 특징의 존재 및 이들의 상대적 위치는 물체를 식별하기 위해 사용될 수 있다. 유리하게는, 이 특징과 관련한 정보는 또한 특징의 이미지에서 각 위치에 관련한 정보를 포함한다. 이는 더 정확하게 특징의 상대적 위치를 결정하게 하는 것을 가능하게 한다.

일실시예에서, 정보를 전파하는 단계는 정보가 전파되는 각 데이터 구성요소를 처리하기 위해 스케쥴링되는 처리 구성요소에 의해 액세스가능한 메모리내에 이 정보를 저장하는 단계를 포함한다. 이는 특히 병렬 계산을 이용하는 본 발명에 따른 방법을 구현하기에 특히 효율적인 방식이다.

일실시예는 만일 패턴이 존재하면 이에 관한 정보를 생성하고 이 생성된 정보와 전파 방향을 연관시키는 단계를 포함하되, 여기서 전파 방향은 전파 방향을 따른 데이터 구성요소가 여전히 처리되어야만 하도록 선택되고, 여기서 패턴의 존재를 체킹하는 단계는 또한 이미지내의 어떤곳에 확립된 패턴에 관한 데이터 구성요소에 전파된 정보에 기초된다. 이는 이들의 각 전파 방향의 교차점과 다른 위치에서 수개 특징의 정보를 이용하는 것을 가능하게 한다. 교차점 이후, 결합된 정보는 더 멀리 전파되므로, 따라서 정보는 이미지 내의 어떤곳에서 검출된 특징으로 결합될 수 있다.

일실시예에서, 생성된 정보와 데이터 구성요소에 전파된 정보는 사전결정된 팬 각도 내에 있는 이미지를 따라 모든 방향으로 전파된다. 이는 패턴이 발견될 확률을 증가시키는데, 왜냐하면 이 특징에 관한 정보는 더 많은 데이터 구성요소에서 이용가능하기 때문이다.

일실시예에서, 전파 방향은 이미지의 축 중 적어도 하나와 45도 각도 또는 0도를 갖는다. 이 실시예는 특히 연결된 처리 구성요소가 데이터 구성요소의 이웃 스트라이프를 처리한다면, 정사각형 픽셀 또는 입방 복셀(cubic voxel)의 경우에서 비교적 효율적이다. 데이터 구성요소가 처리될 때마다, 확립된 전파 및 전파에 의해 획득된 특징은 이웃 데이터 구성요소(들) 및/또는 이웃 처리 구성요소에 전파된다.

일실시예에서, 국부적 특징은 이미지에서의 테두리(edge) 또는 변화도(gradient), 이미지에서의 스폿, 이미지의 국부적인 엔트로피, 및 이미지의 국부적 컬러 중 적어도 하나에 관련된다. 이들은 물체에서 보통 발생하는 일부 특징이다. 물체는 위에서 기술한 수개의 특징을 결합함으로써 신뢰할 수 있게 검출될 수 있다. 다른 타입의 특징은 또한 본 발명에서 사용될 수 있다.

일실시예는 정보가 생성되었던 제 1 국부적 특징과 연관된 제 1 전파 방향과, 정보가 생성되었던 제 2 국부적 특징과 연관된 제 2 전파 방향의, 상기 이미지의 경계 밖에 위치된 교차점의 존재를 확립하는 단계; 및 상기 제 1 국부적 특징에 관한 정보와 상기 제 2 국부적 특징에 관한 정보에 기초된 복수의 특징을 포함하는 패턴의 존재를 체킹하는 단계, 및 만일 발견되면 상기 패턴에 관한 정보를 출력하는 단계를 포함한다. 이 실시예는 패턴이 비록 전파 라인의 교차점이 이미지의 밖에 있을 지라도 검출되는 것을 허용한다.

본 발명의 이들 및 다른 측면은 도면을 참조하면 명백해질 것이다.

도 1은 본 발명의 실시예를 도시한 도면.

도 2는 본 발명의 다른 실시예를 도시한 도면.

도 3 내지 도 6은 본 발명의 사용을 예시하는 도면.

도 7은 본 발명의 실시예를 예시하는 도면.

SIMD 프로세서는 이들이 픽셀 크런칭 업무(crunching task)에 대하여 고성능을 제공하고, 그럼에도 불구하고 저전력 소모를 제공하므로, 이미지 처리를 위한 사용에 매우 유리하다. 픽셀 처리는 종종 본래 병렬이므로, 따라서 Xetal과 같은 단순한 SIMD 머신에 완전하게 적합하다. 수개의 비디오 개량 기술이 이들 머신에 성공적으로 구현되어 왔지만, 그러나 다른 사이즈의, 아마도 변형 물체에 대하여 이미지 분석을 수행하는 것은 어려운데, 왜냐하면 선형 SIMD 머신의 국부적, 라인 기반 시야때문이다.

선형 SIMD 머신, 또는 선형 프로세서 어레이(LPA)는 하드웨어에서 유리한데 왜냐하면 이들은 쉽게 직렬연결될 수 있고(cascaded), 프로세서는 레이아웃 및 배 선 문제없이 울트라 와이드(utra-wide) 메모리를 공유할 수 있기 때문이다. 이미지 분석에서, 자연 물체는 종종 이 물체 내 및 주위에 있는 일정한 특징을 식별함으로써 인식되는데, 왜냐하면 물체는 변형될 수 있고 사이즈에서 다를 수 있기 때문이다. 이 특징의 상대적 위치 및 이들의 존재는 완전한 물체를 인식하기 위해 사용될 수 있다.

쉬운 예시는 몸짓 인식에 대한 손 검출(hand detection)이다. 여기서, 예를 들면, 다음 특징이 사용될 수 있다.

1. 피부 색깔

2. 세기: 하얀 손은 고 휘도(brightness) 레벨을 갖는, 반면에 검은색 손은 저 휘도 레벨을 갖는다.

3. 테두리: 손가락 주위, 비교적 많은 개수의 테두리가 이미지의 비교적 작은 영역에 나타난다.

4. 모션: 몸짓의 경우, 손은 옆으로 이동중이다.

이들 특징은 단순한 필터 기술에 의해 이미지 내에서 발견될 수 있다. 이들 각각은 별도로 손을 식별하기에 충분하지 않으며, 가중된 조합이 더 강력하고 잘 구별한다. 비록 서로에 관련한 특징의 위치가 알려져 있을지라도, 절대 위치는 기형적인 물체의 사이즈 차이로 인해 알려지지 않는다. LPA-SIMD 프로세서만이 이미지의 제한된 시야를 갖는다(아이템 1과 2를 보지만, 아이템 3 및 4를 놓치는 것처럼, 왜냐하면 극소수 라인의 이미지만 제한된 (캐시) 메모리 내에 저장될 수 있기 때문이다). 이들이 어딘가에서 합류/조우해야 하는 방식으로 이미지 데이터를 통하 여 응답의 데이터를 "브로드캐스팅"함으로써, 모든 특징이 충분히 확실하게 보여지는 것이 확실한 이미지 내에 이러한 특정 스폿이 존재한다. 예시의 특징에 대한 브로드캐스팅은 이미지의 스캐닝 방향에서 수행될 수 있다. 이 이미지의 한 영역에서, 모든 검출된 특징 메시지는 통합되어 긍정의 식별이 주어질 수 있다.

본 발명의 실시예를 실현하기 위한 매우 잘 어울리는 아키텍처는 Xetal LPA-SIMD이다. 이는 도 2에 개략적으로 도시된 아키텍처를 갖는다. 이는 메모리(26) 및 제어기(28)를 포함한다. 처리 어레이(20)는 제어기(28)의 제어하에 있는 명령어를 실행하는 처리 구성요소(PE 0, PE 1,..., PE n)를 포함한다. 라인 메모리 내의 정보는 제어기(28)의 명령하에 있는 이미지 데이터를 포함하는 주 메모리와 같은 주변기기와 교환된다. 라인 메모리는 데이터 구성요소, 예를 들면 화상 구성요소(픽셀) 또는 체적(volume) 구성요소(voxel)를 포함한다. 라인 메모리(26) 내에 있는 각 데이터 구성요소는 연결(21)을 써서 각 처리 구성요소(24)에 연결된다. 또한 처리 구성요소는 교차 연결(22)을 써서 이웃 데이터 구성요소로의 액세스를 갖는다. 프로세서 어레이(20)(PE 0...PE n)는 요구된 특징 세트(위 예에서 아이템 1-4)의 검출을 위해 필요한 모든 단순 필터링을 행할 수 있다. 이웃 구성요소로 교차 연결(22)을 갖게 함으로써, 45도(degree) 및 0도(degree)의 데이터 브로드캐스트는 매우 효율적으로 수행될 수 있다. 연결(21) 및 교차 연결(22)은 멀티플렉서에 의해, 각 처리 구성요소(24)가 라인 메모리(24)에서 좌, 우, 또는 바로 위의 메모리 구성요소로부터 정보를 획득하는 것을 허용하도록 실현될 수 있다.

각 처리 구성요소(24)는 검출되는 이전 특징을 나타내기 위해 브로드캐스팅 된 메모리 워드의 상대적 비트 평면을 세팅할 수 있는 부울린 연산자 OR를 수용한다. 또한, 이는 예를 들면, 프레임의 시작시 또는 물체가 검출된 이후 브로드캐스팅된 신호를 클리어하기 위한 연사자 CLEAR를 갖는다. 퓨전 필터링, 하향 브로드캐스팅 및 LPA-SIMD의 이러한 조합은 저비용 물체 인식을 위한 강력한 기회를 제공한다.

또 다른 실시예에서, 하드웨어 템플릿은 도 1에 개략적으로 도시된 바와 같이, 선형 형상(LPA)에서의 연결 SIMD 프로세서이다. 처리 구성요소(12)(PE 0 내지 PE n)는 제어기(미도시)의 제어하에서 명령어를 실행한다. 이 처리 구성요소(12)는 입력(10)을 통하여 데이터 구성요소를 수신하고 검출된 특징에 관한 정보를 출력(14)에 쓴다. 정보는 연결(16)을 사용하여 이웃 처리 구성요소 사이에 교환된다.

각 처리 구성요소(또는 프로세서)는 이미지의 하나 이상 열을 처리한다. 만일 각 프로세서가 2개 이상의 열을 처리한다면, 이들은 바람직하게는 인터리빙되는 방식으로 처리된다. 한 행의 모든 데이터 구성요소는 다음 행으로 진행하기 전에 처리된다. 따라서 이미지의 행은 이미지의 톱-다운 스캐닝으로부터 처리되며, 각 (SIMD) 명령어는 하나의 완전한 이미지 행을 처리한다. 이 하드웨어는 모든 종류의 콘벌루션 필터가 이미지내의 특징(가령 색깔, 테두리)을 용이하게 검출하게 하고 또한 다음 처리 상태에 수직적 하향으로 정보를 브로드캐스팅한다:

if ( filter "X" responded ) then

state (0) = state (0) OR "X";

else

state (0) = state (0);

endif ;

또는 45도 좌측(-1) 또는 우측(+1):

if ( filter "Y" responded ) then

state (+/-1) = state (+/-1) OR "Y";

else

state (+/-1) = state (+/-1);

endif .

달리 말하면, 45도 정보 전파는 좌측 및/또는 우측 상의 이웃 처리 구성요소로 정보를 포워딩함으로써 실현된다. 이는 연결(16)을 이용하여 직접 이루어질 수 있거나, 또는 교차 연결(22)을 사용하여 라인 메모리(26) 내의 이웃 데이터 구성요소를 변경함으로써 이루어질 수 있다. 효과적으로는, 좌측 또는 우측으로 하나의 처리 구성요소의 상태 벡터가 수정된다. 단순하고 효과적인 실시예에서, 3개의 전파 방향이 사용된다. 이러한 실시예에서, "수직" 전파 방향, 즉 0도의 전파 방향은 state(0)의 수정을 암시하고, -45도의 전파 방향은 state (-1)를 암시하고, +45도의 전파 방향은 state (+1)의 수정을 암시한다. 각 특정 상태 벡터에서, 원하는 방향으로 브로드캐스팅될 필요가 있는 필터의 결과가, 예를 들면 비트 평면을 세팅함으로써 쓰여진다.

한 행의 이미지를 처리하는 동안, 각 처리 구성요소와 연관된 상태 벡터는 충분한 특징이 물체의 검출에 관해 결론을 낼 수 있도록 검출되는 지를 증명하기 위해 체킹된다.

본 발명 실시예의 예시적인 사용은 도 3 내지 6에 예시된다. 도 3은 처리될 컬러 이미지의 개략적인 스케치이다. 이 이미지는 테두리(31), 컬러 이미지에서는 적색으로 나타나는 미등(32 및 34), 차번호판(36), 및 쉐도우(38)를 구비하는 자동차의 투영(projection)을 포함한다. 미등(32 및 34)은 이미지에서의 적색 스폿 존재를 검출하는 상대적으로 단순한 필터에 의해 특징으로 검출될 수 있다. 차번호판(36)은 예를 들면, 차번호판이 비교적 작은 영역에서 비교적 고밀도의 테두리를 가지는 것을 가정을 함으로써 검출될 수 있다. 이들 테두리는 차번호판 그자체의 테두리에 관련될 뿐만 아니라 차번호판 번호를 형성하는 문자에 관련된다. 따라서, 이 차번호판은 고밀도의 테두리를 검출함으로써 검출될 수 있다. 이 차번호판을 검출하기 위한 또다른 가능한 방식은 이분야에서 알려진바와 같이, 광학 문자 인식 기술을 포함한다. 또한 쉐도우(38)는 이미지내에서 비교적 어두운(저휘도) 영역을 검출함으로써 검출될 수 있다. 이들 및 다른 특징은 자동차의 자동 물체 인식을 위해 자동적으로 구별되고 검출될 수 있다. 다른 가능한 특징은 윈도우, 타이어, 휠, 문 및 그 외 여러가지를 포함한다. 본 예에서는, 특징인 "미등", "차번호판", 및 "쉐도우"의 사용을 논의한다. 바람직한 실시예에서, 더 많은 특징은 논의된 특징에 유사한 방식으로 인식되고 전파되는데, 이는 더 많은 특징을 검출함으로써, 물체 인식이 더 강력해지기 때문이다. 이미지는 행마다 바람직하게는, 단일 행을 처리하기 위해 복수의 처리 구성요소를 사용하여, 처리된다. 이 이미지는 상단에서부터 하단으로 처리된다. 한 열 또는 한 세트의 열을 따라 모든 데이터 구성요소가 단일 처리 구성요소에 의해 처리된다. 대안적인 실시예에서, 이미지는 좌측으로부터 우측으로, 우측으로부터 좌측으로, 하단으로부터 상단으로, 또는 임의 다른 순서로 처리된다. 데이터 구성요소에 대한 처리 구성요소의 분포는 또한 다를 수 있다.

도 4를 참조하면, 미등(32)을 포함하는 이미지의 행을 처리하는 경우, 미등(32)을 포함하는 열에 있는 데이터 구성요소를 처리할 책임이 있는 처리 구성요소는 적색 스폿으로서 미등(32)을 검출할 것이다. 이는 2개 방향, 즉 45도 좌측 하향(화살표(40)에 의해 표시됨), 및 45도 우측 하향(화살표(42)에 의해 표시됨)에서 특징 '적색 스폿'을 하향으로 전파할 것이다. 이는 적색등에 관한 정보를 방향(40) 또는 방향(42)을 따라 데이터 구성요소(예를 들면, 픽셀)를 처리하게 될 처리 구성요소에 전파시킴으로써 이루어진다. 미등을 나타내는 적색 스폿을 검출하는 처리 구성요소는 플래그로 하여금 좌측 및 우측상의 이웃열의 데이터 구성요소를 처리하는 책임이 있는 2개의 처리 구성요소에서 세팅되는 것을 야기할 것이다. 또한, 예를 들면 이 특징이 검출되었던 확실성 및 이 특징이 검출되었던 위치에 관한 추가 정보가 2개의 처리 구성요소에 제공될 수 있다. 다음 이미지 행을 처리하는 경우, 플래그 및 추가 정보는 기술된 플래그 세트를 가지는 2개의 처리 구성요소에 의해 고려된다. 플래그 및 추가 정보는 다른 처리 구성요소에 의해 세팅될 수 있는 다른 플래그에 관련한 정보, 및 그 처리 구성요소에 의해 현재 처리되는 데이터 구성요소에 관련한 정보와 결합된다. 만일 물체가 검출되지 않으면, 특징은 라인(40 및 42)을 따라 추가로 전파된다.

유사하게는, 미등(34)은 처리 구성요소에 의해 검출되고, 이 특징에 관련한 정보는 라인(44 및 46)을 따라 전파된다. 방향(42 및 44)은 교차점(48)을 갖는다. 이 교차점(48)에서의 데이터 구성요소를 처리하는 처리 구성요소는 미등 둘 다에 관한 정보를 결합한다. 바람직한 실시예에서, 적어도 하나의 이웃 처리 구성요소 또는 데이터 구성요소에 전파되는 정보가 고려된다. 이는 2개 전파 라인(44 및 46)의 교차점에 데이터 구성요소가 없는 상황을 다루는 것을 허용한다.

도 5는 복수의 처리 구성요소에 의해 검출되는 차번호판(36)을 보여준다. 이 차번호판의 특징에 관련한 정보는 수직으로 하향 전파된다. 이는 한 플래그를 처리 구성요소 내에 세팅하고 그 플래그를 세팅한 채로 유지시킴으로써 실현될 수 있다. 이 특징에 관해 유지된 정보는 단순한 플래그에 제한될 필요가 없으며, 이 이미지 내에서 그 위치에서 차번호판의 존재에 관한 확실성과 같은 더 많은 정보가 저장될 수 있다. 교차점(48)에서, 이 정보를 수직으로 하향 전파시킴으로써, 2개의 미등에 관련한 정보가 존재할 뿐만 아니라, 검출된 차번호판에 관한 정보도 존재한다. 이들 상황하에서, 일정 정도의 확실성을 가지고 자동차가 이 이미지내에 보여진다고 결론짓는 것이 가능하다. 교차점에서, 차의 쉐도우(38)는 또한 제 4 특징으로서 검출될 수 있으며, 이는 차가 이미지내에 보여지는 확실성을 증가시킨다.

도 6은 다른 이미지의 스케치이다. 이는 동일한 자동차(60)를 보여주지만, 그러나 일 각도에 있는 자동차를 보여준다. 특징 전파의 방향이 45도에 고정되기 때문에, 미등(62 및 64)의 전파 방향의 교차점(61)은 도 5의 상황과 비교되는 자동차와 관련한 다른 위치에 있다. 교차점(61)에서, 쉐도우(68)는 없고, 차번호판(66) 에 관한 정보는 교차점(61)에 전파된다. 물체를 인식할 수 있도록 하기 위해, 교차점(60)에서 입수가능한 특징의 조합(이는 미등 둘 다(62 및 64)에 관련한 정보임)은 방향 둘 다(65 및 67)로 추가로 전파된다. 이 결과는, 교차점(63)에서, 차번호판에 관련한 전파된 정보 및 쉐도우에 관련한 국부적 정보뿐만 아니라 미등 둘 다에 관련한 전파된 정보가 교차점(63)에서 데이터 구성요소를 처리하는 처리 구성요소에 모두 이용가능하다. 이러한 처리 구성요소는 모든 정보를 결합하고 자동차의 존재를 신호로 알린다. 유리하게는, 각 특징이 이미지 내에서 검출된 위치가 또한 전파된다. 이 정보를 결합하는 처리 구성요소는 이후 물체의 위치, 배향 및/또는 사이즈를 결정할 수 있다.

도 7은 본 발명의 실시예의 동작 흐름도를 예시한다. 특히, 처리 구성요소 중 하나 내에 있는 흐름이 예시된다. 단계(100)에서, 처리 구성요소는 데이터 구성요소를 처리한다. 가능하게는, 테두리 또는 특정 컬러 또는 세기와 같은, 사전한정된 특징이 검출된다. 단계(104)에서, 처리 구성요소는 처리 구성요소에 국부적인 데이터에 액세스함으로써 다른 특징에 관한 정보가 존재하는 지를 보기 위해 체킹한다. 이 정보는 또 다른 처리 구성요소로부터의 획득된 (전파된) 정보일 수 있거나, 또는 이는 이미지내의 또다른 위치에서의 동일 처리 구성요소에 의해 검출되는 특징일 수 있다. 단계(104)에서, 처리 구성요소는 검출된 특징에 관한 이용가능한 정보를 결합하고, 이에 기초하여, 사전한정된 물체가 검출되는 지를 결정한다. 이를 위해, 이 처리 구성요소는 인식될 각 타입의 물체를 위해 존재해야하는 특징에 관한 정보를 이용한다. 이 정보는 물체 모델에 기초된다. 만일 물체가 검출된다면 (단계(106)), 이는 단계(108)에서 보고된다. 이 리포팅은 플래그를 세팅하는 단계, 또는 신호를 또 다른 프로세서로의 전송하는 단계를 포함한다. 리포팅 후 또는 물체를 검출한 이후, 해당 특징은 보통 더 전파될 필요가 없다. 만일, 단계(106)에서 물체가 검출되지 않으면, 관련 특징은 단계(110)에서 다른 처리 구성요소로 전파된다. 이를 위해, 처리 구성요소는 정보를 유지하며, 이 정보로부터 어느 처리 구성요소에 각 특징이 전파되어야 하는 지를 도출할 수 있다. 단계(106)에서 비록 물체가 검출될지라도, 단계(110)에서 특징, 보통 이 물체와 연관되지 않은 특징의 일부에 관한 정보는 추가로 전파될 필요가 있을 가능성이 여전히 있다.

리포팅 단계(108) 및/또는 전파하는 단계(110)이후, 단계(112)에서 종료 기준이 평가된다. 예를 들면, 단계(108)에서 물체가 검출되거나, 또는 한 열의 이미지내에 있는 모든 데이터 구성요소가 처리된다면, 프로세스는 종료된다. 만일 종료 기준이 만족되지 않으면, 흐름은 다음 처리 구성요소를 처리하기 위한 단계(100)로 되돌아 간다.

한 격자의 데이터 구성요소를 포함하는 이미지내의 특징을 검출하는 방법의 일실시예는; 제 1 위치의 이미지내에 있는 제 1 특징(32)에 관련한 정보를 확립하는 단계; 제 1 위치로부터 제 1 방향(42)을 따라 위치된 데이터 구성요소를 처리하는 때, 처리 구성요소(24)가 제 1 특징(32)에 관련한 정보를 고려하게 하는 것을 가능하게 하는 단계; 제 1 위치 및 제 1 방향에 의해 한정된 라인(42)을 따라 데이터 구성요소를 처리하는 때, 제 1 특징(32)에 관련한 정보 및 제 2 특징(34)에 관련한 정보에 기초하여, 이 이미지내에 있는 물체(30)에 관련한 정보를 확립하는 단 계를 포함한다. 제 2 특징(34)은 제 2 방향(44)으로 전파되며, 이 물체는 제 1 라인(42) 및 제 2 라인(44)의 교차점(48)에서 확립된다.

본 발명은 또한 컴퓨터 프로그램, 특히 본 발명을 실행하기 위해 적응된, 캐리어(carrier)상 또는 내의 컴퓨터 프로그램까지 확장됨을 이해해야 할 것이다. 이 프로그램은 소스 코드, 객체 코드, 부분적으로 컴파일된 형태와 코드 중간 소스 및 객체 코드 형태로, 또는 본 발명에 다른 방법의 구현시 사용하기에 적합한 임의의 다른 형태로 있을 수 있다. 이 캐리어는 프로그램을 담을 수 있는 임의의 엔티티(entity) 또는 디바이스일 수 있다. 예를 들면, 캐리어는 ROM, 예를 들면 CD ROM 또는 반도체 ROM과 같은 저장 매체, 또는 예를 들면 플로피 디스크 또는 하드 디스크와 같은 자기 저장 매체를 포함할 수 있다. 추가로, 캐리어는 전기 또는 광 신호와 같은 전송가능한 캐리어일 수 있으며, 이는 전기 또는 광 케이블을 경유하거나, 무선 또는 다른 수단에 의해 운반될 수 있다. 프로그램이 이러한 신호로 구현되는 경우, 캐리어는 이러한 케이블 또는 다른 디바이스 또는 수단에 의해 구성될 수 있다. 대안적으로는, 캐리어는 프로그램이 구현되는 집적 회로일 수 있으며, 이 집적 회로는 관련 방법을 수행, 또는 이 방법의 수행시에 사용하기 위해 적응된다.

위에 언급된 실시예는 본 발명을 제한하기 보다 예시하고, 당업자라면 첨부된 청구항의 범위를 벗어남이 없이도 많은 대안적인 실시예를 설계할 수 있을 것임을 주목해야한다. 청구항에서, 괄호 사이에 놓인 임의의 참조기호는 청구항을 제한하는 것으로 이해되지 않아야 한다. 동사 "포함하다"의 그 활용 및 그 사용은 청구항에 기술된 것과 다른 구성요소 또는 단계의 존재를 배제하지 않는다. 구성요소 앞에 놓이는 관사 "하나"는 복수의 그 구성요소의 존재를 배제하지 않는다. 본 발명은 수개의 다른 구성요소를 포함하는 하드웨어, 및 적합하게 프로그래밍된 컴퓨터를 써서 구현될 수 있다. 수개의 수단을 열거하는 디바이스 청구항에서, 수개의 이들 수단은 하나의 동일한 하드웨어 아이템에 의해 구현될 수 있다. 일부 수단이 상호 다른 종속항에 인용된다는 단순한 사실은 이들 수단의 조합이 유리하게 사용될 수 있음을 나타낸다.

본 발명은 한 격자의 데이터 구성요소를 포함하는 이미지에서 패턴을 검출하는 방법에 가능하다. 본 발명은 또한 시스템 및 컴퓨터 프로그램 제품에 이용가능하다.

Claims (16)

1. 데이터 구성요소 그리드를 포함하는 이미지에서의 패턴을 검출하는 방법으로서,

   사전결정된 순서로 각 데이터 구성요소를 처리하는 단계를 포함하고, 상기 데이터 구성요소 중 하나를 처리할때,

   상기 데이터 구성요소에서 사전결정된 국부적 특징(32)의 존재를 체킹하는 단계(100)로서, 만일 상기 국부적 특징이 존재한다면 이에 관한 정보를 생성하고, 생성된 정보와 전파 방향(42)을 연관시키는 단계로서, 상기 전파 방향은 전파 방향(42)을 따라 데이터 구성요소가 여전히 처리되어야 하도록 선택되는, 체킹하는 단계;

   각 정보와 연관된 각 전파 방향을 따라 상기 데이터 구성요소에 최근접한 각 데이터 구성요소에 상기 생성된 정보 및 상기 데이터 구성요소에 전파된 정보를 전파하는 단계(110);

   상기 이미지 내의 다른 곳에서 확립된 국부적 특징에 관한 데이터 구성요소에 전파된 정보에 기초해서 복수의 특징(32)을 포함하는 사전결정된 패턴의 존재를 체킹하는 단계(104); 및

   만일 발견된다면 상기 패턴에 관한 정보를 출력하는 단계(108)

   를 포함하는, 이미지에서의 패턴을 검출하는 방법.
2. 제 1 항에 있어서,

   상기 데이터 구성요소를 처리하는 사전결정된 순서는 한 격자선의 모든 데이터 구성요소가 후속하는 이웃 격자선의 데이터 구성요소를 처리하기 위한 진행에 앞서 처리되도록 하는, 이미지에서의 패턴을 검출하는 방법.
3. 제 1 항에 있어서,

   상기 사전결정된 순서에 따라 병렬로 복수의 각 데이터 구성요소를 처리하기 위한 복수의 처리 구성요소(12)를 사용하는 단계를 추가로 포함하되,

   상기 정보를 전파하는 단계는 상기 정보를 상기 정보가 전파되는 각 데이터 구성요소를 처리하도록 스케쥴링된 처리 구성요소(12)에 이용가능하게 만드는 단계를 포함하는, 이미지에서의 패턴을 검출하는 방법.
4. 제 3 항에 있어서,

   상기 데이터 구성요소를 처리하는 사전결정된 순서는, 병렬로 처리되도록 스케쥴링된 복수의 데이터 구성요소가 단일 격자선의 일부가 되고, 상기 격자선의 모든 데이터 구성요소가 후속하는 이웃 격자선의 데이터 구성요소를 처리하도록 진행하기에 앞서 처리되도록 하는, 이미지에서의 패턴을 검출하는 방법.
5. 제 1 항에 있어서,

   상기 패턴의 존재를 체킹하는 단계는 상기 생성된 정보에 또한 기초하여 수 행되는, 이미지에서의 패턴을 검출하는 방법.
6. 제 3 항에 있어서,

   상기 처리 구성요소는 단일 명령어 다중 데이터(SIMD: Single-Instruction-Multiple-Data) 타입의 프로세서의 처리 구성요소인, 이미지에서의 패턴을 검출하는 방법.
7. 제 1 항에 있어서,

   상기 패턴은 사전한정된 타입의 물체(30)에 대응하는, 이미지에서의 패턴을 검출하는 방법.
8. 제 3 항에 있어서,

   상기 정보를 전파하는 단계는 상기 정보가 전파되는 각 데이터 구성요소를 처리하기 위해 스케쥴링되는 상기 처리 구성요소(24)에 의해 액세스 가능한 메모리(26) 내에 상기 정보를 저장하는 단계를 포함하는, 이미지에서의 패턴을 검출하는 방법.
9. 제 1 항에 있어서,

   상기 패턴이 존재한다면 이에 관한 정보를 생성하고 전파 방향(67)과 생성된 정보를 연관시키는 단계를 추가로 포함하되,

   상기 전파 방향은 상기 전파 방향을 따라 데이터 구성요소가 여전히 처리되어야만 하도록 선택되고,

   상기 패턴의 존재를 체킹하는 단계는 이미지내의 어딘가에 확립된 패턴에 관한 데이터 구성요소에 전파된 정보에 또한 기초되는, 이미지에서의 패턴을 검출하는 방법.
10. 제 1 항에 있어서,

    상기 생성된 정보 및 상기 데이터 구성요소에 전파된 정보는 사전결정된 팬각도내에 있는 상기 이미지를 따라 모든 방향으로 전파되는, 이미지에서의 패턴을 검출하는 방법.
11. 제 1 항에 있어서,

    상기 전파 방향은 상기 이미지 축 중 적어도 하나와 45도 또는 0도의 각도를 갖는, 이미지에서의 패턴을 검출하는 방법.
12. 제 1 항에 있어서,

    상기 국부적 특징은,

    상기 이미지 내의 테두리(edge) 또는 변화도;

    상기 이미지 내의 스폿;

    상기 이미지의 국부적 엔트로피;

    상기 이미지의 국부적 컬러 중 적어도 하나에 관련한, 이미지에서의 패턴을 검출하는 방법.
13. 제 1 항에 있어서,

    정보가 생성되었던 제 1 국부적 특징과 연관된 제 1 전파 방향과, 정보가 생성되었던 제 2 특징과 연관된 제 2 전파 방향의, 상기 이미지의 경계 밖에 위치된 교차점의 존재를 확립하는 단계; 및

    상기 제 1 국부적 특징에 관한 정보와 상기 제 2 국부적 특징에 관한 정보에 기초된 복수의 특징을 포함하는 패턴의 존재를 체킹하고, 만일 발견되면 상기 패턴에 관한 정보를 출력하는 단계를 추가로 포함하는, 이미지에서의 패턴을 검출하는 방법.
14. 데이터 구성요소 그리드를 포함하는 이미지내에서의 패턴을 검출하는 시스템으로서,

    제 1 항의 방법에 따라 사전결정된 순서로 데이터 구성요소를 처리하는 적어도 하나의 처리 구성요소(12)를 포함하는, 이미지내에서의 패턴을 검출하는 시스템.
15. 제 14 항에 있어서,

    상기 사전결정된 순서에 따라 병렬로 복수의 각 데이터 구성요소를 처리하는 복수의 처리 구성요소(12); 및

    상기 정보가 전파되는 각 데이터 구성요소를 처리하도록 스케쥴링된 처리 구성요소(12)에 상기 정보를 이용가능하게 만드는 수단(16)을 포함하는, 이미지에서의 패턴을 검출하는 방법.
16. 컴퓨터 프로그램 제품으로서,

    프로세서가 제 1 항에 따른 방법을 실행하는 것을 가능하게 하는 컴퓨터 명령어를 포함하는, 컴퓨터 프로그램 제품.

Images