KR101382437B1 - 시각신경 회로장치 및 그 시각신경 회로장치를 이용한 객체 탐색방법, 및 객체탐색 시스템 - Google Patents

Abstract

시각신경 회로장치 및 그 시각신경 회로장치를 이용한 객체 탐색방법이 개시된다. 본 발명의 실시예에 따른 시각신경 회로장치는, 자극에 의한 시각피질에서의 뉴런의 시간에 따른 반응을 전압으로 표현하며, 표현된 전압과 동일한 전압을 출력하는 회로를 구성한 것을 특징으로 한다.

Description

시각신경 회로장치 및 그 시각신경 회로장치를 이용한 객체 탐색방법, 및 객체탐색 시스템{Visual Cortex Circuit Apparatus and Object Searching Method Using the Same}

본 발명의 실시예는 시각신경 회로장치 및 그 시각신경 회로장치를 이용한 객체 탐색방법, 및 객체탐색 시스템에 관한 것으로서, 보다 상세하게는, 시각신경에 근접한 정확성을 갖는 시각신경 회로장치 및 그 시각신경 회로장치를 이용한 객체 탐색방법, 및 객체탐색 시스템에 관한 것이다.

뇌의 정보처리는 뉴런(neuron)이라 부르는 비교적 단순한 기능을 수행하는 개개의 세포들이 일정한 제약에 따라 구성한 연결 망(network)의 생리적 활성화를 통해서 이루어진다. 뇌는 신체의 다른 장기와 마찬가지로 세포들로 이루어져 있지만, 다른 장기와는 달리 세포들의 연결 망이 기능을 형성하는 주요 요소이다.

시스템 신경과학(system neuroscience)은 세포 집단의 활성화의 공간적, 시간적 분포를 이해하고자 하는 신경과학의 한 분야이며, 그 대표적인 분야가 시각 신경과학이라 할 수 있다. 시각 시스템을 구성하는 망막(retina), 외슬체(lateral geniculat body), 상구(superior colliculus), 시각피질(visual cortex)의 세포들의 입력, 출력 연결 패턴을 이해하고, 세포들에 의한 신호의 접수, 처리, 저장, 변환 방식을 연구함으로써 생물학적 시각이 어떻게 이루어지는지를 규명하는 것이 시각 신경과학의 과제이다.

최근, 생체기반의 시각(vision) 및 시각 신경변화를 이용한 시각장치에 대한 많은 연구가 진행되고 있다. 그러나, 아직 컴퓨터상에서의 시각 알고리즘으로는 효과적이기는 하지만, 실질적인 이용에 있어 그 대부분이 인간이나 동물의 시각과 같은 정확성이 결여되어 있다는 문제점이 있다.

본 발명의 실시예는 전술한 문제점을 해결하기 위하여 창안된 것으로서, 시각신경에 근접한 정확성을 갖는 시각신경 회로장치 및 그 시각신경 회로장치를 이용한 객체 탐색방법, 및 객체탐색 시스템을 제공하는 것을 목적으로 한다.

전술한 목적을 달성하기 위한 시각신경 회로를 이용한 객체탐색 시스템은, 입력 영상을 흑백 영상으로 변환하는 변환부; 변환된 상기 흑백 영상의 픽셀에 가중치를 적용하는 가중치 적용부; 및 시각신경 회로에 입력하여 강조된 영역을 탐지하는 탐지부를 포함하는 것을 특징으로 한다.

여기서, 상기 시각신경 회로는, 출력단에서 피드백되는 전압이 역류하지 않도록 버퍼링하며, 입력 전압을 증폭하는 기능을 수행하는 버퍼부; 상기 버퍼부를 통해 출력되는 전압에 대해 뉴런의 반응에 지연 응답이 나타나는 것과 같은 효과가 나도록 입력을 지연시키는 기능을 수행하는 지연부; 상기 버퍼부 또는 상기 지연부를 통해 출력되는 값에 대하여 생물 세포의 특성을 반영하는 트랜스 콘덕턴스(Transconductance); 상기 트랜스 콘덕턴스 회로의 출력전압을 반사하는 미러링부; 상기 뉴런의 반응에서 피크 응답 후 전압 응답이 떨어지는 현상이 발생하도록 전류를 방출하는 전압출력부; 및 상기 전압출력부를 통해 출력되는 파형을 펄스 형상으로 쉐이핑하는 쉐이핑부를 포함할 수 있다.

전술한 목적을 달성하기 위한 시각신경 회로장치는, 자극에 의한 시각피질에서의 뉴런의 시간에 따른 반응을 전압으로 표현하며, 표현된 상기 전압과 동일한 전압을 출력하는 회로를 구성한 것을 특징으로 한다.

전술한 시각신경 회로장치는, 출력단에서 피드백되는 전압이 역류하지 않도록 버퍼링하며, 입력 전압을 증폭하는 기능을 수행하는 버퍼부; 상기 버퍼부를 통해 출력되는 전압에 대해 뉴런의 반응에 지연 응답이 나타나는 것과 같은 효과가 나도록 입력을 지연시키는 기능을 수행하는 지연부; 상기 버퍼부 또는 상기 지연부를 통해 출력되는 값에 대하여 생물 세포의 특성을 반영하는 트랜스 콘덕턴스(Transconductance); 상기 트랜스 콘덕턴스 회로의 출력전압을 반사하는 미러링부; 상기 뉴런의 반응에서 피크 응답 후 전압 응답이 떨어지는 현상이 발생하도록 전류를 방출하는 전압출력부; 및 상기 전압출력부를 통해 출력되는 파형을 펄스 형상으로 쉐이핑하는 쉐이핑부를 포함할 수 있다.

전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 시각신경 회로장치를 이용한 객체 탐색방법은, 출력단에서 피드백되는 전압이 역류하지 않도록 버퍼링하며, 입력 전압을 증폭하는 기능을 수행하는 버퍼부; 상기 버퍼부를 통해 출력되는 전압에 대해 뉴런의 반응에 지연 응답이 나타나는 것과 같은 효과가 나도록 입력을 지연시키는 기능을 수행하는 지연부; 상기 버퍼부 또는 상기 지연부를 통해 출력되는 값에 대하여 생물 세포의 특성을 반영하는 트랜스 콘덕턴스(Transconductance); 상기 트랜스 콘덕턴스 회로의 출력전압을 반사하는 미러링부; 상기 뉴런의 반응에서 피크 응답 후 전압 응답이 떨어지는 현상이 발생하도록 전류를 방출하는 전압출력부; 및 상기 전압출력부를 통해 출력되는 파형을 펄스 형상으로 쉐이핑하는 쉐이핑부를 포함하는 시각신경 회로장치를 이용한 객체 탐색방법에 있어서, 입력 영상을 흑백 영상으로 변환하는 단계; 변환된 상기 흑백 영상의 픽셀에 가중치를 적용하는 단계; 및 시각신경 회로에 입력하여 강조된 영역을 탐지하는 단계를 포함하는 것을 특징으로 한다.

전술한 객체 탐색방법은, 상기 가중치가 적용된 흑백 영상을 상기 시각신경 회로에 입력될 수 있도록 탐지하고자 하는 객체와 유사한 형상의 프레임을 출력 영상에 가중하는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따르면, 자극에 의한 시각피질에서의 뉴런의 시간에 따른 반응을 전압으로 표현하며, 표현된 상기 전압과 동일한 전압을 출력하는 회로를 구성함으로써 인간의 시각신경에 유사한 시각신경 회로가 구현될 수 있다.

또한, 이와 같은 시각신경 회로를 차량 시스템에 적용함으로써 차량 주변의 보행자를 탐지할 수 있게 되며 차량 시스템의 운행 효율을 높일 수 있게 된다.

도 1은 방향성을 갖는 빛을 고양이의 눈에 비추었을 때 고양이의 대뇌피질 반응을 나타낸 도면이다.
도 2는 자극에 대한 뉴런의 시간에 따른 반응을 전압으로 표현한 도면이다.
도 3은 도 2의 자극에 대한 뉴런의 시간에 따른 반응과 동일한 전압을 출력하는 회로 구성의 일 예를 나타낸 도면이다.
도 4는 도 2의 자극에 대한 뉴런의 시간에 따른 반응과 동일한 전압을 출력하는 회로 구성의 다른 예를 나타낸 도면이다.
도 5는 인위적인 시각피질에서의 수직방향 가중치 프레임의 예를 나타낸 도면이다.
도 6은 다양한 자극에 대한 시각피질의 반응을 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 시각신경 회로장치를 이용한 객체탐색 시스템을 개략적으로 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 객체 탐지방법을 나타낸 흐름도이다.
도 9는 입력 영상을 흑백 영상으로 변환한 예를 나타낸 도면이다.
도 10은 입력 영상 및 흑백 영상으로부터 오리엔테이션 특색을 추출한 예를 나타낸 도면이다.
도 11은 객체 탐색의 일 예를 나타낸 도면이다.
도 12는 도 9의 영상에서 능동 포텐셜을 다르게 적용한 예를 나타낸 도면이다.
도 13은 도 12에 의한 객체 탐색의 다른 예를 나타낸 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 이하의 설명에 있어서, 당업자에게 주지 저명한 기술에 대해서는 그 상세한 설명을 생략할 수 있다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성요소에 대한 설명에 기초하여 판단하여야 할 것이다.

또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

도 1은 방향성을 갖는 빛을 고양이의 눈에 비추었을 때 고양이의 대뇌피질 반응을 나타낸 도면이다.

Hodgkin-Huxley 형식론의 뉴런, 및 Hubel과 Wiesel의 시각피질 실험에 따르면, 방향성을 갖는 빛을 고양이의 눈에 비추었을 때, 고양이 대뇌 피질의 뉴런은 특정 방향성을 가지고 있으며 특정 방향의 자극에만 반응한다. 도 1에서 좌측 도면은 빛의 모양 또는 방향을 나타내며, 우측 도면은 빛의 모양 또는 방향에 따른 반응의 크기를 나타낸다. 따라서, 뇌는 독립적으로 특정 방향성에 자극하는 뉴런들의 집합체로 볼 수 있다.

비록 시각피질의 명확한 모델은 없지만, Hubel 및 Wiesel의 고양이의 선모양 피질에 대한 연구는 간단한 세포의 기능으로 개념을 확립했다. 이러한 발견은 형질((character)부터 복잡한 자연계의 이미지까지 사물인식에 대한 다양한 이론들을 발생시켰다.

이러한 신경생리학에 대한 연구는 생물학적으로 그럴듯한 전기적 실행의 원리들을 소개하였다. 전기적 실행의 하나는 본 발명의 실시예에서 이용되는 Hodgkin 및 Huxley의 뉴런 모델이며, 제안된 생체근원 시각을 전기적으로 처리하는 실행 가능성을 보여준다. 본 발명의 실시예 또한 도 1에 도시한 바와 같은 Hubel 및 Wiesel에 의한 간단한 세포의 실험결과로부터 발견되었다. 본 발명의 실시예는 간단한 시각세포를 모방함으로써, 시각피질에 유사한 정확성을 얻을 수 있다.

도 2는 자극에 대한 뉴런의 시간에 따른 반응을 전압으로 표현한 도면이다. 즉, 시각피질에 자극을 가하고, 그에 따른 뉴런의 시간에 따른 반응을 측정하여 전압으로 표현할 수 있다.

Hodgkin-Huxley(H-H)는 도 2에 도시한 바와 같이 뉴런을 생체 물리학적으로 특징화하는데 광범위하게 사용될 수 있다. H-H 형식론은 특별한 이점을 주지는 않지만, 비동기 자극에 대한 개념은 신경망 컴퓨팅 시스템 또는 신경망 개념의 주요 요소로 광범위하게 사용된다.

도 3은 전압에 따라 저항이 달라지는 컨덕턴스회로의 구성 예를 나타낸 도면이다.

도 3의 회로는 PMOS(P Metal Oxide Semiconductor) 트랜지스터 및 한 쌍의 이상적인 NMOS 트랜지스터 M1 및 M2에 의해 전압 제어된 선형 컨덕턴스 회로로 제안되었으며, 여기서 MOS 트랜지스터의 컨덕턴스는 아날로그 회로 설계에서의 필수적인 구성요소 중의 하나이다. 도 3과 같은 회로는 실행 시넵스로부터 뉴런에 이르기까지 다양한 신경망에 응용될 수 있다. 도 3(a)는 컨덕턴스 회로, 도 3(b)는 컨덕턴스 회로를 적용한 회로의 예, 도 3(c)는 도 3(b) 회로를 VLSI를 통해 구현한 예이다.

도 4는 도 2의 자극에 대한 뉴런의 시간에 따른 반응과 동일한 전압을 출력하는 회로 구성의 예를 나타낸 도면이다.

자극에 대한 뉴런의 시간에 따른 반응과 동일한 전압을 출력하는 회로를 구성할 때, 생물 세포의 특성을 반영할 수 있다. 여기서, 하나의 회로는 하나의 뉴런에 대응한다. 따라서, 본 회로를 수개 병렬 연결하여 칩을 만드는 경우, 뇌와 유사한 기능을 할 수 있다. 다만, 모든 뉴런의 전압 특성에 맞추어 변형하여야 하며, 또한 각각의 뉴런의 연결 특성을 고려하여야 한다.

도 4의 회로에서 상부와 하부는 각각 Leakage part, Na(나트륨 이온)(또는 K(칼륨 이온)) part에 대응하며, 각각의 Part를 병렬로 추가 연결하여 N 개의 파트로 확장할 수도 있다.

도 4에서 ① 부분은 버퍼부를 나타낸다. 버퍼부는 회로의 출력단에서 피드백되는 전압이 역류하지 않도록 버퍼링하며, 입력 전압을 증폭하는 부분이다. ② 부분은 지연부를 나타낸다. 도 2에서 특정 라인에 지연 응답이 나타나는 것과 같은 효과가 나오도록 입력을 지연시키는 역할을 한다. 지연 시간은 파라미터 설정에 따라 조정이 가능하다. ③ 부분은 트랜스콘덕턴스(Transconductance)를 나타낸다. 트랜스 콘덕턴스는 상호 콘덕턴스라고도 한다. ④ 부분은 미러링(mirroring)부를 나타낸다. 트랜스 콘덕턴스 회로의 출력전압을 반사하는 역할을 수행한다. ⑤ 부분은 전압방출부를 나타낸다. 도 2의 그래프에서 피크(peak) 응답(스파이크 발생부) 후 전압 응답이 떨어지는 현상이 발생하는 것과 같이 전압을 방출하는 역할을 한다. 따라서, 피크 응답이 발생한 후 도 4의 회로에 다시 전압이 입력되더라도 일정 시간이 지나야지만 다시 피크 응답이 발생할 수 있다. 이것은 세포의 휴지기와 같은 효과를 발생시키기 위한 것이다. 즉, 스파이크 발생 후 휴지기에는 외부로부터 자극이 와도 반응이 없다. ⑥ 부분은 쉐이핑(shaping)부를 나타낸다. 즉, 쉐이핑부는 입력 파형을 쉐이핑하여 출력하는 역할을 하며, 펄스와 같은 형상으로 나타날 수 있도록 한다.

컨덕턴스 요소의 경험적인 수학형식은 수학식 1과 같이 표현되며, 여기서 b는 막피(membrane) 포텐셜의 S자 결장(sigmoid) 함수이다. 그리고 Vm은 막피 포텐셜이며, 전체적으로 능동 포텐셜 및 관련된 이온의 전도로 동적으로 모델화될 수 있다.

수학식 1의 함수적 구성은 컨덕턴스, 곱셈, 덧셈(또는 뺄셈), 및 미분방정식에 의해 제어된다. 수학식 1에서 미분방정식은 LPF(Low Pass Filter)에 의해 실행될 수 있으며, 지연된 응답을 야기한다. 이러한 관계식으로부터 생물학적 뉴런의 동적 활동이 도 4에 나타낸 바와 같은 막피 포텐셜에 의해 제어된 이온 기반의 컨덕턴스로 전기적으로 실행될 수 있다.

도 1에 나타난 바와 같이 오리엔테이션 선택성의 조율 속성(tuning propertes)이 시각피질에서의 지각력에 대한 키 역할을 하는 것으로 여겨지기 때문에 본 발명은 각각 다른 오리엔테이션 입력을 사용하였다. 도 5에 나타낸 바와 같이, 5 x 5 시넵스의 가중치로 조율된 피처 맵(feature map)은 간단한 세포의 오리엔테이션 선택성 속성을 모방하기 위해 부가조정으로 매칭될 수 있다. 시넵스의 가중치는 블랙: 그레이: 화이트 각각에 대해 1:-0.6:0.1의 비율이다. 즉, 중앙의 검은 부분 픽셀의 가중치가 1이며, 회색부분 픽셀의 가중치는 -0.6이고, 백색부분 픽셀의 가중치는 0.1이다. 해당 가중치는 Hubel 및 Wiesel의 실험에서 고양이에게 주는 자극과 같은 효과를 준다. 픽셀의 크기와 가중치의 크기는 기재된 크기에 한정되는 것은 아니며, 설정에 따라 달라질 수 있다. 또한, 피처 맵을 입력 영상 전체에 대해 가중하여 뉴런 회로에 입력할 수 있다.

모의실험의 결과는 도 6에 도시한 바와 같으며, 조율된 피처 오리엔테이션은 도 1에서 나타낸 Hubel 및 Wiesel의 실험의 결과와 일치하는 결과를 나타내는 것으로 평가된다.

본 발명의 실시예에서, 시각피질의 신경변화 실행의 요소는 전기적으로 프로그램화할 수 있는 MOSFET(Metal Oxide Semiconductor Field Effect Transistor)에 기초하여 구현될 수 있다. 그러나, 본 발명은 MOSFET 외에 다른 종류의 트랜지스터의 사용을 배제하는 것은 아니다.

신경변화 시각신호 처리의 가능성은 버스로부터 카메라를 이용하여 촬영된 이미지 시퀀스로부터 보행자를 검출하는데 적용될 수 있다. 보행자의 환경은 차량이 움직인 후 각각의 행인들 사이에 크게 다를 수 있다. 따라서, 정확한 검출 알고리즘이 이와 같이 빠르게 변화되는 환경하에서 정확하게 실행될 필요가 있다.

도 7은 본 발명의 실시예에 따른 시각신경 회로장치를 이용한 객체탐색 시스템을 개략적으로 도시한 도면이다.

도 7을 참조하면, 시각신경 회로장치를 이용한 객체탐색 시스템은 변환부(100), 가중치 적용부(200) 및 탐지부(300)를 구비할 수 있다.

변환부(100)는 입력 영상을 흑백 영상으로 변환하며, 가중치 적용부(200)는 변환부(100)에 의해 변환된 흑백 영상의 픽셀에 가중치를 적용한다. 이때, 가중치의 적용 방법은 전술한 방법을 따를 수 있으며, 여기서는 그 상세한 설명을 생략한다.

탐지부(300)는 도 4의 시각신경 회로에 가중치가 적용된 값을 입력하며, 시각신경 회로를 통해 강조된 영역을 탐지할 수 있다. 이때, 가중치 적용부(200)에 의해 가중치가 적용된 흑백 영상에 대해 도 5에서 설명한 방법과 같은 방법으로 탐지하고자 하는 객체와 유사한 형상의 프레임을 가중할 수도 있다.

도 8은 본 발명의 실시예에 따른 객체 탐지방법을 나타낸 흐름도이다.

도면을 참조하면 먼저, 입력 영상을 흑백 영상으로 변환한다(S410). 예를 들어 도 9의 좌측에 나타낸 바와 같이, 도로상을 주행하는 버스에서 영상을 촬영하며, 촬영된 영상으로부터 보행자를 검출하기 위해 입력 영상을 도 8의 우측에 나타낸 바와 같이 흑백 영상으로 변환할 수 있다. 이때, 변환된 흑백 영상에 대하여 본 발명의 실시예에 따른 도 4의 시각신경 회로에 입력하기 위하여 각 픽셀에 가중치(synaptic weight)를 부여하여 방향성을 갖도록 할 수 있다(S420). 여기서, 가중치는 변환된 흑백 영상과 가중치 프레임을 곱하는 연산을 통해 부여될 수 있다. 즉, 변환된 흑백 영상에서 그레이 이미지에 방향성을 가져서 시각신경 회로장치에 입력될 수 있도록, 픽셀에 가중치를 부여할 수 있다. 이때, 그레이 이미지와 가중치 프레임을 곱하는 연산을 통해 가중치를 부여할 수 있다. 또한, 가중치 방향은 설정에 따라 다양한 수로 확장될 수 있다. 이때, 가중치가 적용된 흑백 영상이 시각신경 회로에 입력될 수 있도록 탐지하고자 하는 객체와 유사한 형상의 프레임을 출력 영상에 가중할 수 있다(S430). 이러한 과정은 도 5에서 설명한 바와 같이, 수직 방향 가중치의 프레임에서 중강의 검은 부분에는 가중치 1을 부여하고, 회색부분은 가중치 -0.6을 부여하며, 백색부분은 가중치 0.1을 부여함으로써 수행될 수 있다. 그러나, 부여된 가중치의 수치는 예시일 뿐이며, 다양한 방법으로 가중치가 부여될 수 있다. 이때, 가중치가 적용된 이미지를 본 발명의 실시예에 따른 시각신경 회로에 입력하여 오리엔테이션 특색들이 추출될 수 있다. 이 경우, 추출될 다른 오리엔테이션 각들의 수는 추출될 타겟의 타입에 따라 다를 수 있다. 예를 들면, 차량 또는 인조물은 많은 일직선의 에지(edges)를 갖는 경향이 있으며, 반면에 보행자와 같은 생물학적 대상체는 오리엔테이션 피처 추출물에 이용되는 것보다 미리 규정된 특징들이 많지 않다. 여기서, 프레임은 보행자를 찾기 위한 프레임으로, 인간의 상체와 유사한 형상으로 선택될 수 있다. 도로에 위치한 인간을 찾기 위한 프레임의 경우, 프레임보다 위/아래로 확장된 형태의 프레임이 될 수도 있다.

도 10은 도 9의 이미지의 전형적인 프레임으로부터 추출된 오리엔테이션 특징들을 나타낸다. 도 10의 좌측에 나타낸 바와 같이, 입력 영상의 추출된 초기 오리엔테이션 특징들로부터 보행자를 식별하는 것은 쉽지 않다. 그러나, 도 10의 우측에 나타낸 바와 같이 가중치가 적용된 후 시각신경 회로에 입력된 이미지는, 오리엔테이션 특징의 차이의 노이즈를 줄이며, 보행자의 윤곽은 보다 또렷하게 보여질 수 있다.

이와 같은 과정을 통해 시각신경 회로장치에 의해 강조된 영역을 탐지함으로써 최종적으로 객체를 탐지할 수 있다(S440).

시각신경 회로를 통한 이미지 차이는, 인간의 상체 토르소(upper torso)의 형판을 사용할 수 있다. 시각신경 회로를 통한 능동 포텐셜은 도 11에 나타낸 바와 같이, 보행자에 대해 정확한 신호를 출력할 수 있으며, 이를 통해 이미지에서 보행자를 성공적으로 검출할 수 있다. 여기서, 간단한 트레이닝의 수단으로 시각신경 회로에서 형판을 사용하는 것이며, 인간의 다른 신체부위(예를 들면, 얼굴)를 사용할 수도 있다. 또한, 입력되는 영상에서 보여지는 모든 보행자를 검색할 필요는 없으며, 카메라에 근접한 보행자부터 일정한 범위의 수의 보행자만 검색하도록 구현될 수도 있다.

보행자 검출의 응용을 위해, 특히 차량에 대해, 예를 들면 달리는 것과 같이 어느 정도의 움직임을 갖는 보행자의 검색이 요구될 수 있다. 또한, 시각부를 가로질러 움직이는 보행자에 더욱 흥미가 있을 수 있다. 그리고, 생체 시각들은 이미지를 전체로 처리하기보다는 사물에 의해 보다 경계되는 것으로 일컬어진다.

이전의 두 개의 프레임 세트의 차이는 어느 정도의 움직임을 갖는 사물로부터 오리엔테이션 특징이 남은 이미지 차이를 얻기 위해 처리되었다. 움직임의 양은 물리적으로 규정되지 않지만, 검출결과는 보다 큰 움직임을 갖는 보행자가 검출되었음을 나타낸다.

이전의 테스트에서와 같이 검색결과에서의 차이를 비교하기 위해 동일한 이미지에 대하여 테스트가 수행되었다. 도 12는 신경망이 적용된 이후의 결과 이미지를 나타낸다. 뚜렷하게, 도 12 및 도 10에 나타난 능동 포텐셜은 서로 다르다. 도 10에서는, 보행로 위의 보행자 및 중간의 보행자를 나타내는 두 개의 강한 신호들이 나타난다. 그러나 도 12에서는, 도 13에 나타낸 검출결과와 같이 중간에 있는 보행자를 나타내는 하나의 또렷한 강한 신호만이 나타난다. 중간의 보행자는 이미지의 왼쪽에 있는 보행자에 비하여 이미지를 가로지르며, 2D 이미지 평면에 의해, 중간의 보행자는 더 큰 움직임을 가지며 반면에 다른 보행자는 검색에 필요한 충분한 움직임을 갖지 않는 것으로 보인다.

생체근원의 신경변화 시각은 시각피질의 원시적 기능을 모방함으로써 보행자를 검출할 수 있는 방법으로 제안되었다. 또한, 신경망 검출기를 갖는 신경변화 처리가 실시예로 삽입되었다.

버스에서 상업적으로 이용될 수 있는 카메라에 의해 획득된 이미지 시퀀스로부터 보행자를 검출하는 것이 실현 가능함을 입증하였다. 모든 보행자를 검색할 필요는 없으며, 장애물이 있을 수 있으므로, 카메라에 보다 근접한 보행자를 검색하는 것이 바람직하다.

더 큰 움직임을 갖는 보행자가 운전자에게 더 위험하므로, 차량을 위한 보행자를 검출할 때 보다 큰 움직임을 갖는 보행자를 검출하는 것이 바람직하다. 동일한 이미지에 대해 테스트된 검출은 가로질러 움직이는 보행자가 검출되었음을 나타낸다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이며, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (6)

1. 입력 영상을 흑백 영상으로 변환하는 변환부;
   변환된 상기 흑백 영상의 픽셀에 가중치를 적용하는 가중치 적용부; 및
   시각신경 회로에 입력하여 강조된 영역을 탐지하는 탐지부를 포함하며,
   상기 시각신경 회로는,
   출력단에서 피드백되는 전압이 역류하지 않도록 버퍼링하며, 입력 전압을 증폭하는 기능을 수행하는 버퍼부;
   상기 버퍼부를 통해 출력되는 전압에 대해 뉴런의 반응에 지연 응답이 나타나는 것과 같은 효과가 나도록 입력을 지연시키는 기능을 수행하는 지연부;
   상기 버퍼부 또는 상기 지연부를 통해 출력되는 값에 대하여 생물 세포의 특성을 반영하는 트랜스 콘덕턴스(Transconductance);
   상기 트랜스 콘덕턴스 회로의 출력전압을 반사하는 미러링부;
   상기 뉴런의 반응에서 피크 응답 후 전압 응답이 떨어지는 현상이 발생하도록 전류를 방출하는 전압출력부; 및
   상기 전압출력부를 통해 출력되는 파형을 펄스 형상으로 쉐이핑하는 쉐이핑부를 포함하며,
   상기 가중치 적용부는,
   각 픽셀에 가중치가 적용된 흑백 영상에서 탐지하고자 하는 객체와 유사한 형상의 프레임을 출력영상에 가중하며,
   상기 탐지부는,
   적어도 두 개 이상의 강조된 영역이 검색되면, 카메라를 기준으로 설정된 거리 범위 내에 있는지 여부와 강조된 영역의 능동 포텐셜(action potential)을 비교하여, 최종 객체를 탐지하는 것을 특징으로 하는 시각신경 회로를 이용한 객체탐색 시스템.
   
2. 삭제
3. 삭제
4. 삭제
5. (a) 변환부를 이용하여, 입력 영상을 흑백 영상으로 변환하는 단계;
   (b) 가중치 적용부를 이용하여, 상기 (a) 단계에서 변환된 상기 흑백 영상의 픽셀에 가중치를 적용하는 단계;
   (c) 가중치 적용부를 이용하여, 탐지하고자 하는 객체와 유사한 형상의 프레임을 출력 영상에 가중하는 단계;
   (d) 탐지부를 이용하여, 시각신경 회로로 강조된 영역을 탐지하는 단계를 포함하며,
   상기 (d) 단계는,
   (d-1) 카메라를 기준으로 설정된 거리 이내의 강조 영역을 탐지하는 단계 및
   (d-2) 복수 개의 강조 영역이 탐지될 경우, 각 강조 영역의 능동 포텐셜(action potential)에 따라 최종 객체를 탐지하는 단계를 포함하는 것을 특징으로 하는 객체탐색 방법.
   
6. 삭제

Images