KR101738422B1 - 다종 센서 기반 시각 신경 회로 장치 및 이를 이용한 객체 탐색 시스템, 방법 - Google Patents
다종 센서 기반 시각 신경 회로 장치 및 이를 이용한 객체 탐색 시스템, 방법 Download PDFInfo
- Publication number
- KR101738422B1 KR101738422B1 KR1020150129639A KR20150129639A KR101738422B1 KR 101738422 B1 KR101738422 B1 KR 101738422B1 KR 1020150129639 A KR1020150129639 A KR 1020150129639A KR 20150129639 A KR20150129639 A KR 20150129639A KR 101738422 B1 KR101738422 B1 KR 101738422B1
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- transconductance
- image input
- resolution image
- low
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4046—Scaling the whole image or part thereof using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
Abstract
본 발명은 시각 신경 회로 장치 및 이를 이용한 객체 탐색 시스템, 방법에 관한 것으로, 특히 고해상도 이미지 센서와 저해상도 이미지 센서가 연계된 시각 신경 회로 장치 및 이를 이용한 객체 탐색 시스템, 방법에 관한 것이다.
또한, 본 발명은 저해상도 이미지 입력부에서 입력된 영상을 뇌모방 시각 정보 방향성 처리를 수행하여 출력하는 트랜스 컨덕턴스 신경 회로; 상기 트랜스 컨덕턴스 신경 회로에서 출력되는 저해상도 이미지에서 관심 영역 이미지를 추출하는 탐지부; 및 고해상도 이미지 입력부에서 입력된 영상에서 탐지부에서 탐지한 관심 영역에 대응되는 객체를 추출하는 객체 탐색부를 포함하는 객체 탐색 시스템과 그 방법등이 제공된다.
또한, 본 발명은 저해상도 이미지 입력부에서 입력된 영상을 뇌모방 시각 정보 방향성 처리를 수행하여 출력하는 트랜스 컨덕턴스 신경 회로; 상기 트랜스 컨덕턴스 신경 회로에서 출력되는 저해상도 이미지에서 관심 영역 이미지를 추출하는 탐지부; 및 고해상도 이미지 입력부에서 입력된 영상에서 탐지부에서 탐지한 관심 영역에 대응되는 객체를 추출하는 객체 탐색부를 포함하는 객체 탐색 시스템과 그 방법등이 제공된다.
Description
본 발명은 시각 신경 회로 장치 및 이를 이용한 객체 탐색 시스템, 방법에 관한 것으로, 특히 고해상도 이미지 센서와 저해상도 이미지 센서가 연계된 시각 신경 회로 장치 및 이를 이용한 객체 탐색 시스템, 방법에 관한 것이다.
일반적으로, 뇌과학(Brain Science, 腦科學)은 뇌의 신비를 밝혀 인간의 물리적, 정신적 기능을 심층적으로 탐구하는 응용학문으로서, 수학·물리학·화학·생물학 등 기초과학 분야는 물론, 의학·공학·인지과학 등을 복합적으로 적용해 뇌의 신비를 밝히고, 이를 통해 인간이 갖는 물리적·정신적 기능성의 전반을 심층적으로 탐구하는 응용 학문이다.
신경망(神經網, Neural Networks) 혹은 뉴로모르픽 (Neuromorphic) 프레임워크는 인간의 두뇌나 신경세포의 반응과 유사하게 설계된 회로로, 인간과 같이 사고하는 능력을 가지는 반도체 칩으로서, 많은 수의 간단한 소자를 통신으로 연결하고, 이를 통해 정보를 표현하고 기억하도록 만들어졌다. 인간 두뇌의 신경회로인 뉴런(Neuron)의 구조를 그대로 본 뜬 것이며, 이는 인공지능 컴퓨터의 핵심기술로 음성 인식, 문자 인식, 영상 처리, 자연 언어의 이해 등의 분야에서 주로 이용되고, 선진국을 중심으로 연구가 지속적으로 활발히 진행중이다.
뇌의 정보처리는 뉴런(Neuron)으로 불리우는 비교적 단순한 기능을 수행하는 개개의 세포들이 일정한 제약에 따라 구성된 연결 망(Network)의 생리적 활성화를 통해 이루어진다. 뇌는 신체의 다른 장기와 마찬가지로 세포들로 이루어져 있지만, 다른 장기와는 달리 세포들의 연결망이 기능을 형성하는 주요 요소이다.
시스템 신경과학(System Neuroscience)은 세포 집단의 활성화의 공간적, 시간적 분포를 이해하고자 하는 신경과학의 한 분야이며, 그 대표적인 분야가 시각 신경과학이라 할 수 있다. 시각 시스템을 구성하는 망막(Retina), 외슬체(Lateral Geniculat Body), 상구(Superior Colliculus), 시각피질(Visual Cortex)의 세포들의 입력, 출력 연결 패턴을 이해하고, 세포들에 의한 신호의 접수, 처리, 저장, 변환 방식을 연구함으로써 생물학적 시각이 어떻게 이루어지는지를 규명하는 것이 시각 신경과학의 과제이다.
이를 위해, 한국특허공개번호 제10-2006-0089487호에는 사용자에게 보다 우수한 화질의 영상을 제공할 수 있는 기술이 개시된다. 이와 같이, 최근, 생체기반의 시각(Vision) 및 시각 신경변화를 이용한 시각장치에 대한 많은 연구가 진행되고 있다. 하지만, 실질적인 이용에 있어 그 대부분이 인간이나 동물의 시각과 같은 정확성이 결여되어 있고, 소형화 추세와 주변 환경 변화에 따르지 못하여 제한적이다.
본 발명의 일부 실시예는, 뇌신경의 시각적 감지와 인식 기능을 모방하여, 차량을 포함한 이동체 탑승자 특히 운전자의 상태를 감지하고 인식하여, 졸음이나 심한 피로 상태, 전방 주시 태만의 부주의, 이상 상태 징후를 효과적이고 적시에 실시간으로 인식하여 운전자에게 경보를 제공하거나 차량 내 안전 시스템에 상황을 전달할 수 있도록 하고, 임의의 환경이나 복잡한 배경에서도 운전자 혹은 대상물을 효과적으로 찾아내어 목적한 상황 분석이 가능하도록 하는 고해상도 이미지 센서와 저해상도 이미지 센서를 뇌 시각 신경을 모방한 신경 회로에 융합 적용한 시각 신경 회로 장치 및 이를 이용한 객체 탐색 시스템, 방법을 제공하는 데 있다.
또한, 본 발명의 일부 실시예는, 시각적 자극에 대한 시각 피질의 뉴런의 반응을, 이종 센서 출력에 뇌신경 모방 원리로 적용하여 운전자등 근접 관리 대상물을 분리하도록, 트랜스 컨덕턴스를 이용하는 뇌 시각 기능 모방 신호의 병렬 출력 회로화 구성의 분산 처리용 회로로 변환함으로써, 인간의 시각신경과 유사한 시각신경회로를 구현할 수 있는 시각 신경 회로 장치 및 이를 이용한 객체 탐색 시스템, 방법을 제공하는 데 있다.
또한, 본 발명의 일부 실시예는, 운전자 얼굴등 근접 관리 대상물/영역을 선별하고, 대상물/영역의 형상적 구조의 기준 위치를 인식하며 관리 대상 특정 영역간 고정된 상호 위치를 기반으로 상태 변화를 인식하는 것으로, 입 주변등 운전자 얼굴 내의 특정 부분 상황 변화 감지로 주의 산만이나 졸음 전조 현상등을 인식하는 운전자 상태 모니터링이나 대상 화면의 특정 상황에 대한 이상 상태 변화를 실시간 인식하는 시각 신경 회로 장치를 이용한 객체 탐색 시스템 및 그 방법을 제공하는 데 있다.
본 발명의 일측면은 영상을 입력받는 저해상도 이미지 입력부; 및 상기 저해상도 이미지 입력부에서 입력된 영상을 뇌모방 시각 정보 방향성 처리를 수행하여 출력하는 트랜스 컨덕턴스 신경 회로를 포함한다.
또한, 본 발명의 일측면의 상기 저해상도 이미지 입력부는 적외선 센서, 포토 트랜지스터 또는 포토 다이오드중 하나이다.
또한, 본 발명의 일측면의 상기 트랜스 컨덕턴스 신경 회로는 저해상도 이미지 입력부를 통하여 입력되는 이미지에 대응하는 전류를 선형 전류 변환을 통하여 전압으로 변환하는 트랜스 컨덕턴스부; 및 상기 트랜스 컨덕턴스부의 전압을 전류원 출력화 버퍼 증폭하여 신경 연결 고리의 가중치 연산과 저해상도 입력부의 전류 신호에 대한 가중치 연산과 버퍼링 작용을 하는 버퍼링부를 포함한다.
또한, 본 발명의 일측면의 상기 트랜스 컨덕턴스부는 한 쌍의 NMOS(N Metal Oxide Semiconductor) 트랜지스터에 의해 전압이 제어된 선형 컨덕턴스 회로로 이루어진다.
또한, 본 발명의 일측면의 상기 버퍼링부는 출력 전류를 외부로 제공하는 정방향 버퍼; 및 출력 전류를 외부로부터 공급받는 형식의 부방향 버퍼로 이루어진다.
또한, 본 발명의 일측면은 상기 버퍼링부의 신경 연결 고리 가중치의 단자를 통하여 상기 버퍼링부에 가중치를 인가하여 관심 영역의 영상을 강조하는 가중치 제어부를 더 포함한다.
한편, 본 발명의 다른 측면은 저해상도 이미지 입력부에서 입력된 영상을 뇌모방 시각 정보 방향성 처리를 수행하여 출력하는 트랜스 컨덕턴스 신경 회로; 상기 트랜스 컨덕턴스 신경 회로에서 출력되는 저해상도 이미지에서 관심 영역 이미지를 추출하는 탐지부; 및 고해상도 이미지 입력부에서 입력된 영상에서 탐지부에서 탐지한 관심 영역에 대응되는 객체를 추출하는 객체 탐색부를 포함한다.
또한, 본 발명의 다른 측면은 상기 트랜스 컨덕턴스 신경 회로의 신경 연결 고리 가중치 단자를 통하여 가중치를 조절하여 관심 영역 이미지를 강조하는 가중치 제어부를 더 포함한다.
또한, 본 발명의 다른 측면의 상기 저해상도 이미지 입력부는 적외선 센서, 포토 트랜지스터 또는 포토 다이오드중 하나이다.
또한, 본 발명의 다른 측면의 상기 고해상도 이미지 입력부는 CMOS 센서이다.
또한, 본 발명의 다른 측면의 상기 트랜스 컨덕턴스 신경 회로는 저해상도 이미지 입력부를 통하여 입력되는 이미지에 대응하는 전류를 선형 전류 변환을 통하여 전압으로 변환하는 트랜스 컨덕턴스부; 및 상기 트랜스 컨덕턴스부의 전압을 전류원 출력화 버퍼 증폭하여 신경 연결 고리의 가중치 연산과 저해상도 입력부의 전류 신호에 대한 가중치 연산과 버퍼링 작용을 하는 버퍼링부를 포함한다.
또한, 본 발명의 다른 측면은 상기 저해상도 이미지 입력부와 고해상도 이미지 입력부는 통합되어 통합 입력부를 구성한다.
또한, 본 발명의 다른 측면은 상기 통합 입력부의 저해상 이미지 입력부와 고해상 이미지 입력부를 시분할 제어하여 저해상 이미지와 고해상 이미지를 시간을 다르게 하여 출력하도록 제어 하는 입력 제어부를 더 포함한다.
또한, 본 발명의 다른 측면은 상기 객체 탐색부에서 추출된 객체의 이상 상태를 파악하는 상황 판단부를 더 포함한다.
또한, 본 발명의 다른 측면은 이상 상태가 발생되면 사용자에게 경고하는 경고부를 더 포함하며, 상기 상황 판단부는 이상 상태가 발생되면 상기 경고부로 출력한다.
또한, 본 발명의 다른 측면은 이상 상태가 발생되면 차량 제어 시스템에 알려 조치를 취하도록 하는 안전 시스템을 더 포함하며, 상기 상황 판단부는 이상 상태가 발생되면 상기 안전 시스템에 출력한다.
한편, 본 발명의 또 다른 측면은 (A) 트랜스 컨덕턴스 신경 회로가 저해상도 이미지 입력부를 통하여 입력되는 이미지를 뇌모양 시각 정보 방향성 처리하여 출력하는 단계; (B) 탐지부가 트랜스 컨덕턴스 신경 회로를 통하여 뇌모양 시각 정보 방향성 처리가 완료되면 관심 영역 이미지를 추출하는 단계; 및 (C) 객체 탐색부가 고해상도 이미지 센서로부터 입력받은 영상에 탐지부가 탐지한 관심 영역에 대응되는 객체를 탐색하여 추출하는 단계를 포함한다.
또한, 본 발명의 다른 측면은 상기 (A) 단계에서 가중치 제어부가 상기 트랜스 컨덕턴스 신경 회로의 가중치를 제어하여 관심 영역 이미지를 강조한다.
또한, 본 발명의 다른 측면은 (D) 상황 판단부는 객체의 상황을 판단하여 이상 상태에 있는지를 파악하는 단계; 및 (E) 상황 판단부는 이상 상태의 징후가 발견되면 경보부를 통하여 경보를 제공하거나 안전 시스템을 통하여 안전 조치를 취하도록 하는 단계를 더 포함한다.
본 발명은 뇌의 대용량 모방 시스템을 회로 장치나 소형화 시스템으로 구현과 활용하도록 하고, 병렬 모듈 구조화된 시각 신경 회로로 동시에 분산 처리하고 출력되는 전류원 신호를 통합하도록 연결되도록 하며, 시각 신경 회로를 모방하며 시각 신호 자체의 환경 영향을 최소화하여 뇌 시각신경 연결고리와 근접한 정확성으로 모방 인지할 수 있도록 하며, 시각적 자극에 대한 명암 강도 특성에 적응하고 반응하도록 시각 피질의 신경 모방의 방향성에 대한 가중치로 시각 신경 모방 시스템을 구성하며, 뇌 시각 지능의 강인한 환경 대응 능력에 근접한 인식능력 기반의 인식 대상인 운전자등 센서 근접 대상물의 선택적 분리 기반의 객체 탐색 시스템 및 그 방법을 제공할 수 있다.
이는 일반적 운전자 상태 모니터링(Driver State Monitoring:DSM) 기술이 적외선 필터 기반 영상 분석으로 운전자 얼굴 상태 정보가 제한되고(얼굴 표정이나 변화 상태등), 잡음 발생시 대응 범위가 제한적인데 반하여, 고품질의 이미지 센서에서 추출된 운전자 얼굴은 다양한 원래의 상태를 분석 가능하므로, 다양하고 복합적인 상태와 상황 인식을 제공할 수 있다.
도 1 은 본 발명의 원리인 사람과 동물의 뇌 시각 피질(visual cortex)의 실험결과를 보여주는 도면이다.
도 2a는 도 1의 동물 뇌 임상 실험 내용을 기반으로 뉴로모르픽 신경망으로 뇌 시각피질 뉴런을 CMOS ASIC 전자회로 설계하는 기본개념을 설명하는 도면이며, 도 2b는 CMOS 트랜지스터 ASIC 회로로 뉴로모르픽 전자 회로 시뮬레이션 결과를 나타내는 도면이다.
도 3a는 도 2a의 가변 저항을 MOSFET로 구현한 구현예이며, 도 3b와 도 3c는 도 2a의 가변 저항을 트랜스 컨덕턴스로 구현한 구현예이다.
도 4a는 도 2a의 신경연결고리 기반 필터 연산 모델이며, 도 4b는 이를 기반으로 한 뇌 모방 시각 인식을 설명하기 위한 도면이다.
도 5a는 본 발명의 일실시예에 따른 포토 트랜지스터와 결합된 트랜스 컨덕턴스 신경 회로로 이루어진 시각 신경 회로 장치를 나타내며, 도 5b는 포토 다이오드와 결합된 트랜스 컨덕턴스 신경 회로로 이루어진 시각 신경 회로 장치를 나타낸다.
도 6은 도 5a와 5b의 단위 설계 회로를 기반으로 도 2a 내지 도 3c의 뇌 시각 피질 신경망의 모방 구현을 설명하는 도면이다.
도 7은 일반 가시광선 센서와 적외선 조명형 적외선 전용 센서의 각각 성능 특성을 통하여 이종 센서 복합형을 통한 성능 강화의 기반 원리를 보여준다.
도 8은 본 발명의 일실시예에 따른 다종 센서 기반 시각 신경 회로 장치를 이용한 객체 탐색 시스템을 나타낸다.
도 9a는 저해상도 이미지 센서의 출력에 트랜스 컨덕턴스 회로를 적용하여 특정 관리 대상 영역을 선택하는 마스크를 연산하는 과정을 나타내며, 도 9b는 이를 일반 고해상도 이미지 센서에 적용하여, 특정 관리 대상 영역을 배경과 분리 추출하는 원리를 설명하는 도면이다.
도 10은 본 발명의 다른 실시예에 따른 객체 탐색 시스템을 나타내는 구성도이다.
도 11은 본 발명의 다른 실시예에 따른 탐색 시스템의 개념도이다.
도 12는 본 발명의 또 다른 실시예에 따른 객체 탐색 시스템을 나타내는 구성도이다.
도 13은 본 발명의 일실시예에 따른 다종 센서 기반 시각 신경 회로 장치를 이용한 객체 탐색 방법의 흐름도이다.
도 2a는 도 1의 동물 뇌 임상 실험 내용을 기반으로 뉴로모르픽 신경망으로 뇌 시각피질 뉴런을 CMOS ASIC 전자회로 설계하는 기본개념을 설명하는 도면이며, 도 2b는 CMOS 트랜지스터 ASIC 회로로 뉴로모르픽 전자 회로 시뮬레이션 결과를 나타내는 도면이다.
도 3a는 도 2a의 가변 저항을 MOSFET로 구현한 구현예이며, 도 3b와 도 3c는 도 2a의 가변 저항을 트랜스 컨덕턴스로 구현한 구현예이다.
도 4a는 도 2a의 신경연결고리 기반 필터 연산 모델이며, 도 4b는 이를 기반으로 한 뇌 모방 시각 인식을 설명하기 위한 도면이다.
도 5a는 본 발명의 일실시예에 따른 포토 트랜지스터와 결합된 트랜스 컨덕턴스 신경 회로로 이루어진 시각 신경 회로 장치를 나타내며, 도 5b는 포토 다이오드와 결합된 트랜스 컨덕턴스 신경 회로로 이루어진 시각 신경 회로 장치를 나타낸다.
도 6은 도 5a와 5b의 단위 설계 회로를 기반으로 도 2a 내지 도 3c의 뇌 시각 피질 신경망의 모방 구현을 설명하는 도면이다.
도 7은 일반 가시광선 센서와 적외선 조명형 적외선 전용 센서의 각각 성능 특성을 통하여 이종 센서 복합형을 통한 성능 강화의 기반 원리를 보여준다.
도 8은 본 발명의 일실시예에 따른 다종 센서 기반 시각 신경 회로 장치를 이용한 객체 탐색 시스템을 나타낸다.
도 9a는 저해상도 이미지 센서의 출력에 트랜스 컨덕턴스 회로를 적용하여 특정 관리 대상 영역을 선택하는 마스크를 연산하는 과정을 나타내며, 도 9b는 이를 일반 고해상도 이미지 센서에 적용하여, 특정 관리 대상 영역을 배경과 분리 추출하는 원리를 설명하는 도면이다.
도 10은 본 발명의 다른 실시예에 따른 객체 탐색 시스템을 나타내는 구성도이다.
도 11은 본 발명의 다른 실시예에 따른 탐색 시스템의 개념도이다.
도 12는 본 발명의 또 다른 실시예에 따른 객체 탐색 시스템을 나타내는 구성도이다.
도 13은 본 발명의 일실시예에 따른 다종 센서 기반 시각 신경 회로 장치를 이용한 객체 탐색 방법의 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명의 실시예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1 은 본 발명의 원리인 사람과 동물의 뇌 시각 피질(visual cortex)의 실험결과로, 상단 좌측은 광원(제각각 다른 방향성 기울기를 가진 광원)이며 우측은 좌측의 광원을 본 고양이(하단 사진 속 고양이) 의 시각피질 뉴런의 반응 신호로 뇌 시각 인식은 뇌 신경망이 방향성에 대한 선택적 반응이 기반 원리 중 하나임을 입증한 노벨상 수상의 Hubel과 Wiesel의 임상 실험을 설명하는 도면이다.
도 1을 참조하면, 뇌 시각 인식은 뇌 신경망이 방향성에 대한 선택적 반응을 한다. 뇌 시각 피질은 특정 감지 위치 (영상중 픽셀에 해당)에서 각각의 방향성에 반응하는 뉴런으로 구성되어 있음은 고양이 혹은 원숭이 실험으로 밝혀졌으며, 본 발명은 이와 같은 방향성에 대한 선택적 반응을 하는 뉴런 기능을 기반으로 함으로써, 동물 수준의 환경 변화에 강인한 감지 능력을 구현하며 종래의 영상 인식 기술의 한계인 밝기 변동에 취약성을 크게 개선한다.
도 2a는 도 1의 동물 뇌 임상 실험 내용을 기반으로 뉴로모르픽 신경망으로 뇌 시각피질 뉴런을 CMOS ASIC 전자회로 설계하는 기본개념을 설명하는 도면이며, 도 2b는 CMOS 트랜지스터 ASIC 회로로 뉴로모르픽 전자 회로 시뮬레이션 결과를 나타내는 도면으로, 도 1의 뇌 시각 피질 뉴런의 특성과 기능이 모방 구현됨을 설명하는 도면이다.
도 2a는 도 1의 동물 뇌 신경 세포에서 일어나는 현상을 전자적으로 혹은 알고리즘으로 모방 구현하는 본 발명의 원리와 실현성을 설명하는 것으로, 뉴로모르픽 신경망으로 시각 피질의 뉴런과 유사한 기능을 CMOS 트랜지스터 ASIC 전자회로로 구현 가능함을 입증하였다.
그리고, 도 2b는 전자 회로 뉴로모르픽 뉴런의 성능이 동물의 것과 유사하게 모방할 수 있음을 보여준다.
도 3a는 도 2a의 가변 저항을 MOSFET로 구현한 구현예이며, 도 3b와 도 3c는 도 2a의 가변 저항을 트랜스 컨덕턴스로 구현한 구현예이다.
도 3a와 같이 MOSFET의 비 포화 동작영역은 드레인-소스 단자 전압에 따라 드레인-소스 단자 전류가 변화되어 저항성 혹은 도전성 소자로 사용될 수 있다. 비포화 영역 MOSFET의 전류-전압 관계는 다음과 같다.
(수학식 1)
Ids = k (W/L)[(Vgs-Vt)Vds-Vds2 /2]
k는 MOSFET 제조 공정에서 물리적으로 결정되는 고정 상수이며, W는 트랜지스터 게이트의 폭(width), L은 트랜지스터 게이트의 길이(length)로서 트랜지스터의 도전성 혹은 저항성의 범위를 결정한다. Vt는 트랜지스터의 스레스홀드( threshold) 전압이며, 본 실시예 실험에 사용된 트랜지스터는 n-채널 디프리션 모드이며, 극성이나 스레스 홀드 전압이 다르더라도 도 3b의 트랜스 컨덕턴스 회로 구성 원리에는 변동이 없다.
수학식 1에서 [Vds2/2] 항목은 비선형 저항성 혹은 도전성 특성의 원인이 되어, 도 3a의 등가회로에서 선형 저항 옆에 비선형 전류원이 되어 전류-전압 실험 사진과 같이 비선형 특성으로 수학적 연산 회로로 제한을 가진다.
도 3b는 도 2a의 신경 연결고리 모방에 사용되는 가변 저항을 트랜스 컨덕턴스 회로로 구현한 구현예로서, 아래의 수학식 2의 동작 원리를 가진다.
(수학식 2)
Ids =Ids1 + Ids2
= k (W/L)[(Vgs-Vt)Vds-Vds 2 /2] + k (W/L)[(Vds-Vt)Vds-Vds 2 /2]
= k (W/L)[(Vgs-Vt)Vds-Vds 2 /2 +(Vds-Vt)Vds-Vds 2 /2]
= k (W/L)(Vgs-2Vt)Vds
Ids1은 트랜지스터 M1의 드레인-소스 전류, Ids2는 트랜지스터 M2의 드레인 소스 전류로, 전체 전류 Ids는 트랜지스터 M2의 게이트-소스의 제어 전압에 드레인-소스 전압 성분을 인가함으로써 2차항의 비선형 전류 성분 [2*(Vds2/2)]을 상쇄하는 [Vds*Vds] 항을 생성한다. 이와 같은 수학 2의 원리는 도 3b의 전류-전압 선형성을 보여주는 특성 실험 결과에서 확인된다.
도 3c는 도 3b 혹은 수학식 1, 2와 같은 원리로 트랜지스터 M1과 M2의 Vt가 디플리션 모드가 아닌 인핸스먼트 (enhancement) 모드에 적용될 수 있도록 트랜지스터 M2에 인가하는 게이트 전압 회로를 보완한 구성이다.
도 3c를 참조하면, 회로는 한 쌍의 NMOS(N Metal Oxide Semiconductor) 트랜지스터 M1 및 M2에 의해 전압이 제어된 선형 컨덕턴스 회로로 제안되었으며, MOS 트랜지스터의 컨덕턴스는 아날로그 회로 설계에서 필수적인 구성요소 중 하나이고, 이러한 회로는 실행 시넵스로부터 뉴런에 이르기까지 다양한 신경망에 응용될 수 있다.
따라서, 도 3c을 참조하면, VBIAS는 PMOS(P Metal Oxide Semiconductor)과 같은 M3에 의해, 다이오드와 같은 구동을 하도록 바이어스값을 가지며 이루어진다.
이처럼 도 3a 내지 3c의 선형 저항 혹은 제어형 선형 트랜스 컨덕턴스 회로는 모두 시뮬레이션 뿐 아니라, 도면에 제시된 바와 같이 test ASIC chip 제작과 실험으로 성능이 검증되었다. 트랜지스터의 선형 저항성 혹은 도전성은 신경 연결고리 가중치 연산과 뉴런 세포의 비동기 스파이크 신호 발생의 동적 다이내믹 특성을 모델링하는 Hodgkin-Huxley formalism의 구성 요소에 적용할 수 있다.
도 4a는 도 2a의 신경연결고리 기반 필터 연산 모델이며, 도 4b는 이를 기반으로 한 뇌 모방 시각 인식을 설명하기 위한 도면이다.
도 4a의 방향성 선택형 필터는 방향 각도에 맞추어 회전한 결과 적용으로 구현 가능하고 용도에 따라 1, 2, 4, 8 방향성등 임의의 확장성으로 적용 가능하며, 도 4b는 4개의 방향성 선택 필터 연산 기반이다.
도 2a 내지 도 3c의 원리를 기반으로, 어둠과 같은 제한적 환경 속에서도 강인한 성능을 보여주는 영상 인식의 사례로 도 2b와 같은 기능의 방향성 선택 처리로 도 3a와 같은 방향성 선택 필터를 적용하여, 도 4b와 같이 어두운 터널에서도 자전거 경주자를 인식함을 보여 주었다.
도 5a는 본 발명의 일실시예에 따른 포토 트랜지스터와 결합된 트랜스 컨덕턴스 신경 회로로 이루어진 시각 신경 회로 장치를 나타내며, 도 5b는 포토 다이오드와 결합된 트랜스 컨덕턴스 신경 회로로 이루어진 시각 신경 회로 장치를 나타낸다.
도 5a를 참조하면, 다종 센서 기반 시각 신경 회로 장치는 저해상도 이미지 입력부(10)와 트랜스 컨덕턴스 신경 회로(20)를 포함하고 있다.
상기 저해상도 이미지 입력부(10)는 CMOS 이미지 센서로 구성되는 고해상도 이미지 입력부에 비해 해상도가 낮은 저해상도의 이미지를 입력받는 장치로 적외선 센서 또는 포토 트랜지스터 등일 수 있으며, 도 5a에서는 포토 트랜지스터를 표시하고 있다.
그리고, 트랜스 컨덕턴스 신경 회로(20)는 저해상도 이미지 입력부(10)를 통하여 입력되는 이미지에 대응하는 전류를 선형 전류 변환을 통하여 전압으로 변환하는 트랜스 컨덕턴스부(21)(M1과 M2)와 이를 전류원 출력화 버퍼 증폭하여 신경 연결 고리의 가중치 연산과 포토 트랜지스터의 전류 신호에 대한 가중치 연산과 버퍼링 작용을 하는 버퍼링부(25)(M3와 M4)를 포함하고 있다.
상기 트랜스 컨덕턴스부(21)는 상하 대칭형으로 병렬 연결될 수 있으며, 트랜스컨덕터(Transconductor)로 구성될 수 있으며, 차동 트랜스컨덕턴스 증폭기와 등가 회로일 수 있다.
또한, 트랜스 컨덕턴스부(21)는 BiCMOS(Bipolar CMOS) 트랜지스터, JFET(Junction Field-Effect Transistor), MOSFET(Metal-Oxide Semiconductor Field-Effect Transistor), GaAs MESFET(Metal Semiconductor FET) 중 적어도 하나 또는 적어도 하나의 조합으로 구성될 수 있다.
이와 같은 트랜스 컨덕턴스부(21)는 한 쌍의 NMOS(N Metal Oxide Semiconductor) 트랜지스터 M1 및 M2에 의해 전압이 제어된 선형 컨덕턴스 회로로 구성될 수 있다. 이는, 실행 시넵스로부터 뉴런에 이르기까지 다양한 신경망에 응용될 수 있다.
한편, 버퍼링부(25)는 트랜스 컨덕턴스부(21)의 출력 전류를 버퍼링하여 피드백되는 전류가 역류하지 않도록 하며, 객체의 패턴과 동일한 프레임에 대한 입력전류를 증폭시켜 가중치(Weight)를 적용할 수 있다.
이때, 가중치는 이미지나 영상의 픽셀이 기 설정된 밝기보다 밝은 경우, 이미지나 영상의 픽셀에 부여될 수 있다. 예를 들어, 시각 자극의 입력이 기 설정된 임계값보다 큰 경우, 가중치를 적용하도록 할 수 있다. 이때, 시각 자극은 명암일 수 있고, 기 설정된 임계값은 일정 밝기의 명암일 수 있다.
이와 같은 다종 센서 기반 신경 회로 장치에 있어 트랜스 컨덕턴스 신경 회로(20)는 도 3a 내지 도 3c에 도시된 바와 같이 가변 저항 혹은 컨덕턴스 값으로 모델링된다. 이때, 세로와 가로로 다수개의 저해상도 이미지 입력부(10)와 그에 대응되는 컨덕턴스 신경 회로(20)를 구성함으로써 M*N개의 픽셀의 저해상도 이미지를 얻을 수 있다.
한편, 도 5b를 참조하면, 다종 센서 기반 시각 신경 회로 장치는 저해상도 이미지 입력부(10')와 트랜스 컨덕턴스 신경 회로(20')를 포함하고 있다.
상기 저해상도 이미지 입력부(10')는 CMOS 이미지 센서로 구성되는 고해상도 이미지 입력부에 비해 해상도가 낮은 저해상도의 이미지를 입력받는 장치로 도 5b에서는 포토 다이오드를 표시하고 있다.
그리고, 트랜스 컨덕턴스 신경 회로(20')는 저해상도 이미지 입력부(10')를 통하여 입력되는 이미지에 대응하는 전류를 선형 전류 변환을 통하여 전압으로 변환하는 트랜스 컨덕턴스부(21-1', 21-2')(M1과 M2, M1A와 M2A)와 이를 전류원 출력화 버퍼 증폭하여 신경 연결 고리의 가중치 연산과 포토 다이오드의 전류 신호에 대한 가중치 연산과 버퍼링 작용을 하는 버퍼링부(25-1', 25-2')(M3+M4+M5, M3A+M4A+M5A+M6A+M7A)를 포함하고 있다.
상기 트랜스 컨덕턴스부(21-1', 21-2')는 상하 대칭형으로 병렬 연결될 수 있으며, 트랜스컨덕터(Transconductor)로 구성될 수 있으며, 차동 트랜스컨덕턴스 증폭기와 등가 회로일 수 있다.
또한, 트랜스 컨덕턴스부(21-1', 21-2')는 BiCMOS(Bipolar CMOS) 트랜지스터, JFET(Junction Field-Effect Transistor), MOSFET(Metal-Oxide Semiconductor Field-Effect Transistor), GaAs MESFET(Metal Semiconductor FET) 중 적어도 하나 또는 적어도 하나의 조합으로 구성될 수 있다.
이와 같은 트랜스 컨덕턴스부(21-1', 21-2')는 한 쌍의 NMOS(N Metal Oxide Semiconductor) 트랜지스터 M1 및 M2에 의해 또는 M1A 및 M2A에 의해 전압이 제어된 선형 컨덕턴스 회로로 구성될 수 있다. 이는, 실행 시넵스로부터 뉴런에 이르기까지 다양한 신경망에 응용될 수 있다.
한편, 버퍼링부(25')는 트랜스 컨덕턴스부(21-1', 21-2')의 출력 전류를 버퍼링하여 피드백되는 전류가 역류하지 않도록 하며, 객체의 패턴과 동일한 프레임에 대한 입력전류를 증폭시켜 가중치(Weight)를 적용할 수 있다.
이때, 가중치는 이미지나 영상의 픽셀이 기 설정된 밝기보다 밝은 경우, 이미지나 영상의 픽셀에 부여될 수 있다. 예를 들어, 시각 자극의 입력이 기 설정된 임계값보다 큰 경우, 가중치를 적용하도록 할 수 있다. 이때, 시각 자극은 명암일 수 있고, 기 설정된 임계값은 일정 밝기의 명암일 수 있다.
이와 같은 버퍼링부(25')는 출력 전류를 외부로 제공하는 정방향 버퍼(25-1')(M3+M4+M5)과 출력 전류를 외부로부터 공급받는 형식의 부방향 버퍼(25-2')(M3A+M4A+M5A+M6A+M7A)로 이루어져 있다.
이와 같은 다종 센서 기반 신경 회로 장치에 있어 트랜스 컨덕턴스 신경 회로(20')는 도 3a 내지 도 3c에 도시된 바와 같이 가변 저항 혹은 컨덕턴스 값으로 모델링된다. 이때, 세로와 가로로 다수개의 저해상도 이미지 입력부(10')와 그에 대응되는 컨덕턴스 신경 회로(20')를 구성함으로써 M*N개의 픽셀의 저해상도 이미지를 얻을 수 있다.
이처럼 트랜스 컨덕턴스 회로(20, 20')는 저해상도 이미지 입력부(10)를 통하여 입력되는 이미지를 뇌모양 시각 정보 방향서 처리하여 출력한다.
이와 같은 트랜스 컨덕턴스 회로(20, 20')에 가충지 처리를 하게 되면 관심 영역이 강조된 영상을 얻을 수 있다.
도 5a와 5b의 설계 내용에서 전압성 혹은 도전성 구현에 도 3b와 도 3c의 선택적 적용에 제한이 없으며, 양방향성은 선택형으로 필요에 따라 정방향성만 선택할 수도 있다. 이는 도 6의 방향성 선택형 필터의 다중 어레이의 도 4a를 이용한 전체 시스템 구현 설계의 선택도와 유연성을 제공하기 위함이다.
도 6은 도 5a와 5b의 단위 설계 회로를 기반으로 도 2a 내지 도 3c의 뇌 시각 피질 신경망의 모방 구현을 설명하는 도면이다.
신경망의 전기적 모델인 신경 연결고리 연산의 원리로, 가변 저항 혹은 컨덕턴스 값으로 신경 연결고리 기능이 모델링되어 전류원화 된 각각의 연산 결과는 도 6의 구성 중 전류 연산 합산부로 커패사터를 적용하여 전류원의 누적 합산을 수행하며, 전압의 형태로 출력한다.
도 7은 일반 가시광선 센서와 적외선 조명형 적외선 전용 센서의 각각 성능 특성을 통하여 이종 센서 복합형을 통한 성능 강화의 기반 원리를 보여준다.
도 7은 일반 고품질 가시 광선 센서와 적외선 전용 센서 각각의 특성(a)과 운전자 상태 감지 분야의 제한 요소인 선글라스 착용시 상태 사례(b, c)로, 적외선 전용 이미지 센서의 제한적 영상 신호 처리 여건을 보여주며, 일반 영상 센서 기반으로 운전자를 분석하면 선글라스를 착용했어도 하품등의 상태 인식(d)이 가능함을 설명하는 도면이다.
도 7의 (a)의 좌측은 일반 가시 광선 센서 이미지이며, 우측은 적외선 전용 센서의 이미지로 동일인에 대한 영상이다.
좌측 일반 가시 광선 센서 이미지는 운전자 얼굴이 사실적이고 세부적으로 나타나며, 우측의 적외선 전용 센서의 이미지는 상세한 피부 상태가 상당히 생략되고 피부 밑의 모근이 수염처럼 나타나기도 한다.
이와 함께 선글라스를 착용한 도 7(b)와 도 7(c)를 비교하면 판이한 결과를 볼 수 있다, 도 7(b)와 도 7(c)는 동일한 버스 운전석에 유사한 날씨의 낮 시간에 채취된 일반 가시 광선 센서 이미지(b)와 적외선 전용 센서 이미지(c)이며, 선글라스가 적외선을 투과하지 못하는 상황에서 적외선 전용 센서 영상은 해당 부위 영상 정보가 거의 없으며, 일반 센서는 안경 부분을 감지할 수 있는 영상 정보가 다양하며 얼굴 상태 정보도 풍부하다.
반면에 적외선 전용 센서는 운전자 뒷 배경 부분이 거의 나타나지 않으며, 일반 센서는 복잡한 배경 정보가 나타난다. 도 7(d)는 선글라스 착용한 운전자가 졸음으로 하품하는 일반 센서 영상으로, 전문 연구기관 연구원이 버스 사고시 녹화 영상을 보고 재생한 시뮬레이션 액션으로 안경 착용한 두 눈의 중심을 기준으로 입 주변 영역의 방향성 선택 신호 처리 결과의 분석으로 하품 여부를 인식하는 시스템 성능을 제시한다.
이와 같이 일반 센서 기반 이미지를 사용하면 폭넓은 사용 범위를 가지며, 적외선 전용 센서를 사용하면 도 7(d)와 같은 복잡한 배경의 처리에 안정적이고 효율적일 수 있다.
도 8은 본 발명의 일실시예에 따른 다종 센서 기반 시각 신경 회로 장치를 이용한 객체 탐색 시스템을 나타낸다.
도 8을 참조하면, 본 발명의 일실시예에 따른 객체 탐색 시스템은 저해상도 이미지 입력부(110)와, 고해상도 이미지 입력부(115)와, 트랜스 컨덕턴스 신경 회로(120)와, 가중치 제어부(130)와, 탐지부(140) 그리고 객체 탐색부(150)를 포함하고 있다. 상기 저해상도 이미지 입력부(110)와 트랜스 컨덕턴스 신경 회로(120)는 앞서 설명된바, 상세한 설명은 생략한다.
여기에서, 고해상도 이미지 입력부(115)는 CMOS 이미지 센서 등일 수 있으며 저해상도 이미지 입력부(110)보다 해상도가 높아 선명한 영상을 얻을 수 있다.
상기 가중치 제어부(130)는 상기 트랜스 컨덕턴스 신경 회로(120)의 버퍼링부(125)의 신경 연결 고리 가중치 단자에 접속되어 버퍼링부(125)에 입력되는 가중치를 조절한다. 이때, 가중치는 이미지나 영상의 픽셀이 기 설정된 밝기보다 밝은 경우, 이미지나 영상의 픽셀에 부여될 수 있다. 예를 들어, 시각 자극의 입력이 기 설정된 임계값보다 큰 경우, 가중치를 적용하도록 할 수 있다. 이때, 시각 자극은 명암일 수 있고, 기 설정된 임계값은 일정 밝기의 명암일 수 있다.
이러한 버퍼링부(125)의 가중치 단자에 가중치 제어부(130)가 서로 다른 가중치를 적용하면 도 9a에 도시된 바와 같이 원하는 영상을 강조할 수 있다.
이와 관련하여 도 9a는 적외선 센서, 포토 트랜지스터 또는 포토 다이오드를 이용한 사람의 저해상도 영상에서, 가중치 제어부(130)의 가중치 조절에 의해 뇌를 모방한 연산으로 사람 머리를 추출 가능한 마스크를 생성하였으며 시각피질의 신경망을 시뮬레이션 연산 결과이다.
신경 연결고리를 통한 시각 신경 회로 장치에서 뇌의 최기 시각 지능 단계인 방향성 연산은 상대적으로 소규모인 100~200의 연결고리가 국지적으로 연산되는 즉 100~200의 센서 출력과 신경 연결고리 가중치 연산이 각 화소(pixel) 단위로 필요하다.
이와 함께 뇌 시각 피질의 방향성 반응은 6~8 종류의 연결 가중치로 구현 가능하므로, 각 화소(pixel) 단위로 6~8 종류의 연결고리 가중치를 연산하여 100~200의 국지적 연산 단계는 출력 전류원을 버퍼링(buffering)의 단순 구조로 구성할 수 있다.
각각 화소 단위로 가중치 연결고리 연산은 중복하거나 반복하지 않도록 공통 부분을 사용하고, 출력 버퍼링 즉 전류 복제 트랜지스터만으로 복제 사용하는 회로이다. 회로 구성을 통하여 각 화소 단위로 필요한 100~200번 이상 연결고리 가중치 연산을 6~8 연결고리 가중치 연산으로 구현가능 하다. 여기서 연결되는 가중치 수효는 n개이며, 용도에 따라 6~8 범위로 구성할 수 있다.
한편, 탐지부(140)는 상기 가중치 제어부(130)에 의해 원하는 영역이 강조된 트랜스 컨덕턴스 회로(120)의 출력 영상에서 원하는 영역을 마스크로 탐지한다. 이때, 탐지된 영역이 도 9a의 두번째 영상에서 밝게 표시된 부분이며, 도 9b에서도 두번째 영상에서 밝게 표시된 부분이고, 도 9c에서도 두번째 영상에서 밝게 표시된 영역이다.
이처럼 탐지부(140)에 의해 마스크가 탐지되면, 객체 탐색부(150)는 고해상도 이미지 센서(115)을 통하여 획득한 영상에 마스크를 적용하여 원하는 영상을 추출한다.
이때, 객체 탐색부(150)에 의해 추출된 영상이 도 9b와 9c의 네번째 영상이다.
한편, 도 9b는 신경 연결고리 연산을 하는 곱셈 연산자와 Hubel과 Wiesel의 실험(노벨상 수상)으로 확인된 뇌 시각 피질 신경망의 방향 선택성을 적용하여, 저해상도 이종 센서(적외선 센서, 포토 트랜지스터, 포토 다이오드 등)의 출력 신호의 abstract를 효과적으로 변환함으로써 운전사와 같은 센서에 근접 대상 영역만을 분리가능한 마스크를 생성함으로서, 고해상도 이미지 센서에서 출력하는 영상 중 배경 부분을 제거하고 운전사 머리 영상을 추출하는 원리의 구성도이다.
근접한 특정 영역의 대상물만 추출하려면, 스테레오 카메라를 사용하거나 근적외선 영상 처리를 적용할 수 있으나, 스테레오 카메라는 복잡한 구조의 연산으로 구현과 안정성에 제한이 있고 근적외선 영상은 피부 밑의 영상 등 운전자의 다양한 상태를 모니터링 하기에 제한이 있다.
도 9b는 고해상도 이미지 센서와 저해상도 이미지 센서가 융합한 객체 탐색 시스템의 실시예로, 복잡한 배경 속의 사람 이미지에서 3차원 스테레오 처리 없이 저해상도 기반 근접 관리 영역의 마스크 생성으로 사람을 추출하며, 저해상도 이미지 센서와는 다른 고품질의 상세한 얼굴 영상을 분리 추출을 시뮬레이션 연산으로 구성하였다.
시각 신경 회로 장치를 이용한 객체 탐색 시스템은, 저해상도의 적외선 센서로 근접 대상물의 시각 정보 분리 추출 과정에, 방향성 연산의 시각 신경망 모방으로 처리 과정을 단순화하며 분리 성능을 강화한다. 차량 내부뿐 아니라, 다른 용도의 감시 혹은 감지용 카메라도 유사한 상황이다.
도 10은 본 발명의 다른 실시예에 따른 객체 탐색 시스템을 나타내는 구성도이다.
도 10은 저해상도 이미지 입력부와 고해상도 이미지 입력부가 통합되어 있는 통합 입력부(200)를 사용하고 있으며, 고해상도 이미지 입력부(201)의 구동과 저해상도 이미지 입력부(205)의 구동은 입력 제어부(210)에 의해 시간 분할 방식으로 구동된다.
즉, 입력 제어부(210)는 먼저 저해상도 이미지 입력부(205)를 구동하여 저해상도의 이미지를 얻도록 하며, 다음으로 입력 제어부(210)는 고해상도 이미지 입력부(201)를 구동하여 고해상도 이미지를 얻도록 한다.
이때, 입력 제어부(210)는 저해상도 이미지 입력부(205)를 구동할 때 적외선 LED 구동부(212)가 적외선 LED(211)를 온하도록 제어한다.
한편, 객체 탐색부(250)는 저해상도 이미지 입력부(205)로부터 입력되어 트랜스 컨덕턴스 신경 회로(220)와, 탐지부(240)를 통하여 추출된 마스크(관심 영역)를 입력받아 상기 고해상도 이미지 입력부(201)로부터 입력되는 영상에서 원하는 영상을 추출한다.
도 11은 본 발명의 다른 실시예에 따른 탐색 시스템의 개념도이다.
도 11을 참조하면, 이미지 센서를 가시광선과 근적외선을 감지하도록 하여, 매 프레임에 교차로 적외선 LED 투광 작동으로 적외선 센서 기반 분리 추출 마스크를 생성함으로써, 가시 광선 영역 영상에 나타나는 복잡한 배경에서 운전자를 고화질 상태로 분리 추출하여 운전자의 다양한 상태 인식과 모니터링을 수행할 수 있는 효율적 실시예의 한가지를 예시하였다.
도 12는 본 발명의 또 다른 실시예에 따른 탐색 시스템의 구성도이다.
도 12는 본 발명의 또 다른 실시예에 따른 탐색 시스템은 도 8에 도시된 객체 탐색부(150)가 원하는 영상을 검색하면, 상황 판단부(160)는 검색된 영상의 전후 영상을 비교하여 운전자의 상태를 파악한다.
즉, 상황 판단부(160)는 운전자의 상태가 졸음이나 심한 피로 상태, 전방 주시 태만의 부주의 상태등의 이상 상태에 있는지를 파악하고 이상 상태의 징후가 발견되면 적시에 실시간으로 인식하여 운전자에게 경보부(170)를 통하여 경보를 제공하거나 차량내 안전 시스템(180)에 상황을 전달한다.
그러면, 경보부(170)는 운전자에게 경보-음향이나 진동 또는 시각등을 포함함-를 발하여 운전자가 각성하도록 한다.
그리고, 안전 시스템(180)은 차량 제어 시스템에 알려 필요한 조치를 취할 수 있도록 한다.
도 13은 본 발명의 일실시예에 따른 다종 센서 기반 시각 신경 회로 장치를 이용한 객체 탐색 방법의 흐름도이다.
도 13을 참조하면, 본 발명의 일실시예에 따른 다종 센서 기반 시각 신경 회로 장치를 이용한 객체 탐색 방법은 먼저 저해상도 이미지 입력부를 통하여 영상을 입력받는다(S100). 여기에서 저해상도 이미지 입력부는 적외선 센서, 포토 트랜지스터 또는 포토 다이오드이다.
이후에, 트랜스 컨덕턴스 회로는 저해상도 이미지 입력부를 통하여 입력되는 이미지를 뇌모양 시각 정보 방향서 처리하여 출력한다(S110).
이러한 과정은 트랜스 컨덕턴스 신경 회로가 저해상도 이미지 입력부를 통하여 입력되는 이미지에 대응하는 전류를 선형 전류 변환을 통하여 전압으로 변환하고(트랜스 컨덕턴스부가 수행함), 이를 전류원 출력화 버퍼 증폭하여 신경 연결 고리의 가중치 연산과 포토 트랜지스터의 전류 신호에 대한 가중치 연산과 버퍼링 작용을 하는(버퍼링부에서 수행함) 과정을 포함하고 있다.
한편, 트랜스 컨덕턴스 신경 회로를 통하여 뇌모양 시각 정보 방향성 처리가 완료되면 탐지부는 관심 영역 이미지를 추출한다(S120).
이때, 탐지부에 의해 추출된 이미지는 차량 운전자의 경우 상반신 형상일 수 있으며, 이는 이후에 마스크로 사용된다.
그리고, 객체 탐색부는 고해상도 이미지 센서로부터 입력받은 영상에 탐지부가 탐지한 관심 영역에 대응되는 객체를 탐색한다(S130).
이처럼 객체 탐색부가 고해상도 이미지 센서에서 특정 영역을 선택하기 때문에 선명한 영상을 얻을 수 있다.
이후에, 상황 판단부는 객체의 상황을 판단하여 운전자의 상태가 졸음이나 심한 피로 상태, 전방 주시 태만의 부주의 상태등의 이상 상태에 있는지를 파악하고(S140) 이상 상태의 징후가 발견되면 적시에 실시간으로 인식하여 운전자에게 경보부를 통하여 경보를 제공하거나 차량내 안전 시스템에 상황을 전달한다(S150).
그러면, 경보부는 운전자에게 경보-음향이나 진동 또는 시각등을 포함함-를 발하여 운전자가 각성하도록 한다.
그리고, 안전 시스템은 차량 제어 시스템에 알려 필요한 조치를 취할 수 있도록 한다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이며, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10, 10' : 저해상도 이미지 입력부
20, 20' : 트랜스 컨덕턴스 신경 회로
21, 21-1', 21-2' : 트랜스 컨덕턴스부
25, 25' : 버퍼링부 25-1', 25-2' : 버퍼
110 : 저해상도 이미지 입력부 115 : 고해상도 이미지 입력부
120 : 트랜스 컨덕턴스 신경 회로 121 : 트랜스 컨덕턴스부
125 : 버퍼링부 130 : 가중치 제어부
140 : 탐지부 150 : 객체 탐색부
160 : 상황 판단부 170 : 경보부
180 : 안전 시스템 200 : 통합 입력부
201 : 고해상도 이미지 센서 205 : 저해상도 이미지 센서
210 : 입력 제어부 211 : 적외선 LED
212 : 적외선 LED 구동부 220 : 트랜스 컨덕턴스 신경 회로
221 : 트랜스 컨덕턴스부 225 : 버퍼링부
230 : 가중치 제어부 240 : 탐지부
250 : 객체 탐색부
20, 20' : 트랜스 컨덕턴스 신경 회로
21, 21-1', 21-2' : 트랜스 컨덕턴스부
25, 25' : 버퍼링부 25-1', 25-2' : 버퍼
110 : 저해상도 이미지 입력부 115 : 고해상도 이미지 입력부
120 : 트랜스 컨덕턴스 신경 회로 121 : 트랜스 컨덕턴스부
125 : 버퍼링부 130 : 가중치 제어부
140 : 탐지부 150 : 객체 탐색부
160 : 상황 판단부 170 : 경보부
180 : 안전 시스템 200 : 통합 입력부
201 : 고해상도 이미지 센서 205 : 저해상도 이미지 센서
210 : 입력 제어부 211 : 적외선 LED
212 : 적외선 LED 구동부 220 : 트랜스 컨덕턴스 신경 회로
221 : 트랜스 컨덕턴스부 225 : 버퍼링부
230 : 가중치 제어부 240 : 탐지부
250 : 객체 탐색부
Claims (19)
- 영상을 입력받는 저해상도 이미지 입력부; 및
상기 저해상도 이미지 입력부에서 입력된 영상을 뇌모방 시각 정보 방향성 처리를 수행하여 출력하는 트랜스 컨덕턴스 신경 회로를 포함하며,
상기 트랜스 컨덕턴스 신경 회로는
저해상도 이미지 입력부를 통하여 입력되는 이미지에 대응하는 전류를 선형 전류 변환을 통하여 전압으로 변환하는 트랜스 컨덕턴스부; 및
상기 트랜스 컨덕턴스부의 전압을 전류원 출력화 버퍼 증폭하여 신경 연결 고리의 가중치 연산과 저해상도 입력부의 전류 신호에 대한 가중치 연산과 버퍼링 작용을 하는 버퍼링부를 포함하며,
상기 버퍼링부는
출력 전류를 외부로 제공하는 정방향 버퍼; 및
출력 전류를 외부로부터 공급받는 형식의 부방향 버퍼로 이루어진 다종 센서 기반 시각 신경 회로 장치. - 청구항 1항에 있어서,
상기 저해상도 이미지 입력부는 적외선 센서, 포토 트랜지스터 또는 포토 다이오드중 하나인 다종 센서 기반 시각 신경 회로 장치. - 삭제
- 청구항 1항에 있어서,
상기 트랜스 컨덕턴스부는 한 쌍의 NMOS(N Metal Oxide Semiconductor) 트랜지스터에 의해 전압이 제어된 선형 컨덕턴스 회로로 이루어진 다종 센서 기반 시각 신경 회로 장치. - 삭제
- 청구항 1항에 있어서,
상기 버퍼링부의 신경 연결 고리 가중치의 단자를 통하여 상기 버퍼링부에 가중치를 인가하여 관심 영역의 영상을 강조하는 가중치 제어부를 더 포함하는 다종 센서 기반 시각 신경 회로 장치. - 저해상도 이미지 입력부에서 입력된 영상을 뇌모방 시각 정보 방향성 처리를 수행하여 출력하는 트랜스 컨덕턴스 신경 회로;
상기 트랜스 컨덕턴스 신경 회로에서 출력되는 저해상도 이미지에서 관심 영역 이미지를 추출하는 탐지부; 및
고해상도 이미지 입력부에서 입력된 영상에서 탐지부에서 탐지한 관심 영역에 대응되는 객체를 추출하는 객체 탐색부를 포함하며,
상기 트랜스 컨덕턴스 신경 회로는
저해상도 이미지 입력부를 통하여 입력되는 이미지에 대응하는 전류를 선형 전류 변환을 통하여 전압으로 변환하는 트랜스 컨덕턴스부; 및
상기 트랜스 컨덕턴스부의 전압을 전류원 출력화 버퍼 증폭하여 신경 연결 고리의 가중치 연산과 저해상도 입력부의 전류 신호에 대한 가중치 연산과 버퍼링 작용을 하는 버퍼링부를 포함하며,
상기 버퍼링부는
출력 전류를 외부로 제공하는 정방향 버퍼; 및
출력 전류를 외부로부터 공급받는 형식의 부방향 버퍼로 이루어지는 객체 탐색 시스템. - 청구항 7항에 있어서,
상기 트랜스 컨덕턴스 신경 회로의 신경 연결 고리 가중치 단자를 통하여 가중치를 조절하여 관심 영역 이미지를 강조하는 가중치 제어부를 더 포함하는 객체 탐색 시스템. - 청구항 7항에 있어서,
상기 저해상도 이미지 입력부는 적외선 센서, 포토 트랜지스터 또는 포토 다이오드중 하나인 객체 탐색 시스템. - 청구항 7항에 있어서,
상기 고해상도 이미지 입력부는 CMOS 센서인 객체 탐색 시스템. - 삭제
- 청구항 7항에 있어서,
상기 저해상도 이미지 입력부와 고해상도 이미지 입력부는 통합되어 통합 입력부를 구성하는 객체 탐색 시스템. - 청구항 12항에 있어서,
상기 통합 입력부의 저해상 이미지 입력부와 고해상 이미지 입력부를 시분할 제어하여 저해상 이미지와 고해상 이미지를 시간을 다르게 하여 출력하도록 제어 하는 입력 제어부를 더 포함하는 객체 탐색 시스템. - 청구항 7항에 있어서,
상기 객체 탐색부에서 추출된 객체의 이상 상태를 파악하는 상황 판단부를 더 포함하는 객체 탐색 시스템. - 청구항 14항에 있어서,
이상 상태가 발생되면 사용자에게 경고하는 경고부를 더 포함하며,
상기 상황 판단부는 이상 상태가 발생되면 상기 경고부로 출력하는 객체 탐색 시스템. - 청구항 14항에 있어서,
이상 상태가 발생되면 차량 제어 시스템에 알려 조치를 취하도록 하는 안전 시스템을 더 포함하며,
상기 상황 판단부는 이상 상태가 발생되면 상기 안전 시스템에 출력하는 객체 탐색 시스템. - (A) 트랜스 컨덕턴스 신경 회로가 저해상도 이미지 입력부를 통하여 입력되는 이미지를 뇌모양 시각 정보 방향성 처리하여 출력하는 단계;
(B) 탐지부가 트랜스 컨덕턴스 신경 회로를 통하여 뇌모양 시각 정보 방향성 처리가 완료되면 관심 영역 이미지를 추출하는 단계; 및
(C) 객체 탐색부가 고해상도 이미지 센서로부터 입력받은 영상에 탐지부가 탐지한 관심 영역에 대응되는 객체를 탐색하여 추출하는 단계를 포함하며,
상기 트랜스 컨덕턴스 신경 회로는
저해상도 이미지 입력부를 통하여 입력되는 이미지에 대응하는 전류를 선형 전류 변환을 통하여 전압으로 변환하는 트랜스 컨덕턴스부; 및
상기 트랜스 컨덕턴스부의 전압을 전류원 출력화 버퍼 증폭하여 신경 연결 고리의 가중치 연산과 저해상도 입력부의 전류 신호에 대한 가중치 연산과 버퍼링 작용을 하는 버퍼링부를 포함하며,
상기 버퍼링부는
출력 전류를 외부로 제공하는 정방향 버퍼; 및
출력 전류를 외부로부터 공급받는 형식의 부방향 버퍼로 이루어지는 객체 탐색 방법. - 청구항 17항에 있어서,
상기 (A) 단계에서
가중치 제어부가 상기 트랜스 컨덕턴스 신경 회로의 가중치를 제어하여 관심 영역 이미지를 강조하는 객체 탐색 방법. - 청구항 17항에 있어서,
(D) 상황 판단부가 객체의 상황을 판단하여 이상 상태에 있는지를 파악하는 단계; 및
(E) 상황 판단부가 이상 상태의 징후가 발견되면 경보부를 통하여 경보를 제공하거나 안전 시스템을 통하여 안전 조치를 취하도록 하는 단계를 더 포함하는 객체 탐색 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150129639A KR101738422B1 (ko) | 2015-09-14 | 2015-09-14 | 다종 센서 기반 시각 신경 회로 장치 및 이를 이용한 객체 탐색 시스템, 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150129639A KR101738422B1 (ko) | 2015-09-14 | 2015-09-14 | 다종 센서 기반 시각 신경 회로 장치 및 이를 이용한 객체 탐색 시스템, 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170031986A KR20170031986A (ko) | 2017-03-22 |
| KR101738422B1 true KR101738422B1 (ko) | 2017-05-23 |
Family
ID=58497481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150129639A KR101738422B1 (ko) | 2015-09-14 | 2015-09-14 | 다종 센서 기반 시각 신경 회로 장치 및 이를 이용한 객체 탐색 시스템, 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101738422B1 (ko) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
| US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
| US11983630B2 (en) | 2023-01-19 | 2024-05-14 | Tesla, Inc. | Neural networks for embedded devices |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100709323B1 (ko) | 2005-02-04 | 2007-04-20 | 삼성전자주식회사 | 확률 신경회로망 이론을 적용한 영상보상장치 및 방법 |
-
2015
- 2015-09-14 KR KR1020150129639A patent/KR101738422B1/ko active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| Han, Ju, and Bir Bhanu. "Fusion of color and infrared video for moving human detection." Pattern Recognition 40.6. 2007.* |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11797304B2 (en) | 2018-02-01 | 2023-10-24 | Tesla, Inc. | Instruction set architecture for a vector computational unit |
| US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
| US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11908171B2 (en) | 2018-12-04 | 2024-02-20 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
| US11983630B2 (en) | 2023-01-19 | 2024-05-14 | Tesla, Inc. | Neural networks for embedded devices |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170031986A (ko) | 2017-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101738422B1 (ko) | 다종 센서 기반 시각 신경 회로 장치 및 이를 이용한 객체 탐색 시스템, 방법 | |
| Chen et al. | NeuroIV: Neuromorphic vision meets intelligent vehicle towards safe driving with a new database and baseline evaluations | |
| CN103890781A (zh) | 用于机器视觉的视网膜编码器 | |
| Banjarey et al. | A survey on human activity recognition using sensors and deep learning methods | |
| Tamanani et al. | Estimation of driver vigilance status using real-time facial expression and deep learning | |
| Cuppens et al. | Using spatio-temporal interest points (STIP) for myoclonic jerk detection in nocturnal video | |
| US9798971B2 (en) | Visual cortical circuit apparatus, visual cortical imitation system and object search system using visual cortical circuit apparatus | |
| Lamaazi et al. | Smart edge-based driver drowsiness detection in mobile crowdsourcing | |
| Machado et al. | HSMD: An object motion detection algorithm using a Hybrid Spiking Neural Network Architecture | |
| Hassan et al. | Eye state detection for driver inattention based on Lucas Kanade optical flow algorithm | |
| Ganguly et al. | An integrated system for drivers’ drowsiness detection using deep learning frameworks | |
| Phyo et al. | Skeleton motion history based human action recognition using deep learning | |
| Rashmi et al. | Facial emotion detection using thermal and visual images based on deep learning techniques | |
| KR101382437B1 (ko) | 시각신경 회로장치 및 그 시각신경 회로장치를 이용한 객체 탐색방법, 및 객체탐색 시스템 | |
| Lehnert et al. | Retina-inspired visual module for robot navigation in complex environments | |
| Han et al. | Neuromorphic visual information processing for vulnerable road user detection and driver monitoring | |
| Jain et al. | Human Fall Detection in Surveillance Videos | |
| Emrani et al. | Effective connectivity-based neural decoding: A causal interaction-driven approach | |
| Sadek et al. | Computer vision-based approach for detecting arm-flapping as autism suspect behaviour | |
| Htike et al. | Human Posture Recognition: Methodology and Implementation | |
| Sapkale et al. | An Eye State Recognition System using Transfer Learning: Inception‐Based Deep Convolutional Neural Network | |
| Wang et al. | Driver Motion Detection Using Online Sequential Learning | |
| Jebraeily et al. | Driver Drowsiness Detection Based on Convolutional Neural Network Architecture Optimization Using Genetic Algorithm | |
| Dimitrov et al. | Algorithms for classification of signals derived from Human Brain | |
| Santhoshkumar et al. | Detection of Abnormal Driving Behavior Detection Using ADBDConvolutional Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |