KR102634365B1 - 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법 및 장치 - Google Patents

Abstract

안전 목적의 분산 처리 기반의 돌발 상황 인식 방법이 개시된다. 상기 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법은 제1프로세싱 유닛은 영상에서 객체를 인식하여 상기 인식된 객체의 유형 정보과 위치 정보를 제2프로세싱 유닛으로 전송하는 단계, 상기 제2프로세싱 유닛은 상기 객체의 유형 정보와 상기 위치 정보를 제1신경망에 적용하여 상기 객체의 자세 정보와 움직임 정보를 예측하는 단계, 및 상기 제2프로세싱 유닛은 상기 예측된 객체의 자세 정보와 상기 움직임 정보에 따라 상기 객체의 자세 정보와 상기 움직임 정보를 제2신경망에 적용할지 여부를 결정하는 단계를 포함하며, 상기 제1신경망의 출력 노드들에 제1인디케이터 노드가 더 추가되고, 상기 제1인디케이터 노드는 상기 출력 노드들과 풀리 커넥티드된 레이어와 풀리 커넥티드되며, 상기 제1인디케이터 노드는 상기 인식된 객체의 수가 1개이거나, 상기 객체가 움직임이 없는 상태로 예측될 때, 1이며, 상기 인식된 객체의 수가 2개 이상이거나, 상기 객체가 움직임이 있는 상태라고 예측될 때, 0이다.

Description

안전 목적의 분산 처리 기반의 돌발 상황 인식 방법 및 장치 {Method and device for recognizing a sudden situation based on distributed processing for safety purposes}

본 발명은 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법 및 장치에 관한 것으로, 상세하게는 특정 프로세싱 유닛의 연산 부담을 분산시키기 위한 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법 및 장치에 관한 것이다.

인공 신경망(artificial neural network)는 영상 인식, 음성 인식 등 다양한 분야에서 활용되고 있다. 인공 신경망은 네트워크의 입력과 출력 사이에 복수의 뉴런 레이어(neurons layers)을 이용한다. 인공 신경망을 학습시키고 실제 응용 분야에 적용하기 위해 대규모의 병렬 연산 능력을 가지는 GPU(gpraphics processing unit)가 이용된다.

학습을 통해 만들어진 인공 신경망의 예로, AlexNet, Mask RCNN, VGGNet 등이 있다. AlexNet은 6천2백만개, Mask RCNN은 6천3백만개, VGGNet은 1억3천8백만개의 파라미터들을 포함하고 있다. 인공 신경망은 매우 많은 수의 파라미터들을 포함하고 있으므로, 대규모의 병렬 연산이 필요하다. 인공 신경망의 사이즈가 크면, GPU를 사용하여 연산을 수행하면 전력 소모가 많고, 많은 열이 발생하는 문제점이 있다.

특허등록번호 10-2309764

본 발명이 이루고자 하는 기술적인 과제는 돌발 상황 인식에 필요한 연산을 분산 처리 하기 위한 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법 및 장치를 제공하는 것이다.

본 발명의 실시 예에 따른 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법은 제1프로세싱 유닛은 영상에서 객체를 인식하여 상기 인식된 객체의 유형 정보과 위치 정보를 제2프로세싱 유닛으로 전송하는 단계, 상기 제2프로세싱 유닛은 상기 객체의 유형 정보와 상기 위치 정보를 제1신경망에 적용하여 상기 객체의 자세 정보와 움직임 정보를 예측하는 단계, 및 상기 제2프로세싱 유닛은 상기 예측된 객체의 자세 정보와 상기 움직임 정보에 따라 상기 객체의 자세 정보와 상기 움직임 정보를 제2신경망에 적용할지 여부를 결정하는 단계를 포함한다.

상기 제1신경망의 출력 노드들에 제1인디케이터(indicator) 노드가 더 추가된다.

상기 제1인디케이터 노드는 상기 출력 노드들과 풀리 커넥티드된(fully connected) 레이어와 풀리 커넥티드된다.

상기 제1인디케이터 노드는 상기 인식된 객체의 수가 1개이거나, 상기 객체가 움직임이 없는 상태로 예측될 때, 1이다.

상기 인식된 객체의 수가 2개 이상이거나, 상기 객체가 움직임이 있는 상태라고 예측될 때, 0이다.

실시 예에 따라 상기 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법은 상기 제2프로세싱 유닛은 상기 제1신경망에서 출력된 예측 값들을 제2신경망에 적용하여 상기 객체의 행동의 위험성을 예측하는 단계를 더 포함할 수 있다.

상기 객체의 행동의 위험성을 예측하는 단계는 상기 제1인디케이터 노드가 0일 때, 수행된다.

상기 제2신경망의 출력 노드들에 제2인디케이터 노드가 하나 더 추가된다.

상기 제2인디케이터 노드는 상기 제2신경망의 출력 노드들과 풀리 커넥티드된(fully connected) 레이어와 풀리 커넥티드된다.

상기 제2인디케이터 노드는 상기 객체의 행동이 위험성이 없다고 인식될 때, 1이며, 상기 객체의 행동이 위험성이 있다고 인식될 때, 0이다.

상기 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법은, 상기 객체의 행동이 위험성이 없다고 인식될 때, 상기 제2프로세싱 유닛은 상기 제2신경망의 예측 결과를 제3프로세싱 유닛으로 전송하는 단계를 더 포함할 수 있다.

상기 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법은, 상기 제2프로세싱 유닛은 상기 제2신경망에서 출력된 예측 값들을 제3신경망에 적용하여 상기 객체에 대한 돌발 상황 발생 가능성을 예측하는 단계를 더 포함할 수 있다.

상기 제1프로세싱 유닛은 FPGA, 또는 NPU일 수 있다.

상기 제2프로세싱 유닛은 GPU일 수 있다.

본 발명의 실시 예에 따른 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법은 제1프로세싱 유닛, 제2프로세싱 유닛, 상기 제1프로세싱 유닛에 의해 실행되는 명령들을 저장하는 제1프로세싱 유닛 메모리, 및 상기 제2프로세싱 유닛에 의해 실행되는 명령들을 저장하는 제2프로세싱 유닛 메모리를 포함한다.

상기 제1프로세싱 유닛은 영상에서 객체를 인식하여 상기 인식된 객체의 타입 정보과 위치 정보를 제2프로세싱 유닛으로 전송하는 명령들을 실행한다.

상기 제2프로세싱 유닛은 상기 객체의 타입 정보와 상기 위치 정보를 제1신경망에 적용하여 상기 객체의 자세 정보와 움직임 정보를 예측하며, 상기 예측된 객체의 자세 정보와 상기 움직임 정보에 따라 상기 객체의 자세 정보와 상기 움직임 정보를 제2신경망에 적용할지 여부를 결정하는 명령들을 실행한다.

본 발명의 실시 예에 따른 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법 및 장치는 돌발 상황 인식에 필요한 연산을 분산 처리 하도록 함으로써 특정 프로세싱 유닛의 연산 부담을 감소시키고, 발열과 전력 소모를 최소화할 수 있다는 효과가 있다.

또한, 본 발명의 실시 예에 따른 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법 및 장치는 다수의 신경망들 중 어느 하나의 신경망의 예측 결과에 따라 나머지 신경망들의 처리 여부를 결정하도록 함으로써 특정 프로세싱 유닛의 연산 부담을 감소시키고, 발열과 전력 소모를 최소화할 수 있다는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 안전 목적의 분산 처리 기반의 돌발 상황 인식 장치의 블록도를 나타낸다.
도 2는 도 1에 도시된 제1프로세싱 유닛과 제2프로세싱 유닛에 의해 처리되는 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법을 설명하기 위한 블록도를 나타낸다.
도 3은 도 1에 도시된 제2프로세싱 유닛에 의해 처리되는 복수의 신경망들이 도시된 블록도를 나타낸다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않은 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다." 또는 "가지다." 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.

도 1은 본 발명의 실시 예에 따른 안전 목적의 분산 처리 기반의 돌발 상황 인식 장치의 블록도를 나타낸다.

도 1을 참고하면, 안전 목적의 분산 처리 기반의 돌발 상황 인식 장치(100)는 안전을 위해 돌발 상황을 인식할 수 있는 장치를 의미한다. 장치(100)는 서버, 컴퓨터, 또는 노트북 등의 전자 장치를 의미한다. 또한, 장치(100)는 CCTV 카메라, IP 카메라, 또는 카메라일 수 있다. 장치(100)는 도로 변에 위치할 수 있다.

돌발 상황이란 일반적인 상황인 아닌 비상 상황을 의미한다. 예컨대, 돌발 상황이란 도로에서의 역주행, 도로에서 보행자 검출, 낙석, 도로에서 결빙, 차량 충돌 등의 상황을 의미한다.

장치(100)는 제1프로세싱 유닛(10), 제1프로세싱 유닛 메모리(11), 제2프로세싱 유닛(20), 제2프로세싱 유닛 메모리(21), 제3프로세싱 유닛(30), 및 제3프로세싱 유닛 메모리(31)을 포함한다. 실시 예에 따라 장치(10)는 카메라 모듈(미도시)를 더 포함할 수 있다. 장치(10)가 상기 카메라 모듈을 더 포함할 때, 장치(10)는 상기 카메라 모듈을 이용하여 주변의 장면(scene)을 촬영하고 영상을 생성할 수 있다.

제1프로세싱 유닛(10), 제1프로세싱 유닛 메모리(11), 제2프로세싱 유닛(20), 제2프로세싱 유닛 메모리(21), 제3프로세싱 유닛(30), 및 제3프로세싱 유닛 메모리(31)는 버스(101)를 통해 데이터를 주고 받을 수 있다.

제1프로세싱 유닛(10)은 FPGA, 또는 NPU(Neural Processing unit)이다.

제2프로세싱 유닛(20)은 GPU(Graphic Processing unit)이다.

제3프로세싱 유닛(30)은 CPU(Central Processing unit)이다.

제1프로세싱 유닛 메모리(11)는 제1프로세싱 유닛(10)에 의해 실행되는 명령들을 저장한다.

제2프로세싱 유닛 메모리(21)은 제2프로세싱 유닛(20)에 의해 실행되는 명령들을 저장한다.

제3프로세싱 유닛 메모리(31)은 제3프로세싱 유닛(30)에 의해 실행되는 명령들을 저장한다.

이하, 제1프로세싱 유닛(10), 제2프로세싱 유닛(20), 및 제3프로세싱 유닛(30)의 동작들은 제1프로세싱 유닛 메모리(11)에 저장된 명령들, 제2프로세싱 유닛 메모리(21)에 저장된 명령들, 및 제3프로세싱 유닛 메모리(31)에 저장된 명령들이 실행됨을 의미한다.

도 2는 도 1에 도시된 제1프로세싱 유닛과 제2프로세싱 유닛에 의해 처리되는 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법을 설명하기 위한 블록도를 나타낸다.

도 1과 도 2를 참고하면, 제1프로세싱 유닛(10)은 영상에서 객체를 인식하여 상기 인식된 객체의 유형 정보과 위치 정보를 제2프로세싱 유닛(20)으로 전송한다. 상기 영상은 장치(10)에서 생성되거나, 외부의 카메라로부터 네트워크를 통해 전달받을 수 있다. 구체적으로, 제1프로세싱 유닛(10)은 영상에서 객체를 인식한다(S10).

상기 영상에서 인식된 객체가 있을 때, 제1프로세싱 유닛(10)은 영상에서 객체를 인식하여 상기 인식된 객체의 유형 정보과 위치 정보를 제2프로세싱 유닛(20)으로 전송한다(S20).

상기 영상에서 인식된 객체가 없을 때, 제1프로세싱 유닛(10)은 영상에서 객체를 인식하는 동작을 계속 수행한다.

상기 영상에서 인식된 객체가 있을 때, 제2프로세싱 유닛(20)은 상기 객체의 유형 정보와 상기 위치 정보를 제1신경망(200)에 적용하여 상기 객체의 자세 정보와 움직임 정보를 예측한다(S30). 상기 객체의 유형 정보와 상기 위치 정보가 제1신경망(200)의 입력 레이어(210)로 입력된다. 제1신경망(200)은 상기 객체의 자세 정보와, 상기 객체의 움직임 정보를 출력한다. 즉, 상기 객체의 자세 정보와, 상기 객체의 움직임 정보는 제1신경망(200)의 출력 레이어(230)에서 값들로 출력된다.

상기 객체는 차량, 사람, 동물, 낙석, 또는 도로 위의 얼음 등을 의미할 수 있다. 제1프로세싱 유닛(10)이 상기 영상에서 객체를 인식하기 위해 CNN(Convolutional Neural Network), Faster R-CNN, YOLO 등의 신경망 알고리즘이 이용될 수 있다. 실시 예에 따라 제1프로세싱 유닛(10)은 신경망을 이용하지 않고 상기 영상에서 객체를 인식할 수 있다. 예컨대, 제1프로세싱 유닛(10)은 SIFT(Scale-Invariant Feature Transform) 알고리즘, HOG(Histogram of Oriented Gradients) 특징 등을 이용하여 상기 영상에서 객체를 인식할 수 있다.

제1프로세싱 유닛(10)은 상기 영상, 즉, 복수의 영상 프레임들에서 객체를 인식할 수 있다. 상기 인식된 객체는 복수일 수 있다. 상기 인식된 객체의 유형이란 차량, 사람, 동물, 낙석, 또는 도로 위의 얼음 등을 의미한다. 즉, 프로세싱 유닛(10)은 상기 영상에서 객체를 인식하여 객체가 무엇인지(예컨대, 차량, 사람, 동물, 낙석, 또는 도로 위의 얼음 등)를 식별할 수 있다. 상기 객체의 위치 정보는 상기 영상에서 객체가 어디에 위치하는지 알 수 있는 정보를 의미한다.

상기 영상에서 1개의 차량과 1명의 사람이 존재할 때, 제1프로세싱 유닛(10)은 2개의 객체들(차량, 사람)을 인식하고, 인식된 객체들의 유형 정보(차량, 사람)와 객체들의 위치 정보(차량의 위치와 사람의 위치)를 생성할 수 있다.

제1프로세싱 유닛(10)은 돌발 상황 인식에 대한 동작들을 제2프로세싱 유닛(20)에 의해 분산 처리되도록 상기 인식된 객체의 유형 정보과 위치 정보를 제2프로세싱 유닛(20)으로 전송한다.

도 3은 도 1에 도시된 제2프로세싱 유닛에 의해 처리되는 복수의 신경망들이 도시된 블록도를 나타낸다.

도 1 내지 도 3을 참고하면, 제2프로세싱 유닛(20)은 신경망과 관련된 연산들을 수행한다. 즉, 제2프로세싱 유닛(20)은 제1신경망(200)과 관련된 연산들만을 수행한다. 실시 예에 따라 제2프로세싱 유닛(20)은 제1신경망(200)과 제2신경망(300)과 관련된 연산들을 수행할 수 있다. 실시 예에 따라 제2프로세싱 유닛(20)은 제1신경망(200), 제2신경망(300), 및 제3신경망(400)과 관련된 연산들을 수행할 수 있다.

제1신경망(200), 제2신경망(300), 및 제3신경망(400)은 제2프로세싱 유닛 메모리(21)에 저장된다.

제1신경망(200)은 객체의 자세 정보와 움직임 정보를 예측하기 위해 훈련된 신경망을 의미한다. 제1신경망(200)은 입력 레이어(210), 히든 레이어(220), 및 출력 레이어(230)를 포함한다. 입력 레이어(210)는 복수의 입력 노드들(예컨대, I1, I2, I3, 및 I4)을 포함한다. 입력 레이어(210), 히든 레이어(220), 및 출력 레이어(230)에 포함된 복수의 노드들은 서로 풀리 커넥티드(fully connected)된다. 출력 레이어(230)는 복수의 출력 노드들(예컨대, O1~O4)을 포함한다. 도 3에서는 입력 레이어(210)에 포함된 복수의 입력 노드들(I1~I4)과, 출력 레이어(230)에 포함된 복수의 출력 노드들(O1~O4)이 각각 4개 도시되었으나, 실시 예에 따라 입력 노드들(I1~I4)의 개수와 출력 노드들(O1~O4)의 개수는 다양할 수 있다.

제1신경망(200)은 객체의 자세 정보와 움직임 정보를 예측하기 위한 것으로, 입력 노드들(I1~I4)에 입력되는 인자들과, 출력 노드들(O1~O4)의 값들이 의미하는 인자들은 다양할 수 있다. 즉, 객체의 자세 정보와 움직임 정보를 예측하기 위해 제1신경망(200)은 다양한 알고리즘들로 구현될 수 있다.

제1신경망(200)의 입력 노드들(I1~I4)에 입력되는 값들은 일정한 값들을 포함한다. 예컨대, 입력 노드들(I1~I4)에 입력되는 값들은 0과 1 사이의 값을 가질 수 있다. 제1프로세싱 유닛(10)에 의해 인식된 객체의 유형 정보가 자동차이고, 영상에서 상기 영상을 촬영한 카메라와 가까운 거리(예컨대, 1km)에 위치할 때, 입력 노드(예컨대, I1)의 값은 0.7일 수 있다. 제1프로세싱 유닛(10)에 의해 인식된 객체의 유형 정보가 사람이고, 영상에서 상기 영상을 촬영한 카메라와 먼 거리(예컨대, 5km)에 위치할 때, 입력 노드(예컨대, I2)의 값은 0.3일 수 있다. 실시 예에 따라 입력 노드들(I1~I4)에 입력되는 값들은 다양한 의미를 포함할 수 있다.

제1신경망(200)의 출력 노드들(O1~O4)에서 출력되는 값들은 일정한 값들을 포함한다. 예컨대, 출력 노드들(O1~O4)에서 출력되는 값들은 0과 1 사이의 값을 가질 수 있다. 출력 노드들((O1~O4)은 인식된 객체(예컨대, 자동차)의 정면이 카메라 방향을 향하고 있는지(예컨대, O1 노드의 경우). 인식된 객체(예컨대, 자동차)의 정면이 카메라 반대 방향을 향하고 있는지(예컨대, O2 노드의 경우) 등에 대한 정보를 포함할 수 있다. 또한, 출력 노드들((O1~O4)은 인식된 객체(예컨대, 자동차)가 이동하는지(예컨대, O3 노드의 경우), 인식된 객체(예컨대, 자동차)가 정지하고 있는지(예컨대, O4 노드의 경우) 등에 대한 정보를 나타낼 수 있다.

객체의 자세 정보란 카메라를 기준으로 차량, 또는 사람이 어디를 향하는지, 사람은 어떻게 서 있는지 등을 나타내는 정보이다. 객체의 움직임 정보란 객체가 움직이는지, 정지하고 있는지 등을 나타내는 정보이다.

종래 기술과의 차이점은 본 발명의 경우, 출력 레이어(230)는 제1인디케이터(indicator) 노드(IN1)를 더 포함하고 있다는 것이다. 제1인디케이터 노드(IN1)가 제1신경망(200)의 출력 노드들(O1~O4)에 추가된다.

제1인디케이터 노드(IN1)는 제신경망(200)의 출력 노드들(O1~O4)과 풀리 커넥티드된(fully connected) 레이어(220)와 풀리 커넥티드된다. 제1인디케이터 노드(IN1)는 상기 인식된 객체의 수가 1개이거나, 상기 객체가 움직임이 없는 상태로 예측될 때, 1이다. 제1인디케이터 노드(IN1)는 상기 인식된 객체의 수가 2개 이상이거나, 상기 객체가 움직임이 있는 상태라고 예측될 때, 0이다. 제1신경망(200)의 출력 노드들(O1~O4)에서 출력되는 값들 중 적어도 어느 하나가 임의의 문턱값(예컨대, 0.7)보다 클 때, 제1인디케이터 노드(IN1)는 0이다. 제1신경망(200)의 출력 노드들(O1~O4)에서 출력되는 값들 모두가 임의의 문턱값(예컨대, 0.7)보다 작을 때, 제1인디케이터 노드(IN1)는 1이다.

실시 예에 따라, 제1인디케이터 노드(IN1)는 상기 인식된 객체의 수가 1개이거나, 상기 객체가 움직임이 없는 상태로 예측될 때, 0이고, 제1인디케이터 노드(IN1)는 상기 인식된 객체의 수가 2개 이상이거나, 상기 객체가 움직임이 있는 상태라고 예측될 때, 1일 수 있다. 즉, 제1인디케이터 노드(IN1)에서 출력되는 값은 0, 또는 1이다.

제2프로세싱 유닛(20)은 제1인디케이터 노드(IN1)가 1인지 판단한다(S40).

제1인디케이터 노드(IN1)가 1일 때, 제2프로세싱 유닛(20)은 신경망 연산을 더 이상 수행하지 않고, 제1신경망(200)의 예측 결과를 제3프로세싱 유닛(30)으로 전송한다(S80). 제1인디케이터 노드(IN1)가 1일 때, 제2프로세싱 유닛(20)은 제1신경망(200)에 대한 연산을 수행하고, 제2신경망(300), 제3신경망(400)에 대한 연산은 수행하지 않는다.

제1인디케이터 노드(IN1)는, 상기 인식된 객체의 수가 1개이거나, 상기 객체가 움직임이 없는 상태로 예측될 때, 1이므로, 제2프로세싱 유닛(20)은 상기 영상에서 인식된 객체의 수가 1개이거나, 상기 객체가 움직임이 없는 상태를 예측하는 결과 정보를 제3프로세싱 유닛(30)으로 전송한다.

제2프로세싱 유닛(20)은 제1신경망(200)의 출력 노드들(O1~O4)에서 출력된 예측 값들을 제2신경망(300)에 적용하여 상기 객체의 행동의 위험성을 예측한다(S50). 상기 객체의 행동의 위험성을 예측하는 동작(S50)은, 제1인디케이터 노드(IN1)가 0일 때, 수행된다.

즉, 제1인디케이터 노드(IN1)가 0일 때, 제2프로세싱 유닛(20)은 제1신경망(200)의 출력 노드들(O1~O4)에서 출력된 예측 값들을 제2신경망(300)의 입력으로 적용하여 상기 객체의 행동의 위험성을 예측한다. 제1신경망(200)의 출력 노드들(O1~O4)에서 출력된 예측 값들과 제2신경망(300)의 입력 노드들(I5~I8)에서 값들은 서로 대응된다. 제1인디케이터 노드(IN1)는 제2신경망(300)에 포함된 어느 노드와도 대응되지 않는다.

제2신경망(300)은 객체의 행동의 위험성을 예측하기 위해 훈련된 신경망을 의미한다. 제2신경망(300)은 입력 레이어(310), 히든 레이어(320), 및 출력 레이어(330)를 포함한다. 입력 레이어(310)는 복수의 입력 노드들(예컨대, I5, I6, I7, 및 I8)을 포함한다. 입력 레이어(310), 히든 레이어(320), 및 출력 레이어(330)에 포함된 복수의 노드들은 서로 풀리 커넥티드(fully connected)된다. 출력 레이어(330)는 복수의 출력 노드들(예컨대, O5~O8)을 포함한다. 도 3에서는 입력 레이어(310)에 포함된 복수의 입력 노드들과, 출력 레이어(330)에 포함된 복수의 출력 노드들이 각각 4개 도시되었으나, 실시 예에 따라 입력 노드들의 개수와 출력 노드들의 개수는 다양할 수 있다.

제2신경망(300)은 객체의 행동의 위험성을 예측하기 위한 것으로, 입력 노드들(I5, I6, I7, 및 I8)에 입력되는 인자들과 출력 노드들(O5~O8)의 값들이 의미하는 인자들은 다양할 수 있다. 즉, 객체의 행동의 위험성을 예측하기 위해 제2신경망(300)은 다양한 알고리즘들로 구현될 수 있다.

제2신경망(300)의 입력 노드들(I5~I8)에서 입력되는 값들은 제1신경망(200)의 출력 노드들(O1~O4)에서 출력되는 값들과 서로 대응된다.

제2신경망(300)의 출력 노드들(O5~O8)에서 출력되는 값들은 일정한 값들을 포함한다. 예컨대, 출력 노드들(O5~O8)에서 출력되는 값들은 0과 1 사이의 값을 가질 수 있다. 출력 노드들((O5~O8)은 카메라와 반대 방향으로 차량이 이동하는 경우(O5 노드의 경우), 사람이 차도에 인접하는 경우(O6 노드의 경우), 차량과 사람이 존재할 때, 차량이 갑자기 속도를 높이는 경우(O7 노드의 경우) 등에 대한 정보를 포함할 수 있다.

객체의 행동 위험성은 카메라와 반대 방향으로 차량이 이동하는 경우, 차량과 보행자 사이의 거리가 일정한 거리 내에 있는 경우, 보행자가 도로에 인접한 경우, 또는 차량이 갑자기 과속하는 경우 등을 의미할 수 있다.

종래 기술과의 차이점은 본 발명의 경우, 출력 레이어(330)는 제2인디케이터(indicator) 노드(IN2)를 더 포함하고 있다는 것이다. 제2인디케이터 노드(IN2)가 제2신경망(300)의 출력 노드들(O5~O8)에 추가된다.

제2인디케이터 노드(IN2)는 제2신경망(300)의 출력 노드들(O5~O8)과 풀리 커넥티드된(fully connected) 레이어(320)와 풀리 커넥티드된다.

제2인디케이터 노드(IN2)는 상기 객체의 행동이 위험성이 없다고 인식될 때, 1이며, 상기 객체의 행동이 위험성이 있다고 인식될 때, 0이다. 실시 예에 따라 반대로, 제2인디케이터 노드(IN2)는 상기 객체의 행동이 위험성이 없다고 인식될 때, 0이며, 상기 객체의 행동이 위험성이 있다고 인식될 때, 1일 수 있다. 즉, 제2인디케이터 노드(IN2)에서 출력되는 값은 0, 또는 1이다.

제2프로세싱 유닛(20)은 제2인디케이터 노드(IN2)가 1인지 판단한다(S60).

제2인디케이터 노드(IN2)는, 제2신경망(300)의 출력 노드들(O5~O8)에서 출력되는 값들 중 적어도 어느 하나가 임의의 문턱값(예컨대, 0.7) 이상일 때, 1이다. 예컨대, O5 노드(카메라의 반대 방향으로 차량이 이동하는 경우), O6 노드 (사람이 차도에 인접하는 경우), O7 노드(차량과 사람이 존재할 때, 차량이 갑자기 속도를 높이는 경우), 및 O8 노드에서 출력되는 값들 중 적어도 어느 하나(예컨대, O5 노드에서 값이 0.9)가 상기 임의의 문턱값(예컨대, 0.7)보다 클 때, 제2인디케이터 노드(IN2)는 0이다.

제2인디케이터 노드(IN2)가 1일 때, 제2프로세싱 유닛(20)은 신경망 연산을 더 이상 수행하지 않고, 제2신경망(300)의 예측 결과를 제3프로세싱 유닛(30)으로 전송한다(S80). 제1인디케이터 노드(IN1)가 1일 때, 제2프로세싱 유닛(20)은 제1신경망(200)과 제2신경망(300)에 대한 연산을 수행하고, 제3신경망(400)에 대한 연산은 수행하지 않는다.

제2인디케이터 노드(IN2)가 1일 때, 제2프로세싱 유닛(20)은 영상의 객체들의 행동들과, 객체들의 행동의 위험성은 낮음을 예측하는 결과 정보를 제3프로세싱 유닛(30)으로 전송한다.

제3신경망(400)은 돌발 상황 가능성을 예측하기 위해 훈련된 신경망을 의미한다. 제3신경망(400)은 입력 레이어(410), 히든 레이어(420), 및 출력 레이어(430)를 포함한다. 입력 레이어(410)는 복수의 입력 노드들(예컨대, I9, I10, I11, 및 I12)을 포함한다. 입력 레이어(410), 히든 레이어(420), 및 출력 레이어(430)에 포함된 복수의 노드들은 서로 풀리 커넥티드(fully connected)된다. 출력 레이어(430)는 복수의 출력 노드들(예컨대, O9~O12)을 포함한다. 도 3에서는 입력 레이어(410)에 포함된 복수의 입력 노드들과, 출력 레이어(430)에 포함된 복수의 출력 노드들이 각각 4개 도시되었으나, 실시 예에 따라 입력 노드들의 개수와 출력 노드들의 개수는 다양할 수 있다.

제3신경망(400)은 돌발 상황 가능성을 예측하기 위한 것으로, 입력 노드들(I9~I12)에 입력되는 인자들과 출력 노드들(O9~O12)의 값들이 의미하는 인자들은 다양할 수 있다. 즉, 돌발 상황 가능성을 예측하기 위해 제3신경망(400)은 다양한 알고리즘들로 구현될 수 있다.

제3신경망(400)의 입력 노드들(I9~I12)에서 입력되는 값들은 제2신경망(300)의 출력 노드들(O5~O8)에서 출력되는 값들과 서로 대응된다.

제3신경망(400)의 출력 노드들(O9~O12)에서 출력되는 값들은 일정한 값들을 포함한다. 예컨대, 출력 노드들(O9~O12)에서 출력되는 값들은 0과 1 사이의 값을 가질 수 있다. 출력 노드들(O9~O12)은 차량의 역주행, 도로 위에 보행자, 차량들 간의 충돌, 또는 차량과 보행자 간의 충돌에 대한 정보를 포함할 수 있다.

돌발 상황 가능성이란 차량의 역주행, 도로 위에 보행자, 차량들 간의 충돌, 또는 차량과 보행자 간의 충돌 등의 발생 가능성을 의미한다.

종래 기술과의 차이점은 본 발명의 경우, 출력 레이어(430)는 제3인디케이터 노드(IN3)를 더 포함하고 있다는 것이다. 제3인디케이터 노드(IN3)가 제3신경망(400)의 출력 노드들(O9~O12)에 추가된다.

제3인디케이터 노드(IN3)는 제3신경망(400)의 출력 노드들(O9~O12)과 풀리 커넥티드된(fully connected) 레이어(420)와 풀리 커넥티드된다.

제3인디케이터 노드(IN3)에서 출력되는 값은 제1인디케이터 노드(IN1), 제2인디케이터 노드(IN2)와는 다르게 항상 1이다.

제2인디케이터 노드(IN1)가 0일 때, 제2프로세싱 유닛(20)은 제2신경망(300)의 출력 노드들(O5~O8)에서 출력된 예측 값들을 제3신경망(400)의 입력으로 적용하여 돌발 상황 가능성을 예측한다(S70). 제2신경망(300)의 출력 노드들(O5~O8)에서 출력된 예측 값들과 제3신경망(400)의 입력 노드들(I9~I12)에서 값들은 서로 대응된다. 제2인디케이터 노드(IN2)는 제3신경망(400)에 포함된 어느 노드와도 대응되지 않는다.

출력 노드들(O9~O12)에서 출력되는 값들 중 적어도 어느 하나가 일정 값(예컨대, 0.7) 이상일 때, 제2프로세싱 유닛(20)은 돌발 상황 발생 가능성이 있는 것으로 예측한다.

제2프로세싱 유닛(20)은 제3신경망(400)의 예측 결과를 제3프로세싱 유닛(30)으로 전송한다(S80). 즉, 제2프로세싱 유닛(20)은 돌발 상황 발생 가능성의 예측 결과를 제3프로세싱 유닛(30)으로 전송한다.

도 3에서 OR 게이트(500)는 제1인디케이터 노드(230), 제2인디케이터 노드(330), 또는 제3인디케이터 노드(430)가 1일 때, 1을 출력한다. 제1인디케이터 노드(230)가 1일 때, 제2인디케이터 노드(330)와 제3인디케이터 노드(430)는 0이다. 제2인디케이터 노드(330)가 1일 때, 제1인디케이터 노드(230)와 제3인디케이터 노드(430)는 0이다. 제3인디케이터 노드(430)가 1일 때, 제1인디케이터 노드(230)와 제2인디케이터 노드(330)는 0이다. 실시 예에 따라 OR 게이트(500) 대신에 NOR 게이트가 포함될 수 있다.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100: 안전 목적의 분산 처리 기반의 돌발 상황 인식 장치;
10: 제1프로세싱 유닛;
11: 제1프로세싱 메모리;
20: 제2프로세싱 유닛;
21: 제2프로세싱 메모리;
30: 제3프로세싱 유닛;
31: 제3프로세싱 메모리;

Claims (9)

1. 제1프로세싱 유닛은 영상에서 객체를 인식하여 상기 인식된 객체의 유형 정보과 위치 정보를 제2프로세싱 유닛으로 전송하는 단계;
   상기 제2프로세싱 유닛은 상기 객체의 유형 정보와 상기 위치 정보를 제1신경망에 적용하여 상기 객체의 자세 정보와 움직임 정보를 예측하는 단계; 및
   상기 제2프로세싱 유닛은 상기 예측된 객체의 자세 정보와 상기 움직임 정보에 따라 상기 객체의 자세 정보와 상기 움직임 정보를 제2신경망에 적용할지 여부를 결정하는 단계를 포함하며,
   상기 제1신경망의 출력 노드들에 제1인디케이터(indicator) 노드가 더 추가되고,
   상기 제1인디케이터 노드는,
   상기 출력 노드들과 풀리 커넥티드된(fully connected) 레이어와 풀리 커넥티드되며,
   상기 제1인디케이터 노드는,
   상기 인식된 객체의 수가 1개로 예측될 때, 1이며,
   상기 인식된 객체의 수가 2개 이상으로 예측될 때, 0이며,
   상기 제1프로세싱 유닛은 상기 영상에서 적어도 1개 이상의 상기 객체를 인식할 때까지 상기 객체를 인식하는 동작을 수행하는 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법.
2. 삭제
3. 제1항에 있어서, 상기 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법은,
   상기 제2프로세싱 유닛은 상기 제1신경망에서 출력된 예측 값들을 제2신경망에 적용하여 상기 객체의 행동의 위험성을 예측하는 단계를 더 포함하는 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법.
4. 제3항에 있어서, 상기 객체의 행동의 위험성을 예측하는 단계는,
   상기 제1인디케이터 노드가 0일 때, 수행되는 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법.
5. 제3항에 있어서, 상기 제2신경망의 출력 노드들에 제2인디케이터 노드가 더 추가되고,
   상기 제2인디케이터 노드는,
   상기 제2신경망의 출력 노드들과 풀리 커넥티드된(fully connected) 레이어와 풀리 커넥티드되며,
   상기 제2인디케이터 노드는,
   상기 객체의 행동이 위험성이 없다고 인식될 때, 1이며,
   상기 객체의 행동이 위험성이 있다고 인식될 때, 0인 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법.
6. 제5항에 있어서, 상기 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법은,
   상기 객체의 행동이 위험성이 없다고 인식될 때,
   상기 제2프로세싱 유닛은 상기 제2신경망의 예측 결과를 제3프로세싱 유닛으로 전송하는 단계를 더 포함하는 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법.
7. 제3항에 있어서, 상기 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법은,
   상기 제2프로세싱 유닛은 상기 제2신경망에서 출력된 예측 값들을 제3신경망에 적용하여 상기 객체에 대한 돌발 상황 발생 가능성을 예측하는 단계를 더 포함하는 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법.
8. 제1항에 있어서, 상기 제1프로세싱 유닛은,
   FPGA, 또는 NPU이며,
   상기 제2프로세싱 유닛은,
   GPU인 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법.
9. 제1프로세싱 유닛;
   제2프로세싱 유닛;
   상기 제1프로세싱 유닛에 의해 실행되는 명령들을 저장하는 제1프로세싱 유닛 메모리; 및
   상기 제2프로세싱 유닛에 의해 실행되는 명령들을 저장하는 제2프로세싱 유닛 메모리를 포함하며,
   상기 제1프로세싱 유닛은 영상에서 객체를 인식하여 상기 인식된 객체의 타입 정보과 위치 정보를 제2프로세싱 유닛으로 전송하는 명령들을 실행하며,
   상기 제2프로세싱 유닛은 상기 객체의 타입 정보와 상기 위치 정보를 제1신경망에 적용하여 상기 객체의 자세 정보와 움직임 정보를 예측하며,
   상기 예측된 객체의 자세 정보와 상기 움직임 정보에 따라 상기 객체의 자세 정보와 상기 움직임 정보를 제2신경망에 적용할지 여부를 결정하는 명령들을 실행하며,
   상기 제1신경망의 출력 노드들에 제1인디케이터(indicator) 노드가 더 추가되고,
   상기 제1인디케이터 노드는,
   상기 출력 노드들과 풀리 커넥티드된(fully connected) 레이어와 풀리 커넥티드되며,
   상기 제1인디케이터 노드는,
   상기 인식된 객체의 수가 1개로 예측될 때, 1이며,
   상기 인식된 객체의 수가 2개 이상으로 예측될 때, 0이며,
   상기 제1프로세싱 유닛은 상기 영상에서 적어도 1개 이상의 상기 객체를 인식할 때까지 상기 객체를 인식하는 동작을 수행하는 안전 목안전 목적의 분산 처리 기반의 돌발 상황 인식 장치.
   
   
   
   
   
   
   
   

Images