KR20220057389A - 행동 인식 장치 및 방법 - Google Patents

행동 인식 장치 및 방법 Download PDF

Info

Publication number
KR20220057389A
KR20220057389A KR1020200177718A KR20200177718A KR20220057389A KR 20220057389 A KR20220057389 A KR 20220057389A KR 1020200177718 A KR1020200177718 A KR 1020200177718A KR 20200177718 A KR20200177718 A KR 20200177718A KR 20220057389 A KR20220057389 A KR 20220057389A
Authority
KR
South Korea
Prior art keywords
image
input
behavior
white
module
Prior art date
Application number
KR1020200177718A
Other languages
English (en)
Other versions
KR102563000B1 (ko
Inventor
민진홍
강봉수
Original Assignee
주식회사 딥비전스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥비전스 filed Critical 주식회사 딥비전스
Publication of KR20220057389A publication Critical patent/KR20220057389A/ko
Application granted granted Critical
Publication of KR102563000B1 publication Critical patent/KR102563000B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators

Abstract

행동 인식 장치 및 방법이 개시된다. 개시되는 일 실시예에 따른 행동 인식 장치는, 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치이고, 입력 영상에서 기 설정된 종류의 오브젝트를 인식하고, 인식된 오브젝트에 대해 화이트 마스크 이미지를 생성하는 마스크 이미지 생성 모듈, 입력 영상과 화이트 마스크 이미지를 합성하여 영상 합성 이미지를 생성하는 영상 합성 모듈, 및 영상 합성 이미지를 입력으로 하여 오브젝트의 행동을 인식하는 행동 인식 모듈을 포함한다.

Description

행동 인식 장치 및 방법{APPARATUS AND METHOD FOR BEHAVIOR RECOGNITION}
본 발명의 실시예는 행동 인식 기술과 관련된다.
최근, 지능형 비디오 감시 시스템 등과 같은 보안 관련 분야나 인간과의 상호 교류 수행 능력을 지는 지능형 로봇 또는 가전 제품 등의 분야에서 인간의 행동 인식 기술이 적용되고 있다. 기존의 행동 인식 기술은 영상 RGB 데이터를 기반으로 추가적인 장치를 이용하여 기술에 대한 성능을 높이는 방식을 사용하였다. 이 경우, 행동 인식에 많은 시간과 노력이 소모되게 된다.
한국등록특허공보 제10-1023951호(2011.03.28)
개시되는 실시예는 새로운 기법의 인공 지능 기반의 행동 인식 기술을 제공하기 위한 것이다.
개시되는 일 실시예에 따른 행동 인식 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치이고, 입력 영상에서 기 설정된 종류의 오브젝트를 인식하고, 인식된 오브젝트에 대해 화이트 마스크 이미지를 생성하는 마스크 이미지 생성 모듈; 상기 입력 영상과 상기 화이트 마스크 이미지를 합성하여 영상 합성 이미지를 생성하는 영상 합성 모듈; 및 상기 영상 합성 이미지를 입력으로 하여 상기 오브젝트의 행동을 인식하는 행동 인식 모듈을 포함한다.
상기 마스크 이미지 생성 모듈은, 상기 입력 영상에서 기 설정된 종류의 오브젝트를 분류하여 인식하고, 인식된 오브젝트의 경계 영역을 검출하도록 학습되는 제1 인공 신경망 모델을 포함할 수 있다.
상기 마스크 이미지 생성 모듈은, 상기 오브젝트의 경계 영역에서 기 설정된 부분까지 확장된 오브젝트 연장 경계 영역을 설정하고, 상기 오브젝트 연장 경계 영역 내의 픽셀 값은 화이트가 되게 하고, 상기 오브젝트 연장 경계 영역 이외의 픽셀 값은 블랙이 되도록 하여 상기 화이트 마스크 이미지를 생성할 수 있다.
상기 마스크 이미지 생성 모듈은, 상기 오브젝트의 경계 영역의 중심에서 상기 오브젝트의 각 경계까지의 거리인 경계 거리를 산출하고, 상기 오브젝트의 경계 영역의 중심에서 상기 산출된 경계 거리보다 기 설정된 거리만큼 연장된 연장 경계 거리를 산출하며, 상기 연장 경계 거리에 기반하여 상기 오브젝트의 연장 경계를 설정할 수 있다.
상기 영상 합성 모듈은, 상기 입력 영상과 상기 화이트 마스크 이미지를 AND 연산하여 영상 합성 이미지를 생성할 수 있다.
상기 행동 인식 모듈은, 상기 영상 합성 이미지에서 상기 오브젝트의 행동을 인식하도록 학습되는 제2 인공 신경망 모델을 포함할 수 있다.
상기 제2 인공 신경망 모델은, 상기 영상 합성 이미지를 입력으로 하고, 상기 영상 합성 이미지에서 시공간 특징 벡터를 추출하는 하나 이상의 특징 추출 계층; 상기 특징 추출 계층과 연결되고, 상기 특징 추출 계층에서 출력되는 시공간 특징 벡터에 풀링(Pooling) 연산을 수행하는 풀링 층; 및 상기 풀링 층과 연결되고, 상기 풀링 층에서 출력되는 시공간 특징 벡터를 기반으로 상기 오브젝트의 행동에 대한 분류 값을 출력하는 완전 연결층을 포함할 수 있다.
상기 특징 추출 계층은, 기 설정된 제1 필터를 통해 상기 영상 합성 이미지에서 공간적인 특징의 공간 특징 벡터를 추출하는 제1 컨벌루션층; 및 상기 제1 컨벌루션층에 연결되고, 기 설정된 제2 필터를 통해 상기 공간 특징 벡터에서 시간적인 특징을 추출하여 상기 영상 합성 이미지에 대한 시공간 특징 벡터를 출력하는 제2 컨벌루션층을 포함할 수 있다.
개시되는 일 실시예에 따른 행동 인식 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 입력 영상에서 기 설정된 종류의 오브젝트를 인식하고, 인식된 오브젝트에 대해 화이트 마스크 이미지를 생성하는 동작; 상기 입력 영상과 상기 화이트 마스크 이미지를 합성하여 영상 합성 이미지를 생성하는 동작; 및 상기 영상 합성 이미지를 입력으로 하여 상기 오브젝트의 행동을 인식하는 동작을 포함한다.
개시되는 실시예에 의하면, 입력 영상을 기반으로 화이트 마스크 이미지를 생성하고, 입력 영상과 화이트 마스크 이미지를 합성하여 영상 합성 이미지를 생성하며, 영상 합성 이미지로부터 오브젝트의 행동을 분류함으로써, 별도의 추가 장치 없이 입력 영상만으로 입력 영상 내에 포함된 오브젝트의 행동을 용이하게 분류할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 인공 지능 기반의 행동 인식 장치를 나타낸 도면
도 2는 본 발명의 일 실시예에 따른 마스크 이미지 생성 모듈의 구성을 나타낸 블록도
도 3은 개시되는 일 실시예에 따른 마스크 이미지 생성 모듈이 입력 영상으로부터 화이트 마스크 이미지를 생성하는 상태를 나타낸 도면
도 4는 개시되는 일 실시예에 따른 영상 합성 모듈이 입력 영상과 화이트 마스크 이미지를 합성하여 영상 합성 이미지를 생성하는 상태를 나타낸 도면
도 5는 본 발명의 일 실시예에 따른 행동 인식 모듈의 구성을 나타낸 블록도
도 6은 본 발명의 일 실시예에 따른 제2 인공 신경망 모델의 구조를 개략적으로 나타낸 도면
도 7은 본 발명의 일 실시예에 따른 인공 지능 기반의 행동 인식 방법을 설명하기 위한 흐름도
도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공 지능 기반의 행동 인식 장치를 나타낸 도면이다.
도 1을 참조하면, 행동 인식 장치(100)는 마스크 이미지 생성 모듈(102), 영상 합성 모듈(104), 및 행동 인식 모듈(106)을 포함할 수 있다. 행동 인식 장치(100)는 입력되는 영상에서 특정 오브젝트(예를 들어, 사람 또는 동물 등)가 어떤 행동을 하고 있는지를 인식하기 위한 컴퓨팅 장치일 수 있다.
일 실시예에서, 마스크 이미지 생성 모듈(102), 영상 합성 모듈(104), 및 행동 인식 모듈(106)은 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.
마스크 이미지 생성 모듈(102)은 입력되는 영상에서 기 설정된 종류의 오브젝트를 인식하고, 인식된 오브젝트 부분에 마스크(Mask)를 형성한 마스크 이미지를 생성할 수 있다.
도 2는 본 발명의 일 실시예에 따른 마스크 이미지 생성 모듈(102)의 구성을 나타낸 블록도이다. 도 2를 참조하면, 마스크 이미지 생성 모듈(102)은 영상 전처리부(111), 오브젝트 인식부(113), 및 마스크 형성부(115)를 포함할 수 있다.
영상 전처리부(111)는 영상을 입력 받을 수 있다. 여기서, 영상은 RGB 영상일 수 있으나, 이에 한정되는 것은 아니다. 예시적인 실시예에서, 영상은 영상 프레임 단위로 입력될 수 있으나, 이에 한정되는 것은 아니며 기 설정된 시간 단위로 입력될 수도 있다. 영상 전처리부(111)는 입력되는 영상을 기 설정된 제1 크기로 리사이징 할 수 있다. 예를 들어, 영상 전처리부(111)는 입력되는 영상을 1024×1024의 크기로 리사이징 할 수 있으나, 리사이징 하는 크기가 이에 한정되는 것은 아니다.
오브젝트 인식부(113)는 영상에서 기 설정된 종류의 오브젝트(예를 들어, 사람 또는 동물 등)를 인식할 수 있다. 예시적인 실시예에서, 오브젝트 인식부(113)는 영상에서 기 설정된 종류의 오브젝트 부분을 분할(Segmentation) 하도록 학습되는 제1 인공 신경망 모델(113a)을 포함할 수 있다. 여기서, 제1 인공 신경망 모델은 Mask R-CNN(Convolutional Neural Network) 모델일 수 있으나, 이에 한정되는 것은 아니다.
제1 인공 신경망 모델(113a)은 입력되는 영상에서 기 설정된 종류의 오브젝트를 분류(Classification)하여 인식하고 인식된 오브젝트의 영역을 검출하도록 학습될 수 있다. 이때, 제1 인공 신경망 모델(113a)은 인식된 오브젝트를 포함하는 영역에서 이중선형 보간법(Bilinear Interpolation)을 통해 인식된 오브젝트의 경계로 이루어지는 영역(오브젝트 경계 영역)을 예측하도록 학습될 수 있다.
마스크 형성부(115)는 영상 내 오브젝트 경계 영역에 마스크(Mask)를 형성할 수 있다. 예시적인 실시예에서, 마스크 형성부(115)는 영상 내 오브젝트 경계 영역이 화이트로 이루어지고, 영상 내 그 이외의 영역이 블랙으로 이루어진 화이트 마스크 이미지를 생성할 수 있다. 즉, 마스크 형성부(115)는 영상 내 오브젝트 경계 영역의 픽셀 값은 (255, 255, 255)로 하여 화이트가 되도록 하고, 영상 내 그 이외의 영역의 픽셀 값은 (0, 0, 0)로 하여 블랙이 되도록 하여 화이트 마스크 이미지를 생성할 수 있다.
이때, 마스크 형성부(115)는 오브젝트 인식부(113)에서 검출된 오브젝트 경계 영역을 확장하여 화이트 마스크 이미지를 생성할 수 있다. 즉, 마스크 형성부(115)는 영상에서 화이트 부분(픽셀 값이 (255, 255, 255)인 부분)이 오브젝트 인식부(113)에서 검출된 오브젝트 경계 영역에만 있는 것이 아니라, 오브젝트 경계 영역을 벗어나서 오브젝트 경계 영역의 주변까지 화이트 부분으로 형성한 화이트 마스크 이미지를 생성할 수 있다.
구체적으로, 마스크 형성부(115)는 오브젝트 인식부(113)에서 검출된 오브젝트 경계 영역의 중심에서 오브젝트의 각 경계까지의 거리인 경계 거리를 산출할 수 있다. 마스크 형성부(115)는 검출된 오브젝트 경계 영역의 중심에서 경계 거리 보다 연장된 연장 경계 거리에 연장 경계를 설정할 수 있다. 예를 들어, 연장 경계 거리는 경계 거리의 1.2배의 거리일 수 있으나, 이에 한정되는 것은 아니다. 마스크 형성부(115)는 연장 경계로 이루어지는 오브젝트 연장 경계 영역의 픽셀 값을 (255, 255, 255)로 하여 화이트가 되게 하고, 그 이외의 영역의 픽셀 값을 (0, 0, 0)로 하여 블랙이 되도록 함으로써, 오브젝트 경계 영역을 벗어나서 오브젝트 경계 영역의 주변까지 화이트 부분으로 형성한 화이트 마스크 이미지를 생성할 수 있다.
도 3은 개시되는 일 실시예에 따른 마스크 이미지 생성 모듈(102)이 입력 영상으로부터 화이트 마스크 이미지를 생성하는 상태를 나타낸 도면이다.
영상 합성 모듈(104)은 입력 영상과 마스크 형성부(115)에서 출력되는 화이트 마스크 이미지를 합성하여 영상 합성 이미지를 생성할 수 있다. 즉, 영상 합성 모듈(104)은 마스크 이미지 생성 모듈(102)로 입력된 영상과 마스크 이미지 생성 모듈(102)에서 출력되는 화이트 마스크 이미지를 합성하여 영상 합성 이미지를 생성할 수 있다. 예시적인 실시예에서, 영상 합성 모듈(104)은 영상 프레임 마다 입력 영상과 화이트 마스크 이미지를 합성할 수 있다.
영상 합성 모듈(104)은 입력되는 영상과 화이트 마스크 이미지를 AND 연산하여 합성할 수 있다. 이 경우, 입력되는 영상에서 화이트 영역(즉, 픽셀 값이 (255, 255, 255)인 영역으로, 오브젝트 연장 경계 영역)만 남게 되고 그 이외의 영역(즉, 픽셀 값이 (0, 0, 0)인 영역)은 사라지게 된다.
도 4는 개시되는 일 실시예에 따른 영상 합성 모듈(104)이 입력 영상과 화이트 마스크 이미지를 합성하여 영상 합성 이미지를 생성하는 상태를 나타낸 도면이다.
행동 인식 모듈(106)은 영상 합성 모듈(104)에서 출력되는 영상 합성 이미지를 기반으로 해당 오브젝트의 행동을 인식할 수 있다. 여기서 영상 합성 이미지는 입력 영상과 화이트 마스크 이미지가 합성된 이미지이므로, 해당 오브젝트 및 그 주변의 배경 정보만 있는 형태이기 때문에 이를 기반으로 오브젝트의 행동을 인식하게 되면 인식 성능을 보다 향상시킬 수 있게 된다.
도 5는 본 발명의 일 실시예에 따른 행동 인식 모듈(106)의 구성을 나타낸 블록도이다. 도 5를 참조하면, 행동 인식 모듈(106)은 영상 전처리부(121) 및 행동 인식부(123)를 포함할 수 있다.
영상 전처리부(121)는 영상 합성 모듈(104)로부터 영상 합성 이미지를 입력 받을 수 있다. 영상 전처리부(121)는 영상 합성 이미지를 기 설정된 제2 크기로 리사이징 할 수 있다. 여기서, 제2 크기는 제1 크기보다 작은 크기일 수 있다. 예를 들어, 영상 전처리부(121)는 영상 합성 이미지를 128×171의 크기로 리사이징 할 수 있으나, 리사이징 하는 크기가 이에 한정되는 것은 아니다.
영상 전처리부(121)는 리사이징 된 영상 합성 이미지를 기 설정된 제3 크기로 조정할 수 있다. 여기서, 제3 크기는 제2 크기보다 작은 크기일 수 있다. 영상 전처리부(121)는 리사이징 된 영상 합성 이미지를 크로핑(Cropping)하여 제3 크기로 조정할 수 있다. 예시적인 실시예에서, 영상 전처리부(121)는 리사이징 된 영상 합성 이미지를 112×112의 크기가 되도록 크로핑 할 수 있으나, 제3 크기가 이에 한정되는 것은 아니다.
예를 들어, 행동 인식부(123)의 학습 단계에서, 영상 전처리부(121)는 영상 합성 이미지의 무작위 부분을 크로핑하여 제3 크기로 조정할 수 있다. 또한, 행동 인식부(123)의 예측 단계에서, 영상 전처리부(121)는 영상 합성 이미지의 중심을 기준으로 크로핑하여 제3 크기로 조정할 수 있다.
또한, 행동 인식부(123)의 학습 단계에서, 영상 전처리부(121)는 제3 크기로 조정된 영상 합성 이미지를 반전(Flip) 시킬 수 있다. 예를 들어, 영상 전처리부(121)는 제3 크기로 조정된 합성 이미지를 무작위한 방향으로 반전(Random Flip)시켜 행동 인식부(123)로 출력할 수 있다. 한편, 행동 인식부(123)의 예측 단계에서, 영상 전처리부(121)는 제3 크기로 조정된 영상 합성 이미지를 반전시키지 않고 행동 인식부(123)로 출력할 수 있다.
행동 인식부(123)는 영상 전처리부(121)에서 출력되는 영상 합성 이미지를 기반으로 오브젝트의 행동을 인식할 수 있다. 예시적인 실시예에서, 행동 인식부(123)는 영상 합성 이미지에서 오브젝트의 행동을 인식하도록 학습되는 제2 인공 신경망 모델(123a)을 포함할 수 있다.
도 6은 본 발명의 일 실시예에 따른 제2 인공 신경망 모델(123a)의 구조를 개략적으로 나타낸 도면이다. 도 6을 참조하면, 제2 인공 신경망 모델(123a)은 하나 이상의 특징 추출 계층(131), 풀링 층(133), 및 완전 연결층(135)을 포함할 수 있다.
특징 추출 계층(131)은 제1 컨벌루션층(131a), 정규화 층(131b), 활성화 함수층(131c), 및 제2 컨벌루션층(131d)을 포함할 수 있다. 예시적인 실시예에서, 특징 추출 계층(131)은 복수 개가 순차적으로 연결되어 마련될 수 있다.
제1 컨벌루션층(131a)은 영상 합성 이미지에서 공간적인 특징을 추출하도록 마련될 수 있다. 예를 들어, 제1 컨벌루션층(131a)은 기 설정된 제1 필터를 일정 간격으로 이동시키면서 영상 합성 이미지에서 공간적인 특징을 추출할 수 있다. 제1 필터는 (영상 프레임 개수, 시간 길이, 너비, 높이)의 크기를 가질 수 있다.
제1 필터는 영상 합성 이미지에서 공간적인 특징을 추출하기 위한 필터로서, 상기 시간 길이는 1로 고정될 수 있다. 상기 너비 및 높이는 영상 프레임의 너비 및 높이를 의미한다. 제1 컨벌루션층(131a)은 제1 필터를 통해 영상 합성 이미지에서 공간적인 특징을 가지는 특징 벡터(공간 특징 벡터)를 추출할 수 있다.
정규화 층(131b)은 제1 컨벌루션층(131a)에서 출력하는 특징 벡터 값을 정규화 할 수 있다. 활성화 함수층(131c)은 정규화된 특징 벡터를 제2 컨벌루션층(131d)으로 전달하기 위한 레이어이다. 활성화 함수층(131c)은 시그모이드 함수(Sigmoid Function) 또는 ReLU 등과 같은 활성화 함수를 포함할 수 있다.
제2 컨벌루션층(131d)은 영상 합성 이미지에서 시간적인 특징을 추출하도록 마련될 수 있다. 여기서, 특징 추출 계층(131)은 제1 컨벌루션층(131a), 정규화 층(131b), 활성화 함수층(131c), 및 제2 컨벌루션층(131d)이 순차적으로 형성되는 바, 제2 컨벌루션층(131d)은 제1 컨벌루션층(131a)에서 출력되어 정규화 층(131b) 및 활성화 함수층(131c)을 통과한 공간 특징 벡터에서 시간적인 특징을 추출할 수 있다.
제2 컨벌루션층(131d)은 제2 필터를 이용하여 공간 특징 벡터에서 시간적인 특징을 추출할 수 있다. 즉, 제2 컨벌루션층(131d)은 공간 특징 벡터에서 시간적인 특징을 추출함으로써, 영상 합성 이미지에서 공간적 특징 및 시간적 특징을 가지는 특징 벡터(시공간 특징 벡터)를 출력하게 된다.
제2 필터는 (필터 계수(M), 시간 길이, 너비, 높이)의 크기를 가질 수 있다. 제2 필터는 공간 특징 벡터에서 시간적인 특징을 추출하기 위한 필터로서, 상기 너비 및 높이는 1로 고정될 수 있다. 그리고 필터 계수(M)은 하기의 수학식을 통해 표현될 수 있다.
(수학식)
Figure pat00001
N : 영상 프레임의 개수
Ni : i 번째 영상 프레임
Ni-1 : i-1 번째 영상 프레임
Mi : i 번째 영상 프레임의 필터 계수
t : 시간 길이
d : 영상 프레임의 너비 및 높이(너비 및 높이가 동일한 경우)
이와 같이, 제1 컨벌루션층(131a) 및 제2 컨벌루션층(131d)을 통해 공간적 특징과 시간적 특징을 구분하여 추출함으로써 시공간 특징 벡터의 비선형성을 증가시킬 수 있게 된다.
풀링 층(133)은 마지막 특징 추출 계층(131)에서 출력되는 시공간 특징 벡터에 대해 풀링(Pooling) 연산을 수행할 수 있다. 예시적인 실시예에서, 풀링 층(133)은 시공간 특징 벡터에 대해 Average Pooling 연산을 수행할 수 있으나, 이에 한정되는 것은 아니며 Max Pooling 연산을 수행할 수도 있다.
완전 연결(Fully-Connected)층(135)은 풀링 층(133)을 통과한 시공간 특징 벡터를 기반으로 오브젝트의 행동을 분류할 수 있다. 완전 연결층(135)은 오브젝트의 행동에 대한 분류 값을 출력할 수 있다. 제2 인공 신경망 모델(123a)의 학습 과정에서 영상 합성 이미지와 함께 오브젝트의 행동에 대한 정답 값이 입력될 수 있다. 그러면, 완전 연결층(135)은 풀링 층(133)을 통과한 시공간 특징 벡터를 기반으로 오브젝트의 행동이 어떤 행동인지를 분류할 수 있게 된다.
개시되는 실시예에 의하면, 입력 영상을 기반으로 화이트 마스크 이미지를 생성하고, 입력 영상과 화이트 마스크 이미지를 합성하여 영상 합성 이미지를 생성하며, 영상 합성 이미지로부터 오브젝트의 행동을 분류함으로써, 별도의 추가 장치 없이 입력 영상만으로 입력 영상 내에 포함된 오브젝트의 행동을 용이하게 분류할 수 있게 된다.
본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.
도 7은 본 발명의 일 실시예에 따른 인공 지능 기반의 행동 인식 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 7을 참조하면, 행동 인식 장치(100)는 입력되는 영상에서 기 설정된 종류의 오브젝트를 분류하여 인식하고 인식된 오브젝트의 경계 영역을 검출한다(S 101). 여기서, 행동 인식 장치(100)는 입력되는 영상을 기 설정된 제1 크기로 리사이징 하고, 리사이징 된 입력 영상을 제1 인공 신경망 모델(113a)로 입력하여 오브젝트 경계 영역을 검출할 수 있다.
다음으로, 행동 인식 장치(100)는 검출된 오브젝트 경계 영역을 확장하여 화이트 마스크 이미지를 생성한다(S 103). 행동 인식 장치(100)는 검출된 오브젝트 경계 영역의 중심에서 오브젝트의 각 경계까지의 거리인 경계 거리 보다 연장된 연장 경계 거리에 연장 경계를 설정하고, 설정된 연장 경계에 기반하여 화이트 마스크 이미지를 생성할 수 있다.
다음으로, 행동 인식 장치(100)는 입력 영상과 화이트 마스크 이미지를 합성하여 영상 합성 이미지를 생성한다(S 105). 행동 인식 장치(100)는 입력 영상과 화이트 마스크 이미지를 AND 연산하여 합성할 수 있다.
다음으로, 행동 인식 장치(100)는 영상 합성 이미지에서 해당 오브젝트의 행동을 분류한다(S 107). 행동 인식 장치(100)는 영상 합성 이미지에 대해 영상 전처리 과정을 수행한 후, 영상 합성 이미지에서 시공간 특징 벡터를 추출하여 해당 오브젝트의 행동을 분류할 수 있다.
도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 행동 인식 장치(100)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 행동 인식 장치
102 : 마스크 이미지 생성 모듈
104 : 영상 합성 모듈
106 : 행동 인식 모듈
111 : 영상 전처리부
113 : 오브젝트 인식부
113a : 제1 인공 신경망 모델
115 : 마스크 형성부
121 : 영상 전처리부
123 : 행동 인식부
123a : 제2 인공 신경망 모델
131 : 특징 추출 계층
131a : 제1 컨벌루션층
131b : 정규화 층
131c : 활성화 함수층
131d : 제2 컨벌루션층
133 : 풀링 층
135 : 완전 연결층

Claims (9)

  1. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치이고,
    입력 영상에서 기 설정된 종류의 오브젝트를 인식하고, 인식된 오브젝트에 대해 화이트 마스크 이미지를 생성하는 마스크 이미지 생성 모듈;
    상기 입력 영상과 상기 화이트 마스크 이미지를 합성하여 영상 합성 이미지를 생성하는 영상 합성 모듈; 및
    상기 영상 합성 이미지를 입력으로 하여 상기 오브젝트의 행동을 인식하는 행동 인식 모듈을 포함하는, 행동 인식 장치.
  2. 청구항 1에 있어서,
    상기 마스크 이미지 생성 모듈은,
    상기 입력 영상에서 기 설정된 종류의 오브젝트를 분류하여 인식하고, 인식된 오브젝트의 경계 영역을 검출하도록 학습되는 제1 인공 신경망 모델을 포함하는, 행동 인식 장치.
  3. 청구항 2에 있어서,
    상기 마스크 이미지 생성 모듈은,
    상기 오브젝트의 경계 영역에서 기 설정된 부분까지 확장된 오브젝트 연장 경계 영역을 설정하고, 상기 오브젝트 연장 경계 영역 내의 픽셀 값은 화이트가 되게 하고, 상기 오브젝트 연장 경계 영역 이외의 픽셀 값은 블랙이 되도록 하여 상기 화이트 마스크 이미지를 생성하는, 행동 인식 장치.
  4. 청구항 3에 있어서,
    상기 마스크 이미지 생성 모듈은,
    상기 오브젝트의 경계 영역의 중심에서 상기 오브젝트의 각 경계까지의 거리인 경계 거리를 산출하고, 상기 오브젝트의 경계 영역의 중심에서 상기 산출된 경계 거리보다 기 설정된 거리만큼 연장된 연장 경계 거리를 산출하며, 상기 연장 경계 거리에 기반하여 상기 오브젝트의 연장 경계를 설정하는, 행동 인식 장치.
  5. 청구항 3에 있어서,
    상기 영상 합성 모듈은,
    상기 입력 영상과 상기 화이트 마스크 이미지를 AND 연산하여 영상 합성 이미지를 생성하는, 행동 인식 장치.
  6. 청구항 3에 있어서,
    상기 행동 인식 모듈은,
    상기 영상 합성 이미지에서 상기 오브젝트의 행동을 인식하도록 학습되는 제2 인공 신경망 모델을 포함하는, 행동 인식 장치.
  7. 청구항 6에 있어서,
    상기 제2 인공 신경망 모델은,
    상기 영상 합성 이미지를 입력으로 하고, 상기 영상 합성 이미지에서 시공간 특징 벡터를 추출하는 하나 이상의 특징 추출 계층;
    상기 특징 추출 계층과 연결되고, 상기 특징 추출 계층에서 출력되는 시공간 특징 벡터에 풀링(Pooling) 연산을 수행하는 풀링 층; 및
    상기 풀링 층과 연결되고, 상기 풀링 층에서 출력되는 시공간 특징 벡터를 기반으로 상기 오브젝트의 행동에 대한 분류 값을 출력하는 완전 연결층을 포함하는, 행동 인식 장치.
  8. 청구항 7에 있어서,
    상기 특징 추출 계층은,
    기 설정된 제1 필터를 통해 상기 영상 합성 이미지에서 공간적인 특징의 공간 특징 벡터를 추출하는 제1 컨벌루션층; 및
    상기 제1 컨벌루션층에 연결되고, 기 설정된 제2 필터를 통해 상기 공간 특징 벡터에서 시간적인 특징을 추출하여 상기 영상 합성 이미지에 대한 시공간 특징 벡터를 출력하는 제2 컨벌루션층을 포함하는, 행동 인식 장치.
  9. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    입력 영상에서 기 설정된 종류의 오브젝트를 인식하고, 인식된 오브젝트에 대해 화이트 마스크 이미지를 생성하는 동작;
    상기 입력 영상과 상기 화이트 마스크 이미지를 합성하여 영상 합성 이미지를 생성하는 동작; 및
    상기 영상 합성 이미지를 입력으로 하여 상기 오브젝트의 행동을 인식하는 동작을 포함하는, 행동 인식 방법.
KR1020200177718A 2020-10-29 2020-12-17 행동 인식 장치 및 방법 KR102563000B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200141817 2020-10-29
KR1020200141817 2020-10-29

Publications (2)

Publication Number Publication Date
KR20220057389A true KR20220057389A (ko) 2022-05-09
KR102563000B1 KR102563000B1 (ko) 2023-08-03

Family

ID=81582023

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200177718A KR102563000B1 (ko) 2020-10-29 2020-12-17 행동 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102563000B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253293A (zh) * 2023-11-15 2023-12-19 江西师范大学 行为识别方法、系统、存储介质及计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101023951B1 (ko) 2009-03-17 2011-03-28 한국과학기술원 행동인식 시스템 및 방법
KR101951605B1 (ko) * 2018-11-07 2019-02-22 이종원 영상의 유출을 방지하기 위한 cctv 영상 보안 시스템
KR101965972B1 (ko) * 2017-10-12 2019-04-04 동국대학교 산학협력단 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법
KR20190115542A (ko) * 2018-04-02 2019-10-14 동국대학교 산학협력단 보행자 검출 장치 및 방법
KR20200002066A (ko) * 2018-06-29 2020-01-08 한국교통대학교산학협력단 차량 인식 방법 및 이를 이용하는 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101023951B1 (ko) 2009-03-17 2011-03-28 한국과학기술원 행동인식 시스템 및 방법
KR101965972B1 (ko) * 2017-10-12 2019-04-04 동국대학교 산학협력단 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법
KR20190115542A (ko) * 2018-04-02 2019-10-14 동국대학교 산학협력단 보행자 검출 장치 및 방법
KR20200002066A (ko) * 2018-06-29 2020-01-08 한국교통대학교산학협력단 차량 인식 방법 및 이를 이용하는 장치
KR101951605B1 (ko) * 2018-11-07 2019-02-22 이종원 영상의 유출을 방지하기 위한 cctv 영상 보안 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253293A (zh) * 2023-11-15 2023-12-19 江西师范大学 行为识别方法、系统、存储介质及计算机设备

Also Published As

Publication number Publication date
KR102563000B1 (ko) 2023-08-03

Similar Documents

Publication Publication Date Title
US10832069B2 (en) Living body detection method, electronic device and computer readable medium
EP3933693B1 (en) Object recognition method and device
KR102473447B1 (ko) 인공지능 모델을 이용하여 사용자 음성을 변조하기 위한 전자 장치 및 이의 제어 방법
KR102008290B1 (ko) 영상에서 객체의 행동을 인식하는 방법 및 그 장치
CN110909595B (zh) 面部动作识别模型训练方法、面部动作识别方法
JP6678246B2 (ja) 大域的最適化に基づく意味的セグメント化
KR20200118076A (ko) 생체 검출 방법 및 장치, 전자 기기 및 저장 매체
Ali et al. Improved YOLOv4 for aerial object detection
KR102287407B1 (ko) 이미지 생성을 위한 학습 장치 및 방법과 이미지 생성 장치 및 방법
US11854116B2 (en) Task-based image masking
WO2021047587A1 (zh) 手势识别方法、电子设备、计算机可读存储介质和芯片
US11825278B2 (en) Device and method for auto audio and video focusing
US11385526B2 (en) Method of processing image based on artificial intelligence and image processing device performing the same
KR20190088406A (ko) 영상 재생 장치 및 그의 제어 방법
CN111183455A (zh) 图像数据处理系统与方法
JP2023518562A (ja) デバイスのハンドジェスチャベースの制御のための方法及びシステム
CN113039555A (zh) 通过使用基于注意力的神经网络在视频剪辑中进行动作分类
US20230386243A1 (en) Information processing apparatus, control method, and non-transitory storage medium
KR20190084460A (ko) 잡음에 강인한 소리 기반의 호흡기 질병 탐지 방법 및 그 시스템
KR20230025824A (ko) 랜드마크를 함께 생성하는 발화 동영상 생성 장치 및 방법
KR102563000B1 (ko) 행동 인식 장치 및 방법
CN114139630A (zh) 姿态识别方法、装置、存储介质和电子设备
Panda et al. Modified ResNet-152 Network With Hybrid Pyramidal Pooling for Local Change Detection
KR102364822B1 (ko) 가려진 영역 복원 방법 및 장치
KR102612625B1 (ko) 신경망 기반의 특징점 학습 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant