KR20210085978A

KR20210085978A - 심층 신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법

Info

Publication number: KR20210085978A
Application number: KR1020190179603A
Authority: KR
Inventors: 김문상; 이덕원; 이상협; 전국성
Original assignee: 광주과학기술원
Priority date: 2019-12-31
Filing date: 2019-12-31
Publication date: 2021-07-08
Also published as: EP4086811A1; WO2021137395A1; KR102297111B9; KR102297111B1; EP4086811A4

Abstract

본 발명의 일 실시예에 따른 심층신경망 알고리즘 기반의 문제 행동 분류 방법은 제한된 환경에서 데이터베이스에 기 정의된 조건부 자극정보에 대한 실험 대상자의 피드백 행동을 측정 및 분류하여 데이터베이스화하는 단계; 자극전달부에서 상기 조건부 자극을 대상자에게 제시하는 단계; 자극측정부에서 상기 조건부 자극에 대한 실험 대상자의 피드백 행동반응에 대한 데이터를 획득하는 단계; 및 상기 피드백 행동반응에 대한 인체 데이터를 심층 신경망 알고리즘을 이용하여 상기 피드백 행동반응 중 문제행동을 분류하는 단계를 포함한다.

Description

심층 신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법{Anomalies Classification System and Method Based on Deep Neural Network Algorithm}

본 발명은 심층 신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법에 관한 것이다.

최근 유비쿼터스 기술의 발전은 고속 네트워크, 고성능 컴퓨터 및 다양한 목적의 센서들을 가능하게 하였다. 이러한 고성능 장치들을 실생활에 접목하기 위해, 필요한 위치에 다양한 센서들을 위치시키고, 고속 네트워크를 통해 해당 정보를 전달받아 효과적으로 고성능 컴퓨터에서 분석하기 위한 다양한 기법들이 연구되었다. 이러한 목적으로 연구된 다양한 분유 중에서도 사람의 행동을 분석하여 이상 행동을 검출하기 위한 연구가 활발히 연구되고 있다.

Y.-S. Tak et al., "Motion sequence-based human abnormality detection scheme for smart spaces," Wireless Personal Communications, vol.60, issue 3, pp.507-519, Oct. 2011.

본 발명이 해결하고자 하는 과제는 종래의 문제점을 해결할 수 있는 심층 신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법을 제공하는데 그 목적이 있다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 심층 신경망 알고리즘 기반의 문제 행동 분류 방법은 제한된 환경에서 데이터베이스에 기 정의된 조건부 자극정보에 대한 실험 대상자의 피드백 행동을 측정 및 분류하여 데이터베이스화하는 단계; 자극전달부가 상기 조건부 자극을 대상자에게 제시하는 단계; 자극측정부에서 상기 조건부 자극에 대한 실험 대상자의 피드백 행동반응에 대한 데이터를 획득하는 단계; 및 상기 피드백 행동반응에 대한 인체 데이터를 심층 신경망 알고리즘을 이용하여 상기 피드백 행동반응 중 문제행동을 분류하는 단계를 포함한다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 심층신경망 알고리즘 기반의 문제 행동 분류 방법을 실행하는 시스템은 실험 대상자에게 조건부 자극정보를 제시하는 자극전달부; 상기 조건부 자극에 대한 실험 대상자의 피드백 행동반응정보를 측정 및 수집하는 자극측정부; 및 상기 자극전달부로 상기 조건부 자극정보를 제공하고, 상기 자극측정부에서 수집한 상기 피드백 행동반응정보를 제공받아, 심층 신경망 알고리즘을 이용하여 상기 피드백 행동반응 중 문제행동을 분류하는 딥러닝 정보처리부를 포함한다.

본 발명의 일 실시예에 따른 심층 신경망 알고리즘 기반의 이상행동 인지 분석 시스템 및 방법을 이용하면, 심층 신경망 알고리즘을 기반으로 대량의 데이터를 학습하여 결과를 도출하기 때문에 문제행동의 객관적 분류가 가능하다는 이점이 있다.

또한, 콘텐츠 환경에서 다양한 문제행동 분류가 가능하다는 이점이 있다.

또한, 검출하고자 하는 문제행동을 수정함에 있어 학습을 통한 미분류된 문제행동의 새로운 정의를 용이하게 구축할 수 있다는 이점이 있다.

도 1은 본 발명의 일 실시예에 따른 심층 신경망 알고리즘 기반의 문제 행동 분류 시스템을 나타낸 블록도이다.
도 2 내지 도 4는 조건부 자극정보에 대한 실험 대상자의 피드백 행동정보의 일 예를 나타낸 예시도이다.
도 5는 도 1에 도시된 심층신경망 알고리즘의 동작 흐름도의 일 예시도이다.
도 6은 본 발명의 일 실시예에 따른 심층신경망 알고리즘 기반의 문제 행동 분류 방법을 설명한 흐름도이다.
도 7은 도 6에 도시된 S740 과정을 보다 구체화한 흐름도이다.
도 8은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시한 도이다.

이하, 본 명세서의 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 명세서에 기재된 기술을 특정한 실시 형태에 대해 한정하는 것이 아니며, 본 명세서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 명세서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 명세서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 명세서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.

어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.

예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

본 명세서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 명세서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 명세서에서 정의된 용어일지라도 본 명세서의 실시예들을 배제하도록 해석될 수 없다

이하, 첨부된 도면들에 기초하여 본 발명의 일 실시예에 따른 심층 신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법을 보다 상세하게 설명하도록 한다.

먼저, 본 발명은 ADHD(Attention Deficit Hyperactivity Disorder) 진단 등과 같이 이상행동장애를 갖는 대상자에게 활용하기 위한 발명으로, 상술한 ADHD(Attention Deficit Hyperactivity Disorder)는 미국정신의학협회에 의해 '발달적으로 부적절한 주의력과 비정상적인 활발함, 그리고 충동적인 성향이 심각하고 지속적이어서 아동의 일상생활에 상당한 영향을 끼지는 상태' 정의된다.

여기서, ADHD의 원인은 신경, 화학적 요인, 기타 해부학적, 유전적, 환경적 요인들이 상호 작용을 하는 복잡한 특성으로 야기되는 증상일 수 있다.

미국소아과학회는 ADHD에 대한 진단 기준을 일원화하기 위하여 소아과 의사들이 주의력 결핍, 과잉행동, 충동성과 학습부진 또는 행동문제로 의뢰된 아이들을 평가할 수 있는 진단지침을 만들었다.

ADHD의 진단기준에 맞는 행동들은 정신장애의 진단 및 통계편람 IV(DSM-IV)에 명시되어 있으며, ADHD 기준은 부주의 행동특성 9개와 과잉행동 및 충동성 특성 9가지로 구성된 총 18가지 행동 증상이 있다.

18가지 행동 중 뚜렷한 증상을 보이고, 각 유형에 있는 9가지 행동 중에서 적어도 6가지가 일치하는 아이들은 ADHD로 진단받는 경우가 많다.

이에 본 발명에서 설명하고자 하는 심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법은 실험 대상자에게 조건부 자극정보를 제시하고, 이에 대한 실험 대상자의 피드백 반응정보를 데이터베이스에서 미리 정의된 범주 내에서 정상행동과 문제행동으로 분류하고, 정의되지 않는 범주에 해당하는 행동에 대하여 전문가의 조언을 통해 기존의 문제행동 범주 내에 새로운 행동정의를 포함시키고자 하는 발명이다.

여기서, 심층신경망 알고리즘 기반의 문제행동분류 시스템의 경우, 딥러닝 알고리즘인 심층신경망 알고리즘을 기반으로 피드백 반응정보에 대한 분류를 실시할 수 있다.

참고로, 딥러닝(deep learning), 심층학습은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions)를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야일 수 있다.

컴퓨터가 여러 데이터를 이용해 마치 사람처럼 스스로 학습할 수 있게 하기 위해 인공 신경망(ANN: artificial neural network)을 기반으로 구축한 한 기계 학습 기술일 수 있다. 딥러닝은 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계를 학습시킬 수 있다. 딥러닝 기술을 적용하면 사람이 모든 판단 기준을 정해주지 않아도 컴퓨터가 스스로 인지, 추론, 판단할 수 있게 될 수 있다. 음성·이미지 인식과 사진 분석 등에 광범위하게 활용될 수 있다

기계학습은 기계가 방대한 샘플 데이터를 분석하고, 훈련 데이터를 반복하여, 규칙, 규정, 표현, 조건, 판단 기준 등을 스스로 추출한 후 데이터베이스에 축적해 학습할 수 있다. 인식 및 분석이 필요한 데이터가 입력된 경우, 기계는 축적된 데이터베이스를 근거로 데이터를 분석하고 식별하고 관계성을 생각하고 예측하며, 인간이 평소에 하는 '생각하는' 작업을 대체할 수 있다.

신경망은 기계학습의 한 종류로, 인간의 뇌를 모방한 기술 일 수 있다. 신경망은 사물의 '특징값'을 추출하여, 인간과 비슷한 방법으로 학습을 할 수 있다. 예를 들어, 인간은 인간의 뇌가 지금까지의 경험을 통해 개인지 고양이인지를 판단하기 위한 '특징'을 학습해서 가지고 있고, 그것을 기반으로 몇 개의 이미지를 보고 '개'와 '고양이'로 분류할 수 있다.

신경망에서는 대상을 식별하기 위해 인간이 제시한 규칙이 아니라 특징값을 산출할 수 있다. 특징값을 '개'라고 가르치면 개로 분류할 수 있다. 반복하면 기계 스스로가 특징값을 산출해 개로 분류할 정보가 늘어날 수 있다. 컴퓨터가 다루는 특징값은 벡터 형태의 수치일 수 있다. 특징들은 훈련을 통해 기계가 자동으로 학습하기 때문에 개발자는 기존과 같이 세세한 규칙을 정의해야 하는 업무에서 해방될 수 있다. 이미지를 입력하면 그 일치할 경우 고양이라고 판단해 분류할 수 있다. 개를 판단하는 특징값을 인간이 만들어서 제공한 것이 아니라 기계가 학습을 통해 스스로 계산할 수 있다.

신경망은 입력층, 출력층, 및 중간층을 포함할 수 있다. 중간층은 은닉층이라 할 수 있다. 중간층이 있으면 처리를 담당하는 뉴런군의 층이 증가할 수 있다. 중간층에 다층 뉴런 층을 가지는 것을 심층 신경망이라 할 수 있다. 심층 신경망에서 이뤄지는 기계학습을 딥러닝이라 할 수 있다. 더 많은 데이터를 훈련시켜 처리하기 위해 중간층을 더욱 다층화시킬 수 있다. 중간층이 과다하게 다층화되면, 파라미터의 수가 너무 많아지고, 뉴런이 많고 복잡해져 아무 관계도 없던 결합이 늘어나 과적합(over-fitting)될 수 있다. 과적합으로 인해 성능이 저하될 수 있다. 합성곱 신경망(CNN: Convolution Neural Network)이 문제를 해결할 수 있다.

합성곱 신경망은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용할 수 있다. CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여줄 수 있다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들 보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다

합성곱 신경망은 이미지의 일부 영역을 분석하고, 그 영역의 창을 미끄러지듯 옮겨 다음 영역, 그리고 다음 영역으로 반복해 나갈 수 있다. 파악한 이미지 영역의 정보를 모든 뉴런으로 전파하지 않고, 관계성이 높은 뉴런에만 전파할 수 있다. 이를 통해 과적합 문제를 해결할 수 있다.

시계열 데이터 분석에 높은 성능을 보이는 리커런트 신경망(RNN: Recurrent Neural Network)은 입력층, 중간층, 출력층을 포함할 수 있는데, 현재 중간층의 값이 다음 출력층의 계산에 영향을 줄 수 있다. 리커런트 신경망은 중간층의 노드가 방향을 가진 엣지로 연결돼 순환구조를 이루는(directed cycle) 인공신경망의 한 종류일 수 있다. 리커런트 신경망의 핵심은 노드간, 층간 최적 파라미터를 찾는 것일 수 있다. 리커런트 신경망을 양방향 리커런트 신경망으로 확장할 수 있다. 양방향 리커런트 신경망은 순서 데이터를 모델링할 때, 현재 순서 데이터가 전 데이터뿐만 아니라 후 데이터에 영향을 받을 수 있다. 단방향 리커런트 신경망이 전 데이터와 현재 데이터만 참조하는 것과는 달리, 양방향 리커런트 신경망은 전 데이터와 후 데이터 그리고 현재 데이터를 모두 참조할 수 있다.

시계열 데이터는 시간의 경과와 함께 일정한 간격마다 관측 값이 기록되어 있는 데이터일 수 있다. 시계열 데이터 분석 기법은 금융, 군사, 제조 등 많은 분야에서 사용될 수 있다. 시계열 데이터를 정확하게 분석하는 것은 금융 예측, 제조 진단 등에 매우 중요할 수 있다. 예를 들어, 발전소의 대형 시스템에서 입력되는 신호를 정확하게 예측하면, 고장을 예측하고 정비주기를 정확하게 산정하여 사고의 위험을 줄일 뿐만 아니라, 정비의 비용을 현저하게 줄일 수 있다. 다중 시계열 데이터는 시간에 따라 변화하는 다수의 변수의 기록일 수 있다.

예를 들어 다중 시계열 데이터는 시간별 다수의 주식 가격, 시간별 다수의 환율의 변화를 포함할 수 있다. 시계열 데이터는 지속성이 있을 수 있다. 예를 들어, 사람들은 각 단어를 이전 단어들에 기반을 두어 이해할 수 있고, 이전 비디오 프레임들이 현재 프레임을 이해하는 데 영향을 미칠 수도 있다. 정적 데이터와 달리 시계열 데이터는 여러 특성이 있을 수 있다. 예를 들어, 시간의 경과에 따라 상대적으로 부드럽게 변화하는 시계열 데이터가 있을 수 있고, 급변하게 변하는(고주파) 시계열 데이터가 있을 수 있다. 또한, 특정 패턴을 반복하는 시계열 데이터가 있을 수 있다.

딥러닝 기술의 발전으로 인해 정적인 데이터의 분석뿐만 아니라, 시계열 데이터도 분석 및 예측할 수 있다. 시계열 데이터를 딥러닝을 통해 신뢰성 높은 분석 및 예측 결과를 얻으려면 많은 양의 학습 데이터가 필요하다는 제약이 있을 수 있다. 현실적으로 많은 데이터를 구하기가 어렵거나 시간이 오래 걸릴 수 있다. 각각의 시계열 데이터에 따라 적합한 딥러닝 알고리즘이 다를 수 있다는 것을 미리 설명한다.

도 1은 본 발명의 일 실시예에 따른 심층 신경망 알고리즘 기반의 문제 행동 분류 시스템을 나타낸 블록도이고, 도 2 내지 도 4는 조건부 자극정보에 대한 실험 대상자의 피드백 행동정보의 일 예를 나타낸 예시도이고, 도 5는 도 1에 도시된 심층신경망 알고리즘의 동작 흐름도의 일 예시도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 심층 신경망 알고리즘 기반의 문제 행동 분류 시스템(100)은 자극전달부(210), 자극측정부(220) 및 딥러닝 정보처리서버(300)를 포함할 수 있다. 여기서, 상기 자극전달부(210) 및 자극측정부(220)는 결합가능한 형태일 수 있다.

상기　자극전달부(210) 및 상기 자극측정부(220)는 제한된 환경 내에서 이동가능한 단말이거나 또는 관리자가 정해놓은 위치에 고정된 단말로서,　예컨대,　이동형 및 고정형　로봇이나　스마트　TV 및　프로젝터 등과 같이 화면을 표시할 수 있는 기기에 해당할 수 있다.

상기 자극전달부(210)는 딥러닝 정보처리서버(300)에서 제공된 조건부 자극정보를 수신한 후, 실험 대상자에게 조건부 자극정보를 제시하는 단말로서, 상기 자극전달부(210)는 실험 대상자에게 행위를 지시하거나, 물리적 행위를 통한 지시, 화면에서 컨텐츠 기반의 지시정보를 제공할 수 있다.

상기 자극측정부(220)는 상기 조건부 자극에 대한 실험 대상자의 피드백 행동반응정보를 기 설정된 시간동안 측정하여 기록 및 저장하는 단말일 수 있다.

여기서, 자극측정부(220)는 실험 대상자에게 제시된 조건부 자극정보별로 정반응/정반응전 오반응/오반응/오반응 전 정반응으로 실험 대상자의 피드백 반응정보를 수집 및 기록할 수 있다.

상술한 정반응/정반응전 오반응/오반응/오반응 전 정반응에 대한 예는 후술하도록 한다.

상기 자극측정부(220)은 로봇, 환경에 설치된 다양한 센서 및 진행자의 주관적 판단정보(진행자 입력정보)를 입력하기 위한 구성으로 조합될 수 있다. 여기서, 주관적 판단정보는 준비된 측정 데이터로 제공하기 어려운 정보들을 포함한 정보일 수 있다.

주관적 판단정보의 일 예로, 아이들의 표정정보나 눈치보기 등 기존 센서로 측정하기 어려운 정보들이 이에 해당한다.

상기 자극측정부(220)는 3차원 깊이 센서, 2차원 카메라, 초음파 센서, 적외선 센서, 레이저 스캐너, 마이크, 위치인식센서, 모션인식센서 중 적어도 하나 이상을 이용하여 실험 대상자의 피드백 행동반응정보인 인체데이터(키네틱정보)를 수집하여 후술하는 딥러닝 정보처리서버(300)로 전송할 수 있다.

여기서, 상기 조건부 자극정보는 제한된 환경의 위치정보, 사물지칭정보, 소리지시정보, 색상지시정보 및 행동지시정보 중 적어도 하나 이상을 조합 또는 배열한 지시정보일 수 있다.

상기 조건부 자극정보의 일 예로, “길을 따라가다 화살표에서 멈추세요”, “오른손을 들고 앉아보세요”, “마녀가 보이면 앉으세요”, “가장 큰 숫자가 표시된 원안에 앉으세요”, “빨간색 깃발, 파란색 깃발, 노랑색 깃발을 차례로 뽑으세요” 등일 수 있다.

상기 자극측정부(220)는 조건부 자극정보에 대한 실험 대상자의 피드백 정보를 정반응/정반응전 오반응/오반응/오반응 전 정반응으로 분리하여 수집 및 기록한다.

예컨대, 조건부 자극정보가 “마녀가 보이면 앉고, 친구들이 보이면 손을 흔들어 보세요”라고 가정할 경우, 정반응/오반응 반응은 앉는 행동이 불명확한 자세이거나, 손을 흔들리 않는 행위 등일 수 있다.

정반응 전 오반응/오반응 전 오반응 반응은 실험 대상자가 피드백 반응을 수정하는 경우의 행동을 의미한다.

가령, 앉으려다가 손을 흔드는 행동, 손을 흔들려 하다가 앉는 행동을 의미한다.

한편, 상기 자극전달부(210) 및 상기 자극측정부(220)는 객체인식 알고리즘을 기초로 딥러닝 정보처리서버(300)에서 전송된 실험 대상자의 이미지 정보를 분석하여 이미지 정보에 매칭되는 실험 대상자로 이동할 수 있다.

또한, 상기 자극측정부(220)은 제한된 공간 내에서 수행하는 게임 진행 시간, 조건부 자극정보에 대한 반응시간, 제한된 공간 내에서 진행하는 게임 중 실험 대상자가 이동한 거리 등을 측정할 수 있다.

또한, 자극측정부(220)는 수집한 실험 대상자의 피드백 행동반응정보인 인체데이터를 시계열 또는 비시계열 방식으로 기록할 수 있다.

다음으로, 딥러닝 정보처리부(300)는 상기 자극전달부(210)로 상기 조건부 자극정보를 제공하고, 상기 자극측정부(220)에서 수집한 실험대상자의 피드백 행동반응정보를 제공받아, 심층 신경망 알고리즘을 이용하여 상기 피드백 행동반응 중 문제행동을 분류하는 기능을 수행한다.

상기 딥러닝 정보처리부(300)는 조건부 자극정보 제공부(310), 조건 분류부(320), 행동정보 분류부(330) 및 피드백 처리부(340)를 포함할 수 있다.

상기 조건부 자극정보 제공부(310)는 실험 대상자의 개인특성에 맞는 조건부 자극정보를 자극전달부(210)로 제공한다.

상기 조건 분류부(320)는 실험대상자의 피드백 반응정보 내의 행동정보를 조건부 반응정보 내의 조건들로 세부 분류한다. 세부 분류된 행동정보는 후술하는 행동정보 분류부(330)로 제공된다.

상기 행동정보 분류부(330)는 심층신경망 알고리즘을 이용하여 조건 분류부(330)에서 세부 분류된 행동들의 시계열 또는 비시계열적 연관 및/연속관계를 판단한 후, 데이터베이스에 설정한 조건부 반응정보 내의 세부 조건들로 이루어진 정의된 행동범주 내에 포함되는 지를 판단한 후, 정의된 행동 및 미 정의된 행동(Anomaly Detection)으로 피드백 행동반응정보를 분류한다.

또한, 상기 행동정보 분류부(330)는 피드백 행동반응 내의 세부행동들을 정의된 행동범주 내의 행동들과 비교하여 정상행동 및 비정상행동으로 분류할 수 있다.

다음으로, 피드백 처리부(340)는 실험 대상자의 피드백 행동반응 중 미 정의된 행동으로 분류된 정보를 외부단말(전문가 단말)로 제공한 후, 외부단말(전문가 단말)에서 상기 미정의된 행동인 피드백 행동반응의 정의정보를 피드백받아, 피드백 행동반응의 정의정보를 데이터베이스 내의 정의된 행동범주에 새로운 문제 행동으로 추가 정의하는 구성일 수 있다.

여기서, 미리 정의된 행동범주는 미리 정의된 정상행동범주와 미리 정의된 문제 행동 범주로 분류되며, 정상행동범주와 문제행동범주는 전문가들의 예상가능한 행동들의 범주일 수 있다.

가령, 조건부 자극정보가 “①길을 ②따라가다 ③화살표에서 ④멈추세요” 라고 가정할 경우, 정상행동범주는 4가지 조건정보를 만족하는 행동이고, 문제행동범주는 4가지 조건정보 중 적어도 하나 이상이 예측가능한 다른 조건에 포함될 경우의 행동일 수 있다. 가령, 길을 빙빙돌다가 원에 멈추는 경우 등일 수 있다.

다른 예로, 조건부 자극정보가 “①마녀가 ②보이면 ③앉으세요” 라고 가정할 경우, 정상행동범주는 3가지 조건정보를 만족하는 행동이고, 문제행동범주는 3가지 조건정보 중 적어도 하나 이상이 예측가능한 다른 조건에 포함될 경우의 행동일 수 있다. 가령, 마녀 보여 앉아야 하는데 손을 흔드는 경우 등이 이에 해당할 수 있다

또한, 조건부 자극정보가 “마녀가 보이면 앉고, 친구들이 보이면 손을 흔들어 보세요”라고 가정할 경우, 정반응/오반응 반응은 앉는 행동이 불명확한 자세이거나, 손을 흔들지 않는 행위 등일 수 있다.

다음으로, 미정의된 행동범주는 전문가들이 예측불가한 행동들의 범주로서, 가령, 조건부 자극정보가 “①길을 ②따라가다 ③화살표에서 ④멈추세요” 라고 가정할 경우, 실험 대상자가 길 위에 주저 앉는다거나 또는 길에서 엎드려 있다거나 하는 경우들의 행동일 수 있다.

도 6은 본 발명의 일 실시예에 따른 심층 신경망 알고리즘 기반의 문제 행동 분류 방법을 설명한 흐름도이고, 도 7은 도 6에 도시된 S740 과정을 보다 구체화한 흐름도이다

도 6을 참조하면, 본 발명의 일 실시예에 따른 심층 신경망 알고리즘 기반의 문제 행동 분류 방법(S700)은 도 1에 도시된 심층신경망 알고리즘 기반의 문제 행동 분류 시스템을 통해 구현될 수 있다.

보다 구체적으로, 본 발명의 일 실시예에 따른 심층 신경망 알고리즘 기반의 문제 행동 분류 방법(S700)은 먼저, 제한된 환경에서 데이터베이스에 기 정의된 조건부 자극정보에 대한 실험 대상자의 피드백 행동을 측정 및 분류하여 데이터베이스화(S710)한다.

여기서, 조건부 자극정보는 제한된 환경의 위치정보, 사물지칭정보, 소리지시정보, 색상지시정보 및 행동지시정보 중 적어도 하나 이상을 조합 또는 배열한 지시정보일 수 있다.

또한, 피드백 행동에 대한 측정 및 분류정보는 제시된 조건부 자극정보를 통해 예측가능한 범주(정상범주) 내에 행동정보일 수 있다.

가령, 실험 대상자에게 “길을 따라가다 화살표에서 멈추세요” 라는 조건부 자극정보를 제시할 경우, 예측가능한 범주(정상범주) 내에 행동정보는 ①길을 따라가지 않는 행동, ②길을 따라가기만 하는 행동, ③길에 앉는 행동, ④길에서 엎드리는 행동, ⑤화살표를 빙빙도는 행동 등으로 분류될 수 있다.

여기서, 예측가능한 범주(정상범주)는 조건부 자극정보 내에 포함된 여러 개의 조건정보 중 적어도 하나 이상을 만족하는 행동이 포함된 행동영역일 수 있다.

이후, S710 과정이 완료되면, 자극전달부(210)는 딥러닝 정보처리부(300)에서 제공된 조건부 자극정보를 실험 대상자에게 전달 또는 제시(S720)한다.

참고로, 상기 자극전달부(210)는 조건부 자극정보(예컨대, 제한된 환경의 위치정보, 사물지칭정보, 소리지시정보, 색상지시정보 및 행동지시정보 중 적어도 하나 이상을 조합 또는 배열한 지시정보)를 출력할 수 있는 적어도 하나 이상의 디바이스를 구비할 수 있다.

자극측정부(220)에서 수집한 피드백 행동반응 정보는 관절 데이터, 깊이 데이터, 색상 데이터, 소리 데이터, 위치 데이터 중 하나 이상을 포함하고, 복수 개의 센서로부터 출력된 데이터들의 병합된 병합정보일 수 있고, 또한, 진행자의 주관적 판단정보(진행자 입력정보)를 포함할 수 있다. 여기서, 주관적 판단정보는 준비된 측정 데이터로 제공하기 어려운 정보들을 포함한 정보일 수 있다.

상기 S720 과정이 완료되면, 자극측정부(220)에서 조건부 자극에 대한 실험 대상자의 피드백 행동반응에 대한 인체데이터를 획득하고, 획득된 피드백 행동반응에 대한 인체데이터를 딥러닝 정보처리서버(300)로 제공(S730)한다.

딥러닝 정보처리서버(300)는 피드백 행동반응에 대한 인체 데이터를 심층 신경망 알고리즘을 이용하여 상기 피드백 행동반응 중 문제행동을 분류(S740)한다.

여기서, 도 7을 참조, 상기 S740 과정은 정보수집 단계(S741), 행동분류 단계(S742) 및 피드백 단계(S743)를 포함한다.

상기 정보수집단계(S741)는 자극측정부(200)에서 전송된 실험 대상자의 피드백 행동반응에 대한 인체데이터를 수집하는 단계일 수 있다.

상기 행동분류단계(S742)는 심층신경망 알고리즘을 이용하여 피드백 행동반응 내의 세부행동들이 조건부 자극정보 내의 세부 조건들로 이루어진 정의된 행동범주 내에 포함되는 지를 판단한 후, 정의된 행동 및 미정된 행동(Anomaly Detection)으로 상기 피드백 행동반응을 분류한다.

또한, 상기 행동분류단계(S742)는 피드백 행동반응 내의 세부행동들을 정의된 행동범주 내의 행동들과 비교하여 정상행동 및 문제행동으로 분류하는 단계를 더 포함할 수 있다.

상기 피드백 단계(S743)는 피드백 행동반응 중 미정의된 행동을 외부단말(전문가 단말)로 제공한 후, 외부단말(전문가 단말)에서 상기 미정의된 행동인 피드백 행동반응의 정의정보를 피드백받아, 피드백 행동반응의 정의정보를 데이터베이스 내의 정의된 행동범주에 새로운 문제행동으로 추가 정의하는 단계일 수 있다.

도 8은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면으로, 상술한 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1100)를 포함하는 시스템(1000)의 예시를 도시한다. 예를 들어, 컴퓨팅 디바이스(1100)는 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것으로 한정되는 것은 아니다.

컴퓨팅 디바이스(1100)는 적어도 하나의 프로세싱 유닛(1110) 및 메모리(1120)를 포함할 수 있다. 여기서, 프로세싱 유닛(1110)은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 또한, 컴퓨팅 디바이스(1100)는 추가적인 스토리지(1130)를 포함할 수 있다. 스토리지(1130)는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다. 스토리지(1130)에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지(1130)에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛(1110)에 의해 실행되기 위해 메모리(1120)에 로딩될 수 있다. 또한, 컴퓨팅 디바이스(1100)는 입력 디바이스(들)(1140) 및 출력 디바이스(들)(1150)을 포함할 수 있다.

여기서, 입력 디바이스(들)(1140)은 예를 들어 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 또는 임의의 다른 입력 디바이스 등을 포함할 수 있다. 또한, 출력 디바이스(들)(1150)은 예를 들어 하나 이상의 디스플레이, 스피커, 프린터 또는 임의의 다른 출력 디바이스 등을 포함할 수 있다. 또한, 컴퓨팅 디바이스(1100)는 다른 컴퓨팅 디바이스에 구비된 입력 디바이스 또는 출력 디바이스를 입력 디바이스(들)(1140) 또는 출력 디바이스(들)(1150)로서 사용할 수도 있다.

또한, 컴퓨팅 디바이스(1100)는 컴퓨팅 디바이스(1100)가 다른 디바이스(예를 들어, 컴퓨팅 디바이스(1300))와 통신할 수 있게 하는 통신접속(들)(1160)을 포함할 수 있다.

여기서, 통신 접속(들)(1160)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 컴퓨팅 디바이스(1100)를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스를 포함할 수 있다. 또한, 통신 접속(들)(1160)은 유선 접속 또는 무선 접속을 포함할 수 있다. 상술한 컴퓨팅 디바이스(1100)의 각 구성요소는 버스 등의 다양한 상호접속(예를 들어, 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조 등)에 의해 접속될 수도 있고, 네트워크(1200)에 의해 상호접속될 수도 있다. 본 명세서에서 사용되는 "구성요소", "시스템" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하는 것이다.

예를 들어, 구성요소는 프로세서 상에서 실행중인 프로세스, 프로세서, 객체, 실행 가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이것으로 한정되는 것은 아니다. 예를 들어, 컨트롤러 상에서 구동중인 애플리케이션 및 컨트롤러 모두가 구성요소일 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행의 스레드 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터 상에서 로컬화될 수 있고, 둘 이상의 컴퓨터 사이에서 분산될 수도 있다.

이상에서 설명한 실시 예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 심층신경망 알고리즘 기반의 문제 행동 분류 시스템.
210: 자극전달부
220: 자극측정부
300: 딥러닝 정보처리부
310: 조건부 자극정보 제공부
320: 조건 분류부
330: 행동정보 분류부
340: 피드백 처리부

Claims

제한된 환경에서 데이터베이스에 기 정의된 조건부 자극정보에 대한 실험 대상자의 피드백 행동을 측정 및 분류하여 데이터베이스화하는 단계;
자극전달부에서 상기 조건부 자극을 대상자에게 제시하는 단계;
자극측정부에서 상기 조건부 자극에 대한 실험 대상자의 피드백 행동반응에 대한 데이터를 획득하는 단계; 및
상기 피드백 행동반응에 대한 인체 데이터를 심층 신경망 알고리즘을 이용하여 상기 피드백 행동반응 중 문제행동을 분류하는 단계를 포함하는 심층 신경망 알고리즘 기반의 문제 행동 분류 방법.
제1항에 있어서,
상기 문제행동의 정상 및 비정상 여부를 판단하는 단계를 더 포함하는 심층신경망 알고리즘 기반의 문제 행동 분류 방법.
제1항에 있어서,
상기 문제행동을 분류하는 단계는
정의된 범주를 벗어나는 행동에 대한 미정의 행동분류(Anomaly Detection)단계를 더 포함하는 심층신경망 알고리즘 기반의 문제 행동 분류 방법.
제3항에 있어서,
상기 미정의 행동분류 중 기존의 분류체계에 속하지 않는 분류대상은 전문가의 피드백을 통해 새로운 문제행동으로 추가 정의하는 단계를 포함하는 심층신경망 알고리즘 기반의 문제 행동 분류 방법.
제1항에 있어서,
상기 제한된 환경은 특정 규칙을 갖는 게임이나 훈련 형태로 제작된 컨텐츠로 운영되는 환경이고,
상기 문제행동은 상기 제한된 환경에서 미리 정의된 정상행동에서 벗어나는 행동인 것을 특징으로 하는 심층신경망 알고리즘 기반의 문제 행동 분류 방법.
상기 데이터는
상기 자극측정부를 통한 관절 데이터, 깊이 데이터, 색상 데이터, 소리 데이터, 위치 데이터 및 진행자 입력정보 중 하나 이상을 포함하고, 복수 개의 센서로부터 출력된 데이터들의 병합된 형태를 포함하는 심층신경망 알고리즘 기반의 문제 행동 분류 방법.
제1항에 있어서,
상기 조건부 자극정보는
제한된 환경의 위치정보, 사물지칭정보, 소리지시정보, 색상지시정보 및 행동지시정보 중 적어도 하나 이상을 배열한 지시정보인 것을 특징으로 하는 심층신경망 알고리즘 기반의 문제 행동 분류 방법.
심층신경망 알고리즘 기반의 문제 행동 분류 방법을 실행하는 시스템에 있어서,
실험 대상자에게 조건부 자극정보를 제시하는 자극전달부;
상기 조건부 자극에 대한 실험 대상자의 피드백 행동반응정보를 수집하는 자극측정부; 및
상기 자극전달부로 상기 조건부 자극정보를 제공하고, 상기 자극측정부에서 수집한 상기 피드백 행동반응정보를 제공받아, 심층 신경망 알고리즘을 이용하여 상기 피드백 행동반응 중 문제행동을 분류하는 딥러닝 정보처리부를 포함하는 심층신경망 알고리즘 기반의 문제 행동 분류 시스템.
제8항에 있어서,
상기 자극측정부는
3차원 깊이 센서, 2차원 카메라, 초음파 센서, 적외선 센서, 레이저 스캐너, 마이크, 위치인식센서, 모션인식센서 중 적어도 하나 이상을 이용하여 실험 대상자의 피드백 행동반응정보인 인체데이터를 수집하는 것을 특징으로 하는 심층신경망 알고리즘 기반의 문제 행동분류 시스템.
제8항에 있어서,
상기 자극전달부 및 상기 자극측정부 중 적어도 하나는 상기 제한된 환경 내에서 이동가능하거나 또는 위치고정인 것을 특징으로 하는 심층신경망 알고리즘 기반의 문제 행동분류 시스템.
제8항에 있어서,
상기 딥러닝 정보처리부는
실험 대상자의 개인특성에 맞는 조건부 자극정보를 상기 자극전달부로 제공하는 조건부 자극정보 제공부;
실험 대상자의 피드백 반응정보 내의 행동정보를 조건부 반응정보 내의 조건들로 세부 분류하는 조건 분류부; 및
심층신경망 알고리즘을 이용하여 상기 조건 분류부에서 세부 분류된 행동들의 시계열 또는 비시계열적 연관 및/연속관계를 판단한 후, 데이터베이스에 설정한 조건부 자극정보 내의 세부 조건들로 이루어진 정의된 행동범주 내에 포함되는 지를 판단하고, 정의된 행동 및 미 정의된 행동(Anomaly Detection)으로 피드백 행동반응정보를 분류하는 행동정보 분류부를 포함하는 심층신경망 알고리즘 기반의 문제 행동분류 시스템.
제11항에 있어서,
상기 행동정보 분류부는
피드백 행동반응 내의 세부행동들을 정의된 행동범주 내의 행동들과 비교하여 정상행동 및 문제행동으로 분류하는 것을 특징으로 하는 포함하는 심층신경망 알고리즘 기반의 문제 행동분류 시스템.
제11항에 있어서,
실험 대상자의 피드백 행동반응 중 미 정의된 행동으로 분류된 정보를 외부단말로 제공한 후, 상기 외부단말에서 상기 미정의된 행동인 피드백 행동반응의 정의정보를 피드백받아, 피드백 행동반응의 정의정보를 데이터베이스 내의 정의된 행동범주에 새로운 문제 행동으로 추가 정의하는 피드백 처리부를 더 포함하는 심층신경망 알고리즘 기반의 문제 행동분류 시스템.