KR101716093B1 - 다중 센서 신호 기반의 상황 인식 방법 및 장치 - Google Patents

다중 센서 신호 기반의 상황 인식 방법 및 장치 Download PDF

Info

Publication number
KR101716093B1
KR101716093B1 KR1020160085326A KR20160085326A KR101716093B1 KR 101716093 B1 KR101716093 B1 KR 101716093B1 KR 1020160085326 A KR1020160085326 A KR 1020160085326A KR 20160085326 A KR20160085326 A KR 20160085326A KR 101716093 B1 KR101716093 B1 KR 101716093B1
Authority
KR
South Korea
Prior art keywords
class
sensor signals
situation
multiple sensor
context
Prior art date
Application number
KR1020160085326A
Other languages
English (en)
Other versions
KR20170001944A (ko
Inventor
김문현
김진평
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020160085326A priority Critical patent/KR101716093B1/ko
Publication of KR20170001944A publication Critical patent/KR20170001944A/ko
Application granted granted Critical
Publication of KR101716093B1 publication Critical patent/KR101716093B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06K9/6288—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/00496—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

컴퓨터를 이용하여 다중 센서 신호들에 기반하는 상황 인식 방법은, 컴퓨터가, (i) 측정 구간 동안에 수신된 다중 센서 신호들을, 복수의 다중 센서 신호들에 기초하여 하나의 상황 클래스를 결정하도록 설정된 분류기에 입력하여, 해당 측정 구간의 다중 센서 신호들에 관한 상황 클래스를 결정하는 단계, (ii) 만약 단계 (i)에서 상황 클래스를 결정하지 못하였거나 아직 아무 상황 클래스도 구축되기 전인 경우에 수신된 다중 센서 신호들을 전처리하는 단계, (iii) 전처리된 다중 센서 신호들로부터, 다중 센서 신호들 사이의 종속 관계를 그래프로 표현한 상황 네트워크를 생성하는 단계, (iv) 상황 네트워크로부터 경로 패턴들을 추출하는 단계 및 (v) 추출된 경로 패턴들을 기초로, 다중 센서 신호들이 입력되면 상응하는 상황 클래스가 판정되도록, 분류기를 설정하는 단계를 포함할 수 있다.

Description

다중 센서 신호 기반의 상황 인식 방법 및 장치{METHOD AND APPARATUS FOR SITUATION RECOGNITION BASED ON MULTIPLE SENSOR SIGNALS}
본 발명은 다중 센서 데이터 융합(MSDF) 기술에 관한 것으로, 더욱 상세하게는, 다중 센서 데이터 융합 기반 상황 인식 기술에 관한 것이다.
화재 감지 시스템, 보안 방범 시스템, 공장 자동화 시스템, 사물 인터넷 단말기, 자율 주행 로봇, 자율 주행 자동차와 같은 민수용 제품과, 전투기와 근접 방어 체계와 같은 고성능 지능형 무기 체계는, 그 정교함이나 복잡함의 수준은 다를 수 있지만, 근본적으로 물리적 상태를 검출하는 센서와 검출된 센서 신호에 기반하여 판단을 내리는 제어 로직으로 구성된다는 점은 다를 바 없다.
그런데 제어 로직이 주변 상황을 정확히 판단하기 위해 필요한 정보의 정확도가 높을 경우에, 하나의 센서로 제어 로직이 필요로 하는 수준의 정보를 제공하려면 센서의 정밀도가 매우 높아야 할 것이고, 그러한 센서를 조달하기 위한 비용과 그러한 센서로부터 획득된 센서 신호를 처리하기 위한 부수적 회로의 조달 비용도 높아질 것이다.
이러한 맥락에서, 다중 센서 데이터 융합(Multiple Sensor Data Fusion) 기법은 상대적으로 정확도가 낮더라도 조달 비용이 저렴한 다양한 센서들을 이용하거나 또는 하나의 센서에서 도출되는 멀티 모달(multi modal) 신호들을 이용하며, 복수의 동종 센서 신호들 또는 복수의 이질적 센서 신호들을 데이터 융합 처리함으로써, 고가의 단일 초정밀 센서로부터 추론할 수 있는 수준보다 오히려 더 정확하게 상황을 추론하려는 기법으로서, 최근에 수많은 자동화 시스템에 적용되고 있다.
이에 따라, 세부적으로 어떤 종류의 센서 신호들을 어떻게 융합하고 어떻게 상황을 추론할 것인지에 관한 구체적인 방법론들이 다양하게 제안되고 있다.
한국공개특허공보 10-2011-0114218 (2011.10.19) 한국공개특허공보 10-2010-0066352 (2010.06.17)
배상훈 외. "다중 센서 융합을 사용한 자동차형 로봇의 효율적인 실외 지역 위치 추정 방법", 제어로봇시스템학회(ICROS) 논문지 17(10), 2011.10, pp.995-1005
본 발명이 해결하고자 하는 과제는 다중 센서 신호 기반의 상황 인식 방법 및 장치를 제공하는 데에 있다.
본 발명이 해결하고자 하는 과제는 다중 센서 신호들에 대해 자동적으로 객체의 행동 패턴을 학습하고, 학습된 패턴과 센서 신호들의 패턴에 따라 객체의 상황을 인식할 수 있는 다중 센서 신호 기반의 상황 인식 방법 및 장치를 제공하는 데에 있다.
본 발명이 해결하고자 하는 과제는 구조 학습 단계와 상황 분류 단계의 유기적인 통합을 이룰 수 있는 다중 센서 신호 기반의 상황 인식 방법 및 장치를 제공하는 데에 있다.
본 발명이 해결하고자 하는 과제는 복수의 센서 신호들을 기초로 객체의 상황에 관하여 개선된 추정 결과를 얻을 수 있는 다중 센서 신호 기반의 상황 인식 방법 및 장치를 제공하는 데에 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확히 이해될 수 있을 것이다.
본 발명의 일 측면에 따른 컴퓨터를 이용하여 다중 센서 신호들에 기반하는 상황 인식 방법은, 상기 컴퓨터가, (i) 측정 구간(window) 동안에 수신된 다중 센서 신호들을, 복수의 다중 센서 신호들에 기초하여 하나의 상황 클래스(context class)를 결정하도록 설정된 분류기(classifier)에 입력하여, 해당 측정 구간의 다중 센서 신호들에 관한 상황 클래스를 결정하는 단계; (ii) 만약 상기 단계 i)에서 상황 클래스를 결정하지 못하였거나 아직 아무 상황 클래스도 구축되기 전인 경우에 상기 수신된 다중 센서 신호들을, 또는 훈련 데이터셋(training dataset)에 포함된 다중 센서 신호들을 전처리(preprocessing)하는 단계; (iii) 상기 전처리된 다중 센서 신호들로부터, 다중 센서 신호들 사이의 종속 관계를 그래프로 표현한 상황 네트워크(context network)를 생성하는 단계; (iv) 상기 상황 네트워크로부터 경로 패턴들을 추출하는 단계; 및 (v) 상기 추출된 경로 패턴들을 기초로, 상기 다중 센서 신호들이 입력되면 상응하는 상황 클래스가 판정되도록, 분류기를 설정할 수 있다.
일 실시예에 따라, 상기 상황 네트워크는 방향성 비순환 그래프(directed acyclic graph)로 표현되는 베이지언 네트워크(Bayesian network)일 수 있다.
일 실시예에 따라, 상기 베이지언 네트워크는 K2 알고리즘을 통해 획득될 수 있다.
일 실시예에 따라, 상기 경로 패턴은 상기 상황 네트워크의 루트 노드로부터 말단 노드까지 이어지는 모든 가능한 경로들의 각각일 수 있다.
일 실시예에 따라, 상기 분류기는 신경망 기반 분류기이고, 상기 단계 (v)는, 각 상황 클래스마다, 상기 경로 패턴들의 빈도들을 기초로, 상기 경로 패턴들 중에서 상대적으로 높은 출현 확률을 가지는 경로 특징들(path features)을 선택하는 단계; 상기 선택된 경로 특징들을 구성하는 다중 센서 신호들이 신경망의 입력 노드들에 각각 할당되고 또한 상황 클래스들이 상기 신경망의 출력 노드들에 각각 할당되도록, 상기 신경망을 구성하는 단계; 및 상기 다중 센서 신호들이 상기 신경망의 입력 노드들에 입력될 때에, 상기 신경망의 출력 노드들의 출력값들에 의해 상응하는 상황 클래스가 판정되도록, 상기 신경망의 가중치(weight) 값들을 결정하는 단계를 포함할 수 있다.
일 실시예에 따라, 상기 분류기는 신경망 기반 분류기이고, 상기 단계 (i)와 상기 단계 (ii) 사이에, 만약 상기 단계 i)에서 상황 클래스를 결정하지 못하였거나 아직 아무 상황 클래스도 구축되기 전이면 새로운 상황 클래스를 추가하는 단계를 더 포함할 수 있다.
본 발명의 다른 측면에 따른 다중 센서 신호 기반 상황 인식 장치는 소정의 측정 구간마다 다중 센서 신호들 및 상황 클래스로 구성되는 훈련 데이터셋을 저장하는 훈련 데이터셋 저장부; 새로운 상황 클래스가 필요한 다중 센서 신호들, 또는 상기 훈련 데이터셋에 포함된 다중 센서 신호들을 전처리하고, 상기 전처리된 다중 센서 신호들 사이의 종속 관계를 그래프로 표현한 상황 네트워크를 생성하며, 각각의 상기 상황 네트워크로부터 경로 패턴들을 추출하는 구조 학습부; 및 상기 새로운 상황 클래스가 필요한 다중 센서 신호들로부터 추출된 경로 패턴들 또는 상기 훈련 데이터셋에 포함된 다중 센서 신호들로부터 상황 클래스마다 추출된 경로 패턴들을 기초로, 다중 센서 신호들이 입력되면 상응하는 상황 클래스가 판정되도록 설정되고, 외부에서 수신되는 다중 센서 신호들에 기초하여 하나의 상황 클래스를 판정하여 출력하는 분류기를 포함할 수 있다.
일 실시예에 따라, 상기 상황 네트워크는 방향성 비순환 그래프로 표현되는 베이지언 네트워크일 수 있다.
일 실시예에 따라, 상기 베이지언 네트워크는 K2 알고리즘을 통해 획득될 수 있다.
일 실시예에 따라, 상기 경로 패턴은 상기 상황 네트워크의 루트 노드로부터 말단 노드까지 이어지는 모든 가능한 경로들의 각각일 수 있다.
일 실시예에 따라, 상기 분류기는 각 상황 클래스마다, 상대적으로 높은 출현 확률을 가지는 경로 패턴들로서 경로 특징들을 선택하는 경로 특징 선택부; 각 상황 클래스의 다중 센서 신호들이 신경망의 입력 노드들에 입력될 때에 상응하는 상황 클래스가 결정되도록, 상기 신경망의 가중치 값들을 설정하는 신경망 설정부; 및 상기 훈련 데이터셋에 포함된 상황 클래스들 또는 새로 추가된 상황 클래스를 저장하며, 각 상황 클래스마다 추출된 상황 네트워크들 및 경로 패턴들을 저장하는 상황 클래스 테이블을 포함하고, 상기 신경망은 상기 경로 특징들을 구성하는 다중 센서 신호들이 상기 신경망의 입력 노드들에 각각 할당되고 또한 상기 상황 클래스들이 상기 신경망의 출력 노드들에 각각 할당되도록 구성될 수 있다.
일 실시예에 따라, 상기 분류기는 설정된 상기 신경망의 입력 노드들에 다중 센서 신호들을 각각 입력하고, 상기 신경망의 출력 노드들의 출력값들에 기초하여 상황 클래스를 결정하고, 상기 신경망의 출력 노드들의 모든 출력값들이 소정의 문턱값보다 낮으면 상기 상황 클래스 테이블에 새로운 상황 클래스를 추가로 등록하는 신경망 연산부를 더 포함할 수 있다.
본 발명의 다중 센서 신호 기반의 상황 인식 방법 및 장치에 따르면, 다중 센서 신호들에 대해 자동적으로 객체의 행동 패턴을 학습하고, 학습된 패턴과 센서 신호들의 패턴에 따라 객체의 상황을 인식할 수 있다.
본 발명의 다중 센서 신호 기반의 상황 인식 방법 및 장치에 따르면, 구조 학습 단계와 상황 분류 단계의 유기적인 통합을 이룰 수 있다.
본 발명의 다중 센서 신호 기반의 상황 인식 방법 및 장치에 따르면, 복수의 센서 신호들을 기초로 객체의 상황에 관하여 개선된 추정 결과를 얻을 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 다중 센서 신호 기반 상황 인식 방법을 예시한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 다중 센서 신호 기반 상황 인식 방법 중 상황 네트워크 추출 단계에서 추출된 상황 네트워크들을 예시한 모식도이다.
도 3은 본 발명의 일 실시예에 따른 다중 센서 신호 기반 상황 인식 방법 중 경로 패턴 추출 단계에서 특정 상황 네트워크에 관하여 경로 패턴들을 추출하는 절차를 예시한 모식도이다.
도 4는 본 발명의 일 실시예에 따른 다중 센서 신호 기반 상황 인식 방법 중 분류기 설정 단계를 구체적으로 예시한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 다중 센서 신호 기반 상황 인식 방법 중 상황 분류 단계에서 서로 다른 상황 클래스들에서 특정한 경로 특징이 어떻게 다르게 나타나는지 예시한 모식도이다.
도 6은 본 발명의 일 실시예에 따른 다중 센서 신호 기반 상황 인식 방법 중 상황 분류 단계에서 구축된 신경망을 예시한 모식도이다.
도 7은 본 발명의 일 실시예에 따른 다중 센서 신호 기반 상황 인식 장치를 예시한 블록도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예들을 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 명세서의 전체에 걸쳐 "다중 센서 신호" 용어는 복수의 물리적 센서들에서 생성된 복수의 센서 신호들을 의미할 수도 있지만, 이에 한정되지 않으며, 실시예에 따라서는 하나의 센서에서 추출되는 복수의 센서 신호들을 의미할 수 있다.
도 1은 본 발명의 일 실시예에 따른 다중 센서 신호 기반 상황 인식 방법을 예시한 순서도이다.
본 발명의 다중 센서 신호 기반 상황 인식 방법은 사전 학습이 없는 비통제(unsupervised) 상황 인식을 구현할 수 있다.
도 1을 참조하면, 컴퓨터를 이용한 다중 센서 신호 기반 상황 인식 방법은 단계(S11)에서 시작할 수 있다.
단계(S11)에서, 컴퓨터가, 측정 구간(window) 동안에 수신된 다중 센서 신호들을, 복수의 다중 센서 신호들에 기초하여 하나의 상황 클래스(context class)를 판정하도록 설정된 분류기(classifier)에 입력하여, 해당 측정 구간의 다중 센서 신호들에 관한 상황 클래스를 판정한다.
다중 센서 신호들은 매 측정 구간마다 다중 센서들로부터 실시간적으로 획득되는 측정값들이다.
분류기는 수신된 다중 센서 신호들의 전부 또는 일부를 입력받아서, 하나 이상의 상황 클래스들 중에서 하나의 상황 클래스를 판정하는데, 구체적인 내용은 후술한다.
상황 클래스는 각 측정 구간에 일어나는 현상들을, 다른 현상들과 구별하면서 가장 잘 서술할 수 있는 표현으로서, 각 특정 구간의 다중 센서 신호들은 하나의 상황 클래스를 도출할 수 있다. 다중 센서 신호들은 외견상 동일한 상황 클래스로 분류되는 현상에 대해 다양한 측정값들을 가질 수 있다. 예를 들어, 자율 주행 로봇의 모터들에 장착된 다중 센서들은 정상적인 주행 시에 속도나 주행 노면의 상태 등에 따라 외견상 현저하게 다른 측정값들을 출력할 수 있다. 그렇지만, 이러한 측정값들은, 모두 정상 주행 시에 획득되는 값들이므로, 동일한 상황 클래스를 도출하여야 한다.
예를 들어, 한 측정 구간에 해당하는 데이터셋은 다음 표 1과 같은 6 개의 다중 센서 신호들, 즉 힘의 크기 측정값들(Fx, Fy, Fz)와 토크의 크기 측정값들(Tx, Ty, Tz)을 예를 들어 1ms인 측정 구간 동안에 15 회 샘플링되는 측정값들로 구성될 수 있다. 필요에 따라서는, 둘 이상의 측정 구간들을 병합하고, 병합된 측정 구간마다 하나의 상황 클래스가 특정될 수도 있다.
Figure 112016065266747-pat00001
이때, 만약 어떤 측정 구간에 발생한 다중 센서 신호들이, 그 측정 구간 이전까지 구축된 상황 클래스들 중 하나에 부합하면, 분류기는 입력된 다중 센서 신호들에 관한 상황 클래스를 판정할 수 있다.
반면에, 만약 어떤 측정 구간에 발생한 다중 센서 신호들이, 그 측정 구간 이전까지 구축된 상황 클래스들에 부합하지 않는다면, 그래서 분류기가 기존 상황 클래스들 중 어느 상황 클래스인지 결정할 수 없다면, 이러한 다중 센서 신호들의 발생은 새로운 상황 클래스가 필요함을 의미한다.
또한, 예를 들어 최초의 상태에서 그러하듯이, 아직 아무 상황 클래스도 구축되지 않은 특수한 경우에도, 최초의 측정 구간에 입력되는 다중 센서 신호들에 대해 최초의 상황 클래스가 생성되어야 한다.
이에 따라, 단계(S12)에서, 컴퓨터는, 단계(S11)에서 분류기가 기존에 구축된 하나 이상의 상황 클래스들 중에서 어느 한 상황 클래스를 판정한 경우에는, 해당 측정 구간에 관한 상황 인식 절차를 종료할 수 있다.
또한 단계(S12)에서, 컴퓨터는, 단계(S11)에서 분류기가 기존에 구축된 하나 이상의 상황 클래스들 중에서 어느 한 상황 클래스를 판정하지 못하였거나, 아직 아무 상황 클래스도 구축되기 전이어서, 새로운 상황 클래스가 필요한 경우에는, 새로운 상황 클래스를 추가하고, 단계(S13)으로 진행한다.
여기서, 분류기가 상황 클래스를 판정하지 못하는 경우는, 예를 들어, 분류기가 상황 클래스들마다 평가한 점수를 기초로, 가장 높은 순위의 상황 클래스의 점수가 소정 문턱값을 넘지 못하여, 분류기가 상황 클래스를 확정하기 어려운 경우를 의미한다.
단계(S13)에서, 컴퓨터는 수신된 다중 센서 신호들을, 또는 훈련 데이터셋(training dataset)에 포함된 다중 센서 신호들을 전처리(preprocessing)한다.
달리 말해, 단계(S11)에서 컴퓨터는 수신된 다중 센서 신호들을 전처리하지 않고 그대로 분류기에 입력하지만, 만약 단계(S11)에서 어떤 측정 구간에 입력된 다중 센서 신호들이 기존에 구축된 상황 클래스들 중 어느 것에도 부합하지 않다면, 컴퓨터는 단계(S13)에서 그러한 다중 센서 신호들로부터 새로운 상황 클래스에 부합하는 새로운 경로 패턴을 추출하기 위해 전처리할 수 있다.
이러한 맥락에서, 만약 아직 아무런 상황 클래스도 생성되지 않은 최초의 측정 구간에 다중 센서 신호들이 입력되는 경우에는, 단계(S13)에서 컴퓨터는 최초 측정 구간의 다중 센서 신호들을 전처리한다.
실시예에 따라, 단계(S13)에서, 컴퓨터는 수신된 다중 센서 신호들을, 경로 패턴의 추출을 위해, 항상 전처리할 수 있다.
한편, 상황 클래스들은 자체적인 학습과 필요에 따라 점진적으로 추가될 수 있지만, 응용 분야와 실시예에 따라 설계자에 의해 미리 특정될 수도 있다.
이러한 실시예에서, 훈련 데이터셋은 과거의 측정 구간들에서 획득된 다중 센서 신호들을 미리 준비된 상황 클래스들 중 하나와 함께 짝지은 데이터셋이다. 훈련 데이터셋은 과거의 각 측정 구간 동안에 다중 센서 신호들로부터 획득된 측정값들 및 각 측정 구간에 관측되는 상황에 관하여 미리 특정된 상황 클래스로 구성될 수 있다.
예를 들어, 자율 주행 로봇과 같은 응용 분야에서 학습을 위해 미리 준비되는 상황 클래스들은, 정상(normal), 충돌(collision), 정면부 충돌(front collision) 및 방해(obstruction)와 같이 분류된 상황들에 관하여 미리 특정될 수 있다. 여기서, 정상 클래스는 로봇이 이동 중에 아무런 외부적인 문제를 겪지 않는 상황의 클래스이고, 충돌 클래스는 정면부를 제외한 다른 부분이 외부 물체와 부딪히는 상황의 클래스이며, 정면부 충돌 클래스는 로봇의 정면부가 외부 물체와 부딪히는 상황의 클래스이고, 방해 클래스는 충돌이 아닌 외부적 문제로 인해 로봇의 이동이 방해받는 상황의 클래스이다.
이렇게 미리 특정된 상황 클래스들과 다중 센서 신호들로 구성된 훈련 데이터셋을 이용하여, 설계자는 실전에 투입되기 전에 미리 자율 주행 로봇을 학습시킬 수 있다. 학습을 위해서는 각 상황 클래스마다 적어도 수십 내지 수백 개의 측정 구간들에 해당하는 데이터셋이 준비될 수 있다.
한편, 전처리의 예들 중 하나는, 수신된 다중 센서 신호들 또는 훈련 데이터셋에 포함된 다중 센서 신호들을 양자화(quantization)하는 것이다.
이때, 양자화 수준은, 후속하는 그래프 생성 단계에서 적절한 수의 노드들이 생성되도록, 또한 패턴 추출 단계에서, 적절한 수의 패턴들이 생성되도록 결정될 수 있다. 여기서 적절한 수라 함은 연산량, 처리 속도, 비용 및 정확도를 고려하여 설계자의 의도와 설계 명세에 따라 결정될 수 있음을 의미한다.
양자화는 예를 들어, i 번째 센서 신호에 관한 양자화 수준 qi에 따라, 처리될 수 있으며, 구체적으로, 다중 센서 신호 측정값들을 10의 단위로 반올림하는 연산일 수 있다.
예를 들어, 표 1과 같은 한 측정 구간의 다중 센서 신호들은 다음 표 2와 같이 양자화될 수 있다.
Figure 112016065266747-pat00002
이어서 단계(S14)에서, 컴퓨터가 전처리된 다중 센서 신호들로부터, 다중 센서 신호들 사이의 종속 관계를 그래프로 표현한 상황 네트워크(context network)를, 매 측정 구간마다, 또는 병합된 복수 측정 구간들마다, 생성한다.
여기서, 그래프는 꼭지점(또는 노드, node)와 변(또는 선, 에지, edge, arc)로 구성된 구조를 의미하며, 특히 그래프 이론(graph theory)에 의해 수학적으로 해석되는 대상을 의미한다.
실시예에 따라, 그래프는 베이지언 네트워크(Bayesian network)이다.
베이지언 네트워크는 신념 네트워크(Belief network) 또는 방향성 비순환 그래픽 모델(directed acyclic graphical model)이라고도 하는데, 랜덤 변수의 집합과 방향성 비순환 그래프를 이용하여 랜덤 변수 집합을 조건부 독립으로 표현하는 확률의 그래픽 모델이라고 정의될 수 있다. 예를 들어, 질환과 증상 사이의 확률적 인과 관계 또는 종속 관계는 질환에 해당하는 노드와 증상에 해당하는 노드 사이의 에지의 방향 및 가중치로 주어질 수 있다. 이렇게, 베이지언 네트워크는 노드들과, 노드들 사이에 방향과 가중치가 부여된 에지들로써 구성할 수 있다.
주어진 변수 집합과 각 변수들의 값들로 구성된 데이터셋으로부터 베이지언 네트워크를 생성하는 방법론은 크게 제한조건 기반 방식(constraint-based approach)과 점수 기반 방식(score-based approach)이 있는데, 제한조건 기반 방식은 속성들 사이에 조건부 독립 관계들이 먼저 결정되어야 하므로, 본 발명에서는 점수 기반 방식에 의해 베이지언 네트워크를 생성하는 것이 좀더 적절할 수 있다.
실시예에 따라, 베이지언 네트워크는 K2 알고리즘에 의해 생성될 수 있다. K2 알고리즘은 주어진 데이터셋으로부터 소정의 점수 함수(score function)를 이용하여 산출된 점수들을 기반으로, 가장 높은 점수를 산출하는 그래프를 해당 데이터셋의 베이지언 네트워크로 결정하는 알고리즘이다. K2 알고리즘에 관하여는, Gregory F. Cooper and Edward Herskovits, "A Bayesian method for the induction of probabilistic networks from data", MACHINE LEARNING, Volume 9, Number 4, 309-347, 1992 논문을 참조할 수 있다.
단계(S14)에서 K2 알고리즘 등을 이용하여 생성되는 베이지언 네트워크는 해당 측정 구간에 획득되는 다중 센서 신호들을 이용하여, 다중 센서 신호들 사이의 인과 관계 내지 종속 관계를 그래프로 표현한 상황 네트워크이다.
여기서 도 2를 참조하면, 도 2는 본 발명의 일 실시예에 따른 다중 센서 신호 기반 상황 인식 방법 중 상황 네트워크 추출 단계에서 추출된 상황 네트워크들을 예시한 모식도이다.
도 2에서, 예시된 네 개의 상황 클래스들 각각에 관하여 생성될 수 있는 상황 네트워크들이 나타나 있다.
도 2에 예시된 상황 네트워크들의 6 개의 노드들은 자율 주행 로봇의 모터들에서 획득되는 6 개의 다중 센서 신호들, 즉 힘의 크기 측정값들 Fx, Fy, Fz와 토크의 크기 측정값들 Tx, Ty, Tz에 각각 상응한다.
다수의 측정 구간들에 상응하는 시구간 동안에 몇 가지 상황이 발생할 수 있고 각 상황마다 다양한 다중 센서 신호들이 발생할 것이며, 다양한 다중 센서 신호들로부터 각각 다양한 상황 네트워크들이 추출될 것이므로, 각 상황 클래스마다 많은 수의 상황 네트워크들이 생성될 수 있다.
또한 훈련 데이터셋도 다수의 측정 구간들에 상응하는 시구간에 누적된 다중 센서 신호들과 상황 클래스들을 처음부터 포함하므로, 각 상황 클래스마다 많은 수의 상황 네트워크들이 생성될 수 있다.
일반적으로, 하나의 상황 네트워크는 수학적으로 다루기 위해 G=(V,E)라고 표현할 수 있다. 이때, V는 노드들 n의 집합이고, E는 에지들 e의 집합이다. 시작 노드 ns와 끝 노드 ne 사이의 에지 e는 <ns,ne>로 표현될 수 있다. 에지 e는 끝 노드 ne가 시작 노드 ns에 대해 종속적인 관계임을 의미한다. 상황 네트워크를 구성하는 각 노드는 다중 센서 신호들 중 하나에 상응한다.
이미 구축된 상황 클래스들의 전체 집합을 C라 하고, 각 상황 클래스를 c(즉, c∈C)라 하며, 어떤 상황 클래스 c로 분류될, 또는 분류된 상황 네트워크들의 개수를 각각 αc라고 하고, 어떤 상황 클래스 c로 분류되는 i 번째 상황 네트워크(i는 1≤i≤αc인 정수)를 Gi c라 하며, 상황 네트워크들의 전체 집합을 G C (즉, Gi c∈G C )라고 하면, 상황 클래스의 상황 네트워크 집합은 다음과 같이 표기할 수 있다. 예시적으로, 상황 클래스 c는 정상 클래스 No, 충돌 클래스 Co, 정면 충돌 클래스 Fr, 방해 클래스 Ob 중 하나이다.
정상 클래스의 상황 네트워크 집합
Figure 112016065266747-pat00003
충돌 클래스의 상황 네트워크 집합
Figure 112016065266747-pat00004
정면 충돌 클래스의 상황 네트워크 집합
Figure 112016065266747-pat00005
방해 클래스의 상황 네트워크 집합
Figure 112016065266747-pat00006
만약 단계(S11)에서 기존의 상황 클래스들 중 어느 것에도 상응하지 않는 다중 센서 신호들이 입력되었다면, 그러한 다중 센서 신호들로부터 도출되는 상황 네트워크는 신설된 상황 클래스의 상황 네트워크 집합에 속하게 된다.
신설된 상황 클래스 및 상황 네트워크 집합도 기존의 상황 클래스들 및 상황 네트워크 집합과 동일하게 취급될 수 있다.
다시 도 1로 돌아가서, 단계(S15)에서, 컴퓨터가 각각의 상황 네트워크로부터 적어도 하나의 경로 패턴들을 추출한다. 추출된 경로 패턴들은 상황 클래스 별로 분류될 수 있다.
어떤 동일한 상황에서 획득되는 다중 센서 신호들로부터, 또는 훈련 데이터셋 내에서 동일한 상황 클래스를 가지는 다중 센서 신호들로부터 생성되는 상황 네트워크들은, 각 상황 네트워크의 그래프의 형태학적 특성(topological characteristics)을 분석하면 획득할 수 있는 어떤 구조적 특징들(structural features)을 각각 가질 것으로 예측된다.
이러한 구조적 특징들을 경로 패턴이라고 칭할 경우에, 경로 패턴을 설명하기 위해 도 3을 참조할 수 있다.
도 3은 본 발명의 일 실시예에 따른 다중 센서 신호 기반 상황 인식 방법 중 경로 패턴 추출 단계에서 특정 상황 네트워크에 관하여 경로 패턴들을 추출하는 절차를 예시한 모식도이다.
도 3에서, 6 개의 노드들(N1 내지 N6)로 구성된 어떤 상황 네트워크로부터 복수의 경로 패턴들이 추출된다. 경로 패턴을 구성하는 각 노드는 다중 센서 신호들 중 하나에 상응한다.
일 실시예에서 경로 패턴은, 상황 네트워크의 루트 노드(root node)로부터 시작하여 더이상 옮겨갈 가지가 없는 말단 노드(leaf node)에서 종료하는 경로(path)로서 도출될 수 있는 모든 경로들의 각각을 가리킨다.
도 3을 참조하면, 도 2에서 예시된 정상 클래스의 상황 네트워크들 중 하나인 상황 네트워크로부터 도출되는 모든 가능한 경로들 중 하나로서, N1→N2→N3(또는 "1-2-3"으로 표현할 수 있음)과 같이 이어지는 경로 패턴이 표시되어 있다. 가능한 다른 모든 경로들도, 예를 들어, N1→N2→N5→N6(또는 "1-2-5-6")와, N1→N4(또는 "1-4")도 정상 클래스 상황 네트워크 속하는 경로 패턴으로서 추출된다.
만약 상황 클래스 c에 속하는 i 번째 상황 네트워크 Gi c로부터 추출 가능한 경로 패턴들의 개수가 Ki이면, i 번째 상황 네트워크 Gi c로부터 추출된 j 번째 경로 패턴은 Pij c(여기서 j는 1≤j≤Ki인 정수)와 같이 표현할 수 있다. 도 3의 P21 No는 정상 클래스에 속하는 2 번째 상황 네트워크의 1 번째 경로 패턴을 의미한다.
예를 들어, 정상 클래스 No의 상황 네트워크 집합
Figure 112016065266747-pat00007
에 속하는 각각의 상황 네트워크 Gi No는 다음 표 3과 같이 경로 패턴들 Pij을 가질 수 있다.
Figure 112016065266747-pat00008
좀더 구체적으로 예시하면, 다음 표 4와 같이 정상 클래스의 상황 네트워크들 각각의 경로 패턴들이 도출될 수 있다.
Figure 112016065266747-pat00009
표 4에는 14 개의 상황 네트워크들만 예시되었고, 상황 네트워크들의 개수는 훈련 데이터셋의 전체 측정 구간들의 개수에 따라 달라질 수 있다.
한편, 표 4에서 예를 들어 1-2-4-5-6 경로 패턴은 빈번하게, 3번, 6번, 8번, 9번, 10번 및 13번 상황 네트워크에서 등장하는데, 상황 클래스가 정상 클래스로 동일하므로, 서로 다른 상황 네트워크들에서 도출된 경로 패턴이지만, 각 센서 신호들의 측정값들은 상당히 유사할 것으로 기대된다. 그러한 측정값들은 다음 표 5에서 예시된다.
Figure 112016065266747-pat00010
이에 따라, 본 발명의 실시예에 따른 다중 센서 신호 기반 상황 인식 방법은 경로 패턴의 토폴로지 뿐 아니라, 그러한 경로 패턴을 구성하는 센서 신호들의 측정값들을 이용하여, 상황 클래스를 좀더 정확하게 판정할 수 있다.
충돌 클래스 Co의 상황 네트워크 집합
Figure 112016065266747-pat00011
, 정면 충돌 클래스 Fr의 상황 네트워크 집합
Figure 112016065266747-pat00012
및 방해 클래스 Ob의 상황 네트워크 집합
Figure 112016065266747-pat00013
에서도 마찬가지로 각각 상황 네트워크들과 경로 패턴들이 추출될 수 있다.
다시 도 1로 돌아가서, 단계(S16)에서, 컴퓨터가, 상황 클래스마다 추출된 경로 패턴들을 기초로, 다중 센서 신호들이 입력되면 상황 클래스들 중 하나의 상응하는 상황 클래스를 판정하도록, 분류기(classifier)를 설정한다.
실시예에 따라, 분류기는 신경망(neural network)이고, 구체적으로 다층 피드포워드 신경망(Layered Feed-Forward neural network)일 수 있고, 좀더 구체적으로는 2층 신경망(2-layer neural network)일 수 있다.
구체적으로, 단계(S16)의 세부 절차를 설명하기 위해 도 4를 참조하면, 도 4는 본 발명의 일 실시예에 따른 다중 센서 신호 기반 상황 인식 방법 중 분류기 설정 단계를 구체적으로 예시한 순서도이다.
도 4의 단계(S161)에서, 컴퓨터가 각 상황 클래스마다 추출된 경로 패턴들의 빈도들을 기초로, 각 상황 클래스의 경로 패턴들 중에서 상대적으로 높은 출현 확률을 가지는 경로 특징들(path features)을 선택한다.
신경망을 이용한 인식과 분류 연구에 따르면, 빈도가 낮은 데이터셋은 정확도를 저하시키는 경향이 있음이 알려져 있다. 따라서, 경로 특징들은 빈도 기준으로 상위인 일부 경로 패턴들로서 선택되거나, 또는 하위의 일부 경로 패턴들을 제외한 나머지 경로 패턴들로서 선택될 수 있다.
예를 들어, 경로 특징들은 표 4와 같은 경로 패턴들로부터 다음 표 6과 같이 선택될 수 있다.
Figure 112016065266747-pat00014
표 6을 참조하면, 전체 훈련 데이터셋으로부터 추출된 경로 패턴들과 빈도들이 상황 클래스에 따라 빈도의 순서대로 예시되어 있다. 각 상황 클래스마다 빈도가 높은 상위 네 개의 경로 패턴들만이 신경망 학습을 위한 경로 특징들로서 선택된다. 이에 따라, 예시적으로 표 6에서는 4 개의 상황 클래스들에 대해, 9 개의 경로 특징들이 두 개 이상의 상황 클래스들에서 중복적으로 선택됨을 고려하여, 총 7 개의 경로 특징들, 즉 1-2-4-5-6, 1-3, 1-2-4, 1-2-3, 1-5, 1-2-6 및 1-6 경로 특징들이 선택될 수 있다.
표 6에서, 예를 들어 "1-2-3" 경로 특징은 정상 클래스, 정면 충돌 클래스와 방해 클래스에서 등장하고, "1-3" 경로 특징은 정상 클래스, 충돌 클래스, 정면 충돌 클래스 및 방해 클래스에서 모두 등장한다. 이러한 중복되는 경로 특징들은 여러 상황 클래스들에서 중복적으로 등장하므로 상황 클래스의 학습이나 판정을 어렵게 할 수 있다.
하지만, 앞서 표 5를 통해 예시적으로 살펴보았듯이, 동일한 상황 클래스 및 동일한 토폴로지인 경로 특징을 구성하는 센서 신호들의 측정값들은 여러 상황 네트워크들에서도 유사하게 관찰된다. 반면에 서로 다른 상황 클래스들이고 동일한 토폴로지인 경로 특징을 구성하는 센서 신호들의 측정값들은 서로 다르게 관찰될 수 있다. 이러한 점을 이용하여 좀더 정확하게 신경망 학습을 수행할 수 있다.
구체적으로 서로 다른 상황 클래스들에서 공통적으로 등장하는 경로 특징으로부터 상황 클래스를 구별할 수 있는 가능성에 대해 예시할 수 있도록 도 5를 참조하면, 도 5는 본 발명의 일 실시예에 따른 다중 센서 신호 기반 상황 인식 방법 중 상황 분류 단계에서 서로 다른 상황 클래스들에서 특정한 경로 특징이 어떻게 다르게 나타나는지 예시한 모식도이다.
도 5를 참조하면, 표 6에서 네 상황 클래스들에서 공통적으로 나타나는 "1-3" 경로 특징은 각 상황 클래스에서 센서 신호 노드 1과 센서 신호 노드 3의 측정값들은 서로 확연히 구별되는 분포를 가지기 때문에, 상황 클래스들은 서로 구별될 수 있다.
서로 다른 두 상황 클래스들에서 유사한 경로 특징들을 가질 수 있다. 예를 들어 도 5에서 정상 클래스의 "1-3" 센서 신호 측정값 분포와 충돌 클래스의 "1-3" 센서 신호 측정값 분포는 서로 유사하다고 볼 수 있다. 하지만, 상황 네트워크로부터 여러 경로 특징들이 함께 추출되기 때문에, 복수의 경로 특징들을 모두 고려하면 전체적으로 상황 클래스들을 구분할 수 있을 것이다.
다시 도 4로 돌아가서, 단계(S162)에서, 컴퓨터가, 선택된 경로 특징들을 구성하는 다중 센서 신호들이 신경망의 입력 노드들에 각각 할당되고 또한 상황 클래스들이 출력 노드들에 각각 할당되도록, 신경망을 구성한다.
센서 신호들이 신경망의 입력 노드들에 할당되는 절차를 설명하기 위해 잠시 도 6을 참조하면, 도 6은 본 발명의 일 실시예에 따른 다중 센서 신호 기반 상황 인식 방법 중 상황 분류 단계에서 구축된 신경망을 예시한 모식도이다.
도 6에서, 신경망의 입력 측에서는, 선택된 경로 특징들(IP1, IP2, ..., IPn)이 일렬로 나열되고, 각 경로 특징들(IP1 내지 IPn)을 구성하는 센서 신호 노드들이 순서대로 나열되는데, 이들이 신경망의 입력 노드들에 해당한다.
신경망의 출력 측에는 네 개의 상황 클래스들이 출력 노드들에 각각 할당된다.
서로 다른 상황 클래스들에서 공통되는 경로 특징들이 있지만, 경로 특징들을 구성하는 센서 신호 노드들에 상황에 따라 서로 다른 측정값들이 입력될 것이므로, 은닉층(hidden layer)의 가중치들이 적절하게 결정될 수 있다.
이에 따라, 다시 도 4로 돌아가서, 단계(S163)에서, 컴퓨터가, 각 상황 클래스의 다중 센서 신호들이 신경망의 입력 노드들에 입력될 때에 상응하는 상황 클래스가 신경망의 출력 노드들에서 결정되도록, 즉 신경망이 다중 센서 신호들과 상황 클래스의 관계를 학습하도록, 신경망의 가중치(weight) 값들을 결정한다.
신경망 학습을 위해 다중 센서 신호들은, 샘플링된 값들 그대로 신경망의 입력 노드에 입력될 수도 있지만, 연산 능력에 따라, 각 센서 신호마다 측정 구간 내의 측정값들의 평균을 입력하는 방법이나, 또는 각 센서 신호마다, 연속하는 복수의 측정 구간들 각각의 최대 측정값들의 평균을 입력하는 방법 등을 이용하여 평활화된 후에, 신경망의 입력 노드들에 입력될 수 있다.
또한, 만약 어떤 입력 노드에 할당된 다중 센서 신호의 값이 없을 때에는 디폴트(default) 값, 예를 들어 "0"이 입력될 수 있다.
이렇게 하여, 본 발명의 컴퓨터를 이용한 다중 센서 신호 기반 상황 인식 방법은, 단계(S161) 내지 단계(S163)의 절차를 통해, 상황 네트워크의 외형상 경로 특징들과 센서 신호 측정값들에 따라 상황 클래스를 판별할 수 있는 신경망을 학습시킬 수 있다.
다시 도 1로 돌아가서, 단계(S16)에서 분류기의 설정이 완료 내지 갱신되면, 다시 단계(S11)로 돌아가서, 컴퓨터가, 실시간적으로 수신되는 다중 센서 신호들을 분류기에 입력하여, 분류기에 의해 상황 클래스를 판정한다.
상술하였듯이, 단계(S11)에서, 컴퓨터는, 수신된 다중 센서 신호들을 분류기에 입력하여, 분류기에 의해 상황 클래스를 판정한다.
구체적으로, 단계(S11)에서, 컴퓨터는 다중 센서 신호들 중에 경로 특징들을 구성하는 다중 센서 신호들을 신경망의 입력 노드들의 각각에 입력하고, 신경망의 출력 노드들의 출력값에 기초하여 상황 클래스를 판정한다. 경로 특징은 경로 패턴들 중에서 선택되므로, 경로 특징을 구성하는 각 노드는 다중 센서 신호들 중 하나에 상응한다.
도 7은 본 발명의 일 실시예에 따른 다중 센서 신호 기반 상황 인식 장치를 예시한 블록도이다.
도 7을 참조하면, 다중 센서 신호 기반 상황 인식 장치(70)는 훈련 데이터셋 저장부(71), 구조 학습부(72) 및 분류기(73)를 포함할 수 있다.
훈련 데이터셋 저장부(71)는 소정의 측정 구간마다 다중 센서 신호들로부터 획득된 측정값들 및 그 측정 윈도우에 관측되는 상황에 관한 상황 클래스로 구성되는 훈련 데이터셋을 저장한다. 학습을 위해서 각 상황 클래스마다 적어도 수십 내지 수백 개의 측정 구간들의 측정값들을 포함하도록, 훈련 데이터셋이 준비될 수 있다.
구조 학습부(72)는 수신된 다중 센서 신호들 중 새로운 상황 클래스가 필요한 다중 센서 신호들, 또는 훈련 데이터셋에 포함된 다중 센서 신호들을 전처리하고, 전처리된 다중 센서 신호들로부터, 다중 센서 신호들 사이의 종속 관계를 그래프로 표현한 상황 네트워크를 생성하며, 각각의 상황 네트워크로부터 적어도 하나의 경로 패턴들을 추출한다. 상술하였듯이, 상황 네트워크 및 경로 패턴들은 복수의 노드들과 하나 이상의 에지들로 구성되고, 각 노드는 다중 센서 신호들 중 하나에 상응한다.
이를 위해, 구조 학습부(72)는 전처리부(721), 상황 네트워크 생성부(722) 및 경로 패턴 추출부(723)를 포함할 수 있다.
전처리부(721)는 수신된 다중 센서 신호들 중 적어도 일부의 다중 센서 신호들, 또는 훈련 데이터셋에 포함된 다중 센서 신호들을 적절히 전처리, 예를 들어, 양자화할 수 있다.
상황 네트워크 생성부(722)는 전처리된 다중 센서 신호들로부터, 다중 센서 신호들 사이의 종속 관계를 그래프로 표현한 상황 네트워크를, 매 측정 구간마다, 또는 병합된 복수 측정 구간들마다, 생성할 수 있다.
실시예에 따라, 그래프는 베이지언 네트워크이다.
실시예에 따라, 상황 네트워크 생성부(722)는 K2 알고리즘에 의해 도출되는 베이지언 네트워크를 상황 네트워크로서 생성할 수 있다.
경로 패턴 추출부(723)는 각각의 상황 네트워크로부터 경로 패턴들을 추출하고, 추출된 경로 패턴들을 상황 클래스 별로 분류하여 분류기(73)에, 구체적으로는 후술할 상황 클래스 테이블(733)에 저장한다.
실시예에 따라, 경로 패턴은 상황 네트워크의 루트 노드로부터 시작하여 말단 노드에서 종료하는 경로를 포함한다.
분류기(73)는, 새로운 상황 클래스가 필요한 다중 센서 신호들로부터 추출된 경로 패턴들 또는 훈련 데이터셋에 포함된 다중 센서 신호들로부터 상황 클래스마다 추출된 경로 패턴들을 기초로, 다중 센서 신호들이 입력되면 상응하는 상황 클래스가 판정되도록 설정된다.
실시예에 따라, 분류기(73)는 다층 피드포워드 신경망을 포함할 수 있다.
나아가, 분류기(73)는, 수신되는 다중 센서 신호들에 기초하여 하나의 상황 클래스를 판정하여 출력한다.
이를 위해 분류기(73)는 경로 특징 선택부(731), 신경망 설정부(732), 상황 클래스 테이블(733) 및 신경망 연산부(734)를 포함할 수 있다.
경로 특징 선택부(731)는 상황 클래스 테이블(733)을 참조하여 각 상황 클래스마다 추출된 경로 패턴들의 빈도들을 기초로, 각 상황 클래스의 경로 패턴들 중에서 상대적으로 높은 출현 확률을 가지는 경로 패턴들로서 경로 특징들을 선택한다.
신경망 설정부(732)는, 경로 특징 선택부(731)에서 선택된 경로 특징들을 구성하는 다중 센서 신호들을 신경망의 입력 노드들에 각각 할당하고, 또한 상황 클래스 테이블(733)을 참조하여, 상황 클래스들을 출력 노드들에 각각 할당하여, 신경망을 구성한다. 상술하였듯이, 경로 특징들은, 경로 패턴들 중에서 선택되므로, 복수의 노드들과 하나 이상의 에지들로 구성되고, 각 노드는 다중 센서 신호들 중 하나에 상응한다.
나아가, 신경망 설정부(732)는 훈련 데이터셋에 포함된 다중 센서 신호들 또는 새로운 상황 클래스를 생성시킨 다중 센서 신호들이 신경망의 입력 노드들에 입력될 때에 상응하는 상황 클래스가 판정되도록, 신경망의 가중치 값들을 설정할 수 있다.
상황 클래스 테이블(733)은 훈련 데이터셋에 포함된 상황 클래스들 또는 새로운 상황 클래스를 저장하며, 각 상황 클래스마다 추출된 상황 네트워크들 및 경로 패턴들을 저장한다.
신경망 연산부(734)는 신경망 설정부(732)에 의해 설정된 신경망의 입력 노드들에 수신되는 다중 센서 신호들을 각각 입력하고, 신경망의 출력 노드들의 출력값들에 기초하여 상황 클래스를 판정한다.
구체적으로, 신경망 연산부(733)는 다중 센서 신호들 중에 경로 특징들을 구성하는 다중 센서 신호들을 신경망의 입력 노드들의 각각에 입력하고, 신경망의 출력 노드들 중 가장 큰 출력값을 출력하는 출력 노드에 따라 상황 클래스를 결정한다.
실시예에 따라, 신경망 연산부(733)는 만약 신경망의 출력 노드들의 출력값들이 모두 소정의 문턱값보다 낮으면 상황 클래스 테이블(733)에 새로운 상황 클래스를 등록한다.
본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.
또한, 본 발명에 따른 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
70 다중 센서 신호 기반 상황 인식 장치
71 훈련 데이터셋 저장부
72 구조 학습부
721 전처리부
722 상황 네트워크 생성부
723 경로 패턴 추출부
73 분류기
731 경로 특징 선택부
732 신경망 설정부
733 상황 클래스 테이블
734 신경망 연산부

Claims (13)

  1. 컴퓨터를 이용하여 다중 센서 신호들에 기반하는 상황 인식 방법으로서,
    상기 컴퓨터가,
    (i) 측정 구간(window) 동안에 수신된 다중 센서 신호들을, 복수의 다중 센서 신호들에 기초하여 하나의 상황 클래스(context class)를 결정하도록 설정된 분류기(classifier)에 입력하여, 해당 측정 구간의 다중 센서 신호들에 관한 상황 클래스를 결정하는 단계;
    (ii) 만약 상기 단계 (i)에서 상황 클래스를 결정하지 못하였거나 아직 아무 상황 클래스도 구축되기 전인 경우에 상기 수신된 다중 센서 신호들을, 또는 훈련 데이터셋(training dataset)에 포함된 다중 센서 신호들을 전처리(preprocessing)하는 단계;
    (iii) 상기 전처리된 다중 센서 신호들로부터, 다중 센서 신호들 사이의 종속 관계를 그래프로 표현한 상황 네트워크(context network)를 생성하는 단계;
    (iv) 상기 상황 네트워크로부터 경로 패턴들을 추출하는 단계; 및
    (v) 상기 추출된 경로 패턴들을 기초로, 상기 다중 센서 신호들이 입력되면 상응하는 상황 클래스가 판정되도록, 분류기를 설정하는 단계를 포함하는 것으로,
    상기 (V) 단계는, 각 상황 클래스마다 추출된 경로 패턴들의 빈도들을 기초로, 각 상황 클래스의 경로 패턴들 중에서 가장 높은 출현 확률을 가지는 경로 특징들로부터 정해진 수만큼의 경로 특징들을 선택하고, 선택된 경로 특징들을 구성하는 다중 센서 신호들을 신경망의 입력 노드들에 할당하고, 상황 클래스들을 출력노드에 각각 할당하여 신경망을 구성하되, 신경망의 출력 노드들의 출력값들이 모두 소정의 문턱값 보다 낮으면 상황 클래스 테이블에 새로운 상황 클래스를 등록하는 단계를 포함하는 것을 특징으로 하는 다중 센서 신호 기반 상황 인식 방법.
  2. 청구항 1에 있어서, 상기 상황 네트워크는 방향성 비순환 그래프(directed acyclic graph)로 표현되는 베이지언 네트워크(Bayesian network)인 것을 특징으로 하는 다중 센서 신호 기반 상황 인식 방법.
  3. 청구항 2에 있어서, 상기 베이지언 네트워크는 K2 알고리즘을 통해 획득되는 것을 특징으로 하는 다중 센서 신호 기반 상황 인식 방법.
  4. 청구항 2에 있어서, 상기 경로 패턴은 상기 상황 네트워크의 루트 노드로부터 말단 노드까지 이어지는 모든 가능한 경로들의 각각인 것을 특징으로 하는 다중 센서 신호 기반 상황 인식 방법.
  5. 청구항 1에 있어서, 상기 분류기는 신경망 기반 분류기이고,
    상기 단계 (v)는,
    각 상황 클래스마다 추출된 경로 패턴들의 빈도들을 기초로, 각 상황 클래스의 경로 패턴들 중에서 가장 높은 출현 확률을 가지는 경로 특징들로부터 정해진 수만큼의 경로 특징들을 선택하는 단계;
    상기 선택된 경로 특징들을 구성하는 다중 센서 신호들이 신경망의 입력 노드들에 각각 할당되고 또한 상황 클래스들이 상기 신경망의 출력 노드들에 각각 할당되도록, 상기 신경망을 구성하는 단계; 및
    상기 다중 센서 신호들이 상기 신경망의 입력 노드들에 입력될 때에, 상기 신경망의 출력 노드들의 출력값들에 의해 상응하는 상황 클래스가 판정되도록, 상기 신경망의 가중치(weight) 값들을 결정하는 단계를 포함하는 것을 특징으로 하는 다중 센서 신호 기반 상황 인식 방법.
  6. 청구항 1에 있어서, 상기 분류기는 신경망 기반 분류기이고,
    상기 단계 (i)와 상기 단계 (ii) 사이에,
    만약 상기 단계 (i)에서 상황 클래스를 결정하지 못하였거나 아직 아무 상황 클래스도 구축되기 전이면 새로운 상황 클래스를 추가하는 단계를 더 포함하는 것을 특징으로 하는 다중 센서 신호 기반 상황 인식 방법.
  7. 컴퓨터에서 청구항 1 내지 청구항 6 중 어느 한 청구항에 따른 다중 센서 신호 기반 상황 인식 방법의 각 단계들을 수행하도록 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 기록된 컴퓨터 프로그램.
  8. 소정의 측정 구간마다 다중 센서 신호들 및 상황 클래스로 구성되는 훈련 데이터셋을 저장하는 훈련 데이터셋 저장부;
    새로운 상황 클래스가 필요한 다중 센서 신호들, 또는 상기 훈련 데이터셋에 포함된 다중 센서 신호들을 전처리하고, 상기 전처리된 다중 센서 신호들 사이의 종속 관계를 그래프로 표현한 상황 네트워크를 생성하며, 각각의 상기 상황 네트워크로부터 경로 패턴들을 추출하는 구조 학습부; 및
    상기 새로운 상황 클래스가 필요한 다중 센서 신호들로부터 추출된 경로 패턴들 또는 상기 훈련 데이터셋에 포함된 다중 센서 신호들로부터 상황 클래스마다 추출된 경로 패턴들을 기초로, 다중 센서 신호들이 입력되면 상응하는 상황 클래스가 판정되도록 설정되고, 외부에서 수신되는 다중 센서 신호들에 기초하여 하나의 상황 클래스를 판정하여 출력하는 분류기를 포함하는 것으로,
    상기 분류기는, 각 상황 클래스마다 추출된 경로 패턴들의 빈도들을 기초로, 각 상황 클래스의 경로 패턴들 중에서 가장 높은 출현 확률을 가지는 경로 특징들로부터 정해진 수만큼의 경로 특징들을 선택하고, 선택된 경로 특징들을 구성하는 다중 센서 신호들을 신경망의 입력 노드들에 할당하고, 상황 클래스들을 출력노드에 각각 할당하여 신경망을 구성하고,
    상기 신경망의 출력 노드들의 모든 출력값들이 소정의 문턱값보다 낮으면 상기 상황 클래스 테이블에 새로운 상황 클래스를 추가로 등록하는 신경망 연산부를 더 포함하는 것을 특징으로 하는 다중 센서 신호 기반 상황 인식 장치.
  9. 청구항 8에 있어서, 상기 상황 네트워크는 방향성 비순환 그래프로 표현되는 베이지언 네트워크인 것을 특징으로 하는 다중 센서 신호 기반 상황 인식 장치.
  10. 청구항 9에 있어서, 상기 베이지언 네트워크는 K2 알고리즘을 통해 획득되는 것을 특징으로 하는 다중 센서 신호 기반 상황 인식 장치.
  11. 청구항 9에 있어서, 상기 경로 패턴은 상기 상황 네트워크의 루트 노드로부터 말단 노드까지 이어지는 모든 가능한 경로들의 각각인 것을 특징으로 하는 다중 센서 신호 기반 상황 인식 장치.
  12. 청구항 11에 있어서, 상기 분류기는
    각 상황 클래스마다 추출된 경로 패턴들의 빈도들을 기초로, 각 상황 클래스의 경로 패턴들 중에서 가장 높은 출현 확률을 가지는 경로 특징들로부터 정해진 수만큼의 경로 특징들을 선택하는 경로 특징 선택부;
    각 상황 클래스의 다중 센서 신호들이 신경망의 입력 노드들에 입력될 때에 상응하는 상황 클래스가 결정되도록, 상기 신경망의 가중치 값들을 설정하는 신경망 설정부; 및
    상기 훈련 데이터셋에 포함된 상황 클래스들 또는 새로 추가된 상황 클래스를 저장하며, 각 상황 클래스마다 추출된 상황 네트워크들 및 경로 패턴들을 저장하는 상황 클래스 테이블을 포함하고,
    상기 신경망은 상기 경로 특징들을 구성하는 다중 센서 신호들이 상기 신경망의 입력 노드들에 각각 할당되고 또한 상기 상황 클래스들이 상기 신경망의 출력 노드들에 각각 할당되도록 구성되는 것을 특징으로 하는 다중 센서 신호 기반 상황 인식 장치.

  13. 삭제
KR1020160085326A 2016-07-06 2016-07-06 다중 센서 신호 기반의 상황 인식 방법 및 장치 KR101716093B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160085326A KR101716093B1 (ko) 2016-07-06 2016-07-06 다중 센서 신호 기반의 상황 인식 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160085326A KR101716093B1 (ko) 2016-07-06 2016-07-06 다중 센서 신호 기반의 상황 인식 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150091538 Division 2015-06-26

Publications (2)

Publication Number Publication Date
KR20170001944A KR20170001944A (ko) 2017-01-05
KR101716093B1 true KR101716093B1 (ko) 2017-03-23

Family

ID=57835572

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160085326A KR101716093B1 (ko) 2016-07-06 2016-07-06 다중 센서 신호 기반의 상황 인식 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101716093B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269215A (ja) 2007-04-19 2008-11-06 Nippon Telegr & Teleph Corp <Ntt> 特異パターン検出システム、モデル学習装置、特異パターン検出方法、及び、コンピュータプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101329100B1 (ko) 2008-12-08 2013-11-14 한국전자통신연구원 상황 인지 장치 및 이를 이용한 상황 인지 방법
KR101239864B1 (ko) 2010-04-13 2013-03-18 위드로봇 주식회사 다중 센서를 이용한 항법시스템 및 그 제공방법
KR20140035690A (ko) * 2012-09-14 2014-03-24 엘지전자 주식회사 모바일 상황 인지를 위한 신규 확률 모델 생성 장치 및 방법
KR101555361B1 (ko) 2015-08-06 2015-09-25 고흥식 임피던스 본드의 권선 코일체 및 그 권취방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269215A (ja) 2007-04-19 2008-11-06 Nippon Telegr & Teleph Corp <Ntt> 特異パターン検出システム、モデル学習装置、特異パターン検出方法、及び、コンピュータプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김진평 외 3명, "구조학습과 다층퍼셉트론에 기반한 군중행동인식", 2014년 한국컴퓨터종합학술대회 논문집, 2014.06.25, pp. 885-887.*
황성철 외 1명, "MDL Principle을 적용한 점수 기반 베이지안 네트워크 학습 방법", 한국정보과학회 학술발표논문집 33(2B), 2006.10, pp. 412-415.

Also Published As

Publication number Publication date
KR20170001944A (ko) 2017-01-05

Similar Documents

Publication Publication Date Title
CN107808122B (zh) 目标跟踪方法及装置
GB2604263A (en) Processor and system to identify out-of-distribution input data in neural networks
AU2020102874A4 (en) A recommendation model for aero dynamic design of structures using deep recurrent neural network
WO2021178299A1 (en) Multi-agent trajectory prediction
CN106774312B (zh) 一种为移动机器人确定移动轨迹的方法和装置
EP3349152A1 (en) Classifying data
US11803616B2 (en) Function testing for movable objects in safety critical applications with spatial representation learning and adversarial generation
CN112347923A (zh) 一种基于对抗生成网络的路侧端行人轨迹预测算法
CN115373374B (zh) 基于图神经和门控循环网络的工控异常检测方法及系统
JP2022554302A (ja) 製造プロセスのためのシステム、方法、および媒体
Rosenstein et al. Continuous categories for a mobile robot
KR101675692B1 (ko) 구조 학습 기반의 군중 행동 인식 방법 및 장치
CN107941210B (zh) 一种结合神经网络技术及三角形算法的星图识别方法
KR101716093B1 (ko) 다중 센서 신호 기반의 상황 인식 방법 및 장치
JPWO2022024211A5 (ko)
CN114254686A (zh) 对抗样本的识别方法及装置
Sahni et al. Aided selection of sampling methods for imbalanced data classification
Özbilge On-line expectation-based novelty detection for mobile robots
KR102078765B1 (ko) 복수의 센서데이터의 차원 축소를 이용한 동작 검출 함수 결정 방법과 사용자 동작 검출 방법 및 그 장치
JP7006724B2 (ja) 分類装置、分類方法、及び、プログラム
Singh et al. Choquet fuzzy integral based verification of handwritten signatures
Heinen et al. IGMN: An incremental connectionist approach for concept formation, reinforcement learning and robotics
Jalel et al. Optimum path planning for mobile robots in static environments using graph modelling and NURBS curves
Shahbudin et al. Fault disturbances classification analysis using adaptive neuro-fuzzy inferences system
KR102507892B1 (ko) 객체 상태 인식 방법, 장치 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200217

Year of fee payment: 4