KR102089014B1 - 피검사체의 뇌 활동을 재구성한 이미지 생성 장치 및 그 방법 - Google Patents

피검사체의 뇌 활동을 재구성한 이미지 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR102089014B1
KR102089014B1 KR1020180107014A KR20180107014A KR102089014B1 KR 102089014 B1 KR102089014 B1 KR 102089014B1 KR 1020180107014 A KR1020180107014 A KR 1020180107014A KR 20180107014 A KR20180107014 A KR 20180107014A KR 102089014 B1 KR102089014 B1 KR 102089014B1
Authority
KR
South Korea
Prior art keywords
image
target object
feature vector
subject
brain activity
Prior art date
Application number
KR1020180107014A
Other languages
English (en)
Inventor
변혜란
홍기범
황선희
손귀영
이제욱
이필현
박성호
기민송
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020180107014A priority Critical patent/KR102089014B1/ko
Application granted granted Critical
Publication of KR102089014B1 publication Critical patent/KR102089014B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • A61B5/0476—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

피검사체의 뇌 활동을 재구성한 이미지 생성 장치 및 그 방법이 개시된다. 본 발명은 시각적으로 인식할 수 있는 대상 객체를 보고 반응한 피검사체의 뇌 활동에 따른 데이터를 획득하고, 특징 벡터 추출 모델을 이용하여 획득된 데이터로부터 대상 객체에 대한 특징 벡터를 추출하며, 추출된 특징 벡터를 기반으로 대상 객체를 이미지화한 복원 이미지를 생성하도록 학습된 복원 이미지 생성 모델을 이용하여 피검사체가 생각한 대상 객체를 이미지로 재구성하여 출력하므로 피검사체의 생각을 객관적으로 표현할 수 있다.

Description

피검사체의 뇌 활동을 재구성한 이미지 생성 장치 및 그 방법{APPARATUS FOR GENERATING IMAGE RECONSTRUCTING BRAIN ACTIVITY OF INSPECTING OBJECT AND METHOD THEREOF}
본 발명은 딥러닝 기법을 이용하여 피검사체의 생각에 따라 피검사체의 뇌 활동을 재구성하여 이미지를 생성하는 장치 및 그 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
뇌파 신호는 뇌 신경 사이의 신호가 전달될 때 생기는 전기의 흐름으로, 인체에서 측정하여 인체에 대한 에너지나 정보를 보유하고 있는 전기적인 신호를 나타내는 생체신호의 한 종류를 나타내며, 뇌 신경 세포의 전기적 활동을 두뇌의 표면에서 측정한 매우 작은 신호를 나타낸다. 뇌파 신호는 사용자에게 자극을 주고 감정이 유도된 상태에서 뇌 피질 표면에서 발생하는 신경 세포들의 동기화된 활동으로 인해 발생하는 생체 내부의 전류 흐름을 전극(electrode)을 이용하여 일정 시간 측정하는 것으로, 두피의 피부에 부착하거나 수술적으로 두개강 내에 뇌 전도 전극을 삽입하여 측정할 수 있다. 또한 뇌파 신호는 전위 변화가 파동 형태로 표시되며, 파동의 진폭과 주파수를 분석하여 뇌의 활동 정도를 파악할 수 있다.
일반적으로, 뇌파 신호를 이용한 연구는 데이터의 부족으로 연구에 어려움이 존재하며, 생명에 위협을 가하는 위험한 상황이나 정신적으로 충격을 받을 수 있는 상황에서 실질적으로 뇌파 신호 데이터를 수집할 수 없는 어려움이 있다.
또한, 종래에는 뇌파 신호를 이용하여 감정을 파악하고 분류하는 방법만을 개시하고 있을 뿐, 피검사체의 생각을 객관적으로 표현할 수 없는 문제점이 있었다.
본 발명은 특정 목적에 따라 학습된 네트워크 모델을 이용하여 피검사체의 생각을 이미지로 표현하도록 시각적으로 인식할 수 있는 대상 객체를 보고 반응한 피검사체의 뇌 활동에 따른 대상 객체에 대한 정보를 포함하는 데이터를 획득하고, 획득된 데이터로부터 대상 객체에 대한 특징 벡터를 추출하며, 추출된 특징 벡터를 기반으로 대상 객체를 이미지화한 복원 이미지를 생성하도록 학습하여 생성한 복원 이미지 생성 모델을 이용하여 피검사체가 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 대상 객체의 재구성 이미지를 생성하여 출력하는 피검사체의 뇌 활동을 재구성한 이미지 생성 장치 및 그 방법을 제공함에 있다.
본 실시예의 일 측면에 의하면, 컴퓨팅 디바이스에 의한 피검사체의 뇌 활동을 재구성한 이미지 생성 방법에 있어서, 시각적으로 인식할 수 있는 대상 객체를 보고 반응한 상기 피검사체의 뇌 활동에 따른 상기 대상 객체에 대한 정보를 포함하는 데이터를 획득하는 단계, 상기 획득된 데이터를 상기 대상 객체가 속한 제1 카테고리로 분류하도록 학습하여 생성한 특징 벡터 추출 모델을 이용하여 상기 획득된 데이터로부터 상기 대상 객체에 대한 특징 벡터를 추출하는 단계, 및 상기 추출된 특징 벡터를 기반으로 상기 대상 객체를 이미지화한 복원 이미지를 생성하도록 학습하여 생성한 복원 이미지 생성 모델을 이용하여 상기 피검사체가 상기 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 상기 대상 객체의 재구성 이미지를 생성하여 출력하는 단계를 포함하는 피검사체의 뇌 활동을 재구성한 이미지 생성 방법을 제공한다.
본 실시예의 다른 측면에 의하면, 시각적으로 인식할 수 있는 대상 객체를 보고 반응한 상기 피검사체의 뇌 활동에 따른 상기 대상 객체에 대한 정보를 포함하는 데이터를 획득하는 데이터 획득부, 상기 획득된 데이터를 상기 대상 객체가 속한 카테고리로 분류하도록 학습하여 생성한 특징 벡터 추출 모델을 이용하여 상기 획득된 데이터로부터 상기 대상 객체에 대한 특징 벡터를 추출하는 특징 벡터 추출부, 및 상기 추출된 특징 벡터를 기반으로 상기 대상 객체를 이미지화한 복원 이미지를 생성하도록 학습하여 생성한 복원 이미지 생성 모델을 이용하여 상기 피검사체가 상기 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 상기 대상 객체의 재구성 이미지를 생성하여 출력하는 이미지 처리부를 포함하는 피검사체의 뇌 활동을 재구성한 이미지 생성 장치를 제공한다.
본 실시예의 또 다른 측면에 의하면, 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록되어 피검사체의 뇌 활동을 재구성한 이미지 생성을 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 프로세서에 의해 실행되는 경우에, 시각적으로 인식할 수 있는 대상 객체를 보고 반응한 상기 피검사체의 뇌 활동에 따른 상기 대상 객체에 대한 정보를 포함하는 데이터를 획득하는 단계, 상기 획득된 데이터를 상기 대상 객체가 속한 카테고리로 분류하도록 학습하여 생성한 특징 벡터 추출 모델을 이용하여 상기 획득된 데이터로부터 상기 대상 객체에 대한 특징 벡터를 추출하는 단계, 및 상기 추출된 특징 벡터를 기반으로 상기 대상 객체를 이미지화한 복원 이미지를 생성하도록 학습하여 생성한 복원 이미지 생성 모델을 이용하여 상기 피검사체가 상기 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 상기 대상 객체의 재구성 이미지를 생성하여 출력하는 단계를 포함한 동작들을 수행하는 컴퓨터 프로그램을 제공할 수 있다.
본 발명의 일 실시 예에 따르면 특정 목적에 맞게 학습된 하나의 네트워크 모델을 이용하여 피검사체가 생각한 과일, 색상 또는 얼굴 등의 이미지를 생성하여 피검사체의 생각을 객관적으로 표현할 수 있다.
또한, 본 발명의 일 실시 예에 따르면 범인의 얼굴을 본 피검사체의 뇌파 신호를 복원하여 범인의 몽타주를 생성할 수 있다.
또한, 본 발명의 일 실시 예에 따르면 학습된 대상 객체의 이미지만을 생성해내는 것이 아닌 다양한 학습 방법을 적용하여 피검사체가 대상 객체의 색상 스타일 또는 크기 등을 변환시켜 생각한 대상 객체 또한 이미지로 생성할 수 있다.
또한, 본 발명의 일 실시 예에 따르면 하나의 네트워크 모델로 여러 이미지 데이터셋에 적용하여 학습이 가능하므로, 데이터셋마다 변경할 필요가 없는 장점이 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치의 구성을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치의 구성을 구체적으로 도시한 블록도이다.
도 3은 본 발명의 또 다른 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치의 구성을 도시한 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치의 게이트 순환 유닛을 예시한 도면이다.
도 5는 본 발명의 또 다른 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치의 구성을 도시한 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치의 컨볼루션 신경망을 예시한 도면이다.
도 7은 본 발명의 또 다른 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 방법을 구체적으로 설명하기 위한 도면을 나타낸 것이다.
도 8은 본 발명의 또 다른 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치의 테스트 과정을 도시한 블록도이다.
도 9는 본 발명의 또 다른 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 방법의 테스트 과정을 설명하기 위한 도면을 나타낸 것이다.
도 10은 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성하여 대상 객체의 재구성 이미지를 생성하는 방법을 구체적으로 설명하기 위한 흐름도이다.
도 12 및 도 13은 본 발명의 또 다른 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 “학습”, “러닝” 등의 용어는 인간의 교육 활동과 같은 정신적 작용을 지칭하도록 의도된 것이 아닌 절차에 따른 컴퓨팅(computing)을 통하여 기계 학습(machine learning)을 수행함을 일컫는 용어로 해석한다.
본 명세서에서 "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 명세서에서 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서에서, “가진다”, “가질 수 있다”, “포함한다” 또는 “포함할 수 있다”등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
도 1은 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치의 구성을 개략적으로 도시한 블록도이다.
도 1을 참조하면, 피검사체의 뇌 활동을 재구성한 이미지 생성 장치(10)는 데이터 획득부(100), 특징 벡터 추출부(200) 및 이미지 처리부(300)를 포함한다. 피검사체의 뇌 활동을 재구성한 이미지 생성 장치(10)는 도 1에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.
피검사체의 뇌 활동을 재구성한 이미지 생성 장치(10)는 시각적으로 인식할 수 있는 대상 객체를 보고 반응한 피검사체의 뇌 활동에 따른 대상 객체에 대한 정보를 포함하는 데이터를 획득하여 획득된 데이터로부터 대상 객체에 대한 특징 벡터를 추출하고, 추출된 특징 벡터를 딥러닝 기반으로 학습하여 피검사체가 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 대상 객체의 재구성 이미지를 생성한다. 뇌 활동에 따른 대상 객체에 대한 정보를 포함하는 데이터로 시간에 따른 채널별 뇌파 신호 데이터 및 뇌의 부위별 활성도를 매핑한 데이터를 이용할 수 있으며, 뇌파 모니터링 기술은 치료뿐만 아니라 자동차, 국방, 교육, 오락 등 다양한 분야에 적용될 수 있다.
본 발명의 일 실시 예에 따른 데이터 획득부(100)는 시각적으로 인식할 수 있는 대상 객체를 보고 반응한 피검사체의 뇌 활동에 따른 대상 객체에 대한 정보를 포함하는 데이터를 획득할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 데이터 획득부(100)는 대상 객체를 이미지화한 원본 이미지를 보고 반응한 피검사체의 뇌 활동에 따른 대상 객체에 대한 정보를 포함하는 데이터를 획득할 수 있다.
상술한 대상 객체를 이미지화한 원본 이미지는 피검사체의 뇌 활동을 재구성한 이미지 생성 장치(10)를 학습하기 위해 대상 객체의 다양한 시각적 속성을 나타내는 복수 개의 이미지들을 포함하는 이미지 데이터셋으로부터 로드할 수 있다.
본 발명의 일 실시 예에 따른 상술한 대상 객체로는 사람, 동물 및 식물 등 시각적으로 구분할 수 있는 살아있는 생물체 또는 자전거, 자동차 및 비행기 등과 같이 시각적으로 인식할 수 있는 사물을 나타낼 수 있으나, 이에 한정되는 것은 아니고 대상 객체는 피검사체가 시각적으로 인식하여 구분할 수 있는 모든 대상이 될 수 있다. 또한, 상술한 대상 객체의 시각적 속성으로는 색상, 크기 및 자세 등이 될 수 있으며, 대상 객체가 사람의 얼굴일 경우 대상 객체의 시각적 속성은 얼굴을 구성하는 눈, 코, 입 등과 같이 얼굴을 구별하는 특징을 나타낼 수 있으나, 이에 한정되는 것은 아니며, 대상 객체의 시각적 속성은 대상 객체의 카테고리가 동일할지라도 피검사체가 대상 객체들을 시각적으로 구분할 수 있는 모든 특징이 될 수 있다.
예를 들어, 대상 객체가 빨간 사과인 경우 상술한 대상 객체에 대한 정보는 사과에 대한 정보, 빨간색에 대한 정보 또는 빨간색으로 이루어진 사과에 대한 정보를 나타낼 수 있다. 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
본 발명의 일 실시 예에 따른 특징 벡터 추출부(200)는 데이터 획득부(100)에서 획득된 데이터를 대상 객체가 속한 제1 카테고리로 분류하도록 학습하여 생성한 특징 벡터 추출 모델을 이용하여 데이터 획득부(100)에서 획득된 데이터로부터 대상 객체에 대한 특징 벡터를 추출할 수 있다.
예를 들어, 대상 객체가 빨간색 사과인 경우 상술한 대상 객체가 속한 제1 카테고리는 사과를 나타낼 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
상술한 특징 벡터 추출 모델에 대한 구체적인 설명은 후술하도록 한다.
본 발명의 또 다른 일 실시 예에 따른 특징 벡터 추출부(200)는 데이터 획득부(100)에서 획득된 데이터를 대상 객체의 시각적 속성이 속한 제2 카테고리로도 함께 분류하도록 학습하여 생성한 특징 벡터 추출 모델을 이용하여 데이터 획득부(100)에서 획득된 데이터로부터 대상 객체의 시각적 속성에 대한 특징 벡터를 추출할 수 있다.
상술한 대상 객체의 시각적 속성을 예를 들어 설명하면, 대상 객체가 빨간색 사과일 경우 대상 객체의 시각적 속성은 색상을 나타낼 수 있으며, 제2 카테고리는 색상 중 빨간색을 나타낼 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
따라서, 시각적 속성이 색상이고, 대상 객체의 색상이 속한 제2 카테고리가 빨간색인 경우 본 발명의 또 다른 일 실시 예에 따른 특징 벡터 추출부(200)는 획득된 데이터를 대상 객체의 색상이 속한 제2 카테고리인 빨간색으로 함께 분류하도록 학습하여 생성한 특징 벡터 추출 모델을 이용하여 데이터 획득부(100)에서 획득된 데이터로부터 대상 객체의 색상에 대한 특징 벡터를 추출할 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
본 발명의 일 실시 예에 따른 이미지 처리부(300)는 특징 벡터 추출부(200)에서 추출된 특징 벡터를 기반으로 대상 객체를 이미지화한 복원 이미지를 생성하도록 학습하여 생성한 복원 이미지 생성 모델을 이용하여 피검사체가 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 대상 객체의 재구성 이미지를 생성하여 출력할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 복원 이미지 생성 모델은 대상 객체를 이미지화한 복원 이미지뿐만 아니라 대상 객체의 시각적 속성에 대해 추출된 특징 벡터를 입력 받아 대상 객체의 시각적 속성만을 복원한 이미지도 생성하도록 학습하여 생성될 수 있다. 따라서, 본 발명의 또 다른 일 실시 예에 따른 이미지 처리부(300)는 상술한 방법에 의해 학습하여 생성한 복원 이미지 생성 모델을 이용하여 피검사체가 대상 객체의 시각적 속성만을 생각할 때 나타나는 뇌 활동을 재구성하여 대상 객체의 시각적 속성만을 재구성한 이미지를 생성하여 출력할 수 있다.
예를 들어, 시각적 속성이 색상이고, 대상 객체의 색상이 빨간색인 경우 본 발명의 일 실시 예에 따른 복원 이미지 생성 모델은 대상 객체의 색상에 대해 추출된 특징 벡터를 입력 받아 대상 객체의 색상인 빨간색만을 복원한 복원 이미지도 생성하도록 학습하여 생성될 수 있고, 이미지 처리부(300)는 상술한 방법에 의해 학습하여 생성한 복원 이미지 생성 모델을 이용하여 피검사체가 대상 객체의 색상인 빨간색만을 생각할 때 나타나는 뇌 활동을 재구성하여 대상 객체를 제외하고 대상 객체의 색상에 해당하는 빨간색만을 재구성한 이미지를 생성하여 출력할 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
또한, 본 발명의 또 다른 일 실시 예에 따른 복원 이미지 생성 모델은 대상 객체의 시각적 속성이 속한 제2 카테고리와 다른 제3 카테고리에 속한 시각적 속성만을 복원한 이미지를 생성하도록 학습하여 생성될 수 있다. 따라서, 본 발명의 또 다른 일 실시 예에 따른 이미지 처리부(300)는 상술한 방법에 의해 학습하여 생성한 복원 이미지 생성 모델을 이용하여 피검사체가 제2 카테고리에 속한 시각적 속성이 제3 카테고리에 속한 시각적 속성으로 변경된 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 제3 카테고리에 속한 시각적 속성으로 변경된 대상 객체를 재구성한 이미지를 생성하여 출력할 수 있다.
구체적으로, 시각적 속성이 색상이고, 대상 객체의 색상이 속한 제2 카테고리가 빨간색이고, 빨간색인 제2 카테고리와 다른 제3 카테고리가 노란색이며, 복원 이미지 생성 모델이 피검사체가 빨간색인 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 빨간색인 대상 객체의 이미지를 생성하도록 학습된 경우를 예를 들어 설명하도록 한다. 본 발명의 또 다른 일 실시 예에 따른 데이터 획득부(100)는 학습하기 위한 복수 개의 이미지 데이터들을 포함하는 이미지 데이터셋으로부터 상술한 노란색에 해당하는 이미지를 보고 반응한 피검사체의 뇌 활동에 따른 노란색에 해당하는 이미지에 대한 정보를 포함하는 데이터를 획득할 수 있다. 본 발명의 또 다른 일 실시 예에 따른 특징 벡터 추출부(200)는 특징 벡터 추출 모델을 이용하여 데이터 획득부(100)에서 획득된 상술한 노란색에 해당하는 이미지에 대한 정보를 포함하는 데이터로부터 노란색에 대한 특징 벡터를 추출할 수 있다. 본 발명의 또 다른 일 실시 예에 따른 빨간색인 대상 객체의 이미지를 생성하도록 미리 학습된 복원 이미지 생성 모델은 노란색에 대해 추출된 특징 벡터를 입력 받아 노란색만을 복원한 이미지도 생성하도록 학습하여 생성될 수 있고, 이미지 처리부(300)는 상술한 방법에 의해 학습하여 생성한 복원 이미지 생성 모델을 이용하여 피검사체가 빨간색인 대상 객체 대신 노란색인 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 빨간색에서 노란색으로 변경된 대상 객체를 재구성한 이미지를 생성하여 출력할 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
따라서, 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치(10)는 하나의 네트워크 모델로 다양한 태스크(task)를 학습시킬 수 있다. 상술한 태스크는 대상 객체 또는 대상 객체의 색상 이미지를 생성하는 작업뿐만 아니라 사물과 비사물을 분류해서 이미지를 생성하는 작업 또는 대상 객체가 사람인 경우 사람의 얼굴, 눈, 코, 입 등 각각의 이미지를 생성한 후 범인 몽타주 이미지 생성하는 작업을 나타낼 수 있다.
예를 들어, 상술한 복원 이미지 생성 모델이 사람의 눈, 코 및 입을 생성하는 모델로 학습된 경우, 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치(10)는 학습된 복원 이미지 생성 모델을 이용하여 피검사체가 ‘눈은 가늘다’, ‘코는 오똑하다’및 ‘입은 작다’와 같은 생각을 할 때 나타나는 뇌 활동을 재구성하여 상술한 눈, 코 및 입의 이미지를 각각 생성하고, 생성된 이미지들을 조합함으로써 상술한 눈, 코 및 입의 이미지가 반영된 몽타주 이미지를 생성하여 출력할 수 있다.
상술한 뇌 활동을 재구성하여 대상 객체의 재구성 이미지를 생성하는 구체적인 방법은 도 2에서 후술하도록 한다.
도 2는 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치의 구성을 구체적으로 도시한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 피검사체(30)의 뇌 활동을 재구성한 이미지 생성 장치(10)는 데이터 획득부(100), 특징 벡터 추출부(200) 및 이미지 처리부(300)를 포함하며, 이미지 처리부(300)는 복원 이미지 생성부(310) 및 이미지 판별부(320)를 포함할 수 있다. 피검사체(30)의 뇌 활동을 재구성한 이미지 생성 장치(10)는 도 2에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.
본 발명의 일 실시 예에 따른 데이터 획득부(100)는 시각적으로 인식할 수 있는 대상 객체에 대한 복수 개의 이미지들을 포함하는 이미지 데이터셋으로부터 로드 된 대상 객체를 이미지화한 원본 이미지(20)를 보고 반응한 피검사체(30)의 뇌 활동에 따른 대상 객체에 대한 정보를 포함하는 데이터를 획득할 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니며, 본 발명의 일 실시 예에 따른 데이터 획득부(100)는 피검사체(30)가 대상 객체를 나타내는 원본 이미지(20)를 보고 반응한 뇌 활동에 따른 데이터를 획득하는 것뿐만 아니라 피검사체(30)가 이미지화 되지 않은 대상 객체를 보고 반응한 뇌 활동에 따른 데이터를 획득할 수 있다.
본 발명의 일 실시 예에 따른 특징 벡터 추출부(200)는 데이터 획득부(100)에서 획득된 데이터를 대상 객체가 속한 제1 카테고리로 분류하도록 학습하여 생성한 특징 벡터 추출 모델(201)을 이용하여 데이터 획득부(100)에서 획득된 데이터로부터 대상 객체에 대한 특징 벡터를 추출할 수 있다.
본 발명의 일 실시 예에 따른 복원 이미지 생성부(310)는 복원 이미지 생성 모델(311)을 이용하여 특징 벡터 추출부(200)에서 추출된 특징 벡터로부터 대상 객체를 이미지화한 복원 이미지를 생성할 수 있다.
본 발명의 또 다른 일 실시 예에 따른 복원 이미지 생성부(310)는 복원 이미지 생성 모델(311)을 이용하여 특징 벡터 추출부(200)에서 추출된 특징 벡터와 랜덤 노이즈로부터 대상 객체를 이미지화한 복원 이미지를 생성할 수 있다. 랜덤 노이즈는 가우시안 분포를 따르는 잠재 공간(latent space)을 나타낸다.
본 발명의 일 실시 예에 따른 이미지 판별부(320)는 대상 객체의 원본 이미지(20) 또는 복원 이미지 생성부(310)에서 생성된 복원 이미지를 입력 받은 이미지 판별 모델(321)을 이용하여 입력 받은 이미지가 원본 이미지(20)인지를 판별할 수 있다.
상술한 이미지 판별 모델(321)은 이진 분류(binary classification)를 이용하여 입력 받은 이미지를 판별할 수 있다. 예를 들어, 이미지 판별 모델(321)이 입력 받은 이미지가 진짜에 해당하는 대상 객체의 원본 이미지(20)를 입력 받은 경우 레이블을 ‘1’로 나타낼 수 있고, 이미지 판별 모델(321)이 입력 받은 이미지가 대상 객체의 원본 이미지(20)가 아닌 복원 이미지 생성부(310)에서 생성된 가짜에 해당하는 복원 이미지를 입력 받은 경우 레이블을 ‘0’으로 나타낼 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
본 발명의 또 다른 일 실시 예에 따른 이미지 판별부(320)는 이미지 판별 모델(321)이 원본 이미지(20)를 입력 받으면, 입력 받은 원본 이미지(20)를 원본 이미지(20)라고 판별하는 확률이 증가되도록 이미지 판별 모델(321)을 학습할 수 있다. 또한, 이미지 판별부(320)는 복원 이미지 생성부(310)에서 생성된 복원 이미지를 입력 받으면 입력 받은 복원 이미지를 대상 객체의 원본 이미지(20)라고 판별하는 확률이 감소되도록 이미지 판별 모델(321)을 학습할 수 있다.
본 발명의 일 실시 예에 따른 복원 이미지 생성부(310)는 이미지 판별부(320)에서 판별된 결과를 이용하여 대상 객체를 이미지화한 복원 이미지를 원본 이미지(20)와 동일한 이미지로 재생성하도록 복원 이미지 생성 모델(311)을 학습할 수 있다.
본 발명의 또 다른 일 실시 예에 따른 복원 이미지 생성부(310)는 이미지 판별부(320)에서 판별된 결과를 이용하여 대상 객체를 이미지화한 복원 이미지를 원본 이미지(20)와 동일한 이미지로 재생성하도록 복원 이미지 생성 모델(311)을 이미지 판별 모델(321)과 적대적으로 학습할 수 있다.
구체적으로, 복원 이미지 생성부(310)는 이미지 판별 모델(321)이 대상 객체를 이미지화한 복원 이미지를 입력 받아, 입력 받은 복원 이미지를 대상 객체의 원본 이미지(20)로 판별하는 확률을 증가시키도록 복원 이미지 생성 모델(311)을 이미지 판별 모델(321)과 적대적으로 학습할 수 있다.
따라서, 상술한 바와 같이 본 발명의 일 실시 예에 따른 복원 이미지 생성부(310)와 이미지 판별부(320)는 서로 적대적으로 학습하여, 이미지 판별부(320)는 복원 이미지 생성부(310)에서 생성된 복원 이미지와 대상 객체의 원본 이미지(20) 중 어느 하나를 입력 받아도 입력 받은 이미지가 원본 이미지(20)인지 아닌지 정확히 판별할 수 있도록 이미지 판별 모델(321)을 학습하고, 이에 비해 복원 이미지 생성부(310)는 이미지 판별 모델(321)이 복원 이미지 생성 모델(311)을 기반으로 생성된 복원 이미지를 입력 받아도 대상 객체의 원본 이미지(20)로 판별하도록 이미지 판별 모델(321)을 속이는 방향으로 복원 이미지 생성 모델(311)을 학습할 수 있다. 최종적으로 복원 이미지 생성부(310)는 복원 이미지 생성 모델(311)에서 생성된 복원 이미지가 원본 이미지(20)와 동일하도록 복원 이미지 생성 모델(311)을 학습할 수 있으며, 이때 이미지 판별 모델(321)의 판별률은 이론적으로 0.5에 수렴될 수 있다.
본 발명의 또 다른 일 실시 예에 따른 이미지 판별부(320)는 이미지 판별 모델(321)을 이용하여 미리 설정된 대상 객체가 속한 제1 카테고리의 라벨을 기반으로 판별된 이미지를 대상 객체가 속한 제1 카테고리로 분류할지 함께 판별할 수 있다.
구체적으로, 이미지 판별부(320)는 판별된 결과를 이용하여 이미지 판별 모델(321)이 원본 이미지(20) 또는 복원 이미지를 입력 받았을 때, 입력 받은 이미지를 대상 객체가 속한 제1 카테고리로 분류하는 확률을 증가시키도록 이미지 판별 모델(321)을 학습할 수 있다. 예를 들어, 대상 객체를 나타내는 원본 이미지(20)는 빨간색 사과의 이미지이고, 대상 객체가 속한 제1 카테고리가 사과인 경우, 이미지 판별부(320)는 이미지 판별 모델(321)이 원본 이미지(20) 또는 복원된 이미지인 빨간색 사과의 이미지를 입력 받은 경우, 입력 받은 이미지인 빨간 사과 이미지를 제1 카테고리인 사과로 분류하는 확률을 증가시키도록 이미지 판별 모델(321)을 학습할 수 있다.
즉, 본 발명의 일 실시 예에 따른 이미지 판별부(320)는 이미지 판별 모델(321)이 원본 이미지(20)를 입력 받는 경우에만, 입력 받은 이미지를 원본 이미지(20)로 판별하는 확률이 증가하도록 이미지 판별 모델(321)을 학습함과 동시에 입력 받은 이미지를 대상 객체가 속한 제1 카테고리로 분류하는 확률 또한 함께 증가시키도록 이미지 판별 모델(321)을 학습할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 이미지 판별부(320)는 상술한 입력 받은 이미지인 빨간 사과 이미지를 제1 카테고리인 사과가 아닌 빨간 사과의 시각적 속성인 색상이 속한 제2 카테고리인 빨강이라고 분류하는 확률을 증가시키도록 이미지 판별 모델을 학습할 수 있다.본 발명의 또 다른 일 실시 예에 따른 복원 이미지 생성부(310)는 이미지 판별부(320)에서 판별된 결과를 이용하여 이미지 판별 모델(321)이 생성된 복원 이미지를 입력 받아 입력 받은 복원 이미지를 원본 이미지(20)로 판별하여 입력 받은 이미지를 대상 객체가 속한 제1 카테고리로 분류하는 확률을 증가시키도록 복원 이미지 생성 모델(311)을 학습할 수 있다.
즉, 본 발명의 일 실시 예에 따른 복원 이미지 생성부(310)는 이미지 판별 모델(321)이 복원 이미지를 입력 받는 경우, 입력 받은 복원 이미지를 원본 이미지(20)로 판별하는 확률이 증가하도록 복원 이미지 생성 모델(311)을 학습함과 동시에 이미지 판별 모델(321)이 입력 받은 복원 이미지를 대상 객체가 속한 제1 카테고리로 분류하는 확률 또한 함께 증가시키도록 복원 이미지 생성 모델(311)을 학습할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 특징 벡터 추출부(200)는 이미지 판별부(320)에서 판별된 결과를 이용하여 이미지 판별 모델(321)이 원본 이미지(20) 또는 복원 이미지를 입력 받는 경우, 입력 받은 이미지를 대상 객체가 속한 제1 카테고리로 분류하는 확률을 증가시키도록 특징 벡터 추출 모델(201)을 학습할 수 있다.
본 발명의 일 실시 예에 따른 피검사체(30)의 뇌 활동을 재구성한 이미지 생성 장치(10)는 상술한 방법에 의해 학습된 특징 벡터 추출 모델(201) 및 복원 이미지 생성 모델(311)을 이용하여 피검사체(30)가 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 대상 객체의 재구성 이미지를 생성하여 출력할 수 있다.
도 3은 본 발명의 또 다른 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치의 구성을 도시한 블록도이다.
도 3을 참조하면, 본 발명의 또 다른 일 실시 예에 따른 피검사체(30)의 뇌 활동을 재구성한 이미지 생성 장치(10)는 데이터 획득부(100), 특징 벡터 추출부(200) 및 이미지 처리부(300)를 포함하고, 데이터 획득부(100)는 뇌파 신호 데이터 획득부(110)를 포함할 수 있으며, 특징 벡터 추출부(200)는 제1 특징 벡터 추출부(210)를 포함할 수 있고, 이미지 처리부(300)는 복원 이미지 생성부(310) 및 이미지 판별부(320)를 포함할 수 있다. 피검사체(30)의 뇌 활동을 재구성한 이미지 생성 장치(10)는 도 3에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.
본 발명의 일 실시 예에 따른 뇌파 신호 데이터 획득부(110)는 피검사체(30)의 뇌에 부위별로 부착된 복수 개의 뇌파 전극 채널들로부터 대상 객체를 보고 반응한 피검사체(30)의 뇌파(Electroencephalography, EEG) 신호 데이터를 획득할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 뇌파 신호 데이터 획득부(110)는 상술한 대상 객체 대신 대상 객체를 이미지화한 원본 이미지(20)를 보고 반응한 피검사체(30)의 뇌파 신호 데이터를 획득할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 피검사체(30)의 뇌 활동을 재구성한 이미지 생성 장치(10)는 뇌파 신호 데이터 획득부(110)에서 획득된 뇌파 신호 데이터의 아티팩트를 제거하여 전처리하는 전처리부(도면에 미도시)를 더 포함할 수 있다.
구체적으로, 전처리부는 뇌파 신호 데이터 획득부(110)에서 획득된 뇌파 신호 데이터의 아티팩트를 제거하기 위해 주파수 대역에 따라 고역 통과 필터, 저역 통과 필터, 대역 통과 필터, 정합 필터, 또는 이들의 조합을 이용하여 뇌파 신호 데이터를 필터링할 수 있다. 전처리부는 뇌파 신호 데이터를 증폭한 후 필터링 할 수도 있다. 또한, 전처리부는 연속적으로 획득된 뇌파 신호 데이터에 다변량의 신호를 통계적으로 독립적인 성분으로 분리하는 독립 성분 분석(Independent Component Analysis, ICA) 방식을 이용하여 뇌파 신호 데이터 획득부(110)에서 획득된 뇌파 신호 데이터의 성분들을 선택적으로 분리할 수 있고, 뇌파 신호 데이터의 아티팩트를 제거할 수 있다.
본 발명의 일 실시 예에 따른 제1 특징 벡터 추출부(210)는 뇌파 신호 데이터 획득부(110)에서 획득된 뇌파 신호 데이터를 대상 객체가 속한 제1 카테고리로 분류하도록 시간의 흐름에 따라 다르게 출력하는 제1 특징 벡터 추출 모델(211)을 학습하여 생성할 수 있다. 따라서, 제1 특징 벡터 추출부(210)는 상술한 학습하여 생성한 제1 특징 벡터 추출 모델(211)을 이용하여 뇌파 신호 데이터에 포함된 순차적 정보를 반영하여 뇌파 신호 데이터 획득부(110)에서 획득된 뇌파 신호 데이터로부터 대상 객체에 대한 제1 특징 벡터를 추출할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 제1 특징 벡터 추출부(210)는 제1 특징 벡터 추출 모델(211)을 이용하여 전처리부에서 전처리된 뇌파 신호 데이터로부터 제1 특징 벡터를 추출할 수 있다.
본 발명의 일 실시 예에 따른 제1 특징 벡터 추출 모델(211)은 미리 설정된 시간 간격으로 획득된 뇌파 신호 데이터를 입력 받아, 뇌파 신호 데이터로부터 대상 객체의 특징을 나타내는 제1 특징 벡터를 출력하도록 시계열 분석이 가능한 게이트 순환 유닛(Gated Recurrent Unit, GRU) 기반의 레이어로 구성될 수 있다. 게이트 순환 유닛 기반의 레이어는 도 4를 함께 참조하여 설명하도록 한다.
도 4는 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치의 게이트 순환 유닛을 예시한 도면이다.
도 4를 참조하면, 각 GRU 셀이 도시되어 있고, rt는 GRU에서 기존 셀 정보를 얼마나 기억하고 있을지 결정하는 가중치 역할을 하는 리셋 게이트를 나타내고, zt는 GRU에서 입력과 출력을 어느 정도로 제한할 지 결정하는 가중치 역할을 하는 업데이트 게이트로 나타내며, GRU 셀의 블록 내부의 정보 흐름은 리셋 게이트와 업데이트 게이트로 조절된다.
아래의 수학식 1을 참조하면, 리셋 게이트 및 업데이트 게이트 모두 현 시점의 입력값(xt)과 과거 정보의 히든 레이어 값(ht-1)을 반영하여 산출될 수 있으며, 활성함수를 나타내는 σ는 시그모이드 함수를 나타내고, W 및 U는 각각 입력값과 히든 레이어 값과 선형결합하는 파라미터를 나타내며, 위 첨자인 r은 리셋 게이트에, 위 첨자인 z는 업데이트 게이트에 각각 속한다는 것을 나타낸다.
상술한 현 시점의 입력값(xt)은 뇌파 신호 데이터 획득부에서 획득된 뇌파 신호 데이터(111)로부터 미리 설정된 시간(t)에서의 입력값(xt)을 나타낸다.
Figure 112018089116110-pat00001
상술한 수학식 1을 참조하면,
Figure 112018089116110-pat00002
는 현재 정보를 나타내며, ⊙는 두 행렬 또는 벡터의 원소간 곱셈 연산을 나타내며, Wxt는 현재 시점의 정보를, Uht-1은 과거 시점의 정보를 나타낸다. 즉, 리셋 게이트에 의해 현재 정보에 과거 정보가 얼마나 반영될지가 조절된다. 상술한 리셋 게이트의 활성 함수는 시그모이드 함수로 0 내지 1 사이의 범위의 값을 가지며, 리셋 게이트가 0이라면 과거 정보는 모두 삭제되고, 리셋 게이트가 1이라면 과거 정보는 모두 기억되는 특징을 나타낸다.
또한, 다음 상태로 업데이트 하기 위한 ht는 과거 정보인 ht-1과 현재 정보인
Figure 112018089116110-pat00003
의 조합으로 나타낼 수 있으며, 상술한 조합은 업데이트 게이트에 의해 결정될 수 있다. 구체적으로, 업데이트 게이트의 활성함수는 시그모이드 함수로 0 내지 1 사이의 범위의 값을 가지며, 업데이트 게이트가 0인 경우 현재 정보만 모두 기억하며, 업데이트 게이트가 1인 경우 과거 정보만 모두 기억하는 특징을 나타낸다.
상술한 방법에 의해 GRU로 구현된 제1 특징 벡터 추출 모델은 뇌파 신호 데이터 획득부에서 획득된 뇌파 신호 데이터(111)를 미리 설정된 시간 간격으로 입력 받아 최종 출력으로 뇌파 신호 데이터(111)에 포함된 순차적 정보를 반영하여 추출된 대상 객체에 대한 제1 특징 벡터를 출력할 수 있다
다시 도 3을 참조하면, 본 발명의 또 다른 일 실시 예에 따른 제1 특징 벡터 추출 모델(211)은 상술한 게이트 순환 유닛 기반의 레이어 뿐만 아니라 순환신경망 (Recurrent Neural Network, RNN) 또는 장단기 메모리(Long Short Term Memory, LSTM) 기반의 레이어로 구성될 수 있다.
RNN은 은닉층의 결과가 다시 같은 은닉층의 입력으로 들어가도록 연결 된 루프가 있고, 과거의 데이터가 미래에 영향을 주는 구조를 갖는다. 즉, RNN은 히든 노드가 방향을 가진 엣지로 연결되어 순환구조를 이룬다.
LSTM 모델은 은닉층에 여러 개의 게이트가 연결된 셀을 추가한 구조이다. 은닉 층은 입력 게이트(Input Gate), 출력 게이트(Output Gate), 포겟 게이트(Forget Gate)를 포함하는 메모리 블록(Memory Block)을 갖는다. 포겟 게이트는 과거 정보를 잊기를 위한 게이트이고, 입력 게이트는 현재 정보를 기억하기 위한 게이트이다. 게이트는 각각 세기 및 방향을 가진다. 셀은 컨베이어 벨트 역할을 하고, 상태가 오래 경과하더라도 그래디언트가 비교적 전파를 유지할 수 있다.
본 발명의 일 실시 예에 따른 복원 이미지 생성부(310)는 복원 이미지 생성 모델(311)을 이용하여 제1 특징 벡터 추출부(210)에서 추출된 제1 특징 벡터로부터 대상 객체를 이미지화한 복원 이미지를 생성할 수 있다.
본 발명의 일 실시 예에 따른 이미지 판별부(320)는 대상 객체의 원본 이미지(20) 또는 복원 이미지 생성부(310)에서 생성된 복원 이미지를 입력 받은 이미지 판별 모델(321)을 이용하여 입력 받은 이미지가 원본 이미지(20)인지를 판별할 수 있다.
본 발명의 일 실시 예에 따른 복원 이미지 생성 모델(311) 및 이미지 판별 모델(321)을 학습하는 구체적인 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
따라서, 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치(10)는 상술한 방법에 의해 학습된 제1 특징 벡터 추출 모델(211) 및 학습된 복원 이미지 생성 모델(311)을 이용하여 피검사체가 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 대상 객체의 재구성 이미지를 생성하여 출력할 수 있다.
도 5는 본 발명의 또 다른 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치의 구성을 도시한 블록도이다.
도 5를 참조하면, 본 발명의 또 다른 일 실시 예에 따른 피검사체(30)의 뇌 활동을 재구성한 이미지 생성 장치(10)에서 데이터 획득부(100)는 뇌파 신호 데이터 획득부(110) 및 뇌 활성도 매핑 데이터 획득부(120)를 포함할 수 있으며, 특징 벡터 추출부(200)는 제1 특징 벡터 추출부(210) 및 제2 특징 벡터 추출부(220)를 포함할 수 있고, 이미지 처리부(300)는 복원 이미지 생성부(310) 및 이미지 판별부(320)를 포함할 수 있다. 피검사체(30)의 뇌 활동을 재구성한 이미지 생성 장치(10)는 도 5에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.
본 발명의 일 실시 예에 따른 뇌파 신호 데이터 획득부(110)는 피검사체(30)의 뇌에 부위별로 부착된 복수 개의 뇌파 전극 채널들로부터 대상 객체를 보고 반응한 피검사체(30)의 뇌파(Electroencephalography, EEG) 신호 데이터를 획득할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 뇌파 신호 데이터 획득부(110)는 상술한 대상 객체 대신 대상 객체를 이미지화한 원본 이미지(20)를 보고 반응한 피검사체(30)의 뇌파 신호 데이터를 획득할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 피검사체(30)의 뇌 활동을 재구성한 이미지 생성 장치(10)는 뇌파 신호 데이터 획득부(110)에서 획득된 획득된 뇌파 신호 데이터의 아티팩트를 제거하여 전처리하는 전처리부(도면에 미도시)를 더 포함할 수 있다. 뇌파 신호 데이터의 아티팩트를 제거하는 구체적인 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
본 발명의 일 실시 예에 따른 뇌 활성도 매핑 데이터 획득부(120)는 뇌파 신호 데이터 획득부(110)에서 획득된 뇌파 신호 데이터를 분석하여 피검사체(30)의 뇌의 부위별 활성도를 매핑한 뇌 활성도 매핑 데이터를 획득할 수 있다. 상술한 뇌 활성도 매핑 데이터는 대상 객체를 보고 반응한 피검사체(30)의 뇌의 어느 부위가 활성화 되었는지를 시각적으로 보여준다.
본 발명의 또 다른 일 실시 예에 따른 뇌 활성도 매핑 데이터 획득부(120)는 32개의 뇌파 전극 채널을 통하여 획득된 시간 영역에서의 뇌파 신호 데이터를 대상으로 고속 퓨리에 변환(Fast Fourier Transform, FFT)을 수행하여, FFT 변환된 뇌파 신호 데이터를 복수의 주파수 대역으로 분류할 수 있다. 상술한 복수의 주파수 대역은 고주파에서 저주파 영역 순으로 감마파(Gamma wave), 베타파(Beta wave), 알파파(Alpha wave), 세타파(Theta wave) 및 델타파(Delta wave)의 주파수 대역으로 분류될 수 있다. 일반적으로, 델타파는 다양한 잡음을 포함한 주파수 대역에 해당할 수 있다. 파워 스펙트럼(power spectrum) 분석을 통해 상술한 채널 별 FFT로 변환되고 복수의 주파수 대역으로 분류된 뇌파 신호 데이터의 전력을 측정하고, 각 채널을 해부학적 위치에 대입함으로써, 대입된 위치 정보 및 측정된 뇌파 신호 데이터의 전력을 이용하여 뇌가 활성화 되는 부위를 매핑한 데이터인 뇌 활성도 매핑 데이터를 획득할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 뇌 활성도 매핑 데이터 획득부(120)는 전처리부에서 전처리된 뇌파 신호 데이터를 분석하여 피검사체(30)의 뇌의 부위별 활성도를 매핑한 뇌 활성도 매핑 데이터를 획득할 수 있다. 뇌 활성도 매핑 데이터를 획득하는 구체적인 방법은 전술하였으므로, 자세한 설명은 생략하도록 한다.
본 발명의 일 실시 예에 따른 제1 특징 벡터 추출부(210)는 학습하여 생성한 제1 특징 벡터 추출 모델(211)을 이용하여 뇌파 신호 데이터 획득부(110)에서 획득된 뇌파 신호 데이터로부터 대상 객체에 대한 제1 특징 벡터를 추출할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 제1 특징 벡터 추출부(210)는 제1 특징 벡터 추출 모델(211)을 이용하여 전처리부에서 전처리된 뇌파 신호 데이터로부터 제1 특징 벡터를 추출할 수 있다.
상술한 제1 특징 벡터 추출 모델(211)은 도3 및 도 4에서 전술한 바와 같이 게이트 순환 유닛(GRU) 기반의 레이어로 구성될 수 있다.
상술한 제1 특징 벡터를 추출하는 구체적인 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
본 발명의 일 실시 예에 따른 제2 특징 벡터 추출부(220)는 뇌 활성도 매핑 데이터 획득부(120)에서 획득된 뇌 활성도 매핑 데이터를 대상 객체가 속한 제1 카테고리로 분류하도록 입력 데이터를 압축하여 출력하는 제2 특징 벡터 추출 모델(221)을 학습할 수 있다. 따라서, 제2 특징 벡터 추출부(220)는 상술한 학습하여 생성한 제2 특징 벡터 추출 모델(221)을 이용하여 뇌 활성도 매핑 데이터에 포함된 공간적 정보를 반영하여 뇌 활성도 매핑 데이터 획득부(120)에서 획득된 뇌 활성도 매핑 데이터로부터 대상 객체에 대한 제2 특징 벡터를 추출할 수 있다.
본 발명의 일 실시 예에 따른 제2 특징 벡터 추출 모델(221)은 미리 설정된 크기를 갖는 뇌 활성도 매핑 데이터를 입력 받아, 뇌 활성도 매핑 데이터로부터 대상 객체의 특징을 나타내는 제2 특징 벡터를 출력하는 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반의 레이어로 구성될 수 있다. 컨볼루션 신경망 기반의 레이어는 도 6을 함께 참조하여 설명하도록 한다.
도 6은 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치의 컨볼루션 신경망을 예시한 도면이다.
본 발명의 일 실시 예에 따른 제2 특징 벡터 추출 모델은 하나 이상의 레이어에서 컨볼루션 연산자를 통해 특징을 추출하여 특징 맵(Feature map)을 생성한다. 하나 이상의 레이어의 노드들은 네트워크로 연결된다. 제2 특징 벡터 추출 모델은 추출한 특징을 다른 레이어에 전달하고, 서브샘플링을 통해 추출한 특징을 통합하여 공간적 차원을 축소시키는 과정을 수행한다. 레이어는 파라미터를 포함할 수 있고, 레이어의 파라미터는 학습 가능한 필터 집합을 포함할 수 있다. 파라미터는 노드 간의 가중치 및/또는 바이어스를 포함할 수 있다. 제2 특징 벡터 추출 모델은 복수의 파라미터를 학습하며, 일부 파라미터는 공유될 수 있다. 제2 특징 벡터 추출 모델은 소프트맥스(Softmax) 함수 및 손실 함수를 포함할 수 있다.
본 발명의 일 실시 예에 따른 제2 특징 벡터 추출 모델은 입력 레이어(Input Layer), 제1 컨볼루션 레이어(Convolution Layer), 제1 풀링 레이어(Pooling Layer), 제2 컨볼루션 레이어, 제2 풀링 레이어, 풀리 커넥티드 레이어(Fully Connected Layer), 및 출력 레이어(Output Layer)를 포함할 수 있다. 본 발명의 일 실시 예에 따른 풀리 커넥티드 레이어는 4개의 히든 레이어(hidden layer)를 포함하는 것으로 나타내었으나, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
따라서, 본 발명의 일 실시 예에 따른 제2 특징 벡터 추출부(220)는 상술한 제2 특징 벡터 추출 모델을 이용하여 뇌 활성도 매핑 데이터 획득부에서 획득된 뇌 활성도 매핑 데이터(121)를 입력 레이어에서 입력 받아, 입력 받은 뇌 활성도 매핑 데이터(121)가 제1 컨볼루션 레이어, 제1 풀링 레이어, 제2 컨볼루션 레이어, 제2 풀링 레이어 및 풀리 커넥티드 레이어를 통과하여 출력 레이어에 전달되면서, 출력 레이어에서 대상 객체의 특징을 나타내는 제2 특징 벡터를 출력할 수 있다.
다시 도 5를 참조하면, 본 발명의 일 실시 예에 따른 복원 이미지 생성부(310)는 복원 이미지 생성 모델(311)을 이용하여 제1 특징 벡터 추출부(210)에서 추출된 제1 특징 벡터 및 제2 특징 벡터 추출부(220)에서 추출된 제2 특징 벡터로부터 대상 객체를 이미지화한 복원 이미지를 생성할 수 있다.
상술한 본 발명의 일 실시 예에 따른 복원 이미지 생성부(310)는 제1 특징 벡터 추출부(210)에서 추출된 제1 특징 벡터 및 제2 특징 벡터 추출부(220)에서 추출된 제2 특징 벡터로부터 대상 객체의 원본 이미지(20)와 동일한 이미지인 복원 이미지를 생성하도록 복원 이미지 생성 모델(311)을 학습할 수 있다.
구체적으로, 본 발명의 일 실시 예에 따른 복원 이미지 생성부(310)는 제1 특징 벡터 추출부(210)에서 추출된 제1 특징 벡터 및 제2 특징 벡터 추출부(220)에서 추출된 제2 특징 벡터를 연쇄(concatenation) 기법을 이용하여 하나의 특징 벡터로 융합하고, 복원 이미지 생성 모델(311)을 이용하여 융합된 특징 벡터로부터 대상 객체를 이미지화한 복원 이미지를 생성할 수 있다. 따라서, 복원 이미지 생성부(310)는 융합된 특징 벡터로부터 대상 객체의 원본 이미지(20)와 동일한 이미지인 복원 이미지를 생성하도록 복원 이미지 생성 모델(311)을 학습할 수 있다.
본 발명의 일 실시 예에 따른 이미지 판별부(320)는 대상 객체의 원본 이미지(20) 또는 복원 이미지 생성부(310)에서 생성된 복원 이미지를 입력 받은 이미지 판별 모델(321)을 이용하여 입력 받은 이미지가 원본 이미지(20)인지를 판별할 수 있다.
본 발명의 일 실시 예에 따른 복원 이미지 생성 모델(311) 및 이미지 판별 모델(321)을 학습하는 구체적인 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
따라서, 본 발명의 일 실시 예에 따른 피검사체(30)의 뇌 활동을 재구성한 이미지 생성 장치(10)는 상술한 방법에 의해 학습된 제1 특징 벡터 추출 모델, 학습된 제2 특징 벡터 추출 모델 및 학습된 복원 이미지 생성 모델을 이용하여 피검사체(30)가 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 대상 객체의 재구성 이미지를 생성하여 출력할 수 있다.
도 7은 본 발명의 또 다른 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 방법을 구체적으로 설명하기 위한 도면을 나타낸 것이다.
구체적으로, 도 7은 도 5에서 설명한 피검사체(30)의 뇌 활동을 재구성한 이미지 생성 장치(10)의 일 실시 예를 설명하기 위한 도면으로, 이하 도 5를 함께 참조하여 설명하도록 한다.
도 7을 참조하면, 본 발명의 또 다른 일 실시 예에 따른 뇌파 신호 데이터 획득부(110)는 대상 객체인 사과를 이미지화한 원본 이미지(20)를 보고 반응한 피검사체(30)의 뇌파(EEG) 신호 데이터(111)를 획득할 수 있다.
본 발명의 또 다른 일 실시 예에 따른 뇌 활성도 매핑 데이터 획득부(120)는 뇌파 신호 데이터 획득부(110)에서 획득된 뇌파 신호 데이터(111)를 분석하여 뇌 활성도 매핑 데이터(121)를 획득할 수 있다. 뇌 활성도 매핑 데이터(121)를 획득하는 구체적인 방법은 전술하였으므로, 자세한 설명은 생략하도록 한다.
본 발명의 또 다른 일 실시 예에 따른 제1 특징 벡터 추출부(210)는 뇌파 신호 데이터 획득부(110)에서 획득된 뇌파 신호 데이터(111)를 대상 객체가 속한 제1 카테고리인 사과로 분류하도록 시간의 흐름에 따라 다르게 출력하는 제1 특징 벡터 추출 모델(211a)을 학습할 수 있다. 도 7에서 상술한 제1 특징 벡터 추출 모델(211a)은 게이트 순환 유닛(GRU) 기반의 레이어로 구성될 수 있으나, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
따라서, 제1 특징 벡터 추출부(210)는 상술한 학습하여 생성한 제1 특징 벡터 추출 모델(211a)을 이용하여 뇌파 신호 데이터(111)에 포함된 순차적 정보를 반영하여 뇌파 신호 데이터 획득부(110)에서 획득된 뇌파 신호 데이터(111)로부터 사과에 대한 제1 특징 벡터(210a)를 추출할 수 있다.
본 발명의 또 다른 일 실시 예에 따른 제2 특징 벡터 추출부(220)는 뇌 활성도 매핑 데이터 획득부(120)에서 획득된 뇌 활성도 매핑 데이터(121)를 대상 객체가 속한 제1 카테고리인 사과로 분류하도록 입력 데이터를 압축하여 출력하는 제2 특징 벡터 추출 모델(221a)을 학습할 수 있다. 도 7에서 상술한 제2 특징 벡터 추출 모델(221a)은 뇌 활성도 매핑 데이터(121)를 압축하여 출력하도록 인코더(Encoder)로 구현될 수 있으나, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
따라서, 제2 특징 벡터 추출부(220)는 상술한 학습하여 생성한 제2 특징 벡터 추출 모델(221a)을 이용하여 뇌 활성도 매핑 데이터(121)에 포함된 공간적 정보를 반영하여 뇌 활성도 매핑 데이터 획득부(120)에서 획득된 뇌 활성도 매핑 데이터(121)로부터 사과에 대한 제2 특징 벡터(220a)를 추출할 수 있다.
본 발명의 일 실시 예에 따른 복원 이미지 생성부(310)는 복원 이미지 생성 모델(311a)을 이용하여 제1 특징 벡터 추출부(210)에서 추출된 제1 특징 벡터(210a) 및 제2 특징 벡터 추출부(220)에서 추출된 제2 특징 벡터(220a)로부터 사과의 복원 이미지(310a)를 생성할 수 있다. 구체적으로, 본 발명의 일 실시 예에 따른 상술한 복원 이미지 생성 모델(311a)은 제1 특징 벡터 추출부(210)에서 추출된 제1 특징 벡터(210a) 및 제2 특징 벡터 추출부(220)에서 추출된 제2 특징 벡터(220a)로부터 사과의 원본 이미지(20)와 동일한 이미지인 복원 이미지(310a)를 생성하도록 반복적으로 학습되어 생성된 모델일 수 있다.
구체적으로, 본 발명의 일 실시 예에 따른 복원 이미지 생성부(310)는 제1 특징 벡터 추출부(210)에서 추출된 제1 특징 벡터(210a) 및 제2 특징 벡터 추출부(220)에서 추출된 제2 특징 벡터(220a)를 연쇄(concatenation) 기법을 이용하여 하나의 특징 벡터로 융합하고, 복원 이미지 생성 모델(311a)을 이용하여 제1 특징 벡터(210a)와 제2 특징 벡터(220a)가 융합된 특징 벡터로부터 사과의 복원 이미지(310a)를 생성할 수 있다.
구체적으로, 본 발명의 일 실시 예에 따른 복원 이미지 생성 모델(311a)은 연쇄(concatenation) 기법을 이용하여 제1 특징 벡터(210a)와 제2 특징 벡터(220a)가 융합된 특징 벡터로부터 사과의 원본 이미지(20)와 동일한 이미지인 복원 이미지(310a)를 생성하도록 반복적으로 학습되어 생성된 모델일 수 있다.
도 7에서 상술한 복원 이미지 생성 모델(311a)은 압축된 데이터인 특징 벡터를 이미지로 변환하는 디코더(Decoder)로 구현될 수 있으나, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
본 발명의 일 실시 예에 따른 이미지 판별부(320)는 사과의 원본 이미지(20) 또는 복원 이미지 생성부(310)에서 생성된 복원 이미지(310a)를 입력 받은 이미지 판별 모델(321a)을 이용하여 입력 받은 이미지가 원본 이미지(20)인지를 판별할 수 있다.
따라서, 본 발명의 일 실시 예에 따른 제1 특징 벡터 추출 모델(211a), 제2 특징 벡터 추출 모델(221a), 복원 이미지 생성 모델(311a) 및 이미지 판별 모델(321a)은 판별된 결과를 이용하여 학습될 수 있으며, 상술한 네트워크 모델들을 학습하는 구체적인 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
따라서, 본 발명의 일 실시 예에 따른 피검사체(30)의 뇌 활동을 재구성한 이미지 생성 장치(10)는 학습된 제1 특징 벡터 추출 모델, 학습된 제2 특징 벡터 추출 모델 및 학습된 복원 이미지 생성 모델을 이용하여 피검사체(30)가 사과를 생각할 때 나타나는 뇌 활동을 재구성하여 대상 객체인 사과의 재구성 이미지를 생성하여 출력할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치의 테스트 과정을 도시한 블록도이다.
도 8을 참조하면, 본 발명의 일 실시 예에 따른 피검사체(30)의 뇌 활동을 재구성한 이미지 생성 장치(10)의 테스트 과정은 도 5에서 학습된 제1 특징 벡터 추출 모델(212), 학습된 제2 특징 벡터 추출 모델(222) 및 학습된 복원 이미지 생성 모델(312)을 이용할 수 있다.
구체적으로, 본 발명의 일 실시 예에 따른 뇌파 신호 데이터 획득부(110)는 피검사체(30)의 뇌에 부위별로 부착된 복수 개의 뇌파 전극 채널들로부터 피검사체(30)가 대상 객체를 생각할 때 나타나는 피검사체(30)의 뇌파(EEG) 신호 데이터(111)를 획득할 수 있다.
본 발명의 일 실시 예에 따른 뇌 활성도 매핑 데이터 획득부(120)는 뇌파 신호 데이터 획득부(110)에서 획득된 뇌파 신호 데이터를 분석하여 피검사체(30)의 뇌의 부위별 활성도를 매핑한 뇌 활성도 매핑 데이터를 획득할 수 있다. 뇌 활성도 매핑 데이터를 획득하는 구체적인 방법은 전술하였으므로, 자세한 설명은 생략하도록 한다.
본 발명의 일 실시 예에 따른 제1 특징 벡터 추출부(210)는 도 5에서 학습된 제1 특징 벡터 추출 모델(212)을 이용하여 뇌파 신호 데이터에 포함된 순차적 정보를 반영하여 뇌파 신호 데이터 획득부(110)에서 획득된 뇌파 신호 데이터로부터 대상 객체에 대한 제1 특징 벡터를 추출할 수 있다. 상술한 학습된 제1 특징 벡터 추출 모델(212)은 도3 및 도 4에서 전술한 바와 같이 게이트 순환 유닛(GRU) 기반의 레이어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시 예에 따른 제2 특징 벡터 추출부(220)는 도 5에서 학습된 제2 특징 벡터 추출 모델(222)을 이용하여 뇌 활성도 매핑 데이터에 포함된 공간적 정보를 반영하여 뇌 활성도 매핑 데이터 획득부(120)에서 획득된 뇌 활성도 매핑 데이터로부터 대상 객체에 대한 제2 특징 벡터를 추출할 수 있다. 상술한 학습된 제2 특징 벡터 추출 모델(222)은 도 5 및 도 6에서 전술한 바와 같이 컨볼루션 신경망(CNN) 기반의 레이어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시 예에 따른 이미지 처리부(300)는 도 5에서 학습된 복원 이미지 생성 모델(312)을 이용하여 제1 특징 벡터 추출부(210)에서 추출된 제1 특징 벡터 및 제2 특징 벡터 추출부(220)에서 추출된 제2 특징 벡터로부터 피검사체(30)가 생각한 대상 객체를 재구성한 재구성 이미지를 생성할 수 있다.
구체적으로, 본 발명의 일 실시 예에 따른 이미지 처리부(300)는 제1 특징 벡터 추출부(210)에서 추출된 제1 특징 벡터 및 제2 특징 벡터 추출부(220)에서 추출된 제2 특징 벡터를 연쇄(concatenation) 기법을 이용하여 하나의 특징 벡터로 융합하고, 도 5에서 학습된 복원 이미지 생성 모델(312)을 이용하여 융합된 특징 벡터로부터 피검사체(30)가 생각한 대상 객체를 재구성한 재구성 이미지를 생성할 수 있다.
도 9는 본 발명의 또 다른 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 방법의 테스트 과정을 구체적으로 설명하기 위한 도면을 나타낸 것이다.
도 9는 도 7에서 설명한 피검사체(30)의 뇌 활동을 재구성한 이미지 생성 장치(10)의 테스트 과정의 일 실시 예를 설명하기 위한 도면으로, 이하 도 7을 함께 참조하여 설명하도록 한다.
도 9를 참조하면, 본 발명의 또 다른 일 실시 예에 따른 뇌파 신호 데이터 획득부(110)는 피검사체(30)의 뇌에 부위별로 부착된 복수 개의 뇌파 전극 채널들로부터 피검사체(30)가 대상 객체인 사과를 생각하면서 나타난 피검사체(30)의 뇌파(EEG) 신호 데이터(111)를 획득할 수 있다.
본 발명의 또 다른 일 실시 예에 따른 뇌 활성도 매핑 데이터 획득부(120)는 뇌파 신호 데이터 획득부(110)에서 획득된 뇌파 신호 데이터(111)를 분석하여 피검사체(30)의 뇌의 부위별 활성도를 매핑한 뇌 활성도 매핑 데이터(121)를 획득할 수 있다. 뇌 활성도 매핑 데이터를 획득하는 구체적인 방법은 전술하였으므로, 자세한 설명은 생략하도록 한다.
본 발명의 일 실시 예에 따른 제1 특징 벡터 추출부(210)는 도 7에서 게이트 순환 유닛(GRU) 기반의 레이어로 구성된 학습된 제1 특징 벡터 추출 모델(212a)을 이용하여 뇌파 신호 데이터 획득부(110)에서 획득된 뇌파 신호 데이터로부터 대상 객체인 사과에 대한 제1 특징 벡터(210a)를 추출할 수 있다.
본 발명의 일 실시 예에 따른 제2 특징 벡터 추출부(220)는 도 7에서 뇌 활성도 매핑 데이터(121)를 압축하여 출력하도록 인코더(Encoder)로 구현된 학습된 제2 특징 벡터 추출 모델(222a)을 이용하여 뇌 활성도 매핑 데이터 획득부(120)에서 획득된 뇌 활성도 매핑 데이터(121)로부터 대상 객체인 사과에 대한 제2 특징 벡터(220a)를 추출할 수 있다.
본 발명의 또 다른 일 실시 예에 따른 이미지 처리부(300)는 도 7에서 압축된 데이터인 특징 벡터를 이미지로 변환하는 디코더(Decoder)로 구현된 학습된 복원 이미지 생성 모델(312a)을 이용하여 제1 특징 벡터 추출부(210)에서 추출된 제1 특징 벡터(210a) 및 제2 특징 벡터 추출부(220)에서 추출된 제2 특징 벡터(220a)로부터 피검사체(30)가 생각한 대상 객체인 사과를 재구성한 재구성 이미지(300a)를 생성할 수 있다.
구체적으로, 본 발명의 일 실시 예에 따른 이미지 처리부(300)는 제1 특징 벡터 추출부(210)에서 추출된 제1 특징 벡터(210a) 및 제2 특징 벡터 추출부(220)에서 추출된 제2 특징 벡터(220a)를 연쇄(concatenation) 기법을 이용하여 하나의 특징 벡터로 융합하고, 도 7에서 학습된 복원 이미지 생성 모델(312a)을 이용하여 융합된 특징 벡터로부터 피검사체(30)가 생각한 대상 객체인 사과를 재구성한 재구성 이미지(300a)를 생성할 수 있다.
피검사체의 뇌 활동을 재구성한 이미지 생성 장치에 포함된 구성요소들이 도 1, 도 2, 도 3, 도 5 및 도 8에서는 분리되어 도시되어 있으나, 복수의 구성요소들은 상호 결합되어 적어도 하나의 모듈로 구현될 수 있다. 구성요소들은 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작한다. 이러한 구성요소들은 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
피검사체의 뇌 활동을 재구성한 이미지 생성 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정 배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템 온 칩(System on Chip, SoC)으로 구현될 수 있다.
피검사체의 뇌 활동을 재구성한 이미지 생성 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 방법을 설명하기 위한 흐름도이다.
피검사체의 뇌 활동을 재구성한 이미지 생성 방법은 컴퓨팅 디바이스에 의하여 수행될 수 있으며, 피검사체의 뇌 활동을 재구성한 이미지 생성 장치와 동일한 방식으로 동작한다
도 10을 참조하면, 컴퓨팅 디바이스는 시각적으로 인식할 수 있는 대상 객체를 보고 반응한 피검사체의 뇌 활동에 따른 대상 객체에 대한 정보를 포함하는 데이터를 획득한다(S1010).
또한, 본 발명의 또 다른 일 실시 예에 따른 컴퓨팅 디바이스는 시각적으로 인식할 수 있는 대상 객체에 대한 복수 개의 이미지들을 포함하는 이미지 데이터셋으로부터 로드 된 대상 객체를 이미지화한 원본 이미지를 보고 반응한 피검사체의 뇌 활동에 따른 대상 객체를 나타내는 원본 이미지에 대한 정보를 포함하는 데이터를 획득할 수 있다.
컴퓨팅 디바이스는 획득된 데이터를 대상 객체가 속한 제1 카테고리로 분류하도록 학습하여 생성한 특징 벡터 추출 모델을 이용하여 획득된 데이터로부터 대상 객체에 대한 특징 벡터를 추출한다(S1020).
상술한 대상 객체가 속한 제1 카테고리를 예를 들어 설명하면, 대상 객체가 빨간색 사과인 경우 제1 카테고리는 사과를 나타낼 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
컴퓨팅 디바이스는 추출된 특징 벡터를 기반으로 대상 객체를 이미지화한 복원 이미지를 생성하도록 학습하여 생성한 복원 이미지 생성 모델을 이용하여 피검사체가 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 대상 객체의 재구성 이미지를 생성하여 출력한다(S1030).
상술한 뇌 활동을 재구성하여 대상 객체의 재구성 이미지를 생성하여 출력하는 구체적인 방법은 도 11을 참조하여 후술하도록 한다.
본 발명의 또 다른 일 실시 예에 따른 컴퓨팅 디바이스는 대상 객체를 이미지화한 복원 이미지뿐만 아니라 대상 객체의 시각적 속성에 대해 추출된 특징 벡터를 입력 받아 대상 객체의 시각적 속성만을 복원한 이미지도 생성하도록 복원 이미지 생성 모델을 학습할 수 있다. 따라서, 컴퓨팅 디바이스는 상술한 방법에 의해 학습하여 생성한 복원 이미지 생성 모델을 이용하여 피검사체가 대상 객체의 시각적 속성만을 생각할 때 나타나는 뇌 활동을 재구성하여 대상 객체의 시각적 속성만을 재구성한 이미지를 생성하여 출력할 수 있다. 상술한 대상 객체의 시각적 속성만을 재구성한 이미지를 생성하여 출력하는 구체적인 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
또한, 본 발명의 또 다른 일 실시 예에 따른 컴퓨팅 디바이스는 대상 객체의 시각적 속성이 속한 제2 카테고리와 다른 제3 카테고리에 속한 시각적 속성만을 복원한 이미지를 생성하도록 복원 이미지 생성 모델을 학습할 수 있다. 따라서, 컴퓨팅 디바이스는 상술한 학습된 복원 이미지 생성 모델을 이용하여 피검사체가 제2 카테고리에 속한 시각적 속성이 제3 카테고리에 속한 시각적 속성으로 변경된 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 제3 카테고리에 속한 시각적 속성으로 변경된 대상 객체를 재구성한 이미지를 생성하여 출력할 수 있다. 상술한 제3 카테고리에 속한 시각적 속성으로 변경된 대상 객체를 재구성한 이미지를 생성하여 출력하는 구체적인 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
도 11은 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성하여 대상 객체의 재구성 이미지를 생성하는 방법을 구체적으로 설명하기 위한 흐름도이다.
도 11을 참조하면, 컴퓨팅 디바이스는 복원 이미지 생성 모델을 이용하여 추출된 특징 벡터로부터 대상 객체를 이미지화한 복원 이미지를 생성한다(S1031).
컴퓨팅 디바이스는 대상 객체의 원본 이미지 또는 생성된 복원 이미지를 입력 받은 이미지 판별 모델을 이용하여 입력 받은 이미지가 원본 이미지인지 판별한다(S1032).
컴퓨팅 디바이스는 이미지 판별 모델이 입력 받은 이미지에 따라 입력 받은 이미지를 원본 이미지로 판별하는 확률을 고려하여 이미지 판별 모델을 학습한다(S1033). 상술한 이미지 판별 모델을 학습하는 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
본 발명의 또 다른 일 실시 예에 따른 컴퓨팅 디바이스는 이미지 판별 모델을 이용하여 미리 설정된 대상 객체가 속한 제1 카테고리의 라벨을 기반으로 판별된 이미지를 대상 객체가 속한 제1 카테고리로 분류할지 함께 판별할 수 있다. 상술한 이미지 판별 모델이 판별된 이미지를 대상 객체가 속한 제1 카테고리로 분류하도록 학습하는 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
컴퓨팅 디바이스는 판별된 결과를 이용하여 복원 이미지를 원본 이미지와 동일한 이미지로 재생성하도록 복원 이미지 생성 모델을 이미지 판별 모델과 적대적으로 학습한다(S1034). 상술한 복원이미지 생성 모델을 학습하는 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
컴퓨팅 디바이스는 상술한 방법에 의해 학습된 복원 이미지 생성 모델을 이용하여 피검사체가 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 대상 객체의 재구성 이미지를 생성하여 출력한다(S1035).
구체적으로, 컴퓨팅 디바이스는 피검사체가 대상 객체를 생각할 때 나타나는 뇌 활동에 따른 데이터를 획득할 수 있고, 학습된 특징 벡터 추출 모델을 이용하여 획득된 데이터로부터 대상 객체에 대한 특징 벡터를 추출할 수 있으며, 추출된 특징 벡터를 학습된 복원 이미지 생성 모델에 입력하여, 추출된 특징 벡터로부터 대상 객체의 재구성 이미지를 생성하여 출력할 수 있다.
도 12 및 도 13은 본 발명의 또 다른 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 방법을 설명하기 위한 흐름도이다. 피검사체의 뇌 활동을 재구성한 이미지 생성 방법은 컴퓨팅 디바이스에 의하여 수행될 수 있으며, 피검사체의 뇌 활동을 재구성한 이미지 생성 장치와 동일한 방식으로 동작한다
도 12를 참조하면, 컴퓨팅 디바이스는 대상 객체를 보고 반응한 피검사체의 뇌파(Electroencephalography, EEG) 신호 데이터를 획득한다(S1210).
구체적으로, 컴퓨팅 디바이스는 피검사체의 뇌에 부위별로 부착된 복수 개의 뇌파 전극 채널들로부터 대상 객체를 보고 반응한 피검사체의 뇌파(EEG) 신호 데이터를 획득할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 컴퓨팅 디바이스는 상술한 대상 객체 대신 대상 객체를 이미지화한 원본 이미지를 보고 반응한 피검사체의 뇌파 신호 데이터를 획득할 수도 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 컴퓨팅 디바이스는 획득된 뇌파 신호 데이터의 아티팩트를 제거하여 전처리할 수 있다. 아티팩트를 제거하는 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
컴퓨팅 디바이스는 제1 특징 벡터 추출 모델을 이용하여 획득된 뇌파 신호 데이터로부터 대상 객체에 대한 제1 특징 벡터를 추출한다(S1220).
본 발명의 일 실시 예에 따른 제1 특징 벡터 추출 모델은 게이트 순환 유닛(Gated Recurrent Unit, GRU) 기반의 레이어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
상술한 제1 특징 벡터를 추출하는 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
컴퓨팅 디바이스는 추출된 제1 특징 벡터를 기반으로 학습하여 생성된 복원 이미지 생성 모델을 이용하여 대상 객체의 재구성 이미지를 생성하여 출력한다(S1230).
구체적으로, 본 발명의 일 실시 예에 따른 컴퓨팅 디바이스는 학습된 복원 이미지 생성 모델을 이용하여 피검사체가 대상 객체를 생각할 때 나타나는 피검사체의 뇌 활동을 재구성하여 대상 객체의 재구성 이미지를 생성하여 출력할 수 있다.
본 발명의 일 실시 예에 따른 복원 이미지 생성 모델 및 이미지 판별 모델을 학습하는 구체적인 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
도 13을 참조하면, 컴퓨팅 디바이스는 대상 객체를 보고 반응한 피검사체의 뇌파(EEG) 신호 데이터를 획득한다(S1310).
예를 들어, 컴퓨팅 디바이스는 피검사체의 뇌에 부위별로 부착된 복수 개의 뇌파 전극 채널들로부터 대상 객체인 사과를 보고 반응한 피검사체의 뇌파(EEG) 신호 데이터를 획득할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 컴퓨팅 디바이스는 피검사체의 뇌에 부위별로 부착된 복수 개의 뇌파 전극 채널들로부터 대상 객체를 이미지화한 원본 이미지를 보고 반응한 피검사체의 뇌파(EEG) 신호 데이터를 획득할 수 있다.
컴퓨팅 디바이스는 획득된 뇌파 신호 데이터를 분석하여 뇌 활성도 매핑 데이터를 획득한다(S1320). 뇌 활성도 매핑 데이터를 획득하는 구체적인 방법은 전술하였으므로, 자세한 설명은 생략하도록 한다.
컴퓨팅 디바이스는 제1 특징 벡터 추출 모델을 이용하여 획득된 뇌파 신호 데이터로부터 대상 객체에 대한 제1 특징 벡터를 추출한다(S1330).
본 발명의 일 실시 예에 따른 제1 특징 벡터 추출 모델은 게이트 순환 유닛(Gated Recurrent Unit, GRU) 기반의 레이어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
상술한 제1 특징 벡터를 추출하는 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
컴퓨팅 디바이스는 제2 특징 벡터 추출 모델을 이용하여 획득된 뇌 활성도 매핑 데이터로부터 대상 객체에 대한 제2 특징 벡터를 추출한다(S1340).
본 발명의 일 실시 예에 따른 제2 특징 벡터 추출 모델은 컨볼루션 신경망(CNN) 기반의 레이어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
상술한 제2 특징 벡터를 추출하는 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
컴퓨팅 디바이스는 추출된 제1 특징 벡터 및 추출된 제2 특징 벡터를 기반으로 학습하여 생성된 복원 이미지 생성 모델을 이용하여 대상 객체의 재구성 이미지를 생성하여 출력한다(S1350).
상술한 복원 이미지 생성 모델이 제1 특징 벡터 및 제2 특징 벡터를 기반으로 복원 이미지를 생성하는 구체적인 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
본 발명의 또 다른 일 실시 예에 따른 컴퓨팅 디바이스는 대상 객체의 원본 이미지 또는 대상 객체의 복원 이미지를 입력 받은 이미지 판별 모델을 이용하여 입력 받은 이미지가 원본 이미지인지를 판별할 수 있고, 판별된 결과에 따라 제1 특징 벡터 추출 모델, 제2 특징 벡터 추출 모델, 복원 이미지 생성 모델 및 이미지 판별 모델을 학습할 수 있다. 상술한 제1 특징 벡터 추출 모델, 제2 특징 벡터 추출 모델, 복원 이미지 생성 모델 및 이미지 판별 모델을 학습하는 구체적인 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
따라서, 본 발명의 일 실시 예에 따른 컴퓨팅 디바이스는 피검사체가 대상 객체를 생각할 때 나타나는 뇌 활동에 따른 뇌파 신호 데이터 및 뇌 활성도 매핑 데이터를 각각 획득하고, 학습된 제1 특징 벡터 추출 모델을 이용하여 뇌파 신호 데이터로부터 제1 특징 벡터를 추출하고, 학습된 제2 특징 벡터 추출 모델을 이용하여 뇌 활성도 매핑 데이터로부터 제2 특징 벡터를 추출하며, 학습된 복원 이미지 생성 모델을 이용하여 제1 특징 벡터 및 제2 특징 벡터로부터 대상 객체의 재구성 이미지를 생성하여 출력할 수 있다.
도 10 내지 도 13에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 10 내지 도 13에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
따라서, 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치는 특정 목적에 맞게 학습된 하나의 네트워크 모델을 이용하여 피검사체가 생각한 과일, 색상 또는 얼굴 등의 이미지를 생성하여 피검사체의 생각을 객관적으로 표현할 수 있으며, 학습된 네트워크 모델을 이용하여 범인의 얼굴을 본 피검사체의 뇌파 신호를 복원하여 범인의 몽타주를 생성할 수 있다.
또한, 본 발명의 일 실시 예에 따른 피검사체의 뇌 활동을 재구성한 이미지 생성 장치는 학습된 대상 객체의 이미지만을 생성해내는 것이 아닌 다양한 학습 방법을 적용하여 피검사체가 대상 객체의 색상 스타일 또는 크기 등을 변환시켜 생각한 대상 객체 또한 이미지로 생성할 수 있다.
본 실시 예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광 기록매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시 예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시 예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
10: 이미지 생성 장치
100: 데이터 획득부
200: 특징 벡터 추출부
300: 이미지 처리부

Claims (18)

  1. 컴퓨팅 디바이스에 의한 피검사체의 뇌 활동을 재구성한 이미지 생성 방법에 있어서,
    시각적으로 인식할 수 있는 대상 객체를 보고 반응한 상기 피검사체의 뇌 활동에 따른 상기 대상 객체에 대한 정보를 포함하는 데이터를 획득하는 단계;
    상기 획득된 데이터를 상기 대상 객체가 속한 제1 카테고리로 분류하도록 학습하여 생성한 특징 벡터 추출 모델을 이용하여 상기 획득된 데이터로부터 상기 대상 객체에 대한 특징 벡터를 추출하는 단계; 및
    상기 추출된 특징 벡터를 기반으로 상기 대상 객체를 이미지화한 복원 이미지를 생성하도록 학습하여 생성한 복원 이미지 생성 모델을 이용하여 상기 피검사체가 상기 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 상기 대상 객체의 재구성 이미지를 생성하여 출력하는 단계;를 포함하며,
    상기 데이터를 획득하는 단계는, 상기 피검사체의 뇌에 부위별로 부착된 복수 개의 뇌파 전극 채널들로부터 상기 대상 객체를 보고 반응한 상기 피검사체의 뇌파(Electroencephalography, EEG) 신호 데이터를 획득하는 단계;를 포함하고,
    상기 특징 벡터를 추출하는 단계는, 상기 획득된 뇌파 신호 데이터를 상기 대상 객체가 속한 제1 카테고리로 분류하도록 학습하여 생성한 시간의 흐름에 따라 다르게 출력하는 제1 특징 벡터 추출 모델을 이용하여 상기 획득된 뇌파 신호 데이터에 포함된 순차적 정보를 반영하여 상기 획득된 뇌파 신호 데이터로부터 상기 대상 객체에 대한 제1 특징 벡터를 추출하는 단계;를 포함하고,
    상기 데이터를 획득하는 단계는, 상기 획득된 뇌파 신호 데이터를 분석하여 상기 피검사체의 뇌의 부위별 활성도를 매핑한 뇌 활성도 매핑 데이터를 획득하는 단계;를 포함하고,
    상기 특징 벡터를 추출하는 단계는, 상기 획득된 뇌 활성도 매핑 데이터를 상기 대상 객체가 속한 제1 카테고리로 분류하도록 학습되어 생성한 입력 데이터를 압축하여 출력하는 제2 특징 벡터 추출 모델을 이용하여 상기 획득된 뇌 활성도 매핑 데이터에 포함된 공간적 정보를 반영하여 상기 획득된 뇌 활성도 매핑 데이터로부터 상기 대상 객체에 대한 제2 특징 벡터를 추출하는 단계;를 포함하고,
    상기 복원 이미지 생성 모델은 상기 추출된 제1 특징 벡터 및 상기 제2 특징 벡터로부터 상기 대상 객체를 이미지화한 복원 이미지를 생성하도록 학습하여 생성된 것을 특징으로 하는 피검사체의 뇌 활동을 재구성한 이미지 생성 방법.
  2. 제1항에 있어서,
    상기 재구성 이미지를 생성하여 출력하는 단계는,
    상기 복원 이미지 생성 모델을 이용하여 상기 추출된 특징 벡터로부터 상기 대상 객체를 이미지화한 복원 이미지를 생성하는 단계;
    상기 대상 객체의 원본 이미지 또는 상기 생성된 복원 이미지를 입력 받은 이미지 판별 모델을 이용하여 상기 입력 받은 이미지가 상기 원본 이미지인지 판별하는 단계; 및
    상기 판별된 결과를 이용하여 상기 생성된 복원 이미지를 상기 원본 이미지와 동일한 이미지로 재생성하도록 상기 복원 이미지 생성 모델을 학습하는 단계;를 포함하는 것을 특징으로 하는 피검사체의 뇌 활동을 재구성한 이미지 생성 방법.
  3. 제2항에 있어서,
    상기 재구성 이미지를 생성하여 출력하는 단계는,
    상기 이미지 판별 모델이 상기 원본 이미지를 입력 받으면 상기 입력 받은 원본 이미지를 상기 원본 이미지라고 판별하는 확률이 증가되도록, 상기 생성된 복원 이미지를 입력 받으면 상기 입력 받은 복원 이미지를 상기 원본 이미지라고 판별하는 확률이 감소되도록 상기 이미지 판별 모델을 학습하는 단계;를 더 포함하고,
    상기 복원 이미지 생성 모델을 학습하는 단계는,
    상기 판별된 결과를 이용하여 상기 생성된 복원 이미지를 상기 원본 이미지와 동일한 이미지로 재생성하도록 상기 복원 이미지 생성 모델을 상기 이미지 판별 모델과 적대적으로 학습하는 것을 특징으로 하는 피검사체의 뇌 활동을 재구성한 이미지 생성 방법.
  4. 제3항에 있어서,
    상기 복원 이미지 생성 모델을 학습하는 단계는,
    상기 이미지 판별 모델이 상기 생성된 복원 이미지를 입력 받아 상기 입력 받은 복원 이미지를 상기 원본 이미지로 판별하는 확률을 증가시키도록 상기 복원 이미지 생성 모델을 학습하는 것을 특징으로 하는 피검사체의 뇌 활동을 재구성한 이미지 생성 방법.
  5. 제4항에 있어서,
    상기 판별하는 단계는,
    상기 이미지 판별 모델을 이용하여 미리 설정된 상기 대상 객체가 속한 제1 카테고리의 라벨을 기반으로 상기 판별된 이미지를 상기 대상 객체가 속한 제1 카테고리로 분류할지 함께 판별하며,
    상기 복원 이미지 생성 모델을 학습하는 단계는,
    상기 판별된 결과를 이용하여 상기 이미지 판별 모델이 상기 입력 받은 복원 이미지를 상기 대상 객체가 속한 제1 카테고리로 분류하는 확률을 증가시키도록 상기 복원 이미지 생성 모델을 학습시키고,
    상기 이미지 판별 모델을 학습하는 단계는,
    상기 판별된 결과를 이용하여 상기 입력 받은 이미지를 상기 대상 객체가 속한 제1 카테고리로 분류하는 확률을 증가시키도록 상기 이미지 판별 모델을 학습시키는 것을 특징으로 하는 피검사체의 뇌 활동을 재구성한 이미지 생성 방법.
  6. 제5항에 있어서,
    상기 특징 벡터 추출 모델은,
    상기 판별된 결과를 이용하여 상기 이미지 판별 모델이 상기 입력 받은 이미지를 상기 대상 객체가 속한 제1 카테고리로 분류하는 확률을 증가시키도록 학습하여 생성되는 것을 특징으로 하는 피검사체의 뇌 활동을 재구성한 이미지 생성 방법.
  7. 삭제
  8. 삭제
  9. 제1항에 있어서,
    상기 재구성 이미지를 생성하여 출력하는 단계는,
    상기 추출된 제1 특징 벡터 및 상기 추출된 제2 특징 벡터를 연쇄(concatenation) 기법을 이용하여 하나의 특징 벡터로 융합하고, 상기 융합된 특징 벡터를 기반으로 상기 대상 객체를 이미지화한 복원 이미지를 생성하도록 학습하여 생성한 상기 복원 이미지 생성 모델을 이용하여 상기 피검사체가 상기 대상 객체를 생각할 때 나타나는 상기 뇌 활동을 재구성하여 상기 대상 객체의 재구성 이미지를 생성하여 출력하는 것을 특징으로 하는 피검사체의 뇌 활동을 재구성한 이미지 생성 방법.
  10. 제1항에 있어서,
    상기 제2 특징 벡터 추출 모델은 미리 설정된 크기를 갖는 상기 뇌 활성도 매핑 데이터를 입력 받아, 상기 뇌 활성도 매핑 데이터로부터 상기 대상 객체의 특징을 나타내는 상기 제2 특징 벡터를 출력하는 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반의 레이어로 구성되는 것을 특징으로 하는 피검사체의 뇌 활동을 재구성한 이미지 생성 방법.
  11. 제1항에 있어서,
    상기 제1 특징 벡터 추출 모델은 미리 설정된 시간 간격으로 획득된 뇌파 신호 데이터를 입력 받아, 상기 뇌파 신호 데이터로부터 상기 대상 객체의 특징을 나타내는 상기 제1 특징 벡터를 출력하도록 시계열 분석이 가능한 게이트 순환 유닛(Gated Recurrent Unit, GRU) 기반의 레이어로 구성되는 것을 특징으로 하는 피검사체의 뇌 활동을 재구성한 이미지 생성 방법.
  12. 제1항에 있어서,
    상기 데이터를 획득하는 단계는,
    상기 획득된 뇌파 신호 데이터의 아티팩트를 제거하여 전처리하는 단계;를 더 포함하고,
    상기 제1 특징 벡터를 추출하는 단계는,
    상기 전처리된 뇌파 신호 데이터로부터 상기 제1 특징 벡터를 추출하는 것을 특징으로 하는 피검사체의 뇌 활동을 재구성한 이미지 생성 방법.
  13. 제1항에 있어서,
    상기 특징 벡터 추출 모델은,
    상기 획득된 데이터를 상기 대상 객체의 시각적 속성이 속한 제2 카테고리로도 함께 분류하도록 학습하여 생성되고,
    상기 복원 이미지 생성 모델은,
    상기 추출된 특징 벡터를 입력 받아 상기 대상 객체를 이미지화한 복원 이미지뿐만 아니라 상기 대상 객체의 시각적 속성만을 복원한 이미지도 생성하도록 학습하여 생성되며,
    상기 재구성 이미지를 생성하여 출력하는 단계는,
    상기 복원 이미지 생성 모델을 이용하여 상기 피검사체가 상기 대상 객체의 시각적 속성만을 생각할 때 나타나는 뇌 활동을 재구성하여 상기 대상 객체의 시각적 속성만을 재구성한 이미지를 생성하여 출력하는 것을 특징으로 하는 피검사체의 뇌 활동을 재구성한 이미지 생성 방법.
  14. 제13항에 있어서,
    상기 복원 이미지 생성 모델은,
    상기 추출된 특징 벡터를 입력 받아 상기 대상 객체의 시각적 속성이 속한 제2 카테고리와 다른 카테고리인 제3 카테고리에 속한 시각적 속성만을 복원한 이미지를 생성하도록 학습하여 생성되고,
    상기 재구성 이미지를 생성하여 출력하는 단계는,
    상기 복원 이미지 생성 모델을 이용하여 상기 피검사체가 상기 제2 카테고리에 속한 시각적 속성이 상기 제3 카테고리에 속한 시각적 속성으로 변경된 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 상기 제3 카테고리에 속한 시각적 속성으로 변경된 대상 객체를 재구성한 이미지를 생성하여 출력하는 것을 특징으로 하는 피검사체의 뇌 활동을 재구성한 이미지 생성 방법.
  15. 시각적으로 인식할 수 있는 대상 객체를 보고 반응한 피검사체의 뇌 활동에 따른 상기 대상 객체에 대한 정보를 포함하는 데이터를 획득하는 데이터 획득부;
    상기 획득된 데이터를 상기 대상 객체가 속한 카테고리로 분류하도록 학습하여 생성한 특징 벡터 추출 모델을 이용하여 상기 획득된 데이터로부터 상기 대상 객체에 대한 특징 벡터를 추출하는 특징 벡터 추출부; 및
    상기 추출된 특징 벡터를 기반으로 상기 대상 객체를 이미지화한 복원 이미지를 생성하도록 학습하여 생성한 복원 이미지 생성 모델을 이용하여 상기 피검사체가 상기 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 상기 대상 객체의 재구성 이미지를 생성하여 출력하는 이미지 처리부;를 포함하며,
    상기 데이터 획득부는,
    상기 피검사체의 뇌에 부위별로 부착된 복수 개의 뇌파 전극 채널들로부터 상기 대상 객체를 보고 반응한 상기 피검사체의 뇌파(Electroencephalography, EEG) 신호 데이터를 획득 뇌파 신호 데이터 획득부; 및
    상기 획득된 뇌파 신호 데이터를 분석하여 상기 피검사체의 뇌의 부위별 활성도를 매핑한 뇌 활성도 매핑 데이터를 획득하는 뇌 활성도 매핑 데이터 획득부;를 포함하고,
    상기 특징 벡터 추출부는,
    상기 획득된 뇌파 신호 데이터를 상기 대상 객체가 속한 카테고리로 분류하도록 학습하여 생성한 시간의 흐름에 따라 다르게 출력하는 제1 특징 벡터 추출 모델을 이용하여 상기 획득된 뇌파 신호 데이터에 포함된 순차적 정보를 반영하여 상기 획득된 뇌파 신호 데이터로부터 상기 대상 객체에 대한 제1 특징 벡터를 추출하는 제1 특징 벡터 추출부; 및
    상기 획득된 뇌 활성도 매핑 데이터를 상기 대상 객체가 속한 카테고리로 분류하도록 학습되어 생성한 입력 데이터를 압축하여 출력하는 제2 특징 벡터 추출 모델을 이용하여 상기 획득된 뇌 활성도 매핑 데이터에 포함된 공간적 정보를 반영하여 상기 획득된 뇌 활성도 매핑 데이터로부터 상기 대상 객체에 대한 제2 특징 벡터를 추출하는 제2 특징 벡터 추출부;를 포함하고,
    상기 이미지 처리부는, 상기 추출된 제1 특징 벡터 및 상기 제2 특징 벡터로부터 상기 복원 이미지를 생성하도록 상기 복원 이미지 생성 모델을 학습하는 것을 특징으로 하는 피검사체의 뇌 활동을 재구성한 이미지 생성 장치.
  16. 제15항에 있어서,
    상기 이미지 처리부는,
    상기 복원 이미지 생성 모델을 이용하여 상기 추출된 특징 벡터로부터 상기 대상 객체를 이미지화한 복원 이미지를 생성하는 복원 이미지 생성부; 및
    상기 대상 객체의 원본 이미지 또는 상기 생성된 복원 이미지를 입력 받은 이미지 판별 모델을 이용하여 상기 입력 받은 이미지가 상기 원본 이미지인지 판별하는 이미지 판별부;를 포함하고,
    상기 이미지 판별부는,
    상기 이미지 판별 모델이 상기 원본 이미지를 입력 받으면 상기 입력 받은 원본 이미지를 상기 원본 이미지라고 판별하는 확률이 증가되도록, 상기 생성된 복원 이미지를 입력 받으면 상기 입력 받은 복원 이미지를 상기 원본 이미지라고 판별하는 확률이 감소되도록 상기 이미지 판별 모델을 학습하며,
    상기 복원 이미지 생성부는,
    상기 판별된 결과를 이용하여 상기 생성된 복원 이미지를 상기 원본 이미지와 동일한 이미지로 재생성하도록 상기 복원 이미지 생성 모델을 상기 이미지 판별 모델과 적대적으로 학습하는 것을 특징으로 하는 피검사체의 뇌 활동을 재구성한 이미지 생성 장치.
  17. 삭제
  18. 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록되어 피검사체의 뇌 활동을 재구성한 이미지 생성을 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의해 실행되는 경우에,
    시각적으로 인식할 수 있는 대상 객체를 보고 반응한 상기 피검사체의 뇌 활동에 따른 상기 대상 객체에 대한 정보를 포함하는 데이터를 획득하는 단계;
    상기 획득된 데이터를 상기 대상 객체가 속한 카테고리로 분류하도록 학습하여 생성한 특징 벡터 추출 모델을 이용하여 상기 획득된 데이터로부터 상기 대상 객체에 대한 특징 벡터를 추출하는 단계; 및
    상기 추출된 특징 벡터를 기반으로 상기 대상 객체를 이미지화한 복원 이미지를 생성하도록 학습하여 생성한 복원 이미지 생성 모델을 이용하여 상기 피검사체가 상기 대상 객체를 생각할 때 나타나는 뇌 활동을 재구성하여 상기 대상 객체의 재구성 이미지를 생성하여 출력하는 단계;를 포함한 동작들을 수행하며,
    상기 데이터를 획득하는 단계는, 상기 피검사체의 뇌에 부위별로 부착된 복수 개의 뇌파 전극 채널들로부터 상기 대상 객체를 보고 반응한 상기 피검사체의 뇌파(Electroencephalography, EEG) 신호 데이터를 획득하는 단계;를 포함하고,
    상기 특징 벡터를 추출하는 단계는, 상기 획득된 뇌파 신호 데이터를 상기 대상 객체가 속한 제1 카테고리로 분류하도록 학습하여 생성한 시간의 흐름에 따라 다르게 출력하는 제1 특징 벡터 추출 모델을 이용하여 상기 획득된 뇌파 신호 데이터에 포함된 순차적 정보를 반영하여 상기 획득된 뇌파 신호 데이터로부터 상기 대상 객체에 대한 제1 특징 벡터를 추출하는 단계;를 포함하고,
    상기 데이터를 획득하는 단계는, 상기 획득된 뇌파 신호 데이터를 분석하여 상기 피검사체의 뇌의 부위별 활성도를 매핑한 뇌 활성도 매핑 데이터를 획득하는 단계;를 포함하고,
    상기 특징 벡터를 추출하는 단계는, 상기 획득된 뇌 활성도 매핑 데이터를 상기 대상 객체가 속한 제1 카테고리로 분류하도록 학습되어 생성한 입력 데이터를 압축하여 출력하는 제2 특징 벡터 추출 모델을 이용하여 상기 획득된 뇌 활성도 매핑 데이터에 포함된 공간적 정보를 반영하여 상기 획득된 뇌 활성도 매핑 데이터로부터 상기 대상 객체에 대한 제2 특징 벡터를 추출하는 단계;를 포함하고,
    상기 복원 이미지 생성 모델은 상기 추출된 제1 특징 벡터 및 상기 제2 특징 벡터로부터 상기 대상 객체를 이미지화한 복원 이미지를 생성하도록 학습하여 생성된 것을 특징으로 하는 컴퓨터 프로그램.
KR1020180107014A 2018-09-07 2018-09-07 피검사체의 뇌 활동을 재구성한 이미지 생성 장치 및 그 방법 KR102089014B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180107014A KR102089014B1 (ko) 2018-09-07 2018-09-07 피검사체의 뇌 활동을 재구성한 이미지 생성 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180107014A KR102089014B1 (ko) 2018-09-07 2018-09-07 피검사체의 뇌 활동을 재구성한 이미지 생성 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102089014B1 true KR102089014B1 (ko) 2020-03-13

Family

ID=69938315

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180107014A KR102089014B1 (ko) 2018-09-07 2018-09-07 피검사체의 뇌 활동을 재구성한 이미지 생성 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102089014B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220094967A (ko) * 2020-12-29 2022-07-06 성균관대학교산학협력단 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
KR20220124382A (ko) * 2021-03-03 2022-09-14 고려대학교 산학협력단 뇌파 신호를 이용한 얼굴 영상 생성 방법 및 장치
KR20220129405A (ko) 2021-03-16 2022-09-23 조선대학교산학협력단 전역 어텐션 기반 컨볼루션 네트워크를 이용한 이미지 분할 방법 및 장치
KR20220129406A (ko) 2021-03-16 2022-09-23 조선대학교산학협력단 잔차 컨볼루션 기반 딥러닝 네트워크를 이용한 영상 분할 방법 및 장치
KR20220139541A (ko) 2021-04-08 2022-10-17 조선대학교산학협력단 글로벌 어텐션을 이용한 영상 분할 방법 및 장치
KR20230047609A (ko) 2021-10-01 2023-04-10 조선대학교산학협력단 2차원 나노물질 기반 광섬유 및 이를 포함하는 스트레인 센서

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017076193A (ja) * 2015-10-13 2017-04-20 株式会社国際電気通信基礎技術研究所 脳活動解析装置、脳活動解析方法および脳活動解析プログラム
KR20180095708A (ko) * 2016-01-11 2018-08-27 케이엘에이-텐코 코포레이션 시료에 대한 시뮬레이팅된 출력 생성
JP2018205885A (ja) * 2017-05-31 2018-12-27 国立研究開発法人産業技術総合研究所 画像生成装置と画像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017076193A (ja) * 2015-10-13 2017-04-20 株式会社国際電気通信基礎技術研究所 脳活動解析装置、脳活動解析方法および脳活動解析プログラム
KR20180095708A (ko) * 2016-01-11 2018-08-27 케이엘에이-텐코 코포레이션 시료에 대한 시뮬레이팅된 출력 생성
JP2018205885A (ja) * 2017-05-31 2018-12-27 国立研究開発法人産業技術総合研究所 画像生成装置と画像生成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
K. Seeliger, et al. "Generative adversarial networks for reconstructing natural images from brain activity", bioRxiv (2017.12.08.)* *
Kavasidis, et al. "Brain2image: Converting brain signals into images." Proceedings of the 25th ACM international conference on Multimedia (2017.10.27.)* *
Shen, et al. "End-to-end deep image reconstruction from human brain activity." , bioRxiv (2018.02.27.)* *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220094967A (ko) * 2020-12-29 2022-07-06 성균관대학교산학협력단 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2022146050A1 (ko) * 2020-12-29 2022-07-07 성균관대학교산학협력단 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
KR102562377B1 (ko) * 2020-12-29 2023-08-01 성균관대학교산학협력단 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템
KR20220124382A (ko) * 2021-03-03 2022-09-14 고려대학교 산학협력단 뇌파 신호를 이용한 얼굴 영상 생성 방법 및 장치
KR102492342B1 (ko) * 2021-03-03 2023-01-26 고려대학교 산학협력단 뇌파 신호를 이용한 얼굴 영상 생성 방법 및 장치
KR20220129405A (ko) 2021-03-16 2022-09-23 조선대학교산학협력단 전역 어텐션 기반 컨볼루션 네트워크를 이용한 이미지 분할 방법 및 장치
KR20220129406A (ko) 2021-03-16 2022-09-23 조선대학교산학협력단 잔차 컨볼루션 기반 딥러닝 네트워크를 이용한 영상 분할 방법 및 장치
KR20220139541A (ko) 2021-04-08 2022-10-17 조선대학교산학협력단 글로벌 어텐션을 이용한 영상 분할 방법 및 장치
KR20230047609A (ko) 2021-10-01 2023-04-10 조선대학교산학협력단 2차원 나노물질 기반 광섬유 및 이를 포함하는 스트레인 센서

Similar Documents

Publication Publication Date Title
KR102089014B1 (ko) 피검사체의 뇌 활동을 재구성한 이미지 생성 장치 및 그 방법
Edla et al. Classification of EEG data for human mental state analysis using Random Forest Classifier
KR102129416B1 (ko) 뇌 신호로부터 변환한 이미지 기반의 감정 인식 방법 및 장치
CN111329474B (zh) 基于深度学习的脑电身份识别方法、系统及信息更新方法
Ilakiyaselvan et al. Deep learning approach to detect seizure using reconstructed phase space images
Almogbel et al. EEG-signals based cognitive workload detection of vehicle driver using deep learning
CN112244873A (zh) 一种基于混合神经网络的脑电时空特征学习与情感分类方法
Kaziha et al. A convolutional neural network for seizure detection
Radhakrishnan et al. Performance analysis of deep learning models for detection of autism spectrum disorder from EEG signals.
CN112617860B (zh) 基于锁相值构建的脑功能连接网络的情绪分类方法及系统
KR102292678B1 (ko) 뇌 인지 부하 분류 시스템 및 방법
KR20190033972A (ko) 심층신경망을 이용한 자동 뇌파 잡음 제거 방법 및 장치
CN111797747A (zh) 一种基于eeg、bvp和微表情的潜在情绪识别方法
KR20190073330A (ko) 심층신경망을 이용한 자동 뇌파 잡음 제거 방법 및 장치
Taherisadr et al. EEG signal dimensionality reduction and classification using tensor decomposition and deep convolutional neural networks
Qian et al. Decision-level fusion of EEG and pupil features for single-trial visual detection analysis
Hwaidi et al. A noise removal approach from eeg recordings based on variational autoencoders
CN113723206B (zh) 一种基于量子神经网络算法的脑电波识别方法
KR20200017709A (ko) 생체신호 클래스 분류 장치 및 그 방법
Sahu et al. Brain and Behavior Computing
Havugimana et al. Predicting cognitive load using parameter-optimized cnn from spatial-spectral representation of eeg recordings
Rostam et al. Classification of brainwave signals based on hybrid deep learning and an evolutionary algorithm
KR102307759B1 (ko) 특징정보 생성 장치, 방법 및 이를 포함하는 생체 신호 변환 장치
Mao et al. Design of deep convolutional networks for prediction of image rapid serial visual presentation events
Liu et al. Rapidly decoding image categories from MEG data using a multivariate short-time FC pattern analysis approach

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant