KR20230016381A - 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법 - Google Patents

워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법 Download PDF

Info

Publication number
KR20230016381A
KR20230016381A KR1020210097811A KR20210097811A KR20230016381A KR 20230016381 A KR20230016381 A KR 20230016381A KR 1020210097811 A KR1020210097811 A KR 1020210097811A KR 20210097811 A KR20210097811 A KR 20210097811A KR 20230016381 A KR20230016381 A KR 20230016381A
Authority
KR
South Korea
Prior art keywords
image
user
converted
image warping
training system
Prior art date
Application number
KR1020210097811A
Other languages
English (en)
Other versions
KR102647730B1 (ko
Inventor
홍순범
공현중
Original Assignee
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교병원 filed Critical 서울대학교병원
Priority to KR1020210097811A priority Critical patent/KR102647730B1/ko
Priority to US17/951,944 priority patent/US12033299B2/en
Publication of KR20230016381A publication Critical patent/KR20230016381A/ko
Application granted granted Critical
Publication of KR102647730B1 publication Critical patent/KR102647730B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Educational Technology (AREA)
  • Animal Behavior & Ethology (AREA)

Abstract

본 발명에 따르면, 복수의 촬영 각도에서 제1 객체를 포함하는 원본 영상을 촬영하는 촬영부, 상기 사용자에 대응되는 제2 객체를 포함하는 영상과 상기 촬영부에서 촬영된 상기 제1 객체를 포함하는 원본 영상을 입력 받아, 미리 학습된 영상 워핑 모델을 이용하여, 상기 제1 객체를 상기 제2 객체의 특징정보에 기초해 상기 제1 객체와 다른 제3 객체로 변환한 변환 영상을 생성하는 영상 워핑 장치 및 생성된 상기 변환 영상을 디스플레이하는 디바이스를 포함하는 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법이 개시된다.

Description

워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법 {INTERACTIVE TRAINING SYSTEM AND IMAGE WARPING MODEL LEARNING METHOD FOR AUTISTIC PATIENT USING IMAGE WARPING}
본 발명은 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법에 관한 것이다.
최근 인지과학 기술 분야의 발전에 따라 자폐 스펙트럼 장애가 있는 학령전기 또는 이후의 아동을 대상으로 한 사회성 기술을 증진시키는 장치들에 대한 관심이 증대되고 있다.
그러나, 현재 대상 아동의 사회성 기술을 증진시키기 위해서는, 먼저 타인에 대해 아동이 심리적인 안정감을 느끼도록 하는 것이 필요하며, 아동의 친숙도에 따라 타인과 점차 상호작용할 수 있도록 하는 기술이 필요하다.
본 발명의 일 실시예에 따른 해결하고자 하는 과제는, 타인에 대한 영상을 아동과의 친숙도에 따라 다른 대상으로 변환하여 제공하는 것을 포함한다.
본 명세서에 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상기 과제를 해결하기 위해, 본 발명의 일 측면에 따른 사용자의 상호작용 훈련 시스템은, 복수의 촬영 각도에서 제1 객체를 포함하는 원본 영상을 촬영하는 촬영부, 상기 사용자에 대응되는 제2 객체를 포함하는 영상과 상기 촬영부에서 촬영된 상기 제1 객체를 포함하는 원본 영상을 입력 받아, 미리 학습된 영상 워핑 모델을 이용하여, 상기 제1 객체를 상기 제2 객체의 특징정보에 기초해 상기 제1 객체와 다른 제3 객체로 변환한 변환 영상을 생성하는 영상 워핑 장치 및 생성된 상기 변환 영상을 디스플레이하는 디바이스를 포함할 수 있다.
여기서, 상기 제1 객체는, 상기 사용자와의 상호작용 빈도가 기 마련된 제1 기준 이하인 객체이며, 상기 제2 객체는, 상기 사용자와의 상호작용 빈도가 기 마련된 제2 기준을 초과하는 객체일 수 있다.
여기서, 상기 제3 객체로 변환한 변환 영상은, 상기 제1 객체보다 상기 제2 객체와 유사도가 더 가깝도록 변환된 것일 수 있다.
여기서, 상기 디바이스는, 상기 사용자에 의해 착용되는 헤드-마운티드(head-mounted) 디스플레이를 포함할 수 있다.
여기서, 상기 촬영부는, 상기 디바이스를 착용하는 사용자의 시야(field of view) 내의 장면을 촬영할 수 있다.
여기서, 상기 영상 워핑 모델은, 임의의 대상이 포함된 학습 영상을 입력 받아, 상기 제2 객체로부터 추출한 특징값에 기초하여, 상기 학습 영상을 재구성하여 출력하도록 학습된 것일 수 있다.
또한, 상기 사용자의 스트레스 지수를 측정하는 센서부를 더 포함하며, 상기 센서부는, 상기 사용자가 상기 디바이스를 착용하는 동안 생성된 상기 변환 영상에 대한 상기 사용자의 스트레스 지수를 측정할 수 있다.
여기서, 상기 영상 워핑 모델은, 상기 스트레스 지수에 더 기초하여 상기 학습 영상을 재구성하도록 학습된 것일 수 있다.
본 발명의 또 다른 측면에 따른 영상 워핑 모델 학습 장치에 의해 수행되는 영상 워핑 모델 학습 방법은, 임의의 대상이 포함된 학습 영상을 입력 받는 단계 및 변환 기준 대상으로부터 추출한 특징값에 기초하여, 상기 학습 영상을 재구성한 변환 영상을 출력하도록 적어도 하나의 레이어의 파라미터를 조절하는 단계를 포함하며, 상기 변환 기준 대상은, 상기 사용자와 상호작용 빈도가 기 마련된 기준을 초과하는 대상일 수 있다.
여기서, 상기 변환 영상에 대한 상기 사용자의 스트레스 지수를 입력 받는 단계 및 상기 스트레스 지수에 더 기초하여 상기 파라미터를 갱신하는 단계를 더 포함할 수 있다.
또한, 임의의 대상이 포함된 학습 영상을 입력 받는 단계 및 변환 기준 대상으로부터 추출한 특징값에 기초하여, 상기 학습 영상을 재구성한 변환 영상을 출력하도록 적어도 하나의 레이어의 파라미터를 조절하는 단계를 포함하며, 상기 변환 기준 대상은, 상기 사용자와 상호작용 빈도가 기 마련된 기준을 초과하는 대상인 영상 워핑 모델 학습 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램이 저장된 기록매체를 제공할 수 있다.
또한, 임의의 대상이 포함된 학습 영상을 입력 받는 단계 및 변환 기준 대상으로부터 추출한 특징값에 기초하여, 상기 학습 영상을 재구성한 변환 영상을 출력하도록 적어도 하나의 레이어의 파라미터를 조절하는 단계를 포함하며, 상기 변환 기준 대상은, 상기 사용자와 상호작용 빈도가 기 마련된 기준을 초과하는 대상인 영상 워핑 모델 학습 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 미리 학습된 영상 워핑 모델을 이용하여 타인에 대한 영상을 아동과의 친숙도에 따라 다른 대상으로 변환하여 스마트 글래스 또는 HMD(head mounted display)기기를 통해 제공함에 따라 해당 기기를 착용한 아동이 심리적 안정감을 느끼고, 스트레스를 줄여 대인관계에 호의적인 태도를 취할 수 있도록 할 수 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템의 영상 워핑 장치를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 워핑 모델 학습 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템을 이용하여 제1 객체를 인식하는 환경을 예로 들어 나타낸 것이다.
도 5는 본 발명의 일 실시예에 따른 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템에서 영상 워핑 모델을 이용하여 생성된 변환 영상을 예로 들어 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따른 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템에서 스트레스 지수에 따라 영상 워핑 모델을 학습시키는 것을 나타낸 것이다.
이하, 본 발명에 관련된 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 발명의 일 실시예는 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법에 관한 것이다.
도 1은 본 발명의 일 실시예에 따른 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템을 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템(1)은 영상 워핑 장치(10), 촬영부(20), 디바이스(30) 및 센서부(40)를 포함한다.
본 발명의 일 실시예에 따른 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템(1)은 Computer vision 기반의 AI 알고리즘을 이용하여, 착용자가 바라보는 사람을 착용자와 친숙한 대상을 닮도록 만듦으로써 신경 발달 장애 및 자폐스펙트럼 장애 사용자에게 심리적 안정감을 주고 고통을 완화시키기 위한 상호작용 훈련 시스템이다.
본 발명의 다양한 실시예에 따르면, 친숙한 대상은 착용자와 친숙한 사람뿐만 아니라, 착용자의 반려동물, 친근하게 생각하는 동물, 착용자에게 익숙한 애니메이션 영상의 캐릭터 등 다양한 대상을 포함할 수 있다.
촬영부(20)는 복수의 촬영 각도에서 제1 객체를 포함하는 원본 영상을 촬영한다.
촬영부(20)는 복수의 촬영 각도에서 제1 객체를 포함하는 원본 영상을 촬영함에 따라, 제1 객체의 정면, 좌측 및 우측 등의 각도에서 낯선 객체의 얼굴과 표정을 촬영할 수 있다.
촬영부(20)는 디바이스를 착용하는 사용자의 시야(field of view) 내의 장면을 촬영하게 되며, 디바이스(30)와 일체로 구현될 수 있고, 사용자의 신체에 또는 외부에 별도로 마련될 수도 있다.
영상 워핑 장치(10)는 프로세서(100) 및 메모리(200)를 포함한다.
메모리(200)는 미리 학습된 영상 워핑 모델과 다수의 객체를 포함하는 영상을 저장할 수 있다.
영상 워핑 장치(10)의 프로세서(100)는 상기 사용자에 대응되는 제2 객체를 포함하는 영상과 촬영부에서 촬영된 제1 객체를 포함하는 원본 영상을 입력 받아, 미리 학습된 영상 워핑 모델을 이용하여, 제1 객체를 제2 객체의 특징 정보에 기초해 제1 객체와 다른 제3 객체로 변환한 변환 영상을 생성한다.
여기서, 제1 객체는, 사용자와의 상호작용 빈도가 기 마련된 제1 기준 이하인 객체이며, 제2 객체는, 사용자와의 상호작용 빈도가 기 마련된 제2 기준을 초과하는 객체일 수 있다.
사용자와의 상호작용 빈도는 사용자와의 친숙도를 나타내는 것으로 가족, 친구, 보모와 같이 함께하는 시간이 많은 경우에 빈도가 높으며, 보육교사, 간호사, 낯선 사람, 처음 간 공간에서 만난 사람과 같이 만남의 횟수가 적은 경우에는 빈도가 낮아진다.
또한, 본 발명의 다양한 실시예에 따르면, 제1 객체는 친숙하지 않은 사람뿐만 아니라, 친숙하지 않은 가상의 인물, 가상의 아바타 등을 포함할 수 있고, 제2 객체는 사람뿐만 아니라, 착용자의 반려동물, 친근하게 생각하는 동물, 착용자에게 익숙한 애니메이션 영상의 캐릭터 등 다양한 대상을 포함할 수 있다.
또한, 제3 객체로 변환한 변환 영상은, 친근한 대상과 유사하게 얼굴을 합성한 영상으로, 제1 객체보다 제2 객체와 유사도가 더 가깝도록 변환된 것일 수 있다.
예를 들어, 낯선 사람인 제1 객체와 어머니에 대응하는 제2 객체의 영상을 이용하여 제3 객체로 변환한 영상의 경우, 제2 객체와 더 유사하도록 변환되며, 유사도의 경우는 사용자의 상호작용 정도에 따라 점차 변화될 수 있다.
여기서, 유사하다는 것은 객체 별 영상의 픽셀의 특징값이 서로 일치하는 정도가 높은 것을 의미한다. 즉, 제2 객체는 변환 기준 대상일 수 있다.
만일, 처음 제1 객체를 접하는 경우에는 제2 객체 측과 유사하도록 제3 객체로 변환한 영상을 생성하지만, 점차 제1 객체와 상호작용 빈도가 높아지고 사용자의 스트레스 지수를 측정한 결과 제1 객체와 친숙한 것으로 분석되는 경우에는 처음에 비해서 좀 더 제1 객체 측과 유사하도록 유사도를 변경하여 제3 객체로 변환한 영상을 생성할 수 있다.
또한, 프로세서(100)는 영상 워핑 모델을 지속적으로 학습시킬 수 있다.
영상 워핑 모델은, 임의의 대상이 포함된 학습 영상을 입력 받아, 변환 기준 대상으로부터 추출한 특징값에 기초하여, 학습 영상을 재구성하여 출력하도록 학습된 것이다.
여기서, 변환 기준 대상은, 사용자와 상호작용 빈도가 기 마련된 기준을 초과하는 대상을 지칭하며, 사용자와 친숙한 대상인 것이 바람직하다.
디바이스(30)는 생성된 변환 영상을 디스플레이한다.
여기서, 디바이스는, 사용자에 의해 착용되는 헤드-마운티드(head-mounted) 디스플레이를 포함한다.
헤드-마운티드(head-mounted) 디스플레이는 가상현실 또는 증강현실의 구현을 위한 디스플레이 장치로서 사용되며, 3D 디스플레이 기술과도 접목될 수 있다.
센서부(40)는 사용자의 스트레스 지수를 측정하며, 구체적으로 사용자가 디바이스를 착용하는 동안 생성된 변환 영상에 대한 사용자의 스트레스 지수를 측정한다.
센서부(40)는 시선추적 정보(VNG, EOG), HRV, GSR, 음성신호 등을 감지할 수 있고, HMD 안의 시선추적 카메라 센서와 EOG 전극을 포함하여 신호를 수집할 수 있다.
HRV (heart rate variability), GSR(galvanic skin response)는 사용자의 스트레스 및 긴장도에 따라 달라지게 되므로, 변환 영상을 확인하는 동안의 HRV와 GSR 변화를 모니터링 한다.
여기서, 스트레스 지수는 사용자가 디바이스를 통해 제3 객체를 확인한 이후, 사용자에게 나타나는 신체적, 정신적 반응을 측정하여 나타낸 것이다.
이후, 영상 워핑 모델은, 스트레스 지수에 더 기초하여 학습 영상을 재구성하도록 학습될 수 있다.
센서부(40)는 사용자의 신체에 부착될 수 있으며, 디바이스의 내부 모니터링 기능을 이용해 불안감 등의 요소를 감지할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템의 영상 워핑 장치를 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템의 영상 워핑 장치(10)는 이미지 입력부(110), 얼굴 추출부(120), 얼굴 landmark 추출부(130), 이미지 워핑부(140) 및 이미지 합성부(150)를 포함할 수 있으며, 신경망을 학습시키기 위한 프로세서(160)의 변환 기준 대상 이미지 입력부(161) 및 영상 워핑 모델 학습부(162)를 포함할 수 있다.
이미지 입력부(110)는 촬영부에서 촬영된 제1 객체를 포함하는 원본 영상을 입력 받고, 얼굴 추출부(120)는 원본 영상에서 제1 객체의 얼굴에 대응되는 영역을 추출한다. 이후, 얼굴 landmark 추출부(130)는 눈, 코, 입, 턱 선, 눈썹 등을 포함하는 얼굴의 랜드마크를 추출한다.
이 경우, 얼굴이 인식된 부분에 레이아웃이 생성되고, 눈, 코, 입, 턱 선, 눈썹 등 복수개의 포인트 지점과 포인트 지점을 이은 연결선이 생성될 수 있다.
이후, 랜드마크 좌표와 인식한 얼굴 좌표를 획득할 수 있으며, 이를 기반으로 원본 영상의 픽셀별로 특징값을 추출할 수 있다.
이미지 워핑부(140)는 원본 영상의 제1 객체를 제2 객체와 유사하도록 영상 워핑을 수행한다. 영상 워핑은 픽셀의 위치를 이동하는 기하학적 처리 중의 한 기법이다.
영상의 확대나 축소와 같은 기하학적 처리는 모든 픽셀에 대하여 일정한 규칙을 적용함으로써 균일한 반환 결과를 얻게 된다. 반면 영상 워핑은 픽셀별로 이동 정도를 달리할 수 있다.
이미지 워핑부(140)는 원본 영상의 제1 객체에서 추출한 픽셀별 특징값에 대해 학습된 영상 워핑 모델을 이용하여 제2 객체와 유사해지도록 각각 픽셀별로 이동 정도를 결정하여 변환한다.
여기서, 변환 기준 대상 이미지 입력부(161)에서 임의의 대상이 포함된 학습 영상을 입력 받고, 영상 워핑 모델 학습부(162)에서 변환 기준 대상으로부터 추출한 특징값에 기초하여, 학습 영상을 재구성하여 출력하도록 학습시키면서, 픽셀별 이동 정도를 결정하게 된다.
이후, 이미지 워핑부(140)는 제1 객체가 포함된 영상이 입력되는 경우, 제2 객체, 즉 변환 기준 대상과 유사해지도록 변환시키기 위한 픽셀별 이동 정도에 따라 제1 객체의 영상을 변환시키게 되고, 이미지 합성부(150)는 제2 객체와 유사한 합성 얼굴을 생성한다.
생성된 변환 영상은 디바이스의 디스플레이를 통해 사용자에게 제공되며, 디바이스는 HMD 장치(31)를 포함할 수 있다. 사용자는 변환 영상을 확인하면서 스트레스 지수 측정부(41)를 통해 변환 영상에 대한 사용자의 스트레스 지수를 측정한다.
여기서, 스트레스 지수는 사용자가 디바이스를 통해 제3 객체를 확인한 이후, 사용자에게 나타나는 신체적, 정신적 반응을 측정하여 나타낸 것이다.
이후, 영상 워핑 모델은, 스트레스 지수에 더 기초하여 학습 영상을 재구성하도록 학습될 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 워핑 모델 학습 방법을 나타낸 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 워핑 모델 학습 방법은 영상 워핑 모델 학습 장치에 의해 수행되며, 단계 S100에서 임의의 대상이 포함된 학습 영상을 입력 받는다.
단계 S200에서 변환 기준 대상으로부터 추출한 특징값에 기초하여, 학습 영상을 재구성한 변환 영상을 출력하도록 적어도 하나의 레이어의 파라미터를 조절한다.
여기서, 변환 기준 대상은, 사용자와 상호작용 빈도가 기 마련된 기준을 초과하는 대상이다.
단계 S300에서 변환 영상에 대한 사용자의 스트레스 지수를 입력 받는다.
단계 S400에서 스트레스 지수에 더 기초하여 파라미터를 갱신한다.
도 4는 본 발명의 일 실시예에 따른 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템을 이용하여 제1 객체를 인식하는 환경을 예로 들어 나타낸 것이다.
도 4를 참조하면, 사용자는 디바이스(30)를 착용할 수 있으며, 디바이스(30)에는 촬영부(20)가 구비될 수 있다.
일부 실시예에 따른 디바이스는 AR 글래스 장치일 수 있으며, AR 글래스 장치는 안경과 동일한 방식으로 사용자(2)의 머리에 착용 될 수 있다.
도 4에서는 사용자가 AR 글래스를 착용하는 것으로 도시하였으나, 본 발명의 다양한 실시예에 따르면, 사용자는 가상현실(VR)서비스를 제공하는 장치와 증강현실(AR)서비스를 제공하는 장치, 혼합현실(MR)서비스를 제공하는 장치를 이용할 수 있다. AR 글래스 장치는 디스플레이(31)를 통해 AR 글래스 장치(30)를 착용한 사용자(2)에게 시각적 정보를 전달할 수 있다. AR 글래스 장치(30)는, 예를 들어, 디스플레이(31)를 통해 AR 글래스 장치(30)의 제어를 위한 사용자 인터페이스, AR 글래스 장치(30)의 상태 표시를 위한 사용자 인터페이스 등을 표시할 수 있다.
AR 글래스 장치(30)의 디스플레이(31)는, 예를 들어, 광학적 투시(optical see-through)가 가능한 반 반사곡면 거울(curved mirror) 방식, 도광(light guide) 방식 또는 도파로(waveguide) 방식 중 적어도 하나의 방식을 사용할 수 있다. AR 글래스 장치(30)는 광학적 투시가 가능한 디스플레이(31)를 통해 입체적 이미지에 관한 정보를 전달함으로써, 사용자(2)에게 증강 현실의 경험을 제공할 수 있다.
여기서, 촬영부(20)는, 디바이스(30)를 착용하는 사용자(2)의 시야(field of view) 내의 장면을 촬영하게 되고, 사용자가 디바이스를 통해 마주하는 대상(3, 5)을 보는 경우, 촬영부(20)는 대상(3, 5)을 포함하는 영상을 원본 영상으로 하여 영상 워핑 장치로 전송한다.
일부 실시예에 따른 촬영부는 카메라일 수 있으며, AR 글래스 장치(30)는 카메라(20)를 통해 AR 글래스 장치(30)의 전방에 위치한 적어도 하나의 객체를 포함하는 프리뷰(preview) 영상을 촬영할 수 있다. 도 4에서 AR 글래스 장치(30)의 카메라(20)는 AR 글래스 장치(20)의 전면 중앙에 위치하고 있는 것으로 도시되어 있으나, 카메라(20)의 위치가 반드시 이에 한정되는 것은 아니다.
영상 워핑 장치는 대상(3, 5)의 얼굴(4, 6)을 각각 인식하여 변환하고자 하는 친숙한 대상의 모습으로 변환하게 되며, 이후 변환 영상을 디바이스(30)의 디스플레이(31)를 통해 사용자에게 제공한다.
이에 따라, 사용자(2)는 디바이스(30)를 착용한 이후, 대상(3, 5)의 얼굴(4, 6)을 친숙한 대상과 유사한 얼굴로 인식할 수 있다.
또 다른 실시예에서, 가상현실(VR)서비스를 제공하는 장치를 이용하는 경우 사용자(2)가 가상의 환경에서 친숙한 대상의 모습으로 변환한 변환 영상을 제공 받을 수 있다.
가상현실(VR)서비스를 이용하는 경우에는, 가상의 환경을 사용자와 친숙한 공간으로 변경하여 제공할 수 있으므로, 사용자가 더욱 안정적으로 대상과 상호작용을 할 수 있게 된다.
이러한 안경을 착용하고 타인의 얼굴을 볼 때, 타인의 얼굴을 친숙한 사람과 닮게 변경 해줌으로써 착용자가 심리적 안정감을 느끼고, 스트레스를 줄여 대인관계에 호의적인 태도를 취할 수 있도록 할 수 있다.
또한, 대중 강연이나 면접시험 등 다수의 사람들을 상대하는 사람들에게 이러한 안경을 착용하게 함으로써 심리적 부담감을 덜어 줄 수 있어, 자폐증 환자 뿐만 아니라 상호작용을 훈련하고자 하는 사람에게도 적용 가능할 수 있다.
도 5는 본 발명의 일 실시예에 따른 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템에서 영상 워핑 모델을 이용하여 생성된 변환 영상을 예로 들어 나타낸 것이다.
도 5의 (a)는 도 4에서 낯선 대상(3)의 얼굴(4)을 따로 추출한 것이다. 구체적으로 원본 영상에서 제1 객체의 얼굴에 대응되는 영역(310)을 추출하고, 눈, 코, 입, 턱 선, 눈썹 등을 포함하는 얼굴의 랜드마크를 추출한다.
여기서, 랜드마크 좌표와 인식한 얼굴 좌표를 획득할 수 있으며, 이를 기반으로 원본 영상의 픽셀별로 특징값을 추출할 수 있다.
이후, 영상 워핑을 수행하기 위해 제2 객체인 친숙한 대상의 이미지를 입력 받고, 영상 워핑 모델을 이용하여, 원본 영상의 제1 객체에서 추출한 픽셀별 특징값에 대해 학습된 영상 워핑 모델을 이용하여 제2 객체와 유사해지도록 각각 픽셀별로 이동 정도를 결정하여 변환한다.
본 발명의 다양한 실시예에 따르면, 제2 객체인 친숙한 대상은 착용자와 친숙한 사람뿐만 아니라, 착용자의 반려동물, 친근하게 생각하는 동물, 착용자에게 익숙한 애니메이션 영상의 캐릭터 등 다양한 대상을 포함할 수 있다.
동물과 캐릭터의 경우 워핑 기술 적용 시점에 제2 객체의 모습을 애니메이션 캐릭터나 고양이 등으로 적용한 뒤, 영상 워핑 모델의 파라미터를 조절할 수 있다.
본 발명의 일 실시예에 따르면 영상 워핑 모델은 생성적 적대 신경망(GAN, Generative Adversarial Network)을 포함하며, 생성자(Generator)와 감별자(Discriminator)를 포함하여 구현될 수 있다.
이에 따라, 제2 객체와 유사해지도록 변환시키기 위한 픽셀별 이동 정도에 따라 제1 객체의 영상을 변환하여 도 5의 (b)와 같은 제3 객체의 변환 영상을 얻을 수 있다.
도 5의 (b)에 나타난 바와 같이, 제2 객체의 얼굴에 대응되는 영역(320)에 따라 머리(321), 눈썹(322), 눈 형태와 눈의 표정(323), 볼의 점 또는 주름(324), 입술의 형태 및 표정에 따른 모양(325)을 변환할 수 있다.
도 6은 본 발명의 일 실시예에 따른 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템에서 스트레스 지수에 따라 영상 워핑 모델을 학습시키는 것을 나타낸 것이다.
도 6의 (a)에 나타난 바와 같이, 본 발명의 일 실시예에 따르면, 제1 객체의 얼굴 표정을 유지한 채, 제2 객체의 얼굴로 변경되는 정도를 조절할 수 있다.
예를 들어, 낯선 사람인 제1 객체에 대응하는 영상이 A 영상이고, 친숙한 사람인 제2 객체에 대응하는 영상이 E 영상이며, 변환 영상은 그 사이 B 영상, C 영상, D 영상 순서대로 제2 객체와 더 유사하도록 변환될 수 있다.
만일, 처음 제1 객체를 접하는 경우에는 제2 객체 측과 유사하도록 제3 객체로 변환한 영상을 생성하지만, 점차 제1 객체와 상호작용 빈도가 높아지고 사용자의 스트레스 지수를 측정한 결과 제1 객체와 친숙한 것으로 분석되는 경우에는 처음에 비해서 좀 더 제1 객체 측과 유사하도록 유사도를 변경하여 제3 객체로 변환한 영상을 생성할 수 있다.
이를 위해, 도 6의 (b)에 나타난 바와 같이, 영상 워핑 모델은, 스트레스 지수에 더 기초하여 학습 영상을 재구성하도록 학습될 수 있다.
영상 워핑 모델을 학습시키기 위해 입력부(410)를 통해 사용자의 EMG 시그널(signal)을 입력 받고, 샘플 추출부(420)를 통해 사용자의 EMG 시그널에서 변환 기준 대상을 확인한 시점의 EMG 시그널을 추출한다. 이후, 스펙트로그램 변환부(430)에서 방출되는 빛이나 소리 영역을 주요한 특징 중심으로 표시하는 스펙트럼도로 변환하고, 변환된 스펙트럼도를 이용하여 영상 워핑 모델(440)의 파라미터를 갱신한다.
입력부(410)는 센서부(40)를 통해 사용자의 EMG 시그널(signal) 이외에도, 시선추적 정보(VNG, EOG), HRV, GSR, 음성신호 등을 입력 받을 수 있다.
여기서, 스트레스 지수는 사용자가 디바이스를 통해 제3 객체를 확인한 이후, 사용자에게 나타나는 신체적, 정신적 반응을 측정하여 나타낸 것이다.
이후, 영상 워핑 모델은, 스트레스 지수에 더 기초하여 학습 영상을 재구성하도록 학습될 수 있다.
만일 사용자의 스트레스 지수가 높다면, 영상 워핑 모델의 파라미터를 친숙한 대상 이미지의 픽셀의 특징값과 유사하도록 갱신하고, 사용자의 스트레스 지수가 낮다면, 영상 워핑 모델의 파라미터를 낯선 대상 이미지의 픽셀의 특징값과 유사하도록 갱신할 수 있다.
또한, 사용자의 스트레스 지수에 따라 영상 워핑 모델의 파라미터를 갱신하는 것은 프로세서에 의해 자동으로 구현될 수 있다.
또한, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능한 기록매체로서, 상기 컴퓨터 프로그램은, 영상 워핑 모델 학습 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.
또한, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 영상 워핑 모델 학습 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램을 제공할 수 있다.
이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

Claims (12)

  1. 사용자의 상호작용 훈련 시스템에 있어서,
    복수의 촬영 각도에서 제1 객체를 포함하는 원본 영상을 촬영하는 촬영부;
    상기 사용자에 대응되는 제2 객체를 포함하는 영상과 상기 촬영부에서 촬영된 상기 제1 객체를 포함하는 원본 영상을 입력 받아, 미리 학습된 영상 워핑 모델을 이용하여, 상기 제1 객체를 상기 제2 객체의 특징정보에 기초해 상기 제1 객체와 다른 제3 객체로 변환한 변환 영상을 생성하는 영상 워핑 장치; 및
    생성된 상기 변환 영상을 디스플레이하는 디바이스를 포함하는 상호작용 훈련 시스템.
  2. 제1항에 있어서,
    상기 제1 객체는, 상기 사용자와의 상호작용 빈도가 기 마련된 제1 기준 이하인 객체이며, 상기 제2 객체는, 상기 사용자와의 상호작용 빈도가 기 마련된 제2 기준을 초과하는 객체인 상호작용 훈련 시스템.
  3. 제1항에 있어서,
    상기 제3 객체로 변환한 변환 영상은,
    상기 제1 객체보다 상기 제2 객체와 유사도가 더 가깝도록 변환된 것인 상호작용 훈련 시스템.
  4. 제1항에 있어서,
    상기 디바이스는, 상기 사용자에 의해 착용되는 헤드-마운티드(head-mounted) 디스플레이를 포함하는 상호작용 훈련 시스템.
  5. 제1항에 있어서,
    상기 촬영부는, 상기 디바이스를 착용하는 사용자의 시야(field of view) 내의 장면을 촬영하는 상호작용 훈련 시스템.
  6. 제1항에 있어서,
    상기 영상 워핑 모델은, 임의의 대상이 포함된 학습 영상을 입력 받아, 상기 제2 객체로부터 추출한 특징값에 기초하여, 상기 학습 영상을 재구성하여 출력하도록 학습된 것인 상호작용 훈련 시스템.
  7. 제6항에 있어서,
    상기 사용자의 스트레스 지수를 측정하는 센서부;를 더 포함하며,
    상기 센서부는, 상기 사용자가 상기 디바이스를 착용하는 동안 생성된 상기 변환 영상에 대한 상기 사용자의 스트레스 지수를 측정하는 상호작용 훈련 시스템.
  8. 제7항에 있어서,
    상기 영상 워핑 모델은, 상기 스트레스 지수에 더 기초하여 상기 학습 영상을 재구성하도록 학습된 것인 상호작용 훈련 시스템.
  9. 영상 워핑 모델 학습 장치에 의해 수행되는 영상 워핑 모델 학습 방법에 있어서,
    임의의 대상이 포함된 학습 영상을 입력 받는 단계; 및
    변환 기준 대상으로부터 추출한 특징값에 기초하여, 상기 학습 영상을 재구성한 변환 영상을 출력하도록 적어도 하나의 레이어의 파라미터를 조절하는 단계;를 포함하며,
    상기 변환 기준 대상은, 사용자와 상호작용 빈도가 기 마련된 기준을 초과하는 대상인 영상 워핑 모델 학습 방법.
  10. 제9항에 있어서,
    상기 변환 영상에 대한 상기 사용자의 스트레스 지수를 입력 받는 단계; 및
    상기 스트레스 지수에 더 기초하여 상기 파라미터를 갱신하는 단계를 더 포함하는 영상 워핑 모델 학습 방법.
  11. 임의의 대상이 포함된 학습 영상을 입력 받는 단계; 및
    변환 기준 대상으로부터 추출한 특징값에 기초하여, 상기 학습 영상을 재구성한 변환 영상을 출력하도록 적어도 하나의 레이어의 파라미터를 조절하는 단계;를 포함하며,
    상기 변환 기준 대상은, 사용자와 상호작용 빈도가 기 마련된 기준을 초과하는 대상인 영상 워핑 모델 학습 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램이 저장된 기록매체.
  12. 임의의 대상이 포함된 학습 영상을 입력 받는 단계; 및
    변환 기준 대상으로부터 추출한 특징값에 기초하여, 상기 학습 영상을 재구성한 변환 영상을 출력하도록 적어도 하나의 레이어의 파라미터를 조절하는 단계;를 포함하며,
    상기 변환 기준 대상은, 사용자와 상호작용 빈도가 기 마련된 기준을 초과하는 대상인 영상 워핑 모델 학습 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램.
KR1020210097811A 2021-07-26 2021-07-26 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법 KR102647730B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210097811A KR102647730B1 (ko) 2021-07-26 2021-07-26 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법
US17/951,944 US12033299B2 (en) 2021-07-26 2022-09-23 Interaction training system for autistic patient using image warping, method for training image warping model, and computer readable storage medium including executions causing processor to perform same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210097811A KR102647730B1 (ko) 2021-07-26 2021-07-26 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법

Publications (2)

Publication Number Publication Date
KR20230016381A true KR20230016381A (ko) 2023-02-02
KR102647730B1 KR102647730B1 (ko) 2024-03-14

Family

ID=85225442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210097811A KR102647730B1 (ko) 2021-07-26 2021-07-26 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법

Country Status (1)

Country Link
KR (1) KR102647730B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100025862A (ko) 2008-08-28 2010-03-10 동명대학교산학협력단 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성시스템
KR102216899B1 (ko) * 2020-01-31 2021-02-17 임시원 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법
KR20210028786A (ko) * 2019-09-04 2021-03-15 주식회사 옴니씨앤에스 Vr 환경에서의 개인 또는 그룹 치료 시스템 및 그 방법
KR102277820B1 (ko) * 2021-01-29 2021-07-16 전다정 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100025862A (ko) 2008-08-28 2010-03-10 동명대학교산학협력단 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성시스템
KR20210028786A (ko) * 2019-09-04 2021-03-15 주식회사 옴니씨앤에스 Vr 환경에서의 개인 또는 그룹 치료 시스템 및 그 방법
KR102216899B1 (ko) * 2020-01-31 2021-02-17 임시원 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법
KR102277820B1 (ko) * 2021-01-29 2021-07-16 전다정 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dongyue Chen외 4인. "Face Swapping: Realistic Image Synthesis Based on Facial Landmarks Alignment". Hindawi. 제2019권, 제8902701호, pp.1-11, 2019.03.14. 공개 1부.* *

Also Published As

Publication number Publication date
US20230123330A1 (en) 2023-04-20
KR102647730B1 (ko) 2024-03-14

Similar Documents

Publication Publication Date Title
US10667697B2 (en) Identification of posture-related syncope using head-mounted sensors
US10813559B2 (en) Detecting respiratory tract infection based on changes in coughing sounds
US10376153B2 (en) Head mounted system to collect facial expressions
JP7253017B2 (ja) 反射を利用する拡張現実システムおよび方法
US20210280322A1 (en) Wearable-based certification of a premises as contagion-safe
US20210007607A1 (en) Monitoring blood sugar level with a comfortable head-mounted device
KR102277820B1 (ko) 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법
Cohn et al. Multimodal coordination of facial action, head rotation, and eye motion during spontaneous smiles
CN109976513B (zh) 一种系统界面设计方法
KR20190005219A (ko) 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들
US10299716B2 (en) Side face image-based mental state determination
KR102168968B1 (ko) 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
US20210278671A1 (en) Head wearable device with adjustable image sensing modules and its system
Wu et al. BioFace-3D: Continuous 3D facial reconstruction through lightweight single-ear biosensors
CN116368529A (zh) 基于当前用户外观的用户的表示
US11328187B2 (en) Information processing apparatus and information processing method
KR102647730B1 (ko) 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법
US20230282080A1 (en) Sound-based attentive state assessment
US12033299B2 (en) Interaction training system for autistic patient using image warping, method for training image warping model, and computer readable storage medium including executions causing processor to perform same
EP4300447A1 (en) User representation using depths relative to multiple surface points
US20240127565A1 (en) Modifying user representations
US20240221292A1 (en) Light normalization in combined 3d user representations
Xuan et al. SpecTracle: Wearable Facial Motion Tracking from Unobtrusive Peripheral Cameras
CN117333588A (zh) 使用相对于多个表面点的深度的用户表示
CN118279472A (zh) 组合3d用户表示中的光归一化

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant