KR20210028370A - 가상현실 기반 지능형 표준화환자 훈련 및 평가 시스템 - Google Patents

가상현실 기반 지능형 표준화환자 훈련 및 평가 시스템 Download PDF

Info

Publication number
KR20210028370A
KR20210028370A KR1020190109336A KR20190109336A KR20210028370A KR 20210028370 A KR20210028370 A KR 20210028370A KR 1020190109336 A KR1020190109336 A KR 1020190109336A KR 20190109336 A KR20190109336 A KR 20190109336A KR 20210028370 A KR20210028370 A KR 20210028370A
Authority
KR
South Korea
Prior art keywords
user input
evaluation
scenario
standardized
training
Prior art date
Application number
KR1020190109336A
Other languages
English (en)
Inventor
전재후
Original Assignee
메디팜소프트(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메디팜소프트(주) filed Critical 메디팜소프트(주)
Priority to KR1020190109336A priority Critical patent/KR20210028370A/ko
Publication of KR20210028370A publication Critical patent/KR20210028370A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Acoustics & Sound (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

가상환경에서 훈련 및 평가를 위한 단말기 및 단말기 동작 방법이 개시된다. 본 발명의 일 실시 예에 따른 단말기 동작 방법은, 진단평가 대상 시나리오를 셋팅하는 단계, 상기 셋팅된 시나리오에 따른 가상 진단 환경을 표시하는 단계, 사용자 입력을 획득하는 단계, 상기 사용자 입력이 의료적 판단인지 여부를 판단하는 단계, 및 상기 사용자 입력이 의료적 판단인 경우 평가 모델에 기초하여 사용자 입력 평가를 수행하고, 상가 사용자 입력이 의료적 판단이 아닌 경우 사용자 입력에 대응한 응답을 출력하는 단계를 포함한다.

Description

가상현실 기반 지능형 표준화환자 훈련 및 평가 시스템{Intelligent standardized patient training and evaluation system. based on virtual reality}
본 발명은 가상현실을 기반으로 하는 표준화환자 훈련 및 평가 시스템에 관한 것이다. 구체적으로 본 발명은 표준화된 훈련 및 평가 시스템을 가상현실에 적용한 수련의 또는 의과대학 학생을 위한 훈련 및 평가 시스템에 관한 것이다.
의과대학에서 환자 진단 교육에 있어서 표준화환자의 확보에 어려움을 겪어 왔다. 연기자를 이용한 표준화환자 제공의 한계로 인공지능 표준화환자에 대한 요구가 날로 증가하고 있다.
일반적으로 수행되는 연기자를 통한 표준화환자 진단은 환자의 상태와 연기자의 상태가 일치할 수 없기 때문에 현실적인 진단 교육이 어려운 문제가 있다. 더하여, 의과대학에서 표준화환자 유치를 위해 지출하는 비용이 상당하다는 문제도 있다.
이러한 문제점들을 해결하기 위해 인공지능 표준화환자와 가상현실표현이 가능한 의료 전자VR 기기를 통해서 표준화환자의 상태를 효과적으로 재현하고, 표준화환자 연기자를 이용하지 않고도 환자 진단을 반복적으로 익힐 수 있으며, 다양한 증상의 인공지능 표준화환자 콘텐츠를 구축하여 다양한 증상에 대한 진단 실습이 가능한 가상현실 기반 표준화환자 훈련 및 평가 시스템을 이하에서 설명하기로 한다.
본 발명의 일 실시 예에 따른 표준화환자 훈련 및 평가 시스템은 인공지능 표준화환자를 이용하여 기존의 연기자를 대체할 수 있는 훈련 및 평가 시스템을 제공하는 것을 목적으로 한다.
본 발명의 일 실시 예에 따른 표준화환자 훈련 및 평가 시스템은 표준화환자 연기자에서 할 수 없는 진단실습 경험을 제공하는 훈련 및 평가 시스템을 제공하는 것을 목적으로 한다.
본 발명의 일 실시 예에 따른 표준화환자 훈련 및 평가 시스템은 연구에 의해 추가적으로 생성될 수 있는 진료 시나리오를 생성, 편집할 수 있는 도구를 제공하는 것을 목적으로 한다.
본 발명의 일 실시 예에 따른 단말기 동작 방법은, 진단평가 대상 시나리오를 셋팅하는 단계, 상기 셋팅된 시나리오에 따른 가상 진단 환경을 표시하는 단계, 사용자 입력을 획득하는 단계, 상기 사용자 입력이 의료적 판단인지 여부를 판단하는 단계, 및 상기 사용자 입력이 의료적 판단인 경우 평가 모델에 기초하여 사용자 입력 평가를 수행하고, 상가 사용자 입력이 의료적 판단이 아닌 경우 사용자 입력에 대응한 응답을 출력하는 단계를 포함한다.
본 발명의 일 실시 예에 따른 표준화환자 훈련 및 평가 시스템은, 인공지능 표준화환자와 가상현실표현이 가능한 의료 전자VR 기기를 통해서 표준화환자의 상태를 효과적으로 재현할 수 있다.
또한, 본 발명의 일 실시 예에 따른 표준화환자 훈련 및 평가 시스템은, 표준화환자 연기자를 이용하지 않고도 환자 진단을 반복적으로 익힐 수 있다.
또한, 본 발명의 일 실시 예에 따른 표준화환자 훈련 및 평가 시스템은, 다양한 증상의 인공지능 표준화환자 콘텐츠를 구축하여 다양한 증상에 대한 진단 실습이 가능하게 할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 가상현실기반 표준화환자 훈련 및 평가 시스템을 나타내는 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 단말기를 설명하기 위한 블록도이다.
도 3은 도 2에서 설명한 단말기 중 헤드 마운트 디스플레이 장치를 예시적으로 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 진단평가 애플리케이션을 나타내는 블록도이다.
도 5는 표준화환자 시나리오 관리부에서 관리하는 증상별 시나리오의 일 예를 나타낸다.
도 6은 본 발명의 일 실시 예에 따른 표준화환자 진단평가 과정을 나타내는 흐름도이다.
본 발명에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 실시 예를 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명에 따른 실시 예를 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. "및/또는"은 언급된 항목들의 각각 및 하나 이상의 모든 조합을 포함한다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 가상현실기반 표준화환자 훈련 및 평가 시스템을 나타내는 개념도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 가상현실기반 표준화환자 훈련 및 평가 시스템은 단말기(100) 및 서버(200)로 구성될 수 있다.
도 1을 참고하여 본 발명의 일 실시 예에 따른 가상현실기반 표준화환자 훈련 및 평가 시스템을 개괄적으로 설명한다.
단말기(100)는 연산 및 디스플레이 기능을 갖는 가상현실환경을 표현할 수 있는 전자기기일 수 있다. 일 실시 예에서,특히 단말기(100)는 착용가능한 단말기일 수 있으며, 예를 들어 헤드 마운트 디스플레이 장치(HMD), 홀로렌즈, 또는 구글글라스일 수 있다.
더하여 단말기(100)는 사용자가 손이나 안구의 움직임을 감지하여 제어 신호를 생성하는파지할 수 있는 조이스틱과 같은 파지형 인터페이스 장치를 더 포함할 수 있다. 예를 들어, 인터페이스 장치는 조이스틱과 같은 파지형 인터페이스 장치, 사용자의 손의 움직임을 감지하여 인식하는 장치이거나, 사용자의 안구 움직임을 감지하여 인식하는 장치를 포함하며, 그 외 사용자의 생체 움직임을 감지하여 제어 명령을 생성할 수 있는 다른 전자 기기를 포함할 수 있다.
사용자는 단말기(100)의 디스플레이 상에 표시되는 가상의 표준화환자 진단평가 화면을 보고 육성 또는 물리적 입력을 통해 진단평가를 진행할 수 있다.
서버(200)는 단말기(100)와 유선 또는 무선으로 연결되어 가상현실기반 표준화환자 진단평가와 관련된 데이터를 주고받는다.
구체적으로 서버(200)는 표준화환자 진단평가를 위한 복수의 시나리오 및 시나리오별 데이터를 저장할 수 있다. 여기에서 데이터는 진단평가기준, 시나리오별 의료데이터 등을 포함할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 단말기를 설명하기 위한 블록도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 단말기(100)는 통신부(110), A/V 입력부(120), 사용자 입력부(130), 메모리(140), 출력부(150), 전원 공급부(160) 및 제어부(170)을 포함할 수 있다. 한편 도 2에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 단말기가 구현될 수도 있다.
본 발명의 일 실시 예에 따른 단말기(100)는 상술한 바와 같이 착용가능한 단말기일 수 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
통신부(110)는 도 1에서 설명한 서버(200) 또는 조이스틱을 포함하는 또 다른 단말기와 통신을 가능하게 하는 적어도 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 통신부(110)는 인터넷 모듈(111), 근거리 통신 모듈(112) 및 위치정보 모듈(113)중 적어도 하나를 포함할 수 있다.
인터넷 모듈(111)은 유선 또는 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(112)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
위치정보 모듈(113)은 단말기(100)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.
도 2를 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(140)에 저장되거나 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 조이스틱, 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치, 마우스 등으로 구성될 수 있다.
메모리(140)는 제어부(170)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수도 있다. 상기 메모리(140)는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(140)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 단말기(100)는 인터넷(internet)상에서 상기 메모리(140)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 및 햅틱 모듈(154) 등이 포함될 수 있다. 여기에서 햅틱모듈(154)은 사용자 입력부(130)에도 포함될 수 있다.
디스플레이부(151)는 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 의료진단평가와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 단말기(100)가 촬영 또는/및 수신된 영상을 UI 또는 GUI와 함께 표시할 수도 있다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.
단말기(100)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수 있다. 예를 들어, 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
음향 출력 모듈(152)은 통신부(110)로부터 수신되거나 메모리(140)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 단말기(100)가 획득한 데이터(예를 들어, 고장 알림 신호 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(153)는 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람부(153)의 일부로 분류될 수도 있다.
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅틱 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 모티터링 장치(400)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
전원 공급부(160)는 제어부(170)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
제어부(controller, 170)는 통상적으로 단말기(100)의 전반적인 동작을 제어한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(170)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 소프트웨어 코드는 메모리(140)에 저장되고, 제어부(170)에 의해 실행될 수 있다.
도 3은 도 2에서 설명한 단말기 중 헤드 마운트 디스플레이 장치를 예시적으로 나타낸다.
여기에서 본 발명은 헤드 마운트 디스플레이 장치(100)의 외관적 구성에 제한받지 않으며, 어떠한 외관적 구성을 갖는 헤드 마운트 디스플레이 장치라도 본 발명의 구현을 위해 적용 가능함은 자명하다.
특히 본 발명의 사용자 인터페이스가 적용되는 헤드 마운트 디스플레이 장치(100)는 디스플레이 화면(101) 및 적어도 하나 이상의 센서(102)를 구비하는 것을 특징으로 한다. 상기 디스플레이 화면(101)을 통해 헤드 마운트 디스플레이 장치(100)에서 제공하는 각종 컨텐츠 및 이미지를 사용자에게 제공함은 물론, 본 발명과 관련된 사용자 인터페이스에 관한 정보를 제공한다.
또한, 헤드 마운트 디스플레이 장치(100)는 적어도 하나 이상의 센서(102)를 구비하여, 헤드 마운트 디스플레이 장치(100)의 주변 환경을 검출한다. 또한, 헤드 마운트 디스플레이 장치(100)는 사용자의 머리에 안전하게 착용하기 위한 지지수단(103)과 사용자의 귀에 착용 가능한 오디오 출력 유닛(104)를 더 구비하는 것도 가능하다.
도 4는 본 발명의 일 실시 예에 따른 진단평가 애플리케이션을 나타내는 블록도이다.
여기에서 설명하는 진단평가 애플리케이션은 단말기(100)에 설치되어 도 2의 제어부(170)에 의해 실행되고, 단말기(100)를 구성하는 각 구성에 의해 적절하게 표현될 수 있다. 또한, 진단평가 애플리케이션은 서버(200)에 설치되어 실행될 수도 있으며, 이 경우 단말기(100)는 사용자로부터 입력을 획득하거나, 서버(200)로부터 획득한 응답을 출력할 수 있다. 또한, 진단평가 애플리케이션은 단말기(100) 및 서버(200)에 모두 설치되거나 일부 기능이 나뉘어 설치되어 실행될 수도 있다.
도 4에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 진단평가 애플리케이션(300)은 표준화환자 시나리오 관리부(310), 음성인식부(320), 음성처리부(330), 3차원 신체 모델 관리부(340), 증상 사운드 관리부(350) 진단실습 관리부(360), 및 지식편집기(370)를 포함할 수 있다.
표준화환자 시나리오 관리부(310)는 증상별로 마련되는 복수의 표준화환자 시나리오를 관리한다. 여기에서 표준화환자 시나리오는 표준화환자 증상에 따른 의사의 질문, 그에 대한 환자의 대답, 그 환자의 대답에 대한 의사의 재질문 또는 질병이나 검사방법 결정으로 구성되는 일련의 진료수행지침을 의미한다. 또한, 표준화환자 시나리오는 증상별로 생성될 수 있으나, 각각의 완전히 독립된 것은 아니며, 진단병명에 따라 다른 시나리오가 연결될 수도 있다.
도 5는 표준화환자 시나리오 관리부에서 관리하는 증상별 시나리오의 일 예를 나타낸다.
도 5에서 예시하는 바와 같이, 먼저 의사가 어디가 아픈가를 질문하면, 환자는 머리가 아프다고 답변을 한다. 이 경우 의사는 머리가 아프다는 환자의 답변에 이어 여러 질문을 할 수 있으며, 질문과 답변의 결과로 환자가 만성두통인지, 일차두통인지 등을 판단할 수 있다.
더하여, 만성두통인 경우에 만성두통을 유발하는 원인을 구체적으로 알기 위한 추가 문진이 있을 수 있으며, 이 경우, 환자의 대답에 따라 만성두통의 원인을 판단할 수 있다. 그리고 여기에서 더 나아가 만성두통의 원인 각각에 대한 다른 증상의 시나리오가 연결될 수도 있다.
이렇게 특정의 증상에 대하여 질문 및 답변, 그리고 그들의 흐름이 정해져 있는 것을 확인할 수 있다. 따라서, 본 발명의 일 실시 예에 따른 훈련 및 평가 시스템은 이러한 시나리오에 따라 사용자가 적절한 질문을 하였는지, 질문의 대답에 대하여 적절한 의료적 판단을 했는지 여부를 판단할 수 있다. 더하여, 시나리오는 한번 생성되면 불변의 것이 아니며, 추가적인 의료 연구 데이터를 기계학습하여 계속하여 수정/발전할 수 있다.
다시 도 4로 돌아온다.
앞서 설명한 바와 같이, 표준화환자 시나리오 관리부(310)는 복수의 증상별 시나리오를 관리하며, 더하여 추가적인 의료 연구 데이터를 획득하고 이를 기계학습하여 증상별 시나리오를 계속하여 보완한다.
음성인식부(320)는 사용자의 음성을 획득하고 인식한다. 음성인식부(320)는 마이크 등을 통해 획득한 사용자의 음성을 획득하고 인식한다.
음성인식부(320)는 모델을 학습하고, 학습된 모델을 이용하여 인식하는 단계를 통해 사용자의 음성을 인식한다. 음성인식에 관한 학습의 결과로서 발음사전, 언어모델 및 음향모델이 생성된다. 그리고 발음사전, 언어모델 및 음향모델에 기초하여 통합모델이 생성되며, 음성인식부(320)는 통합모델에 기초하여 음성인식을 수행한다.
구체적인 일 실시 예에서, 음성인식부(320)는 표준분석기술을 통해 금칙어에 대한 필터링을 수행할 수 있다. 구체적으로 음성인식부(320)는 욕설이나 비속어 등의 금칙어에 대해서 사전을 기반으로 인식하여 금칙어 표현에 대한 적절한 대화가 이루어지도록 할 수 있다.
또 다른 실시 예에서, 음성인식부(320)는 어휘분석기술을 통해 내용어를 분석하거나, 동의어를 처리하거나, 개체명 인식 및 분류를 수행할 수 있다.
또 다른 실시 예에서, 음성인식부(320)는 메타정보분석기술을 통해 문형을 인식하거나, 감정을 인식할 수 있다.
음성처리부(330)는 음성인식부(320)에서 인식된 사용자의 음성에 기반하여 텍스트로 생성된 응답을 음성으로 변환한다. 음성으로 변환된 응답은 도 2에서 설명한 음향 출력 모듈(152)을 통해 사용자에서 출력할 수 있다. 여기에서 텍스트로 생성된 응답은 표준화환자 시나리오 관리부(310)에서 관리하는 시나리오에 따라 생성되는 질문에 대한 응답일 수 있다.
음성처리부(330)는 언어처리모듈, 운율예측모듈 및 음성합성모듈을 통해 텍스트를 음성으로 변환한다.
여기에서 언어처리모듈은 텍스트 정규화 모듈과 발음변환 모듈로 구성된다. 텍스트 정규화 모듈은 규칙 기반 방법으로 문장 내의 숫자, 기호, 외국어 등을 정규화한다. 발음변환 모듈은 규칙 기반 방법으로 자음동화, 구개음화 등에 의해 변환되어야 하는 단어들의 발음을 변환한다.
운율예측모듈은 통계 기반 방법을 이용하여 운율 경계 및 액센트를 추정한다.
음성합성모듈은 Viterbi Search 알고리즘을 이용하여 음성을 합성한다.
음성처리부(330)와 음성인식부(320)는 하나의 모듈로 구성될 수도 있다. 음성처리부(330)와 음성인식부(320)는 일반적으로 사용되는 텍스트-음성 변환 API일 수도 있다.
3차원 신체 모델 관리부(340)는 가상현실 환경에서 표시되는 표준화환자의 3차원 모델링 데이터를 관리한다. 표준화환자의 3차원 모델링 데이터는 실제 배우의 움직임을 기반으로 하여 생성되며 기계학습을 통해 더 다양한 모션을 갖도록 관리될 수 있다. 그리고 표준화환자의 3차원 모델링 데이터는 질병마다 그리고, 의사의 의료행위에 따라 다른 움직임을 갖도록 생성된다.
3차원 신체 모델 관리부(340)에서 관리하는 표준화환자의 3차원 모델링 데이터는 도 2에서 설명한 디스플레이부(151)을 통해 출력되어 사용자에게 제공될 수 있다.
증상 사운드 관리부(350)는 사용자가 청진을 통해 들을 수 있는 표준화환자의 사운드 데이터를 관리한다. 표준화환자의 사운드 데이터는 청진을 통해 들을 수 있는 표준화환자의 심장박동소리나 호흡소리에 관한 사운드 데이터일 수 있다. 여기에서 심장박동소리나 호흡소리는 질병마다 그리고 의사의 의료행위에 따라 다른 사운드로 생성되며, 기계학습을 통해 보다 더 정교하고 다양한 사운드를 갖도록 관리될 수 있다.
증상 사운드 관리부(350)에서 관리하는 표준화환자의 증상 사운드 데이터는 도 2에서 설명한 음향 출력 모듈(152)를 통해 출력되어 사용자에게 제공될 수 있다.
진단실습 관리부(360)는 전체적인 가상환경의 표준화환자 진단평가 과정을 제어한다. 구체적으로, 진단실습 관리부(360)는 설정에 따라 표준화환자 시나리오를 표준화환자 시나리오 관리부(310)로부터 전달받아 진단평가환경을 설정할 수 있다.
그리고 진단실습 관리부(360)는 설정된 표준화환자 시나리오와 3차원 신체 모델 데이터 및 증상 사운드 데이터를 매칭할 수 있다. 도한, 진단실습 관리부(310)는 설정된 표준화환자 시나리오에 대한 음성인식부(320)의 음성인식결과를 분석하고 그에 대응되는 응답을 텍스트 형태로 음성처리부(330)에 전달한다.
더하여, 진단실습 관리부(360)는 설정된 표준화환자 시나리오에 대한 사용자의 질문이나 의료적 판단을 평가한다. 여기에서 평가는 사용자의 질문이나 의료적 판단이 설정된 표준화환자 시나리오에 적정한지 여부에 관한 것이다.
일 예로, 진단실습 관리부(360)는 사용자의 질문이 설정된 시나리오 상에 있는지 여부에 기초하여 평가를 수행할 수 있다. 또 다른 예로, 진단실습 관리부(360)는 사용자의 의료적 판단이 설정된 시나리오 상에 있는지 여부에 기초하여 평가를 수행할 수 있다. 또 다른 예로, 진단실습 관리부(360)는 사용자의 질문이 표준화환자의 응답에 적절한지 여부에 기초하여 평가를 수행할 수 있다.
진단실습 관리부(360)는 표준화환자 시나리오별로 평가 모델을 생성할 수 있으며, 평가 모델은 기계학습을 통해 지속적으로 발전하고 보완될 수 있다. 진단실습 관리부(360)는 생성된 평가 모델에 기초하여 사용자에 대한 평가를 수행할 수도 있다.
또 다른 실시 예에서, 진단실습 관리부(360)는 사용자의 질문이나 의료적 판단을 다른 사용자에게 표시할 수 있다. 여기에서 다른 사용자는 의과대학 교수와 같은 평가관일 수 있다. 더하여 진단실습 관리부(360)는 의과대학 교수의 평가를 획득하여 전체 평가에 반영할 수도 있다.
또한, 진단실습 관리부(360)는 조이스틱과 같은 파지형 인터페이스 장치로부터 입력을 획득하고, 획득한 입력에 대응되는 3차원 표준화환자 데이터나 증상 사운드 데이터를 매칭하여 출력할 수도 있다.
예를 들어, 파지형 인터페이스 장치를 통해 제어하는 가상의 진단도구가 청진기인 경우, 진단실습 관리부(360)는 청진기 움직임에 대응하는 심장소리나, 호흡소리를 출력할 수 있다.
또 다른 예를 들어, 파지형 인터페이스 장치를 통해 제어하는 가상의 진단도구가 압설자나 이경일 수 있으며, 진단실습 관리부(360)는 압설자나 이경의 움직임에 대응하는 3차원 모델링 데이터를 출력할 수 있다.
지식편집기(370)는 추가적인 표준화환자 시나리오를 추가할 수 있는 복수의 도구를 사용자에게 제공한다. 기본적으로 마련되어 있는 표준화환자 시나리오 외 연구 등을 통해 다른 질병에 관한 표준화환자 시나리오의 추가 필요성이 있을 수 있으며, 사용자는 지식편집기(370)를 통해 추가적인 표준화환자 시나리오를 작성하여 표준화환자 시나리오 관리부(310)에 저장할 수 있다.
지식편집기(370)가 제공하는 도구는 문답 입력 도구, 분류체계 설계 및 관리 도구, 기 작성된 시나리오 검색 도구 또는 의료 용어 사전 도구 중 적어도 하나일 수 있다.
도 6은 본 발명의 일 실시 예에 따른 표준화환자 진단평가 과정을 나타내는 흐름도이다.
이하에서는 본 발명의 일 실시 예로서, 진단평가 애플리케이션(300)이 단말기(100)에 설치되어 단말기의 제어부(170)를 포함하는 다른 모듈을 통해 실행되어 도 6의 각 과정을 수행하는 것을 전제로 하여 설명하기로 한다. 그러나, 도 6의 과정의 일부는 경우에 따라 서버에서도 수행될 수 있다.
제어부(170)는 진단평가 대상 시나리오를 셋팅한다(S101). 구체적으로 제어부(170)는 진단평가의 대상이 되는 질병을 선택하는 입력을 획득하고, 질병 선택의 입력에 따라 진단평가 대상 시나리오를 셋팅할 수 있다. 예를 들어, 진단평가의 대상이 되는 질병이 두통인 경우, 두통을 진단하는 과정에 관한 시나리오를 평가 대상으로 셋팅할 수 있다.
제어부(170)는 셋팅된 시나리오에 따른 가상 진단 환경을 디스플레이부(151)를 통해 표시한다. 일 실시 예에서 가상 진단 환경은 3차원 표준화환자에 관한 것일 수 잇다. 또 다른 실시 예에서, 가상 진단 환경은 사용자가 선택할 수 있는 진단도구 및 치료환경에 관한 것일 수 있다.
제어부(170)는 사용자 입력을 획득한다. 여기에서 제어부(170)는 마이크를 통해 사용자의 음성을 획득하거나, 파지형 인터페이스 장치를 통한 입력 중 어느 하나를 획득할 수 있다. 제어부(170)는 음성인식모듈을 통해 사용자의 음성을 분석할 수 있다.
제어부(170)는 획득한 사용자 입력이 의료적 판단인지 여부를 판단한다(S107). 여기에서 의료적 판단이란, 사용자의 질병판단 또는 치료방법 판단을 말한다. 제어부(170)는 사용자의 입력이 음성인 상황에서 사용자 입력의 분석결과에 기초하여 사용자 입력이 의료적 판단인지 여부를 판단할 수 있다.
제어부(170)는 사용자 입력이 의료적 판단이 아닌 경우, 사용자 입력에 관한 응답을 출력한다(S109). 일 실시 예에서 사용자 입력에 관한 응답은 사용자의 질의에 대한 표준화환자의 응답일 수 있다. 제어부(170)는 표준화환자 시나리오에 따라 사용자의 질의를 분석하고, 분석된 질의에 매칭되는 응답을 표준화환자의 응답으로서 출력할 수 있다.
여기에서 표준화환자의 응답은 디스플레이부(151) 또는 음향 출력 모듈(152)을 통해 출력될 수 있다.
또 다른 실시 예에서, 사용자의 입력에 관한 응답은 사용자의 진단도구 조작에 따른 반응일 수 있다. 여기에서 사용자의 진단도구 조작에 따른 반응은 표준화환자의 움직임이나, 심장소리 또는 호흡소리와 같은 신체반응을 포함할 수 있다.
사용자 입력이 의료적 판단이 아닌 경우, 제어부(170)는 다시 S105단계로 돌아가 새로운 사용자 입력을 획득한다. 그리고 반복하여 시나리오에 따른 진단평가를 진행한다.
사용자 입력이 의료적 판단인 경우, 제어부(170)는 사용자 입력에 대한한 평가를 수행한다(S111). 제어부(170)는 시나리오별로 마련되는 평가 모델에 기초하여 사용자 입력에 대한 평가를 수행한다. 여기에서 사용자 입력은 의료적 판단으로서, 제어부(170)는 평가 모델에 기초하여 의료적 판단이 의료적 판단 직전의 표준화환자 응답이나, 신체반응에 적절한지 여부를 판단할 수 있다.
제어부(170)는 평가가 종료된 후, 셋팅된 시나리오에 따른 진단평가 단계가 마지막인지 여부를 판단한다(S113). 제어부(170)는 셋팅된 시나리오에서 사용자 입력에 대응하는 추가 응답이 있는지 여부를 판단하여 현재 단계가 마지막 단계인지 여부를 판단한다.
일 실시 예에서, 현재 단계가 마지막 단계라면, 제어부(170)는 진단평가를 종료한다(S115).
또 다른 실시 예에서, 현재 단계가 마지막 단계가 아니라면, 시나리오에 따라 이어지는 표준화환자의 입력을 출력하면서 S105단계로 돌아간다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 사용자 입력을 인식하는 음성인식부, 표준화환자의 질병별 시나리오를 생성하고 관리하는 표준화환자 시나리오 관리부, 표준화환자의 3차원 신체 모델링 데이터를 생성하고 관리하는 3차원 신체 모델 관리부, 표준화환자의 증상 사운드 데이터를 생성하고 관리하는 증상 사운드 관리부, 상기 사용자 입력에 대응하는 표준화환자의 텍스트 응답을 음성으로 변환하는 음성처리부 및 진단평가의 대상 시나리오에 따라 진단평가를 수행하는 진단실습 관리부를 포함하는 진단평가 애플리케이션을 실행하는 제어부;
    상기 제어부의 제어에 따라 표준화환자 시나리오에 따른 표준화환자 3차원 형상을 표시하는 디스플레이부;
    상기 제어부의 제어에 따라 표준화환자 시나리오에 따른 표준화환자 증상 사운드 및 상기 음성처리부에서 변환된 음성을 출력하는 음향 출력 모듈을 포함하는
    가상환경 기반의 훈련 및 평가를 위한 단말기.
  2. 제1 항에 있어서,
    상기 표준화환자에 대한 의료적 행동을 입력하기 위한 사용자 입력부를 더 포함하는
    가상환경 기반의 훈련 및 평가를 위한 단말기.
  3. 제1 항에 있어서,
    상기 제어부는 사용자 입력을 획득하여 진단평가 대상의 시나리오에 적정한지 여부를 판단하는
    가상환경 기반의 훈련 및 평가를 위한 단말기.
  4. 제3 항에 있어서,
    상기 진단평가 애플리케이션은 표준화환자 시나리오를 추가 생성할 수 있는 지식편집기를 더 포함하는
    가상환경 기반의 훈련 및 평가를 위한 단말기.
  5. 진단평가 대상 시나리오를 셋팅하는 단계;
    상기 셋팅된 시나리오에 따른 가상 진단 환경을 표시하는 단계;
    사용자 입력을 획득하는 단계;
    상기 사용자 입력이 의료적 판단인지 여부를 판단하는 단계; 및
    상기 사용자 입력이 의료적 판단인 경우 평가 모델에 기초하여 사용자 입력 평가를 수행하고, 상가 사용자 입력이 의료적 판단이 아닌 경우 사용자 입력에 대응한 응답을 출력하는 단계를 포함하는
    가상환경 기반의 훈련 및 평가를 위한 단말기 동작 방법.
  6. 제5 항에 있어서,
    상기 사용자 입력이 수행된 단계가 셋팅된 시나리오의 마지막 단계인지 여부를 판단하는 단계를 더 포함하고,
    상기 사용자 입력이 수행된 단계가 셋팅된 시나리오의 마지막 단계인 경우 진단평가를 종료하는 단계를 포함하는
    가상환경 기반의 훈련 및 평가를 위한 단말기 동작 방법.
  7. 제6 항에 있어서,
    상기 사용자 입력이 수행된 단계가 셋팅된 시나리오의 마지막 단계가 아닌 경우, 사용자 입력에 대응한 응답을 출력하고, 이어지는 사용자 입력을 획득하는 단계를 포함하는
    가상환경 기반의 훈련 및 평가를 위한 단말기 동작 방법.
  8. 제5 항에 있어서,
    상기 사용자 입력에 대응한 응답 출력은,
    표준화환자의 응답에 관한 출력 또는 표준화환자의 신체적 반응에 관한 출력 중 어느 하나인
    가상환경 기반의 훈련 및 평가를 위한 단말기 동작 방법.
  9. 제5 항에 있어서,
    상기 셋팅된 시나리오에 따른 가상 진단 환경을 표시하는 단계는,
    셋팅된 시나리오에 따른 표준화환자 또는 진단도구를 표시하는 단계를 포함하는
    가상환경 기반의 훈련 및 평가를 위한 단말기 동작 방법.
  10. 제5 항에 있어서,
    상기 사용자 입력이 의료적 판단인지 여부를 판단하는 단계는,
    상기 사용자 입력이 질병판단 또는 치료방법 판단인지 여부를 판단하는 단계인
    가상환경 기반의 훈련 및 평가를 위한 단말기 동작 방법.
KR1020190109336A 2019-09-04 2019-09-04 가상현실 기반 지능형 표준화환자 훈련 및 평가 시스템 KR20210028370A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190109336A KR20210028370A (ko) 2019-09-04 2019-09-04 가상현실 기반 지능형 표준화환자 훈련 및 평가 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190109336A KR20210028370A (ko) 2019-09-04 2019-09-04 가상현실 기반 지능형 표준화환자 훈련 및 평가 시스템

Publications (1)

Publication Number Publication Date
KR20210028370A true KR20210028370A (ko) 2021-03-12

Family

ID=75177451

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190109336A KR20210028370A (ko) 2019-09-04 2019-09-04 가상현실 기반 지능형 표준화환자 훈련 및 평가 시스템

Country Status (1)

Country Link
KR (1) KR20210028370A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102516855B1 (ko) * 2022-06-28 2023-03-31 주식회사 메디마인드 가상현실 기술을 이용하여 학습자에게 제왕절개시술용 적응형 컨텐츠를 제공하기 위한 방법 및 이를 이용한 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102516855B1 (ko) * 2022-06-28 2023-03-31 주식회사 메디마인드 가상현실 기술을 이용하여 학습자에게 제왕절개시술용 적응형 컨텐츠를 제공하기 위한 방법 및 이를 이용한 장치

Similar Documents

Publication Publication Date Title
US20240355225A1 (en) Computing technologies for diagnosis and therapy of language-related disorders
JP2021057057A (ja) 精神障害の療法のためのモバイルおよびウェアラブルビデオ捕捉およびフィードバックプラットフォーム
US20100062403A1 (en) Situated simulation for training, education, and therapy
WO2005084209A2 (en) Interactive virtual characters for training including medical diagnosis training
Zielke et al. Developing Virtual Patients with VR/AR for a natural user interface in medical teaching
Huq et al. Dialogue agents for artificial intelligence-based conversational systems for cognitively disabled: A systematic review
JP7066115B2 (ja) パブリックスピーキング支援装置、及びプログラム
Makhataeva et al. Augmented Reality for Cognitive Impairments
JP2019197509A (ja) 介護ロボット、介護ロボット制御方法及び介護ロボット制御プログラム
KR20210028370A (ko) 가상현실 기반 지능형 표준화환자 훈련 및 평가 시스템
Truong et al. Unobtrusive multimodal emotion detection in adaptive interfaces: speech and facial expressions
Battina et al. Innovative study of an AI voice-based smart Device to assist deaf people in understanding and responding to their body language
Rai et al. Multimodal mental state analysis
Neerincx et al. Attuning speech-enabled interfaces to user and context for inclusive design: technology, methodology and practice
KR20210100831A (ko) 인공지능 기반 수어통역 서비스 제공 시스템 및 방법
Sonntag Medical and health systems
EP4413588A1 (en) Mental health intervention using a virtual environment
US11829519B1 (en) Systems, methods, and apparatuses for a wearable control device to facilitate performance of manufacturing and various motor tasks
Siddiqui et al. Manifest: Public Speaking Training Using Virtual Reality
Cafaro et al. Nonverbal behavior in multimodal performances
KR20210100832A (ko) 사용자의 감정상태를 판단하는 인공지능 기반 수어통역 서비스 제공 시스템 및 방법
Skantze et al. Multimodal conversational interaction with robots
AlTarawneh A cloud-based extensible avatar for human robot interaction
Martin et al. Multimodal and speech technology
Nakamura Embedded Facial Surface Sensing and Stimulation: Toward Facial Surface Interaction in Virtual Environment

Legal Events

Date Code Title Description
E601 Decision to refuse application