KR20210141197A - 원격 진료를 위한 증강현실 인터페이스 제공 방법, 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

Abstract

원격 진료를 위한 증강 현실 인터페이스 제공 방법이 개시된다. 본 방법은 진료를 요청한 환자를 나타내는 환자 객체를 생성하는 단계, 환자의 증상 데이터를 획득하는 단계, 생성된 환자 객체에서 증상 데이터를 이용하여 환자의 진료 부위를 검출하는 단계, 환자의 진료 부위에 대응되는 현재 진료 부위 이미지를 획득하는 단계, 환자 객체 내의 진료 부위의 위치를 기초로 획득된 현재 진료 부위 이미지의 매핑 위치를 결정하는 단계, 환자 객체와 결정된 매핑 위치에 매핑된 현재 진료 부위 이미지를 증강 현실을 통해 표시하는 단계를 포함한다.

Description

원격 진료를 위한 증강현실 인터페이스 제공 방법, 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체{Method, apparatur, computer program and computer readable recording medium for providing augmented reality interface for telemedicine}

본 발명은 증강현실(Augmented Reality : AR)을 이용한 원격 진료 서비스에 관한 것이다.

진료 서비스는 환자가 병원 등의 의료 기관을 직접 방문하여 해당 의료진에게 진찰을 받은 후 치료 및 처방을 받는 형태로 수행되는 것이 일반적이다.

다만, 인근에 병원이 없는 환자나 거동이 불편한 환자는 병원을 직접 방문하여 진료를 받는 것이 매우 어렵고, 현 시대에는 고령화가 가속화되고 만성질환자 증가하고 있기에, 최근에는 환자가 직접 병원을 방문하지 않고 컴퓨터와 데이터 통신 기술을 이용하여 의사의 진료 서비스를 받을 수 있는 원격 진료 서비스에 대한 니즈가 증가하고 있다.

특히, 2019년 12월 중국 우한에서 처음 발생한 이후 중국 전역과 전 세계로 확산된 새로운 유형의 코로나-19(COVID-19)로 인하여, 이러한 원격 진료에 대한 필요성을 더욱 커지고 있다. 한국에서는 코로나-19로 원격 진료의 필요성을 절실히 느끼며 관련 법률을 제정 및 개정 작업 중에 있다.

이러한 원격 진료가 활성화된다면, 이동이 자유롭지 못한 환자, 병원으로부터 멀리에 거주하는 환자, 고령환자, 만성질환 환자 등에게 시간 절약 및 편리함을 제공할 수 있을 것으로 예상된다. 특히, 코로나-19와 같은 전염병의 상황에서 원격 진료가 활성화된다면 사람들 간의 접촉 또한 줄일 수 있기에 효과적인 대책이 될 수 있다.

다만, 원격 진료에서는 환자와 의사가 실세계에서 대면하여 진료가 이루어지지 않고 음성이나 화상 통화를 통해 진료가 이루어지기 때문에, 환자와 의사간에 커뮤니케이션이 어려운 문제 및 정보교환의 정확성 및 신속성이 떨어지는 문제가 발생할 수 있고, 의사는 환자를 실제로 보면서 진단할 수 없기에 진단에 어려움 및 오진이 발생할 수 있다.

본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은 환자의 원격 진료를 위한 각종 안내 객체를 의사에게 증강 현실을 통해 제공할 수 있는 원격 진료를 위한 증강현실 인터페이스 제공 방법, 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 원격 진료를 위한 증강 현실 인터페이스 제공 방법은, 진료를 요청한 환자를 나타내는 환자 객체를 생성하는 단계, 상기 환자의 증상 데이터를 획득하는 단계, 상기 생성된 환자 객체에서 상기 증상 데이터를 이용하여 상기 환자의 진료 부위를 검출하는 단계, 상기 환자의 진료 부위에 대응되는 현재 진료 부위 이미지를 획득하는 단계, 상기 환자 객체 내의 진료 부위의 위치를 기초로 상기 획득된 현재 진료 부위 이미지의 매핑 위치를 결정하는 단계, 상기 환자 객체와 상기 결정된 매핑 위치에 매핑된 현재 진료 부위 이미지를 증강 현실을 통해 표시하는 단계를 포함한다.

그리고, 상기 현재 진료 부위 이미지는 "상기 환자의 단말 장치에서 실시간으로 촬영된 상기 환자의 진료 부위에 대한 실시간 진료 부위 이미지" 및 "상기 환자의 진료 부위에 대해 예측된 진료 부위 이미지" 중 적어도 하나를 포함할 수 있다.

또한, 상기 환자의 진료 부위에 대한 과거 진료 부위 이미지를 획득하는 단계 및 상기 현재 진료 부위 이미지의 매핑 위치를 기초로 상기 과거 진료 부위 이미지의 매핑 위치를 결정하는 단계를 더 포함하고, 상기 증강 현실을 통해 표시하는 단계는, 상기 매핑 위치가 결정된 과거 진료 부위 이미지를 상기 증강 현실을 통해 표시하는 단계를 포함할 수 있다.

그리고, 상기 증강 현실을 통해 표시하는 단계는, 실세계 공간에 대한 3차원 공간 좌표를 산출하는 단계, 상기 실세계 공간의 공간 구조 분석을 통해 환자 진료 위치를 검출하는 단계 및 상기 검출된 환자 진료 위치를 상기 환자 객체의 매핑 위치를 결정하는 단계를 포함할 수 있다.

또한, 상기 환자의 단말 장치에서 촬영된 실시간 환자 안면 이미지를 수신하는 단계 및 상기 환자 객체의 얼굴 영역에 상기 실시간 환자 안면 이미지를 매핑하여 상기 증강 현실을 통해 표시하는 단계를 더 포함할 수 있다.

그리고, 상기 환자 안면 이미지와 상기 현재 진단 부위 이미지는 동영상일 수 있다.

또한, 상기 현재 진료 부위 이미지에 대한 카메라 시점(View) 전환 및 줌 인/아웃 중 적어도 하나를 선택하는 입력을 수신하는 단계 및 상기 수신된 입력에 대응되게 변환된 현재 진료 부위 이미지를 상기 증강 현실을 통해 표시하는 단계를 포함하할 수 있다.

그리고, 상기 환자의 의료 기록 데이터 및 건강 기록 데이터 중 적어도 하나를 제1 학습 모델에 입력하여 상기 환자 분류 데이터를 획득하는 단계 및 상기 획득된 환자의 분류 데이터 및 상기 환자의 증상 정보를 제2 학습 모델에 입력하여 상기 환자의 병명을 획득하는 단계를 더 포함할 수 있다.

또한, 상기 병명을 안내하는 진단 안내 객체를 생성하고, 상기 생성된 진단 안내 객체를 증강 현실을 통해 표시하는 단계 및 상기 의사로부터 상기 환자에 대한 병명이 입력되면, 상기 입력된 병명을 기초로 상기 제2 학습 모델을 학습시키는 단계를 더 포함할 수 있다.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 원격 진료를 위한 증강 현실 인터페이스 제공 장치는 통신부, 진료를 요청한 환자를 나타내는 환자 객체를 생성하고, 상기 생성된 환자 객체에서 상기 환자의 진료 부위를 검출하고, 상기 환자의 진료 부위에 대한 현재 진료 부위 이미지가 상기 통신부를 통해 수신되면 상기 환자 객체 내의 진료 부위의 위치를 기초로 상기 수신된 현재 진료 부위 이미지의 매핑 위치를 결정하는 증강 현실 처리부 및 상기 환자 객체와 상기 결정된 매핑 위치에 매핑된 현재 진료 부위 이미지를 증강 현실을 통해 표시하는 디스플레이부를 포함한다.

그리고, 상기 증강 현실 처리부는, 상기 환자의 진료 부위에 대한 과거 진료 부위 이미지를 획득하고, 상기 현재 진료 부위 이미지의 매핑 위치를 기초로 상기 과거 진료 부위 이미지의 매핑 위치를 결정하며, 상기 디스플레이부는, 상기 매핑 위치가 결정된 과거 진료 부위 이미지를 상기 증강 현실을 통해 표시할 수 있다.

또한, 상기 증강 현실 처리부는, 실세계 공간에 대한 3차원 공간 좌표를 산출하는 3차원 공간 좌표 산출부, 상기 실세계 공간의 공간 구조 분석을 통해 환자 진료 위치를 검출하고, 상기 검출된 환자 진료 를 상기 환자 객체의 매핑 위치로 결정하는 매핑부를 포함할 수 있다.

그리고, 상기 통신부는 상기 환자의 단말 장치에서 촬영된 실시간 환자 안면 이미지를 수신하며, 상기 증강 현실 처리부는 상기 환자 객체의 얼굴 영역에 상기 실시간 환자 안면 이미지를 매핑할 수 있다.

또한, 상기 환자의 의료 기록 데이터 및 건강 기록 데이터 중 적어도 하나를 제1 학습 모델에 입력하여 상기 환자 분류 데이터를 획득하고, 상기 획득된 환자의 분류 데이터를 제2 학습 모델에 입력하여 상기 환자의 병명을 획득하는 AI 프로세서를 더 포함할 수 있다.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 컴퓨터 판독 가능한 기록 매체는 상술한 원격 진료 방법을 실행하기 위한 프로그램이 기록될 수 있다.

본 발명에 따르면, 원격 진료 환자에 대응되는 환자 객체, 환자의 진료 부위 이미지를 증강현실을 통해 표시함으로써, 의사는 증강 현실을 통해 보다 생동감 있고 용이하게 환자와 커뮤니케이션을 수행하며 원격 진료를 수행할 수 있다. 이에 따라, 의사와 환자 간의 커뮤니케이션 오류 및 정보 교환의 부정확에 따라 발생할 수 있는 원격 진료의 진단 어려움 및 오진 발생 가능성을 낮출 수 있다.

또한, 본 발명에 따르면, 환자의 원격 진료에 도움이 되는 환자의 진료 부위, 환자의 의료 기록, 환자의 건강 기록, 추천 치료법, 추천 처방전 등을 안내하는 안내 객체를 의사에게 증강 현실을 통해 제공함으로써, 의사의 원격 진료의 진단 어려움 및 오진 발생 가능성을 해소할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 증강 현실 기반의 원격 진료 시스템을 나타내는 블록도 이다.
도 2는 본 발명의 일 실시 예에 따른 원격 진료 서버를 나타내는 블록도 이다.
도 3은 본 발명의 일 실시 예에 따른 원격 진료를 위한 증강현실 인터페이스 제공 장치를 나타내는 블록도 이다.
도 4는 본 발명의 일 실시 예에 따른 증강 현실 처리부를 보다 구체적으로 나타내는 블록도 이다.
도 5 내지 8은 본 발명의 일 실시 예에 따른 증강 현실 영상을 나타내는 도면 이다.
도 9는 HMD를 통한 증강 현실 기반의 원격 진료를 나타내는 도면 이다.
도 10은 산모의 원격 진료를 위한 증강 현실 영상을 나타내는 도면 이다.
도 11은 본 발명의 일 실시 예에 따른 증강 현실 기반의 원격 진료 시스템의 동작을 나타내는 타이밍도 이다.
도 12는 본 발명의 일 실시 예에 따른 원격 진료를 위한 증강 현실 인터페이스 제공 방법을 나타내는 흐름도 이다.
도 13은 본 발명의 일 실시 예에 따른 증강 현실 표시 방법을 나타내는 흐름도 이다.
도 14는 본 발명의 일 실시 예에 따른 진단 정보 제공 방법을 나타내는 흐름도 이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시 예들뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예에 대하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 증강 현실 기반의 원격 진료 시스템을 나타내는 도면 이다. 도 1을 참조하면, 증강 현실 기반의 원격 진료 시스템(1000)은 의사 단말 장치(100), 환자 단말 장치(200), 원격 진료 서버(300)의 전부 또는 일부를 포함한다.

증강 현실은 현실의 이미지나 배경에 2차원 또는 3차원 객체를 겹쳐서 하나의 영상으로 보여주는 기술로, 본 발명에 따른 원격 진료를 위한 증강 현실은 원격 진료를 위한 다양한 객체(예를 들어 원격 진료를 받은 환자의 상태를 안내하는 객체, 치료법을 안내하는 객체 등)를 생성하고, 생성된 객체를 의사 단말 장치(100) 및 환자 단말 장치(200)를 통해 증강 현실 상에 표시함으로써 환자에 대한 원격 진료 서비스를 제공할 수 있다.

구체적으로, 의사 단말 장치(100)는 환자를 원격에서 진료하는 의사 측에 구비된 단말 장치로, 의사 단말 장치(100)는 원격 진료 서버(300) 및/또는 환자 단말 장치(200)와 통신하여 원격 진료를 받을 환자에 대한 데이터(예를 들어, 의료 기록 데이터와 건강 기록 데이터 등)을 수신하고, 수신된 데이터를 기초로 각종 안내 객체를 생성하여 증강 현실을 통해 표시할 수 있다. 이에 따라, 의사는 단말 장치(100)를 통해 환자에 대한 원격 진료를 수행할 수 있다.

한편, 환자 단말 장치(200)는 원격 진료를 받는 환자 측에 구비된 단말 장치로, 환자 단말 장치(200)는 원격 진료 서버(300)와 및/또는 의사 단말 장치(100)와 통신 연결되어 원격 진료 데이터(예를 들어, 병명, 치료법 등)를 수신하고, 수신된 데이터를 기초로 각종 안내 객체를 생성하여 증강 현실을 통해 표시할 수 있다. 이에 따라, 환자는 단말 장치(200)를 통해 의사로부터 원격 진료를 제공받을 수 있다.

여기서, 의사 단말 장치(100)와 환자 단말 장치(200)는 증강 현실을 통하여 원격 진료에 관한 각종 콘텐츠(contents)를 표시할 수 있는 다양한 장치로 구현될 수 있다. 일 예로, 의사 단말 장치(100)와 환자 단말 장치(200)는 스마트 폰, 태블릿 컴퓨터, 노트북 컴퓨터, PDA(personal digital assistant), PMP(portable multimedia player) 등으로 구현되거나 또는 사용자의 몸에 착용 가능한 스마트 글래스, 머리 착용 디스플레이(Head Mounted Display : HMD) 등과 같은 웨어러블 디바이스(wearable device)로 구현될 수도 있다.

본 명세서에서 단말 장치는 기능적 관점에서 증강 현실 제공 장치로 표현될 수 있고, 양 장치는 동일한 장치를 의미할 수 있다.

원격 진료 서버(300)는 환자의 원격 진료를 각종 데이터를 저장할 수 있다. 구체적으로, 원격 진료 서버(300)는 환자의 원격 진료를 위한 의료 기록 데이터 및 건강 기록 데이터를 저장할 수 있다.

여기서, 의료 기록 데이터는 환자의 인적 기록부터 진료, 처방 등 병력까지 모든 의료 정보가 기록된 전자 의료 기록(Electronic Medical Record : EMR)을 포함할 수 있다. 그리고, 건강 기록 데이터는 환자 개인의 건강 정보가 기록된 전자 건강 기록(Electronic Health Record : EHR)를 포함할 수 있다.

여기서, 전자 의료 기록은 특정 조직이나 의사가 사용하도록 설계된 데이터이고, 전자 건강 기록은 환자에 관련된 모든 제공자와 공유할 수 있도록 설계된 데이터라는 점에서 차이가 있다.

또한, 원격 진료 서버(300)는 각종 수집된 데이터와 각종 인공지능 알고리즘을 이용하여 인공 신경망(Artificial Neural Network)을 학습할 수 있다. 특히, 원격 진료 서버(300)는 의사의 원격 진료를 보조하기 위한 인공 신경망을 학습할 수 있다. 여기서 인공 신경망은 머신 러닝 모델, 딥러닝 모델 등을 포함할 수 있다. 딥 러닝 모델은 심층 신경망(DNN, deep neural networks), 합성곱 신경망(CNN, convolutional deep neural networks), 순환 신경망(RNN, Recurrent Boltzmann Machine) 등 다양한 딥 러닝 기법들을 포함할 수 있다.

이에 따라, 원격 진료 서버(300)는 환자에 대한 각종 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 의사 단말 장치(100)나 환자 단말 장치(200)로 전송할 수 있다.

이하에서는 이후 도면을 참조하여 원격 진료 시스템(1000)을 구성하는 각 구성 모듈에 대하여 보다 상세히 설명하기로 한다.

도 2는 본 발명의 일 실시 예에 따른 원격 진료 서버를 나타내는 블록도 이다. 도 2를 참조하면, 원격 진료 서버(300)는 AI 프로세서(310) 및 저장부(320)를 포함한다. 여기서, AI 프로세서(310)는 학습 데이터 획득부(311), 모델 학습부(312)를 포함할 수 있다. 그리고, 저장부(320)는 의료 기록 데이터 저장부(321), 건강 기록 데이터 저장부(322), 학습 모델 저장부(323)를 포함할 수 있다.

의료 기록 데이터 저장부(310)는 환자의 의료 정보를 저장할 수 있다. 구체적으로 의료 기록 데이터 저장부(310)는 환자의 인적 기록부터 진료, 처방 등 병력까지 모든 의료 정보가 기록된 전자 의료 기록(Electronic Medical Record : EMR)을 저장할 수 있다.

또한, 의료 기록 데이터 저장부(310)는 의사의 진단 과정에 대한 영상 데이터, 음성 데이터, 의사가 직접 텍스트 등의 형태로 입력한 텍스트 데이터 등을 저장할 수 있다.

여기서, 의료 기록 데이터는 해당 데이터가 원격 진료를 통해 수집된 것인지 또는 대면 진료를 통해 수집된 것인지에 따라 분류되어 저장될 수 있다. 그리고, 의료 기록 데이터는 환자 별로 분류되어 저장될 수 있다.

건강 기록 데이터 저장부(320)는 환자의 건강 정보를 저장할 수 있다. 구체적으로, 건강 기록 데이터 저장부(320)는 환자 개인의 건강 정보가 기록된 전자 건강 기록(Electronic Health Record : EHR)를 저장할 수 있다. 여기서, 전자 건강 기록은 환자가 구비한 웨어러블 디바이스, 스마트폰 등과 같은 환자 데이터 수집장치에서 수집된 환자의 걸음수, 심박수, 체온, 혈당, 혈압, 호흡 수, 수면시간 등을 포함할 수 있다.

또한, 건강 기록 데이터 저장부(320)는 환자의 웨어러블 디바이스, 스마트폰 등과 같은 환자 데이터 수집장치에서 수집된 환자 건강에 관련된 영상, 음성, 텍스트를 저장할 수 있다. 여기서, 음성 및 영상은 환자의 평소 활동 중에 기록된 음성 및 영상을 포함하고, 텍스트는 환자가 메모한 기록 등을 포함할 숭 있다.

이 경우, 건강 기록 데이터 저장부(320)는 환자의 원격 진료 항목에 따라 필요한 건강 기록 데이터를 매칭하여 저장할 수 있다. 여기서, 원격 진료 항목은 내과, 소아과, 산부인과, 안과, 피부과, 성형외과, 정신과, 치과 등 원격 진료 대상을 의미하고, 건강 기록 데이터 저장부(320)는 각 원격 진료 항목 별로 필수 건강 기록 데이터와 불필수 건강 기록 데이터를 분류하여 저장할 수 있다.

한편, 의료 기록 데이터 및/또는 건강 기록 데이터는 환자에 대한 나이, 키, 성별 등과 같은 정보도 포함할 수 있다.

학습 데이터 획득부(311)는 데이터를 분류하고 인식하기 위한 신경망 모델에 필요한 학습 데이터를 획득할 수 있다. 예를 들어, 학습 데이터 획득부(311)는 학습 데이터로서 신경망 모델에 입력하기 위한 의료 기록 데이터 및 건강 기록 데이터를 획득할 수 있다.

모델 학습부(312)는 상기 획득된 학습 데이터를 이용하여, 신경망 모델이 소정의 데이터를 어떻게 분류할지에 관한 판단 기준을 가지도록 학습할 수 있다. 이 때 모델 학습부(312)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또는 모델 학습부(312)는 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통해 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(312)는 학습에 따른 상황 판단의 결과가 올바른지에 대한 피드백을 이용하여 강화 학습(reinforcement learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(312)는 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient decent)을 포함하는 학습 알고리즘을 이용하여 신경망 모델을 학습시킬 수 있다.

한편, 신경망 모델이 학습되면, AI 프로세서(310)는 학습된 신경망 모델을 저장부(323)에 저장할 수 있다. 또한, AI 프로세서(310)는 학습된 신경망 모델을 원격 진료 서버(300)와 유선 또는 무선 네트워크로 연결된 의사 단말 장치(100) 및/또는 환자 단말 장치(200)에 전송할 수 있다. 또한, AI 프로세서(310)는 의사 단말 장치(100) 및/또는 환자 단말 장치(200)의 AI(Artificial Intelligence) 프로세싱의 적어도 일부를 도울 수 있다.

또한, AI 프로세서(310)는 의사 단말 장치(100) 및 환자 단말 장치(200)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 의사 단말 장치(100) 및 환자 단말 장치(200)에 전송할 수 있다.

다만, 이에 한정되는 것은 아니고, 의사 단말 장치(100) 및 환자 단말 장치(200)는 AI 프로세서를 구비하여, 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.

일 예로, AI 프로세서는 발화자의 음성을 입력받아 추론 결과로 발화자의 의도를 출력할 수 있다. 만약, 발화자가 환자인 경우, AI 프로세서는 환자의 음성을 인식하여 환자의 의도를 출력할 수 있다. 또는, 발화자가 의사인 경우, AI 프로세서는 의사의 음성을 인식하여 환자의 의도를 출력할 수 있다.

또한, AI 프로세서는 환자의 증상 데이터, 환자의 과거 진료 부위 이미지, 환자의 의료 기록 데이터 및 환자의 건강 기록 데이터 중 적어도 하나를 입력받아 추론 결과로 진료 부위의 현재 예상되는 상태는 나타내는 예측 진료 부위 이미지를 생성할 수 있다. 여기서, 증상 데이터는 환자의 질병 또는 그 외의 다른 이유로 인해 환자가 주관적으로 인식하는 신체의 비정상적 상태 또는 느낌을 의미하고, 증상 데이터는 환자의 진료 부위 정보를 포함할 수 있다. 일 예로, 환자의 진료 항목이 "산부인과 진료"인 경우, AI 프로세서(180)는 기 저장된 산모의 과거 대면 진료시의 태아 초음파 이미지, 산모가 구비한 장치에서 획득된 태아의 심박수를 포함하는 건강 기록 데이터, 산모의 산부인과 진료에 대한 의료 기록 데이터(주차 별 심박수, 태아 발육 상태 등을 포함함), 환자의 현재 증상을 입력받아 태아의 머리 크기, 심박 및 기타 발달 정보를 추론하고, 추론 결과를 기초로 산모의 태아에 대하여 예측된 태아 초음파 이미지를 생성할 수 있다.

또한, AI 프로세서는 환자의 진료 부위 이미지를 입력받아 추론 결과로 진료 부위에서 치료가 필요한 부위를 출력할 수 있다.

또한, AI 프로세서는 환자의 의료 기록 데이터 및 환자의 건강 기록 데이터. 환자의 진료 부위 이미지, 환자의 증상 데이터 및 환자 분류 데이터 중 적어도 하나를 입력받아 추론 결과로 환자의 병명을 출력할 수 있다. 여기서, 환자 분류 데이터는 몸무게, 키, 나이, 혈액형, 성별, 보유 항체, 유전자, PCR (polymerase chain reaction) 등의 분류 기준에 따라 복수의 군으로 분류된 환자집단 중 환자가 속하는 집단을 의미할 수 있다.

일 예로, AI 프로세서는 환자의 의료 기록 데이터 및 건강 기록 데이터 중 적어도 하나를 제1 학습 모델에 입력하여 상술한 환자 분류 데이터를 획득할 수 있다. 그리고, AI 프로세서는 획득된 환자의 분류 데이터 및 환자의 증상 정보를 제2 학습 모델에 입력하여 환자의 병명을 획득할 수 있다.

또한, AI 프로세서는 환자의 병명 및 환자 분류 데이터를 입력받아 추론 결과로 환자의 치료법 및 처방전을 출력할 수 있다.

또한, AI 프로세서는 병명, 치료법, 처방전, 환자 분류 데이터 및 현재 진료 부위 이미지를 입력받아 추론 결과로 환자의 치료 예후 이미지를 출력할 수 있다.

즉, 본 발명에 따르면, AI 프로세서는 1차로 복수의 환자 집단 중 유사한 환자 집단으로 분류하고, 분류된 결과를 기초로 병명, 치료법, 처방전, 치료 예후 이미지를 산출함으로써, 학습 모델의 정확도를 높일 수 있다. 뿐만 아니라, 본 발명에 따르면, 입력 데이터에 타입에 따라 서로 다른 학습 모델을 통해 결과를 추론함으로써 정확성을 높일 수 있다.

이하에서는 도 3을 참조하여 본 발명의 일 실시 예에 따른 증강 현실 기반의 원격 진료를 위한 의사 단말 장치를 보다 구체적으로 설명하기로 한다.

도 3은 본 발명의 일 실시 예에 따른 의사 단말 장치를 나타내는 블록도 이다. 도 3을 참조하면, 의사 단말 장치(100)는 저장부(110), 입력부(120), 출력부(130), 통신부(140), 촬영부(150), 증강 현실 처리부(160), 제어부(170), AI 프로세서(180)의 전부 또는 일부를 포함한다.

저장부(110)는 단말 장치(100)의 동작에 필요한 다양한 데이터 및 어플리케이션을 저장하는 기능을 한다. 특히, 저장부(110)는 본 발명의 일 실시 예에 따른 증강 현실 기반 원격 진로 어플리케이션(또는 프로그램)을 저장할 수 있다.

또한, 저장부(110)는 원격 진료 서버(300)에 저장된 학습된 신경망 모델을 저장할 수 있다.

여기서 저장부(110)는 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USIM(Universal Subscriber Identity Module)등과 같은 내장된 형태의 저장소자는 물론, USB 메모리 등과 같은 착탈가능한 형태의 저장소자로 구현될 수도 있다.

입력부(120)는 단말 장치(100)를 조작하는 의사의 입력을 수신할 수 있다. 특히, 입력부(120)는 유저 인터페이스(User interface : UI)를 조작하는 의사의 물리적 입력을 수신할 수 있다. 여기서, 입력부(120)는 사용자 입력부와 마이크부의 전부 또는 일부를 포함할 수 있다.

사용자 입력부(121)는 터치, 푸쉬동작 등과 같은 사용자 입력을 수신할 수 있다. 여기서 사용자 입력부(121)는 다양한 버튼의 형태, 터치 입력을 수신하는 터치 센서, 접근하는 모션을 수신하는 근접 센서 중 적어도 하나로 구현되거나, 키보드, 마우스 등과 같은 외부 입력 장치를 이용하여 구현될 수 있다. 마이크부(123)는 사용자의 음성을 수신할 수 있다.

출력부(130)는 단말 장치(100)의 데이터를 출력하는 장치이다. 여기서, 출력부(130)는 디스플레이부(131)와 오디오 출력부(133)의 전부 또는 일부를 포함할 수 있다.

디스플레이부(131)는 사용자가 시각적으로 인식할 수 있는 데이터를 출력할 수 있다. 여기서, 디스플레이부(131)는 단말 장치(100)가 사용자의 머리에 착용할 수 있는 형태의 HMD(Head Mounted Device)인 경우와 착용하지 않는 non-HMD(Non-Head Mounted Device)인 경우에 따라 다른 방식으로 구현될 수 있다.

여기서, 머리에 착용할 수 있는 HMD 형태의 디스플레이부(131)는 Optical see-through HMD와 Video see-through HMD로 구분될 수 있다.

Optical see-through HMD 의 경우, 디스플레이부(131)는 사용자의 눈앞에 배치된 반투과성 광학 합성기(optical combiner)를 포함할 수 있고, 사용자는 광학 합성기를 통해 실세계 환경을 직접 보면서, 광학 합성기로 투사되는 가상 영상을 동시에 볼 수 있다.

Video see-through HMD 의 경우, 실세계 환경에 대한 영상을 획득하기 위하여 HMD에 1개 이상의 카메라가 별도로 구비되어 있고, 비디오 합성기를 이용하여 카메라로부터 입력되는 실세계 영상과 컴퓨터에서 생성한 가상 영상을 합성하여 HMD에 부착된 디스플레이부(131)를 통해 증강 현실 영상을 표시할 수 있다.

non-HMD(Non-Head Mounted Device)는 이동성이 부가된 Hand-Held 형을 포함하고, Hand-Held형은 스마트폰, PMP, 휴대용 게임기, PDA 등을 포함하며, Hand-Held 형 단말에 구비된 디스플레이부(131)는 카메라로부터 입력되는 실세계 영상과 컴퓨터에서 생성한 가상 영상이 합성된 증강 현실 영상을 표시할 수 있다.

즉, 디스플레이부(131)는 증강 현실 처리부(160)에서 생성된 증강 현실 영상을 표시할 수 있고, 의사는 증강 현실 영상을 보며 원격 진료를 수행할 수 있다.

통신부(140)는 단말 장치(100)가 다른 디바이스와 통신하기 위하여 마련될 수 있다. 특히, 단말 장치(100)는 통신부(140)를 이용하여 원격 진료 서버(300) 및/또는 환자 단말 장치(200)와 통신을 수행할 수 있다.

여기서, 통신부(140)는 근거리 통신망(LAN : Local Area Network) 및 인터넷망을 통해 무선 또는 유선방식으로 접속되는 형태, USB(Universal Serial Bus)포트를 통하여 접속되는 형태, 3G, 4G와 같은 이동 통신망을 통해 접속되는 형태, NFC(Near Field Communication, RFID(Radio Frequency Identification), Wi-Fi등과 같은 근거리 무선 통신방식을 통해 접속되는 형태 등과 같이 다양한 통신 방식을 이용하여 구현될 수 있다.

촬영부(150)는 실세계 공간을 촬영하고, 촬영에 따른 촬영 이미지를 생성할 수 있다. 여기서, 촬영부(150)는 렌즈부, 촬상 소자, 아날로그 신호 처리부의 전부 또는 일부를 포함할 수 있다. 렌즈부는 촬상 소자의 촬상 영역에 광학 신호를 결상할 수 있다. 여기서 렌즈부는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등을 포함하며, 줌 렌즈 및 포커스 렌즈는 각각 하나의 렌즈로 구성될 수도 있지만, 복수의 렌즈들의 군집으로 이루어질 수도 있다.

촬상 소자는 렌즈부를 투과하여 촬상 영역에 결상된 광학 신호를 전기 신호로 변환할 수 있다. 여기서, 촬상 소자는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device), CIS(Complementary Metal Oxide Semiconductor Image Sensor) 또는 고속 이미지 센서 등을 사용할 수 있다.

아날로그 신호 처리부는 촬상 소자로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행하여 영상을 생성할 수 있다.

AI 프로세서(180)는 상술한 원격 진료 서버(300)의 AI 프로세서(310)의 기능의 전부 또는 일부를 수행할 수 있다. 특히, 본 발명에 따르면, 데이터를 입력받아 단말 장치(100)의 AI 프로세서(180)와 원격 진료 서버(300)의 AI 프로세서(310)가 인공지능 알고리즘을 동시에 처리하되, 서버(300)의 결과 데이터와 단말 장치(100)에서 동시에 처리한 결과 데이터를 비교하여 동일한 결과를 도출할 때까지 학습 및 트레이닝 프로세스를 진행하고, 처리 결과 데이터가 동일해지면 동일한 입력값에 대한 처리는 단말 장치(100)에서 자체적으로 처리할 수 있다.

한편, 증강 현실 처리부(160)는 의사의 원격 진료를 보조하는 각종 안내 객체를 생성하고, 생성된 안내 객체를 실세계 영상에 결합시켜 디스플레이부(131)를 통해 표시할 수 있다. 여기서, 증강 현실 처리부(160)는 가상 공간 생성부(161), 객체 생성부(162) 및 매핑부(163)를 포함할 수 있다. 이러한 증강 현실 처리부(160)에 대해서는 도 4를 참조하여 보다 구체적으로 설명하기로 한다.

도 4는 본 발명의 일 실시 예에 따른 증강 현실 처리부를 보다 구체적으로 나타내는 블록도 이다.

가상 공간 생성부(161)는 촬영부(150)에서 촬영된 촬영 영상으로부터 카메라 파라미터를 추정하기 위한 캘리브레이션(Calibration)을 수행할 수 있다. 여기서, 카메라 파라미터는 실사공간이 사진에 맺히는 관계를 나타내는 정보인 카메라 행렬을 구성하는 파라미터일 수 있다.

그리고, 가상 공간 생성부(161)는 캘리브레이션을 통해 추정된 카메라 파라미터를 기초로 카메라가 촬영한 영상으로부터 깊이 정보(Depths information)를 획득하고, 획득한 깊이 정보와 촬영 영상을 기초로 실세계 공간에 대응되는 가상 3D 공간을 생성할 수 있다. 여기서, 생성된 가상 3D 공간에는 3차원 좌표값이 할당될 수 있다.

한편, 객체 생성부(162)는 의사의 원격 진료를 보조하기 위한 다양한 증강 현실(Augmented Reality : AR) 객체를 생성할 수 있다. 여기서, AR 객체는 컴퓨터 그래픽을 통해 생성된 가상의 2차원 또는 3차원 객체일 수 있다. 또는, 안내 객체는 가상이 아닌 실상의 객체일 수 있다.

구체적으로, 객체 생성부(162)는 진료를 요청한 환자를 나타내는 환자 객체를 생성할 수 있다. 일 예로, 객체 생성부(162)는 진료를 요청한 환자의 나이, 키 및 성별 중 적어도 하나를 포함하는 환자 데이터로부터 환자의 나이, 키 및 성별 중 적어도 하나를 반영한 환자 객체를 생성할 수 있다. 여기서, 환자 객체는 환자의 전신을 가상으로 표시하는 가상 객체일 수 있다.

다른 예로, 원격 진료 전에 원격 진료를 요청한 환자의 진료 항목 및 환자의 증상이 미리 입력된 경우, 객체 생성부(162)는 환자의 증상에 대응되는 진료 부위를 포함하는 신체 부위를 표시하는 환자 객체를 생성할 수 있다.

또 다른 예로, 원격 진료 과정에서 환자가 증상을 음성으로 입력하는 경우, AI 프로세서는 환자의 음성 인식하여 음성(speech)로부터 컴퓨터가 인식할 수 있는 형태인 텍스트(text)를 생성하고, AI 프로세서는 텍스트들로부터 개체명의 관계를 추출하여 추출된 개체명의 관계 정보를 바탕으로 각 개체명을 클러스터링하여 환자의 발화 의도를 파악할 수 있다. 즉, 음성 인식을 통해 환자의 증상을 파악할 수 있다. 이 경우, 객체 생성부(162)는 환자의 증상에 대응되는 진료 부위를 포함하는 신체 부위를 표시하는 환자 객체를 생성할 수 있다.

일 예로, 환자의 진료 항목이 "외과"이고 진료 부위가 "무릎"인 경우, 객체 생성부(162)는 환자의 진료 부위인 "무릎"을 포함하는 신체 부위 "다리"를 가상으로 표시하는 환자 가상 객체를 생성할 수 있다. 다른 예로, 환자의 진료 항목이 "감염병, 코로나-19"이고 진료 부위가 "호흡기"인 경우, 객체 생성부(162)는 환자의 진료 부위인 "호흡기"가 위치한 신체 부위 "상반신"을 가상으로 표시하는 환자 가상 객체를 생성할 수 있다.

또한, 객체 생성부(162)는 환자의 진료 부위에 대한 현재 상태를 나타내는 현재 진료 부위 이미지를 획득하고, 획득된 현재 진료 부위 이미지를 이용하여 실상 객체를 생성할 수 있다. 여기서, 현재 진료 부위 이미지는 "환자의 단말 장치에서 실시간으로 촬영된 환자의 진료 부위에 대한 실시간 진료 부위 이미지" 및 "환자의 진료 부위에 대해 예측된 진료 부위 이미지" 중 적어도 하나를 포함할 수 있다.

즉, 외상 진료, 피부 진료 등과 같이 진료 부위가 겉으로 드러나는 부위인 경우, 환자의 카메라로 진료 부위의 촬영이 가능할 수 있다. 이 경우, 환자는 자신의 단말 장치(200)를 통하여 원격 진료 과정에서 진료 부위를 촬영하여 의사 단말 장치(100)로 전송할 수 있다. 여기서, "환자의 단말 장치에서 실시간으로 촬영된 환자의 진료 부위에 대한 실시간 진료 부위 이미지"는 원격 진료 과정에서 환자의 단말 장치(200)에서 실시간으로 촬영되어 의사 단말 장치(100)로 전송된 이미지일 수 있다.

다만, 산부인과 진료, 내과 진료 등과 같이 진료 부위가 겉으로 드러나지는 않는 경우, 환자의 카메라로 진료 부위의 촬영이 불가능할 수 있다. 이 경우, 환자가 자신의 단말 장치(200)를 통하여 원격 진료 과정에서 진료 부위를 촬영하여 의사 단말 장치(100)로 전송하는 것은 어려울 수 있다. 따라서, 본 발명에 따른 AI 프로세서(180)는 환자의 증상 데이터, 환자의 과거 진료 부위 이미지, 환자의 의료 기록 데이터 및 환자의 건강 기록 데이터 중 적어도 하나를 입력받고, 입력받은 데이터들로부터 추론 결과로 "환자의 진료 부위에 대해 예측된 진료 부위 이미지"를 생성할 수 있다.

일 예로, 환자의 진료 항목이 "산부인과 진료"인 경우, AI 프로세서(180)는 기 저장된 산모의 과거 대면 진료시의 태아 초음파 이미지, 산모가 구비한 장치에서 획득된 태아의 심박 수를 포함하는 건강 기록 데이터, 산모의 산부인과 진료에 대한 의료 기록 데이터(주차 별 심박수, 태아 발육 상태 등을 포함함), 환자의 현재 증상을 입력받아 태아의 머리 크기, 심박 및 기타 발달 정보를 추론하고, 추론 결과를 기초로 산모의 태아에 대하여 예측된 태아 초음파 이미지를 생성할 수 있다.

다만, 이에 한정되는 것은 아니고, 산모가 초음파 촬영이 가능한 기기를 구비하는 경우, 현재 진료 부위 이미지는 "실시간 초음파 이미지"로 구현될 수도 있다.

한편, 객체 생성부(162)는 환자의 진료 부위에 대한 과거의 의료 기록 데이터로부터 과거 진료 부위 이미지를 획득하고, 획득된 과거 진료 부위 이미지를 이용하여 실상 객체를 생성할 수 있다. 여기서, 과거 진료 부위 이미지는 "환자의 단말 장치에서 과거에 촬영된 환자의 진료 부위에 대한 이미지" 및 "과거 원격 진료 당시 환자의 진료 부위에 대해 예측된 진료 부위 이미지" 중 적어도 하나를 포함할 수 있다.

또한, 객체 생성부(162)는 환자의 단말 장치(200)에서 촬영된 실시간 환자 안면 이미지를 획득하고, 획득된 실시간 환자 안면 이미지를 이용하여 실상 객체를 생성할 수 있다.

또한, 객체 생성부(162)는 AI 프로세서(180)에서 환자의 의료 기록 데이터 및 환자의 건강 기록 데이터. 환자의 진료 부위 이미지, 환자의 증상 데이터 및 환자 분류 데이터 중 적어도 하나를 입력받아 추론 결과로 환자의 병명을 판단하면, 판단된 환자의 병명을 포함하는 가상의 안내 객체를 생성할 수 있다.

또한, 객체 생성부(162)는 AI 프로세서(180)에서 환자의 병명 및 환자 분류 데이터를 입력받아 추론 결과로 환자의 치료법, 처방전을 판단하면, 판단된 환자의 치료법, 처방전을 포함하는 가상의 안내 객체를 생성할 수 있다.

또한, 객체 생성부(162)는 AI 프로세서(180)에서 병명, 치료법, 처방전, 환자 분류 데이터 및 현재 진료 부위 이미지를 입력받아 추론 결과로 환자의 치료 예후 이미지를 출력하면, 이에 대한 객체를 생성할 수 있다. 여기서, 치료 예후 이미지는 가상 또는 실상의 객체일 수 있다.

한편, 상술한 본 발명에 따른 환자의 현재 진료 부위 이미지, 과저 진료 부위 이미지, 안면 이미지 등의 실상 객체는 동영상일 수 있다. 매핑부(163)는 가상 공간 생성부(161)에서 생성된 가상 3D 공간에 객체 생성부(162)에서 생성된 객체의 매핑 위치를 결정하고, 결정된 매핑 위치에 객체를 매핑할 수 있다. 여기서, 매핑부(163)는 객체의 타입에 따라 매핑 위치를 결정할 수 있다.

매핑부(163)는 객체 생성부(161)에서 생성된 환자 객체의 매핑 위치를 결정할 수 있다. 구체적으로, 매핑부(163)는 실세계 공간의 장애물을 검출할 수 있다. 즉, 매핑부(163)는 촬영부(150)에서 촬영된 영상으로부터 실세계 공간의 구조 분석을 가구 등의 장애물이 배치된 영역을 검출하여 환자 진료 위치를 검출할 수 있다. 추가로, 매핑부(163)는 실세계 공간의 의자를 검출함으로써 환자 진료 위치를 검출할 수 있다. 그리고, 매핑부(163)는 검출된 환자 진료 위치를 객체 생성부(162)에서 생성된 환자 객체의 매핑 위치로 결정할 수 있다.

이러한 본 발명에 따르면 환자의 대면 진료 시 환자가 위치하는 실세계 공간의 지점에 대응되는 증강 현실 내의 위치에 환자 객체를 배치함으로써 원격 진료 시 의사의 편의성을 높일 수 있다.

또한, 매핑부(163)는 환자의 현재 진료 부위 이미지의 매핑 위치를 결정할 수 있다. 구체적으로, 매핑부(163)는 객체 생성부(162)에서 생성된 환자 객체에서 환자의 증상 데이터를 이용하여 환자의 진료 부위를 검출할 수 있다. 일 예로, 객체 생성부(162)에서 생성된 환자 객체에는 3차원 좌표값 및 좌표값에 대응되는 부위 명칭이 할당될 수 있고, 매핑부(163)는 환자의 증상 데이터를 이용하여 환자 객체에서 환자의 진료 부위를 검출할 수 있다. 그리고, 진료 부위가 검출되면, 매핑부(163)는 환자 객체 내의 진료 부위의 위치를 기초로 획득된 현재 진료 부위 이미지의 매핑 위치를 결정할 수 있다.

이러한 현재 진료 부위 이미지의 매핑 동작에 대해서는 도 5를 참조하여 보다 구체적으로 설명하기로 한다.

일 예로, 매핑부(163)는 가상 객체 내의 진료 부위 영역을 현재 진료 부위 이미지의 매핑 위치로 결정할 수 있다. 이 경우, 도 5(a)와 같이, 디스플레이부(131)는 환자 객체 내의 환자의 진료 부위는 환자의 현재 진료 부위 이미지에 대응되는 실상 객체(520)를 증강 현실을 통해 표시하고, 나머지 영역은 가상의 환자 객체(510)를 증강 현실을 통해 표시할 수 있다.

다른 예로, 매핑부(163)는 환자 객체 내의 진료 부위 영역 외측을 현재 진료 부위 이미지의 매핑 위치로 결정할 수 있다. 이 경우, 도 5(b)와 같이, 디스플레이부(131)는 가상의 환자 객체(530)를 증강 현실을 통해 표시하고, 환자 객체 외측에 현재 진료 부위 이미지에 대응되는 실상 객체(540)를 증강 현실을 통해 표시하되, 환자 객체 내의 진료 부위(541)와 현재 진료 부위 이미지에 대응되는 실상 객체(540)를 연계하여 증강 현실을 통해 표시할 수 있다.

이러한 본 발명에 따르면 의사는 원격 진료임에도 불구하고 증강 현실을 통해 보다 생동감 있고 용이하게 환자의 진료 부위의 위치 및 현재 상태를 확인할 수 있다.

또한, 매핑부(163)는 환자의 과거 진료 부위 이미지의 매핑 위치를 결정할 수 있다. 구체적으로, 매핑부(163)는 현재 진료 부위 이미지의 매핑 위치를 기초로 과거 진료 부위 이미지의 매핑 위치를 결정할 수 있다. 일 예로, 과거 진료 부위 이미지에는 진료 날짜에 대응되는 연/월/일/시간 중 적어도 하나를 포함하는 시간 정보가 할당될 수 있고, 매핑부(163)는 과거 진료 부위 이미지의 시간 정보를 이용하여 과거 진료 부위 이미지와 현재 진료 부위 이미지의 매핑 위치를 결정할 수 있다.

이러한 과거 진료 부위 이미지의 매핑 동작에 대해서는 도 6을 참조하여 보다 구체적으로 설명하기로 한다.

일 예로, 매핑부(163)는 현재 진료 부위 이미지의 매핑 위치를 기초로 시간 순으로 과거 진료 부위 이미지와 현재 진료 부위 이미지가 배치되도록 매핑 위치를 결정할 수 있다. 이 경우, 도 6과 같이, 디스플레이부(131)는 가상의 환자 객체(610)를 증강 현실을 통해 표시하고, 환자 객체(610) 외측에 현재 진료 부위 이미지에 대응되는 실상 객체(621)를 증강 현실을 통해 표시하되, 시간 순으로 과거 진료 부위 이미지에 대응되는 실상 객체(622-1,622-2)와 현재 진료 부위 이미지에 대응되는 실상 객체(621)를 증강 현실을 통해 표시할 수 있다.

다른 예로, 매핑부(163)는 현재 진료 부위 이미지와 과거 진료 부위 이미지를 복수의 층(layer)으로 겹쳐서 배치되도록 과거 진료 부위 이미지의 매핑 위치를 결정할 수 있다. 구체적으로, 시간 정보를 기초로 시간 순으로 오래된 과거 진료 부위 이미지는 하층에 배치하고 최근의 과거 진료 부위 이미지는 상층에 배치하며, 가장 상 층에는 현재 진료 부위 이미지를 매핑할 수 있다. 이 경우, 디스플레이부(131)는 각 층별로 하층으로 갈수록 투명도를 크게하고 상층으로 갈수록 투명도를 작게하여 복수의 이미지가 겹쳐서 증강 현실에 표시되도록 할 수 있다.

이러한 본 발명에 따르면 의사는 원격 진료임에도 불구하고 증강 현실을 통해 보다 환자의 진료 부위에 대한 과거부터 현재까지의 이미지를 눈으로 보면서 치료 예후를 용이하게 확인할 수 있다.

또한, 매핑부(163)는 환자의 실시간 안면 이미지의 매핑 위치를 결정할 수 있다. 일 예로, 매핑부(163)는 환자 객체의 얼굴 영역을 검출하고, 검출된 얼굴 영역의 위치를 기초로 실시간 안면 이미지의 매핑 위치를 결정할 수 있다.

이러한 실시간 환자 안면 이미지의 매핑 동작에 대해서는 도 7를 참조하여 보다 구체적으로 설명하기로 한다.

일 예로, 매핑부(163)는 가상의 환자 객체 내의 얼굴 영역을 실시간 환자현재 안면 이미지의 매핑 위치로 결정할 수 있다. 이 경우, 도 7과 같이, 디스플레이부(131)는 환자 객체 내의 얼굴 영역은 실시간 환자의 안면 이미지에 대응되는 실상 객체(720)를 증강 현실을 통해 표시하고, 나머지 영역은 가상의 환자 객체(710)를 증강 현실을 통해 표시할 수 있다.

환자의 증상은 얼굴 색, 붓기, 입술 색, 얼굴 윤기, 얼굴 표정 등과 같이 얼굴에 드러나게 되는데, 본 발명에 따르면 의사는 원격 진료임에도 불구하고 환자가 대면한 것과 동일하게 환자 안면 이미지를 증강 현실을 통해 확인하며 진료를 수행할 수 있다.

또한, 객체 생성부(162)에서 환자의 병명, 치료법, 처방전을 안내해는 가상 객체가 생성되면, 매핑부(163)는 생성된 가상 객체의 매핑 위치를 결정할 수 있다. 여기서, 환자의 병명, 치료법 및 처방전 각각에 대한 안내 객체는 각 항목 별로 상위 스코어의 복수의 후보안을 포함할 수 있고, 각 후보안들은 서로 연계되어 매핑될 수 있다.

이러한 병명, 치료법, 처방전 안내를 위한 가상 객체의 매핑 동작에 대해서는 도 8를 참조하여 보다 구체적으로 설명하기로 한다. 도 8을 참조하면, 디스플레이부(131)는 환자의 진료 부위에 대한 복수의 병명 후보안(801), 각 병명 후보안 별 치료법(802), 각 치료법 별 처방전(803)을 서로 연계하여 증강 현실을 통해 표시할 수 있다.

이러한 본 발명에 따르면 수많은 학습 데이터를 기반으로 산출된 병명, 치료법, 처방전을 출력하되, 의사의 원격 진료를 보조하기 위하여 상위 스코어의 후보안을 증강현실을 통해 제시함으로써, 의사의 원격 진료의 진단 어려움 및 오진 발생 가능성을 해소할 수 있다.

한편, 원격 진료를 통해 의사의 환자에 대한 진단이 이루어져 병명, 치료법 및 처방전 중 적어도 하나가 입력되면, AI 프로세서(180)는 입력된 병명, 치료법 및 처방전을 기초로 각각에 대응되는 학습 모델을 학습시킬 수 있다. 일 예로, 증강 현실을 통해 의사에게 제시된 복수의 병명 중 하나를 의사가 선택하면, AI 프로세서(180)는 병명을 출력으로 하는 학습 모델을 의사로부터 입력된 병명을 기초로 학습시킬 수 있다.

또한, 객체 생성부(162)에서 환자의 치료 예후 이미지가 생성되면, 매핑부(163)는 생성된 치료 예후 이미지의 매핑 위치를 결정할 수 있다. 이 경우, 매핑부(163)는 상술한 과거 진료 부위 이미지의 매핑 방식과 동일하게 시간 순으로 과거 진료 부위 이미지와 현재 진료 부위 이미지와 치료 예후 이미지가 배치되도록 매핑 위치를 결정할 수 있다.

이러한 본 발명에 따르면 의사는 원격 진료임에도 불구하고 증강 현실을 통해 보다 환자의 진료 부위에 대한 과거부터 현재 및 미래까지의 이미지를 눈으로 보면서 치료 예후를 용이하게 확인할 수 있다.

도 9는 HMD를 통한 증강 현실 기반의 원격 진료를 나타내는 개념도 이다. 도 9를 참조하면, 의사는 사용자 머리에 착용할 수 있는 형태의 Video see-through HMD 를 착용하며 원격 진료를 수행할 수 있다. 이 경우, HMD는 실세계 영상과 객체 생성부(162)에서 생성된 객체를 합성하여 디스플레이부(131)를 통해 의사의 눈에 증강 현실 영상(901)을 표시할 수 있다.

도 10은 본 발명의 일 실시 예에 따른 산모 원격 진료를 위한 증강 현실 영상을 나타내는 도면 이다. 도 10을 참조하면, 객체 생성부(162)는 산모의 전신을 나타내는 객체가 아닌, 산모의 진료 부위인 배 부분만을 나타내는 환자 객체(1001)를 생성할 수 있다.

그리고, 매핑부(163)는 태아 초음파 이미지를 획득할 수 있다. 여기서, 태아 초음파 이미지는 산모의 과거 대면 진료시의 태아 초음파 이미지, 산모가 구비한 장치에서 획득된 태아의 심박 수를 포함하는 건강 기록 데이터, 산모의 산부인과 진료에 대한 의료 기록 데이터(주차 별 심박수, 태아 발육 상태 등을 포함함), 환자의 현재 증상을 입력받아 태아의 머리 크기, 심박 및 기타 발달 정보를 기초로 예측된 태아 초음파 이미지일 수 있다. 또는, 태아 초음파 이미지는 산모가 초음파 촬영이 가능한 기기를 구비하는 경우, "실시간 초음파 이미지"일 수 있다.

그리고, 매핑부(163)는 산모의 진료 부위인 배 부분에 대응되는 환자 객체내의 진료 부위의 위치를 상기 획득된 태아 초음파 이미지의 매핑 위치로 결정할 수 있다. 이 경우, 도 10과 같이 같이, 디스플레이부(131)는 산모 객체 내의 진료 부위에는 태아 초음파 이미지에 대응되는 실상 객체(1002)를 증강 현실을 통해 표시하고, 나머지 영역은 산모의 가상 객체(1001)를 증강 현실을 통해 표시할 수 있다.

한편, 제어부(170)는 단말 장치(100)의 전반적인 동작을 제어한다. 구체적으로 제어부(170)는 저장부(110), 입력부(120), 출력부(130), 통신부(140), 촬영부(150), 증강 현실 처리부(160) 및 AI 프로세서(180)의 전부 또는 일부를 제어할 수 있다.

특히, 제어부(170)는 증강 현실 처리부(160)를 통해 각종 안내 객체가 생성되면, 생성된 안내 객체를 증강 현실을 통해 표시하도록 디스플레이부(131)를 제어할 수 있다.

일 예로, 디스플레이부(131)가 Optical see-through HMD 로 구현되는 경우, 제어부(170)는 증강 현실 처리부(160)에서 생성된 안내 객체를 사용자의 눈앞에 배치된 반투과성 광학 합성기(optical combiner)로 투사하도록 제어할 수 있다. 이 경우, 사용자는 광학 합성기를 통해 실세계 환경을 직접 보면서, 광학 합성기로 투사되는 가상 영상을 동시에 볼 수 있다.

다른 예로, 디스플레이부(131)가 Video see-through HMD 또는 스마트폰 등과 같은 Hand-held device로 구현되는 경우, 제어부(170)는 촬영부(150)에서 촬영된 실시간 실세계 영상과 증강 현실 처리부(160)에서 생성된 안내 객체를 합성하여 표시할 수 있다. 이 경우, 사용자는 LCD, OLED와 같은 디스플레이 화면을 통해 증강 현실 화면을 볼 수 있다.

또한, 제어부(170)는 원격 진료의 진행 프로세스 별로 적합한 안내 객체를 생성하여 표시하도록 증상 현실 처리부(160) 및 디스플레이부(131)를 제어할 수 있다.

일 예로, 의사의 원격 진료가 개시되면 환자 객체, 실시간 환자 안면 이미지, 현재 진료 부위 이미지, 과저 진료 부위 이미지 중 적어도 하나를 표시하도록 증상 현실 처리부(160) 및 디스플레이부(131)를 제어할 수 있다.

이 후, 의사가 증강 현실 화면을 통해 진료를 완료하면, 병명, 치료법, 처방전, 치료 예후 이미지 중 적어도 하나를 표시하도록 증상 현실 처리부(160) 및 디스플레이부(131)를 제어할 수 있다.

또한, 제어부(170)는 환자의 단말 장치(200)에 대한 의사의 요청을 생성하여 통신부(110)를 통해 환자 단말 장치(200) 및/또는 원격 진료 서버(300)로 전송할 수 있다. 구체적으로, 입력부(120)를 통해 현재 진료 부위 이미지에 대한 카메라 시점(View) 전환 및 줌 인/아웃 중 적어도 하나를 선택하는 입력이 수신되면, 제어부(170)는 환자 단말 장치(200) 및/또는 원격 진료 서버(300)에 카메라 시점(View) 전환 및 줌 인/아웃 중 적어도 하나를 제어하는 요청을 전송할 수 있다. 그리고, 이 요청에 따라 환자 단말 장치(200) 및/또는 원격 진료 서버(300)로부터 이미지가 수신되면, 제어부(170)는 대응되게 변환된 현재 진료 부위 이미지를 증강 현실을 통해 표시하도록 증상 현실 처리부(160) 및 디스플레이부(131)를 제어할 수 있다.

또한, 제어부(170)는 의사의 시야각 변화를 감지하는 감지부(미도시)의 감지 결과를 기초로 객체의 표시를 제어하도록 증상 현실 처리부(160) 및 디스플레이부(131)를 제어할 수 있다. 여기서, 의사의 시야각 변화는 의사의 머리의 이동에 따라 달라질 수 있다. 일 예로, 의사가 좌측 또는 우측으로 머리를 회전시키면 의사의 시야각은 각각 좌측 또는 우측으로 변화할 수 있고, 의사가 머리를 앞으로 이동시키면 의사의 시야각은 좁아지고 의사가 머리를 뒤로 이동시키면 의사의 시야각은 넓어질 수 있다.

이 경우, 제어부(170)는 의사가 머리를 앞으로 이동시켜 의사의 시야각이 좁아지면 증강 현실을 통해 표시된 현재 진료 부위 이미지를 확대하도록 증강 현실 처리부(160) 및 디스플레이부(131)를 제어할 수 있다. 또는 동시에 환자 객체, 과거 진료 부위 이미지를 확대하도록 증강 현실 처리부(160) 및 디스플레이부(131)를 제어할 수 있다.

또한, 제어부(170)는 의사가 머리를 뒤로 이동시켜 의사의 시야각이 넓어지면 증강 현실을 통해 표시된 현재 진료 부위 이미지를 축소하도록 증강 현실 처리부(160) 및 디스플레이부(131)를 제어할 수 있다. 또는 동시에 환자 객체, 과거 진료 부위 이미지를 축소하도록 증강 현실 처리부(160) 및 디스플레이부(131)를 제어할 수 있다.

또한, 제어부(170)는 의사가 좌측 또는 우측으로 머리를 회전시켜 시야각이 각각 좌측 또는 우측으로 변화하는 경우, 객체 생성부(162)에 생성된 객체의 종류에 따라 매핑 위치를 선택적으로 변경할 수 있다. 일 예로, 환자의 대면 진료 시 환자가 위치하는 실세계 공간의 지점에 대응되는 증강 현실 내의 위치에 매핑되는 환자 객체와 환자의 실시간 안면을 표출하는 실시간 안면 이미지의 경우, 의사의 시야각이 좌측 또는 우측으로 변화하더라도 매핑 위치를 변경하지 않을 수 있다. 다른 예로, 환자의 현재 진료 부위 이미지는 환자의 시야각이 좌측 또는 우측으로 이동하면 이동량에 비례하게 매핑 위치가 좌측 또는 우측으로 유동적으로 변경될 수 있다. 즉, 환자가 원격 진료 과정에서 증강 현실을 통해 표시되는 정보가 아닌 다른 기기(예를 들어, 의사의 컴퓨터 등)를 통해 정보를 확인하기 위해 시야각을 좌측 또는 우측으로 변경하는 경우, 의사는 증강 현실 상에 표시되는 현재 진료 부위 이미지와 다른 기기에서 표시되는 정보를 비교 확인하며 원격 진료를 수행할 수 있다.

이러한 본 발명에 따르면, 의사의 인터랙션을 반영하여 AR 객체의 표출 방식 및 위치를 적절히 변경함으로써, 원격 진료 시의 의사의 편의성 및 진단 정확성을 높일 수 있다.

도 11은 본 발명의 일 실시 예에 따른 증강 현실 기반의 원격 진료 시스템의 동작을 나타내는 타이밍도 이다. 도 11을 참조하면, 먼저, 환자는 자신의 단말 장치(200)를 통하여 원격 진료 서버(300)에 원격 진료를 요청할 수 있다(S11). 일 예로, 환자는 원격 진료 서버(300)에 접속하여 원격 진료 항목, 진료 부위, 증상 등의 정보를 사전에 입력하여 원격 진료를 요청할 수 있다.

그리고, 환자의 원격 진료 순번이 되면, 환자의 단말 장치(200)와 의사의 단말 장치(100)는 통신 연결될 수 있다(S12). 이러한 통신 연결에 따라, 환자의 단말 장치(200)와 의사의 단말 장치(100)는 실시간 통신이 가능하게 되고, 원격 진료는 개시되게 된다.

그리고, 진료가 개시되면, 의사 단말 장치(100)는 환자에 대한 의료 기록 데이터 및 건강 기록 데이터를 원격 진료 서버(300) 및/또는 환자 단말 장치(10)로부터 수신할 수 있다(S13). 여기서, S13 단계는 원격 진료의 개시 전에 수행될 수도 있다.

그리고, 의사 단말 장치(100)는 원격 진료를 요청한 환자를 나타내는 환자 객체를 생성할 수 있다(S14).

그리고, 의사 단말 장치(100)는 환자의 증상 데이터를 획득할 수 있다(S15). 여기서, S15 단계는 원격 진료 서버(300) 및/또는 환자 단말 장치(10)로부터 수신함으로써 수행될 수 있다. 그리고, S15 단계는 원격 진료의 개시 전에 수행될 수도 있다.

그리고, 의사 단말 장치(100)는 생성된 환자 객체에서 증상 데이터를 이용하여 환자의 진료 부위를 검출할 수 있다(S16).

그리고, 의사 단말 장치(100)는 환자의 진료 부위에 대응되는 현재 진료 부위 이미지를 획득할 수 있다(S17). 여기서, S17 단계는 환자 단말 장치(200) 및/또는 원격 진료 서버(300)로부터 수신함으로써 수행될 수 있다.

그리고, 의사 단말 장치(100)는 환자 객체 내의 진료 부위의 위치를 기초로 획득된 현재 진료 부위 이미지의 매핑 위치를 결정할 수 있다(S18).

그리고, 의사 단말 장치(100)는 환자 객체와 결정된 매핑 위치에 매핑된 진료 부위 이미지를 증강 현실을 통해 표시할 수 있다(S19).

그리고, 의사는 증강 현실을 통해 환자에 대한 진료를 수행하고, 병명, 치료법 및 처방전 등을 포함하는 환자 원격 진료 정보를 입력할 수 있다(S20).

그리고, 환자의 원격 진료가 종료되면, 환자의 단말 장치(200)와 의사의 단말 장치(100)는 통신 연결은 종료될 수 있다(S21).

도 12는 본 발명의 일 실시 예에 따른 원격 진료를 위한 증강 현실 인터페이스 제공 방법을 나타내는 흐름도 이다. 도 12를 참조하면, 먼저 진료를 요청한 환자를 나타내는 환자 객체를 생성할 수 있다(S110).

그리고, 환자의 증상 데이터를 획득할 수 있다(S120).

그리고, 생성된 환자 객체에서 증상 데이터를 이용하여 환자의 진료 부위를 검출할 수 있다(S130).

그리고, 환자의 진료 부위에 대응되는 현재 진료 부위 이미지를 획득할 수 있다(S140). 여기서, 현재 진료 부위 이미지는 "환자의 단말 장치에서 실시간으로 촬영된 환자의 진료 부위에 대한 실시간 진료 부위 이미지" 및 "환자의 진료 부위에 대해 예측된 진료 부위 이미지" 중 적어도 하나를 포함할 수 있다.

그리고, 환자 객체 내의 진료 부위의 위치를 기초로 획득된 현재 진료 부위 이미지의 매핑 위치를 결정할 수 있다(S150).

그리고, 환자의 단말 장치에서 촬영된 실시간 환자 안면 이미지를 수신할 수 있다(S160). 그리고, 객체의 얼굴 영역을 실시간 환자 안면 이미지의 매핑 위치로 결정할 수 있다(S165).

그리고, 환자의 과거 진료 부위 이미지를 획득할 수 있다(S170). 그리고, 현재 진료 부위 이미지의 매핑 위치를 기초로 과거 진료 부위 이미지의 매핑 위치를 결정할 수 있다(S175).

그리고, 환자 객체, 현재 진료 부위 이미지, 과거 진료 부위 이미지 및 실시간 안면 이미지 중 적어도 하나를 증강 현실을 통해 표시할 수 있다(S180).

그리고, 환자의 원격 진료 과정에서 취득된 각종 정보를 종합하여 환자의 병명, 치료법 및 처방전 중 적어도 하나를 판단할 수 있다(S190).

그리고, 환자의 원격 진료를 보조하는 원격 진료 보조 객체를 생성하여 증강 현실을 통해 표시할 수 있다(S195). 여기서, S195 단계는 원격 진료 보조 객체는 환자의 진료 부위에 대한 복수의 병명 후보안, 각 병명 후보안 별 치료법, 각 치료법 별 처방전을 서로 연계하여 증강 현실을 통해 표시할 수 있다.

도 13은 본 발명의 일 실시 예에 따른 증강 현실 표시 방법을 나타내는 흐름도 이다. 도 13을 참조하면, 먼저 실세계 공간에 대응되는 가상 3D 공간을 생성할 수 있다(S210). 일 예로, S210 단계는 촬영 영상의 캘리브레이션을 통해 카메라 파라미터를 추정하고, 카메라 파라미터를 기초로 카메라가 촬영한 영상으로부터 깊이 정보(Depths information)를 획득하며, 획득한 깊이 정보와 촬영 영상을 기초로 실세계 공간에 대응되는 가상 3D 공간을 생성할 수 있다.

그리고, 증강 현실을 통해 표출될 다양한 AR 객체를 생성할 수 있다(S220). 여기서, AR 객체는 컴퓨터 그래픽을 통해 생성된 가상의 2차원 또는 3차원 객체일 수 있다. 또는, 안내 객체는 가상이 아닌 실상의 객체일 수 있다. 일 예로, S320 단계는 환자 가상 객체, 현재 진료 부위 이미지 실상 객체, 과거 진료 부위 이미지 실상 객체, 실시간 환자 안면 이미지 실상 객체, 환자의 병명 안내 객체, 치료법 안내 객체, 처방전 안내 객체 등을 생성할 수 있다.

그리고, 복수의 AR 객체의 타입(type)에 따라 가상 3D 공간에서의 매핑 위치를 결정할 수 있다(S230).

그리고, 결정된 매핑 위치에 객체를 매핑하여 증강 현실을 통해 표시할 수 있다(S240).

그리고, 의사의 시야각 변화를 감지할 수 있다(S250). 여기서, 의사의 시야각 변화는 의사의 머리의 이동에 따라 달라질 수 있다. 일 예로, 의사가 좌측 또는 우측으로 머리를 회전시키면 의사의 시야각은 각각 좌측 또는 우측으로 변화할 수 있고, 의사가 머리를 앞으로 이동시키면 의사의 시야각은 좁아지고 의사가 머리를 뒤로 이동시키면 의사의 시야각은 넓어질 수 있다.

만약, 의사의 시야각 변화가 감지되면(S250:Y), 시야각 변화에 대응되도록 AR 객체의 표출 방식 및 표출 위치 중 적어도 하나를 변경하여 증강 현실을 통해 표시할 수 있다(S260). 여기서, 표출 방식의 변경은 줌 인/아웃을 포함할 수 있다. 그리고, 표출 방식 및 표출 위치의 변경은 객체의 매핑 위치의 변경, 객체의 확대/축소 등을 통하여 구현될 수 있다.

도 14는 본 발명의 일 실시 예에 따른 진단 정보 제공 방법을 나타내는 흐름도 이다. 도 14를 참조하면, 먼저 환자의 의료 기록 데이터 및 건강 기록 데이터 중 적어도 하나를 제1 학습 모델에 입력하여 환자 분류 데이터를 획득할 수 있다(S310). 여기서, 환자 분류 데이터는 복수의 분류 기준에 따라 복수의 군으로 분류된 환자집단 중 환자가 속하는 집단을 의미할 수 있다.

그리고, 획득된 환자의 분류 데이터 및 환자의 증상 정보를 제2 학습 모델에 입력하여 환자의 병명을 획득할 수 있다(S320).

그리고, 병명 후보안을 안내하는 원격 진료 보조 객체를 생성하고, 생성된 객체를 증강 현실을 통해 표시할 수 있다(S330).

그리고, 의사로부터 환자에 대한 병명이 입력되면, 입력된 병명을 기초로 제2 학습 모델을 학습시킬 수 있다(S340). 여기서, 학습 시키는 단계는, 의사로부터 입력된 병명이 병명 후보단 중에 포함된 병명인지 또는 병명 후보단 중에 포함되지 않은 병명인지에 따라 판단을 위한 스코어 가중치를 변경하여 학습 모델을 지도 학습시킬 수 있다.

한편, 상술한 지도 학습 과정은 치료법 및 처방전에도 동일하게 적용될 수 있다.

이상과 같이, 상술한 본 발명의 다양한 실시 예에 따르면, 원격 진료 환자에 대응되는 환자 객체, 환자의 진료 부위 이미지를 증강현실을 통해 표시함으로써, 의사는 증강 현실을 통해 보다 생동감 있고 용이하게 환자와 커뮤니케이션을 수행하며 원격 진료를 수행할 수 있다. 이에 따라, 의사와 환자 간의 커뮤니케이션 오류 및 정보 교환의 부정확에 따라 발생할 수 있는 원격 진료의 진단 어려움 및 오진 발생 가능성을 낮출 수 있다.

또한, 본 발명에 따르면, 환자의 원격 진료에 도움이 되는 환자의 진료 부위, 환자의 의료 기록, 환자의 건강 기록, 추천 치료법, 추천 처방전 등을 안내하는 안내 객체를 의사에게 증강 현실을 통해 제공함으로써, 의사의 원격 진료의 진단 어려움 및 오진 발생 가능성을 해소할 수 있다.

한편, 명세서 및 청구범위에서 "제 1", "제 2", "제 3" 및 "제 4" 등의 용어는, 만약 있는 경우, 유사한 구성요소 사이의 구분을 위해 사용되며, 반드시 그렇지는 않지만 특정 순차 또는 발생 순서를 기술하기 위해 사용된다. 그와 같이 사용되는 용어는 여기에 기술된 본 발명의 실시예가, 예컨대, 여기에 도시 또는 설명된 것이 아닌 다른 시퀀스로 동작할 수 있도록 적절한 환경하에서 호환 가능한 것이 이해될 것이다. 마찬가지로, 여기서 방법이 일련의 단계를 포함하는 것으로 기술되는 경우, 여기에 제시된 그러한 단계의 순서는 반드시 그러한 단계가 실행될 수 있는 순서인 것은 아니며, 임의의 기술된 단계는 생략될 수 있고/있거나 여기에 기술되지 않은 임의의 다른 단계가 그 방법에 부가 가능할 것이다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

또한 명세서 및 청구범위의 "왼쪽", "오른쪽", "앞", "뒤", "상부", "바닥", "위에", "아래에" 등의 용어는, 설명을 위해 사용되는 것이며, 반드시 불변의 상대적 위치를 기술하기 위한 것은 아니다. 그와 같이 사용되는 용어는 여기에 기술된 본 발명의 실시예가, 예컨대, 여기에 도시 또는 설명된 것이 아닌 다른 방향으로 동작할 수 있도록 적절한 환경하에서 호환 가능한 것이 이해될 것이다. 여기서 사용된 용어 "연결된"은 전기적 또는 비 전기적 방식으로 직접 또는 간접적으로 접속되는 것으로 정의된다. 여기서 서로 "인접하는" 것으로 기술된 대상은, 그 문구가 사용되는 문맥에 대해 적절하게, 서로 물리적으로 접촉하거나, 서로 근접하거나, 서로 동일한 일반적 범위 또는 영역에 있는 것일 수 있다. 여기서 "일실시예에서"라는 문구의 존재는 반드시 그런 것은 아니지만 동일한 실시예를 의미한다.

또한 명세서 및 청구범위에서 '연결된다', '연결하는', '체결된다', '체결하는', '결합된다', '결합하는' 등과 이런 표현의 다양한 변형들의 지칭은 다른 구성요소와 직접적으로 연결되거나 다른 구성요소를 통해 간접적으로 연결되는 것을 포함하는 의미로 사용된다.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로써, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

또한 본 명세서에서 사용된 용어들은 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.

그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

한편, 상술한 본 발명의 다양한 실시 예들에 따른 차선 검출 방법은 프로그램으로 구현되어 서버 또는 기기들에 제공될 수 있다. 이에 따라 각 장치들은 프로그램이 저장된 서버 또는 기기에 접속하여, 상기 프로그램을 다운로드 할 수 있다.

또한, 상술한 본 발명의 다양한 실시 예들에 따른 방법은 프로그램으로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 의사 단말 장치 200 : 환자 단말 장치
300 : 원격 진료 서버

Claims (15)

1. 원격 진료를 위한 증강 현실 인터페이스 제공 방법에 있어서,
   진료를 요청한 환자를 나타내는 환자 객체를 생성하는 단계;
   상기 환자의 증상 데이터를 획득하는 단계;
   상기 생성된 환자 객체에서 상기 증상 데이터를 이용하여 상기 환자의 진료 부위를 검출하는 단계;
   상기 환자의 진료 부위에 대응되는 현재 진료 부위 이미지를 획득하는 단계;
   상기 환자 객체 내의 진료 부위의 위치를 기초로 상기 획득된 현재 진료 부위 이미지의 매핑 위치를 결정하는 단계;
   상기 환자 객체와 상기 결정된 매핑 위치에 매핑된 현재 진료 부위 이미지를 증강 현실을 통해 표시하는 단계; 를 포함하는 원격 진료를 위한 증강 현실 인터페이스 제공 방법.
2. 제1항에 있어서,
   상기 현재 진료 부위 이미지는 "상기 환자의 단말 장치에서 실시간으로 촬영된 상기 환자의 진료 부위에 대한 실시간 진료 부위 이미지" 및 "상기 환자의 진료 부위에 대해 예측된 진료 부위 이미지" 중 적어도 하나를 포함하는 것을 특징으로 하는 원격 진료를 위한 증강 현실 인터페이스 제공 방법.
3. 제1항에 있어서,
   상기 환자의 진료 부위에 대한 과거 진료 부위 이미지를 획득하는 단계; 및
   상기 현재 진료 부위 이미지의 매핑 위치를 기초로 상기 과거 진료 부위 이미지의 매핑 위치를 결정하는 단계;를 더 포함하고,
   상기 증강 현실을 통해 표시하는 단계는,
   상기 매핑 위치가 결정된 과거 진료 부위 이미지를 상기 증강 현실을 통해 표시하는 단계를 포함하는 것을 특징으로 하는 원격 진료를 위한 증강 현실 인터페이스 제공 방법.
4. 제1항에 있어서,
   상기 증강 현실을 통해 표시하는 단계는,
   실세계 공간에 대한 3차원 공간 좌표를 산출하는 단계;
   상기 실세계 공간의 공간 구조 분석을 통해 환자 진료 위치를 검출하는 단계; 및
   상기 검출된 환자 진료 위치를 상기 환자 객체의 매핑 위치를 결정하는 단계;를 포함하는 것을 특징으로 하는 원격 진료를 위한 증강 현실 인터페이스 제공 방법.
5. 제1항에 있어서,
   상기 환자의 단말 장치에서 촬영된 실시간 환자 안면 이미지를 수신하는 단계; 및상기 환자 객체의 얼굴 영역에 상기 실시간 환자 안면 이미지를 매핑하여 상기 증강 현실을 통해 표시하는 단계;를 더 포함하는 것을 특징으로 하는 원격 진료를 위한 증강 현실 인터페이스 제공 방법.
6. 제5항에 있어서,
   상기 환자 안면 이미지와 상기 현재 진단 부위 이미지는 동영상인 것을 특징으로 하는 원격 진료를 위한 증강 현실 인터페이스 제공 방법.
7. 제1항에 있어서,
   상기 현재 진료 부위 이미지에 대한 카메라 시점(View) 전환 및 줌 인/아웃 중 적어도 하나를 선택하는 입력을 수신하는 단계; 및
   상기 수신된 입력에 대응되게 변환된 현재 진료 부위 이미지를 상기 증강 현실을 통해 표시하는 단계;를 포함하는 원격 진료를 위한 증강 현실 인터페이스 제공 방법.
8. 제1항에 있어서,
   상기 환자의 의료 기록 데이터 및 건강 기록 데이터 중 적어도 하나를 제1 학습 모델에 입력하여 상기 환자 분류 데이터를 획득하는 단계; 및
   상기 획득된 환자의 분류 데이터 및 상기 환자의 증상 정보를 제2 학습 모델에 입력하여 상기 환자의 병명을 획득하는 단계;를 더 포함하는 것을 특징으로 하는 하는 원격 진료를 위한 증강 현실 인터페이스 제공 방법.
9. 제8항에 있어서,
   상기 병명을 안내하는 진단 안내 객체를 생성하고, 상기 생성된 진단 안내 객체를 증강 현실을 통해 표시하는 단계; 및
   상기 의사로부터 상기 환자에 대한 병명이 입력되면, 상기 입력된 병명을 기초로 상기 제2 학습 모델을 학습시키는 단계;를 더 포함하는 것을 특징으로 하는 원격 진료를 위한 증강 현실 인터페이스 제공 방법.
10. 원격 진료를 위한 증강 현실 인터페이스 제공 장치에 있어서,
    통신부;
    진료를 요청한 환자를 나타내는 환자 객체를 생성하고, 상기 생성된 환자 객체에서 상기 환자의 진료 부위를 검출하고, 상기 환자의 진료 부위에 대한 현재 진료 부위 이미지가 상기 통신부를 통해 수신되면 상기 환자 객체 내의 진료 부위의 위치를 기초로 상기 수신된 현재 진료 부위 이미지의 매핑 위치를 결정하는 증강 현실 처리부; 및
    상기 환자 객체와 상기 결정된 매핑 위치에 매핑된 현재 진료 부위 이미지를 증강 현실을 통해 표시하는 디스플레이부;를 포함하는 원격 진료를 위한 증강 현실 인터페이스 제공 장치.
11. 제10항에 있어서,
    상기 증강 현실 처리부는,
    상기 환자의 진료 부위에 대한 과거 진료 부위 이미지를 획득하고, 상기 현재 진료 부위 이미지의 매핑 위치를 기초로 상기 과거 진료 부위 이미지의 매핑 위치를 결정하며,
    상기 디스플레이부는,
    상기 매핑 위치가 결정된 과거 진료 부위 이미지를 상기 증강 현실을 통해 표시하는 것을 특징으로 하는 원격 진료를 위한 증강 현실 인터페이스 제공 장치.
12. 제10항에 있어서,
    상기 증강 현실 처리부는,
    실세계 공간에 대한 3차원 공간 좌표를 산출하는 3차원 공간 좌표 산출부;
    상기 실세계 공간의 공간 구조 분석을 통해 환자 진료 위치를 검출하고, 상기 검출된 환자 진료 를 상기 환자 객체의 매핑 위치로 결정하는 매핑부;를 포함하는 것을 특징으로 하는 원격 진료를 위한 증강 현실 인터페이스 제공 장치.
13. 제10항에 있어서,
    상기 통신부는 상기 환자의 단말 장치에서 촬영된 실시간 환자 안면 이미지를 수신하며,
    상기 증강 현실 처리부는 상기 환자 객체의 얼굴 영역에 상기 실시간 환자 안면 이미지를 매핑하는 것을 특징으로 하는 원격 진료를 위한 증강 현실 인터페이스 제공 장치.
14. 제10항에 있어서,
    상기 환자의 의료 기록 데이터 및 건강 기록 데이터 중 적어도 하나를 제1 학습 모델에 입력하여 상기 환자 분류 데이터를 획득하고, 상기 획득된 환자의 분류 데이터를 제2 학습 모델에 입력하여 상기 환자의 병명을 획득하는 AI 프로세서;를 더 포함하는 것을 특징으로 하는 원격 진료를 위한 증강 현실 인터페이스 제공 장치.
15. 제1항 내지 제9항에 기재된 원격 진료 방법을 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.

Images