KR20220105588A - 투명 디스플레이 모듈을 이용한 의료 진료 시스템 - Google Patents
투명 디스플레이 모듈을 이용한 의료 진료 시스템 Download PDFInfo
- Publication number
- KR20220105588A KR20220105588A KR1020210191542A KR20210191542A KR20220105588A KR 20220105588 A KR20220105588 A KR 20220105588A KR 1020210191542 A KR1020210191542 A KR 1020210191542A KR 20210191542 A KR20210191542 A KR 20210191542A KR 20220105588 A KR20220105588 A KR 20220105588A
- Authority
- KR
- South Korea
- Prior art keywords
- transparent display
- patient
- gaze
- medical
- medical staff
- Prior art date
Links
- 210000001747 pupil Anatomy 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
- G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- User Interface Of Digital Computer (AREA)
- Radiation-Therapy Devices (AREA)
Abstract
본 발명은 투명 디스플레이 모듈을 이용한 의료 진료 시스템에 관한 것이다. 본 발명에 따르면, 환자와 의료진 사이에 위치하며, 환자와 관련한 복수의 전자 의료차트를 제공하기 위한 복수의 인터페이스창을 화면에 표시하는 투명 디스플레이와, 상기 투명 디스플레이의 양면 방향에 각각 장착되어 상기 의료진과 환자의 눈동자를 검출하고 시선 추적 정보를 제공하며, 3차원 공간 상의 상기 의료진과 환자의 눈동자의 위치 좌표값을 획득하는 제1 및 제2 시선추적기와, 상기 의료진과 환자의 각 눈동자의 위치 좌표값 간의 가상 연결 선과 상기 투명 디스플레이의 평면이 서로 교차하는 교차점을 기준으로 시선교환 영역을 설정하는 영역 설정부, 및 상기 인터페이스창 중에서 상기 시선교환 영역과 겹쳐 존재한 적어도 하나의 인터페이스창을 상기 시선교환 영역 밖으로 이동시켜 인터페이스창을 재배열하는 제어부를 포함하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템을 제공한다.
본 발명에 따르면, 투명 디스플레이를 통한 진료 인터페이스를 기반으로 의사와 환자 상호 간에 시선 교류와 정보 전달이 동시에 이루어지도록 하여 환자 만족도와 진료 효율성을 높이고 의료의 질을 향상시킬 수 있다.
본 발명에 따르면, 투명 디스플레이를 통한 진료 인터페이스를 기반으로 의사와 환자 상호 간에 시선 교류와 정보 전달이 동시에 이루어지도록 하여 환자 만족도와 진료 효율성을 높이고 의료의 질을 향상시킬 수 있다.
Description
본 발명은 투명 디스플레이 모듈을 이용한 의료 진료 시스템에 관한 것으로서, 보다 상세하게는 의사와 환자 간 시선 교류와 정보 교환이 동시에 이루어질 수 있는 투명 디스플레이 모듈을 이용한 의료 진료 시스템에 관한 것이다.
최근 의사와 환자의 2인 대면 서비스 상황에서 PC 환경 기반 건강 검진이 급속도로 확대되어 의사가 환자를 마주하는 진단 기법의 활용이 위축되고 있으며, 의사와 환자 간의 시선 교환이 단절되고 있다.
의사와 환자 간의 시선 단절은 상대와의 교감을 저하시켜 서비스에 대한 만족도 감소를 야기한다. 만족도의 저하는 서비스 제공자의 수익 악화와 고객 감소로 이어진다. 이러한 기존의 진료 방식은 비언어적 커뮤니케이션 기반의 의사와 환자 간의 깊은 신뢰감인 라포(rapport) 및 만족감 형성이 어렵다.
대부분의 병원에서는 자료들을 전산화하여 전자 차트로 환자 정보를 확인한다. 의사의 진단 및 행위는 모두 차트에 의무적으로 기록돼야 하기 때문에 의사의 시선은 대개 컴퓨터에 고정되어 있다.
일반적으로 환자에 대한 시선확보와 정보 제공을 위한 정보 제공용 모니터 별도로 사용 시에는 진료 시간이 추가적으로 소요되는 경향이 있으며, 진료 중에 의사와 환자가 해당 모니터를 응시하고 있기 때문에 실질적으로 상호 간에 시선의 교류가 어렵다는 한계가 있다.
의사는 환자를 반드시 관찰하고 만져보며 의사가 환자를 장시간 진료할수록 정확한 진단이 가능하며, 불필요한 검사 및 치료를 줄일 수 있다. 아울러, 시선 교환을 통한 환자와 의사 사이에 맺어지는 깊은 신뢰감인 라포가 깊게 형성되었을 때 치료 결과가 개선될 수 있다.
따라서 의사와 환자 간 진료 과정에서 각종 정보 교환과 함께 시선 교류가 동시에 진행될 수 있는 새로운 형태의 진료 인터페이스가 요구된다.
본 발명의 배경이 되는 기술은 한국공개특허 제2015-0090735호(2015.08.06 공개)에 개시되어 있다.
본 발명은 의사와 환자 간 시선 교류와 정보 교환이 동시에 이루어질 수 있도록 하여 환자 만족도와 진료 효율성을 높일 수 있는 투명 디스플레이 모듈을 이용한 의료 진료 시스템을 제공하는데 목적이 있다.
본 발명은, 환자와 의료진 사이에 위치하며, 환자와 관련한 복수의 전자 의료차트를 제공하기 위한 복수의 인터페이스창을 화면에 표시하는 투명 디스플레이와, 상기 투명 디스플레이의 양면 방향에 각각 장착되어 상기 의료진과 환자의 눈동자를 검출하고 시선 추적 정보를 제공하며, 3차원 공간 상의 상기 의료진과 환자의 눈동자의 위치 좌표값을 획득하는 제1 및 제2 시선추적기와, 상기 의료진과 환자의 각 눈동자의 위치 좌표값 간의 가상 연결 선과 상기 투명 디스플레이의 평면이 서로 교차하는 교차점을 기준으로 시선교환 영역을 설정하는 영역 설정부, 및 상기 인터페이스창 중에서 상기 시선교환 영역과 겹쳐 존재한 적어도 하나의 인터페이스창을 상기 시선교환 영역 밖으로 이동시켜 인터페이스창을 재배열하는 제어부를 포함하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템을 제공한다.
또한, 상기 투명 디스플레이는 단면 디스플레이로 구현되며, 상기 제어부는, 상기 투명 디스플레이의 양면 중 상기 의료진이 바라보는 일면에 상기 복수의 인터페이스창을 표시할 수 있다.
또한, 상기 투명 디스플레이는 양면 디스플레이로 구현되고, 상기 제어부는, 상기 투명 디스플레이의 양면에 상기 복수의 인터페이스창을 서로 대응되게 표시하되, 각각의 인터페이스창을 양면의 동일 위치 상에 평행하게 표시할 수 있다.
또한, 상기 영역 설정부는, 상기 교차점을 기준으로 설정 반경의 영역 또는 상기 교차점을 중심으로 기 설정된 크기와 형태의 영역을 상기 시선 교환 영역으로 설정할 수 있다.
또한, 상기 제어부는, 상기 투명 디스플레이의 화면 상에 상기 복수의 인터페이스창을 계단식으로 배열하여 서로 겹치는 형태로 표시하되, 기 설정된 순서 또는 중요도를 기반으로 최우선 순위의 인터페이스창을 최상단에 표시할 수 있다.
또한, 상기 제어부는, 의료진의 시선을 추적하는 상기 제1 시선추적기의 시선 추적 정보를 바탕으로 파악되는 상기 의료진의 화면 응시 지점이 설정 시간 이상 유지되면, 상기 화면 응시 지점에 대응된 위치의 타겟 인터페이스창을 최상단으로 이동시킬 수 있다.
또한, 상기 제어부는, 상기 투명 디스플레이의 양면에 상기 복수의 인터페이스창을 서로 대응되게 표시하되, 상기 화면 응시점이 설정 시간 유지되면, 상기 화면 응시점에 대응된 위치의 양면의 타겟 인터페이스창을 모두 해당 면의 최상단으로 동시 이동시킬 수 있다.
또한, 상기 의료 진료 시스템은, 진료실 내 환자의 진입을 감지하는 모션 센서를 더 포함하고, 상기 제어부는, 상기 모션 센서를 통해 상기 환자의 진입이 감지된 경우 상기 제1 및 제2 시선추적기의 동작을 활성화 상태로 전환시켜 상기 의료진 및 환자의 눈동자 추적 동작을 개시하도록 할 수 있다.
본 발명에 따르면, 투명 디스플레이를 기반으로 의사와 환자 상호 간에 시선 교류와 정보 전달이 동시에 이루어지도록 하여 환자 만족도와 진료 효율성을 높이고 의료의 질을 향상시킬 수 있다.
이러한 본 발명은 투명 디스플레이를 마주한 환자와 의사 간 시선 교차점을 인식하고 이를 기준으로 투명 디스플레이 화면 상에 존재한 의료 소프트웨어 인터페이스들을 그로부터 외곽으로 자동 재배치함으로써 의사와 환자 간 시선 방해 없이 차트 확인이 가능하게 함은 물론 진료 중에 양자 간 시선 교환과 인터랙션을 지속 가능하게 하는 효과를 제공한다.
도 1은 본 발명의 실시예에 따른 투명 디스플레이 모듈을 이용한 의료 진료 시스템의 구성을 나타낸 도면이다.
도 2는 도 1에 도시된 의료 진료 시스템의 구현 모습을 예시한 도면이다.
도 3은 본 발명의 실시예에 따라 시선 교환점을 기준으로 인터페이스창을 외곽으로 이동시켜 재배열하는 모습을 예시한 도면이다.
도 4는 도 1에 도시된 시스템의 변형 예를 설명하는 도면이다.
도 5는 본 발명의 실시예에 따른 양면형 투명 디스플레이를 예시한 도면이다.
도 6은 본 발명의 실시예에 따른 인터페이스창 출력 방식을 예시한 도면이다.
도 2는 도 1에 도시된 의료 진료 시스템의 구현 모습을 예시한 도면이다.
도 3은 본 발명의 실시예에 따라 시선 교환점을 기준으로 인터페이스창을 외곽으로 이동시켜 재배열하는 모습을 예시한 도면이다.
도 4는 도 1에 도시된 시스템의 변형 예를 설명하는 도면이다.
도 5는 본 발명의 실시예에 따른 양면형 투명 디스플레이를 예시한 도면이다.
도 6은 본 발명의 실시예에 따른 인터페이스창 출력 방식을 예시한 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 투명 디스플레이 모듈을 이용한 의료 진료 시스템의 구성을 나타낸 도면이고, 도 2는 도 1에 도시된 의료 진료 시스템의 구현 모습을 예시한 도면이다.
도 1 및 도 2에 나타낸 것과 같이, 본 발명의 실시예에 따른 투명 디스플레이 모듈을 이용한 의료 진료 시스템(100)은 투명 디스플레이(110), 제1 및 제2 시선추적기(120,130), 영역 설정부(140), 제어부(150)를 포함한다. 여기서 각 부(110~140)의 동작과 각 부 간의 데이터 흐름은 제어부(150)에 의해 제어될 수 있다.
투명 디스플레이(110)는 도 2와 같이 환자와 의료진 사이에 위치하며, 환자와 관련한 복수의 전자 의료차트를 제공하기 위한 복수의 인터페이스창(C; C1~C7)을 화면에 표시한다.
각각의 인터페이스창에 표출되는 전자 의료차트는 텍스트, 이미지, 도표 등을 포함한 다양한 타입의 자료에 해당할 수 있으며, 환자와 관련한 각종 의료 기록과 임상 정보, 영상의학검사 결과 이미지(예: CT, MRI, X-ray, 초음파 이미지), 환부 이미지 등에 관한 자료를 포함할 수 있다.
투명 디스플레이(110)는 마우스, 키보드 등고 같은 입력 수단, 화면 터치, 사용자 시선 검출 중 적어도 하나의 방법을 이용하여 화면 구성과 표출 정보 등의 조작이 가능할 수 있다.
아울러, 투명 디스플레이(110)는 PC, 데스크탑, 노트북, 태블릿 PC, 패드 등과 같은 사용자 단말과 연동하여 동작할 수 있다. 또한, 투명 디스플레이(110)는 그러한 컴퓨팅 기능이 내장되도록 구현될 수도 있으며, 이 경우 메모리, 입출력(input/output, I/O) 인터페이스, 그리고 통신부를 포함하여 구성될 수 있다.
투명 디스플레이(110)는 병원 서버와 직접 네트워크 연결되거나 사용자 단말을 통하여 연결되어 환자와 관련한 각종 의료 차트 정보를 검색, 조회 및 제공할 수 이다. 또한 투명 디스플레이(110)는 양명형 또는 단면형으로 구현될 수 있다.
제1 및 제2 시선추적기(120,130)는 투명 디스플레이(110)의 양면 방향에 각각 장착되어, 내장된 카메라를 이용하여 의료진 및 환자의 눈동자를 검출하고 시선 추적 정보를 제공한다. 아울러, 제1 및 제2 시선추적기(120,130)는 3차원 공간 상의 의료진과 환자의 눈동자의 위치 좌표값을 각각 획득한다.
제1 시선추적기(120)는 투명 디스플레이(110)의 전면에 설치되어 의료진의 눈동자를 인식 및 검출하며, 의료진의 눈동자 위치(A)의 3차원 좌표값(예: x1,y1,z1)을 얻는다. 제2 시선추적기(130)는 투명 디스플레이(110)의 후면에 설치되어 환자의 눈동자를 인식 및 검출하며, 환자의 눈동자 위치(B)의 3차원 위치 좌표값(예: x2,y2,z2)을 얻는다.
제1 및 제2 시선추적기(120,130)는 아이트래커(eye tracker) 형태로 구현될 수 있다. 각각의 시선추적기(120,130)는 투명 디스플레이(110)에 일체화 구성될 수도 있고 투명 디스플레이(110)의 외부에 별도 장착될 수 있다. 아울러 각각의 시선추적기(120,130)는 투명 디스플레이(110)에 설치된 상태에서 제어부(150)와 유무선으로 연결될 수 있다.
제1 및 제2 시선추적기(120,130)는 사용자로부터 검출된 눈동자 위치 및 시선 추적 정보 등을 제어부(150)로 전달할 수 있다. 제어부(150)는 각각의 시선추적기(120,130)로부터 전달받은 정보를 영역 설정부(140)로 제공할 수 있으며 사용자의 시선 추적 정보를 활용하여 투명 디스플레이(110)의 화면을 조작하는 신호를 발생할 수 있다.
여기서, 제1 및 제2 시선추적기(120,130)는 투명 디스플레이의 평면 위치 혹은 미리 설정된 3차원 기준점을 기준으로 자신의 3차원 위치를 사전에 알고 있거나 캘리브레이션 등을 통해 연산하여 획득할 수 있고, 자신의 3치원 좌표, 촬영 이미지 상의 눈동자의 픽셀 크기, 이미지 내 눈동자 위치 좌표 등을 활용하여 실제 눈동자의 3차원 좌표 값을 얻을 수 있다. 물론 투명 디스플레이(110)의 위치를 기준으로 각각의 시선추적기(120,130)의 좌표 캘리브레이션 과정이 수행될 수 있다. 이와 같은 아이트래커를 이용한 눈동자 위치 검출에는 보다 다양한 실시예가 존재할 수 있다.
영역 설정부(140)는 도 2와 같이 의료진과 환자의 각 눈동자의 위치 좌표값 간을 서로 연결하는 가상 연결 선(A-B 연결 선)이 투명 디스플레이(110)의 평면과 서로 만나는 교차점(P)을 얻고, 이 교차점(P)을 기준으로 의료진과 환자 간 인터랙션(interaction)이 가능하게 하는 시선교환 영역을 디스플레이 평면 상에 가상으로 설정한다.
영역 설정부(140)는 교차점(P)을 기준으로 좌우로 설정 거리 영역 혹은 설정 반경의 영역을 시선 교환 영역으로 설정할 수 있고, 그밖에도 기 설정된 크기와 형태를 갖는 시선 교환 영역을 교차점(P)을 중심으로 하여 설정할 수 있다. 영역 설정부(140)는 설정된 시선 교환 영역의 정보를 제어부(150)로 제공한다.
제어부(150)는 투명 디스플레이(110) 상에 제공된 복수의 인터페이스창 중에서 시선교환 영역과 겹쳐 존재하는 적어도 하나의 인터페이스창을 시선교환 영역 밖으로 이동시켜 재배열하고, 이를 통해 환자와 의료진 간의 시선 교환 공간을 확보한다.
도 3은 본 발명의 실시예에 따라 시선 교환점을 기준으로 인터페이스창을 외곽으로 이동시켜 재배열하는 모습을 예시한 도면이다.
도 3의 (a)는 환자와 의료진 간의 시선 교환점이 검출되기 전의 투명 디스플레이(110) 화면의 일례를 나타낸 것이거, (b)는 시선 교환점의 검출에 따라 시선을 교환할 수 있는 설정 크기의 시선 교환 영역(blank region)을 확보하고, 시선 교환 영역의 외곽으로 인터페이스창을 재배열한 모습을 예시한 것이다.
이때 시선 교환 영역이란 환자와 의료진 간에 상호 시선을 교환할 수 있도록 비워두는 블랭크 영역에 해당하며, 본 발명의 실시예는 이러한 블랙크 상태의 시선 교환 영역을 통하여 시선을 교환할 수 있는 공간을 확보한다. 이를 통해, 환자와 의료진의 시야가 인터페이스창에 의해 가려지는 일이 없이 시선을 교환할 수 있도록 한다. 이러한 시선 교환 영역을 통해서는 상호 간의 교감 뿐만 아니라 환자의 상반신, 얼굴, 눈 등의 부위를 의료진이 지속적으로 관찰할 수 있다. 아울러 본 발명에서는 시선 추적을 통하여 시선 교환 영역을 주기적으로 업데이트함으로써 시간에 따라 윈도우를 동적으로 재배치할 수 있다.
여기서, 인터페이스창 재배열 시에는 시선 교환 영역과 겹쳐 존재한 인터페이스 C1, C5, C6만을 시선 교환 영역의 외곽으로 이동시킬 수도 있고, 도 3의 (b)에서와 같이 모든 인터페이스창을 외곽 방향으로 함께 이동시킬 수 있다. 이러한 재배열 과정에서 각 인터페이스창의 이동 거리는 서로 균일할 수도 있고 상이할 수도 있다. 후자의 경우 화면 중심으로부터 외곽에 배치된 인터페이스창에 해당할수록 이동 거리가 짧도록 설정될 수 있다.
이와 같이, 본 발명의 실시예의 경우, 투명 디스플레이를 통해 환자의 눈동자 위치를 카메라로 실시간 추적하여 시선 교차점을 인식하고 이를 기준으로 정보 제공을 위한 의료 소프트웨어 인터페이스창을 자동으로 외곽으로 이동시켜 재배치하고, 이를 통해 의사와 환자 간에 시선 교환 공간이 확보된 상태로 상호 교감하면서 각종 차트의 확인이 가능해진다.
또한, 본 발명의 실시예의 경우 각각의 시선추적기(120,130)에 의해 검출되는 의료진과 환자의 눈동자 위치가 매 시간주기로 업데이트되어 시선 교차점이 주기적으로 갱신될 수 있으며, 시선 교차점의 위치 변동에 대응하여 시선 교환 영역도 실시간 가변할 수 있다. 따라서 환자와 의료진 중 어느 한명의 착석 위치나 머리 위치가 변화하면 그에 대응하여 눈동자 위치와 시선 교차점이 가변하게 되고 이에 따라 화면 상의 인터페이스창의 위치도 동적으로 재배열될 수 있다.
본 발명의 실시예는 진료실에 환자가 입장한 순간 환자의 진입을 감지하고 투명 디스플레이 앞에 착석한 환자와 사전 대기중인 의료진의 위치와 눈을 실시간 추적하여 시선 교환선을 확보한 다음 이를 기반으로 양쪽의 2인이 시야 가림없이 시선을 교환할 수 있도록 인터페이스창을 이동하고 재배치함으로써 환자와 의사 간 시선 교환과 정보 교류가 동시에 이루어질 수 있도록 한다.
이를 위해, 본 발명의 실시예에 따른 의료 진료 시스템은 진료실 내에 설치되어 환자의 진입 여부를 감지하는 모션 센서를 추가로 포함할 수 있다. 모션 센서는 진료실의 입구 등에 설치될 수 있으며, 도 1의 제어부(150)와 추가적으로 연결되어 동작할 수 있다. 모션 센서는 움직임 감지가 가능한 다양한 수단이 활용될 수 있다.
여기서, 제어부(150)는 모션 센서를 통해 환자의 진입이 감지된 경우 제1 및 제2 시선추적기(120,130)의 동작을 비활성화 상태에서 활성화 상태로 전환시켜, 의료진 및 환자의 눈동자 추적 동작을 개시하도록 한다. 이와 같이 제1 및 제2 시선추적기(120,130)는 환자 진입 시 활성화 상태로 전환되면서 카메라의 화각 내 사용자의 눈동자 검출, 좌표 획득, 시선 추적 등을 수행하고 획득 정보를 실시간 제어부(150)로 전달할 수 있다.
도 4는 도 1에 도시된 시스템의 변형 예를 설명하는 도면이다. 도 4에 나타낸 의료 진료 시스템은 투명 디스플레이(110), 제1 시선추적기(120), 제2 시선추적기(130), 영역 설정부(140), 제어부(150)와 모션 센서(160)를 포함하며, 각각이 서로 네트워크 연결되어 각종 데이터를 주고받을 수 있다. 여기서 네트워크는 유선 네트워크, 무선 네트워크, 또는 유선과 무선이 혼합된 네트워크를 포함할 수 있다. 또한, 제어부(150) 및 영역 설정부(140)는 단일의 제어 모듈로 모듈화되어 네트워크에 연결될 수 있다.
본 발명의 실시예에서 투명 디스플레이(110)는 단면형 디스플레이로 구현될 수도 있고, 양면형 디스플레이로 구현될 수도 있다. 투명 디스플레이(110)가 단면 디스플레이로 구현된 경우, 제어부(150)는 도 2 및 도 3에서와 같은 형태로 투명 디스플레이(110)의 양면 중 의료진이 바라보는 일면에 복수의 인터페이스창을 표시한다. 단면형인 경우 의료진이 바라보는 면에 보여지는 출력 정보는 후면의 환자 입장에서는 전혀 보이지 않게 구현될 수도 있고 투명 디스플레이의 투과 특성에 따라서는 일부 희미하게 보여지도록 구현되거나 투과되어 보이도록 구현될 수도 있다.
도 5는 본 발명의 실시예에 따른 양면형 투명 디스플레이를 예시한 도면이다. 도 5와 같이 투명 디스플레이(110)가 양면 디스플레이로 구현된 경우 제어부(150)는 투명 디스플레이(110)의 양면에 복수의 인터페이스창을 서로 대응되게 표시하며, 각각의 인터페이스창을 양면의 동일 위치 상에 평행하게 표시할 수 있다. 예를 들어, C1 차트 뒤에는 C1 차트가 나란히 보여지고, C2 차트 뒤에는 C1 차트가 나란히 보여진다. 여기서 도 5의 경우 후면에는 사용자 입장을 고려하여 전면과는 화면이 역전되어 표출되는 것을 예시하고 있지만 화면 역전 없이 그대로 표출되도록 하는 것도 가능하다.
도 6은 본 발명의 실시예에 따른 인터페이스창 출력 방식을 예시한 도면이다. 도 6의 상단 그림과 같이, 제어부(150)는 투명 디스플레이(110)의 화면 상에 복수의 인터페이스창을 계단식으로 배열하여 서로 겹치는 형태로 표시할 수 있으며, 기 설정된 순서 또는 중요도를 기반으로 최우선 순위의 인터페이스창을 최상단에 표시할 수 있다. 이때 중요도는 시간 순서 또는 차트 종류 등에 의해 구분될 수 있다. 예를 들어, 복수 종류의 전자적 진료차트 중에서 MRI 차트를 다른 종류보다 우선하여 최상단에 배치할 수 있다. 또한 임상의는 환자의 과거 검사결과 및 현재 검사 결과를 리뷰하고 처방을 입력하는데 이는 환자를 문진하는 순서와 관련된 것으로, 중요도가 높은 창들을 우선적으로 단계 별 배치가 가능하다.
또한, 제어부(150)는 의료진의 시선을 추적하는 제1 시선추적기(120)의 시선 추적 정보를 바탕으로 파악되는 의료진의 화면 응시 지점(Ep)이 설정 시간 이상 유지되면, 하단 그림과 같이 화면 응시 지점(Ep)에 대응된 위치의 타겟 인터페이스창(C2)을 최상단으로 이동 배치시킬 수 있다. 예를 들어, 의료진의 시선이 화면 응시 지점(Ep)에 멈춘 상태로 5초 이상 유지한 경우에, 해당 지점에 대응한 인터페이스창을 화면 최상단으로 배치할 수 있다. 물론, 화면 응시 이외에도 해당 지점을 의료진이 직접 터치하는 경우에도 동일한 방식으로 동작할 수 있다.
이때, 양면형 디스프레이인 경우에, 제어부(150)는 투명 디스플레이의 양면에 복수의 인터페이스창을 서로 대응되게 표시하되, 상술한 것과 같이 의료진의 화면 응시 지점(Ep)이 설정 시간 유지되면, 화면 응시 지점(Ep)에 대응된 위치의 양면의 C2에 해당한 타겟 인터페이스창을 모두 해당 면의 최상단으로 동시 이동시킬 수 있다. 이에 따라 환자가 바라보는 화면에서도 C2창이 최상단으로 이동하게 되면서 환자가 화면 변화를 인식하여 해당 차트를 즉시 바라보도록 유도할 수 있다.
이상과 같은 본 발명에 따르면, 투명 디스플레이를 기반으로 의사와 환자 상호 간에 시선 교류와 정보 전달이 동시에 이루어지도록 하여 환자 만족도와 진료 효율성을 높이고 의료의 질을 향상시킬 수 있으며, 전염병 상황에서의 비말의 확산을 예방할 수 있는 장점을 제공한다.
아울러, 본 발명은 투명 디스플레이를 마주한 환자와 의사 간 시선 교차점을 인식하고 이를 기준으로 투명 디스플레이 화면 상에 존재한 의료 소프트웨어 인터페이스들을 그로부터 외곽으로 자동 재배치함으로써 의사와 환자 간 시선 방해 없이 차트 확인이 가능하게 함은 물론 진료 중에 양자 간 시선 교환과 인터랙션을 지속 가능하게 하는 효과를 제공한다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 의료 진료 시스템
110: 투명 디스플레이
120: 제1 시선추적기 130: 제2 시선추적기
140: 영역 설정부 150: 제어부
160: 모션 센서
120: 제1 시선추적기 130: 제2 시선추적기
140: 영역 설정부 150: 제어부
160: 모션 센서
Claims (8)
- 환자와 의료진 사이에 위치하며, 환자와 관련한 복수의 전자 의료차트를 제공하기 위한 복수의 인터페이스창을 화면에 표시하는 투명 디스플레이;
상기 투명 디스플레이의 양면 방향에 각각 장착되어 상기 의료진과 환자의 눈동자를 검출하고 시선 추적 정보를 제공하며, 3차원 공간 상의 상기 의료진과 환자의 눈동자의 위치 좌표값을 획득하는 제1 및 제2 시선추적기;
상기 의료진과 환자의 각 눈동자의 위치 좌표값 간의 가상 연결 선과 상기 투명 디스플레이의 평면이 서로 교차하는 교차점을 기준으로 시선교환 영역을 설정하는 영역 설정부; 및
상기 인터페이스창 중에서 상기 시선교환 영역과 겹쳐 존재한 적어도 하나의 인터페이스창을 상기 시선교환 영역 밖으로 이동시켜 인터페이스창을 재배열하는 제어부를 포함하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템. - 청구항 1에 있어서,
상기 투명 디스플레이는 단면 디스플레이로 구현되며,
상기 제어부는,
상기 투명 디스플레이의 양면 중 상기 의료진이 바라보는 일면에 상기 복수의 인터페이스창을 표시하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템. - 청구항 1에 있어서,
상기 투명 디스플레이는 양면 디스플레이로 구현되고,
상기 제어부는,
상기 투명 디스플레이의 양면에 상기 복수의 인터페이스창을 서로 대응되게 표시하되, 각각의 인터페이스창을 양면의 동일 위치 상에 평행하게 표시하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템. - 청구항 1에 있어서,
상기 영역 설정부는,
상기 교차점을 기준으로 설정 반경의 영역 또는 상기 교차점을 중심으로 기 설정된 크기와 형태의 영역을 상기 시선 교환 영역으로 설정하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템. - 청구항 1에 있어서,
상기 제어부는,
상기 투명 디스플레이의 화면 상에 상기 복수의 인터페이스창을 계단식으로 배열하여 서로 겹치는 형태로 표시하되, 기 설정된 순서 또는 중요도를 기반으로 최우선 순위의 인터페이스창을 최상단에 표시하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템. - 청구항 5에 있어서,
상기 제어부는,
상기 의료진의 시선을 추적하는 상기 제1 시선추적기의 시선 추적 정보를 바탕으로 파악되는 상기 의료진의 화면 응시 지점이 설정 시간 이상 유지되면, 상기 화면 응시 지점에 대응된 위치의 타겟 인터페이스창을 최상단으로 이동시키는 투명 디스플레이 모듈을 이용한 의료 진료 시스템. - 청구항 6에 있어서,
상기 제어부는,
상기 투명 디스플레이의 양면에 상기 복수의 인터페이스창을 서로 대응되게 표시하되,
상기 화면 응시점이 설정 시간 유지되면, 상기 화면 응시점에 대응된 위치의 양면의 타겟 인터페이스창을 모두 해당 면의 최상단으로 동시 이동시키는 투명 디스플레이 모듈을 이용한 의료 진료 시스템. - 청구항 1에 있어서,
진료실 내 환자의 진입을 감지하는 모션 센서를 더 포함하고,
상기 제어부는,
상기 모션 센서를 통해 상기 환자의 진입이 감지된 경우 상기 제1 및 제2 시선추적기의 동작을 활성화 상태로 전환시켜 상기 의료진 및 환자의 눈동자 추적 동작을 개시하도록 하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/272,599 US20240077996A1 (en) | 2021-01-20 | 2021-12-30 | Medical treatment system using transparent display module |
| PCT/KR2021/020245 WO2022158746A1 (ko) | 2021-01-20 | 2021-12-30 | 투명 디스플레이 모듈을 이용한 의료 진료 시스템 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210008309 | 2021-01-20 | ||
| KR1020210008309 | 2021-01-20 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| KR20220105588A true KR20220105588A (ko) | 2022-07-27 |
| KR102595912B1 KR102595912B1 (ko) | 2023-10-31 |
| KR102595912B9 KR102595912B9 (ko) | 2024-02-16 |
Family
ID=82701161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210191542A KR102595912B1 (ko) | 2021-01-20 | 2021-12-29 | 투명 디스플레이 모듈을 이용한 의료 진료 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102595912B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013041411A (ja) * | 2011-08-15 | 2013-02-28 | Panasonic Corp | 透明ディスプレイ装置 |
| KR20140144992A (ko) * | 2013-06-12 | 2014-12-22 | 삼성전자주식회사 | 의료 정보 제공 방법 및 장치 |
| KR20150096826A (ko) * | 2014-02-17 | 2015-08-26 | 엘지전자 주식회사 | 디스플레이 장치 및 제어 방법 |
| KR101679265B1 (ko) * | 2015-06-30 | 2016-11-24 | (주)피엑스디 | 투명 디스플레이 장치 및 그 동작 방법 |
-
2021
- 2021-12-29 KR KR1020210191542A patent/KR102595912B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013041411A (ja) * | 2011-08-15 | 2013-02-28 | Panasonic Corp | 透明ディスプレイ装置 |
| KR20140144992A (ko) * | 2013-06-12 | 2014-12-22 | 삼성전자주식회사 | 의료 정보 제공 방법 및 장치 |
| KR20150096826A (ko) * | 2014-02-17 | 2015-08-26 | 엘지전자 주식회사 | 디스플레이 장치 및 제어 방법 |
| KR101679265B1 (ko) * | 2015-06-30 | 2016-11-24 | (주)피엑스디 | 투명 디스플레이 장치 및 그 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102595912B1 (ko) | 2023-10-31 |
| KR102595912B9 (ko) | 2024-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100530048C (zh) | 信息显示、凝视探测和用户控制权优先化的方法和设备 | |
| US8036917B2 (en) | Methods and systems for creation of hanging protocols using eye tracking and voice command and control | |
| US7501995B2 (en) | System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation | |
| US7573439B2 (en) | System and method for significant image selection using visual tracking | |
| US20110270123A1 (en) | Visually directed human-computer interaction for medical applications | |
| JP2019533483A (ja) | 遠隔眼科検査の為の眼科検査キオスク、システム、及び方法 | |
| US10283088B2 (en) | Method and apparatus for providing medical information | |
| US10607340B2 (en) | Remote image transmission system, display apparatus, and guide displaying method thereof | |
| KR101716422B1 (ko) | 의료 정보 제공 방법 및 장치 | |
| US10269453B2 (en) | Method and apparatus for providing medical information | |
| WO2018174937A1 (en) | Method and system for optimizing healthcare delivery | |
| Jang et al. | Assessment of user needs for telemedicine robots in a developing nation hospital setting | |
| US20050256392A1 (en) | Systems and methods for remote body imaging evaluation | |
| US20200234809A1 (en) | Method and system for optimizing healthcare delivery | |
| US20140062876A1 (en) | Eye-controlled communication system | |
| JP2014089650A (ja) | 電子問診装置、電子問診システム、電子問診装置の制御方法及び制御プログラム | |
| KR102595912B1 (ko) | 투명 디스플레이 모듈을 이용한 의료 진료 시스템 | |
| Moreira et al. | Improving x-ray diagnostics through eye-tracking and XR | |
| US20240077996A1 (en) | Medical treatment system using transparent display module | |
| JP6891000B2 (ja) | 病院情報システム | |
| Boczon | State of the art: eye tracking technology and applications | |
| Shluzas et al. | Mobile augmented reality for distributed healthcare | |
| JP2020177482A (ja) | 医用情報処理装置及び医用情報処理方法 | |
| Sato et al. | Development of an Eye-Tracking Image Manipulation System for Angiography: A Comparative Study | |
| US20050256379A1 (en) | Systems and methods for remote touch-dependent evaluation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |