KR102595912B1 - Medical treatment system using transparent display module - Google Patents
Medical treatment system using transparent display module Download PDFInfo
- Publication number
- KR102595912B1 KR102595912B1 KR1020210191542A KR20210191542A KR102595912B1 KR 102595912 B1 KR102595912 B1 KR 102595912B1 KR 1020210191542 A KR1020210191542 A KR 1020210191542A KR 20210191542 A KR20210191542 A KR 20210191542A KR 102595912 B1 KR102595912 B1 KR 102595912B1
- Authority
- KR
- South Korea
- Prior art keywords
- transparent display
- patient
- gaze
- medical
- medical staff
- Prior art date
Links
- 238000011282 treatment Methods 0.000 title claims abstract description 37
- 210000001747 pupil Anatomy 0.000 claims abstract description 12
- 230000033001 locomotion Effects 0.000 claims description 12
- 210000000887 face Anatomy 0.000 claims description 4
- 238000012546 transfer Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
- G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- Radiation-Therapy Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 투명 디스플레이 모듈을 이용한 의료 진료 시스템에 관한 것이다. 본 발명에 따르면, 환자와 의료진 사이에 위치하며, 환자와 관련한 복수의 전자 의료차트를 제공하기 위한 복수의 인터페이스창을 화면에 표시하는 투명 디스플레이와, 상기 투명 디스플레이의 양면 방향에 각각 장착되어 상기 의료진과 환자의 눈동자를 검출하고 시선 추적 정보를 제공하며, 3차원 공간 상의 상기 의료진과 환자의 눈동자의 위치 좌표값을 획득하는 제1 및 제2 시선추적기와, 상기 의료진과 환자의 각 눈동자의 위치 좌표값 간의 가상 연결 선과 상기 투명 디스플레이의 평면이 서로 교차하는 교차점을 기준으로 시선교환 영역을 설정하는 영역 설정부, 및 상기 인터페이스창 중에서 상기 시선교환 영역과 겹쳐 존재한 적어도 하나의 인터페이스창을 상기 시선교환 영역 밖으로 이동시켜 인터페이스창을 재배열하는 제어부를 포함하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템을 제공한다.
본 발명에 따르면, 투명 디스플레이를 통한 진료 인터페이스를 기반으로 의사와 환자 상호 간에 시선 교류와 정보 전달이 동시에 이루어지도록 하여 환자 만족도와 진료 효율성을 높이고 의료의 질을 향상시킬 수 있다. The present invention relates to a medical treatment system using a transparent display module. According to the present invention, a transparent display is located between the patient and the medical staff, and displays a plurality of interface windows on the screen for providing a plurality of electronic medical charts related to the patient, and is mounted on both sides of the transparent display to provide a plurality of electronic medical charts related to the patient. and first and second eye trackers that detect the patient's pupils, provide eye tracking information, and obtain position coordinate values of the pupils of the medical staff and the patient in three-dimensional space, and position coordinates of each eye of the medical staff and the patient An area setting unit that sets a gaze exchange area based on an intersection where a virtual connection line between values and the plane of the transparent display intersect, and at least one interface window that overlaps the gaze exchange area among the interface windows A medical treatment system using a transparent display module including a control unit that rearranges the interface window by moving it out of the area is provided.
According to the present invention, it is possible to increase patient satisfaction and treatment efficiency and improve the quality of medical care by allowing gaze exchange and information transfer between doctors and patients simultaneously based on a medical treatment interface through a transparent display.
Description
본 발명은 투명 디스플레이 모듈을 이용한 의료 진료 시스템에 관한 것으로서, 보다 상세하게는 의사와 환자 간 시선 교류와 정보 교환이 동시에 이루어질 수 있는 투명 디스플레이 모듈을 이용한 의료 진료 시스템에 관한 것이다.The present invention relates to a medical treatment system using a transparent display module, and more specifically, to a medical treatment system using a transparent display module that allows eye contact and information exchange between a doctor and a patient simultaneously.
최근 의사와 환자의 2인 대면 서비스 상황에서 PC 환경 기반 건강 검진이 급속도로 확대되어 의사가 환자를 마주하는 진단 기법의 활용이 위축되고 있으며, 의사와 환자 간의 시선 교환이 단절되고 있다. Recently, in a face-to-face service situation between a doctor and a patient, PC environment-based health checkups have expanded rapidly, reducing the use of diagnostic techniques where doctors face patients, and the exchange of glances between doctors and patients is being cut off.
의사와 환자 간의 시선 단절은 상대와의 교감을 저하시켜 서비스에 대한 만족도 감소를 야기한다. 만족도의 저하는 서비스 제공자의 수익 악화와 고객 감소로 이어진다. 이러한 기존의 진료 방식은 비언어적 커뮤니케이션 기반의 의사와 환자 간의 깊은 신뢰감인 라포(rapport) 및 만족감 형성이 어렵다.Disconnection of gaze between doctors and patients reduces communication with the other person, resulting in decreased satisfaction with the service. A decrease in satisfaction leads to worsening profits for service providers and a decrease in customers. With these existing treatment methods, it is difficult to form rapport and satisfaction, a deep sense of trust between doctors and patients based on non-verbal communication.
대부분의 병원에서는 자료들을 전산화하여 전자 차트로 환자 정보를 확인한다. 의사의 진단 및 행위는 모두 차트에 의무적으로 기록돼야 하기 때문에 의사의 시선은 대개 컴퓨터에 고정되어 있다.Most hospitals computerize data and check patient information through electronic charts. Because the doctor's diagnosis and actions must all be recorded in the chart, the doctor's gaze is usually fixed on the computer.
일반적으로 환자에 대한 시선확보와 정보 제공을 위한 정보 제공용 모니터 별도로 사용 시에는 진료 시간이 추가적으로 소요되는 경향이 있으며, 진료 중에 의사와 환자가 해당 모니터를 응시하고 있기 때문에 실질적으로 상호 간에 시선의 교류가 어렵다는 한계가 있다.In general, when a separate information monitor is used to secure a line of sight to the patient and provide information, additional treatment time tends to be required, and since the doctor and patient are looking at the monitor during treatment, there is virtually an exchange of gaze between them. There is a limit to how difficult it is.
의사는 환자를 반드시 관찰하고 만져보며 의사가 환자를 장시간 진료할수록 정확한 진단이 가능하며, 불필요한 검사 및 치료를 줄일 수 있다. 아울러, 시선 교환을 통한 환자와 의사 사이에 맺어지는 깊은 신뢰감인 라포가 깊게 형성되었을 때 치료 결과가 개선될 수 있다. Doctors must observe and touch patients, and the longer a doctor treats a patient, the more accurate a diagnosis can be made and unnecessary tests and treatments can be reduced. In addition, treatment results can be improved when rapport, a deep sense of trust between the patient and doctor through eye contact, is formed.
따라서 의사와 환자 간 진료 과정에서 각종 정보 교환과 함께 시선 교류가 동시에 진행될 수 있는 새로운 형태의 진료 인터페이스가 요구된다.Therefore, a new type of medical treatment interface is required that allows eye contact along with the exchange of various information during the treatment process between doctors and patients.
본 발명의 배경이 되는 기술은 한국공개특허 제2015-0090735호(2015.08.06 공개)에 개시되어 있다.The technology behind the present invention is disclosed in Korean Patent Publication No. 2015-0090735 (published on August 6, 2015).
본 발명은 의사와 환자 간 시선 교류와 정보 교환이 동시에 이루어질 수 있도록 하여 환자 만족도와 진료 효율성을 높일 수 있는 투명 디스플레이 모듈을 이용한 의료 진료 시스템을 제공하는데 목적이 있다.The purpose of the present invention is to provide a medical treatment system using a transparent display module that can increase patient satisfaction and treatment efficiency by enabling eye contact and information exchange between doctors and patients simultaneously.
본 발명은, 환자와 의료진 사이에 위치하며, 환자와 관련한 복수의 전자 의료차트를 제공하기 위한 복수의 인터페이스창을 화면에 표시하는 투명 디스플레이와, 상기 투명 디스플레이의 양면 방향에 각각 장착되어 상기 의료진과 환자의 눈동자를 검출하고 시선 추적 정보를 제공하며, 3차원 공간 상의 상기 의료진과 환자의 눈동자의 위치 좌표값을 획득하는 제1 및 제2 시선추적기와, 상기 의료진과 환자의 각 눈동자의 위치 좌표값 간의 가상 연결 선과 상기 투명 디스플레이의 평면이 서로 교차하는 교차점을 기준으로 시선교환 영역을 설정하는 영역 설정부, 및 상기 인터페이스창 중에서 상기 시선교환 영역과 겹쳐 존재한 적어도 하나의 인터페이스창을 상기 시선교환 영역 밖으로 이동시켜 인터페이스창을 재배열하는 제어부를 포함하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템을 제공한다.The present invention provides a transparent display located between a patient and a medical staff member, which displays a plurality of interface windows on the screen for providing a plurality of electronic medical charts related to the patient, and is mounted on both sides of the transparent display to communicate with the medical staff member. First and second eye trackers that detect the patient's pupils, provide eye tracking information, and obtain position coordinates of the pupils of the medical staff and the patient in three-dimensional space, and position coordinate values of each eye of the medical staff and the patient An area setting unit that sets a gaze exchange area based on an intersection where a virtual connection line between the two and the plane of the transparent display intersects, and at least one interface window that overlaps the gaze exchange area among the interface windows is selected as the gaze exchange area. A medical treatment system using a transparent display module including a control unit that rearranges the interface window by moving it outward is provided.
또한, 상기 투명 디스플레이는 단면 디스플레이로 구현되며, 상기 제어부는, 상기 투명 디스플레이의 양면 중 상기 의료진이 바라보는 일면에 상기 복수의 인터페이스창을 표시할 수 있다.Additionally, the transparent display is implemented as a single-sided display, and the control unit can display the plurality of interface windows on one side of the transparent display that the medical staff faces.
또한, 상기 투명 디스플레이는 양면 디스플레이로 구현되고, 상기 제어부는, 상기 투명 디스플레이의 양면에 상기 복수의 인터페이스창을 서로 대응되게 표시하되, 각각의 인터페이스창을 양면의 동일 위치 상에 평행하게 표시할 수 있다.In addition, the transparent display is implemented as a double-sided display, and the control unit can display the plurality of interface windows in correspondence with each other on both sides of the transparent display, and display each interface window in parallel on the same position on both sides. there is.
또한, 상기 영역 설정부는, 상기 교차점을 기준으로 설정 반경의 영역 또는 상기 교차점을 중심으로 기 설정된 크기와 형태의 영역을 상기 시선 교환 영역으로 설정할 수 있다.Additionally, the area setting unit may set an area with a set radius based on the intersection point or an area with a preset size and shape centered on the intersection point as the gaze exchange area.
또한, 상기 제어부는, 상기 투명 디스플레이의 화면 상에 상기 복수의 인터페이스창을 계단식으로 배열하여 서로 겹치는 형태로 표시하되, 기 설정된 순서 또는 중요도를 기반으로 최우선 순위의 인터페이스창을 최상단에 표시할 수 있다.In addition, the control unit may display the plurality of interface windows in a cascading manner on the screen of the transparent display in a manner that overlaps each other, and may display the interface window with the highest priority at the top based on a preset order or importance. .
또한, 상기 제어부는, 의료진의 시선을 추적하는 상기 제1 시선추적기의 시선 추적 정보를 바탕으로 파악되는 상기 의료진의 화면 응시 지점이 설정 시간 이상 유지되면, 상기 화면 응시 지점에 대응된 위치의 타겟 인터페이스창을 최상단으로 이동시킬 수 있다.In addition, if the screen gaze point of the medical staff, which is determined based on the gaze tracking information of the first eye tracker that tracks the medical staff's gaze, is maintained for more than a set time, the control unit interfaces with a target at a location corresponding to the screen gaze point. You can move the window to the top.
또한, 상기 제어부는, 상기 투명 디스플레이의 양면에 상기 복수의 인터페이스창을 서로 대응되게 표시하되, 상기 화면 응시점이 설정 시간 유지되면, 상기 화면 응시점에 대응된 위치의 양면의 타겟 인터페이스창을 모두 해당 면의 최상단으로 동시 이동시킬 수 있다.In addition, the control unit displays the plurality of interface windows on both sides of the transparent display to correspond to each other, and when the screen gaze point is maintained for a set time, all target interface windows on both sides at positions corresponding to the screen gaze point are displayed. It can be moved to the top of the face simultaneously.
또한, 상기 의료 진료 시스템은, 진료실 내 환자의 진입을 감지하는 모션 센서를 더 포함하고, 상기 제어부는, 상기 모션 센서를 통해 상기 환자의 진입이 감지된 경우 상기 제1 및 제2 시선추적기의 동작을 활성화 상태로 전환시켜 상기 의료진 및 환자의 눈동자 추적 동작을 개시하도록 할 수 있다.In addition, the medical treatment system further includes a motion sensor that detects the patient's entry into the treatment room, and the control unit operates the first and second eye trackers when the patient's entry is detected through the motion sensor. can be switched to an activated state to initiate eye tracking operations of the medical staff and the patient.
본 발명에 따르면, 투명 디스플레이를 기반으로 의사와 환자 상호 간에 시선 교류와 정보 전달이 동시에 이루어지도록 하여 환자 만족도와 진료 효율성을 높이고 의료의 질을 향상시킬 수 있다. According to the present invention, it is possible to increase patient satisfaction and treatment efficiency and improve the quality of medical care by allowing gaze exchange and information transfer between doctors and patients simultaneously based on a transparent display.
이러한 본 발명은 투명 디스플레이를 마주한 환자와 의사 간 시선 교차점을 인식하고 이를 기준으로 투명 디스플레이 화면 상에 존재한 의료 소프트웨어 인터페이스들을 그로부터 외곽으로 자동 재배치함으로써 의사와 환자 간 시선 방해 없이 차트 확인이 가능하게 함은 물론 진료 중에 양자 간 시선 교환과 인터랙션을 지속 가능하게 하는 효과를 제공한다. The present invention recognizes the line of sight intersection between the patient and the doctor facing the transparent display, and automatically rearranges the medical software interfaces on the transparent display screen to the outside based on this, making it possible to check the chart without interfering with the line of sight between the doctor and the patient. Of course, it provides the effect of enabling continuous exchange of gaze and interaction between the two during treatment.
도 1은 본 발명의 실시예에 따른 투명 디스플레이 모듈을 이용한 의료 진료 시스템의 구성을 나타낸 도면이다.
도 2는 도 1에 도시된 의료 진료 시스템의 구현 모습을 예시한 도면이다.
도 3은 본 발명의 실시예에 따라 시선 교환점을 기준으로 인터페이스창을 외곽으로 이동시켜 재배열하는 모습을 예시한 도면이다.
도 4는 도 1에 도시된 시스템의 변형 예를 설명하는 도면이다.
도 5는 본 발명의 실시예에 따른 양면형 투명 디스플레이를 예시한 도면이다.
도 6은 본 발명의 실시예에 따른 인터페이스창 출력 방식을 예시한 도면이다. Figure 1 is a diagram showing the configuration of a medical treatment system using a transparent display module according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating the implementation of the medical treatment system shown in FIG. 1.
Figure 3 is a diagram illustrating rearranging the interface window by moving it to the outside based on the gaze exchange point according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating a modified example of the system shown in FIG. 1.
Figure 5 is a diagram illustrating a double-sided transparent display according to an embodiment of the present invention.
Figure 6 is a diagram illustrating an interface window output method according to an embodiment of the present invention.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Then, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein. In order to clearly explain the present invention in the drawings, parts that are not related to the description are omitted, and similar parts are given similar reference numerals throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is said to be "connected" to another part, this includes not only the case where it is "directly connected," but also the case where it is "electrically connected" with another element in between. . Additionally, when a part "includes" a certain component, this means that it may further include other components rather than excluding other components, unless specifically stated to the contrary.
도 1은 본 발명의 실시예에 따른 투명 디스플레이 모듈을 이용한 의료 진료 시스템의 구성을 나타낸 도면이고, 도 2는 도 1에 도시된 의료 진료 시스템의 구현 모습을 예시한 도면이다.FIG. 1 is a diagram showing the configuration of a medical treatment system using a transparent display module according to an embodiment of the present invention, and FIG. 2 is a diagram illustrating the implementation of the medical treatment system shown in FIG. 1.
도 1 및 도 2에 나타낸 것과 같이, 본 발명의 실시예에 따른 투명 디스플레이 모듈을 이용한 의료 진료 시스템(100)은 투명 디스플레이(110), 제1 및 제2 시선추적기(120,130), 영역 설정부(140), 제어부(150)를 포함한다. 여기서 각 부(110~140)의 동작과 각 부 간의 데이터 흐름은 제어부(150)에 의해 제어될 수 있다. As shown in Figures 1 and 2, the medical care system 100 using a transparent display module according to an embodiment of the present invention includes a transparent display 110, first and second eye trackers 120 and 130, and an area setting unit ( 140) and a control unit 150. Here, the operation of each unit 110 to 140 and the data flow between each unit can be controlled by the control unit 150.
투명 디스플레이(110)는 도 2와 같이 환자와 의료진 사이에 위치하며, 환자와 관련한 복수의 전자 의료차트를 제공하기 위한 복수의 인터페이스창(C; C1~C7)을 화면에 표시한다.The transparent display 110 is located between the patient and the medical staff as shown in FIG. 2, and displays a plurality of interface windows (C; C1 to C7) on the screen to provide a plurality of electronic medical charts related to the patient.
각각의 인터페이스창에 표출되는 전자 의료차트는 텍스트, 이미지, 도표 등을 포함한 다양한 타입의 자료에 해당할 수 있으며, 환자와 관련한 각종 의료 기록과 임상 정보, 영상의학검사 결과 이미지(예: CT, MRI, X-ray, 초음파 이미지), 환부 이미지 등에 관한 자료를 포함할 수 있다. The electronic medical chart displayed in each interface window may correspond to various types of data including text, images, diagrams, etc., as well as various medical records and clinical information related to the patient, and radiology test result images (e.g. CT, MRI) , X-ray, ultrasound images), images of the affected area, etc. may be included.
투명 디스플레이(110)는 마우스, 키보드 등고 같은 입력 수단, 화면 터치, 사용자 시선 검출 중 적어도 하나의 방법을 이용하여 화면 구성과 표출 정보 등의 조작이 가능할 수 있다. The transparent display 110 may be capable of manipulating the screen configuration and display information using at least one method among input means such as a mouse or keyboard, screen touch, or user gaze detection.
아울러, 투명 디스플레이(110)는 PC, 데스크탑, 노트북, 태블릿 PC, 패드 등과 같은 사용자 단말과 연동하여 동작할 수 있다. 또한, 투명 디스플레이(110)는 그러한 컴퓨팅 기능이 내장되도록 구현될 수도 있으며, 이 경우 메모리, 입출력(input/output, I/O) 인터페이스, 그리고 통신부를 포함하여 구성될 수 있다.In addition, the transparent display 110 can operate in conjunction with a user terminal such as a PC, desktop, laptop, tablet PC, pad, etc. Additionally, the transparent display 110 may be implemented to have such a computing function built in, and in this case, it may be configured to include a memory, an input/output (I/O) interface, and a communication unit.
투명 디스플레이(110)는 병원 서버와 직접 네트워크 연결되거나 사용자 단말을 통하여 연결되어 환자와 관련한 각종 의료 차트 정보를 검색, 조회 및 제공할 수 이다. 또한 투명 디스플레이(110)는 양명형 또는 단면형으로 구현될 수 있다. The transparent display 110 is directly network-connected to the hospital server or connected through a user terminal to search, view, and provide various medical chart information related to the patient. Additionally, the transparent display 110 may be implemented as a double-sided type or a single-sided type.
제1 및 제2 시선추적기(120,130)는 투명 디스플레이(110)의 양면 방향에 각각 장착되어, 내장된 카메라를 이용하여 의료진 및 환자의 눈동자를 검출하고 시선 추적 정보를 제공한다. 아울러, 제1 및 제2 시선추적기(120,130)는 3차원 공간 상의 의료진과 환자의 눈동자의 위치 좌표값을 각각 획득한다.The first and second eye trackers 120 and 130 are mounted on both sides of the transparent display 110, respectively, and use built-in cameras to detect the eyes of medical staff and patients and provide eye tracking information. In addition, the first and second eye trackers 120 and 130 respectively obtain position coordinate values of the eyes of the medical staff and the patient in three-dimensional space.
제1 시선추적기(120)는 투명 디스플레이(110)의 전면에 설치되어 의료진의 눈동자를 인식 및 검출하며, 의료진의 눈동자 위치(A)의 3차원 좌표값(예: x1,y1,z1)을 얻는다. 제2 시선추적기(130)는 투명 디스플레이(110)의 후면에 설치되어 환자의 눈동자를 인식 및 검출하며, 환자의 눈동자 위치(B)의 3차원 위치 좌표값(예: x2,y2,z2)을 얻는다.The first eye tracker 120 is installed in front of the transparent display 110, recognizes and detects the medical staff's pupils, and obtains three-dimensional coordinate values (e.g. x1, y1, z1) of the medical staff's eye position (A). . The second eye tracker 130 is installed on the rear of the transparent display 110 to recognize and detect the patient's pupils, and calculates the three-dimensional position coordinate values (e.g. x2, y2, z2) of the patient's pupil position (B). get
제1 및 제2 시선추적기(120,130)는 아이트래커(eye tracker) 형태로 구현될 수 있다. 각각의 시선추적기(120,130)는 투명 디스플레이(110)에 일체화 구성될 수도 있고 투명 디스플레이(110)의 외부에 별도 장착될 수 있다. 아울러 각각의 시선추적기(120,130)는 투명 디스플레이(110)에 설치된 상태에서 제어부(150)와 유무선으로 연결될 수 있다.The first and second eye trackers 120 and 130 may be implemented in the form of eye trackers. Each of the eye trackers 120 and 130 may be integrated into the transparent display 110 or may be separately mounted on the outside of the transparent display 110. In addition, each eye tracker 120 and 130 can be connected to the control unit 150 wired or wirelessly while installed on the transparent display 110.
제1 및 제2 시선추적기(120,130)는 사용자로부터 검출된 눈동자 위치 및 시선 추적 정보 등을 제어부(150)로 전달할 수 있다. 제어부(150)는 각각의 시선추적기(120,130)로부터 전달받은 정보를 영역 설정부(140)로 제공할 수 있으며 사용자의 시선 추적 정보를 활용하여 투명 디스플레이(110)의 화면을 조작하는 신호를 발생할 수 있다.The first and second eye trackers 120 and 130 may transmit the eye position and gaze tracking information detected from the user to the control unit 150. The control unit 150 can provide information received from each of the eye trackers 120 and 130 to the area setting unit 140 and can generate a signal to manipulate the screen of the transparent display 110 by utilizing the user's eye tracking information. there is.
여기서, 제1 및 제2 시선추적기(120,130)는 투명 디스플레이의 평면 위치 혹은 미리 설정된 3차원 기준점을 기준으로 자신의 3차원 위치를 사전에 알고 있거나 캘리브레이션 등을 통해 연산하여 획득할 수 있고, 자신의 3치원 좌표, 촬영 이미지 상의 눈동자의 픽셀 크기, 이미지 내 눈동자 위치 좌표 등을 활용하여 실제 눈동자의 3차원 좌표 값을 얻을 수 있다. 물론 투명 디스플레이(110)의 위치를 기준으로 각각의 시선추적기(120,130)의 좌표 캘리브레이션 과정이 수행될 수 있다. 이와 같은 아이트래커를 이용한 눈동자 위치 검출에는 보다 다양한 실시예가 존재할 수 있다.Here, the first and second eye trackers 120 and 130 know their own 3D position in advance based on the flat position of the transparent display or a preset 3D reference point, or can obtain it by calculating through calibration, etc., and their own You can obtain the 3D coordinate value of the actual pupil by using 3-dimensional coordinates, the pixel size of the pupil in the captured image, and the coordinates of the pupil position in the image. Of course, a coordinate calibration process of each eye tracker 120 and 130 may be performed based on the position of the transparent display 110. There may be more diverse examples of eye position detection using such an eye tracker.
영역 설정부(140)는 도 2와 같이 의료진과 환자의 각 눈동자의 위치 좌표값 간을 서로 연결하는 가상 연결 선(A-B 연결 선)이 투명 디스플레이(110)의 평면과 서로 만나는 교차점(P)을 얻고, 이 교차점(P)을 기준으로 의료진과 환자 간 인터랙션(interaction)이 가능하게 하는 시선교환 영역을 디스플레이 평면 상에 가상으로 설정한다. As shown in FIG. 2, the area setting unit 140 creates an intersection point (P) where a virtual connection line (A-B connection line) connecting the position coordinates of each eye of the medical staff and the patient meets the plane of the transparent display 110. Then, based on this intersection point (P), a gaze exchange area that allows interaction between medical staff and patients is virtually set on the display plane.
영역 설정부(140)는 교차점(P)을 기준으로 좌우로 설정 거리 영역 혹은 설정 반경의 영역을 시선 교환 영역으로 설정할 수 있고, 그밖에도 기 설정된 크기와 형태를 갖는 시선 교환 영역을 교차점(P)을 중심으로 하여 설정할 수 있다. 영역 설정부(140)는 설정된 시선 교환 영역의 정보를 제어부(150)로 제공한다.The area setting unit 140 can set a set distance area or an area with a set radius to the left and right based on the intersection point (P) as a gaze exchange area, and can also set a gaze exchange area with a preset size and shape as the intersection point (P). It can be set based on . The area setting unit 140 provides information on the set gaze exchange area to the control unit 150.
제어부(150)는 투명 디스플레이(110) 상에 제공된 복수의 인터페이스창 중에서 시선교환 영역과 겹쳐 존재하는 적어도 하나의 인터페이스창을 시선교환 영역 밖으로 이동시켜 재배열하고, 이를 통해 환자와 의료진 간의 시선 교환 공간을 확보한다. The control unit 150 rearranges at least one interface window that overlaps the gaze exchange area among the plurality of interface windows provided on the transparent display 110 by moving it out of the gaze exchange area, thereby creating a gaze exchange space between the patient and the medical staff. secure.
도 3은 본 발명의 실시예에 따라 시선 교환점을 기준으로 인터페이스창을 외곽으로 이동시켜 재배열하는 모습을 예시한 도면이다. Figure 3 is a diagram illustrating rearranging the interface window by moving it to the outside based on the gaze exchange point according to an embodiment of the present invention.
도 3의 (a)는 환자와 의료진 간의 시선 교환점이 검출되기 전의 투명 디스플레이(110) 화면의 일례를 나타낸 것이거, (b)는 시선 교환점의 검출에 따라 시선을 교환할 수 있는 설정 크기의 시선 교환 영역(blank region)을 확보하고, 시선 교환 영역의 외곽으로 인터페이스창을 재배열한 모습을 예시한 것이다. Figure 3 (a) shows an example of the screen of the transparent display 110 before the gaze exchange point between the patient and the medical staff is detected, and (b) shows a set size that allows gaze to be exchanged according to the detection of the gaze exchange point. This is an example of securing a gaze exchange area (blank region) and rearranging the interface window to the outside of the gaze exchange area.
이때 시선 교환 영역이란 환자와 의료진 간에 상호 시선을 교환할 수 있도록 비워두는 블랭크 영역에 해당하며, 본 발명의 실시예는 이러한 블랙크 상태의 시선 교환 영역을 통하여 시선을 교환할 수 있는 공간을 확보한다. 이를 통해, 환자와 의료진의 시야가 인터페이스창에 의해 가려지는 일이 없이 시선을 교환할 수 있도록 한다. 이러한 시선 교환 영역을 통해서는 상호 간의 교감 뿐만 아니라 환자의 상반신, 얼굴, 눈 등의 부위를 의료진이 지속적으로 관찰할 수 있다. 아울러 본 발명에서는 시선 추적을 통하여 시선 교환 영역을 주기적으로 업데이트함으로써 시간에 따라 윈도우를 동적으로 재배치할 수 있다.At this time, the gaze exchange area corresponds to a blank area left empty so that the patient and medical staff can exchange gazes, and the embodiment of the present invention secures a space for gaze exchange through this black gaze exchange area. . This allows the patient and medical staff to exchange glances without being blocked by the interface window. Through this eye exchange area, medical staff can continuously observe the patient's upper body, face, eyes, etc., as well as mutual communication. Additionally, in the present invention, windows can be dynamically rearranged over time by periodically updating the gaze exchange area through eye tracking.
여기서, 인터페이스창 재배열 시에는 시선 교환 영역과 겹쳐 존재한 인터페이스 C1, C5, C6만을 시선 교환 영역의 외곽으로 이동시킬 수도 있고, 도 3의 (b)에서와 같이 모든 인터페이스창을 외곽 방향으로 함께 이동시킬 수 있다. 이러한 재배열 과정에서 각 인터페이스창의 이동 거리는 서로 균일할 수도 있고 상이할 수도 있다. 후자의 경우 화면 중심으로부터 외곽에 배치된 인터페이스창에 해당할수록 이동 거리가 짧도록 설정될 수 있다.Here, when rearranging the interface windows, only interfaces C1, C5, and C6 that overlap with the gaze exchange area can be moved to the outside of the gaze exchange area, and all interface windows can be moved together toward the outside as shown in (b) of Figure 3. It can be moved. In this rearrangement process, the movement distance of each interface window may be uniform or different. In the latter case, the moving distance can be set to be shorter as it corresponds to an interface window placed outside the center of the screen.
이와 같이, 본 발명의 실시예의 경우, 투명 디스플레이를 통해 환자의 눈동자 위치를 카메라로 실시간 추적하여 시선 교차점을 인식하고 이를 기준으로 정보 제공을 위한 의료 소프트웨어 인터페이스창을 자동으로 외곽으로 이동시켜 재배치하고, 이를 통해 의사와 환자 간에 시선 교환 공간이 확보된 상태로 상호 교감하면서 각종 차트의 확인이 가능해진다. As such, in the case of an embodiment of the present invention, the position of the patient's eyes is tracked in real time with a camera through a transparent display, the gaze intersection point is recognized, and the medical software interface window for providing information is automatically moved to the outside and rearranged based on this, Through this, it is possible to check various charts while interacting with each other while ensuring a space for eye exchange between the doctor and patient.
또한, 본 발명의 실시예의 경우 각각의 시선추적기(120,130)에 의해 검출되는 의료진과 환자의 눈동자 위치가 매 시간주기로 업데이트되어 시선 교차점이 주기적으로 갱신될 수 있으며, 시선 교차점의 위치 변동에 대응하여 시선 교환 영역도 실시간 가변할 수 있다. 따라서 환자와 의료진 중 어느 한명의 착석 위치나 머리 위치가 변화하면 그에 대응하여 눈동자 위치와 시선 교차점이 가변하게 되고 이에 따라 화면 상의 인터페이스창의 위치도 동적으로 재배열될 수 있다. In addition, in the case of the embodiment of the present invention, the eye positions of the medical staff and the patient detected by each eye tracker (120, 130) are updated every time period, so that the gaze intersection point can be updated periodically, and the gaze intersection point can be updated periodically in response to the change in the position of the gaze intersection point. The exchange area can also be changed in real time. Therefore, when the sitting position or head position of either the patient or the medical staff changes, the eye position and gaze intersection point change in response, and the position of the interface window on the screen can be dynamically rearranged accordingly.
본 발명의 실시예는 진료실에 환자가 입장한 순간 환자의 진입을 감지하고 투명 디스플레이 앞에 착석한 환자와 사전 대기중인 의료진의 위치와 눈을 실시간 추적하여 시선 교환선을 확보한 다음 이를 기반으로 양쪽의 2인이 시야 가림없이 시선을 교환할 수 있도록 인터페이스창을 이동하고 재배치함으로써 환자와 의사 간 시선 교환과 정보 교류가 동시에 이루어질 수 있도록 한다. An embodiment of the present invention detects the patient's entry the moment the patient enters the treatment room, tracks the positions and eyes of the patient seated in front of the transparent display and the medical staff waiting in advance, secures a line of sight exchange, and then based on this, By moving and rearranging the interface window so that two people can exchange glances without blocking their view, gaze and information exchange between the patient and doctor can occur simultaneously.
이를 위해, 본 발명의 실시예에 따른 의료 진료 시스템은 진료실 내에 설치되어 환자의 진입 여부를 감지하는 모션 센서를 추가로 포함할 수 있다. 모션 센서는 진료실의 입구 등에 설치될 수 있으며, 도 1의 제어부(150)와 추가적으로 연결되어 동작할 수 있다. 모션 센서는 움직임 감지가 가능한 다양한 수단이 활용될 수 있다.To this end, the medical treatment system according to an embodiment of the present invention may additionally include a motion sensor installed in the treatment room to detect whether a patient enters. The motion sensor may be installed at the entrance of a medical office, etc., and may operate by being additionally connected to the control unit 150 of FIG. 1. Motion sensors can utilize various means capable of detecting movement.
여기서, 제어부(150)는 모션 센서를 통해 환자의 진입이 감지된 경우 제1 및 제2 시선추적기(120,130)의 동작을 비활성화 상태에서 활성화 상태로 전환시켜, 의료진 및 환자의 눈동자 추적 동작을 개시하도록 한다. 이와 같이 제1 및 제2 시선추적기(120,130)는 환자 진입 시 활성화 상태로 전환되면서 카메라의 화각 내 사용자의 눈동자 검출, 좌표 획득, 시선 추적 등을 수행하고 획득 정보를 실시간 제어부(150)로 전달할 수 있다.Here, when the patient's entry is detected through a motion sensor, the control unit 150 switches the operation of the first and second eye trackers 120 and 130 from a deactivated state to an activated state to initiate eye tracking operations of the medical staff and the patient. do. In this way, the first and second eye trackers (120, 130) are switched to the activated state when the patient enters, and can perform detection of the user's eyes within the camera's field of view, acquisition of coordinates, gaze tracking, etc., and transmit the acquired information to the real-time control unit 150. there is.
도 4는 도 1에 도시된 시스템의 변형 예를 설명하는 도면이다. 도 4에 나타낸 의료 진료 시스템은 투명 디스플레이(110), 제1 시선추적기(120), 제2 시선추적기(130), 영역 설정부(140), 제어부(150)와 모션 센서(160)를 포함하며, 각각이 서로 네트워크 연결되어 각종 데이터를 주고받을 수 있다. 여기서 네트워크는 유선 네트워크, 무선 네트워크, 또는 유선과 무선이 혼합된 네트워크를 포함할 수 있다. 또한, 제어부(150) 및 영역 설정부(140)는 단일의 제어 모듈로 모듈화되어 네트워크에 연결될 수 있다. FIG. 4 is a diagram illustrating a modified example of the system shown in FIG. 1. The medical care system shown in FIG. 4 includes a transparent display 110, a first eye tracker 120, a second eye tracker 130, an area setting unit 140, a control unit 150, and a motion sensor 160. , each can be connected to a network and exchange various data. Here, the network may include a wired network, a wireless network, or a mixed wired and wireless network. Additionally, the control unit 150 and the area setting unit 140 can be modularized into a single control module and connected to a network.
본 발명의 실시예에서 투명 디스플레이(110)는 단면형 디스플레이로 구현될 수도 있고, 양면형 디스플레이로 구현될 수도 있다. 투명 디스플레이(110)가 단면 디스플레이로 구현된 경우, 제어부(150)는 도 2 및 도 3에서와 같은 형태로 투명 디스플레이(110)의 양면 중 의료진이 바라보는 일면에 복수의 인터페이스창을 표시한다. 단면형인 경우 의료진이 바라보는 면에 보여지는 출력 정보는 후면의 환자 입장에서는 전혀 보이지 않게 구현될 수도 있고 투명 디스플레이의 투과 특성에 따라서는 일부 희미하게 보여지도록 구현되거나 투과되어 보이도록 구현될 수도 있다.In an embodiment of the present invention, the transparent display 110 may be implemented as a single-sided display or a double-sided display. When the transparent display 110 is implemented as a single-sided display, the control unit 150 displays a plurality of interface windows on one side of the transparent display 110 that the medical staff faces in the form shown in FIGS. 2 and 3. In the case of a single-sided display, the output information shown on the side that the medical staff faces may be completely invisible to the patient on the back, and depending on the transmission characteristics of the transparent display, it may be implemented to be partially visible or transparent.
도 5는 본 발명의 실시예에 따른 양면형 투명 디스플레이를 예시한 도면이다. 도 5와 같이 투명 디스플레이(110)가 양면 디스플레이로 구현된 경우 제어부(150)는 투명 디스플레이(110)의 양면에 복수의 인터페이스창을 서로 대응되게 표시하며, 각각의 인터페이스창을 양면의 동일 위치 상에 평행하게 표시할 수 있다. 예를 들어, C1 차트 뒤에는 C1 차트가 나란히 보여지고, C2 차트 뒤에는 C1 차트가 나란히 보여진다. 여기서 도 5의 경우 후면에는 사용자 입장을 고려하여 전면과는 화면이 역전되어 표출되는 것을 예시하고 있지만 화면 역전 없이 그대로 표출되도록 하는 것도 가능하다.Figure 5 is a diagram illustrating a double-sided transparent display according to an embodiment of the present invention. When the transparent display 110 is implemented as a double-sided display as shown in FIG. 5, the control unit 150 displays a plurality of interface windows in correspondence with each other on both sides of the transparent display 110, and displays each interface window at the same location on both sides. can be displayed parallel to . For example, the C1 chart is displayed side by side behind the C1 chart, and the C1 chart is displayed side by side behind the C2 chart. Here, in the case of FIG. 5, the screen on the back side is displayed reversed from the front side considering the user's position, but it is also possible to display the screen as is without reversing the screen.
도 6은 본 발명의 실시예에 따른 인터페이스창 출력 방식을 예시한 도면이다. 도 6의 상단 그림과 같이, 제어부(150)는 투명 디스플레이(110)의 화면 상에 복수의 인터페이스창을 계단식으로 배열하여 서로 겹치는 형태로 표시할 수 있으며, 기 설정된 순서 또는 중요도를 기반으로 최우선 순위의 인터페이스창을 최상단에 표시할 수 있다. 이때 중요도는 시간 순서 또는 차트 종류 등에 의해 구분될 수 있다. 예를 들어, 복수 종류의 전자적 진료차트 중에서 MRI 차트를 다른 종류보다 우선하여 최상단에 배치할 수 있다. 또한 임상의는 환자의 과거 검사결과 및 현재 검사 결과를 리뷰하고 처방을 입력하는데 이는 환자를 문진하는 순서와 관련된 것으로, 중요도가 높은 창들을 우선적으로 단계 별 배치가 가능하다. Figure 6 is a diagram illustrating an interface window output method according to an embodiment of the present invention. As shown in the top picture of FIG. 6, the control unit 150 can arrange a plurality of interface windows in a cascade manner on the screen of the transparent display 110 and display them in an overlapping form, with the highest priority based on a preset order or importance. The interface window can be displayed at the top. At this time, importance can be classified by time order or chart type. For example, among multiple types of electronic medical charts, the MRI chart can be placed at the top with priority over other types. In addition, the clinician reviews the patient's past and current test results and enters a prescription. This is related to the order in which the patient is examined, and windows with high importance can be placed in stages with priority.
또한, 제어부(150)는 의료진의 시선을 추적하는 제1 시선추적기(120)의 시선 추적 정보를 바탕으로 파악되는 의료진의 화면 응시 지점(Ep)이 설정 시간 이상 유지되면, 하단 그림과 같이 화면 응시 지점(Ep)에 대응된 위치의 타겟 인터페이스창(C2)을 최상단으로 이동 배치시킬 수 있다. 예를 들어, 의료진의 시선이 화면 응시 지점(Ep)에 멈춘 상태로 5초 이상 유지한 경우에, 해당 지점에 대응한 인터페이스창을 화면 최상단으로 배치할 수 있다. 물론, 화면 응시 이외에도 해당 지점을 의료진이 직접 터치하는 경우에도 동일한 방식으로 동작할 수 있다.In addition, if the medical staff's screen gaze point (Ep), which is determined based on the eye tracking information of the first eye tracker 120 that tracks the medical staff's gaze, is maintained for more than a set time, the control unit 150 stares at the screen as shown in the figure below. The target interface window (C2) at the position corresponding to the point (Ep) can be moved and placed at the top. For example, if the medical staff's gaze remains stopped at the screen gaze point (Ep) for more than 5 seconds, the interface window corresponding to that point can be placed at the top of the screen. Of course, in addition to staring at the screen, it can operate in the same way even when the medical staff directly touches the relevant point.
이때, 양면형 디스프레이인 경우에, 제어부(150)는 투명 디스플레이의 양면에 복수의 인터페이스창을 서로 대응되게 표시하되, 상술한 것과 같이 의료진의 화면 응시 지점(Ep)이 설정 시간 유지되면, 화면 응시 지점(Ep)에 대응된 위치의 양면의 C2에 해당한 타겟 인터페이스창을 모두 해당 면의 최상단으로 동시 이동시킬 수 있다. 이에 따라 환자가 바라보는 화면에서도 C2창이 최상단으로 이동하게 되면서 환자가 화면 변화를 인식하여 해당 차트를 즉시 바라보도록 유도할 수 있다.At this time, in the case of a double-sided display, the control unit 150 displays a plurality of interface windows in correspondence with each other on both sides of the transparent display, and as described above, if the medical staff's screen gaze point (Ep) is maintained for a set time, the control unit 150 gazes at the screen. All target interface windows corresponding to C2 on both sides of the position corresponding to the point Ep can be simultaneously moved to the top of the corresponding side. Accordingly, the C2 window moves to the top of the screen the patient is looking at, encouraging the patient to recognize the screen change and immediately look at the chart.
이상과 같은 본 발명에 따르면, 투명 디스플레이를 기반으로 의사와 환자 상호 간에 시선 교류와 정보 전달이 동시에 이루어지도록 하여 환자 만족도와 진료 효율성을 높이고 의료의 질을 향상시킬 수 있으며, 전염병 상황에서의 비말의 확산을 예방할 수 있는 장점을 제공한다.According to the present invention as described above, it is possible to increase patient satisfaction and treatment efficiency and improve the quality of medical care by allowing eye contact and information transfer between doctors and patients at the same time based on a transparent display, and reducing the risk of droplets in an infectious disease situation. It provides the advantage of preventing spread.
아울러, 본 발명은 투명 디스플레이를 마주한 환자와 의사 간 시선 교차점을 인식하고 이를 기준으로 투명 디스플레이 화면 상에 존재한 의료 소프트웨어 인터페이스들을 그로부터 외곽으로 자동 재배치함으로써 의사와 환자 간 시선 방해 없이 차트 확인이 가능하게 함은 물론 진료 중에 양자 간 시선 교환과 인터랙션을 지속 가능하게 하는 효과를 제공한다. In addition, the present invention recognizes the line of sight intersection between the patient and the doctor facing the transparent display, and automatically rearranges the medical software interfaces on the transparent display screen to the outside based on this, making it possible to check the chart without interfering with the line of sight between the doctor and patient. In addition, it provides the effect of enabling sustainable exchange of gaze and interaction between the two during treatment.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely illustrative, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true scope of technical protection of the present invention should be determined by the technical spirit of the attached patent claims.
100: 의료 진료 시스템 110: 투명 디스플레이
120: 제1 시선추적기 130: 제2 시선추적기
140: 영역 설정부 150: 제어부
160: 모션 센서100: Medical treatment system 110: Transparent display
120: first eye tracker 130: second eye tracker
140: Area setting unit 150: Control unit
160: motion sensor
Claims (8)
상기 투명 디스플레이의 양면 방향에 각각 장착되어 상기 의료진과 환자의 눈동자를 검출하고 시선 추적 정보를 제공하며, 3차원 공간 상의 상기 의료진과 환자의 눈동자의 위치 좌표값을 획득하는 제1 및 제2 시선추적기;
상기 의료진과 환자의 각 눈동자의 위치 좌표값 간의 가상 연결 선과 상기 투명 디스플레이의 평면이 서로 교차하는 교차점을 기준으로 시선교환 영역을 설정하는 영역 설정부; 및
상기 인터페이스창 중에서 상기 시선교환 영역과 겹쳐 존재한 적어도 하나의 인터페이스창을 상기 시선교환 영역 밖으로 이동시켜 인터페이스창을 재배열하는 제어부를 포함하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템.A transparent display located between the patient and the medical staff and displaying a plurality of interface windows on the screen to provide a plurality of electronic medical charts related to the patient;
First and second eye trackers are mounted on both sides of the transparent display, respectively, to detect the pupils of the medical staff and the patient, provide gaze tracking information, and obtain position coordinates of the pupils of the medical staff and the patient in three-dimensional space. ;
an area setting unit that sets a gaze exchange area based on an intersection where a virtual connection line between the position coordinates of each eye of the medical staff and the patient and a plane of the transparent display intersect; and
A medical treatment system using a transparent display module, including a control unit that rearranges the interface windows by moving at least one interface window that overlaps the gaze exchange area out of the gaze exchange area.
상기 투명 디스플레이는 단면 디스플레이로 구현되며,
상기 제어부는,
상기 투명 디스플레이의 양면 중 상기 의료진이 바라보는 일면에 상기 복수의 인터페이스창을 표시하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템.In claim 1,
The transparent display is implemented as a single-sided display,
The control unit,
A medical treatment system using a transparent display module that displays the plurality of interface windows on one side of the transparent display that the medical staff faces.
상기 투명 디스플레이는 양면 디스플레이로 구현되고,
상기 제어부는,
상기 투명 디스플레이의 양면에 상기 복수의 인터페이스창을 서로 대응되게 표시하되, 각각의 인터페이스창을 양면의 동일 위치 상에 평행하게 표시하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템.In claim 1,
The transparent display is implemented as a double-sided display,
The control unit,
A medical care system using a transparent display module that displays the plurality of interface windows in correspondence with each other on both sides of the transparent display, and displays each interface window in parallel on the same position on both sides.
상기 영역 설정부는,
상기 교차점을 기준으로 설정 반경의 영역 또는 상기 교차점을 중심으로 기 설정된 크기와 형태의 영역을 상기 시선 교환 영역으로 설정하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템.In claim 1,
The area setting unit,
A medical treatment system using a transparent display module that sets an area with a set radius based on the intersection point or an area with a preset size and shape centered on the intersection point as the gaze exchange area.
상기 제어부는,
상기 투명 디스플레이의 화면 상에 상기 복수의 인터페이스창을 계단식으로 배열하여 서로 겹치는 형태로 표시하되, 기 설정된 순서 또는 중요도를 기반으로 최우선 순위의 인터페이스창을 최상단에 표시하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템.In claim 1,
The control unit,
A medical care system using a transparent display module that arranges the plurality of interface windows in a cascading manner on the screen of the transparent display and displays them in an overlapping form, but displays the interface window with the highest priority at the top based on a preset order or importance. .
상기 제어부는,
상기 의료진의 시선을 추적하는 상기 제1 시선추적기의 시선 추적 정보를 바탕으로 파악되는 상기 의료진의 화면 응시 지점이 설정 시간 이상 유지되면, 상기 화면 응시 지점에 대응된 위치의 타겟 인터페이스창을 최상단으로 이동시키는 투명 디스플레이 모듈을 이용한 의료 진료 시스템.In claim 5,
The control unit,
If the screen gaze point of the medical staff, which is determined based on the gaze tracking information of the first eye tracker that tracks the medical staff's gaze, is maintained for more than a set time, the target interface window at the position corresponding to the screen gaze point is moved to the top. A medical treatment system using a transparent display module.
상기 제어부는,
상기 투명 디스플레이의 양면에 상기 복수의 인터페이스창을 서로 대응되게 표시하되,
상기 화면 응시 지점이 설정 시간 이상 유지되면, 상기 화면 응시 지점에 대응된 위치의 양면의 타겟 인터페이스창을 모두 해당 면의 최상단으로 동시 이동시키는 투명 디스플레이 모듈을 이용한 의료 진료 시스템.In claim 6,
The control unit,
Displaying the plurality of interface windows in correspondence with each other on both sides of the transparent display,
A medical care system using a transparent display module that simultaneously moves both target interface windows at positions corresponding to the screen gaze point to the top of the corresponding side when the screen gaze point is maintained for more than a set time.
진료실 내 환자의 진입을 감지하는 모션 센서를 더 포함하고,
상기 제어부는,
상기 모션 센서를 통해 상기 환자의 진입이 감지된 경우 상기 제1 및 제2 시선추적기의 동작을 활성화 상태로 전환시켜 상기 의료진 및 환자의 눈동자 추적 동작을 개시하도록 하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템.In claim 1,
It further includes a motion sensor that detects the patient's entry into the treatment room,
The control unit,
A medical treatment system using a transparent display module that switches the operation of the first and second eye trackers to an activated state to initiate eye tracking of the medical staff and the patient when the patient's entry is detected through the motion sensor.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2021/020245 WO2022158746A1 (en) | 2021-01-20 | 2021-12-30 | Medical treatment system using transparent display module |
| US18/272,599 US20240077996A1 (en) | 2021-01-20 | 2021-12-30 | Medical treatment system using transparent display module |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210008309 | 2021-01-20 | ||
| KR1020210008309 | 2021-01-20 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| KR20220105588A KR20220105588A (en) | 2022-07-27 |
| KR102595912B1 true KR102595912B1 (en) | 2023-10-31 |
| KR102595912B9 KR102595912B9 (en) | 2024-02-16 |
Family
ID=82701161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210191542A KR102595912B1 (en) | 2021-01-20 | 2021-12-29 | Medical treatment system using transparent display module |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102595912B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013041411A (en) | 2011-08-15 | 2013-02-28 | Panasonic Corp | Transparent display device |
| KR101679265B1 (en) | 2015-06-30 | 2016-11-24 | (주)피엑스디 | Transparent display apparatus and the operation method thereof |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101645624B1 (en) * | 2013-06-12 | 2016-08-05 | 삼성전자주식회사 | Method and apparatus for providing medical information |
| KR20150096826A (en) * | 2014-02-17 | 2015-08-26 | 엘지전자 주식회사 | Display apparatus and controlling method thereof |
-
2021
- 2021-12-29 KR KR1020210191542A patent/KR102595912B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013041411A (en) | 2011-08-15 | 2013-02-28 | Panasonic Corp | Transparent display device |
| KR101679265B1 (en) | 2015-06-30 | 2016-11-24 | (주)피엑스디 | Transparent display apparatus and the operation method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102595912B9 (en) | 2024-02-16 |
| KR20220105588A (en) | 2022-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6853340B2 (en) | Experience in enhanced eye surgery using a virtual reality head-mounted display | |
| US7376903B2 (en) | 3D display system and method | |
| US10283088B2 (en) | Method and apparatus for providing medical information | |
| US20120256950A1 (en) | Medical support apparatus, medical support method, and medical support system | |
| US10607340B2 (en) | Remote image transmission system, display apparatus, and guide displaying method thereof | |
| WO2010051037A1 (en) | Visually directed human-computer interaction for medical applications | |
| WO2017033516A1 (en) | Radiograph interpretation assistance device and method | |
| US20050285853A1 (en) | 3D display system and method | |
| KR101716422B1 (en) | Method and apparatus for providing medical information | |
| EP3907585B1 (en) | Systems and methods of controlling an operating room display using an augmented reality headset | |
| US10269453B2 (en) | Method and apparatus for providing medical information | |
| US20050285844A1 (en) | 3D display system and method | |
| EP3014566B1 (en) | Method and apparatus for managing medical data | |
| US20050285854A1 (en) | 3D display system and method | |
| US20140062876A1 (en) | Eye-controlled communication system | |
| KR102595912B1 (en) | Medical treatment system using transparent display module | |
| US20240077996A1 (en) | Medical treatment system using transparent display module | |
| JP6891000B2 (en) | Hospital information system | |
| Boczon | State of the art: eye tracking technology and applications | |
| US20120280910A1 (en) | Control system and method for controlling a plurality of computer devices | |
| JP6385210B2 (en) | Image diagnosis support apparatus, control method, and program | |
| JPH11237867A (en) | Virtual space display device | |
| US20230355310A1 (en) | Technique For Determining A Visualization Based On An Estimated Surgeon Pose | |
| JP7091860B2 (en) | Medical information display system | |
| EP3926642A1 (en) | Dynamic positioning for a virtual display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |