WO2022158746A1 - 투명 디스플레이 모듈을 이용한 의료 진료 시스템 - Google Patents

투명 디스플레이 모듈을 이용한 의료 진료 시스템 Download PDF

Info

Publication number
WO2022158746A1
WO2022158746A1 PCT/KR2021/020245 KR2021020245W WO2022158746A1 WO 2022158746 A1 WO2022158746 A1 WO 2022158746A1 KR 2021020245 W KR2021020245 W KR 2021020245W WO 2022158746 A1 WO2022158746 A1 WO 2022158746A1
Authority
WO
WIPO (PCT)
Prior art keywords
transparent display
gaze
patient
medical
medical staff
Prior art date
Application number
PCT/KR2021/020245
Other languages
English (en)
French (fr)
Inventor
공현중
Original Assignee
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210191542A external-priority patent/KR102595912B1/ko
Application filed by 서울대학교병원 filed Critical 서울대학교병원
Priority to US18/272,599 priority Critical patent/US20240077996A1/en
Publication of WO2022158746A1 publication Critical patent/WO2022158746A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Definitions

  • the present invention relates to a medical treatment system using a transparent display module, and more particularly, to a medical treatment system using a transparent display module capable of simultaneously exchanging gazes and information between a doctor and a patient.
  • the doctor must observe and touch the patient, and the longer the doctor treats the patient, the more accurate the diagnosis can be made, and unnecessary tests and treatment can be reduced.
  • a rapport which is a deep trust between a patient and a doctor through gaze exchange, is deeply formed, the treatment result can be improved.
  • the present invention provides a transparent display that is positioned between a patient and a medical staff and displays a plurality of interface windows on a screen for providing a plurality of electronic medical charts related to the patient, and is mounted on both sides of the transparent display, respectively, to communicate with the medical staff.
  • First and second eye trackers for detecting the pupil of the patient, providing gaze tracking information, and obtaining position coordinate values of the pupils of the medical staff and the patient in a three-dimensional space, and position coordinate values of the pupils of the medical staff and the patient
  • An area setting unit for setting a gaze exchange area based on an intersection point at which a virtual connection line between a virtual connection line and a plane of the transparent display intersect with each other, and at least one interface window that overlaps the gaze exchange area among the interface windows is set as the gaze exchange area
  • a medical treatment system using a transparent display module including a control unit for rearranging an interface window by moving it outward.
  • the transparent display is implemented as a single-sided display, and the control unit may display the plurality of interface windows on one side of the transparent display that the medical staff looks at among both sides of the transparent display.
  • the transparent display is implemented as a double-sided display
  • the control unit may display the plurality of interface windows corresponding to each other on both sides of the transparent display, and display each interface window in parallel on the same position on both sides. have.
  • the area setting unit may set an area of a set radius based on the intersection point or an area of a preset size and shape based on the intersection point as the gaze exchange area.
  • control unit may display the plurality of interface windows in a cascading fashion on the screen of the transparent display to overlap each other, and display the interface window of the highest priority based on a preset order or importance at the top. .
  • control unit when the screen gaze point of the medical staff identified based on the gaze tracking information of the first eye tracker for tracking the gaze of the medical staff is maintained for more than a set time, the target interface of the position corresponding to the screen gaze point You can move the window to the top.
  • control unit displays the plurality of interface windows corresponding to each other on both sides of the transparent display, and when the screen staring point is maintained for a set time, all target interface windows on both sides of the position corresponding to the screen staring point are displayed. It can be moved to the top of the plane at the same time.
  • the medical treatment system may further include a motion sensor for detecting a patient's entry into the treatment room, and the controller may include an operation of the first and second eye trackers when the patient's entry is detected through the motion sensor. may be switched to an active state to start the eye tracking operation of the medical staff and the patient.
  • the present invention it is possible to increase patient satisfaction and treatment efficiency and improve the quality of medical care by allowing the exchange of gaze and information transfer between the doctor and the patient at the same time based on the transparent display.
  • the present invention recognizes the intersection of the gaze between the patient and the doctor facing the transparent display, and automatically relocates the medical software interfaces existing on the transparent display screen to the outside based on this, so that the chart can be checked without interfering with the gaze between the doctor and the patient.
  • it provides the effect of sustainable exchange of gaze and interaction between the two during treatment.
  • FIG. 1 is a diagram showing the configuration of a medical treatment system using a transparent display module according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an implementation of the medical treatment system shown in FIG. 1 .
  • FIG. 3 is a diagram illustrating a state in which an interface window is moved to the outside and rearranged based on a gaze exchange point according to an embodiment of the present invention.
  • FIG. 4 is a view for explaining a modified example of the system shown in FIG. 1 .
  • FIG. 5 is a diagram illustrating a double-sided transparent display according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an interface window output method according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating the configuration of a medical treatment system using a transparent display module according to an embodiment of the present invention
  • FIG. 2 is a diagram illustrating an implementation of the medical treatment system shown in FIG. 1 .
  • the medical treatment system 100 using a transparent display module includes a transparent display 110, first and second eye trackers 120 and 130, and an area setting unit ( 140), and a control unit 150 .
  • the operation of each unit 110 to 140 and the data flow between each unit may be controlled by the controller 150 .
  • the transparent display 110 is positioned between the patient and the medical staff as shown in FIG. 2 , and displays a plurality of interface windows C; C1 to C7 for providing a plurality of electronic medical charts related to the patient on the screen.
  • the electronic medical chart displayed on each interface window can correspond to various types of data including text, images, diagrams, etc., and various medical records and clinical information related to patients, and images of radiology examination results (e.g., CT, MRI). , X-rays, ultrasound images), and images of the affected area may be included.
  • radiology examination results e.g., CT, MRI
  • X-rays, ultrasound images e.g., X-rays, ultrasound images
  • the transparent display 110 may use at least one method of input means such as a mouse, a keyboard, etc., a screen touch, and a user's gaze detection, to enable manipulation of screen configuration and display information.
  • input means such as a mouse, a keyboard, etc., a screen touch, and a user's gaze detection
  • the transparent display 110 may operate in conjunction with a user terminal such as a PC, a desktop, a notebook computer, a tablet PC, and a pad.
  • a user terminal such as a PC, a desktop, a notebook computer, a tablet PC, and a pad.
  • the transparent display 110 may be implemented so that such a computing function is built-in, and in this case, it may be configured to include a memory, an input/output (I/O) interface, and a communication unit.
  • I/O input/output
  • the transparent display 110 may be directly network-connected to a hospital server or connected through a user terminal to search, inquire, and provide various medical chart information related to a patient.
  • the transparent display 110 may be implemented as a double-sided type or a single-sided type.
  • the first and second eye trackers 120 and 130 are respectively mounted on both sides of the transparent display 110 to detect the pupils of the medical staff and the patient using a built-in camera and provide eye tracking information.
  • the first and second eye trackers 120 and 130 respectively acquire coordinate values of the positions of the pupils of the medical staff and the patient in the three-dimensional space.
  • the first eye tracker 120 is installed on the front surface of the transparent display 110 to recognize and detect the pupils of the medical staff, and obtain the three-dimensional coordinate values (eg, x1, y1, z1) of the pupil position (A) of the medical personnel. .
  • the second eye tracker 130 is installed on the rear side of the transparent display 110 to recognize and detect the pupil of the patient, and the three-dimensional position coordinate value (eg, x2, y2, z2) of the patient's pupil position (B). get
  • the first and second eye trackers 120 and 130 may be implemented in the form of an eye tracker.
  • Each of the eye trackers 120 and 130 may be configured integrally with the transparent display 110 or may be separately mounted on the outside of the transparent display 110 .
  • each of the eye trackers 120 and 130 may be connected to the control unit 150 by wire or wireless while being installed on the transparent display 110 .
  • the first and second eye trackers 120 and 130 may transmit eye position and eye tracking information detected from the user to the controller 150 .
  • the control unit 150 may provide the information received from each of the eye trackers 120 and 130 to the area setting unit 140, and may generate a signal to manipulate the screen of the transparent display 110 by utilizing the user's eye tracking information. have.
  • the first and second eye trackers 120 and 130 may obtain their 3D position in advance based on the flat position of the transparent display or a preset 3D reference point, or may be obtained by calculating through calibration, etc.
  • the three-dimensional coordinate value of the real pupil can be obtained by using the three-dimensional coordinates, the pixel size of the pupil on the photographed image, and the pupil position coordinates in the image.
  • the coordinate calibration process of each of the eye trackers 120 and 130 may be performed based on the position of the transparent display 110 . More various embodiments may exist for detecting the pupil position using such an eye tracker.
  • the area setting unit 140 establishes an intersection point (P) where a virtual connection line (A-B connection line) connecting the position coordinate values of the pupils of the medical staff and the patient with each other meets the plane of the transparent display 110 . and, based on this intersection (P), a gaze exchange area that enables interaction between the medical staff and the patient is virtually set on the display plane.
  • P intersection point
  • A-B connection line virtual connection line
  • the area setting unit 140 may set a set distance area or an area of a set radius to the left and right based on the intersection point P as the gaze exchange area, and in addition, set the gaze exchange area having a preset size and shape to the intersection point P. It can be set based on .
  • the area setting unit 140 provides information on the set gaze exchange area to the control unit 150 .
  • the controller 150 moves and rearranges at least one interface window that overlaps the gaze exchange area among the plurality of interface windows provided on the transparent display 110 out of the gaze exchange area, and through this, a gaze exchange space between the patient and the medical staff to secure
  • FIG. 3 is a diagram illustrating a state in which an interface window is moved to the outside and rearranged based on a gaze exchange point according to an embodiment of the present invention.
  • Figure 3 shows an example of the screen of the transparent display 110 before the gaze exchange point between the patient and the medical staff is detected, (b) is a set size that can exchange the gaze according to the detection of the gaze exchange point An example of a state in which a blank region is secured and the interface window is rearranged outside the gaze exchange region is exemplified.
  • the gaze exchange area corresponds to a blank area that is left empty to exchange gazes between the patient and the medical staff, and the embodiment of the present invention secures a space for exchanging gazes through the gaze exchange area in the black state.
  • the eyes of the patient and the medical staff can exchange gaze without being obscured by the interface window.
  • the window can be dynamically rearranged according to time by periodically updating the gaze exchange area through gaze tracking.
  • the moving distance of each interface window may be uniform or different from each other. In the latter case, the moving distance may be set to be shorter as it corresponds to an interface window disposed outside the screen center.
  • the position of the patient's pupil is tracked with a camera through the transparent display in real time to recognize the gaze intersection, and based on this, the medical software interface window for providing information is automatically moved to the outside and rearranged, Through this, it is possible to check various charts while interacting with each other with a space for exchanging gaze between the doctor and the patient.
  • the eye positions of the medical staff and the patient detected by the respective eye trackers 120 and 130 are updated every time period so that the gaze intersection point may be periodically updated, and the gaze line corresponds to the change in the position of the gaze intersection point.
  • the exchange area can also be changed in real time. Therefore, when the seating position or the head position of any one of the patient and the medical staff changes, the pupil position and the gaze intersection point change accordingly, and accordingly, the position of the interface window on the screen may be dynamically rearranged.
  • An embodiment of the present invention detects the patient's entry the moment the patient enters the treatment room, tracks the position and eyes of the patient seated in front of the transparent display and the waiting medical staff in real time to secure the line of sight exchange, and then By moving and rearranging the interface window so that two people can exchange gaze without blocking their view, the exchange of gaze and information between the patient and the doctor can take place at the same time.
  • the medical treatment system may further include a motion sensor installed in the treatment room to detect whether a patient enters or not.
  • the motion sensor may be installed at an entrance of a medical office, etc., and may be additionally connected to the controller 150 of FIG. 1 to operate.
  • various means capable of detecting motion may be utilized.
  • the controller 150 converts the operation of the first and second eye trackers 120 and 130 from the inactive state to the active state when the patient's entry is detected through the motion sensor, so as to start the eye tracking operation of the medical staff and the patient. do.
  • the first and second eye trackers 120 and 130 are switched to an active state upon entering the patient, and perform eye detection, coordinate acquisition, eye tracking, etc. of the user within the angle of view of the camera, and deliver the acquired information to the real-time controller 150 have.
  • FIG. 4 is a view for explaining a modified example of the system shown in FIG. 1 .
  • the medical treatment system shown in FIG. 4 includes a transparent display 110 , a first eye tracker 120 , a second eye tracker 130 , a region setting unit 140 , a control unit 150 , and a motion sensor 160 , each of which is network-connected to each other and can exchange various types of data.
  • the network may include a wired network, a wireless network, or a network in which wired and wireless are mixed.
  • the control unit 150 and the area setting unit 140 may be modularized into a single control module and connected to a network.
  • the transparent display 110 may be implemented as a single-sided display or as a double-sided display.
  • the controller 150 displays a plurality of interface windows on one side of the transparent display 110 that the medical staff looks at in the form shown in FIGS. 2 and 3 .
  • the output information shown on the side viewed by the medical staff may not be seen at all from the perspective of the patient on the back side, or may be implemented to be partially visible or transmitted through depending on the transmission characteristics of the transparent display.
  • FIG. 5 is a diagram illustrating a double-sided transparent display according to an embodiment of the present invention.
  • the controller 150 displays a plurality of interface windows on both sides of the transparent display 110 to correspond to each other, and displays each interface window on the same position on both sides. can be displayed parallel to For example, the C1 chart is displayed side by side after the C1 chart, and the C1 chart is displayed side by side after the C2 chart.
  • the back side is exemplified that the screen is reversed from the front side, but it is also possible to display the screen as it is without inverting the screen.
  • the controller 150 may arrange a plurality of interface windows in a cascade on the screen of the transparent display 110 and display them in a form overlapping each other, and the highest priority based on a preset order or importance. of the interface window can be displayed at the top.
  • the importance may be classified according to a time sequence or a chart type.
  • the MRI chart may be disposed at the top of the other types.
  • the clinician reviews the patient's past and current test results and inputs a prescription, which is related to the order of interviewing the patient.
  • the control unit 150 gazes at the screen as shown in the figure below.
  • the target interface window C2 at a position corresponding to the point Ep may be moved to the topmost position.
  • the interface window corresponding to the corresponding point may be disposed at the top of the screen.
  • the same operation may be performed when the medical staff directly touches the corresponding point.
  • the control unit 150 displays a plurality of interface windows on both sides of the transparent display to correspond to each other, but as described above, if the screen gaze point Ep of the medical staff is maintained for a set time, the screen gaze
  • the target interface windows corresponding to C2 on both sides of the position corresponding to the point Ep may be simultaneously moved to the uppermost end of the corresponding surface. Accordingly, as the C2 window moves to the top of the screen the patient is looking at, the patient can recognize the change in the screen and induce the patient to look at the corresponding chart immediately.
  • the present invention recognizes the intersection of the gaze between the patient and the doctor facing the transparent display and automatically rearranges the medical software interfaces existing on the transparent display screen based on this, so that the chart can be checked without interfering with the gaze between the doctor and the patient.
  • it provides the effect of making the exchange of gazes and interactions between the two sides sustainable during treatment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Computer Hardware Design (AREA)
  • Pathology (AREA)
  • General Business, Economics & Management (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

본 발명은 투명 디스플레이 모듈을 이용한 의료 진료 시스템에 관한 것이다. 본 발명에 따른 의료 진료 시스템은, 환자와 의료진 사이에 위치하며 복수의 전자 의료차트를 제공하는 복수의 인터페이스창을 표시하는 투명 디스플레이와, 투명 디스플레이의 양면 방향에 각각 장착되어 의료진과 환자의 눈동자를 검출하고 시선 추적 정보를 제공하며 3차원 공간 상의 의료진과 환자의 눈동자의 위치 좌표값을 획득하는 제1 및 제2 시선추적기와, 의료진과 환자의 각 눈동자의 위치 좌표값 간의 가상 연결 선과 투명 디스플레이의 평면이 서로 교차하는 교차점을 기준으로 시선교환 영역을 설정하는 영역 설정부, 및 시선교환 영역과 겹쳐 존재한 적어도 하나의 인터페이스창을 시선교환 영역 밖으로 이동시켜 인터페이스창을 재배열하는 제어부를 포함한다. 본 발명에 따르면, 투명 디스플레이의 진료 인터페이스를 기반으로 의사와 환자 간에 시선 교류와 정보 전달이 동시에 이루어져 환자 만족도와 진료 효율성을 높이고 의료 질을 향상시킨다.

Description

투명 디스플레이 모듈을 이용한 의료 진료 시스템
본 발명은 투명 디스플레이 모듈을 이용한 의료 진료 시스템에 관한 것으로서, 보다 상세하게는 의사와 환자 간 시선 교류와 정보 교환이 동시에 이루어질 수 있는 투명 디스플레이 모듈을 이용한 의료 진료 시스템에 관한 것이다.
최근 의사와 환자의 2인 대면 서비스 상황에서 PC 환경 기반 건강 검진이 급속도로 확대되어 의사가 환자를 마주하는 진단 기법의 활용이 위축되고 있으며, 의사와 환자 간의 시선 교환이 단절되고 있다.
의사와 환자 간의 시선 단절은 상대와의 교감을 저하시켜 서비스에 대한 만족도 감소를 야기한다. 만족도의 저하는 서비스 제공자의 수익 악화와 고객 감소로 이어진다. 이러한 기존의 진료 방식은 비언어적 커뮤니케이션 기반의 의사와 환자 간의 깊은 신뢰감인 라포(rapport) 및 만족감 형성이 어렵다.
대부분의 병원에서는 자료들을 전산화하여 전자 차트로 환자 정보를 확인한다. 의사의 진단 및 행위는 모두 차트에 의무적으로 기록돼야 하기 때문에 의사의 시선은 대개 컴퓨터에 고정되어 있다.
일반적으로 환자에 대한 시선확보와 정보 제공을 위한 정보 제공용 모니터 별도로 사용 시에는 진료 시간이 추가적으로 소요되는 경향이 있으며, 진료 중에 의사와 환자가 해당 모니터를 응시하고 있기 때문에 실질적으로 상호 간에 시선의 교류가 어렵다는 한계가 있다.
의사는 환자를 반드시 관찰하고 만져보며 의사가 환자를 장시간 진료할수록 정확한 진단이 가능하며, 불필요한 검사 및 치료를 줄일 수 있다. 아울러, 시선 교환을 통한 환자와 의사 사이에 맺어지는 깊은 신뢰감인 라포가 깊게 형성되었을 때 치료 결과가 개선될 수 있다.
따라서 의사와 환자 간 진료 과정에서 각종 정보 교환과 함께 시선 교류가 동시에 진행될 수 있는 새로운 형태의 진료 인터페이스가 요구된다.
본 발명의 배경이 되는 기술은 한국공개특허 제2015-0090735호(2015.08.06 공개)에 개시되어 있다.
본 발명은 의사와 환자 간 시선 교류와 정보 교환이 동시에 이루어질 수 있도록 하여 환자 만족도와 진료 효율성을 높일 수 있는 투명 디스플레이 모듈을 이용한 의료 진료 시스템을 제공하는데 목적이 있다.
본 발명은, 환자와 의료진 사이에 위치하며, 환자와 관련한 복수의 전자 의료차트를 제공하기 위한 복수의 인터페이스창을 화면에 표시하는 투명 디스플레이와, 상기 투명 디스플레이의 양면 방향에 각각 장착되어 상기 의료진과 환자의 눈동자를 검출하고 시선 추적 정보를 제공하며, 3차원 공간 상의 상기 의료진과 환자의 눈동자의 위치 좌표값을 획득하는 제1 및 제2 시선추적기와, 상기 의료진과 환자의 각 눈동자의 위치 좌표값 간의 가상 연결 선과 상기 투명 디스플레이의 평면이 서로 교차하는 교차점을 기준으로 시선교환 영역을 설정하는 영역 설정부, 및 상기 인터페이스창 중에서 상기 시선교환 영역과 겹쳐 존재한 적어도 하나의 인터페이스창을 상기 시선교환 영역 밖으로 이동시켜 인터페이스창을 재배열하는 제어부를 포함하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템을 제공한다.
또한, 상기 투명 디스플레이는 단면 디스플레이로 구현되며, 상기 제어부는, 상기 투명 디스플레이의 양면 중 상기 의료진이 바라보는 일면에 상기 복수의 인터페이스창을 표시할 수 있다.
또한, 상기 투명 디스플레이는 양면 디스플레이로 구현되고, 상기 제어부는, 상기 투명 디스플레이의 양면에 상기 복수의 인터페이스창을 서로 대응되게 표시하되, 각각의 인터페이스창을 양면의 동일 위치 상에 평행하게 표시할 수 있다.
또한, 상기 영역 설정부는, 상기 교차점을 기준으로 설정 반경의 영역 또는 상기 교차점을 중심으로 기 설정된 크기와 형태의 영역을 상기 시선 교환 영역으로 설정할 수 있다.
또한, 상기 제어부는, 상기 투명 디스플레이의 화면 상에 상기 복수의 인터페이스창을 계단식으로 배열하여 서로 겹치는 형태로 표시하되, 기 설정된 순서 또는 중요도를 기반으로 최우선 순위의 인터페이스창을 최상단에 표시할 수 있다.
또한, 상기 제어부는, 의료진의 시선을 추적하는 상기 제1 시선추적기의 시선 추적 정보를 바탕으로 파악되는 상기 의료진의 화면 응시 지점이 설정 시간 이상 유지되면, 상기 화면 응시 지점에 대응된 위치의 타겟 인터페이스창을 최상단으로 이동시킬 수 있다.
또한, 상기 제어부는, 상기 투명 디스플레이의 양면에 상기 복수의 인터페이스창을 서로 대응되게 표시하되, 상기 화면 응시점이 설정 시간 유지되면, 상기 화면 응시점에 대응된 위치의 양면의 타겟 인터페이스창을 모두 해당 면의 최상단으로 동시 이동시킬 수 있다.
또한, 상기 의료 진료 시스템은, 진료실 내 환자의 진입을 감지하는 모션 센서를 더 포함하고, 상기 제어부는, 상기 모션 센서를 통해 상기 환자의 진입이 감지된 경우 상기 제1 및 제2 시선추적기의 동작을 활성화 상태로 전환시켜 상기 의료진 및 환자의 눈동자 추적 동작을 개시하도록 할 수 있다.
본 발명에 따르면, 투명 디스플레이를 기반으로 의사와 환자 상호 간에 시선 교류와 정보 전달이 동시에 이루어지도록 하여 환자 만족도와 진료 효율성을 높이고 의료의 질을 향상시킬 수 있다.
이러한 본 발명은 투명 디스플레이를 마주한 환자와 의사 간 시선 교차점을 인식하고 이를 기준으로 투명 디스플레이 화면 상에 존재한 의료 소프트웨어 인터페이스들을 그로부터 외곽으로 자동 재배치함으로써 의사와 환자 간 시선 방해 없이 차트 확인이 가능하게 함은 물론 진료 중에 양자 간 시선 교환과 인터랙션을 지속 가능하게 하는 효과를 제공한다.
도 1은 본 발명의 실시예에 따른 투명 디스플레이 모듈을 이용한 의료 진료 시스템의 구성을 나타낸 도면이다.
도 2는 도 1에 도시된 의료 진료 시스템의 구현 모습을 예시한 도면이다.
도 3은 본 발명의 실시예에 따라 시선 교환점을 기준으로 인터페이스창을 외곽으로 이동시켜 재배열하는 모습을 예시한 도면이다.
도 4는 도 1에 도시된 시스템의 변형 예를 설명하는 도면이다.
도 5는 본 발명의 실시예에 따른 양면형 투명 디스플레이를 예시한 도면이다.
도 6은 본 발명의 실시예에 따른 인터페이스창 출력 방식을 예시한 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 투명 디스플레이 모듈을 이용한 의료 진료 시스템의 구성을 나타낸 도면이고, 도 2는 도 1에 도시된 의료 진료 시스템의 구현 모습을 예시한 도면이다.
도 1 및 도 2에 나타낸 것과 같이, 본 발명의 실시예에 따른 투명 디스플레이 모듈을 이용한 의료 진료 시스템(100)은 투명 디스플레이(110), 제1 및 제2 시선추적기(120,130), 영역 설정부(140), 제어부(150)를 포함한다. 여기서 각 부(110~140)의 동작과 각 부 간의 데이터 흐름은 제어부(150)에 의해 제어될 수 있다.
투명 디스플레이(110)는 도 2와 같이 환자와 의료진 사이에 위치하며, 환자와 관련한 복수의 전자 의료차트를 제공하기 위한 복수의 인터페이스창(C; C1~C7)을 화면에 표시한다.
각각의 인터페이스창에 표출되는 전자 의료차트는 텍스트, 이미지, 도표 등을 포함한 다양한 타입의 자료에 해당할 수 있으며, 환자와 관련한 각종 의료 기록과 임상 정보, 영상의학검사 결과 이미지(예: CT, MRI, X-ray, 초음파 이미지), 환부 이미지 등에 관한 자료를 포함할 수 있다.
투명 디스플레이(110)는 마우스, 키보드 등고 같은 입력 수단, 화면 터치, 사용자 시선 검출 중 적어도 하나의 방법을 이용하여 화면 구성과 표출 정보 등의 조작이 가능할 수 있다.
아울러, 투명 디스플레이(110)는 PC, 데스크탑, 노트북, 태블릿 PC, 패드 등과 같은 사용자 단말과 연동하여 동작할 수 있다. 또한, 투명 디스플레이(110)는 그러한 컴퓨팅 기능이 내장되도록 구현될 수도 있으며, 이 경우 메모리, 입출력(input/output, I/O) 인터페이스, 그리고 통신부를 포함하여 구성될 수 있다.
투명 디스플레이(110)는 병원 서버와 직접 네트워크 연결되거나 사용자 단말을 통하여 연결되어 환자와 관련한 각종 의료 차트 정보를 검색, 조회 및 제공할 수 이다. 또한 투명 디스플레이(110)는 양명형 또는 단면형으로 구현될 수 있다.
제1 및 제2 시선추적기(120,130)는 투명 디스플레이(110)의 양면 방향에 각각 장착되어, 내장된 카메라를 이용하여 의료진 및 환자의 눈동자를 검출하고 시선 추적 정보를 제공한다. 아울러, 제1 및 제2 시선추적기(120,130)는 3차원 공간 상의 의료진과 환자의 눈동자의 위치 좌표값을 각각 획득한다.
제1 시선추적기(120)는 투명 디스플레이(110)의 전면에 설치되어 의료진의 눈동자를 인식 및 검출하며, 의료진의 눈동자 위치(A)의 3차원 좌표값(예: x1,y1,z1)을 얻는다. 제2 시선추적기(130)는 투명 디스플레이(110)의 후면에 설치되어 환자의 눈동자를 인식 및 검출하며, 환자의 눈동자 위치(B)의 3차원 위치 좌표값(예: x2,y2,z2)을 얻는다.
제1 및 제2 시선추적기(120,130)는 아이트래커(eye tracker) 형태로 구현될 수 있다. 각각의 시선추적기(120,130)는 투명 디스플레이(110)에 일체화 구성될 수도 있고 투명 디스플레이(110)의 외부에 별도 장착될 수 있다. 아울러 각각의 시선추적기(120,130)는 투명 디스플레이(110)에 설치된 상태에서 제어부(150)와 유무선으로 연결될 수 있다.
제1 및 제2 시선추적기(120,130)는 사용자로부터 검출된 눈동자 위치 및 시선 추적 정보 등을 제어부(150)로 전달할 수 있다. 제어부(150)는 각각의 시선추적기(120,130)로부터 전달받은 정보를 영역 설정부(140)로 제공할 수 있으며 사용자의 시선 추적 정보를 활용하여 투명 디스플레이(110)의 화면을 조작하는 신호를 발생할 수 있다.
여기서, 제1 및 제2 시선추적기(120,130)는 투명 디스플레이의 평면 위치 혹은 미리 설정된 3차원 기준점을 기준으로 자신의 3차원 위치를 사전에 알고 있거나 캘리브레이션 등을 통해 연산하여 획득할 수 있고, 자신의 3치원 좌표, 촬영 이미지 상의 눈동자의 픽셀 크기, 이미지 내 눈동자 위치 좌표 등을 활용하여 실제 눈동자의 3차원 좌표 값을 얻을 수 있다. 물론 투명 디스플레이(110)의 위치를 기준으로 각각의 시선추적기(120,130)의 좌표 캘리브레이션 과정이 수행될 수 있다. 이와 같은 아이트래커를 이용한 눈동자 위치 검출에는 보다 다양한 실시예가 존재할 수 있다.
영역 설정부(140)는 도 2와 같이 의료진과 환자의 각 눈동자의 위치 좌표값 간을 서로 연결하는 가상 연결 선(A-B 연결 선)이 투명 디스플레이(110)의 평면과 서로 만나는 교차점(P)을 얻고, 이 교차점(P)을 기준으로 의료진과 환자 간 인터랙션(interaction)이 가능하게 하는 시선교환 영역을 디스플레이 평면 상에 가상으로 설정한다.
영역 설정부(140)는 교차점(P)을 기준으로 좌우로 설정 거리 영역 혹은 설정 반경의 영역을 시선 교환 영역으로 설정할 수 있고, 그밖에도 기 설정된 크기와 형태를 갖는 시선 교환 영역을 교차점(P)을 중심으로 하여 설정할 수 있다. 영역 설정부(140)는 설정된 시선 교환 영역의 정보를 제어부(150)로 제공한다.
제어부(150)는 투명 디스플레이(110) 상에 제공된 복수의 인터페이스창 중에서 시선교환 영역과 겹쳐 존재하는 적어도 하나의 인터페이스창을 시선교환 영역 밖으로 이동시켜 재배열하고, 이를 통해 환자와 의료진 간의 시선 교환 공간을 확보한다.
도 3은 본 발명의 실시예에 따라 시선 교환점을 기준으로 인터페이스창을 외곽으로 이동시켜 재배열하는 모습을 예시한 도면이다.
도 3의 (a)는 환자와 의료진 간의 시선 교환점이 검출되기 전의 투명 디스플레이(110) 화면의 일례를 나타낸 것이거, (b)는 시선 교환점의 검출에 따라 시선을 교환할 수 있는 설정 크기의 시선 교환 영역(blank region)을 확보하고, 시선 교환 영역의 외곽으로 인터페이스창을 재배열한 모습을 예시한 것이다.
이때 시선 교환 영역이란 환자와 의료진 간에 상호 시선을 교환할 수 있도록 비워두는 블랭크 영역에 해당하며, 본 발명의 실시예는 이러한 블랙크 상태의 시선 교환 영역을 통하여 시선을 교환할 수 있는 공간을 확보한다. 이를 통해, 환자와 의료진의 시야가 인터페이스창에 의해 가려지는 일이 없이 시선을 교환할 수 있도록 한다. 이러한 시선 교환 영역을 통해서는 상호 간의 교감 뿐만 아니라 환자의 상반신, 얼굴, 눈 등의 부위를 의료진이 지속적으로 관찰할 수 있다. 아울러 본 발명에서는 시선 추적을 통하여 시선 교환 영역을 주기적으로 업데이트함으로써 시간에 따라 윈도우를 동적으로 재배치할 수 있다.
여기서, 인터페이스창 재배열 시에는 시선 교환 영역과 겹쳐 존재한 인터페이스 C1, C5, C6만을 시선 교환 영역의 외곽으로 이동시킬 수도 있고, 도 3의 (b)에서와 같이 모든 인터페이스창을 외곽 방향으로 함께 이동시킬 수 있다. 이러한 재배열 과정에서 각 인터페이스창의 이동 거리는 서로 균일할 수도 있고 상이할 수도 있다. 후자의 경우 화면 중심으로부터 외곽에 배치된 인터페이스창에 해당할수록 이동 거리가 짧도록 설정될 수 있다.
이와 같이, 본 발명의 실시예의 경우, 투명 디스플레이를 통해 환자의 눈동자 위치를 카메라로 실시간 추적하여 시선 교차점을 인식하고 이를 기준으로 정보 제공을 위한 의료 소프트웨어 인터페이스창을 자동으로 외곽으로 이동시켜 재배치하고, 이를 통해 의사와 환자 간에 시선 교환 공간이 확보된 상태로 상호 교감하면서 각종 차트의 확인이 가능해진다.
또한, 본 발명의 실시예의 경우 각각의 시선추적기(120,130)에 의해 검출되는 의료진과 환자의 눈동자 위치가 매 시간주기로 업데이트되어 시선 교차점이 주기적으로 갱신될 수 있으며, 시선 교차점의 위치 변동에 대응하여 시선 교환 영역도 실시간 가변할 수 있다. 따라서 환자와 의료진 중 어느 한명의 착석 위치나 머리 위치가 변화하면 그에 대응하여 눈동자 위치와 시선 교차점이 가변하게 되고 이에 따라 화면 상의 인터페이스창의 위치도 동적으로 재배열될 수 있다.
본 발명의 실시예는 진료실에 환자가 입장한 순간 환자의 진입을 감지하고 투명 디스플레이 앞에 착석한 환자와 사전 대기중인 의료진의 위치와 눈을 실시간 추적하여 시선 교환선을 확보한 다음 이를 기반으로 양쪽의 2인이 시야 가림없이 시선을 교환할 수 있도록 인터페이스창을 이동하고 재배치함으로써 환자와 의사 간 시선 교환과 정보 교류가 동시에 이루어질 수 있도록 한다.
이를 위해, 본 발명의 실시예에 따른 의료 진료 시스템은 진료실 내에 설치되어 환자의 진입 여부를 감지하는 모션 센서를 추가로 포함할 수 있다. 모션 센서는 진료실의 입구 등에 설치될 수 있으며, 도 1의 제어부(150)와 추가적으로 연결되어 동작할 수 있다. 모션 센서는 움직임 감지가 가능한 다양한 수단이 활용될 수 있다.
여기서, 제어부(150)는 모션 센서를 통해 환자의 진입이 감지된 경우 제1 및 제2 시선추적기(120,130)의 동작을 비활성화 상태에서 활성화 상태로 전환시켜, 의료진 및 환자의 눈동자 추적 동작을 개시하도록 한다. 이와 같이 제1 및 제2 시선추적기(120,130)는 환자 진입 시 활성화 상태로 전환되면서 카메라의 화각 내 사용자의 눈동자 검출, 좌표 획득, 시선 추적 등을 수행하고 획득 정보를 실시간 제어부(150)로 전달할 수 있다.
도 4는 도 1에 도시된 시스템의 변형 예를 설명하는 도면이다. 도 4에 나타낸 의료 진료 시스템은 투명 디스플레이(110), 제1 시선추적기(120), 제2 시선추적기(130), 영역 설정부(140), 제어부(150)와 모션 센서(160)를 포함하며, 각각이 서로 네트워크 연결되어 각종 데이터를 주고받을 수 있다. 여기서 네트워크는 유선 네트워크, 무선 네트워크, 또는 유선과 무선이 혼합된 네트워크를 포함할 수 있다. 또한, 제어부(150) 및 영역 설정부(140)는 단일의 제어 모듈로 모듈화되어 네트워크에 연결될 수 있다.
본 발명의 실시예에서 투명 디스플레이(110)는 단면형 디스플레이로 구현될 수도 있고, 양면형 디스플레이로 구현될 수도 있다. 투명 디스플레이(110)가 단면 디스플레이로 구현된 경우, 제어부(150)는 도 2 및 도 3에서와 같은 형태로 투명 디스플레이(110)의 양면 중 의료진이 바라보는 일면에 복수의 인터페이스창을 표시한다. 단면형인 경우 의료진이 바라보는 면에 보여지는 출력 정보는 후면의 환자 입장에서는 전혀 보이지 않게 구현될 수도 있고 투명 디스플레이의 투과 특성에 따라서는 일부 희미하게 보여지도록 구현되거나 투과되어 보이도록 구현될 수도 있다.
도 5는 본 발명의 실시예에 따른 양면형 투명 디스플레이를 예시한 도면이다. 도 5와 같이 투명 디스플레이(110)가 양면 디스플레이로 구현된 경우 제어부(150)는 투명 디스플레이(110)의 양면에 복수의 인터페이스창을 서로 대응되게 표시하며, 각각의 인터페이스창을 양면의 동일 위치 상에 평행하게 표시할 수 있다. 예를 들어, C1 차트 뒤에는 C1 차트가 나란히 보여지고, C2 차트 뒤에는 C1 차트가 나란히 보여진다. 여기서 도 5의 경우 후면에는 사용자 입장을 고려하여 전면과는 화면이 역전되어 표출되는 것을 예시하고 있지만 화면 역전 없이 그대로 표출되도록 하는 것도 가능하다.
도 6은 본 발명의 실시예에 따른 인터페이스창 출력 방식을 예시한 도면이다. 도 6의 상단 그림과 같이, 제어부(150)는 투명 디스플레이(110)의 화면 상에 복수의 인터페이스창을 계단식으로 배열하여 서로 겹치는 형태로 표시할 수 있으며, 기 설정된 순서 또는 중요도를 기반으로 최우선 순위의 인터페이스창을 최상단에 표시할 수 있다. 이때 중요도는 시간 순서 또는 차트 종류 등에 의해 구분될 수 있다. 예를 들어, 복수 종류의 전자적 진료차트 중에서 MRI 차트를 다른 종류보다 우선하여 최상단에 배치할 수 있다. 또한 임상의는 환자의 과거 검사결과 및 현재 검사 결과를 리뷰하고 처방을 입력하는데 이는 환자를 문진하는 순서와 관련된 것으로, 중요도가 높은 창들을 우선적으로 단계 별 배치가 가능하다.
또한, 제어부(150)는 의료진의 시선을 추적하는 제1 시선추적기(120)의 시선 추적 정보를 바탕으로 파악되는 의료진의 화면 응시 지점(Ep)이 설정 시간 이상 유지되면, 하단 그림과 같이 화면 응시 지점(Ep)에 대응된 위치의 타겟 인터페이스창(C2)을 최상단으로 이동 배치시킬 수 있다. 예를 들어, 의료진의 시선이 화면 응시 지점(Ep)에 멈춘 상태로 5초 이상 유지한 경우에, 해당 지점에 대응한 인터페이스창을 화면 최상단으로 배치할 수 있다. 물론, 화면 응시 이외에도 해당 지점을 의료진이 직접 터치하는 경우에도 동일한 방식으로 동작할 수 있다.
이때, 양면형 디스프레이인 경우에, 제어부(150)는 투명 디스플레이의 양면에 복수의 인터페이스창을 서로 대응되게 표시하되, 상술한 것과 같이 의료진의 화면 응시 지점(Ep)이 설정 시간 유지되면, 화면 응시 지점(Ep)에 대응된 위치의 양면의 C2에 해당한 타겟 인터페이스창을 모두 해당 면의 최상단으로 동시 이동시킬 수 있다. 이에 따라 환자가 바라보는 화면에서도 C2창이 최상단으로 이동하게 되면서 환자가 화면 변화를 인식하여 해당 차트를 즉시 바라보도록 유도할 수 있다.
이상과 같은 본 발명에 따르면, 투명 디스플레이를 기반으로 의사와 환자 상호 간에 시선 교류와 정보 전달이 동시에 이루어지도록 하여 환자 만족도와 진료 효율성을 높이고 의료의 질을 향상시킬 수 있으며, 전염병 상황에서의 비말의 확산을 예방할 수 있는 장점을 제공한다.
아울러, 본 발명은 투명 디스플레이를 마주한 환자와 의사 간 시선 교차점을 인식하고 이를 기준으로 투명 디스플레이 화면 상에 존재한 의료 소프트웨어 인터페이스들을 그로부터 외곽으로 자동 재배치함으로써 의사와 환자 간 시선 방해 없이 차트 확인이 가능하게 함은 물론 진료 중에 양자 간 시선 교환과 인터랙션을 지속 가능하게 하는 효과를 제공한다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (8)

  1. 환자와 의료진 사이에 위치하며, 환자와 관련한 복수의 전자 의료차트를 제공하기 위한 복수의 인터페이스창을 화면에 표시하는 투명 디스플레이;
    상기 투명 디스플레이의 양면 방향에 각각 장착되어 상기 의료진과 환자의 눈동자를 검출하고 시선 추적 정보를 제공하며, 3차원 공간 상의 상기 의료진과 환자의 눈동자의 위치 좌표값을 획득하는 제1 및 제2 시선추적기;
    상기 의료진과 환자의 각 눈동자의 위치 좌표값 간의 가상 연결 선과 상기 투명 디스플레이의 평면이 서로 교차하는 교차점을 기준으로 시선교환 영역을 설정하는 영역 설정부; 및
    상기 인터페이스창 중에서 상기 시선교환 영역과 겹쳐 존재한 적어도 하나의 인터페이스창을 상기 시선교환 영역 밖으로 이동시켜 인터페이스창을 재배열하는 제어부를 포함하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템.
  2. 청구항 1에 있어서,
    상기 투명 디스플레이는 단면 디스플레이로 구현되며,
    상기 제어부는,
    상기 투명 디스플레이의 양면 중 상기 의료진이 바라보는 일면에 상기 복수의 인터페이스창을 표시하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템.
  3. 청구항 1에 있어서,
    상기 투명 디스플레이는 양면 디스플레이로 구현되고,
    상기 제어부는,
    상기 투명 디스플레이의 양면에 상기 복수의 인터페이스창을 서로 대응되게 표시하되, 각각의 인터페이스창을 양면의 동일 위치 상에 평행하게 표시하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템.
  4. 청구항 1에 있어서,
    상기 영역 설정부는,
    상기 교차점을 기준으로 설정 반경의 영역 또는 상기 교차점을 중심으로 기 설정된 크기와 형태의 영역을 상기 시선 교환 영역으로 설정하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템.
  5. 청구항 1에 있어서,
    상기 제어부는,
    상기 투명 디스플레이의 화면 상에 상기 복수의 인터페이스창을 계단식으로 배열하여 서로 겹치는 형태로 표시하되, 기 설정된 순서 또는 중요도를 기반으로 최우선 순위의 인터페이스창을 최상단에 표시하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템.
  6. 청구항 5에 있어서,
    상기 제어부는,
    상기 의료진의 시선을 추적하는 상기 제1 시선추적기의 시선 추적 정보를 바탕으로 파악되는 상기 의료진의 화면 응시 지점이 설정 시간 이상 유지되면, 상기 화면 응시 지점에 대응된 위치의 타겟 인터페이스창을 최상단으로 이동시키는 투명 디스플레이 모듈을 이용한 의료 진료 시스템.
  7. 청구항 6에 있어서,
    상기 제어부는,
    상기 투명 디스플레이의 양면에 상기 복수의 인터페이스창을 서로 대응되게 표시하되,
    상기 화면 응시점이 설정 시간 유지되면, 상기 화면 응시점에 대응된 위치의 양면의 타겟 인터페이스창을 모두 해당 면의 최상단으로 동시 이동시키는 투명 디스플레이 모듈을 이용한 의료 진료 시스템.
  8. 청구항 1에 있어서,
    진료실 내 환자의 진입을 감지하는 모션 센서를 더 포함하고,
    상기 제어부는,
    상기 모션 센서를 통해 상기 환자의 진입이 감지된 경우 상기 제1 및 제2 시선추적기의 동작을 활성화 상태로 전환시켜 상기 의료진 및 환자의 눈동자 추적 동작을 개시하도록 하는 투명 디스플레이 모듈을 이용한 의료 진료 시스템.
PCT/KR2021/020245 2021-01-20 2021-12-30 투명 디스플레이 모듈을 이용한 의료 진료 시스템 WO2022158746A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/272,599 US20240077996A1 (en) 2021-01-20 2021-12-30 Medical treatment system using transparent display module

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0008309 2021-01-20
KR20210008309 2021-01-20
KR1020210191542A KR102595912B1 (ko) 2021-01-20 2021-12-29 투명 디스플레이 모듈을 이용한 의료 진료 시스템
KR10-2021-0191542 2021-12-29

Publications (1)

Publication Number Publication Date
WO2022158746A1 true WO2022158746A1 (ko) 2022-07-28

Family

ID=82549770

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/020245 WO2022158746A1 (ko) 2021-01-20 2021-12-30 투명 디스플레이 모듈을 이용한 의료 진료 시스템

Country Status (2)

Country Link
US (1) US20240077996A1 (ko)
WO (1) WO2022158746A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023107066A (ja) * 2022-01-21 2023-08-02 株式会社ジャパンディスプレイ 表示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013041411A (ja) * 2011-08-15 2013-02-28 Panasonic Corp 透明ディスプレイ装置
KR20140144992A (ko) * 2013-06-12 2014-12-22 삼성전자주식회사 의료 정보 제공 방법 및 장치
KR20150096826A (ko) * 2014-02-17 2015-08-26 엘지전자 주식회사 디스플레이 장치 및 제어 방법
KR101679265B1 (ko) * 2015-06-30 2016-11-24 (주)피엑스디 투명 디스플레이 장치 및 그 동작 방법
KR101691564B1 (ko) * 2010-06-14 2016-12-30 주식회사 비즈모델라인 시선방향 추적을 이용한 증강현실 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101691564B1 (ko) * 2010-06-14 2016-12-30 주식회사 비즈모델라인 시선방향 추적을 이용한 증강현실 제공 방법
JP2013041411A (ja) * 2011-08-15 2013-02-28 Panasonic Corp 透明ディスプレイ装置
KR20140144992A (ko) * 2013-06-12 2014-12-22 삼성전자주식회사 의료 정보 제공 방법 및 장치
KR20150096826A (ko) * 2014-02-17 2015-08-26 엘지전자 주식회사 디스플레이 장치 및 제어 방법
KR101679265B1 (ko) * 2015-06-30 2016-11-24 (주)피엑스디 투명 디스플레이 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US20240077996A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
CN100530048C (zh) 信息显示、凝视探测和用户控制权优先化的方法和设备
WO2014035182A1 (ko) 이동 단말을 이용한 개인 의료 진료 방법 및 장치
CN101061983B (zh) 整合了临床信息系统的监护仪
US20010025226A1 (en) Medical screening apparatus and method
KR102165590B1 (ko) 경도인지장애 치료를 위한 소셜 가상현실 시스템 및 소셜 가상현실을 제공하는 방법
US20120256950A1 (en) Medical support apparatus, medical support method, and medical support system
WO2015099357A1 (en) User terminal for a telemedicine image service and control method thereof
WO2017142223A1 (en) Remote image transmission system, display apparatus, and guide displaying method thereof
WO2022158746A1 (ko) 투명 디스플레이 모듈을 이용한 의료 진료 시스템
US20220354440A1 (en) Worldwide vision screening and visual field screening booth, kiosk, or exam room using artificial intelligence, screen sharing technology, and telemedicine video conferencing system to interconnect patient with eye doctor anywhere around the world via the internet using ethernet, 4G, 5G, 6G or Wifi for teleconsultation and to review results
JP6407526B2 (ja) 医用情報処理システム、医用情報処理方法及び情報処理システム
Rolland et al. Optical versus video see-through head-mounted displays
KR20140145091A (ko) 의료 정보 제공 방법 및 장치
US20050256392A1 (en) Systems and methods for remote body imaging evaluation
KR20140144992A (ko) 의료 정보 제공 방법 및 장치
Marquard et al. Overcoming challenges integrating patient-generated data into the clinical EHR: Lessons from the CONtrolling Disease Using Inexpensive IT–Hypertension in Diabetes (CONDUIT-HID) Project
CN114520048A (zh) 远程通信装置、手术和治疗系统和远程通信方法
WO2021187710A1 (ko) 환자 중심 의료관리 시스템
WO2019226124A1 (en) A control device for touchless control of medical devices
KR20220105588A (ko) 투명 디스플레이 모듈을 이용한 의료 진료 시스템
CN110838362A (zh) 一种智慧病房信息交互系统及其方法
CN112655052A (zh) 在检查或介入程序中的增强现实用户引导
US20220241602A1 (en) Portable defibrillator used for display, hardcopy, and control for other devices
WO2017061658A1 (ko) 이동통신 단말기를 이용한 원격 의료정보 통신 방법 및 시스템
JP6891000B2 (ja) 病院情報システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21921503

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 18272599

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 21921503

Country of ref document: EP

Kind code of ref document: A1