WO2024019374A1 - 의료 단면 이미지의 제공 방법 및 장치 - Google Patents

의료 단면 이미지의 제공 방법 및 장치 Download PDF

Info

Publication number
WO2024019374A1
WO2024019374A1 PCT/KR2023/009480 KR2023009480W WO2024019374A1 WO 2024019374 A1 WO2024019374 A1 WO 2024019374A1 KR 2023009480 W KR2023009480 W KR 2023009480W WO 2024019374 A1 WO2024019374 A1 WO 2024019374A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
plane
medical
electronic device
sectional image
Prior art date
Application number
PCT/KR2023/009480
Other languages
English (en)
French (fr)
Inventor
이정현
유현철
박진희
강민영
조은희
Original Assignee
재단법인 아산사회복지재단
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 아산사회복지재단, 울산대학교 산학협력단 filed Critical 재단법인 아산사회복지재단
Publication of WO2024019374A1 publication Critical patent/WO2024019374A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation

Definitions

  • Medical devices that provide various information during surgery to operators (e.g., doctors and nurses) participating in the surgery may be placed in the operating room.
  • devices capable of providing medical images such as an Depending on the purpose of surgery, different types of main imaging devices may be installed in each operating room, and one main imaging device may be installed in one operating room.
  • An auxiliary imaging information device that provides auxiliary information related to surgery may also be deployed along with the corresponding imaging device.
  • An electronic device can control a pointer on a large screen using a non-contact gesture.
  • the electronic device may control the moving speed or moving distance of the pointer based on the user's gesture.
  • the electronic device may provide a medical cross-sectional image corresponding to a target point selected based on a hand gesture along with 3D modeling generated based on a large amount of medical image images.
  • the electronic device may provide both selection of a cross-section corresponding to a medical cross-sectional image and spatial movement of a target point at which the medical cross-sectional image will be generated based on a gesture.
  • the electronic device may determine the cross-sectional direction based on the direction of the gesture.
  • An electronic device may enable a medical staff to control the screen based on a gesture at a location adjacent to the patient's surgical site.
  • An electronic device includes a display that visually outputs a target area model determined based on a medical image of a patient's target area, and a manipulation part for screen control on the user's body.
  • a vision sensor that captures; Memory in which instructions executable by a computer are stored; And a processor that accesses the memory and executes the instructions, wherein the instructions determine the position and posture of the manipulation part with respect to the target part based on data captured by the vision sensor ( posture), and output an indicator graphical representation indicating the position of the manipulation part in at least one of an area including the target part model and a surrounding area, and the position of the manipulation part in the target part. It can be set to output a medical cross-sectional image of a plane corresponding to the posture of the manipulation part for the point corresponding to the target part model and the indicator graphical representation.
  • the instructions move the indicator graphical representation based on detecting movement of the manipulation part using the captured data, and display a medical cross-sectional image output on the display corresponding to the moved position of the manipulation part. It can be set to change to a medical cross-sectional image of the target point.
  • the manipulation part includes a hand, and the commands recognize the position of the hand and the palm direction of the hand, and select a target plane corresponding to the palm direction at a target point corresponding to the position of the hand among the target parts. It may be set to determine and output a medical cross-sectional image of the determined target plane through the display.
  • the commands determine a virtual plane created by expanding the surface of the palm perpendicular to the palm direction as the target plane, and the target plane is a medical cross-sectional image corresponding to a cross-section passing through the target area of the patient. can be set to be output through the display.
  • the instructions rotate the target plane based on detecting the rotation of the palm based on the captured data, and display a medical cross-sectional image output on the display as a cross-section through which the rotated target plane passes the target area. It can be set to change to a medical cross-sectional image.
  • the instructions can be set to determine the target plane as one of the axial plane, coronal plane, and sagittal plane, based on the palm orientation.
  • the commands based on the fact that the target plane is an axial plane, suggest a possible direction and movable range of the cross-section along an axis perpendicular to the axial plane, and based on the target plane being a coronal plane, perpendicular to the coronal plane. It can be set to present the movable direction and movable range of the cross-section on the axis, and based on the fact that the target plane is the sagittal plane, the movable direction and movable range of the cross-section can be presented on the axis perpendicular to the sagittal plane. there is.
  • the commands output a medical cross-sectional image corresponding to the axial plane based on the palm direction being perpendicular to the axial plane with respect to the target patient, and the palm direction being perpendicular to the coronal plane with respect to the target patient. Based on this, outputting a medical cross-sectional image corresponding to the coronal plane, and based on the palm direction being perpendicular to the sagittal plane based on the target patient, can be set to output a medical cross-sectional image corresponding to the sagittal plane.
  • the instructions determine the target plane as the axial plane based on the angle difference between the plane perpendicular to the palm direction and the axial plane being less than a critical angle, and the angle difference between the plane perpendicular to the palm direction and the coronal plane is Based on being less than a critical angle, determine the target plane as the coronal plane, and based on the angle difference between the plane perpendicular to the palm direction and the sagittal plane being less than the critical angle, determine the target plane as the sagittal plane. can be set.
  • the commands may be set to fix at least one of a target point or a target plane on the target area based on the manipulation part being determined to perform a predetermined gesture based on the captured data.
  • the commands may be set to change the medical cross-sectional image output on the display to a medical cross-sectional image from another viewpoint based on detecting movement of the manipulation part while the target point and the target plane are fixed.
  • the manipulation part is a hand, and the commands can be set to identify the number of fingers spread out on the hand and to change the time of the medical cross-sectional image output on the display at a speed determined based on the number of identified fingers. .
  • the commands may be set to increase the time change rate of the medical cross-sectional image when the number of spread fingers increases, and to decrease the time change speed of the medical cross-sectional image when the number of spread fingers decreases. .
  • the commands may be set to increase the spatial movement speed of the medical cross-sectional image when the number of spread fingers increases, and to decrease the spatial movement speed of the medical cross-sectional image when the number of spread fingers decreases. .
  • the vision sensor may include at least one of a camera sensor, a radar sensor, a LiDAR sensor, an ultrasonic sensor, or an infrared sensor.
  • a method implemented with a processor includes visually outputting a target region model determined based on a medical image of a target region of a patient through a display; Capturing a manipulation part for screen control on the user's body using a vision sensor; Recognizing the position and posture of the manipulation part relative to the target part based on data captured by the vision sensor; outputting an indicator graphic representation indicating the location of the manipulation part in at least one of an area including the target part model and a surrounding area; And outputting a planar, medical cross-sectional image corresponding to the posture of the manipulation region for a target point corresponding to the position of the manipulation region in the target region together with the target region model and the indicator graphical representation. You can.
  • An electronic device can prevent contamination in an operating room and provide hygienic screen control by controlling a pointer on a large screen using a non-contact gesture.
  • the electronic device can provide convenience in pointer control on a large screen by controlling the moving speed or moving distance of the pointer based on the user's gesture.
  • the electronic device can intuitively provide, through a display device, a medical cross-sectional image corresponding to a target point selected based on a hand gesture along with 3D modeling generated based on a large amount of medical image images.
  • the electronic device increases cognitive efficiency in the search of medical images during surgery by providing selection of a cross section corresponding to a medical cross-sectional image and spatial movement of the target point where the medical cross-sectional image will be generated based on a gesture. You can do it.
  • the electronic device can conveniently provide a medical cross-sectional image of a cross-section desired by the user during surgery by determining the cross-sectional direction based on the direction of the gesture.
  • the electronic device allows medical staff to control the screen based on gestures at a location adjacent to the patient's surgical site, thereby reducing unnecessary movement of medical staff and time wasted in searching for images.
  • FIG. 1 shows an apparatus for providing a medical cross-sectional image according to one embodiment.
  • Figure 2 is a flowchart illustrating a method of providing a medical cross-sectional image according to an embodiment.
  • Figure 3 shows the output of a target region model based on a medical image according to one embodiment.
  • Figure 4 is a diagram illustrating detection of a user's manipulation part according to an embodiment.
  • Figure 5 shows the output of a medical cross-sectional image based on detection of a manipulation site according to one embodiment.
  • FIG. 6 illustrates an operation of determining a target plane representing a cross section corresponding to a medical cross-sectional image according to an embodiment.
  • Figure 7 illustrates an operation of moving a target point where a medical cross-sectional image is generated among target areas according to an embodiment.
  • Figure 8 shows movement of a target point for each target plane according to one embodiment.
  • FIG. 9 illustrates an operation of changing the time of a medical cross-sectional image output on a display according to an embodiment of the present invention based on a gesture.
  • FIG. 10 illustrates an operation of changing the magnification of spatial movement of a medical cross-sectional image output on a display according to an embodiment of the present invention based on a gesture.
  • first or second may be used to describe various components, but these terms should be interpreted only for the purpose of distinguishing one component from another component.
  • a first component may be named a second component, and similarly, the second component may also be named a first component.
  • a or B “at least one of A and B”, “at least one of A or B”, “A, B or C”, “at least one of A, B and C”, and “A Each of phrases such as “at least one of , B, or C” may include any one of the items listed together in the corresponding phrase, or any possible combination thereof.
  • FIG. 1 shows an apparatus for providing a medical cross-sectional image according to one embodiment.
  • a device for providing a medical cross-sectional image may provide an image related to a patient's surgery based on the gesture of a user (eg, an operator or medical staff).
  • a user's gesture is an input (e.g., gesture input) identified by at least one of the movement, rotation, shape, posture, or action of the user's body part (e.g., manipulation part) used for manipulation. can indicate.
  • the electronic device 100 may identify a user's gesture and control a visualized screen based on the identified gesture.
  • the electronic device 100 may include a vision sensor 110, a display 120, a processor 130, a memory 140, and a communication unit 150.
  • the vision sensor 110 can capture a manipulation part for screen control on the user's body.
  • the manipulation part mainly describes the user's hand, but it is not limited thereto, and other parts such as the foot may be used as the manipulation part depending on the design.
  • the vision sensor 110 may photograph scenes and/or environments within an operating room.
  • the vision sensor 110 may be arranged such that a field of view (FOV) of the vision sensor 110 includes the operating table on which the patient is placed and the movement range of the user (eg, operator) within the operating room.
  • FOV field of view
  • the data captured by the vision sensor 110 recognizes the patient's surgical site, the location of the user's (e.g., medical staff) manipulation part (e.g., hand position), and the orientation of the manipulation part (e.g., palm direction). It can be used to determine the location of the user's (e.g., medical staff) manipulation part (e.g., hand position), and the orientation of the manipulation part (e.g., palm direction). It can be used to
  • the vision sensor 110 may include at least one of a camera sensor, a radar sensor, a LiDAR sensor, an ultrasonic sensor, or an infrared sensor.
  • the camera sensor may be implemented as a stereo camera sensor and configured to measure depth.
  • the vision sensor 110 includes a combination of a camera sensor and a lidar sensor is mainly described, but is not limited thereto.
  • the display 120 may output information and images related to the patient's surgery. For example, the display 120 may visually output a target region model determined based on a medical image of the patient's target region.
  • Medical images are images taken of a patient for medical purposes and may include X-ray images, CT (Computed Tomography) images, and MRI (Magnetic Resonance Imaging) images.
  • the target area may represent the area of the patient's body that is the target of the procedure. In this specification, the patient's head is mainly described as an example of the target area, but it is not limited thereto.
  • the target area model is a model created for the target area, and may be, for example, a two-dimensional model and/or a three-dimensional model corresponding to the external appearance (eg, geometric shape) of the target area.
  • the target region model may be rendered and/or generated based on a plurality of medical images.
  • the target region model may be generated before and/or during surgery by electronic devices and/or other devices (e.g., servers). It is not limited to this.
  • the display 120 can output a medical cross-sectional image along with a target area model.
  • a medical cross-sectional image may be an image representing a cross-section at a point selected by the user among the target area.
  • the display 120 may also output an indicator graphic representation that indicates or suggests a point selected for generating a medical cross-sectional image. Accordingly, the electronic device 100 can intuitively guide to which point of the target region model the medical cross-sectional image is generated.
  • the vision sensor 110 is shown attached to the display 120, but it is not limited thereto.
  • the vision sensor 110 and the display 120 may be arranged to be spaced apart from each other.
  • the display 120 may be placed in a location that can be observed by the user during surgery.
  • the processor 130 may access the memory 140 to execute instructions for generating and displaying a target area model and a medical cross-sectional image.
  • the processor 130 may acquire a plurality of medical images related to the patient's surgery.
  • the processor 130 may generate a target region model corresponding to the plurality of medical images described above.
  • the processor 130 is a two-dimensional medical image of a surgical patient stored in an existing hospital information system (HIS (171), Hospital Information System) and/or a medical image storage and transmission system (PACS (172), Picture Archiving and Communication System).
  • HIS Hospital Information System
  • PES medical image storage and transmission system
  • a target area model can be created and saved.
  • the processor 130 may load a 3D target area model and output it using the display 120.
  • the processor 130 may load a pre-built target region model.
  • the processor 130 may identify the user's gesture based on data captured by the vision sensor 110.
  • the processor 130 may determine the target point and target plane in the patient's target area (eg, body part to be operated on) based on the user's gesture.
  • the electronic device 100 may generate and output a medical cross-sectional image in which the target area is sliced into the target plane at the determined target point.
  • the operation of the processor 130 is described in detail in FIGS. 2 to 9 below.
  • the memory 140 can store instructions that can be executed by a computer. Memory 140 may temporarily and/or permanently store medical images, medical cross-sectional images, and data required for generating medical cross-sectional images.
  • the communication unit 150 may receive information necessary to provide medical images from the server 170.
  • the communication unit 150 may establish communication with the server 170 including the HIS 171 and/or the PACS 172.
  • the electronic device 100 may request data that needs to be searched from the HIS 171 and/or the PACS 172 through the communication unit 150 during surgery.
  • the electronic device 100 may request and receive data expected to be needed during the surgery from the HIS 171 and/or the PACS 172 before surgery and store it in the memory 140.
  • the electronic device 100 may provide high-speed spatial scrolling of sections in large-capacity medical images stored in the PACS 172.
  • the electronic device 100 may provide a spatial and/or temporal point and/or section necessary for the user based on the user's non-contact gesture.
  • the electronic device 100 acquires a medical cross-sectional image (e.g., load) corresponding to the position of the user's (e.g., medical staff) manipulation part (e.g., hand position) on the target area (e.g., affected area) of the patient lying down. ) or creation) can be done.
  • a medical cross-sectional image e.g., load
  • manipulation part e.g., hand position
  • target area e.g., affected area
  • the medical cross-sectional image output from the display 120 is converted to a medical cross-sectional image corresponding to the changed position. It can be.
  • the electronic device 100 may synchronize the spatial frame of the 3D target area model displayed on the display 120 with the position of the hand.
  • the above-described 3D target area model can also be interpreted as a set of images (e.g., spatial frame images) corresponding to a plurality of spatial frames arranged along an arbitrary axis, and each spatial frame image is associated with the corresponding spatial frame. It may be a two-dimensional medical image of a corresponding cross-section.
  • FIGS. 2 to 8 mainly illustrate the search for spatial frames according to movement of the manipulation part, but the present invention is not limited thereto, and temporal frames can also be searched as described in FIG. 9 .
  • the electronic device 100 can immediately provide a medical cross-sectional image of the immediate location of the affected area to the user by matching the positional movement of the above-described manipulation area and the change in the spatial frame of the target area model.
  • the electronic device 100 can improve user convenience by providing intuitive navigation of medical cross-sectional images according to the movement axis along which the medical staff's palm moves. Accordingly, the electronic device 100 can intuitively search for and visualize the PACS image desired by the user in response to the user's gesture.
  • Figure 2 is a flowchart illustrating a method of providing a medical cross-sectional image according to an embodiment.
  • the electronic device may visually output a target region model determined based on a medical image of the patient's target region through a display.
  • the electronic device may acquire a plurality of medical images of a target area for a patient's surgery from a database (eg, HIS and/or PACS).
  • the plurality of medical images regarding the target region may be medical images captured toward the target region at multiple timings and/or multiple imaging directions (eg, imaging angles).
  • the electronic device may render and/or generate a target region model from a plurality of medical images.
  • the electronic device can capture the manipulation part for screen control on the user's body using a vision sensor.
  • a vision sensor may be placed in a location where the operating area can be captured.
  • a vision sensor can generate sensing data by capturing the user's hand.
  • the vision sensor may track the movement of the user and perform rotation and/or movement so that the user's manipulation part (eg, hand) is included within the viewing angle. Therefore, the vision sensor can continuously capture the user's manipulation area during surgery.
  • the vision sensor can acquire depth data using a depth sensor such as a lidar sensor.
  • Depth data may include information indicating the distance to the user's manipulation area and the patient's target area.
  • the vision sensor can acquire image data (e.g., color image) of a scene in the operating room using a camera sensor.
  • Image data about the scene within the operating room may include information about the shape of the user's manipulation area and the patient's target area.
  • the electronic device may recognize the position and posture of the manipulation part with respect to the target part based on the data captured by the vision sensor.
  • the electronic device may identify the user's gesture based on a combination of at least two of the position, position movement, or posture of the manipulation part.
  • the electronic device may perform an operation intended by the user (e.g., selecting a cross-section, outputting a medical cross-sectional image, moving the spatial and/or temporal frame of the medical cross-sectional image) corresponding to the identified gesture.
  • the electronic device may determine the target area's location in the operating room (e.g., coordinates indicating the location) and The location of the manipulation site in the operating room (e.g., coordinates indicating the location) can be determined.
  • the electronic device can determine the relative position of the manipulation area based on the target area.
  • the electronic device may calculate relative position coordinates of the manipulation part based on a reference point among the target parts (e.g., a point corresponding to the crown of the head if the target part is the head).
  • the electronic device may determine the posture of the manipulation part based on image data acquired by a camera sensor among the vision sensors. For example, the electronic device may detect the shape (eg, outline) of the target area based on image data. The electronic device may classify the posture of the target area based on the detected shape of the target area. For example, the electronic device may determine which of the anatomical planes of the target area the direction (e.g., the direction the palm is facing) of the target area is perpendicular.
  • Anatomical planes are planes set based on the anatomical structure of the patient's body located in the operating room, and may include, for example, the axial plane, coronal plane, and sagittal plane. You can. However, the anatomical planes are not limited to this.
  • the direction of the target area may be defined as a direction perpendicular to a plane corresponding to the target area (eg, a plane corresponding to the palm). However, it is not limited to this, and the electronic device may determine whether the plane of the target area (eg, palm plane) is parallel to which of the anatomical planes.
  • the electronic device uses at least one or a combination of two or more of the sensing data of a plurality of sensors included in the vision sensor (e.g., a camera sensor, a radar sensor, a lidar sensor, or an ultrasonic sensor, etc.) to determine the location of the target area described above. and posture can also be determined.
  • the vision sensor e.g., a camera sensor, a radar sensor, a lidar sensor, or an ultrasonic sensor, etc.
  • the electronic device may identify body action of the target area based on sensing data acquired by a vision sensor. For example, the electronic device may identify a body motion in which the user's hand assumes one of the following configurations: an open hand, a fist, or some fingers spread. As will be described later, when the user's hands are spread out around the patient, the electronic device can generate a medical cross-sectional image. If the user's hand assumes a fist shape, the electronic device may pause spatial and/or temporal scrolling of the medical cross-sectional image. When some of the user's fingers are spread, the electronic device may set a scroll change amount (eg, a temporal scroll change amount) in scrolling of the medical cross-sectional image.
  • a scroll change amount eg, a temporal scroll change amount
  • the electronic device may output an indicator graphical representation indicating the location of the manipulation part in at least one of the area including the target part model and the surrounding area.
  • the electronic device can explicitly display the point corresponding to the cross section from which the medical cross-sectional image was created by overlaying and outputting an indicator graphical representation on the target region model.
  • the electronic device may output an indicator graphical representation around the area where the target region model is output on the display.
  • the electronic device may output a bar object corresponding to an axis perpendicular to the cross section of the medical cross-sectional image around the target area model.
  • the bar object may represent a spatial range in which an anatomical plane can be created in the target area. The bar object is described below.
  • the electronic device may determine the location of the graphical representation of the indicator on the bar object based on the relative position of the manipulation area relative to the uniaxial length of the target area (e.g., a length along an axis perpendicular to the anatomical plane). Accordingly, the electronic device can intuitively guide the user to the location where the medical cross-sectional image was created.
  • the electronic device may output a medical cross-sectional image of a plane corresponding to the posture of the manipulation region for a point corresponding to the position of the manipulation region in the target region together with a target region model and an indicator graphical representation.
  • the electronic device may jointly visualize the medical cross-sectional image, an indicator graphical representation representing the physical location of the cross-section corresponding to the medical cross-sectional image (e.g., location within the target region), and a target region model. Therefore, the electronic device can conveniently provide the user with information necessary during surgery based on intuitive and non-contact gestures.
  • Figure 3 shows the output of a target region model based on a medical image according to one embodiment.
  • An electronic device may load (e.g., call) information (e.g., medical images 351) related to the surgery of the patient 390.
  • the electronic device may request medical images 351 predicted to be needed in surgery from the server and store them in the internal memory in advance. If additional medical images are needed in addition to the medical images 351 stored in the internal memory, the electronic device may request additional medical images from the server. For example, the electronic device may request an additional medical image from the server based on the fact that an additional medical image called based on a user's gesture during surgery is not retrieved from the internal memory.
  • the electronic device is connected to the corresponding point and/or cross section whenever the point and/or cross section designated by the user's gesture is changed.
  • Information e.g., one or more medical images
  • Information required to provide a corresponding medical cross-sectional image may be requested and received from the server each time.
  • Medical images 351 predicted to be necessary for surgery may be medical images 351 that capture a target area subject to surgery.
  • the electronic device can determine the target area. For example, the electronic device may determine the target area for surgery based on the user's input and/or gesture.
  • the user's input may be a manual input indicating a body part of the patient 390 that is the subject of surgery, and may be, for example, a query input indicating a search for images related to the body part in a database.
  • the electronic device may receive the above-described manual input through an input device including a keyboard and mouse.
  • the user's gesture for determining the target area may represent a gesture indicating a part of the body of the patient 390 located in the operating room.
  • the electronic device may identify a pair of manipulation parts (eg, both hands) of the user based on capture through the vision sensor 310.
  • the electronic device can determine whether the identified pair of manipulation parts is in a shape for determining the target area (e.g., both palms are spread out facing each other). If the pair of manipulation parts matches the shape for determining the target part, the electronic device may determine the space defined by the pair of manipulation parts (for example, the space between the two hands spaced apart). The electronic device may determine the area included in the space indicated by the pair of manipulation parts as the target area.
  • the electronic device identifies the location of the patient 390 and the surgical site (e.g., target site) through recognition of markers placed on the patient 390 lying on the surgical bed. You may.
  • the surgical site e.g., target site
  • an example in which there is only one target area is mainly described, but the present invention is not limited to this, and multiple target areas may be selected for surgery.
  • the electronic device can convert the above-described medical images 351 into a target area model 352.
  • the electronic device may generate a 3D target area model 352 based on medical images 351 stored in the internal memory.
  • the target area model 352 may be built in advance for each target area separately from the medical image of a database system such as HIS and/or PACS.
  • the pre-built target area model 352 may be stored in a server or in the internal memory of the electronic device. Based on the target area being determined, the electronic device may load a pre-built target area model 352 corresponding to the determined target area.
  • the electronic device may visually output the target area model 352 through the display 320. As will be described later, by outputting an indicator graphic representation corresponding to the target point at a location determined based on the target area model 352, the electronic device can intuitively guide the user to the point representing the cross section from which the medical cross-sectional image was created.
  • the target area is one head
  • the target part may be another body part of the patient 390 other than the head.
  • the electronic device may request and receive medical images 351 for the plurality of target parts from the server.
  • the electronic device may generate and/or obtain a target area model 352 for each target area.
  • the electronic device may switch the target region and target region model 352 to be output on the display 320 in response to the user's control (e.g., input and/or gesture). .
  • Figure 4 is a diagram illustrating detection of a user's manipulation part according to an embodiment.
  • An electronic device (e.g., the electronic device 100 of FIG. 1) according to an embodiment may detect at least one of the position, shape, or posture of the user's manipulation part 480 using the vision sensor 410. .
  • the electronic device can detect the user's manipulation part 480 using the vision sensor 410. For example, the electronic device may acquire sensing data through capture of the vision sensor 410. The electronic device can detect the manipulation part 480 based on sensing data. The electronic device provides location information (e.g., coordinates where the target area of the patient 490 is located) of the patient 490 in the operating room and medical staff (e.g., : The user's hand position (e.g., coordinates where the manipulation part 480 in the operating room is located) can be recognized. The electronic device determines the posture of the manipulation part 480 based on analysis of sensing data (eg, image analysis), the direction of the manipulation part 480 (eg, palm direction) and the plane of the manipulation part 480 (eg, palm). plane) can be identified. The electronic device can also identify the shape (e.g., fist shape, open shape) of the manipulation part 480 based on analysis of sensing data.
  • the electronic device can also identify the shape (e.g., fist
  • the electronic device may identify the user's gesture based on at least one or a combination of two or more of the position, shape, or posture of the manipulation part 480 described above.
  • the electronic device may illustratively determine an output position within the display of a graphical representation of an indicator (e.g., a pointer indicating the position of a cross-section on the screen) based on the position of the medical staff's hand. Additionally, the electronic device may determine a plane on which to slice the target area at the corresponding hand position according to the palm direction.
  • an indicator e.g., a pointer indicating the position of a cross-section on the screen
  • Figure 5 shows the output of a medical cross-sectional image based on detection of a manipulation site according to one embodiment.
  • the manipulation area may include the hand 580 of a user (eg, medical staff).
  • the electronic device can recognize the position 581 of the hand 580 and the direction of the palm of the hand 580. As described above in FIG. 4 , the electronic device may identify the position 581 and palm direction of the hand 580 relative to the target area 585 based on the sensing data of the vision sensor.
  • the electronic device may retrieve a medical image corresponding to the position of the user's hand 580 among the medical images of the patient 590.
  • the electronic device displays medical information (e.g., a medical cross-sectional image 559 as a medical image) of the point where the user's hand 580 is located (e.g., target point) among the surgical areas of the patient 590 (e.g., target area 585). ) can be received by requesting it from a server (e.g., information system of a medical institution).
  • a server e.g., information system of a medical institution
  • the electronic device may include information requested by the user's gesture among the medical information at the target point (e.g., the medical cross-sectional image 559) and/or information required to generate the requested information (e.g., the medical cross-sectional image 559). You can also select the medical images needed for creation.
  • the electronic device may determine a target plane corresponding to the palm direction at a target point corresponding to the position 581 of the hand 580 among the target areas 585.
  • the target point may be a point within the target area 585 (eg, affected area) of the patient 590.
  • the electronic device may retrieve medical cross-sectional images 559 in a target plane (e.g., one of the axial plane, coronal plane, and sagittal plane) from the server and/or memory. It can be collected.
  • the electronic device may select the medical cross-sectional image 559 corresponding to the target point among the medical cross-sectional images 559 of the target plane.
  • the electronic device may collect medical cross-sectional images 559 corresponding to the target point and select the medical cross-sectional image 559 corresponding to the target plane from among the collected medical cross-sectional images 559.
  • the electronic device can slice the target area 585.
  • the electronic device may load a medical image (e.g., medical cross-sectional image 559) corresponding to a sliced cross-section of the target region 585 from the server's database and/or internal memory. However, it is not limited to this, and the electronic device may generate a medical cross-sectional image 559 corresponding to a sliced cross-section of the target region 585 based on existing medical images. Based on the target plane being determined, the electronic device may retrieve or generate a medical cross-sectional image 559 corresponding to the target plane for the target point and other remaining points of the target area 585.
  • a medical image e.g., medical cross-sectional image 559
  • the electronic device may generate a medical cross-sectional image 559 corresponding to a sliced cross-section of the target region 585 based on existing medical images. Based on the target plane being determined, the electronic device may retrieve or generate a medical cross-sectional image 559 corresponding to the target plane for the target point and other remaining points of the target area 585.
  • the electronic device may output a medical cross-sectional image 559 of the determined target plane through a display.
  • the electronic device may display a medical cross-sectional image 559 corresponding to the moved target point among the collected medical cross-sectional images 559.
  • the electronic device may extract images corresponding to the axial plane.
  • Medical cross-sectional images 559 extracted for the target plane may be divided by point within the target area 585.
  • the medical cross-sectional image 559 for each point can also be represented as a spatial frame image.
  • the electronic device can synchronize the spatial frame of the medical cross-sectional images 559 to points on the target area 585 .
  • the electronic device can immediately output a medical cross-sectional image 559 in a spatial frame corresponding to the changed target point on the display.
  • the electronic device may output a bar object corresponding to the determined target plane around the target area model.
  • the bar object may represent a spatial range in which an anatomical plane can be created in the target region 585.
  • the bar object may be an object representing an axis corresponding to a direction perpendicular to the target plane. Accordingly, the electronic device can guide the user to spatially move the manipulation part based on the target part 585 through the bar object.
  • the indicator graphic representation 553 may be placed at a position corresponding to the target point among the target areas in the bar object.
  • FIG. 5 shows an example where the target plane is an axial plane, and the bar object may represent an axis (eg, x-axis) corresponding to a direction perpendicular to the axial plane.
  • the electronic device can recognize the position 581 of the hand 580 and the direction of the palm relative to the body of the patient 590 (e.g., the target area 585) at the surgical site.
  • the electronic device maps and outputs a pointer (e.g., indicator graphic representation 553) indicating the position 581 of the hand 580 described above on the three-dimensional modeling of the display (e.g., target area model 552), It can be controlled in response to the user's gestures.
  • the electronic device may provide an intuitive medical cross-sectional image 559 to the user by displaying the medical cross-sectional image 559 corresponding to the position of the indicator graphic representation 553.
  • FIG. 6 illustrates an operation of determining a target plane representing a cross section corresponding to a medical cross-sectional image according to an embodiment.
  • the electronic device may determine a virtual plane created by expanding the palm surface perpendicular to the palm direction 682 of the user's hand 680 as the target plane 681. Palm direction 682 may indicate the direction the user's palm faces.
  • the electronic device can determine the cross section through which the target plane 681 passes in the target area.
  • the electronic device may acquire a medical cross-sectional image 620 corresponding to the determined cross-section. For example, if a medical cross-sectional image 620 corresponding to the cross-section determined at the target point already exists, the electronic device may load it from a server and/or memory.
  • the electronic device may retrieve or generate a set of medical cross-sectional images (eg, a bundle of files) corresponding to the target plane 681 determined based on the posture of the manipulation part. For another example, if the electronic device cannot access the medical cross-sectional image 620 corresponding to the cross-section determined at the target point, the medical cross-sectional image 620 of the corresponding cross-section is synthesized using one or more medical images and/ Or you can create it.
  • a set of medical cross-sectional images eg, a bundle of files
  • the electronic device may output a medical cross-sectional image 620 corresponding to a cross-section through which the target plane 681 passes through the patient's target area through a display.
  • the electronic device may output an indicator graphical representation 652 of a planar shape that slices the target region model together with the target region model. Accordingly, the electronic device can intuitively guide the user to the cross section sliced from the target area.
  • the electronic device may rotate the target plane 681 based on detecting the rotation of the palm based on the captured data.
  • the electronic device can acquire a medical cross-sectional image 620 by slicing the target area with the rotated target plane 681.
  • the electronic device may change the medical cross-sectional image 620 output on the display into a medical cross-sectional image 620 about a cross-section through which the rotated target plane 681 passes through the target area. Accordingly, the electronic device may also slice the target region in the axial plane, coronal plane, and sagittal plane, and further customize it by the user's gesture (e.g., palm plane).
  • a medical cross-sectional image 620 in which the target area is sliced in a flat plane can be freely provided.
  • Electronic devices can intuitively control the display of medical images that can be expressed in three or more axes or planes, such as CT and MRI, in response to user gestures. Electronic devices can prevent and/or reduce contamination through contact by providing non-contact controls to the user when checking patient status prior to surgery.
  • Figure 7 illustrates an operation of moving a target point where a medical cross-sectional image is generated among target areas according to an embodiment.
  • An electronic device (eg, the electronic device 100) may move the graphical representation of the indicator based on detecting the movement of the manipulation part 780 using captured data.
  • the electronic device may change the medical cross-sectional image output on the display into a medical cross-sectional image of the target point corresponding to the moved position of the manipulation part 780.
  • the electronic device may output the first medical cross-sectional image 741 at the first target point.
  • the manipulation part 780 e.g., hand
  • the electronic device corresponds to a second target point located in the first direction with respect to the first target point.
  • a second medical cross-sectional image 742 may be output.
  • the electronic device moves to a third target point located in the second direction with respect to the first target point.
  • the corresponding third medical cross-sectional image 743 may be output.
  • the movement axis of the manipulation part 780 may vary depending on the determined target plane, which is explained in FIG. 8 below.
  • the electronic device can move the control pointer according to the movement of the hand and change the medical cross-sectional image corresponding to the moved position to display on the screen.
  • Electronic devices can intuitively navigate medical short-lived images by moving the spatial frame using hand gestures.
  • Figure 8 shows movement of a target point for each target plane according to one embodiment.
  • the electronic device may determine the target plane as one of the axial plane, coronal plane, and sagittal plane, based on the palm direction.
  • the axial plane can also be referred to as a horizontal plane or transverse plane.
  • the electronic device may determine the target plane based on the angle difference between the palm plane and each anatomical plane.
  • the electronic device may determine the target plane as the axial plane based on the angle difference between the plane perpendicular to the palm direction and the axial plane being less than a critical angle. Based on the fact that the target plane is the axial plane, the electronic device can suggest the movable direction and movable range of the cross-section along an axis perpendicular to the axial plane. The electronic device may output a medical cross-sectional image corresponding to the axial plane based on the direction of the palm being perpendicular to the axial plane based on the target patient.
  • the electronic autonomy may determine the target plane to be the coronal plane based on the angle difference between the plane perpendicular to the palm direction and the coronal plane being less than a critical angle. Based on the fact that the target plane is the coronal plane, the electronic device can suggest the movable direction and movable range of the cross-section along an axis perpendicular to the coronal plane. The electronic device may output a medical cross-sectional image corresponding to the coronal plane based on the direction of the palm being perpendicular to the coronal plane with respect to the target patient.
  • the electronic device may determine the target plane to be the sagittal plane based on the angle difference between the plane perpendicular to the palm direction and the sagittal plane being less than a critical angle. Based on the fact that the target plane is the sagittal plane, the electronic device can present the movable direction and movable range of the cross-section along an axis perpendicular to the sagittal plane. The electronic device may output a medical cross-sectional image corresponding to the sagittal plane based on the direction of the palm being perpendicular to the sagittal plane with respect to the target patient.
  • the electronic device can display an image of a corresponding cross-section of anatomical planes on the screen of the display according to the direction of the palm.
  • Electronic devices can output medical images such as MRI and CT on a display that displays medical information.
  • the electronic device can select the cross-sectional direction (axial, coronal, sagittal) of medical image information according to the direction of the medical staff's palm.
  • the electronic device can move the spatial front and back frames of the image cross-section of the medical image according to the medical staff's palm movements (e.g., left and right, forward and backward, and up and down movements) based on the selected axis and cross section.
  • the cranio-caudal axis is shown as the y-axis
  • the antero-posterior axis is shown as the z-axis
  • the left-right axis is shown as the x-axis.
  • the axial plane can be expressed as the xz plane, the sagittal plane as the yz plane, and the coronal plane as the xy plane.
  • the electronic device may output an indicator graphical representation 851 on the bar object corresponding to the y-axis perpendicular to the axial plane.
  • the electronic device may change the target point in response to hand movement 881 (e.g., left and right movement) along the y-axis and provide a medical cross-sectional image 841 corresponding to the changed target point.
  • hand movement 881 e.g., left and right movement
  • the electronic device may output an indicator graphical representation 852 on the bar object corresponding to the x-axis perpendicular to the sagittal plane.
  • the electronic device may change the target point in response to hand movement 882 (back and forth movement) along the x-axis and provide a medical cross-sectional image corresponding to the changed target point.
  • the electronic device may output a graphical representation 853 on the bar object corresponding to the z-axis perpendicular to the coronal plane.
  • the electronic device may change the target point in response to hand movement along the z-axis (e.g., up and down) and provide a medical cross-sectional image corresponding to the changed target point.
  • the electronic device can compare the 3D modeling image (e.g., target area model) with the actual patient's affected area (e.g., target area) recognized through the vision sensor.
  • the electronic device can calculate where the hand is located on the 3D modeling image.
  • the electronic device may compare the length of the 3D modeling image with the length of the target area of the patient actually lying in the bed.
  • the electronic device may calculate where the hand is located on the length axis of the patient's affected part based on the above-described length comparison result.
  • the electronic device can determine the length ratio corresponding to the hand position point on the 3D modeling image. Based on the determined position, the electronic device can display on the screen a medical cross-sectional image of the point where the pointer is located in 3D modeling. Additionally, the electronic device can map the patient's surgical site, the medical staff's hand position, and the direction of the palm to 3D modeling and output it.
  • FIG. 9 illustrates an operation of changing the time of a medical cross-sectional image output on a display according to an embodiment of the present invention based on a gesture.
  • the electronic device may fix at least one of a target point or a target plane on the target area based on the manipulation part being determined to perform a predetermined gesture based on the captured data. For example, as shown in FIG. 9 , the electronic device may detect a fist-clenching gesture 991 at the target point. The electronic device may output a medical cross-sectional image 941 of the target point. The electronic device may fix the spatial frame of the target point (eg, a frame corresponding to the location of the target area). The navigation bar 960 corresponding to the spatial frame may be fixed. When the electronic device detects a predetermined gesture, it may provide a search bar for the temporal frame. In Figure 9, a temporal point (eg, first time point 951) is displayed.
  • a temporal point eg, first time point 951
  • the electronic device may change the medical cross-sectional image output on the display to a medical cross-sectional image from a different viewpoint based on detecting movement of the manipulation part while the target point and target plane are fixed.
  • the manipulation part may be the hand.
  • the electronic device can identify the number of fingers spread out on the hand.
  • the electronic device may change the time of the medical cross-sectional image output on the display at a rate determined based on the number of identified fingers.
  • the electronic device can change the time frame from that target point to a medical cross-sectional image from another viewpoint. For example, as shown in FIG. 9, the electronic device can fix the temporal frame in the clenched fist gesture 991 even if the hand moves.
  • the electronic device may detect finger extension gestures 992 and 993 and move the temporal frame when the hand moves.
  • the electronic device can increase the time change rate of the medical cross-sectional image as the number of spread fingers increases.
  • the electronic device may reduce the time change rate of the medical cross-sectional image as the number of spread fingers decreases.
  • the gesture 992 includes a first number of spread fingers (e.g., 1)
  • the electronic device may change the temporal frame at a first speed.
  • the electronic device may provide a medical cross-sectional image from a second viewpoint 952 that is different from the first viewpoint (e.g., a later viewpoint).
  • the electronic device performs a gesture 993 in which the number of spread fingers is a second number (e.g., 2)
  • the electronic device may change the temporal frame at a second speed.
  • the electronic device may provide a medical cross-sectional image at a third viewpoint 953 that is farther from the first viewpoint 951 than the second viewpoint 952 .
  • Electronic devices can conveniently control the moving speed or distance of a pointer using non-contact gestures on a large screen.
  • Electronic devices can scroll large volumes of images at high speed when searching medical image data stored in a database.
  • Electronic devices can conveniently search the image by controlling the image using non-contact gestures to find the required section and controlling the desired movement speed and distance.
  • the electronic device may begin recognizing gestures at the user's request to activate scrolling.
  • Electronic devices can recognize the shape of a finger through a camera.
  • the electronic device can give weight to the displacement value for existing location information according to the shape of the hand gesture (number of fists and spread fingers).
  • the electronic device can determine the pointer movement speed according to the determined number. As the number of fingers increases, movement speed can increase.
  • the electronic device can recognize finger shapes and gesture movements.
  • the electronic device can control the movement of the pointer.
  • the electronic device can obtain medical image information from the information system of the medical institution. For example, in the case of CT or MRI, an electronic device can configure 2D images into frames and reconstruct them into movie clips. Electronic devices can retrieve, store, and analyze medical image information on an integrated medical information screen through a network. The electronic device can control the moving speed of the video frame.
  • an electronic device can determine the playback speed according to the number of fingers spread out.
  • the electronic device may initiate gesture recognition in response to a user's request (such as holding a mouse over or clenching and unclenching a fist).
  • Electronic devices can recognize the shape of a finger through a camera.
  • the electronic device may analyze the acquired hand image and determine the weight of the moving speed of the pointer.
  • the electronic device may control the moving speed of the pointer by applying weight according to the moving distance determined by the motion gesture (e.g., gesture by the manipulation part).
  • the electronic device can adjust the moving speed of the pointer according to the number of spread fingers and the speed of motion of the user.
  • an electronic device can quickly move to a desired section by searching large amounts of medical image data at various speeds in a temporal frame based on finger gestures.
  • Electronic devices can provide users with cognitively intuitive and efficient convenience in controlling medical images.
  • Electronic devices can help medical staff perform desired tasks on medical display devices with fewer movements by improving the inconvenient pointer control method when remotely controlling the pointer for content selection and control on a large medical information screen.
  • an electronic device can quickly skip unnecessary parts or adjust the playback speed.
  • Electronic devices can reduce video search time and provide convenience when moving to a desired video section. After skipping unnecessary images, the user can clench and unclench his/her fist to exit the image control mode when the required spatial and/or temporal section is reached.
  • the electronic device can maintain information necessary for surgery on the screen by moving the image to a desired section and then deactivating gesture control of the movement speed of the temporal frame.
  • FIG. 10 illustrates an operation of changing the magnification of spatial movement of a medical cross-sectional image output on a display according to an embodiment of the present invention based on a gesture.
  • the electronic device When the electronic device according to one embodiment detects a specific gesture, it may initiate an operation to adjust the moving speed of the spatial frame. For example, if the gesture of clenching a fist is detected for less than a threshold time, the electronic device may change the movement speed in the spatial frame, which will be described later. When skipping the fist state 1091 from the palm state 1099 and proceeding to the finger state, the time for which the fist clenching gesture was maintained may be regarded as 0 seconds. For reference, when the electronic device detects a fist clenching gesture for more than a threshold time (eg, 2 seconds), the electronic device may change the movement speed in the temporal frame described above in FIG. 9.
  • a threshold time eg, 2 seconds
  • the electronic device determines the entry into the movement speed change operation in the temporal frame of FIG. 9 and the entry into the movement speed change operation in the spatial frame of FIG. 10 based on the type of gesture, the maintenance time of the gesture, etc. You can choose according to your needs.
  • the electronic device can determine a target point as described above with reference to FIGS. 5 to 8 and determine a target plane for slicing a body part at the target point.
  • the electronic device may stop the rotation of the target plane described above based on detecting a gesture that switches from the palm state 1099 to the finger state.
  • the finger state may indicate a state in which one or more fingers are spread out and four or fewer fingers are spread out.
  • the palm state 1099 may represent a state in which all five fingers are spread out.
  • the electronic device may initiate an operation to change the moving speed of the spatial frame.
  • the electronic device may maintain the target plane determined at the time of transition from the palm state 1099 to the finger state and move only the target point according to the movement of the hand. For example, when the number of spread fingers increases, the electronic device may increase the spatial movement speed of the medical cross-sectional image. When the number of spread fingers decreases, the electronic device may reduce the spatial movement speed of the medical cross-sectional image. For example, when the electronic device detects a state in which one of the user's fingers is spread out (1092) while providing a cross-sectional image (1041) corresponding to the axial plane of the head, the electronic device may initiate movement of the spatial frame.
  • the electronic device may move the target point at a movement speed (e.g., 1 times the speed) corresponding to the one-open state 1092 than the palm state 1099.
  • a movement speed e.g., 1 times the speed
  • the electronic device may move the target point at a corresponding movement speed (e.g., twice the speed).
  • an indicator corresponding to the target point may be moved from the first point (1061) through the second point (1062) to the third point (1063).
  • the indicator graphical representation of the temporal navigation bar 1050 may be fixed.
  • the electronic device may provide a cross-sectional image 1041 corresponding to the axial plane at the moved target point. Accordingly, the electronic device can provide the user with the function of adjusting the spatial search speed for the patient's body part depending on the number of fingers.
  • the electronic device may dynamically adjust the speed of movement of the spatial frame. For example, the electronic device may perform spatial search at a first speed when the first number of fingers are spread out, and may perform spatial search at a second speed when detecting a second number of fingers. If the second number is greater than the first number, the second speed may be faster than the first speed. Conversely, if the second number is smaller than the first number, the second speed may be slower than the first speed. However, it is not limited to this, and depending on the design, the number of fingers and the movement speed of spatial search may be mapped in inverse proportion.
  • the electronic device may end the operation of changing the moving speed of the spatial frame.
  • the electronic device may resume the operation of changing the target point and target plane described in FIGS. 1 to 8.
  • the electronic device may initialize and/or return the target point to the point physically pointed by the user's palm.
  • the graphical representation of the indicator on the spatial search bar moves from the first point 1061 to the third point 1063 according to the spatial search, and then moves to the first point 1061 at the end of the spatial search. A return is shown.
  • the electronic device can provide more intuitive control by providing the function of changing the movement speed in the temporal frame and/or spatial frame, and by returning the target point to the physical point indicated by the user's gesture even if the function is terminated. there is.
  • the embodiments described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices, methods, and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, and a field programmable gate (FPGA).
  • ALU arithmetic logic unit
  • FPGA field programmable gate
  • It may be implemented using a general-purpose computer or a special-purpose computer, such as an array, programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include multiple processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave.
  • Software may be distributed over networked computer systems and thus stored or executed in a distributed manner.
  • Software and data may be stored on a computer-readable recording medium.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • a computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination, and the program instructions recorded on the medium may be specially designed and constructed for the embodiment or may be known and available to those skilled in the art of computer software. It may be possible.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
  • the hardware devices described above may be configured to operate as one or multiple software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Urology & Nephrology (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따른 전자 장치는 디스플레이를 통해 환자의 타겟 부위에 관한 의료 영상에 기초하여 결정된 타겟 부위 모델 을 시각적으로 출력하고, 비전 센서를 이용하여 사용자의 신체에서 화면 제어를 위한 조작 부위를 캡쳐하며, 비전 센서에 의해 캡쳐된 데이터에 기초하여 타겟 부위에 대한 조작 부위의 위치 및 자세를 인식하고, 조작 부위의 위치를 나타내는 지시자 그래픽 표현을 타겟 부위 모델을 포함하는 영역 및 주변 영역 중 적어도 한 영역에서 출력하며, 타겟 부위에서 조작 부위의 위치에 대응하는 타겟 지점에 대한, 조작 부위의 자세에 대응하는 평면의, 의료 단면 이미지를 타겟 부위 모델과 지시자 그래픽 표현과 함께 출력할 수 있다.

Description

의료 단면 이미지의 제공 방법 및 장치
이하, 의료 단면 이미지의 제공을 위한 기술이 제공된다.
수술실에는 수술에 참여하는 시술자(예: 의사 및 간호사)에게 수술 중 다양한 정보를 제공하는 의료 장치가 배치될 수 있다. 예를 들어, 수술실에는, X선, CT장치, C암형 X선 장치, MRI 장치 등의 의료 영상을 제공할 수 있는 장치가 수술대와 함께 배치될 수 있다. 수술실에는 수술의 목적에 따라 상이한 종류의 메인 영상 장치가 각 수술실에 하나씩 구비될 수 있으며, 하나의 수술실에는 하나의 메인 영상 장치가 설치될 수 있다. 해당 영상 장치와 함께 수술과 관련된 보조 정보를 제공하는 보조 영상 정보 장치도 배치될 수 있다.
전술한 영상 장치에 의해 제공되는 의료 영상 중 시술자에게 필요한 정보를 포함하는 영상이 수술 중에 신속하고 정확하게 제공되어야 한다. 원하는 의료 영상을 선택하기 위해서는 접촉식으로 복잡한 조작이 사용될 수 있다.
위에서 설명한 배경기술은 발명자가 본원의 개시 내용을 도출하는 과정에서 보유하거나 습득한 것으로서, 반드시 본 출원 전에 일반 공중에 공개된 공지기술이라고 할 수는 없다.
일 실시예에 따른 전자 장치는 대형 화면에서 비접촉 방식인 제스처로 포인터를 화면에서 제어할 수 있다.
일 실시예에 따른 전자 장치는 사용자의 제스처에 기초하여 포인터의 이동속도 또는 이동거리를 제어할 수 있다.
일 실시예에 따른 전자 장치는 대용량의 의료영상 이미지에 기초하여 생성된 3차원 모델링과 함께 손 제스처에 기초하여 선택된 타겟 지점에 대응하는 의료 단면 이미지를 제공할 수 있다.
일 실시예에 따른 전자 장치는 제스쳐에 기초하여 의료 단면 이미지에 대응하는 단면의 선택 및 의료 단면 이미지가 생성될 타겟 지점의 공간적 이동을 함께 제공할 수 있다.
일 실시예에 따른 전자 장치는 제스쳐의 방향에 기초하여 단면 방향을 결정할 수 있다.
일 실시예에 따른 전자 장치는 의료진이 환자의 수술 부위에 인접한 위치에서 제스처에 기초하여 화면 제어를 가능케 할 수 있다.
다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.
일 실시예에 따른 전자 장치는, 환자의 타겟 부위에 관한 의료 영상에 기초하여 결정된 타겟 부위 모델을 시각적으로 출력하는 디스플레이, 사용자의 신체에서 화면 제어(screen control)를 위한 조작 부위(manipulation part)를 캡쳐하는 비전 센서; 컴퓨터로 실행 가능한 명령어들이 저장된 메모리; 및 상기 메모리에 억세스(access)하여 상기 명령어들을 실행하는 프로세서를 포함하고, 상기 명령어들은, 상기 비전 센서에 의해 캡쳐된 데이터에 기초하여 상기 타겟 부위에 대한 상기 조작 부위의 위치(position) 및 자세(posture)를 인식하고, 상기 조작 부위의 위치를 나타내는 지시자 그래픽 표현(indicator graphical representation)을 상기 타겟 부위 모델을 포함하는 영역 및 주변 영역 중 적어도 한 영역에서 출력하며, 상기 타겟 부위에서 상기 조작 부위의 위치에 대응하는 지점에 대한, 상기 조작 부위의 자세에 대응하는 평면의, 의료 단면 이미지를 상기 타겟 부위 모델과 상기 지시자 그래픽 표현과 함께 출력하도록 설정될 수 있다.
상기 명령어들은, 상기 캡쳐된 데이터를 이용하여 상기 조작 부위의 이동을 검출하는 것에 기초하여, 상기 지시자 그래픽 표현을 이동시키고, 상기 디스플레이에 출력된 의료 단면 이미지를 상기 조작 부위의 이동된 위치에 대응하는 타겟 지점의 의료 단면 이미지로 변경하도록 설정될 수 있다.
상기 조작 부위는 손을 포함하고, 상기 명령어들은, 상기 손의 위치 및 상기 손의 손바닥 방향을 인식하며, 상기 타겟 부위 중 상기 손의 위치에 대응하는 타겟 지점에서 상기 손바닥 방향에 대응하는 타겟 평면을 결정하고, 결정된 타겟 평면의 의료 단면 이미지를 상기 디스플레이를 통해 출력하도록 설정될 수 있다.
상기 명령어들은, 상기 손바닥 방향에 수직하는 상기 손바닥의 면을 확장함으로써 생성된 가상의 평면을 상기 타겟 평면으로 결정하고, 상기 타겟 평면이 상기 환자의 상기 타겟 부위를 통과하는 단면에 대응하는 의료 단면 이미지를 상기 디스플레이를 통해 출력하도록 설정될 수 있다.
상기 명령어들은, 상기 캡쳐된 데이터에 기초하여 상기 손바닥의 회전을 검출하는 것에 기초하여 상기 타겟 평면을 회전시키고, 상기 디스플레이에 출력된 의료 단면 이미지를 상기 회전된 타겟 평면이 상기 타겟 부위를 통과하는 단면에 관한 의료 단면 이미지로 변경하도록 설정될 수 있다.
상기 명령어들은, 상기 손바닥 방향에 기초하여, 상기 타겟 평면을 축면(axial plane), 관상면(coronal plane), 및 시상면(sagittal plane) 중 하나로 결정하도록 설정될 수 있다.
상기 명령어들은, 상기 타겟 평면이 축면인 것에 기초하여, 상기 축면에 수직하는 축으로 단면의 이동 가능 방향 및 이동 가능 범위를 제시하고, 상기 타겟 평면이 관상면인 것에 기초하여, 상기 관상면에 수직하는 축으로 단면의 이동 가능 방향 및 이동 가능 범위를 제시하며, 상기 타겟 평면이 시상면인 것에 기초하여, 상기 시상면에 수직하는 축으로 단면의 이동 가능 방향 및 이동 가능 범위를 제시하도록 설정될 수 있다.
상기 명령어들은, 상기 손바닥 방향이 상기 대상 환자를 기준으로 축면에 수직하는 것에 기초하여, 상기 축면에 대응하는 의료 단면 이미지를 출력하고, 상기 손바닥 방향이 상기 대상 환자를 기준으로 관상면에 수직하는 것에 기초하여, 상기 관상면에 대응하는 의료 단면 이미지를 출력하고, 상기 손바닥 방향이 상기 대상 환자를 기준으로 시상면에 수직하는 것에 기초하여, 상기 시상면에 대응하는 의료 단면 이미지를 출력하도록 설정될 수 있다.
상기 명령어들은, 상기 손바닥 방향에 수직하는 평면과 상기 축면 간의 각도 차이가 임계 각도 미만인 것에 기초하여, 상기 타겟 평면을 상기 축면으로 결정하고, 상기 손바닥 방향에 수직하는 평면과 상기 관상면 간의 각도 차이가 임계 각도 미만인 것에 기초하여, 상기 타겟 평면을 상기 관상면으로 결정하고, 상기 손바닥 방향에 수직하는 평면과 상기 시상면 간의 각도 차이가 임계 각도 미만인 것에 기초하여, 상기 타겟 평면을 상기 시상면으로 결정하도록 설정될 수 있다.
상기 명령어들은, 상기 캡쳐된 데이터에 기초하여 상기 조작 부위가 미리 결정된 제스쳐를 수행하는 것으로 판별되는 것에 기초하여, 상기 타겟 부위 상의 타겟 지점 또는 타겟 평면 중 적어도 하나를 고정하도록 설정될 수 있다.
상기 명령어들은, 상기 타겟 지점 및 상기 타겟 평면이 고정된 동안 상기 조작 부위의 이동을 검출하는 것에 기초하여, 상기 디스플레이에 출력된 의료 단면 이미지를 다른 시점의 의료 단면 이미지로 변경하도록 설정될 수 있다.
상기 조작 부위가 손이고, 상기 명령어들은, 상기 손에서 펼쳐진 손가락의 개수를 식별하고, 식별된 손가락의 개수에 기초하여 결정된 속도로 상기 디스플레이에 출력된 의료 단면 이미지의 시간을 변경하도록 설정될 수 있다.
상기 명령어들은, 상기 펼쳐진 손가락의 개수가 증가하면, 상기 의료 단면 이미지의 시간 변경 속도를 증가시키고, 상기 펼쳐진 손가락의 개수가 감소하면, 상기 의료 단면 이미지의 시간 변경 속도를 감소시키도록 설정될 수 있다.
상기 명령어들은, 상기 펼쳐진 손가락의 개수가 증가하면, 상기 의료 단면 이미지의 공간적 이동 속도를 증가시키고, 상기 펼쳐진 손가락의 개수가 감소하면, 상기 의료 단면 이미지의 공간적 이동 속도를 감소시키도록 설정될 수 있다.
상기 비전 센서는, 카메라 센서, 레이더 센서, 라이다 센서, 초음파 센서, 또는 적외선 센서 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 프로세서로 구현되는 방법은, 디스플레이를 통해 환자의 타겟 부위에 관한 의료 영상에 기초하여 결정된 타겟 부위 모델 을 시각적으로 출력하는 단계; 비전 센서를 이용하여 사용자의 신체에서 화면 제어를 위한 조작 부위를 캡쳐하는 단계; 상기 비전 센서에 의해 캡쳐된 데이터에 기초하여 상기 타겟 부위에 대한 상기 조작 부위의 위치 및 자세를 인식하는 단계; 상기 조작 부위의 위치를 나타내는 지시자 그래픽 표현을 상기 타겟 부위 모델을 포함하는 영역 및 주변 영역 중 적어도 한 영역에서 출력하는 단계; 및 상기 타겟 부위에서 상기 조작 부위의 위치에 대응하는 타겟 지점에 대한, 상기 조작 부위의 자세에 대응하는 평면의, 의료 단면 이미지를 상기 타겟 부위 모델과 상기 지시자 그래픽 표현과 함께 출력하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치는 대형 화면에서 비접촉 방식인 제스처로 포인터를 화면에서 제어함으로써 수술실 내에서 오염을 방지하고 위생적인 화면 제어를 제공할 수 있다.
일 실시예에 따른 전자 장치는 사용자의 제스처에 기초하여 포인터의 이동속도 또는 이동거리를 제어함으로써 대형화면에서 포인터 제어에 편의를 제공할 수 있다.
일 실시예에 따른 전자 장치는 대용량의 의료영상 이미지에 기초하여 생성된 3차원 모델링과 함께 손 제스처에 기초하여 선택된 타겟 지점에 대응하는 의료 단면 이미지를 디스플레이 장치를 통해 직관적으로 제공할 수 있다.
일 실시예에 따른 전자 장치는 제스쳐에 기초하여 의료 단면 이미지에 대응하는 단면의 선택 및 의료 단면 이미지가 생성될 타겟 지점의 공간적 이동을 함께 제공함으로써, 수술 중 의료 영상의 탐색에서 인지적 효율성을 증대시킬 수 있다.
일 실시예에 따른 전자 장치는 제스쳐의 방향에 기초하여 단면 방향을 결정함으로써 수술 중 사용자가 원하는 단면의 의료 단면 이미지를 편리하게 제공할 수 있다.
일 실시예에 따른 전자 장치는 의료진이 환자의 수술 부위에 인접한 위치에서 제스처에 기초하여 화면 제어를 가능케 함으로써, 의료진의 불필요한 이동과 영상을 찾기 위해 낭비되는 시간을 감소시킬 수 있다.
도 1은 일 실시예에 따른 의료 단면 이미지를 제공하기 위한 장치를 도시한다.
도 2는 일 실시예에 따른 의료 단면 이미지의 제공 방법을 도시한 흐름도이다.
도 3은 일 실시예에 따른 의료 영상에 기초한 타겟 부위 모델의 출력을 도시한다.
도 4는 일 실시예에 따른 사용자의 조작 부위의 검출을 도시한 도면이다.
도 5는 일 실시예에 따른 조작 부위의 검출에 기초한 의료 단면 이미지의 출력을 도시한다.
도 6은 일 실시예에 따른 의료 단면 이미지에 대응하는 단면을 나타내는 타겟 평면을 결정하는 동작을 설명한다.
도 7은 일 실시예에 따른 타겟 부위 중 의료 단면 이미지가 생성되는 타겟 지점을 이동시키는 동작을 도시한다.
도 8은 일 실시예에 따른 타겟 평면 별로 타겟 지점의 이동을 도시한다.
도 9는 일 실시예에 따른 디스플레이에 출력된 의료 단면 이미지의 시간을 제스쳐에 기초하여 변경하는 동작을 설명한다.
도 10은 일 실시예에 따른 디스플레이에 출력된 의료 단면 이미지의 공간 이동의 배율을 제스쳐에 기초하여 변경하는 동작을 설명한다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 의료 단면 이미지를 제공하기 위한 장치를 도시한다.
일 실시예에 따른 의료 단면 이미지를 제공하기 위한 장치(예: 전자 장치(100))는 사용자(예: 시술자 또는 의료진)의 제스쳐에 기초하여 환자의 수술과 관련된 영상을 제공할 수 있다. 사용자의 제스쳐는 조작을 위해 사용되는 사용자의 신체 부위(예: 조작 부위)의 이동, 회전, 형상, 자세(posture), 또는 동작(action) 중 적어도 하나에 의해 식별되는 입력(예: 제스쳐 입력)을 나타낼 수 있다. 예를 들어, 전자 장치(100)는 사용자의 제스쳐를 식별하고, 식별된 제스쳐에 기초하여 시각화되는 화면을 제어할 수 있다.
전자 장치(100)는 비전 센서(110), 디스플레이(120), 프로세서(130), 메모리(140), 및 통신부(150)를 포함할 수 있다.
비전 센서(110)는 사용자의 신체에서 화면 제어(screen control)를 위한 조작 부위(manipulation part)를 캡쳐할 수 있다. 본 명세서에서 조작 부위는 사용자의 손을 주로 설명하나, 이로 한정하는 것은 아니며, 설계에 따라 발과 같은 다른 부위가 조작 부위로서 사용될 수도 있다. 예를 들어, 비전 센서(110)는 수술실 내의 장면 및/또는 환경을 촬영할 수 있다. 비전 센서(110)는, 비전 센서(110)의 시야각(FOV, field of view)은 수술실 내에서 환자가 배치되는 수술대 및 사용자(예: 시술자)의 이동 범위를 포함하도록, 배치될 수 있다. 비전 센서(110)에 의해 캡처된 데이터는 환자의 수술부위, 사용자(예: 의료진)의 조작 부위의 위치(예: 손의 위치), 조작 부위의 방향(orientation)(예: 손바닥 방향)을 인식하는데 사용될 수 있다.
비전 센서(110)는, 카메라 센서, 레이더 센서, 라이다 센서, 초음파 센서, 또는 적외선 센서 중 적어도 하나를 포함할 수 있다. 예시적으로 카메라 센서는 스테레오 카메라 센서로 구현되어, 깊이를 측정 가능하게 구성될 수도 있다. 본 명세서에서는 비전 센서(110)가 카메라 센서 및 라이더 센서의 조합을 포함하는 예시를 주로 설명하지만 이로 한정하는 것은 아니다.
디스플레이(120)는 환자의 수술과 관련된 정보 및 영상을 출력할 수 있다. 예를 들어, 디스플레이(120)는 환자의 타겟 부위에 관한 의료 영상에 기초하여 결정된 타겟 부위 모델을 시각적으로 출력할 수 있다. 의료 영상은 의료 목적으로 환자에 대해 촬영된 영상으로서, X선 영상, CT(Computed Tomography) 영상, 및 MRI(Magnetic Resonance Imaging) 영상을 포함할 수 있다. 타겟 부위는 환자의 신체 중 시술의 대상이 되는 부위를 나타낼 수 있다. 본 명세서에서는 타겟 부위의 예시로 환자의 머리를 주로 설명하는데, 이로 한정하는 것은 아니다. 타겟 부위 모델은 타겟 부위에 대해 생성된 모델로서, 예를 들어, 타겟 부위의 외형(예: 기하학적 형태)에 대응하는 2차원 모델 및/또는 3차원 모델일 수 있다. 타겟 부위 모델은 복수의 의료 영상들에 기초하여 렌더링 및/또는 생성될 수 있다. 타겟 부위 모델은 전자 장치 및/또는 다른 장치(예: 서버)에 의해 수술 전 및/또는 수술 도중 생성될 수 있다. 이로 한정하는 것은 아니다.
또한, 디스플레이(120)는 타겟 부위 모델과 함께, 의료 단면 이미지도 출력할 수 있다. 후술하겠으나, 의료 단면 이미지는 타겟 부위 중 사용자에 의해 선택된 지점에서의 단면을 나타내는 이미지일 수 있다. 디스플레이(120)는 의료 단면 이미지의 생성을 위해 선택된 지점을 지시 또는 암시하는 지시자 그래픽 표현(indicator graphic representation)도 출력할 수 있다. 따라서, 전자 장치(100)는 타겟 부위 모델의 어느 지점에 대해 의료 단면 이미지가 생성된 것인지를 직관적으로 안내할 수 있다.
참고로, 도 1에서는 비전 센서(110)가 디스플레이(120)에 부착된 것으로 도시되었으나, 이로 한정하는 것은 아니다. 비전 센서(110) 및 디스플레이(120)는 서로로부터 이격되어 배치될 수도 있다. 디스플레이(120)는 수술 중 사용자에 의해 관측될 수 있는 위치에 배치될 수 있다.
프로세서(130)는 메모리(140)에 억세스(access)하여 타겟 부위 모델 및 의료 단면 이미지의 생성 및 표시를 위한 명령어들을 실행할 수 있다. 프로세서(130)는 환자의 수술과 관련된 복수의 의료 영상들을 획득할 수 있다. 프로세서(130)는 전술한 복수의 의료 영상들에 대응하는 타겟 부위 모델을 생성할 수 있다. 프로세서(130)는 기존에 병원 정보 시스템(HIS(171), Hospital Information System) 및/또는 의료영상저장전송시스템(PACS(172), Picture Archiving and Communication System)에 저장된 수술 환자의 2차원 기반 의료 영상(예: CT 영상, MRI 영상)을 3차원으로 변환함으로써 타겟 부위 모델을 생성 및 저장할 수 있다. 프로세서(130)는 3차원 타겟 부위 모델을 로드하고, 디스플레이(120)를 이용하여 출력할 수 있다. 다만, 이로 한정하는 것은 아니고, 프로세서(130)는 미리 구축된 타겟 부위 모델을 로드할 수도 있다. 프로세서(130)는 비전 센서(110)에 의해 캡쳐된 데이터에 기초하여 사용자의 제스쳐를 식별할 수 있다. 프로세서(130)는 전자 장치(100)는 사용자의 제스쳐에 기초하여 환자의 타겟 부위(예: 수술 대상이 되는 신체 부위)에서 타겟 지점 및 타겟 평면을 결정할 수 있다. 전자 장치(100)는 결정된 타겟 지점에서 타겟 부위를 타겟 평면으로 슬라이스한 의료 단면 이미지를 생성하여 출력할 수 있다. 프로세서(130)의 동작은 하기 도 2 내지 도 9에서 상세히 설명한다.
메모리(140)는 컴퓨터로 실행 가능한 명령어들을 저장할 수 있다. 메모리(140)는 의료 영상, 의료 단면 이미지, 및 의료 단면 이미지의 생성을 위해 요구되는 데이터를 임시적으로 및/또는 영구적으로 저장할 수 있다.
통신부(150)는 서버(170)로부터 의료 영상의 제공을 위해 필요한 정보를 수신할 수 있다. 예를 들어, 통신부(150)는 HIS(171) 및/또는 PACS(172)를 포함하는 서버(170)와 통신을 수립할 수 있다. 전자 장치(100)는 수술 중 통신부(150)를 통해 탐색이 필요한 데이터를 HIS(171) 및/또는 PACS(172)에 요청할 수 있다. 전자 장치(100)는 수술 전에 수술 동안 필요할 것으로 예상되는 데이터를 HIS(171) 및/또는 PACS(172)에 미리 요청하여 수신하고, 메모리(140)에 저장할 수도 있다.
일 실시예에 따른 전자 장치(100)는 PACS(172) 내에 저장된 대용량의 의료 영상들에서 단면들에 대한 빠른 속도의 공간적 스크롤을 제공할 수 있다. 전자 장치(100)는 사용자의 비접촉 제스처에 기초하여, 사용자에게 필요한 공간적 및/또는 시간적 지점 및/또는 구간을 제공할 수 있다. 전자 장치(100)는 누워있는 환자의 타겟 부위(예: 환부) 상에서 사용자(예: 의료진)의 조작 부위의 위치(예: 손의 위치)에 대응하는 의료 단면 이미지를 획득(예: 로드(load) 또는 생성)할 수 있다. 다시 말해, 환부를 기준으로, 예시적으로는, 환부 상의 기준점에 대해 의료진의 손의 상대적 위치가 변화하는 경우, 디스플레이(120)에서 출력되는 의료 단면 이미지는 변화된 위치에 해당하는 의료 단면 이미지로 전환될 수 있다. 전자 장치(100)는 디스플레이(120)에 표시되는 3차원 타겟 부위 모델의 공간적 프레임을 손의 위치와 동기화할 수 있다. 전술한 3차원 타겟 부위 모델은 임의의 축을 따라 나열되는 복수의 공간적 프레임들에 대응하는 이미지들(예: 공간적 프레임 이미지들)의 집합으로도 해석될 수 있고, 각 공간적 프레임 이미지는 해당 공간적 프레임에 대응하는 단면의 2차원 의료 영상일 수 있다. 참고로, 도 2 내지 도 8에서는 조작 부위의 이동에 따른 공간적 프레임의 탐색을 주로 설명하는데, 이로 한정하는 것은 아니고, 도 9에서 설명하는 바와 같이 시간적 프레임도 탐색될 수 있다.
전자 장치(100)는 전술한 조작 부위의 위치 이동 및 타겟 부위 모델의 공간적 프레임의 변화를 매칭시킴으로써, 사용자에게 즉각적인 환부 위치의 의료 단면 이미지를 즉각적으로 제공할 수 있다. 전자 장치(100)는 의료진의 손바닥이 움직이는 이동 축에 따라 직관적인 의료 단면 이미지의 탐색을 제공함으로써, 사용자의 편의성을 개선할 수 있다. 따라서, 전자 장치(100)는 사용자의 제스쳐에 응답하여 사용자가 원하는 PACS 이미지를 직관적으로 탐색 및 시각화할 수 있다.
도 2는 일 실시예에 따른 의료 단면 이미지의 제공 방법을 도시한 흐름도이다.
우선, 단계(210)에서 전자 장치(예: 도 1의 전자 장치(100))는 디스플레이를 통해 환자의 타겟 부위에 관한 의료 영상에 기초하여 결정된 타겟 부위 모델을 시각적으로 출력할 수 있다. 예를 들어, 전자 장치는 데이터베이스(예: HIS 및/또는 PACS)로부터 환자의 수술을 위해 타겟 부위에 관한 복수의 의료 영상들을 획득할 수 있다. 타겟 부위에 관한 복수의 의료 영상들은 복수의 타이밍들 및/또는 복수의 촬영 방향들(예: 촬영 각도)에서 타겟 부위를 향해 촬영된 의료 영상일 수 있다. 전자 장치는 복수의 의료 영상들로부터 타겟 부위 모델을 렌더링 및/또는 생성할 수 있다.
그리고 단계(220)에서 전자 장치는 비전 센서를 이용하여 사용자의 신체에서 화면 제어를 위한 조작 부위를 캡쳐할 수 있다. 예를 들어, 비전 센서는 수술실에서 조작 부위를 캡쳐 가능한 위치에 배치될 수 있다. 예시적으로 비전 센서는 사용자의 손을 캡쳐함으로써 센싱 데이터를 생성할 수 있다. 다만, 본 명세서에서 비전 센서의 위치 및 시야각이 정적인(static) 예시를 주로 설명하나, 이로 한정하는 것은 아니다. 다른 예를 들어, 비전 센서는, 사용자의 조작 부위(예: 손)가 시야각 내에 포함되도록, 사용자의 이동을 추적하여 회전 및/또는 이동을 수행할 수도 있다. 따라서, 비전 센서는 사용자의 조작 부위를 수술 동안 계속해서 캡쳐할 수 있다. 비전 센서는 전술한 바와 같이 라이다 센서와 같은 깊이 센서를 이용하여 깊이 데이터(depth data)를 획득할 수 있다. 깊이 데이터는 사용자의 조작 부위 및 환자의 타겟 부위까지의 거리를 나타내는 정보를 포함할 수 있다. 비전 센서는 카메라 센서를 이용하여 수술실 내 장면(scene)을 촬영한 이미지 데이터(예: 컬러 이미지)를 획득할 수 있다. 수술실 내 장면에 관한 이미지 데이터는 사용자의 조작 부위 및 환자의 타겟 부위의 형상에 관한 정보를 포함할 수 있다.
이어서 단계(230)에서 전자 장치는 비전 센서에 의해 캡쳐된 데이터에 기초하여 타겟 부위에 대한 조작 부위의 위치(position) 및 자세(posture)를 인식할 수 있다. 전자 장치는 조작 부위의 위치, 위치 이동, 또는 자세 중 적어도 둘 이상의 조합에 기초하여 사용자의 제스쳐를 식별할 수 있다. 전자 장치는 식별된 제스쳐에 대응하는 사용자에 의해 의도된 동작(예: 단면의 선택, 의료 단면 이미지의 출력, 의료 단면 이미지의 공간적 및/또는 시간적 프레임 이동)을 수행할 수 있다.
예를 들어, 전자 장치는 비전 센서 중 깊이 센서(예: 라이다 센서, 레이더 센서, 또는 초음파 센서)에 의해 획득된 깊이 데이터에 기초하여 타겟 부위의 수술실 내 위치(예: 위치를 나타내는 좌표) 및 조작 부위의 수술실 내 위치(예: 위치를 나타내는 좌표)를 결정할 수 있다. 전자 장치는 타겟 부위를 기준으로 조작 부위의 상대적인 위치를 결정할 수 있다. 전자 장치는 타겟 부위 중에서도 기준점(reference point)(예: 타겟 부위가 머리인 경우 정수리에 대응하는 지점)을 기준으로 조작 부위의 상대적인 위치 좌표를 산출할 수 있다.
또한, 전자 장치는 비전 센서 중 카메라 센서에 의해 획득된 이미지 데이터에 기초하여 조작 부위의 자세를 결정할 수 있다. 예를 들어, 전자 장치는 이미지 데이터에 기초하여 타겟 부위의 형상(예: 윤곽)을 검출할 수 있다. 전자 장치는 타겟 부위의 검출된 형상에 기초하여 타겟 부위의 자세를 타겟 부위를 기준으로 분류할 수 있다. 예시적으로 전자 장치는 타겟 부위의 방향(예: 손바닥이 바라보는 방향)이 타겟 부위의 해부학적 평면들 중 어느 평면에 수직하는지를 판별할 수 있다. 해부학적 평면들은 수술실 내에 위치된 환자의 신체의 해부학적 구조를 기준으로 설정되는 평면으로서, 예를 들어, 축면(axial plane) , 관상면(coronal plane ), 및 시상면(sagittal plane)을 포함할 수 있다. 다만, 해부학적 평면들을 이로 한정하는 것은 아니다. 타겟 부위의 방향은 타겟 부위에 대응하는 평면(예: 손바닥에 대응하는 평면)에 수직하는 방향으로 정의될 수 있다. 다만, 이로 한정하는 것은 아니고, 전자 장치는 타겟 부위의 평면(예: 손바닥 평면)이 해부학적 평면들 중 어느 평면에 평행하는지 여부를 판별할 수도 있다.
전술한 예시에서는 타겟 부위에 대해 깊이 데이터에 기초한 위치 결정 및 이미지 데이터에 기초한 자세 결정이 개별적으로 수행되는 것처럼 도시되었으나, 이로 한정하는 것은 아니다. 전자 장치는 비전 센서에 포함된 복수의 센서들(예: 카메라 센서, 레이더 센서, 라이다 센서, 또는 초음파 센서 등)의 센싱 데이터들 중 적어도 하나 또는 둘 이상의 조합을 이용하여 전술한 타겟 부위의 위치 및 자세를 결정할 수도 있다.
더 나아가, 전자 장치는 비전 센서에 의해 획득된 센싱 데이터에 기초하여, 타겟 부위의 신체 동작(body action)을 식별할 수도 있다. 예를 들어, 전자 장치는 사용자의 손이 펼쳐진 형상, 주먹 형상, 또는 일부 손가락을 펼친 형상 중 한 형상을 취하는 신체 동작을 식별할 수 있다. 후술하겠으나, 환자의 주변에서 사용자의 손이 펼쳐진 경우, 전자 장치는 의료 단면 이미지를 생성할 수 있다. 사용자의 손이 주먹 형상을 취하는 경우, 전자 장치는 의료 단면 이미지의 공간적 및/또는 시간적 스크롤링을 잠시 중단(pause)할 수 있다. 사용자의 일부 손가락이 펼쳐진 경우, 전자 장치는 의료 단면 이미지의 스크롤링의 스크롤 변화량(예: 시간적 스크롤의 변화량)을 설정할 수 있다.
그리고 단계(240)에서 전자 장치는 조작 부위의 위치를 나타내는 지시자 그래픽 표현(indicator graphical representation)을 타겟 부위 모델을 포함하는 영역 및 주변 영역 중 적어도 한 영역에서 출력할 수 있다. 예를 들어, 전자 장치는 타겟 부위 모델 상에 지시자 그래픽 표현을 오버레이하여 출력함으로써, 의료 단면 이미지가 생성된 단면에 대응하는 지점을 명시적으로 표시할 수 있다. 다른 예를 들어, 전자 장치는 디스플레이에서 타겟 부위 모델이 출력되는 영역의 주변에서 지시자 그래픽 표현을 출력할 수 있다. 전자 장치는 의료 단면 이미지의 단면에 수직하는 축에 대응하는 바 객체(bar object)를 타겟 부위 모델의 주변에서 출력할 수 있다. 바 객체는 타겟 부위에서 한 해부학적 평면이 생성될 수 있는 공간적인 범위를 나타낼 수 있다. 바 객체는 하기에서 설명한다. 전자 장치는, 타겟 부위의 일축 길이(예: 해부학적 평면에 수직하는 축을 따른 길이) 대비 조작 부위의 상대적 위치에 기초하여, 바 객체 상의 지시자 그래픽 표현의 위치를 결정할 수 있다. 따라서, 전자 장치는 사용자에게 직관적으로 의료 단면 이미지가 생성된 위치를 안내할 수 있다.
이어서 단계(250)에서 전자 장치는 타겟 부위에서 조작 부위의 위치에 대응하는 지점에 대한, 조작 부위의 자세에 대응하는 평면의, 의료 단면 이미지를 타겟 부위 모델과 지시자 그래픽 표현과 함께 출력할 수 있다. 전자 장치는 의료 단면 이미지, 의료 단면 이미지에 대응하는 단면의 물리적 위치(예: 타겟 부위 내 위치)를 나타내는 지시자 그래픽 표현, 및 타겟 부위 모델을 함께 시각화할 수 있다. 따라서, 전자 장치는 사용자에게 수술 중 필요한 정보를 직관적이면서도 비접촉 방식의 제스쳐에 기초하여 편리하게 제공할 수 있다.
도 3은 일 실시예에 따른 의료 영상에 기초한 타겟 부위 모델의 출력을 도시한다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(100))는 환자(390)의 수술과 관련된 정보(예: 의료 영상들(351))을 로딩(예: 호출)할 수 있다. 전자 장치는 수술에서 필요할 것으로 예측된 의료 영상들(351)을 서버에 요청하여 미리 내부 메모리에 저장할 수 있다. 전자 장치는 내부 메모리에 저장된 의료 영상들(351) 외에 추가 의료 영상이 필요한 경우, 서버에게 추가 의료 영상을 요청할 수도 있다. 예를 들어, 전자 장치는 수술 중 사용자의 제스쳐에 기초하여 호출된 추가 의료 영상이 내부 메모리에서 검색되지 않는 것에 기초하여, 서버에게 해당 추가 의료 영상을 요청할 수도 있다. 다만, 이로 한정하는 것은 아니고, 후술하는 타겟 부위 모델(352)의 생성과 별개로, 전자 장치는 사용자의 제스쳐에 의해 지정된 지점 및/또는 단면이 변경될 때마다, 해당하는 지점 및/또는 단면에 대응하는 의료 단면 이미지를 제공하기 위해 필요한 정보(예: 하나 이상의 의료 영상)를 매번 서버에 요청하여 수신할 수도 있다.
수술에서 필요할 것으로 예측된 의료 영상들(351)은 수술 대상인 타겟 부위를 촬영한 의료 영상들(351)일 수 있다. 전자 장치는 타겟 부위를 결정할 수 있다. 예를 들어, 전자 장치는 사용자의 입력 및/또는 제스쳐에 기초하여 수술 대상인 타겟 부위를 결정할 수 있다. 사용자의 입력은 수술 대상인 환자(390)의 신체 부위를 지시하는 수동 입력(manual input)으로서, 예를 들어, 데이터베이스에 신체 부위에 관련된 영상의 검색을 지시하는 쿼리 입력(query input)일 수 있다. 전자 장치는 키보드 및 마우스를 포함하는 입력 디바이스를 통해 전술할 수동 입력을 수신할 수 있다. 타겟 부위를 결정하기 위한 사용자의 제스쳐는, 수술실 내에 위치된 환자(390)의 신체 중 일부 신체를 지시하는 제스쳐를 나타낼 수 있다. 예를 들어, 전자 장치는, 비전 센서(310)를 통한 캡쳐에 기초하여, 사용자의 한 쌍의 조작 부위(예: 양손)를 식별할 수 있다. 전자 장치는 식별된 한 쌍의 조작 부위가 타겟 부위의 결정을 위한 형태(예: 양손바닥이 서로 마주보게 펼친 형태)인 지 판단할 수 있다. 전자 장치는 한 쌍의 조작 부위가 타겟 부위의 결정을 위한 형태에 매칭하는 경우, 한 쌍의 조작 부위에 의해 정의되는 공간(예: 이격된 양손 사이의 공간)을 결정할 수 있다. 전자 장치는 한 쌍의 조작 부위가 나타내는 공간에 포함된 부위를 타겟 부위로 결정할 수 있다. 전자 장치는 전술한 입력 및 제스쳐에 대한 비전 인식 외에도, 수술 침대에 누워있는 환자(390)를 대상으로 배치된 마커의 인식을 통해 환자(390)의 위치 및 수술 부위(예: 타겟 부위)를 식별할 수도 있다. 본 명세서에서는 타겟 부위가 하나인 예시를 주로 설명하나, 이로 한정하는 것은 아니고, 복수의 타겟 부위들이 수술 대상으로 선정될 수도 있다.
전자 장치는 전술한 의료 영상들(351)을 타겟 부위 모델(352)로 변환할 수 있다. 예시적으로, 전자 장치는 내부 메모리에 저장된 의료 영상들(351)에 기초하여 3차원 타겟 부위 모델(352)을 생성할 수 있다. 다만, 이로 한정하는 것은 아니고, HIS 및/또는 PACS와 같은 데이터베이스 시스템의 의료 영상과 별개로, 타겟 부위 별로 타겟 부위 모델(352)이 미리 구축될 수도 있다. 미리 구축된 타겟 부위 모델(352)은 서버에 저장되거나, 전자 장치의 내부 메모리에 저장될 수 있다. 전자 장치는 타겟 부위가 결정되는 것에 기초하여, 결정된 타겟 부위에 대응하는 미리 구축된 타겟 부위 모델(352)을 불러올 수도 있다.
전자 장치는 디스플레이(320)를 통해 타겟 부위 모델(352)을 시각적으로 출력할 수 있다. 후술하겠으나, 타겟 지점에 대응하는 지시자 그래픽 표현이 타겟 부위 모델(352)을 기준으로 결정된 위치에 출력됨으로써, 전자 장치는 의료 단면 이미지가 생성된 단면을 나타내는 지점을 사용자에게 직관적으로 안내할 수 있다.
참고로, 본 명세서에서 설명의 편의상 타겟 부위가 머리 하나인 예시를 주로 설명하지만, 이로 한정하는 것은 아니다. 예를 들어, 타겟 부위는 머리 외의 환자(390)의 다른 신체 부위일 수도 있다. 복수의 타겟 부위들이 수술 대상인 경우, 전자 장치는 복수의 타겟 부위들에 대한 의료 영상들(351)을 서버에 요청 및 수신할 수도 있다. 전자 장치는 타겟 부위 별로 타겟 부위 모델(352)을 생성 및/또는 획득할 수도 있다. 전자 장치는, 복수의 타겟 부위 모델들을 획득한 경우, 사용자의 제어(예: 입력 및/또는 제스쳐)에 응답하여 디스플레이(320)에 출력할 타겟 부위 및 타겟 부위 모델(352)을 전환할 수도 있다.
도 4는 일 실시예에 따른 사용자의 조작 부위의 검출을 도시한 도면이다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(100))는 비전 센서(410)를 이용하여 사용자의 조작 부위(480)의 위치, 형태, 또는 자세 중 적어도 하나를 검출할 수 있다.
전자 장치는 비전 센서(410)를 이용하여 사용자의 조작 부위(480)를 검출할 수 있다. 예를 들어, 전자 장치는 비전 센서(410)의 캡쳐를 통해 센싱 데이터를 획득할 수 있다. 전자 장치는 센싱 데이터에 기초하여 조작 부위(480)를 검출할 수 있다. 전자 장치는 예시적으로 카메라 센서와 라이다 센서를 포함하는 비전 센서(410)를 통해 수술실 내 환자(490)의 위치 정보(예: 환자(490)의 타겟 부위가 위치된 좌표)와 의료진(예: 사용자)의 손 위치(예: 수술실 내 조작 부위(480)가 위치된 좌표)를 인식할 수 있다. 전자 장치는 센싱 데이터의 분석(예: 이미지 분석)에 기초하여 조작 부위(480)의 자세로서, 조작 부위(480)의 방향(예: 손바닥 방향) 및 조작 부위(480)의 평면(예: 손바닥 평면)을 식별할 수 있다. 전자 장치는 센싱 데이터의 분석에 기초하여 조작 부위(480)의 형태(예: 주먹 형태, 펼친 형태)도 식별할 수 있다.
전자 장치는 전술한 조작 부위(480)의 위치, 형태, 또는 자세 중 적어도 하나 또는 둘 이상의 조합에 기초하여 사용자의 제스쳐를 식별할 수 있다. 전자 장치는 예시적으로 의료진의 손의 위치에 기초하여 지시자 그래픽 표현(예: 화면에서 단면의 위치를 나타내는 포인터)의 디스플레이 내 출력 위치를 결정할 수 있다. 또한, 전자 장치는 손바닥 방향에 따라 해당하는 손의 위치에서 타겟 부위를 슬라이스할 평면을 결정할 수 있다. 지시자 그래픽 표현의 표시 및 타겟 평면의 결정은 하기 도 5 및 도 6에서 설명한다.
도 5는 일 실시예에 따른 조작 부위의 검출에 기초한 의료 단면 이미지의 출력을 도시한다.
예를 들어, 조작 부위는 사용자(예: 의료진)의 손(580)을 포함할 수 있다. 전자 장치는 손(580)의 위치(581) 및 손(580)의 손바닥 방향을 인식할 수 있다. 도 4에서 전술한 바와 같이, 전자 장치는 비전 센서의 센싱 데이터에 기초하여 타겟 부위(585) 대비 손(580)의 위치(581) 및 손바닥 방향을 식별할 수 있다.
전자 장치는 환자(590)의 의료 영상들 중 사용자의 손(580) 위치에 해당되는 의료 영상을 불러올 수 있다. 전자 장치는 환자(590)의 수술 부위(예: 타겟 부위(585)) 중 사용자의 손(580)이 위치한 지점(예: 타겟 지점)의 의료 정보(예: 의료 영상으로서 의료 단면 이미지(559))를 서버(예: 의료기관의 정보 시스템)에게 요청하여 수신할 수 있다.
전자 장치는 타겟 지점의 의료 정보 중 사용자의 제스쳐에 의해 요청된 정보(예: 의료 단면 이미지(559)) 및/또는 요청된 정보의 생성을 위해 요구되는 정보(예: 의료 단면 이미지(559)의 생성을 위해 필요한 의료 영상들)를 선택할 수도 있다. 일 실시예에 따르면, 전자 장치는 타겟 부위(585) 중 손(580)의 위치(581)에 대응하는 타겟 지점에서 손바닥 방향에 대응하는 타겟 평면을 결정할 수 있다. 타겟 지점은 환자(590)의 타겟 부위(585)(예: 환부) 내의 지점일 수 있다. 예를 들어, 전자 장치는 타겟 평면(예: 축면(axial plane), 관상면(coronal plane ), 및 시상면(sagittal plane) 중 한 평면)의 의료 단면 이미지(559)들을 서버 및/또는 메모리로부터 수집할 수 있다. 전자 장치는 타겟 평면의 의료 단면 이미지(559)들 중 타겟 지점에 대응하는 의료 단면 이미지(559)를 선택할 수 있다. 다른 예를 들어, 전자 장치는 타겟 지점에 대응하는 의료 단면 이미지(559)들을 수집하고, 수집된 의료 단면 이미지(559)들 중 타겟 평면에 대응하는 의료 단면 이미지(559)를 선택할 수도 있다. 전자 장치는 타겟 부위(585)를 슬라이스할 수 있다. 전자 장치는 타겟 부위(585)를 슬라이스한 단면에 대응하는 의료 영상(예: 의료 단면 이미지(559))를 서버의 데이터베이스 및/또는 내부 메모리로부터 불러올 수 있다. 다만, 이로 한정하는 것은 아니고, 전자 장치는 타겟 부위(585)를 슬라이스한 단면에 대응하는 의료 단면 이미지(559)를 기존 의료 영상들에 기초하여 생성할 수도 있다. 전자 장치는 타겟 평면이 결정되는 것에 기초하여, 타겟 지점과 타겟 부위(585)의 다른 나머지 지점들에 대해서도 타겟 평면에 대응하는 의료 단면 이미지(559)를 불러오거나 생성할 수 있다.
전자 장치는 결정된 타겟 평면의 의료 단면 이미지(559)를 디스플레이를 통해 출력할 수 있다. 하기 도 7에서 후술하겠으나, 타겟 지점이 이동되면, 전자 장치는 수집된 의료 단면 이미지(559)들 중 이동된 타겟 지점에 대응하는 의료 단면 이미지(559)를 표시할 수도 있다. 예시적으로, 의료진의 손바닥 평면이 축면에 평행하는 경우, 전자 장치는 축면에 해당되는 이미지들을 추출할 수 있다. 타겟 평면에 대해 추출된 의료 단면 이미지(559)들은 타겟 부위(585) 내에서 지점 별로 구분될 수 있다. 지점 별 의료 단면 이미지(559)는 공간적 프레임 이미지라고도 나타낼 수 있다. 전자 장치는 의료 단면 이미지(559)들의 공간적 프레임을 타겟 부위(585)의 지점들에 동기화할 수 있다. 전자 장치는 의료진 손(580)의 이동에 따라 타겟 지점이 변경되는 경우, 변경된 타겟 지점에 대응하는 공간적 프레임의 의료 단면 이미지(559)를 즉각적으로 디스플레이에 출력할 수 있다.
또한, 전자 장치는 결정된 타겟 평면에 대응하는 바 객체(bar object)를 타겟 부위 모델의 주변에서 출력할 수 있다. 바 객체는 타겟 부위(585)에서 한 해부학적 평면이 생성될 수 있는 공간적인 범위를 나타낼 수 있다. 바 객체는 타겟 평면에 수직하는 방향에 대응하는 축을 나타내기 위한 객체일 수 있다. 따라서, 전자 장치는 바 객체를 통해 사용자에게 타겟 부위(585)를 기준으로 조작 부위의 공간적 이동을 유도할 수 있다. 지시자 그래픽 표현(553)은 바 객체에서 타겟 부위 중 타겟 지점에 대응하는 위치에 배치될 수 있다. 도 5에서는 타겟 평면이 축면인 예시가 도시되며, 바 객체는 축면에 수직하는 방향에 대응하는 축(예: x축)을 나타낼 수 있다.
따라서, 전자 장치는 수술 부위에서 환자(590)의 신체(예: 타겟 부위(585)) 대비 상대적인 손(580)의 위치(581)와 손바닥의 방향을 인식할 수 있다. 전자 장치는 디스플레이의 3차원 모델링(예: 타겟 부위 모델(552))에 전술한 손(580)의 위치(581)를 지시하는 포인터(예: 지시자 그래픽 표현(553))를 맵핑하여 출력하고, 사용자의 제스쳐에 응답하여 제어할 수 있다. 전자 장치는 지시자 그래픽 표현(553)의 위치에 해당하는 의료 단면 이미지(559)를 표시함으로써, 사용자에게 직관적인 의료 단면 이미지(559)를 제공할 수 있다.
도 6은 일 실시예에 따른 의료 단면 이미지에 대응하는 단면을 나타내는 타겟 평면을 결정하는 동작을 설명한다.
일 실시예에 따른 전자 장치는 사용자의 손(680)의 손바닥 방향(682)에 수직하는 손바닥의 면을 확장함으로써 생성된 가상의 평면을 타겟 평면(681)으로 결정할 수 있다. 손바닥 방향(682)은 사용자의 손바닥이 향하는 방향을 나타낼 수 있다. 전자 장치는 타겟 부위에서 타겟 평면(681)이 통과하는 단면을 결정할 수 있다. 전자 장치는 결정된 단면에 대응하는 의료 단면 이미지(620)를 획득할 수 있다. 예를 들어, 전자 장치는 타겟 지점에서 결정된 단면에 대응하는 의료 단면 이미지(620)가 이미 존재하는 경우, 서버 및/또는 메모리로부터 불러올 수 있다. 전자 장치는 조작 부위의 자세에 기초하여 결정된 타겟 평면(681)에 대응하는 의료 단면 이미지 셋트(예: 파일 묶음)를 불러오거나 생성할 수 있다. 다른 예를 들어, 전자 장치는 타겟 지점에서 결정된 단면에 대응하는 의료 단면 이미지(620)에 억세스할 수 없는 경우, 해당하는 단면의 의료 단면 이미지(620)를 하나 이상의 의료 영상을 이용하여 합성 및/또는 생성할 수 있다.
전자 장치는 타겟 평면(681)이 환자의 타겟 부위를 통과하는 단면에 대응하는 의료 단면 이미지(620)를 디스플레이를 통해 출력할 수 있다. 전자 장치는 타겟 부위 모델을 슬라이스하는 평면 형상의 지시자 그래픽 표현(652)을 타겟 부위 모델과 함께 출력할 수 있다. 따라서, 전자 장치는 사용자에게 타겟 부위에서 슬라이스된 단면을 직관적으로 안내할 수 있다.
전자 장치는 캡쳐된 데이터에 기초하여 손바닥의 회전을 검출하는 것에 기초하여 타겟 평면(681)을 회전시킬 수 있다. 전자 장치는 회전된 타겟 평면(681)으로 타겟 부위를 슬라이스한 의료 단면 이미지(620)를 획득할 수 있다. 전자 장치는 디스플레이에 출력된 의료 단면 이미지(620)를 회전된 타겟 평면(681)이 타겟 부위를 통과하는 단면에 관한 의료 단면 이미지(620)로 변경할 수 있다. 따라서, 전자 장치는 축면(axial plane), 관상면(coronal plane ), 및 시상면(sagittal plane)으로도 타겟 부위를 슬라이스할 수도 있고, 더 나아가, 사용자의 제스쳐(예: 손바닥 평면)에 의해 커스터마이징된 평면으로 타겟 부위를 슬라이스한 의료 단면 이미지(620)를 자유롭게 제공할 수 있다.
전자 장치는 CT 및 MRI 등 3개 이상의 축 또는 평면으로 표현 가능한 의료 영상의 표시를 사용자의 제스쳐에 응답하여 직관적으로 제어할 수 있다. 전자 장치는 수술 전 환자 상태 확인 시 사용자에게 비접촉 컨트롤을 제공함으로써 접촉을 통한 오염을 방지 및/또는 감소시킬 수 있다.
도 7은 일 실시예에 따른 타겟 부위 중 의료 단면 이미지가 생성되는 타겟 지점을 이동시키는 동작을 도시한다.
일 실시예에 따른 전자 장치(예: 전자 장치(100))는 캡쳐된 데이터를 이용하여 조작 부위(780)의 이동을 검출하는 것에 기초하여, 지시자 그래픽 표현을 이동시킬 수 있다. 전자 장치는 디스플레이에 출력된 의료 단면 이미지를 조작 부위(780)의 이동된 위치에 대응하는 타겟 지점의 의료 단면 이미지로 변경할 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 전자 장치는 제1 타겟 지점에서 제1 의료 단면 이미지(741)를 출력할 수 있다. 전자 장치는 조작 부위(780)(예: 손)가 제1 방향(예: 도 7의 좌측 방향)으로 이동하는 경우, 제1 타겟 지점을 기준으로 제1 방향에 위치된 제2 타겟 지점에 대응하는 제2 의료 단면 이미지(742)를 출력할 수 있다. 전자 장치는 조작 부위(780)가 제1 방향에 반대되는 제2 방향(예: 도 7의 우측 방향)으로 이동하는 경우, 제1 타겟 지점을 기준으로 제2 방향에 위치된 제3 타겟 지점에 대응하는 제3 의료 단면 이미지(743)를 출력할 수 있다. 결정된 타겟 평면에 따라 조작 부위(780)의 이동 축이 달라질 수 있는데, 이는 하기 도 8에서 설명한다.
따라서, 전자 장치는 손의 이동에 따라 제어 포인터도 이동하고 이동한 위치에 해당하는 의료 단면 이미지도 바꾸어 화면에 표시할 수 있다. 전자 장치는 의료 단명 이미지를 손 제스처를 이용하여 공간적 프레임을 이동하며 직관적으로 탐색할 수 있다.
도 8은 일 실시예에 따른 타겟 평면 별로 타겟 지점의 이동을 도시한다.
일 실시예에 따른 전자 장치는 손바닥 방향에 기초하여, 타겟 평면을 축면(axial plane), 관상면(coronal plane), 및 시상면(sagittal plane) 중 하나로 결정할 수 있다. 축면은 수평면(horizontal plane) 또는 횡단면(transverse plane)이라고도 나타낼 수 있다. 전자 장치는 손바닥 평면과 각 해부학적 평면 간의 각도 차이에 기초하여 타겟 평면을 결정할 수도 있다.
예를 들어, 전자 장치는 손바닥 방향에 수직하는 평면과 축면 간의 각도 차이가 임계 각도 미만인 것에 기초하여, 타겟 평면을 축면으로 결정할 수 있다. 전자 장치는 타겟 평면이 축면인 것에 기초하여, 축면에 수직하는 축으로 단면의 이동 가능 방향 및 이동 가능 범위를 제시할 수 있다. 전자 장치는 손바닥 방향이 대상 환자를 기준으로 축면에 수직하는 것에 기초하여, 축면에 대응하는 의료 단면 이미지를 출력할 수 있다.
다른 예를 들어, 전자 자치는 손바닥 방향에 수직하는 평면과 관상면 간의 각도 차이가 임계 각도 미만인 것에 기초하여, 타겟 평면을 관상면으로 결정할 수 있다. 전자 장치는 타겟 평면이 관상면인 것에 기초하여, 관상면에 수직하는 축으로 단면의 이동 가능 방향 및 이동 가능 범위를 제시할 수 있다. 전자 장치는 손바닥 방향이 대상 환자를 기준으로 관상면에 수직하는 것에 기초하여, 관상면에 대응하는 의료 단면 이미지를 출력할 수 있다.
또 다른 예를 들어, 전자 장치는 손바닥 방향에 수직하는 평면과 시상면 간의 각도 차이가 임계 각도 미만인 것에 기초하여, 타겟 평면을 시상면으로 결정할 수 있다. 전자 장치는 타겟 평면이 시상면인 것에 기초하여, 시상면에 수직하는 축으로 단면의 이동 가능 방향 및 이동 가능 범위를 제시할 수 있다. 전자 장치는 손바닥 방향이 대상 환자를 기준으로 시상면에 수직하는 것에 기초하여, 시상면에 대응하는 의료 단면 이미지를 출력할 수 있다.
따라서, 전자 장치는 손바닥의 방향에 따라서 해부학적 평면들 중 해당되는 단면의 이미지를 디스플레이의 화면에 표시할 수 있다. 전자 장치는 의료 정보가 표시되는 디스플레이에서 MRI, CT등의 의료 영상을 출력할 수 있다. 전자 장치는 의료진의 손바닥 방향에 따라 의료영상정보의 단면 방향(axial, coronal, sagittal)을 선택할 수 있다. 전자 장치는 선택된 축과 단면을 기준으로 의료진의 손바닥 움직임(예: 좌우, 앞뒤, 위아래 움직임)에 따라 의료영상의 이미지 단면의 공간적 전후 프레임을 이동시킬 수 있다.
도 8에서 두미축(cranio-caudal axis)은 y축, 전후축(antero-posterior axis)은 z축, 좌우축(left-right axis)은 x축으로 도시된다. 축면은 xz 평면, 시상면은 yz 평면, 관상면은 xy 평면으로 나타낼 수 있다. 전자 장치는 타겟 평면이 축면인 경우, 축면에 수직한 y축에 대응하는 바 객체 상에 지시자 그래픽 표현(851)을 출력할 수 있다. 전자 장치는 y축을 따른 손 움직임(881)(예: 좌우 움직임)에 응답하여 타겟 지점을 변경하고 변경된 타겟 지점에 대응하는 의료 단면 이미지(841)를 제공할 수 있다. 전자 장치는 타겟 평면이 시상면인 경우, 시상면에 수직한 x축에 대응하는 바 객체 상에 지시자 그래픽 표현(852)을 출력할 수 있다. 전자 장치는 x축을 따른 손 움직임(882)(앞뒤 움직임)에 응답하여 타겟 지점을 변경하고, 변경된 타겟 지점에 대응하는 의료 단면 이미지를 제공할 수 있다. 전자 장치는 타겟 평면이 관상면인 경우, 관상면에 수직한 z축에 대응하는 바 객체 상에 그래픽 표현(853)을 출력할 수 있다. 전자 장치는 z축을 따른 손 움직임(예: 위아래 움직임)에 응답하여 타겟 지점을 변경하고, 변경된 타겟 지점에 대응하는 의료 단면 이미지를 제공할 수 있다.
전자 장치는 3D 모델링 이미지(예: 타겟 부위 모델)과 비전 센서를 통해 인식되는 실제 환자의 환부(예: 타겟 부위)를 비교할 수 있다. 전자 장치는 손의 위치가 3D 모델링 이미지 상에서 어느 위치인지를 계산할 수 있다. 예시적으로, 전자 장치는 3D모델링 이미지의 길이와 실제 침대에 누워있는 환자의 타겟 부위의 길이를 비교할 수 있다. 전자 장치는 전술한 길이 비교 결과에 기초하여 손의 위치가 환자의 환부의 길이 축 위에서 어느 지점에 위치하는 지를 계산할 수 있다. 전자 장치는 3D 모델링 이미지 위에서 손의 위치 지점에 대응하는 길이 비율을 결정할 수 있다. 전자 장치는 결정된 위치를 기반으로 3D 모델링에 포인터가 위치한 지점의 의료 단면 이미지를 화면에 함께 표시할 수 있다. 또한, 전자 장치는 환자의 수술 부위, 의료진의 손 위치, 손바닥의 방향을 3D모델링에 매핑하여 출력할 수도 있다.
도 9는 일 실시예에 따른 디스플레이에 출력된 의료 단면 이미지의 시간을 제스쳐에 기초하여 변경하는 동작을 설명한다.
일 실시예에 따른 전자 장치는 캡쳐된 데이터에 기초하여 조작 부위가 미리 결정된 제스쳐를 수행하는 것으로 판별되는 것에 기초하여, 타겟 부위 상의 타겟 지점 또는 타겟 평면 중 적어도 하나를 고정할 수 있다. 예를 들어, 도 9에 도시된 바와 같이, 전자 장치는 타겟 지점에서 주먹을 쥐는 제스쳐(991)를 검출할 수 있다. 전자 장치는 타겟 지점의 의료 단면 이미지(941)를 출력할 수 있다. 전자 장치는 타겟 지점의 공간적 프레임(예: 타겟 부위의 위치에 대응하는 프레임)을 고정할 수 있다. 공간적 프레임에 대응하는 탐색 바(960)는 고정될 수 있다. 전자 장치는 미리 결정된 제스쳐를 검출한 경우, 시간적 프레임에 대한 탐색 바를 제공할 수 있다. 도 9에서는 시간적 지점(예: 제1 시점(951))이 표시된다.
전자 장치는 타겟 지점 및 타겟 평면이 고정된 동안 조작 부위의 이동을 검출하는 것에 기초하여, 디스플레이에 출력된 의료 단면 이미지를 다른 시점의 의료 단면 이미지로 변경할 수 있다. 조작 부위는 손일 수 있다. 전자 장치는 손에서 펼쳐진 손가락의 개수를 식별할 수 있다. 전자 장치는 식별된 손가락의 개수에 기초하여 결정된 속도로 디스플레이에 출력된 의료 단면 이미지의 시간을 변경할 수 있다. 전자 장치는 해당 타겟 지점에서 다른 시점의 의료 단면 이미지로 시간 프레임을 변경할 수 있다. 예를 들어, 도 9에 도시된 바와 같이, 전자 장치는 주먹을 쥔 제스쳐(991)에서는 손이 이동하더라도 시간적 프레임을 고정할 수 있다. 전자 장치는 손가락을 편 제스쳐들(992, 993)을 검출하고, 손이 이동하는 경우 시간적 프레임을 이동시킬 수 있다.
전자 장치는 펼쳐진 손가락의 개수가 증가하면, 의료 단면 이미지의 시간 변경 속도를 증가시킬 수 있다. 전자 장치는 펼쳐진 손가락의 개수가 감소하면, 의료 단면 이미지의 시간 변경 속도를 감소시킬 수 있다. 도 9에 도시된 바와 같이, 전자 장치는 펼쳐진 손가락의 개수가 제1 개수(예: 1개)인 제스쳐(992)인 경우, 제1 속도로 시간적 프레임을 변경할 수 있다. 전자 장치는 제1 시점과 다른 제2 시점(952)(예: 나중 시점)의 의료 단면 이미지를 제공할 수 있다. 전자 장치는 펼쳐진 손가락의 개수가 제2 개수(예: 2개)인 제스쳐(993)인 경우, 제2 속도로 시간적 프레임을 변경할 수 있다. 전자 장치는 제2 시점(952)보다 제1 시점(951)으로부터 더 먼 제3 시점(953)의 의료 단면 이미지를 제공할 수 있다.
전자 장치는 대형 화면에서 비접촉 방식인 제스처로 포인터의 이동속도나 이동거리를 편하게 제어할 수 있다. 전자 장치는 데이터 베이스에 저장된 의료 영상 데이터를 탐색할 때 대용량의 영상을 빠른 속도로 스크롤할 수 있다. 전자 장치는 필요한 구간을 찾기 위해 비접촉 방식인 제스처로 영상을 제어하고 원하는 이동속도와 이동거리를 제어하여 편리하게 영상을 탐색할 수 있다. 전자 장치는 스크롤링을 활성화시키기 위해 사용자의 요청으로 제스처 인식을 시작할 수 있다. 전자 장치는 카메라를 통해 손가락 모양을 인식할 수 있다. 전자 장치는 손 제스처의 모양(주먹 및 펼쳐진 손가락의 수)에 따라 기존의 위치정보에 대한 변위 값에 가중치를 부여할 수 있다. 전자 장치는 결정된 수에 따라 포인터 이동속도를 결정할 수 있다. 손가락의 개수가 많을수록 이동속도가 증가될 수 있다. 전자 장치는 손가락 모양을 인지하고, 제스처 이동을 인지할 수 있다.
전자 장치는 포인터의 이동을 조절할 수 있다. 전자 장치는 의료기관의 정보 시스템으로부터 의료영상 정보를 획득할 수 있다. 전자 장치는 예를 들어, CT나 MRI의 경우 2D이미지를 프레임으로 구성하여 영상 클립(Movie clip)으로 재구성할 수 있다. 전자 장치는 의료영상 정보를 네트워크를 통해 의료정보 통합화면으로 불러와 저장하고 분석할 수 있다. 전자 장치는 영상 프레임의 이동속도를 조절할 수 있다.
전자 장치는 비접촉 방식인 제스처로 의료 영상을 화면에서 제어할 때, 펼쳐진 손가락의 개수에 따라 재생속도를 결정할 수 있다. 전자 장치는 펼쳐진 손가락으로 좌우로 이동할 시 앞으로 감기와 뒤로 감기의 이동속도가 달라질 수 있다. 전자 장치는 사용자의 요청(마우스오버를 길게 하거나 주먹을 쥐었다 펴는 등)에 응답하여 제스처 인식을 개시할 수 있다. 전자 장치는 카메라를 통해 손가락 모양을 인식할 수 있다. 전자 장치는 획득된 손 이미지를 분석하여, 포인터의 이동속도의 가중치를 결정할 수 있다. 전자 장치는 모션 제스처(예: 조작 부위에 의한 제스쳐)에 의해 결정된 이동 거리에 따라 가중치를 적용하여 포인터의 이동 속도를 제어할 수 있다. 전자 장치는 사용자가 행하는 펼쳐진 손가락의 수와 모션 속도에 따라 포인터의 이동 속도를 조절할 수 있다.
따라서, 전자 장치는 대용량의 의료영상 데이터를 손가락 제스처 기반으로 시간적 프레임에서 다양한 속도로 의료영상을 탐색하여 원하는 구간으로 빠르게 이동할 수 있다. 전자 장치는 사용자에게 의료영상 제어에 인지적으로 직관적이고 효율적인 편리함을 제공할 수 있다. 전자 장치는 대형 의료 정보 화면에서의 컨텐츠 선택과 제어 등을 위한 포인터의 원격 컨트롤 시 불편한 포인터 컨트롤 방법을 개선함으로써 더 적은 움직임으로 의료 디스플레이 장치에서 원하는 작업을 의료진들이 할 수 있도록 보조할 수 있다. 전자 장치는 기 저장된 영상데이터를 복기할 때 불필요한 부분들을 빠르게 건너뛰거나 재생속도를 조절할 수 있다. 전자 장치는 영상 탐색의 시간을 줄이고 원하는 영상 구간으로 이동 시 편의를 제공할 수 있다. 사용자는 불필요한 영상들을 넘긴 후 필요한 공간적 및/또는 시간적 구간에 도달하면 영상 컨트롤 모드를 벗어나기 위해 주먹을 쥐었다가 펼 수 있다. 전자 장치는, 영상을 원하는 구간으로 이동한 후, 시간적 프레임의 이동 속도의 제스처 컨트롤을 비활성화시킴으로써, 수술에 필요한 정보를 화면에 유지할 수 있다.
다만, 손가락 개수에 따라서 시간적 프레임의 이동 속도만 변경하는 것으로 한정하는 것은 아니며, 손가락 개수에 따른 공간적 프레임의 이동 속도 변경을 하기에서 설명한다.
도 10는 일 실시예에 따른 디스플레이에 출력된 의료 단면 이미지의 공간 이동의 배율을 제스쳐에 기초하여 변경하는 동작을 설명한다.
일 실시예에 따른 전자 장치는 특정 제스쳐를 검출하는 경우, 공간적 프레임의 이동 속도를 조절하는 동작을 개시할 수 있다. 예를 들어, 전자 장치는 주먹을 쥐는 제스쳐가 임계 시간 미만으로 검출되는 경우, 후술하는 공간적 프레임에서의 이동 속도 변경을 수행할 수 있다. 손바닥 상태(1099)에서 주먹 상태(1091)를 스킵하고 손가락 상태로 진행하는 경우, 주먹을 쥐는 제스쳐가 유지된 시간이 0초로 간주될 수 있다. 참고로, 전자 장치는 주먹을 쥐는 제스쳐를 임계 시간(예: 2초) 이상 검출하는 경우 도 9에서 전술한 시간적 프레임에서의 이동 속도 변경을 수행할 수 있다. 다만, 이로 한정하는 것은 아니고, 전자 장치는 도 9의 시간적 프레임에서의 이동 속도 변경 동작으로의 진입과 도 10의 공간적 프레임에서의 이동 속도 변경 동작으로의 진입을 제스쳐의 형태, 제스쳐의 유지 시간 등에 따라 구분하여 선택할 수 있다.
우선, 전자 장치는 손바닥이 펼쳐진 상태에서는 도 5 내지 도 8에서 전술한 바와 같이 타겟 지점을 결정하고, 타겟 지점에서 신체 부위를 슬라이스할 타겟 평면을 결정할 수 있다. 전자 장치는 손바닥 상태(1099)에서 손가락 상태로 전환하는 제스쳐를 검출하는 것에 기초하여, 전술한 타겟 평면의 회전 동작을 중단할 수 있다. 손가락 상태는 손가락이 1개 이상 4개 이하로 펼쳐진 상태를 나타낼 수 있다. 손바닥 상태(1099)는 손가락 5개를 모두 펼친 상태를 나타낼 수 있다.
이후, 전자 장치는 공간적 프레임의 이동 속도를 변경하는 동작을 개시할 수 있다. 전자 장치는 손바닥 상태(1099)에서 손가락 상태로 전환하는 시점에 결정된 타겟 평면을 유지한 채, 손의 이동에 따라 타겟 지점만 이동시킬 수 있다. 예를 들어, 전자 장치는 상기 펼쳐진 손가락의 개수가 증가하면, 상기 의료 단면 이미지의 공간적 이동 속도를 증가시킬 수 있다. 전자 장치는 상기 펼쳐진 손가락의 개수가 감소하면, 상기 의료 단면 이미지의 공간적 이동 속도를 감소시킬 수 있다. 예를 들어, 전자 장치는 머리의 축면에 대응하는 단면 영상(1041)을 제공하는 동안 사용자의 손가락이 1개 펼쳐진 상태(1092)를 검출하는 경우, 공간적 프레임의 이동을 개시할 수 있다. 전자 장치는 손바닥 상태(1099)보다 1개 펼쳐진 상태(1092)에 대응하는 배율의 이동 속도(예: 1배 속도)로 타겟 지점을 이동시킬 수 있다. 전자 장치는 손가락이 2개인 상태(1093)를 검출하는 경우, 그에 대응하는 이동 속도(예: 2배 속도)로 타겟 지점을 이동시킬 수 있다. 공간적 탐색 바에서는 타겟 지점에 대응하는 지시자가 제1 지점(1061)으로부터 제2 지점(1062)을 거쳐 제3 지점(1063)으로 이동될 수 있다. 반면, 시간적 탐색 바(1050)의 지시자 그래픽 표현은 고정될 수 있다. 전자 장치는 이동된 타겟 지점에서 축면에 대응하는 단면 영상(1041)을 제공할 수 있다. 따라서, 전자 장치는 사용자에게 손가락의 개수에 따라 환자의 신체 부위에 대한 공간적인 탐색 속도를 조절하는 기능을 제공할 수 있다.
전자 장치는 공간적 프레임의 이동 속도를 동적으로 조절할 수도 있다. 예를 들어, 전자 장치는 제1 개수의 손가락을 펼친 상태에서는 제1 속도로 공간적 탐색을 수행하다가, 제2 개수의 손가락을 검출하는 경우 제2 속도로 공간적 탐색을 수행할 수 있다. 제2 개수가 제1 개수보다 큰 경우, 제2 속도는 제1 속도보다 빠를 수 있다. 반대로, 제2 개수가 제1 개수보다 작은 경우, 제2 속도는 제1 속도보다 느릴 수 있다. 다만, 이로 한정하는 것은 아니고, 설계에 따라 손가락의 개수와 공간적 탐색의 이동 속도가 반비례로 매핑될 수도 있다.
전자 장치는 공간적 프레임의 이동 속도를 변경하는 모드로 동작하는 동안, 사용자의 손바닥을 펼치는 제스쳐를 검출하는 경우, 공간적 프레임의 이동 속도를 변경하는 동작을 종료할 수 있다. 전자 장치는 도 1 내지 도 8에서 설명했던 타겟 지점 및 타겟 평면을 변경하는 동작을 재개할 수 있다. 이 때, 전자 장치는 타겟 지점을 다시 사용자의 손바닥이 물리적으로 가리키는 지점으로 초기화 및/또는 복귀시킬 수 있다. 도 10에 도시된 예시에서, 공간적 탐색 바 상의 지시자 그래픽 표현이 공간적 탐색에 따라 제1 지점(1061)으로부터 제3 지점(1063)까지 이동했다가, 공간적 탐색 종료에 따라 제1 지점(1061)으로 복귀하는 것이 도시된다.
따라서, 전자 장치는 시간적 프레임 및/또는 공간적 프레임에서의 이동 속도 변경 기능을 제공하면서도, 기능이 종료되더라도 사용자의 제스쳐가 지시하는 물리적인 지점으로 타겟 지점을 복귀시킴으로써, 보다 직관적인 제어를 제공할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (17)

  1. 전자 장치에 있어서,
    환자의 타겟 부위에 관한 의료 영상에 기초하여 결정된 타겟 부위 모델을 시각적으로 출력하는 디스플레이
    사용자의 신체에서 화면 제어(screen control)를 위한 조작 부위(manipulation part)를 캡쳐하는 비전 센서;
    컴퓨터로 실행 가능한 명령어들이 저장된 메모리; 및
    상기 메모리에 억세스(access)하여 상기 명령어들을 실행하는 프로세서
    를 포함하고,
    상기 명령어들은,
    상기 비전 센서에 의해 캡쳐된 데이터에 기초하여 상기 타겟 부위에 대한 상기 조작 부위의 위치(position) 및 자세(posture)를 인식하고,
    상기 조작 부위의 위치를 나타내는 지시자 그래픽 표현(indicator graphical representation)을 상기 타겟 부위 모델을 포함하는 영역 및 주변 영역 중 적어도 한 영역에서 출력하며,
    상기 타겟 부위에서 상기 조작 부위의 위치에 대응하는 지점에 대한, 상기 조작 부위의 자세에 대응하는 평면의, 의료 단면 이미지를 상기 타겟 부위 모델과 상기 지시자 그래픽 표현과 함께 출력하도록 설정된,
    전자 장치.
  2. 제1항에 있어서,
    상기 명령어들은,
    상기 캡쳐된 데이터를 이용하여 상기 조작 부위의 이동을 검출하는 것에 기초하여, 상기 지시자 그래픽 표현을 이동시키고,
    상기 디스플레이에 출력된 의료 단면 이미지를 상기 조작 부위의 이동된 위치에 대응하는 타겟 지점의 의료 단면 이미지로 변경하도록 설정된,
    전자 장치.
  3. 제1항에 있어서,
    상기 조작 부위는 손을 포함하고,
    상기 명령어들은,
    상기 손의 위치 및 상기 손의 손바닥 방향을 인식하며,
    상기 타겟 부위 중 상기 손의 위치에 대응하는 타겟 지점에서 상기 손바닥 방향에 대응하는 타겟 평면을 결정하고,
    결정된 타겟 평면의 의료 단면 이미지를 상기 디스플레이를 통해 출력하도록 설정된,
    전자 장치.
  4. 제3항에 있어서,
    상기 명령어들은,
    상기 손바닥 방향에 수직하는 상기 손바닥의 면을 확장함으로써 생성된 가상의 평면을 상기 타겟 평면으로 결정하고,
    상기 타겟 평면이 상기 환자의 상기 타겟 부위를 통과하는 단면에 대응하는 의료 단면 이미지를 상기 디스플레이를 통해 출력하도록 설정된,
    전자 장치.
  5. 제4항에 있어서,
    상기 명령어들은,
    상기 캡쳐된 데이터에 기초하여 상기 손바닥의 회전을 검출하는 것에 기초하여 상기 타겟 평면을 회전시키고,
    상기 디스플레이에 출력된 의료 단면 이미지를 상기 회전된 타겟 평면이 상기 타겟 부위를 통과하는 단면에 관한 의료 단면 이미지로 변경하도록 설정된,
    전자 장치.
  6. 제3항에 있어서,
    상기 명령어들은,
    상기 손바닥 방향에 기초하여, 상기 타겟 평면을 축면(axial plane), 관상면(coronal plane), 및 시상면(sagittal plane) 중 하나로 결정하도록 설정된,
    전자 장치.
  7. 제6항에 있어서,
    상기 명령어들은,
    상기 타겟 평면이 축면인 것에 기초하여, 상기 축면에 수직하는 축으로 단면의 이동 가능 방향 및 이동 가능 범위를 제시하고,
    상기 타겟 평면이 관상면인 것에 기초하여, 상기 관상면에 수직하는 축으로 단면의 이동 가능 방향 및 이동 가능 범위를 제시하며,
    상기 타겟 평면이 시상면인 것에 기초하여, 상기 시상면에 수직하는 축으로 단면의 이동 가능 방향 및 이동 가능 범위를 제시하도록 설정된,
    전자 장치.
  8. 제6항에 있어서,
    상기 명령어들은,
    상기 손바닥 방향이 대상 환자를 기준으로 축면에 수직하는 것에 기초하여, 상기 축면에 대응하는 의료 단면 이미지를 출력하고,
    상기 손바닥 방향이 상기 대상 환자를 기준으로 관상면에 수직하는 것에 기초하여, 상기 관상면에 대응하는 의료 단면 이미지를 출력하고,
    상기 손바닥 방향이 상기 대상 환자를 기준으로 시상면에 수직하는 것에 기초하여, 상기 시상면에 대응하는 의료 단면 이미지를 출력하도록 설정된,
    전자 장치.
  9. 제8항에 있어서,
    상기 명령어들은,
    상기 손바닥 방향에 수직하는 평면과 상기 축면 간의 각도 차이가 임계 각도 미만인 것에 기초하여, 상기 타겟 평면을 상기 축면으로 결정하고,
    상기 손바닥 방향에 수직하는 평면과 상기 관상면 간의 각도 차이가 임계 각도 미만인 것에 기초하여, 상기 타겟 평면을 상기 관상면으로 결정하고,
    상기 손바닥 방향에 수직하는 평면과 상기 시상면 간의 각도 차이가 임계 각도 미만인 것에 기초하여, 상기 타겟 평면을 상기 시상면으로 결정하도록 설정된,
    전자 장치.
  10. 제1항에 있어서,
    상기 명령어들은,
    상기 캡쳐된 데이터에 기초하여 상기 조작 부위가 미리 결정된 제스쳐를 수행하는 것으로 판별되는 것에 기초하여, 상기 타겟 부위 상의 타겟 지점 또는 타겟 평면 중 적어도 하나를 고정하도록 설정된,
    전자 장치.
  11. 제10항에 있어서,
    상기 명령어들은,
    상기 타겟 지점 및 상기 타겟 평면이 고정된 동안 상기 조작 부위의 이동을 검출하는 것에 기초하여, 상기 디스플레이에 출력된 의료 단면 이미지를 다른 시점의 의료 단면 이미지로 변경하도록 설정된,
    전자 장치.
  12. 제11항에 있어서,
    상기 조작 부위가 손이고,
    상기 명령어들은,
    상기 손에서 펼쳐진 손가락의 개수를 식별하고,
    식별된 손가락의 개수에 기초하여 결정된 속도로 상기 디스플레이에 출력된 의료 단면 이미지의 시간을 변경하도록 설정된,
    전자 장치.
  13. 제12항에 있어서,
    상기 명령어들은,
    펼쳐진 손가락의 개수가 증가하면, 상기 의료 단면 이미지의 시간 변경 속도를 증가시키고,
    상기 펼쳐진 손가락의 개수가 감소하면, 상기 의료 단면 이미지의 시간 변경 속도를 감소시키도록 설정된,
    전자 장치.
  14. 제1항에 있어서,
    상기 명령어들은,
    상기 펼쳐진 손가락의 개수가 증가하면, 상기 의료 단면 이미지의 공간적 이동 속도를 증가시키고,
    상기 펼쳐진 손가락의 개수가 감소하면, 상기 의료 단면 이미지의 공간적 이동 속도를 감소시키도록 설정된,
    전자 장치.
  15. 제1항에 있어서,
    상기 비전 센서는,
    카메라 센서, 레이더 센서, 라이다 센서, 초음파 센서, 또는 적외선 센서 중 적어도 하나를 포함하는,
    전자 장치.
  16. 프로세서로 구현되는 방법에 있어서,
    디스플레이를 통해 환자의 타겟 부위에 관한 의료 영상에 기초하여 결정된 타겟 부위 모델 을 시각적으로 출력하는 단계;
    비전 센서를 이용하여 사용자의 신체에서 화면 제어를 위한 조작 부위를 캡쳐하는 단계;
    상기 비전 센서에 의해 캡쳐된 데이터에 기초하여 상기 타겟 부위에 대한 상기 조작 부위의 위치 및 자세를 인식하는 단계;
    상기 조작 부위의 위치를 나타내는 지시자 그래픽 표현을 상기 타겟 부위 모델을 포함하는 영역 및 주변 영역 중 적어도 한 영역에서 출력하는 단계; 및
    상기 타겟 부위에서 상기 조작 부위의 위치에 대응하는 타겟 지점에 대한, 상기 조작 부위의 자세에 대응하는 평면의, 의료 단면 이미지를 상기 타겟 부위 모델과 상기 지시자 그래픽 표현과 함께 출력하는 단계
    를 포함하는 방법.
  17. 제16항의 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
PCT/KR2023/009480 2022-07-19 2023-07-05 의료 단면 이미지의 제공 방법 및 장치 WO2024019374A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0089155 2022-07-19
KR1020220089155A KR20240011560A (ko) 2022-07-19 2022-07-19 의료 단면 이미지의 제공 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2024019374A1 true WO2024019374A1 (ko) 2024-01-25

Family

ID=89618204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/009480 WO2024019374A1 (ko) 2022-07-19 2023-07-05 의료 단면 이미지의 제공 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20240011560A (ko)
WO (1) WO2024019374A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150133585A (ko) * 2014-05-20 2015-11-30 삼성전자주식회사 3차원 영상의 단면 탐색 시스템 및 방법
KR20160023015A (ko) * 2014-08-20 2016-03-03 울산대학교 산학협력단 의료영상의 제공방법
KR20210102658A (ko) * 2020-02-12 2021-08-20 중앙대학교 산학협력단 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템
KR20220064408A (ko) * 2019-09-24 2022-05-18 카네기 멜론 유니버시티 시공간 데이터에 기초하여 의료 이미지를 분석하기 위한 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150133585A (ko) * 2014-05-20 2015-11-30 삼성전자주식회사 3차원 영상의 단면 탐색 시스템 및 방법
KR20160023015A (ko) * 2014-08-20 2016-03-03 울산대학교 산학협력단 의료영상의 제공방법
KR20220064408A (ko) * 2019-09-24 2022-05-18 카네기 멜론 유니버시티 시공간 데이터에 기초하여 의료 이미지를 분석하기 위한 시스템 및 방법
KR20210102658A (ko) * 2020-02-12 2021-08-20 중앙대학교 산학협력단 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHEN, JUNCHEN ET AL.: "CUDA-based real-time hand gesture interaction and visualization for CT volume dataset using leap motion", THE VISUAL COMPUTER, 3 February 2016 (2016-02-03), pages 359 - 370, XP035876581, Retrieved from the Internet <URL:https:link.springer.com/article/10.1007/s00371-016-1209-0> [retrieved on 20230824], DOI: 10.1007/s00371-016-1209-0 *

Also Published As

Publication number Publication date
KR20240011560A (ko) 2024-01-26

Similar Documents

Publication Publication Date Title
JP6598617B2 (ja) 情報処理装置、情報処理方法およびプログラム
Gallo et al. Controller-free exploration of medical image data: Experiencing the Kinect
JP4286556B2 (ja) 画像表示装置
JP5782431B2 (ja) 空間動作システムと共に用いるための空間マルチモード制御デバイス
CN107430389A (zh) 超灵巧型系统用户界面
US20130249786A1 (en) Gesture-based control system
Lu et al. Immersive manipulation of virtual objects through glove-based hand gesture interaction
WO2015102167A1 (ko) 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템 및 방법
WO2017217725A1 (ko) 사용자 인식 컨텐츠 제공 시스템 및 그 동작방법
WO2016107231A1 (zh) 一种3d场景中输入手势的系统和方法
US20120019460A1 (en) Input method and input apparatus
JP2004246578A (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
Ye et al. Vishap: Augmented reality combining haptics and vision
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
US20230078919A1 (en) Extended reality systems for visualizing and controlling operating room equipment
WO2024019374A1 (ko) 의료 단면 이미지의 제공 방법 및 장치
O'Hagan et al. Visual gesture interfaces for virtual environments
Summers et al. Calibration for augmented reality experimental testbeds
JP6632298B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101414362B1 (ko) 영상인지 기반 공간 베젤 인터페이스 방법 및 장치
WO2015167081A1 (ko) 신체 부분 검출 방법 및 장치
WO2017026834A1 (ko) 반응형 영상 생성방법 및 생성프로그램
JP2002323956A (ja) マウス代替方法、マウス代替プログラム、および同プログラムを記録した記録媒体
JP2000276577A (ja) 画像感応型イベント発生装置
US11508121B2 (en) Method for annotating points on a hand image to create training dataset for machine learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23843225

Country of ref document: EP

Kind code of ref document: A1