WO2023177003A1 - 원격협진지원을 위한 3차원 포인팅시스템 및 그 제어방법 - Google Patents

원격협진지원을 위한 3차원 포인팅시스템 및 그 제어방법 Download PDF

Info

Publication number
WO2023177003A1
WO2023177003A1 PCT/KR2022/004045 KR2022004045W WO2023177003A1 WO 2023177003 A1 WO2023177003 A1 WO 2023177003A1 KR 2022004045 W KR2022004045 W KR 2022004045W WO 2023177003 A1 WO2023177003 A1 WO 2023177003A1
Authority
WO
WIPO (PCT)
Prior art keywords
hmd
surgeon
real
area
time
Prior art date
Application number
PCT/KR2022/004045
Other languages
English (en)
French (fr)
Inventor
김성훈
박소연
정윤상
Original Assignee
주식회사 메디씽큐
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디씽큐 filed Critical 주식회사 메디씽큐
Publication of WO2023177003A1 publication Critical patent/WO2023177003A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Definitions

  • the present invention relates to a three-dimensional pointing system for supporting remote collaborative consultation, which provides real-time images corresponding to the field of view of each camera installed at the actual surgery site to a remotely located collaborating surgeon, thereby providing the atmosphere of the actual surgery site and enabling collaborative consultation.
  • This relates to a 3D pointing system for remote collaborative support that can point in 3D to a specific location of real-time video for suggestion and sharing.
  • recorded surgical videos have various uses.
  • various medical information is added to surgical images, it has utility and asset value, so a system that can broker stable transactions is needed.
  • Patent Document 1 Korea Patent Publication No. 10-2020-0001266 (published on January 6, 2020)
  • the technical problem that the present invention aims to solve is to provide real-time images corresponding to the field of view of each camera installed at the actual surgery site to remotely located collaborating surgeons, providing the atmosphere of the actual surgical site, and providing real-time video for collaborative suggestion and sharing.
  • the aim is to provide a 3D pointing system and 3D pointing control method for remote collaborative support that can point to a specific location of an image in 3D.
  • a three-dimensional pointing system for remote collaborative support is worn by a surgeon at an actual surgery site, and the gaze area and surrounding area of the surgeon are photographed.
  • a first HMD including a camera and a display unit that outputs real-time images captured by the camera, worn by a collaborating surgeon located remotely from the surgeon, receives and outputs the real-time images, and receives and outputs the real-time images according to a received control signal.
  • a second HMD that generates a virtual line and a three-dimensional pointer in the real-time image, and a pointing moving means that generates a control signal corresponding to the position control of the medical doctor and moves the three-dimensional pointer in the depth direction along the virtual line.
  • a remote collaborative consultation support server that selects and displays the patient's affected segment area located at the shortest distance from the 3D pointer on the real-time images of the first HMD and the second HMD.
  • a specific direction signal perpendicular to the depth direction when a specific direction signal perpendicular to the depth direction is input, it may further include direction selection means for moving the selection mark to another affected area segment area adjacent to the specific direction with respect to the selected area.
  • the patient's affected area segment area may be statistically determined by learning the affected area image history of other patients with the same medical history as the patient's affected area.
  • the patient's affected segment area may be distinguished by reflecting the affected area identified through indocyanine green (ICG) staining.
  • ICG indocyanine green
  • the affected segment area of the patient may be divided into a plurality of sub-segments based on the arrangement structure of blood vessels for the affected area, the arrangement structure of other surrounding organs, and the depth difference between the affected area observed from the viewpoint of the surgeon and the collaborating surgeon. You can.
  • the camera of the first HMD may include a first camera that captures a gaze area of the surgeon and a second camera that captures a peripheral area.
  • the second HMD is in a fixed field of view mode that provides only real-time images corresponding to the shooting field of view of the first camera, or the shooting field of view of the first camera or the second camera corresponding to the direction of movement whenever the second HMD moves. It is possible to provide a view lock release mode that provides real-time video according to the user's needs.
  • the pointing means and direction selection means can control movement of the three-dimensional pointer in the fixed view mode.
  • the 3D pointing method for supporting remote collaborative surgery includes (a) a first HMD worn by a surgeon at an actual surgery site, capturing the gaze area and surrounding area of the surgeon and displaying the image; outputting a real-time image to the unit, (b) a second HMD worn by a collaborating surgeon located remotely from the surgeon, receiving and outputting the real-time image through a server, (c) a pointing moving means, Generating a control signal corresponding to the position control of the medical doctor and generating a virtual line and a three-dimensional pointer in the real-time image, (d) pointing moving means moving the three-dimensional pointer in a depth direction along the virtual line It may include the step of moving and (e) the server selecting and displaying the patient's affected segment area located at the shortest distance from the 3D pointer on the real-time images of the first HMD and the second HMD.
  • the server when the server inputs a specific direction signal perpendicular to the depth direction through the direction selection means, the server displays the selection mark to another lesion segment area adjacent to the specific direction with respect to the selected lesion segment area.
  • a moving step may be further included.
  • the patient's affected area segment area may be statistically determined by learning the affected area image history of other patients with the same medical history as the patient's affected area.
  • the patient's affected segment area may be distinguished by reflecting the affected area identified through indocyanine green (ICG) staining.
  • ICG indocyanine green
  • the affected segment area of the patient may be divided into a plurality of sub-segments based on the arrangement structure of blood vessels for the affected area, the arrangement structure of other surrounding organs, and the depth difference between the affected area observed from the viewpoint of the surgeon and the collaborating surgeon. You can.
  • the camera of the first HMD includes a first camera for photographing a gaze area of the surgeon and a second camera for photographing a surrounding area
  • the second HMD corresponds to the imaging field of view of the first camera.
  • a view fixation mode that provides only real-time images that are visible or a view lock release mode that provides real-time images according to the shooting field of view of the first or second camera corresponding to the direction of movement whenever the second HMD moves can be provided.
  • steps (c) to (f) may be performed in fixed-view mode.
  • the remote collaboration support system capable of tagging real-time surgical images supports remote collaboration during real-time surgery, and tags events such as collaboration suggestions that occur during real-time surgery to real-time images to store and utilize surgical images. there is.
  • information on the responsible party can be tagged in the real-time video depending on whether the surgeon accepts it, which can be used to determine who is responsible in the event of a medical accident.
  • the shooting field of view based on each camera at the actual surgery site is provided in a fixed field of view mode, adding to the feeling of augmented reality, and a field lock release mode is provided so that the collaborating surgeon can independently check the status of the surgery. It can be figured out.
  • the collaborating doctor can point in 3D to the patient's affected area, i.e., the inside of the body, that is needed during the collaborative examination, and the medical image of the affected area can be shared with the surgeon. You can share it.
  • optimal surgical images and tags can be provided according to the playback purpose of the user (surgeon, collaborating surgeon, assistant 1, assistant 2, and trainee), and the utilization of surgical images can be increased.
  • Figure 1 is a diagram for explaining the remote collaborative medical treatment support system of the present invention.
  • FIG. 2 is a block diagram for explaining the configuration of the HMD of FIG. 1.
  • FIG. 3 is a block diagram illustrating the configuration of the remote co-mediation support server of FIG. 1.
  • FIGS. 4 and 5 are diagrams for explaining remote collaboration of the second HMD of FIG. 1.
  • Figure 6 is a block diagram for explaining the configuration of a three-dimensional pointing system according to an embodiment of the present invention.
  • Figure 7 is a flowchart for explaining a 3D pointing control method according to an embodiment of the present invention.
  • Figure 8 is a diagram for explaining the control device of the second HMD according to the first embodiment of the present invention.
  • Figure 9 is a diagram for explaining a control device of a second HMD according to a second embodiment of the present invention.
  • FIG. 10 is a diagram for explaining a control device of a second HMD according to a third example of the present invention.
  • Figure 11 is a diagram for explaining tag section setting according to an embodiment of the present invention.
  • Figure 12 is a diagram for explaining a preview window for a collaborative consultation proposal according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a display screen of a first HMD that has received a collaborative consultation proposal according to an embodiment of the present invention.
  • Figure 14 is a diagram for explaining authentication according to proposal responsibility and proposal acceptance responsibility according to an embodiment of the present invention.
  • FIG. 15 is a block diagram for explaining the configuration of the video mediation server of FIG. 1.
  • Figure 16 is a diagram to explain the blockchain structure of the remote collaborative medical treatment support system.
  • ordinal expressions such as first, second, etc. are intended to describe objects that are equal and independent from each other, and the order includes main/sub or master/slave. It must be understood as meaningless.
  • the remote collaboration support system relates to a system that can support remote collaboration by a remotely located collaborating surgeon when a real-time surgery is performed by a surgeon at an actual surgery site.
  • the remote collaborative surgery support system of the present invention provides AR images corresponding to the actual surgical site based on real-time video in order to provide the atmosphere of the actual surgical site to remotely located collaborating doctors, and provides AR images corresponding to the actual surgical site for suggestions and sharing. It is also possible to configure a 3D pointing system capable of 3D pointing to a specific location.
  • the remote collaborative surgery support system of the present invention is for the use of surgical images tagged with videos captured during real-time surgery (utilization according to the purposes of surgeons, collaborating surgeons, and educators/trainees) and profit structure according to utilization. It may consist of a video brokerage system.
  • Figure 1 is a diagram for explaining the remote collaborative medical treatment support system of the present invention.
  • the remote collaborative consultation support system can be implemented with a first HMD (100) worn by the surgeon (10) and a second HMD (200) worn by a remotely located collaborative surgeon (20). It may include a collaborative examination support server (1000), DB (2000), AI-based recommendation server (3000), and video brokerage server (4000).
  • multiple cameras can be installed to film the surgery in real time and share the recorded video with a remotely located collaborating surgeon.
  • a CCTV (2) is installed at the actual surgery site (1), and a third HMD (100-1) is worn by a plurality of assistants (11, 12) to provide vivid 3D images of the actual surgery site (1).
  • a fourth HMD 300 worn by the patient 30, and a camera 400 installed on the ceiling of the surgical site 1 may be further included.
  • the camera 400 installed on the ceiling determines the initial location by specifying the coordinates for each object in the first real-time image captured, and the first HMD (100), the assistant 1 (11), and the assistant 1 (11) worn by the surgeon (10) during real-time surgery. Movement tracking can be performed by determining the location of the third HMD (100-1, 100-2) worn by Assistant 2 (12). In addition, the movement of all objects such as surgical tools captured by the ceiling camera 400 can be tracked.
  • FIG. 2 is a block diagram for explaining the configuration of the HMD of FIG. 1.
  • each HMD (100, 100-1, 100-2, 200, 300, and 500) may be equipped with a camera, display unit, input unit, control unit, and communication unit, and in addition, speakers, microphones, etc. There may be more available.
  • the images provided through the on/off or display unit of each component are applied differently depending on the wearer mode, which is set to surgeon mode, assistant mode, patient mode, education training mode, etc., for example, to the wearer. Necessary functions can be provided.
  • the HMD for each wearer may be composed of a separate HMD that provides only functions according to the corresponding mode.
  • the camera of the HMD may include a first camera provided in front of the HMD to capture a gaze area of the wearer, and a second camera provided on both sides of the HMD to capture an area surrounding the wearer.
  • the display unit displays images of the wearer's gaze area captured by cameras in the surgeon mode and assistant mode, and can receive and display real-time images from each camera captured at the actual surgery site in collaborative mode.
  • the patient mode can provide information as needed, and the educational training mode can display selected playback images.
  • the input unit may be an interface or a sensing unit that receives control signals for controlling the HMD and the displayed image, and the control unit controls the HMD according to the control signal received through the input unit, and connects to each external server through the communication unit.
  • FIG. 3 is a block diagram showing the configuration of the remote collaborative medical treatment support server 1000.
  • the remote collaborative medical examination support server 1000 may include a collaborative medical examination support unit 1100 and an image tagging unit 1200. At this time, each component may be composed of a separate module, server, etc.
  • remote collaboration support includes proposals for real-time surgery-related collaboration, determination of responsibility according to the proposal, image tagging of images captured in real time when various events occur, three-dimensional pointing control on displayed images, and utilization of surgical images including tags. and distribution of profits for utilization, etc.
  • the collaborative diagnosis support unit 1100 collects real-time images output from all cameras captured in the operating room 1 and transmits them to the second HMD 200 so that the collaborative surgeon can participate remotely.
  • the second HMD (200) worn by the collaborating surgeon includes a CCTV (2) installed in the operating room (1), a camera (400), a camera of the first HMD (100) worn by the surgeon, and a plurality of assistants (11, 12). ) can provide real-time images according to the shooting field of view between the cameras of the third HMD (100-1, 100-2) worn respectively, according to the surgeon's selection.
  • the second HMD 200 worn by the collaborating surgeon displays a specific location of the actual surgical site selected by the collaborating surgeon (for example, the camera of the first HMD 100 worn by the surgeon as shown in FIG. 5) through the display unit.
  • a real-time image captured by the first camera viewing field of the first HMD 100 may be output to the display unit of the second HMD 200.
  • the collaborating surgeon secures the same field of view from the surgeon's perspective, and after securing the field of view, he or she can turn his gaze independently of the surgeon to grasp the situation in the operating room 1.
  • the field of view can be moved independently even when selecting a specific camera.
  • the second HMD 200 worn by the collaborating physician 20 can provide a viewing fixation mode according to the collaborating physician's selection through peripheral fixation.
  • Collaborating doctors can collaborate by pointing in 3D to the location that needs to be shared for a collaborative consultation proposal in the fixed-view mode through the 3D pointing system for remote collaboration (hereinafter referred to as the 3D pointing system) of FIG. 6.
  • the three-dimensional pointing system further includes a control device 210 for controlling the second HMD 200 in the remote collaboration support system of FIG. 1, and the control device includes It can be implemented in various ways using control devices 500, 500a, and 600 such as those shown in FIGS. 8 to 10. It will be described together with the 3D pointing control method of FIG. 7.
  • the first and second cameras of the first HMD 100 worn by the surgeon 10 participating in the real-time surgery at the actual surgery site 1, and the third HMD worn by the plurality of assistants 11 and 12 Real-time images captured from the first and second cameras (110-1, 110-2), the camera of the fourth HMD (300) worn by the patient (30), CCTV (1), and the ceiling camera (400) are remotely transmitted. It can be transmitted to the collaborative diagnosis support server (1000).
  • the real-time image captured by the first camera can be output on the display unit of the first HMD 100 and transmitted to the remote consultation support server 1000 (S701).
  • real-time images captured by the first camera can be output on the display unit of each third HMD (110-1, 110-2) and transmitted to the remote collaborative consultation support server (1000).
  • the collaborative medical examination support unit 1100 of the remote collaborative medical treatment support server 1000 can collect real-time images from each camera, synchronize the time synchronization, and transmit them to the second HMD 200 (S702).
  • the second HMD 200 can receive and display the real-time image of the first HMD 100 (S703), and when receiving the real-time image of the plurality of HMDs 100, 100-1, 100-2, Real-time video corresponding to the camera selected or a preset camera can be displayed. At this time, it is preferable that the real-time image of the surgeon's first HMD 100 is output, and it may be later changed by the collaborating surgeon.
  • the second HMD 200 can point a specific location for collaborative consultation suggestions in three dimensions on the real-time image output to the display unit according to the control signal received through the input unit of the second HMD 200.
  • the specific location may be a specific location in the actual operating room 1, and in particular, it may be a specific location of the patient's affected area for collaborative consultation proposals.
  • the affected area of the patient is treated by the surgeon 10 and the collaborative doctor ( 20) It is necessary to set the real-time image (image generated by the first camera that captures the gaze area of the first HMD 100) to the fixed view mode on the second HMD 200 so that the second HMD 200 can share and collaborate. there is.
  • the collaborating surgeon must be able to confirm the situation from the surgeon's point of view and make suggestions about the surgery to the surgeon.
  • the second HMD 200 outputs only the real-time image output from the first camera of the first HMD 100 to the second HMD 200.
  • the collaborating surgeon can check the surgery in real time within the range corresponding to the imaging field of view ( ⁇ ) of the first camera.
  • the physician's movement turning the head in the direction of Assistant 1 or Assistant 2 occurs, only the real-time image within the imaging field of view ( ⁇ ) is output.
  • peripheral fixation cancellation view fixation cancellation mode
  • real-time images corresponding to the shooting field of view of the second camera corresponding to the direction of movement when the second HMD 200 is moved are provided, allowing the field of view to be viewed independently of the surgeon. You can also move it and check the surroundings.
  • the collaborating physician looks at the first real-time image within the imaging field of view ( ⁇ ) (the real-time image corresponding to the imaging field of view ( ⁇ ) of the first camera of the first HMD 100) and then looks up.
  • the second real-time image is captured in the field of view of the second camera provided on the side of Assistant 1 (11) of 1HMD (100) worn by the surgeon (10).
  • the field of view can be moved independently of the surgeon.
  • the 3D pointing control system of the present invention can set the real-time image displayed on the second HMD 200 to a fixed view mode and then perform 3D pointing for a collaborative proposal.
  • the control device 210 for 3D pointing may include a pointing means 211 and a direction selection means 212.
  • the control device 210 can output a control signal for generating a virtual line and a 3D pointer in a 3D real-time image to the second HMD 200 under the control of the surgeon, and includes a pointing means 211 and a direction selection means ( 212) can be used to control the movement of the 3D pointer (S704).
  • the pointing means 211 moves the 3D pointer in the depth direction (z direction in FIGS. 8 to 10) along the virtual line generated in the 3D real-time image
  • the direction selection means 212 moves the 3D pointer in a direction perpendicular to the depth direction ( 8 to 10, the three-dimensional pointer can be moved in the x or y direction.
  • the pointing means 211 and the direction selection means 212 can be implemented in various ways using control devices 500, 500a, 600 such as those shown in Figures 8 to 10, and the direction selection means 212 is a foot pedal. It can also be used in the form.
  • control signal in step S704 is input by the physician's preset gesture, gaze processing, eye movement (eye blinking, etc.) sensed at the input unit of the second HMD 200, or the control of FIGS. 8 to 10 It can be a signal input by one of the devices.
  • a pointer (P1) and an virtual line (3) are formed on the affected area through gaze processing (gazing at the affected area for pointing for more than a preset time), and the depth is determined on the virtual line (3) through a second gesture (hand movement). You can move the pointer (P2) in the (depth) direction. This allows 3D pointing to the affected area inside the patient's body.
  • the depth can be set to enable depth adjustment by matching the patient's internal organs and blood vessels for each depth. More specifically, using the control device 210, the surgeon can select a specific affected segment area by moving the pointer in the depth direction (z) and the direction perpendicular to the depth direction (x, y).
  • the patient's affected area segment area can be statistically determined by learning the affected area image history of other patients with the same medical history as the patient's affected area.
  • the patient's affected segment area can be divided to reflect the affected area identified through indocyanine green (ICG) staining.
  • ICG indocyanine green
  • ICG is a medical reagent. It is a green pigment that fluoresces at an infrared wavelength of 805 nm and has the characteristic of binding to albumin, a water-soluble protein present in the body's cytoplasm and tissues. After ICG is stained by injecting ICG into the patient's blood vessels through intravenous injection, a fluorescently stained image of the affected area can be obtained by irradiating infrared rays and photographing the reflected light through a camera equipped with a filter.
  • the remote collaborative medical treatment support server 1000 can collect images of the affected area, learn the staining area for each patient's disease, and statistically divide the affected area into segment areas.
  • the difference in depth of the affected area observed from each viewpoint of the surgeon and the collaborating surgeon is in the depth direction (z) between the detailed affected area gazed by the surgeon and the detailed affected area gazed by the collaborating surgeon for one affected segment area. It can be a difference in distance (depth level).
  • the ICG-stained affected area image captured by a camera using a filter can be received from the first HMD and the second HMD, matched to the real-time image, and displayed.
  • the surgeon and collaborating surgeon can perform real-time surgery by selecting the affected segment area by 3D pointing.
  • the server 1000 uses the pointing means 211 to create a virtual line in a 3D real-time image and a 3D pointer located on the virtual line
  • the server 1000 generates the 3D position (x, y, It is determined that the patient's affected segment area located at the shortest vertical distance from z) is selected, and a selection mark may be provided to the affected area segment area (S705). Accordingly, the surgeon and the collaborating surgeon can share the selection area through the first HMD 100 and the second HMD 200.
  • the surgeon can move the three-dimensional pointer in the vertical direction by using the direction selection means 212 to select a specific direction signal in the vertical direction (x, y) with respect to the depth direction (z). That is, the server 1000 may move the selection display so that another affected area segment adjacent to the specific direction selected through the direction selection means 212 is selected based on the previously selected affected area segment area (S706).
  • 3D pointing may be provided through various embodiments, such as the control device of FIGS. 8 to 10 of the present invention.
  • the control device 500 may include a first input unit 501, a second input unit 502, and a control unit 503. At this time, the first input unit 501 and the second input unit 502 may be provided on the body in the form of buttons, etc.
  • the first input unit 501 can output a first control signal to set the real-time image output from the second HMD 200 to the field-of-view lock mode or the field-of-view release mode.
  • the second HMD 200 can set the mode by receiving the first control signal.
  • the fixation mode is set by the first input unit 501
  • the first input unit 502 displays a virtual line 3 on the real-time image output to the second HMD 200.
  • a second control signal that generates a pointer (p1) can be output.
  • control unit 503 detects the movement of the main body of the control device in the depth direction or the reverse direction of the virtual line and outputs a third control signal to move the pointer (p1->p2) on the virtual line 3.
  • 3D pointing can be performed on the real-time image displayed on the second HMD (200).
  • the selected layer (L2) among the layers (L1, L2) matched to the depth level of the pointed position may be displayed as selected.
  • the layer may be a lesion image divided by dividing the 3D lesion image into lesion segment areas.
  • the affected segment area at the shortest vertical distance in the depth direction (z) from the position of the 3D pointer (P2) can be selected.
  • the body of the control device 500 in the direction (x, y) perpendicular to the depth direction (z), that is, left and right or up and down around the user's hand, it can be used as a direction selection means to move the three-dimensional pointer to another affected area. You can also select a segment area.
  • control device 500a of FIG. 9 is in the form of a gun, which can improve the user's grip and convenience.
  • the control device 500a may include a header 530a, a handle 510a equipped with an input button 511 and a latch 520, and a control unit 540.
  • the header unit 530a can create a virtual line in the real-time image and guide the direction of the virtual line so that it points to a specific location.
  • the input button 511 of the handle 510a can set a fixation mode when receiving an input signal and at the same time generate a virtual line 3 and a pointer p1 using the header 530a. Additionally, the input button 511 can be set to the field-of-view lock release mode by pushing it again (receiving the input signal again) while the field-of-view fixation mode is set.
  • the latch 520 of the handle portion 510a may output a control signal that moves the pointer on the virtual line 3 in the depth direction (p1->p2) of the virtual line 3 whenever the latch is operated.
  • the affected area segment area numbered to match the preset depth on the virtual line 3 may be provided in sequential circulation according to the depth each time the clasp is operated.
  • the body of the control device 500a is used as a direction selection means by moving the three-dimensional pointer in the direction (x, y) perpendicular to the depth direction (z), that is, left and right or up and down around the user's hand, thereby selecting another affected area. You can also select a segment area.
  • the control devices 500 and 500a may be used only as the pointing means 211. In this case, a separate foot pedal may be used as the direction selection means 212 to control three-dimensional pointing.
  • control device 600 of FIG. 10 is further equipped with a controller 500b in addition to the control device 500a of FIG. 9. That is, the control device 600 includes a first control device 500b and a second control device 500a. At this time, the shape of the second control device 500a is the same as in FIG. 9, but some functions may vary depending on settings.
  • the first control device 500b includes a handle 510b having a first button for setting the view fixation mode and a second button for setting the view fixation release mode, and a guide header portion 530b in which a guide ring is formed. It can be included.
  • the direction of virtual line generation by the head unit 530a can be guided by focusing the head unit 530a of the second control device 500a through the guide ring of the guide header unit 530b.
  • the input button 511 of the handle 510a can set a fixation mode when receiving an input signal and at the same time generate a virtual line 3 and a pointer p1 using the header 530a. Additionally, the input button 511 can be set to the field-of-view lock release mode by pushing it again (receiving the input signal again) while the field-of-view fixation mode is set.
  • the latch 520 of the handle portion 510a may output a control signal that moves the pointer on the virtual line 3 in the depth direction (p1->p2) of the virtual line 3 whenever the latch is operated.
  • the affected area segment area numbered to match the preset depth on the virtual line 3 may be provided in sequential circulation according to the depth each time the clasp is operated.
  • a control signal that moves the pointer in the depth direction of the virtual line 3 (p1->p2) can be output whenever the latch 520 of the handle portion 520 operates.
  • the collaborative consultation support unit 1100 of the remote collaborative consultation support server 1000 receives a specific pointer position (one of pointers such as p1, p2, etc.) on the virtual line 3 from the second HMD 200, it
  • the affected segment area for the corresponding organ or blood vessel can be provided by inserting it into the real-time image output from the first to third HMD.
  • the selected affected segment area (L1) may be divided into sub-segment areas and provided.
  • the remote collaborative consultation support system captures images by each camera when real-time surgery is in progress, suggestions for collaboration generated during remote collaborative consultation, recommendation suggestions generated by the AI-based recommendation server (3000), and events set directly by the surgeon occur. By tagging real-time video, it can be used for subsequent surgical procedures, collaboration, education/training, and determination of responsibility.
  • the remote collaboration support system consists of a remote collaboration support server (1000), a DB (2000), an AI-based recommendation server (3000), and a video brokerage transaction server (4000).
  • the remote collaboration support server The image tagging unit 1200 of 1000 may include a UI providing unit 1110, a tagging unit 1120, and a responsibility setting unit 1130.
  • the remote collaborative surgery support system pre-establishes priorities for the cameras and captured images that capture real-time surgery, and the captured images from the cameras rotate in order according to the pre-set priorities on the display unit of the second HMD (200). It is displayed so that the collaborating doctor can monitor and decide on a collaborative treatment proposal.
  • the collaborating surgeon may set the cameras of the surgeon's first HMD 100, CCTV, and assistant 1 in that order, or may preset them in the collaborating examination server 1100.
  • a specific camera can be selected to display the captured video.
  • the collaborating surgeon 20 monitors the real-time surgical images of the surgeon 10 through the second HMD 200 and can transmit suggestions when collaboration is necessary.
  • the collaborative medical treatment support unit 1100 of the remote collaborative medical treatment support server 1000 can collect real-time images from each camera that records real-time surgery and transmit them to the second HMD 200.
  • the UI provider 1110 receives the first HMD 100 to select whether to accept the proposal.
  • a UI can be provided for this.
  • the UI for whether to accept a proposal may be provided as text or voice, as shown in FIG. 13.
  • the tagging unit 1120 can tag real-time video according to the surgeon's acceptance when tags are generated according to suggestions and events during real-time surgery.
  • the collaborating surgeon's suggestion may be a suggestion for the surgical procedure sequence or the specific treatment sequence included in the surgery.
  • the tagging unit 1120 can generate a tag for the surgeon's acceptance from the first HMD 100 and tag the collected real-time video. there is.
  • the tag may include information on the responsible party for the real-time surgery according to the proposal and tagging location information within the real-time video, and the information included in the tag may be stored in a blockchain-based distributed ledger.
  • the tag is metadata about the collaborating surgeon's suggestions generated during real-time surgery, recommendation suggestions generated by the AI-based recommendation server (3000), and events directly set by the surgeon, etc., and can be marking information inserted into the real-time video. there is.
  • tags can be all information that can be an issue in real-time surgery, such as AR surgery demonstration by a collaborating surgeon, comments by a collaborating surgeon, previous surgery videos similar or identical to real-time surgery, specific surgical tools, voice or text information, and vital signs. You can.
  • the remote collaboration support system of the present invention can insert responsible entity information to determine the responsible party when tagging a real-time video, and can perform real-time surgery in detail sections divided into detailed treatment/surgery of real-time surgery.
  • the tagged tag section can be distinguished.
  • the tagging unit 1120 when a preset specific input is received from the first HMD 100, the tagging unit 1120 generates a timestamp and tags the real-time image, and performs real-time surgery by the surgeon based on the plurality of tagged timestamps. It can be divided into multiple defined detailed sections.
  • the preset specific input may be at least one of a gesture, a voice command, and a control signal command
  • the detailed section may be a section corresponding to the detailed treatment and surgical sequence of real-time surgery defined by the surgeon.
  • Figure 11 is a diagram for explaining tag section setting according to an embodiment of the present invention.
  • the surgeon 10 may provide information about real-time surgery to the collaborating surgeon 20 in advance.
  • the information provided in advance may be real-time surgical information, detailed detailed treatment, or surgical order.
  • different collaborating doctors may participate remotely for each detailed treatment, and the collaborative medical treatment support unit 1100 may limit the provision of real-time images to the second HMD 200 of the corresponding collaborating surgeon 20 only during the detailed participation section.
  • the surgeon 10 and the collaborating surgeon 20 can display a flag indicating that the detailed section for the surgery and treatment currently in progress is the section for which they are responsible.
  • the tag information of the corresponding detailed section may be marked as the responsible section of one party.
  • the AR provider 1130 can check the responsible section in real time by providing the preset avatar of the responsible person to the real-time surgery video.
  • the collaborative support unit 1100 displays the collaborating surgeon's responsibility section on the real-time video if the collaborating surgeon 20's evaluation numerical data for the specialist's experience or current surgery experience is greater than the predetermined value than the surgeon 10. , priority can be given to tagging with history tag information (metadata) linked to the recorded video section.
  • the procedure name coronary artery stent
  • patient information detailed treatment or sequence (anesthesia, stent, etc.)
  • detailed sections can be distinguished by specific input from the surgeon (10).
  • the tagging unit 1120 can insert a timestamp at the point when a specific input is input through the first HMD 100 and distinguish the start and end of the detailed section.
  • the specific input be a preset gesture or voice input, and the setting of the detailed section may be differentiated through tags inserted or AI analysis after real-time video shooting. Additionally, it may be input as the voice of an assistant who participated in the actual surgery site (1) rather than the surgeon (10).
  • the UI provider 1110 When the UI provider 1110 receives a proposal from the second HMD 200 or the AI-based recommendation server 3000, it sends the collaborative proposal together with the UI to the first HMD 100 in advance, as shown in (a) of FIG. 12. Examples can be provided.
  • FIG. 12 is a diagram illustrating a display screen of a first HMD that has received a collaborative consultation proposal according to an embodiment of the present invention.
  • (a) is a screen displayed on the surgeon's first HMD (100), which includes real-time video (71) captured in real time by the first HMD (100), preview proposal content proposed for collaboration, and proposal acceptance.
  • a UI 72 may be displayed to inquire whether or not.
  • (b) is a screen displayed on the third HMD (100-1) of auxiliary 1 when receiving a proposal from a collaborating physician
  • (c) is a screen displayed on the third HMD (100-1) of auxiliary 2 when receiving a proposal from a collaborating physician. This can be the screen displayed in 1).
  • the suggestions received by Assistant 1 and Assistant 2 may be information received according to the surgeon's acceptance of the proposal. That is, suggestions for (b) and (c) may also be displayed on the surgeon's HMD 100, and Assistant 1 and Assistant 2 may perform assistance according to the proposal accepted by the surgeon. In other words, the surgeon can decide whether to accept the event.
  • the collaborating surgeon in a remote location can set the 'virtual surgical tools' required for the surgery and display them on the HMDs of the surgery participants (10, 11, and 12), and display these settings on the HMDs of the surgery participants (10, 11, and 12). Reporting surgery participants can prepare ‘actual surgical tools’ in advance.
  • the collaborating surgeon can suggest surgical tools to be used by the surgeon by mapping virtual surgical tools to a specific affected area in real-time images, and can suggest a timer or treatment sequence for when treatment is required using the surgical tools.
  • the proposed surgical tools, treatment time timer, treatment sequence, etc. can be provided in real-time video through the HMD as AR data.
  • the proposal is accepted by the first HMD (100)
  • authentication is performed according to reception of the proposal
  • AR data text, video, image, voice, etc.
  • corresponding to the proposal is tagged on the real-time video to the first HMD (100) and It can be displayed using the second HMD (200).
  • authentication may be performed simultaneously on the second HMD 200 that provided the proposal and the first HMD that received the proposal.
  • the responsibility setting unit 1130 receives signatures from the first HMD 100 and the second HMD 200, stores them in advance, and provides a system to share the signature authentication screen according to the proposal and proposal acceptance. It can be displayed on the first HMD (100) and the second HMD (200).
  • the first HMD displays the collaborative avatar that automatically performs the signature of the preset collaborative doctor for the proposal responsibility along with the proposal. It can be provided as (100) and a second HMD (200).
  • the responsibility setting unit 1130 collects data on the results of a pre-survey conducted on the collaborating surgeon (20) and the surgeon (10) or the surgical style of the surgical video recommended by the collaborating surgeon/surgeon and selects the collaborating surgeon (20) ) and the surgeon 10, the avatar properties (automatic signature conditions) corresponding to each are provided to each terminal (HMD or user terminal, etc.) of the collaborating surgeon and the surgeon, so that the avatar properties can be specified.
  • the collaborating surgeon may recommend other surgical images recorded before or during the surgery to the surgeon and participants (assistant 1 and assistant 2).
  • the remote collaborative surgery support server 1000 can statistically extract and identify the surgical style preferred by the collaborative surgeon using the metadata of these recommended surgery images.
  • the tag includes the responsibility of accepting the proposal of the surgeon (10) wearing the first HMD (100) and the collaborative physician (20) wearing the second HMD (200). )'s proposed responsibility can be recorded as responsibility information.
  • the proposal may be provided not only to the first HMD 100 but also to the corresponding third HMD 300 based on the role of assistant 1 or assistant 2 depending on the characteristics of the proposal.
  • the second HMD 200 may directly set a proposal and transmit it to the first HMD 100, or receive proposal information to be proposed to the first HMD 100 from the AI-based recommendation server 3000 and send it to the first HMD 100. It can also be provided as (100).
  • the first HMD 100 may receive recommendations (automatic suggestions) directly from the AI-based recommendation server 3000.
  • the AI-based recommendation server 3000 determines the preset tag importance level. , considering treatment/surgery difficulty, etc., optimal tag information can be proposed according to preset priorities.
  • the DB (2000) stores surgical images tagged with at least one tag, and can be classified and stored according to classification criteria such as hospital/doctor, patient status, treatment and surgery category, etc.
  • the second HMD 200 displays a first screen (not shown) that outputs real-time images captured by the first HMD 100 and previews at least one suggestion that can be made during real-time surgery. At least one screen among the second screens (FIG. 14) displayed as a window can be selectively output. At this time, the first screen and the second screen may be provided by the collaborative diagnosis support unit 1100.
  • the second HMD 200 can load at least one of the tags tagged in the surgical image stored in the DB 2000 as a tag of interest into a preview window, and set the display time and display interval of the tag of interest.
  • the collaborative diagnosis support unit 1100 may output an interest tag to a preview window on the second screen according to the settings of the second HMD 200.
  • the second HMD 200 may selectively or automatically suggest interest tags depending on settings to the first HMD 100.
  • the second HMD proposes the AI-based recommended suggestion to the first HMD.
  • the AI-based recommendation server 3000 can extract tags tagged with similar surgeries similar to real-time surgery from the collaborating surgeon's previous surgery video and recommend them in a preview window.
  • the previous surgery video may be a video of a surgery in which the collaborating surgeon participated as a surgeon or collaborating surgeon, or a surgical video played by the collaborating surgeon.
  • the consulting physician may selectively or automatically suggest the tag of the recommended preview window to the first HMD 100 according to settings.
  • the AI-based recommendation unit (3000) uses the DB (2000) to select tags tagged during a similar surgery that are similar to real-time surgery among the previous surgery videos in which the collaborating surgeon participated, if the tag tagged during the similar surgery is not suggested during the current real-time surgery. It can be automatically proposed to the first HMD based on the suggestion of the collaborating physician.
  • the AI-based recommendation server 3000 determines the tagging point and tagging interval of the tag suggested in the real-time video based on the tagging point and tagging interval of the tag tagged during similar surgery and automatically suggests it to the first HMD. can do.
  • the first HMD 100 and the second HMD 200 can automatically set responsibility agreement for a specific treatment or surgery predefined for each surgery category and patient condition.
  • the responsibility setting unit 1130 may request a recommendation from the AI-based recommendation server 3000 for a specific treatment or surgery for which responsibility agreement for each HMD is automatically set.
  • the responsibility setting unit 1130 provides the HMD with an avatar that automatically performs the preset signature of the corresponding HMD for which responsibility consent is automatically set to perform authentication. It can be done.
  • the AI-based recommendation server (3000) selects detailed sections included in similar surgeries similar to the real-time surgery among the surgical images pre-stored in the DB (2000) as a predefined specific treatment or surgery for which responsibility consent has been established by the second HMD (200). If it corresponds to , the tags included in the detailed section can be automatically proposed to the first HMD 100.
  • the tagging unit 1120 can automatically tag real-time images when receiving a proposal for a specific predefined treatment or surgery for which responsibility agreement is automatically set.
  • the responsibility setting unit 1130 creates an avatar that automatically performs the preset signature of the HMD for which responsibility agreement is automatically set to the first HMD and the second HMD. It can be provided as .
  • the AI-based recommendation server (3000) extracts tags that require essential playback from each HMD based on the role information (collaborating surgeon, assistant 1, assistant 2) in this real-time surgery among the wearer's information for each HMD for real-time surgery. Thus, the corresponding HMD can be automatically suggested.
  • the collaborative surgery support unit 1100 divides the entire surgical section into known treatments in advance and divides them into detailed sections as shown in (a) of FIG. 11. It can be divided and provided to real-time images output to each HMD, and tags can be made by matching agreed-upon responsible parties to detailed sections corresponding to pre-known treatments.
  • the remote collaborative surgery support server 1000 can divide each treatment/surgery into detailed sections and provide real-time video. And, if it is determined that the surgeon has performed the treatment specified in the 'order designated in advance by the collaborating surgeon', AR data in which the avatar of the preset collaborating surgeon signs the responsibility area can be provided in real-time video.
  • the remote support collaboration system of the present invention can extract tags that may be an issue in real-time surgery and tag real-time images through the methods of various embodiments as described above. At this time, each embodiment may be individual or combined.
  • tag information when tagging a tag according to a collaborating surgeon's suggestion for a surgical procedure or a specific treatment sequence, information on the responsible party according to the surgeon's acceptance or rejection is recorded as tag information, which can be easily used to determine responsibility.
  • the tagging unit 1120 may mask and process a part that the patient has requested to censor to protect personal information, or replace it with another real-time video part of the same time period.
  • the remote collaborative medical treatment support server 1000 can store surgical images tagged with a plurality of tags in the DB 2000 during real-time surgery. At this time, the stored surgical images can be provided to surgeons, collaborating doctors, and educators/trainees for use according to their purposes.
  • the remote collaborative medical treatment support system of the present invention may be implemented as a surgical image brokerage system that brokers the use of surgical images through the video brokerage server 4000 and distributes profits according to utilization.
  • Brokerage system for trading and using surgical images including tags
  • FIG. 15 is a block diagram for explaining the configuration of the video mediation server of FIG. 1.
  • Figure 16 is a diagram to explain the blockchain structure of the remote collaborative medical treatment support system.
  • the video brokerage server 4000 may include an NFT management unit 4100, a video transaction unit 4200, a search unit 4300, and a UI providing unit 4400.
  • the remote collaborative medical treatment support system can form a blockchain network with the hospital servers (a to n) of member hospitals, and surgical images generated during real-time surgery through each hospital server (a to n) can collect and provide surgical images for use.
  • the NFT management unit (4100) assigns a unique ID to the collected surgical images and provides NFT (Non-Fungible Token)-based ownership to the relevant hospital. can be issued.
  • the video brokerage server 4000 can manage the surgical video or tags included in the surgical video by settling the usage fee for the sales or use using cryptocurrency when a third-party user terminal sells or uses the surgical video or a tag included in the surgical video.
  • the video brokerage server 4000 can issue NFT ownership for each tag section by assigning a unique ID to each tag section included in the surgery image when a partial sale is requested for a surgical image that has ownership from a specific hospital server. there is. Accordingly, split sales of surgery or treatment images for each tag section may be provided.
  • the NFT management unit (4100) can manage the transfer of NFT ownership to the hospital that sold it once the preset cost is settled when trading surgical images for each hospital server.
  • the NTF management unit 4100 compares the owner of the surgical video requested by the user terminal with the affiliated hospital of the user terminal requesting the use of the surgical video, and if they are not the same, that is, it is determined that the user terminal belongs to a third party without ownership. , you can request the video transaction unit 4200 to calculate the usage fee.
  • the video transaction unit 4200 may calculate the usage fee based on the number of tags included in the surgical video requested for use by the user terminal and the preset importance of each tag.
  • the tag may include at least one of tag information, responsible entity information, tag section within the surgery video, tag section information, tag section information inputter, NFT-based ownership information, sales and use history, and token settlement information. .
  • the tag section within the surgery image may be a section divided by detailed treatment or detailed surgery included in the surgery image. Additionally, the tag section information becomes the detailed treatment or detailed surgery information, and the person entering the tag section information may be a surgeon or collaborating physician who performed the detailed treatment or detailed surgery.
  • the blockchain according to the updated information is added to the distributed ledger and updated through consensus of nodes in the blockchain network. can do.
  • the video transaction unit 4200 can accumulate cryptocurrency to the person who entered the tag section information based on the usage fee collected through the corresponding user terminal when using the tag section information in a specific user terminal.
  • the search unit 4300 provides a search service according to the purpose of video playback based on the tag information and tag section information of the tag stored in the DB 2000, allowing the user to utilize the necessary surgical images and tags for each terminal.
  • the user terminal is an HMD (100, 100-1, It can be 100-2, 200, 500).
  • the AI-based recommendation server 3000 can recommend surgery videos and tags for similar surgeries.
  • the AI-based recommendation server 3000 may recommend tags included in similar surgeries as essential playback tags based on the user role information.
  • the UI providing unit 4400 provides a list of tags included in similar surgeries recommended to the user terminal by the AI-based recommendation server 3000 to the user terminal to select whether to use or remove them according to the purpose of use. can do.
  • the UI provider 4400 may preset required playback tag information for each user terminal based on the role information of the user terminal, and provide tags corresponding to the preset required playback tag information by excluding them from the list.
  • the video transaction unit 4200 can calculate and settle the usage fee by reflecting the number of tags used or removed by the corresponding user terminal.
  • the brokerage system of the present invention provides NFT-based ownership to surgical images containing tags to broker use and transactions, thereby brokering transparent and reliable transactions and distributing transaction profits.
  • optimal surgical images and tags can be provided according to the playback purpose of the user (surgeon, collaborating surgeon, assistant 1, assistant 2, and trainee), and the utilization of surgical images can be increased.
  • Embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination.
  • Program instructions recorded on the medium may be specially designed and constructed for the present invention or may be known and usable by those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD_ROMs and DVDs, and magneto-optical media such as floptical disks. Includes magneto-optical media and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, etc.
  • Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Processing Or Creating Images (AREA)
  • Multimedia (AREA)

Abstract

본 발명은 원격협진지원을 위한 3차원 포인팅시스템에 관한 것이다. 보다 구체적으로, 3차원 포인팅시스템은 실제 수술현장에서 집도의가 착용하되, 상기 착용한 집도의의 시선 응시영역 및 주변영역을 촬영하는 카메라 및 상기 카메라에 의해 촬영되는 실시간 영상을 출력하는 디스플레이부를 포함하는 제1 HMD, 상기 집도의로부터 원격에 위치하는 협진의가 착용하며, 상기 실시간 영상을 수신하여 출력하고, 수신되는 제어신호에 따라 상기 실시간 영상에 가상선 및 3차원 포인터를 생성하는 제2 HMD, 상기 협진의의 위치제어에 대응되는 제어신호를 발생하되, 상기 가상선을 따라 뎁스 방향으로 상기 3차원 포인터를 이동시키는 포인팅 이동수단 및 상기 제1 HMD 및 제2 HMD의 실시간 영상에, 상기 3차원 포인터로부터 최단 거리에 위치한 환자의 환부 세그먼트 영역을 선택표시하는 원격협진 지원서버를 포함한다.

Description

원격협진지원을 위한 3차원 포인팅시스템 및 그 제어방법
본 발명은 원격협진지원을 위한 3차원 포인팅시스템에 관한 것으로, 원격에 위치하는 협진의에게 실제 수술현장의 설치된 각 카메라의 촬영시야에 대응되는 실시간영상을 제공하여 실제 수술현장 분위기를 제공하고, 협진 제안 및 공유를 위해 실시간 영상의 특정위치를 3차원 포인팅 할 수 있는 원격협진지원을 위한 3차원 포인팅시스템에 관한 것이다.
최근 멀티미디어에 관한 기술이 급진적으로 발전하여 다양한 분야에 활용됨에 따라, 의료 분야에서도 환자들에 대한 수술 장면을 녹화영상으로 제작하여 의사들이 의학 관련 학회에서 발표하거나 다른 용도로 활용할 수 있도록 하는 기술이 개발되고 있다.
또한, 수술 기록과 만약 생길 수 있는 의료 분쟁의 방어용으로 수술영상을 촬영하고 있으며, 대부분의 의료장비에 영상 촬영 기능이 탑재되어 있어 수술 영상 촬영이 급증하고 있다.
또한, 병원 규모 및 질병에 따라 다양한 전문의의 협진을 통해 수술이 진행되는 경우 많다. 하지만, 시간적/공간적 제약에 의해 메시지, 화상 등을 통한 원격 협진이 진행되고 있다.
이러한 원격 협진으로 수술이 진행된 경우 수술영상에서 협진에 따른 내용을 파악하는데 어려움이 있어, 원격 협진시 수술영상에 책임소재를 구분할 수 있는 방안이 필요하다.
또한, 원격 협진시 협진의에게 수술현장을 분위기를 실시간 그대로 재현하여 제공할 필요가 있으며, 협진 제안시 정확한 포인팅을 통해 집도의와 공유가 되어야 한다. 특히, 환자의 환부를 가리킬 때 신체 내부의 경우 포인팅에 어려움이 있다. 이에, 협진의가 집도의와 공유하는 실시간 수술영상에서 3차원적으로 포인팅할 수 있는 방안이 요구된다.
또한, 녹화된 수술영상들은 다양한 활용의 가치가 있다. 특히, 수술영상에 다양한 의료정보가 더해진다면 그 활용 및 자산가치가 있으므로 안정적인 거래를 중개할 수 있는 시스템이 필요하다.
[관련기술문헌]
(특허문헌 1) : 한국공개특허 제10-2020-0001266호(2020.01.06.공개)
본 발명이 해결하고자 하는 기술적 과제는, 원격에 위치하는 협진의에게 실제 수술현장의 설치된 각 카메라의 촬영시야에 대응되는 실시간영상을 제공하여 실제 수술현장 분위기를 제공하고, 협진 제안 및 공유를 위해 실시간 영상의 특정위치를 3차원 포인팅 할 수 있는 원격협진지원을 위한 3차원 포인팅시스템 및 3차원 포인팅 제어방법을 제공하는데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 원격협진지원을 위한 3차원 포인팅시스템은, 실제 수술현장에서 집도의가 착용하되, 상기 착용한 집도의의 시선 응시영역 및 주변영역을 촬영하는 카메라 및 상기 카메라에 의해 촬영되는 실시간 영상을 출력하는 디스플레이부를 포함하는 제1 HMD, 상기 집도의로부터 원격에 위치하는 협진의가 착용하며, 상기 실시간 영상을 수신하여 출력하고, 수신되는 제어신호에 따라 상기 실시간 영상에 가상선 및 3차원 포인터를 생성하는 제2 HMD, 상기 협진의의 위치제어에 대응되는 제어신호를 발생하되, 상기 가상선을 따라 뎁스 방향으로 상기 3차원 포인터를 이동시키는 포인팅 이동수단 및 상기 제1 HMD 및 제2 HMD의 실시간 영상에, 상기 3차원 포인터로부터 최단 거리에 위치한 환자의 환부 세그먼트 영역을 선택표시하는 원격협진 지원서버를 포함할 수 있다.
또한, 상기 뎁스방향에 대하여 수직방향인 특정 방향 신호가 입력되면, 상기 선택표시된 환부 세그먼트 영역에 대해 특정 방향 측으로 근접한 다른 환부 세그먼트 영역으로 상기 선택표시를 이동시키는 방향 선택수단을 더 포함할 수 있다.
또한, 상기 환자의 환부 세그먼트 영역은, 상기 환자의 환부와 동일 병력을 가진 다른 환자들의 환부영상 이력을 학습하여 통계적으로 결정될 수 있다.
또한, 상기 환자의 환부 세그먼트 영역은, 인도시아닌그린(ICG, indocyanine green) 염색을 통해 확인된 환부 영역을 반영하여 구분될 수 있다.
또한, 상기 환자의 환부 세그먼트 영역은, 해당 환부에 대한 혈관 배치구조, 주변 다른 장기의 배치구조, 상기 집도의와 협진의의 시점에서 관찰되는 환부 영역간의 뎁스 차이를 기반으로 복수개의 하위 세그먼트로 구분될 수 있다.
또한, 상기 제1 HMD의 카메라는, 상기 집도의의 시선 응시영역을 촬영하는 제1카메라 및 주변영역을 촬영하는 제2카메라를 포함할 수 있다. 이때, 상기 제2 HMD는, 상기 제1카메라의 촬영시야에 대응되는 실시간 영상만을 제공하는 시야고정모드 또는 상기 제2 HMD의 움직임시마다 움직임 방향에 대응되는 제1카메라 또는 제2카메라의 촬영시야에 따른 실시간 영상을 제공하는 시야고정 해지모드를 제공할 수 있다.
또한, 상기 포인팅수단 및 방향선택수단은, 상기 시야고정모드에서 상기 3차원 포인터의 이동을 제어할 수 있다.
또한, 본 발명의 일 실시 예에 따른 원격협진지원을 위한 3차원 포인팅방법은, (a) 실제 수술현장에서 집도의가 착용하는 제1 HMD가, 상기 집도의의 시선 응시영역 및 주변영역을 촬영하여 디스플레이부에 실시간 영상을 출력하는 단계, (b) 상기 집도의로부터 원격에 위치하는 협진의가 착용하는 제2 HMD가, 서버를 통해 상기 실시간 영상을 수신하여 출력하는 단계, (c) 포인팅 이동수단이, 상기 협진의의 위치제어에 대응되는 제어신호를 발생하되, 상기 실시간 영상에 가상선 및 3차원 포인터를 생성시키는 단계, (d) 포인팅 이동수단이, 상기 가상선을 따라 뎁스 방향으로 상기 3차원 포인터를 이동시키는 단계 및 (e) 상기 서버가, 제1 HMD 및 제2 HMD의 실시간 영상에, 상기 3차원 포인터로부터 최단 거리에 위치한 환자의 환부 세그먼트 영역을 선택표시하는 단계를 포함할 수 있다.
또한, (f) 상기 서버가, 방향 선택수단을 통해 상기 뎁스방향에 대하여 수직방향인 특정 방향 신호가 입력되면, 상기 선택표시된 환부 세그먼트 영역에 대해 특정 방향측으로 근접한 다른 환부 세그먼트 영역으로 상기 선택표시를 이동시키는 단계를 더 포함할 수 있다.
또한, 상기 환자의 환부 세그먼트 영역은, 상기 환자의 환부와 동일 병력을 가진 다른 환자들의 환부영상 이력을 학습하여 통계적으로 결정될 수 있다.
또한, 상기 환자의 환부 세그먼트 영역은, 인도시아닌그린(ICG, indocyanine green) 염색을 통해 확인된 환부 영역을 반영하여 구분될 수 있다.
또한, 상기 환자의 환부 세그먼트 영역은, 해당 환부에 대한 혈관 배치구조, 주변 다른 장기의 배치구조, 상기 집도의와 협진의의 시점에서 관찰되는 환부 영역간의 뎁스 차이를 기반으로 복수개의 하위 세그먼트로 구분될 수 있다.
또한, 상기 제1 HMD의 카메라는, 상기 집도의의 시선 응시영역을 촬영하는 제1카메라 및 주변영역을 촬영하는 제2카메라를 포함하고, 상기 제2 HMD는, 상기 제1카메라의 촬영시야에 대응되는 실시간 영상만을 제공하는 시야고정모드 또는 상기 제2 HMD의 움직임시마다 움직임 방향에 대응되는 제1카메라 또는 제2카메라의 촬영시야에 따른 실시간 영상을 제공하는 시야고정 해지모드를 제공할 수 있다.
또한, 상기 (c) 내지 (f)단계는, 시야고정모드에서 수행될 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시 예들에 따른 실시간 수술영상 태깅이 가능한 원격협진지원시스템은 실시간 수술시 원격협진을 지원하고, 실시간 수술시 발생되는 협진 제안 등의 이벤트를 실시간 영상에 태깅하여 수술영상을 저장하여 활용할 수 있다.
특히, 실시간 수술 중 협진의에 의한 협진 제안이 발생될 때, 집도의의 수락여부에 따라 책임주체정보를 실시간영상에 태깅함으로써 의료사고시 책임소재판별에 이용할 수 있다.
또한, 원격에 위치하는 협진의의 HMD를 통해, 실제 수술현장의 각 카메라 기준의 촬영시야를 시야고정모드로 제공하여 증강현실감을 더하고, 시야고정해지모드를 제공하여 협진의가 독립적으로 수술현황을 파악할 수 있다.
또한, 협진 제안시 실시간영상에 3차원포인팅할 수 있는 3차원포인팅시스템을 통해, 협진의는 협진시 필요한 환자의 환부 즉 신체내부를 3차원포인팅할 수 있고, 해당 환부에 대한 의료영상을 집도의와 공유할 수 있다.
또한, 태그정보를 블록체인 원장에 기록하고, 태그를 포함하는 수술영상에 NFT기반 소유권을 부여하여 사용 및 거래를 중개함으로써, 투명하고 신뢰성있는 거래를 중개할 수 있고, 거래 수익을 분배할 수 있다.
또한, AI기반 추천을 통해 사용자(집도의, 협진의, 보조1, 보조2, 교육훈련생)의 재생목적에 따른 최적의 수술영상 및 태그를 제공할 수 있고, 수술영상의 활용도를 높일 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 원격 협진 지원시스템을 설명하기 위한 도면이다.
도 2는 도 1의 HMD의 구성을 설명하기 위한 블록도이다.
도 3은 도 1의 원격협진 지원서버의 구성을 설명하기 위한 구성 블록도이다.
도 4 및 도 5는 도 1의 제2 HMD의 원격협진을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 3차원 포인팅시스템의 구성을 설명하기 위한 블록도이다.
도 7은 본 발명의 일 실시 예에 따른 3차원 포인팅제어방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 제1 실시 예에 따른 제2 HMD의 컨트롤 기기를 설명하기 위한 도면이다.
도 9는 본 발명의 제2 실시 예에 따른 제2 HMD의 컨트롤 기기를 설명하기 위한 도면이다.
도 10은 본 발명의 제3시 예에 따른 제2 HMD의 컨트롤 기기를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 태그 구간 설정을 설명하기 위한 도면이다.
도 12은 본 발명의 일 실시 예에 따른 협진 제안을 위한 미리보기 윈도우를 설명하기 위한 도면이다.
도 13는 본 발명의 일 실시 예에 따른 협진 제안을 수신한 제1HMD의 디스플레이 화면을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시 예에 따른 제안책임 및 제안수락책임에 따른 인증을 설명하기 위한 도면이다.
도 15는 도 1의 영상 중개 서버의 구성을 설명하기 위한 블록도이다.
도 16은 원격 협진 지원시스템의 블록체인 구조를 설명하기 위한 도면이다.
이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 이하의 설명에서 제1, 제2 등과 같은 서수식 표현은 서로 동등하고 독립된 객체를 설명하기 위한 것이며, 그 순서에 주(main)/부(sub) 또는 주(master)/종(slave)의 의미는 없는 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 발명의 일 실시 예에 따른 원격 협진 지원시스템은, 실제 수술현장에서 실시간 수술이 집도의에 의해 진행될 때, 원격에 위치하는 협진의에 의한 원격 협진을 지원할 수 있는 시스템에 관한 것이다.
이때, 실시간 수술 및 협진에 대한 책임소재의 판별이 필요하며, 본 발명에서는 실시간 촬영되는 실시간 수술영상에 협진 제안에 대한 책임소재 판별을 위한 태그를 태깅하는 방식을 통해 의료사고시 책임소재 판별에 이용할 수 있다.
또한, 본 발명의 원격 협진 지원시스템은, 원격에 위치하는 협진의에게 실제 수술현장 분위기를 제공하기 위해 실시간 영상에 기반한 실제 수술현장에 대응되는 AR 영상을 제공하고, 제안 및 공유를 위해 실시간 영상의 특정위치를 3차원 포인팅 가능한 3차원포인팅시스템을 구성할 수도 있다.
또한, 본 발명의 원격 협진 지원시스템은, 실시간 수술시 촬영되는 영상에 태그를 태깅한 수술영상의 활용(집도의, 협진의 및 교육/훈련생의 목적에 따른 활용) 및 활용에 따른 수익구조를 위한 영상중개시스템으로 구성될 수도 있다.
이에 대한 구체적인 설명은 도 1 내지 도 14를 참고하여 설명하도록 한다.
도 1은 본 발명의 원격 협진 지원시스템을 설명하기 위한 도면이다.
원격협진 지원시스템은 집도의(10)가 착용하는 제1 HMD(100) 및 원격에 위치하는 협진의(20)가 착용하는 제2 HMD(200)로 구현될 수 있으며, 원격협진지원을 위한 원격협진 지원서버(1000), DB(2000), AI기반 추천서버(3000) 및 영상중개서버(4000)를 포함할 수 있다.
또한, 실제 수술현장(1)에서 실시간 수술에 대한 원격 협진 지원을 위해, 복수 개의 카메라를 구비하여 실시간 수술을 촬영하여 녹화영상을 원격에 위치하는 협진의와 공유할 수 있다.
구체적으로, 실제 수술현장(1)에는 CCTV(2)가 설치되고, 실제 수술현장(1)의 생생한 3차원 영상 제공을 위해 복수의 보조(11,12)가 착용하는 제3 HMD(100-1, 100-2), 환자(30)가 착용하는 제4 HMD(300), 수술현장(1)의 천장에 설치되는 카메라(400)를 더 포함할 수도 있다.
천장에 설치되는 카메라(400)는 촬영되는 최초 실시간 영상에서 객체별 좌표를 지정하여 최초 위치를 파악하고, 실시간 수술 중 집도의(10)가 착용한 제1HMD(100), 보조 1(11) 및 보조 2(12)가 착용한 제3 HMD(100-1, 100-2)의 위치를 파악하여 이동추적을 할 수 있다. 이외에 천장카메라(400)에 의해 촬영되는 수술 도구 등의 모든 객체에 대해, 이동을 추적할 수 있다.
도 2는 도 1의 HMD의 구성을 설명하기 위한 블록도이다. 도 2를 참고하면, 각 HMD(100, 100-1, 100-2, 200, 300, 500)는 카메라, 디스플레이부, 입력부, 제어부, 통신부를 각각 구비할 수 있으며, 이에 더하여 스피커, 마이크 등을 더 구비할 수도 있다.
이때, 각 구성의 온/오프나 디스플레이부를 통해 제공되는 영상은 착용자에 따라 즉, 일 예로 집도의 모드, 보조 모드, 환자 모드, 교육 훈련 모드 등으로 설정된 착용자 모드에 따라 서로 다르게 적용되어 해당 착용자에게 필요한 기능한 제공될 수 있다. 또는 착용자별 HMD는 해당 모드에 따른 기능만 제공하는 별개의 HMD로 구성될 수도 있다.
이때, HMD의 카메라는 해당 HMD 전방에 구비되어 착용자의 시선 응시영역을 촬영하는 제1카메라와, 해당 HMD 양측에 각각 구비되어 착용자의 주변 영역을 촬영하는 제2카메라를 포함할 수 있다.
또한, 디스플레이부는 집도의 모드 및 보조 모드에서는 카메라에서 촬영되는 착용자의 시선 응시영역의 영상을 디스플레이하며, 협진의 모드에서는 실제 수술현장에서 촬영되는 각 카메라의 실시간 영상을 수신하여 디스플레이할 수 있다. 이외에, 환자 모드는 필요에 따라 정보를 제공할 수 있으며, 교육 훈련 모드는 선택된 재생영상을 디스플레이할 수 있다.
입력부는, HMD 제어 및 디스플레이되는 영상의 제어를 위한 제어신호를 입력받는 인터페이스 또는 센싱부 등이 될 수 있고, 제어부는 입력부를 통해 수신되는 제어신호에 따라 HMD를 제어하고, 통신부를 통해 외부 각 서버(1000 내지 4000)로부터 다양한 원격협진 지원을 받을 수 있다.
도 3은 원격협진 지원서버(1000)의 구성을 나타내는 블록도이다. 원격협진 지원서버(1000)는 협진 지원부(1100) 및 영상 태깅부(1200)를 포함할 수 있다. 이때, 각 구성은 별개의 모듈, 서버 등으로 구성될 수도 있다.
여기서, 원격협진 지원은 실시간 수술관련 협진 제안, 제안에 따른 책임소재 판별 및 각종 이벤트 발생시 실시간 촬영되는 영상에 태깅하는 영상태깅, 디스플레이되는 영상에 3차원적 포인팅제어, 태그를 포함하는 수술영상의 활용 및 활용에 대한 수익분배 등에 관한 것이 될 수 있다.
협진 지원부(1100)는 협진의가 원격 참여할 수 있도록, 수술실(1)에서 촬영되는 모든 카메라에서 출력되는 실시간영상들 수집하여, 제2 HMD(200)로 전송하여 원격 참여할 수 있게 한다.
이때, 협진의의 원격 참여를 위해서는, 협진의는 착용한 제2 HMD(200)를 통해 집도의와 독립적으로 수술실(1) 내 상황 파악이 가능해야 한다.
이에, 협진의가 착용한 제2 HMD(200)는 수술실(1) 내에 설치된 CCTV(2), 카메라(400), 집도의가 착용한 제1 HMD(100)의 카메라, 복수의 보조(11, 12)가 각각 착용한 제3 HMD(100-1, 100-2)의 카메라 간 촬영시야에 따른 실시간 영상을, 집도의의 선택에 따라 제공할 수 있다.
일 예로, 협진의가 착용한 제2 HMD(200)는 디스플레이부를 통해 협진의에 의해 선택된 실제 수술현장의 특정위치(일 예로, 도 5와 같이 집도의가 착용한 제1HMD(100)의 카메라)가 선택되면, 제1HMD(100)의 제1카메라 촬영시야로 촬영되는 실시간 영상이 제2 HMD(200)의 디스플레이부에 출력될 수 있다.
이때, 도 4 및 도 5와 같이, 협진의는 집도의 관점에서 동일 시야를 확보하게 되고, 시야 확보 이후에는 집도의와는 독립적으로 시선을 돌려 수술실(1) 내 상황을 파악할 수도 있다.
즉, 도 4에서 협진의가 보조1(11) 또는 보조2(12)의 방향으로 시선을 돌리는 경우, 집도의(10)가 착용한 제1HMD(100)의 양측에 구비된 제2카메라의 촬영시야에서 촬영된 실시간영상 중 협진의의 시선방향에 대응되는 특정 제2카메라에서 촬영되는 실시간 영상이 협진의(20)의 제2 HMD(200)를 통해 출력될 수 있다. 즉, 주변을 고정시키지 않아 집도의와는 독립적으로 시야를 옮길 수 있다(시야고정 해지모드).
이외에, 특정 카메라를 선택시에도 동일하게 독립적으로 시야를 옮길 수 있다. 또는, 주변을 고정시켜 선택된 카메라에서 촬영되는 실시간 영상만 수신할 수도 있다(시야고정모드).
이와 같이, 본원발명에서는 주변 고정을 통해 협진의(20)가 착용한 제2 HMD(200)로 협진의의 선택에 따라 시야고정모드를 제공할 수 있다. 협진의는 시야고정모드에서 협진제안을 위해 공유가 필요한 위치를 도 6의 원격협진을 위한 3차원 포인팅 시스템(이하, 3차원 포인팅시스템)을 통해 3차원 포인팅하여 협진할 수 있다.
원격협진을 위한 3차원 포인팅 시스템
도 6을 참고하면, 본 발명의 일 실시 예에 따른 3차원 포인팅 시스템은 도 1의 원격협진 지원시스템에 제2 HMD(200)를 제어하기 위한 컨트롤 기기(210)를 더 포함하며, 컨트롤 기기는 도8 내지 도 10 등과 같은 컨트롤 기기(500, 500a, 600)로 다양하게 실시될 수 있다. 도 7의 3차원 포인팅 제어방법과 함께 설명하도록 한다.
실제 수술현장(1)에서 실시간 수술에 참여하는 집도의(10)가 착용한 제1 HMD(100)의 제1카메라 및 제2카메라, 복수의 보조(11, 12)가 착용한 제3 HMD(110-1, 110-2)의 제1카메라 및 제2카메라, 환자(30)가 착용한 제4 HMD(300)의 카메라, CCTV(1), 천장 카메라(400)에서 촬영되는 실시간 영상을 원격협진 지원서버(1000)로 전송할 수 있다.
이때, 제1 HMD(100)의 디스플레이부에 해당 제1카메라에서 촬영되는 실시간 영상을 출력하고 원격협진 지원서버(1000)로 전송할 수 있다(S701). 또한, 각각의 제3 HMD(110-1, 110-2)의 디스플레이부에 해당 제1카메라에서 촬영되는 실시간 영상을 출력할 수 있으며, 원격협진 지원서버(1000)로 전송할 수 있다.
다음으로, 원격협진 지원서버(1000)의 협진 지원부(1100)에서, 각 카메라로부터 실시간 영상을 수집하여 타임 싱크를 동기화하여 제2 HMD(200)로 전송할 수 있다(S702).
다음으로, 제2 HMD(200)는 제1 HMD(100)의 실시간 영상을 수신하여 표시할 수 있고(S703), 복수의 HMD(100,100-1,100-2)의 실시간 영상을 수신하는 경우 협진의에 의해 선택된 카메라 또는 기설정된 카메라에 대응되는 실시간 영상을 표시할 수 있다. 이때, 집도의의 제1HMD(100)의 실시간 영상이 출력되는 것이 바람직하며, 이후 협진의에 의해 변경될 수도 있다.
다음으로, 제2 HMD(200)는 제2 HMD(200)에서 입력부를 통해 수신되는 제어신호에 따라 디스플레이부에 출력되는 실시간 영상에, 협진 제안을 위한 특정위치를 3차원 포인팅할 수 있다. 이때, 특정위치는 실제 수술실(1) 내의 특정위치가 될 수 있으며, 특히 협진 제안을 위한 환자의 환부 특정위치가 될 수 있다.본 발명에서는 환자의 치료 환부를 집도의(10) 및 협진의(20)가 공유하고, 협진할 수 있도록 제2 HMD(200)에 실시간 영상(제1 HMD(100)의 시선 응시영역을 촬영하는 제1카메라에 의해 생성되는 영상)을 시야고정모드로 설정할 필요가 있다. 즉, 협진의는 집도의의 시점에서 확인하고 집도의에게 수술에 대한 제안을 할 수 있어야 한다.
도 4 및 도 5를 참고하면, 시야고정모드인 경우 도 4와 같이, 제2 HMD(200)는 제1 HMD(100)의 제1카메라에서 출력되는 실시간영상만 제2 HMD(200)에 출력시켜, 제1카메라의 촬영시야(α) 에 대응되는 범위내에서 협진의가 실시간 수술을 확인할 수 있다. 즉, 협진의의 움직임(보조1 또는 보조2 방향으로 고개돌림)이 발생되어도 촬영시야(α)내의 실시간 영상만 출력된다.
한편, 주변 고정 해지(시야고정 해지모드)가 설정되면, 제2 HMD(200)의 움직임시 움직임 방향에 대응되는 제2카메라의 촬영시야에 대응되는 실시간 영상을 제공하여, 집도의와 독립적으로 시야를 옮겨 주변을 확인할 수도 있다.
일예로, 도 4 및 도 5에서 협진의가 촬영시야(α)내의 제1실시간 영상 (제1 HMD(100)의 제1카메라의 촬영시야(α)에 대응되는 실시간 영상)을 주시하다 고개를 돌려 보조1(11)의 방향으로 시선을 돌리는 경우, 집도의(10)가 착용한 1HMD(100)의 보조1(11) 방향측에 구비된 제2카메라의 촬영시야에서 촬영된 제2실시간영상을 연속적으로 제공하여 집도의와는 독립적으로 시야를 옮길 수 있다.
본원발명의 3차원 포인팅 제어시스템은 제2 HMD(200)에 디스플레이된 실시간 영상을 시야고정모드로 설정한 후, 협진 제안을 위한 3차원 포인팅을 할 수 있다.
3차원 포인팅을 위한 컨트롤 기기(210)는 포인팅수단(211) 및 방향선택수단(212)을 포함할 수 있다. 컨트롤기기(210)는 집도의의 제어에 따라 3차원 실시간영상에 가상선 및 3차원 포인터를 생성하기 위한 제어신호를 제2HMD(200)로 출력할 수 있고, 포인팅수단(211) 및 방향선택수단(212)을 이용하여 3차원 포인터의 이동을 제어할 수 있다(S704).
포인팅수단(211)은 3차원 실시간 영상에 생성된 가상선을 따라 뎁스 방향(도 8 내지 10에서 z방향)으로 3차원 포인터를 이동시키고, 방향선택수단(212)은 뎁스 방향에 수직한 방향(도 8 내지 10에서 x 또는 y 방향)으로 3차원 포인터를 이동시킬 수 있다.
포인팅 수단(211) 및 방향선택수단(212)은 도8 내지 도 10 등과 같은 컨트롤 기기(500, 500a, 600)로 다양하게 실시될 수 있고, 방향선택수단(212)은 풋 페달(foot pedal)형태로 이용될 수도 있다.
또한, S704 단계에서의 제어신호는 제2 HMD(200)의 입력부에서 센싱되는 협진의의 기설정된 제스쳐, 시선 처리, 눈 움직임(눈 깜박거림 등)에 의해 입력되거나, 도 8내지 도 10의 컨트롤 기기 중 하나에 의해 입력되는 신호가 될 수 있다.
먼저, 제2 HMD(200)의 입력부에서 센싱되는 협진의의 기설정된 제스쳐, 시선, 시선 움직임 등을 이용하는 경우, 일 예로, 제1제스쳐(양팔을 일정각도 벌리는 동작)를 통해 시야고정모드를 설정하고, 시선처리(포인팅을 위한 환부를 기설정 시간이상 응시)를 통해 환부에 포인터(P1) 및 가상선(3)을 형성하고, 제2 제스쳐(손 움직임)을 통해 가상선(3) 상에서 뎁스(depth)방향으로 포인터(P2)를 이동시킬 수 있다. 이를 통해 환자의 신체 내부의 환부에 3차원 포인팅할 수 있다.
이때, 뎁스 및 뎁스별 환자의 신체 내부 장기 및 혈관을 매칭시켜, 뎁스 조절이 가능하도록 설정할 수 있다. 보다 구체적으로는, 컨트롤기기(210)를 이용하여 집도의는 뎁스방향(z) 및 뎁스방향에 수직한 방향(x,y)으로 포인터를 이동시키며 특정 환부 세그먼트 영역을 선택할 수 있다.
구체적으로, 환자의 환부 세그먼트 영역은 환자의 환부와 동일 병력을 가진 다른 환자들의 환부영상 이력을 학습하여 통계적으로 결정될 수 있다. 특히, 환자의 환부 세그먼트 영역은 인도시아닌그린(ICG, indocyanine green) 염색을 통해 확인된 환부 영역을 반영하여 나뉘어질 수 있다.
ICG는 의료용 시약으로 녹색의 색소로 805nm의 적외선 파장에서 형광 발현하며 체내 세포질과 조직에 존재하는 수용성 단백질인 알부민과 결합하는 특징을 가진다. 정맥주사를 통해 환자의 혈관에 ICG를 주입하여 ICG 염색한 후, 적외선을 조사하여 여가시킨 반사광을 필터가 구비된 카메라를 통해 촬영함으로써 형광 염색된 환부영상을 얻을 수 있다.
원격협진 지원서버(1000)는 환부영상을 수집하여 환자별 병명별 염색영역을 학습하여 통계적으로 환부 세그먼트 영역을 구분하여 나눌 수 있다.
또한, 해당 환부에 대한 혈관 배치구조, 주변 다른 장기의 배치구조, 집도의와 협진의의 각 시점에서 관찰되는 환부 영역의 뎁스 차이를 기반으로 복수개의 하위 세그먼트로 구분하여 나눌 수도 있다.
여기서, 집도의와 협진의의 각 시점에서 관찰되는 환부 영역의 뎁스 차이는, 하나의 환부 세그먼트 영역에 대해, 집도의가 응시하는 세부 환부영역과 협진의가 응시하는 세부 환부영역 간의 뎁스방향(z)에서의 거리(뎁스단계) 차이가 될 수 있다.
한편, 실시간 수술에서 ICG염색된 환부영상을 이용하는 경우, 필터가 사용된 카메라(에서 촬영한 ICG염색된 환부영상을 제1HMD 및 제2HMD에서 수신하여 실시간 영상에 정합하여 디스플레이 할 수 있다.
이를 통해, 집도의와 협진의는 환부 세그먼트 영역을 3차원 포인팅하여 선택함으로써 실시간 수술을 진행할 수 있다. 일 예로, 집도의가 포인팅 수단(211)을 이용하여 3차원 실시간영상에 가상선 및 가상선에 위치하는 3차원 포인터를 생성하면, 서버(1000)는 3차원 포인터의 3차원위치(x,y,z)로부터 최단 수직 거리에 위치하는 환자의 환부 세그먼트 영역이 선택된 것으로 판단하여, 해당 환부 세그먼트 영역에 선택표시를 제공할 수 있다(S705). 이에, 제1HMD(100) 및 제2HMD(200)를 통해 집도의 및 협진의가 선택영역을 공유할 수 있게 된다.
또한, 집도의는 방향 선택수단(212)을 이용하여 뎁스방향(z)에 대하여 수직방향(x,y)인 특정 방향 신호를 선택함으로써 3차원포인터를 수직방향으로 이동시킬 수 있다. 즉, 서버(1000)는 기 선택 표시된 환부 세그먼트 영역을 기준으로 방향선택수단(212)을 통해 선택된 특정 방향 측으로 근접한 다른 환부 세그먼트 영역이 선택되도록 선택표시를 이동시킬 수 있다(S706).
또한, 3차원 포인팅은 본원발명의 도 8내지 도 10의 컨트롤 기기 등의 다양한 실시 예를 통해 제공될 수도 있다.
(제1실시예)- 컨트롤 기기(500)
도 8을 참조하면, 컨트롤 기기(500)는 제1입력부(501), 제2입력부(502) 및 제어부(503)를 포함할 수 있다. 이때, 제1입력부(501), 제2입력부(502)는 버튼 형태 등으로 몸체에 구비될 수 있다.
제1입력부(501)는 버튼 푸쉬에 의해 입력신호가 수신되면, 제2 HMD(200)에서 출력되는 실시간 영상을 시야고정 모드 또는 시야고정 해지모드로 설정하기 위한 제1제어신호를 출력할 수 있다. 제2 HMD(200)는 제1제어신호를 수신하여 모드를 설정할 수 있다.
또한, 제1입력부(501)에 의해 시야고정 모드가 설정된 상태에서, 제1입력부(502)는 버튼 푸쉬에 의한 입력신호가 수신되면 제2 HMD(200)에 출력되는 실시간 영상에 가상선(3) 및 포인터(p1)를 생성시키는 제2제어신호를 출력할 수 있다.
다음으로, 제어부(503)는 가상선의 뎁스(depth)방향 또는 뎁스 역방향으로의 컨트롤 기기의 본체 움직임을 감지하여 가상선(3) 상에서 포인터(p1->p2)를 이동시키는 제3제어신호를 출력하여 제2 HMD(200)에 디스플레이된 실시간영상에 3차원포인팅할 수 있다.
이때, 포인팅된 위치의 뎁스단계에 매칭된 레이어(L1, L2) 중 선택된 레이어(L2)가 선택표시될 수 있다. 여기서, 레이어는 3차원 환부 영상을 환부 세그먼트 영역으로 나누어 구분한 환부영상이 될 수 있다.
즉, 3차원 포인터(P2)의 위치에서 뎁스방향(z)으로 최단 수직거리에 있는 환부 세그먼트 영역이 선택될 수 있다. 또한, 컨트롤기기(500)의 몸체를 뎁스방향(z)에 수직한 방향(x,y) 즉, 사용자 손을 중심으로 좌우 또는 상하로 움직여 3차원 포인터를 이동시킴으로써 방향선택수단으로 이용하여 다른 환부 세그먼트 영역을 선택할 수도 있다.
(제2실시예)- 컨트롤 기기(500a)
다른 실시 예로, 도 9의 컨트롤 기기(500a)는 건(gun) 형태로 사용자의 그립감 및 편의성이 향상될 수 있다. 구체적으로, 컨트롤 기기(500a)는 헤더부(530a), 입력버튼(511) 및 걸쇠(520)가 구비된 손잡이부(510a) 및 제어부(540)를 포함할 수 있다.
헤더부(530a)는 입력버튼(511)이 푸쉬되는 경우 실시간 영상에 가상선을 생성하여 가상선 방향이 특정위치를 향할 수 있도록 방향을 가이드할 수 있다.
손잡이부(510a)의 입력버튼(511)은 입력신호 수신시 시야고정모드를 설정함과 동시에, 헤더부(530a)를 이용하여 가상선(3) 및 포인터(p1)를 생성할 수 있다. 또한, 입력버튼(511)은 시야고정모드가 설정된 상태에서 재푸쉬하면(입력신호를 재수신) 시야고정 해지모드로 설정할 수 있다.
손잡이부(510a)의 걸쇠(520)는 걸쇠 동작시마다 가상선(3)의 뎁스방향(p1->p2)으로 포인터를 가상선(3) 상에서 이동시키는 제어신호를 출력할 수 있다.
이때, 가상선(3) 상의 기설정 뎁스에 매칭 넘버링된 환부 세그먼트 영역이 걸쇠 동작시 마다 뎁스에 따라 순차적으로 순환하며 제공될 수 있다.
또한, 컨트롤기기(500a)의 몸체를 뎁스방향(z)에 수직한 방향(x,y) 즉, 사용자 손을 중심으로 좌우 또는 상하로 움직여 3차원 포인터를 이동시킴으로써 방향선택수단으로 이용함으로써 다른 환부 세그먼트 영역을 선택할 수도 있다. 한편, 컨트롤기기(500, 500a)는 포인팅수단(211)으로만 이용할 수도 있으며 이 경우, 별도의 풋페달을 방향선택수단(212)으로 이용하여 3차원 포인팅을 제어할 수도 있다.
(제3실시예)- 컨트롤 기기(600)
또 다른 실시예로, 도 10의 컨트롤 기기(600)는 도 9의 컨트롤 기기(500a)에 컨트롤러(500b)가 더 구비된다. 즉, 컨트롤기기(600)는 제1 컨트롤 기기(500b) 및 제2 컨트롤 기기(500a)를 포함한다. 이때, 제2 컨트롤 기기(500a)의 형태는 도 9와 동일하나, 일부 기능에 있어 설정에 따라 달라질 수 있다.
제1 컨트롤 기기(500b)는, 시야고정모드를 설정받기 위한 제1버튼 및 시야고정 해지모드를 설정받기 위한 제2버튼을 구비하는 손잡이(510b)와 가이드 링이 형성된 가이드 헤더부(530b)를 포함할 수 있다.
가이드 헤더부(530b)의 가이드 링을 통해 제2 컨트롤 기기(500a)의 헤드부(530a)의 초점을 맞춰 헤드부(530a)에 의한 가상선 생성 방향을 가이드할 수 있다.
손잡이부(510a)의 입력버튼(511)은 입력신호 수신시 시야고정모드를 설정함과 동시에, 헤더부(530a)를 이용하여 가상선(3) 및 포인터(p1)를 생성할 수 있다. 또한, 입력버튼(511)은 시야고정모드가 설정된 상태에서 재푸쉬하면(입력신호를 재수신) 시야고정 해지모드로 설정할 수 있다.
손잡이부(510a)의 걸쇠(520)는 걸쇠 동작시마다 가상선(3)의 뎁스방향(p1->p2)으로 포인터를 가상선(3) 상에서 이동시키는 제어신호를 출력할 수 있다.
이때, 가상선(3) 상의 기설정 뎁스에 매칭 넘버링된 환부 세그먼트 영역이 걸쇠 동작시 마다 뎁스에 따라 순차적으로 순환하며 제공될 수 있다.
이때, 손잡이부(520)의 걸쇠(520) 동작시마다 가상선(3)의 뎁스방향으로 포인터를 이동(p1->p2)시키는 제어신호를 출력할 수 있다.
이때, 원격협진 지원서버(1000)의 협진 지원부(1100)는 제2 HMD(200)로부터 가상선(3) 상의 특정 포인터 위치(p1, p2 등의 포인터 중 한 위치)를 수신시, 포인터 위치에 대응되는 장기 또는 혈관에 대한 환부 세그먼트 영역을 제1HMD 내지 제3 HMD에서 출력되는 실시간 영상에 삽입하여 제공할 수 있다. 또한, 선택된 환부 세그먼트 영역(L1)을 하위 세그먼트 영역으로 구분하여 제공할 수도 있다.
한편, 집도의의 3차원 포인팅을 중심으로 설명하였으나, 집도의도 동일한 방법으로 환부영역에 3차원 포인팅할 수 있다.
원격협진 지원시스템의 영상태깅
또한, 원격협진 지원시스템은 실시간 수술 진행시, 원격 협진 시 발생되는 협진의 제안, AI기반 추천서버(3000)에 의해 발생되는 추천제안 및 집도의가 직접 설정한 이벤트 등의 발생시, 각 카메라에 의해 촬영되는 실시간 영상에 태깅하여, 이후 수술 집도, 협진, 교육/훈련 및 책임소재 판별 등에 활용할 수 있다.
이를 위해, 원격협진 지원 시스템은 원격협진 지원서버(1000), DB(2000), AI기반 추천서버(3000) 및 영상 중개거래서버(4000)를 구성하며, 도 3을 참고하면, 원격협진 지원서버(1000)의 영상 태깅부(1200)는, UI제공부(1110), 태깅부(1120) 및 책임설정부(1130)를 포함할 수 있다.
도 3을 참조하여, 본원 발명의 일 실시 예에 따른 협진의의 원격 참여 및 실시간 영상 태깅에 대하여 설명하도록 한다.
이때, 원격협진 지원시스템은, 실시간 수술을 촬영하는 카메라 및 촬영영상에 우선순위를 기설정하여, 제2 HMD(200)의 디스플레이부에서 기설정된 우선순위에 따라 순서대로 해당 카메라의 촬영영상이 돌아가며 표시되게 하여, 협진의가 모니터링하며 협진 제안을 결정할 수 있게 한다. 일 예로, 집도의의 제1HMD(100)의 카메라, CCTV, 보조1 등의 순으로 협진의가 설정하거나 협진서버(1100)에서 기설정할 수도 있다.
또한, 협진의의 필요에 따라 특정 카메라를 선택하여 해당 촬영영상을 디스플레이 할 수도 있다.
도 1 내지 도 3을 참고하면, 협진의(20)는 제2 HMD(200)를 통해 집도의(10)의 실시간 수술영상을 모니터링하며, 협진이 필요할 때 제안을 전송할 수 있다.
원격협진 지원서버(1000)의 협진 지원부(1100)는 실시간 수술을 촬영하는 각 카메라로부터 실시간 영상을 수집하여 제2 HMD(200)에 전송할 수 있다.
이때, UI제공부(1110)는, 제2 HMD(200)로부터 협진 제안이 수신되거나, AI기반 추천서버(3000)로부터 제안이 추천되면, 제1 HMD(100)로 제안의 수락여부를 선택받기 위한 UI를 제공할 수 있다. 제안 수락여부에 대한 UI는 도 13와 같이 텍스트 제공 또는 음성 등으로 제공될 수도 있다.
태깅부(1120)는 실시간 수술 중 제안 및 이벤트에 따른 태그 발생시, 집도의의 수락여부에 따라 실시간 영상에 태깅할 수 있다. 이때, 협진의의 제안은 수술진행순서 또는 수술에 포함된 특정처치순서에 대한 제안이 될 수 있다. UI제공부(1110)를 통해, 제안에 대한 수락여부가 수신되면, 태깅부(1120)는 제1 HMD(100)로부터 집도의의 수락여부에 대한 태그를 생성하여, 수집되는 실시간 영상에 태깅할 수 있다.
이때, 태그는, 제안에 따른 실시간 수술에 대한 책임주체정보, 실시간 영상 내의 태깅 위치정보를 포함할 수 있고, 태그에 포함된 정보는 블록체인기반의 분산원장에 저장될 수 있다.
여기서, 태그는 실시간 수술 중 발생되는 협진의의 제안, AI기반 추천서버(3000)에 의해 발생되는 추천제안 및 집도의가 직접 설정한 이벤트 등에 관한 메타데이터로, 실시간 영상에 삽입되는 마킹정보가 될 수 있다.
일 예로, 태그는 협진의의 AR 수술 시연, 협진의 코멘트, 실시간 수술과 유사 또는 동일한 이전 수술 영상, 특정 수술 도구, 음성 또는 텍스트 정보, 바이탈 사인 등 실시간 수술에 이슈가 될 수 있는 모든 정보들이 될 수 있다.
이때, 본원발명의 원격협진 지원시스템은 실시간 영상에 태그를 태깅시, 책임소재를 판별하기 위한 책임주체정보를 삽입할 수 있으며, 실시간 수술의 세부 처치/수술로 구분되는 세부 구간단위로 실시간 수술에 태깅된 태그구간을 구분할 수 있다.
구체적으로, 태깅부(1120)는 제1 HMD(100)로부터 기설정된 특정입력이 수신되면, 타임스탬프를 생성하여 실시간 영상에 태깅하고, 태깅된 복수의 타임스탬프를 기반으로 실시간 수술을 집도의에 의해 정의된 복수의 세부 구간으로 구분할 수 있다.
여기서, 기설정된 특정입력은 제스쳐, 음성명령, 제어신호명령 중 적어도 하나가 되고, 세부 구간은 집도의에 의해 정의된 실시간 수술의 세부 처치 및 수술 시퀀스에 대응되는 구간이 될 수 있다.
도 11은 본 발명의 일 실시 예에 따른 태그 구간 설정을 설명하기 위한 도면이다. 집도의(10)는 실시간 수술에 대한 정보를 협진의(20)에게 사전에 제공할 수 있다.
이때, 사전 제공되는 정보는 실시간 수술의 수술정보, 개략적인 세부 처치 또는 수술 순서 등이 될 수 있다. 이때, 세부 처치 마다 서로 다른 협진의가 원격 참여할 수도 있으며, 협진 지원부(1100)는 참여 세부구간 동안만 실시간 영상을 해당 협진의(20)의 제2HMD(200)로 제공하도록 제한할 수도 있다.
또한, 실시간 수술 중 각 세부구간에 대해, 집도의(10)와 협진의(20)는 현재 진행되고 있는 수술 및 처치에 대한 세부구간이 본인의 책임 구간이라는 플래그(flag)를 띄울 수 있다. 이때, 어느 일방이 플래그를 띄운 상태에서는 해당 세부구간의 태그정보에 어느 일방의 책임구간으로 마킹될 수 있다.
이때, 양쪽 모두 플래그를 들거나, 모두 플래그를 내린 경우, 이 책임구간에 동의하지 않는 사람이 이의신청에 대한 반대(objection) 메시지를 띄울 수 있으며, 협진 지원부(110)는 반대메시지가 표시된 후 일정 시간이 지나면 음성으로 의사소통을 할 수 있도록 지원할 수 있다.
또한, 세부구간에 대해, 누구의 책임구간인지 결정되면, AR제공부(1130)는 해당책임자의 기설정된 아바타를 실시간 수술 영상에 제공하여 실시간 책임구간을 확인할 수 있다.
또한, 집도의(10)가 해당 수술 경험이 부족한 경우, 해당 전문의가 협진의(20)가 되어 원격 협진을 할 수 있다. 이때, 협진지원부(1100)는 협진의(20)가 집도의(10)보다 전문의 경력이나 이번 수술 경험에 대한 평가 수치 데이터가 미리 정해진 값 이상이면, 협진의의 책임 구간으로 실시간 영상에 표시하고, 녹화 영상구간에 연동된 이력 태그정보(메타데이터)로 태깅되는 것을 우선순위로 할 수 있다.
도 11을 참고하면, 일예로 관상동맥 스탠트 시술인 경우, 시술명(관상동맥 스탠트), 환자정보, 세부 처치 또는 순서(마취, 스탠트 등)을 원격 참여하는 협진의에게 제공할 수 있고, 실시간 수술 중 집도의(10)의 특정입력으로 세부 구간을 구분할 수 있다.
이때, 태깅부(1120)는 제1 HMD(100)를 통해 특정입력이 입력되는 시점에 타임스탬프를 삽입하고, 세부구간의 시작 및 끝을 구분시킬 수 있다.
이때, 수술 집도에 따라 양손이 자유롭지 않으므로, 특정입력은 기설정된 제스쳐 또는 음성입력이 되는 것이 바람직하며, 세부 구간의 설정은 실시간 영상 촬영 이후에, 태그 삽입되거나 AI분석 등을 통해 구분될 수도 있다. 또한, 집도의(10)가 아닌 실제 수술현장(1)에 참여한 보조의 음성 등으로 입력될 수도 있다.
UI제공부(1110)는, 제2 HMD(200) 또는 AI기반 추천서버(3000)로부터 제안을 수신하면, 도 12의 (a) 같이, 협진 제안을 UI와 함께 제1 HMD(100)로 미리보기 제공할 수 있다.
도 12는 본 발명의 일 실시 예에 따른 협진 제안을 수신한 제1HMD의 디스플레이 화면을 설명하기 위한 도면이다.
도 12를 참고하면, (a)는 집도의의 제1 HMD(100)에 출력되는 화면으로, 제1HMD(100)에서 실시간 촬영되는 실시간 영상(71)과, 협진 제안된 미리보기 제안내용 및 제안 수락여부를 문의하는 UI(72)가 표시될 수 있다.
또한, (b)는 협진의의 제안 수신시, 보조1의 제3 HMD(100-1)에 출력되는 화면이고, (c)는 협진의의 제안 수신시, 보조2의 제3 HMD(100-1)에 출력되는 화면이 될 수 있다. 이때, 보조1 및 보조2에 수신된 제안은 집도의의 제안수락에 따라 수신되는 정보가 될 수 있다. 즉, 집도의의 HMD(100)에도 (b) 및 (c)에 대한 제안이 표시될 수 있고, 보조1 및 보조2는 집도의에 의해 수락된 제안에 따라 보조를 수행할 수 있다. 즉, 이벤트 발생에 따른 수락여부는 집도의가 결정할 수 있다.
즉, 도 12의 (b)와 같이, 원격지에 있는 협진의는 수술에 필요한 '가상의 수술도구'에 대한 셋팅을 하여 수술참가자들(10,11,12)의 HMD에 보여줄 수 있으며 이 셋팅을 보고 수술참가자들이 미리 '실제 수술도구'를 준비할 수 있다.
또한, 협진의는 가상의 수술도구를 실시간 영상의 특정 환부에 매핑하여 집도의에게 사용될 수술도구를 제안할 수 있으며, 수술도구를 이용하여 처치가 필요한 시간 타이머 또는 처치 순서를 제안할 수 있다. 이때, 제안된 수술도구, 처치 시간 타이머, 처치 순서 등은 AR데이터로 HMD를 통해 실시간영상에 제공될 수 있다.
제1 HMD(100)에서 제안이 수락되면, 제안 수신에 따른 인증을 수행한 후 실시간 영상에 제안에 대응되는 AR데이터(텍스트, 영상, 이미지, 음성 등)를 태깅하여 제1 HMD(100) 및 제2 HMD(200)로 디스플레이할 수 있다.
여기서, 인증은 제안을 제공한 제2HMD(200)와 제안을 수신한 제1HMD에서 동시에 수행될 수 있다. 도 13을 참조하면, 책임 설정부(1130)는 제1 HMD(100) 및 제2 HMD(200)로부터 서명을 수신하여 기저장하고, 제안 및 제안수락에 따라 서명 인증화면을 공유할 수 있도록 제1 HMD(100) 및 제2 HMD(200)에 디스플레이할 수 있다.
도 13의 (a)와 같이, 제2HMD(200)로부터 협진의(20)에 의한 제안이 수신되면, 제안과 함께 제안 책임에 대한 기설정된 협진의 서명을 자동 수행하는 협진의 아바타를 제1 HMD(100) 및 제2 HMD(200)로 제공할 수 있다.
또한, 도 13의 (b)와 같이, 제1 HMD(100)에서 제안을 수락시 제안수락 책임에 대한 기설정된 집도의 서명을 자동 수행하는 집도의 아바타를 제1 HMD 및 제2 HMD로 제공할 수 있다.
또한, 집도의(10) 및 협진의(20)가 자동서명에 대한 조건을 설정하는 경우, 해당 아바타가 자동 서명을 수행할 수도 있다. 구체적으로, 책임설정부(1130)는 협진의(20) 및 집도의(10)에게 사전 설문한 설문조사결과 또는 협진의/집도의가 추천하는 수술영상의 수술 스타일에 대한 데이터를 수집하여 협진의(20) 및 집도의(10) 각각에 해당하는 아바타 속성(자동서명 조건)을 협진의 및 집도의 각각의 단말기(HMD 또는 사용자단말기 등)로 제공하여, 아바타 속성을 지정할 수도 있다.
일 예로, 협진의는 집도의 및 참여자들(보조1,보조2)에게 수술 전이나 수술 중에 기녹화된 다른 수술영상을 추천할 수 있다. 원격협진 지원서버(1000)는 이러한 추천된 수술영상들의 메타데이터를 이용하여 협진의가 선호하는 수술스타일을 통계적으로 추출하여 파악할 수 있다.
이를 통해, 집도의가 실시간 수술 중 발생되는 제안 수락여부에 일일이 대응하지 않고도, 제안을 수락하고 책임에 동의할 수 있다.
이때, 제안이 제2 HMD(200)로부터 수신된 협진의 제안이면, 태그에는 제1HMD(100)를 착용한 집도의(10)의 제안 수락 책임 및 제2HMD(200)를 착용한 협진의(20)의 제안 책임이 책임소재정보로 기록할 수 있다.
이때, 제안은 제1 HMD(100)뿐 아니라, 제안의 특징에 따라 보조1 또는 보조2의 역할을 기반으로 해당 제3 HMD(300)로 제공될 수도 있다.
또한, 제2 HMD(200)는 제안을 직접 설정하여 제1 HMD(100)로 전송할 수도 있고, AI기반 추천 서버(3000)로부터 제1 HMD(100)에 제안할 제안정보를 제안받아 제1 HMD(100)로 제공할 수도 있다.
또한, 제1 HMD(100)는 AI기반 추천 서버(3000)로부터 직접 제안을 추천(자동제안)받을 수도 있다.
이때, 제안은 태그구간의 태그구간정보 즉, 세부구간에 대응되는 처치, 수술, 시술별로 제안될 수 있고, 유사/동일한 추천 태그가 발생되는 경우, AI기반 추천서버(3000)는 기설정된 태그 중요도, 처치/수술 난이도 등을 고려하여 기설정된 우선순위에 따른 최적의 태그정보를 제안할 수 있다.
(제1실시예) 제안 - 제2 HMD가 제1 HMD에직접 제안
DB(2000)는 적어도 하나의 태그가 태깅된 수술영상을 저장하며, 병원/의사별, 환자상태별, 처치 및 수술 카테고리별 등의 분류기준으로 분류하여 저장될 수 있다.
도 14를 참조하면, 제2 HMD(200)는, 제1 HMD(100)에서 촬영되는 실시간 영상을 출력하는 제1화면(미도시) 및 실시간 수술시 제안할 수 있는 적어도 하나의 제안을 미리보기 윈도우로 표시한 제2화면(도 14) 중 적어도 한 화면을 선택적으로 출력할 수 있다. 이때, 제1화면 및 제2화면은 협진 지원부(1100)에 의해 제공될 수 있다.
제2 HMD(200)는, DB(2000)에 저장된 수술영상에 태깅된 태그 중 적어도 하나를 관심태그로 미리보기 윈도우에 불러올 수 있고, 관심태그의 표시시간과 표시간격을 설정 받을 수 있다. 상기 협진 지원부(1100)는, 제2 HMD(200)의 설정에 따라 관심태그를 제2화면의 미리보기 윈도우로 출력할 수 있다.
제2 HMD(200)는 관심태그를 제1 HMD(100)로 설정에 따라 선택적으로 또는 자동으로 제안할 수 있다.
(제2실시예) 제안 - AI기반 추천된 제안을 제2 HMD가 제1 HMD에 제안
AI기반 추천 서버(3000)는 협진의의 이전 수술영상으로부터 실시간 수술과 유사한 유사수술에 태깅된 태그들을 추출하여, 미리보기 윈도우로 추천할 수 있다.
여기서, 이전 수술영상은 협진의가 집도의 또는 협진의로 참여했던 수술에 대한 영상, 협진의가 재생했던 수술영상 등이 될 수 있다.
협진의는 추천된 미리보기 윈도우의 태그를 설정에 따라 제1 HMD(100)에 선택적으로 또는 자동으로 제안할 수 있다.
(제3실시예) 제안 - AI기반 추천된 제안을 협진의의 제안으로 제1 HMD에 자동 제안
AI기반 추천부(3000)는 DB(2000)로부터 협진의가 참여했던 이전 수술 영상 중, 실시간 수술과 유사한 유사 수술시 태깅된 태그가 현재 실시간 수술 중에 제안되지 않은 경우, 유사 수술시 태깅된 태그를 협진의의 제안으로 제1 HMD에 자동 제안할 수 있다.
이 경우, AI기반 추천서버(3000)는, 유사 수술시 태깅된 태그의 태깅지점 및 태깅간격을 기반으로, 상기 실시간 영상에서 제안되는 태그의 태깅지점 및 태깅간격을 결정하여 제1 HMD로 자동 제안할 수 있다.
(제4실시예) 제안 - 책임 동의 자동 설정에 대응되는 AI기반 추천 제안
제1 HMD(100) 및 제2 HMD(200)는 수술 카테고리별 및 환자 상태별로 기정의된 특정 처치 또는 수술에 대해 책임 동의를 자동 설정할 수 있다.
책임 설정부(1130)는 HMD별 책임 동의가 자동 설정된 특정 처치 또는 수술에 대해 AI기반 추천 서버(3000)에 추천을 요청할 수 있다.
또한, 책임 설정부(1130)는 각 HMD별로 기정의된 특정 처치 또는 수술에 대한 제안이 발생되면, 책임 동의가 자동 설정된 해당 HMD의 기설정된 서명을 자동 수행하는 아바타를 해당 HMD로 제공하여 인증을 수행할 수 있다.
AI기반 추천서버(3000)는 DB(2000)에 기저장된 수술영상 중 상기 실시간 수술과 유사한 유사수술에 포함된 세부 구간이, 제2HMD(200)에 의해 책임동의가 설정된 기정의된 특정 처치 또는 수술에 대응되면, 세부 구간에 포함된 태그들을 제1HMD(100)로 자동 제안할 수 있다.
이때, 태깅부(1120)는 책임 동의가 자동 설정된 기정의된 특정 처치 또는 수술에 대한 제안을 수신시 실시간 영상에 자동 태깅할 수 있다.
또한, 책임설정부(1130)는 각 HMD별로 기정의된 특정 처치 또는 수술에 대한 제안이 발생되면, 책임 동의가 자동 설정된 해당 HMD의 기설정된 서명을 자동 수행하는 아바타를 제1 HMD 및 상기 제2 HMD로 제공할 수 있다.
(제5실시예) 제안 - 수술시 HMD별 필수 태그 자동 제안
AI기반 추천서버(3000)는 실시간 수술에 대한 각 HMD별 착용자의 정보 중 이번 실시간 수술에서의 역할정보(협진의, 보조1, 보조2)를 기반으로, 각 HMD에서 필수 재생이 필요한 태그를 추출하여 대응되는 HMD로 자동 제안할 수 있다.
한편, 상기에서는 실시간 수술 중 협진의의 제안에 따른 집도의의 수락여부에 따라, 세부구간에 대한 책임소재를 태깅하는 것에 대해 설명하였다. 이와 달리, 협진 지원부(1100)는 집도의와 협진의가 수술 시작전에 미리 수술 책임 구간에 대해서 협의를 한 경우에는 전체 수술 구간을 미리 알려진 처치들로 나누어 도 11의 (a)와 같이 세부구간들로 구분하여 각 HMD에 출력되는 실시간영상에 제공할 수 있으며, 미리 알려진 처치들에 대응되는 세부구간에 기협의된 책임주체를 매칭하여 태깅할 수 있다.
이때, 현재 집도의가 진행하는 처치가 미리 알려진 처치들에 해당되는지 판단할 필요가 있으며, 이는 기존 수술영상들에 포함된 데이터를 기계학습하여 생성된 모델 등을 통해 판단할 수 있다.
일 예로, 원격협진 지원서버(1000)는 기협의된 전체 수술이 피부절개, 혈관 클램핑, 양측 혈관연결 등의 순서로 진행되는 경우, 각 처치/수술은 세부구간으로 구분하여 실시간 영상에 제공할 수 있고, 집도의가 ‘미리 협진의가 지정한 순서’에서 지정한 처치를 수행한 것으로 판단되면 기설정된 협진의의 아바타가 책임구간에 서명하는 AR데이터를 실시간영상에 제공할 수 있다.
이와 같이, 본원발명의 원격지원 협진시스템은 상기와 같이 다양한 실시예의 방법들을 통해 실시간 수술에서 이슈가 될 수 있는 태그들을 추출하고, 실시간 영상에 태깅할 수 있다. 이때, 각 실시예들은 개별 또는 병합될 수도 있다.
특히, 협진의의 수술진행순서 또는 특정처치순서 제안에 따른 태그의 태깅시 집도의의 수락여부에 따른 책임주체정보를 태그정보로 기록함으로써 책임소재 판별에 용이하게 이용될 수 있다.
한편, 태깅부(1120)는 실시간 영상에 태깅시, 환자가 개인정보 보호를 위해 검열요청한 부분이 있는 경우 마스킹하여 처리하거나, 동시간대의 다른 실시간영상 부분으로 대체할 수도 있다.
원격협진 지원서버(1000)는 실시간 수술 중 복수 개의 태그가 태깅된 수술영상을 DB(2000)에 저장할 수 있다. 이때, 저장되는 수술영상들은 집도의, 협진의 및 교육/훈련생들이 목적에 따라 활용되도록 제공될 수 있다. 본원발명의 원격협진 지원시스템은 영상 중개 서버(4000)를 통해 수술영상을 활용하도록 중개하고, 활용에 따른 수익을 분배하는 수술영상 중개시스템으로 구현될 수도 있다.
태그를 포함하는 수술영상의 거래 및 사용을 위한 중개시스템
도 15는 도 1의 영상 중개 서버의 구성을 설명하기 위한 블록도이다. 도 16은 원격 협진 지원시스템의 블록체인 구조를 설명하기 위한 도면이다.
도 15를 참고하면, 영상중개서버(4000)는 NFT 관리부(4100), 영상 거래부(4200), 검색부(4300) 및 UI제공부(4400)를 포함할 수 있다.
또한, 도 16을 참고하면, 원격 협진 지원시스템은 회원 병원사의 병원서버(a 내지 n)와 블록체인 네트워크를 형성할 수 있으며, 각 병원서버(a 내지 n)를 통해 실시간 수술시 생성되는 수술영상을 수집하고, 활용을 위한 수술영상을 제공할 수 있다.
NFT 관리부(4100)는 각 병원서버(a 내지 n)로부터 수술영상이 DB(2000)에 저장 수집되면, 수집된 수술영상에 고유ID를 부여하여 해당 병원사에 NFT(Non-Fungible Token)기반 소유권을 발행할 수 있다.
영상 중개 서버(4000)는 수술영상 또는 수술영상에 포함된 태그에 대한 제3자의 사용자 단말로부터 매매 또는 사용 발생시, 매매 또는 사용에 따른 사용료를 암호화화폐를 이용하여 정산하여 관리할 수 있다.
또한, 영상 중개 서버(4000)는 특정 병원서버로부터 소유권을 갖고 있는 수술영상에 대해 분할매도가 요청되면, 수술영상에 포함된 각 태그구간에 고유ID를 부여하여 태그구간별 NFT 소유권을 발행할 수 있다. 이에, 태그구간별 수술 또는 처치 영상에 대한 분할 매매를 제공할 수도 있다.
NFT 관리부(4100)는 병원서버별 수술영상의 거래시 기설정된 비용이 정산되면, NFT 소유권을 매도한 병원사로 이전 관리할 수 있다.
또한, NTF 관리부(4100)는, 수술영상 사용을 요청한 사용자단말기의 소속 병원사와 사용자단말기에 의해 요청된 수술영상의 소유권자를 비교하여, 동일하지 않으면 즉, 소유권이 없는 제3자의 사용자단말기로 판단하여, 영상 거래부(4200)에 사용료 산출을 요청할 수 있다.
영상 거래부(4200)는, 사용자 단말기에서 사용을 요청한 수술영상에 포함된 태그의 개수 및 태그별 기설정된 중요도를 기반으로 사용료를 산출할 수 있다.
여기서, 태그는, 태그정보, 책임주체정보, 해당 수술 영상 내 태그구간, 태그구간 정보, 태그구간 정보 입력자, NFT기반 소유권 정보, 매매 및 사용 이력, 토큰 정산 정보 중 적어도 하나를 포함할 수 있다.
여기서, 수술 영상 내 태그구간은, 수술 영상에 포함된 세부 처치 또는 세부 수술에 의해 구분되는 구간이 될 수 있다. 또한, 태그구간 정보는, 상기 세부 처치 또는 세부 수술 정보가 되며, 태그구간 정보 입력자는, 세부 처치 또는 세부 수술을 수행한 집도의 또는 협진의가 될 수 있다.
사용자단말기의 사용 및 병원서버별 매매에 따라, 태그에 포함된 정보가 변경되거나, 새로운 신규정보가 발생되면, 블록체인 네트워크 내 노드들의 합의를 통해 갱신정보에 따른 블록체인을 분산원장에 추가하여 갱신할 수 있다.
또한, 영상 거래부(4200)는, 특정 사용자단말기에서 태그구간 정보를 이용 시, 해당 사용자단말기로 징수된 사용료에 기반하여 해당 태그구간 정보 입력자에게 암호화화폐를 적립해 줄 수 있다.
검색부(4300)는 DB(2000)에 저장된 태그의 태그 정보, 태그 구간 정보를 기반으로 영상 재생 목적에 따른 검색 서비스를 제공하여 사용자단말기별 필요한 수술영상 및 태그를 활용할 수 있게 한다.
여기서, 사용자단말기는, 실시간 수술을 집도하는 집도의, 상기 실시간 수술을 협진하는 협진의, 상기 실시간 수술에 참여하는 적어도 하나의 보조 및 교육 훈련생 중 적어도 하나가 착용하는 HMD(100, 100-1, 100-2, 200, 500)가 될 수 있다.
AI기반 추천서버(3000)는 사용자단말기로부터 참여 수술 정보를 수신시, 유사수술에 대한 수술영상 및 태그를 추천 제공할 수 있다.
또한, AI기반 추천 서버(3000)는 사용자단말기로부터 참여 수술에 대한 사용자 역할정보를 입력받으면, 사용자 역할정보를 기반으로 유사수술에 포함된 태그를 필수재생태그로 추천할 수도 있다.
UI제공부(4400)는 AI기반 추천 서버(3000)에 의해 사용자단말기로 추천된 유사수술에 포함된 복수 개의 태그에 대해, 사용목적에 맞게 사용 또는 제거를 선택받기 위한 목록을 해당 사용자단말기로 제공할 수 있다.
UI제공부(4400)는 사용자단말기의 역할 정보를 기반으로, 사용자단말기별 필수 재생 태그정보를 기설정하고, 기설정된 필수 재생 태그정보에 대응되는 태그는 상기 목록에서 제외시켜 제공할 수 있다.
이때, 영상거래부(4200)는, 해당 사용자단말기에 의해 사용 또는 제거된 태그 개수를 반영하여 사용료를 산출하여 정산할 수 있다.
이와 같이, 본 발명의 중개시스템은 태그를 포함하는 수술영상에 NFT기반 소유권을 부여하여 사용 및 거래를 중개함으로써, 투명하고 신뢰성있는 거래를 중개할 수 있고, 거래 수익을 분배할 수 있다.
또한, AI기반 추천을 통해 사용자(집도의, 협진의, 보조1, 보조2, 교육훈련생)의 재생목적에 따른 최적의 수술영상 및 태그를 제공할 수 있고, 수술영상의 활용도를 높일 수 있다.
본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 수정 실시될 수 있다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 실제 수술현장에서 집도의가 착용하되, 상기 집도의의 시선 응시영역 및 주변영역을 촬영하는 카메라 및 상기 카메라에 의해 촬영되는 실시간 영상을 출력하는 디스플레이부를 포함하는 제1 HMD;
    상기 집도의로부터 원격에 위치하는 협진의가 착용하며, 상기 실시간 영상을 수신하여 출력하고, 수신되는 제어신호에 따라 상기 실시간 영상에 가상선 및 3차원 포인터를 생성하는 제2 HMD;
    상기 협진의의 위치제어에 대응되는 제어신호를 발생하되, 상기 가상선을 따라 뎁스 방향으로 상기 3차원 포인터를 이동시키는 포인팅 이동수단; 및
    상기 제1 HMD 및 제2 HMD의 실시간 영상에, 상기 3차원 포인터로부터 최단 거리에 위치한 환자의 환부 세그먼트 영역을 선택표시하는 원격협진 지원서버;를 포함하는, 원격협진지원을 위한 3차원 포인팅시스템.
  2. 제1항에 있어서,
    상기 뎁스방향에 대하여 수직방향인 특정 방향 신호가 입력되면, 상기 선택표시된 환부 세그먼트 영역에 대해 특정 방향 측으로 근접한 다른 환부 세그먼트 영역으로 상기 선택표시를 이동시키는 방향 선택수단;을 더 포함하는, 원격협진지원을 위한 3차원 포인팅시스템.
  3. 제1항에 있어서,
    상기 환자의 환부 세그먼트 영역은,
    상기 환자의 환부와 동일 병력을 가진 다른 환자들의 환부영상 이력을 학습하여 통계적으로 결정되는, 원격협진지원을 위한 3차원 포인팅시스템.
  4. 제1항에 있어서,
    상기 환자의 환부 세그먼트 영역은,
    인도시아닌그린(ICG, indocyanine green) 염색을 통해 확인된 환부 영역을 반영하여 구분되어지는, 원격협진지원을 위한 3차원 포인팅시스템.
  5. 제4항에 있어서,
    상기 환자의 환부 세그먼트 영역은,
    해당 환부에 대한 혈관 배치구조, 주변 다른 장기의 배치구조, 상기 집도의와 협진의의 시점에서 관찰되는 환부 영역간의 뎁스 차이를 기반으로 복수개의 하위 세그먼트로 구분되는, 원격협진지원을 위한 3차원 포인팅시스템.
  6. 제2항에 있어서,
    상기 제1 HMD의 카메라는, 상기 집도의의 시선 응시영역을 촬영하는 제1카메라 및 주변영역을 촬영하는 제2카메라를 포함하고,
    상기 제2 HMD는,
    상기 제1카메라의 촬영시야에 대응되는 실시간 영상만을 제공하는 시야고정모드; 또는 상기 제2 HMD의 움직임시마다 움직임 방향에 대응되는 제1카메라 또는 제2카메라의 촬영시야에 따른 실시간 영상을 제공하는 시야고정 해지모드;를 제공하는, 원격협진지원을 위한 3차원 포인팅 시스템.
  7. 제6항에 있어서,
    상기 포인팅수단 및 방향선택수단은, 상기 시야고정모드에서 상기 3차원 포인터의 이동을 제어는, 원격협진지원을 위한 3차원 포인팅시스템.
  8. (a) 실제 수술현장에서 집도의가 착용하는 제1 HMD가, 상기 집도의의 시선 응시영역 및 주변영역을 촬영하여 디스플레이부에 실시간 영상을 출력하는 단계;
    (b) 상기 집도의로부터 원격에 위치하는 협진의가 착용하는 제2 HMD가, 서버를 통해 상기 실시간 영상을 수신하여 출력하는 단계;
    (c) 포인팅 이동수단이, 상기 협진의의 위치제어에 대응되는 제어신호를 발생하되, 상기 실시간 영상에 가상선 및 3차원 포인터를 생성시키는 단계;
    (d) 포인팅 이동수단이, 상기 가상선을 따라 뎁스 방향으로 상기 3차원 포인터를 이동시키는 단계; 및
    (e) 상기 서버가, 제1 HMD 및 제2 HMD의 실시간 영상에, 상기 3차원 포인터로부터 최단 거리에 위치한 환자의 환부 세그먼트 영역을 선택표시하는 단계;를 포함하는, 원격협진지원을 위한 3차원 포인팅방법.
  9. 제8항에 있어서,
    (f) 상기 서버가, 방향 선택수단을 통해 상기 뎁스방향에 대하여 수직방향인 특정 방향 신호가 입력되면, 상기 선택표시된 환부 세그먼트 영역에 대해 특정 방향측으로 근접한 다른 환부 세그먼트 영역으로 상기 선택표시를 이동시키는 단계;를 더 포함하는, 원격협진지원을 위한 3차원 포인팅방법.
  10. 제8항에 있어서,
    상기 환자의 환부 세그먼트 영역은,
    상기 환자의 환부와 동일 병력을 가진 다른 환자들의 환부영상 이력을 학습하여 통계적으로 결정되는, 원격협진지원을 위한 3차원 포인팅방법.
  11. 제8항에 있어서,
    상기 환자의 환부 세그먼트 영역은,
    인도시아닌그린(ICG, indocyanine green) 염색을 통해 확인된 환부 영역을 반영하여 구분되어지는, 원격협진지원을 위한 3차원 포인팅방법.
  12. 제11항에 있어서,
    상기 환자의 환부 세그먼트 영역은,
    해당 환부에 대한 혈관 배치구조, 주변 다른 장기의 배치구조, 상기 집도의와 협진의의 시점에서 관찰되는 환부 영역간의 뎁스 차이를 기반으로 복수개의 하위 세그먼트로 구분되는, 원격협진지원을 위한 3차원 포인팅방법.
  13. 제9항에 있어서,
    상기 제1 HMD의 카메라는, 상기 집도의의 시선 응시영역을 촬영하는 제1카메라 및 주변영역을 촬영하는 제2카메라를 포함하고,
    상기 제2 HMD는,
    상기 제1카메라의 촬영시야에 대응되는 실시간 영상만을 제공하는 시야고정모드; 또는 상기 제2 HMD의 움직임시마다 움직임 방향에 대응되는 제1카메라 또는 제2카메라의 촬영시야에 따른 실시간 영상을 제공하는 시야고정 해지모드;를 제공하는, 원격협진지원을 위한 3차원 포인팅방법.
  14. 제13항에 있어서,
    상기 (c) 내지 (f)단계는, 시야고정모드에서 수행되는, 원격협진지원을 위한 3차원 포인팅방법.
  15. 제8항 내지 제14항 중 어느 한 항에 의한 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2022/004045 2022-03-17 2022-03-23 원격협진지원을 위한 3차원 포인팅시스템 및 그 제어방법 WO2023177003A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0033110 2022-03-17
KR1020220033110A KR102458495B1 (ko) 2022-03-17 2022-03-17 원격협진지원을 위한 3차원 포인팅시스템 및 그 제어방법

Publications (1)

Publication Number Publication Date
WO2023177003A1 true WO2023177003A1 (ko) 2023-09-21

Family

ID=83803969

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/004045 WO2023177003A1 (ko) 2022-03-17 2022-03-23 원격협진지원을 위한 3차원 포인팅시스템 및 그 제어방법

Country Status (2)

Country Link
KR (1) KR102458495B1 (ko)
WO (1) WO2023177003A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016158000A1 (ja) * 2015-03-30 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
KR20190102060A (ko) * 2017-01-11 2019-09-02 매직 립, 인코포레이티드 의료 보조기
KR102099350B1 (ko) * 2019-06-07 2020-04-09 주식회사 뷰노 의료 영상에서 병변의 정량화를 보조하는 방법 및 이를 이용한 장치
KR20200079617A (ko) * 2018-12-26 2020-07-06 쓰리디메디비젼 주식회사 수술 동영상 생성 시스템
JP2021051573A (ja) * 2019-09-25 2021-04-01 キヤノン株式会社 画像処理装置、および画像処理装置の制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200001266A (ko) 2018-06-27 2020-01-06 (주)유신씨앤씨 원격 협진 서비스 제공 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016158000A1 (ja) * 2015-03-30 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
KR20190102060A (ko) * 2017-01-11 2019-09-02 매직 립, 인코포레이티드 의료 보조기
KR20200079617A (ko) * 2018-12-26 2020-07-06 쓰리디메디비젼 주식회사 수술 동영상 생성 시스템
KR102099350B1 (ko) * 2019-06-07 2020-04-09 주식회사 뷰노 의료 영상에서 병변의 정량화를 보조하는 방법 및 이를 이용한 장치
JP2021051573A (ja) * 2019-09-25 2021-04-01 キヤノン株式会社 画像処理装置、および画像処理装置の制御方法

Also Published As

Publication number Publication date
KR102458495B1 (ko) 2022-10-25

Similar Documents

Publication Publication Date Title
KR100819819B1 (ko) 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템 및 삼차원 실체 디지털 확대경 시스템을 위한 삼차원 시각 지시 방법
Rolland et al. Comparison of optical and video see-through, head-mounted displays
JP3618381B2 (ja) ビジュアルインフォメーションシステム並びに画像表示方法
CN104918572B (zh) 用于外科手术的视频捕获和显示的数字系统
Rolland et al. Optical versus video see-through head-mounted displays in medical visualization
RU2591648C2 (ru) Беспроводная хирургическая лупа
AU2012227252B2 (en) Surgical Stereo Vision Systems And Methods For Microsurgery
WO2016144005A1 (ko) 증강현실영상 투영 시스템
JP2002207832A (ja) インターネット技術指導教育配信システム、及び通信網を利用した指導システム
WO2017164573A1 (en) Near-eye display apparatus and near-eye display method
WO2020032469A1 (ko) 가상현실 이벤트 제공방법, 장치 및 프로그램
WO2019124111A1 (ja) 制御装置および制御方法
Thia et al. Video recording in ophthalmic surgery
Rolland et al. Optical versus video see-through head-mounted displays
WO2023177003A1 (ko) 원격협진지원을 위한 3차원 포인팅시스템 및 그 제어방법
WO2023177002A1 (ko) 실시간 수술영상 태깅이 가능한 원격협진지원시스템
Zhang et al. Coaxial projective imaging system for surgical navigation and telementoring
Kim et al. See-through type 3D head-mounted display–based surgical microscope system for microsurgery: a feasibility study
WO2012015093A1 (ko) 원격진료방법 및 전자기기
WO2019164270A1 (ko) 수술 최적화 방법 및 장치
WO2022029565A1 (en) Jig assembled on stereoscopic surgical microscope for applying augmented reality techniques to surgical procedures
WO2018151382A1 (ko) 카메라 기능이 구비된 망원경 및 이를 이용한 영상표시방법
Yu et al. EyeRobot: enabling telemedicine using a robot arm and a head-mounted display
KR20230135754A (ko) 태그가 포함된 수술영상의 거래 및 사용을 위한 중개시스템
Khoa et al. Frugal Exoscope: A Minimal Cost Option for Microsurgery and Training Program in Male Infertility

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22932370

Country of ref document: EP

Kind code of ref document: A1