KR20240065445A

KR20240065445A - Method and device for offering video related with medical robot

Info

Publication number: KR20240065445A
Application number: KR1020220141472A
Authority: KR
Inventors: 김덕석; 최보경; 김재경
Original assignee: 주식회사 엠티이지
Priority date: 2022-10-28
Filing date: 2022-10-28
Publication date: 2024-05-14

Abstract

전체 시간 구간에 대해서 의료 로봇의 동작을 나타내는 전체 로봇 영상을 획득하는 단계, 전체 로봇 영상에 대해 영상 처리를 수행하는 복수의 분산 추론 엔진으로부터 복수의 분산 추론 결과를 획득하는 단계, 복수의 분산 추론 결과에 기초하여 전체 로봇 영상 중 필요 로봇 영상을 획득하는 단계 및 필요 로봇 영상 및 필요 로봇 영상에 대응되는 의료 로봇 제어 파라미터를 연동하여 제공하는 단계를 포함하는, 의료 로봇과 관련하여 영상을 제공하는 방법 그 방법에 대한 디바이스 및 기록매체가 개시된다.Obtaining an entire robot image representing the motion of the medical robot for the entire time section, obtaining a plurality of distributed inference results from a plurality of distributed inference engines that perform image processing on the entire robot image, and a plurality of distributed inference results. A method of providing an image in relation to a medical robot, comprising acquiring a necessary robot image among all robot images based on the required robot image and providing a medical robot control parameter corresponding to the necessary robot image in conjunction with the required robot image. A device and recording medium for a method are disclosed.

Description

{Method and device for offering video related with medical robot}

본 개시의 기술 분야는 의료 로봇과 관련하여 영상을 제공하는 방법 및 디바이스에 관한 것으로, 의료 로봇의 영상에 대해서 분산 추론 엔진을 적용하는 기술 분야와 관련된다.The technical field of the present disclosure relates to methods and devices for providing images in relation to medical robots, and to the technical field of applying a distributed inference engine to images of medical robots.

최근 다양한 분야에서는 동영상을 통해 정보를 전달하고 있다. 영상 매체는 현장을 그대로 기록 할 수 있으며, 시청자로 하여금 시청각적인 효과를 통해 내용 전달을 보다 효과적으로 할 수 있다. 이러한 영상 매체의 장점에 의해 여러 분야에서 동영상을 활용한 정보 전달이 이루어지고 있다. 일 예로 동영상 시장의 선도 주자인 유튜브는 키워드에 대한 검색엔진을 통해 사용자가 원하는 정보를 보다 효과적으로 제공하고 있다.Recently, information has been delivered through video in various fields. Video media can record the scene as is and allow viewers to convey content more effectively through audio-visual effects. Due to the advantages of these video media, information delivery using video is being carried out in various fields. For example, YouTube, a leader in the video market, provides users with the information they want more effectively through a search engine for keywords.

그러나 아직까지 의료 로봇과 연계하여 영상을 제공하는 구체적인 방법에 대해서는 개발 중에 있는 현황이다. 특히 의료 교육과 관련하여 의료 로봇이 이용될 수 있으며 이러한 교육의 과정에서 의료 영상이 매우 유용하게 활용될 수 있다는 점에서 관련된 기술의 개발이 요구된다.However, specific methods for providing images in conjunction with medical robots are still under development. In particular, medical robots can be used in relation to medical education, and medical images can be very useful in the process of such education, so the development of related technology is required.

특히 의료 로봇의 경우 매우 미세한 제어가 수행된다는 점에서 교육을 진행하는데 어려움이 있다.In particular, in the case of medical robots, it is difficult to conduct training because very fine control is performed.

한국등록특허 제 10-2367635 호 (2022.02.22) 치과 임플란트 수술 보조용 로봇시스템Korean Patent No. 10-2367635 (2022.02.22) Robotic system for assisting dental implant surgery

본 개시에서 해결하고자 하는 과제는 의료 로봇과 관련하여 영상을 제공하는 방법 및 디바이스에 대한 것으로, 의료 로봇의 영상에 대해서 분산 추론 엔진을 적용하는 방법이 개시된다.The problem to be solved in this disclosure concerns a method and device for providing images in relation to medical robots, and a method of applying a distributed inference engine to images of medical robots is disclosed.

본 개시에서 해결하고자 하는 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.The problems to be solved by this disclosure are not limited to the technical problems described above, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로써, 본 개시의 제 1 측면에 따른 의료 로봇과 관련하여 영상을 제공하는 방법에 있어서, 전체 시간 구간에 대해서 의료 로봇의 동작을 나타내는 전체 로봇 영상을 획득하는 단계; 상기 전체 로봇 영상에 대해 영상 처리를 수행하는 복수의 분산 추론 엔진으로부터 복수의 분산 추론 결과를 획득하는 단계; 상기 복수의 분산 추론 결과에 기초하여 상기 전체 로봇 영상 중 필요 로봇 영상을 획득하는 단계; 및 상기 필요 로봇 영상 및 상기 필요 로봇 영상에 대응되는 의료 로봇 제어 파라미터를 연동하여 제공하는 단계;를 포함할 수 있다. As a technical means for achieving the above-described technical problem, in the method of providing an image in relation to a medical robot according to the first aspect of the present disclosure, obtaining an entire robot image representing the operation of the medical robot for the entire time interval step; Obtaining a plurality of distributed inference results from a plurality of distributed inference engines that perform image processing on the entire robot image; Obtaining a necessary robot image from among the entire robot images based on the plurality of distributed inference results; and providing the necessary robot image and medical robot control parameters corresponding to the necessary robot image in conjunction with each other.

또한, 상기 복수의 분산 추론 엔진은 상기 전체 로봇 영상에 대해서 각각 서로 상이한 객체를 추론할 수 있다.Additionally, the plurality of distributed inference engines may each infer different objects from the entire robot image.

또한, 상기 필요 로봇 영상을 획득하는 단계는 상기 복수의 분산 추론 결과에 기초하여 의료 교육에 필요하다고 결정되고, 상기 전체 로봇 영상 중 일부인 제 1 부분 영상 및 제 2 부분 영상을 상기 전체 로봇 영상으로부터 획득하는 단계; 및 상기 제 1 부분 영상 및 상기 제 2 부분 영상을 연결하여 상기 필요 로봇 영상을 획득하는 단계;를 포함할 수 있다. In addition, the step of acquiring the necessary robot image is determined to be necessary for medical education based on the plurality of distributed inference results, and a first partial image and a second partial image, which are parts of the entire robot image, are obtained from the entire robot image. steps; and obtaining the necessary robot image by connecting the first partial image and the second partial image.

또한, 상기 의료 로봇 제어 파라미터를 연동하여 제공하는 단계는 상기 제 1 부분 영상의 종료 시점에 대응하는 상기 의료 로봇에 대한 제 1 위치 파라미터 및 상기 제 2 부분 영상의 시작 시점에 대응하는 상기 의료 로봇에 대한 제 2 위치 파라미터를 획득하는 단계; 상기 제 1 위치 파라미터를 상기 제 2 위치 파라미터로 갱신하기 위한 갱신 제어 파라미터를 획득하는 단계; 및 상기 갱신 제어 파라미터를 포함하는 상기 의료 로봇 제어 파라미터를 제공하는 단계;를 포함할 수 있다. In addition, the step of providing the medical robot control parameters in conjunction with the first position parameter for the medical robot corresponding to the end point of the first partial image and the medical robot corresponding to the start point of the second partial image. obtaining a second position parameter for; Obtaining an update control parameter for updating the first location parameter to the second location parameter; and providing the medical robot control parameters including the updated control parameters.

또한, 상기 제 1 부분 영상 및 상기 제 2 부분 영상을 연결하여 상기 필요 로봇 영상을 획득하는 단계는 상기 갱신 제어 파라미터에 대응하는 갱신 영상을 획득하는 단계; 및 상기 갱신 영상이 상기 제 1 부분 영상 및 상기 제 2 부분 영상의 사이에 위치하는 상기 필요 로봇 영상을 획득하는 단계;를 포함할 수 있다. Additionally, acquiring the necessary robot image by connecting the first partial image and the second partial image may include obtaining an updated image corresponding to the update control parameter; and obtaining the necessary robot image in which the updated image is located between the first partial image and the second partial image.

또한, 상기 갱신 영상의 길이는 상기 제 1 위치 파라미터와 상기 제 2 위치 파라미터의 차이에 기초하여 결정할 수 있다. Additionally, the length of the updated image may be determined based on the difference between the first position parameter and the second position parameter.

또한, 상기 의료 로봇 제어 파라미터를 연동하여 제공하는 단계는 상기 필요 로봇 영상을 디스플레이하는 단계; 상기 의료 로봇을 상기 의료 로봇 제어 파라미터에 따라 제어하는 단계; 및 상기 디스플레이되는 의료 로봇의 움직임과 상기 로봇 제어 파라미터에 따라 제어되는 의료 로봇의 움직임의 싱크를 제어하는 단계;를 포함할 수 있다. Additionally, the step of providing the medical robot control parameters in conjunction with the medical robot may include displaying the necessary robot image; Controlling the medical robot according to the medical robot control parameters; and controlling synchronization between the displayed movement of the medical robot and the movement of the medical robot controlled according to the robot control parameters.

또한, 상기 의료 로봇은 제 1 인공 팔 및 제 2 인공 팔을 포함하고, 상기 싱크를 제어하는 단계는 상기 제 1 인공 팔에 대응하는 제 1 객체와 상기 제 2 인공 팔에 대응하는 제 2 객체간의 움직임의 선후 관계에 대한 적합성을 나타내는 선후 적합성을 결정하는 단계; 및 상기 선후 적합성에 기초하여 전체 싱크 조정이 필요하다고 결정된 경우, 상기 필요 로봇 영상의 재생 시점을 갱신하는 단계;를 포함할 수 있다. Additionally, the medical robot includes a first artificial arm and a second artificial arm, and the step of controlling the sync involves syncing between a first object corresponding to the first artificial arm and a second object corresponding to the second artificial arm. A step of determining precedence compatibility, which indicates compatibility with the precedence relationship of movement; and when it is determined that overall sync adjustment is necessary based on the precedence suitability, updating the playback time of the necessary robot image.

또한, 상기 의료 로봇은 제 1 인공 팔 및 제 2 인공 팔을 포함하고, 상기 싱크를 제어하는 단계는 상기 제 1 인공 팔에 대응하는 제 1 객체와 상기 제 2 인공 팔에 대응하는 제 2 객체간의 움직임의 선후 관계에 대한 적합성을 나타내는 선후 적합성을 결정하는 단계; 및 상기 선후 적합성에 기초하여 제 1 인공 팔의 싱크 조정이 필요하다고 결정된 경우, 상기 의료 로봇 제어 파라미터에 포함되는 상기 제 1 인공 팔의 제어 파라미터를 갱신하는 단계;를 포함할 수 있다. Additionally, the medical robot includes a first artificial arm and a second artificial arm, and the step of controlling the sync involves syncing between a first object corresponding to the first artificial arm and a second object corresponding to the second artificial arm. A step of determining precedence compatibility, which indicates compatibility with the precedence relationship of movement; and when it is determined that synchronization of the first artificial arm is necessary based on the prior suitability, updating control parameters of the first artificial arm included in the medical robot control parameters.

본 개시의 제2 측면에 따른 의료 로봇과 관련하여 영상을 제공하는 디바이스에 있어서, 전체 시간 구간에 대해서 의료 로봇의 동작을 나타내는 전체 로봇 영상을 획득하는 수신부; 및 상기 전체 로봇 영상에 대해 영상 처리를 수행하는 복수의 분산 추론 엔진으로부터 복수의 분산 추론 결과를 획득하고, 상기 복수의 분산 추론 결과에 기초하여 상기 전체 로봇 영상 중 필요 로봇 영상을 획득하고, 상기 필요 로봇 영상 및 상기 필요 로봇 영상에 대응되는 의료 로봇 제어 파라미터를 연동하여 제공하는 프로세서;를 포함할 수 있다. A device that provides images in relation to a medical robot according to a second aspect of the present disclosure, comprising: a receiving unit that acquires an entire robot image representing the operation of the medical robot for the entire time period; and obtaining a plurality of distributed inference results from a plurality of distributed inference engines that perform image processing on the entire robot image, and obtaining a necessary robot image among the entire robot image based on the plurality of distributed inference results, and obtaining the necessary robot image from the entire robot image. It may include a processor that provides a robot image and a medical robot control parameter corresponding to the necessary robot image in conjunction with the robot image.

또한, 상기 프로세서는 상기 복수의 분산 추론 엔진은 상기 전체 로봇 영상에 대해서 각각 서로 상이한 객체를 추론할 수 있다. Additionally, the processor and the plurality of distributed inference engines may each infer different objects for the entire robot image.

또한, 상기 프로세서는 상기 복수의 분산 추론 결과에 기초하여 의료 교육에 필요하다고 결정되고, 상기 전체 로봇 영상 중 일부인 제 1 부분 영상 및 제 2 부분 영상을 상기 전체 로봇 영상으로부터 획득하고, 상기 제 1 부분 영상 및 상기 제 2 부분 영상을 연결하여 상기 필요 로봇 영상을 획득할 수 있다.In addition, the processor determines that it is necessary for medical education based on the plurality of distributed inference results, obtains a first partial image and a second partial image, which are parts of the entire robot image, from the entire robot image, and The necessary robot image can be obtained by connecting the image and the second partial image.

또한, 상기 프로세서는 상기 제 1 부분 영상의 종료 시점에 대응하는 상기 의료 로봇에 대한 제 1 위치 파라미터 및 상기 제 2 부분 영상의 시작 시점에 대응하는 상기 의료 로봇에 대한 제 2 위치 파라미터를 획득하고, 상기 제 1 위치 파라미터를 상기 제 2 위치 파라미터로 갱신하기 위한 갱신 제어 파라미터를 획득하고, 상기 갱신 제어 파라미터를 포함하는 상기 의료 로봇 제어 파라미터를 제공할 수 있다. Additionally, the processor obtains a first position parameter for the medical robot corresponding to an end point of the first partial image and a second position parameter for the medical robot corresponding to a start point of the second partial image, An update control parameter for updating the first position parameter to the second position parameter may be obtained, and the medical robot control parameter including the update control parameter may be provided.

또한, 상기 프로세서는 상기 갱신 제어 파라미터에 대응하는 갱신 영상을 획득하고, 상기 갱신 영상이 상기 제 1 부분 영상 및 상기 제 2 부분 영상의 사이에 위치하는 상기 필요 로봇 영상을 획득할 수 있다. Additionally, the processor may obtain an updated image corresponding to the update control parameter, and obtain the necessary robot image in which the updated image is located between the first partial image and the second partial image.

또한, 상기 필요 로봇 영상을 디스플레이하는 디스플레이를 더 포함하고, 상기 프로세서는 상기 의료 로봇을 상기 의료 로봇 제어 파라미터에 따라 제어하고, 상기 디스플레이되는 의료 로봇의 움직임과 상기 로봇 제어 파라미터에 따라 제어되는 의료 로봇의 움직임의 싱크를 제어할 수 있다. In addition, it further includes a display that displays the necessary robot image, wherein the processor controls the medical robot according to the medical robot control parameters, and the medical robot is controlled according to the displayed movement of the medical robot and the robot control parameters. You can control the synchronization of movement.

또한, 본 개시의 제 3측면은, 제 1측면의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비 일시적 기록 매체를 제공할 수 있다.Additionally, the third aspect of the present disclosure may provide a non-transitory computer-readable recording medium on which a program for implementing the method of the first aspect is recorded.

본 개시의 일 실시 예에 따르면, 의료 로봇의 제어와 관련하여 영상을 제공하기 때문에 의료 로봇과 관련된 의료 교육을 제공함에 있어서 편의성이 향상될 수 있다.According to an embodiment of the present disclosure, convenience in providing medical education related to a medical robot can be improved because images are provided in relation to the control of the medical robot.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present disclosure are not limited to the effects mentioned above, and other effects not mentioned may be clearly understood by those skilled in the art from the description below.

도 1은 일 실시 예에 따른 디바이스 또는 서버가 시스템 상에서 구현되는 일 예를 도시하는 도면이다.
도 2는 일 실시 예에 따른 디바이스의 구성을 개략적으로 도시한 블록도이다.
도 3은 일 실시 예에 따른 디바이스가 동작하는 각 단계를 도시한 흐름도이다.
도 4는 일 실시 예에 따른 디바이스가 복수의 분산 추론 엔진을 이용하여 의료 상황 추론을 수행하는 일 예를 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 의료 로봇이 제어되는 방법 및 의료 로봇 제어 파라미터의 일 예를 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 디바이스가 필요 로봇 영상을 제공하는 일 예를 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른 디바이스가 의료 로봇을 제어하는 일 예를 설명하기 위한 도면이다.FIG. 1 is a diagram illustrating an example of a device or server implemented on a system according to an embodiment.
Figure 2 is a block diagram schematically showing the configuration of a device according to an embodiment.
Figure 3 is a flowchart showing each step in which a device operates according to an embodiment.
FIG. 4 is a diagram illustrating an example in which a device performs medical situation inference using a plurality of distributed inference engines according to an embodiment.
FIG. 5 is a diagram illustrating a method by which a medical robot is controlled and an example of medical robot control parameters according to an embodiment.
FIG. 6 is a diagram illustrating an example in which a device provides a necessary robot image according to an embodiment.
FIG. 7 is a diagram for explaining an example in which a device controls a medical robot according to an embodiment.

본 개시에서 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시 예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 개시가 완전 하도록 하고, 해당 기술 분야에 속하는 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이다. Advantages and features in the present disclosure, and methods for achieving them, will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present disclosure is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure is complete and to those skilled in the art. It is provided to provide complete information.

본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terms used herein are for describing embodiments and are not intended to limit the disclosure. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context. As used in the specification, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other elements in addition to the mentioned elements. Like reference numerals refer to like elements throughout the specification, and “and/or” includes each and every combination of one or more of the referenced elements. Although “first”, “second”, etc. are used to describe various components, these components are of course not limited by these terms. These terms are merely used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may also be the second component within the technical spirit of the present disclosure.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 해당 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art. Additionally, terms defined in commonly used dictionaries are not to be interpreted ideally or excessively unless clearly specifically defined.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작 시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.Spatially relative terms such as “below”, “beneath”, “lower”, “above”, “upper”, etc. are used as a single term as shown in the drawing. It can be used to easily describe the correlation between a component and other components. Spatially relative terms should be understood as terms that include different directions of components during use or operation in addition to the directions shown in the drawings. For example, if a component shown in a drawing is flipped over, a component described as "below" or "beneath" another component will be placed "above" the other component. You can. Accordingly, the illustrative term “down” may include both downward and upward directions. Components can also be oriented in other directions, so spatially relative terms can be interpreted according to orientation.

이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the drawings.

도 1은 일 실시 예에 따른 디바이스(100) 또는 서버가 시스템 상에서 구현되는 일 예를 도시하는 도면이다.FIG. 1 is a diagram illustrating an example in which a device 100 or a server according to an embodiment is implemented on a system.

도 1에 도시된 바와 같이, 의료 정보 시스템은 디바이스(100), 외부 서버(130), 저장 매체(140), 통신 디바이스(150), 가상 서버(160), 사용자 단말(170) 및 네트워크 등을 포함할 수 있다.As shown in Figure 1, the medical information system includes a device 100, an external server 130, a storage medium 140, a communication device 150, a virtual server 160, a user terminal 170, and a network. It can be included.

그러나, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 의료 정보 시스템에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 의료 정보 시스템은 네트워크와 연동하여 동작하는 블록체인 서버(미도시)를 더 포함할 수 있다. 또는 다른 실시 예에 따를 경우, 도 1에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.However, those skilled in the art can understand that other general-purpose components other than those shown in FIG. 1 may be included in the medical information system. For example, the medical information system may further include a blockchain server (not shown) that operates in conjunction with the network. Alternatively, according to another embodiment, those skilled in the art may understand that some of the components shown in FIG. 1 may be omitted.

일 실시 예에 따른 디바이스(100)는 수술 등 의료 행위와 관련된 정보를 다양한 소스로부터 획득할 수 있다. 예를 들면 디바이스(100)는 수술 등 의료 행위와 관련된 정보(예: 동영상)를 정보 획득 장치(미도시)로부터 획득할 수 있다. 정보 획득 장치(미도시) 는 촬영 장치, 녹음 장치, 생체 신호 획득 장치 등을 포함할 수 있으나, 이에 제한되지 않는다. 다른 예로 디바이스(100)는 수술 등 의료 행위와 관련된 정보(예: 동영상)를 네트워크로부터 획득할 수 있다.The device 100 according to one embodiment may obtain information related to medical procedures such as surgery from various sources. For example, the device 100 may obtain information (e.g., video) related to medical procedures such as surgery from an information acquisition device (not shown). Information acquisition devices (not shown) may include, but are not limited to, imaging devices, recording devices, and biological signal acquisition devices. As another example, the device 100 may obtain information (eg, video) related to medical procedures such as surgery from the network.

생체 신호는 체온 신호, 맥박 신호, 호흡 신호, 혈압 신호, 근전도 신호, 뇌파 신호 등 생명체로부터 획득되는 신호를 제한 없이 포함할 수 있다. 정보 획득 장치(미도시)의 일 예인 촬영 장치는 수술실 상황을 전체적으로 촬영하는 제 1 촬영 장치(예: CCTV 등)와 수술 부위를 집중적으로 촬영하는 제 2 촬영 장치(예: 내시경 등) 등을 포함할 수 있으나, 이에 제한되지 않는다. Biological signals may include signals obtained from living organisms, such as body temperature signals, pulse signals, respiration signals, blood pressure signals, electromyography signals, and brain wave signals, without limitation. An imaging device, which is an example of an information acquisition device (not shown), includes a first imaging device (e.g., CCTV, etc.) that photographs the entire operating room situation and a second imaging device (e.g., endoscope, etc.) that focuses on photographing the surgical site. It can be done, but is not limited to this.

일 실시 예에 따른 디바이스(100)는 정보 획득 장치(미도시) 또는 네트워크로부터 수술 등 의료 행위와 관련된 영상(동영상, 정지영상 등)을 획득할 수 있다. 영상은 동영상과 정지 영상을 모두 포함하는 개념으로 이해될 수 있다. 디바이스(100)는 획득한 영상에 대한 영상 처리를 수행할 수 있다. 일 실시 예에 따른 영상 처리는 각각의 영상에 대한 네이밍, 인코딩, 저장, 전송, 편집, 메타 데이터 생성 등을 포함할 수 있으나, 이에 제한되지 않는다.The device 100 according to one embodiment may acquire images (videos, still images, etc.) related to medical procedures such as surgery from an information acquisition device (not shown) or a network. Video can be understood as a concept that includes both moving images and still images. The device 100 may perform image processing on the acquired image. Image processing according to an embodiment may include naming, encoding, storage, transmission, editing, and metadata creation for each image, but is not limited thereto.

일 실시 예에 따른 디바이스(100)는 정보 획득 장치(미도시) 또는 네트워크로부터 획득한 의료 행위 관련 정보를 그대로 또는 갱신하여 네트워크로 전송할 수 있다. 디바이스(100)가 네트워크로 전송하는 전송 정보는 네트워크를 통해서 외부 디바이스(130, 140, 150, 160, 170)로 전송될 수 있다. 예를 들면, 디바이스(100)는 네트워크를 통해서 외부 서버(130), 저장 매체(140), 통신 디바이스(150), 가상 서버(160), 사용자 단말(170) 등으로 갱신된 동영상을 전송할 수 있다. 디바이스(100)는 외부 디바이스(130, 140, 150, 160, 170)로부터 다양한 정보(예: 피드백 정보, 갱신 요청 등)를 수신할 수 있다. 통신 디바이스(150)는 통신에 이용되는 디바이스를 제한 없이 의미할 수 있으며(예: 게이트웨이), 통신 디바이스(150)는 사용자 단말(180) 등 네트워크와 직접 연결되지 않는 디바이스와 통신할 수 있다.The device 100 according to one embodiment may transmit medical treatment-related information obtained from an information acquisition device (not shown) or a network as is or as updated information to the network. Transmission information transmitted by the device 100 to the network may be transmitted to external devices 130, 140, 150, 160, and 170 through the network. For example, the device 100 may transmit the updated video to the external server 130, storage medium 140, communication device 150, virtual server 160, user terminal 170, etc. through the network. . Device 100 may receive various information (eg, feedback information, update request, etc.) from external devices 130, 140, 150, 160, and 170. The communication device 150 may refer to a device used for communication without limitation (eg, a gateway), and the communication device 150 may communicate with a device that is not directly connected to the network, such as the user terminal 180.

일 실시 예에 따른 디바이스(100)는 입력부, 출력부 프로세서, 메모리 등을 포함할 수 있으며, 디스플레이 장치(미도시)도 포함할 수 있다. 예컨대, 사용자는 디스플레이 장치를 통해서 통신 상태, 메모리 사용 현황, 전력 상태(예: 배터리의 충전상태(State Of Charge), 외부 전력 공급 여부 등), 저장된 동영상에 대한 썸네일 영상, 현재 동작 중인 동작 모드 등을 등을 확인할 수 있다. 한편, 디스플레이 장치는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 등일 수 있다. 또한, 디스플레이 장치는 구현 형태에 따라 2개 이상의 디스플레이를 포함할 수 있다. 또한, 디스플레이의 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이는 출력 장치 이외에 입력 장치로도 사용될 수 있다.The device 100 according to one embodiment may include an input unit, an output processor, memory, etc., and may also include a display device (not shown). For example, through the display device, the user can view communication status, memory usage status, power status (e.g., battery state of charge, external power supply, etc.), thumbnail images for stored videos, currently operating mode, etc. You can check, etc. Meanwhile, display devices include liquid crystal display, thin film transistor-liquid crystal display, organic light-emitting diode, flexible display, and 3D display. display), electrophoretic display, etc. Additionally, the display device may include two or more displays depending on the implementation type. Additionally, when the touchpad of the display has a layered structure and is configured as a touch screen, the display can be used as an input device in addition to an output device.

또한, 네트워크는 유선 통신 또는 무선 통신을 통해 상호 통신을 수행할 수 있다. 예컨대 네트워크는 일종의 서버로 구현될 수도 있으며, 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC 칩 등을 포함할 수 있다. 물론, 디바이스(100)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC 칩 등을 이용하여 각종 외부기기와 통신을 수행할 수 있다. 와이파이 칩, 블루투스 칩은 각각 Wi-Fi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작할 수 있다.Additionally, networks may communicate with each other through wired or wireless communication. For example, a network may be implemented as a type of server and may include a Wi-Fi chip, Bluetooth chip, wireless communication chip, NFC chip, etc. Of course, the device 100 can communicate with various external devices using a Wi-Fi chip, Bluetooth chip, wireless communication chip, NFC chip, etc. Wi-Fi chips and Bluetooth chips can communicate using Wi-Fi and Bluetooth methods, respectively. When using a Wi-Fi chip or a Bluetooth chip, various connection information such as SSID and session key are first transmitted and received, and various information can be transmitted and received after establishing a communication connection using this. A wireless communication chip can perform communication according to various communication standards such as IEEE, Zigbee, 3G (3rd Generation), 3GPP (3rd Generation Partnership Project), and LTE (Long Term Evolution). The NFC chip can operate in the NFC (Near Field Communication) method using the 13.56MHz band among various RF-ID frequency bands such as 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz, etc.

일 실시 예에 따른 입력부는 사용자가 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미할 수 있다. 예를 들어, 입력부에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.The input unit according to one embodiment may refer to a means through which a user inputs data to control the device 100. For example, the input unit includes a key pad, dome switch, and touch pad (contact capacitive type, pressure resistance type, infrared detection type, surface ultrasonic conduction type, integral tension measurement type, There may be a piezo effect method, etc.), a jog wheel, a jog switch, etc., but it is not limited thereto.

일 실시 예에 따른 출력부는 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부는 디스플레이 장치, 음향 출력 장치, 및 진동 모터 등을 포함할 수 있다.The output unit according to one embodiment may output an audio signal, a video signal, or a vibration signal, and the output unit may include a display device, a sound output device, and a vibration motor.

일 실시 예에 따른 사용자 단말(170)은 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC 등 다양한 유무선 통신 디바이스를 포함할 수 있으나 이에 제한되지 않는다.The user terminal 170 according to an embodiment may include, but is not limited to, various wired and wireless communication devices such as a smartphone, SmartPad, and tablet PC.

일 실시 예에 따른 디바이스(100)는 정보 획득 장치(미도시)로부터 획득한 의료 행위 관련 정보(예: 동영상)를 갱신할 수 있다. 예를 들면, 디바이스(100)는 정보 획득 장치(미도시)로부터 획득한 영상에 대한 네이밍, 인코딩, 저장, 전송, 편집, 메타 데이터 생성 등을 수행할 수 있다. 일 예로, 디바이스(100)는 획득한 영상의 메타 데이터(예: 생성 시간)을 이용하여 영상 파일의 네이밍을 수행할 수 있다. 다른 예로, 디바이스(100)는 정보 획득 장치(미도시)로부터 획득한 의료 행위와 관련된 영상을 분류할 수 있다. 디바이스(100)는 학습된 AI를 이용하여, 의료 행위와 관련된 영상을 수술 종류, 수술자, 수술 장소 등 다양한 기준에 기초하여 분류할 수 있다.The device 100 according to one embodiment may update medical treatment-related information (eg, video) obtained from an information acquisition device (not shown). For example, the device 100 may perform naming, encoding, storage, transmission, editing, metadata creation, etc. on images acquired from an information acquisition device (not shown). As an example, the device 100 may name an image file using metadata (eg, creation time) of the acquired image. As another example, the device 100 may classify images related to medical procedures obtained from an information acquisition device (not shown). The device 100 can use learned AI to classify images related to medical procedures based on various criteria such as type of surgery, operator, and location of surgery.

또한, 도 1에서 디바이스(100)는 서버로 구현될 수도 있으며, 디바이스(100)가 구현될 수 있는 물리적 장치의 범위는 제한하여 해석되지 않는다.Additionally, the device 100 in FIG. 1 may be implemented as a server, and the scope of physical devices in which the device 100 can be implemented is not interpreted as being limited.

또한, 명세서 전반에 걸쳐 '제공'은 정보의 전송뿐 아니라 화면을 디스플레이하는 동작과 같이 정보, 화면 등 임의의 대상을 제공하는 모든 동작을 포함하는 것으로 해석될 수 있으며, 특별한 실시 행위로 제한하여 해석되지 않는다.In addition, throughout the specification, 'provision' can be interpreted to include not only the transmission of information but also all actions that provide any object such as information or screens, such as the action of displaying a screen, and is limited to special implementation actions. It doesn't work.

일 실시 예에 따른 디바이스(100)가 제공하는 화면에 대해서 사용자 입력의 일 예로서 선택 입력이 획득될 수 있다. 일 실시 예에 따른 선택 입력은 터치 입력, 마우스 등을 이용한 클릭 입력, 키보드 등을 이용한 타이핑 입력 등 다양한 방식에 따라 획득될 수 있다.A selection input may be obtained as an example of a user input on a screen provided by the device 100 according to an embodiment. Selection input according to one embodiment may be obtained through various methods, such as touch input, click input using a mouse, etc., and typing input using a keyboard.

도 2는 일 실시 예에 따른 디바이스(100)의 구성을 개략적으로 도시한 블록도이다.FIG. 2 is a block diagram schematically showing the configuration of the device 100 according to an embodiment.

도 2에 도시된 바와 같이, 일 실시 예에 따른 디바이스(100)는 수신부(210), 프로세서(220), 출력부(230) 및 메모리(240)를 포함할 수 있다. 그러나 도 2에 도시된 구성요소 모두가 디바이스(100)의 필수 구성요소인 것은 아니다. 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 디바이스(100)가 구현될 수도 있고, 도 2에 도시된 구성 요소보다 적은 구성 요소에 의해 디바이스(100)가 구현될 수도 있다.As shown in FIG. 2, the device 100 according to one embodiment may include a receiving unit 210, a processor 220, an output unit 230, and a memory 240. However, not all of the components shown in FIG. 2 are essential components of the device 100. The device 100 may be implemented with more components than those shown in FIG. 2 , or the device 100 may be implemented with fewer components than the components shown in FIG. 2 .

예를 들어, 일 실시 예에 따른 디바이스(100)는 수신부(210), 프로세서(220), 출력부(230), 메모리(240) 외에 통신부(미도시) 또는 입력부(미도시)를 더 포함할 수도 있다. 또한 출력부(230)의 일 예로서 디스플레이(미도시)가 포함될 수 있다.For example, the device 100 according to one embodiment may further include a communication unit (not shown) or an input unit (not shown) in addition to the receiver 210, processor 220, output unit 230, and memory 240. It may be possible. Additionally, an example of the output unit 230 may include a display (not shown).

일 실시 예에 따른 수신부(210)는 전체 시간 구간에 대해서 의료 로봇의 동작을 나타내는 전체 로봇 영상을 획득한다. 전체 로봇 영상은 로봇을 이용한 의료 행위를 촬영함에 따라 획득될 수 있으며, 카메라와 같은 영상 획득 디바이스(미도시)로부터 수신될 수 있다.The receiver 210 according to one embodiment acquires an entire robot image representing the operation of the medical robot for the entire time period. The entire robot image can be acquired by filming a medical procedure using a robot, and can be received from an image acquisition device (not shown) such as a camera.

일 실시 예에 따른 프로세서(220)는 전체 로봇 영상에 대해 영상 처리를 수행하는 복수의 분산 추론 엔진으로부터 복수의 분산 추론 결과를 획득한다. 일 실시 예에 따른 복수의 분산 추론 엔진은 전체 로봇 영상에 대해서 각각 서로 상이한 객체에 대한 추론을 수행할 수 있다.The processor 220 according to one embodiment obtains a plurality of distributed inference results from a plurality of distributed inference engines that perform image processing on the entire robot image. A plurality of distributed inference engines according to an embodiment may each perform inference on different objects for the entire robot image.

일 실시 예에 따른 프로세서(220)는 복수의 분산 추론 결과에 기초하여 전체 로봇 영상 중 필요 로봇 영상을 획득한다. 일 실시 예에 따른 디바이스(100)는 복수의 분산 추론 결과에 기초하여 의료 교육에 필요하다고 결정되고, 전체 로봇 영상 중 일부인 제 1 부분 영상 및 제 2 부분 영상을 전체 로봇 영상으로부터 획득할 수 있다.The processor 220 according to one embodiment acquires a necessary robot image among all robot images based on a plurality of distributed inference results. The device 100 according to one embodiment is determined to be necessary for medical education based on a plurality of distributed inference results, and may acquire a first partial image and a second partial image, which are parts of the entire robot image, from the entire robot image.

일 실시 예에 따른 프로세서(220)는 필요 로봇 영상 및 필요 로봇 영상에 대응되는 의료 로봇 제어 파라미터를 연동하여 제공한다. 일 실시 예에 따른 의료 로봇 제어 파라미터는 의료 로봇을 제어하기 위해 이용되는 다양한 파라미터를 의미할 수 있다.The processor 220 according to one embodiment provides a necessary robot image and medical robot control parameters corresponding to the necessary robot image in conjunction with the required robot image. Medical robot control parameters according to an embodiment may refer to various parameters used to control a medical robot.

도 3은 일 실시 예에 따른 디바이스(100)가 동작하는 각 단계를 도시한 흐름도이다.FIG. 3 is a flowchart illustrating each step in which the device 100 operates according to an embodiment.

단계 S310을 참조하면, 일 실시 예에 따른 디바이스(100)는 전체 시간 구간에 대해서 의료 로봇의 동작을 나타내는 전체 로봇 영상을 획득한다.Referring to step S310, the device 100 according to one embodiment acquires an entire robot image representing the operation of the medical robot for the entire time period.

전체 로봇 영상은 로봇을 이용한 의료 행위를 촬영함에 따라 획득될 수 있으며, 카메라와 같은 영상 획득 디바이스(미도시)로부터 수신될 수 있다. 일 실시 예에 따른 디바이스(100)는 영상 획득 디바이스로부터 유선 또는 무선으로 전체 로봇 영상을 수신할 수 있다. 또는 디바이스(100)는 영상 획득 디바이스를 포함할 수도 있다.The entire robot image can be acquired by filming a medical procedure using a robot, and can be received from an image acquisition device (not shown) such as a camera. Device 100 according to one embodiment may receive the entire robot image from an image acquisition device wired or wirelessly. Alternatively, the device 100 may include an image acquisition device.

단계 S320을 참조하면, 일 실시 예에 따른 디바이스(100)는 전체 로봇 영상에 대해 영상 처리를 수행하는 복수의 분산 추론 엔진으로부터 복수의 분산 추론 결과를 획득한다.Referring to step S320, the device 100 according to an embodiment obtains a plurality of distributed inference results from a plurality of distributed inference engines that perform image processing on the entire robot image.

일 실시 예에 따른 복수의 분산 추론 엔진은 전체 로봇 영상에 대해서 각각 서로 상이한 객체에 대한 추론을 수행할 수 있다. 예를 들면 N개의 분산 추론 엔진은 제 1 객체 내지 제 N 객체를 각각 추론할 수 있다. 다른 예로, N개의 분산 추론 엔진은 제 1 로봇 암 내지 제 N 로봇 암의 움직임을 추론할 수 있다.A plurality of distributed inference engines according to an embodiment may each perform inference on different objects for the entire robot image. For example, N distributed inference engines can respectively infer first to Nth objects. As another example, N distributed inference engines may infer the movements of the first to Nth robot arms.

보다 구체적인 분산 추론 엔진의 동작에 대해서는 도 4에서 후술한다.More detailed operation of the distributed inference engine will be described later with reference to FIG. 4.

단계 S330을 참조하면, 일 실시 예에 따른 디바이스(100)는 복수의 분산 추론 결과에 기초하여 전체 로봇 영상 중 필요 로봇 영상을 획득한다.Referring to step S330, the device 100 according to one embodiment acquires a necessary robot image among all robot images based on a plurality of distributed inference results.

일 실시 예에 따른 디바이스(100)는 복수의 분산 추론 결과에 기초하여 의료 교육에 필요하다고 결정되고, 전체 로봇 영상 중 일부인 제 1 부분 영상 및 제 2 부분 영상을 전체 로봇 영상으로부터 획득할 수 있다. The device 100 according to one embodiment is determined to be necessary for medical education based on a plurality of distributed inference results, and may acquire a first partial image and a second partial image, which are parts of the entire robot image, from the entire robot image.

제 1 부분 영상과 제 2 부분 영상이 전체 로봇 영상에서 연속적이지 않을 경우, 디바이스(100)는 제 1 부분 영상 및 제 2 부분 영상을 연결하여 필요 로봇 영상을 획득할 수 있다.If the first partial image and the second partial image are not continuous in the entire robot image, the device 100 may acquire the necessary robot image by connecting the first partial image and the second partial image.

일 실시 예에 따를 때, 필요 로봇 영상은 필요하다고 결정된 부분 영상만으로 구성되기 때문에, 사용자는 필요 로봇 영상으로 용이하게 필요한 영상에 접근할 수 있다. According to one embodiment, since the necessary robot image consists of only partial images determined to be necessary, the user can easily access the necessary image using the necessary robot image.

일 실시 예에 따를 때, 필요한지 여부는 다양한 기준에 따라 결정될 수 있다. 예를 들면, 필요 여부는 교육을 위해 필요한지 여부를 나타낼 수 있으며, 디바이스(100)는 기존에 학습을 통해 획득한 학습 결과에 기초하여 전체 로봇 영상 중 교육에 필요한 프레임을 결정할 수 있다. 교육에 필요한 프레임으로 구성된 제 1 부분 영상 및 제 2 부분 영상이 획득되면, 디바이스(100)는 제 1 부분 영상과 제 2 부분 영상을 연결하여 필요 로봇 영상을 획득할 수 있다.According to one embodiment, whether it is necessary may be determined according to various criteria. For example, necessity may indicate whether it is necessary for education, and the device 100 may determine frames necessary for education among all robot images based on learning results obtained through existing learning. When the first partial image and the second partial image consisting of frames necessary for training are acquired, the device 100 can acquire the necessary robot image by connecting the first partial image and the second partial image.

보다 구체적으로 필요 로봇 영상을 획득하는 방법에 대해서는 도 6에서 후술한다.In more detail, a method of acquiring the required robot image will be described later in FIG. 6.

단계 S340을 참조하면, 일 실시 예에 따른 디바이스(100)는 필요 로봇 영상 및 필요 로봇 영상에 대응되는 의료 로봇 제어 파라미터를 연동하여 제공한다.Referring to step S340, the device 100 according to one embodiment provides a necessary robot image and a medical robot control parameter corresponding to the necessary robot image in conjunction with the required robot image.

일 실시 예에 따른 의료 로봇 제어 파라미터는 의료 로봇을 제어하기 위해 이용되는 다양한 파라미터를 의미할 수 있다. 예를 들면 의료 로봇 제어 파라미터는 의료 로봇에 포함되는 각 관절의 각도에 대한 정보를 포함할 수 있다. 다른 예로, 의료 로봇 제어 파라미터는 의료 로봇에 대응되는 객체의 위치에 대한 정보를 포함할 수 있다.Medical robot control parameters according to an embodiment may refer to various parameters used to control a medical robot. For example, medical robot control parameters may include information about the angle of each joint included in the medical robot. As another example, medical robot control parameters may include information about the location of an object corresponding to the medical robot.

보다 구체적으로 디바이스(100)가 의료 로봇 제어 파라미터를 제공하는 예시에 대해서는 도 5 내지 도 7에서 후술한다.More specifically, an example in which the device 100 provides medical robot control parameters will be described later with reference to FIGS. 5 to 7 .

도 4 는 일 실시 예에 따른 디바이스(100)가 복수의 분산 추론 엔진(450)을 이용하여 의료 상황 추론을 수행하는 일 예를 설명하기 위한 도면이다.FIG. 4 is a diagram illustrating an example in which the device 100 performs medical situation inference using a plurality of distributed inference engines 450 according to an embodiment.

복수의 분산 추론 엔진(450)은 클래스로 구별될 수 있다. 예를 들면, 복수의 분산 추론 엔진(450)은 클래스03 내지 클래스18로 표현될 수 있다.A plurality of distributed inference engines 450 may be distinguished into classes. For example, a plurality of distributed inference engines 450 may be expressed as classes 03 to 18.

동영상에 포함된 복수의 프레임은 재생 시간에 따라 순차적으로 배열될 수 있다. 복수의 프레임에 대해서 복수의 분산 추론 엔진(450)이 적용되어 각각의 프레임에 대해서 추론을 수행한다. 예를 들면 클래스03의 분산 추론 엔진은 제 1 수술 도구(예: 석션)를 추론하고, 클래스04의 분산 추론 엔진은 제 2수술 도구(예: 가위)를 추론하고, 클래스05의 분산 추론 엔진은 수술 부위를 추론하고, 클래스06의 분산 추론 엔진은 출혈 부위를 추론하고, 클래스07의 분산 추론 엔진은 수술자의 손을 추론할 수 있으나 이에 제한되지 않는다.A plurality of frames included in a video may be arranged sequentially according to playback time. A plurality of distributed inference engines 450 are applied to a plurality of frames to perform inference for each frame. For example, a distributed inference engine in class 03 infers a first surgical tool (e.g. suction), a distributed inference engine in class 04 infers a second surgical tool (e.g. scissors), and a distributed inference engine in class 05 The surgical site can be inferred, Class 06's distributed inference engine can infer the bleeding site, and Class 07's distributed inference engine can infer the operator's hand, but is not limited to this.

일 실시 예에 따른 추론 영역(420)은 복수의 분산 추론 엔진(450)으로부터 획득되는 복수의 분산 추론 결과를 나타낼 수 있다. 예를 들면 클래스11의 분산 추론 엔진이 트로카(trocar)를 추론하는 경우, 동영상에서 트로카가 있다고 결정되는 프레임은 제 1 영역(460)과 같이 표시되고, 트로카가 없다고 결정되는 프레임은 제 2 영역(470)과 같이 표시될 수 있다.The inference area 420 according to an embodiment may represent a plurality of distributed inference results obtained from a plurality of distributed inference engines 450. For example, when a class 11 distributed inference engine infers a trocar, the frame in the video where it is determined that there is a trocar is displayed as the first area 460, and the frame where it is determined that there is no trocar is displayed in the second area. It can be displayed as (470).

일 실시 예에 따른 의료 상황은 복수의 마크(430) 중 어느 하나로 표현될 수 있다. 예를 들면 넘버 0에 대응되는 의료 상황은 제 1 마크(431)로 표현될 수 있고, 넘버 1에 대응되는 의료 상황은 제 2 마크(432)로 표현될 수 있다.A medical situation according to an embodiment may be expressed as one of a plurality of marks 430. For example, a medical situation corresponding to number 0 may be expressed as a first mark 431, and a medical situation corresponding to number 1 may be expressed as a second mark 432.

일 실시 예에 따른 디바이스(100)는 복수의 분산 추론 엔진(450)으로부터 획득된 복수의 분산 추론 결과에 기초하여 각각의 프레임에 대한 의료 상황을 결정할 수 있다. 의료 상황 표시 영역(410)은 각각의 프레임에 대한 의료 상황을 나타낼 수 있다. 예를 들면 30k번째 프레임을 나타내는 제 1 기준선(441)보다 시간적으로 이전인 기준선 이전 프레임은 복수의 분산 추론 엔진(450)으로부터 획득되는 복수의 분산 추론 결과에 따라 넘버 0에 대응되는 의료 상황으로 결정될 수 있다. 다른 예로 제 1 기준선(441)보다 시간적으로 이후이고 제 2 기준선(442)보다 시간적으로 이전인 프레임은 복수의 분산 추론 엔진(450)으로부터 획득되는 복수의 분산 추론 결과에 따라 넘버 1에 대응되는 의료 상황으로 결정될 수 있다.The device 100 according to an embodiment may determine the medical situation for each frame based on a plurality of distributed inference results obtained from a plurality of distributed inference engines 450. The medical situation display area 410 may indicate the medical situation for each frame. For example, the frame before the baseline, which is temporally earlier than the first baseline 441 representing the 30kth frame, will be determined as a medical situation corresponding to number 0 according to a plurality of distributed inference results obtained from a plurality of distributed inference engines 450. You can. As another example, a frame temporally later than the first baseline 441 and temporally earlier than the second baseline 442 is a medical frame corresponding to number 1 according to a plurality of distributed inference results obtained from a plurality of distributed inference engines 450. It can be decided by the situation.

추론 영역(420)에서는 분산 추론 엔진의 추론 결과가 0 또는 1로 표현 가능한 경우에 대해 도시하고 있다. 예를 들면 분산 추론 엔진의 추론 결과는 추론의 대상이 존재하는지 여부에 따라서 제 1 영역(460) 또는 제 2 영역(470)과 같이 표현될 수 있다. 그러나 추론 결과는 벡터로 표현될 수 있으며, 추론 결과의 표현 방식은 제한되지 않는다.The inference area 420 shows a case where the inference result of the distributed inference engine can be expressed as 0 or 1. For example, the inference result of the distributed inference engine may be expressed as a first area 460 or a second area 470 depending on whether an object of inference exists. However, the inference result can be expressed as a vector, and the method of expressing the inference result is not limited.

일 실시 예에 따른 복수의 분산 추론 엔진(450)에는 서로 다른 가중치가 부여되어 의료 상황이 결정될 수 있다. Different weights may be assigned to the plurality of distributed inference engines 450 according to an embodiment to determine the medical situation.

예를 들면, 복수의 분산 추론 엔진(450) 중 수술 도구에 대응되는 분산 추론 엔진과 이벤트에 대응되는 분산 추론 엔진에는 서로 다른 가중치가 부여될 수 있다. 일 예로, 수술 도구에 대응되는 분산 추론 엔진에는 제 1 값의 가중치가 균등하게 부여되고, 이벤트에 대응되는 분산 추론 엔진에는 이벤트의 종류에 따라 제 2 값 또는 제 3 값의 가중치가 부여될 수 있다. 제 2 값 또는 제 3 값은 제 1 값보다 클 수 있다. 일 실시 예에 따른 이벤트는 출혈, 바이탈 신호의 급변 등 수술 위험도와 관련성이 높은 객체를 나타낼 수 있다.For example, among the plurality of distributed inference engines 450, different weights may be assigned to a distributed inference engine corresponding to a surgical tool and a distributed inference engine corresponding to an event. As an example, the distributed inference engine corresponding to a surgical tool may be equally assigned a weight of the first value, and the distributed inference engine corresponding to an event may be assigned a weight of the second or third value depending on the type of event. . The second or third value may be greater than the first value. An event according to one embodiment may represent an object highly related to surgical risk, such as bleeding or sudden change in vital signals.

다른 예로, 복수의 분산 추론 엔진(450) 중 대응되는 수술 도구의 종류에 기초하여 대응되는 가중치가 결정될 수 있다. 예를 들면, 수술의 종류에 따라 메인 수술 도구, 서브 수술 도구, 일반 수술 도구의 순서로 점차 순서로 점차 낮아지도록 부여되는 가중치에 기초하여 의료 상황이 결정될 수 있다.As another example, the corresponding weight may be determined based on the type of the corresponding surgical tool among the plurality of distributed inference engines 450. For example, the medical situation may be determined based on the weights assigned to the main surgical tool, sub-surgical tool, and general surgical tool in that order, depending on the type of surgery.

다른 예로, 복수의 분산 추론 엔진(450)에 대응되는 객체가 바이탈 신호, 출혈, 메인 수술 도구, 서브 수술 도구 및 일반 수술 도구인 경우, 바이탈 신호, 출혈, 메인 수술 도구, 서브 수술 도구 및 일반 수술 도구의 순서로 낮아지도록 대응되는 분산 추론 엔진에 가중치가 부여될 수 있다. 또한, 부여된 가중치에 기초하여 의료 상황이 결정될 수 있다.As another example, when the objects corresponding to the plurality of distributed inference engines 450 are vital signals, bleeding, main surgical tools, sub-surgical tools, and general surgical tools, vital signals, bleeding, main surgical tools, sub-surgical tools, and general surgical tools Weights may be assigned to the corresponding distributed inference engines to descend in the order of tools. Additionally, the medical situation may be determined based on the assigned weight.

다른 예로, 복수의 분산 추론 엔진(450) 중 수술 도구에 대응되는 분산 추론 엔진, 보상 관련 이벤트에 대응되는 분산 추론 엔진 및 위험 관련 이벤트에 대응되는 분산 추론 엔진에는 서로 다른 가중치가 부여될 수 있다. 구체적으로 수술 도구에 대응되는 분산 추론 엔진, 보상 관련 이벤트에 대응되는 분산 추론 엔진 및 위험 관련 이벤트에 대응되는 분산 추론 엔진의 순서로 높아지도록 가중치가 부여될 수 있다. 보상 관련 이벤트는 봉합 부위, 특정 장기 등 수술이 잘 진행되었음을 나타내는 객체를 나타낼 수 있다.As another example, among the plurality of distributed inference engines 450, different weights may be assigned to a distributed inference engine corresponding to a surgical tool, a distributed inference engine corresponding to a reward-related event, and a distributed inference engine corresponding to a risk-related event. Specifically, weights may be assigned to be higher in the order of the distributed inference engine corresponding to surgical tools, the distributed inference engine corresponding to reward-related events, and the distributed inference engine corresponding to risk-related events. Compensation-related events may represent objects indicating that the surgery was performed successfully, such as a suture site or a specific organ.

일 실시 예에 따른 수술 상황은 해당 프레임이 교육에 필요한 정도를 나타낼 수 있다. 예를 들면 수술 상황을 나타내는 숫자는 해당 프레임이 교육에 필요한 정도를 나타낼 수 있다. 일 예로, 교육에 필요한지 여부를 나타내는 임계 값이 8인 경우 8 이상의 숫자에 대응하는 수술 상황에 대응하는 프레임이 필요 로봇 영상에 포함될 수 있다. 이 경우, 8 미만의 숫자에 대응하는 수술 상황은 필요 로봇 영상에 포함되지 않을 수 있다.The surgical situation according to one embodiment may indicate the degree to which the corresponding frame is needed for education. For example, a number representing a surgical situation may indicate the extent to which that frame is needed for training. For example, if the threshold indicating whether training is necessary is 8, frames corresponding to surgical situations corresponding to numbers greater than 8 may be included in the required robot image. In this case, surgical situations corresponding to numbers less than 8 may not be included in the necessary robot images.

도 5는 일 실시 예에 따른 의료 로봇이 제어되는 방법 및 의료 로봇 제어 파라미터의 일 예를 설명하기 위한 도면이다.FIG. 5 is a diagram illustrating a method by which a medical robot is controlled and an example of medical robot control parameters according to an embodiment.

일 실시 예에 따른 의료 로봇 제어 파라미터는 의료 로봇을 조작하기 위해 이용되는 조작 디바이스로부터 획득되는 조작 정보를 포함할 수 있다. 예를 들면 조작 디바이스에 포함되는 조이스틱, 페달, 키보드 등으로부터 수신되는 조작 정보가 획득되면, 조작 정보를 이용해서 의료 로봇 제어 파라미터가 획득될 수 있다. Medical robot control parameters according to an embodiment may include manipulation information obtained from a manipulation device used to manipulate the medical robot. For example, when manipulation information received from a joystick, pedal, keyboard, etc. included in the manipulation device is obtained, medical robot control parameters can be obtained using the manipulation information.

도 6은 일 실시 예에 따른 디바이스(100)가 필요 로봇 영상을 제공하는 일 예를 설명하기 위한 도면이다.FIG. 6 is a diagram illustrating an example in which the device 100 provides a necessary robot image according to an embodiment.

일 실시 예에 따른 디바이스(100)는 복수의 분산 추론 결과에 기초하여 의료 교육에 필요하다고 결정되고, 전체 로봇 영상(610) 중 일부인 부분 영상(601, 602, 603, 604)을 전체 로봇 영상(610)으로부터 획득할 수 있다. 또한, 디바이스(100)는 부분 영상(601, 602, 603, 604)을 이용해서 필요 로봇 영상(620)을 획득할 수 있다.The device 100 according to one embodiment is determined to be necessary for medical education based on a plurality of distributed inference results, and converts partial images 601, 602, 603, and 604, which are part of the entire robot image 610, into the entire robot image ( 610). Additionally, the device 100 may acquire the necessary robot image 620 using the partial images 601, 602, 603, and 604.

예를 들면, 디바이스(100)는 제 1 부분 영상(601) 및 제 2 부분 영상(602)을 전체 로봇 영상(610)으로부터 획득하고, 제 1 부분 영상(601) 및 제 2 부분 영상(602)을 연결하여 필요 로봇 영상(620)을 획득할 수 있다. 디바이스(100)가 제 1 부분 영상(601) 및 제 2 부분 영상(602)을 연결하여 필요 로봇 영상(620)을 획득할 때에는 제 1 부분 영상(601) 및 제 2 부분 영상(602)의 사이에 갱신 영상(630)이 위치할 수 있다. For example, the device 100 obtains the first partial image 601 and the second partial image 602 from the entire robot image 610, and the first partial image 601 and the second partial image 602 The necessary robot image 620 can be obtained by connecting. When the device 100 acquires the necessary robot image 620 by connecting the first partial image 601 and the second partial image 602, the space between the first partial image 601 and the second partial image 602 An updated image 630 may be located in .

일 실시 예에 따른 디바이스(100)는 제 1 부분 영상의 종료 시점(611)에 대응하는 의료 로봇에 대한 제 1 위치 파라미터 및 제 2 부분 영상의 시작 시점(612)에 대응하는 의료 로봇에 대한 제 2 위치 파라미터를 획득할 수 있다. 제 1 위치 파라미터와 제 2 위치 파라미터는 서로 불연속일 수 있기 때문에, 제 1 위치 파라미터에서 제 2 위치 파라미터로 위치 파라미터가 갱신되는 과정에서 시간이 필요할 수 있다. 디바이스(100)는 제 1 위치 파라미터에서 제 2 위치 파라미터로 위치 파라미터가 갱신되도록 의료 로봇을 제어하는 갱신 제어 파라미터를 획득할 수 있다. 예를 들면, 제 1 부분 영상의 종료 시점(611)에 제 1 로봇 암의 제 1 관절의 각도가 30도라면 제 1 위치 파라미터는 30도를 나타내고, 제 2 부분 영상의 시작 시점(612)에 제 1 로봇 암의 제 1 관절의 각도가 50도라면 제 2 위치 파라미터는 50도를 나타낼 수 있다. 또한 갱신 제어 파라미터는 제 1 로봇 암의 제 1 관절을 30도에서 50도로 갱신하도록 제어하기 위해 이용될 수 있다. 갱신 제어 파라미터는 의료 로봇 제어 파라미터에 포함될 수 있다.The device 100 according to an embodiment includes a first position parameter for the medical robot corresponding to the end point 611 of the first partial image and a first position parameter for the medical robot corresponding to the start point 612 of the second partial image. 2 Position parameters can be obtained. Since the first position parameter and the second position parameter may be discontinuous, time may be required in the process of updating the position parameter from the first position parameter to the second position parameter. The device 100 may obtain an update control parameter for controlling the medical robot so that the position parameter is updated from the first position parameter to the second position parameter. For example, if the angle of the first joint of the first robot arm is 30 degrees at the end point 611 of the first partial image, the first position parameter indicates 30 degrees, and at the start point 612 of the second partial image, the angle of the first joint of the first robot arm is 30 degrees. If the angle of the first joint of the first robot arm is 50 degrees, the second position parameter may indicate 50 degrees. Additionally, the update control parameter may be used to control the first joint of the first robot arm to be updated from 30 degrees to 50 degrees. Update control parameters may be included in medical robot control parameters.

갱신 영상은 갱신 제어 파라미터에 대응될 수 있다. 일 실시 예에 따른 갱신 영상(630)은 의료 로봇이 갱신 제어 파라미터에 기초하여 제어되는 상황에 대한 영상일 수 있다.The updated image may correspond to the update control parameter. The updated image 630 according to one embodiment may be an image of a situation in which a medical robot is controlled based on updated control parameters.

일 실시 예에 따른 필요 로봇 영상(620)에서는 갱신 영상(630)이 제 1 부분 영상(601) 및 제 2 부분 영상(602)의 사이에 위치할 수 있다.In the required robot image 620 according to one embodiment, the update image 630 may be located between the first partial image 601 and the second partial image 602.

일 실시 예에 따른 갱신 영상(630)의 길이는 제 1 위치 파라미터와 제 2 위치 파라미터의 차이에 기초하여 결정될 수 있다. 제 1 위치 파라미터와 제 2 위치 파라미터의 차이가 큰 경우에는 제 1 위치 파라미터와 제 2 위치 파라미터의 차이가 작은 경우보다 갱신 영상(630)의 길이가 더 길 수 있다.The length of the updated image 630 according to one embodiment may be determined based on the difference between the first position parameter and the second position parameter. When the difference between the first position parameter and the second position parameter is large, the length of the updated image 630 may be longer than when the difference between the first position parameter and the second position parameter is small.

도 7은 일 실시 예에 따른 디바이스(100)가 의료 로봇을 제어하는 일 예를 설명하기 위한 도면이다.FIG. 7 is a diagram illustrating an example in which the device 100 controls a medical robot according to an embodiment.

일 예로, 제 1 위치 파라미터에 대응되는 의료 로봇 상태(710)는 갱신 제어 파라미터에 기초하여 제 2 위치 파라미터에 대응되는 의료 로봇 상태(720)로 갱신될 수 있다. 제 1 위치 파라미터에서 제 2 위치 파라미터로 의료 로봇 상태가 갱신되기 위해서는 시간이 필요할 수 있다. 제 1 위치 파라미터에서 제 2 위치 파라미터로 의료 로봇 상태가 갱신되는 상황을 갱신 영상(630)이 나타낼 수 있다.As an example, the medical robot state 710 corresponding to the first position parameter may be updated to the medical robot state 720 corresponding to the second position parameter based on the update control parameter. Time may be required for the medical robot state to be updated from the first position parameter to the second position parameter. The update image 630 may represent a situation in which the medical robot state is updated from the first position parameter to the second position parameter.

일 실시 예에 따른 디바이스(100)는 필요 로봇 영상 및 필요 로봇 영상에 대응되는 의료 로봇 제어 파라미터를 연동하여 제공할 수 있다.The device 100 according to one embodiment may provide a necessary robot image and a medical robot control parameter corresponding to the necessary robot image in conjunction with the required robot image.

일 실시 예에 따른 디바이스(100)는 필요 로봇 영상을 디스플레이할 수 있고, 의료 로봇을 의료 로봇 제어 파라미터에 따라 제어할 수 있다. 그러나 디스플레이되는 의료 로봇의 움직임과 실제로 움직이는 의료 로봇의 움직임의 싱크가 서로 맞지 않을 수 있다. 따라서 디바이스(100)는 디스플레이되는 의료 로봇의 움직임과 로봇 제어 파라미터에 따라 제어되는 의료 로봇의 움직임의 싱크를 제어할 수 있다.The device 100 according to one embodiment can display necessary robot images and control the medical robot according to medical robot control parameters. However, the movement of the displayed medical robot may not be synchronized with the movement of the medical robot actually moving. Accordingly, the device 100 can control the synchronization of the displayed movement of the medical robot and the movement of the medical robot controlled according to the robot control parameters.

일 실시 예에 따른 디바이스(100)는 제 1 인공 팔에 대응하는 제 1 객체와 제 2 인공 팔에 대응하는 제 2 객체간의 움직임의 선후 관계에 대한 적합성을 나타내는 선후 적합성을 결정할 수 있다. 일 예로, 제 1 객체가 제 1 위치에 있는 시점에 제 2 객체가 제 2 위치에 있어야 하는 상황에서, 제 1 객체가 제 1 위치에 오기 전에 제 2 객체가 제 2 위치에 오는 경우는 제 1 인공 팔과 제 2 인공 팔의 움직임 간에 싱크가 맞지 않는 경우로 결정될 수 있다. 다른 예로, 제 1 인공 팔이 움직이고 나서 제 2 인공 팔이 움직여야 하는 상황에서 제 2 인공 팔이 먼저 움직인 경우 제 1 인공 팔과 제 2 인공 팔의 움직임 간에 싱크가 맞지 않는 경우로 결정될 수 있다. 이처럼 싱크가 맞지 않는 경우는 선후 적합성이 부적합한 것으로 결정될 수 있다. 동일한 상황에서, 제 1 객체가 제 1 위치에 있는 시점에 제 2 객체가 제 2 위치에 있는 경우, 또는 제 1 인공 팔이 움직이고 나서 제 2 인공 팔이 움직인 경우에는 선후 적합성이 적합한 것으로 결정될 수 있다.The device 100 according to an embodiment may determine sequential compatibility, which indicates the compatibility of the sequential relationship between movements between a first object corresponding to the first artificial arm and a second object corresponding to the second artificial arm. For example, in a situation where the second object must be in the second position when the first object is in the first position, if the second object comes to the second position before the first object comes to the first position, the first object must be in the second position. It may be determined that there is no synchronization between the movements of the artificial arm and the second artificial arm. As another example, in a situation where the second artificial arm must move after the first artificial arm moves, if the second artificial arm moves first, it may be determined that the movements of the first artificial arm and the second artificial arm are out of sync. In this case, when the synchronization is out of sync, the sequential compatibility may be determined to be inadequate. In the same situation, pre-post fit may be determined to be appropriate if the second object is in the second position at the time the first object is in the first position, or if the first prosthetic arm moves and then the second prosthetic arm moves. there is.

일 실시 예에 따른 디바이스(100)는 선후 적합성이 적합한 것으로 결정된 경우에는 전체 싱크 조정을 수행할 수 있다. 선후 적합성이 적합한 경우, 의료 로봇을 구성하는 각 구성(예: 복수의 인공 팔) 간의 싱크에는 문제가 없다고 결정될 수 있다. 따라서, 선후 적합성이 적합한 경우에는 필요 로봇 영상의 재생 시점을 갱신하여 전체 싱크 조정을 수행할 수 있다. 로봇 제어 파라미터를 갱신하는 것 보다 영상의 재생 시점을 갱신하는 것이 보다 용이하기 때문에, 디바이스(100)는 전체 싱크 조정이 필요한 경우, 필요 로봇 영상의 재생 시점을 갱신하여 싱크 조정을 수행할 수 있다.The device 100 according to one embodiment may perform overall sync adjustment when the sequential compatibility is determined to be appropriate. If the prior-to-post compatibility is appropriate, it may be determined that there is no problem with synchronization between each component (e.g., multiple prosthetic arms) that constitutes the medical robot. Therefore, if the sequential compatibility is suitable, the overall sync adjustment can be performed by updating the playback time of the necessary robot image. Since it is easier to update the playback time of an image than to update robot control parameters, when overall sync adjustment is necessary, the device 100 can perform sync adjustment by updating the playback time of the required robot image.

일 실시 예에 따른 디바이스(100)는 선후 적합성이 부적합한 것으로 결정된 경우에는 의료 로봇을 구성하는 일 구성(예: 제 1 인공 팔)에 대한 제어 파라미터를 갱신하여 일 구성(예: 제 1 인공 팔)에 대한 싱크 조정을 수행할 수 있다. 디바이스(100)는 일 구성(예: 제 1 인공 팔)의 제어 파라미터를 갱신함으로서 다른 구성(예: 제 2 인공 팔)과 일 구성(예: 제 1 인공 팔) 간의 싱크를 맞출 수 있다.If the device 100 according to an embodiment is determined to have inadequate compatibility, the device 100 updates the control parameters for a component (e.g., a first artificial arm) constituting a medical robot to replace the component (e.g., a first artificial arm). Sync adjustment can be performed. The device 100 may synchronize one configuration (e.g., the first prosthetic arm) with another configuration (e.g., the second prosthetic arm) by updating the control parameters of one configuration (e.g., the first prosthetic arm).

일 실시 예에 따른 디바이스(100)는 디스플레이되는 영상의 분석 만으로는 영상에 포함되는 객체의 위치를 정확히 결정하기 어렵기 때문에, 각각의 객체의 움직임의 선후 관계 등을 이용하여 선후 적합성을 우선 결정함으로서 보다 용이하게 싱크를 제어할 수 있다.Since it is difficult for the device 100 according to one embodiment to accurately determine the location of objects included in the image only by analyzing the displayed image, it is better to first determine the sequential suitability using the sequential relationship between the movements of each object, etc. You can easily control the sync.

본 개시의 다양한 실시 예들은 기기(machine)(예를 들어, 디스플레이 장치 또는 컴퓨터)에 의해 읽을 수 있는 저장 매체(storage medium)(예를 들어, 메모리)에 저장된 하나 이상의 인스트럭션들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서(예를 들어, 프로세서(220))는, 저장 매체로부터 저장된 하나 이상의 인스트럭션들 중 적어도 하나의 인스트럭션을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 인스트럭션에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 인스트럭션들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of the present disclosure are implemented as software including one or more instructions stored in a storage medium (e.g., memory) that can be read by a machine (e.g., a display device or computer). It can be. For example, the device's processor (eg, processor 220) may call at least one instruction among one or more instructions stored from a storage medium and execute it. This allows the device to be operated to perform at least one function according to the at least one instruction called. The one or more instructions may include code generated by a compiler or code executable by an interpreter. A storage medium that can be read by a device may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is stored semi-permanently in the storage medium. There is no distinction between temporary storage cases.

일 실시 예에 따르면, 본 개시에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, methods according to various embodiments disclosed in the present disclosure may be included and provided in a computer program product. Computer program products are commodities and can be traded between sellers and buyers. The computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or via an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smartphones) or online. In the case of online distribution, at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.

본 발명에 대하여 예시한 도면을 참조로 하여 설명하였으나 개시된 실시 예와 도면에 의해 한정되는 것은 아니며 본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 실시 예를 설명하며 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을지라도, 해당 구성에 의해 예측이 가능한 효과 또한 인정될 수 있다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Although the present invention has been described with reference to the illustrative drawings, it is not limited to the disclosed embodiments and drawings, and those skilled in the art in the technical field related to the present embodiments may make modifications without departing from the essential characteristics of the above-mentioned description. You will be able to understand that it can be implemented in a certain form. Therefore, the disclosed methods should be considered from an explanatory rather than a restrictive perspective. Even if the operational effects according to the configuration of the present invention are not explicitly described and explained in the description of the embodiment, the effects that can be predicted by the configuration may also be recognized. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the equivalent scope should be construed as being included in the present invention.

100: 디바이스
130: 외부 서버 140: 저장 매체 150: 통신 디바이스 160: 가상 서버
170: 사용자 단말 180: 사용자 단말
210: 수신부 220: 프로세서
230: 출력부 240: 메모리
410: 의료 상황 표시 영역 420: 추론 영역
430: 복수의 마크
431: 제 1 마크 432: 제 2 마크
441: 제 1 기준선 442: 제 2 기준선
450: 복수의 분산 추론 엔진
460: 제 1 영역 470: 제 2 영역
601: 제 1 부분 영상 602: 제 2 부분 영상
610: 전체 로봇 영상
611: 제 1 부분 영상의 종료 시점 612: 제 2 부분 영상의 시작 시점
620: 필요 로봇 영상 630: 갱신 영상
710: 제 1 위치 파라미터에 대응되는 의료 로봇 상태
720: 제 2 위치 파라미터에 대응되는 의료 로봇 상태100: device
130: External server 140: Storage medium 150: Communication device 160: Virtual server
170: user terminal 180: user terminal
210: receiving unit 220: processor
230: output unit 240: memory
410: Medical situation display area 420: Inference area
430: Mark of Vengeance
431: 1st mark 432: 2nd mark
441: first baseline 442: second baseline
450: Multiple distributed inference engines
460: first area 470: second area
601: 1st part video 602: 2nd part video
610: Full robot video
611: End point of the first part video 612: Start point of the second part video
620: Required robot video 630: Update video
710: Medical robot state corresponding to the first position parameter
720: Medical robot state corresponding to the second position parameter

Claims

In a method of providing images in relation to a medical robot,
Obtaining an entire robot image representing the motion of the medical robot for the entire time interval;
Obtaining a plurality of distributed inference results from a plurality of distributed inference engines that perform image processing on the entire robot image;
Obtaining a necessary robot image among the entire robot images based on the plurality of distributed inference results; and
A method comprising: providing the necessary robot image and medical robot control parameters corresponding to the necessary robot image in conjunction with each other.

According to claim 1,
The method wherein the plurality of distributed inference engines each infer different objects for the entire robot image.

According to claim 1,
The step of acquiring the necessary robot image is
Obtaining a first partial image and a second partial image, which are determined to be necessary for medical education based on the plurality of distributed inference results and are parts of the entire robot image, from the entire robot image; and
Obtaining the necessary robot image by connecting the first partial image and the second partial image.

According to claim 3,
The step of linking and providing the medical robot control parameters is
Obtaining a first position parameter for the medical robot corresponding to an end point of the first partial image and a second position parameter for the medical robot corresponding to a start point of the second partial image;
Obtaining an update control parameter for updating the first location parameter to the second location parameter; and
Method comprising: providing the medical robot control parameters including the update control parameters.

According to claim 4,
The step of acquiring the necessary robot image by connecting the first partial image and the second partial image
Obtaining an updated image corresponding to the update control parameter; and
The method comprising: obtaining the necessary robot image in which the updated image is located between the first partial image and the second partial image.

According to claim 5,
The length of the updated image is determined based on the difference between the first position parameter and the second position parameter.

According to claim 1,
The step of linking and providing the medical robot control parameters is
displaying the necessary robot image;
Controlling the medical robot according to the medical robot control parameters; and
Controlling the synchronization of the displayed movement of the medical robot and the movement of the medical robot controlled according to the robot control parameters.

According to claim 7,
The medical robot includes a first artificial arm and a second artificial arm,
The step of controlling the sink is
determining a sequential compatibility indicating the compatibility of a sequential relationship of movement between a first object corresponding to the first artificial arm and a second object corresponding to the second artificial arm; and
When it is determined that overall sync adjustment is necessary based on the precedence suitability, updating the playback time of the necessary robot image. A method including.

According to claim 7,
The medical robot includes a first artificial arm and a second artificial arm,
The step of controlling the sink is
determining a sequential compatibility indicating the compatibility of a sequential relationship of movement between a first object corresponding to the first artificial arm and a second object corresponding to the second artificial arm; and
When it is determined that synchronization of the first artificial arm is necessary based on the prior suitability, updating control parameters of the first artificial arm included in the medical robot control parameters.

In a device that provides images in connection with a medical robot,
A receiving unit that acquires an entire robot image representing the operation of the medical robot for the entire time period; and
Obtaining a plurality of distributed inference results from a plurality of distributed inference engines that perform image processing on the entire robot image,
Obtaining a necessary robot image among the entire robot images based on the plurality of distributed inference results,
A device comprising; a processor providing the necessary robot image and medical robot control parameters corresponding to the necessary robot image in conjunction with the necessary robot image.

According to claim 10,
The processor is
The device wherein the plurality of distributed inference engines each infer different objects for the entire robot image.

According to claim 10,
The processor is
It is determined that it is necessary for medical education based on the plurality of distributed inference results, and a first partial image and a second partial image, which are parts of the entire robot image, are obtained from the entire robot image,
A device that acquires the necessary robot image by connecting the first partial image and the second partial image.

According to claim 12,
The processor is
Obtaining a first position parameter for the medical robot corresponding to an end point of the first partial image and a second position parameter for the medical robot corresponding to a start point of the second partial image,
Obtaining an update control parameter for updating the first position parameter to the second position parameter,
A device providing the medical robot control parameters including the update control parameters.

According to claim 13,
The processor is
Obtain an updated image corresponding to the update control parameter,
A device wherein the updated image acquires the necessary robot image located between the first partial image and the second partial image.

According to claim 14,
The length of the update image is determined based on the difference between the first position parameter and the second position parameter.

According to claim 10,
Further comprising a display for displaying the necessary robot image,
The processor is
Controlling the medical robot according to the medical robot control parameters,
A device that controls synchronization of movements of the displayed medical robot and movements of the medical robot controlled according to the robot control parameters.

A non-transitory computer-readable recording medium on which a program for implementing the method of any one of claims 1 to 9 is recorded.