KR20200117263A - System for recording medical video and method for controlling record robot - Google Patents

System for recording medical video and method for controlling record robot Download PDF

Info

Publication number
KR20200117263A
KR20200117263A KR1020190039141A KR20190039141A KR20200117263A KR 20200117263 A KR20200117263 A KR 20200117263A KR 1020190039141 A KR1020190039141 A KR 1020190039141A KR 20190039141 A KR20190039141 A KR 20190039141A KR 20200117263 A KR20200117263 A KR 20200117263A
Authority
KR
South Korea
Prior art keywords
recording
robot
photographing
medical image
command signal
Prior art date
Application number
KR1020190039141A
Other languages
Korean (ko)
Other versions
KR102253768B1 (en
Inventor
박준현
김경배
장호열
Original Assignee
(주) 코웰메디
장호열
(주) 퓨처로봇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 코웰메디, 장호열, (주) 퓨처로봇 filed Critical (주) 코웰메디
Priority to KR1020190039141A priority Critical patent/KR102253768B1/en
Publication of KR20200117263A publication Critical patent/KR20200117263A/en
Application granted granted Critical
Publication of KR102253768B1 publication Critical patent/KR102253768B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/02Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • B25J9/041Cylindrical coordinate type
    • B25J9/042Cylindrical coordinate type comprising an articulated arm
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725Cordless telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/23296
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Manipulator (AREA)

Abstract

Provided are a medical image recording system in which lighting and facility frames are connected to a camera so that the camera is remotely controlled by the voice and motion of a user to record a medical image, a recording robot, and a medical image recording robot control method. According to an embodiment of the present invention, the medical image recording system comprises: a recording robot coupled to lighting and equipment frames and controlled by user commands including voices and motions and tool commands for laser tracking and remote control; a smart terminal that remotely controls the recording robot and receives medical image data of medical treatment and surgery from the recording robot; and an image management server that receives and accumulates recorded medical image data from the recording robot or the smart terminal, and shares the medical image data as academic data with other smart terminals and servers.

Description

의료영상 리코딩 시스템 및 리코딩 로봇의 제어 방법 {SYSTEM FOR RECORDING MEDICAL VIDEO AND METHOD FOR CONTROLLING RECORD ROBOT}Medical image recording system and control method of recording robot {SYSTEM FOR RECORDING MEDICAL VIDEO AND METHOD FOR CONTROLLING RECORD ROBOT}

의료영상 리코딩 시스템 및 방법에 대한 것으로, 조명 및 설비 프레임에 연결된 카메라와 카메라가 연결된 프레임을 자동 제어하여 의료영상을 촬영하는 시스템 및 리코딩 로봇의 제어방법에 관한 것이다. The present invention relates to a medical image recording system and method, and to a system for capturing a medical image by automatically controlling a camera connected to a lighting and equipment frame and a frame connected to the camera, and a control method of a recording robot.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.Unless otherwise indicated herein, the content described in this section is not prior art to the claims of this application, and inclusion in this section is not admitted to be prior art.

원격제어(remote control)는 먼 곳에 있는 기기를 전기적 또는 기계적으로 제어하여 전자기기의 동작을 조정하는 기술이다. 전기적인 원격 조정에는 유선에 의한 방법과 무선에 의한 방법이 있고, 최근에는 무선 원격제어 기술이 다양한 형태로 발전하고 있다. 특히, 사용자의 음성이나 움직임(motion)을 인식하여 전자기기를 제어하는 음성인식과 모션인식 기술은 각종 카메라 및 센서의 기술 고도화로 크게 발전하고 있다. Remote control is a technology that controls the operation of electronic devices by electrically or mechanically controlling remote devices. There are a wired method and a wireless method for electric remote control, and recently, wireless remote control technology has been developed in various forms. In particular, voice recognition and motion recognition technologies for controlling electronic devices by recognizing a user's voice or motion have been greatly developed with the advancement of various cameras and sensors.

모션인식은 단순히 사용자의 동작(gesture)을 인식하는 것뿐만 아니라 사용자의 표정과 생체고유 정보까지 정확히 식별하는 단계까지 발전하고 있다. 하지만, 현재 원격 제어 기술은 대부분 스마트 폰에 중점적으로 적용되고 있는 수준이다.Motion recognition is developing not only to simply recognize a user's gesture, but also to accurately identify the user's facial expression and bio-specific information. However, the current remote control technology is mostly applied to smart phones.

전자기기의 원격 자동제어 기술은 홈 네트워크 등으로 확대되는 추세이지만, 아직도 병 의원 및 공장 등은 관련 시스템이 적용되지 않은 곳이 많다.Although the technology for remote automatic control of electronic devices is expanding to home networks, there are still many places where related systems are not applied to hospitals and factories.

특히, 병 의원의 경우 치과진료실이나 수술실에서 진료 및 수술영상과 사진을 촬영하는 경우가 많다. 이때 의료진들은 모두 위생장갑을 끼고 있고 마스크를 착용한 상태이기 때문에, 영상을 촬영하려면 카메라만을 제어하는 추가 인력이 필요하다. 또한, 카메라 제어는 수술을 집도하는 의사나 진료를 진행하는 의사가 직접 컨트롤 할 수 없기 때문에, 수술과정이나 진료과정을 촬영할 때 불편함이 크다. 실제로, 수술촬영을 하는 경우 집도의는 카메라맨에게 어떤 객체를 줌인, 줌 아웃 하고, 포커싱(focusing)해서 촬영해야 하는지 직접 지시해야 하는데, 집도의는 의료 마스크를 착용한 상태이기 때문에 의사전달을 명확히 할 수 없다. 뿐만 아니라 집도의가 직접 카메라의 세부적인 제어 명령을 하는 경우, 수술 영상 촬영 시 상당한 집중력이 분산될 수 있다. 아울러, 수술이나 진료 도중 특정 객체를 선명하게 촬영하기 위해서는 카메라의 위치와 촬영방향, 포커스, 줌 등 촬영 세부정보를 제어해야만 하는데, 의료 인력이 이를 제어하는 경우 의료서비스 품질이 떨어질 수 있다. In particular, in the case of hospitals and clinics, treatment and surgical images and pictures are often taken in a dental treatment room or an operating room. At this time, since all of the medical staff are wearing sanitary gloves and masks, additional personnel who control only the camera are required to shoot images. In addition, since the camera control cannot be directly controlled by the doctor performing the operation or the doctor performing the treatment, it is very inconvenient to take pictures of the surgery or treatment process. In fact, in the case of surgery, the surgeon must directly instruct the cameraman which object to zoom in, zoom out, and focus on, but the surgeon is wearing a medical mask, so it is not possible to clarify the communication. . In addition, when the surgeon directly commands the detailed control of the camera, considerable concentration can be dispersed when taking a surgical image. In addition, in order to clearly photograph a specific object during surgery or treatment, detailed photographing information such as the position of the camera, photographing direction, focus, and zoom must be controlled. If medical personnel control this, the quality of medical services may be degraded.

1. 한국 특허공개 제10-2005-0089852호(2005.09.08)1. Korean Patent Publication No. 10-2005-0089852 (2005.09.08) 2. 한국 특허등록 제10-1454673호(2014.10.20)2. Korean Patent Registration No. 10-1454673 (2014.10.20)

조명 및 설비 프레임과 카메라가 연결되고 사용자의 음성 및 모션에 의해 카메라가 원격 제어되어 의료영상을 리코딩하는 의료영상 리코딩 시스템, 리코딩 로봇, 의료영상 리코딩 로봇 제어 방법을 제공한다. It provides a medical image recording system, a recording robot, and a medical image recording robot control method for recording medical images by connecting lighting and equipment frames and cameras, and remotely controlling the camera by a user's voice and motion.

하나의 실시예로서, 의료영상 리코딩 시스템은 조명 및 설비 프레임에 결합되고, 음성, 모션을 포함하는 사용자명령과 레이저 트래킹(tracking), 무선조정(remote control)을 포함하는 도구명령에 의해 제어되는 리코딩 로봇; 리코딩 로봇을 원격제어 하고, 리코딩 로봇으로부터 진료, 수술을 포함하는 의료영상데이터를 수신하는 스마트 단말; 및 리코딩 로봇 또는 스마트 단말로부터 녹화된 의료영상 데이터를 전달받아 누적수집하고, 상기 의료영상 데이터를 학술자료로 다른 스마트 단말 및 서버와 공유하는 영상관리서버; 를 포함한다.As an embodiment, the medical image recording system is coupled to lighting and equipment frames, and is controlled by user commands including voice and motion, and tool commands including laser tracking and remote control. robot; A smart terminal for remotely controlling the recording robot and receiving medical image data including medical treatment and surgery from the recording robot; And an image management server that receives and collects recorded medical image data from a recording robot or a smart terminal, and shares the medical image data as academic data with other smart terminals and servers. Includes.

다른 실시예에 따른 의료영상 리코딩 로봇은 회전과 및 기울기가 360도 및 x, y, z 축 3방향 조정되도록 하는 적어도 하나의 관절부를 포함하는 프레임; 및 프레임과 연결되고, 음성, 모션을 포함하는 사용자명령과 레이저 트래킹, 무선조정(remote control)을 포함하는 도구명령에 의해 촬영 세부정보가 제어되는 카메라; 를 포함한다.A medical image recording robot according to another exemplary embodiment includes a frame including at least one joint portion for adjusting a rotation and a tilt in 360 degrees and in three directions of x, y, and z axes; And a camera connected to the frame and controlling detailed photographing information by a user command including voice and motion, and a tool command including laser tracking and remote control. Includes.

다른 실시예에 따른 의료영상 리코딩 로봇 제어 방법은 (A) 명령인식모듈에서 음성, 모션, 사용자 접근, 객체 트래킹을 포함하는 사용자명령신호 및 레이저 트래킹, 마우스 포인트 트래킹, 원격제어를 포함하는 도구명령신호를 인식하는 단계; (B) 촬영제어모듈에서 인식된 사용자 명령신호 및 도구 명령 신호에 따라 리코딩 로봇에 설치된 카메라의 녹화여부, 줌, 포커싱, 촬영방향을 포함하는 촬영 세부 정보를 제어하는 단계; 및 (C) 틸팅제어모듈에서 사용자명령신호 및 도구명령신호에 따라 객체를 촬영하도록 리코딩 로봇에 설치된 프레임의 방향과 기울기를 제어하는 단계; 를 포함한다.A method for controlling a medical image recording robot according to another embodiment includes (A) a user command signal including voice, motion, user access, and object tracking in a command recognition module, and a tool command signal including laser tracking, mouse point tracking, and remote control. Recognizing; (B) controlling detailed photographing information including whether or not a camera installed in the recording robot is recorded, zooming, focusing, and photographing direction according to a user command signal and a tool command signal recognized by the photographing control module; And (C) controlling the direction and inclination of the frame installed in the recording robot so that the tilting control module captures the object according to the user command signal and the tool command signal. Includes.

치과 진료 사진을 찍거나 수술영상 녹화 시 음성과 모션 인식 및 다른 스마트 기기를 통해 카메라를 원격 제어 하여 의료영상 촬영의 편의성을 향상 시킨다. 기록된 의료영상을 수집하여 다른 의료진에게도 공유함으로써, 여러 영상을 학술자료로서 쉽게 이용될 수 있도록 한다. 또한, 의료진의 임상 데이터를 쉽게 수집할 수 있도록 한다.It improves the convenience of medical imaging by remotely controlling the camera through voice and motion recognition and other smart devices when taking dental care photos or recording surgical images. Recorded medical images are collected and shared with other medical staff so that multiple images can be easily used as academic data. It also makes it easy to collect clinical data from medical staff.

집도의 및 주치의가 의도하는 대로 카메라 및 리코딩 로봇을 손쉽게 제어 할 수 있기 때문에 녹화되는 의료 영상의 품질을 향상시킬 수 있고, 모션인식 및 음성인식 등의 원격 제어를 통해 집도의의 집중력 분산을 막는다.Because the camera and recording robot can be easily controlled as intended by the operating surgeon and the attending physician, the quality of recorded medical images can be improved, and remote control such as motion recognition and voice recognition prevents dispersion of the surgeon's concentration.

또한, 3D센서 및 ToF(Time of Flight) 모듈을 통해 사용자의 모션과 표정 등을 보다 정확하게 인지하여 카메라 및 리코딩 로봇의 세부정보를 정확하게 제어할 수 있도록 한다. 또한, 리코딩 로봇은 3방향 회전 및 360도 틸팅 되는 프레임을 포함하게 하여 촬영 각도를 보다 폭 넓게 확보함으로써 수술 시 협소한 영역으로 까지 카메라가 위치 할 수 있도록 하여 고화질의 의료영상을 촬영할 수 있도록 한다.In addition, through a 3D sensor and a ToF (Time of Flight) module, the user's motion and facial expressions are more accurately recognized, so that detailed information of the camera and recording robot can be accurately controlled. In addition, the recording robot includes a frame that rotates in three directions and tilts 360 degrees to secure a wider shooting angle, so that the camera can be positioned to a narrow area during surgery, so that high-quality medical images can be captured.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.The effects of the present invention are not limited to the above effects, and should be understood to include all effects that can be inferred from the configuration of the invention described in the detailed description or claims of the present invention.

도 1a는 실시예에 따른 의료영상 리코딩 시스템을 나타낸 도면
도 1b는 리코딩 로봇이 천장 및 조명 설비에 설치된 실시예를 나타낸 도면
도 2a는 실시예에 따른 리코딩 로봇의 데이터 처리 블록을 나타낸 도면
도 2b는 실시예에 따른 리코딩 로봇의 컨트롤러에 설치되는 데이터 처리 모듈의 조립 구조를 나타낸 도면
도 3은 실시예에 따른 스마트 단말의 데이터 처리 구성을 나타낸 도면
도 4는 실시예에 따른 영상관리 서버의 데이터 처리구성을 나타낸 도면
도 5는 실시예에 따른 의료영상 리코딩 로봇에 설치된 카메라 구성을 나타낸 도면
도 6a는 실시예에 따른 의료영상 촬영 로봇의 다양한 형태를 설명하기 위한 도면
도 6b는 카메라가 설치되지 않은 리코딩 로봇 형태를 나타낸 도면
도 7은 실시예에 따른 의료영상 리코딩 로봇 제어 방법의 데이터 처리흐름을 나타낸 도면
도 8은 실시예에 따른 의료영상 리코딩 로봇이 수술실에서 레이저 포인터를 추적하며 촬영하는 과정을 설명하기 위한 도면
도 9는 리코딩 로봇이 치과에서 사용되는 실시예에를 나타낸 도면
1A is a diagram showing a medical image recording system according to an embodiment
1B is a diagram showing an embodiment in which a recording robot is installed on a ceiling and lighting equipment
2A is a diagram showing a data processing block of a recording robot according to an embodiment
2B is a diagram showing an assembly structure of a data processing module installed in a controller of a recording robot according to an embodiment
3 is a diagram showing a data processing configuration of a smart terminal according to an embodiment
4 is a diagram showing a data processing configuration of an image management server according to an embodiment
5 is a view showing the configuration of a camera installed in the medical image recording robot according to the embodiment
6A is a view for explaining various forms of a medical imaging robot according to an embodiment
6B is a diagram showing the form of a recording robot without a camera installed
7 is a diagram showing a data processing flow of a method for controlling a medical image recording robot according to an embodiment
8 is a diagram for explaining a process in which a medical image recording robot according to an embodiment tracks and photographs a laser pointer in an operating room
9 is a view showing an embodiment in which a recording robot is used in dentistry

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, only the present embodiments are intended to complete the disclosure of the present invention, and the general knowledge in the technical field to which the present invention belongs. It is provided to completely inform the scope of the invention to those who have it, and the invention is only defined by the scope of the claims. The same reference numerals refer to the same elements throughout the specification.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification.

도 1a는 실시예에 따른 의료영상 리코딩 시스템을 나타낸 도면이다.1A is a diagram showing a medical image recording system according to an embodiment.

도 1a를 참조하면, 실시예에 따른 의료영상 리코딩 시스템은 리코딩 로봇(100), 스마트 단말(200) 및 영상관리서버(300)을 포함하여 구성될 수 있다. 리코딩 로봇(100)은 조명 및 설비 프레임에 카메라가 결합된 형태의 의료영상 촬영로봇이다. 리코딩 로봇의 카메라 및 프레임은 다양한 원격 조정에 의해 제어된다. 예컨대, 카메라는 음성인식과 모션인식 등 사용자가 제공하는 정보인식을 통한 사용자명령에 의해 제어될 수 있다. 또한, 레이저 트래킹, 무선조정(remote control) 등의 도구명령에 의해 제어될 수 있다. 실시예에서 리코딩 로봇(100)의 카메라 또는 프레임을 원격제어 하는 외부 단말은 스마트 단말, 마우스 등 리코딩 로봇과 유무선 통신으로 연동 가능한 기기를 포함한다. Referring to FIG. 1A, a medical image recording system according to an embodiment may include a recording robot 100, a smart terminal 200, and an image management server 300. The recording robot 100 is a medical image photographing robot in which a camera is combined with a lighting and equipment frame. The cameras and frames of the recording robot are controlled by various remote controls. For example, the camera may be controlled by a user command through information recognition provided by the user, such as voice recognition and motion recognition. In addition, it can be controlled by tool commands such as laser tracking and remote control. In the embodiment, an external terminal for remotely controlling a camera or frame of the recording robot 100 includes a device capable of interlocking with a recording robot such as a smart terminal or a mouse through wired or wireless communication.

스마트 단말(200)은 리코딩 로봇(100)과 통신 연동하여 리코딩 로봇(100)을 원격제어 하고, 리코딩 로봇(100)으로부터 진료, 수술을 포함하는 의료영상데이터를 수신한다. 리코딩 로봇을 원격제어 하는 스마트 단말에는 스마트 폰, 스마트 패드뿐만 아니라, 랩탑(lap top), PC 등의 컴퓨팅 기기와 마우스, 레이저 포인터, 키보드 등 컴퓨팅 기기에 연결되는 주변기기도 포함할 수 있다. The smart terminal 200 communicates with the recording robot 100 to remotely control the recording robot 100 and receives medical image data including medical treatment and surgery from the recording robot 100. Smart terminals that remotely control the recording robot may include not only smart phones and smart pads, but also computing devices such as laptops and PCs, and peripheral devices connected to computing devices such as mice, laser pointers, and keyboards.

영상관리 서버(300)는 리코딩 로봇(100) 또는 스마트 단말(200)로부터 녹화된 의료영상 데이터를 전달받아 누적수집하고, 의료영상 데이터를 학술자료로 다른 스마트 단말 및 서버와 공유할 수 있다.The image management server 300 may receive and collect the recorded medical image data from the recording robot 100 or the smart terminal 200 and collect it, and share the medical image data as academic data with other smart terminals and servers.

도 1b는 리코딩 로봇이 천장 및 조명 설비에 설치된 실시예를 나타낸 도면이다.1B is a view showing an embodiment in which a recording robot is installed on a ceiling and lighting equipment.

도 1b를 참조하면, 실시예에 따른 의료영상을 촬영하는 리코딩 로봇은 복수개의 수동암(53) 및 클램프(52)와 연결되고, 클램프(52)에 의해 천장 설비 및 조명시설장치(51)에 설치될 수 있다. 실시예에서 클램프(52)는 리코딩 로봇이 설치되는 시설장치(51)에서 리코딩 로봇의 위치를 변경하거나 조정할 수 있도록 한다. 수동암(53)은 다른 수동암(53)과 관절부(55)를 통해 연결될 수 있다. 실시예에 따른 리코딩로봇은 컨트롤러(57), 3축 구동부(59), 카메라(61)가 연결된 구조이고, 카메라(61)는 3축 구동부(59)에 구성된 카메라 고정장치에 의해 고정될 수 있다. Referring to FIG. 1B, the recording robot for photographing a medical image according to the embodiment is connected to a plurality of manual arms 53 and clamps 52, and is connected to the ceiling fixture and the lighting facility device 51 by the clamp 52. Can be installed. In the embodiment, the clamp 52 allows the position of the recording robot to be changed or adjusted in the facility device 51 in which the recording robot is installed. The passive arm 53 may be connected to another passive arm 53 through the joint part 55. The recording robot according to the embodiment has a structure in which the controller 57, the 3-axis driving unit 59, and the camera 61 are connected, and the camera 61 may be fixed by a camera fixing device configured in the 3-axis driving unit 59. .

도 2a는 실시예에 따른 리코딩 로봇의 데이터 처리 블록을 나타낸 도면이다. 2A is a diagram illustrating a data processing block of a recording robot according to an embodiment.

도 2a를 참조하면, 실시예에 따른 리코딩 로봇(100)은 명령인식모듈(110), 촬영제어 모듈(130), 틸팅제어모듈(150), 카메라(170) 및 프레임(190)을 포함하여 구성될 수 있다. 본 명세서에서 사용되는 '모듈' 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다. Referring to FIG. 2A, the recording robot 100 according to the embodiment includes a command recognition module 110, a photographing control module 130, a tilting control module 150, a camera 170, and a frame 190. Can be. The term'module' used in this specification should be interpreted as being capable of including software, hardware, or a combination thereof, depending on the context in which the term is used. For example, the software may be machine language, firmware, embedded code, and application software. As another example, the hardware may be a circuit, a processor, a computer, an integrated circuit, an integrated circuit core, a sensor, a MEMS (Micro-Electro-Mechanical System), a passive device, or a combination thereof.

명령인식모듈(110)은 사용자명령신호 및 도구명령신호를 인식한다. 사용자명령신호는 사용자가 자신의 표정, 제스처 등 직접 만들어 낼 수 있는 신호를 통해 리코딩 로봇을 제어하는 것이다. 사용자 명령신호에는 음성신호, 모션신호, 사용자 접근 및 객체 트래킹 신호 등이 포함될 수 있다. 도구명령신호는 스마트기기나 리모콘 등 외부 기기를 이용하여 리코딩 로봇을 유무선 통신 또는 전파로 제어하는 것이다. 도구명령신호에는 마우스 포인트 트래킹(mouse point tracking), 레이저 포인트 트래킹(laser point tracking), 객체 추적(object tracking) 등 기기를 통해 생성되는 신호와 전자기기에서 송출하는 레이저를 추적하여 리코딩 로봇을 제어할 수 있다. The command recognition module 110 recognizes a user command signal and a tool command signal. The user command signal controls the recording robot through signals that the user can directly create, such as his or her facial expressions and gestures. The user command signal may include a voice signal, a motion signal, a user access signal and an object tracking signal. The tool command signal controls the recording robot through wired/wireless communication or radio waves using an external device such as a smart device or a remote control. In the tool command signal, the recording robot can be controlled by tracking signals generated through devices such as mouse point tracking, laser point tracking, and object tracking, and lasers transmitted from electronic devices. I can.

촬영제어모듈(130)은 인식된 사용자 명령신호 및 도구 명령 신호에 따라 리코딩 로봇에 설치된 카메라의 녹화여부, 줌, 포커싱, 촬영방향을 포함하는 촬영 세부 정보를 제어한다. 또한 촬영제어모듈(130)은 스스로 녹화되고 있는 화면을 인식하여 녹화해야 하는 객체가 다른 객체에 의해 가려지거나, 녹화되어야 하는 객체자 정확하게 포커싱 되지 않는 경우, 이를 파악하고 경고음을 출력하도록 한다. 예컨대, 수술실에서 수술 진행중인 장기가 미리 지정한 녹화해야 할 객체인 경우에는 수술 중 집도의사의 손, 수술도구, 머리 등에 의해 녹화해야 할 객체인 장기가 가려지는 경우, 카메라 위치 설정을 다시 제어하라는 알림을 출력할 수 있다. 또한, 치과에서 환자의 구강을 촬영하는 경우에는 미리 사진의 기울기, 중심선 및 구도를 설정하여, 사진 촬영을 위해 세팅 된 화면이 미리 설정된 기울기, 중심선 및 구도와 일정수준이상 일치 하지 않는 경우, 사진 촬영화면을 다시 세팅 하라는 알림을 송출하도록 할 수 있다. The photographing control module 130 controls detailed photographing information including whether or not a camera installed in the recording robot is recorded, zooming, focusing, and photographing direction according to the recognized user command signal and tool command signal. In addition, the photographing control module 130 recognizes the screen being recorded by itself, and when the object to be recorded is covered by another object or the object to be recorded is not accurately focused, the recording control module 130 detects this and outputs a warning sound. For example, in the case that the organ that is undergoing surgery in the operating room is an object that needs to be recorded in advance, if the organ that is the object to be recorded is obscured by the surgeon's hand, surgical tools, head, etc. Can be printed. In addition, when taking a picture of the patient's mouth at the dentist, the inclination, center line, and composition of the picture are set in advance, and if the screen set for the picture does not match the preset tilt, center line, and composition by a certain level or more, take a picture. You can send a notification to reset the screen.

틸팅제어모듈(150)은 사용자명령신호 및 도구명령신호에 따라 객체를 촬영하도록 리코딩 로봇에 설치된 프레임의 방향과 기울기를 x, y, z 축 방향으로 제어한다. 또한, 틸팅제어모듈(150)은 녹화 또는 촬영해야 하는 객체를 미리 설정하는 경우, 객체가 프레임 안으로 들어온 것을 인식하면, 객체를 촬영하기 위한 카메라의 각도와 위치를 자동으로 산출하여, 산출된 각도와 위치에 따라 프레임의 기울기와 방향을 제어할 수 있다. The tilting control module 150 controls the direction and inclination of the frame installed in the recording robot in the x, y, and z axis directions to photograph an object according to a user command signal and a tool command signal. In addition, when the object to be recorded or photographed is previously set, the tilting control module 150 automatically calculates the angle and position of the camera for photographing the object, when it recognizes that the object has entered the frame, and You can control the tilt and direction of the frame according to its position.

카메라(170)는 촬영제어모듈(130)로부터 전달된 제어명령에 따라 카메라의 세부정보가 제어된다. 카메라의 세부정보는 촬영 조건 정보로 포커싱, 줌인(zoom in), 줌 아웃(zoom out), 화이트 밸런스(white balance), 노출 정보 등 촬영되는 화면의 화질을 향상시키고 객체를 정확하게 녹화하기 위해 촬영조건을 제어하는 정보이다. The camera 170 controls detailed information of the camera according to a control command transmitted from the photographing control module 130. The detailed information of the camera is shooting condition information, such as focusing, zoom in, zoom out, white balance, exposure information, etc. to improve the quality of the screen being shot and to accurately record the object. This is the information that controls it.

프레임(190)은 카메라를 지지하는 구조로 3축 구동부와 수동암을 포함할 수 있다. 프레임 중 3충 구동부는 카메라와 연결되어, 카메라가 위치를 유지하며 촬영하도록 카메라를 지지한다. 실시예에서 프레임은 조명 프레임, 천정과 연결되는 설치프레임 등을 포함할 수 있다. 실시예에서 프레임은 360도, x, y, z, 방향으로 3방향 회전되는 프레임 관절부를 적어도 하나 포함할 수 있다. 프레임 관절부 각각은 회전 각도와 기울기 각도 정보를 인식하고 틸팅 제어 모듈로 전달하고 틸팅제어모듈로부터 제어명령신호를 전달받아, 프레임에 설치된 관절부 각각의 회전각도와 기울기가 조정될 수 있다. 틸팅제어모듈은 3축 구동부로 제어명령신호를 전달하여 프레임의 회전각도와 기울기를 조정한다.The frame 190 has a structure supporting the camera and may include a three-axis driving unit and a manual arm. Among the frames, the three driving units are connected to the camera and support the camera so that the camera maintains its position and shoots. In the embodiment, the frame may include a lighting frame, an installation frame connected to the ceiling, and the like. In an embodiment, the frame may include at least one frame joint rotated in three directions in 360 degrees, x, y, z, and directions. Each of the frame joints recognizes rotation angle and tilt angle information, transmits it to the tilting control module, and receives a control command signal from the tilting control module, so that the rotation angle and inclination of each of the joints installed in the frame may be adjusted. The tilting control module adjusts the rotation angle and inclination of the frame by transmitting a control command signal to the 3-axis driving unit.

도 2b는 실시예에 따른 리코딩 로봇의 컨트롤러에 설치되는 데이터 처리 모듈의 조립 구조를 나타낸 도면이다.2B is a diagram illustrating an assembly structure of a data processing module installed in a controller of a recording robot according to an embodiment.

도 2b의 A)를 참조하면, 실시예에 따른 리코딩 로봇의 데이터 처리 구성요소인 명령인식모듈, 촬영제어모듈, 틸팅제어모듈 등 리코딩 로봇의 위치와 촬영 세부정보 제어에 필요한 각종 부품 및 데이터 처리 모듈이 조립된다. 실시예에 따른 리코딩 로봇은 도 2b의 B)에 도시된 바와 같이, 조립된 데이터 처리모듈을 감싸는 컨트롤러 박스와 연결된다.2BA), various parts and data processing modules necessary for controlling the location and detailed photographing information of the recording robot, such as a command recognition module, a photographing control module, and a tilting control module, which are data processing components of the recording robot according to the embodiment. Is assembled. The recording robot according to the embodiment is connected to the controller box surrounding the assembled data processing module, as shown in B) of FIG. 2B.

도 3은 실시예에 따른 스마트 단말의 데이터 처리 구성을 나타낸 도면이다. 3 is a diagram showing a data processing configuration of a smart terminal according to an embodiment.

도 3을 참조하면, 스마트 단말(200)은 연동부(210), 제어명령 입력부(230) 및 디스플레이부(250)를 포함하여 구성될 수 있다. 리코딩 로봇과 연동되는 기기 중 스마트 단말의 데이터 처리구성을 설명하지만, 이는 리코딩 로봇과 연동되는 기기를 스마트 단말로 한정하는 것이 아니라, 스마트 단말을 제외한 리코딩 로봇을 제어하는 모든 기기의 데이터 처리구성을 나타낸 도면으로 볼 수 있다.Referring to FIG. 3, the smart terminal 200 may include an interworking unit 210, a control command input unit 230, and a display unit 250. It describes the data processing configuration of the smart terminal among the devices interlocked with the recording robot, but this does not limit the devices interlocked with the recording robot to the smart terminal, but shows the data processing configuration of all devices that control the recording robot except the smart terminal. It can be seen as a drawing.

연동부(210)는 리코딩 로봇과 통신 연동한다. 실시예에서 연동부(210)는 무선통신 또는 유선통신을 위해 리코딩 로봇 및 통신 기기를 동기화 하거나 기기 고유정보를 등록하는 과정을 수행한다. The linking unit 210 communicates with the recording robot. In an embodiment, the linking unit 210 synchronizes the recording robot and the communication device or registers device-specific information for wireless or wired communication.

제어명령입력부(230)는 스마트 기기가 리코딩 로봇과 연동 완료되면, 스마트 기기로 리코딩 로봇의 제어 신호를 입력한다. 제어명령은 음성, 터치, 버튼입력, 모션 등을 통해 입력될 수 있다.When the smart device is interlocked with the recording robot, the control command input unit 230 inputs a control signal of the recording robot to the smart device. The control command may be input through voice, touch, button input, motion, or the like.

디스플레이부(250)는 스마트 단말의 경우, 화면에 해당하는 구성으로, 스마트 단말 리코딩 로봇에서 촬영된 화면을 수신하여 이를 디스플레이한다.In the case of a smart terminal, the display unit 250 has a configuration corresponding to a screen, and receives and displays a screen photographed by the smart terminal recording robot.

도 4는 실시예에 따른 영상관리 서버의 데이터 처리구성을 나타낸 도면이다.4 is a diagram showing a data processing configuration of an image management server according to an embodiment.

도 4를 참조하면, 실시예에 따른 영상관리서버(300)는 저장모듈(310) 및 통신모듈(330)을 포함하여 구성될 수 있다. Referring to FIG. 4, the image management server 300 according to the embodiment may include a storage module 310 and a communication module 330.

저장모듈(310)은 리코딩 로봇 각각으로부터 수집된 데이터를 녹화시각, 의료영상의 종류에 따라 분류하여 수집하고, 분류된 의료영상자료를 데이터베이스화 한다. 통신모듈(330)은 저장된 의료영상자료를 다른 학술기관 및 병의 원과 학술 세미나 및 진료 안내를 위해 공유한다.The storage module 310 classifies and collects data collected from each of the recording robots according to recording time and type of medical image, and converts the classified medical image data into a database. The communication module 330 shares the stored medical image data for academic seminars and treatment guidance with other academic institutions and hospitals.

도 5는 실시예에 따른 의료영상 리코딩 로봇에 설치된 카메라 구성을 나타낸 도면이다.5 is a diagram showing the configuration of a camera installed in a medical image recording robot according to an embodiment.

도 5를 참조하면, 의료영상 리코딩 로봇에 설치된 카메라는 ToF모듈(171) 및 3D 센서(173)를 포함하여 구성될 수 있다.Referring to FIG. 5, a camera installed in a medical image recording robot may include a ToF module 171 and a 3D sensor 173.

TOF(Time of Flight)모듈(171)은 적외선의 객체 도달 및 반사시간을 측정하여 심도를 산출한다. 비과시간법(ToF)은 물체, 입자 또는 물결 (음향, 전자기 등)이 매체를 통해 멀리 이동할 수 있는 시간을 측정하는 방법이다. 실시예에서는 적외선을 송출하고 적외선이 객체까지 도달하는 시간과 객체로부터 반사되어 카메라로 도달하는 시간을 측정하는 것이다. 비과시간 정보는 시간 표준을 확립하거나 속도 또는 경로 길이를 측정하는 방법으로 사용될 수 있다. 또한, 입자 또는 매체의 특성을 학습하는 방법으로 사용할 수 있다. 실시예에서는 ToF모듈(171)을 통해 적외선과 같은 빛이 피사체에 도달했다가 반사되어 돌아오는 시간을 측정하는 방식으로 심도를 계산하고 3D를 구현한다. TOF 기술은 측정 거리에 장점이 있어 상당히 떨어진 거리에 있는 사람이나 사물도 인식할 수 있도록 한다. The TOF (Time of Flight) module 171 calculates the depth by measuring the arrival and reflection time of the infrared ray. The timeless method (ToF) is a method of measuring the amount of time an object, particle, or wave (sound, electromagnetic, etc.) can travel farther through a medium. In the embodiment, infrared rays are transmitted and the time that the infrared rays reach the object and the time reflected from the object reaches the camera are measured. Out-of-time information can be used as a way to establish time standards or measure speed or path length. It can also be used as a method of learning the properties of particles or media. In the embodiment, the depth is calculated and 3D is implemented by measuring the time when light such as infrared rays reaches the subject through the ToF module 171 and then returns after being reflected. TOF technology has the advantage of measuring distance, so it can recognize people or objects that are far away.

3D(dimension) 센서(173)는 산출된 심도 데이터를 기반으로 객체와 객체의 3차원 모션을 인식한다.The 3D (dimension) sensor 173 recognizes an object and a three-dimensional motion of the object based on the calculated depth data.

도 6a는 실시예에 따른 의료영상 촬영 로봇의 다양한 형태를 설명하기 위한 도면이다.6A is a view for explaining various forms of a medical imaging robot according to an embodiment.

도 6a를 참조하면, 실시예에 따른 의료영상 촬영로봇은 컨트롤러(64), 카메라(61), 프레임(65)으로 구성된다. 프레임(65)과 카메라(61)는 도 6의 B), C)에 도시된 바와 같이 그 형태가 다양하게 구성될 수 있다. 도 6의 A)를 참조하면, 의료영상 촬영로봇의 프레임은 360도 및 3방향으로 회전이 가능한 프레임 관절부(62)를 적어도 하나 포함하여 구성되고 프레임의 회전과 방향을 제어하는 3축 구동부(63)를 포함할 수 있다. 프레임 관절부(62)와 3축 구동부(63)는 틸팅 제어 명령에 의해 회전각도와 기울기를 조정하여 카메라의 위치를 보다 정밀하게 조정할 수 있도록 한다. 또한 실시예에서 프레임은 도 6a의 B)에 도시된 바와 같이, 수동암 및 3축 구동부(63), 관절부(62)를 포함하여 구성될 수 있다. Referring to FIG. 6A, the medical imaging robot according to the embodiment includes a controller 64, a camera 61, and a frame 65. The frame 65 and the camera 61 may have various configurations as shown in FIG. 6B) and C). Referring to FIG. 6A, the frame of the medical imaging robot includes at least one frame joint 62 capable of rotating in 360 degrees and three directions, and a three-axis drive unit 63 that controls the rotation and direction of the frame. ) Can be included. The frame joint 62 and the 3-axis driving unit 63 adjust the rotation angle and inclination according to the tilting control command so that the position of the camera can be more precisely adjusted. In addition, in the embodiment, the frame may be configured to include a manual arm, a three-axis driving unit 63, and a joint unit 62, as shown in B) of FIG. 6A.

도 6b는 카메라가 설치되지 않은 리코딩 로봇 형태를 나타낸 도면이다.6B is a diagram showing the form of a recording robot without a camera installed.

도 6b를 참조하현, 리코딩 로봇은 클램프(10), 수동암(30), 컨트롤러(100), 마이크(11), IR 수신부(13), IR 송신부(15), 3축 구동부(17), 카메라 고정장치(19), 전원부(power in) 및 HDMI 연결부(HDMI out)를 포함하여 구성될 수 있다. 6b, the recording robot is a clamp 10, a manual arm 30, a controller 100, a microphone 11, an IR receiver 13, an IR transmitter 15, a 3-axis drive unit 17, and a camera. It may be configured to include a fixing device 19, a power unit (power in) and an HDMI connector (HDMI out).

클램프(10)는 리코딩 로봇이 조명 및 천장 설비에 고정되도록 하고, 수동암(30)은 클램프(10)와 컨트롤러(100)를 연결하여 리코딩 로봇의 상하 움직임 범위를 확장 시킨다. 컨트롤러(100)는 리코딩 로봇을 제어하는 일련의 데이터 처리를 수행하고, 마이크(11)는 음성센서를 구비하여 사용자의 음성신호를 감지한다. IR 수신부(13) 및 IR송신부(15)는 리코딩 로봇을 제어하는 스마트 기기 및 외부서버와 통신한다. 3축 구동부(17)은 틸팅제어명령에 따라 회전 및 기울기가 조정되어 카메라의 촬영위치를 조정한다. 카메라 고정장치(19)는 3축 구동부 및 관절부가 기울어진 상황에서도 카메라가 지지되도록 카메라와 프레임(18)을 고정시킨다. The clamp 10 allows the recording robot to be fixed to the lighting and ceiling equipment, and the manual arm 30 connects the clamp 10 and the controller 100 to extend the vertical motion range of the recording robot. The controller 100 performs a series of data processing to control the recording robot, and the microphone 11 is equipped with a voice sensor to detect a user's voice signal. The IR receiver 13 and the IR transmitter 15 communicate with a smart device and an external server controlling the recording robot. The three-axis drive unit 17 adjusts the camera's photographing position by adjusting the rotation and tilt according to the tilting control command. The camera fixing device 19 fixes the camera and the frame 18 so that the camera is supported even in a situation where the 3-axis driving part and the joint part are inclined.

이하에서는 의료영상 리코딩 로봇의 제어방법에 대해서 차례로 설명한다. 본 발명에 따른 로봇 제어 방법의 작용(기능)은 의료영상 리코딩 시스템 및 의료영상 촬영 로봇의 기능과 본질적으로 같은 것이므로 도 1 내지 도 6과 중복되는 설명은 생략하도록 한다.Hereinafter, a method of controlling a medical image recording robot will be sequentially described. Since the function (function) of the robot control method according to the present invention is essentially the same as the function of the medical image recording system and the medical image photographing robot, a description overlapping with FIGS. 1 to 6 will be omitted.

도 7은 실시예에 따른 의료영상 리코딩 로봇 제어 방법의 데이터 처리흐름을 나타낸 도면이다. 7 is a diagram illustrating a data processing flow of a method for controlling a medical image recording robot according to an embodiment.

S710 단계에서는 명령인식모듈에서 음성, 모션, 사용자 접근, 객체 트래킹을 포함하는 사용자명령신호 및 레이저 트래킹, 마우스 포인트 트래킹, 원격제어를 포함하는 도구명령신호를 인식한다. S710 단계는 스마트 단말을 포함하는 외부 제어 기기와 연동한 후, 외부 제어기기로부터 수신한 도구명령신호 및 사용자 명령신호를 인식한다.In step S710, the command recognition module recognizes a user command signal including voice, motion, user access, object tracking, and tool command signals including laser tracking, mouse point tracking, and remote control. In step S710, after interlocking with an external control device including a smart terminal, a tool command signal and a user command signal received from the external control device are recognized.

S730 단계에서는 촬영제어모듈에서 인식된 사용자 명령신호 및 도구 명령 신호에 따라 리코딩 로봇에 설치된 카메라의 녹화여부, 줌, 포커싱, 촬영방향을 포함하는 촬영 세부 정보를 제어한다.In step S730, detailed photographing information including recording status, zoom, focusing, and photographing direction of the camera installed in the recording robot is controlled according to the user command signal and the tool command signal recognized by the photographing control module.

S750 단계에서는 틸팅제어모듈에서 사용자명령신호 및 도구명령신호에 따라 객체를 촬영하도록 리코딩 로봇에 설치된 프레임의 방향과 기울기를 x, y, z 축의 3 방향으로 모두 제어할 수 있다. S750 단계는 TOF(Time of Flight)모듈에서 적외선의 객체 도달 및 반사시간을 측정하여 심도를 산출하고, 3D(dimension) 센서에서 상기 산출된 심도 데이터를 기반으로 객체의 3차원 모션을 인식하는 한다. 이후, 모션인식에 의한 사용자 명령 및 도구명령을 인식하고 인식된 명령 정보에 따라 카메라 촬영 정보와 및 프레임의 각도 및 기울기를 제어한다. In step S750, the tilting control module may control the direction and inclination of the frame installed in the recording robot in three directions of the x, y, and z axes so that the object is photographed according to the user command signal and the tool command signal. In step S750, a depth of field is calculated by measuring the arrival and reflection time of an infrared ray in a time of flight (TOF) module, and a 3D motion of the object is recognized based on the calculated depth data by a dimension sensor. Thereafter, the user command and the tool command by motion recognition are recognized, and the camera photographing information and the angle and inclination of the frame are controlled according to the recognized command information.

실시예에서 의료영상 촬영 로봇은 사용자 명령 및 도구명령에 따라 제어될 뿐만 아니라, 미리 설정된 촬영조건이나 촬영객체 정보에 따라 자가 제어가 가능하다. 예컨대, 의료영상 촬영 로봇에 녹화해야 하는 객체와 화면 해상도, 크기, 구도 등을 미리 설정하면, 의료영상 촬영 로봇은 설정된 정보를 기반으로 객체가 설정된 정보에 따라 촬영되도록 카메라의 세부정보와 프레임을 자동으로 조정할 수 있다.In the embodiment, the medical imaging robot may be controlled not only according to user commands and tool commands, but also may be self-controlled according to preset photographing conditions or photographing object information. For example, if the object to be recorded on the medical imaging robot and the screen resolution, size, composition, etc. are set in advance, the medical imaging robot automatically generates details and frames of the camera so that the object is photographed according to the set information based on the set information. Can be adjusted with

도 8은 실시예에 따른 의료영상 리코딩 로봇이 수술실에서 레이저 포인터를 추적하며 촬영하는 과정을 설명하기 위한 도면이다. 8 is a diagram for explaining a process in which a medical image recording robot according to an embodiment tracks and photographs a laser pointer in an operating room.

도 8을 참조하면, 실시예에 따른 의료영상 리코딩 로봇은 레이저 포인터 등 외부 기기(81)가 포커싱 해야 할 객체의 특정 부분(82)을 가리키면, 객체에 투영되는 레이저를 추적(tracking) 하여 포인트 된 영역(82)을 집중적으로 촬영하도록 카메라(84)와 프레임(85)을 조정한다. 실시예에서 프레임은 천장 구조물에 연결되거나 조명프레임과 연결될 수 있고 포인트 되는 위치에 따라 회전 각도와 기울기가 조정될 수 있다. 실시예에 따른 의료영상 리코딩 로봇과 시스템을 통해 수술영상 및 진료 영상을 편리하게 녹화하고, 포커싱 하고자 하는 부분을 정확히 촬영할 수 있어, 녹화되는 영상이 의료진들의 학습자료 및 학술자료로서 가치를 높일 수 있도록 한다.Referring to FIG. 8, in the medical image recording robot according to the embodiment, when an external device 81 such as a laser pointer points at a specific part 82 of an object to be focused, the laser projected on the object is tracked and pointed. The camera 84 and the frame 85 are adjusted so that the area 82 is intensively photographed. In the embodiment, the frame may be connected to the ceiling structure or the lighting frame, and the rotation angle and inclination may be adjusted according to the pointed position. Through the medical image recording robot and system according to the embodiment, surgical images and treatment images can be conveniently recorded, and the part to be focused can be accurately photographed, so that the recorded images can increase the value as learning data and academic data for medical staff. do.

도 9는 리코딩 로봇이 치과에서 사용되는 실시예에를 나타낸 도면이다.9 is a view showing an embodiment in which the recording robot is used in dentistry.

도 9를 참조하면, 실시예에 따른 리코딩 로봇(a, b)은 치과에서 사용되는 환자 치료의자에 설치되어, 환자들의 구강을 촬영하거나 치료 영상을 촬영할 수 있다. 실시예를 통해 치과 진료 사진을 찍거나 및 수술영상 녹화 시 음성과 모션 인식 및 다른 스마트 기기를 통해 카메라를 원격 제어 하여 의료영상 촬영의 편의성을 향상 시킨다. 실시예에서는 기록된 의료영상을 수집하여 다른 의료진에게도 편리하게 공유함으로써, 여러 영상을 학술자료로서 쉽게 이용될 수 있도록 한다. 또한, 의료진의 임상 데이터를 쉽게 수집할 수 있도록 한다.Referring to FIG. 9, the recording robots (a, b) according to the embodiment may be installed in a patient treatment chair used in a dentistry to take pictures of the oral cavity of patients or a treatment image. Through the embodiment, the convenience of taking a medical image is improved by remotely controlling the camera through voice and motion recognition and other smart devices when taking a dental treatment picture or recording a surgical image. In the embodiment, recorded medical images are collected and conveniently shared with other medical staff, so that several images can be easily used as academic data. It also makes it easy to collect clinical data from medical staff.

집도의 및 주치의가 의도하는 대로 카메라 및 리코딩 로봇을 손쉽게 제어 할 수 있기 때문에 의료 영상의 품질을 향상시킬 수 있고, 모션인식 및 음성인식 등의 원격 제어를 통해 집도의의 집중력 분산을 막는다.Since the camera and recording robot can be easily controlled as intended by the surgeon and the attending physician, the quality of medical images can be improved, and the dispersion of concentration of the surgeon is prevented through remote control such as motion recognition and voice recognition.

또한, 3D센서 및 ToF(Time of Flight) 모듈을 통해 사용자의 모션과 표정 등을 보다 정확하게 인지하여 카메라 및 리코딩 로봇의 세부정보를 정확하게 제어할 수 있도록 한다. 또한, 리코딩 로봇은 3방향 회전 및 360도 틸팅 되는 프레임을 포함하여 촬영 각도를 보다 폭 넓게 확보함으로써 수술 시 협소한 영역으로까지 카메라가 위치할 수 있도록 하여 고화질의 의료영상을 촬영할 수 있도록 한다.In addition, through a 3D sensor and a ToF (Time of Flight) module, the user's motion and facial expressions are more accurately recognized, so that detailed information of the camera and recording robot can be accurately controlled. In addition, the recording robot secures a wider shooting angle, including a frame that rotates in three directions and tilts 360 degrees, so that the camera can be positioned to a narrow area during surgery, so that high-quality medical images can be captured.

개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.The disclosed contents are only examples, and various changes can be made by those of ordinary skill in the art without departing from the gist of the claims claimed in the claims, so the scope of protection of the disclosed contents is It is not limited to the examples.

Claims (12)

의료영상 리코딩 시스템에 있어서,
조명 및 설비 프레임에 결합되고, 음성, 모션을 포함하는 사용자명령과 레이저 트래킹(tracking), 무선조정(remote control)을 포함하는 도구명령에 의해 제어되는 리코딩 로봇;
상기 리코딩 로봇을 원격제어 하고, 리코딩 로봇으로부터 진료, 수술을 포함하는 의료영상데이터를 수신하는 스마트 단말; 및
상기 리코딩 로봇 또는 스마트 단말로부터 녹화된 의료영상 데이터를 전달받아 누적수집하고, 상기 의료영상 데이터를 학술자료로 다른 스마트 단말 및 서버와 공유하는 영상관리서버; 를 포함하는 영상 리코딩 시스템.
In the medical image recording system,
A recording robot coupled to the lighting and equipment frame and controlled by user commands including voice and motion and tool commands including laser tracking and remote control;
A smart terminal that remotely controls the recording robot and receives medical image data including medical treatment and surgery from the recording robot; And
An image management server that receives and collects recorded medical image data from the recording robot or smart terminal, and shares the medical image data as academic data with other smart terminals and servers; Video recording system comprising a.
제 1항에 있어서, 상기 리코딩 로봇은
음성, 모션, 사용자 접근, 객체 트래킹을 포함하는 사용자명령신호 및 레이저 트래킹, 마우스 포인트 트래킹, 원격제어를 포함하는 도구명령신호를 인식하는 명령인식모듈;
상기 인식된 사용자 명령신호 및 도구명령신호에 따라 리코딩 로봇에 설치된 카메라의 녹화여부, 줌(zoom), 포커싱(focusing), 촬영방향을 포함하는 촬영 세부 정보를 제어하는 촬영제어모듈;
상기 사용자명령신호 및 도구명령신호에 따라 객체를 촬영하도록 상기 리코딩 로봇에 설치된 프레임의 방향과 기울기를 x, y, z 축 방향으로 제어하는 틸팅제어모듈; 을 포함하는 것을 특징으로 하는 영상 리코딩 시스템.
The method of claim 1, wherein the recording robot
A command recognition module for recognizing user command signals including voice, motion, user access, object tracking, and tool command signals including laser tracking, mouse point tracking, and remote control;
A photographing control module configured to control detailed photographing information including whether a camera installed in the recording robot is recorded, zooming, focusing, and photographing direction according to the recognized user command signal and tool command signal;
A tilting control module for controlling the direction and inclination of the frame installed in the recording robot in the x, y, z axis directions to photograph an object according to the user command signal and the tool command signal; An image recording system comprising a.
제 1항에 있어서, 상기 스마트 단말은
상기 리코딩 로봇과 통신 연동하는 연동부;
상기 리코딩 로봇의 제어 신호를 터치, 음성, 모션 중 적어도 하나로 입력받는 제어명령입력부; 및
상기 리코딩 로봇에서 촬영된 화면을 송출하는 디스플레이부; 를 포함하는 것을 특징으로 하는 영상 리코딩 시스템.
The method of claim 1, wherein the smart terminal
An interlocking unit that communicates with the recording robot;
A control command input unit receiving at least one of a touch, a voice, and a motion for the control signal of the recording robot; And
A display unit for transmitting a screen photographed by the recording robot; An image recording system comprising a.
제 1항에 있어서, 상기 영상관리서버는
리코딩 로봇 각각으로부터 수집된 데이터를 녹화시각, 의료영상의 종류에 따라 분류하여 수집하고, 상기 분류된 의료영상자료를 데이터베이스화 하는 저장모듈; 및
상기 저장된 의료영상자료를 학술기관, 병의원을 포함하는 의료연구기관과 학술 세미나 및 진료 안내를 위해 공유하는 통신모듈; 을 포함하는 것을 특징으로 하는 영상 리코딩 시스템.
The method of claim 1, wherein the image management server
A storage module for classifying and collecting data collected from each of the recording robots according to recording time and type of medical image, and converting the classified medical image data into a database; And
A communication module for sharing the stored medical image data with medical research institutions including academic institutions and hospitals for academic seminars and treatment guidance; An image recording system comprising a.
의료영상 리코딩 로봇에 있어서,
회전과 및 기울기가 360도 및 x, y, z축 3방향 조정되도록 하는 적어도 하나의 관절부를 포함하는 프레임; 및
상기 프레임과 연결되고, 음성, 모션을 포함하는 사용자명령과 레이저 트래킹, 무선조정(remote control)을 포함하는 도구명령에 의해 촬영 세부정보가 제어되는 카메라; 를 포함하고
상기 프레임은
관절부를 360도 및 3축으로 조정하는 3축 구동부; 를 포함하는 것을 특징으로 하는 의료영상 리코딩 로봇.
In the medical image recording robot,
A frame including at least one joint portion that allows rotation and tilt to be adjusted in 360 degrees and three directions of x, y, and z axes; And
A camera connected to the frame and controlling detailed photographing information by a user command including voice and motion, and a tool command including laser tracking and remote control; Including
The frame is
A three-axis drive unit for adjusting the joint portion to 360 degrees and three axes; Medical image recording robot comprising a.
제 5항에 있어서, 상기 카메라는
적외선의 객체 도달 및 반사시간을 측정하여 심도를 산출하는 TOF(Time of Flight)모듈;
상기 산출된 심도 데이터를 기반으로 객체의 3차원 모션을 인식하는 3D(dimension) 센서; 를 포함하고,
상기 사용자 명령 및 도구명령을 인식하고 인식된 명령 정보에 따라 카메라 촬영 정보와 및 프레임의 각도 및 기울기를 제어하는 것을 특징으로 하는 의료영상 리코딩 로봇.
The method of claim 5, wherein the camera
TOF (Time of Flight) module for calculating a depth by measuring the arrival and reflection time of the infrared object;
A 3D (dimension) sensor for recognizing a three-dimensional motion of an object based on the calculated depth data; Including,
Recognizing the user command and the tool command, and controlling the angle and tilt of the camera photographing information and the frame according to the recognized command information.
제 6항에 있어서, 상기 카메라는
음성, 모션, 사용자 접근, 객체 트래킹을 포함하는 사용자명령신호 및 레이저 트래킹, 마우스 포인트 트래킹, 원격제어를 포함하는 도구명령신호를 인식하는 명령인식모듈;
상기 인식된 사용자 명령신호 및 도구 명령 신호에 따라 리코딩 로봇에 설치된 카메라의 녹화여부, 줌, 포커싱, 촬영방향을 포함하는 촬영 세부 정보를 제어하는 촬영제어모듈; 및
상기 사용자명령신호 및 도구명령신호에 따라 객체를 촬영하도록 상기 리코딩 로봇에 설치된 프레임의 방향과 기울기를 제어하는 틸팅제어모듈; 을 포함하는 것을 특징으로 하는 의료영상 리코딩 로봇.
The method of claim 6, wherein the camera
A command recognition module for recognizing user command signals including voice, motion, user access, object tracking, and tool command signals including laser tracking, mouse point tracking, and remote control;
A photographing control module configured to control detailed photographing information including recording status, zoom, focusing, and photographing direction of a camera installed in the recording robot according to the recognized user command signal and tool command signal; And
A tilting control module for controlling a direction and inclination of a frame installed in the recording robot to photograph an object according to the user command signal and the tool command signal; Medical image recording robot comprising a.
제 5항에 있어서, 상기 의료영상 리코딩 로봇은
촬영객체, 촬영되는 화면의 구도, 화질, 촬영방향을 포함하는 촬영세부정보를 미리 설정하는 경우, 설정된 촬영세부정보에 따라 상기 카메라와 프레임을 자동제어 하는 것을 특징으로 하는 의료영상 리코딩 로봇.
The method of claim 5, wherein the medical image recording robot
A medical image recording robot, characterized in that, when photographing detailed information including a photographing object, a composition of a screen to be photographed, image quality, and photographing direction is preset, the camera and the frame are automatically controlled according to the set photographing detailed information.
의료영상 리코딩 로봇 제어 방법에 있어서,
(A) 명령인식모듈에서 음성, 모션, 사용자 접근, 객체 트래킹을 포함하는 사용자명령신호 및 레이저 트래킹, 마우스 포인트 트래킹, 원격제어를 포함하는 도구명령신호를 인식하는 단계;
(B) 촬영제어모듈에서 상기 인식된 사용자 명령신호 및 도구 명령 신호에 따라 리코딩 로봇에 설치된 카메라의 녹화여부, 줌, 포커싱, 촬영방향을 포함하는 촬영 세부 정보를 제어하는 단계;
(C) 틸팅제어모듈에서 상기 사용자명령신호 및 도구명령신호에 따라 객체를 촬영하도록 상기 리코딩 로봇에 설치된 프레임의 방향과 기울기를 제어하는 단계; 를 포함하는 것을 특징으로 하는 영상 리코딩 로봇 제어 방법.
In the medical image recording robot control method,
(A) recognizing a user command signal including voice, motion, user access, object tracking, and tool command signals including laser tracking, mouse point tracking, and remote control in the command recognition module;
(B) controlling detailed photographing information including recording status, zoom, focusing, and photographing direction of a camera installed in the recording robot according to the recognized user command signal and tool command signal by the photographing control module;
(C) controlling, in a tilting control module, the direction and inclination of the frame installed in the recording robot so that the object is photographed according to the user command signal and the tool command signal; Image recording robot control method comprising a.
제 9항에 있어서, 상기 (A) 명령인식모듈에서 음성, 모션, 사용자 접근, 객체 트래킹을 포함하는 사용자명령신호 및 레이저 트래킹, 마우스 포인트 트래킹, 원격제어를 포함하는 도구명령신호를 인식하는 단계; 는
스마트 단말을 포함하는 외부제어기기와 연동하는 단계; 및
상기 외부제어기기로부터 수신한 도구명령신호 및 사용자 명령신호를 인식하는 단계; 를 포함하는 것을 특징으로 하는 리코딩 로봇 제어 방법.
The method of claim 9, further comprising the steps of: (A) recognizing a user command signal including voice, motion, user access, object tracking, and tool command signals including laser tracking, mouse point tracking, and remote control by the command recognition module; Is
Interworking with an external control device including a smart terminal; And
Recognizing a tool command signal and a user command signal received from the external control device; Recording robot control method comprising a.
제 9항에 있어서, 상기 (C) 틸팅제어모듈에서 상기 사용자명령신호 및 도구명령신호에 따라 객체를 촬영하도록 상기 리코딩 로봇에 설치된 프레임의 방향과 기울기를 제어하는 단계; 는
TOF(Time of Flight)모듈에서 적외선의 객체 도달 및 반사시간을 측정하여 심도를 산출하는 단계;
3D(dimension) 센서에서 상기 산출된 심도 데이터를 기반으로 객체의 3차원 모션을 인식하는 단계;
상기 모션인식에 의한 사용자명령 및 도구명령을 인식하고 인식된 명령 정보에 따라 카메라 촬영 정보와 및 프레임의 각도 및 기울기를 제어하는 단계; 를 포함하는 것을 특징으로 하는 리코딩 로봇 제어 방법.
The method of claim 9, further comprising: (C) controlling a direction and inclination of a frame installed in the recording robot so that the tilting control module takes an object according to the user command signal and the tool command signal; Is
Calculating a depth of field by measuring an object arrival and reflection time of infrared rays in a Time of Flight (TOF) module;
Recognizing a 3D motion of an object based on the calculated depth data by a 3D (dimension) sensor;
Recognizing a user command and a tool command by the motion recognition, and controlling camera photographing information and angles and inclinations of the frame according to the recognized command information; Recording robot control method comprising a.
제 9항에 있어서, (B) 촬영제어모듈에서 상기 인식된 사용자 명령신호 및 도구 명령 신호에 따라 리코딩 로봇에 설치된 카메라의 녹화여부, 줌, 포커싱, 촬영방향을 포함하는 촬영 세부 정보를 제어하는 단계; 는
촬영객체, 화면 구도, 화질, 촬영방향을 포함하는 촬영세부정보를 미리 설정하는 경우, 설정된 촬영세부정보에 따라 카메라와 프레임을 자동제어 하는 것을 특징으로 하는 리코딩 로봇 제어방법.

The method of claim 9, wherein (B) controlling detailed photographing information including recording status, zoom, focusing, and photographing direction of a camera installed in the recording robot according to the recognized user command signal and tool command signal in the photographing control module. ; Is
A method of controlling a recording robot, comprising automatically controlling a camera and a frame according to the set detailed photographing information when photographing detailed information including a photographing object, screen composition, image quality, and photographing direction is preset.

KR1020190039141A 2019-04-03 2019-04-03 System for recording medical video and method for controlling record robot KR102253768B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190039141A KR102253768B1 (en) 2019-04-03 2019-04-03 System for recording medical video and method for controlling record robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190039141A KR102253768B1 (en) 2019-04-03 2019-04-03 System for recording medical video and method for controlling record robot

Publications (2)

Publication Number Publication Date
KR20200117263A true KR20200117263A (en) 2020-10-14
KR102253768B1 KR102253768B1 (en) 2021-05-24

Family

ID=72846748

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190039141A KR102253768B1 (en) 2019-04-03 2019-04-03 System for recording medical video and method for controlling record robot

Country Status (1)

Country Link
KR (1) KR102253768B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112405522A (en) * 2020-10-19 2021-02-26 深圳优地科技有限公司 Cross-floor map switching method and device, robot and storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050089852A (en) 2002-12-26 2005-09-08 다카시 스즈키 Field tent against crosswind
KR20100085113A (en) * 2007-11-19 2010-07-28 쿠카 로보테르 게엠베하 Method for determining a position for and positioning a detection device of a navigation system
KR20120016536A (en) * 2010-08-16 2012-02-24 주식회사 케이엠티엘 A method and system for recording, saving and providing surgery video in real time
KR101454673B1 (en) 2013-11-25 2014-10-27 주식회사백상 Temporary tent type building
KR20150143703A (en) * 2013-04-17 2015-12-23 지멘스 악티엔게젤샤프트 Method and device for stereoscopic depiction of image data
KR101822383B1 (en) * 2017-07-07 2018-03-14 장호열 Providing system for dental surgery video

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050089852A (en) 2002-12-26 2005-09-08 다카시 스즈키 Field tent against crosswind
KR20100085113A (en) * 2007-11-19 2010-07-28 쿠카 로보테르 게엠베하 Method for determining a position for and positioning a detection device of a navigation system
KR20120016536A (en) * 2010-08-16 2012-02-24 주식회사 케이엠티엘 A method and system for recording, saving and providing surgery video in real time
KR20150143703A (en) * 2013-04-17 2015-12-23 지멘스 악티엔게젤샤프트 Method and device for stereoscopic depiction of image data
KR101454673B1 (en) 2013-11-25 2014-10-27 주식회사백상 Temporary tent type building
KR101822383B1 (en) * 2017-07-07 2018-03-14 장호열 Providing system for dental surgery video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112405522A (en) * 2020-10-19 2021-02-26 深圳优地科技有限公司 Cross-floor map switching method and device, robot and storage medium

Also Published As

Publication number Publication date
KR102253768B1 (en) 2021-05-24

Similar Documents

Publication Publication Date Title
CN110622500B (en) Image forming apparatus and image forming method
US8994831B2 (en) Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode
KR102475254B1 (en) Systems and methods for acquisition, registration and multimedia management
US9736368B2 (en) Camera in a headframe for object tracking
CN108881724B (en) Image acquisition method, device, equipment and storage medium
US8514285B2 (en) Image processing apparatus, image processing method and program
US10063773B2 (en) Photographing apparatus, photographing method and computer-readable storage medium storing photographing program of photographing apparatus
WO2019035007A1 (en) Methods and apparatus for remote camera control with intention based controls and machine learning vision state management
Feng et al. Accuracy and precision of a custom camera-based system for 2-D and 3-D motion tracking during speech and nonspeech motor tasks
CN110612720B (en) Information processing apparatus, information processing method, and readable storage medium
US11026762B2 (en) Medical observation device, processing method, and medical observation system
US20230146057A1 (en) Systems and methods for supporting medical procedures
KR102253768B1 (en) System for recording medical video and method for controlling record robot
JP3918053B2 (en) Small mobile devices
KR20190015903A (en) Medical RECORDING AND gateway system using head mount display device and Three Dimension CAMERA
JP2023121636A (en) Information processing system, communication system, image sharing method, and program
WO2012008553A1 (en) Robot system
US11321880B2 (en) Information processor, information processing method, and program for specifying an important region of an operation target in a moving image
KR102315803B1 (en) Supporter for medical camera
EP4163765A1 (en) Method and apparatus for initiating an action
WO2022196093A1 (en) Information processing device, line-of-sight detection method, and program
US12008682B2 (en) Information processor, information processing method, and program image to determine a region of an operation target in a moving image
US20200337798A1 (en) Medical safety system
JP2023140702A (en) Display terminal, communication system, display method, communication method, and program
WO2024030269A1 (en) Medical image overlays for augmented reality experiences

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right