KR102253768B1 - 의료영상 리코딩 시스템 및 리코딩 로봇의 제어 방법 - Google Patents

의료영상 리코딩 시스템 및 리코딩 로봇의 제어 방법 Download PDF

Info

Publication number
KR102253768B1
KR102253768B1 KR1020190039141A KR20190039141A KR102253768B1 KR 102253768 B1 KR102253768 B1 KR 102253768B1 KR 1020190039141 A KR1020190039141 A KR 1020190039141A KR 20190039141 A KR20190039141 A KR 20190039141A KR 102253768 B1 KR102253768 B1 KR 102253768B1
Authority
KR
South Korea
Prior art keywords
photographing
command signal
camera
robot
recording robot
Prior art date
Application number
KR1020190039141A
Other languages
English (en)
Other versions
KR20200117263A (ko
Inventor
장호열
Original Assignee
장호열
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 장호열 filed Critical 장호열
Priority to KR1020190039141A priority Critical patent/KR102253768B1/ko
Publication of KR20200117263A publication Critical patent/KR20200117263A/ko
Application granted granted Critical
Publication of KR102253768B1 publication Critical patent/KR102253768B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • B25J9/041—Cylindrical coordinate type
    • B25J9/042—Cylindrical coordinate type comprising an articulated arm
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/23296—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

실시예에 따른 의료영상 리코딩 시스템은 조명 및 설비 프레임에 결합되고, 음성, 모션을 포함하는 사용자명령과 레이저 트래킹(tracking), 무선조정(remote control)을 포함하는 도구명령에 의해 제어되는 리코딩 로봇; 리코딩 로봇을 원격제어 하고, 리코딩 로봇으로부터 진료, 수술을 포함하는 의료영상데이터를 수신하는 스마트 단말; 및 리코딩 로봇 또는 스마트 단말로부터 녹화된 의료영상 데이터를 전달받아 누적수집하고, 상기 의료영상 데이터를 학술자료로 다른 스마트 단말 및 서버와 공유하는 영상관리서버; 를 포함한다.

Description

의료영상 리코딩 시스템 및 리코딩 로봇의 제어 방법 {SYSTEM FOR RECORDING MEDICAL VIDEO AND METHOD FOR CONTROLLING RECORD ROBOT}
의료영상 리코딩 시스템 및 방법에 대한 것으로, 조명 및 설비 프레임에 연결된 카메라와 카메라가 연결된 프레임을 자동 제어하여 의료영상을 촬영하는 시스템 및 리코딩 로봇의 제어방법에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
원격제어(remote control)는 먼 곳에 있는 기기를 전기적 또는 기계적으로 제어하여 전자기기의 동작을 조정하는 기술이다. 전기적인 원격 조정에는 유선에 의한 방법과 무선에 의한 방법이 있고, 최근에는 무선 원격제어 기술이 다양한 형태로 발전하고 있다. 특히, 사용자의 음성이나 움직임(motion)을 인식하여 전자기기를 제어하는 음성인식과 모션인식 기술은 각종 카메라 및 센서의 기술 고도화로 크게 발전하고 있다.
모션인식은 단순히 사용자의 동작(gesture)을 인식하는 것뿐만 아니라 사용자의 표정과 생체고유 정보까지 정확히 식별하는 단계까지 발전하고 있다. 하지만, 현재 원격 제어 기술은 대부분 스마트 폰에 중점적으로 적용되고 있는 수준이다.
전자기기의 원격 자동제어 기술은 홈 네트워크 등으로 확대되는 추세이지만, 아직도 병 의원 및 공장 등은 관련 시스템이 적용되지 않은 곳이 많다.
특히, 병 의원의 경우 치과진료실이나 수술실에서 진료 및 수술영상과 사진을 촬영하는 경우가 많다. 이때 의료진들은 모두 위생장갑을 끼고 있고 마스크를 착용한 상태이기 때문에, 영상을 촬영하려면 카메라만을 제어하는 추가 인력이 필요하다. 또한, 카메라 제어는 수술을 집도하는 의사나 진료를 진행하는 의사가 직접 컨트롤 할 수 없기 때문에, 수술과정이나 진료과정을 촬영할 때 불편함이 크다. 실제로, 수술촬영을 하는 경우 집도의는 카메라맨에게 어떤 객체를 줌인, 줌 아웃 하고, 포커싱(focusing)해서 촬영해야 하는지 직접 지시해야 하는데, 집도의는 의료 마스크를 착용한 상태이기 때문에 의사전달을 명확히 할 수 없다. 뿐만 아니라 집도의가 직접 카메라의 세부적인 제어 명령을 하는 경우, 수술 영상 촬영 시 상당한 집중력이 분산될 수 있다. 아울러, 수술이나 진료 도중 특정 객체를 선명하게 촬영하기 위해서는 카메라의 위치와 촬영방향, 포커스, 줌 등 촬영 세부정보를 제어해야만 하는데, 의료 인력이 이를 제어하는 경우 의료서비스 품질이 떨어질 수 있다.
1. 한국 특허공개 제10-2005-0089852호(2005.09.08) 2. 한국 특허등록 제10-1454673호(2014.10.20)
조명 및 설비 프레임과 카메라가 연결되고 사용자의 음성 및 모션에 의해 카메라가 원격 제어되어 의료영상을 리코딩하는 의료영상 리코딩 시스템, 리코딩 로봇, 의료영상 리코딩 로봇 제어 방법을 제공한다.
하나의 실시예로서, 의료영상 리코딩 시스템은 조명 및 설비 프레임에 결합되고, 음성, 모션을 포함하는 사용자명령과 레이저 트래킹(tracking), 무선조정(remote control)을 포함하는 도구명령에 의해 제어되는 리코딩 로봇; 리코딩 로봇을 원격제어 하고, 리코딩 로봇으로부터 진료, 수술을 포함하는 의료영상데이터를 수신하는 스마트 단말; 및 리코딩 로봇 또는 스마트 단말로부터 녹화된 의료영상 데이터를 전달받아 누적수집하고, 상기 의료영상 데이터를 학술자료로 다른 스마트 단말 및 서버와 공유하는 영상관리서버; 를 포함한다.
다른 실시예에 따른 의료영상 리코딩 로봇은 회전과 및 기울기가 360도 및 x, y, z 축 3방향 조정되도록 하는 적어도 하나의 관절부를 포함하는 프레임; 및 프레임과 연결되고, 음성, 모션을 포함하는 사용자명령과 레이저 트래킹, 무선조정(remote control)을 포함하는 도구명령에 의해 촬영 세부정보가 제어되는 카메라; 를 포함한다.
다른 실시예에 따른 의료영상 리코딩 로봇 제어 방법은 (A) 명령인식모듈에서 음성, 모션, 사용자 접근, 객체 트래킹을 포함하는 사용자명령신호 및 레이저 트래킹, 마우스 포인트 트래킹, 원격제어를 포함하는 도구명령신호를 인식하는 단계; (B) 촬영제어모듈에서 인식된 사용자 명령신호 및 도구 명령 신호에 따라 리코딩 로봇에 설치된 카메라의 녹화여부, 줌, 포커싱, 촬영방향을 포함하는 촬영 세부 정보를 제어하는 단계; 및 (C) 틸팅제어모듈에서 사용자명령신호 및 도구명령신호에 따라 객체를 촬영하도록 리코딩 로봇에 설치된 프레임의 방향과 기울기를 제어하는 단계; 를 포함한다.
치과 진료 사진을 찍거나 수술영상 녹화 시 음성과 모션 인식 및 다른 스마트 기기를 통해 카메라를 원격 제어 하여 의료영상 촬영의 편의성을 향상 시킨다. 기록된 의료영상을 수집하여 다른 의료진에게도 공유함으로써, 여러 영상을 학술자료로서 쉽게 이용될 수 있도록 한다. 또한, 의료진의 임상 데이터를 쉽게 수집할 수 있도록 한다.
집도의 및 주치의가 의도하는 대로 카메라 및 리코딩 로봇을 손쉽게 제어 할 수 있기 때문에 녹화되는 의료 영상의 품질을 향상시킬 수 있고, 모션인식 및 음성인식 등의 원격 제어를 통해 집도의의 집중력 분산을 막는다.
또한, 3D센서 및 ToF(Time of Flight) 모듈을 통해 사용자의 모션과 표정 등을 보다 정확하게 인지하여 카메라 및 리코딩 로봇의 세부정보를 정확하게 제어할 수 있도록 한다. 또한, 리코딩 로봇은 3방향 회전 및 360도 틸팅 되는 프레임을 포함하게 하여 촬영 각도를 보다 폭 넓게 확보함으로써 수술 시 협소한 영역으로 까지 카메라가 위치 할 수 있도록 하여 고화질의 의료영상을 촬영할 수 있도록 한다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1a는 실시예에 따른 의료영상 리코딩 시스템을 나타낸 도면
도 1b는 리코딩 로봇이 천장 및 조명 설비에 설치된 실시예를 나타낸 도면
도 2a는 실시예에 따른 리코딩 로봇의 데이터 처리 블록을 나타낸 도면
도 2b는 실시예에 따른 리코딩 로봇의 컨트롤러에 설치되는 데이터 처리 모듈의 조립 구조를 나타낸 도면
도 3은 실시예에 따른 스마트 단말의 데이터 처리 구성을 나타낸 도면
도 4는 실시예에 따른 영상관리 서버의 데이터 처리구성을 나타낸 도면
도 5는 실시예에 따른 의료영상 리코딩 로봇에 설치된 카메라 구성을 나타낸 도면
도 6a는 실시예에 따른 의료영상 촬영 로봇의 다양한 형태를 설명하기 위한 도면
도 6b는 카메라가 설치되지 않은 리코딩 로봇 형태를 나타낸 도면
도 7은 실시예에 따른 의료영상 리코딩 로봇 제어 방법의 데이터 처리흐름을 나타낸 도면
도 8은 실시예에 따른 의료영상 리코딩 로봇이 수술실에서 레이저 포인터를 추적하며 촬영하는 과정을 설명하기 위한 도면
도 9는 리코딩 로봇이 치과에서 사용되는 실시예에를 나타낸 도면
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1a는 실시예에 따른 의료영상 리코딩 시스템을 나타낸 도면이다.
도 1a를 참조하면, 실시예에 따른 의료영상 리코딩 시스템은 리코딩 로봇(100), 스마트 단말(200) 및 영상관리서버(300)을 포함하여 구성될 수 있다. 리코딩 로봇(100)은 조명 및 설비 프레임에 카메라가 결합된 형태의 의료영상 촬영로봇이다. 리코딩 로봇의 카메라 및 프레임은 다양한 원격 조정에 의해 제어된다. 예컨대, 카메라는 음성인식과 모션인식 등 사용자가 제공하는 정보인식을 통한 사용자명령에 의해 제어될 수 있다. 또한, 레이저 트래킹, 무선조정(remote control) 등의 도구명령에 의해 제어될 수 있다. 실시예에서 리코딩 로봇(100)의 카메라 또는 프레임을 원격제어 하는 외부 단말은 스마트 단말, 마우스 등 리코딩 로봇과 유무선 통신으로 연동 가능한 기기를 포함한다.
스마트 단말(200)은 리코딩 로봇(100)과 통신 연동하여 리코딩 로봇(100)을 원격제어 하고, 리코딩 로봇(100)으로부터 진료, 수술을 포함하는 의료영상데이터를 수신한다. 리코딩 로봇을 원격제어 하는 스마트 단말에는 스마트 폰, 스마트 패드뿐만 아니라, 랩탑(lap top), PC 등의 컴퓨팅 기기와 마우스, 레이저 포인터, 키보드 등 컴퓨팅 기기에 연결되는 주변기기도 포함할 수 있다.
영상관리 서버(300)는 리코딩 로봇(100) 또는 스마트 단말(200)로부터 녹화된 의료영상 데이터를 전달받아 누적수집하고, 의료영상 데이터를 학술자료로 다른 스마트 단말 및 서버와 공유할 수 있다.
도 1b는 리코딩 로봇이 천장 및 조명 설비에 설치된 실시예를 나타낸 도면이다.
도 1b를 참조하면, 실시예에 따른 의료영상을 촬영하는 리코딩 로봇은 복수개의 수동암(53) 및 클램프(52)와 연결되고, 클램프(52)에 의해 천장 설비 및 조명시설장치(51)에 설치될 수 있다. 실시예에서 클램프(52)는 리코딩 로봇이 설치되는 시설장치(51)에서 리코딩 로봇의 위치를 변경하거나 조정할 수 있도록 한다. 수동암(53)은 다른 수동암(53)과 관절부(55)를 통해 연결될 수 있다. 실시예에 따른 리코딩로봇은 컨트롤러(57), 3축 구동부(59), 카메라(61)가 연결된 구조이고, 카메라(61)는 3축 구동부(59)에 구성된 카메라 고정장치에 의해 고정될 수 있다.
도 2a는 실시예에 따른 리코딩 로봇의 데이터 처리 블록을 나타낸 도면이다.
도 2a를 참조하면, 실시예에 따른 리코딩 로봇(100)은 명령인식모듈(110), 촬영제어 모듈(130), 틸팅제어모듈(150), 카메라(170) 및 프레임(190)을 포함하여 구성될 수 있다. 본 명세서에서 사용되는 '모듈' 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.
명령인식모듈(110)은 사용자명령신호 및 도구명령신호를 인식한다. 사용자명령신호는 사용자가 자신의 표정, 제스처 등 직접 만들어 낼 수 있는 신호를 통해 리코딩 로봇을 제어하는 것이다. 사용자 명령신호에는 음성신호, 모션신호, 사용자 접근 및 객체 트래킹 신호 등이 포함될 수 있다. 도구명령신호는 스마트기기나 리모콘 등 외부 기기를 이용하여 리코딩 로봇을 유무선 통신 또는 전파로 제어하는 것이다. 도구명령신호에는 마우스 포인트 트래킹(mouse point tracking), 레이저 포인트 트래킹(laser point tracking), 객체 추적(object tracking) 등 기기를 통해 생성되는 신호와 전자기기에서 송출하는 레이저를 추적하여 리코딩 로봇을 제어할 수 있다.
촬영제어모듈(130)은 인식된 사용자 명령신호 및 도구 명령 신호에 따라 리코딩 로봇에 설치된 카메라의 녹화여부, 줌, 포커싱, 촬영방향을 포함하는 촬영 세부 정보를 제어한다. 또한 촬영제어모듈(130)은 스스로 녹화되고 있는 화면을 인식하여 녹화해야 하는 객체가 다른 객체에 의해 가려지거나, 녹화되어야 하는 객체자 정확하게 포커싱 되지 않는 경우, 이를 파악하고 경고음을 출력하도록 한다. 예컨대, 수술실에서 수술 진행중인 장기가 미리 지정한 녹화해야 할 객체인 경우에는 수술 중 집도의사의 손, 수술도구, 머리 등에 의해 녹화해야 할 객체인 장기가 가려지는 경우, 카메라 위치 설정을 다시 제어하라는 알림을 출력할 수 있다. 또한, 치과에서 환자의 구강을 촬영하는 경우에는 미리 사진의 기울기, 중심선 및 구도를 설정하여, 사진 촬영을 위해 세팅 된 화면이 미리 설정된 기울기, 중심선 및 구도와 일정수준이상 일치 하지 않는 경우, 사진 촬영화면을 다시 세팅 하라는 알림을 송출하도록 할 수 있다.
틸팅제어모듈(150)은 사용자명령신호 및 도구명령신호에 따라 객체를 촬영하도록 리코딩 로봇에 설치된 프레임의 방향과 기울기를 x, y, z 축 방향으로 제어한다. 또한, 틸팅제어모듈(150)은 녹화 또는 촬영해야 하는 객체를 미리 설정하는 경우, 객체가 프레임 안으로 들어온 것을 인식하면, 객체를 촬영하기 위한 카메라의 각도와 위치를 자동으로 산출하여, 산출된 각도와 위치에 따라 프레임의 기울기와 방향을 제어할 수 있다.
카메라(170)는 촬영제어모듈(130)로부터 전달된 제어명령에 따라 카메라의 세부정보가 제어된다. 카메라의 세부정보는 촬영 조건 정보로 포커싱, 줌인(zoom in), 줌 아웃(zoom out), 화이트 밸런스(white balance), 노출 정보 등 촬영되는 화면의 화질을 향상시키고 객체를 정확하게 녹화하기 위해 촬영조건을 제어하는 정보이다.
프레임(190)은 카메라를 지지하는 구조로 3축 구동부와 수동암을 포함할 수 있다. 프레임 중 3충 구동부는 카메라와 연결되어, 카메라가 위치를 유지하며 촬영하도록 카메라를 지지한다. 실시예에서 프레임은 조명 프레임, 천정과 연결되는 설치프레임 등을 포함할 수 있다. 실시예에서 프레임은 360도, x, y, z, 방향으로 3방향 회전되는 프레임 관절부를 적어도 하나 포함할 수 있다. 프레임 관절부 각각은 회전 각도와 기울기 각도 정보를 인식하고 틸팅 제어 모듈로 전달하고 틸팅제어모듈로부터 제어명령신호를 전달받아, 프레임에 설치된 관절부 각각의 회전각도와 기울기가 조정될 수 있다. 틸팅제어모듈은 3축 구동부로 제어명령신호를 전달하여 프레임의 회전각도와 기울기를 조정한다.
도 2b는 실시예에 따른 리코딩 로봇의 컨트롤러에 설치되는 데이터 처리 모듈의 조립 구조를 나타낸 도면이다.
도 2b의 A)를 참조하면, 실시예에 따른 리코딩 로봇의 데이터 처리 구성요소인 명령인식모듈, 촬영제어모듈, 틸팅제어모듈 등 리코딩 로봇의 위치와 촬영 세부정보 제어에 필요한 각종 부품 및 데이터 처리 모듈이 조립된다. 실시예에 따른 리코딩 로봇은 도 2b의 B)에 도시된 바와 같이, 조립된 데이터 처리모듈을 감싸는 컨트롤러 박스와 연결된다.
도 3은 실시예에 따른 스마트 단말의 데이터 처리 구성을 나타낸 도면이다.
도 3을 참조하면, 스마트 단말(200)은 연동부(210), 제어명령 입력부(230) 및 디스플레이부(250)를 포함하여 구성될 수 있다. 리코딩 로봇과 연동되는 기기 중 스마트 단말의 데이터 처리구성을 설명하지만, 이는 리코딩 로봇과 연동되는 기기를 스마트 단말로 한정하는 것이 아니라, 스마트 단말을 제외한 리코딩 로봇을 제어하는 모든 기기의 데이터 처리구성을 나타낸 도면으로 볼 수 있다.
연동부(210)는 리코딩 로봇과 통신 연동한다. 실시예에서 연동부(210)는 무선통신 또는 유선통신을 위해 리코딩 로봇 및 통신 기기를 동기화 하거나 기기 고유정보를 등록하는 과정을 수행한다.
제어명령입력부(230)는 스마트 기기가 리코딩 로봇과 연동 완료되면, 스마트 기기로 리코딩 로봇의 제어 신호를 입력한다. 제어명령은 음성, 터치, 버튼입력, 모션 등을 통해 입력될 수 있다.
디스플레이부(250)는 스마트 단말의 경우, 화면에 해당하는 구성으로, 스마트 단말 리코딩 로봇에서 촬영된 화면을 수신하여 이를 디스플레이한다.
도 4는 실시예에 따른 영상관리 서버의 데이터 처리구성을 나타낸 도면이다.
도 4를 참조하면, 실시예에 따른 영상관리서버(300)는 저장모듈(310) 및 통신모듈(330)을 포함하여 구성될 수 있다.
저장모듈(310)은 리코딩 로봇 각각으로부터 수집된 데이터를 녹화시각, 의료영상의 종류에 따라 분류하여 수집하고, 분류된 의료영상자료를 데이터베이스화 한다. 통신모듈(330)은 저장된 의료영상자료를 다른 학술기관 및 병의 원과 학술 세미나 및 진료 안내를 위해 공유한다.
도 5는 실시예에 따른 의료영상 리코딩 로봇에 설치된 카메라 구성을 나타낸 도면이다.
도 5를 참조하면, 의료영상 리코딩 로봇에 설치된 카메라는 ToF모듈(171) 및 3D 센서(173)를 포함하여 구성될 수 있다.
TOF(Time of Flight)모듈(171)은 적외선의 객체 도달 및 반사시간을 측정하여 심도를 산출한다. 비과시간법(ToF)은 물체, 입자 또는 물결 (음향, 전자기 등)이 매체를 통해 멀리 이동할 수 있는 시간을 측정하는 방법이다. 실시예에서는 적외선을 송출하고 적외선이 객체까지 도달하는 시간과 객체로부터 반사되어 카메라로 도달하는 시간을 측정하는 것이다. 비과시간 정보는 시간 표준을 확립하거나 속도 또는 경로 길이를 측정하는 방법으로 사용될 수 있다. 또한, 입자 또는 매체의 특성을 학습하는 방법으로 사용할 수 있다. 실시예에서는 ToF모듈(171)을 통해 적외선과 같은 빛이 피사체에 도달했다가 반사되어 돌아오는 시간을 측정하는 방식으로 심도를 계산하고 3D를 구현한다. TOF 기술은 측정 거리에 장점이 있어 상당히 떨어진 거리에 있는 사람이나 사물도 인식할 수 있도록 한다.
3D(dimension) 센서(173)는 산출된 심도 데이터를 기반으로 객체와 객체의 3차원 모션을 인식한다.
도 6a는 실시예에 따른 의료영상 촬영 로봇의 다양한 형태를 설명하기 위한 도면이다.
도 6a를 참조하면, 실시예에 따른 의료영상 촬영로봇은 컨트롤러(64), 카메라(61), 프레임(65)으로 구성된다. 프레임(65)과 카메라(61)는 도 6의 B), C)에 도시된 바와 같이 그 형태가 다양하게 구성될 수 있다. 도 6의 A)를 참조하면, 의료영상 촬영로봇의 프레임은 360도 및 3방향으로 회전이 가능한 프레임 관절부(62)를 적어도 하나 포함하여 구성되고 프레임의 회전과 방향을 제어하는 3축 구동부(63)를 포함할 수 있다. 프레임 관절부(62)와 3축 구동부(63)는 틸팅 제어 명령에 의해 회전각도와 기울기를 조정하여 카메라의 위치를 보다 정밀하게 조정할 수 있도록 한다. 또한 실시예에서 프레임은 도 6a의 B)에 도시된 바와 같이, 수동암 및 3축 구동부(63), 관절부(62)를 포함하여 구성될 수 있다.
도 6b는 카메라가 설치되지 않은 리코딩 로봇 형태를 나타낸 도면이다.
도 6b를 참조하현, 리코딩 로봇은 클램프(10), 수동암(30), 컨트롤러(100), 마이크(11), IR 수신부(13), IR 송신부(15), 3축 구동부(17), 카메라 고정장치(19), 전원부(power in) 및 HDMI 연결부(HDMI out)를 포함하여 구성될 수 있다.
클램프(10)는 리코딩 로봇이 조명 및 천장 설비에 고정되도록 하고, 수동암(30)은 클램프(10)와 컨트롤러(100)를 연결하여 리코딩 로봇의 상하 움직임 범위를 확장 시킨다. 컨트롤러(100)는 리코딩 로봇을 제어하는 일련의 데이터 처리를 수행하고, 마이크(11)는 음성센서를 구비하여 사용자의 음성신호를 감지한다. IR 수신부(13) 및 IR송신부(15)는 리코딩 로봇을 제어하는 스마트 기기 및 외부서버와 통신한다. 3축 구동부(17)은 틸팅제어명령에 따라 회전 및 기울기가 조정되어 카메라의 촬영위치를 조정한다. 카메라 고정장치(19)는 3축 구동부 및 관절부가 기울어진 상황에서도 카메라가 지지되도록 카메라와 프레임(18)을 고정시킨다.
이하에서는 의료영상 리코딩 로봇의 제어방법에 대해서 차례로 설명한다. 본 발명에 따른 로봇 제어 방법의 작용(기능)은 의료영상 리코딩 시스템 및 의료영상 촬영 로봇의 기능과 본질적으로 같은 것이므로 도 1 내지 도 6과 중복되는 설명은 생략하도록 한다.
도 7은 실시예에 따른 의료영상 리코딩 로봇 제어 방법의 데이터 처리흐름을 나타낸 도면이다.
S710 단계에서는 명령인식모듈에서 음성, 모션, 사용자 접근, 객체 트래킹을 포함하는 사용자명령신호 및 레이저 트래킹, 마우스 포인트 트래킹, 원격제어를 포함하는 도구명령신호를 인식한다. S710 단계는 스마트 단말을 포함하는 외부 제어 기기와 연동한 후, 외부 제어기기로부터 수신한 도구명령신호 및 사용자 명령신호를 인식한다.
S730 단계에서는 촬영제어모듈에서 인식된 사용자 명령신호 및 도구 명령 신호에 따라 리코딩 로봇에 설치된 카메라의 녹화여부, 줌, 포커싱, 촬영방향을 포함하는 촬영 세부 정보를 제어한다.
S750 단계에서는 틸팅제어모듈에서 사용자명령신호 및 도구명령신호에 따라 객체를 촬영하도록 리코딩 로봇에 설치된 프레임의 방향과 기울기를 x, y, z 축의 3 방향으로 모두 제어할 수 있다. S750 단계는 TOF(Time of Flight)모듈에서 적외선의 객체 도달 및 반사시간을 측정하여 심도를 산출하고, 3D(dimension) 센서에서 상기 산출된 심도 데이터를 기반으로 객체의 3차원 모션을 인식하는 한다. 이후, 모션인식에 의한 사용자 명령 및 도구명령을 인식하고 인식된 명령 정보에 따라 카메라 촬영 정보와 및 프레임의 각도 및 기울기를 제어한다.
실시예에서 의료영상 촬영 로봇은 사용자 명령 및 도구명령에 따라 제어될 뿐만 아니라, 미리 설정된 촬영조건이나 촬영객체 정보에 따라 자가 제어가 가능하다. 예컨대, 의료영상 촬영 로봇에 녹화해야 하는 객체와 화면 해상도, 크기, 구도 등을 미리 설정하면, 의료영상 촬영 로봇은 설정된 정보를 기반으로 객체가 설정된 정보에 따라 촬영되도록 카메라의 세부정보와 프레임을 자동으로 조정할 수 있다.
도 8은 실시예에 따른 의료영상 리코딩 로봇이 수술실에서 레이저 포인터를 추적하며 촬영하는 과정을 설명하기 위한 도면이다.
도 8을 참조하면, 실시예에 따른 의료영상 리코딩 로봇은 레이저 포인터 등 외부 기기(81)가 포커싱 해야 할 객체의 특정 부분(82)을 가리키면, 객체에 투영되는 레이저를 추적(tracking) 하여 포인트 된 영역(82)을 집중적으로 촬영하도록 카메라(84)와 프레임(85)을 조정한다. 실시예에서 프레임은 천장 구조물에 연결되거나 조명프레임과 연결될 수 있고 포인트 되는 위치에 따라 회전 각도와 기울기가 조정될 수 있다. 실시예에 따른 의료영상 리코딩 로봇과 시스템을 통해 수술영상 및 진료 영상을 편리하게 녹화하고, 포커싱 하고자 하는 부분을 정확히 촬영할 수 있어, 녹화되는 영상이 의료진들의 학습자료 및 학술자료로서 가치를 높일 수 있도록 한다.
도 9는 리코딩 로봇이 치과에서 사용되는 실시예에를 나타낸 도면이다.
도 9를 참조하면, 실시예에 따른 리코딩 로봇(a, b)은 치과에서 사용되는 환자 치료의자에 설치되어, 환자들의 구강을 촬영하거나 치료 영상을 촬영할 수 있다. 실시예를 통해 치과 진료 사진을 찍거나 및 수술영상 녹화 시 음성과 모션 인식 및 다른 스마트 기기를 통해 카메라를 원격 제어 하여 의료영상 촬영의 편의성을 향상 시킨다. 실시예에서는 기록된 의료영상을 수집하여 다른 의료진에게도 편리하게 공유함으로써, 여러 영상을 학술자료로서 쉽게 이용될 수 있도록 한다. 또한, 의료진의 임상 데이터를 쉽게 수집할 수 있도록 한다.
집도의 및 주치의가 의도하는 대로 카메라 및 리코딩 로봇을 손쉽게 제어 할 수 있기 때문에 의료 영상의 품질을 향상시킬 수 있고, 모션인식 및 음성인식 등의 원격 제어를 통해 집도의의 집중력 분산을 막는다.
또한, 3D센서 및 ToF(Time of Flight) 모듈을 통해 사용자의 모션과 표정 등을 보다 정확하게 인지하여 카메라 및 리코딩 로봇의 세부정보를 정확하게 제어할 수 있도록 한다. 또한, 리코딩 로봇은 3방향 회전 및 360도 틸팅 되는 프레임을 포함하여 촬영 각도를 보다 폭 넓게 확보함으로써 수술 시 협소한 영역으로까지 카메라가 위치할 수 있도록 하여 고화질의 의료영상을 촬영할 수 있도록 한다.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.

Claims (12)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 의료영상 리코딩 로봇에 있어서,
    회전과 및 기울기가 360도 및 x, y, z축 3방향 조정되도록 하는 적어도 하나의 관절부를 포함하는 프레임; 및
    상기 프레임과 연결되고, 음성, 모션을 포함하는 사용자명령과 레이저 트래킹, 무선조정(remote control)을 포함하는 도구명령에 의해 촬영 세부정보가 제어되는 카메라; 를 포함하고
    상기 프레임은
    관절부를 360도 및 3축으로 조정하는 3축 구동부; 를 포함하며,
    상기 카메라는
    적외선의 객체 도달 및 반사시간을 측정하여 심도를 산출하는 TOF(Time of Flight)모듈;
    상기 산출된 심도 데이터를 기반으로 객체의 3차원 모션을 인식하는 3D(dimension) 센서; 를 포함하고,
    상기 사용자 명령 및 도구명령을 인식하고 인식된 명령 정보에 따라 카메라 촬영 정보와 및 프레임의 각도 및 기울기를 제어하며,
    상기 카메라는
    음성, 모션, 사용자 접근, 객체 트래킹을 포함하는 사용자명령신호 및 레이저 트래킹, 마우스 포인트 트래킹, 원격제어를 포함하는 도구명령신호를 인식하는 명령인식모듈;
    상기 인식된 사용자 명령신호 및 도구 명령 신호에 따라 리코딩 로봇에 설치된 카메라의 녹화여부, 줌, 포커싱, 촬영방향을 포함하는 촬영 세부 정보를 제어하는 촬영제어모듈; 및
    상기 사용자명령신호 및 도구명령신호에 따라 객체를 촬영하도록 상기 리코딩 로봇에 설치된 프레임의 방향과 기울기를 제어하는 틸팅제어모듈; 을 포함하는 것을 특징으로 하는 의료영상 리코딩 로봇.
  6. 삭제
  7. 삭제
  8. 제 5항에 있어서, 상기 의료영상 리코딩 로봇은
    촬영객체, 촬영되는 화면의 구도, 화질, 촬영방향을 포함하는 촬영세부정보를 미리 설정하는 경우, 설정된 촬영세부정보에 따라 상기 카메라와 프레임을 자동제어 하는 것을 특징으로 하는 의료영상 리코딩 로봇.
  9. 의료영상 리코딩 로봇 제어 방법에 있어서,
    (A) 명령인식모듈에서 음성, 모션, 사용자 접근, 객체 트래킹을 포함하는 사용자명령신호 및 레이저 트래킹, 마우스 포인트 트래킹, 원격제어를 포함하는 도구명령신호를 인식하는 단계;
    (B) 촬영제어모듈에서 상기 인식된 사용자 명령신호 및 도구 명령 신호에 따라 리코딩 로봇에 설치된 카메라의 녹화여부, 줌, 포커싱, 촬영방향을 포함하는 촬영 세부 정보를 제어하는 단계;
    (C) 틸팅제어모듈에서 상기 사용자명령신호 및 도구명령신호에 따라 객체를 촬영하도록 상기 리코딩 로봇에 설치된 프레임의 방향과 기울기를 제어하는 단계; 를 포함하고,
    상기 (C) 틸팅제어모듈에서 상기 사용자명령신호 및 도구명령신호에 따라 객체를 촬영하도록 상기 리코딩 로봇에 설치된 프레임의 방향과 기울기를 제어하는 단계; 는
    TOF(Time of Flight)모듈에서 적외선의 객체 도달 및 반사시간을 측정하여 심도를 산출하는 단계;
    3D(dimension) 센서에서 상기 산출된 심도 데이터를 기반으로 객체의 3차원 모션을 인식하는 단계;
    상기 모션인식에 의한 사용자명령 및 도구명령을 인식하고 인식된 명령 정보에 따라 카메라 촬영 정보와 및 프레임의 각도 및 기울기를 제어하는 단계; 를 포함하는 것을 특징으로 하는 것을 특징으로 하는 영상 리코딩 로봇 제어 방법.
  10. 제 9항에 있어서, 상기 (A) 명령인식모듈에서 음성, 모션, 사용자 접근, 객체 트래킹을 포함하는 사용자명령신호 및 레이저 트래킹, 마우스 포인트 트래킹, 원격제어를 포함하는 도구명령신호를 인식하는 단계; 는
    스마트 단말을 포함하는 외부제어기기와 연동하는 단계; 및
    상기 외부제어기기로부터 수신한 도구명령신호 및 사용자 명령신호를 인식하는 단계; 를 포함하는 것을 특징으로 하는 영상 리코딩 로봇 제어 방법.
  11. 삭제
  12. 제 9항에 있어서, (B) 촬영제어모듈에서 상기 인식된 사용자 명령신호 및 도구 명령 신호에 따라 리코딩 로봇에 설치된 카메라의 녹화여부, 줌, 포커싱, 촬영방향을 포함하는 촬영 세부 정보를 제어하는 단계; 는
    촬영객체, 화면 구도, 화질, 촬영방향을 포함하는 촬영세부정보를 미리 설정하는 경우, 설정된 촬영세부정보에 따라 카메라와 프레임을 자동제어 하는 것을 특징으로 하는 영상 리코딩 로봇 제어방법.
KR1020190039141A 2019-04-03 2019-04-03 의료영상 리코딩 시스템 및 리코딩 로봇의 제어 방법 KR102253768B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190039141A KR102253768B1 (ko) 2019-04-03 2019-04-03 의료영상 리코딩 시스템 및 리코딩 로봇의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190039141A KR102253768B1 (ko) 2019-04-03 2019-04-03 의료영상 리코딩 시스템 및 리코딩 로봇의 제어 방법

Publications (2)

Publication Number Publication Date
KR20200117263A KR20200117263A (ko) 2020-10-14
KR102253768B1 true KR102253768B1 (ko) 2021-05-24

Family

ID=72846748

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190039141A KR102253768B1 (ko) 2019-04-03 2019-04-03 의료영상 리코딩 시스템 및 리코딩 로봇의 제어 방법

Country Status (1)

Country Link
KR (1) KR102253768B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112405522A (zh) * 2020-10-19 2021-02-26 深圳优地科技有限公司 跨楼层地图切换方法、装置、机器人及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101822383B1 (ko) * 2017-07-07 2018-03-14 장호열 치과 수술 영상 제공시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1577462A1 (en) 2002-12-26 2005-09-21 Takashi Suzuki Field tent against crosswind
DE102007055205A1 (de) * 2007-11-19 2009-05-20 Kuka Roboter Gmbh Verfahren zum Ermitteln eines Aufstellortes und zum Aufstellen einer Erfassungsvorrichtung eines Navigationssystems
KR101115020B1 (ko) * 2010-08-16 2012-03-06 주식회사 케이엠티엘 수술 영상을 저장하고 실시간으로 제공하는 수술 영상 녹화 방법 및 시스템
DE102013206911A1 (de) * 2013-04-17 2014-10-23 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur stereoskopischen Darstellung von Bilddaten
KR101454673B1 (ko) 2013-11-25 2014-10-27 주식회사백상 텐트형 가설 건축물

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101822383B1 (ko) * 2017-07-07 2018-03-14 장호열 치과 수술 영상 제공시스템

Also Published As

Publication number Publication date
KR20200117263A (ko) 2020-10-14

Similar Documents

Publication Publication Date Title
KR102475254B1 (ko) 획득, 등록 및 멀티미디어 관리를 위한 시스템 및 방법
US9736368B2 (en) Camera in a headframe for object tracking
US8605158B2 (en) Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode
CN106131413B (zh) 一种拍摄设备的控制方法及拍摄设备
US10143373B2 (en) System and method for performing an automatic and remote trained personnel guided medical examination
US8514285B2 (en) Image processing apparatus, image processing method and program
CN110622500A (zh) 成像设备和成像方法
CN108881724B (zh) 一种图像获取方法、装置、设备及存储介质
US20220122279A1 (en) Imaging method and imaging control apparatus
US11026762B2 (en) Medical observation device, processing method, and medical observation system
US10063773B2 (en) Photographing apparatus, photographing method and computer-readable storage medium storing photographing program of photographing apparatus
WO2019035007A1 (en) APPARATUS AND METHODS FOR REMOTE CAMERA CONTROL WITH INTENTION BASED COMMANDS AND AUTOMATIC LEARNING VISION STATUS MANAGEMENT
CN110612720B (zh) 信息处理装置、信息处理方法以及可读存储介质
Feng et al. Accuracy and precision of a custom camera-based system for 2-D and 3-D motion tracking during speech and nonspeech motor tasks
JP2017188766A (ja) カメラを備える電子機器、撮影映像の補正方法および記憶媒体
KR102253768B1 (ko) 의료영상 리코딩 시스템 및 리코딩 로봇의 제어 방법
TWI636768B (zh) Surgical assist system
WO2018150569A1 (ja) ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置
US11321880B2 (en) Information processor, information processing method, and program for specifying an important region of an operation target in a moving image
WO2012008553A1 (ja) ロボットシステム
JP2011188258A (ja) カメラシステム
JP3918053B2 (ja) 小型携帯端末
JP2023121636A (ja) 情報処理システム、通信システム、画像共有方法、プログラム
KR20190015903A (ko) 3차원 카메라와 헤드 마운트 디스플레이를 이용한 수술 녹화 및 중계 시스템
KR102315803B1 (ko) 의료용 카메라의 거치대

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right