KR20180100831A - 수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치 - Google Patents

수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR20180100831A
KR20180100831A KR1020170027124A KR20170027124A KR20180100831A KR 20180100831 A KR20180100831 A KR 20180100831A KR 1020170027124 A KR1020170027124 A KR 1020170027124A KR 20170027124 A KR20170027124 A KR 20170027124A KR 20180100831 A KR20180100831 A KR 20180100831A
Authority
KR
South Korea
Prior art keywords
camera
surgical robot
viewpoint
image
surgical
Prior art date
Application number
KR1020170027124A
Other languages
English (en)
Inventor
신호철
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170027124A priority Critical patent/KR20180100831A/ko
Publication of KR20180100831A publication Critical patent/KR20180100831A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B5/04012—
    • A61B5/0476—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Abstract

수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치가 개시된다. 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 방법은 센서를 기반으로 수술로봇 집도의의 뇌파 및 시선 중 적어도 하나를 획득하는 단계; 상기 수술로봇 집도의의 과거 수술 데이터를 기반으로 행동 패턴을 추출하는 단계; 현재 수술에 대한 영상, 상기 뇌파, 상기 시선 및 상기 행동 패턴 중 적어도 하나를 고려하여 상기 영상을 촬영하는 카메라의 시점 변경 여부를 판단하는 단계; 및 상기 카메라의 시점을 변경하는 경우에 상기 카메라에게 제어명령을 전달하여 상기 카메라의 시점을 자동으로 변경하는 단계를 포함한다.

Description

수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치 {METHOD FOR CONTROLLING VIEW POINT OF SURGICAL ROBOT CAMERA AND APPARATUS USING THE SAME}
본 발명은 수술로봇을 이용한 복강경 수술에 있어서 집도의의 의도를 파악하여 수술로봇의 카메라 시점을 자동으로 변경 및 제어할 수 있는 수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치에 관한 것이다.
복강경 수술은 환부에 최소한의 구멍을 뚫고 수술도구를 환자에게 삽입하여 수술을 진행하므로, 흉터가 적고 빠른 회복을 가능하게 하는 최소침습 수술이다. 특히 집도의가 직접 수술도구를 조작하는 기존의 복강경 수술방법을 넘어, 로봇을 사용하여 수술을 진행하는 로봇 복강경 수술은 향후 외과수술에서 널리 활용될 것으로 전망된다.
수술로봇을 이용한 로봇 복강경 수술은 복강경 카메라와 가위 및 집게 등의 수술도구를 환자의 환부에 삽입하고, 집도의가 로봇 컨트롤러를 조작하여 수술을 진행할 수 있다. 이 때, 체내에 삽입한 복강경 카메라의 시야가 좁기 때문에 수술 도중에 환부에 삽입된 복강경 카메라의 위치 또는 시점을 변경해야하는 일이 자주 발생한다.
그러나, 기존의 수술로봇은 카메라 시점변경 조작과 가위 및 집게 등의 수술도구 조작이 이원화되어 있기 때문에, 집도의가 복강경카메라를 조작하기 위해서는 발판과 같은 별도의 장치를 통해 조작을 하여야 한다. 이 과정에서 수술작업의 단절이 발생할 수 있으며, 집도의의 집중력이 저하될 수 있다. 또한, 집도의의 집중력 저하는 수술시간에 영향을 주기 때문에 수술시간이 길어지는 문제점이 발생하였다.
한국 공개 특허 제10-2015-0128049호, 2015년 11월 18일 공개(명칭: 수술 로봇 및 그 제어방법)
본 발명의 목적은 로봇 복강경 수술 시 복강경 카메라의 시점 및 위치가 자동으로 수술 집도의의 의사에 맞게 이동함으로써 수술 집도의가 수술에 집중할 수 있도록 하는 것이다.
또한, 본 발명의 로봇 복강경 수술을 집도하는 집도의의 집중력을 향상시켜 전체 수술시간을 단축시키는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 수술로봇 카메라의 시점 제어 방법은 센서를 기반으로 수술로봇 집도의의 뇌파 및 시선 중 적어도 하나를 획득하는 단계; 상기 수술로봇 집도의의 과거 수술 데이터를 기반으로 행동 패턴을 추출하는 단계; 현재 수술에 대한 영상, 상기 뇌파, 상기 시선 및 상기 행동 패턴 중 적어도 하나를 고려하여 상기 영상을 촬영하는 카메라의 시점 변경 여부를 판단하는 단계; 및 상기 카메라의 시점을 변경하는 경우에 상기 카메라에게 제어명령을 전달하여 상기 카메라의 시점을 자동으로 변경하는 단계를 포함한다.
이 때, 판단하는 단계는 상기 영상, 상기 뇌파 및 상기 시선 중 적어도 하나를 기반으로 상기 현재 수술의 집도 상황을 인식하고, 상기 행동 패턴을 기반으로 상기 집도 상황에 상응하는 상기 수술로봇 집도의의 선호 움직임을 예측하여 상기 카메라의 시점 변경 여부를 판단할 수 있다.
이 때, 판단하는 단계는 상기 영상에 상응하는 카메라의 시점과 상기 수술로봇 집도의의 선호 움직임이 대응하지 않는 경우에 상기 카메라의 시점을 변경하는 것으로 판단할 수 있다.
이 때, 변경하는 단계는 상기 제어명령을 기반으로 상기 카메라의 시점을 상기 수술로봇 집도의의 선호 움직임에 대응하도록 변경할 수 있다.
이 때, 수술로봇 카메라의 시점 제어 방법은 상기 현재 수술이 완료된 경우에 상기 과거 수술 데이터를 저장하는 데이터베이스에 상기 현재 수술에 상응하는 수술 영상을 저장하여 상기 과거 수술 데이터를 갱신하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 장치는, 수술로봇 집도의의 뇌파 및 시선 중 적어도 하나를 획득하는 센서; 상기 수술로봇 집도의의 과거 수술 데이터를 저장하는 데이터베이스; 상기 과거 수술 데이터를 기반으로 상기 수술로봇 집도의의 행동 패턴을 추출하고, 현재 수술에 대한 영상, 상기 뇌파, 상기 시선 및 상기 행동 패턴 중 적어도 하나를 고려하여 상기 영상을 촬영하는 카메라의 시점 변경 여부를 판단하는 판단부; 및 상기 카메라의 시점을 변경하는 경우에 상기 카메라에게 제어명령을 전달하여 상기 카메라의 시점을 자동으로 변경하는 제어부를 포함한다.
이 때, 판단부는 상기 영상, 상기 뇌파 및 상기 시선 중 적어도 하나를 기반으로 상기 현재 수술의 집도 상황을 인식하고, 상기 행동 패턴을 기반으로 상기 집도 상황에 상응하는 상기 수술로봇 집도의의 선호 움직임을 예측하여 상기 카메라의 시점 변경 여부를 판단할 수 있다.
이 때, 판단부는 상기 영상에 상응하는 카메라의 시점과 상기 수술로봇 집도의의 선호 움직임이 대응하지 않는 경우에 상기 카메라의 시점을 변경하는 것으로 판단할 수 있다.
이 때, 제어부는 상기 제어명령을 기반으로 상기 카메라의 시점을 상기 수술로봇 집도의의 선호 움직임에 대응하도록 변경할 수 있다.
이 때, 수술로봇 카메라의 시점 제어 장치는 상기 현재 수술이 완료된 경우에 상기 데이터베이스에 상기 현재 수술에 상응하는 수술 영상을 저장하여 상기 과거 수술 데이터를 갱신하는 갱신부를 더 포함할 수 있다.
본 발명에 따르면, 로봇 복강경 수술 시 복강경 카메라의 시점 및 위치가 자동으로 수술 집도의의 의사에 맞게 이동함으로써 수술 집도의가 수술에 집중할 수 있다.
또한, 본 발명은 로봇 복강경 수술을 집도하는 집도의의 집중력을 향상시켜 전체 수술시간을 단축시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 시스템의 동작 구조를 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 방법을 나타낸 동작흐름도이다.
도 3은 본 발명에 따른 복강경 수술로봇 시스템 구성의 일 예를 나타낸 도면이다.
도 4 내지 도 6은 본 발명에 따른 수술로봇을 이용한 복강경 수술의 조작 인터페이스의 일 예를 나타낸 도면이다.
도 7 내지 도 8은 본 발명에 따른 수술로봇을 이용한 복강경 수술의 수술화면을 영상처리 기법으로 처리한 영상의 일 예를 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 장치를 나타낸 블록도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 시스템의 동작 구조를 나타낸 도면이다.
도 1을 참조하면, 수술로봇 집도의가 수술로봇에게 수술도구에 대한 조작 명령을 수행하면서도 복강경 카메라의 시점 및 위치 변경을 위해 복강경 카메라 조작 명령도 수행하는 것을 확인할 수 있다.
이 때, 본 발명에서는 수술로봇 집도의가 복강경 카메라를 조작하기 전에 복강경 카메라의 시점이나 위치를 변경해야할 것으로 판단되는 경우, 별도의 제어명령을 통해서 복강경 카메라를 제어하는 기술에 대해 설명하고자 한다.
이 때, 본 발명에 따르면, 복강경 카메라는 수술로봇 집도의에 의한 조작 명령과 수술로봇 카메라의 시점 제어 장치에 의한 제어 명령 중 적어도 하나에 의해 위치 및 시점이 변경될 수 있다.
먼저, 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 시스템은 로봇수술을 집도하는 집도의를 기반으로 현재 수술의 집도 상황을 자동으로 판단하기 위한 정보들을 수집할 수 있다.
이 때, 집도의의 수술화면, 즉 복강경 카메라를 통해 현재 디스플레이되고 있는 영상을 획득할 수 있다. 예를 들어, 복강경 카메라를 통해 획득한 영상에 다양한 영상 처리 기법을 적용하여 영상 내의 객체들을 각각 인식하고, 인식된 객체들의 위치 및 상태를 기반으로 집도 상황을 인식하는데 사용할 수 있다.
이 때, 뇌파 센서를 통해 집도의의 뇌파를 수집하여 인식할 수 있다. 예를 들어, 수술로봇을 제어하기 위한 수술로봇 컨트롤러에 뇌파 센서를 구비하고, 수술로봇 컨트롤러를 조작하는 집도의에게 뇌파 센서를 부착하여 뇌파를 수집 및 분석할 수 있다.
이 때, 시선 추적 센서를 통해 집도의의 시선을 추적할 수 있다. 이와 같이 집도의의 시선을 추적하여 시선 정보를 획득함으로써, 복강경 카메라를 통해 촬영되고 있는 수술부위 중에서도 어느 부위에 집도의가 집중하고 있는지 확인할 수 있어 현재의 집도 상황을 예측하는데 도움이 될 수 있다. 또한, 집도의의 시선이 한곳에 머무르지 않고 이동하는 경우에는 시선의 이동 거리 및 위치에 따라 복강경 카메라의 시점을 변경해야하는지 여부를 판단하는데 사용될 수도 있다.
이와 같이 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 시스템은 수술 영상, 집도의의 뇌파 및 집도의의 시선 등을 기반으로 현재의 수술 상황이나 집도의의 의도를 인식할 수 있다.
따라서, 로봇수술이 진행되는 도중에는 수술 영상, 집도의의 뇌파 및 집도의의 시선을 지속적으로 모니터링 및 분석할 수 있다.
이 후, 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 시스템은 데이터베이스에서 집도의에 해당하는 과거 수술 데이터를 참고하여 집도의의 행동 패턴을 추출할 수 있다.
이 때, 행동 패턴은 복강경 수술의 각 수술과정마다 생성될 수 있다.
따라서, 수술 영상, 집도의의 뇌파 및 집도의의 시선을 기반으로 인식된 현재의 수술 집도 상황과 집도의의 행동 패턴을 고려하여 집도의가 어떻게 움직일지 예측할 수 있다.
이 때, 행동 패턴에 의해 예측된 집도의의 움직임이 현재 복강경 카메라를 통해 보여지는 영상의 범위를 벗어나거나 또는 영상의 외곽부분에 대한 것이라면, 원활한 수술 집도를 위해 복강경 카메라의 시점을 변경해야하는 것으로 판단할 수 있다.
이 때, 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 시스템은 복강경 카메라의 위치 및 시점을 변경하기 위해 제어명령을 생성하고, 제어명령을 복강경 카메라 제어기로 전달하여 복강경 카메라의 위치 및 시점을 변경하도록 할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 시스템을 통해 복강경 수술 도중 복강경 카메라의 위치 및 시점이 적절한 때에 자동으로 변경됨으로써 수술을 집도하는 집도의는 복강경 카메라의 조작에 신경쓰지 않고 복강경 수술에만 집중할 수 있다.
또한, 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 시스템은 로봇수술을 집도하는 집도의를 각각 인식함으로써 집도의의 행동 패턴을 추출하기 위한 과거 수술 데이터를 갱신할 수 있다. 이에 따라 과거 수술 데이터가 축적될 수록 집도의의 의도와 선호하는 시점을 보다 정확하게 제공할 수 있다.
도 2는 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 방법을 나타낸 동작흐름도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 방법은 센서를 기반으로 수술로봇 집도의의 뇌파 및 시선 중 적어도 하나를 획득한다(S210).
이 때, 센서는 집도의의 뇌파를 측정하기 위한 뇌파 센서 및 집도의의 시선을 추적하기 위한 시선 추적 센서에 상응할 수 있다.
이 때, 뇌파 센서를 통해 집도의의 뇌파를 수집하여 인식할 수 있다. 예를 들어, 수술로봇을 제어하기 위한 수술로봇 컨트롤러에 뇌파 센서를 구비하고, 수술로봇 컨트롤러를 조작하는 집도의에게 뇌파 센서를 부착하여 뇌파를 수집 및 분석할 수 있다.
이 때, 시선 추적 센서를 통해 집도의의 시선을 추적할 수 있다. 이와 같이 집도의의 시선을 추적하여 시선 정보를 획득함으로써, 복강경 카메라를 통해 촬영되고 있는 수술부위 중에서도 어느 부위에 집도의가 집중하고 있는지 확인할 수 있어 현재의 집도 상황을 예측하는데 도움이 될 수 있다. 또한, 집도의의 시선이 한곳에 머무르지 않고 이동하는 경우에는 시선의 이동 거리 및 위치에 따라 복강경 카메라의 시점을 변경해야하는지 여부를 판단하는데 사용될 수도 있다.
또한, 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 방법은 수술로봇 집도의의 과거 수술 데이터를 기반으로 행동 패턴을 추출한다(S220).
이 때, 과거 수술 데이터는 수술로봇 집도의에 따라 각각 수집되어 저장될 수 있다. 예를 들어, 수술로봇 집도의가 수술로봇 카메라의 시점 제어 장치로 본인을 식별하기 위한 식별정보를 제공하면, 식별된 집도의에 대한 과거 수술 데이터를 로딩하여 행동 패턴을 추출할 수 있다.
이 때, 행동 패턴은 복강경 수술의 각 수술과정마다 생성될 수 있다.
따라서, 수술 영상, 집도의의 뇌파 및 집도의의 시선을 기반으로 인식된 현재의 수술 집도 상황과 집도의의 행동 패턴을 고려하여 집도의가 어떻게 움직일지 예측할 수 있다.
또한, 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 방법은 현재 수술에 대한 영상, 뇌파, 시선 및 행동 패턴 중 적어도 하나를 고려하여 영상을 촬영하는 카메라의 시점 변경 여부를 판단한다(S230).
이 때, 영상, 뇌파, 시선 중 적어도 하나를 기반으로 현재 수술의 집도 상황을 인식하고, 행동 패턴을 기반으로 집도 상황에 상응하는 수술로봇 집도의의 선호 움직임을 예측하여 카메라의 시점 변경 여부를 판단할 수 있다.
이 때, 영상에 상응하는 카메라의 시점과 수술로봇 집도의의 선호 움직임이 대응하지 않는 경우에 카메라의 시점을 변경하는 것으로 판단할 수 있다.
예를 들어, 행동 패턴에 의해 예측된 집도의의 움직임이 현재 복강경 카메라를 통해 보여지는 영상의 범위를 벗어나거나 또는 영상의 외곽부분에 대한 것이라면, 원활한 수술 집도를 위해 복강경 카메라의 시점을 변경해야하는 것으로 판단할 수 있다.
이 때, 카메라의 시점을 변경하는지 확인하여(S235), 카메라의 시점을 변경하는 경우에 카메라에게 제어명령을 전달하여 카메라의 시점을 자동으로 변경한다(S240).
이 때, 제어명령을 기반으로 카메라의 시점을 수술로봇 집도의의 선호 움직임에 대응하도록 변경할 수 있다.
또한, 카메라의 시점을 변경하지 않는 경우에는 지속적으로 집도의의 뇌파, 시선 및 영상을 모니터링 함으로써 카메라의 시점을 변경해야할 상황이 발생하는지 판단할 수도 있다.
또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 방법은 현재 수술이 완료된 경우에 과거 수술 데이터를 저장하는 데이터베이스에 현재 수술에 상응하는 수술 영상을 저장하여 과거 수술 데이터를 갱신할 수 있다.
즉, 로봇수술을 집도하는 집도의를 각각 인식함으로써 집도의의 행동 패턴을 추출하기 위한 과거 수술 데이터를 갱신할 수 있다. 이에 따라 과거 수술 데이터가 축적될 수록 집도의의 의도와 선호하는 시점을 보다 정확하게 제공할 수 있다.
또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 방법은 수술로봇 카메라의 시점 제어 과정에서 발생하는 다양한 정보를 저장한다.
이와 같은 수술로봇 카메라의 시점 제어 방법을 통해, 로봇 복강경 수술 시 복강경 카메라의 시점 및 위치가 자동으로 수술 집도의의 의사에 맞게 이동함으로써 수술 집도의가 수술에 집중할 수 있도록 할 수 있다.
또한, 로봇 복강경 수술을 집도하는 집도의의 집중력을 향상시켜 전체 수술시간을 단축시킬 수도 있다.
도 3은 본 발명에 따른 복강경 수술로봇 시스템 구성의 일 예를 나타낸 도면이다.
도 3을 참조하면, 본 발명에 따른 복강경 수술로봇 시스템은 환자의 환부에 삽입되어 수술하는 수술로봇(310), 수술로봇을 컨트롤하기 위한 수술로봇 컨트롤러(320), 수술로봇으로 수술을 집도하는 집도의(330) 및 수술 영상을 보여주는 디스플레이 모듈(340)로 구성될 수 있다.
이 때, 수술로봇(310)의 말단부는 수술로봇 컨트롤러(320)를 통한 집도의(330)의 제어에 따라 환자의 환부 내에 삽입되어 수술을 수행할 수 있다.
이 때, 본 발명에 따라 집도의의 뇌파를 측정하고, 집도의의 시선을 추적하기 위한 각종 센서들은 수술로봇 컨트롤러(320)에 구비될 수도 있다.
따라서, 본 발명에 따른 수술로봇 카메라의 시점 제어 장치는 수술로봇 컨트롤러(320)와 연동되어, 집도의가 누구인지 인식하고, 집도의의 뇌파 및 집도의의 시선 등을 모니터링 할 수 있다.
또한, 집도의(330)는 수술로봇(310)의 말단에 구비되어 환자의 환부에 삽입되는 복강경 카메라를 통해 촬영되는 영상을 수술로봇 컨트롤러(320)에 구비된 화면을 통해 보면서 수술을 집도할 수 있다.
도 4 내지 도 6은 본 발명에 따른 수술로봇을 이용한 복강경 수술의 조작 인터페이스의 일 예를 나타낸 도면이다.
도 4 내지 도 6을 참조하면, 도 4 및 도 6에 도시된 수술로봇 팔(410, 420, 610, 620)은 도 5에 도시된 컨트롤러(510, 520)를 통해 제어될 수 있다.
이 때, 도 6에 도시된 것과 같이 복강경 카메라(630)를 통해 현재 수술하고 있는 수술영상을 획득할 수 있고, 집도의(530)가 수술영상을 보면서 컨트롤러(510, 520)로 수술로봇 팔(410, 420, 610, 620)을 제어하여 수술을 집도할 수 있다.
도 7 내지 도 8은 본 발명에 따른 수술로봇을 이용한 복강경 수술의 수술화면을 영상처리 기법으로 처리한 영상의 일 예를 나타낸 도면이다.
도 7 내지 도 8을 참조하면, 복강경 카메라를 통해 수술로봇 팔을 기준으로 한 영상 획득 지점(710, 720)에서 수술 영상을 획득할 수 있다.
이 때, 복강경 카메라를 통해 획득된 획득 영상(811)은 다양한 영상 처리 기법을 적용하여 처리 영상(812)으로 변환함으로써 본 발명에 따른 수술로봇 카메라의 시점 제어 장치가 집도 상황을 인식하는데 사용될 수 있다.
예를 들어, 도 8에 도시된 처리 영상(812)과 같이 획득 영상(811)에서 수술도구와 환부가 구별될 수 있도록 영상을 처리하여 수술로봇 카메라의 시점 제어 장치에게 제공할 수 있다.
도 9는 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 장치를 나타낸 블록도이다.
도 9를 참조하면, 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 장치(900)는 센서(910), 데이터베이스(920), 판단부(930), 제어부(940), 갱신부(950) 및 저장부(960)를 포함한다.
센서(910)는 수술로봇 집도의의 뇌파 및 시선 중 적어도 하나를 획득한다.
이 때, 센서는 집도의의 뇌파를 측정하기 위한 뇌파 센서 및 집도의의 시선을 추적하기 위한 시선 추적 센서에 상응할 수 있다.
이 때, 뇌파 센서를 통해 집도의의 뇌파를 수집하여 인식할 수 있다. 예를 들어, 수술로봇을 제어하기 위한 수술로봇 컨트롤러에 뇌파 센서를 구비하고, 수술로봇 컨트롤러를 조작하는 집도의에게 뇌파 센서를 부착하여 뇌파를 수집 및 분석할 수 있다.
이 때, 시선 추적 센서를 통해 집도의의 시선을 추적할 수 있다. 이와 같이 집도의의 시선을 추적하여 시선 정보를 획득함으로써, 복강경 카메라를 통해 촬영되고 있는 수술부위 중에서도 어느 부위에 집도의가 집중하고 있는지 확인할 수 있어 현재의 집도 상황을 예측하는데 도움이 될 수 있다. 또한, 집도의의 시선이 한곳에 머무르지 않고 이동하는 경우에는 시선의 이동 거리 및 위치에 따라 복강경 카메라의 시점을 변경해야하는지 여부를 판단하는데 사용될 수도 있다.
데이터베이스(920)는 수술로봇 집도의의 과거 수술 데이터를 저장한다.
판단부(930)는 과거 수술 데이터를 기반으로 수술로봇 집도의의 행동 패턴을 추출하고, 현재 수술에 대한 영상, 집도의의 뇌파, 집도의의 시선 및 집도의의 행동 패턴 중 적어도 하나를 고려하여 영상을 촬영하는 카메라의 시점 변경 여부를 판단한다.
이 때, 과거 수술 데이터는 수술로봇 집도의에 따라 각각 수집되어 저장될 수 있다. 예를 들어, 수술로봇 집도의가 수술로봇 카메라의 시점 제어 장치로 본인을 식별하기 위한 식별정보를 제공하면, 식별된 집도의에 대한 과거 수술 데이터를 로딩하여 행동 패턴을 추출할 수 있다.
이 때, 행동 패턴은 복강경 수술의 각 수술과정마다 생성될 수 있다.
따라서, 수술 영상, 집도의의 뇌파 및 집도의의 시선을 기반으로 인식된 현재의 수술 집도 상황과 집도의의 행동 패턴을 고려하여 집도의가 어떻게 움직일지 예측할 수 있다.
이 때, 영상, 뇌파, 시선 중 적어도 하나를 기반으로 현재 수술의 집도 상황을 인식하고, 행동 패턴을 기반으로 집도 상황에 상응하는 수술로봇 집도의의 선호 움직임을 예측하여 카메라의 시점 변경 여부를 판단할 수 있다.
이 때, 영상에 상응하는 카메라의 시점과 수술로봇 집도의의 선호 움직임이 대응하지 않는 경우에 카메라의 시점을 변경하는 것으로 판단할 수 있다.
예를 들어, 행동 패턴에 의해 예측된 집도의의 움직임이 현재 복강경 카메라를 통해 보여지는 영상의 범위를 벗어나거나 또는 영상의 외곽부분에 대한 것이라면, 원활한 수술 집도를 위해 복강경 카메라의 시점을 변경해야하는 것으로 판단할 수 있다.
제어부(940)는 카메라의 시점을 변경하는 경우에 카메라에게 제어명령을 전달하여 카메라의 시점을 자동으로 변경한다.
이 때, 제어명령을 기반으로 카메라의 시점을 수술로봇 집도의의 선호 움직임에 대응하도록 변경할 수 있다.
또한, 카메라의 시점을 변경하지 않는 경우에는 지속적으로 집도의의 뇌파, 시선 및 영상을 모니터링 함으로써 카메라의 시점을 변경해야할 상황이 발생하는지 판단할 수도 있다.
갱신부(950)는 현재 수술이 완료된 경우에 과거 수술 데이터를 저장하는 데이터베이스에 현재 수술에 상응하는 수술 영상을 저장하여 과거 수술 데이터를 갱신한다.
즉, 로봇수술을 집도하는 집도의를 각각 인식함으로써 집도의의 행동 패턴을 추출하기 위한 과거 수술 데이터를 갱신할 수 있다. 이에 따라 과거 수술 데이터가 축적될 수록 집도의의 의도와 선호하는 시점을 보다 정확하게 제공할 수 있다.
저장부(960)는 상술한 바와 같이 본 발명의 일실시예에 따른 수술로봇 카메라의 시점 제어 장치(900)에서 발생하는 다양한 정보를 저장한다.
실시예에 따라, 저장부(960)는 수술로봇 카메라의 시점 제어 장치와 독립적으로 구성되어 수술로봇 카메라의 시점 제어를 위한 기능을 지원할 수 있다. 이 때, 저장부(960)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다.
한편, 수술로봇 카메라의 시점 제어 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
이와 같이 수술로봇 카메라의 시점 제어 장치를 이용함으로써, 로봇 복강경 수술 시 복강경 카메라의 시점 및 위치가 자동으로 수술 집도의의 의사에 맞게 이동함으로써 수술 집도의가 수술에 집중할 수 있도록 할 수 있다.
또한, 로봇 복강경 수술을 집도하는 집도의의 집중력을 향상시켜 전체 수술시간을 단축시킬 수도 있다.
이상에서와 같이 본 발명에 따른 수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
310: 수술로봇 320: 수술로봇 컨트롤러
330, 530: 집도의 340: 디스플레이 모듈
410, 420, 610, 620: 수술로봇 팔 510, 520: 컨트롤러
630: 복강경 카메라 710, 720: 영상 획득 지점
811: 획득 영상 812: 처리 영상
900: 시점 제어 장치 910: 센서
920: 데이터베이스 930: 판단부
940: 제어부 950: 갱신부
960: 저장부

Claims (1)

  1. 센서를 기반으로 수술로봇 집도의의 뇌파 및 시선 중 적어도 하나를 획득하는 단계;
    상기 수술로봇 집도의의 과거 수술 데이터를 기반으로 행동 패턴을 추출하는 단계;
    현재 수술에 대한 영상, 상기 뇌파, 상기 시선 및 상기 행동 패턴 중 적어도 하나를 고려하여 상기 영상을 촬영하는 카메라의 시점 변경 여부를 판단하는 단계; 및
    상기 카메라의 시점을 변경하는 경우에 상기 카메라에게 제어명령을 전달하여 상기 카메라의 시점을 자동으로 변경하는 단계
    를 포함하는 것을 특징으로 하는 수술로봇 카메라의 시점 제어 방법.
KR1020170027124A 2017-03-02 2017-03-02 수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치 KR20180100831A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170027124A KR20180100831A (ko) 2017-03-02 2017-03-02 수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170027124A KR20180100831A (ko) 2017-03-02 2017-03-02 수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
KR20180100831A true KR20180100831A (ko) 2018-09-12

Family

ID=63592941

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170027124A KR20180100831A (ko) 2017-03-02 2017-03-02 수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (1) KR20180100831A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022054847A1 (en) * 2020-09-08 2022-03-17 Sony Group Corporation Medical imaging apparatus, learning model generation method, and learning model generation program
WO2023022258A1 (ko) * 2021-08-19 2023-02-23 한국로봇융합연구원 영상정보기반 복강경 로봇 인공지능 수술 가이드 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150128049A (ko) 2014-05-08 2015-11-18 삼성전자주식회사 수술 로봇 및 그 제어방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150128049A (ko) 2014-05-08 2015-11-18 삼성전자주식회사 수술 로봇 및 그 제어방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022054847A1 (en) * 2020-09-08 2022-03-17 Sony Group Corporation Medical imaging apparatus, learning model generation method, and learning model generation program
WO2023022258A1 (ko) * 2021-08-19 2023-02-23 한국로봇융합연구원 영상정보기반 복강경 로봇 인공지능 수술 가이드 시스템
KR20230028818A (ko) * 2021-08-19 2023-03-03 한국로봇융합연구원 영상정보기반 복강경 로봇 인공지능 수술 가이드 시스템

Similar Documents

Publication Publication Date Title
KR102270170B1 (ko) 증강 현실을 이용한 수술 보조 장치
JP7376569B2 (ja) ロボット操作手術器具の位置を追跡システムおよび方法
WO2017145475A1 (ja) 医療用情報処理装置、情報処理方法、医療用情報処理システム
US20070265495A1 (en) Method and apparatus for field of view tracking
CN107249497A (zh) 手术室和手术部位感知
KR100998182B1 (ko) 수술용 로봇의 3차원 디스플레이 시스템 및 그 제어방법
US20220192777A1 (en) Medical observation system, control device, and control method
EP3768140A1 (en) Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
US11896441B2 (en) Systems and methods for measuring a distance using a stereoscopic endoscope
JP7392654B2 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
JPWO2018168261A1 (ja) 制御装置、制御方法、及びプログラム
JP7334499B2 (ja) 手術支援システム、制御装置及び制御方法
WO2022019318A2 (en) Medical arm control system, medical arm control method, medical arm simulator, medical arm learning model, and associated programs
KR20210110961A (ko) 수술 영상 분석 기반의 복강경 카메라 조종 로봇 및 이를 이용한 복강경 카메라 촬영 뷰 조정 방법
US11638000B2 (en) Medical observation apparatus
US20230142404A1 (en) Medical imaging apparatus, learning model generation method, and learning model generation program
KR20180100831A (ko) 수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치
WO2022024130A2 (en) Object detection and avoidance in a surgical setting
EP3840629B1 (en) Image correction of a surgical endoscope video stream
US20210267435A1 (en) A system, method and computer program for verifying features of a scene
WO2019123874A1 (ja) 医療用観察システム、医療用信号処理装置、及び医療用信号処理装置の駆動方法
JP2023507063A (ja) 手術中に画像取込装置を制御するための方法、装置、およびシステム
US20220395334A1 (en) Systems and methods for guiding surgical procedures
WO2023017651A1 (ja) 医療用観察システム、情報処理装置及び情報処理方法
US10973595B2 (en) Device and method for controlling a system comprising an imaging modality