KR102426925B1

KR102426925B1 - 3d 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법 및 프로그램

Info

Publication number: KR102426925B1
Application number: KR1020200076109A
Authority: KR
Inventors: 최민국; 박성현
Original assignee: (주)휴톰
Priority date: 2020-06-23
Filing date: 2020-06-23
Publication date: 2022-07-29
Also published as: KR20210157961A

Abstract

3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법이 제공된다. 상기 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법은 컴퓨터에 의해 실행되는 방법으로서, 3D 시뮬레이션 상에서 3D 모델링데이터에 의해 생성된 가상신체모델에 동작을 수행함으로써 획득되는 매니퓰레이터작동데이터를 획득하는 단계; 로봇 암이 실제 공간 상에서, 3D 시뮬레이션 상에서의 동작과 동일하게 실행될 수 있도록 상기 매니퓰레이터작동데이터를 기계 신호로 컨버팅하는 단계; 상기 컨버팅된 매니퓰레이터작동데이터의 기계 신호를 이용하여 로봇 암을 실행시키고, 로봇암(arm)실행데이터를 획득하는 단계; 및 상기 매니퓰레이터작동데이터와 상기 로봇암실행데이터를 수술로봇 데이터 셋으로 획득하는 단계; 를 포함한다.

Description

3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법 및 프로그램{METHOD AND PROGRAM FOR ACQUIRING MOTION INFORMATION OF A SURGICAL ROBOT USING 3D SIMULATION}

본 발명은 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법 및 프로그램에 관한 것이다.

로봇수술은 의사가 로봇조작장치에서 수술할 때와 같은 손동작으로 로봇암을 조정해 수술을 진행하는 것이다. 대부분 복강경 수술을 통해, 환자의 몸에 몇 개의 작은 구멍을 뚫어 이곳을 통해 수술용 카메라와 수술로봇의 암(arm)을 넣어 수술하는 것인데, 수술과 동시에 수술 부위를 2차원 또는 고화질의 3차원 영상으로 구현하여 제공할 수 있다.

수술로봇을 이용하여 수술을 진행할 경우, 수술로봇은 사람의 손보다 정교할 수 있고, 또한, 사람의 손보다 가느다란 암을 이용하여 수술도구만을 넣어 수술이 가능하므로, 절개부위를 줄여 인체에 상처를 최소한으로 남기는 최소침습수술을 수행하는데 보다 용이한 장점이 있다.

상술한 장점 등에 의해 최근 이와 같은 로봇의 수술 건수가 증가하고 있으며, 의사와 손동작과 로봇암의 동작을 정확히 일치시키는 것, 또는 정확한 계산에 따른 로봇암을 제어할 수 있는 것이, 이 수술의 성공률을 높일 수 있는 것이다.

본 발명이 해결하고자 하는 과제는 사용자의 손동작에 의해 동작하는 로봇암의 동작 데이터를 학습데이터로서 활용할 수 있도록 학습 데이터 셋을 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 과제는 사용자의 손동작에 의한 동작과 로봇암의 동작이 매칭되지 않을 경우, 매칭시키는 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법은 컴퓨터에 의해 실행되는 방법으로서, 3D 시뮬레이션 상에서 3D 모델링데이터에 의해 생성된 가상신체모델에 동작을 수행함으로써 획득되는 매니퓰레이터작동데이터를 획득하는 단계, 로봇 암이 실제 공간 상에서, 3D 시뮬레이션 상에서의 동작과 동일하게 실행될 수 있도록 상기 매니퓰레이터작동데이터를 기계 신호로 컨버팅하는 단계, 상기 컨버팅된 매니퓰레이터작동데이터의 기계 신호를 이용하여 로봇 암을 실행시키고, 로봇암(arm)실행데이터를 획득하는 단계 및 상기 매니퓰레이터작동데이터와 상기 로봇암실행데이터를 수술로봇 데이터 셋으로 획득하는 단계를 포함한다.

상기 매니퓰레이터작동데이터는, 상기 3D 시뮬레이션 상에서 획득한 가상팔동작데이터 및 가상영상데이터이고, 상기 로봇암실행데이터는, 로봇암동작데이터 및 리얼영상데이터이다.

상기 매니퓰레이션작동데이터는, 하나 이상의 특정 가상신체모델을 대상으로, 하나 이상의 사용자가 하나 이상의 특정 동작을 매니퓰레이터로 조작함으로써 획득된 데이터이다.

상기 하나 이상의 특정 가상신체모델은, 3D 모델링을 통해 신체 부위를 3D로 형상화한 데이터로서, 특정 환자마다 획득, 특정 질환 케이스별로 획득, 또는, 특정 장기별로 획득되는 것 중 적어도 하나에 의해 획득되는 데이터이다.

하나 이상의 특정 동작은, 수술 동작, 사용자 임의의 동작, 단순 동작, 미리 정해진 형식적인 동작 중 적어도 하나이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법은 상기 수술로봇 데이터 셋의 매칭도를 획득하는 단계, 상기 획득된 매칭도에 따라, 3D 시뮬레이션 상에서 동작을 수행하여 획득되는 상기 매니퓰레이터작동데이터 보정, 및 상기 컨버팅된 매니퓰레이션작동데이터의 기계 신호에 따라 동작하는 로봇 암의 동작 보정 중 적어도 하나의 보정을 수행하는 단계를 더 포함한다.

상기 매칭도를 획득하는 단계에서, 상기 매칭도는, 상기 3D 시뮬레이션 상의 동작과 로봇 암의 동작이 일치하는 정도를 나타내는 지표이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법은 상기 수술로봇 데이터 셋을 하나 이상 획득하고, 획득된 하나 이상의 수술로봇 데이터 셋을 이용하여 상기 매칭도를 높이는 학습을 수행하는 단계를 더 포함한다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법은 상기 학습을 수행함에 따라, 수술로봇 최적 데이터셋을 생성하는 단계를 더 포함한다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 프로그램은 하드웨어인 컴퓨터와 결합되어, 상기 방법 중 어느 하나의 방법을 실행시키기 위해 매체에 저장된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상기 본 발명에 의하면, 사용자의 손동작으로부터 획득되는 데이터와 그로 인해 동작하는 로봇암으로부터 획득되는 데이터를 수술로봇 데이터 셋으로 획득하여 제공할 수 있다.

상기 본 발명에 의하면, 획득된 수술로봇 데이터 셋을 학습함으로써 보다 정확도가 높은 수술로봇 최적 데이터 셋을 제공할 수 있다.

따라서, 상기 본 발명에 의하면, 사용자의 손동작에 의한 데이터와 로봇암의 동작에 의한 데이터 간의 학습 인지 정확도를 높일 수 있는 효과가 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법의 흐름도이다.
도 2는 본 발명의 수술로봇의 동작 정보를 획득하기 위한 정보 획득의 매체 및 정보 획득 과정을 설명하기 위한 도면이다.
도 3 내지 도 5는 수술로봇의 동작 정보를 획득하기 위하여 획득한 데이터들을 기반으로 매칭 및 학습을 수행하는 방법을 설명하기 위한 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 "영상"은 이산적인 영상 요소들(예를 들어, 2차원 영상에 있어서의 픽셀들 및 3D 영상에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다. 예를 들어, 영상은 CT 촬영 장치에 의해 획득된 대상체의 의료 영상 등을 포함할 수 있다.

본 명세서에서 "대상체(object)"는 사람 또는 동물, 또는 사람 또는 동물의 일부 또는 전부일수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 및 혈관 중 적어도 하나를 포함할 수 있다.

본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.

본 명세서에서 "3D 모델링데이터"는 3D 모델링을 통해 신체 부위를 3D로 형상화한 데이터로서, 사용자에게 제공되는 디스플레이 상에서 2D로 제공되나, 3D의 형태로 보여지도록 제공되거나, 또는 증강현실과 같이 해당 디스플레이를 통하여 실제 공간상에 신체 부위가 나타나는 것처럼 보여지도록 제공될 수 있다.

본 명세서에서 "매니퓰레이터(Manipulator)"는 사용자의 손을 이용하여 실제 수술 로봇의 암(arm)에 신호를 전송하여 로봇의 암을 제어하는 것으로서, 후술하는 도 2의 예시와 같이 사용자가 손을 통해 매니퓰레이터를 실제 움직임 또는 수술 행위로 동작을 제어할 수 있다.

본 명세서에서 "로봇암실행데이터"는 수술 로봇의 암이 매니퓰레이터의 신호를 받아 매니퓰레이터의 제어대로 움직이는 데이터로서, 로봇암실행데이터 자체에서 발생되는 움직임 데이터를 의미한다.

본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법의 흐름도이다.

도 1을 참조하면, 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법은, 컴퓨터에 의해 실행되는 방법으로서, 매니퓰레이터작동데이터를 획득하는 단계(S110), 매니퓰레이터작동데이터를 기계 신호로 컨버팅하는 단계(S130), 로봇암실행데이터를 획득하는 단계(S150) 및 수술로봇 데이터 셋을 획득하는 단계(S170)를 포함한다.

매니퓰레이터작동데이터를 획득하는 단계(S110)는 3D 시뮬레이션 상에서 3D 모델링데이터에 의해 생성된 가상신체모델에 동작을 수행함으로써 획득되는 매니퓰레이터작동데이터를 획득하는 것이다.

3D 시뮬레이션이란, 신체부위가 3D로 모델링된 3D 모델링데이터를 기반으로 하여 수술도구 등의 움직임을 확인할 수 있도록 3D 상에서 시뮬레이션하는 프로그램이다. 3D 시뮬레이션은 수술도구의 단순 움직임뿐만 아니라, 해당 3D 모델링데이터에 의해 생성된 가상신체모델에 수술 행위를 가상으로 진행되는 상황을 시뮬레이션하는 것이다. 본 명세서에서 3D 시뮬레이션은 매니퓰레이터와 연결되어 활용될 수 있고, 또는 단독 프로그램으로 활용되어 다른 가상의 수술도구를 사용할 수도 있다.

매니퓰레이터는, 상술한 바와 같이 사용자의 손을 이용하여 실제 수술 로봇의 암(arm)에 신호를 전송하여 로봇의 암을 제어하는 것인데, 매니퓰레이터작동데이터는, 3D 시뮬레이션 상에서 사용자가 매니퓰레이터를 동작함으로써 획득한 가상팔동작데이터 및 가상영상데이터이다.

가상팔동작데이터는, 사용자가 매니퓰레이터를 이용하여 움직이는 팔동작의 데이터이고, 가상영상데이터는, 매니퓰레이터를 이용함으로써 3D 시뮬레이션 상에서 수술도구에 근접하게 배치된 하나 이상의 카메라를 통하여 획득되는 가상의 영상데이터이다.

보다 구체적으로, 매니퓰레이션작동데이터는, 하나 이상의 특정 가상신체모델을 대상으로, 하나 이상의 사용자가 하나 이상의 특정 동작을 매니퓰레이터로 조작함으로써 획득된 데이터이다.

하나 이상의 특정 가상신체모델은, 3D 모델링을 통해 신체 부위를 3D로 형상화한 데이터로서, 특정 환자마다 획득, 특정 질환 케이스별로 획득, 또는, 특정 장기별로 획득되는 것 중 적어도 하나에 의해 획득되는 데이터이다.

3D 모델링 데이터는 신체 부위를 촬영한 의료영상데이터를 기반으로 생성된다.

일 실시예로, 3D 모델링 데이터는, 특정 대상체의 수술이 필요한 특정 신체 부위를 촬영하는 경우, 다양한 자세 및 각도에 의해 촬영된 의료영상데이터를 기반으로 생성될 수 있으며, 또는, 수술 자세에서 촬영된 의료영상데이터를 기반으로 생성될 수도 있다.

다른 실시예로, 3D 모델링 데이터는, 특정 질환 케이스별로 해당 질환이 있는 대상체의 대상 신체 부위를 촬영하여 획득된 의료영상데이터를 기반으로 생성될 수 있으며, 이 때에도 다양한 자세 및 각도, 또는 해당 수술 자세에서 촬영된 의료영상데이터를 기반으로 생성될 수 있다.

다른 실시예로, 3D 모델링 데이터는, 특정 장기를 촬영하여 획득된 의료영상데이터를 기반으로 생성될 수 있으며, 이 ??에도 다양한 자세 및 각도, 또는 해당 장기에 대하여 수행될 수 있는 수술의 자세에서 촬영된 의료영상데이터를 기반으로 생성될 수 있다.

의료영상 촬영장치(예를 들어, CT 장치 등)가 의료영상데이터를 기반으로 3D 렌더링을 수행하여 3D 모델링 데이터를 생성한 후 컴퓨터로 전송할 수 있다. 컴퓨터로 전송된 3D 모델링 데이터는 3D 시뮬레이션 프로그램 상에서 제공될 수 있다.

다른 실시예로, 컴퓨터는 일반적인 촬영조건에서 촬영된 의료영상데이터에서 특정한 수술 시의 신체상태로 변경하는 보정알고리즘을 적용하여 3D 모델링 데이터를 생성할 수 있다. 예컨대, 보정알고리즘은 일반적인 촬영조건 및 신체상태에 대한 의료영상데이터와 특정한 신체상태 및 수술조건의 수술 시 신체상태데이터를 매칭하여 형성된 빅데이터를 학습함에 따라 산출될 수 있다.

컴퓨터는 가상현실 디바이스를 통해 사용자에게 3D 모델링 데이터를 통해 생성된 가상신체모델을 제공하여, 해당 가상신체모델에 대하여 매니퓰레이터로 동작을 수행할 수 있도록 하거나, 또는, 가상현실 디바이스가 아닌 3D 시뮬레이션 상에서 2D로 제공되는 3D 형태의 가상신체모델에 대하여 매니퓰레이터로 동작을 수행할 수 있도록 한다.

하나 이상의 특정 동작은, 수술 동작, 사용자 임의의 동작, 단순 동작, 미리 정해진 형식적인 동작 중 적어도 하나이다. 사용자 임의의 동작이나 단순 동작은, 예컨대, 사용자가 매니퓰레이터를 이용하여 수술도구를 1cm 이동하는 경우 등으로 이동의 거리, 방향이나 간격이 그대로 로봇암에 반영되는지를 확인할 수 있다.

미리 정해진 형식적인 동작이란, 수술 행위에서 수행하는 형식적인 동작이나, 수술 전 상태를 확인하기 위한 형식적인 동작 등을 포함하는 것이다.

매니퓰레이터작동데이터를 기계 신호로 컨버팅하는 단계(S130)는 로봇 암이 실제 공간 상에서, 3D 시뮬레이션 상에서의 동작과 동일하게 실행될 수 있도록 매니퓰레이터작동데이터를 기계 신호로 컨버팅하는 것이다.

매니퓰레이터작동데이터를 기계 신호로 컨버팅하는 방법은, 로봇 암이 매니퓰레이터작동데이터를 받아 매니퓰레이터의 동작대로 실행되기 위한 것이면 어느 방법이든 가능하다.

로봇암실행데이터를 획득하는 단계(S150)는 컨버팅된 매니퓰레이터작동데이터의 기계 신호를 이용하여 로봇 암을 실행시키고, 로봇암(arm)실행데이터를 획득하는 것이다.

로봇 암을 실행시킨다는 것은, 매니퓰레이터의 움직임대로 컨버팅된 신호를 통해 로봇 암을 움직이도록 하는 것이며, 로봇암실행데이터는 로봇암이 동작함으로써 획득되는 데이터로서, 로봇암동작데이터 및 리얼영상데이터이다.

로봇암동작데이터는, 로봇암이 동작함으로써 획득되는 움직임 자체에 대한 데이터이고, 리얼영상데이터는, 로봇암에 근접하게 배치된 하나 이상의 카메라를 통하여 획득되는 실제 영상의 데이터이다.

수술로봇 데이터 셋을 획득하는 단계(S170)는, 매니퓰레이터작동데이터와 로봇암실행데이터를 수술로봇 데이터 셋으로 획득하는 것이다. 즉, 매니퓰레이터작동데이터와, 매니퓰레이터를 3D 시뮬레이션을 통해 동작시킴으로써 획득되는 매니퓰레이터작동데이터에 의해 동작한 로봇암의 로봇암실행데이터를 하나의 셋으로 획득하는 것이다.

수술로봇 데이터 셋은, 하나 이상의 매니퓰레이터의 동작에 의해 획득되는 것으로서, 다양한 수술행위 또는 동작 등에 대하여 3D 시뮬레이션에서 동작하는 매니퓰레이터의 동작과 이로 인해 실제 로봇암에서 실행되는 동작에 대하여 데이터 셋으로 획득할 수 있다.

실제로 간단한 동작이나 자주 수행되는 수술 동작의 경우에는, 실제 수술 진행으로 인하여 많은 데이터가 축적되어 있으나, 복잡한 동작이나 특이한 케이스의 수술 동작의 경우에는, 데이터가 적어 이를 고도화시키는 데에 어려움이 있다.

따라서, 본 발명에 의하면 복잡한 동작이나 특이한 케이스의 수술 동작의 경우라도, 많은 데이터를 축적하여 해당 동작들을 로봇암에서 정확하게 수행될 수 있도록 고도화시킬 수 있다.

또한, 로봇암을 이용하여 수술을 진행하는 경우, 사용자가 의도하는 수치 방향, 정도 등이 로봇암에서는 정확히 반영되지 않는 경우가 있다.

본 발명과 같이 상호간의 데이터를 수술로봇 데이터 셋으로 획득하여 이를 활용하는 경우, 신호 전달이나 상호 데이터 간 매칭 부분에서 보정을 통해 사용자가 의도하는 수치, 방향, 정도 등이 로봇암에서도 정확하게 반영될 수 있도록 하는 효과가 있다.

도 2는 본 발명의 수술로봇의 동작 정보를 획득하기 위한 정보 획득의 매체 및 정보 획득 과정을 설명하기 위한 도면이다.

도 2에는, 수술로봇의 동작 정보를 획득하기 위한 정보 획득의 매체로서 매니퓰레이터(10)와 로봇암(20)이 도시되어 있다.

매니퓰레이터(10)는 도 1의 설명에서 상술한 내용 및 도 2에 도시된 바와 같이, 사용자가 손을 이용하여 가상신체모델에 대한 수술 행위 또는 특정 동작 등을 수행하도록 구성되어 있다.

이 때, 사용자는 매니퓰레이터(10)에 포함된 디스플레이 또는 가상현실 디바이스를 통해 3D 시뮬레이션 상에서 디스플레이 되는 가상신체모델을 대상으로 특정 동작이나 수술 행위 등을 수행할 수 있다.

상기와 같이 매니퓰레이터(10)를 이용한 사용자의 가상신체모델에 대한 특정 동작이나 수술 행위로 인하여 매니퓰레이터작동데이터가 획득되고, 획득된 매니퓰레이터작동데이터를 기계 신호로 컨버팅하여 로봇암(20)을 실행시키고, 실행된 로봇암(20)으로부터 로봇암실행데이터를 획득하는 것이다.

도 3 내지 도 5는 수술로봇의 동작 정보를 획득하기 위하여 획득한 데이터들을 기반으로 매칭 및 학습을 수행하는 방법을 설명하기 위한 흐름도이다.

도 3을 참조하면, 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법은, 도 1의 단계 이후에, 수술로봇 데이터 셋의 매칭도를 획득하는 단계(S190) 및 보정을 수행하는 단계(S210)를 더 포함한다.

수술로봇 데이터 셋의 매칭도를 획득하는 단계(S190)에서 매칭도는, 상술한 바와 같이 매니퓰레이터에서 수행된 동작과 동일하게 로봇암이 동작을 수행하였는지, 즉, 3D 시뮬레이션 상의 동작과 로봇암의 동작이 일치하는 정도에 대한 지표로서, 가상팔동작데이터와 로봇암동작데이터의 매칭 정도 및 가상영상데이터와 리얼영상데이터의 매칭 정도를 기반으로 하여 획득하거나, 또는 가상팔동작데이터와 가상영상데이터가 조합된 매니퓰레이터작동데이터 및 로봇암동작데이터와 리얼영상데이터가 조합된 로봇암실행데이터의 매칭 정도를 나타낸 지표일 수 있다.

또한, 매칭도는 단순하게 어느 정도 매칭되었는지 뿐만 아니라, 어느 부분이 매칭되지 않고 얼마나 차이가 존재하는지에 대한 정보를 함께 포함할 수도 있다.

보정을 수행하는 단계(S210)는 획득된 매칭도에 따라, 3D 시뮬레이션 상에서 동작을 수행하여 획득되는 매니퓰레이터작동데이터 보정, 및 컨버팅된 매니퓰레이션작동데이터의 기계 신호에 따라 동작하는 로봇 암의 동작 보정 중 적어도 하나의 보정을 수행하는 것이다.

즉, 매칭도가 일정 수준 이하로서 보정이 필요한 경우, 매니퓰레이터작동데이터 자체를 보정하거나, 또는 매니퓰레이터작동데이터를 전송하여 이에 따라 동작하는 로봇암의 동작을 보정하거나, 또는 매니퓰레이터작동데이터 및 로봇암의 동작을 매칭도가 일정 수준 이상이 되도록 모두 보정할 수 있다.

3D 시뮬레이션을 통해 매니퓰레이터의 동작과 그에 의한 로봇암의 동작의 매칭도를 판단하여, 매칭도가 일정 수준 이상으로 되도록 데이터나 움직임 정도를 보정함으로써, 보다 정확한 로봇암 제어가 가능하도록 하는 효과가 있다.

3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법은, 도 1의 단계 이후 또는, 도 3의 단계 이후에, 학습을 수행하는 단계(S230)를 더 포함할 수 있다.

도 4에서는 도 3의 단계 이후에, 학습을 수행하는 단계(S230)를 더 포함하는 것으로 도시하였으나, 수술로봇 데이터 셋을 획득하는 단계(S170) 이후에 해당 데이터 셋을 이용하여 학습을 수행하는 단계(S230)를 진행할 수도 있다.

도 4를 참조하여 설명하면, 수술로봇 데이터 셋을 하나 이상 획득하고, 획득된 하나 이상의 수술로봇 데이터 셋을 이용하여 매칭도를 높이는 학습을 수행(S230)할 수 있다.

학습은, 하나 이상의 수술로봇 데이터 셋을 학습 데이터 셋으로서 딥러닝을 수행하는 것이다. 매칭도를 높이는 학습이란, 수술로봇 데이터 셋의 매칭도가 일정 수준 이하인 경우, 해당 매칭도가 일정 수준 이상이 되도록 각 데이터 또는 동작 기준 등으로 보정하는 학습을 의미하는 것이다.

해당 학습은 특정 동작뿐만 아니라, 가능한 다양하고 동일한 동작일지라도 많은 동작에 대하여 수행함으로써, 로봇암의 수술행위 정확도가 높아질 수 있다.

본 발명의 실시예들에 따른 심층신경망(Deep Neural Network; DNN)은, 하나 이상의 컴퓨터 내에 하나 이상의 레이어(Layer)를 구축하여 복수의 데이터를 바탕으로 판단을 수행하는 시스템 또는 네트워크를 의미한다. 예를 들어, 심층신경망은 콘벌루션 풀링 층(Convolutional Pooling Layer), 로컬 접속 층(a locally-connected layer) 및 완전 연결 층(fully-connected layer)을 포함하는 층들의 세트로 구현될 수 있다. 콘벌루션 풀링 층 또는 로컬 접속 층은 영상 내 특징들을 추출하도록 구성 될 수 있다. 완전 연결 층은 영상의 특징 간의 상관 관계를 결정할 수 있다. 일부 실시 예에서, 심층신경망의 전체적인 구조는 콘벌루션 풀링 층에 로컬 접속 층이 이어지고, 로컬 접속 층에 완전 연결 층이 이러지는 형태로 이루어질 수 있다. 심층신경망은 다양한 판단기준(즉, 파라미터(Parameter))를 포함할 수 있고, 입력되는 영상 분석을 통해 새로운 판단기준(즉, 파라미터)를 추가할 수 있다.

본 발명의 실시예들에 따른 심층신경망은, 영상분석에 적합한 콘볼루셔널 신경망이라고 부르는 구조로서, 주어진 영상 데이터들로부터 가장 분별력(Discriminative Power)가 큰 특징을 스스로 학습하는 특징 추출층(Feature Extraction Layer)와 추출된 특징을 기반으로 가장 높은 예측 성능을 내도록 예측 모델을 학습하는 예측층(Prediction Layer)이 통합된 구조로 구성될 수 있다.

특징 추출층은 영상의 각 영역에 대해 복수의 필터를 적용하여 특징 지도(Feature Map)를 만들어 내는 콘벌루션 층(Convolution Layer)과 특징 지도를 공간적으로 통합함으로써 위치나 회전의 변화에 불변하는 특징을 추출할 수 있도록 하는 통합층(Pooling Layer)을 번갈아 수 차례 반복하는 구조로 형성될 수 있다. 이를 통해, 점, 선, 면 등의 낮은 수준의 특징에서부터 복잡하고 의미 있는 높은 수준의 특징까지 다양한 수준의 특징을 추출해낼 수 있다.

콘벌루션 층은 입력 영상의 각 패치에 대하여 필 터와 국지 수용장(Local Receptive Field)의 내적에 비선형 활성 함수(Activation Function)을 취함으로 서 특징지도(Feature Map)을 구하게 되는데, 다른 네트워크 구조와 비교하여, CNN은 희소한 연결성 (Sparse Connectivity)과 공유된 가중치(Shared Weights)를 가진 필터를 사용하는 특징이 있다. 이러한 연결구조는 학습할 모수의 개수를 줄여주고, 역전파 알고리즘을 통한 학습을 효율적으로 만들어 결과적으로 예측 성능을 향상 시킨다.

통합 층(Pooling Layer 또는 Sub-sampling Layer)은 이전 콘벌루션 층에서 구해진 특징 지도의 지역 정보를 활용하여 새로운 특징 지도를 생성한다. 일반적으로 통합 층에 의해 새로 생성된 특징지도는 원래의 특징 지도보다 작은 크기로 줄어드는데, 대표적인 통합 방법으로는 특징 지도 내 해당 영역의 최대값을 선택하는 최대 통합(Max Pooling)과 특징 지도 내 해당 영역의 평균값을 구하는 평균 통합(Average Pooling) 등이 있다. 통합 층의 특징지도는 일반적으로 이전 층의 특징 지도보다 입력 영상에 존재하는 임의의 구조나 패턴의 위치에 영향을 적게 받을 수 있다. 즉, 통합층은 입력 영상 혹은 이전 특징 지도에서의 노이즈나 왜곡과 같은 지역적 변화에 보다 강인한 특징을 추출할 수 있게 되고, 이러한 특징은 분류 성능에 중요한 역할을 할 수 있다. 또 다른 통합 층의 역할은, 깊은 구조상에서 상위의 학습 층으로 올라갈수록 더 넓은 영역의 특징을 반영할 수 있게 하는 것으로서, 특징 추출 층이 쌓이면서, 하위 층에서는 지역적인 특징을 반영하고 상위 층으로 올라 갈수록 보다 추상적인 전체 영상의 특징을 반영하는 특징 생성할 수 있다.

이와 같이, 콘벌루션 층과 통합 층의 반복을 통해 최종적으로 추출된 특징은 다중 신경망(MLP: Multi-layer Perception)이나 서포트 벡터 머신(SVM: Support Vector Machine)과 같은 분류 모델이 완전 연결 층(Fully-connected Layer)의 형태로 결합되어 분류 모델 학습 및 예측에 사용될 수 있다.

다만, 본 발명의 실시예들에 따른 심층신경망의 구조는 이에 한정되지 아니하고, 다양한 구조의 신경망으로 형성될 수 있다.

도 5를 참조하면, 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법은, 도 4의 단계 이후, 수술로봇 최적 데이터셋을 생성하는 단계(S250)를 더 포함할 수 있다.

수술로봇 최적 데이터셋을 생성하는 단계(S250)는 학습을 수행(S230)함에 따라, 수술로봇 최적 데이터셋을 생성하는 것이다.

전술한 바와 같이, 수술로봇 데이터 셋의 매칭도가 일정 수준 이하인 경우, 해당 매칭도가 일정 수준 이상이 되도록 각 데이터 또는 동작 기준 등으로 보정하는 학습을 수행하고, 이에 따라 획득된 데이터들을 기반으로 하여 수술로봇 최적 데이터셋을 생성하는 것이다.

수술로봇 최적 데이터셋은, 최적의 매니퓰레이터작동데이터와 로봇암실행데이터의 셋을 포함하는 것이다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10 : 매니퓰레이터
20 : 로봇암

Claims

컴퓨터에 의해 실행되는 방법으로서,
3D 시뮬레이션 상에서 3D 모델링데이터에 의해 생성된 가상신체모델에 동작을 수행함으로써 획득되는 매니퓰레이터작동데이터를 획득하는 단계;
로봇 암이 실제 공간 상에서, 3D 시뮬레이션 상에서의 동작과 동일하게 실행될 수 있도록 상기 매니퓰레이터작동데이터를 기계 신호로 컨버팅하는 단계;
상기 컨버팅된 매니퓰레이터작동데이터의 기계 신호를 이용하여 로봇 암을 실행시키고, 로봇암(arm)실행데이터를 획득하는 단계; 및
상기 매니퓰레이터작동데이터와 상기 로봇암실행데이터를 수술로봇 데이터 셋으로 획득하는 단계;
상기 수술로봇 데이터 셋의 매칭도를 획득하는 단계; 및
상기 획득된 매칭도가 기 설정된 수준 이하인 경우, 상기 3D 시뮬레이션 상에서 동작을 수행하여 획득되는 상기 매니퓰레이터작동데이터, 및 상기 컨버팅된 매니퓰레이션작동데이터의 기계 신호에 따라 동작하는 로봇 암의 동작 중 적어도 하나에 대해 보정을 수행하는 단계;를 포함하며,
상기 매니퓰레이터작동데이터는, 상기 3D 시뮬레이션 상에서 획득한 가상팔동작데이터 및 가상영상데이터로서, 하나 이상의 특정 가상신체모델을 대상으로, 하나 이상의 사용자가 하나 이상의 특정 동작을 매니퓰레이터로 조작함으로써 획득된 데이터이고,
상기 로봇암실행데이터는, 로봇암동작데이터 및 리얼영상데이터인,
3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법.
삭제
삭제
제1항에 있어서,
상기 하나 이상의 특정 가상신체모델은,
3D 모델링을 통해 신체 부위를 3D로 형상화한 데이터로서, 특정 환자마다 획득, 특정 질환 케이스별로 획득, 또는, 특정 장기별로 획득되는 것 중 적어도 하나에 의해 획득되는 데이터인,
3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법.
제1항에 있어서,
하나 이상의 특정 동작은,
수술 동작, 사용자 임의의 동작, 단순 동작, 미리 정해진 형식적인 동작 중 적어도 하나인,
3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법.
삭제
제1항에 있어서,
상기 매칭도를 획득하는 단계에서, 상기 매칭도는,
상기 3D 시뮬레이션 상의 동작과 로봇 암의 동작이 일치하는 정도를 나타내는 지표인,
3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법.
제1항에 있어서,
상기 수술로봇 데이터 셋을 하나 이상 획득하고, 획득된 하나 이상의 수술로봇 데이터 셋을 이용하여 상기 매칭도를 높이는 학습을 수행하는 단계를 더 포함하는,
3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법.
제8항에 있어서,
상기 학습을 수행함에 따라, 수술로봇 최적 데이터셋을 생성하는 단계를 더 포함하는,
3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법.
하드웨어인 컴퓨터와 결합되어, 제1항, 제4항, 제5항, 제7항 내지 제9항 중 어느 하나의 항에 따른 방법을 실행시키기 위해 매체에 저장된, 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 프로그램.