KR102084598B1 - 뼈 병변 수술을 위한 ａｉ 기반의 수술 보조 시스템 - Google Patents

뼈 병변 수술을 위한 ａｉ 기반의 수술 보조 시스템 Download PDF

Info

Publication number
KR102084598B1
KR102084598B1 KR1020190100322A KR20190100322A KR102084598B1 KR 102084598 B1 KR102084598 B1 KR 102084598B1 KR 1020190100322 A KR1020190100322 A KR 1020190100322A KR 20190100322 A KR20190100322 A KR 20190100322A KR 102084598 B1 KR102084598 B1 KR 102084598B1
Authority
KR
South Korea
Prior art keywords
bone
image
ultrasound
lesion
surgical
Prior art date
Application number
KR1020190100322A
Other languages
English (en)
Inventor
최우식
김태규
Original Assignee
주식회사 딥노이드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥노이드 filed Critical 주식회사 딥노이드
Priority to KR1020190100322A priority Critical patent/KR102084598B1/ko
Application granted granted Critical
Publication of KR102084598B1 publication Critical patent/KR102084598B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00221—Electrical control of surgical instruments with wireless transmission of data, e.g. by infrared radiation or radiowaves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3616—Magnifying glass
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3925—Markers, e.g. radio-opaque or breast lesions markers ultrasonic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명은 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템에 관한 것으로, 환자의 수술 부위에 배치되고, 초음파 영상의 촬영을 위한 초음파 프로브를 갖는 지그 디바이스와, 환자의 3차원 의료 영상이 저장된 영상 저장부와, 상기 지그 디바이스로부터 전송되는 초음파 영상을 이용하여 수술 보조 계획을 수립하는 수술 보조 계획 모듈을 갖는 메인 디바이스를 포함하며; 상기 수술 보조 계획 모듈은 상기 초음파 영상을 이용하여 3차원의 뼈 초음파 영상을 생성하는 뼈 초음파 모델링 모듈과, 상기 영상 저장부에 저장된 3차원 의료 영상을 딥러닝 기반으로 학습하여 뼈 병변의 위치가 표시된 3차원의 뼈 병변 영상을 생성하는 뼈 병변 모델링 모듈과, 상기 뼈 초음파 영상과 상기 뼈 병변 영상을 정합하여 3차원의 뼈 병변 정합 영상을 생성하는 영상 정합 모듈과, 상기 뼈 병변 정합 영상 내의 위치를 기반으로 입력되는 수술 포인트 위치 정보를 상기 지그 디바이스로 전송하는 포인트 위치 결정부를 포함하는 것을 특징으로 한다.

Description

뼈 병변 수술을 위한 ＡＩ 기반의 수술 보조 시스템{AI BASED SURGERY ASSISTANT SYSTEM FOR OPERATING LESION OF BONE}
본 발명은 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템에 관한 것으로, 보다 상세하게는 골낭종과 같은 뼈 병변을 수술할 때 정확한 수술 위치를 수술 현장에서 실시간으로 제공할 수 있는 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템에 관한 것이다.
초기의 의료 로봇 시스템은 주로 복강경 수술에만 집중되었으나, 최근에는 다양한 정형외고 수술에도 활용되고 있다. 정확한 수술을 위해서는 수술 전 영상 촬영 뿐만 아니라 수술 현장에서 병변을 찾아내는 것도 매우 중요하게 여겨지고 있다. 일 예로, 한국등록특허 제10-0941612호에는 골 종양 수술에서 지표점 등록을 용이하게 하고, 기다란 핀을 이용하여 지표점 등록을 통해 용이하게 네비게이션할 수 있는 골 종양 수술에서의 네비게이션 방법이 개시되어 있다.
뼈 병변의 하나인 골낭종 수술의 경우, 수술 전에 MRI와 같은 3차원 의료 영상을 통해 골낭종의 위치를 1차적으로 파악하더라도, 수술시에 환자의 어느 부위를 정확하게 절제할지를 결정하기 위해 추가적으로 3차원 의료 영상을 촬영하는 것이 일반적이다.
수술실이라는 제한적인 공간에서의 의료 영상의 촬영을 위해, 일반적으로 C-ARM이라 불리는 영상 장비를 수술실에 배치한 후, 촬영된 영상을 이용하여 정확한 수술 위치를 찾고 있다.
그러나, C-ARM이 기본적으로 방사선을 이용하는 영상 장비라는 점에서 환자 뿐 만 아니라 수술이 참관하는 의료진, 예컨대, 집도의, 어시스턴트, 간호사, C-ARM 촬영을 위한 방사선과 전문의 등 다수가 방사선에 노출되는 문제점이 있다. 비록 방사선 차폐복을 착용하고 있다고 하더라도 전신을 차폐하지는 못하므로, 수회의 수술이 진행될 때 참관인들에게 누적되는 선량은 증가할 수 밖에 없다.
따라서, 방사선에 의한 영향을 없애면서도 수술실 내에서 실시간으로 뼈 병변의 정확한 위치를 파악할 수 있는 수술 보조 시스템이 요구되고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 골낭종과 같은 뼈 병변을 수술할 때 방사선을 이용한 영상 장비가 아닌 초음파 영상으로부터 환자의 뼈 영상을 취득하고, 이를 3차원의 뼈 영상과 정합시켜 실시간으로 정확한 수술 위치를 수술 현장에서 제공할 수 있는 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 정합된 영상으로부터 절제 또는 천공할 위치를 결정하면, 환자의 수술 부위에 배치되는 지그 디바이스가 동기되어 위치를 결정하게 됨으로써, 보다 정확한 수술 부위를 마킹하는데 그 목적이 있다.
상기 목적은 본 발명에 따라, 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템에 있어서, 환자의 수술 부위에 배치되고, 초음파 영상의 촬영을 위한 초음파 프로브를 갖는 지그 디바이스와, 환자의 3차원 의료 영상이 저장된 영상 저장부와, 상기 지그 디바이스로부터 전송되는 초음파 영상을 이용하여 수술 보조 계획을 수립하는 수술 보조 계획 모듈을 갖는 메인 디바이스를 포함하며; 상기 수술 보조 계획 모듈은 상기 초음파 영상을 이용하여 3차원의 뼈 초음파 영상을 생성하는 뼈 초음파 모델링 모듈과, 상기 영상 저장부에 저장된 3차원 의료 영상을 딥러닝 기반으로 학습하여 뼈 병변의 위치가 표시된 3차원의 뼈 병변 영상을 생성하는 뼈 병변 모델링 모듈과, 상기 뼈 초음파 영상과 상기 뼈 병변 영상을 정합하여 3차원의 뼈 병변 정합 영상을 생성하는 영상 정합 모듈과, 상기 뼈 병변 정합 영상 내의 위치를 기반으로 입력되는 수술 포인트 위치 정보를 상기 지그 디바이스로 전송하는 포인트 위치 결정부를 포함하는 것을 특징으로 하는 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템에 의해서 달성된다.
여기서, 상기 지그 디바이스는 상기 초음파 프로브의 위치를 추적하여 프로브 위치 정보를 생성하는 초음파 위치 추적부와, 상기 메인 디바이스와의 통신을 수행하는 지그 통신부와, 상기 초음파 프로브에 의해 촬영된 초음파 영상과, 초음파 영상의 촬영시에 상기 초음파 위치 추적부에 의해 생성된 상기 프로브 위치 정보를 동기화시켜 상기 지그 통신부를 통해 상기 메인 디바이스로 전송하는 지그 프로세서를 포함하며; 상기 뼈 초음파 모델링 모듈은 상기 프로브 위치 정보와 동기화된 초음파 영상을 이용하여 3차원의 상기 뼈 초음파 영상을 생성할 수 있다.
또한, 상기 뼈 초음파 모델링 모듈은 뼈의 초음파 영상과 뼈의 초음파 영상에서의 뼈의 위치가 레이블된 레이블 정보를 학습 데이터로 하여 학습된 뼈 추적 학습 모델을 포함하며; 상기 뼈 추적 학습 모델은 상기 지그 디바이스로부터 전송되는 초음파 영상을 학습하여 뼈 영역 영상을 추출하고, 하나의 초음파 영상에 대해 추출된 상기 뼈 영역 영상을 한 장의 슬라이스 영상으로 인식하여, 각각의 상기 뼈 영역 영상의 상기 프로브 위치 정보를 이용하여 3차원의 상기 뼈 초음파 영상을 생성할 수 있다.
그리고, 상기 뼈 병변 모델링 모듈은 상기 3차원 의료 영상으로부터 딥러닝 기반의 학습을 통해 뼈 영역과 뼈 병변 영역을 분할하여 상기 뼈 영역에 상기 뼈 병변 영역이 정합된 상기 뼈 병변 영상을 생성할 수 있다.
그리고, 상기 영상 정합 모듈은 ICP(Iterative Closest Point) 알고리즘을 이용하여 상기 뼈 초음파 영상과 상기 뼈 병변 영상을 정합할 수 있다.
또한, 상기 지그 디바이스는 환자의 수술 부위에 포인트를 마킹하기 위한 포인트 마커를 더 포함하며; 상기 지그 프로세서는 상기 지그 통신부를 통해 수신되는 상기 수술 포인트 위치 정보에 해당하는 위치에 포인트가 마킹되도록 상기 포인트 마커를 제어할 수 있다.
상기와 같은 구성에 따라, 본 발명에 따르면, 골낭종과 같은 뼈 병변을 수술할 때 방사선을 이용한 영상 장비가 아닌 초음파 영상으로부터 환자의 뼈 영상을 취득하고, 이를 3차원의 뼈 영상과 정합시켜 실시간으로 정확한 수술 위치를 수술 현장에서 제공할 수 있는 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템이 제공된다.
또한, 본 발명에 따르면, 정합된 영상으로부터 절제 또는 천공할 위치를 결정하면, 환자의 수술 부위에 배치되는 지그 디바이스가 동기되어 위치를 결정하게 됨으로써, 보다 정확한 수술 부위를 마킹이 가능하게 된다.
도 1은 본 발명에 따른 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템의 셋업의 예를 나타낸 도면이고,
도 2은 본 발명에 따른 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템의 제어 블록도의 예를 나타낸 도면이고,
도 3는 도 2의 AI 기반의 수술 보조 시스템의 수술 보조 계획 모듈의 구성의 예를 나타낸 도면이고,
도 4는 본 발명에 따른 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템의 동작 과정을 설명하기 위한 도면이고,
도 5 내지 도 9은 본 발명에 따른 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템의 메인 디바이스에 제공하는 화면들의 예를 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다.
도 1은 본 발명에 따른 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템의 셋업의 예를 나타낸 도면이고, 도 2은 본 발명에 따른 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템의 제어 블록도의 예를 나타낸 도면이다.
도 1 내지 도 3를 참조하여 설명하면, 본 발명에 따른 AI 기반의 수술 보조 시스템은 지그 디바이스(300)와 메인 디바이스(100)를 포함한다.
지그 디바이스(300)는, 도 1에 도시된 바와 같이, 환자의 수술 부위에 배치된다. 예컨대, 환자의 경골 부위에 발생한 골낭종과 같은 뼈 병변의 제거 수술시, 환자가 수술대 위에 누워있는 상태에서 지그 디바이스(300)는 환자의 경골 부근에 배치된다.
여기서, 지그 디바이스(300)는, 도 2에 도시된 바와 같이, 초음파 영상의 촬영을 위한 초음파 프로브(320)를 포함하며, 초음파 프로브(320)에 의해 촬영된 초음파 영상은 초음파 영상은 메인 디바이스(100)로 전송된다.
도 2을 참조하여 설명하면, 본 발명에 따른 지그 디바이스(300)는 상술한 초음파 프로브(320)를 비롯하여, 초음파 위치 추적부(330), 지그 통신부(370) 및 지그 프로세서(310)를 포함할 수 있다. 또한 지그 디바이스(300)는 초음파 영상 처리부(340), 지그 구동부(350) 및 포인트 마커(360)를 포함할 수 있다.
초음파 영상 처리부(340)는 초음파 프로브(320)에 의해 감시된 신호에 기초하여 초음파 영상을 생성한다. 그리고, 초음파 위치 추적부(330)는 초음파 프로브(320)의 위치를 추적하여 프로브 위치 정보를 생성한다.
지그 프로세서(310)는 초음파 프로브(320)에 의해 촬영되어 초음파 영상 처리부(340)에 의해 생성된 초음파 영상과, 해당 초음파 영상의 촬영시에 초음파 위치 추적부(330)에 의해 생성된 프로브 위치 정보를 동기화시켜 지그 통신부(370)를 통해 메인 디바이스(100)로 전송한다. 여기서, 초음파 영상과 프로브 위치 정보에 대한 상세한 설명은 후술한다.
지그 구동부(350)는 지그 프로세서(310)의 제어에 따라 지그 디바이스(300)의 위치를 조절하고, 포인트 마커(360)는 환자의 수술 부위에 포인트를 마킹하는데, 이에 대한 상세한 설명은 후술한다.
한편, 메인 디바이스(100)는, 도 2에 도시된 바와 같이, 영상 저장부(130) 및 수술 보조 계획 모듈(120)을 포함한다. 또한, 메인 디바이스(100)는 메인 통신부(160), 영상 디스플레이부(140), 사용자 입력부(150) 및 메인 프로세서(110)를 포함할 수 있다.
메인 프로세서(110)는 본 발명에 따른 메인 디바이스(100)의 작동을 위한 CPU, 메모리 등의 하드웨어적인 구성과, 운영체제(OS)와 같은 소프트웨어적 구성을 포함한다.
메인 통신부(160)는 통신망을 통해 지그 디바이스(300)와 연결되어 데이터나 명령을 교환한다. 본 발명에서는 메인 통신부(160)가 TCT/IP 기반의 유선 통신이나, 블루투스, 와이파이 등의 무선 통신을 통해 지그 디바이스(300)와 연결되며, 본 발명의 기술적 사상이 특정 통신망의 유형에 국한되지 않음은 물론이다.
사용자 입력부(150)는 사용자의 조작에 따라 동작에 입력신호를 입력하는데, 마우스, 키보드, 터치스크린 등 다양한 형태로 마련될 수 있다. 그리고, 영상 디스플레이부(140)는 모니터 등의 형태로 마련되어, 수술 보조 계획 모듈(120)이 제공하는 후술할 GUI(Graphic user interface) 화면을 화면 상에 표시한다.
영상 저장부(130)에는 환자의 3차원 의료 영상이 저장된다. 본 발명에서는 뼈 병변의 파악에 적합한 MRI 영상이 저장되는 것을 예로 하는데, CT 영상이나 MRA 영상 등 다른 형태의 3차원 의료 영상이 저장될 수 있음은 물론이다.
수술 보조 계획 모듈(120)은 지그 디바이스(300)로부터 전송된 초음파 영상을 이용하여 수술 보조 계획을 수립한다. 여기서, 수술 보조 계획 모듈(120)은 컴퓨터의 운영체제(OS)를 기반으로 설치되는 소프트웨어 형태로 마련되는 것을 예로 한다.
도 3는 본 발명에 따른 수술 보조 계획 모듈(120)의 구성의 예를 나타낸 도면이다. 도 3를 참조하여 설명하면, 본 발명에 따른 수술 보조 계획 모듈(120)은 뼈 초음파 모델링 모듈(121), 뼈 병변 모델링 모듈(122), 영상 정합 모듈(123) 및 포인트 위치 결정부(125)를 포함한다.
뼈 초음파 모델링 모듈(121)은 지그 디바이스(300)로부터 전송되어 메인 통신부(160)를 통해 수신된 초음파 영상을 이용하여 3차원의 뼈 초음파 영상을 생성한다. 본 발명에서는 뼈 초음파 모델링 모듈(121)이 상술한 프로브 위치 정보와 동기화된 초음파 영상을 이용하여 3차원의 뼈 초음파 영상을 생성하는 것을 예로 한다.
여기서, 본 발명에서는 뼈 초음파 모델링 모듈(121)이, 도 3에 도시된 바와 같이 뼈 추적 학습 모델(121a)을 포함하는 것을 예로 한다. 뼈 추적 학습 모델(121a)은 뼈의 초음파 영상과 뼈의 초음파 영상에서의 뼈의 위치가 레이블된 레이블 정보를 학습 데이터로 하여 학습된다. 즉, 뼈 추척 학습 모델은 한 장의 2D 초음파 영상과, 해당 2D 초음파 영상 내에서의 뼈의 위치가 레이블된 레이블 정보를 갖는 복수의 학습 데이터로 하여 학습되고, 2D의 초음파 영상이 입력되면 해당 영상 내에서 뼈의 위치를 찾아 출력한다.
보다 구체적으로 설명하면, 뼈 추적 학습 모델(121a)은 지그 디바이스(300)로부터 전송된 복수의 초음파 영상, 즉 복수의 2D 초음파 영상을 학습하여, 각각의 초음파 영상에서 뼈 영역 영상을 추출한다.
그리고, 뼈 추적 학습 모델(121a)은 하나의 초음파 영상에 대해 추출된 뼈 영역 영상을 한 장의 슬라이스 영상으로 인식하고, 각각의 뼈 영역 영상의 프로브 위치 정보를 이용하여 3차원의 뼈 초음파 영상을 생성하게 된다. 프로브 위치 정보는 초음파 프로브(320)로 환자의 수술 부위를 스캔할 때 측정 위치에 대한 정보가 포함되므로, 해당 정보에 따라 슬라이스 영상을 나열하게 되면, 3차원의 뼈 초음파 영상이 생성 가능하게 된다.
뼈 병변 모델링 모듈(122)은 영상 저장부(130)에 저장된 3차원 의료 영상을 딥러닝 기반으로 학습하여 뼈 병변의 위치가 표시된 3차원의 뼈 병변 영상을 생성한다. 보다 구체적으로 설명하면, 뼈 병변 모델링 모듈(122)은, 도 3에 도시된 바와 같이, 딥러닝 기반의 학습 모델인 병변 추적 학습 모델(122a)을 포함하는데, 병변 추적 학습 모델(122a)은 3차원 의료 영상이 입력되면, 해당 3차원 의료 영상에서 뼈 영역과 뼈 병변 영역을 분할한다. 그리고, 병변 추적 학습 모델(122a)은 뼈 영역과 뼈 병변 영역이 정합된 뼈 병변 영상을 생성하게 된다.
영상 정합 모듈(123)은 뼈 초음파 영상과 뼈 병변 영상을 정합하여, 3차원의 뼈 병변 정합 영상을 생성한다. 본 발명에서는 ICP(Iterative Closest Point) 알고리즘을 이용하여 상기 뼈 초음파 영상과 상기 뼈 병변 영상을 정합하는 것을 예로 한다.
상기와 같은 구성에 따라, 실제 수술 현장에서 C-ARM과 같은 방사선을 이용한 영상 장비를 사용하지 않고, 초음파 영상을 이용하여 방사선 노출에 따른 문제점을 해소할 수 있게 된다.
또한, 2차원의 초음파 영상을 프로브 위치 정보에 동기시키고, 각각의 초음파 영상으로부터 딥러닝 기반의 학습을 통해 뼈 영역 영상을 추출하고, 프로브 위치 정보에 기초하여 복수의 뼈 영역 영상으로 3차원으로 뼈 초음파 영상을 생성함으로써, 초음파 영상으로부터 3차원의 뼈 초음파 영상을 실시간으로 생성할 수 있게 된다.
그리고, 기존에 촬영된 환자의 MRI 영상과 같은 3차원 의료 영상과 뼈 초음파 영상을 정합하여 현재 환자에 대해 촬영되어 생성된 뼈 초음파 영상에 뼈 병변의 위치가 오버랩되어 정확한 뼈 병변의 위치를 확인할 수 있게 된다.
이하에서는, 도 4 내지 도 9을 참조하여 본 발명에 따른 AI 기반의 수술 보조 시스템의 동작 과정의 예에 대해 상세히 설명한다.
도 4를 참조하여 설명하면, 먼저, 사용자가 메인 디바이스(100)에서 수술 보조 계획 모듈(120)이 포함된 프로그램을 실행하게 되면(S50), 영상 디스플레이부(140)의 화면 상에, 도 5에 도시된 바와 같은 GUI 화면이 표시된다.
본 발명에 따른 수술 보조 계획 모듈(120)이 제공하는 GUI 화면은 좌측에 기능 실행을 위한 다수의 선택 항목들이 표시되고, 우측에 선택 항목의 선택에 따른 실행 화면 또는 결과 영상이 표시되는 표시창이 형성된다.
사용자가 GUI 화면 상에서 '초음파 스캔 시작' 항목을 선택하여 초음파 스캔을 실행하게 되면(S51), 메인 디바이스(100)로부터 지그 디바이스(300)로 스캔 명령이 전송된다.
이 때, 지그 디바이스(300)의 지그 프로세서(310)는 초음파 프로브(320)에 의해 스캔되어(S70) 초음파 영상 처리부(340)에 의해 생성된 초음파 영상과, 초음파 위치 추적부(330)의 의해 생성된 프로브 위치 정보를 동기화시켜 메인 디바이스(100)로 전송한다.
그리고, 사용자는 초음파 프로브(320)를 통한 수술 부위의 스캔이 완료되면, 즉 수술 부위에 대한 초음파 스캔이 완료되어 다수의 초음파 영상의 전송이 완료되면, 스캔 종료를 선택하는데, 도 5에 도시된 '초음파 스캔 시작' 항목이 선택되어 스캔이 진행되면 해당 항목이 '초음파 스캔 종료' 항목으로 전환되어 사용자가 이를 선택하도록 마련될 수 있다. 종료 명령은 지그 디바이스(300)로 전송되어 초음파 스캔이 종료된다(S71).
초음파 스캔이 완료되어 다수의 초음파 영상의 수신된 상태에서, 사용자가 '초음파 Bone 모델 생성' 항목의 'Prediction' 항목을 선택하게 되면, 뼈 추적 학습 모델(121a)이 실행되어(S53), 초음파 영상과 프로브 위치 정보에 기초하여 뼈 초음파 영상이 생성된다(S54). 여기서, 뼈 초음파 영상의 생성 방법은 상술한 바와 같다.
뼈 추적 학습 모델(121a)에 의해 뼈 초음파 영상의 생성이 완료된 상태에서, '초음파 Bone 모델 생성' 항목의 'Data Convert' 항목이 선택되면, 도 3의 초음파 데이터 변환부(121b)가 뼈 초음파 영상을 기 설정된 포맷의 파일로 변환하여 저장될 수 있다. 그리고, '초음파 Bone 모델 생성' 항목의 '3D View' 항목이 선택되면, 도 3의 3차원 이미지 생성부(124)가 뼈 초음파 영상을 우측의 표시창에 표시하게 된다.
도 6은 본 발명에 따른 뼈 추적 학습 모델(121a)에 의해 생성된 뼈 초음파 영상의 예를 나타낸 도면이다. 도 6에 도시된 바와 같이, 뼈 초음파 영상은 각각의 초음파 영상에서 추출된 뼈 영역 영상이 순차적으로 배열되어 형성되는 것을 확인할 수 있다.
상기와 같은 과정을 통해 뼈 초음파 영상이 생성되면, 사용자가 'MRI Bone-Cyst 모델' 항목의 'Prediction' 항목을 선택하게 되면, 병변 추적 학습 모델(122a)이 실행되고(S55), 영상 저장부(130)에 저장된 3차원 의료 영성, 예컨대 MRI 영상을 이용하여 뼈 병변 영상이 생성된다(S56). 도 7은 본 발명에 따른 뼈 병변 영상의 예를 나타낸 도면이다. 여기서, 병변 추적 학습 모델(122a)이 뼈 병변 영상을 생성하는 방법은 상술한 바와 같다.
뼈 병변 학습 모델에 의해 뼈 병변 영상의 생성이 완료된 상태에서, 'MRI Bone-Cyst 모델' 항목의 'Data Convert' 항목이 선택되면, 도 3의 3차원 데이터 변환부(122b)가 뼈 병변 영상을 기 설정된 포맷의 파일로 변환하여 저장될 수 있다. 그리고, 'MRI Bone-Cyst 모델' 항목의 '3D View' 항목이 선택되면, 도 3의 3차원 이미지 생성부(124)가 뼈 병변 영상을 우측의 표시창에, 도 7에 도시된 바와 같이 표시할 수 있다.
다시, 도 4를 참조하여 설명하면, 뼈 초음파 영상과 뼈 병변 영상이 준비된 상태에서, 사용자가 '초음파-MRI 정합' 항목의 'Registration' 항목을 선택하게 되면, 영상 정합 모듈(123)이 뼈 초음파 영상과 뼈 병변 영상을 정합하여 3차원의 뼈 병변 정합 영상을 생성하게 된다.
그리고, 사용자가'초음파-MRI 정합' 항목의 'Data Convert' 항목을 선택되면, 영상 정합 모듈(123)이 뼈 병변 정합 영상을 기 설정된 포맷의 파일로 변환하여 저장할 수 있다. 그리고, '초음파-MRI 정합' 항목의 '3D View' 항목이 선택되면, 도 3의 3차원 이미지 생성부(124)가 뼈 병변 정합 영상을 우측의 표시창에, 도 8에 도시된 바와 같이 표시할 수 있다.
한편, 사용자가 화면에 표시된 뼈 병변 정합 영상 내의 위치를 기반으로, 도 9에 도시된 바와 같이, 수술 포인트 위치(P1,P2)를 지정하게 되면(S59), 포인트 위치 결정부(125)가 해당 위치에 대응하는 수술 포인트 위치 정보를 메인 통신부(160)를 통해 지그 디바이스(300)로 전송하게 된다.
그리고, 지그 프로세서(310)는 지그 통신부(370)를 통해 수신되는 수술 포인트 위치 정보에 기초하여, 지그 디바이스(300)가 이동하도록 지그 구동부(350)를 제어하고, 수술 포인트 위치 정보에 해당하는 위치에 포인트가 마킹되도록 포인트 마커(360)를 제어한다.
본 발명에서는 도 1에 도시된 바와 같이, 내시경 시스템을 통해 수술이 진행되는 것을 예로 하며, 사용자에 의해 지정되는 수술 포인트 위치(P1,P2)는 내시경 수술을 위해 천공될 위치가 될 수 있다. 그리고, 포인트 마커(360)는 실제 마킹이 아닌 레이저와 같은 광원으로 천공될 위치를 지정하도록 마련될 수 있다.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
100 : 메인 디바이스 110 : 메인 프로세서
120 : 수술 보조 계획 모듈 121 : 뼈 초음파 모델링 모듈
121a : 뼈 추적 학습 모델 121b : 초음파 데이터 변환부
122 : 뼈 병변 모델링 모듈 122a : 병변 추적 학습 모델
122b : 3차원 데이터 변환부 123 : 영상 정합 모듈
124 : 3차원 이미지 생성부 125 : 포인트 위치 결정부
130 : 영상 저장부 140 : 영상 디스플레이부
150 : 사용자 입력부 160 : 메인 통신부
300 : 지그 디바이스 310 : 지그 프로세서
320 : 초음파 프로브 330 : 초음파 위치 추적부
340 : 초음파 영상 처리부 350 : 지그 구동부
360 : 포인트 마커 370 : 지그 통신부

Claims (6)

  1. 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템에 있어서,
    환자의 수술 부위에 배치되고, 초음파 영상의 촬영을 위한 초음파 프로브를 갖는 지그 디바이스와,
    환자의 3차원 의료 영상이 저장된 영상 저장부와, 상기 지그 디바이스로부터 전송되는 초음파 영상을 이용하여 수술 보조 계획을 수립하는 수술 보조 계획 모듈을 갖는 메인 디바이스를 포함하며;
    상기 수술 보조 계획 모듈은
    상기 초음파 영상을 이용하여 3차원의 뼈 초음파 영상을 생성하는 뼈 초음파 모델링 모듈과,
    상기 영상 저장부에 저장된 3차원 의료 영상을 딥러닝 기반으로 학습하여 뼈 병변의 위치가 표시된 3차원의 뼈 병변 영상을 생성하는 뼈 병변 모델링 모듈과,
    상기 뼈 초음파 영상과 상기 뼈 병변 영상을 정합하여 3차원의 뼈 병변 정합 영상을 생성하는 영상 정합 모듈과,
    상기 뼈 병변 정합 영상 내의 위치를 기반으로 입력되는 수술 포인트 위치 정보를 상기 지그 디바이스로 전송하는 포인트 위치 결정부를 포함하는 것을 특징으로 하는 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템.
  2. 제1항에 있어서,
    상기 지그 디바이스는
    상기 초음파 프로브의 위치를 추적하여 프로브 위치 정보를 생성하는 초음파 위치 추적부와,
    상기 메인 디바이스와의 통신을 수행하는 지그 통신부와,
    상기 초음파 프로브에 의해 촬영된 초음파 영상과, 초음파 영상의 촬영시에 상기 초음파 위치 추적부에 의해 생성된 상기 프로브 위치 정보를 동기화시켜 상기 지그 통신부를 통해 상기 메인 디바이스로 전송하는 지그 프로세서를 포함하며;
    상기 뼈 초음파 모델링 모듈은 상기 프로브 위치 정보와 동기화된 초음파 영상을 이용하여 3차원의 상기 뼈 초음파 영상을 생성하는 것을 특징으로 하는 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템.
  3. 제2항에 있어서,
    상기 뼈 초음파 모델링 모듈은 뼈의 초음파 영상과 뼈의 초음파 영상에서의 뼈의 위치가 레이블된 레이블 정보를 학습 데이터로 하여 학습된 뼈 추적 학습 모델을 포함하며;
    상기 뼈 추적 학습 모델은
    상기 지그 디바이스로부터 전송되는 초음파 영상을 학습하여 뼈 영역 영상을 추출하고,
    하나의 초음파 영상에 대해 추출된 상기 뼈 영역 영상을 한 장의 슬라이스 영상으로 인식하여, 각각의 상기 뼈 영역 영상의 상기 프로브 위치 정보를 이용하여 3차원의 상기 뼈 초음파 영상을 생성하는 것을 특징으로 하는 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템.
  4. 제1항에 있어서,
    상기 뼈 병변 모델링 모듈은 상기 3차원 의료 영상으로부터 딥러닝 기반의 학습을 통해 뼈 영역과 뼈 병변 영역을 분할하여 상기 뼈 영역에 상기 뼈 병변 영역이 정합된 상기 뼈 병변 영상을 생성하는 것을 특징으로 하는 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템.
  5. 제1항에 있어서,
    상기 영상 정합 모듈은 ICP(Iterative Closest Point) 알고리즘을 이용하여 상기 뼈 초음파 영상과 상기 뼈 병변 영상을 정합하는 것을 특징으로 하는 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템.
  6. 제2항에 있어서,
    상기 지그 디바이스는 환자의 수술 부위에 포인트를 마킹하기 위한 포인트 마커를 더 포함하며;
    상기 지그 프로세서는 상기 지그 통신부를 통해 수신되는 상기 수술 포인트 위치 정보에 해당하는 위치에 포인트가 마킹되도록 상기 포인트 마커를 제어하는 것을 특징으로 하는 뼈 병변 수술을 위한 AI 기반의 수술 보조 시스템.
KR1020190100322A 2019-08-16 2019-08-16 뼈 병변 수술을 위한 ａｉ 기반의 수술 보조 시스템 KR102084598B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190100322A KR102084598B1 (ko) 2019-08-16 2019-08-16 뼈 병변 수술을 위한 ａｉ 기반의 수술 보조 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190100322A KR102084598B1 (ko) 2019-08-16 2019-08-16 뼈 병변 수술을 위한 ａｉ 기반의 수술 보조 시스템

Publications (1)

Publication Number Publication Date
KR102084598B1 true KR102084598B1 (ko) 2020-03-05

Family

ID=69803987

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190100322A KR102084598B1 (ko) 2019-08-16 2019-08-16 뼈 병변 수술을 위한 ａｉ 기반의 수술 보조 시스템

Country Status (1)

Country Link
KR (1) KR102084598B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102321427B1 (ko) * 2021-01-20 2021-11-04 메디컬아이피 주식회사 의료영상을 이용한 인체성분 분석 방법 및 그 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015011256A1 (en) * 2013-07-25 2015-01-29 Smith & Nephew, Inc. Method for creating a surgical resection plan for treating a pathological deformity of a bone
JP2015173899A (ja) * 2014-03-17 2015-10-05 株式会社東芝 超音波診断装置、画像処理装置及び画像処理プログラム
KR20150145106A (ko) * 2014-06-18 2015-12-29 삼성전자주식회사 의료 영상 정합 방법 및 그 장치
KR20160047921A (ko) * 2014-10-23 2016-05-03 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015011256A1 (en) * 2013-07-25 2015-01-29 Smith & Nephew, Inc. Method for creating a surgical resection plan for treating a pathological deformity of a bone
JP2015173899A (ja) * 2014-03-17 2015-10-05 株式会社東芝 超音波診断装置、画像処理装置及び画像処理プログラム
KR20150145106A (ko) * 2014-06-18 2015-12-29 삼성전자주식회사 의료 영상 정합 방법 및 그 장치
KR20160047921A (ko) * 2014-10-23 2016-05-03 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102321427B1 (ko) * 2021-01-20 2021-11-04 메디컬아이피 주식회사 의료영상을 이용한 인체성분 분석 방법 및 그 장치
WO2022158654A1 (ko) * 2021-01-20 2022-07-28 메디컬아이피 주식회사 의료영상을 이용한 인체성분 분석 방법 및 그 장치

Similar Documents

Publication Publication Date Title
US10594998B1 (en) Augmented reality guidance for spinal procedures using stereoscopic optical see-through head mounted displays and surface representations
US20240156559A1 (en) Soft tissue cutting instrument and method of use
EP3273854B1 (en) Systems for computer-aided surgery using intra-operative video acquired by a free moving camera
US11806085B2 (en) Guidance for placement of surgical ports
US9655682B2 (en) Visualization guided ACL localization system
US20230355312A1 (en) Method and system for computer guided surgery
US6690960B2 (en) Video-based surgical targeting system
JP6463038B2 (ja) 画像位置合せ装置、方法およびプログラム
CN113423358A (zh) 利用基于传感器的导航和内窥镜检查的组合的外科系统
US10022199B2 (en) Registration correction based on shift detection in image data
US20230363831A1 (en) Markerless navigation system
CN114730484A (zh) 根据二维图像数据的三维选择性骨匹配
KR102084598B1 (ko) 뼈 병변 수술을 위한 ａｉ 기반의 수술 보조 시스템
JP2023523561A (ja) ビデオにおけるコンピュータ支援の標識または基準配置のシステムおよび方法
KR20190133423A (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
US20230215059A1 (en) Three-dimensional model reconstruction
US10376335B2 (en) Method and apparatus to provide updated patient images during robotic surgery
WO2024049810A1 (en) Ultrasound-based mixed reality assistance for orthopedic surgeries
CN114727860A (zh) 物理医疗元件放置系统

Legal Events

Date Code Title Description
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]