KR20210064905A - 내시경 영상에 증강현실 객체 표출 방법 - Google Patents

내시경 영상에 증강현실 객체 표출 방법 Download PDF

Info

Publication number
KR20210064905A
KR20210064905A KR1020190153639A KR20190153639A KR20210064905A KR 20210064905 A KR20210064905 A KR 20210064905A KR 1020190153639 A KR1020190153639 A KR 1020190153639A KR 20190153639 A KR20190153639 A KR 20190153639A KR 20210064905 A KR20210064905 A KR 20210064905A
Authority
KR
South Korea
Prior art keywords
augmented reality
image
mode
present
reality object
Prior art date
Application number
KR1020190153639A
Other languages
English (en)
Inventor
윤은경
김상국
이주형
Original Assignee
주식회사 한울네오텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한울네오텍 filed Critical 주식회사 한울네오텍
Priority to KR1020190153639A priority Critical patent/KR20210064905A/ko
Publication of KR20210064905A publication Critical patent/KR20210064905A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 내시경 영상에 증강현실 객체 표출방법은 수술계획모드 또는 항법수술모드 중 실행모드를 먼저 선택하는 단계; 상기에서 모드가 선택되면, 2D, 3D 및 내시경 중 어느 하나의 영상을 업로드하는 단계; 영상이 업로드 되면 표출할 증강현실용 객체를 선택하는 단계; 및 상기 객체가 선택되면 영상에 객체를 합성하고, 사용자에게 디스플레이 하는 단계;를 포함하여 구성하는 것을 특징으로 한다.

Description

내시경 영상에 증강현실 객체 표출 방법{AUGMENTED REALITY OBJECT REPRESENTATION METHID IN ENDOSCOPIC IMAGES}
본 발명은 증강현실에 객체를 표출하는 방법에 관한 것으로, 더욱 상세하게는 2D 또는 3D 영상 및 내시경 뷰에 객체 합성 및 표출가능한 내시경 영상에 증강현실 객체 표출 방법에 관한 것이다.
일반적으로 내시경은 내장 장기나 체강 내부를 직접 관찰할 수 있는 의료기구이다. 원래는 수술하거나 또는 부검하지 않고는 직접 병변을 볼 수 없는 장기에 대해 기계를 삽입하여 관찰하도록 창안된 기구이다. 내시경의 종류로는 기관지경, 식도경, 위경, 십이지장경, 직장경, 방광경, 복강경 등이 있고, 그 밖에 특수한 것으로 흉강경, 종격경, 심장경 등이 있다. 내시경에는 직달경이라 하여 하나의 통으로 되어 있는 장기를 직접 육안으로 볼 수 있는 형, 렌즈 시스템을 이용한 형, 카메라를 직접 장기에 삽입하는 형과 유리섬유를 사용한 파이버스코프 등이 있다. 최근 위암 조기발견 진단에 위카메라, 위파이버스코프 등이 크게 활용되고 있다. 위카메라는 위 안으로 소형 카메라를 삽입하여 직접 위의 점막을 촬영하고 기록하여 미세한 위의 병변을 발견하고 진단할 수 있다. 위파이버스코는 해상력이 좋고, 점막상태를 관찰하면서 병변부 조직편을 절단해 검사할 수 있는 장치도 부착시킬 수 있다. 이러한 내시경 의료시술에 있어서 효과적인 업무를 수행하고 의료서비스의 질을 높이기 위한 전략적 목표를 달성하기 위하여 일정 규모 이상의 의료기관들은 해당 의료기관에 적합한 내시경 장비를 도입하여 수면 내시경의 의료시술을 수행하고 있다.
더 나아가 최근에는 시술자가 직접 기구를 조작하는 대신 수술용 로봇을 사용하여 기구를 정교하게 조작하여 수술을 수행하는 로봇 수술이 대안으로서 제시되고 있다.
로봇 수술을 위한 수술용 로봇은, 기구의 조작에 의한 필요한 신호를 생성하여 전송하는 마스터(master) 입력장치와, 마스터 입력장치로부터 신호를 받아 직접 환자에 수술에 필요한 조작을 가하는 슬레이브(slave)로봇으로 이루어지며, 마스터 입력장치와 슬레이브 로봇을 통합하여 구성하거나, 각각 별도의 장치로 구성하여 수술실에 배치하게 된다.
시술자는 이러한 로봇을 이용하여 내시경 또는 수술에 사용하게 된다. 이때, 로봇이 실행되어 수술이 진행되기 전에 증강현실용 객체를 선택하여 미리 실행할 수 있는 기술이 필요하다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 영상에 증강현실 객체를 더하여 제공하며, 2D, 3D 및 내시경 영상에 증강현실 객체를 합성하여 사용자에게 제공하는 내시경 영상에 증강현실 객체 표출 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 내시경 영상에 증강현실 객체 표출 방법은 수술계획모드 또는 항법수술모드 중 실행모드를 먼저 선택하는 단계; 상기에서 모드가 선택되면, 2D, 3D 및 내시경 중 어느 하나의 영상을 업로드하는 단계;
영상이 업로드 되면 표출할 증강현실용 객체를 선택하는 단계; 및 상기 객체가 선택되면 영상에 객체를 합성하고, 사용자에게 디스플레이 하는 단계;를 제공한다.
이러한 특징에 따르면, 본 발명은 2D, 3D 및 내시경 영상에 증강현실 객체를 제공함으로써 미리 시뮬레이션 해볼 수 있으며, 보다 정확하게 미리 수술계획을 세울 수 있는 효과과 있다.
도 1은 본 발명의 일 실시예에 따른 내시경 영상에 증강현실 객체 표출 방법의 순서도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
그러면 먼저 첨부한 도면을 참고로 하여 본 발명의 일 실시예에 따른 내시경 영상에 증강현실 객체 표출 방법에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 내시경 영상에 증강현실 객체 표출 방법의 순서도이다.
도 1을 참조하면 수술계획모드 또는 항법수술모드 중 실행모드를 먼저 선택한다(S10).
상기에서 모드가 선택되면, 2D, 3D 및 내시경 중 어느 하나의 영상을 업로드한다(S11).
영상이 업로드 되면 표출할 증강현실용 객체를 선택한다(S12).
상기 객체가 선택되면 영상에 객체를 합성하고, 사용자에게 디스플레이 한다(S13).
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (1)

  1. 수술계획모드 또는 항법수술모드 중 실행모드를 먼저 선택하는 단계;
    상기에서 모드가 선택되면, 2D, 3D 및 내시경 중 어느 하나의 영상을 업로드하는 단계;
    영상이 업로드 되면 표출할 증강현실용 객체를 선택하는 단계; 및
    상기 객체가 선택되면 영상에 객체를 합성하고, 사용자에게 디스플레이 하는 단계;를 포함하여 구성하는 것을 특징으로 하는 내시경 영상에 증강현실 객체 표출방법.
KR1020190153639A 2019-11-26 2019-11-26 내시경 영상에 증강현실 객체 표출 방법 KR20210064905A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190153639A KR20210064905A (ko) 2019-11-26 2019-11-26 내시경 영상에 증강현실 객체 표출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190153639A KR20210064905A (ko) 2019-11-26 2019-11-26 내시경 영상에 증강현실 객체 표출 방법

Publications (1)

Publication Number Publication Date
KR20210064905A true KR20210064905A (ko) 2021-06-03

Family

ID=76396652

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190153639A KR20210064905A (ko) 2019-11-26 2019-11-26 내시경 영상에 증강현실 객체 표출 방법

Country Status (1)

Country Link
KR (1) KR20210064905A (ko)

Similar Documents

Publication Publication Date Title
US9662042B2 (en) Endoscope system for presenting three-dimensional model image with insertion form image and image pickup image
JP5771757B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP7095679B2 (ja) 情報処理装置、支援システム及び情報処理方法
US7837616B2 (en) Endoscope,system, and method for detecting relative position of endoscope and markers placed at target area
US7601119B2 (en) Remote manipulator with eyeballs
JP7074065B2 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
JPWO2014136579A1 (ja) 内視鏡システム及び内視鏡システムの作動方法
WO2018123613A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2017159335A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JP5750669B2 (ja) 内視鏡システム
WO2017006708A1 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
JP2010035637A (ja) 画像表示装置およびこれを用いた内視鏡システム
JP7286948B2 (ja) 医療用観察システム、信号処理装置及び医療用観察方法
EP3733047A1 (en) Surgical system, image processing device, and image processing method
WO2008004222A2 (en) Computer image-aided method and system for guiding instruments through hollow cavities
JP2002253480A (ja) 医療処置補助装置
WO2020231157A1 (ko) 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법
JP2006223374A (ja) 手術支援装置、手術支援システム及び手術支援方法
KR20210064905A (ko) 내시경 영상에 증강현실 객체 표출 방법
WO2017170842A1 (ja) 内視鏡形状把握システム
JP7391113B2 (ja) 学習用医療画像データ作成装置、学習用医療画像データ作成方法及びプログラム
JP2006513793A (ja) 2つの独立アームを備えた内視鏡機器
JP2005211529A (ja) 手技支援システム
KR20180133633A (ko) 두부에 착용하는 내시경 영상 시현 헤드셋 및 이를 적용한 내시경 영상 진단 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application