KR102323502B1 - 내시경 시스템 및 그 영상 제공 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 - Google Patents

Abstract

내시경 시스템 및 그 영상 제공 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체가 개시된다. 내시경 시스템은 영상 획득부, 진입 방향 판단부 및 진입 방향 출력부를 포함한다. 영상 획득부는 내시경 영상을 획득하고, 진입 방향 판단부는 획득된 영상으로부터 내시경의 진입 방향을 판단하며, 진입 방향 출력부는 진입 방향을 출력 장치로 출력한다. 이와 같은 구성에 의하면, 내시경 영상이 출력되는 화면에 내시경 진입 방향을 출력함으로써 영상으로부터 내시경의 진입 방향을 판단이 어려운 미숙련 사용자도 용이하고 신속하면서도 정확하게 내시경 검사를 수행할 수 있게 된다.

Description

내시경 시스템 및 그 영상 제공 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 {ENDOSCOPE SYSTEM AND METHOD FOR PROVIDING IMAGE OF THE ENDOSCOPE AND A RECORDING MEDIUM HAVING COMPUTER READABLE PROGRAM FOR EXECUTING THE METHOD}

본 발명은 내시경 시스템 및 그 영상 제공 방법에 관한 것으로서, 더욱 상세하게는 내시경 영상 자동 분석 결과에 따른 내시경 제어 시스템 및 그 영상 제공 방법에 관한 것이다.

일반적으로 내시경 장치의 영상 시스템은 조직에서 가시 형광을 유도하는 여기광 및 기준광을 생성하기 위한 광원, 여기광과 기준광을 공통의 광로 상으로 결합시켜 그 결합된 광이 그것을 조직으로 전송하는 광 도파관 중으로 커플링 되도록 하는 광학 결합, 조직의 형광 영상 및 기준 영상을 검출하는 영상 센서, 형광 영상과 기준 영상을 처리하여 조직의 처리된 출력 영상을 생성하는 데이터 프로세서 등으로 이루어진다.

그런데 이와 같은 종래의 내시경 시스템은, 일반적으로 검사 도중 내시경을 통해 획득한 영상을 사용자, 즉 의사에게 보여주기 위해 사용되는 장치로서, 이를 사용하는 사용자의 숙련도에 따라 그 사용 결과가 달라지는 문제점이 있다.

예를 들어, 미숙련 사용자는 내시경 영상으로부터 내시경의 진입 방향의 판단이나 광원 조도 제어 또는 내시경 말단부의 움직임 제어가 서툴러 내시경 검사에 지나치게 시간이 걸릴 수 있다. 또한, 신속한 검사를 위해 검사를 서두르다가 미검사 영역이 발생하거나, 검사 영역으로부터 병변 검출을 누락하는 문제가 발생할 수 있다.

KR 1020140118448 A

본 발명은 상술한 종래의 문제점을 해결하기 위해 안출된 것으로서, 내시경의 미숙련 사용자도 용이하고 신속하면서도 정확하게 내시경 검사를 수행할 수 있도록 해 주는 내시경 시스템, 및 그 영상 제공 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해 본 발명에 따른 내시경 시스템은 영상 획득부, 진입 방향 판단부 및 진입 방향 출력부를 포함한다. 영상 획득부는 내시경 영상을 획득하고, 진입 방향 판단부는 획득된 영상으로부터 내시경의 진입 방향을 판단하며, 진입 방향 출력부는 진입 방향을 출력 장치로 출력한다.

이와 같은 구성에 의하면, 내시경 영상이 출력되는 화면에 내시경 진입 방향을 출력함으로써 영상으로부터 내시경의 진입 방향을 판단이 어려운 미숙련 사용자도 용이하고 신속하면서도 정확하게 내시경 검사를 수행할 수 있게 된다.

이때, 내시경 시스템은 진입 방향으로 내시경 말단부를 진입시키는 내시경 진입부를 더 포함할 수 있다. 이와 같은 구성에 의하면, 디스플레이 화면뿐만 아니라 내시경 말단부를 제어함으로써, 내시경 조작이 서툰 사용자에 의한 사고 우려를 감소시킬 수 있으며, 사용자의 편의성을 증가시킬 수 있게 된다.

또한, 내시경 영상으로부터 미리 설정된 병변을 검출하는 병변 검출부를 더 포함할 수 있다. 이와 같은 구성에 의하면, 내시경 영상에는 출력되었지만 사용자가 병변을 식별하지 못하는 경우를 방지하여 내시경 검사의 효과를 증가시킬 수 있게 된다.

또한, 병변이 검출되는 경우 내시경 말단부의 위치를 병변에 대응하여 고정하는 자세 고정부를 더 포함할 수 있다. 이와 같은 구성에 의하면, 병변 확인 후 내시경을 통해 시술 등이 수행되는 경우 이로 인해 화면이 흔들리거나 병변을 놓치게 되는 현상을 방지할 수 있게 된다.

또한, 내시경 영상으로부터 미리 설정된 장기에 대한 내시경 미검사 영역을 검출하는 미검사 영역 검출부를 더 포함할 수 있다. 이와 같은 구성에 의하면, 내시경 미숙련자도 내시경 검사시 미검사 영역이 발생하는 것을 방지할 수 있게 된다.

또한, 내시경 영상으로부터 장기에 대한 3차원 이미지를 형성하는 3차원 이미지 형성부를 더 포함할 수 있다. 이와 같은 구성에 의하면, 내시경 검사 영상들을 조합하여 실제 장기의 영상을 3차원으로 형성함으로써 검사 결과에 대한 더욱 직관적인 인지가 가능해 진다.

또한, 내시경 영상으로부터 내시경 조사 광원의 조도를 조절하는 조도 조절부를 더 포함할 수 있다. 이와 같은 구성에 의하면, 미숙련 사용자도 내시경 화면에 따라 효과적인 조도를 확보할 수 있을 뿐만 아니라, 조도 조절을 위해 별도의 조작이 필요 없게 되어 편의성을 증가시킬 수 있게 된다.

아울러, 상기 시스템을 방법의 형태로 구현한 발명과 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체가 함께 개시된다.

본 발명에 의하면, 내시경 영상이 출력되는 화면에 내시경 진입 방향을 출력함으로써 영상으로부터 내시경의 진입 방향을 판단이 어려운 미숙련 사용자도 용이하고 신속하면서도 정확하게 내시경 검사를 수행할 수 있게 된다.

또한, 디스플레이 화면뿐만 아니라 내시경 말단부를 제어함으로써, 내시경 조작이 서툰 사용자에 의한 사고 우려를 감소시킬 수 있게 된다.

또한, 내시경 영상에는 출력되었지만 사용자가 병변을 식별하지 못하는 경우를 방지하여 내시경 검사의 효과를 증가시킬 수 있게 된다.

또한, 병변 확인 후 내시경을 통해 시술 등이 수행되는 경우 이로 인한 진동으로 인해 화면이 흔들리거나 병변을 놓치게 되는 현상을 방지할 수 있게 된다.

또한, 내시경 미숙련자도 내시경 검사시 미검사 영역이 발생하는 것을 방지할 수 있게 된다.

또한, 내시경 검사 영상들을 조합하여 실제 장기의 영상을 형성함으로써 검사 결과에 대한 더욱 직관적인 인지가 가능해 진다.

또한, 미숙련 사용자도 내시경 화면에 따라 효과적인 조도를 확보할 수 있을 뿐만 아니라, 조도 조절을 위해 별도의 조작이 필요 없게 된다.

도 1은 본 발명의 일 실시예에 따른 내시경 시스템의 개략적인 블록도.
도 2는 내시경 검사시 내시경 진입방향을 자동 검출하기 위한 과정의 예를 개략적으로 도시한 흐름도.
도 3은 내시경 진입시 자동 진입 기능 과정의 예를 도시한 개략적인 흐름도.
도 4는 내시경 검사시 내시경 영상으로부터 실시간 병변 검출의 수행하는 과정의 개략적인 흐름도.
도 5는 내시경 검사 중 병변 검출시 병변에 대해 자세를 고정하는 과정의 예를 개략적으로 도시한 흐름도.
도 6은 내시경 검사시 미검사 영역을 감지하기 위한 과정의 예를 개략적으로 도시한 흐름도.
도 7은 내시경 검사 수행후 수집한 영상을 바탕으로 3차원 이미지를 형성하기 위한 과정의 예를 개략적으로 도시한 흐름도.
도 8은 미검사 영역의 알람 기능 및 이를 통한 장기 내부 영상 3차원 재구성 기능의 개념을 도시한 도면.
도 9는 내시경 검사시 내시경 영상의 판독성 및 가시성 증진을 위한 자동 조도 제어 과정의 예를 개략적으로 도시한 흐름도.
도 10은 도 1의 내시경 시스템이 인공지능 임베디드 시스템 기반으로 구현된 예가 도시된 개략적인 블록도.
도 11은 도 10의 인공지능 임베디드 시스템이 포함된 전체 내시경 시스템의 개략적인 블록도.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.

도 1은 본 발명의 일 실시예에 따른 내시경 시스템의 개략적인 블록도이다. 도 1에서, 내시경 시스템(100)은 영상 획득부(110), 진입 방향 판단부(120), 진입 방향 출력부(130), 내시경 진입부(140), 병변 검출부(150), 자세 고정부(160), 미검사 영역 검출부(170), 3차원 이미지 형성부(180), 및 조도 조절부(190)를 포함한다.

도 1에서 내시경 시스템(100)의 각 구성 요소들은 하드웨어만으로 구현될 수도 있겠으나 하드웨어 및 하드웨어상에서 동작하는 소프트웨어로 함께 구현되는 것이 일반적일 것이다.

영상 획득부(110)는 내시경 영상을 획득하고, 진입 방향 판단부(120)는 획득된 영상으로부터 내시경의 진입 방향을 판단하며, 진입 방향 출력부(130)는 내시경의 진입 방향을 출력 장치로 출력한다.

내시경 검사 진행시 위장 혹은 대장 진입에 있어서 사용자의 숙련도에 따라 어려움이 발생 가능하기 때문에, 이를 해결하기 위하여 인공지능 알고리즘을 통해 내시경 진입 방향을 검출하여 사용자에게 알려주도록 하는 것이다. 도 2는 내시경 검사시 내시경 진입방향을 자동 검출하기 위한 과정의 예를 개략적으로 도시한 흐름도이다.

이와 같은 구성에 의하면, 내시경 영상이 출력되는 화면에 내시경 진입 방향을 출력함으로써 영상으로부터 내시경의 진입 방향을 판단이 어려운 미숙련 사용자도 용이하고 신속하면서도 정확하게 내시경 검사를 수행할 수 있게 된다.

내시경 진입부(140)는 내시경 진입 방향으로 내시경 말단부를 진입시킬 수 있다. 내시경 진입시 검출된 진입 방향에 따라 자동으로 내시경 말단부의 각도 및 병진 운동에 대한 제어를 통해 자동 진입 수행하는 것이다.

인공지능 기반의 임베디드 시스템을 이용해 내시경 내부 전기모터를 제어하여 말단부에 대한 병진운동 및 각도 제어 구현하는 것으로서, 이는 내시경 진입 방향 검출 알고리즘과 결합하여 수행될 수 있다. 도 3은 내시경 진입시 자동 진입 기능 과정의 예를 도시한 개략적인 흐름도이다.

이와 같은 구성에 의하면, 디스플레이 화면뿐만 아니라 내시경 말단부를 제어함으로써, 내시경 조작이 서툰 사용자에 의한 사고 우려를 감소시킬 수 있게 된다.

병변 검출부(150)는 내시경 영상으로부터 미리 설정된 병변을 검출한다. 병변 검출을 위한 내시경 검사 시행시 사용자의 숙련도에 따라 병변 누락 발생 가능하기 때문에, 이를 해결하기 위해 인공지능 알고리즘을 통해 내시경 검사시 실시간으로 병변을 검출하여 사용자에게 알려주도록 하는 것이다.

이와 같은 구성에 의하면, 내시경 영상에는 출력되었지만 사용자가 병변을 식별하지 못하는 경우를 방지하여 내시경 검사의 효과를 증가시킬 수 있게 된다. 도 4는 내시경 검사시 내시경 영상으로부터 실시간 병변 검출의 수행하는 과정의 개략적인 흐름도이다.

자세 고정부(160)는 병변이 검출되는 경우 내시경 말단부의 위치를 병변에 대응하여 고정한다. 내시경 검사시 병변이 검출되었을 경우 병변에 대해 내시경 말단부 자세를 고정하여 사용자에게 편의성 제공하기 위한 구성이다.

자세 고정부(160)도 인공지능 기반의 임베디드 시스템을 이용해 내시경 내부 전기모터를 제어하여 말단부에 대한 병진운동 및 각도 제어 구현하는 구성으로서, 병변 검출 알고리즘과 결합하여 도 5와 같은 자동 제어 기능이 수행 가능하다. 도 5는 내시경 검사 중 병변 검출시 병변에 대해 자세를 고정하는 과정의 예를 개략적으로 도시한 흐름도이다.

이와 같은 구성에 의하면, 병변 확인 후 내시경을 통해 시술 등이 수행되는 경우 이로 인한 진동으로 인해 화면이 흔들리거나 병변을 놓치게 되는 현상을 방지할 수 있게 된다.

미검사 영역 검출부(170)는 내시경 영상으로부터 미리 설정된 장기에 대한 내시경 미검사 영역을 검출한다. 위 내시경 혹은 대장 내시경 등 내시경 검사 시 미검사 영역 발생 가능성 매우 큰데, 이를 방지하기 위해 미검사 영역을 감지하여 사용자에게 알려주도록 하는 구성이다.

이와 같은 구성에 의하면, 내시경 미숙련자도 내시경 검사시 미검사 영역이 발생하는 것을 방지할 수 있게 된다. 도 6은 내시경 검사시 미검사 영역을 감지하기 위한 과정의 예를 개략적으로 도시한 흐름도이다.

3차원 이미지 형성부(180)는 내시경 영상으로부터 장기에 대한 3차원 이미지를 형성한다. 내시경 검사 수행 후에도 환자의 장기 내부에 대한 면밀한 재검사를 진행할 수 있도록 수집한 영상을 바탕으로 3차원 Image Reconstruction 구현하는 것이다.

도 7은 내시경 검사 수행후 수집한 영상을 바탕으로 3차원 이미지를 형성하기 위한 과정의 예를 개략적으로 도시한 흐름도이다. 이와 같은 구성에 의하면, 내시경 검사 영상들을 조합하여 실제 장기의 영상을 형성함으로써 검사 결과에 대한 더욱 직관적인 인지가 가능해 진다.

도 8은 미검사 영역의 알람 기능 및 이를 통한 장기 내부 영상 3차원 재구성 기능의 개념을 도시한 도면이다. 도 8에서 미검사 영역이 장기 모양에 대응하여 출력된 예 및 검사 영상을 이용하여 형성된 3차원 장기 영상의 예가 도시되어 있다.

조도 조절부(190)는 내시경 영상으로부터 내시경 조사 광원의 조도를 조절한다. 인공지능 알고리즘을 바탕으로 내시경 검사 도중 영상에 대한 조도를 판단하여 자동 조도 제어 구현하는 것이다. 이를 통해 항상 적절한 조도를 유지함으로써 내시경 영상의 판독성 및 가시성이 증진 가능해 진다.

이와 같은 구성에 의하면, 미숙련 사용자도 내시경 화면에 따라 효과적인 조도를 확보할 수 있을 뿐만 아니라, 조도 조절을 위해 별도의 조작이 필요 없게 된다. 도 9는 내시경 검사시 내시경 영상의 판독성 및 가시성 증진을 위한 자동 조도 제어 과정의 예를 개략적으로 도시한 흐름도이다.

정리하면, 본 발명에서는 단순히 내시경 영상을 사용자에게 보여주는 기능 외에 사용자의 편리성 및 환자의 안정성을 증진시키기 위해 인공지능 임베디드 시스템 기반의 내시경 위치 및 조도 제어, 실시간 병변 검출, 미검사 영역 감지 및 장기 내부 3차원 재구성 기능 등을 제시한다.

도 10은 도 1의 내시경 시스템이 인공지능 임베디드 시스템 기반으로 구현된 예가 도시된 개략적인 블록도이고, 도 11은 도 10의 인공지능 임베디드 시스템이 포함된 전체 내시경 시스템의 개략적인 블록도이다.

상기 구성들을 통해 내시경 검사 도중 발생할 수 있는 병변 검출 누락으로 인한 환자의 안전 위협 및 내시경 위치 및 조도 제어에 대한 어려움으로 발생할 수 있는 사용자의 편의성 저하 등의 문제점을 해결할 수 있게 된다. 또한, 검사 후 구축된 장기 내부의 3차원 이미지를 이용하여 면밀한 재검사 또한 수행할 수 있게 된다.

본 발명이 비록 일부 바람직한 실시예에 의해 설명되었지만, 본 발명의 범위는 이에 의해 제한되어서는 아니 되고, 특허청구범위에 의해 뒷받침되는 상기 실시예의 변형이나 개량에도 미쳐야 할 것이다.

100: 내시경 시스템
110: 영상 획득부
120: 진입 방향 판단부
130: 진입 방향 출력부
140: 내시경 진입부
150: 병변 검출부
160: 자세 고정부
170: 미검사 영역 검출부
180: 3차원 이미지 형성부
190: 조도 조절부

Claims (15)

1. 내시경 영상을 획득하는 영상 획득부;
   상기 획득된 영상으로부터 상기 내시경의 진입 방향을 판단하는 진입 방향 판단부;
   상기 진입 방향을 출력 장치로 출력하는 진입 방향 출력부; 및
   상기 내시경 영상으로부터 미리 설정된 장기에 대한 내시경 미검사 영역을 검출하는 미검사 영역 검출부를 포함하는 것을 특징으로 하는 내시경 시스템.
   
2. 청구항 1에 있어서,
   상기 진입 방향으로 상기 내시경의 말단부를 진입시키는 내시경 진입부를 더 포함하는 것을 특징으로 하는 내시경 시스템.
   
3. 청구항 2에 있어서,
   상기 내시경 영상으로부터 미리 설정된 병변을 검출하는 병변 검출부를 더 포함하는 것을 특징으로 하는 내시경 시스템.
   
4. 청구항 3에 있어서,
   상기 병변이 검출되는 경우 상기 내시경의 말단부의 위치를 상기 병변에 대응하여 고정하는 자세 고정부를 더 포함하는 것을 특징으로 하는 내시경 시스템.
   
5. 삭제
6. 청구항 4에 있어서,
   상기 내시경 영상으로부터 상기 장기에 대한 3차원 이미지를 형성하는 3차원 이미지 형성부를 더 포함하는 것을 특징으로 하는 내시경 시스템.
   
7. 청구항 6에 있어서,
   상기 내시경 영상으로부터 상기 내시경의 조사 광원의 조도를 조절하는 조도 조절부를 더 포함하는 것을 특징으로 하는 내시경 시스템.
   
8. 내시경 시스템의 영상 제공 방법으로서,
   내시경 영상을 획득하는 영상 획득 단계;
   상기 획득된 영상으로부터 상기 내시경의 진입 방향을 판단하는 진입 방향 판단 단계;
   상기 진입 방향을 출력 장치로 출력하는 진입 방향 출력 단계; 및
   상기 내시경 영상으로부터 미리 설정된 장기에 대한 내시경 미검사 영역을 검출하는 미검사 영역 검출 단계를 포함하는 것을 특징으로 하는 내시경 영상 제공 방법.
   
9. 청구항 8에 있어서,
   상기 진입 방향으로 상기 내시경의 말단부를 진입시키는 내시경 진입 단계를 더 포함하는 것을 특징으로 하는 내시경 영상 제공 방법.
   
10. 청구항 9에 있어서,
    상기 내시경 영상으로부터 미리 설정된 병변을 검출하는 병변 검출 단계를 더 포함하는 것을 특징으로 하는 내시경 영상 제공 방법.
    
11. 청구항 10에 있어서,
    상기 병변이 검출되는 경우 상기 내시경의 말단부의 위치를 상기 병변에 대응하여 고정하는 자세 고정 단계를 더 포함하는 것을 특징으로 하는 내시경 영상 제공 방법.
    
12. 삭제
13. 청구항 11에 있어서,
    상기 내시경 영상으로부터 상기 장기에 대한 3차원 이미지를 형성하는 3차원 이미지 형성 단계를 더 포함하는 것을 특징으로 하는 내시경 영상 제공 방법.
    
14. 청구항 13에 있어서,
    상기 내시경 영상으로부터 상기 내시경의 조사 광원의 조도를 조절하는 조도 조절 단계를 더 포함하는 것을 특징으로 하는 내시경 영상 제공 방법.
    
15. 청구항 8, 내지 청구항 11, 청구항 13, 청구항 14 중 어느 한 청구항의 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체.
    

Images