KR20240002856A

KR20240002856A - 체내 영상 처리 시스템 및 방법

Info

Publication number: KR20240002856A
Application number: KR1020220080965A
Authority: KR
Inventors: 송만석; 안명천
Original assignee: (주)메드브릿지
Priority date: 2022-06-30
Filing date: 2022-06-30
Publication date: 2024-01-08

Abstract

본 발명은 체내 영상 처리 시스템 및 방법에 관한 것으로, 하나의 예에 따라, 영상획득 유닛으로부터 획득되는 체내 수술부위 영상정보를 저장하는 메모리 유닛; 및 체내 수술부위의 영상을 분석하여 미스트 또는 연기에 의한 제1 가시성 저감, 암부에 의한 제2 가시성 저감 또는 제1 및 제2 가시성 저감이 일어나는 가시성 저감영역에 대한 영상처리를 수행하는 영상처리 유닛을 포함하고, 영상처리 유닛은 체내 수술부위의 영상 중 가시성 저감영역을 검출하는 영상분석 유닛 및 검출된 가시성 저감영역에 대한 영상을 보정하여 영상처리를 수행하는 영상보정 유닛을 포함하고, 영상분석 유닛은 체내 수술부위의 영상의 현재 프레임에서 예비영역을 정하고 현재 프레임의 예비영역과 예비영역에 대응되는 이전 프레임의 대응영역 간의 비교를 통한 특정계열색상 식별에 관련된 수치 변화를 기초로 현재 프레임에서의 가시성 저감영역을 검출하고, 영상보정 유닛은 검출된 가시성 저감영역에서 특정계열색상 식별을 위한 색 내지 색체의 요소 중의 적어도 일부를 보정하여 가시성 저감영역에 대한 영상을 보정하는 것을 특징으로 하는 체내 영상 처리 시스템이 제안된다. 또한, 체내 영상 처리 방법이 제안된다.

Description

체내 영상 처리 시스템 및 방법{SYSTEM AND METHOD FOR PROCESSING INNER BODY IMAGE}

본 발명은 체내 영상 처리 시스템 및 방법에 관한 것이다. 구체적으로는 미스트 또는 연기, 및/또는 암부에 의한 가시성 저감영역에 대한 분석 및 영상처리를 수행하여 가시성을 개선시키는 체내 영상 처리 시스템 및 방법에 관한 것이다.

의학 분야의 최근의 진보에 따라, 다양한 수술 및 진단 절차들이 최소 침습 기법 등을 사용하여 수행되고 있다. 이러한 최소 침습 기법 등은 내시경 또는 복강경 수술 기구들을 환자의 피부의 절개부를 통해 수술을 필요로 하는 체내(inner body)로 삽입하고 있다. 체내의 수술과정에서 수술을 보조하기 위한 정보를 제공할 수 있는 기술들이 많이 개발되고 있다. 특히 체내 수술부위의 영상을 획득하여 수술 정보를 제공하는 기술이 많이 개발되고 있다. 예컨대, 현재 많이 사용되고 있는 다빈치(da Vinci®) 수술시스템은 수술의사에게 체내 수술부위 영상을 제공함으로써 수술정보를 제공하고 있다. 통상 내시경 및/또는 복강경 도구들은 체내 영상들을 획득하기 위한 내장 카메라를 포함하고 있다.

이러한 체내 수술 또는 진단 절차들 동안, 미스트(mist)나 연기가 체내에 나타날 수 있다. 예를 들어, 내시경 또는 복강경 수술 기구의 사용에 의해 국소화된 열이 해부학적 영역에 가해질 때 체내 온도가 변하고, 이 온도 변화는 체내에 미스트(mist) 또는 연기가 형성되게 할 수 있다. 이러한 미스트 또는 연기는 의사 내지 시술자의 가시성(visibility)을 방해할 수 있다. 결과적으로, 미스트 또는 연기로 인해 내시경 카메라에 의해 포착되는 영상의 품질이 저하될 수 있다. 또한, 체내의 복잡한 구조로 인하여 체내 영상에 암부가 나타날 수 있고, 이러한 암부도 시술자의 가시성을 방해할 수 있다.

그러므로, 수술 또는 진단 절차들 동안 나타날 수 있는 이러한 미스트나 연기 및/또는 암부에 의한 가시성 저감영역의 검출 및 그에 대한 영상처리가 필요할 수 있다.

대한민국 공개특허공보 제10-2017-0104553호(2017. 9. 15. 공개)

본 발명은 전술한 문제를 해결하기 위한 것으로, 미스트 또는 연기, 및/또는 암부에 의한 가시성 저감영역에 대한 분석 및 영상처리를 수행하여 가시성을 개선시킬 수 있는 체내 영상 처리 시스템 및 방법을 제안하고자 한다.

전술한 문제를 해결하기 위하여, 본 발명의 하나의 모습에 따라, 영상획득 유닛으로부터 획득되는 체내 수술부위 영상정보를 저장하는 메모리 유닛; 및 체내 수술부위의 영상을 분석하여 미스트 또는 연기에 의한 제1 가시성 저감, 암부에 의한 제2 가시성 저감 또는 제1 및 제2 가시성 저감이 일어나는 가시성 저감영역에 대한 영상처리를 수행하는 영상처리 유닛을 포함하고, 영상처리 유닛은 체내 수술부위의 영상 중 가시성 저감영역을 검출하는 영상분석 유닛 및 검출된 가시성 저감영역에 대한 영상을 보정하여 영상처리를 수행하는 영상보정 유닛을 포함하고, 영상분석 유닛은 체내 수술부위의 영상의 현재 프레임에서 예비영역을 정하고 현재 프레임의 예비영역과 예비영역에 대응되는 이전 프레임의 대응영역 간의 비교를 통한 특정계열색상 식별에 관련된 수치 변화를 기초로 현재 프레임에서의 가시성 저감영역을 검출하고, 영상보정 유닛은 검출된 가시성 저감영역에서 특정계열색상 식별을 위한 색 내지 색체의 요소 중의 적어도 일부를 보정하여 가시성 저감영역에 대한 영상을 보정하는 것을 특징으로 하는 체내 영상 처리 시스템이 제안된다.

하나의 예에서, 영상분석 유닛은 현재 프레임에서 분석된 수술도구 첨단부위와 주변을 포함하는 수술도구 주변영역을 예비영역으로 설정하거나 이전 프레임에서 이미 설정되거나 검출된 예비영역 또는 가시성 저감영역에 대응되는 현재 프레임 상의 매칭영역을 기초로 현재 프레임에서 예비영역을 설정하고, 특정계열색상 식별에 관련된 수치 변화는 예비영역에서 특정색상 발현강도의 평균값 증가, 설정된 특정색상 발현강도 이상의 픽셀수 증가 및 설정된 특정색상 발현강도 이상의 픽셀 분포 변화 중 어느 하나 이상이고, 가시성 저감영역은 수치 변화를 야기하는 설정된 특정색상 발현강도 이상의 픽셀 영역을 포함하고, 영상보정 유닛은 특정색상 발현강도 이상의 픽셀 영역에서 특정계열색상 식별을 위한 색 내지 색채의 요소 중 적어도 일부를 보정하여 가시성을 개선시키되, 색 내지 색체의 요소 중 적어도 일부의 보정은 GRAY 변환모델에서의 명도값, HSV 모델 혹은 HSV 변환모델에서의 명도(V) 또는 YUV 모델 혹은 YUV 변환모델에서의 휘도(Y)의 향상 및 HSV 모델 혹은 HSV 변환모델에서의 채도(S)의 저감 중 적어도 하나 이상이 수행되도록 할 수 있다.

이때, 또 하나의 예에서, 제1 가시성 저감이 일어나는 제1 가시성 저감영역의 검출의 경우 수술도구 첨단부위에 의한 체내 접촉부위 및 주변을 포함하는 접촉주변 영역을 수술도구 주변영역으로 하고, 제2 가시성 저감이 일어나는 제2 가시성 저감영역의 검출의 경우 수술도구 첨단부위에 의한 체내 접촉부위 및 주변을 또는 수술도구 첨단부위의 체내 비접촉 경로부위 및 주변을 수술도구 주변영역으로 하고, 암부는 수술도구 주변영역에 포함되고, 수술도구 첨단부위에 의한 체내 접촉 여부는 현재 프레임에서 수술도구 첨단부위의 영역과 이전 프레임에서의 대응되는 영역 간에 색 요소 정보의 비교를 통해 검출되고, 현재 프레임의 예비영역과 이전 프레임의 대응영역 간의 비교는 현재 프레임과 직전 프레임 간 또는 현재 프레임과 설정간격 이전의 프레임 간의 현재 비교이고, 현재 비교를 통한 특정계열색상 식별에 관련된 수치 변화가 설정기준 이상인 경우 또는 이전 프레임에서 가시성 저감영역이 검출된 경우에, 영상분석 유닛은 현재 프레임의 예비영역 중 특정색상 발현강도 이상의 픽셀 영역을 포함하는 영역을 가시성 저감영역으로 검출하고, 설정기준 이상의 수치 변화는 특정색상 발현강도의 평균값 및 특정색상 발현강도 이상의 픽셀수 중 어느 하나 이상에서의 설정기준 이상의 증가일 수 있다.

또한, 이때 하나의 예에서, 특정계열색상 식별은 제1 가시성 저감을 일으키는 흰색계열색상의 식별 및 제2 가시성 저감을 일으키는 검정계열색상의 식별 중 어느 하나 이상이고, 특정계열색상 식별에 관련된 수치 변화가 흰색색상 발현강도의 평균값 증가, 설정된 흰색색상 발현강도 이상의 픽셀수 증가 및 설정된 흰색색상 발현강도 이상의 픽셀 분포 변화 중 어느 하나 이상인 경우 제1 가시성 저감영역은 예비영역에서 흰색색상 발현강도 이상의 픽셀 영역을 포함하고, 특정계열색상 식별에 관련된 수치 변화가 검정색상 발현강도의 평균값 증가, 설정된 검정색상 발현강도 이상의 픽셀수 증가 및 설정된 검정색상 발현강도 이상의 픽셀 분포 변화 중 어느 하나 이상인 경우 제2 가시성 저감영역은 예비영역에서 검정색상 발현강도 이상의 픽셀 영역을 포함하고, 평균값 증가, 픽셀수 증가 및 픽셀 분포 변화 중 어느 하나이상이 이루어지는 픽셀 그룹은 수술도구에 의한 체내 접촉부위의 적어도 일부 영역 및 암부의 영역 중 적어도 하나 이상의 영역의 픽셀들을 포함할 수 있다.

또한 하나의 예에서, 체내 영상 처리 시스템은, 가시성 저감영역에 대해 보정된 프레임 영상을 포함하는 개선된 수술부위 영상을 디스플레이하거나 개선된 수술부위 영상을 가시성 저감영역에 대한 보정이 수행되지 않은 프레임 영상을 포함하는 미개선 수술부위 영상과 함께 디스플레이하는 디스플레이 장치를 더 포함할 수 있다.

이때, 또 하나의 예에서, 영상처리 유닛은 영상보정 유닛에 의해 보정된 가시성 저감영역에 대한 마커를 생성하고, 가시성 저감영역에 대한 마커는 가시성 저감영역에 대한 테두리 마커, 영역표시 마커, 영역 지시마커 중 어느 하나이고, 디스플레이 장치에서 마커가 결합된 개선된 수술부위 영상이 디스플레이될 수 있다.

또 하나의 예에서, 영상처리 유닛은 머신러닝 기법을 통하여 가시성 저감영역의 검출을 최적화하거나 가시성 저감영역의 검출 및 가시성 저감영역에 대한 영상 보정을 최적화하고, 영상분석 유닛은 머신러닝 기법을 통하여, 예비영역을 정하고 수치 변화를 산출하고 가시성 저감영역을 검출할 수 있다.

다음으로, 전술한 문제를 해결하기 위하여, 본 발명의 또 하나의 모습에 따라, 영상획득 유닛으로부터 체내 수술부위의 영상을 수신하는 영상 수신단계; 체내 수술부위의 영상 중 미스트 또는 연기에 의한 제1 가시성 저감, 암부에 의한 제2 가시성 저감 또는 제1 및 제2 가시성 저감이 일어나는 가시성 저감영역을 검출하는 영상 분석단계; 및 검출된 가시성 저감영역에 대한 영상을 보정하여 영상처리를 수행하는 영상 보정단계를 포함하고, 영상 분석단계는, 체내 수술부위의 영상의 현재 프레임에서 예비영역을 정하는 예비영역 설정과정, 현재 프레임의 예비영역과 예비영역에 대응되는 이전 프레임의 대응영역 간의 비교를 통한 특정계열색상 식별에 관련된 수치 변화를 산출하는 수치변화 산출과정, 및 산출된 수치 변화를 기초로 현재 프레임에서의 가시성 저감영역을 검출하는 저감영역 검출과정을 포함하고, 영상 보정단계에서, 검출된 가시성 저감영역에서 특정계열색상 식별을 위한 색 내지 색체의 요소 중의 적어도 일부를 보정하여 가시성 저감영역에 대한 영상을 보정하는 것을 특징으로 하는 체내 영상 처리 방법이 제안된다.

하나의 예에서, 예비영역 설정과정에서, 현재 프레임에서 분석된 수술도구 첨단부위와 주변을 포함하는 수술도구 주변영역이 예비영역으로 설정되거나 이전 프레임에서 이미 설정되거나 검출된 예비영역 또는 가시성 저감영역에 대응되는 현재 프레임 상의 매칭영역을 기초로 현재 프레임에서 예비영역이 설정되고, 특정계열색상 식별에 관련된 수치 변화는 예비영역에서 특정색상 발현강도의 평균값 증가, 설정된 특정색상 발현강도 이상의 픽셀수 증가 및 설정된 특정색상 발현강도 이상의 픽셀 분포 변화 중 어느 하나 이상이고, 가시성 저감영역은 수치 변화를 야기하는 설정된 특정색상 발현강도 이상의 픽셀 영역을 포함하고, 영상 보정단계에서, 특정색상 발현강도 이상의 픽셀 영역에서 특정계열색상 식별을 위한 색 내지 색채의 요소 중 적어도 일부를 보정하여 가시성을 개선시키되, 색 내지 색체의 요소 중 적어도 일부의 보정은 GRAY 변환모델에서의 명도값, HSV 모델 혹은 HSV 변환모델에서의 명도(V) 또는 YUV 모델 혹은 YUV 변환모델에서의 휘도(Y)의 향상 및 HSV 모델 혹은 HSV 변환모델에서의 채도(S)의 저감 중 적어도 하나 이상이 수행되도록 할 수 있다.

이때, 또 하나의 예에서, 저감영역 검출과정에서 제1 가시성 저감이 일어나는 제1 가시성 저감영역의 검출이 수행되는 경우 예비영역 설정과정에서는 수술도구 첨단부위에 의한 체내 접촉부위 및 주변을 포함하는 접촉주변 영역을 수술도구 주변영역으로 하여 예비영역이 설정되고, 저감영역 검출과정에서 제2 가시성 저감이 일어나는 제2 가시성 저감영역의 검출이 수행되는 경우 예비영역 설정과정에서는 수술도구 첨단부위에 의한 체내 접촉부위 및 주변을 또는 수술도구 첨단부위의 체내 비접촉 경로부위 및 주변을 수술도구 주변영역으로 하여 예비영역이 설정되고, 이때, 암부는 수술도구 주변영역에 포함되고, 예비영역 설정과정에서, 현재 프레임에서 수술도구 첨단부위의 영역과 이전 프레임에서의 대응되는 영역 간에 색 요소 정보의 비교를 통해 수술도구 첨단부위에 의한 체내 접촉 여부가 검출되고, 체내 접촉 여부에 따라 예비영역이 설정되고, 수치변화 산출과정에서 현재 프레임의 예비영역과 이전 프레임의 대응영역 간의 비교는 현재 프레임과 직전 프레임 간 또는 현재 프레임과 설정간격 이전의 프레임 간의 현재 비교이고, 현재 비교를 통한 특정계열색상 식별에 관련된 수치 변화가 설정기준 이상인 경우 또는 이전 프레임에서 가시성 저감영역이 검출된 경우에, 저감영역 검출과정에서 현재 프레임의 예비영역 중 특정색상 발현강도 이상의 픽셀 영역을 포함하는 영역이 가시성 저감영역으로 검출되고, 설정기준 이상의 수치 변화는 특정색상 발현강도의 평균값 및 특정색상 발현강도 이상의 픽셀수 중 어느 하나 이상에서의 설정기준 이상의 증가일 수 있다.

또한 하나의 예에서, 체내 영상 처리 방법은, 가시성 저감영역에 대해 보정된 프레임 영상을 포함하는 개선된 수술부위 영상을 디스플레이하거나 개선된 수술부위 영상을 가시성 저감영역에 대한 보정이 수행되지 않은 프레임 영상을 포함하는 미개선 수술부위 영상과 함께 디스플레이하는 디스플레이 단계를 더 포함할 수 있다.

또 하나의 예에서, 영상 분석단계에서, 머신러닝 기법을 통하여, 예비영역이 설정되고 수치 변화가 산출되고 가시성 저감영역이 검출되고, 영상 보정단계에서, 머신러닝 기법을 통하여 가시성 저감영역에 대한 영상 보정이 최적화될 수 있다.

본 발명의 하나의 실시예에 따라, 미스트 또는 연기, 및/또는 암부에 의한 가시성 저감영역에 대한 분석 및 영상처리를 수행하여 가시성을 개선시킬 수 있다.

본 발명의 명세서에서 직접적으로 언급되지 않은 효과라도, 본 발명의 다양한 실시 예 및 변형 예들에 포함되는 구성 내지 다양한 구성들의 특징으로부터 당해 기술분야에서 통상의 지식을 지닌 자의 이해 범위 내에서 다양한 특징적 효과가 도출될 수 있음은 자명하다.

도 1은 본 발명의 하나의 실시예에 따른 체내 영상 처리 시스템을 개략적으로 나타내는 블럭도이다.
도 2는 본 발명의 또 하나의 실시예에 따른 체내 영상 처리 시스템을 개략적으로 나타내는 블럭도이다.
도 3은 본 발명의 또 하나의 실시예에 따른 체내 영상 처리 시스템을 개략적으로 나타내는 블럭도이다.
도 4는 본 발명의 또 하나의 실시예에 따른 체내 영상 처리 시스템을 개략적으로 나타내는 블럭도이다.
도 5는 본 발명의 하나의 실시예에 따른 체내 영상 처리 시스템에서 영상처리되는 현재 프레임의 픽셀들을 개략적으로 나타내고 있다.
도 6은 본 발명의 다른 하나의 실시예에 따른 체내 영상 처리 방법을 나타내는 흐름도이다.
도 7은 본 발명의 또 하나의 실시예에 따른 체내 영상 처리 방법을 나타내는 흐름도이다.
도 8은 본 발명의 또 하나의 실시예에 따른 체내 영상 처리 방법을 나타내는 흐름도이다.
도 9는 본 발명의 또 하나의 실시예에 따른 체내 영상 처리 방법의 일부 과정을 나타내는 흐름도이다.
도 10은 본 발명의 또 하나의 실시예에 따른 체내 영상 처리 방법을 나타내는 흐름도이다.
도 11은 본 발명의 또 하나의 실시예에 따른 체내 영상 처리 방법을 나타내는 흐름도이다.

전술한 과제를 달성하기 위한 본 발명의 실시예들이 첨부된 도면을 참조하여 설명될 것이다. 본 설명에 있어서, 동일부호는 동일한 구성을 의미하고, 당해 분야의 통상의 지식을 가진 자에게 본 발명의 이해를 도모하기 위하여 부차적인 설명은 생략될 수도 있다.

본 명세서에서 하나의 구성요소가 다른 구성요소와의 관계에서 연결 내지 결합 등의 결합관계 등을 형성하는 경우 '직접'이라는 한정이 없는 이상, '직접적인' 결합관계 등의 형태뿐만 아니라 그들 사이에 또 다른 구성요소가 관계됨으로써 매개체에 의한 결합관계 등의 형태로도 존재할 수 있다.

또한, 본 명세서에서 비록 단수로 표현된 구성일지라도, 발명의 개념에 반하거나 모순되게 해석되지 않는 이상 복수의 구성들 전체를 대표하는 개념으로 사용될 수 있다는 점에 유의하여야 한다.

게다가, 본 명세서에서 '포함하다' 등의 단어 및 그들로부터 파생된 용어의 기재는 본래의 요소 내지 요소들에 하나 또는 그 이상의 다른 구성요소의 부가, 조합 내지 결합의 가능성을 배제하지 않으며, 나아가, '구비하다', '구비되다' 등의 의미를 갖는 단어 및 그들로부터 파생된 용어의 기재도 본래의 요소 내지 요소들에 하나 또는 그 이상의 다른 구성요소의 부가, 조합 내지 결합에 의하여 본래의 요소 내지 요소들이 자신의 특징, 기능 및/또는 성질이 상실되지 않는 경우라면 그러한 하나 또는 그 이상의 다른 구성요소의 부가 내지 결합 가능성이 배제되지 않아야 한다.

본 명세서에서 '제1', '제2' 등은 각 구성들을 다른 구성과 구분하기 위한 것을 나타내고, 별도의 언급이 없는 한 시계열적인 개념으로 한정해석되지 않아야 한다.

[체내 영상 처리 시스템]

먼저, 본 발명의 하나의 모습에 따른 체내 영상 처리 시스템를 도면을 참조하여 구체적으로 살펴본다. 이때, 참조되는 도면에 기재되지 않은 도면부호는 동일한 구성을 나타내는 다른 도면에서의 도면부호일 수 있다. 이때, 각 도면에 개시된 구성들은 실시예의 변형에 따라 일부 생략되거나 변형되어 실시될 수 있음에 유의해야 한다.

도 1은 본 발명의 하나의 실시예에 따른 체내 영상 처리 시스템을 개략적으로 나타내는 블럭도이고, 도 2는 본 발명의 또 하나의 실시예에 따른 체내 영상 처리 시스템을 개략적으로 나타내는 블럭도이고, 도 3은 본 발명의 또 하나의 실시예에 따른 체내 영상 처리 시스템을 개략적으로 나타내는 블럭도이고, 도 4는 본 발명의 또 하나의 실시예에 따른 체내 영상 처리 시스템을 개략적으로 나타내는 블럭도이다. 도 5는 본 발명의 하나의 실시예에 따른 체내 영상 처리 시스템에서 영상처리되는 현재 프레임의 픽셀들을 개략적으로 나타내고 있다.

도 1 내지 4를 참조하면, 하나의 예에 따른 체내 영상 처리 시스템(1)은 메모리 유닛(50) 및 영상처리 유닛(30)을 포함하여 이루어진다. 예컨대, 도 3 및 4를 참조하면, 하나의 예에 따른 체내 영상 처리 시스템(1)은 디스플레이 유닛(70)을 더 포함할 수 있다. 예컨대, 하나의 예에 따른 체내 영상 처리 시스템(1)은 하나의 컴퓨터에 다수 구성이 네트워크로 연결된 하나의 컴퓨터 시스템이거나 다수의 컴퓨터가 네트워크 연결된 컴퓨터 그룹일 수 있고, 이에 한정되지 않는다.

이때, 메모리 유닛(50)은 영상획득 유닛(10)으로부터 획득되는 체내 수술부위 영상정보를 저장한다. 영상처리 유닛(30)은 체내 수술부위의 영상을 분석하여 미스트 또는 연기에 의한 제1 가시성 저감, 암부에 의한 제2 가시성 저감 또는 제1 및 제2 가시성 저감이 일어나는 가시성 저감영역에 대한 영상처리를 수행한다.

각 구성들을 도면을 참조하여 보다 구체적으로 살펴본다.

먼저 도 1 내지 4를 참조하면, 메모리 유닛(50)은 영상획득 유닛(10)으로부터 획득되는 체내 수술부위 영상정보를 저장한다. 이때, 영상획득 유닛(10)은 도 1 및 2에 도시된 바와 같이 본 발명의 하나의 예에 따른 체내 영상 처리 시스템(1)의 구성에 포함되지 않거나 또는 도 3 및 4에 도시된 바와 같이 하나의 예에 따른 체내 영상 처리 시스템(1)의 하나의 구성요소가 될 수 있다. 영상획득 유닛(10)은 카메라일 수 있고, 예컨대 내시경 카메라, 복강경 카메라, 캡슐 내시경 등일 수 있고 이에 한정되지 않는다. 예컨대, 영상획득 유닛(10)은 유선 또는 무선 네트워크를 통해 체내 영상 처리 시스템(1)과 연결되거나 시스템의 프로세서 유닛(20) 또는 영상처리 유닛(30) 등의 구성과 연결될 수 있다.

예컨대, 도 2 및 4에 도시된 바와 같이 별도 구비된 프로세서 유닛(20)이 메모리 유닛(50)을 제어하는 경우, 메모리 유닛(50)은 프로세서 유닛(20)의 제어에 따라 영상획득 유닛(10)으로부터 획득되는 체내 수술부위 영상정보를 저장할 수 있다. 또는 도 1 및 3에 도시된 바와 같이 영상처리 유닛(30)이 메모리 유닛(50)의 제어를 겸하는 프로세서인 경우 영상처리 유닛(30)의 제어에 따라 영상획득 유닛(10)으로부터 획득되는 체내 수술부위 영상정보를 저장할 수 있다. 메모리 유닛(50)에 저장된 영상획득 유닛(10)으로부터 획득되는 체내 수술부위 영상정보는 도 2 및 4에 도시된 별도 프로세서 유닛(20) 또는 도 1 및 3에 도시된 영상처리 유닛(30)을 구성하는 프로세서에 의해 읽어들여질 수 있다.

예컨대, 메모리 유닛(50)은 영상획득 유닛(10)으로부터 획득되는 체내 수술부위 영상정보를 저장하는 메모리 외에 프로세서에 의해 실행되는 머신 코드 및/또는 컴퓨터 프로그램을 저장하는 별도 메모리를 포함할 수 있다. 또는 다른 예에서, 메모리 유닛(50)은 하나의 메모리 내에 영상획득 유닛(10)으로부터 획득되는 체내 수술부위 영상정보 및 프로세서에 의해 실행되는 머신 코드 및/또는 컴퓨터 프로그램을 저장할 수도 있다. 예컨대, 영상획득 유닛(10)으로부터 획득되는 체내 수술부위 영상정보를 저장하는 메모리 유닛(50)의 메모리는 적어도 하나 이상으로 구비될 수 있다. 예컨대, 메모리 유닛(50)은 영상획득 유닛(10)으로부터 획득되는 체내 수술부위 영상정보를 저장하는 공간과 영상처리 유닛(30)에서 처리된 영상을 저장하는 공간이 구분되며 하나의 메모리 내에 또는 각각의 별도 메모리에 저장될 수 있다.

예컨대, 하나의 예에서, 메모리 유닛(50)은 영상 DB를 포함할 수 있다. 도 4를 참조하면 다른 예에서, 영상 DB(500)는 메모리 유닛(50)과 별도로 시스템 외부에 구비되며 본 발명의 하나의 예에 따른 시스템과 유선 또는 무선 네트워크를 통해 연결될 수 있다. 예컨대, 도 3의 외부 영상 DB(500)에 영상획득 유닛(10)으로부터 획득되는 체내 수술부위 영상정보 및 영상처리 유닛(30)에서 처리된 영상정보가 네트워크 통신을 통해 전송되어 저장될 수 있다.

다음으로, 도 1 내지 4를 참조하면, 영상처리 유닛(30)은 체내 수술부위의 영상을 분석하여 미스트 또는 연기에 의한 제1 가시성 저감, 암부에 의한 제2 가시성 저감 또는 제1 및 제2 가시성 저감이 일어나는 가시성 저감영역에 대한 영상처리를 수행한다. 예컨대, 영상처리 유닛(30)은 시스템을 구성하는 영상처리서버일 수 있다. 이때, 영상처리서버는 하나 이상의 프로세서를 포함할 수 있다. 이때, 프로세서는 메모리에 저장된 명령어 세트를 실행하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스 및/또는 코드를 포함할 수 있다. 다른 예에서, 영상처리 유닛(30)은 하나의 프로세서 또는 프로세서 군일 수 있다. 이때, 하나의 프로세서 또는 프로세서 군에 포함된 프로세서는 메모리, 예컨대 메모리 유닛(50)에 저장된 명령어 세트를 실행하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스 및/또는 코드를 포함할 수 있다. 예컨대, 도 1 및 3에서 영상처리 유닛(30)은 메모리 유닛(50)을 제어하는 기능을 통합하고 있는 프로세서이거나 그러한 프로세서를 구비한 서버일 수 있고, 도 2 및 4에서 영상처리 유닛(30)은 영상처리 기능을 수행하는 별도 프로세서이거나 그러한 프로세서를 구비한 서버일 수 있다. 예컨대, 영상처리 유닛(30)은 별도 메모리에 저장된 프로그램 코드가 프로세서에 의해 실행됨으로써 영상을 처리할 수 있고, 이 경우 그 프로세서는 프로그램 코드와 함게 영상처리 유닛(30)을 구성할 수 있다. 또는 영상처리 유닛(30)은 자체에 메모리를 구비하여 자체 메모리에 저장된 프로그램 코드를 실행함으로써 영상을 처리할 수 있다.

도 1 내지 4를 참조하면, 영상처리 유닛(30)은 서브 유닛으로 영상분석 유닛(31) 및 영상보정 유닛(33)을 포함한다. 예컨대, 도 3을 참조하면 하나의 예에서 영상처리 유닛(30)은 서브유닛으로 마커처리 유닛(35)을 더 포함할 수 있다. 예컨대, 영상분석 유닛(31) 및 영상보정 유닛(33)은 하나의 프로세서에 함께 구성되거나 또는 별개의 프로세서로 각각 구성될 수 있다. 마커처리 유닛(35)도 마찬가지이다.

영상분석 유닛(31)은 체내 수술부위의 영상 중 가시성 저감영역(100b)을 검출한다. 가시성 저감영역(100b)이라 함은 영상 영역 중 가시성이 떨어지는 영역을 말한다. 예컨대, 체내 수술의 경우 수술 시 발생되는 미스트(mist) 또는 연기에 의해 영상이 블러링(blurring)되면서 가시성이 떨어지거나 또는 체내 영상 영역에서 암부(어두운 곳)가 생성되며 가시성이 떨어지는 경우 등이 있다.

예컨대, 영상분석 유닛(31)은 가시성 저감영역을 검출하기 위해 영상 프레임들을 분석하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스 및/또는 코드를 포함할 수 있다.

도 5를 참조하면, 이때, 영상분석 유닛(31)은 체내 수술부위의 영상의 현재 프레임(F)에서 예비영역(100c)을 정하고 현재 프레임(F)의 예비영역(100c)과 예비영역에 대응되는 이전 프레임의 대응영역 간의 비교를 통한 특정계열색상 식별에 관련된 수치 변화를 기초로 현재 프레임(F)에서의 가시성 저감영역(100b)을 검출할 수 있다.

하나의 예에서, 영상분석 유닛(31)은 가시성 저감영역(100b)의 검출에 앞서 가시성 저감영역(100b)을 검출하기 위한 예비영역(100c)을 설정할 수 있다. 예컨대, 영상분석 유닛(31)은 현재 프레임(F)에서 분석된 수술도구 첨단부위와 주변을 포함하는 수술도구 주변영역을 예비영역(100c)으로 설정하거나 이전 프레임에서 이미 설정되거나 검출된 예비영역 또는 가시성 저감영역에 대응되는 현재 프레임 상의 매칭영역을 기초로 현재 프레임(F)에서 예비영역(100c)을 설정할 수 있다. 예컨대, 본 실시예에서 프레임 전체영역이 아닌 예비영역(100c) 내에서 가시성 저감영역(100b)을 설정하도록 함으로써 영상처리 효율성을 높일 수 있다. 예컨대, 영상분석 유닛(31)은 머신러닝 기법을 활용하여 예비영역 설정을 최적화함으로써 영상처리 효율성을 높일 수 있다. 이때, 수술도구는 수술 절개기구, 수술집게, 내시경 카테터 등일 수 있고 이에 한정되지 않는다.

예컨대 하나의 예에서, 영상분석 유닛(31)에서의 예비영역 설정에 있어서, 제1 가시성 저감이 일어나는 제1 가시성 저감영역의 검출의 경우 수술도구 첨단부위에 의한 체내 접촉부위 및 주변을 포함하는 접촉주변 영역을 수술도구 주변영역으로 하고, 제2 가시성 저감이 일어나는 제2 가시성 저감영역의 검출의 경우 수술도구 첨단부위에 의한 체내 접촉부위 및 주변을 또는 수술도구 첨단부위의 체내 비접촉 경로부위 및 주변을 수술도구 주변영역으로 할 수 있다. 이때, 수술도구 주변영역을 예비영역으로 설정할 수 있다. 예컨대, 암부는 수술도구 주변영역에 포함된다.

이때, 수술도구 첨단부위에 의한 체내 접촉 여부는 현재 프레임에서 수술도구 첨단부위의 영역과 이전 프레임에서의 대응되는 영역 간에 색 요소 정보의 비교를 통해 검출될 수 있다.

예컨대 하나의 예에서, 특정계열색상 식별에 관련된 수치 변화는 예비영역에서 특정색상 발현강도의 평균값 증가, 설정된 특정색상 발현강도 이상의 픽셀수 증가 및 설정된 특정색상 발현강도 이상의 픽셀 분포 변화 중 어느 하나 이상일 수 있다. 특정색상 발현강도는 특정색상 자체에 까까운 정도를 나타내는 것으로 예컨대, 특정색상 발현강도 범위를 0~255라고 하는 경우 0은 특정색상과 가장 먼 것을 의미하고 255는 특정색상 자체를 의미할 수 있다. 예컨대, RGB 모델에서 색상값 범위를 0~255라고 하는 경우 순수 흰색은 255이고 검정은 0으로 볼 수 있고, 이때, 흰색의 발현강도는 색상값이 높을 수록 발현강도가 높게되는 반면에 검정의 발현강도는 색상값이 낮을 수록 높게된다. 그러므로, 특정색상 발현강도는 예컨대 RGB모델의 색상값 자체에 비례하거나 또는 색상값의 역에 비례할 수 있다. 예컨대, 흰색의 발현강도는 RGB 모델의 경우 색상값이 높을수록, HSV 모델의 경우 명도(V)값이 높을수록, YUV 모델의 경우 휘도(Y)값이 높을수록 높은 반면, 검정의 발현강도는 RGB 모델의 경우 색상값이 낮을수록, HSV 모델의 경우 명도(V)값이 낮을수록, YUV 모델의 경우 휘도(Y)값이 낮을수록 높다. 이에 따라, 특정색상 발현강도의 평균값의 증가는 흰색의 경우 RGB모델의 색상값, HSV모델의 명도값 또는 YUV모델의 휘도(Y)값이 높을수록 발현강도 평균값 또한 증가하는 반면, 검정의 경우 RGB모델의 색상값, HSV모델의 명도값 또는 YUV모델의 휘도(Y)값이 낮수록 발현강도 평균값이 반비례하며 증가할 수 있다. 예컨대, 검정 색상의 경우 특정색상 발현강도 평균값은 RGB모델의 색상값, HSV모델의 명도값 또는 YUV모델의 휘도(Y)값에 반비례하는 값일 수 있다. 예컨대, 특정색상이 미스트 또는 연기에 의한 흰색계통 또는 흰색인 경우 예비영역 내에서 예컨대 RGB모델의 색상값, HSV모델의 명도값 또는 YUV모델의 휘도(Y)값이 높을수록 발현강도 평균값 또한 증가하며 미스트 또는 연기에 의한 가시성 저감이 증대되고, 특정색상이 암부에 의한 검정계통 또는 검정인 경우 예컨대 RGB모델의 색상값, HSV모델의 명도값 또는 YUV모델의 휘도(Y)값이 낮을수록 발현강도 평균값이 반대로 증가하며 암부에 의한 가시성 저감이 증대됨을 알 수 있다.

게다가, 설정된 특정색상 발현강도 이상의 픽셀수는 특정색상 발현강도 값이 설정이상인 픽셀수로 특정색상에 설정이상 가까운 색상을 나타내는 픽셀들의 수를 나타낸다. 이때, 설정된 특정색상 발현강도 이상의 픽셀수의 증가는 설정이상으로 특정색상에 가까운 색상의 픽셀의 수가 증가됨으로 나타내고, 예컨대 특정색상이 미스트 또는 연기에 의한 흰색계통 또는 흰색인 경우 설정범위 이상의 예컨대 RGB모델의 색상값, HSV모델의 명도값 또는 YUV모델의 휘도(Y)값을 갖는 픽셀의 수가 증대되므로 미스트 또는 연기에 의한 가시성 저감영역이 확대되고 있음을 의미한다. 또한, 특정색상이 암부를 나타내는 검정인 경우 예컨대 RGB모델의 색상값, HSV모델의 명도값 또는 YUV모델의 휘도(Y)값이 설정범위 이하로 내려갈수록 특정색상 밞현강도 값이 설정범위 이상으로 증가하는 것이므로, 예컨대 RGB모델의 색상값, HSV모델의 명도값 또는 YUV모델의 휘도(Y)값이 설정범위 이하의 픽셀수가 증가할 수록 암부에 의한 가시성 저감영역이 확대됨을 알 수 있다.

또한, 설정된 특정색상 발현강도 이상의 픽셀 분포 변화는 설정된 특정색상 발현강도 이상인 픽셀의 예비영역 내에서의 분포 변화로서, 분포 변화 중 분포 픽셀 수의 확대는 설정된 특정색상 발현강도 이상의 픽셀수의 증가와 동일해지고 분포 픽셀에서의 발현강도 값의 증가 또한 설정된 특정색상 발현강도 평균값의 증가와 동일해지므로, 결국, 설정된 특정색상 발현강도 이상인 픽셀 분포 변화는 동일 평균값 및 동일 픽셀수의 경우의 저감영역의 이동을 나타내고 설정된 특정색상 발현강도 평균값이 작아지거나 특정색상 발현강도 이상의 픽셀수가 감소하는 경우 저감영역이 줄어들거나 저감 정도가 해소되는 것을 나타낼 수 있다.

한편, 영상분석 유닛(31)은 현재 프레임(F)의 예비영역(100c)과 예비영역에 대응되는 이전 프레임의 대응영역 간의 비교를 통한 특정계열색상 식별에 관련된 수치 변화를 기초로 현재 프레임(F)에서의 가시성 저감영역(100b)을 검출할 수 있다.

예컨대 하나의 예에서, 영상분석 유닛(31)에 의해 검출되는 가시성 저감영역은 특정계열색상 식별에 관련된 수치 변화를 야기하는 설정된 특정색상 발현강도 이상의 픽셀 영역을 포함할 수 있다. 예컨대, 가시성 저감영역은 설정된 특정색상 발현강도 이상의 픽셀들의 영역과 동일하거나 또는 설정된 특정색상 발현강도를 기준으로하는 이에 조금 못미치는 영역까지를 포함할 수도 있다. 또는, 실시예에 따라, 영상보정 유닛(33)에서 보정될 가시성 저감영역을 단순화하기 위해 설정된 특정색상 발현강도 이상의 픽셀들의 영역을 포함하는 예컨대 단순 직각사각형의 범위를 영상보정 대상이 되는 가시성 저감영역으로 설정할 수도 있다.

가시성 저감영역(100b)은 예비영역(100c) 내에서 설정되므로 예비영역(100c)보다 작거나 같을 수 있다. 예컨대, 도 5를 참조하면, 도면부호 F는 현재 프레임을 의미하고, 도면부호 P는 픽셀을 나타내고, 도면부호 100a는 하나의 예에서의 수술도구 첨단부위에 의한 체내 접촉부위 영역을 나타내고, 도면부호 100c는 체내 접촉부위 영역을 포함하는 예비영역을 나타내고, 도면부호 100b는 설정된 특정색상 발현강도 이상의 픽셀들의 영역으로서 가시성 저감영역을 나타낸다. 이때, 가시성 저감영역(100b)은 예비영역(100c) 범위 내이며, 도 5에서 도시된 바와 같이 가시성 저감영역(100b)은 체내 접촉부위 영역(100a)의 일부를 포함하거나 또는 도시되지 않았으나 체내 접촉부위 영역의 전부를 포함하거나 또는 체내 접촉부위 영역은 전혀 포함하지 않을 수도 있다.

하나의 예에서, 특정계열색상 식별은 제1 가시성 저감을 일으키는 흰색계열색상의 식별 및 제2 가시성 저감을 일으키는 검정계열색상의 식별 중 어느 하나 이상일 수 있다. 이때, 특정계열색상 식별에 관련된 수치 변화가 흰색색상 발현강도의 평균값 증가, 설정된 흰색색상 발현강도 이상의 픽셀수 증가 및 설정된 흰색색상 발현강도 이상의 픽셀 분포 변화 중 어느 하나 이상인 경우 제1 가시성 저감영역은 예비영역에서 흰색색상 발현강도 이상의 픽셀 영역을 포함할 수 있다. 또한 특정계열색상 식별에 관련된 수치 변화가 검정색상 발현강도의 평균값 증가, 설정된 검정색상 발현강도 이상의 픽셀수 증가 및 설정된 검정색상 발현강도 이상의 픽셀 분포 변화 중 어느 하나 이상인 경우 제2 가시성 저감영역은 예비영역에서 검정색상 발현강도 이상의 픽셀 영역을 포함할 수 있다.

예컨대, 평균값 증가, 픽셀수 증가 및 픽셀 분포 변화 중 어느 하나이상이 이루어지는 픽셀 그룹은 수술도구에 의한 체내 접촉부위의 적어도 일부 영역 및 암부의 영역 중 적어도 하나 이상의 영역의 픽셀들을 포함할 수 있다.

예컨대 하나의 예에서, 영상분석 유닛(31)에 의한 현재 프레임의 예비영역과 이전 프레임의 대응영역 간의 비교는 현재 프레임과 직전 프레임 간 또는 현재 프레임과 설정간격 이전의 프레임 간의 현재 비교일 수 있다. 예컨대 이때, 현재 비교를 통한 특정계열색상 식별에 관련된 수치 변화가 설정기준 이상인 경우 또는 이전 프레임에서 가시성 저감영역이 검출된 경우에, 영상분석 유닛(31)은 현재 프레임의 예비영역 중 특정색상 발현강도 이상의 픽셀 영역을 포함하는 영역을 가시성 저감영역으로 검출할 수 있다.

예컨대, 설정기준 이상의 특정색상 발현강도의 수치 변화는 특정색상 발현강도의 평균값 및 특정색상 발현강도 이상의 픽셀수 중 어느 하나 이상에서의 설정기준 이상의 증가일 수 있다.

다음으로, 영상보정 유닛(33)을 살펴보면, 영상보정 유닛(33)은 영상분석 유닛(31)에서 검출된 가시성 저감영역에 대한 영상을 보정하여 영상처리를 수행한다.

예컨대, 영상보정 유닛(33)은 가시성 저감영역에 대한 영상을 보정하기 위해 영상 프레임의 픽셀 값들을 보정하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스 및/또는 코드를 포함할 수 있다.

이때, 영상보정 유닛(33)은 검출된 가시성 저감영역에서 특정계열색상 식별을 위한 색 내지 색체의 요소 중의 적어도 일부를 보정하여 가시성 저감영역에 대한 영상을 보정할 수 있다.

예컨대 하나의 예에서, 영상보정 유닛(33)은 특정색상 발현강도 이상의 픽셀 영역에서 특정계열색상 식별을 위한 색 내지 색채의 요소 중 적어도 일부를 보정하여 가시성을 개선시킬 수 있다. 예컨대 이때, 색 내지 색체의 요소 중 적어도 일부의 보정은 GRAY 변환모델에서의 명도값, HSV 모델 혹은 HSV 변환모델에서의 명도(V) 또는 YUV 모델 혹은 YUV 변환모델에서의 휘도(Y)의 향상 및 HSV 모델 혹은 HSV 변환모델에서의 채도(S)의 저감 중 적어도 하나 이상이 수행되도록 할 수 있다. 예컨대, 미스트 또는 연기에 의한 가시성 저감의 경우에 특정색상은 흰색계통 또는 흰색일 수 있고, 이때 GRAY 변환모델에서의 명도값, HSV 모델 혹은 HSV 변환모델에서의 명도(V) 또는 YUV 모델 혹은 YUV 변환모델에서의 휘도(Y)의 향상은 예컨대 RGB 모델의 색상값, HSV 모델의 명도(V)값, YUV 모델의 휘도(Y)값을 예컨대 필터 등을 이용하여 증대시킴으로써 수행될 수 있고, HSV 모델 또는 HSV 변환모델에서의 채도(S)의 저감은 HSV 모델에서의 채도(S)값을 필터 등을 통해 저감시킴으로써 수행될 수 있다. 예컨대, 암부에 의한 가시성 저감의 경우 특정색상은 검정계통 내지 검정일 수 있고, 이때 GRAY 변환모델에서의 명도값, HSV 모델 혹은 HSV 변환모델에서의 명도(V) 또는 YUV 모델 혹은 YUV 변환모델에서의 휘도(Y)의 향상은 예컨대 HSV 모델의 명도(V)값, YUV 모델의 휘도(Y)값을 예컨대 필터 등을 이용하여 증대시키거나 RGB 모델의 색상값을 예컨대 필터 등을 이용하여 감소시킴으로써 수행될 수 있고, HSV 모델 또는 HSV 변환모델에서의 채도(S)의 저감은 HSV 모델에서의 채도(S)값을 필터 등을 통해 저감시킴으로써 수행될 수 있다.

또 하나의 예에서, 영상처리 유닛(30)은 머신러닝 기법을 통하여 가시성 저감영역의 검출을 최적화하거나 가시성 저감영역의 검출 및 가시성 저감영역에 대한 영상 보정을 최적화할 수 있다. 머신러닝은 인공지능의 한 분야로서, 명시적인 프로그램 없이 학습하는 기술을 말한다. 머신러닝은 학습을 하기 위한 알고리즘을 이용하여 데이터를 분석하고 분석을 한 것을 기반으로 학습을 한 이후 그 학습한 내용을 바탕으로 예측을 진행하게 된다. 본 발명의 하나의 실시예에서는 기존에 공개되거나 널리 알려진 머신러닝 기법을 이용할 수 있다. 이에 따라, 머신러닝에 대한 구체적인 설명은 생략될 것이다.

머신러닝은 정확한 판단을 내리기 위해 수많은 데이터들을 통해 스스로 학습하는 것으로써, 영상처리 유닛(30), 예컨대 영상분석 유닛(31)은 머신러닝 기법을 통하여 가시성 저감영역의 검출을 최적화할 수 있다. 예컨대 영상분석 유닛(31)은 머신러닝 기법을 통하여, 예비영역을 정하고 수치 변화를 산출하고 가시성 저감영역을 검출할 수 있다.

예컨대, 머신러닝에 의한 가시성 저감영역의 검출은 머신러닝 기법을 이용하여 예비영역을 설정함으로써 예비영역 설정을 최적화할 수 있다. 예컨대, 머신러닝 기법을 이용하여 가시성 저감영역의 확대여부에 따라 이전 프레임과 현재 프레임에서 설정되는 예비영역을 변화시키며 최적의 예비영역을 설정할 수 있다. 예컨대, 머신러닝 학습을 통해, 가시성 저감영역이 점차 확대되는 경우 분석 프레임별로 점차 예비영역을 확대시키며 예비영역 설정을 최적화시킬 수 있다. 또는 머신러닝 학습을 통해, 가시성 저감영역이 점차 축소되는 경우 분석 프레임별로 점차 예비영역을 축소시키며 예비영역 설정을 최적화시킬 수 있다. 이에 따라, 머신러닝 학습을 통해 최적화된 예비영역 설정이 가능해질 수 있다. 예비영역 설정을 최적화함으로써 영상분석 효율을 향상시킬 수 있다.

게다가, 최적화된 예비영역을 이용하여 머신러닝을 통해 특정계열색상 식별에 관련된 수치변화를 최적으로 산출할 수 있다. 예컨대, 머신러닝 학습을 통해 특정계열색상 식별에 관한 요소들 중 중요하거나 영향력이 큰 요소를 설정할 수 있고, 설정된 요소에 기반하여 가시성 저감영역의 검출에 필요한 최적화된 수치변화를 산출할 수 있다.

게다가, 머신러닝을 통해 가시성 저감영역 검출에서 판단기준으로 이용되는 특정색상 발현강도의 발현강도 기준을 최적으로 산출할 수 있다. 머신러닝을 통해 특정색상 발현강도의 기준치를 최적으로 설정함으로써 가시성 저감영역의 검출을 최적화할 수 있다. 즉, 이러한 머신러닝 기법을 이용하여 가시성 저감영역의 검출을 최적화할 수 있다.

예컨대, 영상처리 유닛(30)에서 머신러닝 기법을 이용하는 경우 도 3에 도시된 바와 같이 시스템 외부에 네트워크 연결된 영상 DB(500)에 저장된 데이터를 이용하여 학습하고 이를 기반으로 가시성 저감영역의 검출을 최적화할 수 있다. 예컨대 영상분석 유닛(31)은 머신러닝 기법을 통하여, 예비영역을 정하고 수치 변화를 산출하고 가시성 저감영역을 검출할 수 있다.

예컨대 도 3을 참조하면, 또 하나의 예에서, 영상처리 유닛(30)은 영상보정 유닛(33)에 의해 보정된 가시성 저감영역에 대한 마커를 생성할 수 있다. 예컨대, 도 3의 도시와 같이 영상처리 유닛(30)은 서브 유닛으로 마커처리 유닛(35)을 구비할 수 있다. 이때, 마커처리 유닛(35)은 영상보정 유닛(33)에 의해 보정된 가시성 저감영역에 대한 마커를 생성할 수 있다.

예컨대, 가시성 저감영역에 대한 마커는 가시성 저감영역에 대한 테두리 마커, 영역표시 마커, 영역 지시마커 중 어느 하나일 수 있다.

예컨대, 마커처리 유닛(35)은 생성된 마커를 영상보정 유닛(33)에 의해 가시성 저감영역이 보정된 영상에 결합시킬 수 있다. 이에 따라, 디스플레이 장치에서 마커가 결합된 영상이 디스플레이될 수 있다.

도 3 및 4를 참조하여 또 하나의 예를 살펴본다.

하나의 예에 따른 체내 영상 처리 시스템(1)은 디스플레이 유닛(70)을 더 포함할 수 있다. 도 1 및 2에서는 디스플레이 유닛(70)이 체내 영상 처리 시스템(1)의 외부에 구성되고, 도 3 및 4에서는 디스플레이 유닛(70)이 시스템의 하나의 구성요소로 동작하는 것을 나타내고 있다.

이때, 디스플레이 유닛(70)은 가시성 저감영역에 대해 보정된 프레임 영상을 포함하는 개선된 수술부위 영상을 디스플레이하거나 개선된 수술부위 영상을 가시성 저감영역에 대한 보정이 수행되지 않은 프레임 영상을 포함하는 미개선 수술부위 영상과 함께 디스플레이할 수 있다.

예컨대 하나의 예에서, 영상처리 유닛(30)에서 보정된 가시성 저감영역에 대한 마커를 생성하는 경우, 디스플레이 유닛(70)에서 마커가 결합된 개선된 수술부위 영상이 디스플레이될 수 있다. 예컨대, 도 3을 참조하면, 영상처리 유닛(30)의 마커처리 유닛(35)에서 마커를 생성하고 생성된 마커를 가시성 저감영역 보정 영상에 결합시킴으로써 디스플레이 유닛(70)에서 마커가 결합된 개선된 수술부위 영상이 디스플레이될 수 있다.

[체내 영상 처리 방법]

다음으로 본 발명의 또 하나의 모습에 따라, 체내 영상 처리 방법의 실시예들을 도면을 참조하여 구체적으로 살펴본다. 이때, 전술한 발명의 실시예에 따른 체내 영상 처리 시스템들 및 도 1 ~ 5가 참조될 수 있다. 또한, 이때 전술한 발명의 실시예에서 설명된 것과 중복되는 설명들은 생략될 수 있음에 유의해야 한다. 따라서 당해분야의 통상의 기술자로서는 아래에서 직접 설명되지 않은 사항들도 앞서 설명된 사항들로부터 충분히 이해될 수 있을 것이다.

도 6은 본 발명의 다른 하나의 실시예에 따른 체내 영상 처리 방법을 나타내는 흐름도이고, 도 7은 본 발명의 또 하나의 실시예에 따른 체내 영상 처리 방법을 나타내는 흐름도이고, 도 8은 본 발명의 또 하나의 실시예에 따른 체내 영상 처리 방법을 나타내는 흐름도이고, 도 9는 본 발명의 또 하나의 실시예에 따른 체내 영상 처리 방법의 일부 과정을 나타내는 흐름도이고, 도 10은 본 발명의 또 하나의 실시예에 따른 체내 영상 처리 방법을 나타내는 흐름도이고, 도 11은 본 발명의 또 하나의 실시예에 따른 체내 영상 처리 방법을 나타내는 흐름도이다.

도 6 내지 11을 참조하여, 다양한 실시예에 따른 체내 영상 처리 방법을 살펴본다.

이때, 하나의 예에 따른 체내 영상 처리 방법은 영상 수신단계(S100), 영상 분석단계(S300, S300', S300") 및 영상 보정단계(S500, S500', S500")를 포함할 수 있다. 예컨대, 도 10을 참조하면, 하나의 예에 따른 체내 영상 처리 방법은 디스플레이 단계(S700)를 더 포함할 수 있다.

이때, 영상 수신단계(S100)에서는, 영상획득 유닛(10)으로부터 체내 수술부위의 영상을 수신한다. 예컨대, 도 1 내지 4를 참조하면, 영상처리 유닛(30)에서, 영상획득 유닛(10)으로부터 체내 수술부위의 영상을 수신한다. 예컨대 이때, 도 1 및 3에 도시된 바를 참조하면 영상처리 유닛(30)이 메모리 유닛(50)의 제어를 통합하여 수행하는 경우 영상처리 유닛(30)은 영상획득 유닛(10)으로부터 체내 수술부위 영상을 바로 수신할 수 있고, 예컨대 도 2 및 4에 도시된 바와 같이 메모리 유닛(50)의 제어를 담당하는 별도의 프로세서 유닛(20)이 구비되는 경우 영상처리 유닛(30)은 프로세서 유닛(20)을 통해 영상획득 유닛(10)으로부터 체내 수술부위 영상을 바로 수신할 수 있고, 이에 한정되지 않는다.

다음으로, 도 6 내지 11을 참조하여, 영상 분석단계(S300, S300', S300")를 살펴본다.

영상 분석단계(S300, S300', S300")에서는 체내 수술부위의 영상 중 미스트 또는 연기에 의한 제1 가시성 저감, 암부에 의한 제2 가시성 저감 또는 제1 및 제2 가시성 저감이 일어나는 가시성 저감영역을 검출한다. 예컨대 도 1 내지 4를 참조하면, 영상처리 유닛(30)에서, 예컨대 영상분석 유닛(31)에서 체내 수술부위의 영상 중 미스트 또는 연기에 의한 제1 가시성 저감, 암부에 의한 제2 가시성 저감 또는 제1 및 제2 가시성 저감이 일어나는 가시성 저감영역을 검출할 수 있다.

예컨대 도 7 내지 11을 참조하면, 하나의 예에서, 영상 분석단계(S300, S300', S300")는 예비영역 설정과정(S310, S310', S310", S3100), 수치변화 산출과정(S330, S330', S330") 및 저감영역 검출과정(S350, S350', S350")을 포함할 수 있다.

이때, 예비영역 설정과정(S310, S310', S310", S3100)에서, 체내 수술부위의 영상의 현재 프레임(F)에서 예비영역(100c)이 정해진다. 수치변화 산출과정(S330, S330', S330")에서, 현재 프레임(F)의 예비영역(100c)과 예비영역에 대응되는 이전 프레임의 대응영역 간의 비교를 통한 특정계열색상 식별에 관련된 수치 변화가 산출된다. 그리고 저감영역 검출과정(S350, S350', S350")에서, 산출된 수치 변화를 기초로 현재 프레임(F)에서의 가시성 저감영역(100b)이 검출된다.

도 8 내지 9를 참조하면 하나의 예에서, 예비영역 설정과정(S310', S3100)에서, 현재 프레임(F)에서 분석된 수술도구 첨단부위와 주변을 포함하는 수술도구 주변영역이 예비영역(100c)으로 설정되거나 이전 프레임에서 이미 설정되거나 검출된 예비영역 또는 가시성 저감영역에 대응되는 현재 프레임 상의 매칭영역을 기초로 현재 프레임(F)에서 예비영역(100c)이 설정될 수 있다.

또한, 수치변화 산출과정(S330')에서, 특정계열색상 식별에 관련된 수치 변화는 예비영역(100c)에서 특정색상 발현강도의 평균값 증가, 설정된 특정색상 발현강도 이상의 픽셀수 증가 및 설정된 특정색상 발현강도 이상의 픽셀 분포 변화 중 어느 하나 이상일 수 있다.

게다가, 저감영역 검출과정(S350')에서 검출되는 가시성 저감영역(100c)은 수치 변화를 야기하는 설정된 특정색상 발현강도 이상의 픽셀 영역을 포함할 수 있다.

도 9를 참조하여, 하나의 예를 살펴본다.

도 9를 참조하면 하나의 예에서, 저감영역 검출과정(S350')에서 제1 가시성 저감이 일어나는 제1 가시성 저감영역의 검출이 수행되는 경우(S350a) 예비영역 설정과정(S310a, S3100)에서는 수술도구 첨단부위에 의한 체내 접촉부위 및 주변을 포함하는 접촉주변 영역을 수술도구 주변영역으로 하여 예비영역(100c)이 설정될 수 있다. 즉, 미스트 또는 연기에 의한 제1 가시성 저감이 일어나는 경우, 도 9의 "A"절차에 따라, 예비영역 설정과정(S310a)에서는 수술도구 첨단부위에 의한 체내 접촉부위 및 주변을 포함하는 접촉주변 영역을 수술도구 주변영역으로 하여 예비영역이 설정될 수 있다.

또한, 저감영역 검출과정(S350')에서 제2 가시성 저감이 일어나는 제2 가시성 저감영역의 검출이 수행되는 경우(S350b) 예비영역 설정과정(S310b, S3100)에서는 수술도구 첨단부위에 의한 체내 접촉부위 및 주변을 또는 수술도구 첨단부위의 체내 비접촉 경로부위 및 주변을 수술도구 주변영역으로 하여 예비영역이 설정될 수 있다. 이때, 암부는 수술도구 주변영역에 포함된다. 예컨대, 암부에 의한 제2 가시성 저감이 일어나는 경우, 도 9의 "B"절차에 따라, 예비영역 설정과정(S310b)에서는 수술도구 첨단부위에 의한 체내 접촉부위 및 주변을 또는 수술도구 첨단부위의 체내 비접촉 경로부위 및 주변을 수술도구 주변영역으로 하여 예비영역이 설정될 수 있다.

도 9를 참조하면 이때, 예비영역 설정과정(S3100)에서, 현재 프레임에서 수술도구 첨단부위의 영역과 이전 프레임에서의 대응되는 영역 간에 색 요소 정보의 비교를 통해 수술도구 첨단부위에 의한 체내 접촉 여부가 검출될 수 있다(S311). 체내 접촉 여부가 검출됨에 따라 체내 접촉 여부에 따라 예비영역이 설정된다.

계속하여 하나의 예에서, 수치변화 산출과정에서 현재 프레임의 예비영역과 이전 프레임의 대응영역 간의 비교는 현재 프레임과 직전 프레임 간 또는 현재 프레임과 설정간격 이전의 프레임 간의 현재 비교일 수 있다.

이때, 현재 비교를 통한 특정계열색상 식별에 관련된 수치 변화가 설정기준 이상인 경우 또는 이전 프레임에서 가시성 저감영역이 검출된 경우에, 저감영역 검출과정(S350')에서 현재 프레임의 예비영역 중 특정색상 발현강도 이상의 픽셀 영역을 포함하는 영역이 가시성 저감영역으로 검출될 수 있다.

예컨대, 설정기준 이상의 수치 변화는 특정색상 발현강도의 평균값 및 특정색상 발현강도 이상의 픽셀수 중 어느 하나 이상에서의 설정기준 이상의 증가일 수 있다.

다음으로, 도 11을 참조하여 하나의 예를 살펴본다.

도 11을 참조하면 하나의 예에서, 영상 분석단계(S300")에서, 머신러닝 기법을 통하여, 예비영역이 설정되고(S310") 수치 변화가 산출되고(S330") 가시성 저감영역이 검출될 수 있다(S350"). 예컨대, 머신러닝 기법을 통하여, 체내 수술부위의 영상의 현재 프레임(F)에서 예비영역(100c)이 설정될 수 있다(S310"). 게다가, 머신러닝 기법을 통하여, 현재 프레임(F)의 예비영역(100c)과 예비영역에 대응되는 이전 프레임의 대응영역 간의 비교를 통한 특정계열색상 식별에 관련된 수치 변화가 산출될 수 있다(S330"). 또한, 머신러닝 기법을 통하여, 산출된 수치 변화를 기초로 현재 프레임(F)에서의 가시성 저감영역(100b)이 검출될 수 있다(S350").

게다가, 영상 보정단계(S500")에서, 머신러닝 기법을 통하여 가시성 저감영역에 대한 영상 보정이 최적화될 수 있다.

계속하여, 도 6 내지 11을 참조하여 영상 보정단계(S500, S500', S500")를 살펴본다.

영상 보정단계(S500, S500', S500")에서는, 검출된 가시성 저감영역에 대한 영상을 보정하여 영상처리를 수행한다. 예컨대, 도 1 내지 4를 참조하면, 영상처리 유닛(30), 예컨대 영상보정 유닛(33)에서 영상분석 유닛(31)에 의해 검출된 가시성 저감영역에 대한 영상을 보정하여 영상처리를 수행할 수 있다.

예컨대, 도 7 내지 11을 참조하면, 영상 보정단계(S500, S500', S500")에서, 영상 분석단계(S300, S300', S300")에서 검출된 가시성 저감영역에서 특정계열색상 식별을 위한 색 내지 색체의 요소 중의 적어도 일부가 보정되어 가시성 저감영역에 대한 영상이 보정될 수 있다. 예컨대, 도 1 내지 4를 참조하면, 영상처리 유닛(30), 예컨대 영상보정 유닛(33)에서 가시성 저감영역에서 특정계열색상 식별을 위한 색 내지 색체의 요소 중의 적어도 일부를 보정하여 가시성 저감영역에 대한 영상을 보정할 수 있다.

예컨대, 도 8을 참조하면, 영상 보정단계(S500')에서, 특정색상 발현강도 이상의 픽셀 영역에서 특정계열색상 식별을 위한 색 내지 색채의 요소 중 적어도 일부를 보정하여 가시성을 개선시킬 수 있다. 이때, 색 내지 색체의 요소 중 적어도 일부의 보정은 GRAY 변환모델에서의 명도값, HSV 모델 혹은 HSV 변환모델에서의 명도(V) 또는 YUV 모델 혹은 YUV 변환모델에서의 휘도(Y)의 향상 및 HSV 모델 혹은 HSV 변환모델에서의 채도(S)의 저감 중 적어도 하나 이상이 수행되도록 할 수 있다.

다음으로, 도 10을 참조하여 또 하나의 예에 따른 체내 영상 처리 방법을 살펴본다. 이때, 하나의 예에 따른 체내 영상 처리 방법은 디스플레이 단계(S700)를 더 포함할 수 있다. 예컨대, 디스플레이 단계(S700)는 도 1 내지 4의 디스플레이 유닛(70)에서 수행될 수 있다.

디스플레이 단계(S700)에서, 가시성 저감영역에 대해 보정된 프레임 영상을 포함하는 개선된 수술부위 영상이 디스플레이되거나 개선된 수술부위 영상이 가시성 저감영역에 대한 보정이 수행되지 않은 프레임 영상을 포함하는 미개선 수술부위 영상과 함께 디스플레이될 수 있다.

이상에서, 전술한 실시 예들 및 첨부된 도면들은 본 발명의 범주를 제한하는 것이 아니라 본 발명에 대한 당해 기술분야에서 통상의 지식을 가진 자의 이해를 돕기 위해 예시적으로 설명된 것이다. 즉, 본 발명의 다양한 실시 예는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 전술한 구성요소들의 다양한 조합에 따라 다양한 변형된 형태로도 구현될 수 있고, 새로운 구성요소들이 추가된 형태로도 구현될 수 있다. 따라서, 본 발명의 범위는 특허청구범위에 기재된 발명에 따라 해석되어야 하며 전술된 실시 예들뿐만 아니라 당해 기술분야에서 통상의 지식을 가진 자에 의한 다양한 변경, 대안, 균등 실시 예들을 포함하고 있다.

1: 체내 영상 처리 시스템 10: 영상획득유닛
20: 프로세서 유닛 30: 영상처리 유닛
31: 영상분석 유닛 33: 영상보정 유닛
35: 마커처리 유닛 50: 메모리 유닛
70: 디스플레이 유닛 500: DB

Claims

영상획득 유닛으로부터 획득되는 체내 수술부위 영상정보를 저장하는 메모리 유닛; 및
상기 체내 수술부위의 영상을 분석하여 미스트 또는 연기에 의한 제1 가시성 저감, 암부에 의한 제2 가시성 저감 또는 상기 제1 및 제2 가시성 저감이 일어나는 가시성 저감영역에 대한 영상처리를 수행하는 영상처리 유닛을 포함하고,
상기 영상처리 유닛은 상기 체내 수술부위의 영상 중 상기 가시성 저감영역을 검출하는 영상분석 유닛 및 검출된 상기 가시성 저감영역에 대한 영상을 보정하여 상기 영상처리를 수행하는 영상보정 유닛을 포함하고,
상기 영상분석 유닛은 상기 체내 수술부위의 영상의 현재 프레임에서 예비영역을 정하고 상기 현재 프레임의 예비영역과 상기 예비영역에 대응되는 이전 프레임의 대응영역 간의 비교를 통한 특정계열색상 식별에 관련된 수치 변화를 기초로 상기 현재 프레임에서의 상기 가시성 저감영역을 검출하고,
상기 영상보정 유닛은 검출된 상기 가시성 저감영역에서 상기 특정계열색상 식별을 위한 색 내지 색체의 요소 중의 적어도 일부를 보정하여 상기 가시성 저감영역에 대한 영상을 보정하는 것을 특징으로 하는 체내 영상 처리 시스템.
청구항 1에서,
상기 영상분석 유닛은 상기 현재 프레임에서 분석된 수술도구 첨단부위와 주변을 포함하는 수술도구 주변영역을 상기 예비영역으로 설정하거나 상기 이전 프레임에서 이미 설정되거나 검출된 예비영역 또는 가시성 저감영역에 대응되는 상기 현재 프레임 상의 매칭영역을 기초로 상기 현재 프레임에서 상기 예비영역을 설정하고,
상기 특정계열색상 식별에 관련된 수치 변화는 상기 예비영역에서 특정색상 발현강도의 평균값 증가, 설정된 상기 특정색상 발현강도 이상의 픽셀수 증가 및 설정된 상기 특정색상 발현강도 이상의 픽셀 분포 변화 중 어느 하나 이상이고,
상기 가시성 저감영역은 상기 수치 변화를 야기하는 설정된 상기 특정색상 발현강도 이상의 픽셀 영역을 포함하고,
상기 영상보정 유닛은 상기 특정색상 발현강도 이상의 픽셀 영역에서 상기 특정계열색상 식별을 위한 색 내지 색채의 요소 중 적어도 일부를 보정하여 가시성을 개선시키되, 상기 색 내지 색체의 요소 중 적어도 일부의 보정은 GRAY 변환모델에서의 명도값, HSV 모델 혹은 HSV 변환모델에서의 명도(V) 또는 YUV 모델 혹은 YUV 변환모델에서의 휘도(Y)의 향상 및 상기 HSV 모델 혹은 HSV 변환모델에서의 채도(S)의 저감 중 적어도 하나 이상이 수행되도록 하는 것을 특징으로 하는 체내 영상 처리 시스템.
청구항 2에서,
상기 제1 가시성 저감이 일어나는 제1 가시성 저감영역의 검출의 경우 상기 수술도구 첨단부위에 의한 체내 접촉부위 및 주변을 포함하는 접촉주변 영역을 상기 수술도구 주변영역으로 하고,
상기 제2 가시성 저감이 일어나는 제2 가시성 저감영역의 검출의 경우 상기 수술도구 첨단부위에 의한 체내 접촉부위 및 주변을 또는 상기 수술도구 첨단부위의 체내 비접촉 경로부위 및 주변을 상기 수술도구 주변영역으로 하고, 상기 암부는 상기 수술도구 주변영역에 포함되고,
상기 수술도구 첨단부위에 의한 체내 접촉 여부는 상기 현재 프레임에서 상기 수술도구 첨단부위의 영역과 상기 이전 프레임에서의 대응되는 영역 간에 색 요소 정보의 비교를 통해 검출되고,
상기 현재 프레임의 상기 예비영역과 상기 이전 프레임의 대응영역 간의 비교는 상기 현재 프레임과 직전 프레임 간 또는 상기 현재 프레임과 설정간격 이전의 프레임 간의 현재 비교이고,
상기 현재 비교를 통한 상기 특정계열색상 식별에 관련된 상기 수치 변화가 설정기준 이상인 경우 또는 상기 이전 프레임에서 상기 가시성 저감영역이 검출된 경우에, 상기 영상분석 유닛은 상기 현재 프레임의 상기 예비영역 중 상기 특정색상 발현강도 이상의 상기 픽셀 영역을 포함하는 영역을 상기 가시성 저감영역으로 검출하고,
상기 설정기준 이상의 상기 수치 변화는 상기 특정색상 발현강도의 평균값 및 상기 특정색상 발현강도 이상의 픽셀수 중 어느 하나 이상에서의 상기 설정기준 이상의 증가인 것을 특징으로 하는 체내 영상 처리 시스템.
청구항 3에서,
상기 특정계열색상 식별은 상기 제1 가시성 저감을 일으키는 흰색계열색상의 식별 및 상기 제2 가시성 저감을 일으키는 검정계열색상의 식별 중 어느 하나 이상이고,
상기 특정계열색상 식별에 관련된 상기 수치 변화가 흰색색상 발현강도의 평균값 증가, 설정된 상기 흰색색상 발현강도 이상의 픽셀수 증가 및 설정된 상기 흰색색상 발현강도 이상의 픽셀 분포 변화 중 어느 하나 이상인 경우 상기 제1 가시성 저감영역은 상기 예비영역에서 상기 흰색색상 발현강도 이상의 픽셀 영역을 포함하고,
상기 특정계열색상 식별에 관련된 상기 수치 변화가 검정색상 발현강도의 평균값 증가, 설정된 상기 검정색상 발현강도 이상의 픽셀수 증가 및 설정된 상기 검정색상 발현강도 이상의 픽셀 분포 변화 중 어느 하나 이상인 경우 상기 제2 가시성 저감영역은 상기 예비영역에서 상기 검정색상 발현강도 이상의 픽셀 영역을 포함하고,
상기 평균값 증가, 상기 픽셀수 증가 및 상기 픽셀 분포 변화 중 어느 하나이상이 이루어지는 픽셀 그룹은 상기 수술도구에 의한 상기 체내 접촉부위의 적어도 일부 영역 및 상기 암부의 영역 중 적어도 하나 이상의 영역의 픽셀들을 포함하는 것을 특징으로 하는 체내 영상 처리 시스템.
청구항 1에서, 상기 체내 영상 처리 시스템은,
상기 가시성 저감영역에 대해 보정된 프레임 영상을 포함하는 개선된 수술부위 영상을 디스플레이하거나 상기 개선된 수술부위 영상을 상기 가시성 저감영역에 대한 보정이 수행되지 않은 프레임 영상을 포함하는 미개선 수술부위 영상과 함께 디스플레이하는 디스플레이 장치를 더 포함하는 것을 특징으로 하는 체내 영상 처리 시스템.
청구항 5에서,
상기 영상처리 유닛은 상기 영상보정 유닛에 의해 보정된 상기 가시성 저감영역에 대한 마커를 생성하고,
상기 가시성 저감영역에 대한 상기 마커는 상기 가시성 저감영역에 대한 테두리 마커, 영역표시 마커, 영역 지시마커 중 어느 하나이고,
상기 디스플레이 장치에서 상기 마커가 결합된 상기 개선된 수술부위 영상이 디스플레이되는 것을 특징으로 하는 체내 영상 처리 시스템.
청구항 1 내지 6 중 어느 하나에서,
상기 영상처리 유닛은 머신러닝 기법을 통하여 상기 가시성 저감영역의 검출을 최적화하거나 상기 가시성 저감영역의 검출 및 상기 가시성 저감영역에 대한 영상 보정을 최적화하고,
상기 영상분석 유닛은 상기 머신러닝 기법을 통하여, 상기 예비영역을 정하고 상기 수치 변화를 산출하고 상기 가시성 저감영역을 검출하는 것을 특징으로 하는 체내 영상 처리 시스템.
영상획득 유닛으로부터 체내 수술부위의 영상을 수신하는 영상 수신단계;
상기 체내 수술부위의 영상 중 미스트 또는 연기에 의한 제1 가시성 저감, 암부에 의한 제2 가시성 저감 또는 상기 제1 및 제2 가시성 저감이 일어나는 가시성 저감영역을 검출하는 영상 분석단계; 및
검출된 상기 가시성 저감영역에 대한 영상을 보정하여 상기 영상처리를 수행하는 영상 보정단계를 포함하고,
상기 영상 분석단계는, 상기 체내 수술부위의 영상의 현재 프레임에서 예비영역을 정하는 예비영역 설정과정, 상기 현재 프레임의 예비영역과 상기 예비영역에 대응되는 이전 프레임의 대응영역 간의 비교를 통한 특정계열색상 식별에 관련된 수치 변화를 산출하는 수치변화 산출과정, 및 산출된 상기 수치 변화를 기초로 상기 현재 프레임에서의 상기 가시성 저감영역을 검출하는 저감영역 검출과정을 포함하고,
상기 영상 보정단계에서, 검출된 상기 가시성 저감영역에서 상기 특정계열색상 식별을 위한 색 내지 색체의 요소 중의 적어도 일부를 보정하여 상기 가시성 저감영역에 대한 영상을 보정하는 것을 특징으로 하는 체내 영상 처리 방법.
청구항 8에서,
상기 예비영역 설정과정에서, 상기 현재 프레임에서 분석된 수술도구 첨단부위와 주변을 포함하는 수술도구 주변영역이 상기 예비영역으로 설정되거나 상기 이전 프레임에서 이미 설정되거나 검출된 예비영역 또는 가시성 저감영역에 대응되는 상기 현재 프레임 상의 매칭영역을 기초로 상기 현재 프레임에서 상기 예비영역이 설정되고,
상기 특정계열색상 식별에 관련된 수치 변화는 상기 예비영역에서 특정색상 발현강도의 평균값 증가, 설정된 상기 특정색상 발현강도 이상의 픽셀수 증가 및 설정된 상기 특정색상 발현강도 이상의 픽셀 분포 변화 중 어느 하나 이상이고,
상기 가시성 저감영역은 상기 수치 변화를 야기하는 설정된 상기 특정색상 발현강도 이상의 픽셀 영역을 포함하고,
상기 영상 보정단계에서, 상기 특정색상 발현강도 이상의 픽셀 영역에서 상기 특정계열색상 식별을 위한 색 내지 색채의 요소 중 적어도 일부를 보정하여 가시성을 개선시키되, 상기 색 내지 색체의 요소 중 적어도 일부의 보정은 GRAY 변환모델에서의 명도값, HSV 모델 혹은 HSV 변환모델에서의 명도(V) 또는 YUV 모델 혹은 YUV 변환모델에서의 휘도(Y)의 향상 및 상기 HSV 모델 혹은 HSV 변환모델에서의 채도(S)의 저감 중 적어도 하나 이상이 수행되도록 하는 것을 특징으로 하는 체내 영상 처리 방법.
청구항 9에서,
상기 저감영역 검출과정에서 상기 제1 가시성 저감이 일어나는 제1 가시성 저감영역의 검출이 수행되는 경우 상기 예비영역 설정과정에서는 상기 수술도구 첨단부위에 의한 체내 접촉부위 및 주변을 포함하는 접촉주변 영역을 상기 수술도구 주변영역으로 하여 상기 예비영역이 설정되고,
상기 저감영역 검출과정에서 상기 제2 가시성 저감이 일어나는 제2 가시성 저감영역의 검출이 수행되는 경우 상기 예비영역 설정과정에서는 상기 수술도구 첨단부위에 의한 체내 접촉부위 및 주변을 또는 상기 수술도구 첨단부위의 체내 비접촉 경로부위 및 주변을 상기 수술도구 주변영역으로 하여 상기 예비영역이 설정되고, 이때, 상기 암부는 상기 수술도구 주변영역에 포함되고,
상기 예비영역 설정과정에서, 상기 현재 프레임에서 상기 수술도구 첨단부위의 영역과 상기 이전 프레임에서의 대응되는 영역 간에 색 요소 정보의 비교를 통해 상기 수술도구 첨단부위에 의한 체내 접촉 여부가 검출되고, 상기 체내 접촉 여부에 따라 상기 예비영역이 설정되고,
상기 수치변화 산출과정에서 상기 현재 프레임의 상기 예비영역과 상기 이전 프레임의 대응영역 간의 비교는 상기 현재 프레임과 직전 프레임 간 또는 상기 현재 프레임과 설정간격 이전의 프레임 간의 현재 비교이고,
상기 현재 비교를 통한 상기 특정계열색상 식별에 관련된 상기 수치 변화가 설정기준 이상인 경우 또는 상기 이전 프레임에서 상기 가시성 저감영역이 검출된 경우에, 상기 저감영역 검출과정에서 상기 현재 프레임의 상기 예비영역 중 상기 특정색상 발현강도 이상의 상기 픽셀 영역을 포함하는 영역이 상기 가시성 저감영역으로 검출되고,
상기 설정기준 이상의 상기 수치 변화는 상기 특정색상 발현강도의 평균값 및 상기 특정색상 발현강도 이상의 픽셀수 중 어느 하나 이상에서의 상기 설정기준 이상의 증가인 것을 특징으로 하는 체내 영상 처리 방법.
청구항 8에서, 상기 체내 영상 처리 방법은,
상기 가시성 저감영역에 대해 보정된 프레임 영상을 포함하는 개선된 수술부위 영상을 디스플레이하거나 상기 개선된 수술부위 영상을 상기 가시성 저감영역에 대한 보정이 수행되지 않은 프레임 영상을 포함하는 미개선 수술부위 영상과 함께 디스플레이하는 디스플레이 단계를 더 포함하는 것을 특징으로 하는 체내 영상 처리 방법.
청구항 8 내지 11 중 어느 하나에서,
상기 영상 분석단계에서, 머신러닝 기법을 통하여, 상기 예비영역이 설정되고 상기 수치 변화가 산출되고 상기 가시성 저감영역이 검출되고,
상기 영상 보정단계에서, 상기 머신러닝 기법을 통하여 상기 가시성 저감영역에 대한 영상 보정이 최적화되는 것을 특징으로 하는 체내 영상 처리 방법.