KR102615296B1 - 내시경 영상 안정화 방법 및 시스템 - Google Patents

내시경 영상 안정화 방법 및 시스템 Download PDF

Info

Publication number
KR102615296B1
KR102615296B1 KR1020160146557A KR20160146557A KR102615296B1 KR 102615296 B1 KR102615296 B1 KR 102615296B1 KR 1020160146557 A KR1020160146557 A KR 1020160146557A KR 20160146557 A KR20160146557 A KR 20160146557A KR 102615296 B1 KR102615296 B1 KR 102615296B1
Authority
KR
South Korea
Prior art keywords
image
image stabilization
endoscopic
value
met
Prior art date
Application number
KR1020160146557A
Other languages
English (en)
Other versions
KR20180049980A (ko
Inventor
강동구
진승오
배영민
신기영
장민혜
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Priority to KR1020160146557A priority Critical patent/KR102615296B1/ko
Publication of KR20180049980A publication Critical patent/KR20180049980A/ko
Application granted granted Critical
Publication of KR102615296B1 publication Critical patent/KR102615296B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

본 발명은 내시경 영상 안정화 방법 및 시스템에 관한 것으로, 보다 구체적으로는 내시경을 이용하여 생성된 영상의 속성 정보를 고려하여 미리 정해진 영상 안정화 적용 조건을 충족하는 경우 디지털 영상 안정화 프로세스가 자동적으로 수행되도록 함으로써, 의료진 등 사용자의 추가적인 조작 없이 내시경 영상을 안정화시킬 수 있으며, 나아가 디지털 영상 안정화에서 나타날 수 있는 오류를 효과적으로 방지할 수 있는 내시경 영상 안정화 방법 및 시스템에 관한 것이다.

Description

내시경 영상 안정화 방법 및 시스템 {METHOD AND SYSTEM FOR STABILIZING ENDOSCOPIC IMAGES}
본 발명은 내시경 영상 안정화 방법 및 시스템에 관한 것으로, 보다 구체적으로는 내시경을 이용하여 생성된 영상의 속성 정보를 고려하여 미리 정해진 영상 안정화 적용 조건을 충족하는 경우 디지털 영상 안정화 프로세스가 자동적으로 수행되도록 함으로써, 의료진 등 사용자의 추가적인 조작 없이 내시경 영상을 안정화시킬 수 있으며, 나아가 디지털 영상 안정화에서 나타날 수 있는 오류를 효과적으로 방지할 수 있는 내시경 영상 안정화 방법 및 시스템에 관한 것이다.
환자의 위장, 소장, 대장 등을 다양한 장기를 진단하거나 치료에 사용하기 위하여 여러 종류의 내시경이 활용되고 있다. 그런데, 상기 내시경에서는 카메라의 움직임이나 내시경 고정장치의 기계적 불안정 등에 의하여 영상의 흔들림이 발생할 수 있으며, 이로 인하여 진단 및 치료에 어려움을 초래할 수 있다. 특히, 수술 등 위급한 상황에서의 영상의 흔들림은 환자에게 치명적인 위험을 초래할 수도 있다.
이에 따라, 내시경에서의 영상 흔들림을 방지, 보정하여 안정화된 영상을 제공할 수 있는 것이 바람직하며, 이를 위한 여러 기술들이 시도되고 있다. 통상적으로 영상의 흔들림을 보정하는 기술을 영상 안정화(image stabilization) 기술이라고 하며, 크게 광학적 영상 안정화(Optical Image Stabilization, OIS) 기법과 디지털 영상 안정화(Digital Image Stabilization, DIS) 기법 등으로 구분될 수 있다. 여기서, 상기 광학적 영상 안정화(OIS) 기법은 렌즈를 이용하여 영상을 안정화하는 방법과 이미지 센서를 이용하여 영상을 안정화하는 방법 등으로 구분될 수 있으며, 또한 상기 디지털 영상 안정화(DIS) 기법은 영상처리 기술을 이용하여 영상 내에서 발생하는 움직임 정보를 추정하여 영상의 흔들림에 대응하는 모션 정보를 예측(motion estimation)하고 보상(motion compensation)하여 영상의 흔들림을 제거하거나 완화하게 된다.
그런데, 내시경은 통상 환자의 체내나 환부 등에 삽입되어야 하므로 렌즈, 센서 등을 소형화하는 것이 필수적이며, 이에 따라 상기 광학적 영상 안정화(OIS) 등 하드웨어적 기법을 적용하면 시스템의 복잡도가 증가할 수 있고 나아가 제작 원가도 증가시킬 수 있다는 문제가 따른다.
또한, 디지털 영상 안정화(DIS) 기법을 적용하는 경우에도 영상의 모션이 복잡한 경우(complex motion)에는 영상의 피사체 움직임과 카메라의 떨림에 의한 움직임을 구분하기 어려워지는 등, 디지털 영상 안정화(DIS) 기법을 적절하게 수행하기 어려울 수 있으며, 나아가 의료진의 수술 도구의 움직임 등을 화면 떨림으로 인식하면서 디지털 영상 안정화(DIS)로 인하여 오히려 화면이 크게 흔들리는 오류가 발생할 가능성도 있다. 이러한 문제 등으로 인하여, 종래에는 디지털 영상 안정화(DIS) 기법이 내시경의 회전(rotation motion) 또는 병변 인식 등 한정적인 용도로 제한되어 적용되는데 그쳤다.
미국 등록특허 제7783133호 (2010.8.24)
본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로, 내시경 영상에 대한 디지털 영상 안정화(DIS) 기법이 회전(rotation motion) 또는 병변 인식 등으로 제한되지 않고 이동(translation), 복합(affine) 움직임(motion) 등 다양한 움직임을 포함하는 영상에도 적용(global motion model)할 수 있는 내시경 영상 안정화 방법 및 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 내시경 영상에 대하여 디지털 영상 안정화(DIS) 기법을 적용하는 경우 나타날 수 있는 오류의 발생을 억제할 수 있는 내시경 영상 안정화 방법 및 시스템을 제공하는 것을 목적으로 한다.
나아가, 본 발명은 의료진 등 사용자의 추가적인 조작 없이도 적절한 시점에 내시경 영상을 자동적으로 안정화시킬 수 있는 내시경 영상 안정화 방법 및 시스템을 제공하는 것을 목적으로 한다.
그 외 본 발명의 세부적인 목적은 이하에 기재되는 구체적인 내용을 통하여 이 기술 분야의 전문가나 연구자에게 자명하게 파악되고 이해될 것이다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템은, 내시경을 이용하여 생성된 영상에 대하여 디지털 영상 안정화(Digital Image Stabilization)를 수행하는 내시경 영상 안정화 시스템으로서, 상기 영상의 속성 정보를 수집하는 영상 속성 정보 수집부; 상기 영상의 속성 정보를 고려하여 미리 정해진 영상 안정화 적용 조건의 충족 여부를 판단하는 영상 안정화 적용 조건 판단부; 및 상기 영상 안정화 적용 요건이 충족되는 경우, 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하는 디지털 영상 안정화부;를 포함하는 것을 특징으로 한다.
여기서, 상기 영상의 속성 정보에는, 상기 영상이 확대된 영상인지 여부, 상기 영상이 정적(stationary) 영상인지 여부 또는 상기 영상이 미리 정해진 특정 종류의 내시경 영상인지 여부에 대한 정보 중 하나 이상이 포함될 수 있다.
이때, 상기 영상 안정화 적용 조건 판단부에서는, 상기 영상이 광학 확대된 영상이거나, 디지털 확대된 영상이거나, 광학 및 디지털 확대된 영상인 경우, 상기 영상의 영상 안정화 적용 조건이 충족되었다고 판단할 수 있다.
또한, 상기 영상 안정화 적용 조건 판단부에서는, 상기 영상이 특정 대역의 파장 또는 특정 형광을 이용하여 특정한 병변을 진단하기 위한 내시경 영상인 경우, 상기 영상의 영상 안정화 적용 조건이 충족되었다고 판단할 수 있다.
이때, 상기 특정한 병변을 진단하기 위한 내시경 영상은, 협대역 내시경(Narrow Band Imaging) 영상 또는 자가 형광 내시경(Auto-Fluorescence Imaging) 영상일 수 있다.
또한, 상기 영상 안정화 적용 조건 판단부에서는, 상기 영상이 4K 이상의 초고해상도 내시경 영상인 경우, 상기 영상의 영상 안정화 적용 조건이 충족되었다고 판단할 수 있다.
또한, 영상이 정적(stationary) 영상인지 여부는, 상기 영상의 전체적인 움직임(global motion)을 측정한 수치와 상기 영상을 구성하는 하나 이상의 구성단위(예를 들어, 화소(pixel) 또는 화소들의 그룹인 블록(block)) 의 부분적인 움직임(local motion)을 측정한 수치 중 하나 이상을 고려하여 판단할 수 있다.
이때, 상기 영상을 구성하는 하나 이상의 구성단위의 움직임을 측정한 수치의 평균치가 소정의 기준치 이하인 경우 정적(stationary) 영상으로 판단할 수 있다.
또한, 상기 영상을 구성하는 하나 이상의 구성단위의 움직임의 크기 또는 방향을 측정한 수치의 분산값이 소정의 기준치 중 하나 가 미리 설정된 기준치 이하인 경우 정적(stationary) 영상으로 판단할 수 있다.
또한, 상기 영상의 전체적인 움직임(global motion)을 측정한 수치와 상기 영상을 구성하는 하나 이상의 구성단위의 부분적인 움직임(local motion)을 측정한 수치의 차이가 미리 설정된 기준치 범위 내에 있는 경우 정적(stationary) 영상으로 판단할 수 있다.
나아가, 상기 디지털 영상 안정화부는, 상기 영상 안정화 적용 요건이 충족되는 경우, 상기 내시경의 사용자의 추가적인 조작이 없더라도 자동으로 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행할 수 있다.
본 발명의 다른 측면에 따른 내시경 영상 안정화 방법은, 내시경을 이용하여 생성된 영상에 대하여 디지털 영상 안정화를 수행하는 내시경 영상 안정화 방법으로서, 상기 영상의 속성 정보를 수집하는 영상 속성 정보 수집 단계; 상기 영상의 속성 정보를 고려하여 미리 정해진 영상 안정화 적용 조건의 충족 여부를 판단하는 영상 안정화 적용 조건 판단 단계; 및 상기 영상 안정화 적용 요건이 충족되는 경우, 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하는 디지털 영상 안정화 단계;를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 내시경 영상 안정화 방법 및 시스템에서는, 미리 정해진 영상 안정화 적용 조건을 충족하는 경우 디지털 영상 안정화 프로세스가 수행되도록 함으로써, 내시경 영상에 대한 디지털 영상 안정화(DIS) 기법이 회전(rotation motion) 또는 병변 인식 등으로 제한되지 않고 이동(translation), 복합(affine) 움직임(motion) 등 다양한 움직임을 포함하는 영상에도 적용(global motion model)할 수 있으며, 나아가 내시경 영상에 대하여 디지털 영상 안정화(DIS) 기법을 적용하는 경우 나타날 수 있는 오류의 발생을 억제할 수 있게 된다.
또한, 본 발명의 일 실시예에 따른 내시경 영상 안정화 방법 및 시스템에서는 의료진 등 사용자의 추가적인 조작 없이도 적절한 시점에 내시경 영상을 자동적으로 안정화시킬 수 있게 된다.
나아가, 사용자 입장에서는 영상 안정화를 통해 진단, 치료 시간이 줄어들게 되고, 의료진 등의 피로도 또한 감소시킬 수 있다는 부가적인 효과도 기대할 수 있다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 일 실시예에 따른 내시경 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템의 블록도이다.
도 3과 도 4는 본 발명의 일 실시예에 따른 확대 내시경에서의 광학 영상 확대를 설명하는 예시도다.
도 5는 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템에서의 영상의 전체적인 움직임(global motion)의 다양한 예이다.
도 6은 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템이 적용된 내시경 영상처리 시스템의 블록도이다.
도 7은 본 발명의 일 실시예에 따른 내시경 영상 안정화 방법의 순서도이다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세하게 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 첨가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 실시될 수 있음은 물론이다.
이하에서는, 본 발명에 따른 내시경 영상 안정화 방법 및 시스템의 예시적인 실시형태들을 첨부된 도면을 참조하여 상세히 설명한다.
먼저, 도 1에서는 본 발명의 일 실시예에 따른 내시경 시스템(1)의 구성도를 예시하고 있다. 도 1에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 내시경 시스템(1)은 카메라 등 촬영 수단을 구비하는 내시경 스코프(2), 상기 내시경 스코프(2)의 구동을 제어하고, 나아가 상기 내시경 스코프(2)로부터 카메라 등 상기 촬영 수단을 이용하여 생성된 영상 신호를 전송받아, 모니터 등 표시부(5)를 통해 의료진 등 사용자에게 제공하는 제어부(4)를 포함하여 구성될 수 있다.
도 1은 편의상 특정 내시경 형태로 그려졌지만, 본 특허의 내용은 연성 내시경 (flexible endoscopy) 및 경성 내시경 (rigid endoscopy) 등 다양한 내시경 시스템(1)에 적용 가능하다.
이때, 본 발명의 일 실시예에 따른 내시경 시스템(1)에서는 상기 내시경 스코프(2)의 카메라 등 촬영 수단을 이용하여 생성되는 영상에 대하여, 미리 정해진 영상 안정화 적용 조건을 충족하는 경우 디지털 영상 안정화 프로세스가 수행되도록 함으로써, 내시경 영상에 대한 디지털 영상 안정화에서 나타날 수 있는 오류를 방지하면서 안정화된(stabilized) 내시경 영상을 얻을 수 있는 내시경 영상 안정화 방법 및 시스템에 관한 것이다.
보다 구체적으로, 상기 제어부(4)는 상기 내시경 스코프(2)로부터 카메라 등 촬영 수단을 이용하여 생성된 영상 신호를 수신하여 영상을 생성하거나, 생성된 영상을 수신할 수 있다. 이어서, 상기 제어부(4)는 상기 영상의 속성 정보를 고려하여 상기 영상에 대한 영상 안정화를 적용할 것인지를 판단하게 된다.
여기서, 상기 영상의 속성 정보로서는 상기 영상이 확대된 영상인지 여부, 상기 영상이 정적(stationary) 영상인지 여부 또는 상기 영상이 미리 정해진 특정 종류의 내시경 영상인지 여부에 대한 정보 중 하나 이상을 고려할 수 있다.
이어서, 상기 영상에 대한 안정화를 적용하도록 판단하는 경우, 상기 제어부(4)는 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하여 상기 영상을 안정화한 후, 모니터 등 상기 표시부(5)를 통해 의료진 등 사용자에게 제공하게 된다.
위에서는 제어부(4)에서 상기 영상에 대한 영상 안정화 등을 수행하는 것으로 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 상기 제어부(4) 외에 상기 표시부(5) 등 다른 장치와 일체로 구현되거나, 별도의 장치나 시스템으로 분리되어 구현될 수도 있다.
또한, 위에서 의료진 등이 내시경을 사용하는 경우를 예를 들어 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 이외에도 산업용 내시경 등 다양한 내시경에도 적용될 수 있다.
도 2에서는 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템(100)의 블록도를 도시하고 있다. 앞서 설명한 바와 같이 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템(100)은 내시경 시스템(1)과 통합되어 일체로 구현될 수도 있으며, 나아가 상기 내시경 시스템(1)과 별도의 장치로 구현되어 상기 내시경 시스템(1)과 연동하여 구동될 수도 있다.
도 2에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템(100)은, 내시경을 이용하여 생성된 영상에 대하여 디지털 영상 안정화(Digital Image Stabilization)를 수행하는 내시경 영상 안정화 시스템(100)으로서, 상기 영상의 속성 정보를 수집하는 영상 속성 정보 수집부(110), 상기 영상의 속성 정보를 고려하여 미리 정해진 영상 안정화 적용 조건의 충족 여부를 판단하는 영상 안정화 적용 조건 판단부(120) 및 상기 영상 안정화 적용 요건이 충족되는 경우, 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하는 디지털 영상 안정화부(130)를 포함하여 구성될 수 있다.
아래에서는 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템(100)을 각 구성요소별로 나누어 보다 자세하게 설명한다.
먼저, 상기 영상 속성 정보 수집부(110)에서는 상기 내시경을 이용하여 생성된 영상에 대한 속성 정보를 수집하게 된다. 보다 구체적으로 상기 영상에 대한 속성 정보에는 상기 영상이 확대된 영상인지 여부, 상기 영상이 정적(stationary) 영상인지 여부 또는 상기 영상이 미리 정해진 특정 종류의 내시경 영상인지 여부에 대한 정보 중 하나 이상이 포함될 수 있다.
이때, 상기 영상 속성 정보 수집부(110)는 상기 내시경 시스템(1)에서 생성되는 소정의 정보를 전달받거나, 상기 영상으로부터 산출되는 정보를 이용하는 등 다양한 방법으로 상기 영상에 대한 속성 정보를 수집할 수 있다.
보다 구체적인 예를 들어, 상기 영상 속성 정보 수집부(110)는 상기 내시경 시스템(1)에서 생성되는 줌 상태(zoom status) 정보를 수집하거나 소정의 인터페이스를 이용하여 전송받을 수 있으며, 또는 정적(stationary) 영상 여부에 대해서는 상기 영상에 대한 움직임 통계(motion statistics) 정보를 산출하여 생성할 수도 있다.
또한, 상기 영상에 대한 속성 정보에 대하여 보다 구체적으로 살펴보면, 상기 영상이 확대된 영상인 경우, 내시경 스코프(2)의 카메라 등의 흔들림 등에 의하여 영상의 흔들림이 더욱 크게 영향을 받으면서 의료진 등 사용자가 영상을 판독하는데 어려움이 커질 수 있다. 이에 따라, 상기 영상이 확대된 영상인 경우 디지털 영상 안정화 프로세스를 적용하여 영상을 안정화하여 줌으로써, 의료진 등 사용자가 안정적으로 내시경 영상을 판독할 수 있게 된다.
여기서, 확대된 영상이라 함은 상기 영상이 광학 확대된 영상이거나, 디지털 확대된 영상이거나, 광학 및 디지털 확대된 영상을 모두 포함할 수 있다.
보다 구체적으로, 상기 광학 확대된 영상은 확대 내시경 등 광학 줌 기능을 구비하는 내시경에서 광학적으로 확대된 영상일 수 있다.
이에 대하여, 도 3에서는 광학 줌 기능을 구비하는 확대 내시경의 동작을 설명하고 있다. 도 3에서 볼 수 있는 바와 같이 확대 내시경에서는 내장되는 렌즈를 이동(도 3의 (A))시켜 광학 배율을 조정할 수 있으며, 이에 따라 상기 확대 내시경에서는 도 4에서 볼 수 있는 바와 같이, 확대 전 영상(도 4(a))에서 자세한 관찰이 필요한 특정 영역(도 4(a)의 (A) 영역)을 광학적으로 확대하여 확대 영상(도 4(b))을 생성할 수 있으며, 이에 따라 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템(100)에서는 상기 확대 내시경에 의하여 광학 확대된 영상에 대하여 디지털 영상 안정화 프로세스를 적용함으로써, 영상을 효과적으로 안정화하여 의료진 등 사용자에게 제공할 수 있게 된다.
또한, 상기 확대된 영상에는 광학적으로 확대된 영상 뿐만 아니라, 디지털 줌 등을 통하여 디지털 확대된 영상일 수도 있으며, 나아가, 광학 및 디지털 확대가 동시에 수행된 확대 영상일 수도 있으며, 이러한 경우도 상기 광학 확대된 영상의 경우와 마찬가지로 디지털 영상 안정화 프로세스를 적용함으로써, 영상을 효과적으로 안정화하여 의료진 등 사용자에게 제공할 수 있게 된다.
나아가, 상기 내시경의 영상이 확대되지 않은 영상인 경우(또는 소정의 기준치 이하로 확대된 경우), 상기 영상에 대한 디지털 영상 안정화 프로세스를 적용하면 카메라 등의 흔들림 등에 의한 전체 영상의 흔들림이 아니라 의료 도구 등의 부분적인 영상의 움직임을 잘못 판단하여 안정화(stabilization) 처리하게 될 수 있으며, 이러한 경우 오히려 영상이 더 크게 흔들리는 오류가 발생할 수 있다.
이에 대하여, 본 발명에서는 상기 내시경의 영상이 확대된 경우(또는 소정의 기준치 이상 확대된 경우), 상기 영상에 대한 디지털 영상 안정화 프로세스가 적용되도록 함으로써, 상기 영상에 대한 디지털 영상 안정화에서의 오류 발생을 억제하면서 확대된 안정화 영상을 효과적으로 생성할 수 있게 된다.
또한, 상기 영상이 확대된 영상인 경우, 의료진 등 사용자가 상기 영상을 자세하게 판독하기 위하여 확대하는 경우라고 할 수 있는 바, 상기 영상에 대한 디지털 영상 안정화 프로세스를 적용하여 보다 용이하게 영상을 판독할 수 있도록 하는 것이 바람직하게 된다.
이에 따라, 본 발명에서는 상기 영상이 확대된 영상인 경우 디지털 영상 안정화 프로세스가 적용되도록 함으로써, 디지털 영상 안정화에서의 오류 발생을 억제하면서 확대된 안정화 영상을 제공할 수 있도록 하여, 의료진 등 사용자가 보다 편리하고 정확하게 내시경 영상을 판독할 수 있도록 하게 된다.
또한, 상기 영상이 정적(stationary) 영상인 경우 디지털 영상 안정화 프로세스를 적용하여 영상을 안정화하여 줄 수도 있다.
여기서, 정적(stationary) 영상이라 함은, 영상의 움직임이 복잡하지 않아 디지털 영상 안정화 프로세스가 적용되면 영상이 효과적으로 안정화될 수 있는 영상을 의미한다.
이때, 상기 영상이 정적(stationary) 영상인지 여부를 판단하기 위한 구체적인 판단 기준은, 내시경의 사용 환경 및 영상의 특성 등을 고려하여 다양하게 구현될 수 있다.
일반적으로, 특정 영상이 정적(stationary) 영상인지 여부를 판단함에 있어서, 상기 영상의 전체적인 움직임(global motion)을 측정한 수치와 상기 영상을 구성하는 하나 이상의 구성단위의 부분적인 움직임(local motion)을 측정한 수치 중 하나 이상을 고려할 수 있다.
예를 들어, 도 5에서는 상기 영상의 전체적인 움직임(global motion)을 예시하는 화면들이 도시되어 있다. 도 5에서 볼 수 있는 바와 같이 영상의 전체적인 움직임(global motion)의 대표적인 예로서 (a) 이동(transition) (b) 회전 (rotation) (c) 확대/축소(scaling) (d) 확대/축소-이동(scaling-transition) (d) 회전-이동(rotation-transition) (e) 확대/축소-회전(scaling-rotation) 등을 포함할 수 있으며, 이외에도 영상이 전체적으로 변화하게 되는 다양한 움직임들이 포함될 수 있다.
여기서, 상기 영상의 움직임(motion)을 수치화함에 있어서는, 상기 영상의 하나의 프레임에 대하여 이전 단계의 프레임과 현재 단계의 프레임 간의 구성단위(예를 들어, 화소(pixel) 또는 화소들의 그룹인 블록(block) 등)의 움직임(local motion) 또는 하나의 프레임 전체의 움직임(global motion)을 수치로 산출하는 등의 방법을 사용할 수 있다. 이러한 영상의 움직임(motion)을 수치화하는 기법은 종래의 기술에 따라 다양하게 구현될 수 있으므로, 자세한 설명은 생략하기로 한다.
보다 구체적으로, 상기 영상의 전체적인 움직임(global motion)의 크기와 방향이 상기 영상을 구성하는 하나 이상의 구성단위의 부분적인 움직임(local motion)과 비교하여 유사한 경우(또는, 미리 설정된 기준치 범위 내에 있는 경우) 정적(stationary) 영상으로 판단할 수 있다.
이러한 경우, 상기 영상의 전체적인 움직임(global motion)이 큰 경우는 내시경의 카메라 등의 움직임 등에 의하여 영상 전체가 흔들리는 경우에 해당할 수 있으므로, 디지털 영상 안정화 프로세스를 적용함으로써 영상의 흔들림을 효과적으로 보정하여 안정화된 영상을 제공할 수 있게 된다.
반면, 상기 영상을 구성하는 하나 이상의 구성단위의 부분적인 움직임(local motion)이 큰 경우는 내시경 스코프(2)의 카메라 등의 움직임에 의한 영상의 흔들림이 아니라 의료 도구 등의 움직임이 영상에 포착되는 경우이므로, 이러한 경우에는 디지털 영상 안정화 프로세스를 적용하여 영상을 안정화할 필요성이 떨어지게 된다.
이외에도, 특정 영상이 정적(stationary) 영상인지 여부를 판단함에 있어서, 상기 영상을 구성하는 하나 이상의 구성단위(화소, 블록 등)의 움직임을 측정한 수치의 평균치가 소정의 기준치 이하인 경우 정적(stationary) 영상으로 판단할 수도 있다. 이러한 경우, 상기 영상을 구성하는 하나 이상의 구성단위의 움직임이 전체적으로 작은 경우로서, 영상의 부분적인 움직임(local motion)이 적은 경우라고 할수 있으므로, 상기 영상을 정적(stationary) 영상으로 판단할 수도 있다.
또한, 상기 영상을 구성하는 하나 이상의 구성단위의 움직임의 크기 또는 방향을 측정한 수치의 분산값이 소정의 기준치 중 하나 가 미리 설정된 기준치 이하인 경우 정적(stationary) 영상으로 판단할 수도 있다. 이러한 경우, 상기 영상이 전체적으로 동일한 방향 또는 동일한 크기의 움직임을 보이는 경우로서, 영상의 전체적인 움직임(global motion)이 큰 경우라고 할 수 있는 바, 상기 영상을 정적(stationary) 영상으로 판단할 수도 있다.
또한, 상기 영상이 미리 정해진 특정 종류의 내시경 영상인 경우 디지털 영상 안정화 프로세스를 적용하여 영상을 안정화하여 줄 수도 있다.
이때, 상기 미리 정해진 특정 종류의 내시경 영상으로서, 특정 대역의 파장 또는 특정 형광을 이용하여 특정한 병변을 진단하기 위한 내시경 영상을 포함할 수 있다.
의료진 등 사용자가 일반적인 내시경 영상이 아니라 특정 대역의 파장 또는 특정 형광을 이용하여 특정 병변을 진단하기 위한 내시경 영상을 사용하는 경우, 상기 영상을 보다 자세하고 명확하게 판독할 필요가 있으므로, 디지털 영상 안정화 프로세스를 적용하여 영상을 보다 안정화시켜 제공하는 것이 바람직하게 된다.
보다 구체적인 예로서, 상기 특정한 병변을 진단하기 위한 내시경 영상에는 협대역 내시경(Narrow Band Imaging) 영상 또는 자가 형광 내시경(Auto-Fluorescence Imaging) 영상이 포함될 수 있다. 협대역 내시경과 자가 형광 내시경에 대한 기술적인 내용은 잘 알려져 있으므로 이에 대한 내용은 생략하기로 한다.
또한, 상기 미리 특정 종류의 내시경 영상으로서, 4K 이상의 초고해상도 내시경 영상이 포함될 수도 있다. 앞서 설명한 바와 유사하게, 의료진 등 사용자가 일반적인 내시경 영상이 아니라 4K 이상의 초고해상도 내시경 영상을 사용하는 경우, 상기 영상을 보다 자세하고 명확하게 판독하고자 하는 경우라고 할 수 있으므로, 디지털 영상 안정화 프로세스를 적용하여 영상을 보다 안정화시켜 제공하는 것이 바람직하게 된다.
나아가, 앞서 설명한 확대된 영상, 정적(stationary) 영상 또는 미리 정해진 특정 종류의 내시경 영상 중 복수의 경우에 해당하는 경우에도 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템(100)이 적용될 수 있으며, 특히 확대된 영상이자 정적(stationary) 영상인 경우 등과 같이 복수의 조건에 해당하는 경우에는 본 발명에 따른 내시경 영상 안정화 시스템(100)이 적용됨으로써, 그 효용성이 더욱 커질 수 있다.
이어서, 상기 영상 안정화 적용 조건 판단부(120)에서는 상기 영상의 속성 정보를 고려하여 미리 정해진 영상 안정화 적용 조건의 충족 여부를 판단하게 된다.
이에 따라, 상기 영상이 확대된 영상이거나, 정적(stationary) 영상이거나 또는 미리 정해진 특정 종류의 내시경 영상인지 여부를 고려하여 상기 영상이 미리 정해진 영상 안정화 적용 조건을 충족하는지 여부를 판단하게 된다.
또한, 상기 디지털 영상 안정화부(130)에서는 상기 영상 안정화 적용 요건이 충족되는 경우, 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하게 된다.
이때, 상기 디지털 영상 안정화(Digital Image Stabilization, DIS) 기법으로서는 상기 영상을 적절하게 안정화(stabilization)시킬 수 있는 기법이라면 특별한 제한이 없이 적용될 수 있다. 상기 디지털 영상 안정화 프로세스는 종래의 기술에 따라 다양하게 구현될 수 있으므로, 여기서 자세한 설명은 생략하기로 한다.
도 6에서는 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템이 적용된 내시경 영상처리 시스템(200)의 블록도를 예시하고 있다.
도 6에서 음영으로 처리된 내시경 영상 안정화 시스템(210 내지 230)을 제외한 나머지 모듈들은 통상의 내시경 시스템의 구성에 따라 구현될 수 있는 바, 아래에서는 본 발명에 따른 내시경 영상 안정화 시스템(210 내지 230)을 중심으로 간략하게 설명하기로 한다.
도 6에서 볼 수 있는 바와 같이, 내시경 스코프(2)에서 생성된 영상 신호는 소정의 인터페이스(Image Sensor Interface)를 거쳐 손상 픽셀 보상(Defective Pixel Correction) 모듈 등 일련의 영상 처리 모듈을 거쳐 의료진 등 사용자에게 제공할 영상을 생성하게 된다.
이때, 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템(210 내지 230)의 동작을 구체적으로 살펴보면, 먼저 영상 속성 정보 수집부(210)에서는 상기 영상에 대한 디지털 영상 안정화 프로세스 수행 여부를 판단하기 위한 속성 정보를 수집하게 된다.
보다 구체적으로, 영상 움직임 통계 산출부(212)에서는 상기 영상이 정적(stationary) 영상인지 여부를 판단하기 위하여 상기 영상에 대한 움직임 통계(motion statistics) 정보를 산출하게 된다.
도 6에서는 상기 영상 움직임 통계 산출부(212)가 영상 통계(Image statistics) 모듈과 함께 수행되는 것으로 기술되어 있으나, 상기 영상에 대한 움직임 통계(motion statistics) 정보를 적절하게 산출할 수 있는 시점이라면 특별한 제한없이 적용이 가능하다.
또한, 영상 모드 판단부(214)에서는 상기 영상이 미리 정해진 특정 종류의 내시경 영상인지 여부를 판단하고, 영상 확대 상태 판단부(216)에서는 상기 영상이 확대된 영상인지 여부를 판단하며, 정지 영상 판단부(218)에서는 상기 영상 움직임 통계 산출부(212)에서 산출된 상기 영상에 대한 움직임 통계(motion statistics) 정보를 이용하여 상기 영상이 정지(stationary) 영상인지 여부를 판단하게 된다.
이어서, 영상 안정화 적용 조건 판단부(220)에서는 상기 영상이 미리 정해진 영상 안정화 적용 조건을 충족하는지 여부를 판단하게 된다.
이에 따라, 상기 디지털 영상 안정화부(230)에서는 상기 영상 안정화 적용 요건이 충족되는 경우, 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하게 된다.
도 6에서는 상기 디지털 영상 안정화부(230)가 색상 영역 변환(Color Space Conversion) 모듈 이후에 수행되는 것으로 기술되어 있으나, 상기 영상에 대한 디지털 영상 안정화 프로세스를 적절하게 수행할 수 있는 시점이라면 특별한 제한없이 적용이 가능하다.
또한, 도 7에서는 본 발명의 일 실시예에 따른 내시경 영상 안정화 방법의 순서도를 도시하고 있다.
도 7에서 볼 수 있는 바와 같이 본 발명의 일 실시예에 따른 내시경 영상 안정화 방법은, 내시경을 이용하여 생성된 영상에 대하여 디지털 영상 안정화를 수행하는 내시경 영상 안정화 방법으로서, 상기 영상의 속성 정보를 수집하는 영상 속성 정보 수집 단계(S110); 상기 영상의 속성 정보를 고려하여 미리 정해진 영상 안정화 적용 조건의 충족 여부를 판단하는 영상 안정화 적용 조건 판단 단계(S120); 및 상기 영상 안정화 적용 요건이 충족되는 경우, 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하는 디지털 영상 안정화 단계(S130)를 포함할 수 있다.
본 발명의 일 실시예에 따른 내시경 영상 안정화 방법은 앞서 설명한 내시경 영상 안정화 시스템(100)과 그 동작 원리 및 동작이 유사하여 통상의 기술자가 용이하게 구현하고 실시할 수 있으므로 보다 자세한 설명은 생략하며 앞서 설명한 내시경 영상 안정화 시스템(100)에 대한 일련의 설명을 참조할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경, 및 치환이 가능할 것이다. 따라서 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면들에 의해서 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
1 : 내시경 시스템 2 : 내시경 스코프
4 : 제어부 5 : 표시부
100 : 내시경 영상 안정화 시스템 110 : 영상 속성 정보 수집부
120 : 영상 안정화 적용 조건 판단부 130 : 디지털 영상 안정화부
200 : 내시경 영상처리 시스템 210 : 영상 속성 정보 수집부
212 : 영상 움직임 통계 산출부 214 : 영상 모드 판단부
216 : 영상 확대 상태 판단부 218 : 정지 영상 판단부
220 : 영상 안정화 적용 조건 판단부 230 : 디지털 영상 안정화부

Claims (12)

  1. 내시경을 이용하여 생성된 영상에 대하여 디지털 영상 안정화(Digital Image Stabilization)를 수행하는 내시경 영상 안정화 시스템에 있어서,
    상기 영상의 속성 정보를 수집하는 영상 속성 정보 수집부;
    상기 영상의 속성 정보를 고려하여 미리 정해진 영상 안정화 적용 조건의 충족 여부를 판단하는 영상 안정화 적용 조건 판단부; 및
    상기 영상 안정화 적용 요건이 충족되는 경우, 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하는 디지털 영상 안정화부;를 포함하며,
    상기 영상 안정화 적용 조건 판단부에서는,
    상기 영상의 전체적인 움직임(global motion)을 측정한 제1 수치와 상기 영상을 구성하는 하나 이상의 구성단위의 부분적인 움직임(local motion)을 측정한 제2 수치에 대하여,
    상기 제1 수치와 상기 제2 수치의 차이가 미리 설정된 기준치 범위 내에 있는 경우에는 상기 영상 안정화 적용 요건이 충족되는 것으로 판단하고,
    상기 제2 수치가 상기 제1 수치보다 커서 상기 차이가 상기 기준치 범위를 벗어나는 경우에는 상기 영상 안정화 적용 요건이 충족되지 않는 것으로 판단하는 것을 특징으로 하는 내시경 영상 안정화 시스템.
  2. 제1항에 있어서,
    상기 영상의 속성 정보에는,
    상기 영상이 확대된 영상인지 여부, 상기 영상이 정적(stationary) 영상인지 여부 또는 상기 영상이 미리 정해진 특정 종류의 내시경 영상인지 여부에 대한 정보 중 하나 이상이 포함되는 것을 특징으로 하는 내시경 영상 안정화 시스템.
  3. 제2항에 있어서,
    상기 영상 안정화 적용 조건 판단부에서는,
    상기 영상이 광학 확대된 영상이거나, 디지털 확대된 영상이거나, 광학 및 디지털 확대된 영상인 경우,
    상기 영상의 영상 안정화 적용 조건이 충족되었다고 판단하는 것을 특징으로 하는 내시경 영상 안정화 시스템.
  4. 제2항에 있어서,
    상기 영상 안정화 적용 조건 판단부에서는,
    상기 영상이 특정 대역의 파장 또는 특정 형광을 이용하여 특정한 병변을 진단하기 위한 내시경 영상인 경우,
    상기 영상의 영상 안정화 적용 조건이 충족되었다고 판단하는 것을 특징으로 하는 내시경 영상 안정화 시스템.
  5. 제4항에 있어서,
    상기 특정한 병변을 진단하기 위한 내시경 영상은,
    협대역 내시경(Narrow Band Imaging) 영상 또는 자가 형광 내시경(Auto-Fluorescence Imaging) 영상인 것을 특징으로 하는 내시경 영상 안정화 시스템.
  6. 제2항에 있어서,
    상기 영상 안정화 적용 조건 판단부에서는,
    상기 영상이 4K 이상의 초고해상도 내시경 영상인 경우,
    상기 영상의 영상 안정화 적용 조건이 충족되었다고 판단하는 것을 특징으로 하는 내시경 영상 안정화 시스템.
  7. 제2항에 있어서,
    영상이 정적(stationary) 영상인지 여부는,
    상기 제1 수치와 상기 제2 수치 중 하나 이상을 고려하여 판단하는 것을 특징으로 하는 내시경 영상 안정화 시스템.
  8. 제7항에 있어서,
    상기 제2 수치의 평균치가 소정의 기준치 이하인 경우 정적(stationary) 영상으로 판단하는 것을 특징으로 하는 내시경 영상 안정화 시스템.
  9. 제7항에 있어서,
    상기 제2 수치의 분산값이 소정의 기준치 중 하나 가 미리 설정된 기준치 이하인 경우 정적(stationary) 영상으로 판단하는 것을 특징으로 하는 내시경 영상 안정화 시스템.
  10. 삭제
  11. 제1항에 있어서,
    상기 디지털 영상 안정화부는,
    상기 영상 안정화 적용 요건이 충족되는 경우, 상기 내시경의 사용자의 추가적인 조작이 없더라도 자동으로 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하는 것을 특징으로 하는 내시경 영상 안정화 시스템.
  12. 내시경을 이용하여 생성된 영상에 대하여 디지털 영상 안정화를 수행하는 내시경 영상 안정화 방법에 있어서,
    상기 영상의 속성 정보를 수집하는 영상 속성 정보 수집 단계;
    상기 영상의 속성 정보를 고려하여 미리 정해진 영상 안정화 적용 조건의 충족 여부를 판단하는 영상 안정화 적용 조건 판단 단계; 및
    상기 영상 안정화 적용 요건이 충족되는 경우, 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하는 디지털 영상 안정화 단계;를 포함하며,
    상기 영상 안정화 적용 조건 판단 단계에서는,
    상기 영상의 전체적인 움직임(global motion)을 측정한 제1 수치와 상기 영상을 구성하는 하나 이상의 구성단위의 부분적인 움직임(local motion)을 측정한 제2 수치에 대하여,
    상기 제1 수치와 상기 제2 수치의 차이가 미리 설정된 기준치 범위 내에 있는 경우에는 상기 영상 안정화 적용 요건이 충족되는 것으로 판단하고,
    상기 제2 수치가 상기 제1 수치보다 커서 상기 차이가 상기 기준치 범위를 벗어나는 경우에는 상기 영상 안정화 적용 요건이 충족되지 않는 것으로 판단하는 것을 특징으로 하는 내시경 영상 안정화 방법.
KR1020160146557A 2016-11-04 2016-11-04 내시경 영상 안정화 방법 및 시스템 KR102615296B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160146557A KR102615296B1 (ko) 2016-11-04 2016-11-04 내시경 영상 안정화 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160146557A KR102615296B1 (ko) 2016-11-04 2016-11-04 내시경 영상 안정화 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20180049980A KR20180049980A (ko) 2018-05-14
KR102615296B1 true KR102615296B1 (ko) 2023-12-19

Family

ID=62187677

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160146557A KR102615296B1 (ko) 2016-11-04 2016-11-04 내시경 영상 안정화 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102615296B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012217579A (ja) * 2011-04-07 2012-11-12 Olympus Corp 内視鏡装置及びブレ補正処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003334163A (ja) * 2002-03-14 2003-11-25 Olympus Optical Co Ltd 内視鏡画像処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012217579A (ja) * 2011-04-07 2012-11-12 Olympus Corp 内視鏡装置及びブレ補正処理方法

Also Published As

Publication number Publication date
KR20180049980A (ko) 2018-05-14

Similar Documents

Publication Publication Date Title
US9787905B2 (en) Image processing apparatus, image display apparatus and imaging apparatus having the same, image processing method, and computer-readable medium storing image processing program for displaying an image having an image range associated with a display area
JP5996319B2 (ja) ステレオ計測装置およびステレオ計測装置の作動方法
WO2012032914A1 (ja) 画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法
JPWO2016199273A1 (ja) 内視鏡装置及び内視鏡装置の作動方法
US8052598B2 (en) Systems and methods for calibrating an endoscope
US10609354B2 (en) Medical image processing device, system, method, and program
WO2019073814A1 (ja) 焦点検出装置および方法、並びにプログラム
JP6736670B2 (ja) 内視鏡システム
US11419482B2 (en) Endoscope apparatus, control method of endoscope apparatus, and recording medium
JPWO2016117107A1 (ja) 内視鏡装置及び内視鏡装置のフォーカス制御方法
JP2010220794A (ja) 内視鏡画像回転装置および方法並びにプログラム
US8184149B2 (en) Ophthalmic apparatus and method for increasing the resolution of aliased ophthalmic images
EP3247113B1 (en) Image processing device, image processing method, program, and endoscope system
KR102615296B1 (ko) 내시경 영상 안정화 방법 및 시스템
JP4487077B2 (ja) 単一の撮像装置で連続取得したビデオ映像による立体表示方法
JP2018079249A (ja) 医療用信号処理装置及び医療用観察システム
US11778325B2 (en) Image processing apparatus, image processing method, and image processing program
JP5835797B2 (ja) パノラマ画像作成プログラム
US10555661B2 (en) Endoscope System
JP6006035B2 (ja) 立体視内視鏡システム
EP3541064A1 (en) Image processing device and method, and program
JP6619217B2 (ja) 顕微鏡システムとその制御方法
JPWO2018225346A1 (ja) 医療用システム及び制御ユニット
EP3982624A1 (en) Image processing device, image processing method, and program
JP2014003990A (ja) 内視鏡装置および内視鏡観察システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant