KR20180049980A - Method and system for stabilizing endoscopic images - Google Patents
Method and system for stabilizing endoscopic images Download PDFInfo
- Publication number
- KR20180049980A KR20180049980A KR1020160146557A KR20160146557A KR20180049980A KR 20180049980 A KR20180049980 A KR 20180049980A KR 1020160146557 A KR1020160146557 A KR 1020160146557A KR 20160146557 A KR20160146557 A KR 20160146557A KR 20180049980 A KR20180049980 A KR 20180049980A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- stabilization
- image stabilization
- endoscopic
- digital
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000000087 stabilizing effect Effects 0.000 title abstract description 11
- 230000006641 stabilisation Effects 0.000 claims abstract description 153
- 238000011105 stabilization Methods 0.000 claims abstract description 153
- 230000008569 process Effects 0.000 claims abstract description 29
- 230000033001 locomotion Effects 0.000 claims description 64
- 239000000470 constituent Substances 0.000 claims description 13
- 230000003902 lesion Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000000799 fluorescence microscopy Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Abstract
Description
본 발명은 내시경 영상 안정화 방법 및 시스템에 관한 것으로, 보다 구체적으로는 내시경을 이용하여 생성된 영상의 속성 정보를 고려하여 미리 정해진 영상 안정화 적용 조건을 충족하는 경우 디지털 영상 안정화 프로세스가 자동적으로 수행되도록 함으로써, 의료진 등 사용자의 추가적인 조작 없이 내시경 영상을 안정화시킬 수 있으며, 나아가 디지털 영상 안정화에서 나타날 수 있는 오류를 효과적으로 방지할 수 있는 내시경 영상 안정화 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for stabilizing an endoscopic image, and more particularly, to a digital image stabilization process when a predetermined image stabilization application condition is satisfied in consideration of attribute information of an image generated using an endoscope And more particularly, to an endoscopic image stabilization method and system capable of stabilizing an endoscopic image without additional manipulation of a user such as a medical staff, and further effectively preventing an error in digital image stabilization.
환자의 위장, 소장, 대장 등을 다양한 장기를 진단하거나 치료에 사용하기 위하여 여러 종류의 내시경이 활용되고 있다. 그런데, 상기 내시경에서는 카메라의 움직임이나 내시경 고정장치의 기계적 불안정 등에 의하여 영상의 흔들림이 발생할 수 있으며, 이로 인하여 진단 및 치료에 어려움을 초래할 수 있다. 특히, 수술 등 위급한 상황에서의 영상의 흔들림은 환자에게 치명적인 위험을 초래할 수도 있다. Several types of endoscopes have been used to diagnose or treat various organs such as the stomach, small intestine, and large intestine of a patient. However, in the endoscope, image movement may occur due to movement of a camera or mechanical instability of an endoscope fixing device, which may cause difficulty in diagnosis and treatment. In particular, the shaking of the image in an emergency such as an operation may cause a fatal risk to the patient.
이에 따라, 내시경에서의 영상 흔들림을 방지, 보정하여 안정화된 영상을 제공할 수 있는 것이 바람직하며, 이를 위한 여러 기술들이 시도되고 있다. 통상적으로 영상의 흔들림을 보정하는 기술을 영상 안정화(image stabilization) 기술이라고 하며, 크게 광학적 영상 안정화(Optical Image Stabilization, OIS) 기법과 디지털 영상 안정화(Digital Image Stabilization, DIS) 기법 등으로 구분될 수 있다. 여기서, 상기 광학적 영상 안정화(OIS) 기법은 렌즈를 이용하여 영상을 안정화하는 방법과 이미지 센서를 이용하여 영상을 안정화하는 방법 등으로 구분될 수 있으며, 또한 상기 디지털 영상 안정화(DIS) 기법은 영상처리 기술을 이용하여 영상 내에서 발생하는 움직임 정보를 추정하여 영상의 흔들림에 대응하는 모션 정보를 예측(motion estimation)하고 보상(motion compensation)하여 영상의 흔들림을 제거하거나 완화하게 된다.Accordingly, it is desirable to be able to provide a stabilized image by preventing and correcting image blurring in the endoscope, and various techniques have been attempted for this purpose. Conventionally, a technique of correcting image shake is referred to as an image stabilization technique and can be roughly divided into an optical image stabilization (OIS) technique and a digital image stabilization (DIS) technique . Here, the optical image stabilization (OIS) technique can be classified into a method of stabilizing an image using a lens and a method of stabilizing an image using an image sensor. The digital image stabilization (DIS) The motion information generated in the image is estimated by using the motion estimation and motion compensation of the motion information corresponding to the shake of the image to remove or alleviate the shake of the image.
그런데, 내시경은 통상 환자의 체내나 환부 등에 삽입되어야 하므로 렌즈, 센서 등을 소형화하는 것이 필수적이며, 이에 따라 상기 광학적 영상 안정화(OIS) 등 하드웨어적 기법을 적용하면 시스템의 복잡도가 증가할 수 있고 나아가 제작 원가도 증가시킬 수 있다는 문제가 따른다.However, since an endoscope is usually inserted into a patient's body or an affected part, it is essential to miniaturize a lens, a sensor, and the like. Accordingly, if a hardware technique such as optical image stabilization (OIS) is applied, the complexity of the system can be increased, There is a problem that the production cost can be increased.
또한, 디지털 영상 안정화(DIS) 기법을 적용하는 경우에도 영상의 모션이 복잡한 경우(complex motion)에는 영상의 피사체 움직임과 카메라의 떨림에 의한 움직임을 구분하기 어려워지는 등, 디지털 영상 안정화(DIS) 기법을 적절하게 수행하기 어려울 수 있으며, 나아가 의료진의 수술 도구의 움직임 등을 화면 떨림으로 인식하면서 디지털 영상 안정화(DIS)로 인하여 오히려 화면이 크게 흔들리는 오류가 발생할 가능성도 있다. 이러한 문제 등으로 인하여, 종래에는 디지털 영상 안정화(DIS) 기법이 내시경의 회전(rotation motion) 또는 병변 인식 등 한정적인 용도로 제한되어 적용되는데 그쳤다.In addition, even when the digital image stabilization (DIS) technique is applied, it is difficult to distinguish the motion due to the motion of the subject and the motion of the camera in the complex motion of the image, It may be difficult to appropriately perform the operation, and further, there is a possibility that an error that the screen is largely shaken due to the digital image stabilization (DIS) while recognizing the movement of the surgical tool of the medical staff as the screen shake. Due to these problems, conventionally, digital image stabilization (DIS) techniques have been limited to limited applications such as endoscopic rotation motion or lesion recognition.
본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로, 내시경 영상에 대한 디지털 영상 안정화(DIS) 기법이 회전(rotation motion) 또는 병변 인식 등으로 제한되지 않고 이동(translation), 복합(affine) 움직임(motion) 등 다양한 움직임을 포함하는 영상에도 적용(global motion model)할 수 있는 내시경 영상 안정화 방법 및 시스템을 제공하는 것을 목적으로 한다.Disclosure of Invention Technical Problem [8] Accordingly, the present invention has been made to solve the above problems, and it is an object of the present invention to provide a digital image stabilization (DIS) technique for an endoscopic image without limitation of rotation or lesion recognition, The present invention also provides an endoscopic image stabilization method and system capable of applying a global motion model to an image including various movements such as a motion.
또한, 본 발명은 내시경 영상에 대하여 디지털 영상 안정화(DIS) 기법을 적용하는 경우 나타날 수 있는 오류의 발생을 억제할 수 있는 내시경 영상 안정화 방법 및 시스템을 제공하는 것을 목적으로 한다.It is another object of the present invention to provide an endoscopic image stabilization method and system capable of suppressing occurrence of errors that may occur when a digital image stabilization (DIS) technique is applied to an endoscopic image.
나아가, 본 발명은 의료진 등 사용자의 추가적인 조작 없이도 적절한 시점에 내시경 영상을 자동적으로 안정화시킬 수 있는 내시경 영상 안정화 방법 및 시스템을 제공하는 것을 목적으로 한다.It is another object of the present invention to provide an endoscopic image stabilization method and system capable of automatically stabilizing an endoscopic image at an appropriate time without requiring a user to perform additional operations.
그 외 본 발명의 세부적인 목적은 이하에 기재되는 구체적인 내용을 통하여 이 기술 분야의 전문가나 연구자에게 자명하게 파악되고 이해될 것이다.Other objects and advantages of the present invention will become apparent to those skilled in the art from the following detailed description.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템은, 내시경을 이용하여 생성된 영상에 대하여 디지털 영상 안정화(Digital Image Stabilization)를 수행하는 내시경 영상 안정화 시스템으로서, 상기 영상의 속성 정보를 수집하는 영상 속성 정보 수집부; 상기 영상의 속성 정보를 고려하여 미리 정해진 영상 안정화 적용 조건의 충족 여부를 판단하는 영상 안정화 적용 조건 판단부; 및 상기 영상 안정화 적용 요건이 충족되는 경우, 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하는 디지털 영상 안정화부;를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an endoscopic image stabilization system for performing digital image stabilization on an image generated using an endoscope, A video attribute information collecting unit for collecting attribute information; An image stabilization applying condition determiner for determining whether a predetermined image stabilization applying condition is satisfied in consideration of the attribute information of the image; And a digital image stabilization unit that performs a digital image stabilization process on the image when the image stabilization application requirement is satisfied.
여기서, 상기 영상의 속성 정보에는, 상기 영상이 확대된 영상인지 여부, 상기 영상이 정적(stationary) 영상인지 여부 또는 상기 영상이 미리 정해진 특정 종류의 내시경 영상인지 여부에 대한 정보 중 하나 이상이 포함될 수 있다.Here, the attribute information of the image may include at least one of whether the image is an enlarged image, whether the image is a stationary image, or whether the image is a specific kind of endoscopic image determined in advance have.
이때, 상기 영상 안정화 적용 조건 판단부에서는, 상기 영상이 광학 확대된 영상이거나, 디지털 확대된 영상이거나, 광학 및 디지털 확대된 영상인 경우, 상기 영상의 영상 안정화 적용 조건이 충족되었다고 판단할 수 있다.At this time, the image stabilization application condition determination unit may determine that the image stabilization application condition of the image is satisfied when the image is an optically magnified image, a digital magnified image, or an optical and digital magnified image.
또한, 상기 영상 안정화 적용 조건 판단부에서는, 상기 영상이 특정 대역의 파장 또는 특정 형광을 이용하여 특정한 병변을 진단하기 위한 내시경 영상인 경우, 상기 영상의 영상 안정화 적용 조건이 충족되었다고 판단할 수 있다.In addition, the image stabilization application condition determination unit may determine that the image stabilization application condition of the image is satisfied when the image is an endoscopic image for diagnosing a specific lesion using a wavelength of a specific band or specific fluorescence.
이때, 상기 특정한 병변을 진단하기 위한 내시경 영상은, 협대역 내시경(Narrow Band Imaging) 영상 또는 자가 형광 내시경(Auto-Fluorescence Imaging) 영상일 수 있다.At this time, the endoscopic image for diagnosing the specific lesion may be a Narrow Band Imaging image or an Auto-Fluorescence Imaging image.
또한, 상기 영상 안정화 적용 조건 판단부에서는, 상기 영상이 4K 이상의 초고해상도 내시경 영상인 경우, 상기 영상의 영상 안정화 적용 조건이 충족되었다고 판단할 수 있다.In addition, the image stabilization application condition determination unit may determine that the image stabilization application condition of the image is satisfied when the image is an ultrahigh-resolution endoscopic image of 4K or more.
또한, 영상이 정적(stationary) 영상인지 여부는, 상기 영상의 전체적인 움직임(global motion)을 측정한 수치와 상기 영상을 구성하는 하나 이상의 구성단위(예를 들어, 화소(pixel) 또는 화소들의 그룹인 블록(block)) 의 부분적인 움직임(local motion)을 측정한 수치 중 하나 이상을 고려하여 판단할 수 있다.Whether or not the image is a stationary image may be determined by measuring a global motion of the image and a value of one or more constituent units (for example, pixels or groups of pixels) The motion of the block may be determined by considering at least one of the measured values of the local motion of the block.
이때, 상기 영상을 구성하는 하나 이상의 구성단위의 움직임을 측정한 수치의 평균치가 소정의 기준치 이하인 경우 정적(stationary) 영상으로 판단할 수 있다.At this time, if the average of the values of the motion of one or more constituent units constituting the image is less than a predetermined reference value, it can be determined as a stationary image.
또한, 상기 영상을 구성하는 하나 이상의 구성단위의 움직임의 크기 또는 방향을 측정한 수치의 분산값이 소정의 기준치 중 하나 가 미리 설정된 기준치 이하인 경우 정적(stationary) 영상으로 판단할 수 있다.In addition, if one of the predetermined reference values is equal to or less than a predetermined reference value, the stationary image can be determined.
또한, 상기 영상의 전체적인 움직임(global motion)을 측정한 수치와 상기 영상을 구성하는 하나 이상의 구성단위의 부분적인 움직임(local motion)을 측정한 수치의 차이가 미리 설정된 기준치 범위 내에 있는 경우 정적(stationary) 영상으로 판단할 수 있다.When the difference between the measured value of the global motion of the image and the measured value of the local motion of one or more constituent units constituting the image is within a preset reference value range, ) Image.
나아가, 상기 디지털 영상 안정화부는, 상기 영상 안정화 적용 요건이 충족되는 경우, 상기 내시경의 사용자의 추가적인 조작이 없더라도 자동으로 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행할 수 있다.Furthermore, the digital image stabilization unit may automatically perform the digital image stabilization process on the image even if the user of the endoscope does not have any additional operation, when the image stabilization application requirement is satisfied.
본 발명의 다른 측면에 따른 내시경 영상 안정화 방법은, 내시경을 이용하여 생성된 영상에 대하여 디지털 영상 안정화를 수행하는 내시경 영상 안정화 방법으로서, 상기 영상의 속성 정보를 수집하는 영상 속성 정보 수집 단계; 상기 영상의 속성 정보를 고려하여 미리 정해진 영상 안정화 적용 조건의 충족 여부를 판단하는 영상 안정화 적용 조건 판단 단계; 및 상기 영상 안정화 적용 요건이 충족되는 경우, 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하는 디지털 영상 안정화 단계;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an endoscopic image stabilization method for stabilizing an image generated using an endoscope, the method comprising: acquiring image attribute information of the image; An image stabilization applying condition determining step of determining whether a predetermined image stabilization applying condition is satisfied in consideration of the attribute information of the image; And a digital image stabilization step of performing a digital image stabilization process on the image when the image stabilization application requirement is satisfied.
본 발명의 일 실시예에 따른 내시경 영상 안정화 방법 및 시스템에서는, 미리 정해진 영상 안정화 적용 조건을 충족하는 경우 디지털 영상 안정화 프로세스가 수행되도록 함으로써, 내시경 영상에 대한 디지털 영상 안정화(DIS) 기법이 회전(rotation motion) 또는 병변 인식 등으로 제한되지 않고 이동(translation), 복합(affine) 움직임(motion) 등 다양한 움직임을 포함하는 영상에도 적용(global motion model)할 수 있으며, 나아가 내시경 영상에 대하여 디지털 영상 안정화(DIS) 기법을 적용하는 경우 나타날 수 있는 오류의 발생을 억제할 수 있게 된다.In the endoscopic image stabilization method and system according to an embodiment of the present invention, when a predetermined image stabilization application condition is satisfied, a digital image stabilization process is performed, and a digital image stabilization (DIS) the present invention can be applied to an image including various movements such as translation and affine motion without being limited to motion or lesion recognition. DIS) technique, it is possible to suppress the occurrence of errors that may occur.
또한, 본 발명의 일 실시예에 따른 내시경 영상 안정화 방법 및 시스템에서는 의료진 등 사용자의 추가적인 조작 없이도 적절한 시점에 내시경 영상을 자동적으로 안정화시킬 수 있게 된다.Also, in the endoscope image stabilization method and system according to an embodiment of the present invention, the endoscope image can be automatically stabilized at an appropriate time without additional operation by a user such as a medical staff.
나아가, 사용자 입장에서는 영상 안정화를 통해 진단, 치료 시간이 줄어들게 되고, 의료진 등의 피로도 또한 감소시킬 수 있다는 부가적인 효과도 기대할 수 있다.Further, the user can expect additional effects such as reduction of diagnosis and treatment time by image stabilization and reduction of fatigue of medical staff.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 일 실시예에 따른 내시경 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템의 블록도이다.
도 3과 도 4는 본 발명의 일 실시예에 따른 확대 내시경에서의 광학 영상 확대를 설명하는 예시도다.
도 5는 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템에서의 영상의 전체적인 움직임(global motion)의 다양한 예이다.
도 6은 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템이 적용된 내시경 영상처리 시스템의 블록도이다.
도 7은 본 발명의 일 실시예에 따른 내시경 영상 안정화 방법의 순서도이다.BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are included to provide a further understanding of the invention and are incorporated in and constitute a part of the specification, illustrate embodiments of the invention and, together with the description, serve to explain the principles of the invention.
1 is a configuration diagram of an endoscope system according to an embodiment of the present invention.
2 is a block diagram of an endoscopic image stabilization system according to an embodiment of the present invention.
FIGS. 3 and 4 are explanatory views illustrating optical image enlargement in an enlarged endoscope according to an embodiment of the present invention. FIG.
FIG. 5 shows various examples of global motion of an image in an endoscopic image stabilization system according to an embodiment of the present invention.
6 is a block diagram of an endoscopic image processing system to which an endoscopic image stabilization system according to an embodiment of the present invention is applied.
7 is a flowchart of an endoscopic image stabilization method according to an embodiment of the present invention.
이하, 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세하게 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 첨가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 실시될 수 있음은 물론이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. Further, the preferred embodiments of the present invention will be described below, but it is needless to say that the technical idea of the present invention is not limited thereto and can be practiced by those skilled in the art.
이하에서는, 본 발명에 따른 내시경 영상 안정화 방법 및 시스템의 예시적인 실시형태들을 첨부된 도면을 참조하여 상세히 설명한다.Hereinafter, exemplary embodiments of an endoscopic image stabilization method and system according to the present invention will be described in detail with reference to the accompanying drawings.
먼저, 도 1에서는 본 발명의 일 실시예에 따른 내시경 시스템(1)의 구성도를 예시하고 있다. 도 1에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 내시경 시스템(1)은 카메라 등 촬영 수단을 구비하는 내시경 스코프(2), 상기 내시경 스코프(2)의 구동을 제어하고, 나아가 상기 내시경 스코프(2)로부터 카메라 등 상기 촬영 수단을 이용하여 생성된 영상 신호를 전송받아, 모니터 등 표시부(5)를 통해 의료진 등 사용자에게 제공하는 제어부(4)를 포함하여 구성될 수 있다.First, FIG. 1 illustrates a configuration diagram of an
도 1은 편의상 특정 내시경 형태로 그려졌지만, 본 특허의 내용은 연성 내시경 (flexible endoscopy) 및 경성 내시경 (rigid endoscopy) 등 다양한 내시경 시스템(1)에 적용 가능하다.1 is depicted in a specific endoscopic form for convenience, the contents of this patent are applicable to various
이때, 본 발명의 일 실시예에 따른 내시경 시스템(1)에서는 상기 내시경 스코프(2)의 카메라 등 촬영 수단을 이용하여 생성되는 영상에 대하여, 미리 정해진 영상 안정화 적용 조건을 충족하는 경우 디지털 영상 안정화 프로세스가 수행되도록 함으로써, 내시경 영상에 대한 디지털 영상 안정화에서 나타날 수 있는 오류를 방지하면서 안정화된(stabilized) 내시경 영상을 얻을 수 있는 내시경 영상 안정화 방법 및 시스템에 관한 것이다.At this time, in the
보다 구체적으로, 상기 제어부(4)는 상기 내시경 스코프(2)로부터 카메라 등 촬영 수단을 이용하여 생성된 영상 신호를 수신하여 영상을 생성하거나, 생성된 영상을 수신할 수 있다. 이어서, 상기 제어부(4)는 상기 영상의 속성 정보를 고려하여 상기 영상에 대한 영상 안정화를 적용할 것인지를 판단하게 된다.More specifically, the
여기서, 상기 영상의 속성 정보로서는 상기 영상이 확대된 영상인지 여부, 상기 영상이 정적(stationary) 영상인지 여부 또는 상기 영상이 미리 정해진 특정 종류의 내시경 영상인지 여부에 대한 정보 중 하나 이상을 고려할 수 있다.Here, the attribute information of the image may include at least one of whether the image is an enlarged image, whether the image is a stationary image, or whether the image is a predetermined kind of endoscopic image .
이어서, 상기 영상에 대한 안정화를 적용하도록 판단하는 경우, 상기 제어부(4)는 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하여 상기 영상을 안정화한 후, 모니터 등 상기 표시부(5)를 통해 의료진 등 사용자에게 제공하게 된다.Then, when it is determined to apply the stabilization to the image, the
위에서는 제어부(4)에서 상기 영상에 대한 영상 안정화 등을 수행하는 것으로 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 상기 제어부(4) 외에 상기 표시부(5) 등 다른 장치와 일체로 구현되거나, 별도의 장치나 시스템으로 분리되어 구현될 수도 있다.The present invention is not necessarily limited thereto and may be implemented integrally with other devices such as the display unit 5 in addition to the
또한, 위에서 의료진 등이 내시경을 사용하는 경우를 예를 들어 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 이외에도 산업용 내시경 등 다양한 내시경에도 적용될 수 있다.In addition, although a case where a medical staff or the like uses the endoscope has been described above, the present invention is not necessarily limited thereto, but may be applied to various endoscopes such as an industrial endoscope.
도 2에서는 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템(100)의 블록도를 도시하고 있다. 앞서 설명한 바와 같이 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템(100)은 내시경 시스템(1)과 통합되어 일체로 구현될 수도 있으며, 나아가 상기 내시경 시스템(1)과 별도의 장치로 구현되어 상기 내시경 시스템(1)과 연동하여 구동될 수도 있다.FIG. 2 is a block diagram of an endoscopic
도 2에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템(100)은, 내시경을 이용하여 생성된 영상에 대하여 디지털 영상 안정화(Digital Image Stabilization)를 수행하는 내시경 영상 안정화 시스템(100)으로서, 상기 영상의 속성 정보를 수집하는 영상 속성 정보 수집부(110), 상기 영상의 속성 정보를 고려하여 미리 정해진 영상 안정화 적용 조건의 충족 여부를 판단하는 영상 안정화 적용 조건 판단부(120) 및 상기 영상 안정화 적용 요건이 충족되는 경우, 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하는 디지털 영상 안정화부(130)를 포함하여 구성될 수 있다.2, an endoscopic
아래에서는 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템(100)을 각 구성요소별로 나누어 보다 자세하게 설명한다.Hereinafter, an endoscopic
먼저, 상기 영상 속성 정보 수집부(110)에서는 상기 내시경을 이용하여 생성된 영상에 대한 속성 정보를 수집하게 된다. 보다 구체적으로 상기 영상에 대한 속성 정보에는 상기 영상이 확대된 영상인지 여부, 상기 영상이 정적(stationary) 영상인지 여부 또는 상기 영상이 미리 정해진 특정 종류의 내시경 영상인지 여부에 대한 정보 중 하나 이상이 포함될 수 있다.First, the image attribute
이때, 상기 영상 속성 정보 수집부(110)는 상기 내시경 시스템(1)에서 생성되는 소정의 정보를 전달받거나, 상기 영상으로부터 산출되는 정보를 이용하는 등 다양한 방법으로 상기 영상에 대한 속성 정보를 수집할 수 있다. At this time, the image attribute
보다 구체적인 예를 들어, 상기 영상 속성 정보 수집부(110)는 상기 내시경 시스템(1)에서 생성되는 줌 상태(zoom status) 정보를 수집하거나 소정의 인터페이스를 이용하여 전송받을 수 있으며, 또는 정적(stationary) 영상 여부에 대해서는 상기 영상에 대한 움직임 통계(motion statistics) 정보를 산출하여 생성할 수도 있다.More specifically, the image attribute
또한, 상기 영상에 대한 속성 정보에 대하여 보다 구체적으로 살펴보면, 상기 영상이 확대된 영상인 경우, 내시경 스코프(2)의 카메라 등의 흔들림 등에 의하여 영상의 흔들림이 더욱 크게 영향을 받으면서 의료진 등 사용자가 영상을 판독하는데 어려움이 커질 수 있다. 이에 따라, 상기 영상이 확대된 영상인 경우 디지털 영상 안정화 프로세스를 적용하여 영상을 안정화하여 줌으로써, 의료진 등 사용자가 안정적으로 내시경 영상을 판독할 수 있게 된다.In more detail, when the image is an enlarged image, the shaking of the image due to the camera or the like of the
여기서, 확대된 영상이라 함은 상기 영상이 광학 확대된 영상이거나, 디지털 확대된 영상이거나, 광학 및 디지털 확대된 영상을 모두 포함할 수 있다.Here, the enlarged image may include an optical enlarged image, a digital enlarged image, or both optical and digital enlarged images.
보다 구체적으로, 상기 광학 확대된 영상은 확대 내시경 등 광학 줌 기능을 구비하는 내시경에서 광학적으로 확대된 영상일 수 있다. More specifically, the optically magnified image may be an optically magnified image in an endoscope having an optical zoom function such as an enlarged endoscope.
이에 대하여, 도 3에서는 광학 줌 기능을 구비하는 확대 내시경의 동작을 설명하고 있다. 도 3에서 볼 수 있는 바와 같이 확대 내시경에서는 내장되는 렌즈를 이동(도 3의 (A))시켜 광학 배율을 조정할 수 있으며, 이에 따라 상기 확대 내시경에서는 도 4에서 볼 수 있는 바와 같이, 확대 전 영상(도 4(a))에서 자세한 관찰이 필요한 특정 영역(도 4(a)의 (A) 영역)을 광학적으로 확대하여 확대 영상(도 4(b))을 생성할 수 있으며, 이에 따라 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템(100)에서는 상기 확대 내시경에 의하여 광학 확대된 영상에 대하여 디지털 영상 안정화 프로세스를 적용함으로써, 영상을 효과적으로 안정화하여 의료진 등 사용자에게 제공할 수 있게 된다.On the other hand, Fig. 3 explains the operation of the enlarged endoscope provided with the optical zoom function. As can be seen from Fig. 3, the magnification can be adjusted by moving the built-in lens in the enlarged endoscope (Fig. 3 (A)). Thus, in the enlarged endoscope, (Fig. 4 (b)) by optically enlarging a specific region (region (A) in Fig. 4 (a) The endoscopic
또한, 상기 확대된 영상에는 광학적으로 확대된 영상 뿐만 아니라, 디지털 줌 등을 통하여 디지털 확대된 영상일 수도 있으며, 나아가, 광학 및 디지털 확대가 동시에 수행된 확대 영상일 수도 있으며, 이러한 경우도 상기 광학 확대된 영상의 경우와 마찬가지로 디지털 영상 안정화 프로세스를 적용함으로써, 영상을 효과적으로 안정화하여 의료진 등 사용자에게 제공할 수 있게 된다.In addition, the enlarged image may be an image enlarged digitally through a digital zoom or the like, and may be an enlarged image obtained by simultaneously performing optical and digital enlargement. In this case, The image is stabilized effectively and can be provided to the user such as medical staff by applying the digital image stabilization process as in the case of the image.
나아가, 상기 내시경의 영상이 확대되지 않은 영상인 경우(또는 소정의 기준치 이하로 확대된 경우), 상기 영상에 대한 디지털 영상 안정화 프로세스를 적용하면 카메라 등의 흔들림 등에 의한 전체 영상의 흔들림이 아니라 의료 도구 등의 부분적인 영상의 움직임을 잘못 판단하여 안정화(stabilization) 처리하게 될 수 있으며, 이러한 경우 오히려 영상이 더 크게 흔들리는 오류가 발생할 수 있다.Further, when the image of the endoscope is not enlarged (or is enlarged below a predetermined reference value), if a digital image stabilization process is applied to the image, the entire image is not shaken due to camera shake or the like, The motion of the partial image may be misjudged and may be stabilized. In such a case, the image may be shaken more largely.
이에 대하여, 본 발명에서는 상기 내시경의 영상이 확대된 경우(또는 소정의 기준치 이상 확대된 경우), 상기 영상에 대한 디지털 영상 안정화 프로세스가 적용되도록 함으로써, 상기 영상에 대한 디지털 영상 안정화에서의 오류 발생을 억제하면서 확대된 안정화 영상을 효과적으로 생성할 수 있게 된다.On the other hand, according to the present invention, when the image of the endoscope is enlarged (or enlarged by a predetermined reference value or more), the digital image stabilization process for the image is applied, It is possible to effectively generate an enlarged stabilized image.
또한, 상기 영상이 확대된 영상인 경우, 의료진 등 사용자가 상기 영상을 자세하게 판독하기 위하여 확대하는 경우라고 할 수 있는 바, 상기 영상에 대한 디지털 영상 안정화 프로세스를 적용하여 보다 용이하게 영상을 판독할 수 있도록 하는 것이 바람직하게 된다.In addition, when the image is an enlarged image, a user such as a medical staff enlarges the image in order to read the image in detail. In this case, a digital image stabilization process for the image can be applied to easily read an image .
이에 따라, 본 발명에서는 상기 영상이 확대된 영상인 경우 디지털 영상 안정화 프로세스가 적용되도록 함으로써, 디지털 영상 안정화에서의 오류 발생을 억제하면서 확대된 안정화 영상을 제공할 수 있도록 하여, 의료진 등 사용자가 보다 편리하고 정확하게 내시경 영상을 판독할 수 있도록 하게 된다.Accordingly, in the present invention, when the image is an enlarged image, a digital image stabilization process is applied, thereby providing an enlarged stabilized image while suppressing errors in digital image stabilization, So that the endoscopic image can be accurately read.
또한, 상기 영상이 정적(stationary) 영상인 경우 디지털 영상 안정화 프로세스를 적용하여 영상을 안정화하여 줄 수도 있다.In addition, if the image is a stationary image, a digital image stabilization process may be applied to stabilize the image.
여기서, 정적(stationary) 영상이라 함은, 영상의 움직임이 복잡하지 않아 디지털 영상 안정화 프로세스가 적용되면 영상이 효과적으로 안정화될 수 있는 영상을 의미한다.Here, the stationary image means an image that can be effectively stabilized when the digital image stabilization process is applied because the motion of the image is not complicated.
이때, 상기 영상이 정적(stationary) 영상인지 여부를 판단하기 위한 구체적인 판단 기준은, 내시경의 사용 환경 및 영상의 특성 등을 고려하여 다양하게 구현될 수 있다.At this time, the specific criteria for determining whether the image is a stationary image may be variously implemented in consideration of the use environment of the endoscope and the characteristics of the image.
일반적으로, 특정 영상이 정적(stationary) 영상인지 여부를 판단함에 있어서, 상기 영상의 전체적인 움직임(global motion)을 측정한 수치와 상기 영상을 구성하는 하나 이상의 구성단위의 부분적인 움직임(local motion)을 측정한 수치 중 하나 이상을 고려할 수 있다.In general, in determining whether a specific image is a stationary image, a value obtained by measuring a global motion of the image and a local motion of one or more constituent units constituting the image One or more of the measured values may be considered.
예를 들어, 도 5에서는 상기 영상의 전체적인 움직임(global motion)을 예시하는 화면들이 도시되어 있다. 도 5에서 볼 수 있는 바와 같이 영상의 전체적인 움직임(global motion)의 대표적인 예로서 (a) 이동(transition) (b) 회전 (rotation) (c) 확대/축소(scaling) (d) 확대/축소-이동(scaling-transition) (d) 회전-이동(rotation-transition) (e) 확대/축소-회전(scaling-rotation) 등을 포함할 수 있으며, 이외에도 영상이 전체적으로 변화하게 되는 다양한 움직임들이 포함될 수 있다. For example, in FIG. 5, screens illustrating the global motion of the image are shown. As shown in FIG. 5, as a representative example of the global motion of an image, there are (a) transition (b) rotation (c) scaling (d) May include scaling-transition (d) rotation-transition (e) scaling-rotation, and the like, as well as various motions in which the image changes globally .
여기서, 상기 영상의 움직임(motion)을 수치화함에 있어서는, 상기 영상의 하나의 프레임에 대하여 이전 단계의 프레임과 현재 단계의 프레임 간의 구성단위(예를 들어, 화소(pixel) 또는 화소들의 그룹인 블록(block) 등)의 움직임(local motion) 또는 하나의 프레임 전체의 움직임(global motion)을 수치로 산출하는 등의 방법을 사용할 수 있다. 이러한 영상의 움직임(motion)을 수치화하는 기법은 종래의 기술에 따라 다양하게 구현될 수 있으므로, 자세한 설명은 생략하기로 한다.In order to quantify the motion of the image, it is possible to quantify the motion of the image by using a constitutional unit (for example, a pixel or a group of pixels) between a previous frame and a current frame with respect to one frame of the image block or the like) or a motion of a whole frame (global motion) may be calculated numerically. The technique of digitizing the motion of the image can be variously implemented according to the related art, and thus a detailed description thereof will be omitted.
보다 구체적으로, 상기 영상의 전체적인 움직임(global motion)의 크기와 방향이 상기 영상을 구성하는 하나 이상의 구성단위의 부분적인 움직임(local motion)과 비교하여 유사한 경우(또는, 미리 설정된 기준치 범위 내에 있는 경우) 정적(stationary) 영상으로 판단할 수 있다.More specifically, when the magnitude and direction of the global motion of the image are compared with the local motion of one or more constituent units constituting the image (or when they are within a preset reference value range) ) Can be judged as a stationary image.
이러한 경우, 상기 영상의 전체적인 움직임(global motion)이 큰 경우는 내시경의 카메라 등의 움직임 등에 의하여 영상 전체가 흔들리는 경우에 해당할 수 있으므로, 디지털 영상 안정화 프로세스를 적용함으로써 영상의 흔들림을 효과적으로 보정하여 안정화된 영상을 제공할 수 있게 된다.In this case, if the global motion of the image is large, it may correspond to a case where the entire image shakes due to the motion of a camera or the like of the endoscope. Thus, by applying the digital image stabilization process, So that the image can be provided.
반면, 상기 영상을 구성하는 하나 이상의 구성단위의 부분적인 움직임(local motion)이 큰 경우는 내시경 스코프(2)의 카메라 등의 움직임에 의한 영상의 흔들림이 아니라 의료 도구 등의 움직임이 영상에 포착되는 경우이므로, 이러한 경우에는 디지털 영상 안정화 프로세스를 적용하여 영상을 안정화할 필요성이 떨어지게 된다.On the other hand, when the local motion of one or more constituent units constituting the image is large, the motion of the medical instrument or the like is captured in the image, not the motion of the
이외에도, 특정 영상이 정적(stationary) 영상인지 여부를 판단함에 있어서, 상기 영상을 구성하는 하나 이상의 구성단위(화소, 블록 등)의 움직임을 측정한 수치의 평균치가 소정의 기준치 이하인 경우 정적(stationary) 영상으로 판단할 수도 있다. 이러한 경우, 상기 영상을 구성하는 하나 이상의 구성단위의 움직임이 전체적으로 작은 경우로서, 영상의 부분적인 움직임(local motion)이 적은 경우라고 할수 있으므로, 상기 영상을 정적(stationary) 영상으로 판단할 수도 있다.In addition, in determining whether a specific image is a stationary image, if the average value of the measured values of the motion of one or more constituent units (pixels, blocks, etc.) constituting the image is less than a predetermined reference value, It can also be judged as an image. In this case, since the motion of at least one constituent unit constituting the image is entirely small, the local motion of the image may be small, so that the image may be determined as a stationary image.
또한, 상기 영상을 구성하는 하나 이상의 구성단위의 움직임의 크기 또는 방향을 측정한 수치의 분산값이 소정의 기준치 중 하나 가 미리 설정된 기준치 이하인 경우 정적(stationary) 영상으로 판단할 수도 있다. 이러한 경우, 상기 영상이 전체적으로 동일한 방향 또는 동일한 크기의 움직임을 보이는 경우로서, 영상의 전체적인 움직임(global motion)이 큰 경우라고 할 수 있는 바, 상기 영상을 정적(stationary) 영상으로 판단할 수도 있다.In addition, if one of the predetermined reference values is equal to or less than a predetermined reference value, the stationary image may be determined when the variance value of the measurement of the magnitude or direction of movement of one or more constituent units constituting the image is less than a predetermined reference value. In this case, when the image has the same direction or the same size as the entire image, the global motion of the image is large. Accordingly, the image may be determined as a stationary image.
또한, 상기 영상이 미리 정해진 특정 종류의 내시경 영상인 경우 디지털 영상 안정화 프로세스를 적용하여 영상을 안정화하여 줄 수도 있다.In addition, if the image is a predetermined kind of endoscopic image, the digital image stabilization process may be applied to stabilize the image.
이때, 상기 미리 정해진 특정 종류의 내시경 영상으로서, 특정 대역의 파장 또는 특정 형광을 이용하여 특정한 병변을 진단하기 위한 내시경 영상을 포함할 수 있다.At this time, the predetermined endoscopic image of the predetermined kind may include an endoscopic image for diagnosing a specific lesion using a wavelength of a specific band or a specific fluorescence.
의료진 등 사용자가 일반적인 내시경 영상이 아니라 특정 대역의 파장 또는 특정 형광을 이용하여 특정 병변을 진단하기 위한 내시경 영상을 사용하는 경우, 상기 영상을 보다 자세하고 명확하게 판독할 필요가 있으므로, 디지털 영상 안정화 프로세스를 적용하여 영상을 보다 안정화시켜 제공하는 것이 바람직하게 된다.When a user such as a medical staff uses an endoscopic image for diagnosing a specific lesion using a specific band of wavelength or specific fluorescence instead of a general endoscopic image, it is necessary to read the image more clearly and clearly, It is preferable to stabilize and provide the image.
보다 구체적인 예로서, 상기 특정한 병변을 진단하기 위한 내시경 영상에는 협대역 내시경(Narrow Band Imaging) 영상 또는 자가 형광 내시경(Auto-Fluorescence Imaging) 영상이 포함될 수 있다. 협대역 내시경과 자가 형광 내시경에 대한 기술적인 내용은 잘 알려져 있으므로 이에 대한 내용은 생략하기로 한다.As a more specific example, an endoscopic image for diagnosing the specific lesion may include a Narrow Band Imaging image or an Auto-Fluorescence Imaging image. The technical details of the narrow-band endoscope and the autofluorescence endoscope are well known and will not be described here.
또한, 상기 미리 특정 종류의 내시경 영상으로서, 4K 이상의 초고해상도 내시경 영상이 포함될 수도 있다. 앞서 설명한 바와 유사하게, 의료진 등 사용자가 일반적인 내시경 영상이 아니라 4K 이상의 초고해상도 내시경 영상을 사용하는 경우, 상기 영상을 보다 자세하고 명확하게 판독하고자 하는 경우라고 할 수 있으므로, 디지털 영상 안정화 프로세스를 적용하여 영상을 보다 안정화시켜 제공하는 것이 바람직하게 된다.In addition, an ultra-high resolution endoscopic image of 4K or more may be included as the endoscopic image of a specific kind in advance. Similar to the above description, when a user such as a medical staff uses an ultrasound-resolved endoscopic image of 4K or more instead of a general endoscopic image, it can be said that the user wants to read the image more clearly and clearly. It is preferable to stabilize and provide the image.
나아가, 앞서 설명한 확대된 영상, 정적(stationary) 영상 또는 미리 정해진 특정 종류의 내시경 영상 중 복수의 경우에 해당하는 경우에도 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템(100)이 적용될 수 있으며, 특히 확대된 영상이자 정적(stationary) 영상인 경우 등과 같이 복수의 조건에 해당하는 경우에는 본 발명에 따른 내시경 영상 안정화 시스템(100)이 적용됨으로써, 그 효용성이 더욱 커질 수 있다.Further, the endoscopic
이어서, 상기 영상 안정화 적용 조건 판단부(120)에서는 상기 영상의 속성 정보를 고려하여 미리 정해진 영상 안정화 적용 조건의 충족 여부를 판단하게 된다.Then, the image stabilization application
이에 따라, 상기 영상이 확대된 영상이거나, 정적(stationary) 영상이거나 또는 미리 정해진 특정 종류의 내시경 영상인지 여부를 고려하여 상기 영상이 미리 정해진 영상 안정화 적용 조건을 충족하는지 여부를 판단하게 된다.Accordingly, it is determined whether the image satisfies a predetermined image stabilization applying condition in consideration of whether the image is an enlarged image, a stationary image, or a predetermined kind of endoscopic image.
또한, 상기 디지털 영상 안정화부(130)에서는 상기 영상 안정화 적용 요건이 충족되는 경우, 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하게 된다.In addition, if the image stabilization application requirement is satisfied, the digital
이때, 상기 디지털 영상 안정화(Digital Image Stabilization, DIS) 기법으로서는 상기 영상을 적절하게 안정화(stabilization)시킬 수 있는 기법이라면 특별한 제한이 없이 적용될 수 있다. 상기 디지털 영상 안정화 프로세스는 종래의 기술에 따라 다양하게 구현될 수 있으므로, 여기서 자세한 설명은 생략하기로 한다.At this time, the digital image stabilization (DIS) technique can be applied without any particular limitation as long as it is a technique capable of properly stabilizing the image. Since the digital image stabilization process can be variously implemented according to the conventional technology, a detailed description thereof will be omitted.
도 6에서는 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템이 적용된 내시경 영상처리 시스템(200)의 블록도를 예시하고 있다.FIG. 6 illustrates a block diagram of an endoscopic
도 6에서 음영으로 처리된 내시경 영상 안정화 시스템(210 내지 230)을 제외한 나머지 모듈들은 통상의 내시경 시스템의 구성에 따라 구현될 수 있는 바, 아래에서는 본 발명에 따른 내시경 영상 안정화 시스템(210 내지 230)을 중심으로 간략하게 설명하기로 한다.The remaining modules except for the endoscopic image stabilization systems 210 to 230 shaded in FIG. 6 can be implemented according to the configuration of a conventional endoscopic system. Hereinafter, the endoscopic image stabilization systems 210 to 230 according to the present invention, Will be briefly described.
도 6에서 볼 수 있는 바와 같이, 내시경 스코프(2)에서 생성된 영상 신호는 소정의 인터페이스(Image Sensor Interface)를 거쳐 손상 픽셀 보상(Defective Pixel Correction) 모듈 등 일련의 영상 처리 모듈을 거쳐 의료진 등 사용자에게 제공할 영상을 생성하게 된다.6, the image signal generated by the
이때, 본 발명의 일 실시예에 따른 내시경 영상 안정화 시스템(210 내지 230)의 동작을 구체적으로 살펴보면, 먼저 영상 속성 정보 수집부(210)에서는 상기 영상에 대한 디지털 영상 안정화 프로세스 수행 여부를 판단하기 위한 속성 정보를 수집하게 된다.Here, the operation of the endoscopic image stabilization systems 210 to 230 according to an embodiment of the present invention will be described in detail. First, the image attribute information collection unit 210 acquires image attribute information for determining whether to perform a digital image stabilization process for the image Attribute information is collected.
보다 구체적으로, 영상 움직임 통계 산출부(212)에서는 상기 영상이 정적(stationary) 영상인지 여부를 판단하기 위하여 상기 영상에 대한 움직임 통계(motion statistics) 정보를 산출하게 된다.More specifically, the image motion
도 6에서는 상기 영상 움직임 통계 산출부(212)가 영상 통계(Image statistics) 모듈과 함께 수행되는 것으로 기술되어 있으나, 상기 영상에 대한 움직임 통계(motion statistics) 정보를 적절하게 산출할 수 있는 시점이라면 특별한 제한없이 적용이 가능하다.6, the image motion
또한, 영상 모드 판단부(214)에서는 상기 영상이 미리 정해진 특정 종류의 내시경 영상인지 여부를 판단하고, 영상 확대 상태 판단부(216)에서는 상기 영상이 확대된 영상인지 여부를 판단하며, 정지 영상 판단부(218)에서는 상기 영상 움직임 통계 산출부(212)에서 산출된 상기 영상에 대한 움직임 통계(motion statistics) 정보를 이용하여 상기 영상이 정지(stationary) 영상인지 여부를 판단하게 된다.In addition, the image
이어서, 영상 안정화 적용 조건 판단부(220)에서는 상기 영상이 미리 정해진 영상 안정화 적용 조건을 충족하는지 여부를 판단하게 된다.Then, the image stabilization application
이에 따라, 상기 디지털 영상 안정화부(230)에서는 상기 영상 안정화 적용 요건이 충족되는 경우, 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하게 된다.Accordingly, when the image stabilization application requirement is satisfied, the digital
도 6에서는 상기 디지털 영상 안정화부(230)가 색상 영역 변환(Color Space Conversion) 모듈 이후에 수행되는 것으로 기술되어 있으나, 상기 영상에 대한 디지털 영상 안정화 프로세스를 적절하게 수행할 수 있는 시점이라면 특별한 제한없이 적용이 가능하다.In FIG. 6, the digital
또한, 도 7에서는 본 발명의 일 실시예에 따른 내시경 영상 안정화 방법의 순서도를 도시하고 있다.7 is a flowchart of an endoscopic image stabilization method according to an embodiment of the present invention.
도 7에서 볼 수 있는 바와 같이 본 발명의 일 실시예에 따른 내시경 영상 안정화 방법은, 내시경을 이용하여 생성된 영상에 대하여 디지털 영상 안정화를 수행하는 내시경 영상 안정화 방법으로서, 상기 영상의 속성 정보를 수집하는 영상 속성 정보 수집 단계(S110); 상기 영상의 속성 정보를 고려하여 미리 정해진 영상 안정화 적용 조건의 충족 여부를 판단하는 영상 안정화 적용 조건 판단 단계(S120); 및 상기 영상 안정화 적용 요건이 충족되는 경우, 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하는 디지털 영상 안정화 단계(S130)를 포함할 수 있다.7, an endoscopic image stabilization method according to an exemplary embodiment of the present invention is an endoscopic image stabilization method for performing digital image stabilization on an image generated using an endoscope, (S110); An image stabilization applying condition determining step (S120) for determining whether a predetermined image stabilization applying condition is satisfied in consideration of the attribute information of the image; And a digital image stabilization step (S130) of performing a digital image stabilization process on the image when the image stabilization application requirement is satisfied.
본 발명의 일 실시예에 따른 내시경 영상 안정화 방법은 앞서 설명한 내시경 영상 안정화 시스템(100)과 그 동작 원리 및 동작이 유사하여 통상의 기술자가 용이하게 구현하고 실시할 수 있으므로 보다 자세한 설명은 생략하며 앞서 설명한 내시경 영상 안정화 시스템(100)에 대한 일련의 설명을 참조할 수 있다.The endoscopic image stabilization method according to an embodiment of the present invention is similar to the operation principle and operation of the endoscopic
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경, 및 치환이 가능할 것이다. 따라서 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면들에 의해서 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. It will be possible. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.
1 : 내시경 시스템
2 : 내시경 스코프
4 : 제어부
5 : 표시부
100 : 내시경 영상 안정화 시스템
110 : 영상 속성 정보 수집부
120 : 영상 안정화 적용 조건 판단부
130 : 디지털 영상 안정화부
200 : 내시경 영상처리 시스템
210 : 영상 속성 정보 수집부
212 : 영상 움직임 통계 산출부
214 : 영상 모드 판단부
216 : 영상 확대 상태 판단부
218 : 정지 영상 판단부
220 : 영상 안정화 적용 조건 판단부
230 : 디지털 영상 안정화부1: Endoscope system 2: Endoscope scope
4: control unit 5: display unit
100: Endoscopic image stabilization system 110: Image attribute information collection unit
120: image stabilization application condition determination unit 130: digital image stabilization unit
200: Endoscopic image processing system 210: Image attribute information collecting unit
212: video motion statistics calculation unit 214: video mode determination unit
216: Image enlargement state determination unit 218: Still image determination unit
220: image stabilization application condition determination unit 230: digital image stabilization unit
Claims (12)
상기 영상의 속성 정보를 수집하는 영상 속성 정보 수집부;
상기 영상의 속성 정보를 고려하여 미리 정해진 영상 안정화 적용 조건의 충족 여부를 판단하는 영상 안정화 적용 조건 판단부; 및
상기 영상 안정화 적용 요건이 충족되는 경우, 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하는 디지털 영상 안정화부;를 포함하는 것을 특징으로 하는 내시경 영상 안정화 시스템.1. An endoscopic image stabilization system for performing digital image stabilization on an image generated using an endoscope,
An image attribute information collection unit for collecting attribute information of the image;
An image stabilization applying condition determiner for determining whether a predetermined image stabilization applying condition is satisfied in consideration of the attribute information of the image; And
And a digital image stabilization unit that performs a digital image stabilization process on the image when the image stabilization application requirement is satisfied.
상기 영상의 속성 정보에는,
상기 영상이 확대된 영상인지 여부, 상기 영상이 정적(stationary) 영상인지 여부 또는 상기 영상이 미리 정해진 특정 종류의 내시경 영상인지 여부에 대한 정보 중 하나 이상이 포함되는 것을 특징으로 하는 내시경 영상 안정화 시스템.The method according to claim 1,
The attribute information of the image includes,
Wherein the endoscopic image stabilization system includes at least one of information on whether the image is an enlarged image, whether the image is a stationary image, or whether the image is a predetermined kind of endoscopic image.
상기 영상 안정화 적용 조건 판단부에서는,
상기 영상이 광학 확대된 영상이거나, 디지털 확대된 영상이거나, 광학 및 디지털 확대된 영상인 경우,
상기 영상의 영상 안정화 적용 조건이 충족되었다고 판단하는 것을 특징으로 하는 내시경 영상 안정화 시스템.3. The method of claim 2,
In the image stabilization application condition determination unit,
If the image is an optically magnified image, a digitally magnified image, or an optically and digitally magnified image,
And determines that the image stabilization application condition of the image is satisfied.
상기 영상 안정화 적용 조건 판단부에서는,
상기 영상이 특정 대역의 파장 또는 특정 형광을 이용하여 특정한 병변을 진단하기 위한 내시경 영상인 경우,
상기 영상의 영상 안정화 적용 조건이 충족되었다고 판단하는 것을 특징으로 하는 내시경 영상 안정화 시스템.3. The method of claim 2,
In the image stabilization application condition determination unit,
When the image is an endoscopic image for diagnosing a specific lesion using a wavelength of a specific band or a specific fluorescence,
And determines that the image stabilization application condition of the image is satisfied.
상기 특정한 병변을 진단하기 위한 내시경 영상은,
협대역 내시경(Narrow Band Imaging) 영상 또는 자가 형광 내시경(Auto-Fluorescence Imaging) 영상인 것을 특징으로 하는 내시경 영상 안정화 시스템.5. The method of claim 4,
The endoscopic image for diagnosing the specific lesion is,
Wherein the image is a Narrow Band Imaging image or an Auto-Fluorescence Imaging image.
상기 영상 안정화 적용 조건 판단부에서는,
상기 영상이 4K 이상의 초고해상도 내시경 영상인 경우,
상기 영상의 영상 안정화 적용 조건이 충족되었다고 판단하는 것을 특징으로 하는 내시경 영상 안정화 시스템.3. The method of claim 2,
In the image stabilization application condition determination unit,
When the image is an ultra-high resolution endoscopic image of 4K or more,
And determines that the image stabilization application condition of the image is satisfied.
영상이 정적(stationary) 영상인지 여부는,
상기 영상의 전체적인 움직임(global motion)을 측정한 수치와 상기 영상을 구성하는 하나 이상의 구성단위의 부분적인 움직임(local motion)을 측정한 수치 중 하나 이상을 고려하여 판단하는 것을 특징으로 하는 내시경 영상 안정화 시스템.3. The method of claim 2,
Whether the image is a stationary image or not,
Wherein the endoscopic image stabilization is performed in consideration of at least one of a value obtained by measuring a global motion of the image and a value obtained by measuring a local motion of one or more constituent units constituting the image. system.
상기 영상을 구성하는 하나 이상의 구성단위의 움직임을 측정한 수치의 평균치가 소정의 기준치 이하인 경우 정적(stationary) 영상으로 판단하는 것을 특징으로 하는 내시경 영상 안정화 시스템.8. The method of claim 7,
Wherein the determination unit determines the image as a stationary image when the average value of the motion of one or more constituent units constituting the image is equal to or less than a predetermined reference value.
상기 영상을 구성하는 하나 이상의 구성단위의 움직임의 크기 또는 방향을 측정한 수치의 분산값이 소정의 기준치 중 하나 가 미리 설정된 기준치 이하인 경우 정적(stationary) 영상으로 판단하는 것을 특징으로 하는 내시경 영상 안정화 시스템.8. The method of claim 7,
Wherein the determination unit determines the image as a stationary image when a variance value of a value measuring a magnitude or direction of motion of one or more constituent units constituting the image is equal to or less than a preset reference value, .
상기 영상의 전체적인 움직임(global motion)을 측정한 수치와 상기 영상을 구성하는 하나 이상의 구성단위의 부분적인 움직임(local motion)을 측정한 수치의 차이가 미리 설정된 기준치 범위 내에 있는 경우 정적(stationary) 영상으로 판단하는 것을 특징으로 하는 내시경 영상 안정화 시스템.8. The method of claim 7,
When a difference between a value obtained by measuring a global motion of the image and a value obtained by measuring a local motion of one or more constituent units constituting the image is within a preset reference value range, Of the endoscopic image stabilization system.
상기 디지털 영상 안정화부는,
상기 영상 안정화 적용 요건이 충족되는 경우, 상기 내시경의 사용자의 추가적인 조작이 없더라도 자동으로 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하는 것을 특징으로 하는 내시경 영상 안정화 시스템.The method according to claim 1,
Wherein the digital image stabilization unit comprises:
Wherein the digital image stabilization system automatically performs the digital image stabilization process on the image even if the user of the endoscope does not have any additional operation when the image stabilization application requirement is satisfied.
상기 영상의 속성 정보를 수집하는 영상 속성 정보 수집 단계;
상기 영상의 속성 정보를 고려하여 미리 정해진 영상 안정화 적용 조건의 충족 여부를 판단하는 영상 안정화 적용 조건 판단 단계; 및
상기 영상 안정화 적용 요건이 충족되는 경우, 상기 영상에 대한 디지털 영상 안정화 프로세스를 수행하는 디지털 영상 안정화 단계;를 포함하는 것을 특징으로 하는 내시경 영상 안정화 방법.1. An endoscopic image stabilization method for performing digital image stabilization on an image generated using an endoscope,
An image attribute information collection step of collecting attribute information of the image;
An image stabilization applying condition determining step of determining whether a predetermined image stabilization applying condition is satisfied in consideration of the attribute information of the image; And
And a digital image stabilization step of performing a digital image stabilization process on the image when the image stabilization application requirement is satisfied.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160146557A KR102615296B1 (en) | 2016-11-04 | 2016-11-04 | Method and system for stabilizing endoscopic images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160146557A KR102615296B1 (en) | 2016-11-04 | 2016-11-04 | Method and system for stabilizing endoscopic images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180049980A true KR20180049980A (en) | 2018-05-14 |
| KR102615296B1 KR102615296B1 (en) | 2023-12-19 |
Family
ID=62187677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160146557A KR102615296B1 (en) | 2016-11-04 | 2016-11-04 | Method and system for stabilizing endoscopic images |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102615296B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040081775A (en) * | 2002-03-14 | 2004-09-22 | 올림푸스 가부시키가이샤 | Endoscope image processing apparatus |
| JP2012217579A (en) * | 2011-04-07 | 2012-11-12 | Olympus Corp | Endoscope apparatus and blur correction processing method |
-
2016
- 2016-11-04 KR KR1020160146557A patent/KR102615296B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040081775A (en) * | 2002-03-14 | 2004-09-22 | 올림푸스 가부시키가이샤 | Endoscope image processing apparatus |
| JP2012217579A (en) * | 2011-04-07 | 2012-11-12 | Olympus Corp | Endoscope apparatus and blur correction processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102615296B1 (en) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5816511B2 (en) | Image processing apparatus, endoscope apparatus, and operation method of image processing apparatus | |
| WO2012032914A1 (en) | Image processing device, endoscope device, image processing program and image processing method | |
| JP5570769B2 (en) | Endoscope apparatus, measurement method, and program | |
| JPWO2016199273A1 (en) | Endoscope apparatus and method for operating endoscope apparatus | |
| US8052598B2 (en) | Systems and methods for calibrating an endoscope | |
| US9736357B2 (en) | Display device that detects movement of an operator's visual line, display method and computer readable storage medium storing display program of display device | |
| JP2019033917A (en) | Endoscope system | |
| WO2019073814A1 (en) | Focal point detection device, method therefor, and program | |
| WO2013073627A1 (en) | Image processing device and method | |
| JP4125331B2 (en) | Imaging apparatus and control method thereof | |
| WO2021171465A1 (en) | Endoscope system and method for scanning lumen using endoscope system | |
| US8184149B2 (en) | Ophthalmic apparatus and method for increasing the resolution of aliased ophthalmic images | |
| JP2010220794A (en) | Device, method, and program for rotating endoscope image | |
| JP2012205619A (en) | Image processor, control device, endoscope apparatus, image processing method, and image processing program | |
| WO2017017996A1 (en) | Image processing device, image processing method, and image processing program | |
| JP4487077B2 (en) | 3D display method using video images continuously acquired by a single imaging device | |
| KR102615296B1 (en) | Method and system for stabilizing endoscopic images | |
| JP2009244944A (en) | Image-recovering apparatus and photographing apparatus | |
| JP2007036742A (en) | Method and apparatus for synthesizing multiple images | |
| JP5835797B2 (en) | Panorama image creation program | |
| EP3244367A1 (en) | Image-acquisition apparatus | |
| US10555661B2 (en) | Endoscope System | |
| CN112365417A (en) | Confocal endoscope image correction splicing method and device and readable storage medium | |
| JP6619217B2 (en) | Microscope system and control method thereof | |
| WO2018225346A1 (en) | Medical system and control unit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |