KR101385743B1 - Surgical video real-time visual noise removal device, method and system - Google Patents

Surgical video real-time visual noise removal device, method and system Download PDF

Info

Publication number
KR101385743B1
KR101385743B1 KR20130079865A KR20130079865A KR101385743B1 KR 101385743 B1 KR101385743 B1 KR 101385743B1 KR 20130079865 A KR20130079865 A KR 20130079865A KR 20130079865 A KR20130079865 A KR 20130079865A KR 101385743 B1 KR101385743 B1 KR 101385743B1
Authority
KR
South Korea
Prior art keywords
image
surgical image
surgical
noise
unit
Prior art date
Application number
KR20130079865A
Other languages
Korean (ko)
Inventor
김학일
신재원
최병욱
박은수
최학남
이성철
Original Assignee
주식회사 엠디텍
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠디텍, 인하대학교 산학협력단 filed Critical 주식회사 엠디텍
Priority to KR20130079865A priority Critical patent/KR101385743B1/en
Application granted granted Critical
Publication of KR101385743B1 publication Critical patent/KR101385743B1/en
Priority to PCT/KR2014/006046 priority patent/WO2015005623A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2218/00—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2218/001—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body having means for irrigation and/or aspiration of substances to and/or from the surgical site
    • A61B2218/007—Aspiration
    • A61B2218/008—Aspiration for smoke evacuation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Electromagnetism (AREA)
  • Otolaryngology (AREA)

Abstract

Disclosed are automatic removal apparatus of visual noise, a method and a system thereof. The apparatus can comprise a receiving unit for receiving a surgical video, and a controlling unit for improving the surgical video by removing noise included in the received surgical video. The controlling unit analyzes characteristics of the surgical video using at least one among histogram, average value, maximum value, minimum value, and a standard deviation and the controlling unit can include an additional function for determining a type of noise included in the surgical video using the analyzed characteristics of the surgical video. The controlling unit can also have an additional function for determining a type of noise in the received surgical video based on an input of a user. [Reference numerals] (10) Noise removal device in a surgical video; (AA) source video; (BB) Improved video

Description

수술 영상의 실시간 시각적 노이즈 자동 제거 장치, 방법 및 시스템{Surgical video real-time visual noise removal device, method and system}Surgical video real-time visual noise removal device, method and system

본 발명은 수술용 영상처리 장치에 관한 것으로, 더 상세하게는 수술 영상의 실시간 시각적 노이즈 자동 제거 장치, 방법 및 시스템에 관한 것이다.
The present invention relates to a surgical image processing apparatus, and more particularly, to an apparatus, method and system for automatically removing real-time visual noise of a surgical image.

최근 의사에 의해 시행되는 수술은 개복수술과 복강경 수술이 있다. Recently, surgery performed by a doctor includes laparotomy and laparoscopic surgery.

개복수술은 배를 갈라서 열고, 배 안에 있는 기관을 치료하거나 혹은 제거하는 수술로써 현재까지 오랫동안 해오던 방법으로 수술시야 확보가 좋지만 미용적으로 흉이 크게 남는 단점이 있다.Laparotomy is a surgery that splits open the stomach and treats or removes the organs in the stomach.

복강경 수술은 환자를 개복하지 않고 3 ~ 4개의 작은 구멍을 뚫은 뒤, 특수 카메라가 장착된 내시경과 수술 도구 등을 집어넣어서 시술하는 수술이다. 또한 복강경 수술은 개복수술에 비해 합병증이 적고, 시술 후 훨씬 빠른 시간 안에 치료를 시작할 수 있으며, 수술 환자의 체력이나 면역기능을 유지시킬 수 있다. 따라서, 현대 추세인 미용 및 환자의 빠른 회복을 생각하면 향후 많은 발전이 기대되는 분야이다.Laparoscopic surgery is a surgical procedure that involves drilling three to four small holes without opening the patient, and then inserting an endoscope equipped with a special camera and surgical instruments. In addition, laparoscopic surgery has fewer complications than laparotomy, and can start treatment much faster after the procedure, and maintain the stamina or immune function of the surgical patient. Therefore, considering the rapid recovery of beauty and patients, which is a modern trend, it is a field in which many developments are expected in the future.

하지만 복강경 수술은 내시경에서 촬영되는 영상에 의존하여 수술을 진행하기 때문에 내시경 영상에 많은 영향을 받을 수 있다. 내시경 영상은 여러 가지 원인으로 인해 영상의 화질을 저하될 수 있고, 이로 인해 의사들이 관찰 및 수술 시 시각적 불편함을 느끼게 할 수 있다. 또한 의사들은 내시경 영상을 깨끗이 하기 위해 내시경을 환자의 신체에서 꺼내고 청소함으로써 수술의 많은 시간을 낭비하는 일들이 일어나고 있다.However, laparoscopic surgery may be affected by the endoscope image because the surgery is performed depending on the image taken from the endoscope. Endoscopic images may degrade image quality due to various causes, which may cause doctors to feel visual discomfort during observation and surgery. Doctors also waste a lot of time in surgery by removing and cleaning the endoscope from the patient's body to clear the endoscope image.

현재 다양한 영상 개선 알고리즘과 시스템이 있지만 복강경 수술 영상을 대상으로 한 영상 개선 시스템은 아직 시장이나 학계에서 찾기 어려움이 있다. Currently, there are various image enhancement algorithms and systems, but the image enhancement system for laparoscopic surgery images is still difficult to find in the market or academia.

독일의 Erlangen-Nuremberg Martesnsstr 대학 등에서 PC 환경에서 Open CV 기반 영상 개선 시스템을 개발했고 원본 영상 개선된 영상을 동시에 보여주는 방식을 채용했지만 영상의 해상도 및 처리시간 면의 한계를 극복하지 못했다.Although the University of Erlangen-Nuremberg Martesnsstr, Germany, developed Open CV-based image enhancement system in PC environment and adopted the method of displaying the original image improved image at the same time, it did not overcome the limitation of resolution and processing time of image.

스웨덴의 LYYN 사에서는 영상개선 시스템이 개발되어 있으나 응용분야가 다르고, 처리할 수 있는 영상의 해상도가 낮으며, 가격이 높은 단점이 있다.Sweden's LYYN company has developed an image enhancement system, but its applications are different, its resolution is low, and its price is high.

공개특허공보 10-2011-0036453은 수술용 영상 처리 장치 및 그 방법에 관한 것으로 복강경 수술을 하는 로봇 및 영상처리에 관하여 개시되어 있다. 하지만 상기 특허는 영상처리 방법을 내시경 영상과 모델링 영상을 서로 정합하여 출력 영상을 산출하는 방법을 사용하여 영상 그 자체의 개선은 하지 못하는 한계를 보여주고 있다.Korean Patent Laid-Open Publication No. 10-2011-0036453 relates to a surgical image processing apparatus and a method thereof, and discloses a robot and image processing for laparoscopic surgery. However, the patent shows a limitation that the image itself cannot be improved by using an image processing method that matches an endoscope image and a modeled image to produce an output image.

따라서, 복강경 수술 시스템이 소형화되고 고해상도로 발전됨에 따라 이에 추가적인 기능을 제공하는 영상 개선 시스템도 실시간 영상 처리가 가능하여야 하며 임베디드로 구현되어야 하는 과제가 남아있다.
Therefore, as the laparoscopic surgery system is miniaturized and developed at high resolution, an image enhancement system that provides additional functions must also be capable of real-time image processing and remain a problem to be implemented as an embedded device.

본 발명이 이루고자 하는 기술적 과제는 내시경을 이용한 수술 영상에 포함된 노이즈를 실시간 및 자동으로 제거하여 사용자에게 보다 선명하고 개선된 영상을 제공하는데 목적이 있다. The technical problem to be achieved by the present invention is to provide a clearer and improved image to the user by removing the noise contained in the surgical image using the endoscope in real time and automatically.

본 발명이 이루고자 하는 다른 기술적 과제는 수술 중에 발생하는 내시경 청소를 줄임으로써 수술 시간을 단축하는데 목적이 있다.Another technical problem to be achieved by the present invention is to shorten the operation time by reducing the endoscope cleaning occurring during surgery.

본 발명이 이루고자 하는 또 다른 기술적 과제는 자동 제어 또는 수동 제어를 선택하여 수술 영상에 포함된 노이즈를 제거하는데 목적이 있다.
Another object of the present invention is to select the automatic control or manual control to remove the noise included in the surgical image.

수술 영상 노이즈 제거 장치는 수술 영상을 수신하는 입력부 및 상기 수신된 수술 영상에 포함된 노이즈를 자동 제거하여 상기 수술 영상을 실시간으로 개선하는 제어부를 포함할 수 있다.The surgical image noise removing apparatus may include an input unit for receiving a surgical image and a controller for automatically removing noise included in the received surgical image to improve the surgical image in real time.

상기 개선된 수술 영상이 저장되는 저장부를 더 포함할 수 있다.The apparatus may further include a storage unit in which the improved surgical image is stored.

상기 제어부는, 상기 수신된 수술 영상을 히스토그램, 평균값, 최대값, 최소값 및 표준편차 중 적어도 하나를 이용하여 수술 영상의 특징을 분석하고, 상기 분석된 수술 영상의 특징을 이용하여 상기 수술 영상이 포함하고 있는 노이즈의 종류를 판단하는 기능을 포함할 수 있다.The controller may analyze a characteristic of the surgical image by using at least one of a histogram, an average value, a maximum value, a minimum value, and a standard deviation of the received surgical image, and include the surgical image by using the characteristic of the analyzed surgical image. It may include a function for determining the type of noise.

상기 제어부는, 상기 수신된 수술 영상을 사용자의 입력에 따라 노이즈의 종류를 판단하는 기능을 포함할 수 있다.The controller may include a function of determining a type of noise based on a user's input of the received surgical image.

상기 제어부는, 상기 수신된 영상의 각 픽셀(pixel)을 RGB형식, YCbCr형식, HSV형식 및 Gray형식 중 적어도 하나의 색상모델을 이용하여 히스토그램, 평균값, 최대값, 최소값 및 표준편차 중 적어도 하나를 산출하여 상기 수술 영상의 특징을 분석하는 영상 분석부, 상기 분석된 영상의 특징을 이용하여 사전에 설정된 기준에 따라 노이즈의 종류를 판단하는 영상 판단부 및 상기 판단된 노이즈의 종류를 제거하여 상기 영상을 개선하는 영상 개선부 중 적어도 하나를 포함할 수 있다.The controller is configured to display at least one of a histogram, an average value, a maximum value, a minimum value, and a standard deviation of each pixel of the received image using at least one color model of RGB, YCbCr, HSV, and Gray formats. An image analyzer for calculating and analyzing the features of the surgical image, an image determining unit for determining the type of noise according to a preset criterion by using the features of the analyzed image, and removing the type of the determined noise. It may include at least one of the image improving unit for improving the.

상기 영상 개선부는, 안개를 제거하는 안개 처리부, 물방울을 제거하는 물방울 처리부, 연기를 제거하는 연기 처리부, 입자를 제거하는 입자 처리부, 낮은 대비를 복원하는 낮은 대비 처리부 및 반사와 상기 반사로 인한 주변 번짐을 제거하는 반사 및 번짐 처리부 중 적어도 하나를 포함할 수 있다.The image improvement unit may include a mist treatment unit for removing fog, a droplet processing unit for removing water droplets, a smoke processing unit for removing smoke, a particle processing unit for removing particles, a low contrast processing unit for restoring low contrast, and blurring due to reflection and the reflection It may include at least one of the reflection and blur processing unit for removing.

수술 영상 노이즈 제거 시스템은 상기에 따른 수술 영상 노이즈 제거 장치,Surgical image noise removing system is a surgical image noise removing device according to the above,

수술 영상을 촬영하는 프로브, 상기 프로브에 빛을 제공하여 상기 수술 영상을 밝기를 조절하는 광원, 상기 수술 영상을 촬영하는 카메라를 조절하고, 상기 수술 영상 노이즈 제거 장치에 상기 수술 영상을 제공하는 카메라 제어기 및 상기 수술 영상 노이즈 제거 장치에서 개선된 영상을 디스플레이하는 모니터를 포함할 수 있다.A camera controller for photographing a surgical image, a light source for adjusting the brightness of the surgical image by providing light to the probe, a camera for photographing the surgical image, and providing the surgical image to the surgical image noise removing device. And a monitor displaying the improved image in the surgical image noise removing device.

상기 수술 영상 노이즈 제거 장치는 탈부착이 가능할 수 있다.The surgical image noise removing device may be detachable.

수술 영상 노이즈 제거 방법은 수술 영상을 수신하는 단계 및 상기 수신된 수술 영상에 포함된 노이즈를 제거하여 상기 수술 영상을 개선하는 단계를 포함할 수 있다.The surgical image noise removing method may include receiving a surgical image and improving the surgical image by removing noise included in the received surgical image.

상기 수신된 수술 영상을 히스토그램, 평균값, 최대값, 최소값 및 표준편차 중 적어도 하나를 이용하여 수술 영상의 특징을 분석하고, 상기 분석된 수술 영상의 특징을 이용하여 상기 수술 영상이 포함하고 있는 노이즈의 종류를 판단하는 단계를 더 포함할 수 있다.Analyze the characteristics of the surgical image using at least one of a histogram, an average value, a maximum value, a minimum value, and a standard deviation of the received surgical image, and use the characteristics of the analyzed surgical image to determine the noise of the surgical image. The method may further include determining the type.

상기 수신된 수술 영상을 사용자의 입력에 따라 노이즈의 종류를 판단하는 단계를 더 포함할 수 있다.The method may further include determining a type of noise based on a user's input of the received surgical image.

상기 개선된 수술 영상을 아날로그 저장장치에 저장하는 단계를 더 포함할 수 있다.The method may further include storing the improved surgical image in an analog storage device.

상기 개선된 수술 영상을 디지털 저장장치에 저장하는 단계를 더 포함할 수 있다.
The method may further include storing the improved surgical image in a digital storage device.

본 발명에 따른 수술 영상의 실시간 시각적 노이즈 자동 제거 장치, 방법 및 시스템에 의하면, 내시경을 이용한 수술 영상에 포함된 노이즈를 실시간 및 자동으로 제거하여 사용자에게 보다 선명하고 개선된 영상을 제공할 수 있다. According to the apparatus, method and system for automatically removing the real-time visual noise of the surgical image according to the present invention, noise included in the surgical image using the endoscope may be removed in real time and automatically to provide a clearer and improved image to the user.

또한 수술 중에 발생하는 내시경 청소를 줄임으로써 수술 시간을 단축할 수 있다.In addition, the operation time can be shortened by reducing endoscopic cleaning occurring during surgery.

또한 자동 제어 또는 수동 제어를 선택하여 수술 영상에 포함된 노이즈를 제거함으로써, 사용자의 편의 및 의사를 반영할 수 있다.In addition, by selecting the automatic control or manual control to remove the noise included in the surgical image, it can reflect the user's convenience and intention.

또한 수술 영상 노이즈 제거 장치는 수술 영상 시스템에 탈부착 및 호환이 가능할 수 있다.
In addition, the surgical imaging noise removing device may be detachable and compatible with the surgical imaging system.

도 1은 본 발명의 일 실시예에 따른 수술 영상 노이즈 제거 시스템을 도시한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 수술 영상 노이즈 제거 장치를 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 제어부를 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 수술 도중에 발생하는 노이즈의 종류를 도시한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 영상 분석부의 영상분석을 도시한 예시도이다.
도 6은 본 발명의 다른 실시예에 따른 영상 분석부의 영상분석을 도시한 예시도이다.
도 7은 본 발명의 또 다른 실시예에 따른 영상 분석부의 영상 분석을 도시한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 영상 개선부를 도시한 블록도이다.
도 9는 본 발명의 일 실시예에 따른 영상 개선부의 영상개선을 도시한 예시도이다.
도 10은 본 발명의 다른 실시예에 따른 영상 개선부의 영상개선을 도시한 예시도이다.
도 11은 본 발명의 또 다른 실시예에 따른 영상 개선부의 영상개선을 도시한 예시도이다.
도 12는 본 발명의 일 실시예에 따른 수술 영상 노이즈 제거 방법을 도시한 순서도이다.1 is an exemplary view showing a surgical image noise removal system according to an embodiment of the present invention.
2 is a block diagram illustrating a surgical image noise removing apparatus according to an exemplary embodiment of the present invention.
3 is a block diagram illustrating a control unit according to an embodiment of the present invention.
4 is an exemplary diagram illustrating a kind of noise generated during surgery according to an embodiment of the present invention.
5 is an exemplary diagram illustrating image analysis of an image analyzer according to an exemplary embodiment of the present invention.
6 is an exemplary view illustrating image analysis of an image analyzer according to another exemplary embodiment of the present invention.
7 is an exemplary view illustrating image analysis of an image analyzer according to another exemplary embodiment of the present invention.
8 is a block diagram illustrating an image improving unit according to an exemplary embodiment of the present invention.
9 is an exemplary view illustrating image improvement of an image improving unit according to an exemplary embodiment of the present invention.
10 is an exemplary view illustrating image improvement of an image improving unit according to another exemplary embodiment of the present invention.
11 is an exemplary view illustrating image improvement of an image improving unit according to another exemplary embodiment of the present invention.
12 is a flowchart illustrating a surgical image noise removing method according to an embodiment of the present invention.

이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명할 수 있다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 할 수 있다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather obvious or understandable to those skilled in the art.

도 1은 본 발명의 일 실시예에 따른 수술 영상 노이즈 제거 시스템을 도시한 예시도이다.1 is an exemplary view showing a surgical image noise removal system according to an embodiment of the present invention.

도 1을 참조하면, 수술 영상 노이즈 제거 시스템(1)은 내시경을 이용한 수술에서 발생하는 영상보다 선명하고 개선된 영상을 제공할 수 있다. 수술 영상 노이즈 제거 시스템(1)은 상기 영상이 포함하고 있는 노이즈(noise)를 제거함으로써 선명하고 개선된 영상을 제공할 수 있다. 수술 영상 노이즈 제거 시스템(1)은 수술 영상 노이즈 제거 장치(10) 및 수술용 영상 시스템(20)을 포함할 수 있다.Referring to FIG. 1, the surgical image noise removing system 1 may provide a clearer and improved image than an image generated in an operation using an endoscope. The surgical image noise removing system 1 may provide a clear and improved image by removing noise included in the image. The surgical image noise removing system 1 may include a surgical image noise removing device 10 and a surgical imaging system 20.

수술 영상 노이즈 제거 장치(10)은 수술용 영상에 포함된 노이즈를 제거하는 장치일 수 있다. 수술 영상 노이즈 제거 장치(10)은 탈부착이 가능하고, 수술용 영상 시스템(20)과 하드웨어 및 소프트웨어 중 적어도 하나에 대해서 호환될 수 있다. 또한 수술 영상 노이즈 제거 장치(10)는 수술용 영상 시스템(20)로부터 소스영상 즉, 수술용 영상을 제공받은 다음 영상처리를 통하여 노이즈가 제거된 개선영상을 수술용 영상 시스템(20)에 제공할 수 있다.The surgical image noise removing apparatus 10 may be a device for removing noise included in the surgical image. The surgical image noise removing apparatus 10 may be detachable, and may be compatible with the surgical imaging system 20 and at least one of hardware and software. In addition, the surgical image noise removing apparatus 10 may receive a source image, that is, a surgical image from the surgical imaging system 20, and then provide the surgical imaging system 20 with an improved image from which noise is removed through image processing. Can be.

수술용 영상 시스템(20)은 사용자가 내시경을 이용한 수술을 할 수 있게 영상을 제공하는 시스템일 수 있다. 수술용 영상 시스템(20)은 내시경(110), 광원(120), 카메라 제어기(130) 및 모니터(140)를 포함할 수 있다.Surgical imaging system 20 may be a system for providing an image for the user to perform the surgery using the endoscope. The surgical imaging system 20 may include an endoscope 110, a light source 120, a camera controller 130, and a monitor 140.

내시경(110)는 내장 장기 또는 체강 내부를 직접 볼 수 있게 만든 의료기구일 수 있다. 내시경(110)는 복강경뿐만 아니라 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경 및 심장경 중 적어도 하나의 수술에 사용될 수 있다. 내시경(110)는 CCD칩(111), 카메라 대물렌즈(112), 포커스(113), 대안렌즈 구간(114), 릴레이렌즈 구간(115) 및 대물렌즈 구간(116)을 포함할 수 있다.Endoscope 110 may be a medical device made to directly see the internal organs or the body cavity. The endoscope 110 may be used for not only laparoscopic but also at least one of thoracoscopic, arthroscopic, parenteral, bladder, rectal, duodenum, mediastinal and cardiac. The endoscope 110 may include a CCD chip 111, a camera objective lens 112, a focus 113, an alternative lens section 114, a relay lens section 115, and an objective lens section 116.

대물렌즈 구간(116)은 수술 영상의 상이 맺히는 구간일 수 있다. 대물렌즈 구간(116)은 내시경 손잡이의 타단에 위치할 수 있다. 또한 대물렌즈 구간(116)은 내시경(110) 중 상기 신체와 가장 맞닿을 수 있는 위치에 있을 수 있다.The objective lens section 116 may be a section in which an image of the surgical image is formed. The objective lens section 116 may be located at the other end of the endoscope handle. In addition, the objective lens section 116 may be at a position where the endoscope 110 may be most in contact with the body.

릴레이렌즈 구간(115)은 대물렌즈 구간(116)에서 맺힌 신체의 상으로부터 또 상을 맺히게 하는 구간일 수 있다. 따라서, 릴레이렌즈 구간(115)은 신체의 상에 대한 초점거리를 조절하는 역할을 할 수 있다. 릴레이렌즈 구간(115)는 대물렌즈 구간(116) 및 대안렌즈 구간(114) 사이에 위치할 수 있다.The relay lens section 115 may be a section for forming an image from the image of the body formed in the objective lens section 116. Therefore, the relay lens section 115 may serve to adjust the focal length of the body image. The relay lens section 115 may be located between the objective lens section 116 and the alternative lens section 114.

대안렌즈 구간(114)은 릴레이렌즈 구간(115)에서 만들어진 상을 더욱 확대하는 구간일 수 있다. 대안렌즈 구간(114)은 내시경 손잡이 방향에 위치할 수 있다.The alternative lens section 114 may be a section for further enlarging an image made in the relay lens section 115. The alternative lens section 114 may be located in the direction of the endoscope handle.

포커스(113)는 대안렌즈 구간(114)에서 확대된 상을 렌즈나 오목 거울 등에서 평행 광선을 수렴하는 점일 수 있다.The focus 113 may be a point at which the magnified image converges in the lens or the concave mirror in the enlarged image in the alternative lens section 114.

카메라 대물렌즈(112)는 포커스(114)에서 수렴된 광선을 받아들여 영상을 형성하는 렌즈일 수 있다.The camera objective lens 112 may be a lens that receives the light converged at the focus 114 to form an image.

CCD 칩(111)은 카메라 대물렌즈(112)에서 형성된 영상을 저장하는 칩일 수 있다. 또한 CCD 칩(111)은 전하결합소자로써, 종래의 트랜지스터 소자와 달리 신호를 축적하고 전송하는 2가지 기능을 동시에 갖추고 있다.The CCD chip 111 may be a chip that stores an image formed by the camera objective lens 112. Also, the CCD chip 111 is a charge coupled device, and unlike the conventional transistor device, the CCD chip 111 has two functions of accumulating and transmitting signals.

내시경(110)는 상기 구성요소를 포함하는 카메라를 포함할 수 있다. The endoscope 110 may include a camera including the above components.

광원(120)은 내시경(110)에 빛을 제공하여 수술 영상의 밝기를 조절할 수 있다. 광원(120)은 릴레이렌즈 구간(115)과 연결될 수 있고, 상기 빛을 릴레이렌즈 구간(115)에 제공할 수 있다. 따라서, 광원(120)은 내시경(110)을 통해 환자의 신체내부에 빛을 제공할 수 있다.The light source 120 may provide light to the endoscope 110 to adjust the brightness of the surgical image. The light source 120 may be connected to the relay lens section 115 and may provide the light to the relay lens section 115. Therefore, the light source 120 may provide light into the body of the patient through the endoscope 110.

카메라 제어기(130)는 내시경(110)에 포함된 카메라를 제어할 수 있다. 카메라 제어기(130)는 상기 카메라의 각부 전극 전압, 빔전류 및 초점, 화면의 크기, 위치, 그늘현상(shading), 밝기신호 준위, 색상, 색신호 준위, 동기 등의 조정을 수동 또는 자동으로 제어할 수 있다. 카메라 제어기(130)는 내시경(110)에서 촬영된 소스영상을 수술 영상 노이즈 제거 시스템(10)에 제공할 수 있다. 상기 소스영상은 수술 영상일 수 있다.The camera controller 130 may control a camera included in the endoscope 110. The camera controller 130 may manually or automatically control adjustment of the electrode voltage, beam current and focus, screen size, position, shading, brightness signal level, color, color signal level, synchronization, etc. of the camera. Can be. The camera controller 130 may provide a source image photographed by the endoscope 110 to the surgical image noise removing system 10. The source image may be a surgical image.

모니터(140)는 수술 영상 노이즈 제거 장치(10)에서 제공하는 개선된 영상을 디스플레이 할 수 있다. 모니터(140)는 사용자가 내시경(110)을 이용한 수술을 할 수 있도록 수술 영상을 디스플레이 할 수 있다.
The monitor 140 may display an improved image provided by the surgical image noise removing device 10. The monitor 140 may display the surgery image so that the user may perform the surgery using the endoscope 110.

도 2는 본 발명의 일 실시예에 따른 수술 영상 노이즈 제거 장치를 도시한 블록도이다.2 is a block diagram illustrating a surgical image noise removing apparatus according to an exemplary embodiment of the present invention.

도 2를 참조하면, 수술 영상 노이즈 제거 장치(10)는 수술 영상을 수신받고, 상기 수신된 수술 영상을 영상처리를 통하여 개선 영상을 산출할 수 있다. 수술 영상 노이즈 제거 장치(10)는 자동제어 또는 수동제어로 상기 수술 영상에 포함된 노이즈를 제거할 수 있다. 상기 자동제어 또는 상기 수동제어는 소프트웨어 및 하드웨어 중 적어도 하나로 선택할 수 있다. 수술 영상 노이즈 제거 장치(10)는 입력부(210), 제어부(220), 출력부(230) 및 저장부(240)를 포함할 수 있다.Referring to FIG. 2, the surgical image noise removing apparatus 10 may receive a surgical image and calculate an improvement image through image processing of the received surgical image. The surgical image noise removing apparatus 10 may remove noise included in the surgical image by automatic control or manual control. The automatic control or the manual control may be selected from at least one of software and hardware. The surgical image noise removing apparatus 10 may include an input unit 210, a control unit 220, an output unit 230, and a storage unit 240.

입력부(210)는 수술 영상을 수신할 수 있다. 입력부(210)는 카메라 제어기(130)에서 제공하는 수술 영상을 수신할 수 있다. 입력부(210)는 카메라 제어기(130)와 호환되는 케이블을 통해 상기 수술 영상을 수신할 수 있다. 또한 상기 수술 영상은 노이즈를 포함하고 있는 수술 영상일 수 있다.The input unit 210 may receive a surgical image. The input unit 210 may receive a surgical image provided by the camera controller 130. The input unit 210 may receive the surgical image through a cable compatible with the camera controller 130. In addition, the surgical image may be a surgical image including noise.

제어부(220)는 노이즈가 포함된 수술 영상을 영상처리를 하여 개선 영상을 산출할 수 있다. 제어부(220)는 자동제어 또는 수동제어로 영상처리를 할 수 있다. The controller 220 may image the surgical image including the noise to calculate an improved image. The controller 220 may perform image processing by automatic control or manual control.

제어부(220)가 자동제어를 할 경우에는, 제어부(220)는 입력부(210)에서 수신된 수술 영상의 히스토그램, 평균값, 최대값, 최소값, 표준편차 중 적어도 하나를 이용하여 분석할 수 있다. 제어부(220)는 사전에 설정된 기준에 따라 상기 수술 영상에 포함된 노이즈의 종류를 판단할 수 있다.When the controller 220 performs automatic control, the controller 220 may analyze at least one of a histogram, an average value, a maximum value, a minimum value, and a standard deviation of the surgical image received from the input unit 210. The controller 220 may determine the type of noise included in the surgical image based on a preset criterion.

제어부(220)가 수동제어를 할 경우에는, 제어부(220)는 외부입력에 따라 상기 수술 영상에 포함된 노이즈를 판단할 수 있다. 상기 외부입력은 사용자의 입력일 수 있다. 사용자는 수술 영상에 포함된 노이즈의 종류를 선택할 수 있다.When the controller 220 performs manual control, the controller 220 may determine noise included in the surgical image according to an external input. The external input may be a user input. The user may select the type of noise included in the surgical image.

제어부(220)는 자동제어 또는 수동제어를 통하여 얻어진 노이즈의 종류에 따라 알고리즘을 선택하여 상기 노이즈를 제거할 수 있다. 제어부(220)는 렌즈표면의 수증기성 안개, 렌즈표면에 맺힌 물방울, 레이저 수술 시 발생하는 연기, 레이저 수술 시 휘날리는 입자, 낮은 대비 및 강한 반사와 그로 인한 주변 번짐 중 적어도 하나의 노이즈를 제거할 수 있다.The controller 220 may select an algorithm according to the type of noise obtained through automatic control or manual control to remove the noise. The controller 220 may remove at least one noise from water vapor mist on the lens surface, water droplets formed on the lens surface, smoke generated during laser surgery, particles flying during laser surgery, low contrast and strong reflection, and consequent blurring. have.

출력부(230)는 제어부(220)에서 노이즈가 제거된 수술 영상을 모니터(140)에 전송할 수 있다. 출력부(230)는 개선된 수술 영상을 모니터(140)와 호환되는 케이블을 통해 모니터(140)에 제공할 수 있다.The output unit 230 may transmit the surgical image from which the noise is removed from the controller 220 to the monitor 140. The output unit 230 may provide the improved surgical image to the monitor 140 through a cable compatible with the monitor 140.

저장부(240)는 영상을 분석하는 알고리즘, 상기 분석된 영상의 노이즈 종류를 판단하는 알고리즘 및 노이즈를 제거하는 알고리즘 중 적어도 하나의 알고리즘을 포함할 수 있다. 저장부(240)는 노이즈의 종류를 판단하는 기준이 저장될 수 있다. 상기 기준은 노이즈의 종류에 따라 특화된 특징에 대한 데이터의 설정일 수 있다. 저장부(240)는 기존의 수술용 영상 시스템(20)의 정보가 저장되어 있어서 호환이 될 수 있다. 또한 저장부(240)는 영상처리 알고리즘 및 수술용 영상 시스템의 정보가 업데이트될 수 있다. 저장부(240)는 물리적으로 독립될 수 있고, 제어부(220)에서 개선된 수술 영상이 저장될 수 있다. 저장부(240)는 아날로그 저장장치일 수 있고, 디지털 저장장치일 수 있다.
The storage unit 240 may include at least one of an algorithm for analyzing an image, an algorithm for determining a noise type of the analyzed image, and an algorithm for removing noise. The storage unit 240 may store a criterion for determining the type of noise. The criterion may be setting of data for a specialized feature according to the type of noise. Storage unit 240 may be compatible because the information of the existing surgical imaging system 20 is stored. In addition, the storage unit 240 may update the information of the image processing algorithm and the surgical imaging system. The storage 240 may be physically independent, and the surgical image improved by the controller 220 may be stored. The storage unit 240 may be an analog storage device or a digital storage device.

도 3은 본 발명의 일 실시예에 따른 제어부를 도시한 블록도이다.3 is a block diagram illustrating a controller according to an embodiment of the present invention.

도 3을 참조하면, 제어부(220)는 입력부(210)에서 수신한 수술 영상에 포함된 노이즈를 제거할 수 있다. 제어부(220)는 상기 노이즈를 영상처리를 통하여 제거할 수 있다. 제어부(220)는 영상 분석부(310), 영상 판단부(320) 및 영상 개선부(330)를 포함할 수 있다.Referring to FIG. 3, the controller 220 may remove noise included in the surgical image received by the input unit 210. The controller 220 may remove the noise through image processing. The controller 220 may include an image analyzer 310, an image determiner 320, and an image enhancer 330.

영상 분석부(310)는 수술 영상을 히스토그램으로 표현하여 상기 수술 영상을 분석할 수 있다. 영상 분석부(310)는 각 픽셀(pixel)을 RGB형식, YCbCr형식, HSV형식 및 Gray형식 중 적어도 하나의 색상모델을 이용하여 히스토그램을 산출할 수 있다. The image analyzer 310 may analyze the surgical image by expressing the surgical image in a histogram. The image analyzer 310 may calculate a histogram for each pixel using at least one color model of an RGB format, a YCbCr format, an HSV format, and a gray format.

RGB형식은 가장 기본적인 색상모델로서 색을 빨간(Red), 초록(Green), 파랑(Blue)의 3가지 성분의 조합을 나타낸 것이다. YCbCr형식은 RGB색에서 밝기 성분(Y)과 색차정보(Cb, Cr)를 분리하여 표현한 색상모델이다. HSV형식은 색조(Hue), 채도(Saturation), 명도(Value)의 3가지 성분을 표현하는 색상모델이다. Gray형식은 색 정보를 사용하지 않고, 밝기 정보만으로 영상을 표현하는 색상모델이다. The RGB format is the most basic color model and represents a combination of three components: red, green, and blue. YCbCr format is a color model that expresses the brightness component (Y) and the color difference information (Cb, Cr) separately from RGB colors. The HSV format is a color model that expresses three components: Hue, Saturation, and Value. Gray format is a color model that expresses the image using only brightness information without using color information.

영상 분석부(310)는 각 픽셀의 평균값, 최대값, 최소값 및 표준편차를 산출할 수 있다. 또한 영상 분석부(310)는 움직이는 물체의 크기 및 속도를 산출할 수 있다. 영상 분석부(310)는 저장부(240)에 저장된 알고리즘을 이용할 수 있다.The image analyzer 310 may calculate an average value, a maximum value, a minimum value, and a standard deviation of each pixel. In addition, the image analyzer 310 may calculate the size and speed of the moving object. The image analyzer 310 may use an algorithm stored in the storage 240.

영상 판단부(320)는 영상 분석부(310)에서 분석된 데이터를 이용하여 수술 영상에 포함된 노이즈의 종류를 판단할 수 있다. 영상 판단부(320)는 수술 영상의 특징을 사전에 설정된 기준에 따라 노이즈의 종류를 판단할 수 있다. 영상 판단부(320)는 노이즈의 종류에 따라 렌즈표면의 수증기성 안개, 렌즈표면에 맺힌 물방울, 레이저 수술 시 발생하는 연기, 레이저 수술 시 휘날리는 입자, 낮은 대비 및 강한 반사와 그로 인한 주변 번짐 중 적어도 하나의 노이즈를 판단할 수 있다. 또한 영상 판단부(320)은 상기 언급한 노이즈로 한정하지 않고 수술 영상에 불필요한 노이즈를 판단할 수 있다.The image determiner 320 may determine the type of noise included in the surgical image by using the data analyzed by the image analyzer 310. The image determiner 320 may determine the type of noise based on a predetermined criterion for the characteristic of the surgical image. According to the kind of noise, the image determining unit 320 may include at least one of water vapor mist on the surface of the lens, water droplets formed on the lens surface, smoke generated during laser surgery, particles flying during laser surgery, low contrast and strong reflections, and the resulting blurring. One noise can be determined. In addition, the image determiner 320 may determine noise that is unnecessary for the surgical image, not limited to the above-mentioned noise.

영상 판단부(320)는 렌즈표면의 수증기성 안개를 판단할 수 있다. 영상 판단부(320)는 수증기성 안개를 판단하기 위해서 수술 영상의 대비를 확인할 수 있다.The image determiner 320 may determine the water vapor fog on the lens surface. The image determiner 320 may check the contrast of the surgical image to determine the vapor fog.

영상 판단부(320)는 렌즈 표면에 맺힌 물방울을 3가지 방법을 이용하여 판단할 수 있다. 상기 3가지 방법은 모델 기반 물방울 인식, 연속된 프레임을 이용한 물방울 인식 및 물방울 모델과 연속된 프레임을 이용한 물방울 인식일 수 있다. The image determiner 320 may determine the water droplets formed on the lens surface by using three methods. The three methods may be model based droplet recognition, droplet recognition using a continuous frame, and droplet recognition using a droplet model and a continuous frame.

영상 판단부(320)는 모델 기반 물방울 인식을 할 수 있다. 영상 판단부(320)는 물방울을 타원형 모양으로 설정할 수 있고, 강한 조명을 사용하는 수술 영상 내에서 픽셀 값이 매우 높은 값이라고 설정할 수 있다. 또한 영상 판단부(320)는 투명한 물방울의 경우 전체 수술 영상의 축소 형태가 물방울 내부에 나타낸다고 설정할 수 있고, 불투명 물방울의 경우 픽셀 값은 가우시안(Gaussian) 형태의 번짐 형태로 나타낸다고 설정할 수 있다.The image determiner 320 may perform model-based water droplet recognition. The image determining unit 320 may set the water droplets to an elliptical shape, and set the pixel value to be a very high value in the surgical image using strong illumination. In addition, the image determiner 320 may set that the reduced form of the entire surgical image is represented inside the droplet in the case of transparent droplets, and that the pixel value is expressed in a Gaussian form in the case of opaque droplets.

영상 판단부(320)는 레이저 수술 시 발생하는 연기를 판단할 수 있다. 영상 판단부(320)는 수술 영상의 히스토그램, 평균값, 최대값, 최소값 및 표준편차 중 적어도 하나의 데이터를 이용할 수 있다. 영상 판단부(320)는 연기가 있으면 수술 영상이 대체적으로 밝은 영상으로 나타나기 때문에 히스토그램 분포가 높은 신호에 분포되어 있고, 평균 값이 높으며, 최소값이 높은 수술 영상을 연기가 발생한다고 설정할 수 있다.The image determining unit 320 may determine the smoke generated during the laser surgery. The image determiner 320 may use at least one of a histogram, an average value, a maximum value, a minimum value, and a standard deviation of the surgical image. If there is smoke, the image determining unit 320 may set the surgery image to be generated in a signal having a high histogram distribution, having a high average value, and having a high minimum value because the surgery image is generally displayed as a bright image.

영상 판단부(320)는 레이저 수술 시 휘날리는 입자를 판단할 수 있다. 영상 판단부(320)는 입자를 판단함에 있어서 수술 영상에서의 움직임 정보를 이용할 수 있다. 영상 판단부(320)는 움직임 물체의 크기 및 속도를 이용하여 판단할 수 있다.The image determiner 320 may determine particles flying during laser surgery. The image determining unit 320 may use the motion information in the surgical image in determining the particles. The image determiner 320 may determine the size and speed of the moving object.

영상 판단부(320)는 낮은 대비를 판단할 수 있다. 영상 판단부(320)는 낮은 대비 영상을 대체적으로 특정영역에 히스토그램 분포가 몰려 있는 특징이 있다고 설정할 수 있다. 따라서, 영상 판단부(320)는 최대값-최소값(dynamic range) 및 평균값을 이용할 수 있다. The image determiner 320 may determine a low contrast. The image determiner 320 may set that the low contrast image has a feature that the histogram distribution is concentrated in a specific region. Accordingly, the image determiner 320 may use a maximum value-minimum value (dynamic range) and an average value.

영상 판단부(320)는 강한 반사와 그로 인한 주변 번짐을 판단할 수 있다. 영상 판단부(320)는 강한 반사는 일정한 문턱치(Threshold)를 초과하는 픽셀의 색 및 비율을 이용할 수 있다.The image determiner 320 may determine the strong reflection and the resulting blur. The image determiner 320 may use the color and the ratio of the pixels whose strong reflection exceeds a predetermined threshold.

영상 개선부(330)는 영상 판단부(320)에서 판단된 노이즈의 종류에 따라 노이즈 제거 알고리즘을 이용하여 수술 영상을 개선할 수 있다. 영상 개선부(330)는 저장부(240)에 저장된 노이즈 제거 알고리즘을 이용할 수 있다. 영상 개선부(330)는 레이저 수술 시 발생하는 연기 및 렌즈표면의 수증기성 안개 제거, 렌즈표면에 맺힌 물방울, 레이저 수술 시 휘날리는 입자, 낮은 대비 및 강한 반사와 그로 인한 주변 번짐 중 적어도 하나의 노이즈를 제거하여 수술 영상을 개선할 수 있다. 영상 개선부(330)는 상기 노이즈에 한정하지 않고, 수술 영상에 불필요한 노이즈일 경우 제거할 수 있다.
The image improving unit 330 may improve the surgical image by using a noise removing algorithm according to the type of noise determined by the image determining unit 320. The image enhancer 330 may use a noise removing algorithm stored in the storage 240. The image enhancement unit 330 removes at least one noise of smoke and water vapor generated from the laser surgery, water droplets formed on the lens surface, particles flying during the laser surgery, low contrast and strong reflections, and consequent blurring. Removal can improve the surgical image. The image improving unit 330 is not limited to the noise and may remove noise that is unnecessary for the surgical image.

도 4는 본 발명의 일 실시예에 따른 수술 도중에 발생하는 노이즈의 종류를 도시한 예시도이다.4 is an exemplary diagram illustrating a kind of noise generated during surgery according to an embodiment of the present invention.

도 4를 참조하면, 수술 영상은 여러 종류의 노이즈를 포함할 수 있다. Referring to FIG. 4, the surgical image may include various kinds of noises.

도 4(a)는 렌즈표면의 수증기성 안개가 포함된 수술 영상이다. 렌즈표면의 수증기성 안개 노이즈는 인체 내부로 들어가는 과정 중 온도차로 인해 렌즈에 수증기가 액화되면서 전체적으로 수술 영상의 품질이 심하게 떨어지는 경우일 수 있다.4 (a) is a surgical image including a vapor mist of the lens surface. Water vapor fog noise on the lens surface may be a case where the quality of the surgical image is severely degraded as water vapor is liquefied in the lens due to the temperature difference during the process of entering the body.

도 4(b)는 렌즈표면에 맺힌 물방울이 포함된 수술 영상이다. 렌즈표면에 맺힌 물방울 노이즈는 복강경 수술 시 증류수가 렌즈표면에 튀어 물방울과 같은 패턴으로 맺히는 경우일 수 있다.4B is a surgical image including water droplets formed on the lens surface. The water droplet noise formed on the lens surface may be a case in which distilled water splashes on the lens surface and forms a water droplet-like pattern during laparoscopic surgery.

도 4(c)는 레이저 수술 시 발생하는 연기가 포함된 수술 영상이다. 레이저 수술 시 발생하는 연기 노이즈는 레이저 수술로 인해 연기가 발생하여 수술 시 시각적 불편함을 초래하는 경우일 수 있다.Figure 4 (c) is a surgical image including the smoke generated during the laser surgery. The smoke noise generated during laser surgery may be a case where smoke is generated due to laser surgery, resulting in visual discomfort during surgery.

도 4(d)는 레이저 수술 시 휘날리는 입자가 포함된 수술 영상이다. 레이저 수술 시 휘날리는 입자 노이즈는 레이저 수술로 인해 내부에 입자가 발생하는 경우일 수 있다.Figure 4 (d) is a surgical image containing particles flying during the laser surgery. Particle noise flying during laser surgery may be a case where particles are generated inside by laser surgery.

도 4(e)는 낮은 대비가 포함된 수술 영상이다. 낮은 대비 노이즈는 균일하지 않은 밝기 및 조도 등으로 인한 시각적 불편을 초래하는 경우일 수 있다.4 (e) is a surgical image with low contrast. Low contrast noise may be a case of causing visual inconvenience due to uneven brightness and illumination.

도 4(f)는 강한 반사와 그로 인한 주변 번짐이 포함된 수술 영상이다. 강한 반사와 그로 인한 주변 번짐 노이즈는 수술 시 강한 조명에 수술도구가 반사되면서 주변의 화면이 번짐 현상이 발생하는 경우일 수 있다.
4 (f) is a surgical image that includes strong reflections and consequent bleeding. The strong reflection and the resulting blurring noise may be a case where the surrounding screen is smeared when the surgical tool is reflected by strong lighting during surgery.

도 5는 본 발명의 일 실시예에 따른 영상 분석부의 영상분석을 도시한 예시도이고, 도 6은 본 발명의 다른 실시예에 따른 영상 분석부의 영상분석을 도시한 예시도이며, 도 7은 본 발명의 또 다른 실시예에 따른 영상 분석부의 영상 분석을 도시한 예시도이다.5 is an exemplary diagram illustrating image analysis of an image analyzer according to an exemplary embodiment of the present invention, FIG. 6 is an exemplary diagram illustrating image analysis of an image analyzer according to another exemplary embodiment of the present invention, and FIG. An example diagram illustrating image analysis of an image analyzer according to another exemplary embodiment of the present invention.

도 5 내지 도 7을 참조하면, 영상 분석부(310)는 수술 영상을 히스토그램으로 산출할 수 있다. 영상 분석부(310)는 RGB형식, YCbCr형식, HSV형식 및 Gray형식 중 적어도 하나의 색상모델을 이용하여 히스토그램을 산출할 수 있다.5 to 7, the image analyzer 310 may calculate a surgical image as a histogram. The image analyzer 310 may calculate a histogram using at least one color model of an RGB format, a YCbCr format, an HSV format, and a gray format.

도 5(a)는 노이즈가 포함되지 않은 수술 영상이고, 도 6(a)은 렌즈표면의 수증기성 안개를 포함하는 수술 영상이며, 도 7(a)은 렌즈표면에 맺힌 물방울을 포함하는 수술 영상이다.Figure 5 (a) is a surgical image that does not include noise, Figure 6 (a) is a surgical image including a water vapor mist on the lens surface, Figure 7 (a) is a surgical image including water droplets formed on the lens surface to be.

영상 분석부(310)는 도 5(a)에 대한 히스토그램을 산출할 수 있다. 영상 분석부(310)는 도 5(a)에 대한 RGB형식의 히스토그램을 도 5(b)와 같이 산출할 수 있다. 도 5(b)는 R(510), G(520) 및 B(530) 히스토그램으로 구분할 수 있다. 수술 영상은 신체의 내부 영상이기 때문에 R(510)의 분포가 G(520) 및 B(530)의 분포보다 클 수 있다. 영상 분석부(310)는 도 5(a)에 대한 YCbCr형식의 히스토그램을 도 5(c)와 같이 산출할 수 있다. 도 5(c)는 Y(540), Cb(550) 및 Cr(560) 히스토그램으로 구분할 수 있다. The image analyzer 310 may calculate a histogram of FIG. 5A. The image analyzer 310 may calculate a histogram of the RGB format of FIG. 5A as shown in FIG. 5B. 5 (b) may be divided into histograms of R 510, G 520, and B 530. Since the surgical image is an internal image of the body, the distribution of R 510 may be larger than that of G 520 and B 530. The image analyzer 310 may calculate the histogram of the YCbCr format of FIG. 5A as shown in FIG. 5C. 5 (c) may be divided into histograms of Y 540, Cb 550, and Cr 560.

영상 분석부(310)는 도 6(a)에 대한 히스토그램을 산출할 수 있다. 영상 분석부(310)는 도 6(a)에 대한 RGB형식의 히스토그램을 도 6(b)와 같이 산출할 수 있다. 도 6(b)는 R(610), G(620), B(630) 히스토그램으로 구분할 수 있다. 도 6(a)는 안개를 포함한 수술 영상이기 때문에 전체적으로 밝기가 밝다. 따라서, 히스토그램의 분포가 전체적으로 0보다는 255에 가깝게 분포할 수 있다. 영상 분석부(310)는 도 6(a)에 대한 YCbCr형식의 히스토그램을 도 6(c)와 같이 산출할 수 있다. 도 6(c)는 Y(640), Cb(650) 및 Cr(660) 히스토그램으로 구분할 수 있다.The image analyzer 310 may calculate a histogram of FIG. 6A. The image analyzer 310 may calculate the histogram of the RGB format of FIG. 6A as shown in FIG. 6B. 6 (b) may be divided into histograms of R 610, G 620, and B 630. 6 (a) is a bright image as a whole because of the surgical image including the fog. Therefore, the distribution of the histogram may be closer to 255 than to 0 as a whole. The image analyzer 310 may calculate a histogram of the YCbCr format of FIG. 6A as shown in FIG. 6C. 6 (c) may be divided into Y 640, Cb 650, and Cr 660 histograms.

영상 분석부(310)는 도 7(a)에 대한 히스토그램을 산출할 수 있다. 영상 분석부(310)는 도 7(a)에 대한 RGB형식의 히스토그램을 도 7(b)와 같이 산출할 수 있다. 도 7(a)는 R(710), G(720), B(730) 히스토그램으로 구분할 수 있다. 도 7(a)는 물방울을 포함한 수술 영상이기 때문에 히스토그램의 분포가 특정 범위에 많이 분포되어 있는 것을 알 수 있다. 상기 특정 범위는 50 ~ 70 일 수 있다. 영상 분석부(310)는 도 7(a)에 대한 YCbCr형식의 히스토그램을 도 7(c)와 같이 산출할 수 있다. 도 7(a)에 대한 YCbCr형식의 히스토그램을 도 7(c)와 같이 산출할 수 있다. 도 7(c)는 Y(740), Cb(750) 및 Cr(760) 히스토그램으로 구분할 수 있다.The image analyzer 310 may calculate a histogram of FIG. 7A. The image analyzer 310 may calculate a histogram of the RGB format of FIG. 7A as shown in FIG. 7B. 7 (a) may be divided into R (710), G (720), and B (730) histograms. 7 (a) is a surgical image including a drop of water, it can be seen that the distribution of the histogram is distributed in a specific range. The specific range may be 50 to 70. The image analyzer 310 may calculate a histogram of the YCbCr format of FIG. 7A as shown in FIG. 7C. A histogram of the YCbCr format of FIG. 7A can be calculated as shown in FIG. 7C. FIG. 7C may be divided into a histogram of Y 740, Cb 750, and Cr 760.

도 8은 본 발명의 일 실시예에 따른 영상 개선부를 도시한 블록도이다.8 is a block diagram illustrating an image improving unit according to an exemplary embodiment of the present invention.

도 8을 참조하면, 영상 개선부(330)는 영상 판단부(320)에서 판단된 노이즈의 종류를 제거 할 수 있다. 영상 개선부(330)는 안개를 제거하는 안개 처리부(810), 물방울 영역을 복원하는 물방울 처리부(820), 연기를 제거하는 연기 처리부(830), 입자를 제거하는 입자 처리부(840), 낮은 대비를 복원하는 낮은 대비 처리부(850) 및 반사 및 번짐을 복원하는 반사 및 번짐 처리부(860) 중 적어도 하나를 포함할 수 있다.Referring to FIG. 8, the image improving unit 330 may remove the type of noise determined by the image determining unit 320. The image improving unit 330 may include a mist processor 810 for removing mist, a droplet processor 820 for restoring a droplet region, a smoke processor 830 for removing smoke, a particle processor 840 for removing particles, and low contrast. It may include at least one of a low contrast processing unit 850 to restore the reflection and blur and processing unit 860 to restore the reflection and blur.

안개 처리부(810)는 탬프럴 미디언(temporal median) 필터와 히스토그램 평활화 방법을 이용하여 연기 제거를 할 수 있다. 안개 처리부(810)는 엣지(edge) 정보를 이용하여 히스토그램 평활화시 소실되었던 디테일한 정보를 복원할 수 있다. 안개 처리부(810)는 상기 엣지 정보를 소벨(sobel), 캐니(canny) 알고르즘 등과 같은 영상처리 방법을 이용하여 산출할 수 있다.The fog processor 810 may remove smoke by using a temporal median filter and a histogram smoothing method. The fog processor 810 may restore detailed information lost during histogram smoothing using edge information. The fog processor 810 may calculate the edge information by using an image processing method such as a sobel, canny algorithm, or the like.

물방울 처리부(820)는 물방울 영역을 복원하기 위해서 기본적으로 3가지 방법을 적용할 수 있다. 물방울 처리부(820)는 영상의 인페이팅(Inpainting), 영상 정합 및 영상 대비 증가를 이용하여 물방울 영역을 복원할 수 있다.The droplet processing unit 820 may basically apply three methods to restore the droplet region. The droplet processor 820 may restore the droplet region by using inpainting, image registration, and image contrast increase of the image.

물방울 처리부(820)는 영상 인페이팅을 할 수 있다. 물방울 처리부(820)는 물방울 영역 주변의 픽셀 화소값들을 이용하여 물방울 영역을 복원하는 것이다. The droplet processor 820 may perform image infancy. The droplet processor 820 restores the droplet region using pixel pixel values around the droplet region.

물방울 처리부(820)는 영상 정합을 할 수 있다. 물방울 처리부(820)는 물방울 영역의 이전 프레임 정보를 이용하여 현재 물방울 영역을 이전 영상의 픽셀값으로 바꿀 수 있다. 따라서, 물방울 처리부(820)는 템플릿 매칭(template matching), 옵티컬 플로우(optical flow) 등 영상 특징 추출 및 정합 방법을 이용할 수 있다. The droplet processor 820 may perform image registration. The droplet processor 820 may replace the current droplet region with pixel values of the previous image by using previous frame information of the droplet region. Accordingly, the droplet processing unit 820 may use an image feature extraction and matching method such as template matching and optical flow.

물방울 처리부(820)는 영상 대비 증가를 할 수 있다. 물방울 처리부(820)는 물방울 영역이 단순한 번짐 영일 경우, 안개 제거에서 방법을 물방울 영역에 그대로 적용할 수 있다.The droplet processor 820 may increase an image contrast. The droplet processing unit 820 may apply the method to the droplet region as it is to remove the fog when the droplet region is a simple spreading zero.

연기 처리부(830)는 안개 제거 방법과 동일한 방법을 사용하여 연기를 제거할 수 있다. 연기 처리부(830)는 히스토그램 평활화 방법과 엣지 정보를 이용하여 히스토그램 평화화시 소실된 디테일한 정보를 복원할 수 있다.The smoke processor 830 may remove the smoke using the same method as the fog removal method. The smoke processor 830 may restore the detailed information lost during the histogram peace by using the histogram smoothing method and the edge information.

입자 처리부(840)는 크기가 작은 입자가 동영상에서 갑자기 나타났다가 사라지므로 상기 특성을 고려한 스파티오 탬프럴 미디언(Spatio-temporal median) 필터를 이용하여 수술 시 휘날리는 입자를 제거할 수 있다. 상기 스파티오 탬프럴 미디언 필터는 공간 및 시간 영역에서 모든 픽셀과 그 주변 픽셀 가운데서 중간 값을 최종 대표값으로 취하는 필터를 말한다. Since the particle processing unit 840 suddenly appears and disappears in a small sized particle, the particle processing unit 840 may remove particles that flutter during surgery using a Spatio-temporal median filter in consideration of the above characteristics. The spatio-temporal median filter refers to a filter that takes a median value as a final representative value among all pixels and surrounding pixels in the space and time domain.

낮은 대비 처리부(850)는 히스토그램 평활화 또는 히스토그램 보정 방법을 이용하여 대비도를 향상시킬 수 있다. 상기 히스토그램 평활화는 수술 영상의 범위를 0 ~ 255 범위로 확장을 하여 대비도를 올리는 방식이다. 또한 상기 히스토그램 보정 방법은 최소값, 최대값을 변하지 않는 상황에서 대비도를 높여주는 방식이다.The low contrast processor 850 may improve the contrast using a histogram smoothing or histogram correction method. The histogram smoothing is a method of increasing the contrast by extending the range of the surgical image to 0 to 255 range. In addition, the histogram correction method is a method of increasing the contrast in the situation that the minimum value, the maximum value does not change.

반사 및 번짐 처리부(860)는 강한 반사가 일정한 문턱치를 초과하는 픽셀이므로 상기 픽셀에 대해서 선형 변환을 통해 영상을 개선할 수 있다. 상기 문턱치의 값은 200 ~ 210일 수 있다. 또한 반사 및 번짐 처리부(860)는 엣지 정보를 이용하여 선형 변환 후 소실되었던 디테일한 정보를 복원할 수 있다.
The reflection and blur processing unit 860 may improve the image by performing a linear transformation on the pixel because the strong reflection exceeds a certain threshold. The threshold value may be 200 to 210. In addition, the reflection and blur processing unit 860 may restore the detailed information lost after the linear transformation by using the edge information.

도 9는 본 발명의 일 실시예에 따른 영상 개선부의 영상개선을 도시한 예시도이고, 도 10은 본 발명의 다른 실시예에 따른 영상 개선부의 영상개선을 도시한 예시도이며, 도 11은 본 발명의 또 다른 실시예에 따른 영상 개선부의 영상개선을 도시한 예시도이다.9 is an exemplary view showing an image improvement unit of an image improving unit according to an embodiment of the present invention, FIG. 10 is an exemplary view showing an image improvement unit of an image improving unit according to another embodiment of the present invention, and FIG. FIG. 3 is an exemplary diagram illustrating image improvement of an image improving unit according to another exemplary embodiment of the present invention. FIG.

도 9 내지 도 11을 참조하면, 영상 개선부(330)은 다양한 방법을 이용하여 노이즈를 제거하여 수술 영상을 개선할 수 있다.9 to 11, the image improving unit 330 may improve a surgical image by removing noise using various methods.

도 9는 영상 개선부(330)가 레이저 수술 시 발생하는 연기 및 렌즈 표면의 수증기성 안개 제거를 도시하고 있다. 영상 개선부(330)는 수술 영상(900)을 누적 분포 함수(cumulative distribution function)를 이용하여 그래프(910)과 같이 나타낼 수 있다. 수술 영상의 그래프(910)는 그래프가 비례하지 않고 곡선을 이루고 있다. 따라서, 영상 개선부(330)는 탬프럴 미디언 필터 및 히스토그램 평활화 방법을 이용하여 노이즈를 제거할 수 있다. 영상 개선부(330)는 엣지 정보를 이용하여 히스토그램 평활화 시 소실된 디테일한 정보를 복원할 수 있다. 개선된 수술 영상(920)은 수술 영상(900)보다 선명해진 것을 알 수 있다. 또한 개선된 수술 영상의 누적 분포 함수의 그래프(930)는 그래프가 비례를 이루고 있는 것으로 수술 영상의 색상 분포가 고르게 된 것을 알 수 있다.　 FIG. 9 illustrates removal of smoke and vapor mist from the surface of the lens generated by the laser surgery 330. The image improving unit 330 may display the surgical image 900 as a graph 910 using a cumulative distribution function. The graph 910 of the surgical image is curved in proportion to the graph. Accordingly, the image enhancement unit 330 may remove noise by using a temporal median filter and a histogram smoothing method. The image enhancement unit 330 may restore detailed information lost when the histogram is smoothed by using the edge information. It can be seen that the improved surgical image 920 is clearer than the surgical image 900. In addition, the graph 930 of the cumulative distribution function of the improved surgical image indicates that the color distribution of the surgical image is uniform because the graph is proportional to each other.

도 10은 영상 개선부(330)가 레이저 수술 시 발생하는 휘날리는 입자 제거에 이용하는 스파티오 탬플럴 미디언 필터를 도시하고 있다. 영상 개선부(330)는 입자의 크기가 작고 동영상에서 갑자기 나타났다가 사라지므로 스파티오 탬프럴 미디언 필터를 이용하여 제거할 수 있다. 상기 필터의 사이즈는 3 또는 5가 될 수 있다. 필터(1010)는 프레임의 시간이 t일 때이고, 필터(1020)는 프레임의 시간이 t+1일 때이며, 필터(1030)는 프레임의 시간이 t+2일 때이다. 영상 개선부(330)는 공간 및 시간 영역에서 모든 픽셀과 그 주변 픽셀 가운데서 중간값을 최종 대표값으로 취할 수 있다. 따라서, 필터(1010), 필터(1020) 및 필터(1030)는 각각 150, 144, 168의 대표값을 취할 수 있다.FIG. 10 illustrates a spatio-temporal median filter used by the image improving unit 330 to remove flying particles generated during laser surgery. The image improving unit 330 may be removed using a spatio-temporal median filter because the particle size is small and suddenly appears and disappears in the video. The size of the filter may be 3 or 5. The filter 1010 is when the time of the frame is t, the filter 1020 is when the time of the frame is t + 1, and the filter 1030 is when the time of the frame is t + 2. The image improving unit 330 may take the median value among all pixels and neighboring pixels in the space and time domain as the final representative value. Thus, filter 1010, filter 1020, and filter 1030 may take representative values of 150, 144, and 168, respectively.

도 11은 영상 개선부(330)가 낮은 대비를 복원하는 것을 도시하고 있다. 영상 개선부(330)는 히스토그램 보정 또는 히스토그램 평활화를 이용하여 대비도를 향상 시킬 수 있다. 도 11(a)는 히스토그램을 보정한 것이고, 도 11(b)는 히스토그램을 평활화한 후 엣지 정보를 이용하여 영상 화질을 개선한 것이다.FIG. 11 illustrates that the image enhancement unit 330 restores low contrast. The image improvement unit 330 may improve the contrast using histogram correction or histogram smoothing. FIG. 11 (a) shows a correction of the histogram, and FIG. 11 (b) shows that the image quality is improved by using edge information after smoothing the histogram.

도 11(a)는 영상 개선부(330)가 히스토그램의 보정으로 대비도를 향상시키는 것을 도시하고 있다. 영상 개선부(330)는 수술 영상(1110)를 누적 분포 함수 그래프(1120)로 변환하고, 최소값과 최대값이 변하지 않는 상황에서 대비도를 높여줄 수 있다. 이를 통해 영상 개선부(330)는 개선된 수술 영상(1130)을 생성할 수 있다. 수술 영상의 누적 분포 함수 그래프(1120)와 개선된 수술 영상의 누적 분포 함수 그래프(1140)을 비교해보면 그래프(1140)가 그래프 (1120)보다 비례곡선에 가까워진 것을 알 수 있다.FIG. 11A illustrates that the image improving unit 330 improves the contrast by correcting the histogram. The image improving unit 330 may convert the surgical image 1110 into a cumulative distribution function graph 1120 and increase the contrast in a situation where the minimum value and the maximum value do not change. Through this, the image improving unit 330 may generate an improved surgical image 1130. Comparing the cumulative distribution function graph 1120 of the surgical image with the cumulative distribution function graph 1140 of the improved surgical image, it can be seen that the graph 1140 is closer to the proportional curve than the graph 1120.

도 11(b)는 영상 개선부(330)가 히스토그램의 평활화를 이용하여 대비도를 향상시키는 것을 도시하고 있다. 영상 개선부(330)는 수술 영상(1150)을 누적 분포 함수 그래프(1160)로 변환하고, 영상의 범위를 0 ~ 255 범위로 확장하여 대비도를 올리는 히스토그램 평활화(1170)를 할 수 있다. 하지만 히스토그램 평활화를 하면 소실되는 부분이 생길 수 있기 때문에, 영상 개선부(330)는 엣지 정보(1180)를 이용하여 히스토그램 평활화(1170)에서 소실된 부분을 복원하여 최종 개선된 영상(1190)을 생성할 수 있다.FIG. 11B illustrates that the image improving unit 330 improves the contrast using smoothing of the histogram. The image improving unit 330 may convert the surgical image 1150 into a cumulative distribution function graph 1160 and perform a histogram smoothing 1170 to increase the contrast by extending the range of the image to a range of 0 to 255. However, since the histogram smoothing may cause a missing part, the image improving unit 330 restores the missing part of the histogram smoothing 1170 using the edge information 1180 to generate the final improved image 1190. can do.

도 12는 본 발명의 일 실시예에 따른 수술 영상 노이즈 제거 방법을 도시한 순서도이다.12 is a flowchart illustrating a surgical image noise removing method according to an embodiment of the present invention.

도 12를 참조하면, 수술 영상 노이즈 제거 장치(10)는 수술 영상에 포함된 노이즈를 제거할 수 있다.Referring to FIG. 12, the surgical image noise removing apparatus 10 may remove noise included in the surgical image.

수술 영상 노이즈 제거 장치(10)는 수술 영상을 수신받는다(S100). 수술 영상 노이즈 제거 장치(10)는 카메라 제어기(130)을 통해 수술 영상을 수신할 수 있다. 상기 수술 영상은 노이즈를 포함한 수술 영상일 수 있다. The surgical image noise removing apparatus 10 receives the surgical image (S100). The surgical image noise removing apparatus 10 may receive the surgical image through the camera controller 130. The surgical image may be a surgical image including noise.

수술 영상 노이즈 제거 장치(10)는 자동 영상 판단 또는 수동 영상 판단을 선택한다(S110). 수술 영상 노이즈 제거 장치(10)는 자동 영상 판단을 통해 수술 영상에 포함된 노이즈를 판단할지 수동 영상 판단을 통해 수술 영상에 포함된 노이즈를 판단할지 선택할 수 있다. 자동 영상 판단과 수동 영상 판단은 하드웨어 및 소프트웨어 중 적어도 하나의 선택으로 수행될 수 있다.The surgical image noise removing apparatus 10 selects automatic image determination or manual image determination (S110). The surgical image noise removing apparatus 10 may select whether to determine noise included in the surgical image through automatic image determination or determine noise included in the surgical image through manual image determination. Automatic image determination and manual image determination may be performed by selecting at least one of hardware and software.

수술 영상 노이즈 제거 장치(10)는 수술 영상의 특성을 분석한다(S120). 자동 영상 판단을 할 경우, 수술 영상 노이즈 제거 장치(10)는 수신된 수신 영상의 특성을 분석할 수 있다. 수술 영상 노이즈 제거 장치(10)는 수술 영상의 히스토그램, 평균값, 최대값, 최소값 및 표준편차 중 적어도 하나를 산출할 수 있다. 또한 수술 영상 노이즈 제거 장치(10)는 움직이는 물체의 크기 및 속도를 산출할 수 있다. The surgical image noise removing apparatus 10 analyzes characteristics of the surgical image (S120). In the case of automatic image determination, the surgical image noise removing apparatus 10 may analyze characteristics of the received image. The surgical image noise removing apparatus 10 may calculate at least one of a histogram, an average value, a maximum value, a minimum value, and a standard deviation of the surgical image. In addition, the surgical image noise removing apparatus 10 may calculate the size and speed of the moving object.

수술 영상 노이즈 제거 장치(10)는 단계 S120의 분석 결과를 기초로 수술 영상에 포함된 노이즈를 판단한다(S130). 수술 영상 노이즈 제거 장치(10)는 분석된 수술 영상을 이용하여 수술 영상에 포함된 노이즈의 종류를 판단할 수 있다. 수술용 영상 농지 제거 장치(10)는 사전에 설정된 기준에 따라 노이즈의 종류를 판단할 수 있다. 상기 농지의 종류는 렌즈표면의 수증기성 안개, 레이저 수술 시 발생하는 연기, 렌즈 표면에 맺힌 물방울, 레이저 수술시 휘날리는 입자, 낮은 대비 및 강한 반사와 그로 인한 주변 번짐 중 적어도 하나일 수 있다.The surgical image noise removing apparatus 10 determines the noise included in the surgical image based on the analysis result of step S120 (S130). The surgical image noise removing apparatus 10 may determine the type of noise included in the surgical image by using the analyzed surgical image. The surgical image farmland removal apparatus 10 may determine the type of noise according to a preset criterion. The type of farmland may be at least one of water vapor mist on the surface of the lens, smoke generated during laser surgery, water droplets formed on the lens surface, particles flying during laser surgery, low contrast and strong reflections, and consequent bleeding.

수술 영상 노이즈 제거 장치(10)는 사용자의 입력 수신을 한다(S140). 수동 영상 판단을 할 경우, 수술 영상 노이즈 제거 장치(10)는 사용자의 입력을 수신받을 수 있다. 수술 영상 노이즈 제거 장치(10)는 사용자의 판단에 따라 노이즈의 종류를 입력받을 수 있다. 또한 수술 영상 노이즈 제거 장치(10)는 사용자가 영상 개선을 필요로 하지 않을 경우에 사용자는 사용자의 입력을 하지 않을 수 있다.The surgical image noise removing apparatus 10 receives a user input (S140). In the case of the manual image determination, the surgical image noise removing apparatus 10 may receive a user input. The surgical image noise removing apparatus 10 may receive a type of noise according to a user's decision. In addition, the surgical image noise removing apparatus 10 may not input the user when the user does not need to improve the image.

수술 영상 노이즈 제거 장치(10)는 수술 영상을 개선한다(S150). 수술 영상 노이즈 제거 장치(10)는 판단된 노이즈의 종류를 제거할 수 있다. 상기 판단된 노이즈는 단계 S130에서 수술 영상 노이즈 제거 장치(10)에 의해 판단된 노이즈일 수 있고, 단계 S140에서 사용자에 의해 판단된 노이즈일 수 있다. 수술 영상 노이즈 제거 장치(10)는 수술 영상에 포함된 안개, 물방울, 연기, 입자, 낮은 대비 및 반사와 번짐에 관한 노이즈를 제거하여 수술 영상을 개선할 수 있다.
The surgical image noise removing apparatus 10 improves the surgical image (S150). The surgical image noise removing apparatus 10 may remove the determined kind of noise. The determined noise may be noise determined by the surgical image noise removing apparatus 10 in step S130, or may be noise determined by a user in step S140. The surgical image noise removing apparatus 10 may improve the surgical image by removing noise related to fog, water droplets, smoke, particles, low contrast, and reflection and bleeding included in the surgical image.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer apparatus is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer-readable recording medium may also be distributed to networked computer devices so that computer readable code can be stored and executed in a distributed manner.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation in the embodiment in which said invention is directed. It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the scope of the appended claims.

1: 수술 영상 노이즈 제거 시스템
10: 수술 영상 노이즈 제거 장치
20: 수술 영상 시스템
110: 내시경 111: CCD칩
112: 카메라 대물렌즈 113: 포커스
114: 대안렌즈 구간 115: 릴레이렌즈 구간
116: 대물렌즈 구간 120: 광원
130: 카메라 제어기 140: 모니터
210: 입력부 220: 제어부
230: 출력부 240: 저장부
310: 영상 분석부 320: 영상 판단부
330: 영상 개선부 810: 안개 처리부
820: 물방울 개선부 830: 연기 처리부
840: 입자 처리부 850: 낮은 대비 처리부
860: 반사 및 번짐 처리부1: Surgical Image Noise Reduction System
10: surgical image noise removing device
20: Surgical Imaging System
110: endoscope 111: CCD chip
112: camera objective lens 113: focus
114: alternative lens section 115: relay lens section
116: objective lens section 120: light source
130: camera controller 140: monitor
210: input unit 220:
230: output unit 240: storage unit
310: image analysis unit 320: image determination unit
330: Image enhancement unit 810: Fog processing unit
820: water droplet improving unit 830: smoke treatment unit
840: particle processing unit 850: low contrast processing unit
860: reflection and blur processing

Claims (13)

수술 영상을 수신하는 입력부; 및
상기 수신된 수술 영상에 포함된 노이즈를 제거하여 상기 수술 영상을 실시간으로 개선하는 제어부를 포함하고,
상기 제어부는,
상기 수신된 수술 영상을 히스토그램으로 표현한 값 또는 상기 수술 영상 내의 움직이는 물체 이미지를 이용하여 상기 수술 영상의 특징을 분석하고,
상기 분석된 영상의 특징을 이용하여 렌즈표면의 수증기성 안개, 렌즈표면에 맺힌 물방울, 레이저 수술 시 발생하는 연기, 레이저 수술 시 휘날리는 입자, 그리고 낮은 대비 및 강한 반사와 그로 인한 주변 번짐 중 적어도 하나의 노이즈를 판단하는 기능을 포함하는 것을 특징으로 하는 수술 영상의 실시간 시각적 노이즈 자동 제거 장치.
An input unit for receiving a surgical image; And
And a controller for removing the noise included in the received surgical image to improve the surgical image in real time.
Wherein,
Analyze the characteristics of the surgical image by using the histogram value of the received surgical image or a moving object image in the surgical image,
At least one of water vapor mist on the surface of the lens, water droplets formed on the lens surface, smoke generated during laser surgery, particles flying during laser surgery, and low contrast and strong reflections and the resulting ambient blur by using the characteristics of the analyzed image. Automatic real-time visual noise removal device of the surgical image, characterized in that it comprises a function for determining the noise.
제 1항에 있어서,
상기 개선된 수술 영상이 저장되는 저장부를 더 포함하는 것을 특징으로 하는 수술 영상의 실시간 시각적 노이즈 자동 제거 장치.
The method of claim 1,
The apparatus for automatically removing real-time visual noise of a surgical image further comprising a storage unit for storing the improved surgical image.
삭제delete 제 1항에 있어서,
상기 제어부는,
상기 수신된 수술 영상을 사용자의 입력에 따라 노이즈의 종류를 판단하는 기능을 포함하는 것을 특징으로 하는 수술 영상의 실시간 시각적 노이즈 자동 제거 장치.
The method of claim 1,
Wherein,
And a function of determining a type of noise based on a user's input of the received surgical image.
제 1항에 있어서,
상기 제어부는,
상기 수신된 수술 영상의 각 픽셀(pixel)을 RGB형식, YCbCr형식, HSV형식 및 Gray형식 중 적어도 하나의 색상모델을 이용하여 히스토그램, 평균값, 최대값, 최소값 및 표준편차 중 적어도 하나 또는 상기 수술 영상 내의 움직이는 물체 이미지를 이용하여 상기 수술 영상의 특징을 분석하는 영상 분석부;
상기 분석된 영상의 특징을 이용하여
상기 렌즈표면의 수증기성 안개, 상기 렌즈표면에 맺힌 물방울, 상기 레이저 수술 시 발생하는 연기, 상기 레이저 수술 시 휘날리는 입자, 그리고 상기 낮은 대비 및 강한 반사와 그로 인한 주변 번짐 중 적어도 어느 하나의 노이즈의 종류를 판단하는 영상 판단부; 및
상기 판단된 노이즈를 제거하여 상기 영상을 개선하는 영상 개선부
를 포함하는 것을 특징으로 하는 수술 영상의 실시간 시각적 노이즈 자동 제거 장치.
The method of claim 1,
Wherein,
Each pixel of the received surgical image is at least one of a histogram, an average value, a maximum value, a minimum value, and a standard deviation using at least one color model of an RGB format, a YCbCr format, an HSV format, and a gray format, or the surgical image. An image analyzer for analyzing a feature of the surgical image by using an image of a moving object in the body;
By using the features of the analyzed image
At least any one of noise of water vapor on the surface of the lens, water droplets formed on the surface of the lens, smoke generated during the laser surgery, particles flying during the laser surgery, and at least one of the low contrast and strong reflections and the resulting ambient bleeding Image determination unit for determining; And
An image improving unit for improving the image by removing the determined noise
Apparatus for automatically removing real-time visual noise of a surgical image comprising a.
제 5항에 있어서,
상기 영상 개선부는,
상기 안개를 제거하는 안개 처리부; 상기 물방울을 제거하는 물방울 처리부; 상기 연기를 제거하는 연기 처리부; 상기 입자를 제거하는 입자 처리부; 상기 낮은 대비를 복원하는 낮은 대비 처리부; 및 상기 반사 및 번짐을 제거하는 반사 및 번짐 처리부 중 적어도 하나를 포함하는 것을 특징으로 하는 수술 영상의 실시간 시각적 노이즈 자동 제거 장치.
6. The method of claim 5,
The image improvement unit,
A mist treatment unit for removing the mist; A droplet processing unit for removing the droplet; A smoke processor to remove the smoke; A particle processing unit for removing the particles; A low contrast processor to restore the low contrast; And at least one of a reflection and blur processing unit for removing the reflection and smearing.
제 1항, 제 2항, 그리고 제 4항 내지 제 6항 중 어느 한 항에 따른 수술 영상의 실시간 시각적 노이즈 자동 제거 장치;
수술 영상을 촬영하는 프로브;
상기 프로브에 빛을 제공하여 상기 수술 영상을 밝기를 조절하는 광원;
상기 수술 영상을 촬영하는 카메라를 조절하고, 상기 수술 영상 노이즈 제거 장치에 상기 수술 영상을 제공하는 카메라 제어기; 및
상기 수술 영상의 실시간 시각적 노이즈 자동 제거 장치에서 개선된 영상을 디스플레이하는 모니터를 포함하는 수술 영상의 실시간 시각적 노이즈 자동 제거 시스템.
Claim 1, 2, and 4 to 6 real-time visual noise automatic removal of the surgical image according to any one of claims;
Probes for taking a surgical image;
A light source providing light to the probe to adjust brightness of the surgical image;
A camera controller which adjusts a camera for photographing the surgical image and provides the surgical image to the surgical image noise removing device; And
Automatic real-time visual noise removal system of the surgical image comprising a monitor for displaying the improved image in the automatic real-time visual noise removal device of the surgical image.
제 7항에 있어서,
상기 수술 영상의 실시간 시각적 노이즈 자동 제거 장치는 상기 카메라 제어기와 상기 모니터 사이에서 탈부착이 가능한 것을 특징으로 하는 수술 영상의 실시간 시각적 노이즈 자동 제거 시스템.
8. The method of claim 7,
Automatic real-time visual noise removal system of the surgical image is a real-time visual noise automatic removal system of the surgical image, characterized in that detachable between the camera controller and the monitor.
수술 영상을 수신하는 단계; 및
상기 수신된 수술 영상에 포함된 노이즈를 제거하여 상기 수술 영상을 개선하는 단계를 포함하고,
상기 수술 영상을 개선하는 단계는,
상기 수신된 수술 영상을 히스토그램으로 표현한 값 또는 상기 수술 영상 내의 움직이는 물체 이미지를 이용하여 상기 수술 영상의 특징을 분석하고,
상기 분석된 영상의 특징을 이용하여 렌즈표면의 수증기성 안개, 렌즈표면에 맺힌 물방울, 레이저 수술 시 발생하는 연기, 레이저 수술 시 휘날리는 입자, 그리고 낮은 대비 및 강한 반사와 그로 인한 주변 번짐 중 적어도 하나의 노이즈를 판단하는 것을 특징으로 하는 수술 영상의 실시간 시각적 노이즈 자동 제거 방법.
Receiving a surgical image; And
Improving the surgical image by removing noise included in the received surgical image;
The step of improving the surgical image,
Analyze the characteristics of the surgical image by using the histogram value of the received surgical image or a moving object image in the surgical image,
At least one of water vapor mist on the surface of the lens, water droplets formed on the lens surface, smoke generated during laser surgery, particles flying during laser surgery, and low contrast and strong reflections and the resulting ambient blur by using the characteristics of the analyzed image. Method for automatically removing the real-time visual noise of the surgical image, characterized in that for determining the noise.
삭제delete 제 9항에 있어서,
상기 수신된 수술 영상을 사용자의 입력에 따라 노이즈의 종류를 판단하는 단계를 더 포함하는 것을 특징으로 하는 수술 영상의 실시간 시각적 노이즈 자동 제거 방법.
10. The method of claim 9,
And automatically determining a type of noise based on a user's input of the received surgical image.
제 9항에 있어서,
상기 개선된 수술 영상을 아날로그 저장장치에 저장하는 단계를 더 포함하는 것을 특징으로 하는 수술 영상의 실시간 시각적 노이즈 자동 제거 방법.
10. The method of claim 9,
And automatically storing the improved surgical image in an analog storage device.
제 9항에 있어서,
상기 개선된 수술 영상을 디지털 저장장치에 저장하는 단계를 더 포함하는 것을 특징으로 하는 수술 영상의 실시간 시각적 노이즈 자동 제거 방법.
10. The method of claim 9,
And automatically storing the improved surgical image in a digital storage device.
KR20130079865A 2013-07-08 2013-07-08 Surgical video real-time visual noise removal device, method and system KR101385743B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130079865A KR101385743B1 (en) 2013-07-08 2013-07-08 Surgical video real-time visual noise removal device, method and system
PCT/KR2014/006046 WO2015005623A1 (en) 2013-07-08 2014-07-07 Apparatus, method and system for automatically removing visual noise in surgical operation image in real time

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130079865A KR101385743B1 (en) 2013-07-08 2013-07-08 Surgical video real-time visual noise removal device, method and system

Publications (1)

Publication Number Publication Date
KR101385743B1 true KR101385743B1 (en) 2014-04-18

Family

ID=50657816

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130079865A KR101385743B1 (en) 2013-07-08 2013-07-08 Surgical video real-time visual noise removal device, method and system

Country Status (2)

Country Link
KR (1) KR101385743B1 (en)
WO (1) WO2015005623A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101592732B1 (en) 2014-07-09 2016-02-05 주식회사 에스원 Apparatus for removing snow rain image in camera images and method for removing snow rain image using the same
WO2019036007A1 (en) * 2017-08-16 2019-02-21 Covidien Lp Systems and methods for enhancing surgical images and/or video
KR102180506B1 (en) * 2019-06-03 2020-11-18 주식회사 베스트디지탈 Camera device supporting automatic image correction for noise included in image
KR20210157677A (en) * 2020-06-22 2021-12-29 한양대학교 산학협력단 Artificial teeth manufacturing information generation method and artificial teeth manufacturing system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113556326B (en) * 2021-06-28 2023-03-24 北京沧沐科技有限公司 Noise removal method based on unmanned aerial vehicle video stream

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100229068B1 (en) * 1997-05-08 1999-11-01 신민규 Apparatus for control of endoscopes images
KR20050113442A (en) * 2004-05-29 2005-12-02 주식회사 현주인테크 Near infra-red(nir) filter wheel system for detecting abnormal tissue on endoscopic image
JP2012130578A (en) * 2010-12-22 2012-07-12 Olympus Corp Endoscope apparatus
JP2013017752A (en) * 2011-07-13 2013-01-31 Olympus Medical Systems Corp Noise removal device, display device including the same, camera control unit, and endoscope system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101795720B1 (en) * 2011-05-12 2017-11-09 주식회사 미래컴퍼니 Control method of surgical robot system, recording medium thereof, and surgical robot system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100229068B1 (en) * 1997-05-08 1999-11-01 신민규 Apparatus for control of endoscopes images
KR20050113442A (en) * 2004-05-29 2005-12-02 주식회사 현주인테크 Near infra-red(nir) filter wheel system for detecting abnormal tissue on endoscopic image
JP2012130578A (en) * 2010-12-22 2012-07-12 Olympus Corp Endoscope apparatus
JP2013017752A (en) * 2011-07-13 2013-01-31 Olympus Medical Systems Corp Noise removal device, display device including the same, camera control unit, and endoscope system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101592732B1 (en) 2014-07-09 2016-02-05 주식회사 에스원 Apparatus for removing snow rain image in camera images and method for removing snow rain image using the same
WO2019036007A1 (en) * 2017-08-16 2019-02-21 Covidien Lp Systems and methods for enhancing surgical images and/or video
KR102180506B1 (en) * 2019-06-03 2020-11-18 주식회사 베스트디지탈 Camera device supporting automatic image correction for noise included in image
KR20210157677A (en) * 2020-06-22 2021-12-29 한양대학교 산학협력단 Artificial teeth manufacturing information generation method and artificial teeth manufacturing system
WO2021261724A1 (en) * 2020-06-22 2021-12-30 한양대학교 산학협력단 Artificial tooth manufacturing information generation method and artificial tooth manufacturing system
KR102434843B1 (en) * 2020-06-22 2022-08-22 한양대학교 산학협력단 Artificial teeth manufacturing information generation method and artificial teeth manufacturing system

Also Published As

Publication number Publication date
WO2015005623A1 (en) 2015-01-15

Similar Documents

Publication Publication Date Title
JP6825625B2 (en) Image processing device, operation method of image processing device, and medical imaging system
KR101945654B1 (en) System and method for smoke detection during anatomical surgery
KR101385743B1 (en) Surgical video real-time visual noise removal device, method and system
JP6168879B2 (en) Endoscope apparatus, operation method and program for endoscope apparatus
US9613402B2 (en) Image processing device, endoscope system, image processing method, and computer-readable storage device
JP6176978B2 (en) Endoscope image processing apparatus, endoscope apparatus, operation method of endoscope image processing apparatus, and image processing program
KR20110007837A (en) A image processing method, an image processing apparatus, a digital photographing apparatus, and a computer-readable storage medium for correcting skin color
US20160034787A1 (en) Detection device, learning device, detection method, learning method, and information storage device
WO2020194693A1 (en) Endoscope processor, information processing device, endoscope system, program, and information processing method
JP6150617B2 (en) Detection device, learning device, detection method, learning method, and program
WO2019138772A1 (en) Image processing apparatus, processor apparatus, image processing method, and program
CN114663293A (en) Image enhancement method and device, electronic equipment and endoscope system
CN112508797A (en) System and method for real-time defogging in images
JP7163386B2 (en) Endoscope device, method for operating endoscope device, and program for operating endoscope device
JP2009273691A (en) Apparatus and method of endoscope image processing
US20190142253A1 (en) Image processing device, endoscope system, information storage device, and image processing method
US20230255443A1 (en) Apparatuses, systems, and methods for discounting an object while managing auto-exposure of image frames depicting the object
JP7127637B2 (en) Image processing device, image processing method, and program
Abel et al. Automatic glare removal in endoscopic imaging
JP2016067779A (en) Endoscope system, processor device, method for operating endoscope system, and method for operating processor device
KR102272978B1 (en) System and method for retinex processing of encoscopic images with variable field-of-view, and a recording medium having computer readable program for executing the method
JP7209557B2 (en) Image acquisition device and image acquisition method
TWI639329B (en) Medical defogging image correction method
Long et al. A Practical Dental Image Enhancement Network for Early Diagnosis of Oral Dental Disease
CN117529930A (en) Depth-based automatic exposure management

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170223

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190408

Year of fee payment: 6