KR101717371B1 - 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체 - Google Patents

실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체 Download PDF

Info

Publication number
KR101717371B1
KR101717371B1 KR1020150123110A KR20150123110A KR101717371B1 KR 101717371 B1 KR101717371 B1 KR 101717371B1 KR 1020150123110 A KR1020150123110 A KR 1020150123110A KR 20150123110 A KR20150123110 A KR 20150123110A KR 101717371 B1 KR101717371 B1 KR 101717371B1
Authority
KR
South Korea
Prior art keywords
image
scan video
frame
pixel information
pixel
Prior art date
Application number
KR1020150123110A
Other languages
English (en)
Other versions
KR20170025956A (ko
Inventor
왕용진
강덕훈
Original Assignee
왕용진
강덕훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 왕용진, 강덕훈 filed Critical 왕용진
Priority to KR1020150123110A priority Critical patent/KR101717371B1/ko
Priority to US15/558,288 priority patent/US10600168B2/en
Priority to EP16842090.9A priority patent/EP3345531B1/en
Priority to CN201680015511.8A priority patent/CN107408299B/zh
Priority to PCT/KR2016/006108 priority patent/WO2017039124A1/ko
Priority to JP2018500262A priority patent/JP6538262B2/ja
Publication of KR20170025956A publication Critical patent/KR20170025956A/ko
Application granted granted Critical
Publication of KR101717371B1 publication Critical patent/KR101717371B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2673—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes for monitoring movements of vocal chords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

본 발명은 평면 스캔 비디오카이모그래피 영상 생성 서버에서 수행되는 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법에 있어서, (a) 흑백 또는 컬러의 초고속 후두내시경 영상을 획득하는 단계, (b) 상기 초고속 후두내시경 영상으로부터 상기 평면 스캔 비디오카이모그래피 영상을 생성하기 위한 대상 영역 및 단위 화소를 설정하는 단계, (c) 상기 대상 영역에 대하여 상기 단위 화소에 따라 상기 초고속 후두내시경 영상의 각 프레임의 화소 정보를 추출하는 단계, (d) 상기 추출된 각 프레임의 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상의 프레임을 생성하는 단계 및 (e) 상기 평면 스캔 비디오카이모그래피 영상의 프레임을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성하는 단계를 포함한다.

Description

실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체{2-DIMENTIONAL SCANNING VIDEOKYMOGRAPHY CREATION METHOD USING REAL-TIME OR PRE-STORED ULTRA HIGH SPEED LARYNGEAL ENDOSCOPY VIDEO, 2-DIMENTIONAL SCANNING VIDEOKYMOGRAPHY CREATION SERVER PERFORMING THE SAME, AND STORAGE MEDIUM STORING THE SAME}
본 발명은 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 기술에 관한 것으로서, 보다 상세하게, 초고속 후두 내시경 영상으로부터 성대 점막의 전 지역의 움직임을 분석할 수 있는 평면 스캔 비디오카이모그래피 영상을 생성하여 저장하거나 또는 디스플레이 장치로 출력하는 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체에 관한 것이다.
일반적으로, 인체의 성대(vocal fold)는 언어를 통해 의사 전달을 위한 발성 기관으로서 호흡을 따라 후두 점막이 초당 약 100에서 250회의 빠른 진동을 하게 된다. 즉, 하기도로 흡입된 공기는 성문하 구역(sub-glottal area)에서 닫혀져 있는 성대를 압박하고, 그 압력이 성대의 저항보다 커지게 되면 성대의 하연(inferior margin)에서 상연(superior margin)으로 향하는 점막파가 형성되어 성대가 열리면서 발성이 시작된다. 다시 압력이 저하되면 성대가 닫히게 되며 이를 초당 100회에서 250회 반복하면서 음성이 만들어 진다.
그러나 성대 결절, 성문암, 성대 마비 등이 있는 경우 성문 하부의 효과적인 에너지의 전환이 불가능하게 되어 점막파의 대칭성이 저하되고 음성의 이상을 초래한다.
따라서 목소리의 이상을 진찰할 때 성대 점막의 운동 상태를 파악하는 것은 반드시 필요하며, 이를 위하여 스트로보스코프(stroboscope) 기술을 이용하여 성대 점막의 운동 상태를 파악하는 방법이 개발되었다. 현재에는 스트로보스코프 기술을 이용하여 초당 100에서 250회의 빠른 움직임을 느린 동작으로 관찰할 수 있는 후두 비디오 스트로보스코피(videostroboscopy)를 이용하는 방법이 가장 널리 이용되고 있다. 하지만 후두 비디오 스트로보스코피 영상은 실제 정확한 성대의 진동을 보여주는 것이 아니라, 초당 20 ~ 30 프레임 정도로 촬영된 여러 주기의 성대 진동 영상들 중 일부 프레임 영상을 조합하여 하나의 주기로 만들어 성대의 움직임을 느리게 보이도록 한 영상이다. 그리고 후두 비디오 스트로보스코피 영상은 5초 이상의 지속적인 발성이 불가능한 경우나 불규칙적인 발성의 경우에는 정확한 성대의 움직임을 영상으로 획득할 수 없는 단점이 있다.
이러한 후두 비디오 스트로보스코프의 단점을 극복하기 위해 많은 연구가 진행되었으며, Hirose 등이 소개한 초고속 디지털 비디오 시스템(high speed digital video system)은 성대 진동을 초당 2,000 프레임 이상 촬영하여 실제적인 성대 진동 평가의 진단 도구로 사용되고 있다.
그리고 이 초고속 카메라로부터 획득한 영상을 후처리(post processing)하여 비디오카이모그래피 영상을 생성하여 양측 성대의 진동 양상을 비교, 관찰하여 점막 운동 상태를 분석하는 방법들이 개발되었다. 하지만 지금까지 개발된 비디오카이모그래피 영상은 하나의 라인 또는 멀티 라인에 대한 카이모그램(Kymogram) 밖에 얻을 수 없고, 이 카이모그램(Kymogram)은 전체 성대 점막의 운동 상태를 관찰할 수 없는 문제점들이 있다.
최근 Wang 등은 1971년 Gall 등의 후두 포토카이모그래피 원리를 이용하여 성대 전체의 진동을 관찰할 수 있는 시스템을 고안하였고, 성대 전 지역의 진동 상태를 실시간으로 검사할 수 있는 평면 스캔 비디오카이모그래피(2D scanning videokymography; 2D VKG)를 개발하였다. 2D VKG는 환자의 움직임 등에 의한 왜곡을 피할 수 있으며, 동시에 양측 성대 전 지역의 진동 양상을 비교, 관찰하여 점막 운동 상태의 분석 등이 가능하다.
R. R. Casiano, V. Zaveri, and D. S. Lundy, "Efficacy of videostroboscopy in the diagnosis of voice disorders", Otolaryngol. Head. Neck. Surg., vol. 107, pp. 95-100, 1992. H. Hirose, "High-speed digital imaging of vocal fold vibration", Acta Otolaryngol. Suppl., vol 458, pp. 151-153, 1988. J. G. Svec and H. K. Schutte, "Kymographic imaging of laryngeal vibrations", Current Opinion Otolaryngology Head and Neck Surgery., vol. 20, pp. 458-465, 2012. T. Wittenberg, M. Tigges, P. Mergell, and U. Eysholdt, "Functional imaging of vocal fold vibration: digital multislice high-speed kymography", Journal of Voice, vol. 14, no. 3, pp. 422-442, 2000. M. W. Sung, K. H. Kim, T. Y. Koh, T. Y. Kwon, J. H. Mo, S. H. Choi, J. S. Lee, K. S. Park, E. J. Kim, and M. Y. Sung, "Videostrobokymography: a new method for the quantitative analysis of vocal fold vibration", Laryngoscope, vol. 109, no. 11, pp. 1859-63, 1999. V. Gall, "Strip kymography of the glottis", Arch. Otorhinolaryngol., vol. 240, no. 3, pp. 287-293, 1984. Q. Qiu and H. K. Schutte, "Real-time kymographic imaging for visualizing human vocal-fold vibratory function", Rev. Sci. Instrum., vol. 78, no. 2, pp. 1-6, 2007. S. G. Wang, B. J. Lee, J. C. Lee, Y. S. Lim, Y. M. Park, H. J. Park, J. H. Roh, G. R. Jeon, S. B. Kwon, and B. J. Shin, "Development of Two-Dimensional Scanning Videokymography for analysis of Vocal Fold Vibration", Korean Soc. Laryngol. Phoniatr. Logop., vol. 24, no. 2, pp. 107-111, 2013.
본 발명의 목적은 초고속 후두 내시경 영상으로부터 하나의 라인 또는 멀티 라인에 대한 카이모그램(Kymogram) 밖에 얻을 수 없는 문제점을 감안하여, 초고속 카메라로부터 실시간으로 전송되는 후두의 전체 영역 영상을 실시간으로 평면 스캔 비디오카이모그래피 영상으로 생성하거나, 또는 기저장된 초고속 후두 내시경 영상을 후처리하여 평면 스캔 비디오카이모그래피 영상을 생성하여 저장하거나 또는 디스플레이 장치로 출력하는 평면 스캔 비디오카이모그래피 영상 생성 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 제1 측면은, 평면 스캔 비디오카이모그래피 영상 생성 서버에서 수행되는 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법으로서, (a) 흑백 또는 컬러의 초고속 후두내시경 영상을 획득하는 단계, (b) 상기 초고속 후두내시경 영상으로부터 상기 평면 스캔 비디오카이모그래피 영상을 생성하기 위한 대상 영역 및 단위 화소를 설정하는 단계, (c) 상기 대상 영역에 대하여 상기 단위 화소에 따라 상기 초고속 후두내시경 영상의 각 프레임의 화소 정보를 추출하는 단계, (d) 상기 추출된 각 프레임의 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상의 프레임을 생성하는 단계, 및 (e) 상기 평면 스캔 비디오카이모그래피 영상의 프레임을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성하는 단계를 포함한다.
바람직하게, 상기 (a) 단계는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버와 연결된 초고속 카메라로부터 초고속 후두내시경 영상을 실시간으로 수신하거나, 또는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버에 기저장된 초고속 후두내시경 영상을 로드하는 단계를 포함할 수 있다.
바람직하게, 상기 (c) 단계는 상기 초고속 후두내시경 영상의 프레임 중 특정 프레임의 화소 정보를 추출한 후, 상기 특정 프레임의 다음 프레임에서 상기 화소 정보를 추출한 위치의 다음 위치를 화소 정보 추출 위치로 결정하는 단계를 포함할 수 있다.
바람직하게, 상기 (d) 단계는 상기 추출된 각 프레임의 화소 정보를, 상기추출된 화소 정보의 추출 위치에 따라, 상기 평면 스캔 비디오카이모그래피 영상의 프레임에서 대응되는 위치의 화소 정보로 설정하는 단계를 포함할 수 있다.
바람직하게, 상기 (d) 단계는 상기 생성된 평면 스캔 비디오카이모그래피 영상의 프레임의 밝기, 채도, 블러링, 선명도, 또는 회전을 보정하는 단계를 더 포함할 수 있다.
바람직하게, 상기 (e) 단계는 상기 평면 스캔 비디오카이모그래피 동영상을 저장하거나 또는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버와 연결된 디스플레이 장치로 출력하는 단계를 더 포함할 수 있다.
바람직하게, 상기 단위 화소는 상기 대상 영역의 소정 화소 라인 또는 화소 라인을 구성하는 적어도 하나의 소정 화소에 해당할 수 있다.
상기 목적을 달성하기 위한 본 발명의 제2 측면은, 평면 스캔 비디오카이모그래피 영상 생성 서버로서, 흑백 또는 컬러의 초고속 후두내시경 영상을 획득하는 획득부, 상기 초고속 후두내시경 영상으로부터 상기 평면 스캔 비디오카이모그래피 영상을 생성하기 위한 대상 영역 및 단위 화소를 설정하는 설정부, 상기 대상 영역에 대하여 상기 단위 화소에 따라 상기 초고속 후두내시경 영상의 각 프레임의 화소 정보를 추출하는 추출부, 상기 추출된 각 프레임의 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상의 프레임을 생성하는 프레임 생성부, 및 상기 평면 스캔 비디오카이모그래피 영상의 프레임을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성하는 동영상 생성부를 포함한다.
바람직하게, 상기 획득부는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버와 연결된 초고속 카메라로부터 초고속 후두내시경 영상을 실시간으로 수신하거나, 또는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버에 기저장된 초고속 후두내시경 영상을 로드할 수 있다.
바람직하게, 상기 추출부는 상기 초고속 후두내시경 영상의 프레임 중 특정 프레임의 화소 정보를 추출한 후, 상기 특정 프레임의 다음 프레임에서 상기 화소 정보를 추출한 위치의 다음 위치를 화소 정보 추출 위치로 결정할 수 있다.
바람직하게, 상기 프레임 생성부는 상기 추출된 각 프레임의 화소 정보를, 상기 추출된 화소 정보의 추출 위치에 따라, 상기 평면 스캔 비디오카이모그래피 영상의 프레임에서 대응되는 위치의 화소 정보로 설정할 수 있다.
바람직하게, 상기 프레임 생성부는 상기 생성된 평면 스캔 비디오카이모그래피 영상의 프레임의 밝기, 채도, 블러링, 선명도, 또는 회전을 보정할 수 있다.
바람직하게, 상기 동영상 생성부는 상기 평면 스캔 비디오카이모그래피 동영상을 저장하거나 또는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버와 연결된 디스플레이 장치로 출력할 수 있다.
상기한 바와 같이 본 발명에 의하면, 초고속 후두 내시경 영상으로부터 하나의 라인 또는 멀티 라인에 대한 카이모그램(Kymogram) 밖에 얻을 수 없는 문제에서 벗어나, 후두의 전체 영역 영상을 실시간으로 평면 스캔 비디오카이모그래피 영상으로 생성하여 저장하거나 또는 디스플레이 장치로 출력할 수 있는 효과가 있다.
특히, 초고속 후두 내시경 영상을 실시간으로 평면 스캔 비디오카이모그래피 영상으로 변환하여 초고속 후두 내시경 영상과 평면 스캔 비디오카이모그래피 두 영상을 한 화면 또는 각각의 디스플레이 장치에 출력하여 동시에 비교 분석할 수 있는 효과가 있다.
또한, 하나의 초고속 내시경 카메라 촬영 영상을 이용해서 평면 스캔 비디오카이모그래피 영상을 생성할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 평면 스캔 비디오카이모그래피 영상 생성 시스템에 대한 블록도이다.
도 2는 도 1의 평면 스캔 비디오카이모그래피 영상 생성 서버에 대한 블록도이다.
도 3은 도 1의 평면 스캔 비디오카이모그래피 영상 생성 시스템에서 수행되는 평면 스캔 비디오카이모그래피 영상 생성 방법에 대한 흐름도이다.
도 4는 평면 스캔 비디오카이모그래피 영상을 생성하기 위한 대상 영역을 설정하는 방법의 예시이다.
도 5는 단위 화소가 화소 라인인 경우의 각 프레임의 화소 정보를 추출하는 방법 및 추출한 화소 정보를 조합하는 방법의 예시이다.
도 6은 단위 화소가 소정 화소인 경우의 각 프레임의 화소 정보를 추출하는 방법 및 추출한 화소 정보를 조합하는 방법의 예시이다.
도 7은 단위 화소가 1개의 화소 라인인 경우의 생성된 평면 스캔 비디오카이모그래피 영상의 경시적 변화에 대한 예시이다.
도 8은 단위 화소가 2개의 화소 라인인 경우의 생성된 평면 스캔 비디오카이모그래피 영상의 경시적 변화에 대한 예시이다.
도 9는 단위 화소가 3개의 화소 라인인 경우의 생성된 평면 스캔 비디오카이모그래피 영상의 경시적 변화에 대한 예시이다.
도 10은 단위 화소가 4개의 화소 라인인 경우의 생성된 평면 스캔 비디오카이모그래피 영상의 경시적 변화에 대한 예시이다.
도 11은 초고속 후두내시경 영상과 생성된 평면 스캔 비디오카이모그래피 영상이 출력된 예시이다.
도 12는 생성된 다수의 평면 스캔 비디오카이모그래피 영상들이 한 화면에 동시에 출력된 예시이다.
이하, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
또한, 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다(comprises)" 및/또는 “포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 평면 스캔 비디오카이모그래피 영상 생성 시스템에 대한 블록도이다.
도 1을 참조하면, 평면 스캔 비디오카이모그래피 영상 생성 시스템(100)은 초고속 카메라(110), 평면 스캔 비디오카이모그래피 영상 생성 서버(120), 및 디스플레이 장치(130)를 포함하고, 여기에서, 외부 저장 장치(140)를 더 포함할 수 있다.
초고속 카메라(110)는 후두내시경 영상을 촬영하고, 촬영된 후두내시경 영상을 평면 스캔 비디오카이모그래피 영상 생성 서버(120)에 제공하거나, 또는 도면에 도시되지 않았으나, 평면 스캔 비디오카이모그래피 영상 생성 서버(120)의 외부 또는 내부에 구비된 별도의 영상 획득 장치에 제공할 수 있다.
평면 스캔 비디오카이모그래피 영상 생성 서버(120)는 초고속 카메라(110), 디스플레이 장치(130), 또는 외부 저장 장치(140)와 연결되어 평면 스캔 비디오카이모그래피 영상 생성 방법을 수행할 수 있는 장치이다. 바람직하게, 평면 스캔 비디오카이모그래피 영상 생성 서버(120)는 초고속 카메라(110)로부터 제공받은 후두내시경 영상, 또는 외부 저장 장치(140) 또는 평면 스캔 비디오카이모그래피 영상 생성 서버(120) 내부에 구비된 내부 저장 장치에 기저장되어 있는 초고속 후두내시경 영상을 이용하여 평면 스캔 비디오카이모그래피 영상을 생성하고, 생성된 평면 스캔 비디오카이모그래피 영상을 디스플레이 장치(130)에 출력할 수 있다.
디스플레이 장치(130)는 평면 스캔 비디오카이모그래피 영상 생성 서버(120)에서 생성된 평면 스캔 비디오카이모그래피 영상 및 초고속 후두내시경 영상을 시각적으로 출력할 수 있는 장치이고, 외부 저장 장치(140)는 평면 스캔 비디오카이모그래피 영상 생성 서버(120)의 외부에 별도로 구비되어 평면 스캔 비디오카이모그래피 영상 생성 서버(120)로부터 생성된 평면 스캔 비디오카이모그래피 영상 또는 초고속 카메라(110)에 의하여 촬영된 초고속 후두내시경 영상을 저장하고 관리할 수 있는 장치이다.
도 2의 도 1의 평면 스캔 비디오카이모그래피 영상 생성 서버에 대한 블록도이다.
도 2를 참조하면, 평면 스캔 비디오카이모그래피 영상 생성 서버(120)는 획득부(210), 설정부(220), 추출부(230), 프레임 생성부(240), 동영상 생성부(250), 및 제어부(260)를 포함한다. 이하에서는 도 4 내지 도 6을 참조하여 설명한다.
획득부(210)는 흑백 또는 컬러의 초고속 후두 내시경 영상을 획득한다. 바람직하게, 획득부(210)는 평면 스캔 비디오카이모그래피 영상 생성 서버(120)와 연결된 초고속 카메라(110)로부터 초고속 후두내시경 영상을 실시간으로 수신할 수 있다. 보다 구체적으로, 획득부(210)는 초고속 카메라(110)로부터 실시간으로 촬영되는 초고속 후두내시경 아날로그 영상을 평면 스캔 비디오카이모그래피 영상 생성 서버(120)의 내부 또는 외부에 구비된 비디오 캡쳐 보드(video capture board) 등의 영상 획득 장치를 통해 초고속 후두내시경 디지털 영상 데이터로 변환하여 실시간으로 획득할 수 있다.
또한, 획득부(210)는 평면 스캔 비디오카이모그래피 영상 생성 서버(120)의 내부 저장 장치 또는 외부 저장 장치(140)에 기저장된 초고속 후두내시경 영상을 로드할 수 있다.
이 때, 획득부(210)를 통하여 획득되는 초고속 후두내시경 영상은 흑백이거나, 또는 성대의 혈과, 종양과 같은 기질적 소견 평가를 위하여 변별력을 향상시킬 수 있는 컬러 영상일 수 있다.
설정부(220)는 초고속 후두내시경 영상으로부터 평면 스캔 비디오카이모그래피 영상을 생성하기 위한 대상 영역 및 단위 화소를 설정한다. 여기에서, 대상 영역은 초고속 후두내시경 영상에서 어느 부분을 평면 스캔 비디오카이모그래피 영상으로 생성할 것인지에 대한 영역이고, 단위 화소는 대상 영역의 소정 화소 라인 또는 화소 라인을 구성하는 적어도 하나의 소정 화소에 해당하는 것으로서, 초고속 후두내시경 영상의 각 프레임마다 화소 정보를 추출하는 기준이 되는 단위이다. 또한, 설정부(220)는 생성할 평면 스캔 비디오카이모그래피 영상의 포맷 정보, 예를 들어, 프레임율(frame rate) 등을 설정할 수 있다.
예를 들어, 도 4를 참조하면, 획득부(210)를 통하여 획득된 초고속 후두내시경 영상은 내시경으로 인하여 외곽 부분이 대부분 검정색으로서, 성대의 영상 정보와 무관한 영역이 존재하고, 내시경 검사 시 성대 이외의 영역은 진동하지 않으므로, 도 4의 바운딩 박스(410)를 통하여 불필요한 영역은 제외하고 평면 스캔 비디오카이모그래피 영상을 생성할 대상 영역을 설정할 수 있다. 또한, 대상 영역을 설정하는 것을 통하여, 평면 스캔 비디오카이모그래피 영상 생성시 데이터 저장 공간을 절감할 수 있고, 영상 처리 속도를 향상시킬 수 있다.
추출부(230)는 대상 영역에 대하여 단위 화소에 따라 초고속 후두내시경 영상의 각 프레임의 화소 정보를 추출한다. 바람직하게, 추출부(230)는 초고속 후두내시경 영상의 첫번째 프레임부터, 설정부(220)에서 설정한 단위 화소만큼 매 프레임 마다 화소 정보를 추출할 수 있다.
또한, 추출부(230)는 초고속 후두내시경 영상의 프레임 중 특정 프레임의 화소 정보를 추출한 후, 화소 정보를 추출한 위치의 다음 위치를, 특정 프레임의 다음 프레임에서 화소 정보를 추출할 화소 정보 추출 위치로 결정할 수 있다. 즉, 화소 정보 추출 위치는 이전 프레임에서 추출한 화소 위치의 다음 위치로 결정되고, 화소 정보 추출 위치의 이동은, 좌에서 우, 우에서 좌, 상에서 하, 및 하에서 상 중 하나로 결정되어 모든 프레임에서 일정한 방향으로 이동된다.
예를 들어, 도 5를 참조하면, 설정부(220)를 통하여 대상 영역(510)이 설정되고 단위 화소로서 1개의 화소 라인이 설정되고, 화소 정보 추출 위치의 변경이 상에서 하로 설정된 경우에는, 추출부(230)를 통하여, (A)와 같이 첫번째 프레임의 대상 영역(510)에서 제1 화소 정보(521)가 추출되고, 두번째 프레임에서 제1 화소 정보(521)가 추출된 위치의 다음 위치, 즉, 아래방향으로 화소 정보 추출 위치를 이동하여 (B)와 같이 제2 화소 정보(522)가 추출되고, 세번째 프레임에서 제2 화소 정보(522)가 추출된 위치에서 아래방향으로 화소 정보 추출 위치를 이동하여 (C)와 같이 제3 화소 정보(523)가 추출될 수 있고, 이후의 모든 프레임에 대하여 동일한 방법으로 화소 라인의 화소 정보가 추출될 수 있다.
다른 예를 들어, 도 6을 참조하면, 설정부(220)를 통하여 대상 영역(610)이 설정되고, 단위 화소로서 소정 화소가 설정되고, 화소 정보 추출 위치의 변경이 좌에서 우로 설정된 경우에는, 추출부(230)를 통하여, (A)와 같이 첫번째 프레임의 대상 영역(610)에서 제1 화소 정보(621)가 추출되고, 두번째 프레임에서 제1 화소 정보(621)가 추출된 위치의 다음 위치, 즉, 오른쪽으로 화소 정보 추출 위치를 이동하여 (B)와 같이 제2 화소 정보(622)가 추출되고, 세번째 프레임에서 제2 화소 정보(522)가 추출된 위치에서 오른쪽 방향으로 화소 정보 추출 위치를 이동하여 (C)와 같이 제3 화소 정보(623)가 추출될 수 있고, 이후의 모든 프레임에 대하여 동일한 방법으로 소정 화소의 화소 정보가 추출될 수 있다.
프레임 생성부(240)는 추출된 각 프레임의 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상의 프레임을 생성한다. 보다 구체적으로, 프레임 생성부(240)는 초고속 후두내시경 영상의 추출된 각 프레임의 화소 정보를, 화소 정보를 추출한 화소 정보 추출 위치에 따라, 평면 스캔 비디오카이모그래피 영상의 프레임에서 대응되는 화소 위치의 화소 정보로 설정할 수 있다.
예를 들어, 도 5를 참조하면, 첫번째 프레임 내지 세번째 프레임에서 추출된 제1 화소 정보(521) 내지 제3 화소 정보(531)를 조합하여 (D)와 같이 평면 스캔 비디오카이모그래피 영상의 프레임을 생성할 수 있다. 보다 구체적으로, 평면 스캔 비디오카이모그래피 영상의 프레임에서, 제1 화소 정보(521)의 화소 추출 위치에 대응 되는 위치에는 제1 화소 정보가 설정되고, 제2 화소 정보의 화소 추출 위치에 대응되는 위치에는 제2 화소 정보가 설정되고, 제3 화소 정보의 화소 추출 위치에 대응되는 위치에는 제3 화소 정보가 설정되는 것을 통하여, 평면 스캔 비디오카이모그래피 영상을 구성하는 각 프레임을 생성할 수 있다.
다른 예를 들어, 도 6을 참조하면, 첫번째 프레임 내지 세번째 프레임에서 추출된 제1 화소 정보(621) 내지 제3 화소 정보(631)를 조합하여 (D)와 같이 평면 스캔 비디오카이모그래피 영상의 프레임을 생성할 수 있다. 보다 구체적으로, 평면 스캔 비디오카이모그래피 영상의 프레임에서, 제1 화소 정보(621)의 화소 추출 위치에 대응 되는 위치에는 제1 화소 정보가 설정되고, 제2 화소 정보의 화소 추출 위치에 대응되는 위치에는 제2 화소 정보가 설정되고, 제3 화소 정보의 화소 추출 위치에 대응되는 위치에는 제3 화소 정보가 설정되는 것을 통하여, 평면 스캔 비디오카이모그래피 영상을 구성하는 각 프레임을 생성될 수 있다.
바람직하게, 추출부(230)를 통하여 초고속 후두내시경 영상의 프레임에서 마지막 소정 화소 라인 또는 마지막 소정 화소가 추출되어, 프레임 생성부(240)가 평면 스캔 비디오카이모그래피 영상의 하나의 프레임을 조합한 경우, 추출부(230)는 초고속 후두내시경 영상의 다음 프레임에서는 처음 위치부터, 즉, 첫번째 프레임에서 화소 정보를 추출한 위치에 대응되는 위치부터 상기의 화소 정보 추출 과정을 동일한 방법으로 수행하고, 프레임 생성부(240)는 추출된 화소 정보를 기초로 상기와 동일한 방법으로 평면 스캔 비디오카이모그래피 영상의 프레임을 조합할 수 있다. 즉, 모든 초고속 후두내시경 영상의 프레임을 대상으로 상기의 화소 정보 추출 과정을 수행하여 평면 스캔 비디오카이모그래피 영상의 프레임들을 생성할 수 있다.
일 실시예에서, 프레임 생성부(240)는 생성된 평면 스캔 비디오카이모그래피 영상의 프레임의 밝기, 채도, 블러링(blurring), 선명도, 또는 회전을 보정할 수 있다. 보다 구체적으로, 소정 화소 라인 또는 소정 화소의 수가 많은 경우, 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상의 프레임을 생성하면, 조합된 화소 라인 또는 화소의 경계 부분에서 급격한 색상 변화가 나타날 수 있으므로, 조합된 화소 정보의 경계 부분의 급격한 색상 변화를 보완하기 위하여 각 프레임의 밝기, 채도, 블러링, 선명도, 회전 등의 영상 처리를 수행할 수 있다.
동영상 생성부(250)는 프레임 생성부(240)를 통하여 생성된 평면 스캔 비디오카이모그래피 영상의 프레임을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성한다.
또한, 동영상 생성부(250)는 생성된 평면 스캔 비디오카이모그래피 동영상을 저장하거나 또는 평면 스캔 비디오카이모그래피 영상 생성 서버(120)와 연결된 디스플레이 장치(130)로 출력할 수 있다. 보다 구체적으로, 생성된 평면 스캔 비디오카이모그래피 동영상은 평면 스캔 비디오카이모그래피 영상 생성 서버(120) 내부에 구비된 내부 저장 장치 또는 외부 저장 장치(140)에 저장될 수 있다.
제어부(260)는 획득부(210), 설정부(220), 추출부(230), 프레임 생성부(240), 및 동영상 생성부(250)의 동작 및 데이터의 흐름을 제어한다.
도 3은 도 1의 평면 스캔 비디오카이모그래피 영상 생성 시스템에서 수행되는 평면 스캔 비디오카이모그래피 영상 생성 방법에 대한 흐름도이다. 이하에서는, 도 7 내지 도 12를 참조하여 설명한다.
획득부(210)는 초고속 후두내시경 영상을 획득한다(단계 S310). 바람직하게, 획득부(210)는 초고속 카메라(110)로부터 촬영되는 초고속 후두내시경 영상을 실시간으로 제공받거나 또는 기저장된 초고속 후두내시경 영상을 로드하여 획득할 수 있다.
설정부(220)는 평면 스캔 비디오카이모그래피 영상을 생성하기 위한 대상 영역 및 단위 화소를 설정한다(단계 S320). 즉, 설정부(220)는 초고속 후두내시경 영상에서 어느 부분을 평면 스캔 비디오카이모그래피 영상으로 생성할 것인지에 대한 대상 영역을 설정하고, 초고속 후두내시경 영상을 구성하는 각각의 프레임에서 어느 단위로 화소를 추출할 것인지 여부를 설정한다.
추출부(230)는 대상 영역에 대하여 단위 화소에 따라 초고속 후두내시경 영상을 구성하는 각 프레임의 화소 정보를 추출한다(단계 S330). 보다 구체적으로, 추출부(230)는 초고속 후두내시경 영상을 구성하는 모든 프레임에 대하여 순차적으로 매 프레임마다 단위 화소에 대한 화소 정보를 추출한다.
프레임 생성부(240)는 추출된 각 프레임의 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상의 프레임을 생성한다(단계 S340). 바람직하게, 획득부(210)를 통하여 획득된 초고속 후두내시경 영상의 모든 프레임에 대하여 추출부(230)는 화소 정보를 추출할 수 있고, 프레임 생성부(240) 추출된 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상을 구성할 프레임들을 생성할 수 있다.
동영상 생성부(250)는 평면 스캔 비디오카이모그래피 영상의 프레임을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성한다(단계 S350). 예를 들어, 동영상 생성부(250)는, 도 7을 참조하면, 1개의 화소 라인을 단위 화소로 하여 생성된 프레임들을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성할 수 있고, 도 8을 참조하면, 2개의 화소 라인을 단위 화소로 하여 생성된 프레임들을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성할 수 있고, 도 9를 참조하면, 3개의 화소 라인을 단위 화소로 하여 생성된 프레임들을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성할 수 있고, 도 10을 참조하면, 4개의 화소 라인을 단위 화소로 하여 생성된 프레임들을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성할 수 있다.
또한, 동영상 생성부(250)는 생성된 동영상을 저장하거나 디스플레이 장치(130)를 통하여 출력할 수 있다. 예를 들어, 도 11과 같이 초고속 후두내시경 영상과 이를 이용하여 생성된 평면 스캔 비디오카이모그래피 영상을 디스플레이 장치(130)에 동시에 출력하여 비교가 용이하도록 할 수 있고, 도 12와 같이 단위 화소를 1개의 화소 라인, 2개의 화소 라인, 3개의 화소 라인, 및 4개의 화소 라인으로 하여 생성된 각각의 평면 스캔 비디오카이모그래피 영상을 디스플레이 장치(130)의 한 화면에 동시에 출력하여 비교할 수 있도록 할 수 있다.
한편, 본 발명의 일 실시예에 따른 평면 스캔 비디오카이모그래피 영상 생성 벙법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함 한다.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있다.
또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
전술한 본 발명에 따른 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
100: 평면 스캔 비디오카이모그래피 영상 생성 시스템
110: 초고속 카메라
120: 평면 스캔 비디오카이모그래피 영상 생성 서버
130: 디스플레이 장치
140: 외부 저장 장치
210: 획득부
220: 설정부
230: 추출부
240: 프레임 생성부
250: 동영상 생성부

Claims (14)

  1. 평면 스캔 비디오카이모그래피 영상 생성 서버에서 수행되는 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법에 있어서,
    (a) 흑백 또는 컬러의 초고속 후두내시경 영상을 획득하는 단계;
    (b) 상기 초고속 후두내시경 영상으로부터 상기 평면 스캔 비디오카이모그래피 영상을 생성하기 위한 대상 영역 및 단위 화소를 설정하는 단계;
    (c) 상기 대상 영역에 대하여 상기 단위 화소에 따라 상기 초고속 후두내시경 영상의 각 프레임의 화소 정보를 추출하는 단계;
    (d) 상기 추출된 각 프레임의 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상의 프레임을 생성하는 단계; 및
    (e) 상기 평면 스캔 비디오카이모그래피 영상의 프레임을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성하는 단계를 포함하되,
    상기 (c) 단계는, 상기 초고속 후두내시경 영상의 프레임 중 특정 프레임의 화소 정보를 추출한 후, 상기 특정 프레임의 다음 프레임에서 상기 화소 정보를 추출한 위치의 다음 위치를 화소 정보 추출 위치로 결정하는 단계를 포함하고,
    상기 (d) 단계는, 상기 추출된 각 프레임의 화소 정보를, 상기 추출된 화소 정보의 추출 위치에 따라, 상기 평면 스캔 비디오카이모그래피 영상의 프레임에서 대응되는 위치의 화소 정보로 설정하는 단계를 포함하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 방법.
  2. 제1항에 있어서, 상기 (a) 단계는
    상기 평면 스캔 비디오카이모그래피 영상 생성 서버와 연결된 초고속 카메라로부터 초고속 후두내시경 영상을 실시간으로 수신하거나, 또는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버에 기저장된 초고속 후두내시경 영상을 로드하는 단계를 포함하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 (d) 단계는
    상기 생성된 평면 스캔 비디오카이모그래피 영상의 프레임의 밝기, 채도, 블러링, 선명도, 또는 회전을 보정하는 단계를 더 포함하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 방법.
  6. 제1항에 있어서, 상기 (e) 단계는
    상기 평면 스캔 비디오카이모그래피 동영상을 저장하거나 또는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버와 연결된 디스플레이 장치로 출력하는 단계를 더 포함하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 방법.
  7. 제1항에 있어서, 상기 단위 화소는
    상기 대상 영역의 소정 화소 라인 또는 화소 라인을 구성하는 적어도 하나의 소정 화소에 해당하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 방법.
  8. 흑백 또는 컬러의 초고속 후두내시경 영상을 획득하는 획득부;
    상기 초고속 후두내시경 영상으로부터 평면 스캔 비디오카이모그래피 영상을 생성하기 위한 대상 영역 및 단위 화소를 설정하는 설정부;
    상기 대상 영역에 대하여 상기 단위 화소에 따라 상기 초고속 후두내시경 영상을 구성하는 각 프레임의 화소 정보를 추출하는 추출부;
    상기 추출된 각 프레임의 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상의 프레임을 생성하는 프레임 생성부; 및
    상기 평면 스캔 비디오카이모그래피 영상의 프레임을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성하는 동영상 생성부를 포함하되,
    상기 추출부는, 상기 초고속 후두내시경 영상의 프레임 중 특정 프레임의 화소 정보를 추출한 후, 상기 특정 프레임의 다음 프레임에서 상기 화소 정보를 추출한 위치의 다음 위치를 화소 정보 추출 위치로 결정하고,
    상기 프레임 생성부는, 상기 추출된 각 프레임의 화소 정보를, 상기 추출된 화소 정보의 추출 위치에 따라, 상기 평면 스캔 비디오카이모그래피 영상의 프레임에서 대응되는 위치의 화소 정보로 설정하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 서버.
  9. 제8항에 있어서, 상기 획득부는
    상기 평면 스캔 비디오카이모그래피 영상 생성 서버와 연결된 초고속 카메라로부터 초고속 후두내시경 영상을 실시간으로 수신하거나, 또는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버에 기저장된 초고속 후두내시경 영상을 로드하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 서버.
  10. 삭제
  11. 삭제
  12. 제8항에 있어서, 상기 프레임 생성부는
    상기 생성된 평면 스캔 비디오카이모그래피 영상의 프레임의 밝기, 채도, 블러링, 선명도, 또는 회전을 보정하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 서버.
  13. 제8항에 있어서, 상기 동영상 생성부는
    상기 평면 스캔 비디오카이모그래피 동영상을 저장하거나 또는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버와 연결된 디스플레이 장치로 출력하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 서버.
  14. 제1항, 제2항, 및 제5항 내지 제7항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020150123110A 2015-08-31 2015-08-31 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체 KR101717371B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020150123110A KR101717371B1 (ko) 2015-08-31 2015-08-31 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체
US15/558,288 US10600168B2 (en) 2015-08-31 2016-06-09 Method for generating 2D scan videokymographic images by using real-time or pre-stored ultra-high speed laryngeal endoscopy images, 2D scan videokymographic image generation server for performing same, and recording medium for storing same
EP16842090.9A EP3345531B1 (en) 2015-08-31 2016-06-09 Method for generating planar scan videokymographic images by using real-time or pre-stored ultra-high speed laryngendoscopic images, planar scan videokymographic image generation server for performing same, and recording medium for storing same
CN201680015511.8A CN107408299B (zh) 2015-08-31 2016-06-09 平面扫描视频记波影像的生成方法和服务器及存储介质
PCT/KR2016/006108 WO2017039124A1 (ko) 2015-08-31 2016-06-09 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체
JP2018500262A JP6538262B2 (ja) 2015-08-31 2016-06-09 リアルタイムまたは既保存された超高速喉頭内視鏡映像を利用した平面スキャンビデオキモグラフィー映像生成サーバーの作動方法、これを遂行する平面スキャンビデオキモグラフィー映像生成サーバー、およびこれを保存する記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150123110A KR101717371B1 (ko) 2015-08-31 2015-08-31 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체

Publications (2)

Publication Number Publication Date
KR20170025956A KR20170025956A (ko) 2017-03-08
KR101717371B1 true KR101717371B1 (ko) 2017-03-16

Family

ID=58188947

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150123110A KR101717371B1 (ko) 2015-08-31 2015-08-31 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체

Country Status (6)

Country Link
US (1) US10600168B2 (ko)
EP (1) EP3345531B1 (ko)
JP (1) JP6538262B2 (ko)
KR (1) KR101717371B1 (ko)
CN (1) CN107408299B (ko)
WO (1) WO2017039124A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110074749B (zh) * 2019-03-05 2024-04-12 天津欧斯迪医疗科技有限公司 一种高速动态喉镜装置及其使用方法
CN115393243B (zh) * 2022-10-28 2023-02-24 北京开运联合信息技术集团股份有限公司 多聚焦图像的融合方法、装置和电子设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2225188B (en) * 1988-11-16 1993-05-12 Olympus Optical Co Methods of detecting endoscope insertion direction
KR100260383B1 (ko) 1998-04-03 2000-07-01 김광현 성대 점막 운동 상태의 분석을 위한 비디오스트로보카이모그라피
EP1061474A1 (de) * 1999-06-17 2000-12-20 VAMP Verfahren und Apparate der Medizinischen Physik GmbH Computertomograph mit objektbezogener Bewegungsartefaktreduktion und Extraktion der Objektbewegungsinformation (Kymogramm)
GB2388287B (en) * 2002-05-04 2005-06-15 Autodesk Canada Inc Processing image data
US7304644B2 (en) * 2003-03-12 2007-12-04 Siemens Medical Solutions Usa, Inc. System and method for performing a virtual endoscopy
DE102004011147B3 (de) 2004-03-08 2005-11-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildaufnahmevorrichtung mit mehreren Bildaufnahmemodi
US20060235693A1 (en) * 2005-04-19 2006-10-19 Incrys, Inc. High speed imaging system
JP3882088B1 (ja) * 2005-08-17 2007-02-14 国立大学法人 岡山大学 振動体観察装置、声帯観察装置及び声帯観察プログラム
EP1859727A1 (en) * 2006-05-26 2007-11-28 Stichting voor de Technische Wetenschappen optical triggering system for stroboscopy and a stroboscopic system
US10332562B2 (en) * 2007-04-17 2019-06-25 Sirius-Beta Corporation System and method for space-time annotation-capable media scrubbing
WO2008131106A1 (en) * 2007-04-17 2008-10-30 Earl Industries Llc Digital system for organizing diverse information
KR200444134Y1 (ko) * 2007-07-09 2009-04-10 유메디칼 주식회사 음성신호를 이용한 후두 스트로보스코프
CN101567048B (zh) * 2008-04-21 2012-06-06 夏普株式会社 图像辨别装置及图像检索装置
US10206561B2 (en) 2013-02-28 2019-02-19 DePuy Synthes Products, Inc. Videostroboscopy of vocal cords with CMOS sensors
KR101471145B1 (ko) 2013-03-21 2014-12-11 김태우 성대 점막 운동 상태의 분석을 위한 평면 스캔 비디오카이모그라피 시스템을 이용한 성대 점막 운동 상태의 분석방법

Also Published As

Publication number Publication date
JP2018508336A (ja) 2018-03-29
CN107408299B (zh) 2020-10-30
EP3345531A4 (en) 2019-05-01
WO2017039124A1 (ko) 2017-03-09
EP3345531B1 (en) 2021-07-21
JP6538262B2 (ja) 2019-07-03
US10600168B2 (en) 2020-03-24
KR20170025956A (ko) 2017-03-08
EP3345531A1 (en) 2018-07-11
US20180061030A1 (en) 2018-03-01
CN107408299A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
JP5562808B2 (ja) 内視鏡装置及びプログラム
WO2017057039A1 (ja) 画像処理装置、画像処理方法、手術システム、及び、手術糸
JP2011206251A (ja) 画像処理装置、画像処理方法及びプログラム
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
US20210406737A1 (en) System and methods for aggregating features in video frames to improve accuracy of ai detection algorithms
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JPWO2019087790A1 (ja) 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム
WO2019130868A1 (ja) 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
JP2011200283A (ja) 制御装置、内視鏡システム、プログラム及び制御方法
KR101717371B1 (ko) 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체
KR101717362B1 (ko) 평면 스캔 비디오 카이모그라피와 후두 스트로보스코피 기능이 있는 비디오 후두 내시경 시스템
US9808195B2 (en) 2D scanning videokymography system for analyzing vibration of vocal-fold mucosa, and method of analyzing vibration of vocal-fold mucosa using the same
JP7148534B2 (ja) 画像処理装置、プログラム、及び内視鏡システム
JP7179837B2 (ja) 内視鏡装置、内視鏡画像表示方法及び内視鏡装置の作動方法
KR101908632B1 (ko) 실시간 후두스트로보스코피, 고속 후두내시경 검사, 및 평면 스캔 디지털 카이모그래피를 위한 영상 생성 시스템 및 방법
Wang et al. Development of two-dimensional scanning videokymography for analysis of vocal fold vibration
JPWO2019039252A1 (ja) 医療画像処理装置及び医療画像処理方法
JP2015128467A (ja) 医用画像処理装置、ｘ線診断装置及び医用画像処理プログラム
CN114269221A (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP6168878B2 (ja) 画像処理装置、内視鏡装置及び画像処理方法
JP7480779B2 (ja) 医療用画像処理装置、医療用画像処理装置の駆動方法、医療用撮像システム、及び医療用信号取得システム
KR20180009143A (ko) 성대 점막 운동 상태의 분석을 위한 평면 스캔 비디오카이모그라피 시스템 및 그 분석방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200211

Year of fee payment: 4