WO2017039124A1 - 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체 - Google Patents

실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체 Download PDF

Info

Publication number
WO2017039124A1
WO2017039124A1 PCT/KR2016/006108 KR2016006108W WO2017039124A1 WO 2017039124 A1 WO2017039124 A1 WO 2017039124A1 KR 2016006108 W KR2016006108 W KR 2016006108W WO 2017039124 A1 WO2017039124 A1 WO 2017039124A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
planar scan
video
frame
pixel information
Prior art date
Application number
PCT/KR2016/006108
Other languages
English (en)
French (fr)
Inventor
왕용진
강덕훈
Original Assignee
왕용진
강덕훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 왕용진, 강덕훈 filed Critical 왕용진
Priority to US15/558,288 priority Critical patent/US10600168B2/en
Priority to JP2018500262A priority patent/JP6538262B2/ja
Priority to CN201680015511.8A priority patent/CN107408299B/zh
Priority to EP16842090.9A priority patent/EP3345531B1/en
Publication of WO2017039124A1 publication Critical patent/WO2017039124A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2673—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes for monitoring movements of vocal chords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • the present invention relates to a planar scan videochimography image generation technique using ultrafast laryngoscope images. More particularly, the present invention relates to a planar scan video chimography image capable of analyzing the movement of the entire vocal cord mucosa from the ultrafast laryngoscope image.
  • the present invention relates to a planar scan video chimography image generating method using a real-time or prestored ultra-fast laryngeal endoscope image to be stored or output to a display device, a planar scan video chimography image generating server performing the same, and a recording medium storing the same.
  • the vocal fold of the human body is a vocal organ for communication via language, which causes the laryngeal mucosa to vibrate about 100 to 250 times per second along the breath. That is, the air sucked into the lower airway presses on the vocal cords that are closed in the sub-glottal area, and when the pressure becomes greater than the resistance of the vocal cords, it moves from the inferior margin to the superior margin of the vocal cords. Mucous waves form, the vocal cords open, and vocalization begins. When the pressure drops again, the vocal cords are closed and the voice is produced by repeating it 100 to 250 times per second.
  • Non-Patent Document 1 R. R. Casiano, V. Zaveri, and D. S. Lundy, "Efficacy of videos troboscopy in the diagnosis of voice disorders", Otolaryngol. Head. Neck. Surg., Vol. 107, pp. 95-100, 1992.
  • Non-Patent Document 2 H. Hirose, "High-speed digital imaging of vocal fold vibration", Acta Otolaryngol. Suppl., Vol 458, pp. 151-153, 1988.
  • Non-Patent Document 3 J. G. Svec and H. K. Schutte, "Kymographic imaging of laryngeal vibrations", Current Opinion Otolaryngology Head and Neck Surgery., Vol. 20, pp. 458-465, 2012.
  • Non-Patent Document 4 T. Wittenberg, M. Tigges, P. Mergell, and U. Eysholdt, "Functional imaging of vocal fold vibration: digital multislice high-speed kymography", Journal of Voice, vol. 14, no. 3, pp. 422-442, 2000.
  • Non-Patent Document 5 M. W. Sung, KH Kim, TY Koh, TY Kwon, JH Mo, SH Choi, JS Lee, KS Park, EJ Kim, and MY Sung, "Videostrobokymography: a new method for the quantitative analysis of vocal fold vibration", Laryngoscope, vol. 109, no. 11, pp. 1859-63, 1999.
  • Non-Patent Document 6 V. Gall, "Strip kymography of the glottis", Arch. Otorhinolaryngol., Vol. 240, no. 3, pp. 287-293, 1984.
  • Non-Patent Document 7 Q. Qiu and H. K. Schutte, "Real-time kymographic imaging for visualizing human vocal-fold vibratory function", Rev. Sci. Instrum., Vol. 78, no. 2, pp. 1-6, 2007.
  • Non-Patent Document 8 S. G. Wang, BJ Lee, JC Lee, YS Lim, YM Park, HJ Park, JH Roh, GR Jeon, SB Kwon, and BJ Shin, "Development of Two-Dimensional Scanning Videokymography for analysis of Vocal Fold Vibration", Korean Soc . Laryngol. Phoniatr. Logop., Vol. 24, no. 2, pp. 107-111, 2013.
  • a planar scan video of a laryngeal entire area image transmitted from a high speed camera in real time is provided.
  • the present invention provides a method for generating a planar scan video chymography image that is generated as a chymographic image, or post-processes a pre-stored ultra-fast laryngeal endoscope image to generate and store a planar scan video chymography image, or output it to a display device.
  • a first aspect of the present invention for achieving the above object is a planar scan video chymography image generation method using a real-time or pre-stored ultra-fast laryngeal endoscopic image which is performed in a planar scan video chymography image generating server, (a) black and white or Acquiring an ultrafast laryngeal endoscope image of a color; (b) setting a target area and a unit pixel for generating the planar scan video chymograph image from the ultrafast laryngoscope image; and (c) the target area; Extracting pixel information of each frame of the ultra-fast laryngeal endoscope image according to a unit pixel, (d) combining the extracted pixel information of each frame to generate a frame of a planar scan video chymography image, and (e ) Combining the frames of the planar scan video chimograph image And a step of generating a video chymotrypsin our video.
  • the step (a) is to receive a high-speed laryngoscope image in real time from an ultra-high speed camera connected to the planar scan video chromography image generation server, or the ultra-fast laryngoscope image pre-stored in the planar scan video chromography image generation server. It may include the step of loading.
  • step (c) after extracting pixel information of a specific frame among frames of the ultra-fast laryngeal endoscope image, determining a next position of a position where the pixel information is extracted in a next frame of the specific frame as a pixel information extraction position. It may include a step.
  • the pixel information of each of the extracted frames is set to pixel information of a corresponding position in a frame of the planar scan video chygraphy image according to the extraction position of the extracted pixel information. It may include.
  • the step (d) may further comprise correcting the brightness, saturation, blurring, sharpness, or rotation of the frame of the generated planar scan video chimography image.
  • the step (e) may further include storing the planar scan video chimography video or outputting the same to a display device connected to the planar scan video chimography image generating server.
  • the unit pixel may correspond to at least one predetermined pixel constituting the predetermined pixel line or the pixel line of the target area.
  • a second aspect of the present invention for achieving the above object is a planar scan video chimography image generating server, an acquisition unit for obtaining a high speed laryngoscope image in black and white or color, the planar scan video chimography from the ultra high speed laryngoscope image
  • a setting unit for setting a target area and a unit pixel for generating an image
  • an extraction unit for extracting pixel information of each frame of the ultra-fast laryngeal endoscope image with respect to the target pixel, and the pixel of each extracted frame
  • a frame generator for generating a frame of the planar scan video chymograph image by combining the information
  • the acquiring unit may receive an ultra-fast laryngoscope image in real time from an ultra-high speed camera connected to the planar scan video chymography image generating server, or load the ultra-high laryngeal endoscopic image previously stored in the planar scan video chymography image generating server. Can be.
  • the extractor may extract the pixel information of a specific frame among the frames of the ultra-fast laryngeal endoscope image, and then determine the next position of the position where the pixel information is extracted from the next frame of the specific frame as the pixel information extraction position.
  • the frame generation unit may set the pixel information of each of the extracted frames to pixel information of a corresponding position in a frame of the planar scan video chromograph image according to the extraction position of the extracted pixel information.
  • the frame generation unit may correct brightness, saturation, blurring, sharpness, or rotation of a frame of the generated planar scan video chimography image.
  • the video generating unit may store the planar scan videochimography video or output the video to a display device connected to the planar scan videochimography image generating server.
  • the ultrafast laryngoscope image and a planar scan video chymograph image can be output to one screen or each display device for simultaneous analysis.
  • FIG. 1 is a block diagram of a system for generating a planar scan videochimography image according to a preferred embodiment of the present invention.
  • FIG. 2 is a block diagram of the planar scan videochimography image generation server of FIG. 1.
  • FIG. 3 is a flowchart illustrating a method of generating a planar scan videochirographic image performed by the planar scan videochirographic image generating system of FIG. 1.
  • FIG. 4 is an example of a method of setting a target area for generating a planar scan videochirography image.
  • 5 is an example of a method of extracting pixel information of each frame when the unit pixel is a pixel line and a method of combining the extracted pixel information.
  • 6 is an example of a method of extracting pixel information of each frame when the unit pixel is a predetermined pixel and a method of combining the extracted pixel information.
  • FIG. 7 is an example of a change over time of the generated planar scan videochimography image when the unit pixel is one pixel line.
  • FIG. 8 is an example of a change over time of the generated planar scan videochimography image when the unit pixel is two pixel lines.
  • FIG. 9 is an example of a change over time of the generated planar scan videochimography image when the unit pixel is three pixel lines.
  • FIG. 10 is an example of a change over time of the generated planar scan videochimography image when the unit pixel is four pixel lines.
  • FIG. 11 is an example in which an ultra-fast laryngoscope image and a generated planar scan video chimograph image are output.
  • FIG. 12 illustrates an example of simultaneously generating a plurality of planar scan video chimography images on one screen.
  • first, second, etc. are used to describe various elements, components and / or sections, these elements, components and / or sections are of course not limited by these terms. These terms are only used to distinguish one element, component or section from another element, component or section. Therefore, the first device, the first component, or the first section mentioned below may be a second device, a second component, or a second section within the technical spirit of the present invention.
  • an identification code (eg, a, b, c, etc.) is used for convenience of description, and the identification code does not describe the order of the steps, and each step is clearly specified in context. Unless stated in order, it may occur differently from the stated order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
  • FIG. 1 is a block diagram of a system for generating a planar scan videochimography image according to a preferred embodiment of the present invention.
  • the planar scan videochimography image generation system 100 includes a high speed camera 110, a planar scan videochimography image generation server 120, and a display device 130, wherein The storage device 140 may further include.
  • the ultra-high speed camera 110 photographs the laryngoscope image and provides the photographed laryngoscope image to the planar scan video chromography image generation server 120, or although not shown in the drawing, the planar scan video chromography image generation server ( It may be provided to a separate image acquisition device provided inside or inside the 120.
  • the planar scan video chimography image generation server 120 is connected to the high speed camera 110, the display device 130, or the external storage device 140 to perform a planar scan video chimography image generation method.
  • the planar scan video chimography image generation server 120 is provided within the laryngoscope image, or external storage device 140 or the planar scan video chimography image generation server 120 provided from the high speed camera 110.
  • the planar scan video chimography image may be generated using the ultra-fast laryngoscope image stored in the internal storage device, and the generated planar scan video chimography image may be output to the display device 130.
  • the display device 130 is a device capable of visually outputting the planar scan videochimography image and the ultra-fast laryngoscope image generated by the planar scan video chromography image generation server 120, and the external storage device 140 is the plane scan.
  • the ultra-fast laryngoscope image captured by the ultra-fast camera 110 or the planar scan video chymograph image generated by the planar scan video chymograph image generating server 120 and separately provided outside the video chymograph image generating server 120 may be used. It is a device that can be stored and managed.
  • FIG. 2 is a block diagram of the planar scan videochimography image generation server of FIG. 1.
  • the planar scan video chimography image generating server 120 includes an acquirer 210, a setter 220, an extractor 230, a frame generator 240, a video generator 250, And a controller 260.
  • the acquirer 210 acquires an ultra-fast laryngeal endoscope image of black and white or color.
  • the acquirer 210 may receive an ultra-fast laryngeal endoscope image in real time from the ultra-high speed camera 110 connected to the planar scan video chromography image generation server 120.
  • the acquisition unit 210 is a video capture board (internal or external) provided in the interior or exterior of the planar scan video chromograph image generation server 120 is a high-speed laryngoscope analog image taken in real time from the high-speed camera 110 It can be obtained in real time by converting into digital image data of ultra-fast laryngoscope through an image acquisition device such as a board).
  • the acquirer 210 may load an ultra-fast laryngoscope image previously stored in the internal storage device or the external storage device 140 of the planar scan video chimography image generation server 120.
  • the ultra-fast laryngoscope image obtained through the acquisition unit 210 may be black and white, or may be a color image capable of improving discrimination for evaluation of organic findings such as blood and vocal cords of the vocal cords.
  • the setting unit 220 sets a target area and a unit pixel for generating the planar scan video chymography image from the ultra-fast laryngoscope image.
  • the target area is an area of which part of the ultra-fast laryngoscope image is to be generated as a planar scan video chymograph image
  • the unit pixel corresponds to at least one predetermined pixel constituting a predetermined pixel line or a pixel line of the target area.
  • it is a unit serving as a reference for extracting pixel information for each frame of the ultrafast laryngeal endoscope image.
  • the setting unit 220 may set the format information, for example, a frame rate, of the planar scan video chimography image to be generated.
  • the ultrafast laryngeal endoscope image acquired through the acquisition unit 210 is mostly black due to the endoscope, and thus, an area unrelated to the image information of the vocal cords exists, and the vocal cords are examined during endoscopy. Since the other areas do not vibrate, the target area for generating the planar scan video chimography image may be set by excluding the unnecessary area through the bounding box 410 of FIG. 4. In addition, by setting the target area, data storage space may be reduced and image processing speed may be improved when generating a planar scan video chimograph image.
  • the extractor 230 extracts pixel information of each frame of the ultrafast laryngeal endoscope image according to the unit pixel of the target region.
  • the extractor 230 may extract pixel information every frame by the unit pixels set by the setting unit 220 from the first frame of the ultra-fast laryngoscope image.
  • the extractor 230 extracts pixel information of a specific frame among the frames of the ultra-fast laryngeal endoscope image, and then moves the next position of the position where the pixel information is extracted to the pixel information extraction position to extract the pixel information from the next frame of the specific frame.
  • the pixel information extraction position is determined as the next position of the pixel position extracted in the previous frame, and the movement of the pixel information extraction position is determined as one of the top to bottom, top to bottom, top to bottom, and bottom to be constant in every frame. Is moved in the direction.
  • the target region 510 is set through the setting unit 220 and one pixel line is set as a unit pixel, and the change of the pixel information extraction position is set to upper and lower, extraction is performed.
  • the unit 230 As shown in (A), the first position of the first pixel information 521 is extracted from the target region 510 of the first frame, and the next position of the position from which the first pixel information 521 is extracted from the second frame, That is, the pixel information extraction position is moved downward and the second pixel information 522 is extracted as shown in (B), and the pixel information extraction position is downward from the position where the second pixel information 522 is extracted in the third frame.
  • the third pixel information 523 may be extracted as shown in (C), and the pixel information of the pixel line may be extracted in the same manner for all subsequent frames.
  • a predetermined pixel is set as a unit pixel, and the change of the pixel information extraction position is set from left to right
  • the extraction unit 230 As shown in (A), the first pixel information 621 is extracted from the target region 610 of the first frame, and the next position of the location where the first pixel information 621 is extracted in the second frame. That is, the pixel information extraction position is moved to the right to extract the second pixel information 622 as shown in (B), and the pixel information extraction position to the right from the position where the second pixel information 522 is extracted in the third frame.
  • the third pixel information 623 may be extracted as shown in (C), and the pixel information of the predetermined pixel may be extracted in the same manner for all subsequent frames.
  • the frame generator 240 combines the extracted pixel information of each frame to generate a frame of the planar scan video chimography image. More specifically, the frame generation unit 240 may determine the pixel information of each frame extracted from the ultra-fast laryngeal endoscope image according to the pixel information extracted position from which the pixel information is extracted, and the corresponding pixel position in the frame of the planar scan video chymography image. The pixel information can be set.
  • a frame of the planar scan video chimography image is obtained as shown in (D).
  • first pixel information is set at a position corresponding to the pixel extraction position of the first pixel information 521, and a position corresponding to the pixel extraction position of the second pixel information.
  • the second pixel information is set in the second frame, and the third pixel information is set in the position corresponding to the pixel extraction position of the third pixel information, thereby generating each frame constituting the planar scan video chimography image.
  • first pixel information 621 to the third pixel information 631 extracted in the first to third frames are combined to make a frame of the planar scan video chimograph image as shown in (D).
  • first pixel information is set at a position corresponding to the pixel extraction position of the first pixel information 621, and a position corresponding to the pixel extraction position of the second pixel information.
  • the second pixel information is set in the second pixel, and the third pixel information is set in the position corresponding to the pixel extraction position of the third pixel information, thereby generating each frame constituting the planar scan video chimography image.
  • the frame generation unit 240 combines one frame of the planar scan video chimography image.
  • the extractor 230 performs the same process of extracting the pixel information from the first position in the next frame of the ultrafast laryngeal endoscope image, that is, the position corresponding to the position from which the pixel information is extracted in the first frame.
  • the 240 may combine the frames of the planar scan video chimography image in the same manner as described above based on the extracted pixel information. That is, the frame information extraction process may be performed on the frames of all the ultra-fast laryngeal endoscope images to generate the frames of the planar scan video chymography images.
  • the frame generator 240 may correct the brightness, saturation, blurring, sharpness, or rotation of a frame of the generated planar scan videochimography image. More specifically, when the number of predetermined pixel lines or predetermined pixels is large, when the frame information of the planar scan video chimography image is generated by combining pixel information, a sudden color change may appear at the boundary portions of the combined pixel lines or pixels. Image processing such as brightness, saturation, blurring, sharpness, and rotation of each frame may be performed to compensate for a sudden color change of the boundary portion of the combined pixel information.
  • the video generation unit 250 generates a planar scan video chimography video by combining the frames of the planar scan video chiefography image generated by the frame generation unit 240.
  • the video generating unit 250 may store the generated planar scan videochimography video or output the generated planar scan videochimography video to the display device 130 connected to the planar scan videochimography image generation server 120. More specifically, the generated planar scan videochirography video may be stored in an internal storage device or an external storage device 140 provided in the planar scan videochimography image generation server 120.
  • the controller 260 controls the operation and data flow of the acquirer 210, the setter 220, the extractor 230, the frame generator 240, and the video generator 250.
  • FIG. 3 is a flowchart illustrating a method of generating a planar scan videochirographic image performed by the planar scan videochirographic image generating system of FIG. 1.
  • FIGS. 7 to 12 a description will be given with reference to FIGS. 7 to 12.
  • the acquisition unit 210 acquires an ultra-fast laryngeal endoscope image (step S310).
  • the acquirer 210 may receive an ultra-fast laryngoscope image captured by the ultra-high speed camera 110 in real time or may load and obtain a pre-stored ultra-fast laryngoscope image.
  • the setting unit 220 sets a target area and a unit pixel for generating a planar scan video chimography image (step S320). That is, the setting unit 220 sets a target area for which part of the ultra-fast laryngoscope image is to be generated as a planar scan video chymograph image, and extracts pixels in each unit of each frame constituting the ultra-fast laryngoscope image. Set whether or not to do so.
  • the extraction unit 230 extracts pixel information of each frame constituting the ultra-fast laryngeal endoscope image of the target area according to the unit pixel (step S330). More specifically, the extractor 230 sequentially extracts pixel information about a unit pixel every frame for every frame constituting the ultrafast laryngeal endoscope image.
  • the frame generator 240 combines the extracted pixel information of each frame to generate a frame of the planar scan video chimography image (step S340).
  • the extractor 230 may extract pixel information for all frames of the ultra-fast laryngeal endoscope image acquired through the acquirer 210, and the plane generator 240 combines the extracted pixel information to perform a plane scan. Frames constituting the video chimography image may be generated.
  • the video generating unit 250 combines the frames of the planar scan videochimography image to generate a planar scan video chimography video (step S350).
  • the video generating unit 250 may generate a planar scan video chimography video by combining frames generated by using one pixel line as a unit pixel, and referring to FIG. 8.
  • the combination of the frames generated by using two pixel lines as unit pixels may generate a planar scan video chimograph video.
  • the planes may be combined by combining frames generated using three pixel lines as unit pixels.
  • a scan video chimography video may be generated, and referring to FIG. 10, a plane scan video chimography video may be generated by combining frames generated by using four pixel lines as unit pixels.
  • the video generator 250 may store the generated video or output the video through the display device 130.
  • the ultra-fast laryngeal endoscope image and the planar scan video chymography image generated using the same may be simultaneously output to the display device 130 to facilitate comparison.
  • Each of the planar scan video chymograph images generated by the four pixel lines, the two pixel lines, the three pixel lines, and the four pixel lines may be simultaneously output on one screen of the display apparatus 130 for comparison. .
  • planar scan video chimography image generating method can also be implemented as computer readable code on a computer readable recording medium.
  • Computer-readable recording media include all types of recording devices that store data that can be read by a computer system.
  • the computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a hard disk, a floppy disk, a removable storage device, a nonvolatile memory (Flash memory).
  • Flash memory nonvolatile memory
  • the computer readable recording medium can also be distributed over computer systems connected over a computer network so that the computer readable code is stored and executed in a distributed fashion.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 평면 스캔 비디오카이모그래피 영상 생성 서버에서 수행되는 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법에 있어서, (a) 흑백 또는 컬러의 초고속 후두내시경 영상을 획득하는 단계, (b) 상기 초고속 후두내시경 영상으로부터 상기 평면 스캔 비디오카이모그래피 영상을 생성하기 위한 대상 영역 및 단위 화소를 설정하는 단계, (c) 상기 대상 영역에 대하여 상기 단위 화소에 따라 상기 초고속 후두내시경 영상의 각 프레임의 화소 정보를 추출하는 단계, (d) 상기 추출된 각 프레임의 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상의 프레임을 생성하는 단계 및 (e) 상기 평면 스캔 비디오카이모그래피 영상의 프레임을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성하는 단계를 포함한다.

Description

실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체
본 발명은 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 기술에 관한 것으로서, 보다 상세하게, 초고속 후두 내시경 영상으로부터 성대 점막의 전 지역의 움직임을 분석할 수 있는 평면 스캔 비디오카이모그래피 영상을 생성하여 저장하거나 또는 디스플레이 장치로 출력하는 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체에 관한 것이다.
일반적으로, 인체의 성대(vocal fold)는 언어를 통해 의사 전달을 위한 발성 기관으로서 호흡을 따라 후두 점막이 초당 약 100에서 250회의 빠른 진동을 하게 된다. 즉, 하기도로 흡입된 공기는 성문하 구역(sub-glottal area)에서 닫혀져 있는 성대를 압박하고, 그 압력이 성대의 저항보다 커지게 되면 성대의 하연(inferior margin)에서 상연(superior margin)으로 향하는 점막파가 형성되어 성대가 열리면서 발성이 시작된다. 다시 압력이 저하되면 성대가 닫히게 되며 이를 초당 100회에서 250회 반복하면서 음성이 만들어 진다.
그러나 성대 결절, 성문암, 성대 마비 등이 있는 경우 성문 하부의 효과적인 에너지의 전환이 불가능하게 되어 점막파의 대칭성이 저하되고 음성의 이상을 초래한다.
따라서 목소리의 이상을 진찰할 때 성대 점막의 운동 상태를 파악하는 것은 반드시 필요하며, 이를 위하여 스트로보스코프(stroboscope) 기술을 이용하여 성대 점막의 운동 상태를 파악하는 방법이 개발되었다. 현재에는 스트로보스코프 기술을 이용하여 초당 100에서 250회의 빠른 움직임을 느린 동작으로 관찰할 수 있는 후두 비디오 스트로보스코피(videostroboscopy)를 이용하는 방법이 가장 널리 이용되고 있다. 하지만 후두 비디오 스트로보스코피 영상은 실제 정확한 성대의 진동을 보여주는 것이 아니라, 초당 20 ~ 30 프레임 정도로 촬영된 여러 주기의 성대 진동 영상들 중 일부 프레임 영상을 조합하여 하나의 주기로 만들어 성대의 움직임을 느리게 보이도록 한 영상이다. 그리고 후두 비디오 스트로보스코피 영상은 5초 이상의 지속적인 발성이 불가능한 경우나 불규칙적인 발성의 경우에는 정확한 성대의 움직임을 영상으로 획득할 수 없는 단점이 있다.
이러한 후두 비디오 스트로보스코프의 단점을 극복하기 위해 많은 연구가 진행되었으며, Hirose 등이 소개한 초고속 디지털 비디오 시스템(high speed digital video system)은 성대 진동을 초당 2,000 프레임 이상 촬영하여 실제적인 성대 진동 평가의 진단 도구로 사용되고 있다.
그리고 이 초고속 카메라로부터 획득한 영상을 후처리(post processing)하여 비디오카이모그래피 영상을 생성하여 양측 성대의 진동 양상을 비교, 관찰하여 점막 운동 상태를 분석하는 방법들이 개발되었다. 하지만 지금까지 개발된 비디오카이모그래피 영상은 하나의 라인 또는 멀티 라인에 대한 카이모그램(Kymogram) 밖에 얻을 수 없고, 이 카이모그램(Kymogram)은 전체 성대 점막의 운동 상태를 관찰할 수 없는 문제점들이 있다.
최근 Wang 등은 1971년 Gall 등의 후두 포토카이모그래피 원리를 이용하여 성대 전체의 진동을 관찰할 수 있는 시스템을 고안하였고, 성대 전 지역의 진동 상태를 실시간으로 검사할 수 있는 평면 스캔 비디오카이모그래피(2D scanning videokymography; 2D VKG)를 개발하였다. 2D VKG는 환자의 움직임 등에 의한 왜곡을 피할 수 있으며, 동시에 양측 성대 전 지역의 진동 양상을 비교, 관찰하여 점막 운동 상태의 분석 등이 가능하다.
[선행기술문헌]
[비특허문헌]
(비특허문헌 1)R. R. Casiano, V. Zaveri, and D. S. Lundy, "Efficacy of videostroboscopy in the diagnosis of voice disorders", Otolaryngol. Head. Neck. Surg., vol. 107, pp. 95-100, 1992.
(비특허문헌 2)H. Hirose, "High-speed digital imaging of vocal fold vibration", Acta Otolaryngol. Suppl., vol 458, pp. 151-153, 1988.
(비특허문헌 3)J. G. Svec and H. K. Schutte, "Kymographic imaging of laryngeal vibrations", Current Opinion Otolaryngology Head and Neck Surgery., vol. 20, pp. 458-465, 2012.
(비특허문헌 4)T. Wittenberg, M. Tigges, P. Mergell, and U. Eysholdt, "Functional imaging of vocal fold vibration: digital multislice high-speed kymography", Journal of Voice, vol. 14, no. 3, pp. 422-442, 2000.
(비특허문헌 5)M. W. Sung, K. H. Kim, T. Y. Koh, T. Y. Kwon, J. H. Mo, S. H. Choi, J. S. Lee, K. S. Park, E. J. Kim, and M. Y. Sung, "Videostrobokymography: a new method for the quantitative analysis of vocal fold vibration", Laryngoscope, vol. 109, no. 11, pp. 1859-63, 1999.
(비특허문헌 6)V. Gall, "Strip kymography of the glottis", Arch. Otorhinolaryngol., vol. 240, no. 3, pp. 287-293, 1984.
(비특허문헌 7)Q. Qiu and H. K. Schutte, "Real-time kymographic imaging for visualizing human vocal-fold vibratory function", Rev. Sci. Instrum., vol. 78, no. 2, pp. 1-6, 2007.
(비특허문헌 8)S. G. Wang, B. J. Lee, J. C. Lee, Y. S. Lim, Y. M. Park, H. J. Park, J. H. Roh, G. R. Jeon, S. B. Kwon, and B. J. Shin, "Development of Two-Dimensional Scanning Videokymography for analysis of Vocal Fold Vibration", Korean Soc. Laryngol. Phoniatr. Logop., vol. 24, no. 2, pp. 107-111, 2013.
본 발명의 목적은 초고속 후두 내시경 영상으로부터 하나의 라인 또는 멀티 라인에 대한 카이모그램(Kymogram) 밖에 얻을 수 없는 문제점을 감안하여, 초고속 카메라로부터 실시간으로 전송되는 후두의 전체 영역 영상을 실시간으로 평면 스캔 비디오카이모그래피 영상으로 생성하거나, 또는 기저장된 초고속 후두 내시경 영상을 후처리하여 평면 스캔 비디오카이모그래피 영상을 생성하여 저장하거나 또는 디스플레이 장치로 출력하는 평면 스캔 비디오카이모그래피 영상 생성 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 제1 측면은, 평면 스캔 비디오카이모그래피 영상 생성 서버에서 수행되는 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법으로서, (a) 흑백 또는 컬러의 초고속 후두내시경 영상을 획득하는 단계, (b) 상기 초고속 후두내시경 영상으로부터 상기 평면 스캔 비디오카이모그래피 영상을 생성하기 위한 대상 영역 및 단위 화소를 설정하는 단계, (c) 상기 대상 영역에 대하여 상기 단위 화소에 따라 상기 초고속 후두내시경 영상의 각 프레임의 화소 정보를 추출하는 단계, (d) 상기 추출된 각 프레임의 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상의 프레임을 생성하는 단계, 및 (e) 상기 평면 스캔 비디오카이모그래피 영상의 프레임을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성하는 단계를 포함한다.
바람직하게, 상기 (a) 단계는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버와 연결된 초고속 카메라로부터 초고속 후두내시경 영상을 실시간으로 수신하거나, 또는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버에 기저장된 초고속 후두내시경 영상을 로드하는 단계를 포함할 수 있다.
바람직하게, 상기 (c) 단계는 상기 초고속 후두내시경 영상의 프레임 중 특정 프레임의 화소 정보를 추출한 후, 상기 특정 프레임의 다음 프레임에서 상기 화소 정보를 추출한 위치의 다음 위치를 화소 정보 추출 위치로 결정하는 단계를 포함할 수 있다.
바람직하게, 상기 (d) 단계는 상기 추출된 각 프레임의 화소 정보를, 상기추출된 화소 정보의 추출 위치에 따라, 상기 평면 스캔 비디오카이모그래피 영상의 프레임에서 대응되는 위치의 화소 정보로 설정하는 단계를 포함할 수 있다.
바람직하게, 상기 (d) 단계는 상기 생성된 평면 스캔 비디오카이모그래피 영상의 프레임의 밝기, 채도, 블러링, 선명도, 또는 회전을 보정하는 단계를 더 포함할 수 있다.
바람직하게, 상기 (e) 단계는 상기 평면 스캔 비디오카이모그래피 동영상을 저장하거나 또는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버와 연결된 디스플레이 장치로 출력하는 단계를 더 포함할 수 있다.
바람직하게, 상기 단위 화소는 상기 대상 영역의 소정 화소 라인 또는 화소 라인을 구성하는 적어도 하나의 소정 화소에 해당할 수 있다.
상기 목적을 달성하기 위한 본 발명의 제2 측면은, 평면 스캔 비디오카이모그래피 영상 생성 서버로서, 흑백 또는 컬러의 초고속 후두내시경 영상을 획득하는 획득부, 상기 초고속 후두내시경 영상으로부터 상기 평면 스캔 비디오카이모그래피 영상을 생성하기 위한 대상 영역 및 단위 화소를 설정하는 설정부, 상기 대상 영역에 대하여 상기 단위 화소에 따라 상기 초고속 후두내시경 영상의 각 프레임의 화소 정보를 추출하는 추출부, 상기 추출된 각 프레임의 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상의 프레임을 생성하는 프레임 생성부, 및 상기 평면 스캔 비디오카이모그래피 영상의 프레임을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성하는 동영상 생성부를 포함한다.
바람직하게, 상기 획득부는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버와 연결된 초고속 카메라로부터 초고속 후두내시경 영상을 실시간으로 수신하거나, 또는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버에 기저장된 초고속 후두내시경 영상을 로드할 수 있다.
바람직하게, 상기 추출부는 상기 초고속 후두내시경 영상의 프레임 중 특정 프레임의 화소 정보를 추출한 후, 상기 특정 프레임의 다음 프레임에서 상기 화소 정보를 추출한 위치의 다음 위치를 화소 정보 추출 위치로 결정할 수 있다.
바람직하게, 상기 프레임 생성부는 상기 추출된 각 프레임의 화소 정보를, 상기 추출된 화소 정보의 추출 위치에 따라, 상기 평면 스캔 비디오카이모그래피 영상의 프레임에서 대응되는 위치의 화소 정보로 설정할 수 있다.
바람직하게, 상기 프레임 생성부는 상기 생성된 평면 스캔 비디오카이모그래피 영상의 프레임의 밝기, 채도, 블러링, 선명도, 또는 회전을 보정할 수 있다.
바람직하게, 상기 동영상 생성부는 상기 평면 스캔 비디오카이모그래피 동영상을 저장하거나 또는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버와 연결된 디스플레이 장치로 출력할 수 있다.
상기한 바와 같이 본 발명에 의하면, 초고속 후두 내시경 영상으로부터 하나의 라인 또는 멀티 라인에 대한 카이모그램(Kymogram) 밖에 얻을 수 없는 문제에서 벗어나, 후두의 전체 영역 영상을 실시간으로 평면 스캔 비디오카이모그래피 영상으로 생성하여 저장하거나 또는 디스플레이 장치로 출력할 수 있는 효과가 있다.
특히, 초고속 후두 내시경 영상을 실시간으로 평면 스캔 비디오카이모그래피 영상으로 변환하여 초고속 후두 내시경 영상과 평면 스캔 비디오카이모그래피 두 영상을 한 화면 또는 각각의 디스플레이 장치에 출력하여 동시에 비교 분석할 수 있는 효과가 있다.
또한, 하나의 초고속 내시경 카메라 촬영 영상을 이용해서 평면 스캔 비디오카이모그래피 영상을 생성할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 평면 스캔 비디오카이모그래피 영상 생성 시스템에 대한 블록도이다.
도 2는 도 1의 평면 스캔 비디오카이모그래피 영상 생성 서버에 대한 블록도이다.
도 3은 도 1의 평면 스캔 비디오카이모그래피 영상 생성 시스템에서 수행되는 평면 스캔 비디오카이모그래피 영상 생성 방법에 대한 흐름도이다.
도 4는 평면 스캔 비디오카이모그래피 영상을 생성하기 위한 대상 영역을 설정하는 방법의 예시이다.
도 5는 단위 화소가 화소 라인인 경우의 각 프레임의 화소 정보를 추출하는 방법 및 추출한 화소 정보를 조합하는 방법의 예시이다.
도 6은 단위 화소가 소정 화소인 경우의 각 프레임의 화소 정보를 추출하는 방법 및 추출한 화소 정보를 조합하는 방법의 예시이다.
도 7은 단위 화소가 1개의 화소 라인인 경우의 생성된 평면 스캔 비디오카이모그래피 영상의 경시적 변화에 대한 예시이다.
도 8은 단위 화소가 2개의 화소 라인인 경우의 생성된 평면 스캔 비디오카이모그래피 영상의 경시적 변화에 대한 예시이다.
도 9는 단위 화소가 3개의 화소 라인인 경우의 생성된 평면 스캔 비디오카이모그래피 영상의 경시적 변화에 대한 예시이다.
도 10은 단위 화소가 4개의 화소 라인인 경우의 생성된 평면 스캔 비디오카이모그래피 영상의 경시적 변화에 대한 예시이다.
도 11은 초고속 후두내시경 영상과 생성된 평면 스캔 비디오카이모그래피 영상이 출력된 예시이다.
도 12는 생성된 다수의 평면 스캔 비디오카이모그래피 영상들이 한 화면에 동시에 출력된 예시이다.
이하, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
또한, 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다(comprises)" 및/또는 “포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 평면 스캔 비디오카이모그래피 영상 생성 시스템에 대한 블록도이다.
도 1을 참조하면, 평면 스캔 비디오카이모그래피 영상 생성 시스템(100)은 초고속 카메라(110), 평면 스캔 비디오카이모그래피 영상 생성 서버(120), 및 디스플레이 장치(130)를 포함하고, 여기에서, 외부 저장 장치(140)를 더 포함할 수 있다.
초고속 카메라(110)는 후두내시경 영상을 촬영하고, 촬영된 후두내시경 영상을 평면 스캔 비디오카이모그래피 영상 생성 서버(120)에 제공하거나, 또는 도면에 도시되지 않았으나, 평면 스캔 비디오카이모그래피 영상 생성 서버(120)의 외부 또는 내부에 구비된 별도의 영상 획득 장치에 제공할 수 있다.
평면 스캔 비디오카이모그래피 영상 생성 서버(120)는 초고속 카메라(110), 디스플레이 장치(130), 또는 외부 저장 장치(140)와 연결되어 평면 스캔 비디오카이모그래피 영상 생성 방법을 수행할 수 있는 장치이다. 바람직하게, 평면 스캔 비디오카이모그래피 영상 생성 서버(120)는 초고속 카메라(110)로부터 제공받은 후두내시경 영상, 또는 외부 저장 장치(140) 또는 평면 스캔 비디오카이모그래피 영상 생성 서버(120) 내부에 구비된 내부 저장 장치에 기저장되어 있는 초고속 후두내시경 영상을 이용하여 평면 스캔 비디오카이모그래피 영상을 생성하고, 생성된 평면 스캔 비디오카이모그래피 영상을 디스플레이 장치(130)에 출력할 수 있다.
디스플레이 장치(130)는 평면 스캔 비디오카이모그래피 영상 생성 서버(120)에서 생성된 평면 스캔 비디오카이모그래피 영상 및 초고속 후두내시경 영상을 시각적으로 출력할 수 있는 장치이고, 외부 저장 장치(140)는 평면 스캔 비디오카이모그래피 영상 생성 서버(120)의 외부에 별도로 구비되어 평면 스캔 비디오카이모그래피 영상 생성 서버(120)로부터 생성된 평면 스캔 비디오카이모그래피 영상 또는 초고속 카메라(110)에 의하여 촬영된 초고속 후두내시경 영상을 저장하고 관리할 수 있는 장치이다.
도 2의 도 1의 평면 스캔 비디오카이모그래피 영상 생성 서버에 대한 블록도이다.
도 2를 참조하면, 평면 스캔 비디오카이모그래피 영상 생성 서버(120)는 획득부(210), 설정부(220), 추출부(230), 프레임 생성부(240), 동영상 생성부(250), 및 제어부(260)를 포함한다. 이하에서는 도 4 내지 도 6을 참조하여 설명한다.
획득부(210)는 흑백 또는 컬러의 초고속 후두 내시경 영상을 획득한다. 바람직하게, 획득부(210)는 평면 스캔 비디오카이모그래피 영상 생성 서버(120)와 연결된 초고속 카메라(110)로부터 초고속 후두내시경 영상을 실시간으로 수신할 수 있다. 보다 구체적으로, 획득부(210)는 초고속 카메라(110)로부터 실시간으로 촬영되는 초고속 후두내시경 아날로그 영상을 평면 스캔 비디오카이모그래피 영상 생성 서버(120)의 내부 또는 외부에 구비된 비디오 캡쳐 보드(video capture board) 등의 영상 획득 장치를 통해 초고속 후두내시경 디지털 영상 데이터로 변환하여 실시간으로 획득할 수 있다.
또한, 획득부(210)는 평면 스캔 비디오카이모그래피 영상 생성 서버(120)의 내부 저장 장치 또는 외부 저장 장치(140)에 기저장된 초고속 후두내시경 영상을 로드할 수 있다.
이 때, 획득부(210)를 통하여 획득되는 초고속 후두내시경 영상은 흑백이거나, 또는 성대의 혈과, 종양과 같은 기질적 소견 평가를 위하여 변별력을 향상시킬 수 있는 컬러 영상일 수 있다.
설정부(220)는 초고속 후두내시경 영상으로부터 평면 스캔 비디오카이모그래피 영상을 생성하기 위한 대상 영역 및 단위 화소를 설정한다. 여기에서, 대상 영역은 초고속 후두내시경 영상에서 어느 부분을 평면 스캔 비디오카이모그래피 영상으로 생성할 것인지에 대한 영역이고, 단위 화소는 대상 영역의 소정 화소 라인 또는 화소 라인을 구성하는 적어도 하나의 소정 화소에 해당하는 것으로서, 초고속 후두내시경 영상의 각 프레임마다 화소 정보를 추출하는 기준이 되는 단위이다. 또한, 설정부(220)는 생성할 평면 스캔 비디오카이모그래피 영상의 포맷 정보, 예를 들어, 프레임율(frame rate) 등을 설정할 수 있다.
예를 들어, 도 4를 참조하면, 획득부(210)를 통하여 획득된 초고속 후두내시경 영상은 내시경으로 인하여 외곽 부분이 대부분 검정색으로서, 성대의 영상 정보와 무관한 영역이 존재하고, 내시경 검사 시 성대 이외의 영역은 진동하지 않으므로, 도 4의 바운딩 박스(410)를 통하여 불필요한 영역은 제외하고 평면 스캔 비디오카이모그래피 영상을 생성할 대상 영역을 설정할 수 있다. 또한, 대상 영역을 설정하는 것을 통하여, 평면 스캔 비디오카이모그래피 영상 생성시 데이터 저장 공간을 절감할 수 있고, 영상 처리 속도를 향상시킬 수 있다.
추출부(230)는 대상 영역에 대하여 단위 화소에 따라 초고속 후두내시경 영상의 각 프레임의 화소 정보를 추출한다. 바람직하게, 추출부(230)는 초고속 후두내시경 영상의 첫번째 프레임부터, 설정부(220)에서 설정한 단위 화소만큼 매 프레임 마다 화소 정보를 추출할 수 있다.
또한, 추출부(230)는 초고속 후두내시경 영상의 프레임 중 특정 프레임의 화소 정보를 추출한 후, 화소 정보를 추출한 위치의 다음 위치를, 특정 프레임의 다음 프레임에서 화소 정보를 추출할 화소 정보 추출 위치로 결정할 수 있다. 즉, 화소 정보 추출 위치는 이전 프레임에서 추출한 화소 위치의 다음 위치로 결정되고, 화소 정보 추출 위치의 이동은, 좌에서 우, 우에서 좌, 상에서 하, 및 하에서 상 중 하나로 결정되어 모든 프레임에서 일정한 방향으로 이동된다.
예를 들어, 도 5를 참조하면, 설정부(220)를 통하여 대상 영역(510)이 설정되고 단위 화소로서 1개의 화소 라인이 설정되고, 화소 정보 추출 위치의 변경이 상에서 하로 설정된 경우에는, 추출부(230)를 통하여, (A)와 같이 첫번째 프레임의 대상 영역(510)에서 제1 화소 정보(521)가 추출되고, 두번째 프레임에서 제1 화소 정보(521)가 추출된 위치의 다음 위치, 즉, 아래방향으로 화소 정보 추출 위치를 이동하여 (B)와 같이 제2 화소 정보(522)가 추출되고, 세번째 프레임에서 제2 화소 정보(522)가 추출된 위치에서 아래방향으로 화소 정보 추출 위치를 이동하여 (C)와 같이 제3 화소 정보(523)가 추출될 수 있고, 이후의 모든 프레임에 대하여 동일한 방법으로 화소 라인의 화소 정보가 추출될 수 있다.
다른 예를 들어, 도 6을 참조하면, 설정부(220)를 통하여 대상 영역(610)이 설정되고, 단위 화소로서 소정 화소가 설정되고, 화소 정보 추출 위치의 변경이 좌에서 우로 설정된 경우에는, 추출부(230)를 통하여, (A)와 같이 첫번째 프레임의 대상 영역(610)에서 제1 화소 정보(621)가 추출되고, 두번째 프레임에서 제1 화소 정보(621)가 추출된 위치의 다음 위치, 즉, 오른쪽으로 화소 정보 추출 위치를 이동하여 (B)와 같이 제2 화소 정보(622)가 추출되고, 세번째 프레임에서 제2 화소 정보(522)가 추출된 위치에서 오른쪽 방향으로 화소 정보 추출 위치를 이동하여 (C)와 같이 제3 화소 정보(623)가 추출될 수 있고, 이후의 모든 프레임에 대하여 동일한 방법으로 소정 화소의 화소 정보가 추출될 수 있다.
프레임 생성부(240)는 추출된 각 프레임의 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상의 프레임을 생성한다. 보다 구체적으로, 프레임 생성부(240)는 초고속 후두내시경 영상의 추출된 각 프레임의 화소 정보를, 화소 정보를 추출한 화소 정보 추출 위치에 따라, 평면 스캔 비디오카이모그래피 영상의 프레임에서 대응되는 화소 위치의 화소 정보로 설정할 수 있다.
예를 들어, 도 5를 참조하면, 첫번째 프레임 내지 세번째 프레임에서 추출된 제1 화소 정보(521) 내지 제3 화소 정보(531)를 조합하여 (D)와 같이 평면 스캔 비디오카이모그래피 영상의 프레임을 생성할 수 있다. 보다 구체적으로, 평면 스캔 비디오카이모그래피 영상의 프레임에서, 제1 화소 정보(521)의 화소 추출 위치에 대응 되는 위치에는 제1 화소 정보가 설정되고, 제2 화소 정보의 화소 추출 위치에 대응되는 위치에는 제2 화소 정보가 설정되고, 제3 화소 정보의 화소 추출 위치에 대응되는 위치에는 제3 화소 정보가 설정되는 것을 통하여, 평면 스캔 비디오카이모그래피 영상을 구성하는 각 프레임을 생성할 수 있다.
다른 예를 들어, 도 6을 참조하면, 첫번째 프레임 내지 세번째 프레임에서 추출된 제1 화소 정보(621) 내지 제3 화소 정보(631)를 조합하여 (D)와 같이 평면 스캔 비디오카이모그래피 영상의 프레임을 생성할 수 있다. 보다 구체적으로, 평면 스캔 비디오카이모그래피 영상의 프레임에서, 제1 화소 정보(621)의 화소 추출 위치에 대응 되는 위치에는 제1 화소 정보가 설정되고, 제2 화소 정보의 화소 추출 위치에 대응되는 위치에는 제2 화소 정보가 설정되고, 제3 화소 정보의 화소 추출 위치에 대응되는 위치에는 제3 화소 정보가 설정되는 것을 통하여, 평면 스캔 비디오카이모그래피 영상을 구성하는 각 프레임을 생성될 수 있다.
바람직하게, 추출부(230)를 통하여 초고속 후두내시경 영상의 프레임에서 마지막 소정 화소 라인 또는 마지막 소정 화소가 추출되어, 프레임 생성부(240)가 평면 스캔 비디오카이모그래피 영상의 하나의 프레임을 조합한 경우, 추출부(230)는 초고속 후두내시경 영상의 다음 프레임에서는 처음 위치부터, 즉, 첫번째 프레임에서 화소 정보를 추출한 위치에 대응되는 위치부터 상기의 화소 정보 추출 과정을 동일한 방법으로 수행하고, 프레임 생성부(240)는 추출된 화소 정보를 기초로 상기와 동일한 방법으로 평면 스캔 비디오카이모그래피 영상의 프레임을 조합할 수 있다. 즉, 모든 초고속 후두내시경 영상의 프레임을 대상으로 상기의 화소 정보 추출 과정을 수행하여 평면 스캔 비디오카이모그래피 영상의 프레임들을 생성할 수 있다.
일 실시예에서, 프레임 생성부(240)는 생성된 평면 스캔 비디오카이모그래피 영상의 프레임의 밝기, 채도, 블러링(blurring), 선명도, 또는 회전을 보정할 수 있다. 보다 구체적으로, 소정 화소 라인 또는 소정 화소의 수가 많은 경우, 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상의 프레임을 생성하면, 조합된 화소 라인 또는 화소의 경계 부분에서 급격한 색상 변화가 나타날 수 있으므로, 조합된 화소 정보의 경계 부분의 급격한 색상 변화를 보완하기 위하여 각 프레임의 밝기, 채도, 블러링, 선명도, 회전 등의 영상 처리를 수행할 수 있다.
동영상 생성부(250)는 프레임 생성부(240)를 통하여 생성된 평면 스캔 비디오카이모그래피 영상의 프레임을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성한다.
또한, 동영상 생성부(250)는 생성된 평면 스캔 비디오카이모그래피 동영상을 저장하거나 또는 평면 스캔 비디오카이모그래피 영상 생성 서버(120)와 연결된 디스플레이 장치(130)로 출력할 수 있다. 보다 구체적으로, 생성된 평면 스캔 비디오카이모그래피 동영상은 평면 스캔 비디오카이모그래피 영상 생성 서버(120) 내부에 구비된 내부 저장 장치 또는 외부 저장 장치(140)에 저장될 수 있다.
제어부(260)는 획득부(210), 설정부(220), 추출부(230), 프레임 생성부(240), 및 동영상 생성부(250)의 동작 및 데이터의 흐름을 제어한다.
도 3은 도 1의 평면 스캔 비디오카이모그래피 영상 생성 시스템에서 수행되는 평면 스캔 비디오카이모그래피 영상 생성 방법에 대한 흐름도이다. 이하에서는, 도 7 내지 도 12를 참조하여 설명한다.
획득부(210)는 초고속 후두내시경 영상을 획득한다(단계 S310). 바람직하게, 획득부(210)는 초고속 카메라(110)로부터 촬영되는 초고속 후두내시경 영상을 실시간으로 제공받거나 또는 기저장된 초고속 후두내시경 영상을 로드하여 획득할 수 있다.
설정부(220)는 평면 스캔 비디오카이모그래피 영상을 생성하기 위한 대상 영역 및 단위 화소를 설정한다(단계 S320). 즉, 설정부(220)는 초고속 후두내시경 영상에서 어느 부분을 평면 스캔 비디오카이모그래피 영상으로 생성할 것인지에 대한 대상 영역을 설정하고, 초고속 후두내시경 영상을 구성하는 각각의 프레임에서 어느 단위로 화소를 추출할 것인지 여부를 설정한다.
추출부(230)는 대상 영역에 대하여 단위 화소에 따라 초고속 후두내시경 영상을 구성하는 각 프레임의 화소 정보를 추출한다(단계 S330). 보다 구체적으로, 추출부(230)는 초고속 후두내시경 영상을 구성하는 모든 프레임에 대하여 순차적으로 매 프레임마다 단위 화소에 대한 화소 정보를 추출한다.
프레임 생성부(240)는 추출된 각 프레임의 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상의 프레임을 생성한다(단계 S340). 바람직하게, 획득부(210)를 통하여 획득된 초고속 후두내시경 영상의 모든 프레임에 대하여 추출부(230)는 화소 정보를 추출할 수 있고, 프레임 생성부(240) 추출된 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상을 구성할 프레임들을 생성할 수 있다.
동영상 생성부(250)는 평면 스캔 비디오카이모그래피 영상의 프레임을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성한다(단계 S350). 예를 들어, 동영상 생성부(250)는, 도 7을 참조하면, 1개의 화소 라인을 단위 화소로 하여 생성된 프레임들을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성할 수 있고, 도 8을 참조하면, 2개의 화소 라인을 단위 화소로 하여 생성된 프레임들을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성할 수 있고, 도 9를 참조하면, 3개의 화소 라인을 단위 화소로 하여 생성된 프레임들을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성할 수 있고, 도 10을 참조하면, 4개의 화소 라인을 단위 화소로 하여 생성된 프레임들을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성할 수 있다.
또한, 동영상 생성부(250)는 생성된 동영상을 저장하거나 디스플레이 장치(130)를 통하여 출력할 수 있다. 예를 들어, 도 11과 같이 초고속 후두내시경 영상과 이를 이용하여 생성된 평면 스캔 비디오카이모그래피 영상을 디스플레이 장치(130)에 동시에 출력하여 비교가 용이하도록 할 수 있고, 도 12와 같이 단위 화소를 1개의 화소 라인, 2개의 화소 라인, 3개의 화소 라인, 및 4개의 화소 라인으로 하여 생성된 각각의 평면 스캔 비디오카이모그래피 영상을 디스플레이 장치(130)의 한 화면에 동시에 출력하여 비교할 수 있도록 할 수 있다.
한편, 본 발명의 일 실시예에 따른 평면 스캔 비디오카이모그래피 영상 생성 벙법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함 한다.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있다.
또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
전술한 본 발명에 따른 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.

Claims (14)

  1. 평면 스캔 비디오카이모그래피 영상 생성 서버에서 수행되는 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법에 있어서,
    (a) 흑백 또는 컬러의 초고속 후두내시경 영상을 획득하는 단계;
    (b) 상기 초고속 후두내시경 영상으로부터 상기 평면 스캔 비디오카이모그래피 영상을 생성하기 위한 대상 영역 및 단위 화소를 설정하는 단계;
    (c) 상기 대상 영역에 대하여 상기 단위 화소에 따라 상기 초고속 후두내시경 영상의 각 프레임의 화소 정보를 추출하는 단계;
    (d) 상기 추출된 각 프레임의 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상의 프레임을 생성하는 단계; 및
    (e) 상기 평면 스캔 비디오카이모그래피 영상의 프레임을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성하는 단계를 포함하는 평면 스캔 비디오카이모그래피 영상 생성 방법.
  2. 제1항에 있어서, 상기 (a) 단계는
    상기 평면 스캔 비디오카이모그래피 영상 생성 서버와 연결된 초고속 카메라로부터 초고속 후두내시경 영상을 실시간으로 수신하거나, 또는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버에 기저장된 초고속 후두내시경 영상을 로드하는 단계를 포함하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 방법.
  3. 제1항에 있어서, 상기 (c) 단계는
    상기 초고속 후두내시경 영상의 프레임 중 특정 프레임의 화소 정보를 추출한 후, 상기 특정 프레임의 다음 프레임에서 상기 화소 정보를 추출한 위치의 다음 위치를 화소 정보 추출 위치로 결정하는 단계를 포함하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 방법.
  4. 제1항에 있어서, 상기 (d) 단계는
    상기 추출된 각 프레임의 화소 정보를, 상기 추출된 화소 정보의 추출 위치에 따라, 상기 평면 스캔 비디오카이모그래피 영상의 프레임에서 대응되는 위치의 화소 정보로 설정하는 단계를 포함하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 방법.
  5. 제1항에 있어서, 상기 (d) 단계는
    상기 생성된 평면 스캔 비디오카이모그래피 영상의 프레임의 밝기, 채도, 블러링, 선명도, 또는 회전을 보정하는 단계를 더 포함하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 방법.
  6. 제1항에 있어서, 상기 (e) 단계는
    상기 평면 스캔 비디오카이모그래피 동영상을 저장하거나 또는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버와 연결된 디스플레이 장치로 출력하는 단계를 더 포함하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 방법.
  7. 제1항에 있어서, 상기 단위 화소는
    상기 대상 영역의 소정 화소 라인 또는 화소 라인을 구성하는 적어도 하나의 소정 화소에 해당하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 방법.
  8. 흑백 또는 컬러의 초고속 후두내시경 영상을 획득하는 획득부;
    상기 초고속 후두내시경 영상으로부터 상기 평면 스캔 비디오카이모그래피 영상을 생성하기 위한 대상 영역 및 단위 화소를 설정하는 설정부;
    상기 대상 영역에 대하여 상기 단위 화소에 따라 상기 초고속 후두내시경 영상을 구성하는 각 프레임의 화소 정보를 추출하는 추출부;
    상기 추출된 각 프레임의 화소 정보를 조합하여 평면 스캔 비디오카이모그래피 영상의 프레임을 생성하는 프레임 생성부; 및
    상기 평면 스캔 비디오카이모그래피 영상의 프레임을 조합하여 평면 스캔 비디오카이모그래피 동영상을 생성하는 동영상 생성부를 포함하는 평면 스캔 비디오카이모그래피 영상 생성 서버.
  9. 제8항에 있어서, 상기 획득부는
    상기 평면 스캔 비디오카이모그래피 영상 생성 서버와 연결된 초고속 카메라로부터 초고속 후두내시경 영상을 실시간으로 수신하거나, 또는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버에 기저장된 초고속 후두내시경 영상을 로드하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 서버.
  10. 제8항에 있어서, 상기 추출부는
    상기 초고속 후두내시경 영상의 프레임 중 특정 프레임의 화소 정보를 추출한 후, 상기 특정 프레임의 다음 프레임에서 상기 화소 정보를 추출한 위치의 다음 위치를 화소 정보 추출 위치로 결정하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 서버.
  11. 제8항에 있어서, 상기 프레임 생성부는
    상기 추출된 각 프레임의 화소 정보를, 상기 추출된 화소 정보의 추출 위치에 따라, 상기 평면 스캔 비디오카이모그래피 영상의 프레임에서 대응되는 위치의 화소 정보로 설정하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 서버.
  12. 제8항에 있어서, 상기 프레임 생성부는
    상기 생성된 평면 스캔 비디오카이모그래피 영상의 프레임의 밝기, 채도, 블러링, 선명도, 또는 회전을 보정하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 서버.
  13. 제8항에 있어서, 상기 동영상 생성부는
    상기 평면 스캔 비디오카이모그래피 동영상을 저장하거나 또는 상기 평면 스캔 비디오카이모그래피 영상 생성 서버와 연결된 디스플레이 장치로 출력하는 것을 특징으로 하는 평면 스캔 비디오카이모그래피 영상 생성 서버.
  14. 제1항 내지 제7항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2016/006108 2015-08-31 2016-06-09 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체 WO2017039124A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/558,288 US10600168B2 (en) 2015-08-31 2016-06-09 Method for generating 2D scan videokymographic images by using real-time or pre-stored ultra-high speed laryngeal endoscopy images, 2D scan videokymographic image generation server for performing same, and recording medium for storing same
JP2018500262A JP6538262B2 (ja) 2015-08-31 2016-06-09 リアルタイムまたは既保存された超高速喉頭内視鏡映像を利用した平面スキャンビデオキモグラフィー映像生成サーバーの作動方法、これを遂行する平面スキャンビデオキモグラフィー映像生成サーバー、およびこれを保存する記録媒体
CN201680015511.8A CN107408299B (zh) 2015-08-31 2016-06-09 平面扫描视频记波影像的生成方法和服务器及存储介质
EP16842090.9A EP3345531B1 (en) 2015-08-31 2016-06-09 Method for generating planar scan videokymographic images by using real-time or pre-stored ultra-high speed laryngendoscopic images, planar scan videokymographic image generation server for performing same, and recording medium for storing same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0123110 2015-08-31
KR1020150123110A KR101717371B1 (ko) 2015-08-31 2015-08-31 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체

Publications (1)

Publication Number Publication Date
WO2017039124A1 true WO2017039124A1 (ko) 2017-03-09

Family

ID=58188947

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/006108 WO2017039124A1 (ko) 2015-08-31 2016-06-09 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체

Country Status (6)

Country Link
US (1) US10600168B2 (ko)
EP (1) EP3345531B1 (ko)
JP (1) JP6538262B2 (ko)
KR (1) KR101717371B1 (ko)
CN (1) CN107408299B (ko)
WO (1) WO2017039124A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110074749B (zh) * 2019-03-05 2024-04-12 天津欧斯迪医疗科技有限公司 一种高速动态喉镜装置及其使用方法
CN115393243B (zh) * 2022-10-28 2023-02-24 北京开运联合信息技术集团股份有限公司 多聚焦图像的融合方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990079315A (ko) * 1998-04-03 1999-11-05 박광석 성대 점막 운동 상태의 분석을 위한 비디오스트로보카이모그라피
US20050219376A1 (en) * 2004-03-08 2005-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Image recording device having several image recording modes
US20060235693A1 (en) * 2005-04-19 2006-10-19 Incrys, Inc. High speed imaging system
WO2014134501A2 (en) * 2013-02-28 2014-09-04 Olive Medical Corporation Videostroboscopy of vocal chords with cmos sensors
KR20140115526A (ko) * 2013-03-21 2014-10-01 김태우 성대 점막 운동 상태의 분석을 위한 평면 스캔 비디오카이모그라피 시스템을 이용한 성대 점막 운동 상태의 분석방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2225188B (en) * 1988-11-16 1993-05-12 Olympus Optical Co Methods of detecting endoscope insertion direction
EP1061474A1 (de) * 1999-06-17 2000-12-20 VAMP Verfahren und Apparate der Medizinischen Physik GmbH Computertomograph mit objektbezogener Bewegungsartefaktreduktion und Extraktion der Objektbewegungsinformation (Kymogramm)
GB2388287B (en) * 2002-05-04 2005-06-15 Autodesk Canada Inc Processing image data
US7304644B2 (en) * 2003-03-12 2007-12-04 Siemens Medical Solutions Usa, Inc. System and method for performing a virtual endoscopy
JP3882088B1 (ja) * 2005-08-17 2007-02-14 国立大学法人 岡山大学 振動体観察装置、声帯観察装置及び声帯観察プログラム
EP1859727A1 (en) * 2006-05-26 2007-11-28 Stichting voor de Technische Wetenschappen optical triggering system for stroboscopy and a stroboscopic system
US10332562B2 (en) * 2007-04-17 2019-06-25 Sirius-Beta Corporation System and method for space-time annotation-capable media scrubbing
WO2008131106A1 (en) * 2007-04-17 2008-10-30 Earl Industries Llc Digital system for organizing diverse information
KR200444134Y1 (ko) * 2007-07-09 2009-04-10 유메디칼 주식회사 음성신호를 이용한 후두 스트로보스코프
CN101567048B (zh) * 2008-04-21 2012-06-06 夏普株式会社 图像辨别装置及图像检索装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990079315A (ko) * 1998-04-03 1999-11-05 박광석 성대 점막 운동 상태의 분석을 위한 비디오스트로보카이모그라피
US20050219376A1 (en) * 2004-03-08 2005-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Image recording device having several image recording modes
US20060235693A1 (en) * 2005-04-19 2006-10-19 Incrys, Inc. High speed imaging system
WO2014134501A2 (en) * 2013-02-28 2014-09-04 Olive Medical Corporation Videostroboscopy of vocal chords with cmos sensors
KR20140115526A (ko) * 2013-03-21 2014-10-01 김태우 성대 점막 운동 상태의 분석을 위한 평면 스캔 비디오카이모그라피 시스템을 이용한 성대 점막 운동 상태의 분석방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3345531A4 *

Also Published As

Publication number Publication date
JP2018508336A (ja) 2018-03-29
EP3345531B1 (en) 2021-07-21
EP3345531A1 (en) 2018-07-11
KR20170025956A (ko) 2017-03-08
KR101717371B1 (ko) 2017-03-16
CN107408299A (zh) 2017-11-28
CN107408299B (zh) 2020-10-30
US10600168B2 (en) 2020-03-24
EP3345531A4 (en) 2019-05-01
JP6538262B2 (ja) 2019-07-03
US20180061030A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
WO2017192020A1 (ko) 치과용 3차원 데이터 처리장치 및 그 방법
WO2013066056A1 (ko) 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법
US20150187063A1 (en) Medical device and method for operating the same
WO2021139672A1 (zh) 医疗辅助操作方法、装置、设备和计算机存储介质
WO2017039124A1 (ko) 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체
WO2017191878A1 (ko) 치아 움직임 추적 장치 및 그 방법
JP7345023B2 (ja) 内視鏡システム
JP6118917B2 (ja) 声帯粘膜運動状態を分析するための平面スキャンビデオキモグラフィーシステム及びこれを利用した声帯粘膜運動状態の分析方法
KR101717362B1 (ko) 평면 스캔 비디오 카이모그라피와 후두 스트로보스코피 기능이 있는 비디오 후두 내시경 시스템
WO2020101431A1 (ko) 3차원 영상을 렌더링하는 방법, 상기 방법을 사용하는 영상처리장치, 상기 영상처리장치와 연동하는 촬영장치, 상기 촬영장치의 촬영방법, 및 3차원 영상을 렌더링하는 시스템
CN113768452A (zh) 一种电子内窥镜智能计时方法及装置
WO2017150836A1 (ko) 실시간 후두스트로보스코피, 고속 후두내시경 검사, 및 평면 스캔 디지털 카이모그래피를 위한 영상 생성 시스템 및 방법
WO2023075303A1 (ko) 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법
JPWO2021171464A5 (ko)
JPWO2019203006A1 (ja) 内視鏡装置、内視鏡プロセッサ装置及び内視鏡画像表示方法
CN114269221A (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序
JP2023548226A (ja) 画像処理方法、電子機器および可読記憶媒体
US7338438B2 (en) Signal output apparatus of endoscope system
JP7495063B2 (ja) 内視鏡システム及びその作動方法
US20230007213A1 (en) Image recording system, image recording method, and recording medium
JP2022179218A (ja) 内視鏡システム及びその作動方法
WO2023038004A1 (ja) 内視鏡システム、医療情報処理装置、医療情報処理方法、医療情報処理プログラム、及び記録媒体
WO2023145078A1 (ja) 医療支援システムおよび医療支援方法
JP3623372B2 (ja) 撮像装置
JPH0942961A (ja) 音声入力装置の位置測定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16842090

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2016842090

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018500262

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15558288

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE