WO2018117427A1 - 3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템 - Google Patents

3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템 Download PDF

Info

Publication number
WO2018117427A1
WO2018117427A1 PCT/KR2017/012952 KR2017012952W WO2018117427A1 WO 2018117427 A1 WO2018117427 A1 WO 2018117427A1 KR 2017012952 W KR2017012952 W KR 2017012952W WO 2018117427 A1 WO2018117427 A1 WO 2018117427A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
capsule endoscope
receiver
stereo
unit
Prior art date
Application number
PCT/KR2017/012952
Other languages
English (en)
French (fr)
Inventor
오정범
Original Assignee
주식회사 인트로메딕
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인트로메딕 filed Critical 주식회사 인트로메딕
Priority to EP17884528.5A priority Critical patent/EP3560413A4/en
Priority to CN201780070675.5A priority patent/CN109952054A/zh
Priority to US16/343,396 priority patent/US20190246887A1/en
Publication of WO2018117427A1 publication Critical patent/WO2018117427A1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0031Implanted circuitry

Definitions

  • the present invention relates to a capsule endoscope device, and more particularly, to a receiver for performing image processing by receiving an image photographed and a captured image of a capsule endoscope.
  • a method of inserting an endoscope attached to a cable through an examinee's mouth or anus is used. According to this method, since the endoscope can be directly controlled through a cable made of wire or optical fiber, it is easy to secure data inside the human body, but it causes great pain for the subject.
  • organs such as the small intestine are not only far from the examinee's mouth or anus, but also have a problem in that the body cavity diameter of the organ is small and difficult to be examined by the endoscope method described above.
  • a capsule endoscope has been used.
  • the capsule endoscope acquires the necessary data with a camera in the human body, and transmits the acquired data to a receiver outside the human body for output.
  • the capsule endoscope since the capsule endoscope only provides a two-dimensional image through one image sensor, it is difficult to determine what a three-dimensional shape of an organ in an actual human body is. In addition, there is a problem that it is difficult to determine the exact size of a particular condition in the image because it is difficult to determine the three-dimensional shape.
  • An object of one embodiment of the present invention for solving the above-mentioned problems is to provide a capsule endoscope device and a method of operating the device to support the generation of a three-dimensional image.
  • Another object of the present invention is to provide a receiver and a method of operating the receiver for measuring an actual size of an object and improving image quality based on an image captured by a capsule endoscope.
  • a capsule endoscope device for reproducing a 3D image for achieving the above object includes a first photographing unit which generates a first image by capturing a target part in a human body and a second image by capturing the target part. Simultaneously providing a trigger signal for synchronization to the second photographing unit, the first photographing unit and the second photographing unit to generate a first image and a second image simultaneously photographed by the trigger signal. It may include a control unit for receiving and generating a stereo image frame and a transmission unit for transmitting the stereo image frame to a receiver.
  • the controller may generate the simultaneously photographed first and second images as one stereo image frame.
  • the first photographing unit and the second photographing unit may be pre-calibrated with a camera.
  • the first image may be a left image of the target portion, and the second image may be a right image of the target portion.
  • a method of operating a capsule endoscope for reproducing a 3D image simultaneously providing a trigger signal for synchronizing with a first photographing unit and a second photographing unit.
  • Generating a first image and a second image by simultaneously photographing a target portion of the human body simultaneously based on the trigger signal, and generating a stereo image frame based on the simultaneously captured first image and the second image; And transmitting the stereo image frame to a receiver.
  • a receiver for reproducing a 3D image in conjunction with a capsule endoscope according to an aspect of the present invention for achieving the above object is a first camera generated by capturing a target portion in a human body simultaneously from a first camera and a second camera of the capsule endoscope.
  • Receiving unit for receiving a stereo image frame generated based on the image and the second image from the capsule endoscope Stereo image processing unit for generating a depth map by processing the stereo image frame and the first image, the second image and the depth It may include a user interface (GUI) for playing 3D images based on the map.
  • GUI user interface
  • the stereo image processing unit performs a calibration based on the first image and the second image, and performs a stereo rectification on the basis of information obtained through calibration.
  • a stereo adjuster for generating a first image and a second image, a stereo matcher for generating a disparity map by matching identical points in the row-aligned first image and a second image, and the disparity map It may include a re-projection unit to convert the distance to generate a depth map (depth map).
  • the stereo image processing unit may further include an image quality improving unit generating an image quality of the first image and the second image by using a deblurring filter generated based on the depth map.
  • the image quality improvement image generation unit may improve the image quality of the image by selecting an image having a better image quality from among the first image and the second image or selecting a pixel having a better image quality in units of pixels.
  • the image quality improvement image generator may improve the image quality of the first image and the second image by using a super-resolution technique.
  • the user interface may reproduce the 3D image using the depth map based on the image having the improved image quality.
  • the user interface may provide a function of measuring a size of a specific object selected by a user input based on a parameter obtained through camera calibration in the image having improved quality.
  • the user interface may display a 2D image and a 3D image together.
  • the user interface may include a three-dimensional manipulation interface for manipulating the 3D image in three dimensions.
  • a method for reproducing a 3D image of a receiver in conjunction with a capsule endoscope according to an aspect of the present invention for achieving the above object is generated by simultaneously photographing a target portion of a human body in a first camera and a second camera of the capsule endoscope.
  • the method may include playing back the 3D image based on the map.
  • Capsule endoscope system for 3D image reproduction for achieving the above object is to simultaneously capture the target region in the human body through the first image and the second image based on the trigger signal to the first image and
  • a capsule endoscope device for generating a second image, generating a stereo image frame based on the first image and the second image, and transmitting the stereo image frame to a receiver; and receiving the stereo image frame from the capsule endoscope device, and receiving the received stereo image frame.
  • the apparatus may include a receiver configured to generate a depth map by image processing and to reproduce a 3D image based on the first image, the second image, and the depth map.
  • a capsule endoscope system for reproducing a 3D image includes simultaneously capturing a target part in a human body through a first image capturing unit and a second image capturing unit based on a trigger signal.
  • an image processing apparatus for generating a depth map by receiving and processing the stereo image frame and reproducing a 3D image based on the first image, the second image, and the depth map.
  • a capsule endoscope apparatus for reproducing a 3D image of the present invention and a receiver for reproducing a 3D image in conjunction with a capsule endoscope
  • a 3D (3D) image in which an accurate three-dimensional shape of a target part in a human body is provided is provided. This increases the accuracy of measuring the actual size of the object and significantly improves the image quality of the original image.
  • FIG. 1 is a view showing a capsule endoscope system according to an embodiment of the present invention
  • FIG. 2 is a flow chart schematically illustrating the operation of the capsule endoscope device and the receiver
  • Figure 3 is a block diagram schematically showing the configuration of a capsule endoscope device according to an embodiment of the present invention
  • FIG. 4 is a conceptual diagram illustrating a configuration of a stereo image frame
  • FIG. 5 is a block diagram schematically illustrating a receiver for reproducing a 3D image in association with a capsule endoscope according to an embodiment of the present invention
  • FIG. 6 is a detailed block diagram illustrating a stereo image processor of the receiver of FIG. 5 in detail.
  • FIG. 7 illustrates a graphical user interface (GUI) for simultaneously displaying 2D and 3D images according to an embodiment of the present invention
  • FIG. 8 is a diagram illustrating a user interface for measuring an actual size of an object according to another embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • the capsule endoscope system may include a capsule endoscope device 120, receiving electrodes 130a and 130b, and a receiver 150.
  • the capsule endoscope 120 passes through an organ 110, for example, a small intestine or a large intestine, in an examinee's human body 100, information about the corresponding organ is obtained.
  • the information obtainable by the capsule endoscope 120 includes predetermined image information, sound information, and / or analysis information of a medium in the human body.
  • the capsule endoscope 120 may have two or more cameras to generate the left image and the right image by capturing the organ 110 of the inside of the human body 110.
  • the left image and the right image may be images captured simultaneously in time.
  • the obtained information is converted into an electrical signal in the capsule endoscope 120, and detected by the receiving electrodes 130a and 130b attached to the human body of the examinee.
  • the receiving electrodes 130a and 130b transmit the received electrical signals to the receiver 150 through the conductive lines 140a and 140b.
  • the obtained information may be converted into an electrical signal in the capsule endoscope 120 and transferred directly to the receiver 150 using radio frequency (RF) or human body communication (HBC).
  • RF radio frequency
  • HBC human body communication
  • the method using the radio frequency transmits the converted electrical signal to the receiver 150 using a frequency range harmless to the human body.
  • RF radio frequency
  • HBC human body communication
  • an electrode provided on the outer surface of the capsule endoscope 120 contacts the human body according to the interlocking motion of the organ 110 of the human body 100 a current is generated, and the conversion is performed using the current.
  • the electrical signal is transmitted to the receiver 150.
  • the receiver 150 receiving the left and right image signals from the capsule endoscope 120 may generate 3D images through stereo image processing and reproduce them through a user interface (GUI). Alternatively, the receiver 150 may generate a depth map for generating a 3D image and perform an image quality improvement process.
  • GUI user interface
  • the receiver 150 simply receives a left image and a right image, and receives the received image from another PC connected to another image processing apparatus 160 (eg, another PC connected by wire or wirelessly, And a device such as a notebook computer or a smart phone) to process the processes after the stereo image processing in the separate image processing apparatus 160 to reproduce the 3D image.
  • another image processing apparatus 160 eg, another PC connected by wire or wirelessly, And a device such as a notebook computer or a smart phone
  • FIG. 2 is a flowchart schematically illustrating the operation of the capsule endoscope device and the receiver.
  • the control unit of the capsule endoscope device 200 provides a trigger signal so that two or more imaging units may simultaneously photograph a specific human body part (S210). In this case, it is preferable that the trigger signal simultaneously reaches two or more imaging units within an error within 10 ms.
  • Two or more photographing units receiving the trigger signal simultaneously photograph the specific human body to generate a first image and a second image (S220).
  • the first image may be a left image (L) of the specific human body part
  • the second image may be a right image (R).
  • a third image may be generated, which may be an intermediate image.
  • the controller of the capsule endoscope device 200 receives data related to the generated first image and the second image, inserts a synchronization signal, and generates one stereo image frame (S230).
  • the first and second images captured at the same time are generated as one frame together with the time-related information.
  • the generated stereo image frame is transmitted to the receiver 205 (S240).
  • the receiver 205 receives a stereo image frame transmitted from the capsule endoscope apparatus 200 (S250), and extracts first and second image data from the frame.
  • the receiver 205 performs calibration on the first and second images, and performs a depth map through stereo rectification, stereo matching, and reprojection. map) (S260).
  • two images may be obtained by using a deblurring filter and a super-resolution technique generated based on a depth map of the left and right images (S270). .
  • the 3D image may be generated based on the image quality and the depth map, and reproduced through the user interface.
  • the size of a specific object eg, a tumor in an organ
  • the image may be clearly calculated.
  • FIG. 3 is a block diagram schematically showing the configuration of a capsule endoscope device according to an embodiment of the present invention.
  • the capsule endoscope device 300 may include a photographing unit 310, a controller 320, and a transmitter 330.
  • the capsule endoscope 300 may have a smooth cylindrical structure so as to proceed without damaging the inside of the body, and one end and / or the other end of the capsule endoscope 300 may be configured in a dome shape. .
  • the photographing unit 310 is a component that acquires image data by photographing internal organs of the human body.
  • the photographing unit 310 includes a first photographing unit 312 and a second photographing unit 314.
  • two or more imaging units eg, three imaging units
  • It may be formed at one end of the capsule endoscope 300, or may be formed at both ends.
  • the photographing unit 310 may include an illumination unit (not shown). When the illumination unit illuminates the inside of the human body, the first and second photographing units 312 and 314 capture an image of the illumination point.
  • the lighting unit includes one or more light emitting elements such as LEDs. The lighting unit may be disposed around the first and second photographing units 312 and 314 to illuminate a spot to be photographed by the first and second photographing units 312 and 314.
  • the lighting unit emits light of a specific wavelength depending on what is being examined by the subject, for example, whether the cancer is to be examined, which cancer to be examined if the cancer is to be examined, which region to be examined, or simply to examine the condition of the tissue.
  • An element can also be used.
  • a light emitting device having a wavelength suitable for the imaging device may be used depending on which device is used as the imaging device.
  • the first and second photographing units 312 and 314 include imaging devices such as a complementary metal-oxide semiconductor (CMOS) image sensor and a charge-coupled device (CCD) image sensor.
  • CMOS complementary metal-oxide semiconductor
  • CCD charge-coupled device
  • An image obtained by the imaging device may be converted into electrical data or an electrical signal.
  • first and second photographing units 312 and 314 are components for generating a 3D image
  • camera calibration is preferably performed in advance.
  • a mechanism used in the camera such as a lens used in the first and second photographing units 312 and 314, a distance between the lens and the image sensor, and an angle between the lens and the image sensor so that photographing is performed in association with calibration at the receiver.
  • This part may be calibrated as previously defined by the user.
  • the information related to the calibration may be shared with the receiver.
  • the first and second photographing units 312 and 314 photograph the same target part in the human body in response to a trigger signal provided from the controller 320.
  • angles at which the first and second photographing units 312 and 314 view the target portion may be different from each other, and thus, a left image and a right image of one target portion may be obtained.
  • the first and second capturing units 312 and 314 may simultaneously photograph the target part at the same time and acquire the left image and the right image of the same part at the same time. Synchronization of the left image and the right image is a very important issue in order to compose a 3D image. Therefore, the left image and the right image photographed at the same time are preferably treated as one package.
  • the controller 320 is an element that controls the first and second photographing units 312 and 314 and performs image processing on the left image and the right image photographed by the first and second photographing units 312 and 314. .
  • the controller 320 provides trigger signals to the first and second photographing units 312 and 314 at the same time to synchronize the left image and the right image. As described above, the trigger signal preferably reaches the first and second photographing units 312 and 314 with an error within 10 ms.
  • the controller 320 simultaneously provides a trigger signal to the first and second photographing units 312 and 314 with reference to the clock frequency.
  • the controller 320 receives a left image and a right image simultaneously captured by a trigger signal, and encodes the same. Then, the encoded left image and the right image are bundled and generated as one frame packet. Generation of the frame packet will be described in more detail with reference to FIG. 4.
  • the transmitter 330 transmits the image frame generated by the controller 320 to an external device, for example, the receiver 150 of FIG. 1.
  • the transmitter 330 may transmit image data to an external device through RF communication or human body communication, and may include information other than compressed image data (for example, acoustic information, tissue information, PH information, temperature information, Electrical impedance information, etc.) can also be transmitted.
  • FIG. 4 is a conceptual diagram illustrating the configuration of a stereo image frame.
  • the stereo image frame may include a header 410 and a payload 420.
  • the payload 420 may include an encoded first image 422 and a second image 424.
  • the first image 422 may be a left image of a specific target portion
  • the second image 424 may be a right image. Since the two images 422 and 424 are images captured at the same time, the two images 422 and 424 are preferably transmitted by being bundled into the payload 420 of one frame.
  • the header 410 may include synchronization information of two images 422 and 424.
  • the synchronization information may include metadata information related to photographing times of the two images 422 and 424.
  • the information included in the header 410 may include information such as a size of a stereo image frame, an image acquisition time, an encoding related factor, and a frame number of the corresponding image frame.
  • the payload 420 may include image data of one package or may include image frames of a plurality of packages. However, the payload 420 preferably includes image data in units of packages photographed at the same time.
  • the frame header 410 includes metadata information of image frames of N packages (where N is a natural number of two or more). In this case, a plurality of metadata information about each package may be included.
  • the metadata information includes synchronization information for each package, and the information included in the other parts is similar to the above embodiment.
  • data of the first image 422 and the second image 424 of N packages may be continuously stored in the payload 420.
  • FIG. 5 is a block diagram schematically illustrating a receiver for reproducing a 3D image in association with a capsule endoscope according to an embodiment of the present invention.
  • the receiver 500 may include a receiver 510, a stereo image processor 520, and a user interface 530.
  • the receiver 510 receives a stereo image frame transmitted from a capsule endoscope.
  • the data in the received frame is encoded data including left and right image packages photographed for the same subject, and other information (eg, acoustic information, tissue information, PH information, temperature information, electrical impedance). Information, etc.).
  • the receiver 510 may be configured in the form of an electrode or a pad attached to the body of the capsule endoscope examinee.
  • the stereo image processor 520 extracts and decodes the image data package and the synchronization information included in the stereo image frame received by the receiver 510, and processes the stereo image to generate a depth map. In addition, image quality improvement may be performed.
  • the stereo image processor 520 may generate a depth map by performing calibration, stereo adjustment, stereo matching, and reprojection. In addition, by applying a deblurring filter and a super-resolution technique generated based on a depth map to a left / right original image, an image having improved image quality can be more clearly generated. Stereo image processing will be described in more detail with reference to FIG.
  • the user interface 530 may play a 3D image based on a left / right original image and a depth map. However, more preferably, it is preferable to play back the 3D image based on the image with improved image quality and the depth map.
  • a user input may be received to calculate and display an actual size of an object indicated by the user based on camera calibration information.
  • the receiver 510 may be included as a component of the receiver 500, and the stereo image processor 520 and the user interface 530 may be implemented as separate image processing apparatuses.
  • the receiver 500 may include a receiver 510 and a stereo image processor 520, and the user interface 530 may be implemented as a separate image processing apparatus.
  • FIG. 6 is a detailed block diagram illustrating a stereo image processor of the receiver of FIG. 5 in detail.
  • the stereo image processor 600 according to an embodiment of the present invention includes a calibration performer 610, a stereo adjuster 620, a stereo matcher 630, a reprojection unit 640, and the like.
  • the image quality improvement image generator 650 may be included.
  • the received stereo image frame is parsed to extract a first image (left image) and a second image (right image) package.
  • the synchronization information is parsed to determine at what time the image is, and the left image and the right image are image processed into a package.
  • a procedure related to 3D vision is performed.
  • the calibration performer 610 calculates a transformation relationship between the 3D spatial coordinates and the 2D image coordinates or a parameter describing the transformation relationship with respect to the left image and the right image.
  • the calibration performer 610 calculates an internal parameter and an external parameter based on the M pieces of chess board images (M is a natural number) photographed by two cameras of the capsule endoscope.
  • the focal length means the distance between the lens center and the image sensor, which may be calculated in units of pixels.
  • the principal point refers to the image coordinates of the center of the camera lens, that is, the foot of the waterline that falls on the image sensor at the pin hole, and may also be calculated in units of pixels.
  • Asymmetry coefficient refers to the degree of tilt of the cell array and the y-axis of the image sensor.
  • the external parameter is a parameter describing a transformation relationship between a camera coordinate system and a world coordinate system, and may be expressed as a rotation and translation transformation between two coordinate systems.
  • the calibration performer 610 may include information about a distortion parameter for each camera, an essential matrix indicating a positional relationship between the calibrated cameras, and a correspondence point between the left and right images. It can calculate a fundamental matrix that represents.
  • the stereo adjuster 620 generates a row-aligned image with the information (eg, internal parameters, external parameters, etc.) acquired by the calibration performer 610.
  • the stereo adjuster 620 corrects the left image and the right image with calibration information as if they were taken by a single row-aligned camera.
  • the stereo matching unit 630 finds and matches the same point in the left image and the right image. Stereo matching can only be calculated for scenes overlapping two images.
  • the stereo matching unit 630 performs preprocessing to normalize the brightness of the image and to improve the texture. Then, the SAD (Sum of Absolute Difference) window is moved along a horizontal epipolar line to find the matching point and remove the wrong matching point. Post-processing is performed to match.
  • the stereo matching unit 630 may generate a disparity map (which may be referred to as a parallax map) through matching points.
  • a matched image may be generated by using corresponding point information of the left image and the right image and baseline separation information between the two cameras. At this time, it is possible to mathematically remove the radial distortion and the tangential distortion of the lens.
  • the reprojection unit 640 generates a depth map by converting the disparity map into a distance using a trigonometry. After creating the depth map, the depth of each point in the original image (whether it is sticking forward or backward) can be clearly identified, so the depth map can be used to determine the three-dimensional shape or the exact size of the shape. I can figure it out.
  • the image quality improvement unit 650 selects an image having a good image quality from a left image and a right image. In this case, one image may be selected, or the image quality of both original images may be improved by using a method of selecting a better image quality on a pixel basis in a state where the symmetry point is known. Then, the image quality of one or two images is improved through the deblurring filter using the depth map generated by the reprojection unit 640. That is, according to an embodiment of the present invention, a deblurring filter is generated through a depth map and used to improve image quality. Then, the super resolution technique is performed to complete the image quality improvement.
  • the stereo image processor 600 receives left image and right image data as inputs, and outputs a depth map and a quality improvement image to a user interface.
  • the stereo image processing unit 600 When the stereo image processing unit 600 is requested to calculate the size of an object in the image through a user interface (for example, implemented as a keyboard, a mouse, a touch screen, a display unit, etc.), the stereo image processing unit 600 acquires the pixel data of the corresponding object through camera calibration.
  • the actual size can be calculated by combining left and right camera calibration information and provided to the user interface.
  • FIG. 7 illustrates a graphical user interface (GUI) for simultaneously displaying 2D and 3D images according to an embodiment of the present invention.
  • GUI graphical user interface
  • the 2D image 710 and the 3D image 720 may be displayed at the same time. It may be displayed in one window window or may be displayed through different windows. In addition, the 2D image 710 and the 3D image 720 may be synchronized to reproduce an image of the same view. On the contrary, images of different viewpoints may be output on one screen.
  • the 2D image 710 may be an image having improved image quality.
  • the user interface provides various modes and may change the mode through the mode change button 730.
  • the mode may include a mode for providing a 2D left image and a right image together, a mode for providing only one 2D image, a mode for providing only one 3D image, and modes for providing both 2D and 3D images.
  • the user can change the display mode of the image through a simple operation. For example, when a 3D image is requested while reproducing a 2D image, it may be set to simultaneously display 2D and 3D on the same screen.
  • a 3D manipulation GUI for freely manipulating the 3D image in three dimensions may be provided.
  • FIG. 8 is a diagram illustrating a user interface for measuring an actual size of an object according to another embodiment of the present invention.
  • a single camera uses a method of identifying an object in an image in units of pixels and converting an actual measurement size corresponding to the pixel based on the fact that a specific pixel in the image corresponds to a measurement size of a few mm.
  • the method is not accurate because it does not consider the three-dimensional part.
  • a pixel may be converted into a specific length unit (for example, mm unit) with an internal parameter obtained by camera calibration.
  • the image quality improvement image if there is a part that the user wants to check the actual size, such as a tumor, clearly specify the part to be checked by clicking in the image, such as the point 810 to the point 820. , Identifies the actual pixel corresponding to the specified part. Then, the distance between the pixels and the internal parameters obtained from the camera calibration may be input into an equation related to 3D vision and converted into the exact actual size. The converted size value may be displayed together with the 3D image on the screen. The function of converting the actual size can be applied to detect a serious condition in the human body.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

본 발명의 일 양태는 3D 영상 재생을 위한 캡슐 내시경 장치를 개시하고 있다. 상기 장치는 인체 내의 대상 부위를 촬영하여 제 1 영상을 생성하는 제 1 촬영부, 상기 대상 부위를 촬영하여 제 2 영상을 생성하는 제 2 촬영부, 상기 제 1 촬영부 및 상기 제 2 촬영부에 동기화를 위한 트리거 신호(trigger signal)를 동시에 제공하고, 상기 트리거 신호에 의해 동시에 촬영된 제 1 영상 및 제 2 영상을 수신하여 스테레오 영상 프레임을 생성하는 제어부 및 상기 스테레오 영상 프레임을 수신기로 전송하는 전송부를 포함한다.

Description

3D 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3D 영상을 재생하는 방법, 및 캡슐 내시경 시스템
본 발명은 캡슐 내시경 장치에 관한 것으로, 보다 상세하게는, 캡슐 내시경의 영상 촬영 및 촬영된 영상을 수신하여 영상 처리를 수행하는 수신기(receiver)에 관한 것이다.
인체 내부의 정보, 특히 의학적 정보를 획득하기 위해 피검사자의 입 또는 항문을 통해 케이블에 부착된 내시경을 삽입하는 방법이 이용되고 있다. 이 방법에 의하며, 도선 또는 광섬유로 이루어진 케이블을 통해 내시경을 직접 제어할 수 있으므로, 인체 내부의 데이터를 확보하기 용이하지만 피검사자에게는 큰 고통이 따른다. 또한, 소장과 같은 장기는 피검사자의 입 또는 항문으로부터 멀리 떨어져 있을뿐더러, 장기의 체강 직경이 작아서 상술한 내시경 방법으로 검사하기 곤란하다는 문제가 있다.
이를 고려하여, 캡슐형 내시경이 이용되고 있다. 피검사자가 캡슐형 내시경을 구강을 통해 삼키면, 캡슐형 내시경은 인체 내에서 카메라 등으로 필요한 데이터를 획득하고, 획득한 데이터를 인체 외부의 수신기(receiver)로 전송하여 출력할 수 있도록 한다.
하지만, 캡슐 내시경은 하나의 이미지 센서를 통해 2차원 영상만을 제공하기 때문에, 실제 인체 내 장기의 입체적인 형상이 어떠한지 판단하기 어렵다는 문제점이 있다. 또한, 입체적인 형상을 파악하기 어렵기 때문에 영상 내의 특정 병증에 대한 정확한 크기 파악도 어렵다는 문제점이 존재한다.
상술한 문제점을 해결하기 위한 본 발명의 일 양태에 따른 목적은 3차원 영상을 생성할 수 있도록 지원하는 캡슐 내시경 장치 및 상기 장치의 동작 방법을 제공하는 것이다.
또한, 본 발명의 다른 양태에 따른 목적은 캡슐 내시경에서 촬상한 영상을 기반으로 물체의 실제 크기를 측정하고 영상 화질을 개선하는 수신기 및 수신기의 동작방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 3D 영상 재생을 위한 캡슐 내시경 장치는 인체 내의 대상 부위를 촬영하여 제 1 영상을 생성하는 제 1 촬영부, 상기 대상 부위를 촬영하여 제 2 영상을 생성하는 제 2 촬영부, 상기 제 1 촬영부 및 상기 제 2 촬영부에 동기화를 위한 트리거 신호(trigger signal)를 동시에 제공하고, 상기 트리거 신호에 의해 동시에 촬영된 제 1 영상 및 제 2 영상을 수신하여 스테레오 영상 프레임을 생성하는 제어부 및 상기 스테레오 영상 프레임을 수신기로 전송하는 전송부를 포함할 수 있다.
상기 제어부는 상기 동시에 촬영된 제 1 및 제 2 영상을 하나의 스테레오 영상 프레임으로 생성할 수 있다.
상기 제 1 촬영부와 상기 제 2 촬영부는 카메라 캘리브레이션(calibration)이 미리 수행되어 있을 수 있다.
상기 제 1 영상은 상기 대상 부위에 대한 좌영상이고, 상기 제 2 영상은 상기 대상 부위에 대한 우영상일 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 3D 영상 재생을 위한 캡슐 내시경의 동작 방법은 제 1 촬영부 및 제 2 촬영부에 동기화를 위한 트리거 신호를 동시에 제공하는 단계, 상기 제 1 및 제 2 촬영부가 상기 트리거 신호를 기반으로 동시에 인체 내의 대상 부위를 각각 촬영하여 제 1 영상 및 제 2 영상을 생성하는 단계, 동시에 촬영된 제 1 영상 및 제 2 영상을 기반으로 스테레오 영상 프레임을 생성하는 단계 및 상기 스테레오 영상 프레임을 수신기로 전송하는 단계를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기는 상기 캡슐 내시경의 제 1 카메라와 제 2 카메라에서 인체 내의 대상부위를 동시에 촬영하여 생성한 제 1 영상과 제 2 영상을 기반으로 생성된 스테레오 영상 프레임을 캡슐 내시경으로부터 수신하는 수신부, 상기 스테레오 영상 프레임을 영상 처리하여 깊이 맵을 생성하는 스테레오 영상 처리부 및 상기 제 1 영상, 상기 제 2 영상과 상기 깊이 맵을 기반으로 3D 영상을 재생하는 사용자 인터페이스(GUI: Graphical User Interface)를 포함할 수 있다.
상기 스테레오 영상 처리부는 상기 제 1 영상 및 상기 제 2 영상을 기반을 캘리브레이션(calibration)을 수행하는 캘리브레이션 수행부, 캘리브레이션을 통해 획득한 정보를 기반으로 스테레오 조정(stereo rectification)을 수행하여 행-정렬된 제 1 영상 및 제 2 영상을 생성하는 스테레오 조정부, 상기 행-정렬된 제 1 영상과 제 2 영상에서 동일한 점을 매칭하여 디스패리티 맵(disparity map)을 생성하는 스테레오 매칭부 및 상기 디스패리티 맵을 거리로 환산하여 깊이 맵(depth map)을 생성하는 재투영부를 포함할 수 있다.
상기 스테레오 영상 처리부는 상기 깊이 맵을 기반으로 생성된 디블러링(Deblurring) 필터를 이용하여 상기 제 1 영상 및 상기 제 2 영상의 화질을 개선하는 화질개선 영상 생성부를 더 포함할 수 있다.
상기 화질개선 영상 생성부는 상기 제 1 영상 및 상기 제 2 영상 중 화질이 보다 좋은 영상을 선택하거나 또는 픽셀 단위로 더 좋은 화질의 픽셀을 선택하여 영상의 화질을 개선할 수 있다.
상기 화질개선 영상 생성부는 초해상도(Super-Resolution) 기법을 이용하여 상기 제 1 영상 및 상기 제 2 영상의 화질을 개선할 수 있다.
상기 사용자 인터페이스는 화질 개선된 영상을 기반으로 상기 깊이 맵을 이용하여 3D 영상으로 재생할 수 있다.
상기 사용자 인터페이스는 상기 화질 개선된 영상에서 사용자 입력에 의해 선택된 특정 객체의 크기를 카메라 캘리브레이션을 통해 획득된 파라미터를 기반으로 측정하는 기능을 제공할 수 있다.
상기 사용자 인터페이스는 2D 영상과 3D 영상을 함께 디스플레이할 수 있다.
상기 사용자 인터페이스는 상기 3D 영상을 3차원에서 조작하는 3차원 조작 인터페이스를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 캡슐 내시경과 연동하여 수신기의 3D 영상을 재생하는 방법은 상기 캡슐 내시경의 제 1 카메라와 제 2 카메라에서 인체 내의 대상부위를 동시에 촬영하여 생성한 제 1 영상과 제 2 영상을 기반으로 생성된 스테레오 영상 프레임을 캡슐 내시경으로부터 수신하는 단계, 상기 스테레오 영상 프레임을 영상 처리하여 깊이 맵을 생성하는 단계 및 상기 제 1 영상, 상기 제 2 영상과 상기 깊이 맵을 기반으로 3D 영상을 재생하는 단계를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 3D 영상 재생을 위한 캡슐 내시경 시스템은 트리거 신호를 기반으로 제 1 촬영부와 제 2 촬영부를 통해 인체 내의 대상부위를 동시에 촬영하여 제 1 영상 및 제 2 영상을 생성하고, 상기 제 1 영상 및 제 2 영상을 기반으로 스테레오 영상 프레임을 생성하여 수신기로 전송하는 캡슐 내시경 장치 및 상기 스테레오 영상 프레임을 캡슐 내시경 장치로부터 수신하고 상기 수신된 스테레오 영상 프레임을 영상 처리하여 깊이 맵을 생성하며, 상기 제 1 영상, 상기 제 2 영상과 상기 깊이 맵을 기반으로 기반으로 3D 영상을 재생하는 수신기를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른 3D 영상 재생을 위한 캡슐 내시경 시스템은 트리거 신호를 기반으로 제 1 촬영부와 제 2 촬영부를 통해 인체 내의 대상부위를 동시에 촬영하여 제 1 영상 및 제 2 영상을 생성하고, 상기 제 1 영상 및 제 2 영상을 기반으로 스테레오 영상 프레임을 생성하여 수신기로 전송하는 캡슐 내시경 장치, 상기 스테레오 영상 프레임을 캡슐 내시경 장치로부터 수신하여 영상 처리 장치로 제공하는 수신기 및 상기 스테레오 영상 프레임을 수신하여 영상 처리함으로써 깊이 맵을 생성하고, 상기 제 1 영상, 상기 제 2 영상 및 상기 깊이 맵을 기반으로 3D 영상을 재생하는 영상 처리 장치를 포함할 수 있다.
본 발명의 3D 영상을 재생을 위한 캡슐 내시경 장치 및 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기에 따르면, 인체 내의 대상부위에 대한 정확한 입체적인 모양을 형상화한 3차원(3D) 영상을 제공하여 영상 내 객체의 실제 크기 측정의 정확도를 높이고 원본 영상의 화질을 현저하게 개선시키는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 캡슐 내시경 시스템을 나타낸 도면,
도 2는 캡슐 내시경 장치와 수신기의 동작을 개략적으로 설명한 흐름도,
도 3은 본 발명의 일 실시예에 따른 캡슐 내시경 장치의 구성을 개략적으로 나타낸 블록도,
도 4는 스테레오 영상 프레임의 구성을 설명하기 위한 개념도,
도 5는 본 발명의 일 실시예에 따른 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기를 개략적으로 나타낸 블록도,
도 6은 도 5의 수신기의 스테레오 영상 처리부를 구체적으로 나타낸 상세블록도,
도 7은 본 발명의 일 실시예에 따라 2D 영상과 3D 영상을 동시에 디스플레이하는 사용자 인터페이스(GUI: Graphical User Interface)를 나타낸 도면,
도 8은 본 발명의 다른 실시예에 따라 물체의 실제 크기 측정을 위한 사용자 인터페이스를 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
캡슐 내시경 시스템
도 1은 본 발명의 일 실시예에 따른 캡슐 내시경 시스템을 나타낸 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 캡슐 내시경 시스템은 캡슐 내시경 장치(120), 수신전극(130a, 130b) 및 수신기(150)를 포함할 수 있다.
도 1을 참조하면, 피검사자의 인체 내부(100)의 장기(110), 예컨대 소장 또는 대장 등을 캡슐형 내시경(120)이 지나가면서 해당 장기의 정보를 획득한다. 캡슐형 내시경(120)이 획득할 수 있는 정보는 소정의 영상 정보, 음향 정보 및/또는 인체 내 매질의 분석 정보 등을 포함한다. 이때, 캡슐 내시경(120)은 두 개 이상의 카메라를 가지고 인체 내부(110)의 장기(110)를 촬영하여 좌영상과 우영상을 생성할 수 있다. 좌영상과 우영상은 시간적으로 동시에 촬영된 영상일 수 있다.
획득한 정보는 캡슐 내시경(120)에서 전기적 신호로 변환되고, 피검사자의 인체에 부착된 수신 전극(130a, 130b)에서 감지된다. 수신 전극(130a, 130b)은 수신한 전기적 신호를 도선(140a, 140b)을 통해서 수신기(150)에 전달한다.
또는, 획득한 정보는 캡슐형 내시경(120)에서 전기적 신호로 변환되어 무선 주파수(Radio Frequency; RF) 또는 인체 통신(Human Body Communication; HBC) 등을 이용하여 직접 수신기(150)에 전달될 수도 있다. 무선 주파수를 이용하는 방법은 인체에 무해한 주파수 영역을 이용하여 상기 변환된 전기적 신호를 수신기(150)로 전달한다. 인체 통신을 이용하는 방법은 인체 내부(100)의 장기(110)의 연동 운동에 따라 캡슐형 내시경(120)의 외면에 구비된 전극이 인체와 접촉하면 전류가 발생하고, 이러한 전류를 이용하여 상기 변환된 전기적 신호를 수신기(150)로 전달한다.
캡슐 내시경(120)으로부터 좌영상 및 우영상 신호를 수신하는 수신기(150)는 스테레오 영상 처리를 통해 3D 영상을 생성하여 사용자 인터페이스(GUI)를 통해 재생할 수 있다. 또는 수신기(150)에서는 3D 영상 생성을 위한 깊이 맵을 생성하고, 영상화질 개선 과정을 수행할 수 있다.
본 발명의 실시예에 따르면, 수신기(150)는 단순히 좌영상과 우영상을 수신하고, 수신된 영상을 다른 영상 처리 장치(160)(예컨대, 수신기(150)와 유선 또는 무선으로 연결된 다른 PC, 노트북, 스마트 폰 등의 장치)로 전송하여 별도의 영상 처리 장치(160)에서 스테레오 영상 처리 이후의 과정들을 처리하도록 함으로써 3D 영상으로 재생할 수 있다.
도 2는 캡슐 내시경 장치와 수신기의 동작을 개략적으로 설명한 흐름도이다.
도 2를 참조하면, 캡슐 내시경 장치(200)의 제어부는 둘 이상의 촬영부가 동시에 특정 인체부위를 촬영할 수 있도록 트리거(trigger) 신호를 제공한다(S210). 이때, 트리거 신호는 10ms 이내의 오차 내에서 둘 이상의 촬영부에 동시에 도달하도록 하는 것이 바람직하다.
트리거 신호를 수신한 둘 이상의 촬영부는 상기 특정 인체부위를 동시에 촬영하여 제 1 영상 및 제 2 영상을 생성한다(S220). 이때, 제 1 영상은 상기 특정 인체부위의 좌영상(L)이고, 제 2 영상은 우영상(R)일 수 있다. 만약, 추가적인 촬영부가 있다면 제 3 영상을 생성할 수 있고, 이는 중간 영상일 수 있다.
캡슐 내시경 장치(200)의 제어부는 생성된 제 1 영상 및 제 2 영상과 관련된 데이터를 수신하여 동기신호를 삽입하여 하나의 스테리오 영상 프레임을 생성한다(S230). 즉, 동시에 촬영된 제 1 및 제 2 영상이 시간 관련 정보와 함께 하나의 프레임으로 생성되도록 한다.
그리고는, 생성된 스테레오 영상 프레임은 수신기(205)로 전송된다(S240).
수신기(205)는 캡슐 내시경 장치(200)로부터 전송되는 스테레오 영상 프레임을 수신하여(S250), 해당 프레임에서 제 1 영상 및 제 2 영상 데이터를 추출한다.
그리고는, 수신기(205)는 제 1 및 제 2 영상에 대해 캘리브레이션(calibaration)을 수행하고, 스테레오 조정(stereo rectification), 스테레오 매칭(stereo matching) 및 재투영(reprojection) 과정을 거쳐 깊이 맵(depth map)을 생성한다(S260). 이때, 좌/우 원 영상에 대해 깊이 맵을 기반으로 생성한 디블러링(deblurring) 필터 및 초해상도(Super-Resolution) 기법을 사용하여 두 장의 화질이 개선된 영상을 획득할 수 있다(S270).
그리고는, 화질 개선된 영상 및 깊이 맵을 기반으로 3D 영상을 생성하여 사용자 인터페이스를 통해 재생할 수 있다(S280). 이때, 영상 내의 특정 객체(예컨대, 장기 내의 종양)에 대한 크기를 명확히 계산할 수 있다.
캡슐 내시경 장치
도 3은 본 발명의 일 실시예에 따른 캡슐 내시경 장치의 구성을 개략적으로 나타낸 블록도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 캡슐 내시경 장치(300)는 촬영부(310), 제어부(320) 및 전송부(330)를 포함할 수 있다.
도 3을 참조하면, 캡슐 내시경(300)은 신체 내부에 손상을 가하지 않고 진행할 수 있도록 매끄러운 원통형 구조를 가질 수 있으며, 캡슐형 내시경(300)의 일단 및/또는 타단은 돔 형태로 구성될 수 있다.
상기 촬영부(310)는 인체 내부 장기를 촬영하여 영상 데이터를 획득하는 구성요소이다. 본 발명의 실시예에 따르면, 촬영부(310)는 제 1 촬영부(312) 및 제 2 촬영부(314)를 포함한다. 경우에 따라 두 개 이상의 촬영부(예컨대, 3개의 촬영부)가 포함될 수 있다. 이는 캡슐 내시경(300)의 일단에 형성될 수도 있고, 양단에 모두 형성될 수도 있다.
촬영부(310)는 조명부(미도시)를 포함할 수 있다. 조명부가 인체 내부를 조명하면 제 1 및 제 2 촬영부(312, 314)가 조명 지점의 영상을 촬영한다. 조명부는 하나 이상의 LED 등의 발광 소자를 포함한다. 조명부는 제 1 및 제 2 촬영부(312, 314)의 주위에 배치되어 제 1 및 제 2 촬영부(312, 314)가 촬영하고자 하는 지점을 조명할 수 있다.
조명부는 피검사자에게서 검사할 대상이 무엇인지, 예컨대 암을 검사할 것인지, 암을 검사한다면 어떤 암을 검사할 것인지, 어떤 부위를 검사할 것인지, 단순히 조직의 상태만을 검사할 것인지 등에 따라서 특정 파장의 발광 소자를 사용할 수도 있다. 또한, 촬상 소자로 어떤 소자가 사용되는지에 따라서, 해당 촬상 소자에 적합한 파장의 발광 소자를 사용할 수도 있다.
제 1 및 제 2 촬영부(312, 314)는 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서, CCD(Charge-Coupled Device) 이미지 센서 등의 촬상 소자를 포함한다. 촬상 소자에 의해 획득된 영상은 전기적 데이터 또는 전기적 신호로 변환될 수 있다.
제 1 및 제 2 촬영부(312, 314)는 3D 영상 생성을 위한 구성요소이기에, 사전에 미리 카메라 캘리브레이션이 수행되어 있는 것이 바람직하다. 즉, 수신기에서의 캘리브레이션과 연관하여 촬영이 이루어지도록 제 1 및 제 2 촬영부(312, 314)에 사용되는 렌즈, 렌즈와 이미지 센서와의 거리, 렌즈와 이미지 센서가 이루는 각 등 카메라 내부의 기구적인 부분은 미리 사용자가 정의하는 바대로 캘리브레이션이 되어 있을 수 있다. 이때, 캘리브레이션과 관련된 정보는 수신기와 공유될 수 있다.
또한, 제 1 및 제 2 촬영부(312, 314)는 제어부(320)로부터 제공되는 트리거 신호에 반응하여 동일한 인체 내 대상부위를 촬영한다. 다만, 제 1 및 제 2 촬영부(312, 314)가 대상부위를 바라보는 각도는 서로 다를 수 있고, 이에 따라 하나의 대상부위에 대한 좌영상 및 우영상을 획득할 수 있다. 제 1 및 제 2 촬영부(312, 314)는 트리거 신호를 동시에 제공받기 때문에, 동일한 시점에 대상부위를 촬영할 수 있고, 동일 시점의 대상부위의 좌영상 및 우영상이 획득될 수 있다. 3D 영상을 구성하기 위해 좌영상과 우영상의 동기화는 매우 중요한 이슈이고, 따라서, 동일 시점에 촬영된 좌영상 및 우영상은 하나의 패키지로 취급되는 것이 바람직하다.
제어부(320)는 제 1 및 제 2 촬영부(312, 314)를 제어하고 제 1 및 제 2 촬영부(312, 314)에서 촬영된 좌영상과 우영상에 대한 영상 처리를 수행하는 구성요소이다. 제어부(320)는 좌영상과 우영상의 동기를 맞추기 위해, 동일한 시점에 트리거 신호를 제 1 및 제 2 촬영부(312, 314)에 제공한다. 전술한 바와 같이, 트리거 신호는 10ms 이내의 오차로 제 1 및 제 2 촬영부(312, 314)에 도달하는 것이 바람직하다. 제어부(320)는 클럭 주파수를 참조하여 동시에 트리거 신호를 제 1 및 제 2 촬영부(312, 314)로 제공한다.
제어부(320)는 트리거 신호에 의해 동시에 촬영된 좌영상과 우영상을 수신하고, 이를 인코딩한다. 그리고는, 인코딩된 좌영상과 우영상을 묶어서 하나의 프레임 패킷으로 생성한다. 프레임 패킷의 생성은 도 4를 통해, 보다 상세히 설명한다.
전송부(330)는 제어부(320)에서 생성된 영상 프레임을 외부 장치, 예컨대 수신기(도 1의 150)로 전송한다. 예컨대, 전송부(330)는 영상 데이터를 RF 통신 또는 인체 통신 등을 통해 외부 장치로 전송할 수 있으며, 압축된 영상 데이터 이외의 정보(예를 들어, 음향 정보, 조직 정보, PH 정보, 온도 정보, 전기적 임피던스 정보 등)도 전송할 수 있다.
도 4는 스테레오 영상 프레임의 구성을 설명하기 위한 개념도이다.
도 4를 참조하면, 스테레오 영상 프레임은 헤더(410)와 페이로드(420)로 구성될 수 있다.
먼저, 페이로드(420)에는 인코딩된 제 1 영상(422) 및 제 2 영상(424)이 포함될 수 있다. 여기서, 제 1 영상(422)은 특정 대상부위에 대한 좌영상이고, 제 2 영상(424)은 우영상일 수 있다. 두 영상(422, 424)은 동일시점에 촬영된 영상이기에 하나의 프레임의 페이로드(420)로 묶여서 전송되는 것이 바람직하다.
헤더(410)는 두 영상(422, 424)에 대한 동기정보가 포함될 수 있다. 동기 정보는 두 영상(422, 424)의 촬영시간과 관련된 메타데이터 정보를 포함할 수 있다. 헤더(410)에 포함되는 정보는 스테레오 영상 프레임의 크기, 영상 획득시간, 인코딩 관련 팩터, 해당 영상 프레임의 프레임넘버 등의 정보를 포함할 수 있다.
페이로드(420)에는 1개 패키지의 영상 데이터가 포함될 수 있고, 또는 복수 개 패키지의 영상 프레임이 포함될 수도 있다. 다만, 페이로드(420)에는 동일 시점에 촬영된 패키지 단위로 영상 데이터가 포함되는 것이 바람직하다.
다수 패키지 영상을 전송하는 경우, 프레임 헤더(410)에는 N 개(여기서, N은 2 이상의 자연수임)의 패키지의 영상 프레임에 대한 메타데이터 정보를 포함한다. 이때, 각 패키지에 대한 복수 개의 메타데이터 정보가 포함될 수 있다. 메타데이터 정보는 각 패키지에 대한 동기정보를 포함하고, 그 이외에 포함되는 정보는 앞선 실시예와 유사하다. 그리고, 페이로드(420)에는 N 개 패키지의 제 1 영상(422) 및 제 2 영상(424) 데이터가 연속적으로 저장될 수 있다.
캡슐내시경과 연동하는 수신기
도 5는 본 발명의 일 실시예에 따른 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기를 개략적으로 나타낸 블록도이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 수신기(500)는 수신부(510), 스테레오 영상 처리부(520) 및 사용자 인터페이스(530)를 포함할 수 있다.
도 5를 참조하면, 수신부(510)는 캡슐 내시경으로부터 전송되는 스테레오 영상 프레임을 수신한다. 상기 수신된 프레임 내의 데이터는 동일한 피사체에 대해 촬영된 좌영상 및 우영상 패키지를 포함하는 인코딩된 데이터이며, 그 외 다른 정보(예를 들어, 음향 정보, 조직 정보, PH 정보, 온도 정보, 전기적 임피던스 정보 등)도 포함할 수 있다. 한편, 수신부(510)는 캡슐 내시경 피검사자의 신체에 부착되는 전극 또는 패드 형태로 구성될 수도 있다.
스테레오 영상 처리부(520)는 수신부(510)가 수신한 스테레오 영상 프레임에 포함된 영상 데이터 패키지 및 동기 정보를 추출하여 디코딩하고, 스테레오 영상 처리하여 깊이 맵(depth map)을 생성한다. 그리고, 영상 화질 개선을 수행할 수 있다. 스테레오 영상 처리부(520)는 캘리브레이션, 스테레오 조정, 스테레오 매칭 및 재투영 과정을 수행하여 깊이 맵을 생성할 수 있다. 그리고, 좌/우 원영상에 깊이 맵 기반으로 생성된 디블러링 필터 및 초해상도(Super-Resolution) 기법을 적용하여 화질이 보다 선명하게 개선된 영상을 생성할 수 있다. 스테레오 영상 처리 과정은 도 6을 통해 보다 상세히 설명한다.
사용자 인터페이스(530: GUI)는 좌/우 원영상과 깊이 맵을 기반으로 3D 영상을 재생할 수 있다. 하지만, 보다 바람직하게는, 화질 개선된 영상과 깊이 맵을 기반으로 3D 영상을 재생하는 것이 좋다. 그리고, 영상을 디스플레이하는 중에, 사용자 입력을 수신하여 사용자가 가리키는 객체의 실제 크기를 카메라 캘리브레이션 정보를 기반으로 산출하여 표시할 수 있다.
본 발명의 실시예에 따르면, 수신부(510)만 수신기(500)의 구성요소로 포함되고, 스테레오 영상 처리부(520) 및 사용자 인터페이스(530)는 별도의 영상 처리 장치로 구현될 수 있다. 또는, 수신기(500)는 수신부(510)와 스테레오 영상 처리부(520)를 포함하고, 사용자 인터페이스(530)가 별도의 영상 처리 장치로 구현될 수 있다.
도 6은 도 5의 수신기의 스테레오 영상 처리부를 구체적으로 나타낸 상세블록도이다. 도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 스테레오 영상 처리부(600)는 캘리브레이션 수행부(610), 스테레오 조정부(620), 스테레오 매칭부(630), 재투영부(640) 및 화질 개선 영상 생성부(650)를 포함할 수 있다.
도 6을 참조하면, 도면에 도시되진 않았지만, 수신된 스테레오 영상 프레임을 파싱하여 제 1 영상(좌영상) 및 제 2 영상(우영상) 패키지를 추출한다. 이때, 동기 정보를 파싱하여 어느 시점의 영상인지 파악하고, 좌영상과 우영상은 패키지로 영상처리한다. 먼저, 인코딩된 좌영상과 우영상에 대한 디코딩을 수행한 후, 3D 비전(3D vision)과 관련된 절차가 수행된다.
캘리브레이션 수행부(610)는 좌영상과 우영상과 관련하여, 3D 공간좌표와 2D 영상 좌표 사이의 변환관계 또는 이 변환관계를 설명하는 파라미터를 산출한다.
캘리브레이션 수행부(610)는 캡슐 내시경의 두 대의 카메라에서 촬영된 체스 보드판 영상 M 장(M은 자연수)을 기반으로 내부 파라미터(Intrinsic Parameter)와 외부 파라미터(Extrinsic Parameter)를 산출한다.
내부 파라미터는 초점거리, 주점(principal point) 및 비대칭 계수(skew coefficient) 등이 사용될 수 있다. 초점거리는 렌즈 중신과 이미지 센서와의 거리를 의미하고, 이는 픽셀 단위로 산출될 수 있다. 주점은 카메라 렌즈의 중심, 즉, 핀홀(pin hole)에서 이미지 센서에 내린 수선의 발의 영상 좌표를 의미하는 것으로써, 역시 픽셀 단위로 산출될 수 있다. 비대칭 계수는 이미지 센서의 셀 어레이(cell array)와 y축이 기울어진 정도를 의미한다.
외부 파라미터는 카메라 좌표계와 월드(world) 좌표계 사이의 변환 관계를 설명하는 파라미터로써 두 좌표계 사이의 회전(rotation) 및 평행이동(translation) 변환으로 표현될 수 있다.
캘리브레이션 수행부(610)는 내외부 파라미터 외에, 각 카메라에 대한 왜곡 파라미터(Distortion Parameter), 캘리브레이션된 카메라들 사이의 위치관계를 나타내는 필수 행렬(Essential Matrix) 및 좌영상과 우영상 간의 대응점과 관련된 정보를 나타내는 기본 행렬(Fundamental Matrix)을 산출할 수 있다.
스테레오 조정부(620)는 캘리브레이션 수행부(610)에서 획득된 정보(예컨대, 내부 파라미터, 외부 파라미터 등)을 가지고 행-정렬된(Row-aligned) 영상을 생성한다. 스테레오 조정부(620)는 캘리브레이션 정보를 가지고 좌영상과 우영상을 교정하여 행-정렬된 하나의 카메라에서 촬영된 것처럼 조정한다.
스테레오 매칭부(630)는 좌영상과 우영상에서 동일한 점을 찾아 매칭한다. 스테레오 매칭은 두 영상에서 겹치는 장면에서만 계산이 가능하다. 스테레오 매칭부(630)는 영상의 밝기를 정규화하고 질감을 향상시키는 전처리를 수행한다. 그리고는, 수평 에피폴라(epipolar) 직선을 따라 SAD(Sum of Absolute Difference: 주어진 윈도우 내부에서 두 영상의 픽셀값들의 차의 절대값을 모두 합한 값) 윈도우를 이동시키며 대응점을 찾고 잘못된 대응점을 제거하는 후처리를 수행하여 매칭한다. 스테레오 매칭부(630)는 대응점 매칭을 통해 디스패리티 맵(disparity map)(시차 지도라고 불릴 수 있음)을 생성할 수 있다. 또한, 좌영상과 우영상의 대응점 정보와 두 카메라 사이의 기준선 분리 정보(baseline separation)를 이용하여 정합 영상을 생성할 수 있다. 이때, 수학적으로 렌즈의 방사 왜곡(radial distortion)과 접속 왜곡(tangential distortion)을 제거할 수 있다.
재투영부(640)는 삼각법을 이용하여 디스패리티 맵을 거리로 환산함으로써 깊이 맵(depth map)을 생성한다. 깊이 맵 생성 이후에는, 오리저널(original) 영상에서 각 지점의 깊이(앞으로 튀어나와 있는지 또는 뒤로 들어가 있는지 여부)를 명확히 알 수 있기 때문에, 깊이 맵을 이용하여 입체적인 형상 또는 해당 형상의 정확한 크기 등을 파악할 수 있다.
화질 개선 영상 생성부(650)는 좌영상과 우영상 중 영상 화질이 좋은 영상 하나를 선택한다. 이때, 영상 한 장을 선택할 수도 있고, 대칭점을 알고 있는 상태에서 픽셀 단위로 화질이 더 좋은 것을 고르는 방법을 이용하여 원 영상 두 장 모두의 화질을 개선시킬 수도 있다. 그리고는, 재투영부(640)에서 생성한 깊이 맵을 이용한 디블러링 필터를 통해 한 장 또는 두 장의 영상의 화질을 개선한다. 즉, 본 발명의 실시예에 따르면, 디블러링 필터를 깊이 맵을 통해 생성하고, 이를 영상 화질 개선에 사용한다. 그리고는, 초해상도 기법을 수행하여 화질 개선을 완료한다.
전체적으로 보면, 스테레오 영상 처리부(600)는 좌영상과 우영상 데이터를 입력으로 받아 깊이 맵 및 화질 개선 영상을 사용자 인터페이스로 출력한다.
스테레오 영상 처리부(600)는 사용자 인터페이스(예컨대, 키보드, 마우스, 터치 스크린, 디스플레이부 등으로 구현됨)를 통해 영상 내의 객체 크기 산출을 요청받은 경우, 해당 객체의 픽셀 데이터와, 카메라 캘리브레이션을 통해 획득된 좌/우 카메라 캘리브레이션 정보를 조합하여 실제 크기를 산출하고 이를 사용자 인터페이스로 제공할 수 있다.
수신기의 사용자 인터페이스
도 7은 본 발명의 일 실시예에 따라 2D 영상과 3D 영상을 동시에 디스플레이하는 사용자 인터페이스(GUI: Graphical User Interface)를 나타낸 도면이다.
도 7을 참조하면, 2D 영상(710)과 3D 영상(720)은 동시에 디스플레이될 수 있다. 하나의 윈도우 창에서 디스플레이될 수도 있고, 서로 다른 창을 통해 디스플레이될 수도 있다. 또한, 2D 영상(710)과 3D 영상(720)은 동기화되어 동일 시점의 영상이 재생될 수 있다. 반대로, 서로 상이한 시점의 영상들이 하나의 화면에 출력될 수도 있다. 2D 영상(710)은 화질 개선된 영상이 사용될 수 있다.
본 발명의 실시예에 따른 사용자 인터페이스는 다양한 모드를 제공하고, 모드 변경 버튼(730)을 통해 모드를 변경할 수 있다. 모드는 2D의 좌영상과 우영상을 함께 제공하는 모드, 하나의 2D 영상만 제공하는 모드, 하나의 3D 영상만 제공하는 모드, 2D와 3D 영상을 함께 제공하는 모드들을 포함할 수 있다. 사용자는 간단한 조작을 통해 영상의 디스플레이 모드를 변경할 수 있다. 예컨대, 2D 영상을 재생하는 중에 3D 영상을 요청하는 경우, 동일 화면에 2D와 3D를 동시 디스플레이하도록 설정할 수도 있다.
또한, 본 발명의 실시예에 따르면, 3D 영상을 디스플레이할 때, 3차원에서 3D 영상을 자유자재로 조작하기 위한 3D 조작 GUI를 제공할 수 있다.
도 8은 본 발명의 다른 실시예에 따라 물체의 실제 크기 측정을 위한 사용자 인터페이스를 나타낸 도면이다.
도 8을 참조하면, 단일 카메라에서는 영상 내의 특정 픽셀이 몇 mm의 실측 크기에 대응됨을 근거로 영상 내의 객체를 픽셀 단위로 파악하고, 해당 픽셀에 대응되는 실측 크기를 환산하는 방법을 사용하지만, 이러한 방법은 입체적인 부분을 고려하지 않기에 정확도가 떨어진다.
본 발명과 같은 스테레오 카메라를 통한 3D 영상에서는 카메라 캘리브레이션에서 획득한 내부 파라미터를 가지고 픽셀을 특정 길이 단위(예컨대, mm 단위)로 환산할 수 있다.
예컨대, 화질 개선 영상 내에서, 종양과 같이 사용자가 실제 크기를 확인하고자 하는 부분이 있는 경우, 지점(810)부터 지점(820)와 같이 영상 내에서 클릭 등을 통해 확인하고자 하는 부분을 명확히 지정하고, 지정된 부분에 대응하는 실제 픽셀을 식별한다. 그리고, 픽셀들 간의 거리와 카메라 캘리브레이션에서 획득한 내부 파라미터를 3D 비전과 관련된 수학식에 입력하여 그 정확한 실제 크기로 환산할 수 있다. 환산된 크기 값은 화면에 3D 영상과 함께 표시될 수 있다. 이러한 실측 크기를 환산하는 기능은 인체 내의 심각한 병증을 검출하는데 적용될 수 있다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (17)

  1. 3D 영상 재생을 위한 캡슐 내시경 장치에 있어서,
    인체 내의 대상 부위를 촬영하여 제 1 영상을 생성하는 제 1 촬영부;
    상기 대상 부위를 촬영하여 제 2 영상을 생성하는 제 2 촬영부;
    상기 제 1 촬영부 및 상기 제 2 촬영부에 동기화를 위한 트리거 신호(trigger signal)를 동시에 제공하고, 상기 트리거 신호에 의해 동시에 촬영된 제 1 영상 및 제 2 영상을 수신하여 스테레오 영상 프레임을 생성하는 제어부; 및
    상기 스테레오 영상 프레임을 수신기로 전송하는 전송부를 포함하는 3D 영상 재생을 위한 캡슐 내시경 장치.
  2. 제 1 항에 있어서,
    상기 제어부는 상기 동시에 촬영된 제 1 및 제 2 영상을 하나의 스테레오 영상 프레임으로 생성하는 3D 영상 재생을 위한 캡슐 내시경 장치.
  3. 제 1 항에 있어서,
    상기 제 1 촬영부와 상기 제 2 촬영부는 카메라 캘리브레이션(calibration)이 미리 수행되어 있는 3D 영상 재생을 위한 캡슐 내시경 장치.
  4. 제 1 항에 있어서,
    상기 제 1 영상은 상기 대상 부위에 대한 좌영상이고, 상기 제 2 영상은 상기 대상 부위에 대한 우영상인 3D 영상 재생을 위한 캡슐 내시경 장치.
  5. 3D 영상 재생을 위한 캡슐 내시경의 동작 방법에 있어서,
    제 1 촬영부 및 제 2 촬영부에 동기화를 위한 트리거 신호를 동시에 제공하는 단계;
    상기 제 1 및 제 2 촬영부가 상기 트리거 신호를 기반으로 동시에 인체 내의 대상 부위를 각각 촬영하여 제 1 영상 및 제 2 영상을 생성하는 단계;
    동시에 촬영된 제 1 영상 및 제 2 영상을 기반으로 스테레오 영상 프레임을 생성하는 단계; 및
    상기 스테레오 영상 프레임을 수신기로 전송하는 단계를 포함하는 3D 영상 재생을 위한 캡슐 내시경의 동작 방법.
  6. 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기에 있어서,
    상기 캡슐 내시경의 제 1 카메라와 제 2 카메라에서 인체 내의 대상부위를 동시에 촬영하여 생성한 제 1 영상과 제 2 영상을 기반으로 생성된 스테레오 영상 프레임을 캡슐 내시경으로부터 수신하는 수신부;
    상기 스테레오 영상 프레임을 영상 처리하여 깊이 맵을 생성하는 스테레오 영상 처리부; 및
    상기 제 1 영상, 상기 제 2 영상과 상기 깊이 맵을 기반으로 3D 영상을 재생하는 사용자 인터페이스(GUI: Graphical User Interface)를 포함하는 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기.
  7. 제 6 항에 있어서, 상기 스테레오 영상 처리부는:
    상기 제 1 영상 및 상기 제 2 영상을 기반을 캘리브레이션(calibration)을 수행하는 캘리브레이션 수행부;
    캘리브레이션을 통해 획득한 정보를 기반으로 스테레오 조정(stereo rectification)을 수행하여 행-정렬된 제 1 영상 및 제 2 영상을 생성하는 스테레오 조정부;
    상기 행-정렬된 제 1 영상과 제 2 영상에서 동일한 점을 매칭하여 디스패리티 맵(disparity map)을 생성하는 스테레오 매칭부; 및
    상기 디스패리티 맵을 거리로 환산하여 깊이 맵(depth map)을 생성하는 재투영부를 포함하는 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기.
  8. 제 7 항에 있어서, 상기 스테레오 영상 처리부는
    상기 깊이 맵을 기반으로 생성된 디블러링(Deblurring) 필터를 이용하여 상기 제 1 영상 및 상기 제 2 영상의 화질을 개선하는 화질개선 영상 생성부를 더 포함하는 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기.
  9. 제 8 항에 있어서, 상기 화질개선 영상 생성부는
    상기 제 1 영상 및 상기 제 2 영상 중 화질이 보다 좋은 영상을 선택하거나 또는 픽셀 단위로 더 좋은 화질의 픽셀을 선택하여 영상의 화질을 개선하는 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기.
  10. 제 9 항에 있어서, 상기 화질개선 영상 생성부는
    Super-Resolution 기법을 이용하여 상기 제 1 영상 및 상기 제 2 영상의 화질을 개선하는 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기.
  11. 제 10 항에 있어서,
    상기 사용자 인터페이스는 화질 개선된 영상을 기반으로 상기 깊이 맵을 이용하여 3D 영상으로 재생하는 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기.
  12. 제 10 항에 있어서,
    상기 사용자 인터페이스는 상기 화질 개선된 영상에서 사용자 입력에 의해 선택된 특정 객체의 크기를 카메라 캘리브레이션을 통해 획득된 파라미터를 기반으로 측정하는 기능을 제공하는 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기.
  13. 제 6 항에 있어서,
    상기 사용자 인터페이스는 2D 영상과 3D 영상을 함께 디스플레이하는 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기.
  14. 제 6 항에 있어서,
    상기 사용자 인터페이스는 상기 3D 영상을 3차원에서 조작하는 3차원 조작 인터페이스를 포함하는 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기.
  15. 캡슐 내시경과 연동하여 수신기의 3D 영상을 재생하는 방법에 있어서,
    상기 캡슐 내시경의 제 1 카메라와 제 2 카메라에서 인체 내의 대상부위를 동시에 촬영하여 생성한 제 1 영상과 제 2 영상을 기반으로 생성된 스테레오 영상 프레임을 캡슐 내시경으로부터 수신하는 단계;
    상기 스테레오 영상 프레임을 영상 처리하여 깊이 맵을 생성하는 단계; 및
    상기 제 1 영상, 상기 제 2 영상과 상기 깊이 맵을 기반으로 3D 영상을 재생하는 단계를 포함하는 캡슐 내시경과 연동하여 수신기의 3D 영상을 재생하는 방법.
  16. 3D 영상 재생을 위한 캡슐 내시경 시스템에 있어서,
    트리거 신호를 기반으로 제 1 촬영부와 제 2 촬영부를 통해 인체 내의 대상부위를 동시에 촬영하여 제 1 영상 및 제 2 영상을 생성하고, 상기 제 1 영상 및 제 2 영상을 기반으로 스테레오 영상 프레임을 생성하여 수신기로 전송하는 캡슐 내시경 장치; 및
    상기 스테레오 영상 프레임을 캡슐 내시경 장치로부터 수신하고 상기 수신된 스테레오 영상 프레임을 영상 처리하여 깊이 맵을 생성하며, 상기 제 1 영상, 상기 제 2 영상과 상기 깊이 맵을 기반으로 기반으로 3D 영상을 재생하는 수신기를 포함하는 3D 영상 재생을 위한 캡슐 내시경 시스템.
  17. 3D 영상 재생을 위한 캡슐 내시경 시스템에 있어서,
    트리거 신호를 기반으로 제 1 촬영부와 제 2 촬영부를 통해 인체 내의 대상부위를 동시에 촬영하여 제 1 영상 및 제 2 영상을 생성하고, 상기 제 1 영상 및 제 2 영상을 기반으로 스테레오 영상 프레임을 생성하여 수신기로 전송하는 캡슐 내시경 장치;
    상기 스테레오 영상 프레임을 캡슐 내시경 장치로부터 수신하여 영상 처리 장치로 제공하는 수신기; 및
    상기 스테레오 영상 프레임을 수신하여 영상 처리함으로써 깊이 맵을 생성하고, 상기 제 1 영상, 상기 제 2 영상 및 상기 깊이 맵을 기반으로 3D 영상을 재생하는 영상 처리 장치를 포함하는 3D 영상 재생을 위한 캡슐 내시경 시스템.
PCT/KR2017/012952 2016-12-21 2017-11-15 3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템 WO2018117427A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17884528.5A EP3560413A4 (en) 2016-12-21 2017-11-15 CAPSULE ENOSCOPE DEVICE FOR REPLAYING A 3D IMAGE, OPERATING METHOD FOR THE CAPSULA ENOSCOPE, RECEIVER FOR REPLAYING A 3D IMAGE IN CONNECTION WITH A CAPSULAR ENOSCOPE, METHOD FOR REPLAYING A KAPSULAR IMAGE IN A 3D IMAGE
CN201780070675.5A CN109952054A (zh) 2016-12-21 2017-11-15 再现3d图像的胶囊内窥镜设备,其操作方法,接收器,将接收器与其联合的方法,及系统
US16/343,396 US20190246887A1 (en) 2016-12-21 2017-11-15 Capsule endoscope apparatus for reproducing 3d image, operation method for same capsule endoscope, receiver for reproducing 3d image in association with capsule endoscope, method for reproducing 3d image by receiver in association with capsule endoscope, and capsule endoscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160175579A KR101921268B1 (ko) 2016-12-21 2016-12-21 3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템
KR10-2016-0175579 2016-12-21

Publications (1)

Publication Number Publication Date
WO2018117427A1 true WO2018117427A1 (ko) 2018-06-28

Family

ID=62627548

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/012952 WO2018117427A1 (ko) 2016-12-21 2017-11-15 3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템

Country Status (5)

Country Link
US (1) US20190246887A1 (ko)
EP (1) EP3560413A4 (ko)
KR (1) KR101921268B1 (ko)
CN (1) CN109952054A (ko)
WO (1) WO2018117427A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11070762B2 (en) 2019-10-10 2021-07-20 Titan Medical Inc. Imaging apparatus for use in a robotic surgery system
KR102212964B1 (ko) * 2019-10-10 2021-02-08 주식회사 인트로메딕 디블러링 영상 처리 방법 및 장치
CN110811489A (zh) * 2019-12-11 2020-02-21 深圳先进技术研究院 一种具有3d测量功能的胶囊内窥镜及相应成像方法
DE102020126875A1 (de) * 2020-10-13 2022-04-14 Blazejewski Medi-Tech Gmbh Verfahren zur Wiedergabe eines mittels eines 3D-Endoskops erzeugten stereoskopischen Bildes und 3D-Endoskop
CN112261399B (zh) * 2020-12-18 2021-03-16 安翰科技(武汉)股份有限公司 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质
EP4322814A1 (en) * 2021-04-15 2024-02-21 Covidien LP Robust surgical scene depth estimation using endoscopy

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120113545A (ko) * 2011-04-05 2012-10-15 주식회사 인트로메딕 캡슐 내시경 장치, 캡슐형 내시경 장치의 영상 처리 방법 및 캡슐형 내시경 장치로부터 전송된 영상의 처리 장치
JP2013009956A (ja) * 2011-06-01 2013-01-17 Toshiba Corp 医用画像表示装置及び医用画像診断装置
KR101372496B1 (ko) * 2012-09-18 2014-03-11 유메디칼 주식회사 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치 및 그 방법
US20150172726A1 (en) * 2013-12-16 2015-06-18 Samsung Electronics Co., Ltd. Method for real-time implementation of super resolution
KR101593316B1 (ko) * 2014-08-18 2016-02-11 경희대학교 산학협력단 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006045011A2 (en) * 2004-10-20 2006-04-27 The Board Of Trustees Of The Leland Stanford Junior University Endocapsule
JP4574596B2 (ja) * 2006-07-06 2010-11-04 富士フイルム株式会社 カプセル内視鏡
DE102007030747A1 (de) * 2007-07-02 2008-10-30 Siemens Ag Verfahren und Einrichtung zum Durchführen eines minimalinvasiven Eingriffs in einem menschlichen oder tierischen Hohlorgan
JP6010895B2 (ja) * 2011-11-14 2016-10-19 ソニー株式会社 撮像装置
KR101547281B1 (ko) * 2013-04-09 2015-08-26 (주)쉬프트플러스 다시점 3차원 영상신호 생성 방법 및 장치
US20160295194A1 (en) * 2015-03-30 2016-10-06 Ming Shi CO., LTD. Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
US10512508B2 (en) * 2015-06-15 2019-12-24 The University Of British Columbia Imagery system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120113545A (ko) * 2011-04-05 2012-10-15 주식회사 인트로메딕 캡슐 내시경 장치, 캡슐형 내시경 장치의 영상 처리 방법 및 캡슐형 내시경 장치로부터 전송된 영상의 처리 장치
JP2013009956A (ja) * 2011-06-01 2013-01-17 Toshiba Corp 医用画像表示装置及び医用画像診断装置
KR101372496B1 (ko) * 2012-09-18 2014-03-11 유메디칼 주식회사 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치 및 그 방법
US20150172726A1 (en) * 2013-12-16 2015-06-18 Samsung Electronics Co., Ltd. Method for real-time implementation of super resolution
KR101593316B1 (ko) * 2014-08-18 2016-02-11 경희대학교 산학협력단 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3560413A4 *

Also Published As

Publication number Publication date
EP3560413A4 (en) 2020-12-02
EP3560413A1 (en) 2019-10-30
KR20180072238A (ko) 2018-06-29
KR101921268B1 (ko) 2018-11-22
US20190246887A1 (en) 2019-08-15
CN109952054A (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
WO2018117427A1 (ko) 3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템
WO2014035128A1 (en) Image processing system
WO2016027930A1 (en) Portable device and method for controlling the same
JPH0595900A (ja) 内視鏡画像処理装置
WO2016048020A1 (ko) 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
CN110692222B (zh) 接收装置、发送装置、控制方法、程序及发送和接收系统
JP6329715B1 (ja) 内視鏡システムおよび内視鏡
WO2020101431A1 (ko) 3차원 영상을 렌더링하는 방법, 상기 방법을 사용하는 영상처리장치, 상기 영상처리장치와 연동하는 촬영장치, 상기 촬영장치의 촬영방법, 및 3차원 영상을 렌더링하는 시스템
JP3302214B2 (ja) 画像入力装置
JP2009088844A (ja) 色分解式ステレオカメラ
US11759094B2 (en) Medical surgery imaging system for processing visual content transferred over a wireless network
JP3510733B2 (ja) 電子内視鏡に接続可能な映像信号処理装置
WO2011071313A2 (ko) 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
WO2018230510A1 (ja) 画像処理装置、画像処理方法および撮像システム
WO2016167436A1 (ko) 이미지 촬영 장치 및 이미지 촬영 방법
JP6368886B1 (ja) 内視鏡システム
JPH0556918A (ja) 内視鏡装置
US9832411B2 (en) Transmission system and processing device
WO2014185578A1 (ko) 직교식 입체 카메라의 광축 정렬 방법 및 직교식 입체 카메라
WO2019083068A1 (ko) 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
CN107105999A (zh) 内窥镜系统
JP2008193563A (ja) 撮像装置、再生装置、撮像方法、再生方法及びプログラム
CN110602459A (zh) 一种医用无线视像发射电路、接收电路和装置
KR20190140237A (ko) 스테레오 영상 생성 방법 및 장치
WO2017142209A1 (ko) 초음파 영상 분배 장치 및 스마트 단말기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17884528

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017884528

Country of ref document: EP

Effective date: 20190722