KR20120073887A - 이미지 처리 장치 및 그 이미지 처리 방법 - Google Patents

이미지 처리 장치 및 그 이미지 처리 방법 Download PDF

Info

Publication number
KR20120073887A
KR20120073887A KR1020100135808A KR20100135808A KR20120073887A KR 20120073887 A KR20120073887 A KR 20120073887A KR 1020100135808 A KR1020100135808 A KR 1020100135808A KR 20100135808 A KR20100135808 A KR 20100135808A KR 20120073887 A KR20120073887 A KR 20120073887A
Authority
KR
South Korea
Prior art keywords
image
images
image processing
processing apparatus
distal end
Prior art date
Application number
KR1020100135808A
Other languages
English (en)
Inventor
최종철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100135808A priority Critical patent/KR20120073887A/ko
Priority to US13/337,711 priority patent/US20120162368A1/en
Publication of KR20120073887A publication Critical patent/KR20120073887A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Abstract

이미지 처리 장치가 개시된다. 본 이미지 처리 장치는 생체 내의 생체 조직에 대한 복수 개의 이미지를 촬영하는 촬영부, 촬영된 복수 개의 이미지 중 이미지 상관 정도가 큰 적어도 2개의 이미지를 추출하는 추출부, 및 추출된 적어도 2개의 이미지로부터 깊이 정보를 산출하고, 산출된 깊이 정보를 이용하여 생체 조직에 대한 3D 이미지를 생성하는 제어부를 포함한다.

Description

이미지 처리 장치 및 그 이미지 처리 방법{Image processing apparatus and method for porcessing image thereof}
본 발명은 이미지 처리 장치 및 그 이미지 처리 방법에 관한 것으로서, 보다 상세하게는, 병변을 검출하기 위한 이미지 처리 장치 및 그 이미지 처리 방법에 관한 것이다.
최근 의료 기술 분야의 발전과 함께 내시경과 같은 이미지 처리 장치에 관한 연구도 활발하게 진행되고 있다.
종래에는, 내시경을 이용하여 병변이 의심되는 부위에 공기를 주입하여 부풀려지는 형상을 보거나, 병변이 의심되는 부위에 직접 약물을 주입하여 병변이 의심되는 부위의 형상이 변하는 모양을 보고 병변을 확인할 수 있었다.
또한, 종래의 다른 방법으로서, 내시경을 이용하여 병변이 의심되는 부위에 색소를 분사하거나, 병변이 의심되는 부위에 특정 파장의 빛을 조사하여 병변이 존재하는지 여부를 확인할 수 있었다.
하지만, 이와 같은 다양한 종래 방법을 이용한다고 하더라도 보다 정밀하게 병변을 확인할 수 없었다. 따라서, 내시경을 이용하여 정밀하게 병변을 확인하고 검출하기 위한 방안이 요청되고 있다.
본 발명은 상술한 요청에 따라 안출된 것으로서, 병변을 3D 영상으로 디스플레이하도록 처리할 수 있는 이미지 처리 장치 및 그 이미지 처리 방법을 제공하는데 그 목적이 있다.
본 발명의 일 실시 예에 따른 이미지 처리 장치의 이미지 처리 방법은 생체 내의 생체 조직에 대한 복수 개의 이미지를 촬영하는 단계, 상기 촬영된 복수 개의 이미지 중 이미지 상관 정도가 큰 적어도 2개의 이미지를 추출하는 단계, 상기 추출된 적어도 2개의 이미지로부터 깊이 정보를 산출하는 단계, 및 상기 산출된 깊이 정보를 이용하여 상기 생체 조직에 대한 3D 이미지를 생성하는 단계를 포함한다.
상기 촬영하는 단계는, 상기 이미지 처리 장치의 말단부를 회전하는 동작 또는 쉬프트하는 동작에 따라 상기 복수 개의 이미지를 촬영할 수 있다.
상기 생성된 3D 이미지를 디스플레이하는 단계를 더 포함할 수 있다.
상기 촬영된 복수 개의 이미지를 분석하는 단계를 더 포함하며, 상기 디스플레이하는 단계는, 상기 촬영된 복수 개의 이미지 중 기설정된 사이즈보다 큰 병변을 갖는 이미지를 3D 이미지로 디스플레이할 수 있다.
상기 촬영된 복수 개의 이미지를 이용하여 상기 생체 조직에 대한 맵 이미지를 생성하는 단계를 더 포함하며, 상기 디스플레이하는 단계는, 상기 맵 이미지를 디스플레이할 수 있다.
상기 이미지 처리 장치는, 내시경을 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 이미지 처리 장치는 생체 내의 생체 조직에 대한 복수 개의 이미지를 촬영하는 촬영부, 상기 촬영된 복수 개의 이미지 중 이미지 상관 정도가 큰 적어도 2개의 이미지를 추출하는 추출부, 및 상기 추출된 적어도 2개의 이미지로부터 깊이 정보를 산출하고, 상기 산출된 깊이 정보를 이용하여 상기 생체 조직에 대한 3D 이미지를 생성하는 제어부를 포함한다.
상기 촬영부의 동작을 제어하는 구동 제어부를 더 포함하며, 상기 촬영부는, 상기 구동 제어부의 동작 제어에 따라 회전 동작 또는 쉬프트 동작에 따라 상기 복수 개의 이미지를 촬영할 수 있다.
상기 생성된 3D 이미지를 디스플레이하는 디스플레이부를 더 포함할 수 있다.
상기 제어부는, 상기 촬영된 복수 개의 이미지를 분석하며, 상기 디스플레이부는, 상기 촬영된 복수 개의 이미지 중 기설정된 사이즈보다 큰 병변을 갖는 이미지를 3D 이미지로 디스플레이할 수 있다.
상기 제어부는, 상기 촬영된 복수 개의 이미지를 이용하여 상기 생체 조직에 대한 맵 이미지를 생성하며, 상기 디스플레이부는, 상기 맵 이미지를 디스플레이할 수 있다.
상기 이미지 처리 장치는, 내시경을 포함할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 장치를 나타내는 도면.
도 2는 본 이미지 처리 장치의 말단부의 일 예를 나타내는 도면.
도 3a 및 도 3b는 본 이미지 처리 장치의 이미지 촬영 동작의 일 예를 나타내는 도면.
도 4는 구동 제어부에서 말단부를 쉬프트시킬 경우 말단부의 움직임을 보상하는 동작을 설명하기 위한 도면.
도 5는 깊이 정보와 관련되는 시차의 개념을 설명하기 위한 도면.
도 6은 말단부의 회전 동작과 시프트 동작 중 시프트 동작시에 발생할 수 있는 회전 보상 처리를 보다 구체적으로 설명하기 위한 도면.
도 7은 말단부가 회전하는 동작을 나타내는 도면.
도 8 및 도 9는 물체 거리에 따른 시차를 나타내는 도면.
도 10은 도 7 내지 도 9의 물체 거리에 따른 다양한 값을 나타내는 표.
도 11은 물체 거리에 따른 시차를 나타내는 도면.
도 12는 도 7, 도 8, 및 도 11의 물체 거리에 따른 다양한 값을 나타내는 표.
도 13은 본 발명의 일 실시 예에 따른 이미지 처리 장치의 이미지 처리 방법을 나타내는 흐름도.
이하 도면을 참조하여 본 발명에 대하여 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 장치를 나타내는 도면이며, 도 2는 본 이미지 처리 장치의 말단부의 일 예를 나타내는 도면이다.
도 1을 참조하면, 이미지 처리 장치(100)는 말단부(distal end 또는 distal tip)(110), 추출부(120), 제어부(130), 구동 제어부(140), 및 디스플레이부(150)를 포함할 수 있다. 이 경우, 이미지 처리 장치(100) 중 말단부(110) 및 구동 제어부(140)는 내시경을 구성할 수 있다.
도 2에서 도시된 것처럼, 말단부(110)는 촬영부(112), 광조사부(114), 노즐부(116), 및 생검 채널부(118)를 포함할 수 있다.
말단부(110)는 체강과 같은 생체 내에 삽입되는 내시경의 전단(생체와 인접한 일단)에 배치될 수 있다. 말단부(110)는 생체 내에 삽입되는 영역이므로, 독성 처리 등과 같은 생체 적합성 처리가 된 코팅막에 의해 둘러싸일 수 있다.
촬영부(112)는 생체 내의 생체 조직 또는 병반과 같은 생체 내의 다양한 객체를 촬영할 수 있다. 촬영부(112)는 적어도 하나의 카메라 렌즈를 포함할 수 있다.
광조사부(114)는 생체 내의 다양한 객체에 광을 조사할 수 있다. 광조사부(114)의 광 조사에 의해, 생체 내의 병반과 같은 생체 조직이 쉽게 촬영될 수 있다.
노즐부(116)는 적어도 하나의 노즐을 포함하며, 노즐부(116)는 생체 내의 생체 조직에 물을 주입하는 노즐 및 생체 내의 생체 조직에 공기를 주입하는 노즐 중 적어도 하나를 포함할 수 있다.
생검(Biopsy) 채널부(118)는 생체 내의 생체 조직을 채취할 수 있다. 일 예로서, 생검 채널부(118)는 내부가 비어있는 홀 형태의 구조를 가질 수 있다.
또한, 말단부(110)는 구성들(112, 114, 116, 및 118)을 지지하는 프레임부(미도시)와 프레임부(미도시)를 둘러싸는 피복부(미도시) 중 적어도 하나를 더 포함할 수 있다.
도 2에서 말단부(110)를 구성하는 각 구성들(112, 114, 116, 및 118)은 일 예일 뿐이므로, 그 개수, 형태, 및 배치 위치는 도시된 것에 한정되지 않는다.
추출부(120)는 촬영부(112)에서 촬영된 복수 개의 이미지 중 이미지 상관 정도가 큰 적어도 2개의 이미지를 추출한다. 여기서, 상관 정도란 촬영된 서로 다른 이미지들이 유사한 정도를 나타내는 척도일 수 있으며, 상관 정도가 클수록 촬영된 이미지들이 더 유사한 것을 나타낸다.
추출부(120)는 촬영된 이미지의 특정 형상 또는 패턴을 이용하여 상관 관계가 큰 이미지를 추출할 수 있다. 일 예로서, 촬영된 제1 이미지에 2개의 병반이 존재한다면, 2개의 병반의 위치, 크기, 및 형태 등을 기준으로 촬영된 다른 이미지들 중 상관 정도가 가장 큰 제2 이미지를 추출할 수 있다. 물론, 제1 이미지와 가장 유사한 하나의 이미지만을 추출하지 않고, 제1 이미지와 유사 정도가 큰 2 개의 이미지들을 추출할 수도 있으며, 이는 다양하게 설계 변경 가능하다.
제어부(130)는 이미지 처리 장치(100)를 구성하는 구성 요소들(110, 120, 140, 150)에 대한 전반적인 제어 동작을 수행한다.
또한, 제어부(130)는 다양한 이미지 처리를 수행할 수 있다. 구체적으로, 제어부(130)는 추출된 적어도 2개의 이미지로부터 깊이 정보(depth information)를 산출하고, 산출된 깊이 정보를 이용하여 생체 조직에 대한 3D 이미지를 생성한다.
일 예로서, 서로 상관 정도가 가장 높은 제1 이미지와 제2 이미지가 추출부(120)에서 추출되면, 제1 이미지와 제2 이미지는 서로 시차(disparity)가 생길 수 있다. 따라서, 제어부(130)는 제1 이미지와 제2 이미지로부터 깊이 정보를 산출할 수 있다. 깊이 정보는, 일 예로서, 후술할 도 5의 시차(disparity)일 수 있다.
이 경우, 제어부(130)는 제1 이미지와 제2 이미지의 산출된 깊이 정보를 이용하여 생체 조직에 대한 3D 이미지를 생성할 수 있다.
또한, 제어부(130)는 촬영된 복수 개의 이미지를 분석할 수 있다.
아울러, 제어부(130)는 촬영된 복수 개의 이미지를 이용하여, 특정 생체의 전체를 나타내는 맵 이미지를 생성할 수 있다. 제어부(130)에서 생성된 맵 이미지는 이미지 파일 형태로 저장부(미도시)에 저장될 수 있다.
또한, 제어부(130)는 후술할 다양한 보상 처리를 수행할 수 있다.
구동 제어부(140)는 말단부(110)의 구동 동작을 제어한다. 구체적으로, 구동 제어부(140)는 말단부(110)를 움직이게 함으로써, 말단부(110)의 일 영역에 부착된 촬영부(112)가 회전하거나 쉬프트하도록 제어할 수 있으며, 이미지를 촬영하도록 촬영부(112)를 제어할 수 있다. 한편, 구동 제어부(140)는 촬영부(112)를 직접 회전시키거나 쉬프트되도록 제어할 수도 있다. 또는, 구동 제어부(140)는 광을 생체 조직에 조사하도록 광조사부(114)를 제어할 수도 있다. 또는, 구동 제어부(140)는 물 또는 공기를 주입하도록 노즐부(116)를 제어할 수 있다. 또는, 구동 제어부(140)는 생검 채널부(118)가 비어있는 홀 형태가 아니라 생체 표면을 채취할 수 있는 수단과 채취한 생체 표면을 저장할 수 있는 미세 구조가 설치되어 있는 경우 생체 표면을 채취하도록 생검 채널부(118)를 제어할 수도 있다.
디스플레이부(150)는 생성된 3D 이미지를 디스플레이한다.
디스플레이부(150)는, 제어부(130)에서 촬영된 복수 개의 이미지가 분석되면, 촬영된 복수 개의 이미지 중 기설정된 사이즈보다 큰 병변을 갖는 이미지를 3D 이미지로 디스플레이할 수 있다. 기설정된 사이즈는 미리 저장되거나, 사용자에 의해 변경될 수도 있다.
디스플레이부(150)는 기설정된 사이즈보다 큰 병변을 갖는 이미지를 주변 생체 조직과 구별될 수 있도록 다른 색상으로 디스플레이할 수도 있다.
디스플레이부(150)는, 제어부(130)에서 촬영된 복수 개의 이미지를 이용하여 특정 생체 조직 전체에 대한 맵 이미지가 생성되면, 생성된 맵 이미지를 디스플레이할 수 있다.
한편, 본 이미지 처리 장치(100)는 저장부(미도시)를 더 포함할 수 있다. 저장부(미도시)는 생체 조직의 이미지를 저장하거나, 위 또는 십이지장과 같은 특정 생체 조직 전체에 대한 맵 이미지를 저장할 수 있다. 이 경우, 저장부(미도시)는 이미지 또는 맵 이미지와 함께, 생체 조직의 위치를 나타내기 위한 기준좌표값, 좌표값, 및 방향값을 저장할 수 있다. 또한, 저장부(미도시)는 이미지 촬영 시간을 나타내는 정보를 추가로 저장할 수도 있다. 저장부(미도시)에 저장되는 이미지 이외의 정보들은 추출부(120)에서 상관 정도가 큰 이미지들을 산출하는데 이용될 수 있다.
도 3a 및 도 3b는 본 이미지 처리 장치의 이미지 촬영 동작의 일 예를 나타내는 도면이다.
도 3a 및 도 3b를 참조하면, 이미지 처리 장치(100)는 굴곡부(160) 및 와어어부(170)를 더 포함할 수 있다.
굴곡부(160)는 말단부(110)에 연결되며, 말단부(110)의 회전 구동 동작 또는 쉬프트 구동 동작을 제어할 수 있다. 와이어부(170)는 굴곡부(160)와 연결되며, 구동 제어부(140)의 구동 제어 동작을 굴곡부(160)를 통해 말단부(110)로 제공할 수 있다. 결국, 구동 제어부(140)의 구동 제어 동작에 따라 굴곡부(160)가 움직일 수 있으며, 굴곡부(160)가 움직이게 되면, 말단부(110)가 회전되거나, 쉬프트될 수 있다.
도 3a를 참조하면, 말단부(110)가 각도(A˚)만큼 회전할 수 있으며, 이에 따라 말단부(110)의 촬영부(112)를 통해 생체 조직이 촬영될 수 있는 각도인, 화각(field of view)은 B˚일 수 있다. 촬영부(112)는 말단부(110)가 각도(A˚)만큼 회전하는 동안에 복수 개의 이미지를 촬영할 수 있다.
도 3b를 참조하면, 말단부(110)가 도시된 우측 방향으로 이동할 수 있으며, 이와 같은 이동에 따라 말단부(110)의 화각은 B˚일 수 있다. 촬영부(112)는 말단부(110)가 도시된 우측 방향으로 이동하는 동안에 복수 개의 이미지를 촬영할 수 있다.
이와 같이 말단부(110)가 회전 또는 쉬프트될 때, 말단부(110)의 일 영역에 마련된 촬영부(112)에서 병변과 같은 생체 조직의 이미지를 촬영할 수 있다.
도 1, 도 3a, 및 도 3b를 참조하면, 이미지 처리 장치(100) 중 말단부(110), 굴곡부(160), 와이어부(170), 및 구동 제어부(140)는 내시경을 구성할 수 있다. 한편, 추출부(120), 제어부(130), 및 디스플레이부(150)는 별도의 장치를 구성할 수 있다. 또는, 말단부(110), 굴곡부(160), 와이어부(170), 및 구동 제어부(140)와 함께 추출부(120) 및 제어부(130)는 내시경을 구성할 수도 있다.
도 4는 구동 제어부에서 말단부를 쉬프트시킬 경우 말단부의 움직임을 보상하는 동작을 설명하기 위한 도면이다.
도 4를 참조하면, 구동 제어부(140)가 말단부(110)를 도시된 우측으로 이동시키고자 하는 경우, 구동 제어부(140)의 움직임 제어에 따라 굴곡부(160)의 하부 영역만이 우측으로 이동할 수 있다. 이에 따라, 말단부(110)와 연결되는 굴곡부(160)의 상부 영역은 우측으로 이동하지 않거나, 굴곡부(160)의 하부 영역보다 조금 우측으로 이동하게 된다. 이에 따라, 말단부(110)와 연결되는 굴곡부(160)의 상부 영역을 우측 방향으로 회전시켜주는 보상 처리가 수행되는 것이 바람직하다.
이와 같은 보상 처리를 위하여, 말단부(110)와 굴곡부(160)의 경계 영역에는 기어나 모터 등의 회전 보상 수단이 구비될 수 있다.
도 5는 깊이 정보와 관련되는 시차의 개념을 설명하기 위한 도면이다.
도 5를 참조하면, 물체를 서로 다른 방향에서 보기 때문에 발생하는 거리 차이인 시차(disparity)의 개념을 확인할 수 있다. 여기서, 시차는 깊이 정보일 수 있다.
물체가 1개일 때의 시차(disparity)는 아래의 수학식 1에서와 같이 산출될 수 있다.
Figure pat00001
여기서, i는 센서와 렌즈 사이의 거리이며, IOD 왼쪽 렌즈의 중심과 오른쪽 렌즈의 중심 사이의 좌우거리이며, O는 렌즈와 물체 사이의 거리이다.
또한, 물체가 2개일 때의 시차(Δdisparity)는 아래의 수학식 2에서와 같이 산출될 수 있다.
Figure pat00002
여기서, i는 센서와 렌즈 사이의 거리이며, IOD 왼쪽 렌즈의 중심과 오른쪽 렌즈의 중심 사이의 좌우거리이며, On은 렌즈와 가까운 물체 사이의 거리이며, Of는 렌즈와 먼 물체 사이의 거리이다.
이 경우, 센서는 사람의 눈에 위치해야 할 곳에 배치될 수 있으며, 복수 개의 픽셀들을 포함하는 CCD 또는 CMOS 이미지 센서로 구현될 수 있다.
도 6은 말단부의 회전 동작과 시프트 동작 중 시프트 동작시에 발생할 수 있는 회전 보상 처리를 보다 구체적으로 설명하기 위한 도면이다.
도 6의 상부 도면을 참조하면, 말단부(110)가 오른쪽으로 쉬프트되는 경우에는 이미지 내에서 물체가 왼쪽으로 이동한 것으로 보인다. 도 6의 하부 도면을 참조하면, 말단부(110)가 시계 방향으로 회전되는 경우에는 이미지 내에서 물체가 왼쪽으로 이동한 것으로 보인다.
다만, 말단부(110)가 쉬프트되는 경우에 비하여 말단부(110)가 회전되는 경우에는, 상대적으로 작은 각도만큼 회전이 된다고 하더라도 물체가 많이 움직인 것처럼 되기 때문에, 말단부(110)가 회전되는 경우에는 말단부(110)가 쉬프트되는 경우에 비하여 상대적으로 작게 움직인 것처럼 되도록 보상 처리가 수행되는 것이 바람직하다.
도 7은 말단부가 회전하는 동작을 나타내는 도면, 도 8 및 도 9는 물체 거리에 따른 시차를 나타내는 도면, 도 10은 도 7 내지 도 9의 물체 거리에 따른 다양한 값을 나타내는 표이다.
도 7 내지 도 10을 참조하면, 촬영부(112)의 렌즈 초점 거리가 0.5 mm이고, 센서의 픽셀 피치(pitch)가 3.3μm, 3x3 픽셀로 5mm의 돌기(물체)를 검출하는 경우, 즉 제1 실시 예를 나타낸다.
도 8을 참조하면, 말단부(110)를 회전시키는 동작을 수행하는 경우에, 물체 거리가 동일한 경우, IOD가 커질수록 시차가 커지는 것을 알 수 있다. 도 9를 참조하면, 말단부(110)를 회전시키는 동작을 수행하는 경우에, 물체 거리가 동일한 경우, IOD가 커질수록 2개의 물체 사이의 시차는 작아지는 것을 알 수 있다. 또한, 도 10을 참조하면, 물체 거리가 50mm인 경우에 IOD는 9mm인 것을 확인할 수 있다.
도 11은 물체 거리에 따른 시차를 나타내는 도면, 도 12는 도 7, 도 8, 및 도 11의 물체 거리에 따른 다양한 값을 나타내는 표이다.
도 7, 도 8, 도 11, 및 도 12를 참조하여, 촬영부(112)의 렌즈 초점 거리가 0.5 mm이고, 센서의 픽셀 피치(pitch)가 1.7μm, 3x3 픽셀로 5mm의 돌기(물체)를 검출하는 경우, 즉 제2 실시 예를 나타낸다.
도 8을 참조하면, 말단부(110)를 회전시키는 동작을 수행하는 경우에, 물체 거리가 동일한 경우, IOD가 커질수록 시차가 커지는 것을 알 수 있다. 도 11을 참조하면, 말단부(110)를 회전시키는 동작을 수행하는 경우에, 물체 거리가 동일한 경우, IOD가 커질수록 2개의 물체 사이의 시차는 작아지는 것을 알 수 있다. 또한, 도 10을 참조하면, 물체 거리가 50mm인 경우에 IOD는 3.5mm인 것을 확인할 수 있다.
제1 실시 예와 제2 실시 예를 비교하면, 동일한 물체 거리를 갖는 경우, 제1 실시 예보다 제2 실시 예에서 IOD가 작음을 알 수 있으며, 결국 센서의 픽셀 피치가 작아질수록 동일한 조건에서 IOD가 작아짐에 따라 해상도는 증가함을 알 수 있다.
도 13은 본 발명의 일 실시 예에 따른 이미지 처리 장치의 이미지 처리 방법을 나타내는 흐름도이다.
도 13을 참조하면, 이미지 처리 장치의 이미지 처리 방법은 촬영부(112)에서 생체 내의 생체 조직에 대한 복수 개의 이미지를 촬영한다(S1310).
또한, 추출부(120)에서 촬영된 복수 개의 이미지 중 이미지 상관 정도가 큰 적어도 2개의 이미지를 추출한다(S1320).
그 후, 제어부(130)에서 추출된 적어도 2개의 이미지로부터 깊이 정보를 산출한다(S1330).
그리고 나서, 제어부(130)에서 산출된 깊이 정보를 이용하여 생체 조직에 대한 3D 이미지를 생성한다(S1340).
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 누구든지 본 발명의 기술적 사상 및 범위를 벗어나지 않는 범주 내에서 본 발명의 바람직한 실시 예를 다양하게 변경할 수 있음은 물론이다. 따라서 본 발명은 특허청구범위에서 청구하는 본 발명의 요지를 벗어나지 않는다면 다양한 변형 실시가 가능할 것이며, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 이미지 처리 장치 110 : 말단부
112 : 촬영부 114 : 광조사부
116 : 노즐부 118 : 생검 채널부
120 : 추출부 130 : 제어부
140 : 구동 제어부 150 : 디스플레이부

Claims (12)

  1. 이미지 처리 장치의 이미지 처리 방법에 있어서,
    생체 내의 생체 조직에 대한 복수 개의 이미지를 촬영하는 단계;
    상기 촬영된 복수 개의 이미지 중 이미지 상관 정도가 큰 적어도 2개의 이미지를 추출하는 단계;
    상기 추출된 적어도 2개의 이미지로부터 깊이 정보를 산출하는 단계; 및
    상기 산출된 깊이 정보를 이용하여 상기 생체 조직에 대한 3D 이미지를 생성하는 단계;를 포함하는 이미지 처리 장치의 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 촬영하는 단계는,
    상기 이미지 처리 장치의 말단부를 회전하는 동작 또는 쉬프트하는 동작에 따라 상기 복수 개의 이미지를 촬영하는 것을 특징으로 하는 이미지 처리 장치의 이미지 처리 방법.
  3. 제1항에 있어서,
    상기 생성된 3D 이미지를 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 처리 장치의 이미지 처리 방법.
  4. 제3항에 있어서,
    상기 촬영된 복수 개의 이미지를 분석하는 단계;를 더 포함하며,
    상기 디스플레이하는 단계는, 상기 촬영된 복수 개의 이미지 중 기설정된 사이즈 보다 큰 병변을 갖는 이미지를 3D 이미지로 디스플레이하는 것을 특징으로 하는 이미지 처리 장치의 이미지 처리 방법.
  5. 제3항에 있어서,
    상기 촬영된 복수 개의 이미지를 이용하여 상기 생체 조직에 대한 맵 이미지를 생성하는 단계;를 더 포함하며,
    상기 디스플레이하는 단계는, 상기 맵 이미지를 디스플레이하는 것을 특징으로 하는 이미지 처리 장치의 이미지 처리 방법.
  6. 제1항에 있어서,
    상기 이미지 처리 장치는, 내시경을 포함하는 것을 특징으로 하는 이미지 처리 장치의 이미지 처리 방법.
  7. 이미지 처리 장치에 있어서,
    생체 내의 생체 조직에 대한 복수 개의 이미지를 촬영하는 촬영부;
    상기 촬영된 복수 개의 이미지 중 이미지 상관 정도가 큰 적어도 2개의 이미지를 추출하는 추출부; 및
    상기 추출된 적어도 2개의 이미지로부터 깊이 정보를 산출하고, 상기 산출된 깊이 정보를 이용하여 상기 생체 조직에 대한 3D 이미지를 생성하는 제어부;를 포함하는 이미지 처리 장치.
  8. 제7항에 있어서,
    상기 촬영부의 동작을 제어하는 구동 제어부;를 더 포함하며,
    상기 촬영부는, 상기 구동 제어부의 동작 제어에 따라 회전 동작 또는 쉬프트 동작에 따라 상기 복수 개의 이미지를 촬영하는 것을 특징으로 하는 이미지 처리 장치.
  9. 제7항에 있어서,
    상기 생성된 3D 이미지를 디스플레이하는 디스플레이부;를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
  10. 제9항에 있어서,
    상기 제어부는, 상기 촬영된 복수 개의 이미지를 분석하며,
    상기 디스플레이부는, 상기 촬영된 복수 개의 이미지 중 기설정된 사이즈보다 큰 병변을 갖는 이미지를 3D 이미지로 디스플레이하는 것을 특징으로 하는 이미지 처리 장치.
  11. 제9항에 있어서,
    상기 제어부는, 상기 촬영된 복수 개의 이미지를 이용하여 상기 생체 조직에 대한 맵 이미지를 생성하며,
    상기 디스플레이부는, 상기 맵 이미지를 디스플레이하는 것을 특징으로 하는 이미지 처리 장치.
  12. 제7항에 있어서,
    상기 이미지 처리 장치는, 내시경을 포함하는 것을 특징으로 하는 이미지 처리 장치.
KR1020100135808A 2010-12-27 2010-12-27 이미지 처리 장치 및 그 이미지 처리 방법 KR20120073887A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100135808A KR20120073887A (ko) 2010-12-27 2010-12-27 이미지 처리 장치 및 그 이미지 처리 방법
US13/337,711 US20120162368A1 (en) 2010-12-27 2011-12-27 Image processing apparatus and method for processing image thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100135808A KR20120073887A (ko) 2010-12-27 2010-12-27 이미지 처리 장치 및 그 이미지 처리 방법

Publications (1)

Publication Number Publication Date
KR20120073887A true KR20120073887A (ko) 2012-07-05

Family

ID=46316187

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100135808A KR20120073887A (ko) 2010-12-27 2010-12-27 이미지 처리 장치 및 그 이미지 처리 방법

Country Status (2)

Country Link
US (1) US20120162368A1 (ko)
KR (1) KR20120073887A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527004B2 (en) 2020-02-07 2022-12-13 Samsung Electronics Co., Ltd. Electronic device and operation method thereof

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5557091B2 (ja) * 2010-03-30 2014-07-23 日本電気株式会社 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム
US20150237325A1 (en) * 2012-08-15 2015-08-20 Industrial Technology Research Institute Method and apparatus for converting 2d images to 3d images
US9667889B2 (en) * 2013-04-03 2017-05-30 Butterfly Network, Inc. Portable electronic devices with integrated imaging capabilities

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6346940B1 (en) * 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
US7030904B2 (en) * 1997-10-06 2006-04-18 Micro-Medical Devices, Inc. Reduced area imaging device incorporated within wireless endoscopic devices
US6947784B2 (en) * 2000-04-07 2005-09-20 The General Hospital Corporation System for digital bowel subtraction and polyp detection and related techniques
IL135571A0 (en) * 2000-04-10 2001-05-20 Doron Adler Minimal invasive surgery imaging system
US6692431B2 (en) * 2001-09-07 2004-02-17 Smith & Nephew, Inc. Endoscopic system with a solid-state light source
US7564496B2 (en) * 2002-09-17 2009-07-21 Anteryon B.V. Camera device, method of manufacturing a camera device, wafer scale package
DE602005002405T2 (de) * 2004-07-06 2008-06-12 Fujinon Corporation Ultraschall-Endoskop
US8335357B2 (en) * 2005-03-04 2012-12-18 Kabushiki Kaisha Toshiba Image processing apparatus
US7982777B2 (en) * 2005-04-07 2011-07-19 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
JP4987257B2 (ja) * 2005-06-29 2012-07-25 オリンパス株式会社 内視鏡
WO2007105495A1 (ja) * 2006-03-13 2007-09-20 Olympus Medical Systems Corp. 散乱媒質内部観察装置、撮像システム、撮像方法及び内視鏡装置
JP5047679B2 (ja) * 2007-04-26 2012-10-10 オリンパスメディカルシステムズ株式会社 撮像ユニットおよび、この撮像ユニットの製造方法
WO2008139812A1 (ja) * 2007-05-08 2008-11-20 Olympus Corporation 画像処理装置および画像処理プログラム
EP2163183A4 (en) * 2007-06-05 2015-04-29 Olympus Corp IMAGE PREPARATION DEVICE, IMAGE PROCESSING PROGRAM AND IMAGE PROCESSING
US20080310181A1 (en) * 2007-06-15 2008-12-18 Microalign Technologies, Inc. Brightness with reduced optical losses
JP4959445B2 (ja) * 2007-07-04 2012-06-20 オリンパス株式会社 画像処理装置および画像処理プログラム
JP2010187756A (ja) * 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
US20100234684A1 (en) * 2009-03-13 2010-09-16 Blume Jurgen Multifunctional endoscopic device and methods employing said device
JP5152077B2 (ja) * 2009-04-01 2013-02-27 ソニー株式会社 生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システム
KR101077562B1 (ko) * 2009-11-19 2011-10-28 한전케이피에스 주식회사 구동홀을 갖는 촬상소자를 이용한 형상 연성회로 박막형 내시경장치
JP5435796B2 (ja) * 2010-02-18 2014-03-05 富士フイルム株式会社 画像取得装置の作動方法および画像撮像装置
JP5658945B2 (ja) * 2010-08-24 2015-01-28 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5576775B2 (ja) * 2010-11-29 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527004B2 (en) 2020-02-07 2022-12-13 Samsung Electronics Co., Ltd. Electronic device and operation method thereof

Also Published As

Publication number Publication date
US20120162368A1 (en) 2012-06-28

Similar Documents

Publication Publication Date Title
US9516993B2 (en) Endoscope system
KR102087595B1 (ko) 내시경 시스템 및 그 제어방법
US20150313445A1 (en) System and Method of Scanning a Body Cavity Using a Multiple Viewing Elements Endoscope
CN111295127B (zh) 检查支持装置、内窥镜装置及记录介质
WO2014136576A1 (ja) 内視鏡システム
JP2010279539A (ja) 診断支援装置および方法並びにプログラム。
WO2014168128A1 (ja) 内視鏡システム及び内視鏡システムの作動方法
KR102214637B1 (ko) 의료용 영상 시스템 및 이의 구동 방법
JP2014502174A (ja) ３ｄ機能を有する内視鏡
JP2007244746A (ja) 観察システム
WO2015194242A1 (ja) 画像処理装置
JPWO2014148184A1 (ja) 内視鏡システム
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
JP2011010841A (ja) 内視鏡装置
JP2023164610A (ja) 画像処理装置、画像処理方法および画像処理システム
KR20120073887A (ko) 이미지 처리 장치 및 그 이미지 처리 방법
US20240032799A1 (en) Method, system, software, and device for remote, miniaturized, and three-dimensional imaging and analysis of human lesions research and clinical applications thereof
JP2008188276A (ja) 画像処理装置および方法
JP2008224312A (ja) 蛍光観察装置
JP6169312B2 (ja) 内視鏡装置
JP6987243B2 (ja) ランドマーク推定方法、内視鏡装置、及び、位置推定プログラム
US20140085448A1 (en) Image processing apparatus
JP2003126017A (ja) 手術用顕微鏡システム
CN110475502B (zh) 医疗成像系统、方法和计算机程序
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application