KR101268539B1 - 영역 검출 방법 및 이를 적용한 영역 검출 장치 - Google Patents

영역 검출 방법 및 이를 적용한 영역 검출 장치 Download PDF

Info

Publication number
KR101268539B1
KR101268539B1 KR1020110029678A KR20110029678A KR101268539B1 KR 101268539 B1 KR101268539 B1 KR 101268539B1 KR 1020110029678 A KR1020110029678 A KR 1020110029678A KR 20110029678 A KR20110029678 A KR 20110029678A KR 101268539 B1 KR101268539 B1 KR 101268539B1
Authority
KR
South Korea
Prior art keywords
area
template
correlation coefficient
intraocular lens
real time
Prior art date
Application number
KR1020110029678A
Other languages
English (en)
Other versions
KR20120111277A (ko
Inventor
김승호
길기범
김민준
최용도
신은수
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020110029678A priority Critical patent/KR101268539B1/ko
Publication of KR20120111277A publication Critical patent/KR20120111277A/ko
Application granted granted Critical
Publication of KR101268539B1 publication Critical patent/KR101268539B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/14—Eye parts, e.g. lenses, corneal implants; Implanting instruments specially adapted therefor; Artificial eyes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection

Abstract

영역 검출 방법이 개시된다. 영역 검출 장치에 의해 인공수정체가 삽입되는 안구의 일 영역을 검출하는 방법은 실시간으로 촬상된 안구에 대한 영상을 입력받는 단계, 촬상된 안구 영상에 상기 인공수정체가 삽입될 영역에 대응되는 템플릿(template)을 설정하는 사용자 명령을 입력받는 단계, 템플릿 매칭(template matching) 알고리즘을 이용하여, 설정된 템플릿과 실시간으로 촬상된 안구 영상 간의 상관 계수를 산출하는 단계, 산출된 상관 계수를 기 설정된 임계값과 비교하는 단계 및 비교 결과에 따라, 템플릿 매칭(template matching) 알고리즘 또는 옵티컬 플로우(optical flow) 알고리즘을 선택적으로 수행하여, 실시간으로 촬상된 안구 영상에서 인공수정체가 삽입되는 영역을 검출하는 단계를 포함한다.

Description

영역 검출 방법 및 이를 적용한 영역 검출 장치{Method for detecting an area and area detecting apparatus applying the same}
본 발명은 인공수정체가 삽입되는 안구의 일 영역을 검출하는 영역 검출 방법 및 이를 적용한 영역 검출 장치에 관한 것으로서, 더욱 상세하게는 템플릿 매칭(template matching) 알고리즘 또는 옵티컬 플로우(optical flow) 알고리즘을 선택적으로 적용하여 인공수정체의 삽입 영역을 검출하는 영역 검출 방법 및 이를 적용한 영역 검출 장치에 관한 것이다.
의료기술의 발전 및 식생활의 개선에 따른 고령화로, 현재 백내장 수술은 빈번한 수술 중 하나이다. 백내장 수술은 많이 필요로 하는 만큼 그 치료법도 다양한데, 그 중 가장 널리 쓰이는 방법은 인공수정체를 이용한 수술법이다.
인공수정체를 이용한 수술법은 인공수정체 삽입 시 미리 계산된 지점 및 각도에 따라 정확하게 삽입하는 것이 중요한데, 일반적으로 인공수정체를 삽입하기 전에 환자의 눈에 직접 펜으로 표시를 하여 삽입을 위한 절개 부분 및 삽입될 수정체 각도를 표시하고 있다.
하지만, 이러한 방법은 수술 중 눈에서 나오는 분비물이나 다른 이물질들로 인해 펜으로 표시한 부분이 흐려지거나 지워질 수 있는 문제가 있다. 따라서, 인공수정체 삽입에 있어, 인공수정체의 삽입 영역을 정확히 추적하기 위한 방안의 모색이 요청된다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 템플릿 매칭(template matching) 알고리즘 또는 옵티컬 플로우(optical flow) 알고리즘을 선택적으로 적용하여, 인공수정체의 삽입 영역을 검출하는 영역 검출 방법 및 이를 적용한 영역 검출 장치를 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 영역 검출 장치에 의해 인공수정체가 삽입되는 안구의 일 영역을 검출하는 방법은 실시간으로 촬상된 안구에 대한 영상을 입력받는 단계, 상기 촬상된 안구 영상에 상기 인공수정체가 삽입될 영역에 대응되는 템플릿(template)을 설정하는 사용자 명령을 입력받는 단계, 템플릿 매칭(template matching) 알고리즘을 이용하여, 상기 설정된 템플릿과 상기 실시간으로 촬상된 안구 영상 간의 상관 계수를 산출하는 단계, 상기 산출된 상관 계수를 기 설정된 임계값과 비교하는 단계 및 상기 비교 결과에 따라, 템플릿 매칭(template matching) 알고리즘 또는 옵티컬 플로우(optical flow) 알고리즘을 선택적으로 수행하여, 상기 실시간으로 촬상된 안구 영상에서 상기 인공수정체가 삽입되는 영역을 검출한다.
이 경우, 상기 사용자 명령을 입력받는 단계는 상기 실시간으로 촬상된 안구 영상 중 하나의 프레임에 대하여 상기 인공수정체가 삽입될 영역에 대응되는 템플릿을 설정하는 사용자 명령을 입력받을 수 있다.
한편, 상기 상관 계수는 -1 내지 1 사이의 값을 가지며, 상기 산출하는 단계는 상기 실시간으로 촬상된 안구 영상의 평균값 및 상기 템플릿의 평균값에 기초하여 상기 상관 계수를 산출할 수 있다.
한편, 상기 기 설정된 임계값은 0.9임이 바람직하다.
한편, 상기 검출하는 단계는 상기 상관 계수가 상기 기 설정된 임계값보다 크면 상기 템플릿 매칭 알고리즘을 수행하며, 상기 상관 계수가 기 설정된 임계값보다 작거나 같으면 상기 옵티컬 플로우 알고리즘을 수행하여, 상기 실시간으로 촬상된 안구 영상에서 상기 인공수정체가 삽입되는 영역을 검출할 수 있다.
한편, 상기 옵티컬 플로우 알고리즘은 Lucas-Kanade 알고리즘인 것이 바람직하다.
한편, 상기 검출된 영역을 표시하는 단계를 더 포함할 수 있다.
한편, 본 발명의 다른 실시 예에 따른 인공수정체가 삽입되는 안구의 일 영역을 검출하는 장치는 상기 안구를 실시간으로 촬상하는 촬상부, 상기 촬상된 안구 영상에 상기 인공수정체가 삽입될 영역에 대응되는 템플릿(template)을 설정하는 사용자 명령을 입력받는 입력부, 템플릿 매칭(template matching) 알고리즘을 이용하여, 상기 설정된 템플릿과 상기 실시간으로 촬상된 안구 영상 간의 상관 계수를 산출하는 산출부 및 상기 산출된 상관 계수를 기 설정된 임계값과 비교하고, 비교 결과에 따라 템플릿 매칭(template matching) 알고리즘 또는 옵티컬 플로우(optical flow) 알고리즘을 선택적으로 수행하여 상기 실시간으로 촬상된 안구 영상에서 상기 인공수정체가 삽입되는 영역을 검출하는 검출부를 포함한다.
이 경우, 상기 입력부는 상기 실시간으로 촬상된 안구 영상 중 하나의 프레임에 상기 인공수정체가 삽입될 영역에 대응되는 템플릿을 설정하는 사용자 명령을 입력받을 수 있다.
한편, 상기 상관 계수는 -1 내지 1 사이의 값을 가지며, 상기 산출부는 상기 실시간으로 촬상된 안구 영상의 평균값 및 상기 템플릿의 평균값에 기초하여 상기 상관 계수를 산출할 수 있다.
한편, 상기 기 설정된 임계값은 0.9임이 바람직하다.
한편, 상기 검출부는 상기 상관 계수가 상기 기 설정된 임계값보다 크면 상기 템플릿 매칭 알고리즘을 수행하며, 상기 상관 계수가 기 설정된 임계값보다 작거나 같으면 상기 옵티컬 플로우 알고리즘을 수행하여 상기 촬상된 안구 영상에서 상기 인공수정체가 삽입되는 영역을 검출할 수 있다.
한편, 상기 옵티컬 플로우 알고리즘은 Lucas-Kanade 알고리즘임이 바람직하다.
한편, 상기 검출된 영역을 표시하는 표시부를 더 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 템플릿 매칭 알고리즘 및 옵티컬 플로우 알고리즘을 선택적으로 적용하여 인공수정체의 삽입 영역을 검출하므로, 보다 적은 연산량으로 인공수정체의 삽입 영역을 검출할 수 있으며, 삽입 영역의 배경 변화에도 강인한 이점을 갖는다.
도 1은 본 발명의 일 실시 예에 따른 영역 검출 장치의 구성을 설명하기 위한 블록도,
도 2는 본 발명의 일 실시 예에 따른 영역 검출 방법을 설명하기 위한 흐름도 그리고,
도 3 내지 도 6은 본 발명의 일 실시 예에 따른 영역 검출 방법의 성능을 평가하기 위한 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 영역 검출 장치의 구성을 설명하기 위한 블록도이다. 본 실시 예에 따른 영역 검출 장치(100)는 인공수정체의 삽입 영역을 검출함에 있어, 템플릿 매칭(template matching) 알고리즘 또는 옵티컬 플로우(optical flow) 알고리즘을 선택적으로 수행하여 인공수정체의 삽입 영역을 검출할 수 있다. 도 1을 참조하면, 이러한 기능을 수행하는 영역 검출 장치(100)는 촬상부(110), 입력부(120), 산출부(130), 검출부(140) 및 표시부(150)를 구비할 수 있다.
촬상부(110)는 안구를 실시간으로 촬상한다. 여기서, 안구는 인공수정체가 삽입될 영역을 포함하며, 이러한 기능을 수행하는 촬상부(110)는 카메라 등으로 구현되며, 촬상된 안구에 대한 영상을 프레임 단위로 출력할 수 있다.
입력부(120)는 촬상된 안구 영상에 인공수정체가 삽입될 영역에 대응되는 템플릿(template)을 설정하는 사용자 명령을 입력받는다. 구체적으로, 입력부(120)는 실시간으로 촬상된 안구 영상 중 하나의 프레임에 대해 너비 w, 높이 h를 가지는 템플릿을 설정하는 사용자 명령을 입력받을 수 있으며, 여기서, 템플릿은 템플릿 매칭(template matching) 알고리즘에서 추적하고자 하는 영역의 이미지를 의미할 수 있다.
구체적으로, 템플릿 매칭(template matching) 알고리즘이란, 추적하고자 하는 영역의 이미지에 대한 템플릿과 입력 영상 간의 상관 관계(correlation)를 산출하고, 이에 따라, 입력 영상에서 추적하고자 하는 영역을 검출하는 알고리즘을 의미한다.
이러한 템플릿 매칭 알고리즘은 제곱차(squared difference) 매칭 방법, 상관관계(correlation) 매칭 방법 그리고 상관계수(correlation coefficient) 매칭 방법의 3 가지 방법으로 구분할 수 있으며, 이하에서 구체적인 설명을 위해, 입력 영상을 I(x,y), 템플릿을 T(x,y), 결과 영상을 R(x,y)라고 표기한다([1] 양한진, 주영훈, “템플릿 정합과 B-Spline 보간에 의한 3차원 광학 영상 처리”, 한국지능시스템학회 논문지, 제19권, 제5호, pp. 683-688, 2009 및 [2] Gary Bradski, Adrian Kaehler, Learning Opencv: Computer Vision with the Opencv Library, O’REILLY, 2008).
구체적으로, 제곱차 매칭 방법은 픽셀 값의 제곱차를 이용하는 방법으로, 템플릿과 입력 영상에 포함된 추적하고자 하는 영역이 완벽하게 일치하면 제곱차로 0 을 반환하게 되고, 그렇지 않으면 값이 커지게 된다. 이는 아래의 수학식 1과 같이 나타낼 수 있다.
Figure 112011023646984-pat00001
여기서,
Figure 112011023646984-pat00002
는 각 픽셀에 대한 템플릿과 입력 영상의 차의 제곱을 의미한다.
또한, 상관관계 매칭 방법은 템플릿과 입력 영상의 곱을 제곱하여 모두 더하는 방법이다. 이에 따라, 템플릿과 입력 영상에 포함된 추적하고자 하는 영상이 완벽하게 일치하면 값이 크게 나오고, 일치하지 않으면 작은 값이 나오거나 0 이 나온다. 이는 다음과 같은 수학식 2로 나타낼 수 있다.
Figure 112011023646984-pat00003
여기서,
Figure 112011023646984-pat00004
는 템플릿과 입력 영상의 곱을 제곱하여 더한 값을 의미한다.
한편, 상관계수 방법은 템플릿과 입력 영상 각각의 평균을 고려하여, 입력 영상과의 매칭을 수행하는 방법이다. 그러므로, 템플릿과 입력 영상에 포함된 추적하고자 하는 영상이 완벽하게 일치하면 1 을 반환하고 완전히 불일치하면 -1 을 반환하며 이는 두 영상 사이에 전혀 연관성이 없음을 의미한다. 이는 하기의 수학식 3 내지 수학식 5를 이용해서 나타낼 수 있다.
Figure 112011023646984-pat00005
Figure 112011023646984-pat00006
Figure 112011023646984-pat00007
여기서, w와 h는 각각 템플릿 영역의 너비와 높이를 나타낸다. 한편, 수학식 5를 정규화하면 하기의 수학식 6과 같이 나타낼 수 있다.
Figure 112011023646984-pat00008
이와 같이, 상관계수 방법은 템플릿 영역과 입력 영상 각각의 평균을 이용하여 상관계수를 구하기 때문에, 제곱차 방법보다는 정확한 결과를 얻을 수 있다.
산출부(130)는 템플릿 매칭 알고리즘을 이용하여 설정된 템플릿과 실시간으로 촬상된 안구 영상 간의 상관 계수를 산출할 수 있다. 즉, 산출부(130)는 상기의 수학식 6과 같이, 실시간으로 촬상된 안구 영상의 각 프레임의 평균값과 추출된 템플릿의 평균값을 이용하여, 실시간으로 촬상된 안구 영상의 각 프레임마다 설정된 템플릿 간의 상관 관계를 산출할 수 있다.
한편, 산출부(130)가 산출한 상관 계수는 정규화된 값으로, -1 내지 1 사이의 값을 가질 수 있다.
검출부(140)는 산출된 상관 계수와 기 설정된 임계값을 비교하고, 비교 결과에 따라, 템플릿 매칭 알고리즘 또는 옵티컬 플로우 알고리즘을 선택적으로 수행하여 인공수정체가 삽입되는 영역을 검출할 수 있다.
구체적으로, 검출부(140)는 산출부(130)에서 산출된 상관 계수가 기 설정된 임계값보다 크면 템플릿 매칭 알고리즘을 수행하여 촬상된 안구 영상에서 인공수정체가 삽입되는 영역을 검출하며, 상관 계수가 기 설정된 임계값보다 작거나 같으면 옵티컬 플로우 알고리즘을 수행하여, 실시간으로 촬상된 안구 영상에서 인공수정체가 삽입되는 영역을 검출할 수 있다.
여기서, 기 설정된 임계값은 0.9임이 바람직하며, 다만 이는 템플릿을 추출하는 영상 및 촬상된 안구 영상에 따라 변경가능하다.
즉, 검출부(130)는 상관 관계에 기초하여 추적할 템플릿 영역의 배경이 변화가 크게 없는 단순한 배경인지 복잡한 배경인지를 판단하고, 추적할 템플릿 영역의 배경의 변화가 크게 없는 경우에는 템플릿 매칭 알고리즘을 수행하며, 추적할 템플릿 영역의 배경의 변화가 큰 경우에는 옵티컬 플로우 알고리즘을 수행하여 인공수정체가 삽입되는 영역을 검출할 수 있다. 여기서, 상관 관계가 1에 가까울수록 추적할 템플릿 영역의 배경의 변화가 크게 없는 경우라고 판단할 수 있다.
한편, 옵티컬 플로우 알고리즘은 연속적인 영상에서 두 프레임 사이의 밝기 값의 패턴을 추적하는 방법이며, 시공간 상에서의 밝기 변화를 유용하게 추적할 수 있다([3] 김성민, 이주환, 노승규, 박성윤, “초음파 영상에서의 Optical Flow 추적 성능 향상을 위한 전처리 알고리즘 개발 연구”, 전자공학회 논문지, 제47권, 제5호, pp. 24-32, 2010).
이와 같은, 옵티컬 플로우 알고리즘은 밀집 옵티컬 플로우(dense optical flow)와 희소 옵티컬 플로우(sparse optical flow)로 구분된다.
여기서, 밀집 옵티컬 플로우는 영상 내 존재하는 모든 픽셀의 변위 및 속도변화에 대한 계산량이 매우 많고 큰 객체의 움직임을 추적하지 못하기 때문에 실시간으로 구현하기 어려운 단점을 가지고 있다.
반면, 희소 옵티컬 플로우는 본질적으로 작은 지역 정보만을 가지고 이용하기 때문에 계산량이 밀집 옵티컬 플로우에 비하여 매우 적게 나타나고, 큰 객체의 움직임도 추적할 수 있으며 실시간으로 구현이 가능하다는 장점이 있으며, Lucas-Kanade 알고리즘이 대표적이다([3] 및, [4] 이병성, 전준철, “Optical Flow를 이용한 실시간 입술 추적 기법”, 한국인터넷정보학회 춘계학술발표대회 논문집, 제8권, 제1호, pp. 259-262, 2007).
Lucas-Kanade 알고리즘은 밝기 향상성(Brightness constancy), 시간 지속성(temporal persistence), 공간 일관성(spatial coherence)의 3가지 가정을 기반으로 하여 특징영역을 추적한다.
밝기 향상성은 어떤 객체 상의 픽셀은 프레임이 바뀌어도 그 값이 변하지 않는다는 가정을 의미하며, 시간 지속성은 영상 내에서 움직임은 그다지 빠르지 않는다고 가정한다. 즉, 시간 지속성은 영상에서 객체의 움직임에 비하여 시간의 변화가 더 빠르게 진행되며, 이는 연속된 프레임 사이에서 객체의 이동량이 많지 않음을 의미하는 것이다. 마지막으로, 공간 일관성은 공간적으로 서로 인접하는 점들은 동일한 객체에 속할 가능성이 높고, 동일한 움직임을 갖는다고 가정하는 것이다. 구체적인 설명을 위해 이하에서는 밝기값을 I, 픽셀의 위치를 x, 시간을 t라고 표기한다.
밝기 향상성은 추적되고 있는 특정 영역 안의 픽셀들은 시간이 지나도 그 값이 일정함을 나타낸다. 이는 다음과 같은 수학식 7로 나타낼 수 있다.
Figure 112011023646984-pat00009
수학식 7에 편미분 연쇄법칙(Chain Rule)과 x축 및 y축의 속도성분을 추가로 적용하여 다음과 같이 수학식 8로 표현할 수 있다.
Figure 112011023646984-pat00010
수학식 8에서 Vx와 Vy는 각 축에 대한 속도성분을 나타내고, I는 각 픽셀에 대한 밝기 강도를 나타낸다. 수학식 8은 공간 일관성의 가정을 기반으로 수학식 9와 같이 전환될 수 있다.
Figure 112011023646984-pat00011
수학식 9는 하나의 엣지로부터 풀이가 가능한 과제약(Overconstrained) 시스템으로, 최소자승법의 적용을 통해 수학식 10의 형태로 도출할 수 있다.
Figure 112011023646984-pat00012
여기서, 축에 대한 속도 성분을 나타내는 Vx와 Vy를 도출할 수 있다.
이상과 같이, Lucas-Kanade 알고리즘은 밝기 향상성, 시간 지속성, 공간 일관성의 3가지 가정을 기반으로 영상 내 특정 영역을 추적한다.
즉, 검출부(140)는 밝기 향상성, 시간 지속성, 공간 일관성의 3가지 가정을 기반으로 하는 Lucas-Kanade 알고리즘에 기초하여, 산출된 상관 계수가 기 설정된 임계값보다 작거나 같은 경우, 촬상된 안구 영상에서 인공수정체가 삽입되는 영역을 검출할 수 있다. 그리고, 검출부(140)는 산출된 상관 계수가 기 설정된 임계값보다 큰 경우, 템플릿 매칭 알고리즘을 이용하여 촬상된 안구 영상에서 인공수정체가 삽입되는 영역을 검출할 수 있다. 한편, 템플릿 매칭 알고리즘 및 옵티컬 플로우 알고리즘은 본 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 용이하게 이해할 수 있으므로 더 이상의 구체적인 설명은 생략한다.
표시부(150)는 검출된 영역을 표시할 수 있다. 즉, 표시부(140)는 촬상부(110)에서 촬상한 안구 영상에 검출된 인공수정체가 삽입되는 영역을 부가하여 표시할 수 있다.
한편, 상술한 실시 예에서는 템플릿을 설정하기 위한 사용자 명령을 입력받는 것으로 설명하였지만, 이는 일 예에 불과하다. 본 발명에 따른 영역 검출 장치에서 인공수정체가 삽입되는 영역에 대한 템플릿을 자동적으로 설정할 수도 있다. 구체적으로, 촬상된 안구 영상에서 픽셀의 밝기가 낮은 값에서 높은 값으로 변하는 부분 또는 그 반대로 변하는 부분에 대해 템플릿을 자동적으로 설정할 수도 있다.
도 2는 본 발명의 일 실시 예에 따른 영역 검출 방법을 설명하기 위한 흐름도이다.
실시간으로 촬상된 안구에 대한 영상을 입력받는다(S210).
이후, 촬상된 안구 영상에 상기 인공수정체가 삽입될 영역에 대응되는 템플릿(template)을 설정하는 사용자 명령을 입력받는다(S220). 여기서, 실시간으로 촬상된 안구 영상 중 하나의 프레임에 대하여 인공수정체가 삽입될 영역에 대응되는 템플릿을 설정하는 사용자 명령을 입력받을 수 있다.
이후, 템플릿 매칭(template matching) 알고리즘을 이용하여, 설정된 템플릿과 실시간으로 촬상된 안구 영상 간의 상관 계수를 산출한다(S230). 여기서, 실시간으로 촬상된 안구 영상의 평균값 및 템플릿의 평균값에 기초하여 상관 계수를 산출할 수 있으며, 산출된 상관 계수는 -1 내지 1 사이의 값을 가질 수 있다.
이후, 산출된 상관 계수를 기 설정된 임계값과 비교한다(S240). 여기서, 기 설정된 임계값은 0.9가 될 수 있다.
그리고, 비교 결과에 따라, 템플릿 매칭(template matching) 알고리즘(S240-Y) 또는 옵티컬 플로우(optical flow) 알고리즘(S240-N)을 선택적으로 수행하여, 실시간으로 촬상된 안구 영상에서 인공수정체가 삽입되는 영역을 검출할 수 있다. 구체적으로, 상관 계수가 상기 기 설정된 임계값보다 크면 템플릿 매칭 알고리즘을 수행하며(S250), 상관 계수가 기 설정된 임계값보다 작거나 같으면 옵티컬 플로우 알고리즘을 수행하여(S260), 실시간으로 촬상된 안구 영상에서 상기 인공수정체가 삽입되는 영역을 검출할 수 있다.
여기서, 옵티컬 플로우 알고리즘은 Lucas-Kanade 알고리즘일 수 있다.
한편, 실시간으로 촬상된 안구 영상에서 인공수정체가 삽입되는 영역으로 검출된 영역을 표시할 수도 있다.
도 3 내지 도 6은 본 발명의 일 실시 예에 따른 영역 검출 방법의 성능을 평가하기 위한 도면이다. 도 3 및 도 4는 템플릿 매칭 알고리즘만을 적용한 결과이며, 도 5 및 도 6은 본 발명에 따른 영역 검출 방법을 적용한 결과를 나타낸다.
결과를 도출하기 위해 마이크로 소프트의 visual Studio 2010을 사용하였으며, 영상 처리 작업을 위해 OpenCV 2.2를 이용하였다.
각 추적 방법들을 같은 프레임에 대하여 적용을 하고 비교하여야 하기 때문에, 실험 영상은 실제로 인공수정체를 삽입하는 수술 영상을 사용하였다.
또한, 본 발명에 따른 영역 검출 방법을 사용하기에 앞서 기 설정된 임계값 즉, 상관 계수 임계치를 얻기 위해 각종 영상 자료에 대하여 실험을 하였으며, 이를 통해 상관 계수 임계치는 0.9를 도출하였다. 한편, 상관 계수 임계치를 얻기 위한 실험은 각 영상 자료들에 대하여 특정한 템플릿 영역을 지정하고 템플릿 매칭을 시행 수행하였을 때, 추적이 잘못되었을 경우의 상관 계수 값들을 구하기 위한 실험에 해당된다고 볼 수 있다.
프레임 너비 720, 높이 480 그리고 fps가 29인 실제 녹화된 수술 영상에 대하여, 템플릿 매칭만을 수행한 후 150 프레임에 대한 결과는 도 3 및 도 4에 도시되며, 본 발명에 따른 영역 검출 방법을 수행한 후 1100 프레임에 대한 결과는 도 5 및 도 6에 도시된다.
도 3 및 도 4를 참조하면, 150 프레임일 때, 어느 한 지점으로 지정된 템플릿과 추적 결과가 다르게 나오는 것을 확인할 수 있다. 하지만, 도 5 및 도 6을 참조하면, 템플릿 영역의 배경이 크게 변화되어도, 지정된 템플릿에 대해 정확히 추적되는 있는 것을 확인할 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 개재의 범위 내에 있게 된다.
100 : 영역 검출 장치
110 : 촬상부 120 : 입력부
130 : 산출부 140 : 검출부
150 : 표시부

Claims (14)

  1. 영역 검출 장치에 의해 인공수정체가 삽입되는 안구의 일 영역을 검출하는 방법에 있어서,
    실시간으로 촬상된 안구에 대한 영상을 입력받는 단계;
    상기 촬상된 안구 영상에 상기 인공수정체가 삽입될 영역에 대응되는 템플릿(template)을 설정하는 사용자 명령을 입력받는 단계;
    템플릿 매칭(template matching) 알고리즘을 이용하여, 상기 설정된 템플릿과 상기 실시간으로 촬상된 안구 영상 간의 상관 계수를 산출하는 단계;
    상기 산출된 상관 계수를 기 설정된 임계값과 비교하는 단계; 및
    상기 비교 결과에 따라, 템플릿 매칭(template matching) 알고리즘 또는 옵티컬 플로우(optical flow) 알고리즘을 선택적으로 수행하여, 상기 실시간으로 촬상된 안구 영상에서 상기 인공수정체가 삽입되는 영역을 검출하는 단계;를 포함하는 영역 검출 방법.
  2. 제1항에 있어서,
    상기 사용자 명령을 입력받는 단계는,
    상기 실시간으로 촬상된 안구 영상 중 하나의 프레임에 대하여 상기 인공수정체가 삽입될 영역에 대응되는 템플릿을 설정하는 사용자 명령을 입력받는 것을 특징으로 하는 영역 검출 방법.
  3. 제1항에 있어서,
    상기 상관 계수는 -1 내지 1 사이의 값을 가지며,
    상기 산출하는 단계는,
    상기 실시간으로 촬상된 안구 영상의 픽셀의 평균값 및 상기 템플릿의 픽셀의 평균값에 기초하여 상기 상관 계수를 산출하는 것을 특징으로 하는 영역 검출 방법.
  4. 제1항에 있어서,
    상기 기 설정된 임계값은 0.9인 것을 특징으로 하는 영역 검출 방법.
  5. 제1항에 있어서,
    상기 검출하는 단계는,
    상기 상관 계수가 상기 기 설정된 임계값보다 크면 상기 템플릿 매칭 알고리즘을 수행하며, 상기 상관 계수가 기 설정된 임계값보다 작거나 같으면 상기 옵티컬 플로우 알고리즘을 수행하여, 상기 실시간으로 촬상된 안구 영상에서 상기 인공수정체가 삽입되는 영역을 검출하는 것을 특징으로 하는 영역 검출 방법.
  6. 제1항에 있어서,
    상기 옵티컬 플로우 알고리즘은 Lucas-Kanade 알고리즘인 것을 특징으로 하는 영역 검출 방법.
  7. 제1항에 있어서,
    상기 검출된 영역을 표시하는 단계;를 더 포함하는 것을 특징으로 하는 영역 검출 방법.
  8. 인공수정체가 삽입되는 안구의 일 영역을 검출하는 장치에 있어서,
    상기 안구를 실시간으로 촬상하는 촬상부;
    상기 촬상된 안구 영상에 상기 인공수정체가 삽입될 영역에 대응되는 템플릿(template)을 설정하는 사용자 명령을 입력받는 입력부;
    템플릿 매칭(template matching) 알고리즘을 이용하여, 상기 설정된 템플릿과 상기 실시간으로 촬상된 안구 영상 간의 상관 계수를 산출하는 산출부; 및
    상기 산출된 상관 계수를 기 설정된 임계값과 비교하고, 비교 결과에 따라 템플릿 매칭(template matching) 알고리즘 또는 옵티컬 플로우(optical flow) 알고리즘을 선택적으로 수행하여 상기 실시간으로 촬상된 안구 영상에서 상기 인공수정체가 삽입되는 영역을 검출하는 검출부;를 포함하는 영역 검출 장치.
  9. 제8항에 있어서,
    상기 입력부는,
    상기 실시간으로 촬상된 안구 영상 중 하나의 프레임에 상기 인공수정체가 삽입될 영역에 대응되는 템플릿을 설정하는 사용자 명령을 입력받는 것을 특징으로 하는 영역 검출 장치.
  10. 제8항에 있어서,
    상기 상관 계수는 -1 내지 1 사이의 값을 가지며,
    상기 산출부는,
    상기 실시간으로 촬상된 안구 영상의 픽셀의 평균값 및 상기 템플릿의 픽셀의 평균값에 기초하여 상기 상관 계수를 산출하는 것을 특징으로 하는 영역 검출 장치.
  11. 제8항에 있어서,
    상기 기 설정된 임계값은 0.9인 것을 특징으로 하는 영역 검출 장치.
  12. 제8항에 있어서,
    상기 검출부는,
    상기 상관 계수가 상기 기 설정된 임계값보다 크면 상기 템플릿 매칭 알고리즘을 수행하며, 상기 상관 계수가 기 설정된 임계값보다 작거나 같으면 상기 옵티컬 플로우 알고리즘을 수행하여 상기 촬상된 안구 영상에서 상기 인공수정체가 삽입되는 영역을 검출하는 것을 특징으로 하는 영역 검출 장치.
  13. 제8항에 있어서,
    상기 옵티컬 플로우 알고리즘은 Lucas-Kanade 알고리즘인 것을 특징으로 하는 영역 검출 장치.
  14. 제8항에 있어서,
    상기 검출된 영역을 표시하는 표시부;를 더 포함하는 것을 특징으로 하는 영역 검출 장치.
KR1020110029678A 2011-03-31 2011-03-31 영역 검출 방법 및 이를 적용한 영역 검출 장치 KR101268539B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110029678A KR101268539B1 (ko) 2011-03-31 2011-03-31 영역 검출 방법 및 이를 적용한 영역 검출 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110029678A KR101268539B1 (ko) 2011-03-31 2011-03-31 영역 검출 방법 및 이를 적용한 영역 검출 장치

Publications (2)

Publication Number Publication Date
KR20120111277A KR20120111277A (ko) 2012-10-10
KR101268539B1 true KR101268539B1 (ko) 2013-05-29

Family

ID=47281999

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110029678A KR101268539B1 (ko) 2011-03-31 2011-03-31 영역 검출 방법 및 이를 적용한 영역 검출 장치

Country Status (1)

Country Link
KR (1) KR101268539B1 (ko)

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김승호 외 3인, '템플릿 매칭을 이용한 인공수정체 삽입 영역 추적 방법', 2010년도 한국멀티미디어학회 추계학술발표대회 논문집 제13권 2호
'스마트 데이블 구축을 위한 템플릿 매칭과 Optical flow를 이용한 손 트래킹', 한국정보과학회 2005년 추계 학수발표논문집

Also Published As

Publication number Publication date
KR20120111277A (ko) 2012-10-10

Similar Documents

Publication Publication Date Title
US8320618B2 (en) Object tracker and object tracking method
US8639020B1 (en) Method and system for modeling subjects from a depth map
US8885876B2 (en) Visual tracking system and method thereof
US8503726B2 (en) Image processing device, object tracking device, and image processing method
US9767568B2 (en) Image processor, image processing method, and computer program
KR20120138627A (ko) 안면 추적 장치 및 방법
CN111488775A (zh) 注视度判断装置及方法
CN110689555A (zh) 基于前景检测的kcf跟踪目标丢失检测方法及系统
KR20170053807A (ko) 동적 배경을 가진 영상의 대상 객체 검출 방법
US8948461B1 (en) Method and system for estimating the three dimensional position of an object in a three dimensional physical space
JP6950644B2 (ja) 注意対象推定装置及び注意対象推定方法
KR20190009006A (ko) 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
JP4836065B2 (ja) エッジトラッキング方法及びそのコンピュータプログラム
KR101290517B1 (ko) 촬영장치 및 이의 대상 추적방법
CN110826495A (zh) 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统
CN114529587B (zh) 一种视频目标跟踪方法、装置、电子设备及存储介质
CN116489516A (zh) 特定物体跟踪拍摄方法及系统
KR101268539B1 (ko) 영역 검출 방법 및 이를 적용한 영역 검출 장치
CN112926498A (zh) 基于多通道融合和深度信息局部动态生成的活体检测方法
JP2022019339A (ja) 情報処理装置、情報処理方法及びプログラム
KR101269175B1 (ko) 영역 검출 방법 및 이를 적용한 영역 검출 장치
CN115546876B (zh) 一种瞳孔追踪方法及装置
Kerdvibulvech Hybrid model of human hand motion for cybernetics application
Li et al. A multi-frame optical flow spot tracker
Losada et al. Adaptive threshold for robust segmentation of mobile robots from visual information of their own movement

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170417

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 7