KR101733028B1 - 영상대조에 따른 에지 변위량 예측 방법 - Google Patents

영상대조에 따른 에지 변위량 예측 방법 Download PDF

Info

Publication number
KR101733028B1
KR101733028B1 KR1020160066181A KR20160066181A KR101733028B1 KR 101733028 B1 KR101733028 B1 KR 101733028B1 KR 1020160066181 A KR1020160066181 A KR 1020160066181A KR 20160066181 A KR20160066181 A KR 20160066181A KR 101733028 B1 KR101733028 B1 KR 101733028B1
Authority
KR
South Korea
Prior art keywords
edge
brightness value
edge displacement
brightness
image
Prior art date
Application number
KR1020160066181A
Other languages
English (en)
Inventor
서수영
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020160066181A priority Critical patent/KR101733028B1/ko
Application granted granted Critical
Publication of KR101733028B1 publication Critical patent/KR101733028B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 대조를 통해 밝기값에 따라 영상에 포함되는 에지의 변위를 예측하기 위한 방법으로서, 기준선 검출을 위한 기준 패턴과 에지 위치 검출을 위한 그리드 패턴이 형성되고, 그리드 패턴에 포함되는 밝기값 변화가 서로 다른 복수 개의 타겟 시트를 준비하는 제1 단계와, 타겟 시트를 촬영하여 타겟 시트 영상을 획득하는 제2 단계, 각 타겟 시트 영상별 해당 타겟 시트의 기준 패턴을 분석하여 기준선을 추정함과 더불어, 그리드 패턴을 분석하여 그리드 패턴에 형성된 에지 프로파일을 추출하는 제3 단계, 에지 프로파일을 근거로 인접 픽셀간 밝기차에 의한 기울기를 산출함과 더불어, 이 기울기에 기초하여 영상 내에 존재하는 밝기값 변화에 따른 에지 변위량을 추정하는 제4 단계 및, 추정된 에지 변위량과 밝기값을 관측값으로 크리깅 기법에 적용하여 일정한 간격으로 구성된 밝기값에 대한 에지 변위량을 예측하는 제5 단계를 포함하여 구성되는 것을 특징으로 한다.
본 발명에 따르면, 밝기값 및 카메라 대 물체간 거리에 따라 추정된 에지 변위량을 이용하여 일정 간격의 밝기값에 대응되는 에지 변위를 보다 정확하게 예측추정할 수 있음에 따라 지리 정보 구축, 주행 로봇 등에 있어 정확한 에지 위치 인식이 가능한 효과가 있다.

Description

영상대조에 따른 에지 변위량 예측 방법{Method For Estimating Edge Displacement Againt Brightness}
본 발명은 가변적인 밝기 및 카메라 대 물체 거리 값(Camera-to-object Distance, 이하 COD라 함)들에 대해 머신 비전을 이용하여 서브 픽셀 정밀도(0.1 픽셀 이상)로 에지 변위량을 추정할 수 있는 방법에 관한 것이다.
이미지 처리분야에서, 에지는 일반적인 밝기값이 급격하게 변하는 물체의 경계를 나타낸다. 에지의 검출 및 위치결정은 이미지로부터 물체를 추출 및 인식하는 필수적인 절차이다. 이러한 에지의 중요성으로 인해, 이미지 처리 분야에서 에지 검출이 광범위하게 연구되고 있다.
도 1은 실제 에지 모델과 이미징 이후 에지 변위 측정 결과를 나타낸 것으로서, 이미징 에지(곡선)에서 측정된 에지 변위(적색 화살표)는 실제 에지(파선) 중심으로부터 이격됨을 알 수 있다.
즉, 도 1에 도시된 바와 같이, 이미지 밝기를 이용하여 결정된 에지와 실세계에서 존재하는 에지 간에 갭이 발생한다면, 객체 공간에서 에지의 3차원 재구성 결과는 실측된 에지로부터 일정 정도 변위를 갖게 된다.
따라서, 물체 형상의 정밀한 측정을 위해서는 에지를 서브픽셀 정밀도로 위치결정할 필요가 있다. 이에 따라 에지의 서브픽셀 정밀도의 위치결정을 위한 많은 연구가 있어왔다. 이와 아울러 에지 검출 및 위치결정 결과의 품질을 정량화하기 위한 연구들도 이어지고 있다.
에지 추출 프로세스로부터 결정된 에지 위치가 실세계의 물리적 에지에 얼마나 잘 대응되는가 하는 것은 에지 검출에 있어서의 근본적인 질문이라고 할 수 있다. 서브픽셀 정밀도로 에지를 추출하기 위한 많은 연구가 있었음에도 불구하고, 시스템적인 방식으로 이미지 내에서의 에지와 실세계의 에지 간의 기하학적 상관성을 찾으려는 연구는 거의 없는 실정이다.
한국등록특허 1526465 : 그래픽 프로세서 기반 깊이 영상 화질 개선방법 한국등록특허 1023944 : 영상 처리장치 및 그 방법
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 제안된 것으로서, 본 발명의 목적은 가변적인 밝기 및 카메라 대 물체 거리값들에 대해 머신 비전을 이용하여 서브픽셀 정밀도 수준으로 에지 변위량을 예측할 수 있도록 하는 것이다.
또한, 본 발명은 밝기값 및 카메라 대 물체 거리값에 대한 에지 변위량을 구조화함으로써, 임의의 밝기값에 대한 에지 변위량을 용이하게 예측할 수 있도록 해 주는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 영상 대조를 통해 밝기값에 따라 영상에 포함되는 에지의 변위를 예측하기 위한 방법으로서, 기준선 검출을 위한 기준 패턴과 에지 위치 검출을 위한 그리드 패턴이 형성되고, 그리드 패턴에 포함되는 밝기값 변화가 서로 다른 복수 개의 타겟 시트를 준비하는 제1 단계와, 타겟 시트를 촬영하여 타겟 시트 영상을 획득하는 제2 단계, 각 타겟 시트 영상별 해당 타겟 시트의 기준 패턴을 분석하여 기준선을 추정함과 더불어, 그리드 패턴을 분석하여 그리드 패턴에 형성된 에지 프로파일을 추출하는 제3 단계, 에지 프로파일을 근거로 인접 픽셀간 밝기차에 의한 기울기를 산출함과 더불어, 이 기울기에 기초하여 영상 내에 존재하는 밝기값 변화에 따른 에지 변위량을 추정하는 제4 단계 및, 추정된 에지 변위량과 밝기값을 관측값으로 크리깅 기법에 적용하여 일정한 간격으로 구성된 밝기값에 대한 에지 변위량을 예측하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 영상 대조에 따른 에지 변위량 예측방법이 제공된다.
또한, 상기 타겟 시트는 일정 폭을 갖는 선분 형상으로서 중앙의 공간을 두고 서로 이격형성되는 한 쌍의 수직 영역과 2개의 수평 영역으로 이루어지는 기준 패턴과, 상기 중앙 공간에 형성되는 4개의 정사각형으로 이루어지는 그리드패턴을 포함하는 것을 특징으로 하는 영상 대조에 따른 에지 변위량 예측방법이 제공된다.
또한, 상기 그리드 패턴은 상부 2개의 정사각형과 하부 2개의 정사각형으로 이루어지며, 하나의 정사각형과 그 대각선 방향의 정사각형은 배경으로 사용되고, 나머지 사각형들은 전경으로 사용되며, 전경 및 배경 밝기값은 가변적인 밝기값을 갖도록 구성되는 것을 특징으로 하는 영상 대조에 따른 에지 변위량 예측방법이 제공된다.
또한, 상기 전경 밝기값은 배경 밝기값 보다 밝게 되도록 설정되되, 상기 배경은 0.0 ~ 0.9 범위의 가변적인 밝기값을 갖도록 설정되고, 전경은 0.1 ~ 1.0 범위의 가변적인 밝기값을 갖도록 복수 개의 타겟 시트가 제작되는 것을 특징으로 하는 영상대조에 따른 에지 변위량 예측방법이 제공된다.
또한, 상기 제2 단계는 각 타겟 시트에 대히여 카메라 대 물체 간 거리를 가변시키면서 복수개의 영상을 획득하는 단계를 포함하고, 상기 제3 단계는 카메라 대 물체간 거리별 밝기값 변화에 따른 에지 프로파일을 추정하며, 상기 제4 단계는 카메라 대 물체간 거리별 에지 변위량을 추정하고, 상기 제5 단계는 밝기값 변화 및 카메라 대 물체간 거리를 고려하여 일정 간격의 밝기값에 대한 에지 변위량을 예측하는 것을 특징으로 하는 영상 대조에 따른 에지 변위량 예측 방법이 제공된다.
또한, 상기 제4 단계는 이웃하는 픽셀의 중심 부분에서 픽셀간 밝기값 차이에 의한 밝기값 기울기를 산출하는 단계와, 미리 설정된 문턱값 보다 큰 유효 기울기 범위에서의 기울기 위치를 탐색하는 단계, 가우시안 함수를 이용하여 탐색된 기울기 위치에 대응되는 기울기 분포 함수를 생성하는 단계 및, 기울기 분포 함수를 통해 밝기값에 대한 에지 변위량을 추정하는 단계를 포함하여 구성되는 것을 특징으로 하는 영상대조에 따른 에지 변위량 예측 방법이 제공된다.
또한, 상기 제5 단계는 밝기값에 대한 에지 변위가 기 설정된 양성 방향으로 발생된 제1 아웃라이어를 검출하는 단계와, 에지 변위의 잔차가 기 설정된 문턱값 보다 큰 제2 아웃라이어를 검출하는 단계, 상기 제1 및 제2 아웃라이어를 제거한 후, 남아 있는 인라이어에 대한 베리오그램을 산출하는 단계, 베리오그램의 포인트를 관측값으로 하여 이차 함수 형태의 공분산 함수를 생성하고, 최소자승기법을 이용하여 파라미터를 추정함으로써, 일정 간격을 갖는 밝기값에 대한 에지 변위를 예측하는 단계를 포함하여 구성되고, 상기 이차함수 형태의 공분산 함수는 하기 수학식과 같이 생성되는 것을 특징으로 하는 영상 대조에 따른 에지 변위량 예측 방법.
Figure 112016051566486-pat00001
여기서, a,b는 추정 파라미터이고, h는 인라이어 포인트간 거리임.
또한, 상기 일정 간격을 갖는 밝기값에 대한 에지 변위 예측값은 하기 수학식에 의해 산출되는 것을 특징으로 하는 영상 대조에 따른 에지 변위량 예측 방법.
Figure 112016051566486-pat00002
여기서, P는 잔차가 예측된 그리드 구성에서의 임의 포인트이고, k,K,R은 하기와 같이 정의됨.
Figure 112016051566486-pat00003
여기서, PPi 는 P 포인트와 Pi 포인트 사이의 거리이고, PiPj 는 Pi 포인트와 Pj 포인트 사이의 거리이며, Ri 는 Pi 포인트 잔차임.
본 발명에 따르면, 밝기값 및 카메라 대 물체간 거리에 따라 추정된 에지 변위량을 이용하여 일정 간격의 밝기값에 대응되는 에지 변위를 보다 정확하게 예측예측할 수 있음에 따라 지리 정보 구축, 주행 로봇 등에 있어 정확한 에지 위치 인식이 가능한 효과가 있다.
도1은 에지 변위 측정 결과를 예시한 도면.
도2는 본 발명이 적용되는 에지 변위량 예측시스템의 개략적인 구성을 도시한 도면.
도3은 도2에 도시된 타겟시트(100)의 패턴 형상을 도시한 도면.
도4는 배경 밝기가 0.3이고, 전경 밝기가 0.8로 설계된 크롭 이미지로서, a=1m, b=6m의 COD에서 촬영한 이미지를 예시한 도면.
도5는 본 발명에 따른 영상대조에 따른 에지 변위량 예측 방법을 설명하기 위한 흐름도.
도6은 타겟 시트의 그리드 패턴에 대해 설정된 양성(positive) 방향을 나타낸 도면.
도7은 에지 변위량 추정을 위해 수집된 에지 프로파일 수집 결과를 예시한 도면.
도8은 COD =1m 와 COD=6m 에서 추정된 에지 변위량을 인라이어와 아웃라이어로 분류하여 나타낸 도면.
도9는 COD =1m 와 COD=6m 에서의 베리오그램 산출 결과를 나타낸 도면.
도10은 COD =1m 와 COD=6m 에서 예측된 에지 변위 표면을 도시한 도면.
도11은 모든 COD에 대한 평균 트렌드 표면 및, 평균 잔차 표면을 도시한 도면.
도12는 모든 COD에 대해 예측된 에지 변위량의 평균과 표준편차를 도시한 도면.
이하에서는 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호로 나타내고 있음을 유의해야 한다. 한편, 이에 앞서 본 명세서 및 특허청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도2는 본 발명이 적용되는 에지 변위량 예측시스템의 개략적인 구성을 도시한 도면이다.
도2에 도시된 바와 같이 본 발명에 적용되는 에지 변위량 예측시스템은 다수의 타겟시트(100)와, 카메라(200) 및, 에지 변위량 예측장치(300)를 포함하여 구성된다.
상기 타겟시트(100)는 에지 변위 예측을 위한 특정 패턴이 이미징되어 구성된다. 도3은 상기 타겟시트(100)의 패턴 이미지를 도시한 것으로, 도3에 도시된 바와 같이 일정 폭을 갖는 선분 형상으로서 중앙의 공간을 두고 서로 이격형성되는 한 쌍의 수직 영역과 2개의 수평 영역으로 이루어지는 기준 패턴과, 상기 중앙 공간에 형성되는 4개의 정사각형으로 이루어지는 그리드패턴의 2가지 패턴영역을 갖는다. 그리드패턴은 상부 2개의 정사각형과 하부 2개의 정사각형으로 이루어지며, 좌측상단과 그 대각선 방향의 우측하단의 정사각형은 배경(background)으로 사용되면서 0.1 단위로 0.0(검은색)에서 0.9까지 가변적인 밝기값으로 형성됨과 더불어, 우측상단과 그 대각선 방향의 좌측하단의 정사각형은 전경(foreground)로 사용되면서 0.1의 단위로 0.1에서 1.0(흰색)까지 가변적인 밝기값으로 형성된다. 이때, 상기 전경 밝기는 배경 밝기 보다 0.1 에서 1.0 레벨 높게 설정되고, 이에 따라 총 55개의 서로 다른 밝기 패턴을 갖는 타겟 시트(100)가 구비될 수 있다.
도 3에서 패턴의 각 부분 치수는 표 1과 같다.
부분 a b c d
길이(mm) 9 52.5 35 9
한편, 도2에서 카메라(200)는 상기 서로 다른 밝기 패턴을 갖는 타겟 시트(100)를 촬영하여, 그 타겟시트 촬영 영상(이하 "타겟 영상"이라 칭함)을 상기 에지 변위량 예측장치(300)로 제공한다. 상기 카메라(200)는 각 타겟시트(100)에 대해 카메라(200)와 타겟시트(100)간 거리(이하, "COD"라 칭함)를 1m ~ 6m 범위에서 1m 단위로 변화시키면서 촬영한다. 즉, 상기 카메라(200)는 55개의 각 타겟시트(100)에 대해 거리별 6개의 타켓 영상을 촬영함으로써, 총 330 장의 타켓 영상을 상기 에지 변위량 예측장치(300)로 제공한다. 도4는 배경 밝기가 0.3이고, 전경밝기가 0.8로 설계된 크롭 이미지로서, (a)는 타켓 시트와의 이격 거리가 1m 이고,(b)는 타켓 시트와의 이격 거리가 6m인 상태에서 촬영한 이미지이다.
또한, 도2에서 에지변위량 예측장치(300)는 상기 카메라(200)로부터 제공되는 서로 다른 밝기 및 COD에 대응되는 다수의 타켓영상을 분석하여 에지 프로파일을 추출하고, 이 에지 프로파일을 이용하여 관측된 밝기값에 따른 에지 변위량을 추정하며, 추정된 에지 변위량을 근거로 일정 간격을 갖는 밝기값에 따른 에지 변위량을 예측할 수 있도록 구성된다.
이때, 상기 에지변위량 예측장치(300)는 모든 타겟 영상 내에 존재하는 에지 변위량을 가우시안 함수를 이용하여 추정하고, 추정된 에지의 변위량과 배경 밝기와 전경 밝기에 대응되는 화소 수치값(이하, "DN" 이라 칭함)을 관측값으로 하여 크리깅 기법에 적용함으로써, 일정한 간격으로 구성된 DN 그리드 위치별 에지 변위량을 예측하도록 구성된다. 여기서, DN 은 타켓 시트에서 0.1~1.0 으로 주어지는 각 밝기 강도에 대응되는 0 ~ 255로 주어지는 밝기값에 대한 디지털 번호이다.
도5는 본 발명에 따른 영상대조에 따른 에지 변위량 예측 방법을 설명하기 위한 흐름도이다.
먼저, 기준선 검출을 위한 기준 패턴과 에지 위치 검출을 위한 그리드 패턴이 형성되되, 그리드 패턴에 포함되는 배경 영역과 전경 영역에 밝기값이 서로 다른 복수의 타켓 시트(100)를 준비한다(ST10). 이때, 그리드 패턴의 배경 영역과 전경 영역의 밝기값은 0.1 ~1.0 의 차이가 나도록 설정된다.
이어, 카메라(200)에서 각 타켓 시트(100)에 대하여 카메라(200) 대 타켓 시트(100) 간 거리(COD)를 가변시키면서 촬영하고, 이를 통해 획득한 복수개의 타겟 영상을 에지 변위량 예측장치(300)로 제공한다(ST20).
에지 변위량 예측장치(300)는 카메라(200)로부터 제공되는 복수의 타겟 영상에 대해 도3에 도시된 타겟 시트 패턴 영역에 대응되는 크롭 이미지를 추출한다(ST30). 이때, 상기 에지 변위량 예측장치(300)는 렌즈 왜곡을 제거하기 위하여 모든 타겟 영상에 대해 포토모델러 소프트웨어를 이용하여 재샘플링한 후, 이 결과 이미지에서 도3과 같은 타겟 시트 패턴 영역만을 포함하도록 크롭한다.
이후, 에지 변위량 예측장치(300)는 다수의 크롭 이미지를 분석하여 에지 프로파일을 수집한다(ST40). 이때, 상기 에지 변위량 예측장치(300)는 한 쌍의 수직 및 수평 방향의 기준선을 사용한다.
에지 변위량 예측장치(300)는 에지 기준선을 검출하기 위해 이진 임계화 및 영역 특성을 이용하여 기준 영역을 검출한다. 이진 임계화 단계에서, 기 설정된 밝기 문턱값을 이용하여 크롭 이미지로부터 이진 이미지가 생성되고, 그 후 각 이진 이미지가 4개의 연결성을 갖는 연결 성분 레이블링에 의해 레이블된다. 레이블링이 좌-우 방향, 상-하 방향으로 수행되므로 레이블 영역 중 첫 번째 영역은 수평 기준영역의 좌측 영역으로 설정된다. 그 다음, 각 영역의 치수를 좌측 영역의 치수와 비교하여 레이블된 영역 중에서 수평 기준 영역의 우측 영역이 결정된다. 또한, 수직 영역은 첫 번째 영역과 나머지 영역의 치수를 비교하여 결정된다. 그리고, 수평 영역과 수직 영역의 중심 기준선을 각 영역의 중심 위치를 직선으로 연결함으로써 추정한다. 그리고, 에지 프로파일이 기준선을 따라 도6에 도시된 양성(positive) 방향으로 수집된다. 즉, 양성 방향은 도6에 도시된 바와 같이 배경 영역(어두운 영역)에서 전경 영역(밝은 영역)방향으로 설정된다.
도7에서 (a)는 배경 DN = 60.3, 전경 DN =162.9 이면서 COD = 3m 인 크롭 이미지에 대한 에지 프로파일 수집 결과를 도시한 것이고, (b)는 (a)에 도시된 프로파일로부터 얻어진 평균 밝기 프로파일이며, (c)는 (a)에 도시된 프로파일로부터 얻어진 기울기 프로파일(청색선)과, 가우시안 함수가 적용된 기울기 프로파일(적색선) 및, 추정된 에징 변위량(흑색선)을 나타낸 것이다. 여기서, 상기 에지 프로파일과, 평균 밝기 프로파일 및, 기울기 프로파일을 생성하는 과정에 대해서는 본 발명자가 이전 출원한 출원번호 10-2016-0021722호에 상세히 기재되어 있으므로, 이에 대한 설명은 생략한다. 즉, 도7 (b) 및 (c)를 통해 밝기기울기 프로파일을 이용하여 밝기값에 따른 서브 픽셀 정밀도로 에지 변위를 추정할 수 있음을 알 수 있다.
한편, 상술한 바와 같이 각 크롭 이미지로부터 에지 프로파일이 생성되면, 에지변위량 예측장치(300)는 에지 프로파일을 근거로 관측 밝기값에 대한 에지 변위량을 추정한다(ST50).
먼저, 연속되는 픽셀의 중심 부분에서 픽셀간 DN 차이에 의한 DN의 기울기를 산출한다. 이때, 기울기 데이터의 위치는 수학식1과 같이 표현된다.
Figure 112016051566486-pat00004
여기서, N은 기울기 데이터 포인트의 개수이고, xint 는 간격의 길이이다.
또한, 기울기는 위치 함수로 표현될 수 있으며, 수학식2와 같다.
Figure 112016051566486-pat00005
이미지 픽셀의 DN 에는 기울기에 영향을 주는 일정량의 노이즈가 포함되기 때문에, 에지 변위량 예측장치(300)는 문턱값 기법을 사용하여 노이즈 보다 충분히 높은 값을 갖는 기울기 범위를 탐색한다. 즉, 에지 변위량 예측장치(300)는 기 설정된 특정 문턱값 Snoise 보다 큰 값을 갖는 기울기의 유효 범위에 대응되는 하측 경계와 상측 경계를 탐색한다. 이때, 문턱값은 도 7 (c)와 같은 기울기 프로파일의 시각적 분석에 의해 결정되며 본 실시예에서는 0.1 로 설정되었다.
상기 하측 경계(ilower)와 상측 경계(iupper)은 수학식 3과 같이 설정될 수 있다.
Figure 112016051566486-pat00006
이때, 유효 기울기의 위치는 벡터의 형태로 나타낼 수 있으며, 수학식 4와 같다.
Figure 112016051566486-pat00007
또한, 기울기의 위치는 수학식 5와 같은 벡터의 형태로 나타낼 수 있다.
Figure 112016051566486-pat00008
그 다음, 수학식 6과 같이 a,b,c 파라미터를 갖는 가우시안 함수의 평균에 의해 기울기 분포 형상을 모델링한다.
Figure 112016051566486-pat00009
상기 수학식6은 비선형 방정식으로, 이것을 선형화하여 a,b,c의 세 개 파라미터를 추정하는 과정을 반복적으로 수행한다. 이때, 파라미터 b의 추정값은 주어진 밝기에 대한 에지 변위량으로 설정된다. 도7 (c)는 주어진 기울기 프로파일이나 영상 대조에 대하여 추정된 가우시안 모델과 에지 변위량을 보여준다.
한편, 도5에서 상기 에지 변위량 예측장치(300)는 상기 ST50단계에서 추정된 에지 변위량을 근거로 일정 간격의 밝기값에 대응되는 에지 변위량 예측 정보를 생성한다(ST60).
에지 변위량 예측장치(300)는 각 COD에 대해 추정된 에지 변위에서 각 DN 조합 세트별 에지 변위를 예측하기 위한 데이터 포인트를 수집한다.
이를 위하여 우선, 에지 변위량 예측장치(300)는 두 단계로 아웃라이어(outlier)를 검출한다. 도8 에서 (a)는 COD =1m 인 이미지에 대한 에지 변위량을 인라이어와 아웃라이어로 분류하여 나타낸 것이고, (b)는 COD =6m 인 이미지에 대한 에지 변위량을 인라이어와 아웃라이어로 분류하여 나타낸 것이다. 도 8에서 제1 단계에서 검출된 아웃라이어는 적색 선과 적색 원을 갖도록 표시되고, 제2 단계에서 검출된 아웃라이어는 녹색선과 녹색 원으로 표시된다. 또한, 인라이어는 흑색선과 흑색원으로 표시된다. 여기서, 원은 에지 변위의 영점 위치를 의미한다.
제1 단계에서, 에지 변위량 예측장치(300)는 에지 변위는 DN이 높은 영역에서 낮은 영역의 방향으로 발생되다는 가정하에, 양성 에지 변위(어두운 영역에서 밝은 영역 방향으로 발생된 에지 변위)를 아웃라이어로 분류한다. 도8은 COD =1m 과 COD = 6m 인 경우에 대해 검출된 블런더(blunders, 적색 원)과 선들을 보여준다.
제2 단계에서, 에지 변위량 예측장치(300)는 3-D 평면을 이용하여 잔여 블런더를 검출한다.
전경과 배경 DN이 동일한 경우 에지 변위가 "0"이 된다는 가정하에, 상기 3-D 평면은 수학식 7과 같이 모델링된다.
Figure 112016051566486-pat00010
여기서, X,배경 DN, Y는 전경 DN, Z는 에지 변위를 나타내고, a는 추정되어질 유일한 평면 파라미터이고, e는 에지 변위에 존재하는 것으로 추정되는 랜덤 에러이다.
에지 변위가 n 개 주어진 경우, 평면은 수학식8과 같이 모델링된다.
Figure 112016051566486-pat00011
상기 수학식8은 벡터와 행렬의 형태로 표현될 수 있으며, 수학식9와 같다.
Figure 112016051566486-pat00012
여기서, 벡터 파라미터
Figure 112016051566486-pat00013
는 수학식 10에 의해 추정된다.
Figure 112016051566486-pat00014
또한, 잔차 벡터(R)는 수학식 11에 의해 산출된다.
Figure 112016051566486-pat00015
그런 다음, 그 잔차가 문턱값 보다 큰 에지 변위를 아웃라이어로 설정한다. 본 실시예에서 문턱값은 0.05로 설정하였다. 도8은 COD =1m 과 COD = 6m 인 경우에 대한 아웃라이어를 녹색 선과 녹색 원으로 보여준다.
이후, 상기한 아웃라이어를 제거하고, 크리깅을 사용하여 임의의 에지 대조 영상에서의 에지 변위를 예측하기 위해 수학식 11로부터 파생된 인라이어들에 대한 잔류 베리오그램(variogram)을 산출한다. 여기서, 베리오그램(variogram)은 관측값들의 공간적/시간적 연관성을 표현하는 함수로서, 관측값의 공간적 분포특성을 규정한다.
임의 거리 h에 대한 베리오그램은 수학식 12과 같이 산출된다.
Figure 112016051566486-pat00016
여기서,
Figure 112016051566486-pat00017
는 Ri 와 Rj 의 사이에 거리가 h 이내인 이웃하는 잔차 쌍의 수이고, Ri 와 Rj는 이웃하는 i번째와 j번째 인라이어 포인트에서 잔차값이다.
본 실시예에서 베리오그램은 최대 이웃 거리가 60 으로 설정되면서, 10의 크기 단위로 산출되었다. 도9는 COD =1m 와 COD=6m 에서의 베리오그램 산출 결과를 나타낸 것으로, 도9 (a)는 COD =1m 이미지에 대한 베리오그램(청색 원)과 이차 함수(적색 선)을 나타낸 것이고, (b)는 COD =6m 이미지에 대한 베리오그램(청색 원)과 이차 함수(적색 선)을 나타낸 것이다.
이때, 베리오그램에서 포인트는 수학식 13과 같이 공분산 함수 C(h)를 위한 관측값으로 설정된다.
Figure 112016051566486-pat00018
여기서, e는 랜덤 에러이다.
베리오그램의 시각적 분석으로부터 상기 공분산 함수는 2개 파라미터를 포함하는 이차 함수(수학식 14)로 모델링된다.
Figure 112016051566486-pat00019
여기서, a와 b는 추정 파라미터이다.
모든 COD에 대하여, 상기 파라미터는 최소자승기법을 이용하여 추정되고, 본 실시예에서의 실험결과 표2와 같이 정리되었다. 또한, 도9는 표 2에서 COD =1m 와 COD=6m 에 대한 공분산 함수를 보여준다.
COD a b
1m 9.9539e-4 1.9450e-7
2m 7,4699e-4 3.1485e-7
3m 6.4652e-4 2.8163e-7
4m 7.9700e-4 1.6670e-7
5m 6.2395e-4 1.4177e-7
6m 7.2042e-4 2.3867e-7
또한, 공분산 함수를 사용하여 일정 간격을 갖는 DN의 그리드 구성에서의 에지 변위를 예측할 수 있다.
Figure 112016051566486-pat00020
여기서, P는 잔차가 예측된 그리드 구성에서의 임의 포인트이고, k,K,R은 수학식16과 같이 정의된다.
Figure 112016051566486-pat00021
여기서, PPi 는 P 포인트와 Pi 포인트 사이의 거리이고, PiPj 는 Pi 포인트와 Pj 포인트 사이의 거리이며, Ri 는 Pi 포인트 잔차이다. 본 실시예에서, DN의 그리드 크기는 1로 설정하였다. 그리드 포인트에서 잔차를 예측한 후, 에지 변위량 예측을 산출하기 위해 예측된 잔차와 트렌드를 추가한다.
도10은 COD =1m 와 COD=6m 에서 예측된 에지 변위 표면을 도시한 것이다. 도10에서 도시된 바와 같이, 예측된 에지 변위는 유사한 분포 특성을 갖는다. 더 조사하여 보면, 도 11(a)와 같이 모든 COD에 대한 평균 트렌드 표면을 획득할 수 있다. 그리고, 도 11 (b)와 같이 모든 COD에 대한 평균 잔차 표면을 획득할 수 있다. 즉, 도11의 시각적 분석을 통해 에지 변위는 0.1 픽셀 정확도로 표현될 수 있음을 알 수 있다.
한편, 에지 위치결정에 대해 0.1 픽셀보다 더 좋은 정확도를 요구한다면, 잔차 표면을 고려할 수 있다. 즉, 관측값으로 예측된 에지 변위량을 에지 변위 표면특성에 맞춘 상태에서 남는 잔차값에 대한 에지 변위량을 예측하도록 실시할 수 있다. 도12 (a)는 본 실시예에서 모든 COD에 대해 예측된 에지 변위량의 평균이고, (b)는 표준편차이다. 도 12 (b)에 대한 시각적 분석을 통해 가변적인 COD에서의 에지 변위 차는 에지 영상대조가 큰 경우에 더 크게 영향을 미침을 알 수 있다.
100 : 타겟시트, 200 : 카메라,
300 : 에지 변위량 예측장치.

Claims (8)

  1. 영상 대조를 통해 밝기값에 따라 영상에 포함되는 에지의 변위를 예측하기 위한 방법으로서,
    기준선 검출을 위한 기준 패턴과 에지 위치 검출을 위한 그리드 패턴이 형성되고, 그리드 패턴에 포함되는 밝기값 변화가 서로 다른 복수 개의 타겟 시트를 준비하는 제1 단계와,
    타겟 시트를 촬영하여 타겟 시트 영상을 획득하는 제2 단계,
    각 타겟 시트 영상별 해당 타겟 시트의 기준 패턴을 분석하여 기준선을 추정함과 더불어, 그리드 패턴을 분석하여 그리드 패턴에 형성된 에지 프로파일을 추출하는 제3 단계,
    에지 프로파일을 근거로 인접 픽셀간 밝기차에 의한 기울기를 산출함과 더불어, 이 기울기에 기초하여 영상 내에 존재하는 밝기값 변화에 따른 에지 변위량을 추정하는 제4 단계 및,
    추정된 에지 변위량과 밝기값을 관측값으로 크리깅 기법에 적용하여 일정한 간격으로 구성된 밝기값에 대한 에지 변위량을 예측하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 영상 대조에 따른 에지 변위량 예측방법.
  2. 제1항에 있어서,
    상기 타겟 시트는 일정 폭을 갖는 선분 형상으로서 중앙의 공간을 두고 서로 이격형성되는 한 쌍의 수직 영역과 2개의 수평 영역으로 이루어지는 기준 패턴과, 상기 중앙 공간에 형성되는 4개의 정사각형으로 이루어지는 그리드패턴을 포함하는 것을 특징으로 하는 영상 대조에 따른 에지 변위량 예측방법.
  3. 제2항에 있어서,
    상기 그리드 패턴은 상부 2개의 정사각형과 하부 2개의 정사각형으로 이루어지며, 하나의 정사각형과 그 대각선 방향의 정사각형은 배경으로 사용되고, 나머지 사각형들은 전경으로 사용되며, 전경 및 배경 밝기값은 가변적인 밝기값을 갖도록 구성되는 것을 특징으로 하는 영상 대조에 따른 에지 변위량 예측방법.
  4. 제3항에 있어서,
    상기 전경 밝기값은 배경 밝기값 보다 밝게 되도록 설정되되,
    상기 배경은 0.0 ~ 0.9 범위의 가변적인 밝기값을 갖도록 설정되고, 전경은 0.1 ~ 1.0 범위의 가변적인 밝기값을 갖도록 복수 개의 타겟 시트가 제작되는 것을 특징으로 하는 영상대조에 따른 에지 변위량 예측방법.
  5. 제1항에 있어서,
    상기 제2 단계는 각 타겟 시트에 대히여 카메라 대 물체 간 거리를 가변시키면서 복수개의 영상을 획득하는 단계를 포함하고,
    상기 제3 단계는 카메라 대 물체간 거리별 밝기값 변화에 따른 에지 프로파일을 추정하며,
    상기 제4 단계는 카메라 대 물체간 거리별 에지 변위량을 추정하고,
    상기 제5 단계는 밝기값 변화 및 카메라 대 물체간 거리를 고려하여 일정 간격의 밝기값에 대한 에지 변위량을 예측하는 것을 특징으로 하는 영상 대조에 따른 에지 변위량 예측 방법.
  6. 제1항에 있어서,
    상기 제4 단계는 이웃하는 픽셀의 중심 부분에서 픽셀간 밝기값 차이에 의한 밝기값 기울기를 산출하는 단계와,
    미리 설정된 문턱값 보다 큰 유효 기울기 범위에서의 기울기 위치를 탐색하는 단계,
    가우시안 함수를 이용하여 탐색된 기울기 위치에 대응되는 기울기 분포 함수를 생성하는 단계 및,
    기울기 분포 함수를 통해 밝기값에 대한 에지 변위량을 추정하는 단계를 포함하여 구성되는 것을 특징으로 하는 영상대조에 따른 에지 변위량 예측 방법.
  7. 제1항에 있어서,
    상기 제5 단계는 밝기값에 대한 에지 변위가 기 설정된 양성 방향으로 발생된 제1 아웃라이어를 검출하는 단계와,
    에지 변위의 잔차가 기 설정된 문턱값 보다 큰 제2 아웃라이어를 검출하는 단계,
    상기 제1 및 제2 아웃라이어를 제거한 후, 남아 있는 인라이어에 대한 베리오그램을 산출하는 단계,
    베리오그램의 포인트를 관측값으로 하여 이차 함수 형태의 공분산 함수를 생성하고, 최소자승기법을 이용하여 파라미터를 추정함으로써, 일정 간격을 갖는 밝기값에 대한 에지 변위를 예측하는 단계를 포함하여 구성되고,
    상기 이차함수 형태의 공분산 함수는 하기 수학식과 같이 생성되는 것을 특징으로 하는 영상 대조에 따른 에지 변위량 예측 방법.
    Figure 112016051566486-pat00022

    여기서, a,b는 추정 파라미터이고, h는 인라이어 포인트간 거리임.
  8. 제7항에 있어서,
    상기 일정 간격을 갖는 밝기값에 대한 에지 변위 예측값은 하기 수학식에 의해 산출되는 것을 특징으로 하는 영상 대조에 따른 에지 변위량 예측 방법.
    Figure 112016051566486-pat00023

    여기서, P는 잔차가 예측된 그리드 구성에서의 임의 포인트이고, k,K,R은 하기와 같이 정의됨.
    Figure 112016051566486-pat00024

    여기서, PPi 는 P 포인트와 Pi 포인트 사이의 거리이고, PiPj 는 Pi 포인트와 Pj 포인트 사이의 거리이며, Ri 는 Pi 포인트 잔차임.
KR1020160066181A 2016-05-30 2016-05-30 영상대조에 따른 에지 변위량 예측 방법 KR101733028B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160066181A KR101733028B1 (ko) 2016-05-30 2016-05-30 영상대조에 따른 에지 변위량 예측 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160066181A KR101733028B1 (ko) 2016-05-30 2016-05-30 영상대조에 따른 에지 변위량 예측 방법

Publications (1)

Publication Number Publication Date
KR101733028B1 true KR101733028B1 (ko) 2017-05-08

Family

ID=60164150

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160066181A KR101733028B1 (ko) 2016-05-30 2016-05-30 영상대조에 따른 에지 변위량 예측 방법

Country Status (1)

Country Link
KR (1) KR101733028B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101981773B1 (ko) * 2018-01-03 2019-05-27 경북대학교 산학협력단 그래디언트의 적응적 가중에 기반한 에지 위치 결정 장치 및 방법
CN113706466A (zh) * 2021-07-26 2021-11-26 桂林电子科技大学 一种阴影线索与视差法的图像深度测量方法
CN114527948A (zh) * 2020-11-23 2022-05-24 深圳Tcl新技术有限公司 剪切区域的计算方法、装置、智能设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010237177A (ja) 2009-03-31 2010-10-21 Nippon Hoso Kyokai <Nhk> Ｍｔｆ測定装置およびｍｔｆ測定プログラム
JP2014521990A (ja) 2011-06-09 2014-08-28 ナム タイ，ヒョク オートフォーカス画像システム
JP2015094701A (ja) 2013-11-13 2015-05-18 日本放送協会 Ｍｔｆ測定装置およびｍｔｆ測定プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010237177A (ja) 2009-03-31 2010-10-21 Nippon Hoso Kyokai <Nhk> Ｍｔｆ測定装置およびｍｔｆ測定プログラム
JP2014521990A (ja) 2011-06-09 2014-08-28 ナム タイ，ヒョク オートフォーカス画像システム
JP2015094701A (ja) 2013-11-13 2015-05-18 日本放送協会 Ｍｔｆ測定装置およびｍｔｆ測定プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101981773B1 (ko) * 2018-01-03 2019-05-27 경북대학교 산학협력단 그래디언트의 적응적 가중에 기반한 에지 위치 결정 장치 및 방법
US11348251B2 (en) 2018-01-03 2022-05-31 Kyungpook National University Industry-Academic Cooperation Foundation Device and method for determining edge location based on adaptive weighing of gradients
CN114527948A (zh) * 2020-11-23 2022-05-24 深圳Tcl新技术有限公司 剪切区域的计算方法、装置、智能设备及存储介质
CN114527948B (zh) * 2020-11-23 2024-03-12 深圳Tcl新技术有限公司 剪切区域的计算方法、装置、智能设备及存储介质
CN113706466A (zh) * 2021-07-26 2021-11-26 桂林电子科技大学 一种阴影线索与视差法的图像深度测量方法

Similar Documents

Publication Publication Date Title
Chen et al. High-accuracy multi-camera reconstruction enhanced by adaptive point cloud correction algorithm
US10699476B2 (en) Generating a merged, fused three-dimensional point cloud based on captured images of a scene
Shan et al. A stereovision-based crack width detection approach for concrete surface assessment
Yu et al. Pavement pothole detection and severity measurement using laser imaging
CN104318548B (zh) 一种基于空间稀疏度和sift特征提取的快速图像配准实现方法
US8660349B2 (en) Screen area detection method and screen area detection system
JP6899189B2 (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
KR101932214B1 (ko) 이미지 처리 기법을 이용하여 균열을 측정하기 위한 장치 및 그 방법
Tsai et al. Segmenting focused objects in complex visual images
KR102073468B1 (ko) 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
JP2017053819A (ja) コンクリートのひび割れ検出方法及び検出プログラム
CN108377374B (zh) 用于产生与图像相关的深度信息的方法和系统
KR101868483B1 (ko) 영상 대조에 따른 두개의 에지 블러 파라미터 예측 방법
CN106257537B (zh) 一种基于光场信息的空间深度提取方法
US11170487B2 (en) Adhered substance detection apparatus
Flesia et al. Sub-pixel straight lines detection for measuring through machine vision
KR101733028B1 (ko) 영상대조에 따른 에지 변위량 예측 방법
JP6823486B2 (ja) ひび割れ検出方法
JP5812705B2 (ja) ひび割れ検出方法
CN105787870A (zh) 一种图形图像拼接融合系统
CN104966283A (zh) 图像分层配准方法
CN104537627A (zh) 一种深度图像的后处理方法
KR101777696B1 (ko) 면적 대칭성을 이용한 에지 위치 결정 방법
JP2005196359A (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant