KR20160106113A - 형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 기술하는 방법 - Google Patents

형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 기술하는 방법 Download PDF

Info

Publication number
KR20160106113A
KR20160106113A KR1020167021178A KR20167021178A KR20160106113A KR 20160106113 A KR20160106113 A KR 20160106113A KR 1020167021178 A KR1020167021178 A KR 1020167021178A KR 20167021178 A KR20167021178 A KR 20167021178A KR 20160106113 A KR20160106113 A KR 20160106113A
Authority
KR
South Korea
Prior art keywords
distance
morphological scale
scale
space
silhouette
Prior art date
Application number
KR1020167021178A
Other languages
English (en)
Inventor
에르뎀 아카군두즈
Original Assignee
아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 filed Critical 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티
Publication of KR20160106113A publication Critical patent/KR20160106113A/ko

Links

Images

Classifications

    • G06K9/6204
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06K9/48
    • G06K9/481
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469Contour-based spatial representations, e.g. vector-coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752Contour matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 바이너리 실루엣 이미지들로부터 디스크립터를 구축하는 방법에 관한 것이다. 입력 이미지는 완전한 블랙 배경의 앞에 객체(즉, 타겟(target))의 실루엣(화이트 픽셀들의 완전히 닫힌 영역)을 포함하는 흑백의(바이너리) 이미지이다. 상기 방법은 곡선의 형태학적 스케일-스페이스 및 가우시안 스케일-스페이스 모두에 대한 곡률들을 계산한다. 그 다음 이들 평면 방향들은 실루엣 객체를 기술하기 위하여, 컬러 이미지에 맵핑된다. 이 디스크립터는 객체 인식 목적들을 위해 사용될 수 있다.

Description

형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 기술하는 방법{METHOD FOR DESCRIBING PLANAR CURVES USING MORPHOLOGICAL SCALE SPACES}
본 발명은 바이너리 실루엣 이미지들(silhouette images)로부터 디스크립터(descriptor)를 구축하는 방법에 관한 것이다. 입력 이미지는 완전한 블랙 배경(complete black background)의 앞에 객체의 실루엣(화이트 픽셀들의 완전히 닫힌 영역(complete closed region of white pixels)을 포함하는 흑백의(black-and-white)(바이너리(binary)) 이미지이다. 상기 방법은 곡선의 형태학적 스케일-스페이스(morphological scale-space) 및 가우시안 스케일-스페이스(Gaussian Scale-space) 모두에 대한 곡률들(curvatures)을 계산한다. 그 다음 이들 평면 방향들(planar orientations)은 실루엣 객체를 기술하기 위하여, 컬러 이미지에 맵핑된다(mapped). 이 디스크립터는 객체 인식 목적들을 위해 사용될 수 있다.
선행 기술에서, 미국 특허 다큐먼트 US6711293는, 가우시안들의 차이가 스케일-스페이스를 구축하는데 사용되는 것에서의 이미지들에 핵심적인(salient) 특징들을 검출하는 방법을 개시한다. 본 발명은 가우시안의 차이(difference)로부터 구축된 스케일-스페이스를 이용하여 특징 추출을 수행한다는 의미에서 언급된 방법과 유사하다. 그러나 본 발명은 곡률 오퍼레이터 및 닫힌 곡선들(의 연속적인 수학적 표현)을 이용하여 스케일-스페이스를 생성한다. 그러나 언급된 방법은 이미지 픽셀들의 가우시안의 차이를 이용하여 스케일-스페이스를 생성한다. 게다가, 언급된 방법의 출력은 이미지에 핵심적인 포인트들(salient points)의 리스트(list)이지만, 본 발명의 출력은 명확하게(specifically) 실루엣의 윤곽들(contours)에 리스트 핵심적인 포인트(list salient point)이다.
학술 논문 "스케일-베이스 디스크립션 및 평면 곡선들의 인식 및 이차원 형상들(Scale-based Description and Reconition of Planar Curves and Two-dimensional Shapes)"(에프.모크흐타리안(F.Mokhtarian) 및 에이.맥워쓰(A.Macworth))는 스케일-스페이스 표현을 이용하여 단힌 곡선들에 대한 표현을 구축하는 방법을 개시한다. 언급된 방법은 스케일-스페이스를 구축하는데 "곡률의 서클(circle)" 값들을 사용한다는 의미에서 유사하다. 그러나 본 발명 방법은 스케일-스페이스의 레벨들의 차이를 사용하고 언급된 방법과 달리, 그것들의 스케일-정보로, 곡선을 통해(over) 핵심적인 포인트들을 확인한다(identifies).
특허 명세서 PCT/IB2012/050883 이미지들 상의 객체 아웃라인들의 스케일 불변 특징들을 확인하는 방법 및 시스템(System and Method for Identifying Scale Invariant Features of Object Outlines on Images)은 추출된 특징 포인트들의 방향들을 이용하여 실루엣 이미지의 디스크립터를 구축한다는 의미에서 본 발명 명세서와 유사하다. 그러나 본 발명 명세서는 곡선의 형태학적 스케일-스페이스를 또한 사용하고, 따라서 더 많은 유익한(informative) 디스크립션을 인트로듀스한다(introduces).
미국 특허 명세서 US2010080469는 이미지 확인을 위한 특징 디스크립터들을 생성하는 방법 및 시스템을 개시한다. 입력 이미지는 다른 스케일들에서 가우시안-블루어드(Gaussian-blurred)이다. 가우시안 스페이스의 차이는 인접한 가우시안-블루어드 이미지들의 차이들로부터 획득된다. 키 포인트들(Key points)은 가우시안 스페이스의 차이(difference-of-Gaussian space)에서 확인된다. 각 키 포인트를 위해, 최초 샘플링 포인트들(primary sampling points)은 키 포인트로부터 삼차원 상대적 위치들로 정의되고 다른 스케일들의 플레인들(planes)로 도달한다. 이차적인 샘플링 포인트들(Secondary sampling points)은 각 최초 샘플링 포인트에 대해 확인된다. 이차적인 이미지 변화도들(gradients)은 이 최초 샘플링 포인트에 대응하는 이차적인 샘플링 포인트들에서 이미지들 및 최초 샘플링 포인트에서 이미지 사이에서 획득된다. 이차적인 이미지 변화도들은 최초 샘플링 포인트들에서 최초 이미지 변화도들의 구성요소들을 형성한다. 최초 이미지 변화도들은 입력 이미지에 대해 디스크립터 벡터를 획득하는데 연관된다(concatenated). 따라서 획득된 디스크립터 벡터는 스케일 불변이고 이차적인 샘플링 포인트들의 수를 곱셈한 최초 샘플링 포인트들의 수에 동일한 어디션들(additions)의 수를 요구한다.
미국 특허 명세서 US2013223730는 제공된 특징 디스크립터 추출 장치의 특징 디스크립터 추출 방법을 개시한다. 특징 디스크립터 추출 방법은 특징 디스크립터가 추출될 곳으로부터 이미지를 수신하는 단계, 특징 포인트로서 이미지의 픽셀 통계 값(pixel statistical value)이 큰 곳에서의 변화에서 포인트를 추출하는 단계, 및 특징 포인트 상의 중심에 있는 패치(patch)를 추출하는 단계, 복수의 패치 블록들 중 각각의 통계 값을 계산하도록 패치를 블로킹 하는(blocking) 단계, 블록-컨버티드 패치의 통계 값을 이용함으로써 형태학적 변화도를 계산하는 단계, 및 요구된 특징 디스크립터 복잡성을 고려하여 형태학적 변화도를 이용함으로써 특징 디스크립터를 추출하는 단계를 포함한다.
미국 특허 명세서 US20040184677는 이미지들에서 실루엣 엣지들을 검출하는 방법을 개시한다. 주변 이미지(ambient image)는 주변 밝기로 장면에서 획득된다. 빛나는 이미지들(illuminated images)의 세트는 또한 장면에서 획득된다. 각 빛나는 이미지는 장면이 빛이 나고 있는 다른 광원으로 획득된다. 주변 이미지는 검출하도록 빛나는 캐스트 쉐도우들의 세트(illuminated to detect cast shadows)와 결합되고, 실루엣 엣지 픽셀들은 캐스트 쉐도우들로부터 위치한다.
본 발명의 목적은 바이너리 실루엣 이미지들로부터 디스크립터를 구축하는 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 모든 형태학적 스케일 레벨들에서 실루엣의 모든 포인트들의 방향들을 구축하는 것이다.
본 발명의 또 다른 목적은 러닝 거리 벡터(learning distance vector)로 빠른 인식을 제공하는 것이다.
본 발명의 목적들을 이행하기(fulfill) 위하여 형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 기술하는 방법은 첨부된 도면들에서 도시된다:
도 1은 형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 서술하는 방법의 플로우차트이다.
도 2는 거리 벡터의 유형을 체크하고 거리를 계산하는 것의 플로우차트이다.
도 3은 방향 스케일-스페이스에 방향 벡터 계산에(to Orientation vector calculation to Orientation scale-space) 곡선의 GSS에 대한 트랜잭션(transaction)이다.
형태학적 스케일 스페이스들(morphological scale spaces)을 이용하여 평면 곡선들(planar curves)을 기술하는(describing) 방법(100)은 다음의 단계들을 포함한다;
- 상기 카메라 수단들(camera means)로부터 입력 데이터(input data)를 취득하고(taking) 입력 데이터로부터 상기 곡선을 생성하는(creating) 단계(101),
- 매개변수 곡선(parametric curve)의 상기 공식(formula)을 구비한 연속적인 표현(continuous representation)을 이용함으로써 상기 곡선의 아크-길이(arc-length)를 샘플링 하는(sampling) 단계(102),
- 매개변수 곡선 및 방향 각도(orientation angle)로 상기 가변-스케일 가우시안 함수(variable-scale Gaussian function)로 상기 방향 스케일-스페이스(orientation scale-space)를 구축하는(constructing) 단계(103),
- 단계(102) 및 단계(103)에서 생성되는, 모든 지역 정보(local information)를 결합하고 실루엣 방향 이미지들(silhouette orientation images)을 생성하는 단계(104),
- 단계(104)에서 생성되는 두 개의 실루엣들에 대한 상기 최소 거리 매치(minimum distance match)를 검색하는(finding) 단계(105),
- 상기 실루엣의 형태학적 스케일-스페이스의 다중 레벨들(multiple levels)에 클로징 연산(closing operation)을 적용하고 증가하는 사이즈(size)로 오퍼레이터들(operators)을 구비한 상기 바이너리 실루엣(binary silhouett)을 갖는 새로운 스케일-스페이스를 획득하는 단계(106),
- 단계(105) 및 단계(106)에서 검색되는 상기 계산들(calculations)을 매치하는 단계(107),
- 거리 벡터의 상기 유형을 체크하고 상기 거리를 계산하는 단계(108),
- 상기 이미징 수단들(imaging means)에 출력을 송신하는 단계(109).
형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 기술하는 방법(100)에서, 상기 단계 "거리 벡터의 상기 유형을 체크하고 상기 거리를 계산하는 단계(108)"는 다음의 서브-단계들을 더 포함한다;
- 상기 거리가 선형(linear)이면, 상기 거리 벡터의 가중된 선형 합(weighed linear sum)이 스칼라 거리 값(scalar distance value)을 획득하도록 계산되는 단계(201),
- 상기 거리가 비선형(non-linear)이면, 비선형 거리에 이용되는 인공 뉴럴 네트워크(artifical neural network)를 트레인하는(training) 단계(202).
객체의 형상(shape)은 바이너리 실루엣 및/또는 윤곽(contour)을 출력하는 분할 연산(segmentation operation)을 통해 보통 획득된다. 이 윤곽은 픽셀 좌표들에 샘플링된(sampled) 닫힌 평면 곡선(closed planar curve)이다. "매개변수 곡선의 상기 공식을 구비한 연속적인 표현을 이용함으로써 상기 곡선의 아크-길이를 샘플링 하는", 단계(102)에서, 균일한-길이 매개변수화(uniform-length parametrization)는 곡선의 스케일-스페이스가 구축되도록 하면 유용하다. 이 목적을 위하여 연속적인 표현(B-스플라인(B-spline))은 수학식 1에서 이용된다;
Figure pct00001
수학식 1에서, C(r)은 매개변수 곡선을 나타내고, Pi는 제i 제어 포인트(ith control point) 및 Bi;k는 제i 제어 포인트에 대한 제k 오더 기저 함수(kth order basis function)이다. 수학식은 행렬 형식으로 작성하면 다음과 같다;
Figure pct00002
수학식 2에서, P는 N-바이(by)-2 제어 포인트 행렬이고 J는 L-바이-N 기저 행렬(basis matrix)(실루엣의 픽셀들의 L 수(number)에 대한)이다. 따라서, 실루엣의 픽셀들의 L 수(즉, C(r))를 사용하고 L 실루엣 픽셀들에 대한 기저 함수(즉, J(k, r) 행렬)를 계산함으로써, 우리는 제어 포인트들 행렬 P를 계산할 수 있고, 이는 우리의 연속적인 표현이다. J 행렬의 각 행에 대하여, 각 픽셀의 r 매개변수는 알고 있어야 한다. 이 목적을 위해, 먼저 닫힌 곡선의 연쇄 코드(chain code)는 추출된다. 연쇄 코드는 두 개의 이웃한 픽셀들(1 또는 2 유닛들(units)) 사이의 거리를 캐리한다(carries). 임의의 포인트로부터 시작하여, r 매개변수는 아크-길이를 이용하여 계산된다(즉, 연쇄 코드). 우리는 수학식 3으로 불량-조건들(ill-conditions) 없이 추정하는, 제어 포인트들을 계산하도록 유사-인버싱(pseudo-inversing)을 만든다;
Figure pct00003
실루엣이 액티브 윤곽들 기반 방법(active contours based method)을 통해 획득되면(즉, 자동 또는 세미-자동 객체 분할 연산의 결과로서), 곡선은 매개변수 모델(브리거(Brigger) 등. (2000) [1]과 같이)로 이미 정의되는 것에서, 곡선 피팅 단계(curve fitting step)는 필요하지 않다. 연속적인 표현과 같은 매개변수 표현을 이용하여, 곡선을 균일하게 샘플링 하는 것은 매우 쉽다. r 매개변수가 0에서 rmax 사이에서 균일하게 선택되면, 균일한 길이의 아크들이 획득될 수 있다. 각 객체 윤곽은 포인트들의 512넘버들로 샘플링 되고, 이는 512개의 동일한 길이 아크들로 곡선을 나눈다. 또한 아핀-길이 매개변수화(affine-length parametrization)(워랭젭(Awrangjeb) 등. (2007) [2]과 같이)를 이용하는 것이 가능할 수 있다; 그러나 CSS(윤곽 스케일-스페이스)가 아니고 방법이 요구하는 GSS(가우시안 스케일-스페이스)이기 때문에 그리고 아핀-길이 매개변수화는 노이즈 하에 더 취약하기 때문에, 아크-길이 매개변수화가 바람직하다. 게다가, 제안된 방법은 곡선들이 아크-길이에서 샘플링될 때 더 잘 수행한다.
"매개변수 곡선 및 방향 각도로 상기 가변-스케일 가우시안 함수로 상기 방향 스케일-스페이스를 구축하는", 단계(103)에서; 포인트에서 방향 각도는 방향 벡터 및 x-축 사이의 각도로 정의되고, 방향 벡터는 그 포인트에서 접선(tangential line)에 수직한 유닛 벡터(unit vector)이다;
Figure pct00004
수학식 4에서, 'x 및 'y는 곡선 매개변수 r을 따라서 근접한 곡선 C(r)의 x 및 y 구성요소들의 제1 미분계수들(derivatives)을 나타낸다. 0(r)이 0으로부터 2π로 값들을 취득할 수 있기 때문에; atan2 함수(정반대의 방향들을 구별할 수 있는 아크탄젠트(arctangent) 함수의 두 개의 아규멘트 변화(argument variation))가 이용된다. 따라서, 곡선 L(r, σ)의 스케일-스페이스는 다음과 같이 정의 된다:
Figure pct00005
수학식 5에서, L(r, σ)는 매개변수 곡선 C(r)로 가변-스케일 가우시안 함수 g(r, σ)(σ는 표준 편차)의 컨벌루션(convolution)이다. 유사하게는, 방향 스케일-스페이스(OSS) 0(r, σ)은 수학식 6에서와 같이 정의될 수 있다:
Figure pct00006
초기 곡선(initial curve)은 도 3의 왼쪽 열(column)에 쌓아(stacked) 도시된, 스케일-스페이스에서 상수 인자(constant factor) k에 의해 분리된 곡선들을 생산하도록 가우시안으로(with) 점진적으로 콘볼브된다(convolved). 로위(Lowe) (2004) [3]와 유사하게, 스케일-스페이스의 각 옥타브(octave)(즉, σ의 두배)는 인터벌들의 s 수(s number of intervals)로 나눠진다. 완전한 옥타브가 구축되면, σ의 초기 값을 두 배로(twice) 한 가우시안 곡선은 반으로 재-샘플링 된다. 중간 열은 각 옥타브의 각 인터벌에서 각 샘플링된 포인트를 위해 계산된 방향 벡터들을 도시한다. 따라서 더 높은 옥타브들(o>l)을 위해, 방향 각도 값들의 시퀀스(sequence)는 가장 높은 해상도(resolution)(512)로 업 샘플링(up sampled) 된다. 그 다음 각 인터벌에서 동일한 포인트(r=0)으로부터 시작하여, 512 방향 각도 값들은 서로의 탑(top)에 쌓여지고 방향 각도 값들의 (oㆍs)-바이-(512) 행렬이 획득된다. 이 행렬은 방향 스케일-스페이스(OSS)로 불리고 도 3의 오른쪽 열에 묘사된다(depicted).
"단계(102) 및 단계(103)에서 생성되는, 모든 지역 정보(local information)를 결합하고 실루엣 방향 이미지들(silhouette orientation images)을 생성하는", 단계(104)에서; 포인트에서 방향 각도를 추출하는 것은 지역 정보를 제공한다. 실루엣을 글로벌하게(globally) 정의하기 위하여, 모든 지역 정보는 특정 변화들(transformations) 하에 변하지 않음을 유지하는 동안, 표현이 모든 지역 조각들 포세스(local pieces posses)를 캐리하는 것과 같은 방식으로 결합된다.
"단계(104)에서 생성되는 두 개의 실루엣들에 대한 상기 최소 거리 매치를 검색하는", 단계(105)에서, 두 개의 SOI들 사이의 거리 D가 계산되고, 대응하는 픽셀들(색상 서클(hue circle)을 따라서 최대 0.5인) 사이의 색상 차이들(hue differences)은 축적되고(accumulated) 정규화된다;
Figure pct00007
수학식 7에서, 두 개의 SOI들 사이의 전체 거리(overall distance) Da,b는 0으로부터 1로의 값들을 취득한다. SOI들은 스케일 및 해상도 불변이다. 따라서, 실루엣 이미지의 스케일되거나 샘플링된 버전을 위하여, 곡선 피팅(curve fitting) 및 아크-길이 매개변수화 단계들은 동일한 OSS를 가상으로(virtually) 구축한다. 그러나 시작 포인트 불변성(starting point invariance), 다시 말해, 평면 회전들 아래에 회전 불변성 및 곡선을 피팅하는 동안 제1 포인트 r0=0의 위치의 불확실성(uncertainty)은 두 개의 SOI들이 매치될 수 있기 전에 다루어져야(handled) 한다. 레디얼(radial) SOI를 위해 레디얼 축이 매개변수 위치 r을 결정하기 때문에 다른 시작 포인트들을 구비한 두 개의 똑같은(identical) 실루엣들의 레디얼 SOI는 서로의 버전들(versions of each other)로 회전될 것이다. 따라서, 우리는 SOI들 중 하나가 회전함으로써 최소 거리 매치를 서치함(searching)으로써 시작 포인트 불변성을 만족할 수 있다.
실루엣이 인-플레인 회전(in-plane rotation)으로 인트로듀스될(introduced) 때, 이론적으로 윤곽 픽셀들의 상대적 위치들(relative positions)은 변하지 않는다. 그러나 모든 픽셀들의 방향 각도들은 동일한 양으로 회전된다. 따라서, SOI의 각 픽셀에 대한 색상 값들은 색상 서클을 따라서 동일한 양으로 변한다. 두 개의 SOI들 사이의 색상 시프트(hue shift)가 체크함으로써, 색상 값들이 방향 각도들에 선형적으로 맵핑하기 때문에, 인-플레인 회전의 양이 검색될(retrieved) 수 있다. 인-플레인 회전은 곡선 피팅 알고리즘에 형향을 줄 수 있고 시작 포인트는 실루엣의 회전된 버전에 대해 대체로(probably) 변할 수 있다. 이 때문에, 색상 시프트 체크가 수행될(carried out) 때마다, 시작 포인트 불변성 서치는 또한 적용된다. 따라서 서치는 이차원이 되고, 색상 채널(hue channel) 및 레디얼 SOI 모두는 수학식 8로 두 개의 실루엣들에 대한 최소 거리 매치를 검색하기 위하여 회전된다.
Figure pct00008
두 개의 실루엣들 및 그것들의 레디얼 SOI들은 묘사된다. 제1 실루엣은 다른 것의 20°회전된 버전이다. 실험들은 20°회전에 대해, 수학식 8로부터 획득된 최상의 α는 색상 채널이 20/360에 의해 시프트되는(shifted) 것(즉, M이 32일 때 2 픽셀들에 대략 시프트함)의 변형된 실루엣에 대응한다. 회전 각도는 위치들인 M으로 양자화되기 때문에 SOI의 해상도가 허용하는 만큼 정확하게 검색될 수 있다.
일부 경우들에서, 회전하는데 제한된 강건성(robustness)이 충분할 수 있다. 예를 들면, 인-안정된 플랫폼(in-stabilized platform)은 인-플레인 회전(카메라 롤)이 발생할 수 있다. 이 경우, 색상 채널 서치는 +/- 1/12로 제한될 수 있고 회전 불변성 능력은 문제의 니즈들(needs)에 따라 조절된다. 이 방식은 계산 부담(computation burden) 역시 경감된다.
"상기 실루엣의 형태학적 스케일-스페이스의 다중 레벨들에 클로징 연산을 적용하고 증가하는 사이즈로 오퍼레이터들을 구비한 상기 바이너리 실루엣을 갖는 새로운 스케일-스페이스를 획득하는", 단계(106)에서; 동일한 클래스(class)의 실루엣들은 그들의 바운더리들(boundaries)에 따라 유사한 방향 분포(orientation distribution)를 가질 것이다. 이는 대부분의 경우들에 대해 사실인 것으로 발생하지만, 실루엣들이 작은 연결된(articulated) 파트들(parts) 또는 예상하지 않은 불연속성들(discontinuities)을 가질 때, 매치하는 것은 수행될 수 없다. 이 문제를 극복하기 위하여, 제안된 표현은 실루엣의 형태학적 스케일-스페이스(MSS)의 다중 레벨들에 적용된다. 이 새로운 스케일-스페이스는 단순히 증가하는 사이즈의 오퍼레이터들로 바이너리 실루엣을 클로징(팽창(dilation) + 침식(erosion))함으로써 획득된다(수학식 9). 클로징 연산은 연쇄 코드가 추출되기 전에 바이너리 이미지에 적용된다.
Figure pct00009
수학식 9에서, ㆍ오퍼레이터는 바이너리 실루엣 B(x, y)에 적용된 형태학적 클로징 연산을 나타낸다. 구성 요소(structuring element) f(ㆍ, ㆍ)는 픽셀 사이즈 o에 의해 매개변수화된다. 각 MSS 레벨에서, o는 증가되고 클로징 연산들은 더 큰 영역에 영향을 준다. 우리의 실험들에서 o는 kㆍ20 픽셀들이고, k는 0으로부터 시작하는 MSS 레벨이다.
두 개의 실루엣들의 MSS의 상호간에(mutually) 대응하는 레벨들에 최소 거리 공식을 적용함으로써, 확장된 거리 특징 벡터(extended distance feature vector)는 다음과 같이 획득될 수 있다:
Figure pct00010
수학식 10에서, Di a; b(α; r)은 제i MSS 레벨에 대응하는 것들로부터 추출된 실루엣들 a 및 b의 SOI들 사이의 거리를 나타내고, 이는 0으로부터 m으로 분포한다(ranges).
"거리 벡터의 상기 유형을 체크하고 상기 거리를 계산하는", 단계(108)에서, 거리 특징 벡터는 두 개의 실루엣들 사이에서 계산되고 회전 불변성 차원(rotation invariance dimension)에서의 서치는 문제의 니즈들에 따라 제한될 수 있고, 이 단계의 계산 복잡도(computational complexity)는 다이나믹 프로그래밍 및 내부 거리 계산(링(Ling) 및 제이콥스(Jacobs), 2007 [4])을 포함하는 다른 방법들에 비교하여 경미하다(trivial). 두 개의 평면 곡선들 사이의 상호 거리(mutual distance)는 벡터 Da;b에 의해 정의된다. 이 벡터를 이용하여, 클래시파이어(classifier)는 트레인되고(trained), 이는 실루엣들의 다른 카테고리들을 클러스터(cluster) 할 것이다. 러닝하게 될(learned) 벡터가 셀프-디스크립터(self-descriptor)가 아니고 상호 거리 정의(mutual distance definition)이기 때문에; 문제들의 이들 유형들은 거리 러닝 문제들(distance learning problems)로서 언급된다.
"상기 거리가 선형이면, 상기 거리 벡터의 가중된 선형 합은 스칼라 거리 값을 획득하도록 계산되는", 단계(201)에서, 거리 벡터 Da;b의 가중된 선형 합은 스칼라 거리 값 da;b를 획득하도록 계산된다.
Figure pct00011
최적 가중 벡터(optimum weight vector) w를 평가하기 위하여, 수학식 11에서 주어진 비용 함수(cost function)는 거리 벡터들의 트레이닝 세트(training set)를 위하여 해결된다.
Figure pct00012
수학식 12에서, la;b는 트레이닝 벡터(training vector) da;b의 라벨(label)이다. a 및 b가 동일한 카테고리를 가지면, la;b는 0이다. 만일 아니면, 이는 1이다.
"상기 거리가 비선형이면, 비선형 거리에 이용되는 인공 뉴럴 네트워크를 트레인하는", 단계(202)에서, 거리 벡터들 Da;b의 선형적으로 가중된 합을 이용하여, Da;b 스페이스 내에 거리 카테고리들은 선형적으로 분리될 수 있다. 그러나 곡선들의 형태학적 스페이스-스페이스들 및 가우시안을 이용함으로써 구축된 이 콤플렉스 스페이스(complex space)는 비선형 기하학(nonlinear geometry)에서 예상대로(expectedly) 클러스터된 카테고리들의 구성일 수 있다. 이 때문에, 비선형 거리 클래시파이어의 퍼포먼스(performance)를 체크하고 선형적으로 가중된 모델과 이를 비교하는 것이 논리적이다(logical). 이 목적을 위하여, 3(m+1) 입력 노드들((m+1)=4는 수학식 10에서 MSS 레이어들의 수이다)을 구비한 인공 뉴럴 네트워크, 히든 레이어 노드들(hidden layer nodes)의 h 수 및 단일 출력 레이어 노드(single output layer node),는 트레인된다.
참조들(References)
[1]. 브리거, 피.(Brigger, P.), 호에그, 제이.( Hoeg, J.), 운세르, 엠.(Unser, M.), 2000. B-스플라인 스네이크스: 매개변수 윤곽 검출을 위한 플렉서블 툴(B-spline snakes: A flexible tool for parametric contour detection). IEEE 트랜잭션스 온 이미지 프로세싱 9(IEEE Transactions on Image Processing 9), 1484-1496.
[2]. 워랭젭, 엠.(Awrangjeb, M.), 루, 쥐.(Lu, G.), 머쉐드, 엠.(Murshed, M.), 2007. 아핀 탄력 커버쳐 스케일-스페이스 코너 검출기, 인: 32(An affine resilient curvature scale-space corner detector, in: 32). IEEE 인터내셔널 컨퍼런스 어쿠스틱스, 스피치 앤드 신호 프로세싱(IEEE Int. Conf. Acoustics, Speech and Signal Processing)(ICASSP 2007), 페이지 1233-1236.
[3]. 로위, 디.(Lowe, D.), 2004. 로컬 스케일-불변 키포인트들로부터의 독특한 이미지 특징들(Distinctive image features from local scale-invariant keypoints). 인터내셔널 저널 오브 컴퓨터 비전 2(International Journal of Computer Vision 2), 91-110.
[4]. 링, 에이치.(Ling, H.), 제이콥스, 디.더블유.(Jacobs, D.W.), 2007. 내부-거리를 이용하여 형상 분류(Shape classification using the inner- distance). IEEE 트랜잭션스 온 패턴 아날리시스 앤드 머신 인텔리전스 29(IEEE Transactions on Pattern Analysis and Machine Intelligence 29), 286-299.

Claims (8)

  1. 형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 기술하는 방법(100)에 있어서;
    - 상기 카메라 수단들로부터 입력 데이터를 취득하고 입력 데이터로부터 상기 곡선을 생성하는 단계(101),
    - 매개변수 곡선의 상기 공식을 구비한 연속적인 표현을 이용함으로써 상기 곡선의 아크-길이를 샘플링 하는 단계(102),
    - 매개변수 곡선 및 방향 각도로 상기 가변-스케일 가우시안 함수로 상기 방향 스케일-스페이스를 구축하는 단계(103),
    - 단계(102) 및 단계(103)에서 생성되는, 모든 지역 정보를 결합하고 실루엣 방향 이미지들을 생성하는 단계(104),
    - 단계(104)에서 생성되는 두 개의 실루엣들에 대한 상기 최소 거리 매치를 검색하는 단계(105),
    - 상기 실루엣의 형태학적 스케일-스페이스의 다중 레벨들에 클로징 연산을 적용하고 증가하는 사이즈로 오퍼레이터들을 구비한 상기 바이너리 실루엣을 갖는 새로운 스케일-스페이스를 획득하는 단계(106),
    - 단계(105) 및 단계(106)에서 검색되는 상기 계산들을 매치하는 단계(107),
    - 거리 벡터의 상기 유형을 체크하고 상기 거리를 계산하는 단계(108),
    - 상기 이미징 수단들에 출력을 송신하는 단계(109)
    를 기본적으로 포함하는 방법.
  2. 형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 기술하는 방법(100)에 있어서, 상기 단계 "거리 벡터의 유형을 체크하고 상기 거리를 계산하는 단계(108)"는;
    - 상기 거리가 선형이면, 상기 거리 벡터의 가중된 선형 합이 스칼라 거리 값을 획득하도록 계산되는 단계(201),
    - 상기 거리가 비선형이면, 비선형 거리에 이용되는 인공 뉴럴 네트워크를 트레인하는 단계(202)
    의 서브-단계들을 더 포함하는 방법.
  3. 제1항에 있어서,
    연속적인 표현은 공식
    Figure pct00013
    에 따라 수행되는 것
    을 특징으로 하는 형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 기술하는 방법(100).
  4. 제1항에 있어서,
    포인트에서 상기 방향 각도를 구축하는 것은 상기 X-축 및 상기 방향 벡터 사이의 각도로서 정의되는 것 - 상기 방향 벡터는 공식
    Figure pct00014
    에 따라 수행되는 포인트에서 상기 접선에 수직한 상기 유닛 벡터임 -
    을 특징으로 하는 형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 기술하는 방법(100).
  5. 제1항에 있어서,
    상기 대응하는 픽셀들 사이의 색상 차이들은 공식
    Figure pct00015
    에 따라 수행되는 것
    을 특징으로 하는 형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 기술하는 방법(100).
  6. 제1항에 있어서,
    두 개의 실루엣들에 대한 상기 최소 거리 매치를 검색하는 것은 공식
    Figure pct00016
    에 따라 수행되는 것
    을 특징으로 하는 형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 기술하는 방법(100).
  7. 제1항에 있어서,
    상기 거리 벡터의 가중된 선형 합의 계산은 공식
    Figure pct00017
    에 따라 수행되는 것
    을 특징으로 하는 형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 기술하는 방법(100).
  8. 제1항에 있어서,
    상기 최적 가중 벡터를 평가하는 것은 공식
    Figure pct00018
    에 따라 수행되는 것
    을 특징으로 하는 형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 기술하는 방법(100).
KR1020167021178A 2014-01-10 2014-01-10 형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 기술하는 방법 KR20160106113A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2014/058172 WO2015104585A1 (en) 2014-01-10 2014-01-10 Method for describing planar curves using morphological scale spaces

Publications (1)

Publication Number Publication Date
KR20160106113A true KR20160106113A (ko) 2016-09-09

Family

ID=50277259

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167021178A KR20160106113A (ko) 2014-01-10 2014-01-10 형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 기술하는 방법

Country Status (3)

Country Link
EP (1) EP3092602A1 (ko)
KR (1) KR20160106113A (ko)
WO (1) WO2015104585A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145228B (zh) * 2019-12-23 2023-05-26 西安电子科技大学 基于局部轮廓点与形状特征融合的异源图像配准方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US7206449B2 (en) 2003-03-19 2007-04-17 Mitsubishi Electric Research Laboratories, Inc. Detecting silhouette edges in images
US8363973B2 (en) 2008-10-01 2013-01-29 Fuji Xerox Co., Ltd. Descriptor for image corresponding point matching
KR20140108726A (ko) * 2012-02-27 2014-09-12 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 이미지들 상의 객체 윤곽선들의 스케일 불변 특징들을 식별하기 위한 방법 및 시스템
KR101912748B1 (ko) 2012-02-28 2018-10-30 한국전자통신연구원 확장성을 고려한 특징 기술자 생성 및 특징 기술자를 이용한 정합 장치 및 방법

Also Published As

Publication number Publication date
WO2015104585A1 (en) 2015-07-16
EP3092602A1 (en) 2016-11-16

Similar Documents

Publication Publication Date Title
Hughes et al. A deep learning framework for matching of SAR and optical imagery
Hassaballah et al. Image features detection, description and matching
Ayala-Ramirez et al. Circle detection on images using genetic algorithms
US9619733B2 (en) Method for generating a hierarchical structured pattern based descriptor and method and device for recognizing object using the same
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
Quan et al. Deep feature correlation learning for multi-modal remote sensing image registration
WO2009082719A1 (en) Invariant visual scene and object recognition
Son et al. A multi-vision sensor-based fast localization system with image matching for challenging outdoor environments
CN111199558A (zh) 一种基于深度学习的图像匹配方法
Safdari et al. SIFT detector boosted by adaptive contrast threshold to improve matching robustness of remote sensing panchromatic images
Coulibaly et al. Semiautomatic road extraction from VHR images based on multiscale and spectral angle in case of earthquake
Urban et al. mdBRIEF-a fast online-adaptable, distorted binary descriptor for real-time applications using calibrated wide-angle or fisheye cameras
Sujin et al. High-performance image forgery detection via adaptive SIFT feature extraction for low-contrast or small or smooth copy–move region images
Lee et al. Adaptive outlier elimination in image registration using genetic programming
Omidalizarandi et al. Segmentation and classification of point clouds from dense aerial image matching
Shi et al. Contour descriptor based on space symmetry and its matching technique
Koutaki et al. Fast and high accuracy pattern matching using multi-stage refining eigen template
KR20160106113A (ko) 형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 기술하는 방법
Uskenbayeva et al. Contour analysis of external images
Ren et al. SAR image matching method based on improved SIFT for navigation system
Anggara et al. Integrated Colormap and ORB detector method for feature extraction approach in augmented reality
Akagündüz Shape recognition using orientational and morphological scale‐spaces of curvatures
Alhwarin Fast and robust image feature matching methods for computer vision applications
Palomares et al. A new affine invariant method for image matching
Hahmann et al. Combination of facial landmarks for robust eye localization using the Discriminative Generalized Hough Transform

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment