KR20020067514A - 이미지 매칭 - Google Patents

이미지 매칭 Download PDF

Info

Publication number
KR20020067514A
KR20020067514A KR1020027005910A KR20027005910A KR20020067514A KR 20020067514 A KR20020067514 A KR 20020067514A KR 1020027005910 A KR1020027005910 A KR 1020027005910A KR 20027005910 A KR20027005910 A KR 20027005910A KR 20020067514 A KR20020067514 A KR 20020067514A
Authority
KR
South Korea
Prior art keywords
image
matching
pixels
candidate
segment
Prior art date
Application number
KR1020027005910A
Other languages
English (en)
Other versions
KR100843112B1 (ko
Inventor
부라스페닝랄프에이.씨.
에른스트파비안이.
반오버벨드코르넬리우스더블유.에이.엠.
윌린스키피오트르
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20020067514A publication Critical patent/KR20020067514A/ko
Application granted granted Critical
Publication of KR100843112B1 publication Critical patent/KR100843112B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 픽셀들로 구성된 제 1 디지털 이미지의 이미지 특징들을 정규화하는 단계, 후보값들의 유한 세트를 정의하는 단계로서, 후보 값은 제 1 이미지와 제 2 이미지의 이미지 특징들 사이의 가능한 매칭을 위한 후보를 나타내는, 상기 정의 단계, 후보 값들의 평가를 위한 매칭 패널티 함수를 수립하는 단계와, 매칭 패널티 함수의 평가의 결과에 기초하여 후보 값을 선택하는 단계, 제 1 이미지의 픽셀들의 적어도 일부를 각각의 세그먼트들에 할당하는 것을 포함하는 제 1 이미지의 세그멘테이션에 의한 제 1 이미지의 정규화 단계, 세그먼트의 픽셀들의 적어도 일부를 위한 확실성 파라미터를 결정하는 단계와, 적어도 부분적으로 확실성 파라미터에 기초하도록 매칭 패널티 함수를 수립하는 단계를 포함하는, 상기 디지털 이미지들의 매칭을 제공한다.

Description

이미지 매칭{Image matching}
2개 또는 그 이상의 이미지들의 매칭은 이미지 처리에 사용되고, 본질적으로 후속 이미지들(subsequent images)에서 매칭 섹션들(matching sections)을 결정하는 것으로 구성된다. 이미지들의 매칭은 깊이 재구성(depth reconstruction), 이미지 데이터 압축(image data compression), 및 운동 분석(motion analysis)과 같은 이미지 처리의 몇 가지 분야들에서 필수적인 단계이다.
매칭 처리는, 제 1 이미지에서 제 1 위치의 이미지 특징들(image features)의 결정과, 제 2 이미지에서 이들 이미지 특징들의 위치를 결정하는 단계를 포함한다. 병진(translation) 및 회전(rotation)과 같이 제 1 및 제 2 이미지의 특징들 사이에서 위치의 차이의 정보는 또 다른 처리에 사용될 수 있다. 예컨대, 2개의 후속 이미지들 사이의 이미지 특징의 병진은 이미지 특징과 연관된 객체(object)의 속도 측정을 얻는데 사용될 수 있다.
이미지 매칭은 예컨대 MPEG (디)코딩 및 텔레비전 스캔 속도 컨버전(television scan rate conversion)과 사용하기 위한 보편적인 이미지 처리 하드 또는 소프트웨어에 구현된, 문맥 독립 처리(context independent processing)에 의해 실행될 수 있다. 이러한 응용들에서, 비디오 스트림의 후속 디지털 이미지들은 매칭된다. 그런 처리에 사용된 일반적인 방법은 다음과 같다.
비디오 스트림으로부터, 2개의 후속 이미지들이 매칭되고, 이들 이미지들이 2차원 디지털 이미지들 I1(x,y) 및 I2(x,y)이 되게 한다. 이러한 2개의 이미지들의 매칭은, 다음 식에 따라 이미지 I1에서의 매 픽셀을 이미지 I2에서의 픽셀에 이상적으로 매핑하는 한 쌍의 함수들 M = Mx(x,y) 및 M = My(x,y)의 계산을 포함한다.
I2(x,y) = I1(x+Mx(x,y),y+My(x,y)).
이러한 함수들 M은 픽셀들 또는 특징들이 2개의 이미지들 사이에 이동된 방법에 관한 정보를 포함한다. 함수들 M은, 예컨대, 비디오 스트림에서의 픽셀들의 겉보기 운동(apparent motion)으로서 해석될 수 있고, 각각의 픽셀에 대한 운동 벡터(motion vector)를 제공한다. 이 운동 벡터는 MPEG 압축 및 텔레비전에서의 스캔 속도 업컨버전들(scanrate upconversions)을 위한 자연 운동(natural motion)에서, 예컨대, 2차원 이미지들로부터의 깊이 재구성에 사용될 수 있다. 그러므로, 이미지들의 매칭은 함수들 M의 발견(finding)으로 구성된다.
모든 픽셀들에 대해 독립적으로 정의되는 함수로서의 M에 대한 정의는 M을 발견하는 문제가 까다로워짐을 야기한다. M의 구성은 큰 문제가 된다. 그리고, 함수 M이 어쨋든 결정될 수 있다하더라도, 시간 및 계산 능력 모두에서 상당한 비용들을 초래한다. M을 발견하는 문제를 단순화하기 위해, 함수 M의 정규화(regularization)가 제안되었다. US 5 072 293 호에, 이미지 프레임에 대해일정한 이미지들 내의 미리 정의된 블록들에 대해 일정하도록 함수 M을 설정하는 방법이 알려져 있다. 이 접근 방법은 M을 발견하는 문제를 단순화하고, 함수 M을 발견하는데 필요한 비용을 줄인다. 이 방법의 단점은 계산들이 여전히 비용이 든다는 것이다.
본 발명은 디지털 이미지들의 매칭에 관한 것이다.
도 1은 세그먼트 매칭 처리(segment matching process)의 예를 개략적으로 예시하는 도면.
도 2는 디지털 이미지들을 매칭하기 위한 디바이스를 개략적으로 도시하는 도면.
본 발명의 목적은 공지된 방법보다 현저히 더 빠르고 더 효율적인 후속 이미지들의 섹션들을 매칭하기 위한 방법을 제공하는 것이다.
이 목적을 달성하기 위해, 본 발명은 독립 청구항들에 정의된 바와 같이 이미지를 세그멘팅하는 방법 및 디바이스, 컴퓨터 프로그램, 유형의 매체, 신호 및 디스플레이 장치를 제공한다.
본 발명의 제 1 실시예에 있어서, 이미지들은 상기 제 1 이미지의 픽셀들의 적어도 일부를 각각의 세그먼트들에 할당하는 것을 포함하는 세그멘테이션에 의해 제 1 이미지를 정규화하고, 세그먼트의 픽셀들의 적어도 일부를 위한 확실성 파라미터(certainty parameter)를 결정하며, 적어도 부분적으로 확실성 파라미터에 기초하도록 매칭 패널티 함수(matching penalty function)를 수립함으로써 매칭된다. 세그멘테이션에 의한 제 1 이미지를 정규화하고, 확실성 정보를 갖는 세그먼트들을 제공함으로써, 본 발명에 따른 매칭 처리는 효율적이고 고속으로 실행될 수 있다. 유사 세그멘테이션(quasi segmentation)이 사용되면, 이미지들을 세그먼트하고, 확실성 정보를 제공하는데 필요한 노력은 현저히 감소된다. 유사 세그멘테이션은 발명의 명칭이 "디지털 이미지들의 세그멘테이션(Segmentation of digital images)"(우리측 참조 PHNL000493)인 동일 출원인으로 계류중인 특허 출원에 기술된다.
특히 본 발명의 이로운 상술들은 종속 청구항들에 소개된다. 본 발명의 다른 목적들, 상술들, 변형들, 효과들 및 상세한 설명들은 도면들을 참조하여 다음의 상세한 설명에 개시된다.
본 발명의 실시예의 다음의 예에서, 2개의 이미지들의 매칭은 설명될 것이다. 이들 이미지들은 비디오 스트림으로부터 수반하는 이미지들일 수 있지만, 본 발명은 거기에 제한되지 않는다. 이미지들은 이미지 픽셀들로 구성되는 디지털 이미지들이고, 2개의 2차원 디지털 이미지들, I1(x, y) 및 I2(x,y)로서 정의되고,xy는 이미지들의 개별적인 픽셀들을 나타내는 좌표들이다.
이들 2개의 이미지들의 매칭은 한 쌍의 함수들 M = Mx(x,y) 및 M = My(x,y)의 계산을 포함한다. M은 이미지 I1에서의 모든 픽셀을 다음 식에 따라 이미지 I2에서의 픽셀에 매핑하기 전에 정의된다.
I2(x,y) = I1(x + Mx(x,y),y + My(x,y))
본 발명의 실시예에 따라, M의 구성은, 다음 식에 의해 M의 이전 정의를 변경함으로써 유사한 운동을 갖는 픽셀들의 그룹들에 대해 일정한 함수로서 M을 재정의함으로써 변경된다.
I2(x,y) = I1(x + Mx(G(x,y)),y + My(G(x,y)))
함수G는 유사한 운동(similar motion)을 갖는 픽셀들의 컬렉션(collection)을 위해 M을 일정하게 유지하도록 도입된다. 함수 G의 도입은 매칭 문제의 정규화(regularization)이고, 그 변경은 M을 찾도록 요구되는 노력을 현저히 줄인다.
M이 일정하다고 보이는 픽셀들의 컬렉션은 유사한 운동을 갖는다고 여겨지는 픽셀들로 구성된다. 그러한 컬렉션들을 찾기 위해, 이미지들은 세그멘테이션에 의해 세그먼트들로 분할된다. 이미지의 세그멘테이션은 결국 이미지의 매 픽셀에 대해, 세그먼트들의 유한한 세트 중 하나에 대한 멤버십(membership)을 결정하는 것이다. 여기에서, 세그먼트는 픽셀들의 연결된 컬렉션이다. 세그멘테이션의 유리한 방법은 부분적인 세그멘테이션이고, 세그먼트에 대한 픽셀의 멤버십은 컬러, 루미넌스 및 텍스처와 같은 픽셀들의 이미지 관련된 속성들에 기초하여 결정된다. 부분적인 세그멘테이션으로부터 초래하는 세그먼트들은 이미지 객체들과 필수적으로 직접 대응하지 않지만, 일정한 세그먼트에서의 픽셀들은 유사한 운동을 갖는 매우 높은 확률을 여전히 갖는다. 세그멘테이션의 특정한 유리한 방법은 본 명세서에 참조에 의해 편입되어 고려되는 텍스트, 발명의 명칭이 "디지털 이미지들의 세그멘테이션(Segmentation of digital images"(우리측 참조 PHNL000493)인 동일 출원인계류중인 특허 출원에 기술된 소위 유사 세그멘테이션(quasi segmentation)이다.
이미지(I1)는 각각의 세그먼트를 정의하는 경계들(borders)에 의해 경계되는 픽셀들로 구성되는 세그먼트들을 초래하는 유사 세그멘테이션의 전술한 방법에 의해 세그먼트들로 분할된다. 유사 세그멘테이션의 결과로서, 세그먼트들은 하드 경계 섹션들(hard border sections) 및 소프트 경계 섹션들(soft border sections)에 의해 정의된다. 하드 경계 섹션들은 이미지 특징들의 분석으로부터 초래하고, 관련 세그먼트 경계(relevant segment border)가 되도록 높은 확실성(certainty)을 갖는다. 소프트 경계 섹션들은 검출된 하드 경계 섹션들까지 거리들의 계산에 의해 결정되고, 그러므로, 관련 세그먼트 경계가 되도록 더 낮은 확실성을 갖는다. 경계 섹션이 이미지 콘텐트와 더 잘 대응할수록, 하드 경계 섹션이 더 많이 관련된다. 본 발명의 실시예에 따라, 세그먼트들을 매칭하는 형태에서의 이미지들의 매칭은 각각의 세그먼트들의 높은 확실성 특징들(high certainty features)의 매칭을 위해 우선순위(priority)와 함께 수행된다.
도 1에서는, 유사 세그멘테이션에 의해 결정되고, 하드 경계 섹션(11; 실성으로 표시됨) 및 소프트 경계 섹션(12; 파선으로 표시됨)에 의해 경계 지워진 이미지(I1)의 세그먼트(10)가 도시된다. 이미지(I1)와 이미지(I2) 사이의 세그먼트(10)를 위한 변위 함수(displacement function)를 결정하기 위해, 변위 함수 M를 결과적으로 산출하는 세그먼트(10)를 매칭하는 이미지(I2)에서의 세그먼트(10)의 투사가 발견될 필요가 있다. 이는 각각의 후보에 대한 매칭 기준(matching criterion)을계산하고, 최고의 매칭 결과를 갖는 후보를 선택하는 세그먼트(10)와의 매칭을 위한 이미지(I2)의 가능한 매칭 후보들(possible matching candidates)의 수를 선택함으로써 수행된다. 매칭 기준은. 제 1 이미지의 세그먼트가 제 2 이미지에서의 투사와 매칭하는 확실성의 측정이다.
도 1에는, 세그먼트(10)와의 매칭을 위한 이미지(I2)의 후보들이 하드 경계 섹션들(21, 31, 41) 및 소프트 경계 섹션들(22, 32, 42)에 의해 각각 경계된 이미지(I2)의 투사들(20, 30, 40)로서 도시된다. 각각의 투사들(20, 30, 40)을 위해, 함수 M는 각각의 화살표(M1, M2, M3)에 의해 표시된다. 결과적으로 M1, M2 및 M3은 함수 M를 위해 후보값들로 고려될 수 있다. 어떤 후보 투사들(20, 30, 40)이 세그먼트(10)와 가장 잘 매칭하는지를 결정하기 위해, 매칭 기준은 각각의 투사(20, 30, 40)에 대해 계산되어야 한다. 본 발명에 따라, 매칭 기준은 M에 대한 후보 값들 및 후보 투사들의 평가에서 더 많은 가중치(weight)를 높은 확실성 하드 경계 섹션들에 제공한다. 그러므로, 세그먼트의 하드 경계 섹션들과 투사의 경계 섹션 사이의 매칭은 세그먼트의 소프트 경계 섹션들의 매칭보다 매칭에 대해 훨씬 더 높은 확실성을 제공한다.
매칭 기준은 디지털 이미징 처리에 사용되고, 매칭 에러 또는 매칭 패널티 함수(matching penalty function)를 최소화하는 그 구현에서 공지되어 있다. 원래 매칭 함수를 최소화함으로써 매칭하는 방법들 및 그런 함수들은, 예컨대, 신호 처리(signal processing): 이미지 통신 6(Image Communication 6)(1994) 229-239에발행된 디 한(De Haan)과 비젠(Biezen)에 의한 "3-D 재귀 탐색 블록-매칭을 갖는 서브-픽셀 운동 추정(Sub-pixel motion estimation with 3-D recursive search block-matching)"으로부터 당해 기술분야에 공지되어 있다.
x 및 y 좌표들에서의 함수 M인 i 후보들(Mx및 My)의 유한 세트는 다음에 의해 정의된다.
{(Mx,i,My,i)|i=1,2,3,...)}
원래 후보들(Mx및 My)의 유한 세트의 선택은, 예컨대, 디 한과 비젠의 상술된 공보로부터 당해 기술에 공지되어 있다. 양호하게는, 후보들의 집합은 각각의 후보를 평가하도록 요구된 계산들의 수를 줄이도록 작게 유지된다. 후보 투사(candidate projection)는 각각의 후보와 연관된다.
세그먼트에서의 픽셀들의 컬렉션은 Ω에 의해 표시된다. i-번째 후보를 위한 매칭 패널티(Pi)는 다음에 의해 정의된다.
이 매칭 패널티 함수는 같은 가중치를 세그먼트에서의 매 픽셀에 대해 제공한다. 전술한 바와 같이, 세그먼트의 픽셀들은 세그먼트에 속하도록 동일한 확실성을 갖지 않는다. 이를 고려하여, 매칭 패널티 함수는 다음과 같이 수정된다.
가중 함수(weighting function) w(x,y)는 높은 확실성을 갖는 픽셀들이 패널티 함수의 평가에 더 기여하도록 각각의 픽셀에 대한 확실성-가중 인자(weightingfactor)를 할당하는 함수이다. 이 실시예에 있어서, w(x,y)의 값은 세그먼트의 하드 경계 섹션까지의 픽셀의 거리 d(x,y)에 관한 것이며, 하드 경계 섹션으로부터의 거리를 줄인다. 유클리드의 "시티 블록(city block)", "체스판(chessboard)" 또는 상술된 함께 계류중인 출원 PHNL000493에 기술된 거리 변환(distance transform)과 같은 거리에 대한 적합한 정의가 사용될 수 있다. w(x,y)에 대해, 함수의 값이 세그먼트 경계로부터의 거리를 줄일 만큼 긴 어떤 적합한 함수가 선택될 수 있다. 예들로서, 1차원 경우의 w(x,y)를 위한 많은 함수들이 다음에 도시되고, 2차원 함수는 당업자에게는 명백할 것이다. 제한 없는 예들은 다음과 같다.
w(x)=1/d(x),
w(x)=1/d(x2),
w(x)=1 if d(x)<1.5; w(x)=0 if d(x)≥1.5,
w(x)=(5-d(x))/4 if x<5; d(x)=0 if x≥5,
w(x)=(52-d(x)2)/(52-1) if d(x)<5; w(x)=o if d(x)≥5, 및
w(x)=(152-d(x)2)/(152-1) if d(x)<15; w(x)=0 if d(x)≥15.
모든 함수들이 하드 경계 섹션까지의 거리를 증가시키면서 감소된 값을 유도함을 주목한다. 함수 III의 경우에, 값은 미리 결정된 거리 위에 일정하고, 따라서 거리를 증가시키면서 감소된 값을 또한 유도하는 그 거리를 넘어 값은 0이다. 함수들 III 내지 VI은 가장 가까운 픽셀들의 고정된 수에만 계산들을 한정하고, 이는 요구된 계산들의 수를 또한 감소시킨다. 이미지들의 세그멘테이션이 유사 세그멘테이션의 양호한 방법을 사용하여 실행되었다면, 픽셀이 속한 세그먼트의 가장 가까운 하드 경계 섹션까지의 거리는 거리 어레이에서의 정보의 형태로 세그멘테이션 처리로부터 이미 공지되어 있다. 이는 매칭 처리를 위한 현저히 감소된 계산들의 이점을 유도한다.
도시된 실시예에 있어서, 확실성 함수는 하드 경계 섹션까지의 픽셀의 거리에 관한 것이다. 그러나, 본 발명은 이 예에 제한되지 않고, 각각의 픽셀에 확실성 값(certainty value)을 할당하는 다른 방법들이 사용될 수 있다. 그 경우에, 확실성 어레이 w(x,y)는 각각의 픽셀들이 속한 세그먼트에 관계된 각각의 픽셀에 대한 가중 인자들로 채워져야 한다.
또한, 본 발명은 예컨대, 패턴 또는 이미지 인식(image recognition)에서의 사용을 위한 단일 이미지 내에 이미지 섹션들을 매칭하기 위해 사용될 수 있다.
또한, 본 발명은 컴퓨터 상에서 실행할 때 본 발명의 방법의 단계들을 수행하기 위한 컴퓨터 프로그램 코드 섹션들을 포함하는 컴퓨터 프로그램 제품에 관한 것이다. 본 발명의 컴퓨터 프로그램 제품은 하드 또는 플로피 디스크 또는 CD-ROM과 같은 적합한 정보 캐리어(information carrier) 상에 저장되거나 또는 컴퓨터의 메모리 섹션에 저장될 수 있다.
또한, 본 발명은 디지털 이미지들을 매칭하기 위한 도 2에 도시된 디바이스(100)에 관한 것이다. 디바이스(100)에는 상술된 방법에 따라 디지털 이미지들을 매칭하기 위한 처리 유닛(110)이 제공된다. 처리 유닛(110)은 디지털 이미지들이 수신될 수 있고, 유닛(110)을 통해 놓일 수 있는 입력 섹션(120)과 접속된다. 또한, 유닛(110)은 이미지들 사이의 결과적으로 발견된 매칭들(resulting found matches)이 출력될 수 있는 출력 섹션(130)에 접속된다. 디바이스(100)는 디스플레이 장치(200)에 포함될 수 있고, 디스플레이 장치는, 예컨대 (3차원) 텔레비전 제품이다.
상술된 실시예들이 본 발명을 제한하기보다는 오히려 예시한다는 것과, 당업자들이 첨부된 청구항들의 범위로부터 벗어나지 않고 많은 대안적인 실시예들을 고안할 수 있음은 주목되어야 한다. 청구항들에서, 괄호 안에 위치된 어떤 참조 부호들은 청구항을 제한하는 것으로 구성되지 않는다. 단어' 포함하는(comprising)'은 청구항에 열거된 것들과 다른 엘리먼트들 또는 단계들의 존재를 배제하지 않는다. 본 발명은 몇몇 별개의 엘리먼트들을 포함하는 하드웨어 및 적합하게 프로그래밍된 컴퓨터에 의해 구현될 수 있다. 몇몇 수단을 열거하는 디바이스 청구항에 있어서, 이들 몇몇의 수단은 하나 및 동일한 아이템의 하드웨어에 의해 구현될 수 있다. 일정한 측정들이 서로 다른 종속항들에서 인용된다는 것은 이들 측정들의 조합이 유리하게 사용될 수 없음을 나타내는 것은 아니다.
요약하면, 본 발명은 픽셀들로 구성된 제 1 디지털 이미지의 이미지 특징들을 정규화하는 단계, 후보값들의 유한 세트를 정의하는 단계로서, 후보 값은 제 1 이미지와 제 2 이미지의 이미지 특징들 사이의 가능한 매칭을 위한 후보를 나타내는, 상기 정의 단계, 후보 값들의 평가를 위한 매칭 패널티 함수를 수립하는 단계와, 매칭 패널티 함수의 평가의 결과에 기초하여 후보 값을 선택하는 단계, 제 1 이미지의 픽셀들의 적어도 일부를 각각의 세그먼트들에 할당하는 단계를 포함하는제 1 이미지의 세그멘테이션에 의한 제 1 이미지의 정규화 단계, 세그먼트의 픽셀들의 적어도 일부를 위한 확실성 파라미터를 결정하는 단계와, 적어도 부분적으로 확실성 파라미터에 기초하도록 매칭 패널티 함수를 수립하는 단계를 포함하는, 상기 디지털 이미지들의 매칭을 제공한다.

Claims (8)

  1. 디지털 이미지들을 매칭하기 위한 방법으로서,
    픽셀들로 구성된 제 1 디지털 이미지(I1)의 이미지 특징들을 정규화하는 단계,
    픽셀들로 구성된 제 2 디지털 이미지(I2)를 제공하는 단계,
    후보 값들(Mx,i,My,i)의 유한 세트를 정의하는 단계로서, 후보 값은 상기 제 1 이미지의 이미지 특징들과 상기 제 2 이미지의 이미지 특징들 사이의 가능한 매칭(possible matching)을 위한 후보를 나타내는, 상기 정의 단계,
    상기 후보 값들(Mx,i,My,i)의 평가를 위해 매칭 패널티 함수(P'i)를 수립하는 단계,
    매 후보 값(Mx,i,My,i)에 대해 상기 매칭 패널티 함수(P'i)를 평가하는 단계와,
    상기 매칭 패널티 함수의 평가의 결과에 기초하여 후보 값(Mx,i,My,i)을 선택하는 단계를 포함하는, 상기 디지털 이미지들의 매칭 방법에 있어서,
    상기 이미지의 픽셀들의 적어도 일부를 각각의 세그먼트들에 할당하는 단계를 포함하는 상기 제 1 이미지의 세그멘테이션에 의한 상기 제 1 이미지의 정규화 단계,
    세그먼트의 픽셀들의 적어도 일부를 위한 확실성 파라미터(W(x,y))를 결정하는 단계와,
    적어도 부분적으로 상기 확실성 파라미터(W(x,y))에 기초하도록 상기 매칭 패널티 함수(p'i)를 수립하는 단계를 포함하는 것을 특징으로 하는, 디지털 이미지들의 매칭 방법.
  2. 제 1 항에 있어서,
    상기 확실성 파라미터(w(x,y))는 세그먼트의 하드 경계 섹션까지의 픽셀의 거리(d(x,y))에 기초하는, 디지털 이미지들의 매칭 방법.
  3. 제 1 항에 있어서,
    상기 세그멘테이션은 유사 세그멘테이션에 의해 달성되는, 디지털 이미지들의 매칭 방법.
  4. 프로세서가 제 1 항에 따른 방법을 수행할 수 있게 하기 위한 컴퓨터 프로그램.
  5. 제 4 항에 따른 컴퓨터 프로그램을 담고있는 유형의 매체(tangible media).
  6. 제 4 항에 따른 컴퓨터 프로그램을 담고있는 신호.
  7. 디지털 이미지들을 매칭하기 위한 디바이스로서,
    디지털 이미지들을 수신하기 위한 입력 섹션(120),
    매칭 결과들을 출력하기 위한 출력 섹션(130),
    픽셀들로 구성된 제 1 디지털 이미지(I1)의 이미지 특징들을 정규화하기 위한 수단(110),
    픽셀들로 구성된 제 2 디지털 이미지(I2)를 제공하기 위한 수단(110),
    후보 값들(Mx,i,My,i)의 유한 세트를 정의하기 위한 수단(110)으로서, 후보 값은 상기 제 1 이미지의 이미지 특징들과 상기 제 2 이미지의 이미지 특징들 사이의 가능한 매칭을 위한 후보를 나타내는, 상기 정의 수단(110),
    상기 후보 값들(Mx,i,My,i)의 평가를 위한 매칭 패널티 함수(P'i)를 수립하기 위한 수단(110),
    매 후보값(Mx,i,My,i)에 대해 상기 매칭 패널티 함수(P'i)를 평가하기 위한 수단(110)과,
    상기 매칭 패널티 함수의 평가의 결과에 기초하여 후보값(Mx,i,My,i)을 선택하기 위한 수단(110)을 포함하는, 상기 디지털 이미지들의 매칭 디바이스에 있어서,
    상기 이미지의 픽셀들의 적어도 일부를 각각의 세그먼트들에 할당하는 수단을 포함하는 상기 제 1 이미지의 세그멘테이션에 의한 상기 제 1 이미지를 정규화하기 위한 수단(110),
    세그먼트의 픽셀들의 적어도 일부를 위한 확실성 파라미터(w(x,y))를 수립하기 위한 수단(110)과,
    적어도 부분적으로 상기 확실성 파라미터(w(x,y))에 기초하도록 상기 매칭 패널티 함수(P'i)를 수립하기 위한 수단(110)을 더 포함하는 디지털 이미지들의 매칭 디바이스.
  8. 제 7 항에 청구된 디바이스를 포함하는 디스플레이 장치.
KR1020027005910A 2000-09-07 2001-08-27 이미지 매칭 KR100843112B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP00203080 2000-09-07
EP00203080.7 2000-09-07

Publications (2)

Publication Number Publication Date
KR20020067514A true KR20020067514A (ko) 2002-08-22
KR100843112B1 KR100843112B1 (ko) 2008-07-02

Family

ID=8171984

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027005910A KR100843112B1 (ko) 2000-09-07 2001-08-27 이미지 매칭

Country Status (6)

Country Link
US (1) US7046850B2 (ko)
EP (1) EP1374174A2 (ko)
JP (1) JP4700892B2 (ko)
KR (1) KR100843112B1 (ko)
CN (1) CN1307599C (ko)
WO (1) WO2002021438A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8209240B2 (en) 2007-08-08 2012-06-26 Olaworks, Inc. Method, apparatus, and computer readable recording medium for acquiring information on products attached to person in image data
KR101355258B1 (ko) * 2009-06-16 2014-01-27 닛본 덴끼 가부시끼가이샤 이미지 시그니처 매칭 장치

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
EP1584068A2 (en) * 2003-01-06 2005-10-12 Koninklijke Philips Electronics N.V. Method and apparatus for depth ordering of digital images
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
EP2064675B1 (en) * 2006-09-04 2012-11-21 Koninklijke Philips Electronics N.V. Method for determining a depth map from images, device for determining a depth map
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
CN100463002C (zh) * 2006-12-07 2009-02-18 北京航空航天大学 基于像素跳跃的图像匹配方法
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
CN101340811B (zh) * 2007-07-06 2010-12-08 鸿富锦精密工业(深圳)有限公司 影像最优匹配系统及方法
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
DE112011100329T5 (de) 2010-01-25 2012-10-31 Andrew Peter Nelson Jerram Vorrichtungen, Verfahren und Systeme für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US8582821B1 (en) * 2011-05-23 2013-11-12 A9.Com, Inc. Tracking objects between images
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
EP4138075A1 (en) 2013-02-07 2023-02-22 Apple Inc. Voice trigger for a digital assistant
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
KR101759009B1 (ko) 2013-03-15 2017-07-17 애플 인크. 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
EP3008641A1 (en) 2013-06-09 2016-04-20 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
EP3008964B1 (en) 2013-06-13 2019-09-25 Apple Inc. System and method for emergency calls initiated by voice command
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
CN106471570B (zh) 2014-05-30 2019-10-01 苹果公司 多命令单一话语输入方法
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
CN113272800A (zh) * 2018-12-31 2021-08-17 谷歌有限责任公司 使用贝叶斯推理来预测匹配图中的评审决策
US10771867B1 (en) 2019-03-08 2020-09-08 Shutterstock, Inc. Video-generating systems and methods

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5072293A (en) 1989-08-29 1991-12-10 U.S. Philips Corporation Method of estimating motion in a picture signal
JPH04290186A (ja) * 1991-03-19 1992-10-14 Eastman Kodak Japan Kk 画像処理方法
JP3465988B2 (ja) * 1994-04-27 2003-11-10 松下電器産業株式会社 動き及び奥行き推定方法及びその装置
EP0720384B1 (en) * 1994-12-30 1999-10-27 Daewoo Electronics Co., Ltd Block matching motion estimation apparatus employing a weight function
JPH10255049A (ja) * 1997-03-11 1998-09-25 Sharp Corp ブロックマッチングを用いた画像処理方法
US6445822B1 (en) * 1999-06-04 2002-09-03 Look Dynamics, Inc. Search method and apparatus for locating digitally stored content, such as visual images, music and sounds, text, or software, in storage devices on a computer network
US6751363B1 (en) * 1999-08-10 2004-06-15 Lucent Technologies Inc. Methods of imaging based on wavelet retrieval of scenes
US6738518B1 (en) * 2000-05-12 2004-05-18 Xerox Corporation Document image decoding using text line column-based heuristic scoring
US6775410B1 (en) * 2000-05-25 2004-08-10 Xerox Corporation Image processing method for sharpening corners of text and line art
US6690828B2 (en) * 2001-04-09 2004-02-10 Gary Elliott Meyers Method for representing and comparing digital images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8209240B2 (en) 2007-08-08 2012-06-26 Olaworks, Inc. Method, apparatus, and computer readable recording medium for acquiring information on products attached to person in image data
KR101355258B1 (ko) * 2009-06-16 2014-01-27 닛본 덴끼 가부시끼가이샤 이미지 시그니처 매칭 장치

Also Published As

Publication number Publication date
WO2002021438A3 (en) 2003-10-09
CN1307599C (zh) 2007-03-28
WO2002021438A2 (en) 2002-03-14
JP2004508639A (ja) 2004-03-18
US7046850B2 (en) 2006-05-16
KR100843112B1 (ko) 2008-07-02
US20020064310A1 (en) 2002-05-30
EP1374174A2 (en) 2004-01-02
JP4700892B2 (ja) 2011-06-15
CN1547725A (zh) 2004-11-17

Similar Documents

Publication Publication Date Title
KR100843112B1 (ko) 이미지 매칭
CN113557745B (zh) 点云几何结构填充
JP3621152B2 (ja) 特徴点の特定装置及びその方法
US6380986B1 (en) Motion vector search method and apparatus
KR102061923B1 (ko) 입력 이미지의 계층적 초해상을 수행하는 방법 및 장치
JP5089608B2 (ja) 視覚信号の補外または補間のためのシステムおよび方法
EP4094224A1 (en) Projection-based mesh compression
US20030161400A1 (en) Method and system for improved diamond motion search
JP2019194821A (ja) 目標認識装置、目標認識方法及びプログラム
JP2006516062A (ja) ディジタル画像の奥行き順序付けを行う方法及び装置
US8175160B1 (en) System, method, and computer program product for refining motion vectors
KR20210096234A (ko) 호모그래피 변환을 사용하는 포인트 클라우드 코딩
JP2001520781A (ja) 動き又はデプス推定
JP3537616B2 (ja) ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法
KR20050108397A (ko) 움직임 벡터 결정을 위한 방법
JP3979768B2 (ja) デジタル映像分割方法及びその装置
US20040170322A1 (en) Prioritizing in segment matching
JP2006525582A (ja) 領域分割の微調整
JP2980810B2 (ja) 動きベクトル探索方法と装置
JP3020299B2 (ja) 動きベクトル検出装置
KR102709925B1 (ko) 투영 기반 메시 압축
EP0853799A1 (en) Image compression using fractal tilings
JP3171249B2 (ja) 動画像符号化の動きベクトル探索方法
JP3456617B2 (ja) 領域分割装置
JPH08329255A (ja) 画像の領域分割方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120622

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130618

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee