KR101355299B1 - 이미지 시그니처 추출 장치 - Google Patents

이미지 시그니처 추출 장치 Download PDF

Info

Publication number
KR101355299B1
KR101355299B1 KR1020117023931A KR20117023931A KR101355299B1 KR 101355299 B1 KR101355299 B1 KR 101355299B1 KR 1020117023931 A KR1020117023931 A KR 1020117023931A KR 20117023931 A KR20117023931 A KR 20117023931A KR 101355299 B1 KR101355299 B1 KR 101355299B1
Authority
KR
South Korea
Prior art keywords
delete delete
rectangle
dimension
region
sub
Prior art date
Application number
KR1020117023931A
Other languages
English (en)
Other versions
KR20120023607A (ko
Inventor
료마 오아미
고타 이와모토
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20120023607A publication Critical patent/KR20120023607A/ko
Application granted granted Critical
Publication of KR101355299B1 publication Critical patent/KR101355299B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

이미지 시그니처 추출 장치는 추출 유닛 및 생성 유닛을 포함한다. 추출 유닛은 이미지 내의 개별 서브 영역들로부터의 영역 특징들을 상기 이미지 내의 복수의 서브 영역 쌍들에 따라 추출하고, 이러한 서브 영역 쌍들은 쌍을 이루는 2개의 서브 영역들의 형상들의 조합과 쌍을 이루는 2개의 서브 영역들 간의 상대적인 위치 양자가 다른 서브 영역 쌍들 중 적어도 하나와는 서로 다른, 적어도 하나의 서브 영역 쌍들을 포함한다. 생성 유닛은 개별 서브 영역들의 추출된 영역 특징들에 기초하여, 이미지를 식별하기 위해 사용될 이미지 시그니처를 생성한다.

Description

이미지 시그니처 추출 장치 {IMAGE SIGNATURE EXTRACTION DEVICE}
본 발명은 이미지들을 식별하기 위한 (이미지들의 동일성을 결정하기 위한) 특징들인 이미지 시그니처들을 추출하기 위한 시스템에 관한 것이다.
이미지 시그니처들은 이미지를 식별하기 위한 (이미지의 동일성을 결정하기 위한) 이미지 특징들이다. 이미지으로부터 추출된 이미지 시그니처를 또 다른 이미지으로부터 추출된 이미지 시그니처와 비교함으로써, 2개의 이미지들이 동일한 정도를 표시하는 동일성 척도 (일반적으로, 유사도 또는 거리로 지칭됨) 가 비교 결과에 따라 계산될 수 있다. 추가로, 계산된 동일성 척도를 임계값과 비교함으로써, 2개의 이미지들이 동일한지의 여부를 결정하는 것이 가능하다. 이와 관련하여, "2개의 이미지들이 동일하다" 의 의미는 2개의 이미지들이 이미지 신호들의 레벨 (이미지들을 구성하는 픽셀들의 픽셀 값들) 에서 동일한 경우 뿐만 아니라 이미지의 압축 포맷의 변환, 이미지의 사이즈/종횡비의 변환, 이미지의 컬러 톤 조정, 이미지에 적용되는 다양한 필터링 프로세스들 (선명도, 평활도 등), 이미지에 적용되는 로컬 프로세싱 (자막 합성, 컷아웃 등), 및 이미지의 재취득과 같은 다양한 변경 프로세스들에 의해 하나의 이미지가 다른 이미지의 복제 이미지가 되는 경우를 포함한다. 이미지 시그니처들을 사용함으로써, 이미지 또는 이미지들의 세트인 동영상의 복제를 검출하는 것이 가능하기 때문에, 예를 들어, 이미지 시그니처들은 이미지들 또는 동영상들을 위한 불법 복제 검출 시스템에 적용가능하다.
특허 문헌 1 은 이미지 시그니처의 일 예를 설명한다. 도 18 은 특허 문헌 1 에 설명된 이미지 시그니처를 추출하는 방법을 도시하는 도면이다. 이러한 이미지 시그니처는 다수의 차원들 (도 18 에서 16 개 차원들) 의 특징 벡터이다. 이 방법은 이미지 (240) 내의 미리 결정된 위치들에서 사각형 영역들 (244) 의 32개 부분들 (그 중, 사각형 영역들의 16개 부분들은 도 18에 도시됨) 로부터 각각 평균 휘도를 계산하고, 쌍을 이루는 직사각형 영역들 (쌍이 되는 직사각형 영역들은 도 18 에서 점선들 (248) 에 의해 서로 연결됨) 사이에 평균 휘도의 차이를 계산하여 16개 차원들에서 차분 벡터 (250) 를 획득한다. 차분 벡터 (250) 와 관련하여, 합성 벡터는 벡터 변환에 의해 생성되며, 합성 벡터의 개별 차원들을 양자화함으로써 취득되는 16개 차원들에서의 양자화 인덱스 벡터는 이미지 시그니처로서 사용된다.
특허 문헌 1: 일본 미심사 특허 공개공보 평 8-500471 호.
복수의 차원들의 특징 벡터로 형성되는 이미지 시그니처에서, 차원들 간의 상관 관계가 작을수록 특징 벡터가 가지는 정보량이 커지기 때문에 (리던던시가 작아지기 때문에), 이러한 이미지 시그니처는 서로 다른 이미지들을 구별하는 정도인 구별 능력이 높아진다. 이와 반대로, 특징 벡터의 차원들 간의 상관 관계가 크면, 특징 벡터가 가지는 정보량은 작아지기 때문에 (리던던시는 커지기 때문에), 구별 능력이 낮아진다. 차원들 간의 상관 관계는 차원들의 특징들로부터 발생하는 유사도이며, 수학적으로는, 예컨대 각각의 차원의 특징의 발생이 확률 변수로서 설정되는 경우에 확률 변수들 사이의 상관 계수 또는 상호 정보량으로서 계산되는 값이라는 것을 주목한다. 이와 같이, 복수의 차원들의 특징 벡터로 형성된 이미지 시그니처는 차원들 간의 상관 관계가 작도록 설계되는 것이 바람직하다.
이미지 신호들 (이미지를 구성하는 픽셀들의 픽셀 값들) 은 이미지의 로컬 영역들 간에 상관 관계를 갖는다. 일반적으로, 로컬 영역들 간의 거리가 가까울수록 상관 관계는 크다. (특히 이미지 패턴이 규칙적인 주기로 반복해서 나타나는 경우에) 특히 특정 이미지 패턴이 반복해서 나타나는 이미지 (예를 들면, 격자 패턴으로 배치된 건물의 창문들의 이미지, 도면 19a 참조) 에서, 또는 특정 텍스처로 형성되는 이미지 (도면 19b 참조) 에서, 예컨대 이미지의 로컬 영역들 간의 상관 관계는 크다.
[제 1 문제점]
특허 문헌 1에서 설명되는 것과 같이, 이미지의 복수의 로컬 영역들로부터 추출된 특징들을 포함하는 특징 벡터로 형성되는 종래의 이미지 시그니처와 관련하여, 그 특징들을 추출하기 위한 로컬 영역들의 형상들은, 이미지 내의 로컬 영역들 간의 상관 관계가 큰 이미지에 대하여 각 차원에서 동일하기 때문에 (특허 문헌 1의 예에서, 동일한 형상의 사각형 영역들), 추출된 특징들의 차원들 간의 상관 관계는 크다. 이와 같이, 제 1 문제점은 이미지 시그니처 (특징 벡터) 의 구별 능력이 낮아지는 것이다. 형상들이 동일하다는 것은 영역들이 그들의 사이즈 및 각도 (기울기 또는 방위) 를 포함하여 동일하다는 것을 의미하는 것에 유의하여야 한다.
예를 들어, 특정 이미지 패턴이 반복해서 나타나는 이미지 (도 19a 참조) 또는 특정 텍스처로 형성되는 이미지 (도 19b 참조) 에 대해서, 특허 문헌 1에 설명된 것과 같은 종래의 이미지 시그니처는 구별 능력이 낮다.
[제 2 문제점]
특허 문헌 1에서 설명되는 종래의 이미지 시그니처의 두 번째 문제점은 특징들 (특징 벡터) 을 계산하기 위한 각 차원들의 영역들의 형상들이 동일한 사각형 형상 (사이즈 및 각도를 포함함) 이기 때문에, 사각형의 한 변의 길이와 동일하거나 그 정수 부분인 하나의 사이클을 가지는 주파수 성분들을 검출하는 것이 불가능한 주파수들에서 맹점 (blind spot) 이 존재한다는 것이다. 그 이유는 이러한 특정 주파수의 신호 성분에 대하여 영역에서 종래의 방법에 따라서 평균이 계산되는 경우에, 신호 성분의 크기에 상관없이 그 값이 0 이 되어, 이러한 주파수 성분의 신호들이 전혀 검출될 수 없기 때문이다. 보다 구체적으로, 사각형의 한 변의 길이와 동일한 사이클을 가진 주파수가 f0 이라고 가정할 때, 주파수 nf0 (n = 1, 2, 3, …) 의 성분들은 검출될 수 없다. 이와 같이, 신호들이 직류 성분들 및 이러한 주파수 성분들에 집중하는 이미지에 대하여, 평균 픽셀 값은 직류 성분과 동일하게 되며, 따라서 영역들 간의 값들의 차이가 없어진다. 결과적으로, 영역들 간의 평균 픽셀 값들의 차이로 추출되는 모든 특징의 값은 0 이 되며, 따라서 구별이 수행될 수 없다 (구별 능력이 현저하게 저하된다). 사실, 주파수 nf0 (n = 1, 2, 3, …) 의 성분들뿐만 아니라 그 근방의 일정한 주파수 영역들을 검출하는 것이 어렵기 때문에, 신호들이 전술된 특정 주파수에 집중하지 않는 경우에도 그 주파수 대역의 신호 성분들은 사용되지 않을 수 있으며, 따라서 구별 능력이 저하된다. 이러한 문제점을 해소하기 위해, 주파수 f0 값을 증가시켜 검출하기 어려운 주파수 대역 내에 있는 신호 전력을 감소시키는 것이 가능할 수도 있다. 그러나, 주파수 f0 값을 증가시키는 것은 영역의 사이즈를 감소시키는 것을 의미하며, 주파수의 견고성 (각종 변경 프로세스들 또는 잡음에도 특징이 변화하지 않는 정도) 의 저하를 발생한다. 예를 들어, 영역이 작아지는 경우에, 약간의 위치 시프트에 대해서도 특징 값이 크게 변화하며, 따라서 특징의 견고성이 저하된다. 전술된 것과 같이, 동일한 직사각형 영역들을 사용할 때, 구별 능력을 증가시키면서 견고성을 확보하는 것은 매우 어렵다.
[발명의 목적]
본 발명의 목적은 이미지 내의 로컬 영역들 간의 상관 관계가 큰 이미지 또는 특정 주파수에 집중된 신호들을 가진 이미지로부터 추출되는 이미지 시그니처가 서로 다른 이미지들을 구별할 정도의 낮은 구별 능력을 가지는 문제점을 해결할 수 있는 이미지 시그니처 추출 장치를 제공하는 것이다.
본 발명의 일 양태에 따라, 이미지 시그니처 추출 장치는 이미지 내의 개별 서브 영역들로부터 영역 특징들을 이미지 내의 복수의 서브 영역 쌍들에 따라 추출하는 추출 유닛을 포함하며, 이러한 서브 영역 쌍들은 쌍을 이루는 2개의 서브 영역들의 형상들의 조합과 쌍을 이루는 2개의 서브 영역들 간의 상대적인 위치 양자가, 다른 서브 영역 쌍들 중 적어도 하나의 그것과는 상이한 적어도 하나의 서브 영역 쌍을 포함하고, 2개의 서브 영역들의 형성의 조합과 그 쌍들 각각의 2개의 서브 영역들 간의 상대적인 위치에 기초하여 복수의 타입으로 분류되고; 그리고 개별 서브 영역들의 추출된 영역 특징들에 기초하여 이미지를 식별하기 위해 사용될 이미지 시그니처를 생성하는 생성 유닛을 포함한다.
상술된 바와 같이 구성되는 본 발명에 따라, 서로 다른 이미지를 구별하는 정도인, 이미지 시그니처의 구별 능력은 개선될 수 있다. 특히, 이미지 내의 로컬 영역들 간의 상관 관계가 높은 이미지에 대하여 이러한 유리한 효과가 상당히 달성된다.
본 발명은 또한 특정 주파수에 집중된 신호들을 가진 이미지에 대해서도 구별 능력이 저하되지 않는다는 유리한 효과를 제공한다.
도 1 은 본 발명의 제 1 실시 형태를 도시하는 블록도이다.
도 2 는 차원별 추출 정보에 의해 도시되는 개별 차원들에 대한 예시적인 추출 영역 쌍들을 보여주는 도면이다.
도 3 은 본 발명의 제 1 실시 형태의 비교 유닛의 일 예를 도시하는 블록도이다.
도 4 는 본 발명의 제 1 실시 형태의 비교 유닛의 또 다른 예를 도시하는 블록도이다.
도 5 는 본 발명의 제 1 실시 형태의 프로세싱 흐름을 도시하는 흐름도이다.
도 6 은 본 발명의 제 2 실시 형태의 주요 부분을 도시하는 블록도이다.
도 7 은 본 발명의 제 2 실시 형태의 프로세싱 흐름을 도시하는 흐름도이다.
도 8 은 본 발명의 제 3 실시 형태를 도시하는 블록도이다.
도 9 는 개별 차원들에 대한 영역 특징 계산 방법들의 예들 도시하는 표이다.
도 10 은 본 발명의 제 3 실시 형태의 프로세싱 흐름을 도시하는 흐름도이다.
도 11 은 본 발명의 제 4 실시 형태를 도시하는 블록도이다.
도 12 는 개별 차원들에 대한 비교 및 양자화 방법들의 예들을 도시하는 표이다.
도 13 는 본 발명의 제 4 실시 형태의 프로세싱 흐름을 도시하는 흐름도이다.
도 14a 는 본 발명의 제 5 실시 형태 및 제 6 실시 형태에서 사용되는 차원별 추출 영역 정보를 도시하는 표이다.
도 14b 는 본 발명의 제 5 실시 형태 및 제 6 실시 형태에서 사용되는 차원별 추출 영역 정보를 도시하는 표이다.
도 14c 는 본 발명의 제 5 실시 형태 및 제 6 실시 형태에서 사용되는 차원별 추출 영역 정보를 도시하는 표이다.
도 14d 는 본 발명의 제 5 실시 형태 및 제 6 실시 형태에서 사용되는 차원별 추출 영역 정보를 도시하는 표이다.
도 14e 는 본 발명의 제 5 실시 형태 및 제 6 실시 형태에서 사용되는 차원별 추출 영역 정보를 도시하는 표이다.
도 14f 는 본 발명의 제 5 실시 형태 및 제 6 실시 형태에서 사용되는 차원별 추출 영역 정보를 도시하는 표이다.
도 14g 는 본 발명의 제 5 실시 형태 및 제 6 실시 형태에서 사용되는 차원별 추출 영역 정보를 도시하는 표이다.
도 14h 는 본 발명의 제 5 실시 형태 및 제 6 실시 형태에서 사용되는 차원별 추출 영역 정보를 도시하는 표이다.
도 14i 는 본 발명의 제 5 실시 형태 및 제 6 실시 형태에서 사용되는 차원별 추출 영역 정보를 도시하는 표이다.
도 14j 는 본 발명의 제 5 실시 형태 및 제 6 실시 형태에서 사용되는 차원별 추출 영역 정보를 도시하는 표이다.
도 15a 는 본 발명의 제 5 실시 형태에서 사용되는 차원별 영역 특징 계산 방법 정보를 도시하는 표이다.
도 15b 는 본 발명의 제 5 실시 형태에서 사용되는 차원별 영역 특징 계산 방법 정보를 도시하는 표이다.
도 15c 는 본 발명의 제 5 실시 형태에서 사용되는 차원별 영역 특징 계산 방법 정보를 도시하는 표이다.
도 15d 는 본 발명의 제 5 실시 형태에서 사용되는 차원별 영역 특징 계산 방법 정보를 도시하는 표이다.
도 15e 는 본 발명의 제 5 실시 형태에서 사용되는 차원별 영역 특징 계산 방법 정보를 도시하는 표이다.
도 16a 는 본 발명의 제 6 실시 형태에서 사용되는 차원별 영역 특징 계산 방법 정보를 도시하는 표이다.
도 16b 는 본 발명의 제 6 실시 형태에서 사용되는 차원별 영역 특징 계산 방법 정보를 도시하는 표이다.
도 16c 는 본 발명의 제 6 실시 형태에서 사용되는 차원별 영역 특징 계산 방법 정보를 도시하는 표이다.
도 16d 는 본 발명의 제 6 실시 형태에서 사용되는 차원별 영역 특징 계산 방법 정보를 도시하는 표이다.
도 16e 는 본 발명의 제 6 실시 형태에서 사용되는 차원별 영역 특징 계산 방법 정보를 도시하는 표이다.
도 17a 는 본 발명의 제 5 실시 형태 및 제 6 실시 형태에서 사용되는 차원별 비교 및 양자화 방법 정보를 도시하는 표이다.
도 17b 는 본 발명의 제 5 실시 형태 및 제 6 실시 형태에서 사용되는 차원별 비교 및 양자화 방법 정보를 도시하는 표이다.
도 17c 는 본 발명의 제 5 실시 형태 및 제 6 실시 형태에서 사용되는 차원별 비교 및 양자화 방법 정보를 도시하는 표이다.
도 17d 는 본 발명의 제 5 실시 형태 및 제 6 실시 형태에서 사용되는 차원별 비교 및 양자화 방법 정보를 도시하는 표이다.
도 17e 는 본 발명의 제 5 실시 형태 및 제 6 실시 형태에서 사용되는 차원별 비교 및 양자화 방법 정보를 도시하는 표이다.
도 18 은 특허 문헌 1에서 설명되는 이미지 시그니처를 추출하는 방법을 도시하는 도면이다.
도 19 는 로컬 영역들 간의 상관 관계가 큰 이미지들의 예들을 도시하는 도면이다.
도 20 은 양자화 인덱스 벡터들 간에 매칭을 실시하는 매칭 유닛을 도시하는 블록도이다.
도 21 은 양자와 인덱스 벡터들 간에 매칭을 실시하는 매칭 유닛에 의해 실시된 예시적인 프로세스를 도시하는 흐름도이다.
도 22 는 양자화 인덱스 벡터들 간에 매칭을 실시하는 매칭 유닛에 의해 실시된 다른 예시적인 프로세스를 도시하는 흐름도이다.
도 23 은 양자화 인덱스 벡터들 간에 매칭을 실시하는 매칭 유닛에 의해 실시된 또 다른 예시적인 프로세스를 도시하는 흐름도이다.
도 24 는 이미지를 종방향으로 32개 그리고 횡방향으로 32개로 분할함으로써 형성된 1024개의 블록들에 적용된 인덱스들의 예를 도시하는 테이블이다.
도 25a 는 본 발명의 제 7 실시형태의 개별 차원들에 대응하는 영역들 중, 일 타입에 속하는 영역들을 도시하는 테이블이다.
도 25b 는 본 발명의 제 7 실시형태의 개별 차원들에 대응하는 영역들 중, 일 타입에 속하는 영역들을 도시하는 테이블이다.
도 25c 는 본 발명의 제 7 실시형태의 개별 차원들에 대응하는 영역들 중, 일 타입에 속하는 영역들을 도시하는 테이블이다.
도 25d 는 본 발명의 제 7 실시형태의 개별 차원들에 대응하는 영역들 중, 일 타입에 속하는 영역들을 도시하는 테이블이다.
도 25e 는 본 발명의 제 7 실시형태의 개별 차원들에 대응하는 영역들 중, 일 타입에 속하는 영역들을 도시하는 테이블이다.
도 25f 는 본 발명의 제 7 실시형태의 개별 차원들에 대응하는 영역들 중, 일 타입에 속하는 영역들을 도시하는 테이블이다.
도 25g 는 본 발명의 제 7 실시형태의 개별 차원들에 대응하는 영역들 중, 일 타입에 속하는 영역들을 도시하는 테이블이다.
도 26 은 각각의 차원의 영역 타입 중, 차원수, 및 임계값에 대응하는 인덱스의 관계를 도시하는 테이블이다.
도 27a 는 영역 타입 a의 차원의 제 1 및 제 2 추출 영역들의 예를 도시하는 도면이다.
도 27b 는 영역 타입 b의 차원의 제 1 및 제 2 추출 영역들의 예를 도시하는 도면이다.
도 27c 는 영역 타입 c의 차원의 제 1 및 제 2 추출 영역들의 예를 도시하는 도면이다.
도 27d 는 영역 타입 d의 차원의 제 1 및 제 2 추출 영역들의 예를 도시하는 도면이다.
도 27e 는 영역 타입 e의 차원의 제 1 및 제 2 추출 영역들의 예를 도시하는 도면이다.
도 27f 는 영역 타입 f의 차원의 제 1 및 제 2 추출 영역들의 예를 도시하는 도면이다.
도 27g 는 영역 타입 g의 차원의 제 1 및 제 2 추출 영역들의 예를 도시하는 도면이다.
[제 1 실시 형태]
[제 1 실시 형태의 구성]
다음에, 본 발명의 제 1 실시 형태는 도면들을 참조하여 상세히 설명될 것이다.
도 1 을 참조하면, 본 발명의 제 1 실시 형태에 따른 이미지 시그니처 추출 장치는 입력된 이미지에 대하여 복수의 차원들로 형성된 특징 벡터 (더 구체적으로는, 양자화 인덱스 벡터) 를 이미지 시그니처로 출력하기 위한 시스템이다. 이미지 시그니처 추출 장치는 차원 결정 유닛 (1), 추출 영역 취득 유닛 (2), 영역 특징 계산 유닛 (3) 및 비교 유닛 (4) 을 포함한다.
차원 결정 유닛 (1) 은 다음에 추출될 특징 벡터의 차원을 결정하고, 추출 영역 취득 유닛 (2) 에 공급한다. 차원 결정 유닛 (1) 은 추출될 특징 벡터의 차원들을 순차적으로 공급하고, 추출 영역 취득 유닛 (2) 이후의 구성 요소들은 공급 차원들에 대응하는 특징들을 추출한다. 예를 들어, 특징 벡터가 N 개 차원들로 형성되는 경우에, 차원 결정 유닛 (1) 은 제 1 차원부터 제 N 차원까지 순차적으로 추출 영역 취득 유닛 (2) 에 공급할 수도 있다. 결과적으로 특징 벡터의 모든 차원들이 공급되는 경우에 차원들은 임의의 순서로 공급될 수도 있다. 복수의 차원들을 동시에 공급하는 것 또한 가능하다.
차원 결정 유닛 (1) 으로부터 공급되는 차원들과는 별도로, 추출 영역 취득 유닛 (2) 에는 차원별 추출 영역 정보가 입력으로서 공급된다.
차원별 추출 영역 정보는 특징 벡터의 각 차원과 연관된, 차원의 특징을 추출하기 위한 제 1 추출 영역과 제 2 추출 영역의 미리 결정된 쌍을 나타내는 정보이다. 제 1 및 제 2 추출 영역들은 전제 조건들로서 다음과 같은 특징들을 갖는다.
[제 1 및 제 2 추출 영역들의 전제 조건들]
제 1 및 제 2 추출 영역들의 전제 조건들은 추출 영역 쌍의 상대적인 위치들이 차원들 사이에서 서로 다르고, 추출 영역 쌍의 형상들의 조합이 차원들 사이에서 서로 다른 것이다.
도 2 는 차원별 추출 정보에 의해 표시되는 차원들의 각각에 대하여, 그러한 전제 조건들을 만족하는 예시적인 추출 영역 쌍을 도시한다. 도 18에 도시된 종래의 이미지 시그니처에 대한 추출 영역들과 달리, 추출 영역 쌍들의 형상들의 조합들은 개별 차원들 사이에서 서로 다르다. 형상이 서로 다른 것은 서로 다른 각도들의 동일한 형상들 (예를 들어, 도 2에서 제 1 차원의 제 2 추출 영역과 제 7 차원의 제 1 추출 영역) 및 서로 다른 사이즈의 유사한 형상들 (예를 들어, 도 2에서 제 1 차원의 제 2 추출 영역과 제 9 차원의 제 2 추출 영역) 을 포함한다. 최소 조건은 추출 영역 쌍이 서로 다른 형상들의 조합을 가지는 적어도 하나의 차원이 특징 벡터의 모든 차원들에 포함된다는 것을 주목한다. 특징 벡터가 서로 다른 형상들 (의 조합) 의 추출 영역 쌍들을 가진 다수의 차원들을 포함하는 것이 바람직하다. 이것은 특징 벡터가 서로 다른 형상들 (의 조합)의 추출 영역 쌍들을 더 많이 가질수록 특징 벡터에서 차원들 간의 다수의 상관 관계들이 작아지고, 따라서 구별 능력이 높아지기 때문이다. 예를 들어, 추출 영역 쌍의 형상들은 특징 벡터의 모든 차원들에서 서로 다를 수도 있다.
하나의 차원에서 제 1 추출 영역과 제 2 추출 영역은 도 2의 제 9 차원에 도시된 영역들과 동일한 형상이어야 할 필요는 없지만, 도 2의 다른 차원들에 도시된 것과 서로 다른 형상일 수도 있다. 각 차원에서 제 1 추출 영역과 제 2 추출 영역의 형상들이 서로 다른 경우에, 제 1 추출 영역과 제 2 추출 영역에서 추출되는 특징들의 상관 관계는 작아지며, 구별 능력은 높아진다. 이와 같은 경우는 바람직하다. 또한, 이러한 경우에 제 1 추출 영역과 제 2 추출 영역이 동시에 동일 주파수에 대해 맹점이 될 가능성이 낮기 때문에, 구별 능력은 높아진다.
개별 추출 영역들은 임의의 형상들을 취할 수도 있다. 예를 들어, 도 2의 제 6 차원의 제 2 추출 영역과 같은 임의의 복잡한 형상들 또한 허용될 수 있다. 추출 영역들이 이미지의 복수의 픽셀들로 형성되는 경우에, 도 2의 제 7 차원 및 제 10 차원에 도시된 것과 같이 선 부분이나 곡선도 허용될 수 있다. 또한, 추출 영역은 제 8 차원의 제 1 추출 영역, 제 11 차원의 제 1 및 제 2 추출 영역, 제 12 차원의 제 1 추출 영역과 같이, 복수의 연속하지 않는 작은 영역들로 구성될 수도 있다. 전술된 것과 같이, 특징 벡터가 복잡한 형상의 추출 영역들을 포함하는 경우에, 그로부터 추출된 특징들의 차원들 간의 상관 관계는 작아질 수도 있고, 따라서 구별 능력은 높아질 수 있다.
또한, 도 2의 제 5 차원에서와 같이, 제 1 추출 영역과 제 2 추출 영역의 부분들은 서로 겹쳐질 수 있다. 또한, 추출 영역 쌍 중 하나는 다른 하나에 포함될 수도 있다. 전술된 것과 같이, 추출 영역 쌍의 오버랩핑을 허용함으로써, 추출 영역 쌍들에 대하여 더 많은 수의 패턴들 (상대적인 위치, 거리) 이 취득될 수록, 차원들 간의 상관을 감소시킬 수 있는 패턴들이 증가될 수 있으며, 따라서 구별 능력을 개선할 확률이 증가된다.
또한, 추출 영역들의 부분들은 도 18에 도시된 종래의 이미지 시그니처에 대한 추출 영역들과 달리 도 2에 도시된 개별 차원들과 같은 차원들 사이에서 서로 겹쳐질 수도 있다. 도 18에 도시된 이미지 시그니처에 대한 추출 영역들에서 도시된 것과 같은 차원들 사이에서 추출 영역들이 독점적으로 취득되는 경우에, 추출 영역 쌍들의 가능한 패턴들이 한정된다. 도 2에 도시된 것과 같은 차원들 사이에 추출 영역들의 오버래핑을 허용함으로써, 차원들 간의 상관 관계를 감소시킬 수 있는 패턴들을 증가시킬 수 있으며, 따라서 구별 능력을 개선할 확률이 증가된다. 그러나, 차원들 사이에 추출 영역들의 겹쳐지는 부분들이 너무 많으면, 차원들 간의 상관 관계가 커지며 따라서, 구별 능력이 낮아지게 된다. 이와 같은 경우는 바람직하지 않다.
추가로, 모든 차원들에 대한 추출 영역들이 결합될 때, 특징들이 추출되지 않는 영역이 작도록 (즉, 스크린 이미지의 거의 전체가 커버될 수 있음) 추출 영역들을 취득하는 것이 바람직하다. 도 18의 경우에서와 같이 특징들이 추출되지 않는 영역이 크면, 이미지 신호 내에 포함된 정보 (이미지를 구성하는 픽셀들의 픽셀 값) 의 대부분이 사용되지 않으며, 따라서 구별 능력은 크지 않다. 모든 차원들에 대한 추출 영역들이 결합될 때, 특징들이 추출되지 않는 영역이 작도록 (즉, 스크린 이미지의 거의 전체가 커버될 수 있음) 영역들을 추출함으로써, 이미지 신호 내에 포함되는 정보의 대부분이 특징들에 반영될 수 있으며, 따라서 구별 능력이 높아질 수 있다. 추가로, 모든 차원들에 대한 추출 영역들이 결합될 때, 추출 특징들이 바이어스되지 않고 전체 이미지로부터 균일하게 획득되는 것이 바람직하다. 그러나, 특정 영역에 대한 자막 합성과 같은 로컬 프로세싱을 수행할 확률이 높은 경우에, 그 영역을 피해 추출 영역들을 획득하는 것이 바람직하다. 또한, 일반적으로 이미지의 가장자리 주변 영역들은 종종 이미지의 특징 부분들을 포함하지 않기 때문에, 그러한 주변 영역들을 피해 추출 영역을 획득하는 것이 바람직하다.
게다가, 추출 영역들의 사이즈 및 상대적인 위치 (거리, 방향) 가 특정한 분포 (예컨대, 균일한 분포) 를 따르는 것이 바람직하며, 이는 상대적인 위치 (거리, 방향) 가 균일 분포를 따르는 경우에 추출 영역은 거리와 방향에 대해 바이어스되지 않으며, 따라서 추출 영역들은 특정 거리 또는 방향에 집중되지 않고, 더 넓은 다양성이 달성될 수 있기 때문이다. 또한, 상대적인 위치들이 가까울수록 그 영역들 간의 상관 관계가 커지기 때문에, 그러한 영향을 상쇄시키기 위하여, 상대적인 위치들이 가까울수록 형상의 차이가 큰 것이 바람직하다.
차원별 추출 영역 정보는 각 차원에 대한 제 1 추출 영역과 제 2 추출 영역이 그 정보를 사용하여 고유하게 규정될 수 있는 경우에 임의의 형식이 될 수도 있다. 또한, 추출 영역은 임의의 사이즈 또는 종횡비의 이미지에 대하여 항상 같은 영역이 되어야 하므로, 차원별 추출 영역 정보는 임의의 사이즈 또는 종횡비의 이미지에 대하여 같은 추출 영역을 획득할 수 있는 형식이 되어야 한다. 예를 들어, 차원별 추출 영역 정보는 미리 결정된 사이즈와 종횡비를 가지는 이미지 (예를 들어, 가로폭 320 픽셀 × 세로폭 240 픽셀의 이미지) 에 대해 그 추출 영역의 위치 및 형상을 설명할 수도 있다. 이러한 경우에, 임의의 사이즈와 종횡비로 입력된 이미지에 대하여, 먼저 이미지를 미리 결정된 사이즈와 종횡비를 가지도록 리사이즈한 후, 차원별 추출 영역 정보에서 설명되는 추출 영역의 위치 및 형상에 따라 추출 영역을 규정한다. 이와 반대로, 입력된 이미지의 임의의 사이즈와 종횡비에 대응하여 차원별 추출 영역 정보에 설명된 추출 영역의 위치 및 형상을 변환하는 것이 가능하며, 따라서 추출 영역을 규정할 수 있다.
차원별 추출 영역 정보에 포함된 각 추출 영역을 나타내는 정보는 미리결정된 사이즈와 종횡비의 이미지 (예를 들어, 가로폭 320 픽셀 × 세로폭 240 픽셀 이미지) 에 대해 추출 영역을 구성하는 모든 픽셀들의 좌표값들의 세트를 설명하는 정보일 수도 있다. 또한, 차원별 추출 영역 정보 내에 포함된 각 추출 영역을 나타내는 정보는 미리 결정된 사이즈와 종횡비의 이미지에 대하여 추출 영역의 위치와 형상을 파라미터들을 사용하여 설명하는 정보일 수도 있다. 예를 들어, 추출 영역의 형상이 사각형인 경우에, 정보는 사각형의 4개의 모서리들의 좌표 값들을 설명할 수도 있다. 또한, 추출 영역의 형상이 원형인 경우에, 정보는 원의 중심의 좌표 값들과 반경 값을 설명할 수도 있다.
추가로, 차원별 추출 영역 정보와 같은 의사 난수들의 시드 (seed) 를 사용하여, 추출 영역 취득 유닛 (2) 내부의 시드에서 시작하여 난수들 (예컨대, 사각형의 4개의 모서리들은 난수들에 따라 결정됨) 에 따라 서로 다른 형상들로 추출 영역들을 생성할 수 있도록 의사 난수들을 생성하는 방법을 채용할 수도 있다. 구체적으로, 차원별 추출 영역은 하기의 절차에 따라 취득될 수 있다.
(1) 의사 난수들의 시드가 차원별 추출 영역 정보로서 공급된다.
(2) 차원 n은, n = 1 로 설정된다.
(3) 의사 난수들이 생성되고, 차원 n에 대한 제 1 추출 영역의 사각형의 4개 모서리들이 결정된다.
(4) 의사 난수들이 생성되고, 차원 n에 대한 제 2 추출 영역의 사각형의 4개 모서리들이 결정된다.
(5) 차원 n은, n = n +1 로 설정되고, 절차는 (3) 으로 복귀한다.
추출 영역들은 난수들에 따라 결정되기 때문에, 생성되는 추출 영역들은 개별 차원들에 대하여 서로 다르다. 또한, 의사 난수들의 시드가 동일한 경우에, 매번 (임의의 이미지에 관련하여) 동일한 난수들이 생성되기 때문에, 서로 다른 이미지들에 대하여 동일한 추출 공간이 재현된다.
추출 영역 취득 유닛 (2) 은 입력으로서 공급되는 차원별 추출 영역 정보로부터, 차원 결정 유닛 (1) 으로부터 공급되는 차원에 대응하는 제 1 추출 영역과 제 2 추출 영역을 나타내는 정보를 취득하고, 이러한 정보를 추출 영역 대표값 계산 유닛 (3) 에 출력한다.
영역 특징 계산 유닛 (3) 에는, 추출 영역 취득 유닛 (2) 으로부터의 입력 (제 1 추출 영역과 제 2 추출 영역을 나타내는 정보) 과는 별도로, 이미지 시그니처에 대한 추출 타겟인 이미지가 입력으로서 공급된다. 영역 특징 계산 유닛 (3) 은 제 1 영역 특징 계산 유닛 (31) 및 제 2 영역 특징 계산 유닛 (32) 을 포함한다. 제 1 영역 특징 계산 유닛 (31) 을 사용하여, 영역 특징 계산 유닛 (3) 은 입력으로서 공급되는 이미지로부터, 추출 영역 취득 유닛 (2) 으로부터 공급되는 제 1 추출 영역을 나타내는 정보에 기초하여 각 차원에 대한 제 1 영역 특징으로서 제 1 추출 영역의 특징을 계산하고, 그 특징을 비교 유닛 (4) 으로 공급한다. 또한, 제 2 영역 특징 계산 유닛 (32) 을 사용하여, 영역 특징 계산 유닛 (3) 은 입력으로 공급된 이미지로부터, 추출 영역 취득 유닛 (2) 으로부터 공급되는 제 2 추출 영역을 나타내는 정보에 기초하여 각 차원에 대한 제 2 영역 특징으로서 제 2 추출 영역의 특징을 계산하고, 그 특징을 비교 유닛 (4) 으로 공급한다.
제 1 추출 영역과 제 2 추출 영역을 나타내는 정보에 기초하는 입력된 이미지에 대하여 개별 추출 영역들을 규정하기 위해서, 영역 특징 계산 유닛 (3) 은 필요한 경우 차원별 추출 영역 정보 내에 미리 결정된 사이즈와 종횡비를 가지도록 이미지를 리사이즈한다는 것을 주목한다.
영역 특징 계산 유닛 (3) 은 개별 추출 영역 내에 포함된 픽셀 그룹의 픽셀 값들을 이용하여 개별 추출 영역들의 영역 특징들을 계산한다. 이러한 실시형태에서, 픽셀 값은 이미지의 각 픽셀에 의해 수용되는 신호의 값이며, 스칼라 양 또는 벡터 양이다. 예를 들어, 이미지가 밝기 이미지인 경우에, 픽셀 값은 휘도 값 (스칼라 양) 이고, 이미지가 컬러 이미지인 경우에, 픽셀 값은 색상 성분을 나타내는 벡터 양이다. 컬러 이미지가 RGB 이미지인 경우에, 픽셀 값은 R 성분, G 성분, B 성분의 3 차원 벡터 양이다. 또한, 컬러 이미지가 YCbCr 이미지인 경우에, 픽셀 값은 Y 성분, Cb 성분, Cr 성분의 3 차원 벡터 양이다.
추출 영역들의 영역 특징들을 계산하기 위해, 해당 차원의 추출 영역들 (제 1 추출 영역과 제 2 추출 영역) 을 계산하는 방법이 일정한 경우에 (어떤 입력 이미지들에 대해서도 동일한 계산 방법이 사용되는 경우에), 임의의 방법들이 사용될 수 있다.
또한, 계산될 영역 특징은 스칼라 양 또는 벡터 양이 될 수도 있다. 예를 들어, 픽셀 값이 휘도 값과 같은 스칼라 양인 경우, 영역 특징은 평균값, 중간값, 모드값, 최대값, 최소값 등 (이들 각각은 스칼라 양임) 으로서 계산될 수도 있다. 또한, 추출 영역에 포함된 픽셀 값들을 정렬하고, 그 분포 (소팅된 순서) 의 위 또는 아래부터 미리 결정된 비율 위치에서 픽셀 값을 영역 특징 (이는 또한 스칼라 양임) 으로서 획득하는 것이 가능하다. 보다 구체적으로, 백분율의 P% (예를 들어 P = 25 %) 가 미리 결정된 비율인 경우를 설명할 것이다. 추출 영역에 포함된 총 N 개의 픽셀들의 픽셀 값들 (휘도 값들) 이 오름차순으로 정렬되고, 오름차순으로 정렬된 픽셀 값들 (휘도 값들)의 세트가 Y(i) = {Y(0), Y(1), Y(2), ..., Y(N-1)} 로서 표시된다. 이러한 예에서, 오름차순으로 정렬된 순열의 맨 아래부터 P%의 위치에 있는 픽셀 값은 예를 들어, Y(floor(N*P/100)) 이며, 따라서, 이러한 값은 추출 영역의 영역 특징으로 획득된다. floor ()는, 소수점 이하를 잘라버리는 함수라는 것을 주목한다. 이러한 예에서, 추출 영역에 포함된 픽셀의 휘도 값에 대하여 이러한 식 (Y(floor(N*P/100))) 을 적용함으로써 계산된 영역 특징은 "백분위 휘도 특징" 이라 지칭된다.
또한, 픽셀 값이 색 성분과 같은 벡터 양인 경우에, 먼저 그 값을 임의의 방법에 의해 스칼라 양으로 변환한 후에, 전술된 방법에 따라 영역 특징을 계산하는 것이 가능하다. 예를 들어, 픽셀 값이 RGB 성분들의 3 차원 벡터 양인 경우에, 먼저 그 값을 스칼라 양인 휘도 값으로 변환한 후에, 전술된 방법에 따라 영역 특징을 계산하는 것이 가능하다. 또한 픽셀 값이 벡터 양인 경우에, 추출 영역 내에 포함된 픽셀 값들의 평균 벡터를 영역 특징으로 사용하는 것 또한 가능하다.
추가로, 추출 영역에 대하여 에지 검출 또는 템플릿 매칭과 같은 임의의 연산 (미분 연산, 필터 연산) 을 수행하고, 연산 결과를 영역 특징으로 사용하는 것 또한 가능하다. 예를 들어, 이러한 연산 결과는 에지 방향 (경사 방향) 을 나타내는 2 차원 벡터 양 또는 템플릿의 유사도를 나타내는 스칼라 양이 될 수도 있다.
또한, 추출 영역 내에 포함된 색상 분포, 에지 방향 분포, 또는 에지 강도 분포를 나타내는 히스토그램이 영역 특징 (이들 각각은 벡터 양임) 으로 획득될 수도 있다.
또한, ISO/IEC 15938-3에 정의되어 있는 각종 특징 타입들 중 임의의 타입이 사용될 수도 있고, 이는 우세한 컬러, 컬러 레이아웃, 확장성 컬러, 컬러 구조, 에지 히스토그램, 동종의 텍스처, 텍스처 브라우징, 영역 형상, 윤곽 형상, 3D 형상, 매개변수 동작, 움직임 활동을 포함한다.
비교 유닛 (4) 은 각각의 차원에 대해 영역 특징 계산 유닛 (3) 으로부터 공급되는 제 1 영역 특징과 제 2 영역 특징을 비교하고, 그 비교 결과를 양자화하여 취득된 양자화 인덱스를 출력한다. 비교 유닛 (4) 이 개별 차원들에 대한 양자화 인덱스들을 출력하기 때문에, 결과적으로 복수의 차원들의 양자화 인덱스들을 구성하는 양자화 인덱스 벡터가 출력된다.
비교 유닛 (4) 은 제 1 영역 특징을 제 2 영역 특징과 비교하고, 양자화를 수행하기 위해 임의의 방법들을 사용할 수도 있다. 또한, 각각의 차원에 대한 양자화 인덱스들의 개수는 선택적이다.
예를 들어, 영역 특징들이 스칼라 양들 (예컨대, 평균 휘도) 인 경우에, 비교 유닛 (4) 은 그들의 크기들을 비교하여, 제 1 영역 특징이 더 큰 경우에 양자화 인덱스를 +1 이 되도록 설정하고, 다른 경우들에 양자화 인덱스를 -1 이 되도록 설정하며, 비교 결과를 양자화 인덱스들의 이진 값들, +1 및 -1 로 양자화할 수 있다. 차원 n 과 관련하여, 제 1 영역 특징이 Vn1 이고, 제 2 영역 특징이 Vn2이면, 차원 n 의 양자화 인덱스 Qn 은 하기의 식에 의해 계산될 수 있음에 유의하여야 한다:
[수학식 1]
Qn = +1 (Vn1 > Vn2 의 경우)
-1 (Vn1 ≤ Vn2 의 경우)
도 3은 비교 유닛 (4) 이 앞서 식 1에 기초하여 비교 및 양자화를 수행할 때 비교 유닛 (4) 의 보다 상세한 구성도를 도시한다.
도 3을 참조하여, 비교 유닛 (4) 은 크기 비교 유닛 (41) 과 양자화 유닛 (42) 을 포함한다.
제 1 영역 특징과 제 2 영역 특징이 공급될 때, 크기 비교 유닛 (41) 은 제 1 영역 특징의 값과 제 2 영역 특징의 값을 비교하고, 비교 결과를 양자화 유닛 (42) 에 공급한다. 이는 크기 비교 유닛 (41) 이 Vn1 의 크기와 Vn2 의 크기를 비교하여, 비교 결과가 Vn1 > Vn2 인지 아니면 Vn1 ≤ Vn2 인지를 나타내는 정보를 양자화 유닛 (42) 에 크기 비교 결과로서 공급하는 것을 의미한다.
크기 비교 유닛 (41) 으로부터 공급되는 크기 비교 결과에 기초하여, 양자화 유닛 (42) 은 식 1에 따라 양자화를 수행하고, 양자화 인덱스를 출력한다. 이와 같이, 양자화 유닛 (42) 은 비교 결과가 Vn1 > Vn2 임을 나타내는 정보가 공급되는 경우, 양자화 인덱스는 +1 이 되고, 비교 결과가 Vn1 ≤ Vn2 임을 나타내는 정보가 공급되는 경우, 양자화 인덱스는 -1 이 되는 방식으로 양자화 인덱스를 출력한다.
식 1에 따른 비교 및 양자화 방법은 하기에서 비교 및 양자화 방법 A로 지칭된다는 것을 주목한다.
추가로, 영역 특징이 스칼라 양 (예컨대, 평균 휘도값) 인 경우에, 비교 유닛 (4) 은 차분값의 절대값이 미리 결정된 임계값보다 작거나 동일한 경우에는 제 1 영역 특징과 제 2 의 영역 특징 간에 차이가 없는 것으로 결정되어, 차이가 없는 것을 나타내는 양자화 인덱스 0 가 설정되고, 그 이외의 경우에 비교 유닛 (4) 이 그들의 크기를 비교하여 제 1 영역 특징이 더 큰 경우에는 양자화 인덱스 +1 이 설정되고, 다른 경우에는 양자화 인덱스 -1 이 설정되도록 하는 방식으로 양자화를 수행할 수도 있으며, 따라서, 양자화 인덱스는 +1, 0, 및 -1 의 3진 값들 중 임의의 값이 될 수 있다. 차원 n의 제 1 영역 특징이 Vn1 이고, 제 2 영역 특징이 Vn2 이며, 미리 결정된 임계값이 th 라고 가정하면, 차원 n 의 양자화 인덱스 Qn 는 하기의 식으로부터 계산될 수 있다:
[수학식 2]
Qn = +1 (|Vn1 - Vn2| > th 이고 Vn1> Vn2 인 경우)
0 (|Vn1 - Vn2| ≤ th 인 경우)
-1 (|Vn1 - Vn2| > th 이고 Vn1 ≤ Vn2 인 경우)
도 4는 비교 유닛 (4) 이 식 2에 따라 비교 및 양자화하는 수행할 때 비교 유닛 (4) 의 상세한 구성도를 도시한다.
도 4를 참조하여, 비교 유닛 (4) 은 차분값 계산 유닛 (43) 과 양자화 유닛 (44) 을 포함한다. 양자화 유닛 (44) 에는, 양자화의 경계를 나타내는 미리 결정된 정보 (양자화 경계 정보) 인 임계값이 입력으로서 미리 공급된다.
제 1 영역 특징과 제 2 영역 특징과 공급되면, 차분값 계산 유닛 (43) 은 제 1 영역 특징의 값과 제 2 영역 특징의 값 사이의 차분값을 계산하여 계산된 차분값을 양자화 유닛 (44) 에 공급한다. 이는 차분값 계산 유닛 (43) 이 Vn1 - Vn2를 계산하고, 그 결과값을 양자화 유닛 (44) 에 공급하는 것을 의미한다.
양자화 유닛 (44) 은 차분값 계산 유닛 (43) 으로부터 공급되는 차분값과 입력으로서 공급되는 미리 결정된 양자화의 경계를 나타내는 정보 (양자화 경계 정보) 인 임계값에 기초하여 식 2에 따라 양자화를 수행하고, 양자화 인덱스를 출력한다. 이는 양자화 유닛 (44) 이 차분값 계산 유닛 (43) 으로부터 공급되는 Vn1 - Vn2 의 값과 입력으로서 공급되는 임계값 th 에 기초하여, |Vn1 - Vn2| > th 이고 Vn1 - Vn2 > 0 인 경우에 양자화 인덱스는 +1 이고, |Vn1 - Vn2| > th 이고 Vn1 - Vn2 ≤ 0 인 경우에 양자화 인덱스는 -1 이고, |Vn1 - Vn2| ≤ th 인 경우에 양자화 인덱스는 0 인 방식으로 양자화 인덱스를 출력하는 것을 의미한다.
식 2에 기초하는 비교 및 양자화 방법은 하기에서 비교 및 양자화 방법 B로 지칭된다.
이러한 예에서, 양자화는 차분값에 기초하여 3진 값들에서 수행되지만, 차분값의 크기에 따라 더 많은 수의 (레벨의) 양자화 인덱스들에서 양자화를 수행하는 것이 가능하다. 그러한 경우에도, 비교 유닛 (4) 은 도 4에 도시된 것과 같은 구성을 가지고, 양자화 유닛 (44) 에는 개별 레벨들에 대하여 미리 결정된 양자화의 경계들을 나타내는 정보 (양자화 경계 정보) 로서 복수의 임계값들이 입력들로 공급된다. 또한 이러한 차분값과 입력들로 공급되는 임계값들에 기초하여, 4개 이상의 레벨들로 양자화하기 위한 비교 및 양자화 방법은 하기에서 비교 및 양자화 방법 C로 지칭된다.
전술된 것과 같이, 제 1 영역 특징과 제 2 영역 특징 간의 차이가 작기 때문에 (미리 결정된 임계값보다 작거나 동일하기 때문에) 차이가 없는 것으로 결정되는 경우에 대하여 차이가 없음을 나타내는 양자화 인덱스를 도입함으로써, 영역 특징들 간에 작은 차이를 가지는 추출 영역 쌍의 차원에서 특징 (양자화 인덱스) 이 더 안정되도록, 즉 식 1에 따른 방법에 비해 다양한 변경 프로세스 및 잡음에 대하여 더 견고하도록 하는 것이 가능하다. 이와 같이, 로컬 영역들 간에 차이가 전반적으로 적은 이미지, 즉 전반적으로 변화들이 적은 평탄한 이미지 (예를 들어 푸른 하늘의 이미지) 에 대해서도 안정적이고, 다양한 변경 프로세스들 및 잡음에 대해서도 견고한, 이미지 시그니처 (양자화 인덱스 벡터) 를 출력하는 것이 가능하다.
또한, 예를 들어, 영역 특징이 벡터 양인 경우에, 비교 유닛 (4) 은 먼저 임의의 방법으로 벡터 양을 스칼라 양으로 변환한 후에, 전술된 방법에 따라 양자화를 수행한다 (이 비교 및 양자화 방법은 하기에서 비교 및 양자화 방법 D로 지칭된다). 제 1 추출 영역의 벡터와 제 2 추출 영역의 벡터 사이의 차이인 차분 벡터를 계산하고, 차분 벡터를 양자화하여 양자화 인덱스를 획득하는 것이 가능하다. 이 경우, 개별 양자화 인덱스들에 대하여 미리 결정된 대표 벡터들 (중심 벡터들 등) 이 공급되고, 이러한 대표 벡터들은 대표 벡터들과 차분 벡터들 간에 최대 유사도 (최소 거리) 를 갖는 양자화 인덱스들로 분류된다 (이 비교 및 양자화 방법은 하기에서 비교 및 양자화 방법 E로 지칭된다). 또한, 전술된 식 2에 따른 스칼라 양의 양자화와 마찬가지로, 차분 벡터의 표준 (norm) 이 미리 결정된 임계값 보다 작거나 동일한 경우에, 제 1 영역 특징과 제 2 영역 특징 간에 차이가 없음을 결정하여 차이가 없음을 나타내는 양자화 인덱스를 차이가 없음을 나타내는 양자화 인덱스 0 으로서 도입하는 것이 가능하다.
또한, 본 발명에서 출력되는 양자화 인덱스 벡터들을 매칭할 경우 (하나의 이미지에서 추출한 양자화 인덱스 벡터와 또 다른 이미지에서 추출한 양자화 인덱스 벡터를 비교하여 그 이미지들이 동일한지의 여부를 결정할 경우), 양자화 인덱스들이 일치하는 차원들의 수 (유사도) 또는 양자화 인덱스들이 일치하지 않는 차원들의 수 (해밍 거리) 는 동일성 척도로서 계산될 수도 있고, 이러한 동일성 척도는 임계값과 비교되어, 이미지의 동일성이 결정될 수 있다는 것을 주목한다. 또한, 비교 유닛 (4) 에서 양자화 인덱스들이 식 2 에 기초하여 계산된 경우에, 동일성 척도 (유사도) 는 다음과 같이 계산될 수 있다. 먼저, 2개의 이미지들의 양자화 인덱스 벡터들은 대응하는 차원들 사이에서 서로 비교되며, "양자화 인덱스들 양자가 0"이 아닌 차원들의 수가 계산된다 (이러한 값은 A로 설정된다). 다음, "양자화 인덱스들 양자가 0"이 아닌 차원들에서, 양자화 인덱스들이 일치하는 차원들의 수가 계산된다 (이러한 값은 B로 설정된다). 그 후에, 유사도는 B/A로 계산된다. A = 0 인 경우 (즉, 모든 차원들에서 양자화 인덱스들 양자가 0 인 경우), 유사도는 미리 결정된 수치 값 (예컨대, 0.5) 가 되도록 설정된다.
[제 1 실시 형태의 동작]
다음에, 도 5의 흐름도를 참조하여 제 1 실시 형태에 따른 이미지 시그니처 추출 장치의 동작이 설명될 것이다. 도 5의 흐름도에서, 특징 벡터의 차원 (번호) 은 "n" 으로 표시되고, 1에서 N까지 총 N개 차원들이 존재한다.
먼저, 차원 결정 유닛 (1) 은 특징 벡터를 추출하기 위한 제 1 차원으로서 차원 1 을 결정하고 (n = 1) , 이를 추출 영역 취득 유닛 (2) 에 공급한다 (단계 A1).
다음에, 추출 영역 취득 유닛 (2) 은 입력으로서 공급되는 차원별 추출 영역 정보로부터 차원 n 의 제 1 추출 영역과 제 2 추출 영역을 나타내는 정보를 취득하고, 이를 영역 특징 계산 유닛 (3) 에 공급한다 (단계 A2).
그 후에, 영역 특징 계산 유닛 (3) 은 입력으로서 공급되는 이미지로부터 차원 n 의 제 1 영역 특징과 제 2 영역 특징을 계산하고, 그 특징들을 비교 유닛 (4) 으로 공급한다 (단계 A3).
그 후에, 비교 유닛 (4) 은 차원 n 의 제 1 영역 특징과 제 2 영역 특징을 비교하고, 비교 결과를 양자화하여, 양자화 인덱스를 출력한다 (단계 A4) .
그 후에, 모든 차원들에 대한 양자화 인덱스들의 출력이 완료되었는지 여부가 결정된다 (즉, n < N 이 참인지, 거짓인지 결정된다) (단계 A5). 모든 차원들에 대한 양자화 인덱스들의 출력이 완료되면 (즉, n < N 이 거짓인 경우), 프로세싱은 종료한다. 모든 차원들에 대한 양자화 인덱스의 출력이 완료되지 않으면 (즉, n < N 이 참인 경우), 프로세싱은 단계 A6 로 진행한다. 단계 A6 에서, 차원 결정 유닛 (1) 은 특징 벡터를 추출하기 위한 다음 차원을 결정하고 (n = n + 1) , 이를 추출 영역 취득 유닛 (2) 에 공급한다. 그 후에, 프로세싱은 단계 A2로 복귀한다.
추출 프로세싱은 차원 1 부터 차원 N 까지의 순서로 수행되지만, 이러한 순서에 제한되지 않고 임의의 순서로 실시될 수 있다는 것을 주목한다. 또한, 전술된 프로세싱 절차에 제한되지 않고 복수의 차원들에 대한 추출 프로세싱을 동시에 수행하는 것이 가능하다.
[제 1 실시 형태의 효과들]
다음에, 본 발명의 제 1 실시 형태의 유리한 효과들이 설명될 것이다.
첫 번째로 유리한 효과는 복수의 차원들의 특징 벡터들로 구성되는 이미지 시그니처의 서로 다른 이미지들을 구별하는 정도인 구별 능력이 개선될 수 있는 것이다. 특히, 이미지의 로컬 영역들 간에 큰 상관 관계를 가지는 이미지에 대하여, 이 효과는 현저하다.
그 이유는 특징들을 추출하기 위한 영역들의 형상들이 차원들 사이에서 서로 다르기 때문에 (영역들의 형상들이 다양하기 때문에), 차원들 간의 상관 관계가 감소될 수 있기 때문이다.
두 번째의 유리한 효과는 신호들이 특정 주파수에 집중하는 이미지에 대해서도 구별 능력이 저하되지 않는다는 것이다.
그 이유는 특징을 추출하기 위한 영역들의 형상들이 차원들 사이에서 서로 다르기 때문에 (영역들의 형상들이 다양하기 때문에) 신호들이 특정 주파수에 집중하는 이미지에 대해서도 동시에 모든 (다수의) 추출 영역 쌍들 (차원들) 의 특징들 사이에 차이가 없어져 구별 능력이 저하되는 경우가 덜 발생되기 때문이다.
[제 2 실시 형태]
[제 2 실시 형태의 구성]
다음에, 본 발명의 제 2 실시 형태는 도면들을 참조하여 상세히 설명될 것이다.
본 발명의 제 2 실시 형태는 도 1에 도시된 제 1 실시 형태의 비교 유닛 (4) 이 도 6 에 자세히 도시된 비교 유닛 (4a) 으로 대체된다는 점에서 제 1 실시 형태와 다르다. 비교 유닛 (4a) 이외의 컴포넌트들은 제 1 실시 형태와 동일하기 때문에, 본 실시예에서 이러한 컴포넌트들에 대한 설명은 생략된다.
도 6을 참조하여, 비교 유닛 (4a) 은 차분값 계산 유닛 (43), 양자화 경계 결정 유닛 (45), 및 양자화 유닛 (44) 을 포함한다.
차분값 계산 유닛 (43) 은 각각의 차원에 대해 영역 특징 계산 유닛 (3) 으로부터 공급되는 제 1 영역 특징과 제 2 영역 특징 간의 차분값을 계산하고, 그 차분값을 양자화 경계 결정 유닛 (45) 및 양자화 유닛 (44) 에 공급한다.
영역 특징들이 스칼라 양들 (예컨대, 평균 휘도) 인 경우에, 예를 들어, 차분값은 제 1 영역 특징에서 제 2 의 영역 특징을 감산하여 (또는 그 반대로 감산하여) 획득되는 스칼라 양이다. 영역 특징들이 벡터 양들인 경우, 임의의 방법에 의해 개별 벡터들을 스칼라 양들로 변환한 이후에 스칼라 양들의 차분값을 획득하는 것 또한 가능하다. 또한, 영역 특징들이 벡터 양들인 경우, 제 1 영역 특징과 제 2 영역 특징 간의 차분 벡터를 차분값 (벡터 양) 으로 사용하는 것이 가능하다.
차분값 계산 유닛 (43) 으로부터 공급되는 특징 벡터의 모든 차원들의 차분값들이 양자화 경계 결정 유닛 (45) 에 공급되면, 양자화 경계 결정 유닛 (45) 은 모든 차원들의 차분값들의 분포에 기초하여 양자화 경계를 결정하고, 결정된 양자화 경계에 관한 정보를 양자화 유닛 (44) 에 공급한다. 모든 차원들의 차분값들의 분포는 차분값들 (또는 차분 벡터) 에 대한 발생 빈도 (확률) 를 의미하는 것에 유의하여야 한다.
또한, 양자화의 경계를 결정하는 것은 차분값들을 양자화할 때 실수없이 독점적으로 양자화 인덱스들에 할당될 파라미터들을 결정하는 것을 의미한다. 차분값이 스칼라 양인 경우, 각 양자화 인덱스 (양자화 레벨) 에 대하여 값 범위 (즉, 임계값) 가 결정되고, 이러한 값 범위 (임계값) 는 예컨대, 양자화 경계의 정보로서 양자화 유닛 (44) 에 공급된다. 대안적으로, 차분값이 벡터 양인 경우, 예를 들어 벡터 양자화를 수행하기 위한 파라미터, 즉, 개별 양자화 인덱스들의 대표 벡터가 결정되고, 이는 양자화 경계의 정보로서 양자화 유닛 (44) 에 공급된다.
차분값이 스칼라 양이고, M 값 (M = 2, 3, ... 등) 의 양자화가 수행될 경우에, 양자화 경계 결정 유닛 (45) 은 모든 차원들의 차분값들의 분포에 기초하여 양자화를 위한 값 범위 (임계값) 를 결정할 수도 있고, 따라서 모든 차원에 대하여 개별 양자화 인덱스들의 비율들은 동일하게 된다.
예를 들면, 식 1 의 변형으로서, 상수 α를 사용하여 2개의 값들 (M=2) 에 양자화를 수행하는 경우에, Vn1 + α > Vn2 인 경우에 양자화 인덱스는 +1 이고, Vn1 + α ≤ Vn 경우에 양자화 인덱스는 -1 이며, 차분값들의 분포의 중심점 (좌우 적분 값들의 분포가 동일한 점) 은 양자화 임계값 α 인 것으로 결정될 수 있고, 따라서 양자화 인덱스들 +1 과 양자화 인덱스들 -1 의 비율들은 동일하게 된다. 유사하게, 차분값들이 벡터 양들인 경우에 M 값들에서 양자화를 수행할 때, 모든 차원들의 차분 벡터들의 분포에 기초하여, 모든 차원들에 대한 개별 양자화 인덱스들의 비율들이 동일하도록 개별 양자화 인덱스들에 할당된 벡터 공간의 영역들을 결정하거나, 벡터 양자화를 수행할 때 개별 양자화 인덱스들의 대표 벡터 (예컨대, 중력 벡터의 중심) 를 결정하는 것이 가능하다. 전술된 것과 같이, 모든 차원들에 대한 양자화 인덱스들의 비율들을 동일하게 함으로써 (즉, 양자화 인덱스들의 바이어스를 제거함으로써), 엔트로피가 증가될 수 있고, 따라서 구별 능력이 개선될 수 있다.
양자화 경계 결정 유닛 (45) 이 모든 차원들에 대한 양자화 인덱스들의 비율들이 동일하게 되도록 양자화의 경계를 결정하고, 결정된 경계에 기초하여 양자화 유닛 (44) 이 양자화를 수행하는 비교 및 양자화 방법은 하기에서 비교 및 양자화 방법 F로 지칭된다.
또한, 차분값이 스칼라 양이고, 식 2에 의해 3진 값들 (양자화 인덱스들은 +1, 0, -1) 에 양자화가 수행되는 경우에, 예를 들어, 양자화 경계 결정 유닛 (45) 은 모든 차원의 차분값들의 분포에 기초하여, 차이가 없음을 나타내는 양자화 인덱스 0 으로의 양자화를 위해 사용되는 임계값 th (양자화 인덱스가 이러한 임계보다 작거나 동일한 경우에 양자화 인덱스는 0으로 설정됨) 를 결정하고, 결정된 임계값 th 를 양자화 유닛 (44) 에 공급할 수도 있다 (제 1 실시 형태의 도 4 에 도시된 비교 유닛 (4) 에서, 임계값 th 는 사전에 설정되어 있다). 예를 들어, 양자화 경계 결정 유닛 (45) 은 모든 차원들의 차분값들의 절대값들을 계산하고, 계산된 값들을 소팅하여, 위 또는 아래부터 미리 결정된 비율에서 (이러한 미리 결정된 비율이 예를 들어, 입력으로서 공급된다) 하나의 지점이 임계값 th 가 되도록 설정할 수도 있다 (이러한 비교 및 양자화 방법은 하기에서 비교 및 양자화 방법 G로 지칭된다). 또한, 미리 결정된 비율에 의해서가 아니라 +1, 0, -1 의 양자화 인덱스들의 비율들이 거의 동일하게 되도록 하는 방식에 의해 임계값 th를 결정하는 것이 가능하다 (이러한 비교 및 양자화 방법은 하기에서 비교 및 양자화 방법 H로 지칭된다). 비교 및 양자화 방법 H는 식 2에 따라 수행되는 비교 및 양자화 방법 F의 구체적인 예에 해당한다.
비교 및 양자화 방법 G의 더 구체적인 방법은 미리 결정된 백분율이 P% (예를 들어, P = 25 %) 인 것을 예를 들어 설명될 것이다. 모든 차원들 (차원들의 수 = N) 의 차분값들의 절대값들이 오름차순으로 소팅되고, 차분값들의 오름차순으로 소팅된 절대값들의 세트는 D(i) = {D(0), D(1), D(2), ..., D(N-1)} 로 표시된다. 이러한 예에서, 오름차순으로 정렬된 순서의 아래부터 P%의 위치에 있는 값은 예를 들어, D(floor(N*P/100)) 이며, 임계값 th = D(floor(N*P/100)) 이다. floor( )는, 소수점 이하는 잘라버리는 함수라는 것을 주목한다.
본 실시 형태의 방법은 비교 유닛 (4) 이 제 1 실시 형태로서 도 4 에 도시된 구성을 취하는 경우와 비교될 수 있다. 제 1 실시 형태의 도 4에 도시된 구성에서 미리 결정된 임계값 th 가 입력으로서 공급되는 반면, 제 2 실시 형태의 전술된 방법에서 양자화 경계 결정 유닛 (45) 은 모든 차원들의 차분값들의 분포에 기초하여 이미지에 대해 적응적으로 임계값 th 를 계산한다. 전술된 것과 같이, 제 1 실시 형태에서는 임계값 th 가 고정되지만, 제 2 실시 형태에서는 이미지에 대하여 임계값 th 가 적응적으로 계산된다. 임계값 th 가 이미지에 대하여 적응적으로 계산되기 때문에, 임계값 th 가 (특히 덜 선명한 이미지에 대하여) 고정되는 경우와 비교하여 특징 벡터의 차원들의 값들이 특정 양자화 인덱스들로 바이어스되는 것을 (특정 양자화 인덱스 출현 확률이 높은 것을) 방지하는 것이 가능하며, 구별 능력이 높아질 수 있다. 예를 들어, 제 1 실시 형태에서와 같이 고정된 임계값 th 를 이용하는 경우, 양자화 인덱스들은 덜 선명한 이미지 내의 특징 벡터의 차원들의 대부분 (또는 모든 차원들) 에서 0 이 된다. 그러나, 제 2 실시 형태의 적응형 임계값 th 가 사용되는 경우에, 덜 선명한 이미지에 대해서는 임계값 th 가 작은 값으로 자동으로 조정되기 때문에, 특징 벡터의 대부분의 차원들에서 양자화 인덱스들이 0 이 되는 경우는 발생되지 않을 것이다.
양자화 유닛 (44) 은 차분값 계산 유닛 (43) 으로부터 공급되는 개별 차원들의 차분값들 및 양자화 경계 결정 유닛 (45) 으로부터 공급되는 양자화 경계의 정보에 기초하여 양자화를 수행하고, 양자화 인덱스를 출력한다.
양자화 유닛 (44) 이 양자화 경계 결정 유닛 (45) 으로부터 출력된 양자화 경계 정보를 무시하고 양자화를 수행한다면 의미가 없기 때문에, 양자화 유닛 (44) 은 양자화 경계 결정 유닛 (45) 이 양자화 경계를 결정했을 때 예상되는 양자화 방법을 반드시 따라야 한다는 것을 주목한다.
[제 2 실시 형태의 동작]
다음에, 도 7의 흐름도를 참조하여 제 2 실시 형태에 따른 이미지 시그니처 추출 장치의 동작이 설명될 것이다. 도 7의 흐름도에서, 특징 벡터의 차원 (번호) 은 "n"으로 표시되고, 1에서 N까지 총 N개의 차원들이 존재한다.
먼저, 차원 결정 유닛 (1) 은 특징 벡터를 추출하기 위해 제 1 차원으로서 차원 1을 결정하고 (n = 1) , 이를 추출 영역 취득 유닛 (2) 에 공급한다 (단계 B1).
다음에, 추출 영역 취득 유닛 (2) 은 입력으로서 공급되는 차원별 추출 영역 정보로부터 차원 n 의 제 1 추출 영역과 제 2 추출 영역을 나타내는 정보를 취득하고, 이러한 정보를 영역 특징 대표값 계산 유닛 (3) 에 공급한다 (단계 B2).
그 후에, 영역 특징 대표값 계산 유닛 (3) 은 입력으로서 공급되는 이미지로부터 차원 n 의 제 1 영역 특징과 제 2 영역 특징을 계산하고, 그 특징들을 차분값 계산 유닛 (43) 에 공급한다 (단계 B3).
그 후에, 차분값 계산 유닛 (43) 은 차원 n 의 제 1 영역 특징과 제 2 영역 특징 간의 차분값을 계산하고, 그 차분값을 양자화 경계 결정 유닛 (45) 및 양자화 유닛 (44) 에 공급한다 (단계 B4).
그 후에, 모든 차원들에 대한 차분값들의 계산까지의 프로세싱이 완료되었는지의 여부가 결정된다 (즉, n < N 이 참인지, 거짓인지 결정된다) (단계 B5). 만약 모든 차원들에 대한 차분값들의 계산까지의 프로세싱이 완료되면 (즉, n < N이 거짓인 경우), 프로세싱은 단계 B7로 진행한다. 모든 차원들에 대한 차분값들의 계산까지의 프로세싱이 완료되지 않으면 (즉, n < N 이 참인 경우), 프로세싱은 단계 B6 로 진행한다. 단계 B6 에서, 차원 결정 유닛 (1) 은 특징 벡터를 추출하기 위한 다음 차원을 결정하고 (n = n + 1), 이를 추출 영역 취득 유닛 (2) 에 공급한다. 그 후에, 프로세싱은 단계 B2 로 복귀한다.
본 실시 형태에서 차원 1부터 차원 N까지의 순서로 추출 프로세싱이 수행되지만, 이러한 순서에 제한되지 않고 임의의 순서로 실시될 수도 있다.
그 후에, 차분값 계산 유닛 (43) 으로부터 공급되는 특징 벡터의 모든 차원들에 대한 차분값들이 공급되면, 양자화 경계 결정 유닛 (45) 은 모든 차원들의 차분값들의 분포에 기초하여 양자화의 경계를 결정하고, 결정된 양자화 경계 정보를 양자화 유닛 (44) 에 공급한다 (단계 B7).
그 후에, 단계 B8에서, 양자화를 수행하기 위해 차원 1 이 제 1 차원으로 설정된다 (n = 1) (양자화 인덱스들이 계산된다).
그 후에, 양자화 유닛 (44) 은 차원 n의 차분값 및 양자화 경계 결정 유닛 (45) 으로부터 공급되는 양자화 경계에 기초하여 양자화를 수행하고, 양자화 인덱스를 출력한다 (단계 B9).
그 후에, 모든 차원들에 대한 양자화 인덱스들의 출력이 완료되었는지 여부가 결정된다 (즉, n < N 이 참인지, 거짓인지 결정된다) (단계 B10). 모든 차원들에 대한 양자화 인덱스들의 출력이 완료되면 (즉, n < N 이 거짓인 경우에), 프로세싱은 종료한다. 모든 차원들에 대한 양자화 인덱스들의 출력이 완료되지 않으면 (즉, n < N 이 참인 경우), 프로세싱은 단계 B11로 진행한다. 단계 B11에서, 양자화를 수행하기 위한 특징 벡터의 차원으로서, 다음 차원이 설정된다 (n = n + 1). 그 후에, 프로세싱은 단계 B9로 복귀한다.
본 실시 형태에서, 차원 1 부터 차원 N까지의 순서로 추출 프로세싱이 수행되지만, 이러한 순서로 제한되지 않고 임의의 순서로 수행될 수도 있다는 것을 주목한다.
[제 2 실시 형태의 효과]
양자화의 경계가 고정되는 제 1 실시 형태와 비교하여, 제 2 실시 형태는 양자화의 경계가 이미지에 대하여 적응적으로 (동적으로) 계산된다는 점이 다르다. 제 1 실시 형태에서와 같이 양자화 경계가 고정되는 경우에, 특정 이미지 (예를 들어, 덜 선명한 편평한 이미지) 에 대해 특징 벡터의 차원들의 값들이 특정 양자화 인덱스들로 바이어스되는 (특정 양자화 인덱스들의 출현 확률이 높은) 경우가 발생하여 (엔트로피가 낮아짐), 이러한 이미지에 대하여 구별 능력이 저하되는 문제가 발생한다. 한편, 제 2 실시 형태에서와 같이 양자화의 경계가 이미지에 대하여 적응적으로 (동적으로) 계산되는 경우에, 임의의 이미지들에 대하여 특징 벡터의 차원들의 값들이 특정 양자화 인덱스들로 바이어스되는 (특정 양자화 인덱스들의 출현 확률이 높은) 경우를 방지할 수 있기 때문에, 구별 능력이 개선될 수 있다.
[제 3 실시 형태]
[제 3 실시 형태의 구성]
다음에, 본 발명의 제 3 실시 형태는 도면들을 참조하여 상세히 설명될 것이다.
도 8을 참조하여, 본 발명의 제 3 실시 형태의 구성은 영역 특징 계산 방법 취득 유닛 (5) 이 추가되고, 영역 특징 계산 유닛 (3) 이 제 1 영역 특징 계산 유닛 (31A) 및 제 2 영역 특징 계산 유닛 (32A) 을 포함하는 영역 특징 계산 유닛 (3A) 으로 대체된다는 점에서 도 1에 도시된 제 1 실시 형태의 구성과 상이하다. 다른 컴포넌트들은 제 1 실시 형태와 동일하기 때문에, 본 실시예에서 그 설명은 생략된다. 본 실시예에서는 제 1 실시 형태와의 조합이 설명되지만, 제 2 실시 형태와의 조합도 가능하다.
영역 특징 계산 방법 취득 유닛 (5) 에는, 차원 결정 유닛 (1) 으로부터의 차원과 차원별 영역 특징 계산 방법 정보가 공급된다.
차원별 영역 특징 계산 방법 정보는 특징 벡터의 각각의 차원과 연관되는, 차원 내의 영역 특징을 계산하는 방법을 나타내는 정보이고, 영역 특징 계산 방법들이 차원들 사이에서 서로 달라야만 하는 것이 전제 조건이다. 서로 다른 영역 특징 계산 방법들은 서로 다른 파라미터들 (임계값 등) 을 동일한 절차에 적용하는 것을 포함하는 것에 유의하여야 한다.
본 실시예에서, 영역 특징 계산 방법들은 제 1 실시 형태의 영역 특징 계산 유닛 (3) 의 설명에서 기술된 다양한 타입의 방법들과 그에 따른 파라미터들을 포함한다.
차원별 영역 특징 계산 방법 정보에 의해 표시되는 각 차원에 대한 영역 특징 계산 방법은 영역 특징 계산 방법들이 서로 다른 적어도 하나의 차원들의 쌍이 특징 벡터의 모든 차원들 내에 포함되도록 하는 최소 조건을 갖는다는 것을 주목한다. 영역 특징 계산 방법들이 상이한, 차원들의 수가 많아지는 것이 바람직하며, 그 이유는 그러한 차원들의 수가 많아지면 특징 벡터에서 그들 사이에 상관 관계가 작아지는 차원들의 수가 적어지기 때문이며, 따라서 구별 능력은 더 높아진다. 예를 들어, 특징 벡터의 모든 차원들에서 영역 특징 계산 방법들은 서로 다를 수 있다.
각 차원에 대한 영역 특징 계산 방법을 나타내는 정보는 영역 특징을 계산하는 방법이 고유하게 규정되는 경우에, 임의의 형식을 취할 수도 있다는 것을 주목한다.
도 9는 개별 차원들에 대한 영역 특징 계산 방법들의 예들을 도시한다. 도 9 에 도시된 것과 같이, 영역 특징 계산 방법들은 차원들 사이에서 서로 다르다. 또한, 도 9 예들에 도시된 것과 같이, 스칼라 양들과 벡터 양들의 특징들이 혼합될 수도 있다 (제 1 차원, 제 3 차원, 제 5 차원, 제 6 차원, 제 8 차원, 제 9 차원, 제 10 차원, 및 제 12 차원들은 스칼라 양들이고, 제 2 차원, 제 4 차원, 제 7 차원, 및 제 11 차원은 벡터 양들이다).
영역 특징 계산 방법 취득 유닛 (5) 은 입력으로서 공급되는 차원별 영역 특징 계산 방법 정보로부터, 차원 결정 유닛 (1) 으로부터 공급되는 차원과 연관된 영역 특징 계산 방법을 나타내는 정보를 취득하고, 그 정보를 영역 특징 계산 유닛 (3A) 에 공급한다.
영역 특징 계산 유닛 (3A) 는 각 차원에 대해 추출 영역 취득 유닛으로부터 공급되는 제 1 추출 영역과 제 2 추출 영역을 나타내는 정보에 기초하여, 영역 특징 계산 방법 취득 유닛 (5) 으로부터 공급되는 영역 특징 계산 방법을 나타내는 정보에 따라, 입력으로서 공급되는 이미지로부터 제 1 추출 영역의 특징과 제 2 추출 영역의 특징을 각각 제 1 영역 특징 및 제 2 영역 특징으로 계산하고, 그 특징들을 비교 유닛 (4) 으로 공급한다.
영역 특징 계산 유닛 (3A) 에서, 공급될 추출 영역을 나타내는 정보의 차원과 영역 특징 계산 방법을 나타내는 정보의 차원이 동기화될 필요가 있다.
[제 3 실시 형태의 동작]
다음에, 도 10 의 흐름도를 참조하여, 제 3 실시 형태에 따른 이미지 시그니처 추출 장치의 동작이 설명될 것이다. 도 10의 흐름도에서, 특징 벡터의 차원 (번호) 은 "n" 으로 표시되고, 1에서 N까지 총 N 개의 차원들이 존재한다.
먼저, 차원 결정 유닛 (1) 은 특징 벡터를 추출하기 위해 차원 1을 제 1 차원으로 결정하고 (n = 1), 이를 추출 영역 취득 유닛 (2) 및 영역 특징 계산 방법 취득 유닛 (5) 에 공급한다 (단계 C1). 다음에, 추출 영역 취득 유닛 (2) 은 입력으로서 공급되는 차원별 추출 영역 정보로부터 차원 n 의 제 1 추출 영역과 제 2 추출 영역을 나타내는 정보를 취득하며, 그 정보를 영역 특징 계산 유닛 (3A) 에 공급한다 (단계 C2).
그 후에, 영역 특징 계산 방법 취득 유닛 (5) 은 입력으로서 공급되는 차원별 영역 특징 계산 방법 정보로부터 차원 n 에 대응하는 영역 특징 계산 방법을 나타내는 정보를 취득하며, 그 정보를 영역 특징 계산 유닛 (3A) 에 공급한다 (단계 C3).
그 후에, 영역 특징 계산 유닛 (3A) 은 입력으로서 공급되는 이미지로부터 차원 n 의 제 1 영역 특징과 제 2 영역 특징을 계산하고, 그 특징들을 비교 유닛 (4) 으로 공급한다 (단계 C4). 그 후에, 비교 유닛 (4) 은 차원 n 의 제 1 영역 특징과 제 2 영역 특징을 비교하고, 비교 결과를 양자화하여, 양자화 인덱스를 출력한다 (단계 C5). 그 후에, 모든 차원들에 대해 양자화 인덱스들의 출력이 완료되었는지의 여부를 결정한다 (단계 C6). 모든 차원들에 대해 양자화 인덱스들의 출력이 완료되면, 프로세싱은 종료한다. 모든 차원들에 대해 양자화 인덱스들의 출력이 완료되지 않으면. 프로세싱은 단계 C7로 진행한다. 단계 C7에서, 차원 결정 유닛 (1) 은 특징 벡터를 추출하기 위해 다음의 차원을 결정하고 (n = n +1), 이를 추출 영역 취득 유닛 (2) 및 영역 특징 계산 방법 취득 유닛 (5) 에 공급한다. 그 후에, 프로세싱은 단계 C2로 복귀한다.
본 실시 형태에서, 차원 1 부터 차원 N까지의 순서로 추출 프로세싱이 수행될 수 있지만, 이러한 순서에 제한되지 않고 임의의 순서가 선택될 수도 있다. 추가로, 복수의 차원들에 대한 추출 프로세싱은 이러한 프로세싱 절차들에 제한되지 않고 동시에 수행하는 것 또한 가능하다. 추가로, 단계 C2 및 단계 C3 는 역순이 될 수도 있다.
[제 3 실시 형태의 효과]
제 1 실시 형태의 유리한 효과 이외에, 제 3 실시 형태는 서로 다른 이미지들을 구별하는 정도인 구별 능력이 추가로 개선될 수 있는 유리한 효과를 갖는다.
그 이유는 영역 특징 계산 방법들이 차원들 사이에서 서로 다름에 따라 (다양한 영역 특징 계산 방법들이 사용됨에 따라), 차원들 간의 상관 관계가 작아질 수 있기 때문이다.
[제 4 실시 형태]
[제 4 실시 형태의 구성]
다음에, 본 발명의 제 4 실시 형태는 도면들을 참조하여 상세히 설명될 것이다.
도 11을 참조하여, 본 발명의 제 4 실시 형태의 구성은 비교 방법 취득 유닛 (6) 이 추가되고, 비교 유닛 (4) 이 비교 유닛 (4B) 로 대체된다는 점에서 도 1에 도시된 제 1 실시 형태의 구성과 다르다. 다른 컴포넌트들은 제 1 실시 형태의 컴포넌트들과 동일하기 때문에, 본 실시 형태에서 그 설명은 생략된다. 본 실시 형태에서 제 1 실시 형태와의 조합이 설명되지만, 제 2 실시 형태와의 조합 및 제 3 실시 형태와의 조합도 가능하다는 것을 주목한다.
비교 방법 취득 유닛 (6) 에는, 차원 결정 유닛 (1) 으로부터의 차원과 차원별 비교 방법 정보가 공급된다.
차원별 비교 및 양자화 방법 정보는 특징 벡터의 각 차원과 연관되는, 차원 내의 영역 특징들을 비교하는 방법을 나타내는 정보이며, 비교 및 양자화 방법이 차원들 사이에서 서로 달라야만 하는 것이 전제 조건이다. 또한 서로 다른 비교 및 양자화 방법들은 동일한 절차에 서로 다른 파라미터들 (임계값, 양자화 인덱스 수 등) 을 적용하는 것을 포함한다는 것을 주목한다.
본 실시 형태에서, 비교 및 양자화 방법은 제 1 실시 형태의 비교 유닛 (4) 의 설명에서 기술된 다양한 타입의 비교 및 양자화 방법들 및 그와 연관된 파라미터들 (임계값, 양자화 인덱스들의 수 등) 을 포함하며, 제 2 실시 형태의 비교 유닛 (4A) 의 설명에서 기술된 다양한 타입의 비교 및 양자화 방법들 및 그와 연관된 파라미터들 (임계값, 양자화 인덱스들의 수 등) 을 포함한다.
차원별 비교 및 양자화 방법 정보에 의해 표시되는 각 차원에 대한 비교 및 양자화 방법은 비교 및 양자화 방법이 상이한, 적어도 하나의 차원들의 쌍이 특징 벡터의 모든 차원들 내에 포함되어야 하는 최소 조건을 갖는다는 것을 주목한다. 비교 및 양자화 방법들이 상이한, 차원들이 많아지는 것은 바람직하며, 이는 이러한 차원들의 수가 많아질수록 특징 벡터에서 그들 사이에 상관 관계가 작은 차원들의 수가 많아지기 때문이며, 따라서, 구별 능력은 높아진다. 예를 들어, 특징 벡터의 모든 차원들에서 비교 및 양자화 방법들은 서로 다를 수도 있다.
각 차원에 대한 비교 및 양자화 방법을 나타내는 정보는 영역 특징을 비교 및 양자화하는 방법이 고유하게 규정되는 경우에, 임의의 형식을 취할 수도 있다는 것을 주목한다.
도 12는 개별 차원들에 대한 비교 및 양자화 방법들의 예들을 도시한다. 도 12에 도시된 것과 같이, 비교 및 양자화 방법들은 차원들 사이에서 서로 다르다. 또한 제 3 차원, 제 5 차원, 및 제 12 차원에서와 동일한 비교 및 양자화 방법들로 서로 다른 파라미터들 (임계값 th) 이 설정될 수도 있다. 도 12에 도시된 개별 차원들에 대한 비교 및 양자화 방법들의 예들은 도 9에 도시된 개별 차원들에 대한 영역 특징 계산 방법들과 연관된다는 것을 주목한다. 이와 같이, 스칼라 양들에 대한 비교 및 양자화 방법들은 스칼라 양들의 영역 특징에 대한 예들로서 도시되고, 벡터 양들에 대한 비교 및 양자화 방법들은 벡터 양들의 영역 특징들에 대한 예들로서 도시된다.
비교 방법 취득 유닛 (6) 은 입력으로서 공급되는 차원별 비교 및 양자화 방법 정보로부터, 차원 결정 유닛 (1) 으로부터 공급되는 차원에 대응하는 비교 및 양자화 방법을 나타내는 정보를 취득하고, 그 정보를 비교 유닛 (4B) 에 공급한다.
비교 유닛 (4B) 은 각각의 차원에 대해 영역 특징 계산 유닛 (3) 으로부터 공급되는 제 1 영역 특징을 제 2 영역 특징과 비교하고, 비교 방법 취득 유닛 (6) 으로부터 공급되는 비교 및 양자화 방법을 나타내는 정보에 따라 양자화하여, 양자화 인덱스를 출력한다. 비교 유닛 (4B) 는 필요한 경우에, 비교 및 양자화 방법에 따라 제 1 실시 형태의 비교 유닛 (4) 및 제 2 실시 형태의 비교 유닛 (4B) 양자를 포함하는 구성을 가질 수도 있다.
비교 유닛 (4B) 에서, 공급될 영역 특징의 차원과 비교 및 양자화 방법을 나타내는 정보의 차원이 동기화될 필요가 있다.
[제 4 실시 형태의 동작]
다음에, 도 13의 흐름도를 참조하여, 제 4 실시 형태에 따른 이미지 시그니처 추출 장치의 동작이 설명될 것이다. 도 13의 흐름도에서, 특징 벡터의 차원 (번호) 는 "n" 으로 표시되고, 1에서 N까지 총 N개 차원들이 존재한다.
먼저, 차원 결정 유닛 (1) 은 특징 벡터를 추출하기 위해 차원 1을 제 1 차원으로 결정하고 (n = 1), 이를 추출 영역 취득 유닛 (2) 및 비교 방법 취득 유닛 (6) 에 공급한다 (단계 D1). 다음에, 추출 영역 취득 유닛 (2) 은 입력으로서 공급되는 차원별 추출 영역 정보로부터 차원 n 의 제 1 추출 영역과 제 2 추출 영역을 나타내는 정보를 취득하고, 이를 영역 특징 계산 유닛 (3) 에 공급한다 (단계 D2).
그 후에, 비교 방법 취득 유닛 (6) 은 입력으로서 공급되는 차원별 비교 및 양자화 방법 정보로부터 차원 n 에 대응하는 비교 및 양자화 방법을 나타내는 정보를 취득하고, 이를 비교 유닛 (4B) 에 공급한다 (단계 D3).
그 후에, 영역 특징 계산 유닛 (3) 은 입력으로서 공급되는 이미지로부터 차원 n 의 제 1 영역 특징 및 제 2 영역 특징을 계산하고, 그 특징들을 비교 유닛 (4B) 에 공급한다 (단계 D4). 그 후에, 비교 유닛 (4B) 은 차원 n 의 제 1 영역 특징을 제 2 영역 특징과 비교하고, 비교 결과를 양자화하여, 양자화 인덱스 출력한다 (단계 D5). 그 후에, 모든 차원들에 대한 양자화 인덱스들의 출력이 완료되었는지 여부를 결정한다 (단계 D6). 모든 차원들에 대한 양자화 인덱스들의 출력이 완료되면, 프로세싱은 종료한다. 모든 차원들에 대한 양자화 인덱스들의 출력이 완료되지 않으면, 프로세싱은 단계 D7로 진행한다. 단계 D7에서, 차원 결정 유닛 (1) 은 특징 벡터를 추출하기 위해 다음 차원을 결정하고 (n = n + 1), 이를 추출 영역 취득 유닛 (2) 및 비교 방법 취득 유닛 (6) 에 공급한다. 그 후에, 프로세싱은 단계 D2 로 복귀한다.
본 실시 형태에서, 차원 1 부터 차원 N까지의 순서로 추출 프로세싱이 수행되지만, 이러한 순서에 제한되지 않고 임의의 순서로 실시될 수도 있다는 것을 주목한다. 또한, 이러한 프로세싱 절차들에 제한되지 않고, 복수의 차원들에 대한 추출 프로세싱을 동시에 수행하는 것 또한 가능하다. 추가로, 단계 D2와 단계 D3은 역순이 될 수도 있고, 단계 D3이 단계 D5 직전에 수행될 수도 있다.
[제 4 실시 형태의 효과]
제 1 실시 형태의 유리한 효과들 이외에, 제 4 실시 형태는 서로 다른 이미지들을 구별하는 정도인 구별 능력이 추가로 개선될 수 있는 유리한 효과를 갖는다.
그 이유는 비교 및 양자화 방법이 차원들 사이에서 상이함에 따라 (가변적인 비교 및 양자화 방법들이 사용됨에 따라), 차원들 간의 상관 관계가 작아질 수 있기 때문이다.
[제 5 실시 형태]
제 5 실시 형태에서, 추출될 특징 벡터의 차원들의 수는 300개 차원들 (제 1 차원부터 제 300 차원까지) 이다.
제 5 실시 형태에서, 개별 차원들에 대한 추출 영역들 (제 1 추출 영역들 및 제 2 추출 영역들) 은 다양한 형상의 사각형들로 형성된다. 도 14는 제 5 실시 형태에서 추출 영역 취득 유닛 (2) 에 입력으로서 공급될 차원별 추출 영역 정보를 도시한다. 도 14는 규정된 이미지 사이즈가 가로 320 픽셀 × 세로 240 픽셀인 이미지 사이즈에 대하여 개별 차원에 대한 추출 영역들 (제 1 추출 영역들 및 제 2 추출 영역들) 의 사각형들의 4개의 모서리들의 XY 좌표값들을 도시한다. 예를 들어, 제 1 차원에 대한 추출 영역은 좌표값 (262.000, 163.000), 좌표값 (178.068, 230.967), 좌표값 (184.594, 67.411), 및 좌표값 (100.662, 135.378) 의 4개의 모서리들을 갖는 사각형으로 구성된 제 1 추출 영역과 좌표값 (161.000, 133.000), 좌표값 (156.027, 132.477), 좌표값 (164.240, 102.170), 및 좌표값 (159.268, 101.647) 의 4개의 모서리들을 가진 사각형으로 구성되는 제 1 추출 영역으로 형성된다.
각각의 차원에 대한 추출 영역들 (제 1 추출 영역 및 제 2 추출 영역) 은 가로 320 픽셀 × 세로 240 픽셀의 이미지 사이즈로 정규화된 이미지에 대하여 4개의 모서리들의 이러한 좌표값들에 의해 규정되는 영역에 포함된 정수 값들의 좌표값들을 가진 픽셀들의 세트이다. 그러나, 4개의 모서리들에 의해 규정되는 영역 내에 포함되는 음의 좌표값들은 추출 영역에 포함되지 않는다.
도 15는 제 5 실시 형태에서 영역 특징 계산 방법 취득 유닛 (5) 에 입력으로서 공급되는 차원별 영역 특징 계산 방법 정보를 도시한다. 제 5 실시 형태에서, 각각의 추출 영역 (제 1 추출 영역 및 제 2 추출 영역) 에 포함된 픽셀들의 그룹의 평균 휘도는 모든 차원에 대하여 추출 영역들 각각의 영역 특징으로서 제공된다.
도 17은 제 5 실시 형태에서 비교 방법 취득 유닛 (6) 에 입력으로서 공급되는 차원별 비교 및 양자화 방법 정보를 도시한다. 제 5 실시 형태에서, 각각의 차원에 대해, 비교 및 양자화 방법 B 또는 비교 및 양자화 방법 G가 사용되고, 각 차원에 대해, 파라미터의 값도 다르다. 예를 들어, 제 1 차원에는 비교 및 양자화 방법 G가 사용되고, 임계값 th는 D (floor(300*5.0/100)) 이다. 제 2 차원에는 비교 및 양자화 방법 G가 사용되고, 임계값 th는 D (floor (300 *10.0/100)) 이다. 또한, 예를 들어 제 9 차원에는 비교 및 양자화 방법 B가 사용되고, 임계값 th는 3.0 이다.
[제 6 실시 형태]
제 6 실시 형태에서, 추출될 특징 벡터의 차원들의 수는 제 5 실시 형태에서와 같이 300개 차원들 (제 1 차원부터 제 300 차원까지) 이다. 제 6 실시 형태에서, 추출 영역 취득 유닛 (2) 에 입력으로서 공급되는 차원별 추출 영역 정보로서, 제 5 실시 형태에서와 같이, 도 14에 도시된 정보가 사용된다. 또한, 제 6 실시 형태에서, 비교 방법 취득 유닛 (6) 에 입력으로서 공급되는 차원별 비교 및 양자화 방법 정보로서, 제 5 실시 형태에서와 같이, 도 17에 도시된 정보가 사용된다.
도 16은 제 6 실시 형태에서 영역 특징 계산 방법 취득 유닛 (5) 에 입력으로서 공급되는 차원별 영역 특징 계산 방법 정보를 도시한다. 제 6 실시 형태에서, 각 차원에 대하여, 추출 영역들 (제 1 추출 영역 및 제 2 추출 영역) 에 포함된 픽셀들의 그룹의 평균 휘도 또는 백분위 휘도 특징이 사용되고, 동일한 백분위 휘도 특징이 사용되는 경우에도 각 차원에 대하여 특징은 서로 다르다. 예를 들어, 제 1 차원에서, 추출 영역들에 포함된 픽셀들의 평균 휘도가 사용된다. 예컨대, 제 4 차원에서, 백분위 휘도 특징이 사용되며, 그 값은 Y(floor(N*20.0/100) 이다. 또한, 제 8 차원에서, 백분위 휘도 특징이 사용되며, 그 값은 Y(floor(N*80.0/100)이다.
[제 7 실시 형태]
제 7 실시 형태에서, 추출하는 특징 벡터의 차원 수는 325 차원 (제 1 차원부터 제 325 차원) 이다. 제 7 실시 형태에서, 각 영역은, 이미지를 종방향으로 32개, 횡방향으로 32개로 분할함으로써 형성된 1024개의 블록의 조합으로 구성된다. 각각의 블록들에 대해, 도 24에 도시된 좌상 부분으로부터 0부터 시작하는 인덱스를 부여하고, 이 인덱스를 이용하여 영역들이 기술된다. 구체적으로, 직사각형 영역을 좌상 블록의 인덱스 "a"와 우하 블록의 인덱스 "b"를 이용하여 "a-b"의 방식으로 표현된다. 예를 들어, 인덱스 0, 1, 32, 33의 4개의 블록으로 이루어지는 직사각형은 0-33과 같이 기술된다. 또, 이러한 방식으로 형성된 직사각형을 기호 "|"를 이용하여 연결한 경우, 그 기호의 전후의 직사각형들을 연결함으로써 형성된 영역을 표현하는 것으로 한다. 예를 들어,0-33|2-67은, 0-33으로 정의된 직사각형과 2-67로 정의된 직사각형을 연결함으로써 형성된 영역을 나타내며, 즉, 블록 번호 0, 1, 2, 3, 32, 33, 34, 35, 66 및 67에 의해 형성된 영역을 나타내고 있다.
도 25는 이러한 방식으로 기술된, 제 7 실시 형태의 각 차원에 대응하는 영역을 도시한다. 도 25에서, 영역의 타입에 기초하여 도 25a, 도 25b, 도 25c, 도 25d, 도 25e, 도 25f, 도 25g로 분류됨으로써 325 차원이 기술된다. 이러한 도면들에서, 영역 타입이란, 제 1, 제 2 추출 영역들 간의 상대 위치나 형상의 조합에 의해 결정된 유사한 영역 패턴을 가진 차원들로 구성된 그룹을 의미한다.
구체적으로, 도 25a는, 도 27a에 도시된 실시예에서, 수직으로 4개의 블록과 수평으로 4개의 블록으로 구성된 직사각형을 종방향 또는 횡방향으로 2 등분함으로써 형성된 2개의 영역을 제 1 및 제 2 추출 영역으로 사용되는 경우에 해당한다. 이 때문에, 제 1 추출 영역 및 제 2 추출 영역 양자의 형상은 수직으로 4개의 블록과 수평으로 2개의 블록으로 정의된 직사각형 또는 수직으로 2개의 블록과 수평으로 4개의 블록으로 이루어지는 직사각형이다. 또한, 제 1 추출 영역과 제 2 추출 영역 간의 상대적인 위치에 관하여, 직사각형의 긴 변들이 서로 겹치도록 서로 인접하는 위치에 존재한다.
도 25b는, 도 27b에 도시된 실시예에서, 종방향 및 횡방향에서 수직으로 8개의 블록과 수평으로 8개의 블록으로 구성된 직사각형을 4 개의 직사각형으로 분할하고 좌상과 우하 직사각형 그리고 우상과 좌하 직사각형을 각각 결합함으로써 형성된 2개의 영역을 제 1 및 제 2 추출 영역들로서 사용된 경우에 해당한다. 이 때문에, 제 1 및 제 2 추출 영역들의 형상은, 수직으로 2개의 블록과 수평으로 2개의 블록으로 구성된 2개의 직사각형이 1개의 정점을 공유하도록 45도 또는 135도의 각도로 대각선 상에 배열되는 형상이다. 또한, 영역들 간의 상대적인 위치 관계를 보면, 제 2 영역을 구성하는 2개의 직사각형은 제 1 영역의 좌상 직사각형의 오른쪽 아래에 인접하는 위치에 존재한다.
도 25c의 경우, 도 27c에 도시된 실시예에서, 제 1 추출 영역 및 제 2 추출 영역 양자의 형상은 수직으로 10개의 블록과 수평으로 10개의 블록으로 구성된 직사각형이다. 제 1 추출 영역과 제 2 추출 영역 간의 상대적인 위치에 관하여, 수직 및 수평으로 10개의 블록의 정수배 만큼 서로로부터 떨어진 위치에 존재한다.
도 25d의 경우, 도 27d에 도시된 실시예에서, 제 1 추출 영역 및 제 2 추출 영역 양자의 형상은 수직으로 8개의 블록과 수평으로 8개의 블록으로 구성된 직사각형이다. 제 1 추출 영역과 제 2 추출 영역 간의 상대적인 위치에 관하여, 수직 및 수평으로 6개의 블록의 정수배 만큼 서로로부터 떨어진 위치에 존재한다.
도 25e는, 도 27e에 도시된 실시예에서, 직사각형 영역을 중심 부분과 외부 부분으로 분할함으로써 형성된 2개의 영역을 제 1 및 제 2 추출 영역들로 사용되는 경우에 해당한다. 이 때문에, 제 2 추출 영역의 형상은 중심 부분이 직사각형이고, 제 1 추출 영역의 형상은 전체 직사각형으로부터 제 2 추출 영역을 절단한 직사각형이다. 또한, 영역들 간의 상대적인 위치에 관하여, 제 1 추출 영역의 중앙 홀에 제 2 추출 영역이 존재한다.
도 25f의 경우, 도 27f에 도시된 실시예에서, 제 1 추출 영역의 형상은 수직으로 6개의 블록과 수평으로 10개의 블록으로 구성된 직사각형이고, 제 2 추출 영역의 형상은 수직으로 10개의 블록과 수평으로 6개의 블록으로 정의된 직사각형이다. 제 1 추출 영역과 제 2 추출 영역 간의 상대적인 위치에 관하여, 그 중심 위치가 일치하도록 배치된다.
도 25g의 경우, 도 27g에 도시된 실시예에서, 수직으로 4개의 블록과 수평으로 12개의 블록으로 구성된 직사각형 또는 수직으로 12개의 블록과 수평으로 4개의 블록으로 구성된 직사각형의 긴 변을 3 등분함으로서 중앙 직사각형 영역 및 다른 영역이 제 1 및 제 2 추출 영역들로 사용되는 경우에 해당한다. 이 때문에, 제 1 추출 영역의 형상은 수직으로 4개의 블록과 수평으로 4 블록으로 이루어지는 2개의 직사각형을, 수직이나 수평으로 4개의 블록만큼 서로로부터 떨어져 있는 형상이고, 제 2 추출 영역의 형상은 수직으로 4개의 블록과 수평으로 4개의 블록으로 구성된 직사각형이다. 또한, 영역들 간의 상대적인 위치에 관하여, 제 1 영역의 직사각형들 사이에 제 2 영역이 존재한다.
이후, 도 25a, 도 25b, 도 25c, 도 25d, 도 25e, 도 25f, 도 25g의 영역 타입을, 각각 영역 타입 a, 영역 타입 b, 영역 타입 c, 영역 타입 d, 영역 타입 e, 영역 타입 f, 영역 타입 g로 지칭한다.
제 7 실시형태에서, 도 25에 도시된 각각의 영역에서, 영역 특징으로서 평균 휘도치를 계산하고, 각 차원의 특징을 계산한다. 물론, 평균 휘도치 대신에 중간치나 최대치와 같은 전술한 여러 가지 추출 방법에 의해 추출한 값을 영역 특징으로서 획득하는 것이 가능하다.
각 차원의 특징의 양자화에서는, 그 영역 타입별로 임계값을 설정하여 양자화를 실시한다. 예를 들어, 식 2에 따라서 특징을 3진 값으로 양자화하는 경우, 영역의 타입별로, 0, 1, 및 -1의 발생의 비율이 균등하게 되도록 양자화의 임계값 th를 결정하고, 양자화를 실시한다. 구체적으로, 단락 0085에 기술한 방법을 P=33.333%, N을 영역 타입별 차원 수로 하여, 영역 타입별로 적용함으로써 임계값 th를 획득한다. 예를 들어, 영역 타입 a의 경우 N = 113이 되므로, th=D (floor(113×33.333/100))=D(37)에 의해 임계값을 계산한다. 여기서, D(i)(i=0, 1,…, N-1)는, 제 1 차원부터 제 113 차원의 차분값의 절대값을 오름 차순으로 소팅한 세트라는 것을 주목한다. 이 경우, 임계값에 대응하는 인덱스는 37이다. 유사하게, 다른 영역 타입에 대해서도, 임계값에 대응하는 인덱스가 도 26에 도시된 바와 같이 획득될 수 있다. 영역 타입별로 임계값을 획득함으로써, 전체적으로 임계값을 결정하는 경우에 비해 각 차원에서 0, 1, 및 -1의 발생 확률을 균일화할 수 있게 되어, 구별 능력이 향상된다. 물론, 전술한 다른 여러 가지 양자화 방법에 의해 양자화를 실시하는 것도 가능하다.
또한, 제 7 실시형태의 경우, 도 24에 도시된 블록마다 대표치 (예를 들어, 블록 내의 픽셀들의 평균 휘도치) 를 먼저 계산한 후, 영역 특징을 추출하는 것도 가능하다는 것을 주목한다. 이로써, 영역 내의 모든 픽셀들로부터 직접 영역 특징을 추출하는 경우보다 고속으로 추출할 수 있다. 또한, 각 영역 타입의 추출 영역은 전체적으로 대칭성을 갖는다. 이 때문에, 이미지의 좌우을 반전시키거나 상하를 반전시키는 경우에서, 차원의 대응 관계와 부호를 적절히 변경함으로써, 좌우 또는 상하 반전한 이미지로부터 추출된 특징으로부터 원래 이미지의 특징을 복원할 수 있다. 이 때문에, 좌우 또는 상하를 반전시킨 이미지에 대해서도 매칭을 실시할 수 있다.
[매칭 유닛의 실시형태]
다음으로, 본 발명에서 출력된 양자화 인덱스 벡터들 간에 매칭을 실시하는 매칭 유닛을 블록도를 이용하여 설명한다.
도 20을 참조하면, 본 발명에서 출력된 양자화 인덱스 벡터들 간에 매칭을 시하는 매칭 유닛 (100) 의 블록도를 도시하며, 차원 결정 유닛 (101), 양자화 값 취득 유닛 (102 및 103), 및 척도 계산 유닛 (104) 을 포함한다.
차원 결정 유닛 (101) 은 양자화 값 취득 유닛 (102 및 103) 에 접속되어 결정된 차원 정보를 출력한다. 양자화 값 취득 유닛 (102) 은, 제 1 양자화 인덱스 벡터로부터, 차원 결정 유닛 (101) 으로부터 입력되는 차원의 양자화 인덱스 값을 취득하여, 그 값을 제 1 양자화 인덱스 값로서 척도 계산 유닛 (104) 에 출력한다. 양자화 값 취득 유닛 (103) 은, 제 2 양자화 인덱스 벡터로부터, 차원 결정 유닛 (101) 로부터 입력되는 차원의 양자화 인덱스 값을 취득하여, 그 값을 제 2 양자화 인덱스 값로서 척도 계산 유닛 (104) 에 출력한다. 척도 계산 유닛 (104) 은, 양자화 값 취득 유닛 (102 및 103) 으로부터 출력된 제 1 및 제 2 양자화 인덱스 값들로부터 동일성을 나타내는 척도를 계산하고, 이를 출력한다.
다음으로, 도 20에 도시된 매칭 유닛 (100) 의 동작에 대해 설명한다.
먼저, 매칭 유닛 (100) 에, 제 1 이미지로부터 추출된 양자화 인덱스 벡터인 제 1 양자화 인덱스 벡터와, 제 2 이미지로부터 추출되는 양자화 인덱스 벡터인 제 2 양자화 인덱스 벡터가 입력된다. 입력된 제 1 및 제 2 양자화 인덱스 벡터는 각각 양자화 값 취득 유닛 (102 및 103) 에 입력된다.
양자화 값 취득 유닛 (102 및 103) 으로, 차원 결정 유닛 (101) 으로부터 출력된 차원 정보도 입력된다. 차원 결정 유닛 (101) 은, N 차원 벡터인 양자화 인덱스 벡터의 각 차원을 지정하는 정보를 순차 출력한다. 출력 순서는 반드시 1부터 N 까지 1씩 증가할 필요는 없고, 1부터 N 까지 모든 차원이 과부족 없게 지정된다면, 임의의 순서일 수도 있다.
양자화 값 취득 유닛 (102 및 103) 은, 입력된 양자화 인덱스 벡터로부터, 차원 결정 유닛 (101) 으로부터 출력된 차원 정보로 지정되는 차원의 양자화 인덱스 값을 취득하고, 취득한 양자화 인덱스 값을 척도 계산 유닛 (104) 에 출력한다.
척도 계산 유닛 (104) 은, 양자화 값 취득 유닛 (102) 으로부터 출력된 제 1 양자화 인덱스 값과 제 2 양자화 인덱스 값을 비교한다. 이 비교를 각 차원에 대해 실시하고, 제 1 및 제 2 양자화 인덱스 벡터들 간의 유사성 척도 (또는 거리 척도) 를 동일성 척도로서 계산한다.
얻어진 동일성 척도는 미리 정한 임계값과 비교하여, 동일성을 결정한다. 동일성 척도가 유사 값을 나타내는 척도인 경우, 이 척도 값이 임계값 이상의 경우에 동일한 것으로 결정된다. 한편, 동일성 척도가 거리를 나타내는 척도인 경우, 척도 값이 임계값 이하의 경우에 동일한 것으로 결정된다.
다음으로, 흐름도를 이용하여 도 20에 도시된 매칭 유닛 (100) 의 동작을 설명한다. 먼저, 동일성 척도로서 유사 값을 사용하는 경우의 동작에 대해 설명한다.
도 21은, 매칭 유닛 (100) 의 동작을 나타내는 흐름도이다. 도 21의 흐름도에서, 양자화 인덱스 벡터의 차원 (번호) 이 "n"으로 표시되고, N개의 차원은 1부터 N까지의 합계이다. 또한, 유사 값을 계산하는 변수는 B로 표시된다.
먼저, 차원 결정 유닛 (101) 은, 양자화 인덱스 벡터에 관하여 매칭을 실시하는 첫번째 차원으로서 차원 1을 결정하고 (n=1), 양자화 값 취득 유닛 (102 및 103) 에 공급하고, 척도 계산 유닛 (104) 에서 변수 B를 0으로 설정한다 (단계 S100).
다음으로, 양자화 값 취득 유닛 (102 및 103) 은 제 1 양자화 인덱스 벡터 및 제 2 양자화 인덱스 벡터로부터, 차원 n의 제 1 양자화 인덱스 값과 제 2 양자화 인덱스 값을 획득하고, 척도 계산 유닛 (104) 에 이들을 공급한다 (단계 S102).
다음으로, 척도 계산 유닛 (104) 은, 제 1 양자화 인덱스 값과 제 2 양자화 인덱스 값으로부터, 각각의 양자화 인덱스에 대응하는 특징들 간의 유사치 ΔB를 계산한다 (단계 S104). 예를 들어, 양자화 인덱스가 서로 일치하는 경우, ΔB=1이고, 그 이외의 경우에는 ΔB=0이다. 대안으로, 양자화 인덱스로부터 양자화 전 특징의 대표치를 계산하여, 대표치들 간의 차가 작을수록 증가하는 값을 ΔB로 사용하는 것도 가능하다. 이 경우, 특징의 대표치를 계산하여 차분을 획득하는 대신, 양자화 인덱스 값의 조합으로부터 ΔB의 값을 획득하는 테이블을 보유하고, 양자화 인덱스 값의 조합으로부터 그 테이블을 이용하여 ΔB의 값을 직접 획득하는 것이 가능하다.
다음으로, ΔB의 값이 변수 B에 가산된다 (단계 S106). 이때, ΔB의 값이 0인 경우, 변수 B에 0을 가산하는 대신, 가산하지 않도록 제어하는 것이 가능하다.
다음으로, 차원의 번호 n이 차원수 N에 도달했는지 여부를 확인하고 (단계 S108), 도달하지 않는 경우, 프로세싱이 단계 S112로 이동하고, 도달한 경우, 그때의 변수 B의 값을 동일성 척도 (유사치를 나타내는 척도) 로서 출력하고 (단계 S110), 프로세싱이 종료된다.
단계 112에서, 차원 결정 유닛 (101) 이, 취득한 양자화 인덱스에 대한 차원으로서 n=n+1로부터 다음 차원을 결정하고, 양자화 값 취득 유닛 (102 및 103) 에 이것을 공급한다. 이후, 프로세싱이 단계 S102로 복귀한다.
차원 1로부터 N까지 차례로 추출 프로세싱을 실시하지만, 이 차례로 제한되지 않고 임의의 차례로 할 수도 있다는 것을 주목한다.
다음으로, 동일성 척도로서 거리를 사용하는 경우의 동작을 설명할 것이다.
도 22는, 매칭 유닛 (100) 의 동작을 나타내는 다른 흐름도이다. 도 22의 흐름도에서도, 특징 벡터의 차원 (번호) 이 "n"으로 표시되고, 차원은 1부터 N까지의 합계로 N차원이 존재한다. 또한, 거리 척도를 계산하는 변수가 C로 표시된다.
기본적인 흐름은, 도 21의 흐름과 비슷하지만, 단계 S100, S104, S106 및 S110가 각각 단계 S200, S204, S206 및 S210으로 대체되는 점이 상이하다.
먼저, 단계 S200에서, 차원 결정 유닛 (101) 은, 매칭을 실시하는 양자화 인덱스 벡터의 최초의 차원으로서 차원 1을 결정하고 (n=1), 양자화 값 취득 유닛 (102 및 103) 에 이것을 공급하고, 척도 계산 유닛 (104) 에서 변수 C를 0으로 설정한다.
단계 S204에서, 척도 계산 유닛 (104) 이, 제 1 양자화 인덱스 값과 제 2 양자화 인덱스 값으로부터, 각각의 양자화 인덱스에 대응하는 특징들 간의 거리 ΔC를 계산한다. 예를 들어, 양자화 인덱스가 서로 일치하는 경우 ΔC=0이고, 그 이외의 경우에는 ΔC=1이다. 대안으로, 양자화 인덱스로부터 양자화 전 특징의 대표치를 계산하여, 대표치들 간의 차가 작을수록 감소하는 값을 ΔC로 사용하는 것도 가능하다. 이 경우, 특징의 대표치를 계산하여 차를 획득하는 대신, 양자화 인덱스 값의 조합으로부터 ΔC의 값을 획득하는 테이블을 보유하고, 양자화 인덱스 값의 조합으로부터 그 테이블을 이용하여 ΔC의 값을 직접 획득하는 것이 가능하다.
단계 S206에서, ΔC의 값이 변수 C에 가산된다. 이때, ΔC의 값이 0인 경우, 변수 C에 0을 가산하는 대신, 가산하지 않도록 제어하는 것이 가능하다.
단계 S210에서, 그때의 변수 C의 값을 동일성 척도 (거리를 나타내는 척도)로서 출력하고 프로세싱을 종료한다.
그 이외의 단계는 도 21의 단계와 같다. 그러나, 단계 S108에서 차원 번호 n이 차원 수 N에 도달한다면, 프로세싱은 단계 S210으로 이동한다.
차원 1부터 N까지의 순서로 추출 프로세싱을 실시하고 있지만, 이 순서로 제한되지 않고 임의의 순서로 실시할 수도 있다는 것을 주목한다.
다음으로, 제 1 양자화 인덱스 값과 제 2 양자화 인덱스 값에 대하여, "양자화 인덱스들 둘 모두가 0"인 차원을 제거하고, 동일성 척도로서 유사치가 사용되는 경우의 동작에 대하여 설명한다.
도 23은, 매칭 유닛 (100) 의 동작을 나타내는 다른 흐름도이다. 도 23의 흐름도에서도, 특징 벡터의 차원 (번호) 이 "n"으로 표시되고, 1부터 N까지 총 N개의 차원이 존재한다. 또한, 유사치를 계산하는 변수가 B로 표시되고, "양자화 인덱스 둘 모두가 0"이 아닌 차원을 카운트하기 위한 변수는 A로 표시된다.
먼저, 차원 결정 유닛 (101) 은, 매칭을 실사하는 양자화 인덱스 벡터의 최초의 차원으로서 차원 1을 결정하고 (n=1), 양자화 값 취득 유닛 (102 및 103) 에 이들을 공급하고, 척도 계산 유닛 (104) 에서 변수 A 및 B를 0으로 설정 (단계 S300) 한 후, 단계 S102로 이동한다.
단계 S102는 도 21의 경우와 같고, 단계 S102가 종료한 후, 이 프로세싱은 단계 S314로 이동한다.
단계 S314에서, 척도 계산 유닛 (104) 은, 제 1 양자화 인덱스 값과 제 2 양자화 인덱스 값 양자가 0인지 여부를 확인한다. 값이 양자 모두 0인 경우, 프로세싱이 단계 S108로 이동하고, 이들 중 어느 하나가 0이 아닌 경우, 변수 A의 값을 1씩 증가시키고 (단계 S316), 프로세싱은 단계 S104로 이동한다.
단계 S104, S106, S108 및 S112에서의 프로세싱은 도 21의 경우와 같다. 단계 S108에서 차원 번호 n이 차원수 N에 도달한다면, 프로세싱은 단계 S310으로 이동한다.
단계 S310에서, 척도 계산 유닛 (104) 은 B/A의 값을 계산하고, 동일성 척도로서 이것을 출력하고, 프로세싱을 종료한다. 그러나, A=0의 경우, 척도 계산 유닛 (104) 은 미리결정된 값 (예를 들어 0.5) 을 출력한다.
차원 1부터 N까지 순서로 추출 프로세싱을 실시하지만, 이 순서로 제한되지 않고 임의의 순서로 할 수도 있다는 것을 주목한다.
이상 본 발명의 실시 형태들이 설명되었지만, 본 발명은 이러한 예들에 제한되지 않는다. 형태 및 세부사항에서 다양한 변경이 이루어질 수도 있다는 것을 당업자는 이해한다. 또한, 본 발명의 이미지 시그니처 추출 장치는 그 기능이 하드웨어뿐만 아니라 컴퓨터 및 프로그램에 의해 실현될 수 있도록 구성된다. 이러한 프로그램은 자기 디스크, 반도체 메모리 등의 컴퓨터 판독가능 기록 매체에 기록되는 형태로 제공되고, 예컨대 컴퓨터가 시작될 때 컴퓨터에 의해 판독되며, 해당 컴퓨터의 동작을 제어함으로써 컴퓨터가 전술된 실시 형태들의 차원 결정 유닛, 추출 영역 취득 유닛, 영역 특징 계산 유닛, 비교 유닛, 영역 특징 계산 방법 취득 유닛, 비교 방법 취득 유닛으로서 기능하게 한다.
본 출원은 그 개시물이 본 명세서 내에서 참조로서 통합되는, 2009년 4월 14일 출원된 일본 특허 출원 제 2009-97861 호에 기초하고, 이것을 우선권으로 주장한다.

Claims (89)

  1. 이미지 시그니처 추출 장치로서,
    이미지 내의 2개의 서브 영역들로부터 영역 특징들을 계산하는 계산 유닛으로서, 상기 2개의 서브 영역들은 이미지 시그니처를 구성하는 각 차원과 연관되고, 상기 이미지 시그니처는 이미지를 식별하는 정보인, 상기 계산 유닛; 및
    상기 영역 특징들 간의 차분값을, 각 타입에 대해 독립적으로 정의된 파라미터를 이용하여 양자화하는 양자화 유닛을 포함하고,
    상기 차원은 적어도 하나의 다른 차원의 타입과는 상이한 타입들 중 하나로 분류되는, 이미지 시그니처 추출 장치.
  2. 제 1 항에 있어서,
    상기 양자화 유닛은 각 타입에 대하여 독립적으로 정의된 임계값을 이용하여 상기 차분값을 양자화하는, 이미지 시그니처 추출 장치.
  3. 제 2 항에 있어서,
    동일한 타입으로 분류된 차원과 연관된 차분값의 분포에 기초하여 각 타입의 임계값을 결정하는 결정 유닛을 더 포함하는, 이미지 시그니처 추출 장치.
  4. 제 3 항에 있어서,
    상기 결정 유닛은 상기 동일한 타입으로 분류된 차원과 연관된 차분값의 절대값을 소팅하고, 그리고 위 또는 아래부터 미리결정된 비율에 위치된 값을 각 타입의 임계값으로 결정하는, 이미지 시그니처 추출 장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 차원은, 상기 2개의 서브 영역들의 형상들의 조합과 상기 2개의 서브 영역들 간의 상대적인 위치에 기초하여, 서브 영역들의 패턴에 의해 상기 타입들로 분류되는, 이미지 시그니처 추출 장치.
  6. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 2개의 서브 영역들은 제 1 서브 영역과 제 2 서브 영역이고; 그리고
    상기 타입들은,
    상기 이미지 내의 특정 사이즈의 직사각형을 종방향 또는 횡방향으로 2개로 균등하게 분할하여 형성된 2개의 직사각형이 상기 제 1 서브 영역 및 상기 제 2 서브 영역으로서 역할을 하는 제 1 타입;
    상기 이미지 내의 특정 사이즈의 직사각형을 종방향으로 2개 그리고 횡방향으로 2개로 균등하게 분할하여 형성된 4개의 직사각형들 중, 좌상 직사각형과 우하 직사각형을 조합하여 형성된 영역이 상기 제 1 서브 영역으로서 역할을 하고 우상 직사각형과 좌하 직사각형을 조합하여 형성된 영역이 상기 제 2 서브 영역으로서 역할을 하는 제 2 타입;
    상기 제 1 서브 영역과 상기 제 2 서브 영역이 동일 사이즈의 직사각형들이고, 상기 직사각형의 한 변의 정수배와 동등한 거리만큼 종방향 및 횡방향으로 떨어져 있는 제 3 타입;
    상기 제 1 서브 영역과 상기 제 2 서브 영역이 동일 사이즈의 직사각형들이지만 상기 제 3 타입의 사이즈보다 작고, 상기 직사각형의 한 변의 정수배와 동등한 거리만큼 종방향 및 횡방향으로 떨어져 있는 제 4 타입;
    무게 중심을 공유하는 2개의 상이한 크기의 직사각형들 중에서, 더 큰 직사각형에서 더 작은 직사각형을 제거하여 획득된 영역이 상기 제 1 서브 영역으로서 역할을 하고, 상기 더 작은 직사각형이 상기 제 2 서브 영역으로서 역할을 하는 제 5 타입;
    무게 중심을 공유하고 서로 직교하여 위치되는 동일 사이즈의 2개의 직사각형들이 상기 제 1 서브 영역 및 상기 제 2 서브 영역으로서 역할을 하는 제 6 타입; 및
    수직으로 또는 수평으로 인접한 동일 사이즈의 3개의 직사각형들 중에서, 양단에 있는 직사각형들이 상기 제 1 서브 영역으로서 역할을 하고 중심에 있는 직사각형이 상기 제 2 서브 영역으로서 역할을 하는 제 7 타입
    중 적어도 하나를 포함하는, 이미지 시그니처 추출 장치.
  7. 제 6 항에 있어서,
    상기 2개의 서브 영역들은 상기 이미지를 종방향으로 32개로 분할하고 상기 이미지를 횡방향으로 32개로 분할함으로써 획득된 1024개의 블록들 중 하나 이상의 블록들로 형성되고, 그리고
    상기 제 1 타입의 특정 사이즈의 직사각형은 수직으로 4개의 블록과 수평으로 4개의 블록으로 구성된 직사각형이고;
    상기 제 2 타입의 특정 사이즈의 직사각형은 수직으로 8개의 블록과 수평으로 8개의 블록으로 구성된 직사각형이고;
    상기 제 3 타입의 직사각형은 수직으로 10개의 블록과 수평으로 10개의 블록으로 구성된 직사각형이고;
    상기 제 4 타입의 직사각형은 수직으로 6개의 블록과 수평으로 6개의 블록으로 구성된 직사각형이고;
    상기 제 5 타입의 상기 2개의 상이한 크기의 직사각형들은 수직으로 10개의 블록과 수평으로 10개의 블록으로 구성된 직사각형과 수직으로 4개의 블록과 수평으로 4개 블록으로 구성된 직사각형의 조합, 또는 수직으로 13개 블록과 수평으로 13개 블록으로 구성된 직사각형과 수직으로 3개의 블록과 수평으로 3개의 블록으로 구성된 직사각형의 조합이고;
    상기 제 6 타입의 상기 2개의 직사각형들은 수직으로 10개의 블록과 수평으로 6개의 블록으로 구성된 직사각형과, 수직으로 6개의 블록과 수평으로 10개의 블록으로 구성된 직사각형이고; 그리고
    상기 제 7 타입의 직사각형은 수직으로 4개의 블록과 수평으로 4개의 블록으로 구성된 직사각형인, 이미지 시그니처 추출 장치.
  8. 삭제
  9. 삭제
  10. 이미지 시그니처 추출 방법으로서,
    이미지 내의 2개의 서브 영역들로부터 영역 특징들을 계산하는 단계로서, 상기 2개의 서브 영역들은 이미지 시그니처를 구성하는 각 차원과 연관되고, 상기 이미지 시그니처는 이미지를 식별하는 정보인, 상기 계산 단계; 및
    상기 영역 특징들 간의 차분값을, 각 타입에 대해 독립적으로 정의된 파라미터를 이용하여 양자화하는 단계를 포함하고,
    상기 차원은 적어도 하나의 다른 차원의 타입과는 상이한 타입들 중 하나로 분류되는, 이미지 시그니처 추출 방법.
  11. 제 10 항에 있어서,
    상기 양자화 단계는 각 타입에 대하여 독립적으로 정의된 임계값을 이용하여 상기 차분값을 양자화하는 단계를 포함하는, 이미지 시그니처 추출 방법.
  12. 제 11 항에 있어서,
    동일한 타입으로 분류된 차원과 연관된 차분값의 분포에 기초하여 각 타입의 임계값을 결정하는 단계를 더 포함하는, 이미지 시그니처 추출 방법.
  13. 제 12 항에 있어서,
    상기 결정 단계는 상기 동일한 타입으로 분류된 차원과 연관된 차분값의 절대값을 소팅하는 단계, 및 위 또는 아래부터 미리결정된 비율에 위치된 값을 각 타입의 임계값으로 결정하는 단계를 포함하는, 이미지 시그니처 추출 방법.
  14. 제 10 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 차원은, 상기 2개의 서브 영역들의 형상들의 조합과 상기 2개의 서브 영역들 간의 상대적인 위치에 기초하여, 서브 영역들의 패턴에 의해 상기 타입들로 분류되는, 이미지 시그니처 추출 방법.
  15. 제 10 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 2개의 서브 영역들은 제 1 서브 영역과 제 2 서브 영역이고; 그리고
    상기 타입들은,
    상기 이미지 내의 특정 사이즈의 직사각형을 종방향 또는 횡방향으로 2개로 균등하게 분할하여 형성된 2개의 직사각형이 상기 제 1 서브 영역 및 상기 제 2 서브 영역으로서 역할을 하는 제 1 타입;
    상기 이미지 내의 특정 사이즈의 직사각형을 종방향으로 2개 그리고 횡방향으로 2개로 균등하게 분할하여 형성된 4개의 직사각형들 중, 좌상 직사각형과 우하 직사각형을 조합하여 형성된 영역이 상기 제 1 서브 영역으로서 역할을 하고 우상 직사각형과 좌하 직사각형을 조합하여 형성된 영역이 상기 제 2 서브 영역으로서 역할을 하는 제 2 타입;
    상기 제 1 서브 영역과 상기 제 2 서브 영역이 동일 사이즈의 직사각형들이고, 상기 직사각형의 한 변의 정수배와 동등한 거리만큼 종방향 및 횡방향으로 떨어져 있는 제 3 타입;
    상기 제 1 서브 영역과 상기 제 2 서브 영역이 동일 사이즈의 직사각형들이지만 상기 제 3 타입의 사이즈보다 작고, 상기 직사각형의 한 변의 정수배와 동등한 거리만큼 종방향 및 횡방향으로 떨어져 있는 제 4 타입;
    무게 중심을 공유하는 2개의 상이한 크기의 직사각형들 중에서, 더 큰 직사각형에서 더 작은 직사각형을 제거하여 획득된 영역이 상기 제 1 서브 영역으로서 역할을 하고, 상기 더 작은 직사각형이 상기 제 2 서브 영역으로서 역할을 하는 제 5 타입;
    무게 중심을 공유하고 서로 직교하여 위치되는 동일 사이즈의 2개의 직사각형들이 상기 제 1 서브 영역 및 상기 제 2 서브 영역으로서 역할을 하는 제 6 타입; 및
    수직으로 또는 수평으로 인접한 동일 사이즈의 3개의 직사각형들 중에서, 양단에 있는 직사각형들이 상기 제 1 서브 영역으로서 역할을 하고 중심에 있는 직사각형이 상기 제 2 서브 영역으로서 역할을 하는 제 7 타입
    중 적어도 하나를 포함하는, 이미지 시그니처 추출 방법.
  16. 제 15 항에 있어서,
    상기 2개의 서브 영역들은 상기 이미지를 종방향으로 32개로 분할하고 상기 이미지를 횡방향으로 32개로 분할함으로써 획득된 1024개의 블록들 중 하나 이상의 블록들로 형성되고, 그리고
    상기 제 1 타입의 특정 사이즈의 직사각형은 수직으로 4개의 블록과 수평으로 4개의 블록으로 구성된 직사각형이고;
    상기 제 2 타입의 특정 사이즈의 직사각형은 수직으로 8개의 블록과 수평으로 8개의 블록으로 구성된 직사각형이고;
    상기 제 3 타입의 직사각형은 수직으로 10개의 블록과 수평으로 10개의 블록으로 구성된 직사각형이고;
    상기 제 4 타입의 직사각형은 수직으로 6개의 블록과 수평으로 6개의 블록으로 구성된 직사각형이고;
    상기 제 5 타입의 상기 2개의 상이한 크기의 직사각형들은 수직으로 10개의 블록과 수평으로 10개의 블록으로 구성된 직사각형과 수직으로 4개의 블록과 수평으로 4개 블록으로 구성된 직사각형의 조합, 또는 수직으로 13개 블록과 수평으로 13개 블록으로 구성된 직사각형과 수직으로 3개의 블록과 수평으로 3개의 블록으로 구성된 직사각형의 조합이고;
    상기 제 6 타입의 상기 2개의 직사각형들은 수직으로 10개의 블록과 수평으로 6개의 블록으로 구성된 직사각형과, 수직으로 6개의 블록과 수평으로 10개의 블록으로 구성된 직사각형이고; 그리고
    상기 제 7 타입의 직사각형은 수직으로 4개의 블록과 수평으로 4개의 블록으로 구성된 직사각형인, 이미지 시그니처 추출 방법.
  17. 삭제
  18. 삭제
  19. 컴퓨터로 하여금,
    이미지 내의 2개의 서브 영역들로부터 영역 특징들을 계산하는 계산 유닛으로서, 상기 2개의 서브 영역들은 이미지 시그니처를 구성하는 각 차원과 연관되고, 상기 이미지 시그니처는 이미지를 식별하는 정보인, 상기 계산 유닛; 및
    상기 영역 특징들 간의 차분값을, 각 타입에 대해 독립적으로 정의된 파라미터를 이용하여 양자화하는 양자화 유닛
    으로서 기능하게 하는 명령들을 포함하는 프로그램을 저장하고,
    상기 차원은 적어도 하나의 다른 차원의 타입과는 상이한 타입들 중 하나로 분류되는, 컴퓨터 판독가능 매체.
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
  63. 삭제
  64. 삭제
  65. 삭제
  66. 삭제
  67. 삭제
  68. 삭제
  69. 삭제
  70. 삭제
  71. 삭제
  72. 삭제
  73. 삭제
  74. 삭제
  75. 삭제
  76. 삭제
  77. 삭제
  78. 삭제
  79. 삭제
  80. 삭제
  81. 삭제
  82. 삭제
  83. 삭제
  84. 삭제
  85. 삭제
  86. 삭제
  87. 삭제
  88. 삭제
  89. 삭제
KR1020117023931A 2009-04-14 2010-04-12 이미지 시그니처 추출 장치 KR101355299B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009097861 2009-04-14
JPJP-P-2009-097861 2009-04-14
PCT/JP2010/002633 WO2010119657A1 (ja) 2009-04-14 2010-04-12 画像識別子抽出装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020137025463A Division KR101353104B1 (ko) 2009-04-14 2010-04-12 이미지 시그니처 추출 장치

Publications (2)

Publication Number Publication Date
KR20120023607A KR20120023607A (ko) 2012-03-13
KR101355299B1 true KR101355299B1 (ko) 2014-01-23

Family

ID=42982331

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137025463A KR101353104B1 (ko) 2009-04-14 2010-04-12 이미지 시그니처 추출 장치
KR1020117023931A KR101355299B1 (ko) 2009-04-14 2010-04-12 이미지 시그니처 추출 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020137025463A KR101353104B1 (ko) 2009-04-14 2010-04-12 이미지 시그니처 추출 장치

Country Status (6)

Country Link
US (1) US8861871B2 (ko)
EP (1) EP2420973B1 (ko)
JP (5) JP4935961B2 (ko)
KR (2) KR101353104B1 (ko)
CN (1) CN102395998B (ko)
WO (1) WO2010119657A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8792728B2 (en) * 2010-09-27 2014-07-29 Hewlett-Packard Development Company, L.P. Near-duplicate image detection
US9507601B2 (en) * 2014-02-19 2016-11-29 Mediatek Inc. Apparatus for mutual-transposition of scalar and vector data sets and related method
KR101537032B1 (ko) * 2014-05-15 2015-07-15 심해청 영상 필터링을 위한 영상 특징정보 생성 방법 및 그 방법이 기록된 기록매체
KR101601755B1 (ko) * 2014-05-27 2016-03-10 서강대학교산학협력단 영상 특징 추출 방법 및 장치 및 이를 구현한 프로그램을 기록한 기록 매체
CN106022067B (zh) * 2016-05-30 2018-03-27 广东欧珀移动通信有限公司 一种解锁控制方法及终端设备
KR101963198B1 (ko) * 2017-04-18 2019-07-31 한국과학기술원 3차원 안면 정면화 시스템 및 방법
CN114598873B (zh) * 2020-12-03 2023-06-20 华为技术有限公司 量化参数的解码方法和装置
EP4359957A1 (en) * 2021-06-23 2024-05-01 OP Solutions, LLC Systems and methods for organizing and searching a video database

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060055536A (ko) * 2003-08-07 2006-05-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 오브젝트 프로세싱
KR20060121856A (ko) * 2003-09-02 2006-11-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 폐쇄 검출에 기초한 픽셀의 시간적 보간
KR20060123237A (ko) * 2003-11-05 2006-12-01 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 이미지 식별 방법 및 장치, 이미지의 움직임을 결정하는방법 및 장치, 이미지 안정화 방법 및 장치, 컴퓨터프로그램 제품
KR20090005197A (ko) * 2006-04-20 2009-01-12 텔레폰악티에볼라겟엘엠에릭슨(펍) 이미지 처리

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2585606B2 (ja) * 1987-07-06 1997-02-26 株式会社日立製作所 画像パターン検索方法
JPH02268388A (ja) 1989-04-10 1990-11-02 Hitachi Ltd 文字認識方法
JPH0368272A (ja) * 1989-08-05 1991-03-25 Ricoh Co Ltd 画像データ処理装置
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
JP4458429B2 (ja) * 1993-12-10 2010-04-28 株式会社リコー カラー画像認識方法および装置
JP3030485B2 (ja) * 1994-03-17 2000-04-10 富士通株式会社 3次元形状抽出方法及び装置
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
US6532541B1 (en) * 1999-01-22 2003-03-11 The Trustees Of Columbia University In The City Of New York Method and apparatus for image authentication
US6751363B1 (en) * 1999-08-10 2004-06-15 Lucent Technologies Inc. Methods of imaging based on wavelet retrieval of scenes
JP2001216515A (ja) * 2000-02-01 2001-08-10 Matsushita Electric Ind Co Ltd 人物の顔の検出方法およびその装置
CN1235408C (zh) * 2001-02-12 2006-01-04 皇家菲利浦电子有限公司 生成和匹配多媒体内容的散列
US20030152250A1 (en) * 2002-02-12 2003-08-14 Eliahu Pewzner Personal identification instrument and method therefor
JP4292837B2 (ja) * 2002-07-16 2009-07-08 日本電気株式会社 パターン特徴抽出方法及びその装置
JP2004192555A (ja) * 2002-12-13 2004-07-08 Fuji Xerox Co Ltd 情報管理方法、情報管理装置及び情報管理プログラム
US7809154B2 (en) * 2003-03-07 2010-10-05 Technology, Patents & Licensing, Inc. Video entity recognition in compressed digital video streams
JP2005031901A (ja) * 2003-07-10 2005-02-03 Nippon Conlux Co Ltd 硬貨識別装置および方法
US7983446B2 (en) * 2003-07-18 2011-07-19 Lockheed Martin Corporation Method and apparatus for automatic object identification
US20060020597A1 (en) * 2003-11-26 2006-01-26 Yesvideo, Inc. Use of image similarity in summarizing a collection of visual images
JP4482796B2 (ja) * 2004-03-26 2010-06-16 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
CA2563478A1 (en) * 2004-04-16 2005-10-27 James A. Aman Automatic event videoing, tracking and content generation system
US7782339B1 (en) * 2004-06-30 2010-08-24 Teradici Corporation Method and apparatus for generating masks for a multi-layer image decomposition
US7876934B2 (en) * 2004-11-08 2011-01-25 Siemens Medical Solutions Usa, Inc. Method of database-guided segmentation of anatomical structures having complex appearances
JP2006163562A (ja) * 2004-12-03 2006-06-22 Matsushita Electric Ind Co Ltd 画像処理装置、および画像処理方法
KR100703528B1 (ko) * 2004-12-09 2007-04-03 삼성전자주식회사 영상 인식 장치 및 방법
JP2006268825A (ja) 2005-02-28 2006-10-05 Toshiba Corp オブジェクト検出装置、学習装置、オブジェクト検出システム、方法、およびプログラム
US20060193520A1 (en) 2005-02-28 2006-08-31 Takeshi Mita Object detection apparatus, learning apparatus, object detection system, object detection method and object detection program
US7657100B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for enabling image recognition and searching of images
JP4968882B2 (ja) * 2005-06-03 2012-07-04 キヤノン株式会社 画像検索装置、画像検索方法およびプログラム
JP4628882B2 (ja) * 2005-06-16 2011-02-09 富士フイルム株式会社 判別器の学習方法、顔判別方法および装置並びにプログラム
JP4757001B2 (ja) * 2005-11-25 2011-08-24 キヤノン株式会社 画像処理装置、画像処理方法
WO2007088926A1 (ja) * 2006-02-01 2007-08-09 Nec Corporation 画像処理、画像特徴抽出、および画像照合の装置、方法、およびプログラム並びに画像照合システム
JP2007293438A (ja) * 2006-04-21 2007-11-08 Omron Corp 特徴量取得装置
WO2007148264A1 (en) 2006-06-20 2007-12-27 Koninklijke Philips Electronics N.V. Generating fingerprints of video signals
EP2315161A1 (en) * 2006-10-11 2011-04-27 Mitsubishi Electric Information Technology Centre Europe B.V. Image descriptor for image recognition
CN101226595B (zh) * 2007-01-15 2012-05-23 夏普株式会社 文档图像处理装置以及文档图像处理方法
JP5139716B2 (ja) * 2007-05-16 2013-02-06 キヤノン株式会社 画像検索装置及び画像検索方法
US8121414B2 (en) * 2007-06-13 2012-02-21 Sharp Kabushiki Kaisha Image processing method, image processing apparatus, and image forming apparatus
US8171030B2 (en) * 2007-06-18 2012-05-01 Zeitera, Llc Method and apparatus for multi-dimensional content search and video identification
US8719288B2 (en) * 2008-04-15 2014-05-06 Alexander Bronstein Universal lookup of video-related data
GB0800364D0 (en) * 2008-01-09 2008-02-20 Mitsubishi Electric Inf Tech Feature-based signatures for image identification
WO2010011991A2 (en) * 2008-07-25 2010-01-28 Anvato, Inc. Method and apparatus for detecting near-duplicate videos using perceptual video signatures
EP2390838B1 (en) * 2009-01-23 2019-10-02 Nec Corporation Image identifier extracting apparatus
US8175376B2 (en) * 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
US8744193B2 (en) * 2009-03-13 2014-06-03 Nec Corporation Image signature extraction device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060055536A (ko) * 2003-08-07 2006-05-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 오브젝트 프로세싱
KR20060121856A (ko) * 2003-09-02 2006-11-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 폐쇄 검출에 기초한 픽셀의 시간적 보간
KR20060123237A (ko) * 2003-11-05 2006-12-01 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 이미지 식별 방법 및 장치, 이미지의 움직임을 결정하는방법 및 장치, 이미지 안정화 방법 및 장치, 컴퓨터프로그램 제품
KR20090005197A (ko) * 2006-04-20 2009-01-12 텔레폰악티에볼라겟엘엠에릭슨(펍) 이미지 처리

Also Published As

Publication number Publication date
CN102395998B (zh) 2015-06-10
KR101353104B1 (ko) 2014-01-17
CN102395998A (zh) 2012-03-28
EP2420973B1 (en) 2019-11-13
JP5573862B2 (ja) 2014-08-20
JPWO2010119657A1 (ja) 2012-10-22
JP2012099158A (ja) 2012-05-24
JP5573864B2 (ja) 2014-08-20
JP4935961B2 (ja) 2012-05-23
WO2010119657A1 (ja) 2010-10-21
JP5573863B2 (ja) 2014-08-20
EP2420973A4 (en) 2012-12-05
KR20130116379A (ko) 2013-10-23
JP2012099159A (ja) 2012-05-24
US20120027309A1 (en) 2012-02-02
JP5573865B2 (ja) 2014-08-20
JP2012123832A (ja) 2012-06-28
KR20120023607A (ko) 2012-03-13
JP2012099160A (ja) 2012-05-24
EP2420973A1 (en) 2012-02-22
US8861871B2 (en) 2014-10-14

Similar Documents

Publication Publication Date Title
KR101319780B1 (ko) 이미지 시그니처 추출 장치
KR101355258B1 (ko) 이미지 시그니처 매칭 장치
KR101355299B1 (ko) 이미지 시그니처 추출 장치
US8270724B2 (en) Image signature matching device
US8170341B2 (en) Image signature extraction device
KR101335877B1 (ko) 화상 식별자 추출 장치
US10133956B2 (en) Image signature extraction device
Vu et al. Main subject detection via adaptive feature selection

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
A107 Divisional application of patent
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180104

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200107

Year of fee payment: 7