KR101350335B1

KR101350335B1 - 내용기반 영상검색 장치 및 방법

Info

Publication number: KR101350335B1
Application number: KR1020090127712A
Authority: KR
Inventors: 이근동
Original assignee: 한국전자통신연구원
Priority date: 2009-12-21
Filing date: 2009-12-21
Publication date: 2014-01-16
Also published as: US20110150344A1; KR20110071208A

Abstract

본 발명은 내용기반 영상검색 장치 및 방법에 관한 것으로, 일면에 따른 내용기반 영상검색 장치는, 입력되는 질의 영상을 흑백 영상으로 변환하고, 질의 영상의 사이즈를 정규화하는 질의 영상 변환부와, 정규화된 흑백 질의 영상의 모든 픽셀에서 밝기값을 토대로 한 특징을 추출하는 형상 정보 추출부 및 특징을 이용하여 각 픽셀에 대한 형상 기술자를 구성하는 형상 기술자 구성부를 포함한다.

내용기반, 영상검색

Description

내용기반 영상검색 장치 및 방법{Content based image retrieval apparatus and method}

본 발명은 기존의 문자(text)기반 영상검색 기술이 갖는 한계를 극복하기 위한 내용기반 영상검색(Content Based Image Retrieval) 기술에 관한 것이다.

본 발명은 문화체육관광부의 IT성장동력기술개발의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-S-024-02, 과제명: Rich UCC 기술 개발(표준화연계)].

기존의 문자기반 영상검색 기술은 영상의 제목이나 메타 데이터에만 의존하여 검색을 수행한다. 이 경우 동일한 영상에 파일 이름이나 메타데이터를 제각각 다르게 할 수 있기 때문에 검색 기준이 모호해 지며, 이로 인해 인터넷 상의 방대한 영상을 검색하기에는 한계점이 있다.

이를 극복하기 위해 최근 내용기반 영상검색 기술 분야에서 활발하게 연구가 진행되고 있다. 내용기반 영상검색 기술에서는 영상의 색상(Color), 질감(Texture), 형태(Shape) 등 다양한 시각적 특징을 이용하여 영상 기술자(Image Descriptor)를 만들고, 이를 이용하여 여러 영상들 사이에서 유사성을 비교하여 검 색 결과를 도출한다. 영상내의 물체(Object)가 갖는 여러 시각적 특성은 동일한 영상의 경우 완벽히 일치하고, 비슷한 영상의 경우에도 크게 다르지 않기 때문에 검색의 정확성을 보다 높일 수 있다.

이러한 시각적 특성 중 형태(Shape) 정보는 특히 중요한 의미를 갖는다. 인간은 물체의 형태 정보만으로도 물체의 특징을 인식할 수 있다. 또한 유사한 색상 히스토그램(Histogram)을 갖는 두 장의 영상은 매우 다른 물체를 나타낼 수 있기에 이를 변별하기 위해서는 형태 정보를 사용하는 것이 효과적이다. 국제 표준화 기구 (ISO) / 국제 전기 표준 회의 (IEC) 합동 기술 위원회 (ISO/IEC JTC1) 에서는 MPEG-7 에서는 형태 기술자 (Shape Descriptor)에 대한 활발한 논의가 있었고, 몇 가지의 기술이 표준을 위해 경쟁했다. 물체의 윤곽 정보를 이용한 윤곽 기반 형태 기술자 (Contour based Shape Descriptor) 에는 CSS 라는 기술이 표준이 되었고, 물체의 영역별 밝기값 분포를 이용한 영역 기반 형태 기술자 (Region based Shape Descriptor)에서는 MLEV, Zernike Moment 기반 기술자, 2D ART 기반 기술자 등이 경쟁하다가, 2D ART 기반 기술자가 표준으로 채택되었다. 하지만 앞서 나열한 모든 형태 기술자들은 입력 영상이 물체와 배경을 완벽히 세그멘테이션 (Segmentation)한 이진 영상이라는 전제 조건 하에서만 가능한 기술이기 때문에 실제 검색 관련 어플리케이션(Application)에서는 적용이 사실상 힘들다.

또한 코너(Corner) 정보를 이용해 세그멘테이션(Segmentation) 없이 형태 정보를 얻어 이를 이용해 검색하는 방법들도 제안되었다. 하지만, 제한된 수의 코너와 그 주변 영역을 이용해 얻은 형태 기술자는 영상 전체를 대표하기에 부족하다는 단점이 있다. 일례로 고주파 성분이 없고 색상과 밝기 값이 균일(uniform) 한 경우 매우 적은 수의 코너가 검출되고 이를 이용해 형태 기술자를 만들어 검색에 이용한다면, 검색하기를 원하는 영상과 전혀 다른 영상이 검색될 수가 있어 비효율적이다.

본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 본 발명의 목적은 영상에서 코너(Corner)와 에지(Edge)를 포함하는 영상 내의 픽셀들의 정보를 이용해 세그먼테이션(Segmentation)없이 형태 기술자를 구성하고 이를 이용해 내용기반 검색을 하는데 그 목적이 있다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일면에 따른 내용기반 영상검색 장치는, 입력되는 질의 영상을 흑백 영상으로 변환하고, 상기 질의 영상의 사이즈를 정규화하는 질의 영상 변환부와, 상기 정규화된 흑백 질의 영상의 모든 픽셀에서 밝기값을 토대로 특징을 추출하는 형상 정보 추출부 및 상기 특징을 이용하여 상기 각 픽셀에 대한 형상 기술자를 구성하는 형상 기술자 구성부를 포함한다.

본 발명의 다른 면에 따른 내용기반 영상검색 방법은, 입력되는 질의 영상을 구성하는 픽셀의 밝기값을 이용하여, 상기 각 픽셀에 대한 특징을 추출하는 단계와, 상기 특징을 이용하여 상기 각 픽셀에 대한 형상 기술자를 각각 구성하는 단계 및 상기 형상 기술자를 이용하여 영상을 검색하는 단계를 포함한다.

본 발명의 또 따른 면에 따른 내용기반 영상검색 장치는, 입력되는 질의 영 상을 흑백 영상으로 변환하고, 상기 질의 영상의 사이즈를 정규화하는 단계와, 상기 정규화된 흑백 질의 영상을 구성하는 모든 픽셀 중 코너 픽셀과, 에지 픽셀과, 일반 픽셀을 검출하는 단계와, 상기 코너 픽셀, 에지 픽셀 및 일반 픽셀의 밝기값을 토대로 국부 특징을 추출하는 단계와, 상기 코너 픽셀, 에지 픽셀 및 일반 픽셀로부터 상기 영상의 전역 특징을 추출하는 단계 및 상기 국부 특징 및 전역 특징을 이용하여 형상 기술자를 구성하는 단계를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 따르면, 내용기반 검색 기술을 위해 세그먼테이션(Segmentation)없이 충분한 정보를 이용하여 형태 기술자를 구성하기 때문에, 세그먼테이션(Segmentation)으로 인한 과도한 알고리즘 수행 속도가 요구되지 않고, 부정확한 세그먼테이션(Segmentation)으로 인한 검색 효율 저하가 없다.

또한 검색을 원하는 질의 영상이 고주파 성분이 거의 없고 주로 평탄한(uniform) 한 영역으로 구성되어 있다고 하더라도, 영상의 모든 pixel의 색상 및 밝기 값 정보들이 형태 기술자를 추출하는데 사용되므로 검색 효율이 저하되지 않는다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발 명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 또한, 본 명세서에서 하나의 소자(elements)가 다른 소자와 "연결된(connected to)" 이라고 지칭되는 것은, 다른 소자와 직접 연결 또는 커플링된 경우 또는 중간에 다른 소자를 개재한 경우를 모두 포함한다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

이하에서 도 1 내지 도 6을 참조하여 본 발명의 실시예에 따른 내용기반 영상검색 장치 및 방법을 설명한다. 도 1은 본 발명의 실시예에 따른 내용기반 영상검색 장치를 설명하기 위한 블록도이고, 도 2는 본 발명의 실시예에 따른 내용기반 영상검색 방법을 설명하기 위한 순서도이고, 도 3 및 도 4는 도 1의 국부 형상 정보 추출부를 설명하기 위한 개념도이고, 도 5 및 도 6은 도 1의 형상 기술자 구성부를 설명하기 위한 개념도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 형태 기술자를 이용한 내용기반 영상검색 장치(10)는, 질의 영상 변환부(100)와, 형상 정보 추출부(200)와, 형상 기술자 구성부(300)와, 영상 정합부(400) 및 검색 결과 출력부(500)를 포함한다. 형상 정보 추출부(200)는 국부 형상 정보 추출부(220)와, 전역 형상 정보 추출부(240)를 포함할 수 있다.

구체적으로, 질의 영상 변환부(100)는 입력되는 질의 영상을 흑백 영상으로 변환하고(S210), 영상의 크기를 고정된 MXN의 사이즈로 정규화한다(S220). 질의 영상 변환부(100)는, 예컨대 웹에 존재하는 영상들은 다양한 크기를 갖기 때문에, 이들의 사이즈를 하나로 정규화할 수 있다. 다만, 이러한 질의 영상 변환부(100)가 반드시 구비되어야 하는 것은 아니다. 예컨대 본 실시예에서는 후술하는 형상 정보 추출부(200)가 정규화된 흑백 영상으로부터 특징을 추출하지만, 형상 정보 추출부(200)가 컬러 영상에서 컬러 값 또는 컬러에 의한 밝기 값으로부터 특징을 추출할 수 있으며, 이러한 경우 질의 영상 변환부(100)는 질의 영상을 흑백 영상으로 변환하지 않을 수 있다.

형상 정보 추출부(200)는 정규화된 흑백 질의 영상을 구성하는 픽셀의 밝기값을 이용하여 픽셀에 대한 특징을 추출한다. 다만, 전술한 바와 같이 질의 영상 변환부(100)가 구비되지 않거나 흑백 영상으로 변환하지 않는 경우에는, 형상 정보 추출부(200)는 컬러 값 또는 컬러에 의한 밝기값으로부터 특징을 추출할 수 도 있다. 또는 형상 정보 추출부(200)는 정규화된 영상으로부터 특징을 추출하지 않고, 임의의 사이즈인 질의 영상에서, 질의 영상의 사이즈와 정규 사이즈를 고려하여, 정규화되지 않은 질의 영상에서 일부 픽셀 선택하여 특징을 추출할 수도 있다.

이러한 형상 정보 추출부(200)는 국부 형상 정보 추출부(220)와, 전역 형상 정보 추출부(240)를 포함할 수 있다.

국부 형상 정보 추출부(220)는, 영상 내의 모든 픽셀에 대해서 정보 추출 대상 픽셀의 밝기 값과, 정보 추출 대상 픽셀과 인접하는 주변 픽셀, 예컨대 정보 추출 대상 픽셀을 둘러싸는 주변 픽셀의 밝기 값의 대소를 비교하고, 정보 추출 대상 픽셀보다 밝기 값이 큰 주변 픽셀의 개수 혹은 밝기 값이 작은 주변 픽셀의 개수를, 정보 추출 대상 픽셀의 특징으로 추출할 수 있다.

또한 국부 형상 정보 추출부(220)는 영상을 구성하는 모든 픽셀을 코너 픽셀과, 에지 픽셀과 일반 픽셀로 구분할 수 있다. 예컨대 국부 형상 정보 추출부(220)는, 주변 픽셀의 밝기값에 비해 어느 한 픽셀에서 밝기값이 한 방향으로 급격히 변하는 경우, 해당 픽셀을 에지 픽셀로 구분(또는 검출)할 수 있다. 또는 국부 형상 정보 추출부(220)는, 주변 픽셀의 밝기값에 비해 어느 한 픽셀에서 밝기값이 두 방향 이상으로 급격히 변하는 경우, 해당 픽셀을 코너 픽셀로 구분(또는 검출)할 수 있다. 국부 형상 정보 추출부(220)는, 영상을 구성하는 픽셀 중, 코너 픽셀과 에지 픽셀을 제외하고 나머지 픽셀들을 일반 픽셀로 구분할 수 있다.

그리고 국부 형상 정보 추출부(220)는 코너 픽셀, 에지 픽셀 및 일반 픽셀에 대해 각 픽셀의 밝기값을 이용하여 각 픽셀의 특징(또는 국부 형상 정보)을 추출할 수 있다(S230). 예컨대 국부 형상 정보 추출부(220)는 코너 픽셀, 에지 픽셀 및 일반 픽셀 각각에 대해 인접한 주변 픽셀의 밝기값을 이용하여 각 픽셀의 특징을 추출할 수 있다. 이와 같이 각 픽셀에 대해 특징을 추출한다는 점에서, 국부 형상 정보 추출부(220)는 국부적인 형상 정보를 추출한다고 할 수 있다.

구체적인 예를 들어 국부 형상 정보 추출부(220)가 일반 픽셀에 대한 특징을 추출하는 동작을 설명한다.

국부 형상 정보 추출부(220)는, 도 3에 도시된 바와 같이, 정보 추출 대상 픽셀(TP)인 일반 픽셀의 밝기값과, 일반 픽셀과 인접한 주변 픽셀(NP)의 밝기값을 비교하고, 비교 결과 일반 픽셀의 밝기값보다 큰 밝기값의 주변 픽셀의 개수와, 일반 픽셀의 밝기값 보다 작은 밝기값의 주변 픽셀의 개수를 정보 추출 대상 픽셀(TP)의 특징으로 추출할 수 있다.

다음으로 구체적인 예를 들어 국부 형상 정보 추출부(220)가 코너 픽셀에 대한 특징을 추출하는 동작을 설명한다.

국부 형상 정보 추출부(220)는, 코너 픽셀의 밝기값과, 코너 픽셀과 인접한 주변 픽셀의 밝기값을 비교하고, 비교 결과 코너 픽셀의 밝기값보다 큰 밝기값의 주변 픽셀의 개수가 코너 픽셀의 밝기값 보다 작은 밝기값의 주변 픽셀의 개수보다 많은 경우, 해당 코너 픽셀을 Type1 코너로 분류할 수 있다. 이와 반대로, 국부 형상 정보 추출부(220)는, 코너 픽셀의 밝기값보다 큰 밝기값의 주변 픽셀의 개수가 코너 픽셀의 밝기값 보다 작은 밝기값의 주변 픽셀의 개수보다 작은 경우, 해당 코너 픽셀을 Type2 코너로 분류할 수 있다.

다음으로, 구체적인 예를 들어 국부 형상 정보 추출부(220)가 에지 픽셀에 대한 특징을 추출하는 동작을 설명한다.

국부 형상 정보 추출부(220)는, 에지 픽셀에 대해, 에지 픽셀의 밝기값과 인접한 주변 픽셀의 밝기값의 차이(이하 에지의 파워라 함) 및 에지의 방향성을 계산하고, 에지의 파워와 방향을 에지 픽셀의 특징으로 추출한다. 여기서 에지 방향은 밝 기값의 급격한 변화가 일어나는 방향으로서, 도 4에 도시된 바와 같이, 예컨대 8개 방향중 어느 하나일 수 있다. 이러한 경우, 국부 형상 정보 추출부(220)는 에지 방향을 양자화(Quantization)하여 m bits로 저장할 수 있다. 8가지 방향을 모두 다른 방향으로 생각할 경우 m=3 이 되고, 도 4의 (①,⑤) (②,⑥) (④,⑧) (③,⑦) 등 서로 180도 차이 나는 방향을 한 방향으로 생각할 경우 m=2 가 될 수 있다. 에지의 방향성은 기존의 다양한 에지 검출 방법을 사용하여 계산할 수 있다. 또한 국부 형상 정보 추출부(220)는 에지 파워의 값을 n bit로 양자화할 수 있다. 예컨대 n=2 혹은 3일 수 있다.

전역 형상 정보 추출부(240)는 코너 픽셀, 에지 픽셀로부터 영상 전역의 특징(또는 전역 형상 정보)를 추출할 수 있다(S240).

예를 들어 설명하면, 전역 형상 정보 추출부(240)는 코너 픽셀들의 좌표의 공분산 행렬(Covariance Matrix)을 이용해 구한 주축(Principal Axis)의 비율을 구할 수 있다. 국부 형상 정보 추출부(220)에서 검출한 전체 코너 픽셀들, Type1 코너 픽셀들, Type2 코너 픽셀들, 에지 픽셀들의 각각의 영상 내에서의 좌표 값 (x,y)를 이용하여 아래와 같은 공분산 행렬 C를 구하고, C를 이용해 주축(Principal Axis)를 구한 뒤 아래 식과 같이 주축(Principal Axis)의 비율 값을 구한다. 따라서 본 발명의 실시예에 따르면 4개의 주축(Principal Axis)의 비율 값을 구할 수 있다. 에지 픽셀을 제외할 경우에는 3개의 주축(Principal Axis)의 비율을 구할 수 있다. 아래 수식에서 n은 코너 혹은 에지 각각에 따른 픽셀의 개수를 의미한다. E(x), E(y) 각각은, 예컨대 코너 픽셀들 또는 에지 픽셀들의 x 좌표의 평균값, y 좌표의 평균값일 수 있다.

또한 전역 형상 정보 추출부(240)는 공분산으로부터 2개의 eigen vector를 구할 수 있으며 각 벡터가 x축과 이루는 각도 등을 구할 수 있다. 여기서 2개의 eigen vector의 비율은 주축의 비율(PAR)과 같다.

한편, 국부 형상 정보 추출부(220)가 추출한 에지의 방향과, 전역 형상 정보 추출부(240)에서 추출한 주축 간에는 도 5a에 도시된 바와 같이 일정한 관계, 예컨대 이들간의 각도 등이 결정된다. 만약 영상이 회전된다면, 도 5b에 도시된 바와 같이 주축과 에지의 방향들은 모두 동일하게 회전된다. 즉, 영상이 회전되어도, 주축과 에지의 방향성의 관계, 예컨대 이들간의 상대적인 각도는 동일하게 유지된다. 따라서 주축과 에지의 방향성의 관계는, 후술되는 형상 기술자를 구성하는 특징으로 이용될 수 있다. 또한 전술한 주축의 비율도 형상 기술자를 구성하는 특징으로 이용될 수 있다.

또는 전체 코너 픽셀 수 중 Type1 코너 픽셀과 Type2 코너 픽셀 각각의 수의 비율 또한 전역 형상 정보로 이용될 수 있다.

본 발명의 또 다른 실시 예에 따르면, 전역 형상 정보 추출부(240)는 전체 코너 픽셀들, Type1 코너 픽셀, Type2 코너 픽셀 각각의 좌표값들의 무게중심을 구하고 이 세 점이 이루는 삼각형의 길이 비율, 각도 등을 전역 형상 정보로 구할 수 있다. 또는 전역 형상 정보 추출부(240)는 각 죄표들의 무게 중심 점으로부터 반지름 r인 원을 그렸을 때 이 안에 들어오는 코너 픽셀 중 Type1 코너 픽셀, Type2 코너 픽셀의 비율을, 전역 특징으로 추출할 수 있다.

이 외에도 전역 형상 정보 추출부(240)는 코너 픽셀 및 에지 픽셀들을 이용해 PCA(Principal Component Analysis), FLD(Fisher Linear Discriminant) , Circular Variance 등을 구할 수 있다.

다음으로 형상 기술자 구성부(300)는 국부 형상 정보 추출부(220)와 전역 형상 정보 추출부(240)에서 구한 특징들을 이용하여 형상 기술자를 구성한다(S250).

형상 기술자 구성부(300)는, 예컨대 도 6에 도시된 바와 같이, 코너 픽셀 및 일반 픽셀로부터 추출한 특징을 이용하여 k비트 (4≤k≤11)의 비트스트림의 형상 기술자를 구성할 수 있다. 본 발명의 한 실시예에 따라 k=5인 경우를 서술하면, 5 비트의 비트스트림 중 상위 2 bits는 Type1 코너 픽셀, Type2 코너 픽셀, 또는 일반 픽셀을 의미하는 픽셀 인덱스(예컨대 11, 10, 00)를 나타낸다. 뒤의 3bits는 국부 형상 정보 추출부(220)가 추출한 특징으로서, 정보 추출 대상 픽셀의 밝기값과 주변 픽셀의 밝기값을 비교한 결과를 나타낼 수 있다. 예컨대 정보 추출 대상 픽셀의 밝기값보다 큰 밝기 값을 갖는 픽셀의 개수를 표현할 수 있다. 또는 도 5와 다른 형태로, 8비트의 비트스트림으로 형상 기술자를 구성하는 경우, 정보 추출 대상 픽셀의 밝기값보다 작은 밝기 값을 갖는 픽셀의 개수를 나타내는 3bits를 도 5에 도시된 비트스트림에 더 붙여서 표현할 수 있다.

또는 형상 기술자 구성부(300)는, 예컨대 도 6에 도시된 바와 같이, 에지 픽셀로부터 추출한 특징을 이용하여 5비트의 비트스트림의 형상 기술자를 구성할 수 있다. 5 비트의 비트스트림 중 상위 2 bits는 해당 pixel이 에지 픽셀인지 나타내고, 뒤의 2bits는 에지의 방향성, 뒤의 1bits는 에지 파워를 나타낼 수 있다. 단 이때 에지의 방향성은, 앞서 도 5a 및 도 5b를 참조하여 설명하였듯이, 주축에 대한 상대적인 방향성일 수 있다. 이와 같이 각 픽셀 마다 k bit씩 할당한 형상 지도(shape map)을 구성한다.

도 6 및 도 7에 도시된 형상 기술자는 예시적인 것이고, 전술한 바와 같이 국부 형상 정보 추출부(220) 및 전역 형상 정보 추출부(240)가 추출한 특징을 나타내도록 형상 기술자를 구성할 수 있다. 예컨대, 형상 기술자 구성부(300)는 형상지도를 이용하여 히스토그램(Histogram)을 구성하고, 전역 형상 정보 추출부(240)에서 구한 특징을 이용해 형상 기술자로 구성할 수 있다.

다음으로 영상 정합부(400)에서는 질의 영상에서 추출한 형상 기술자와 DB에 미리 추출되어 있는 형상 기술자를 비교하여 영상 정합을 수행한다(S260). 영상 정합에는 SAD(Sum of Difference), SSD(Sum of Squared Distortion) 등을 이용하여, 질의 영상으로부터 생성된 형상 기술자와 DB에 저장된 영상의 특징 간의 차이를 계산하여 영상을 정합할 수 있다. 질의 영상과 DB에 저장된 영상의 정합을 수행하여 유사도 순으로 영상을 정렬시킨다.

마지막으로 검색 결과 출력부(500)에서는 영상 정합부(400)에서 계산된 유사도 순으로 정렬한 영상을 검색 결과창에 출력시킨다(S270).

이러한 본 발명의 실시예에 따른 방법을 실행하는 프로그램은 컴퓨터로 판독가능한 기록매체에 저장될 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

도 1은 본 발명의 실시예에 따른 내용기반 영상검색 장치를 설명하기 위한 블록도이다.

도 2는 본 발명의 실시예에 따른 내용기반 영상검색 방법을 설명하기 위한 순서도이다.

도 3 및 도 4는 도 1의 국부 형상 정보 추출부를 설명하기 위한 개념도이다.

도 5a 및 도 5b는 전역 형성 정보 추출부를 설명하기 위한 개념도이다.

도 6 및 도 7은 도 1의 형상 기술자 구성부를 설명하기 위한 개념도이다.

Claims

입력되는 질의 영상을 흑백 영상으로 변환하고, 상기 질의 영상의 사이즈를 정규화하는 질의 영상 변환부;

상기 정규화된 흑백 질의 영상의 모든 픽셀에서, 코너 픽셀, 에지 픽셀 및 일반 픽셀을 검출하고, 상기 코너 픽셀, 에지 픽셀 및 일반 픽셀에 대해 밝기값을 이용하여 특징을 추출하는 국부 형상 정보 추출부;

상기 검출된 코너 픽셀과 에지 픽셀로부터 상기 질의 영상 전역의 특징을 추출하는 전역 형상 정보 추출부; 및

상기 특징을 이용하여 상기 각 픽셀에 대한 형상 기술자를 구성하는 형상 기술자 구성부

를 포함하되,

상기 코너 픽셀은 해당 픽셀의 밝기보다 큰 밝기를 가지는 주변 픽셀의 수가 상대적으로 작은 밝기를 가지는 상기 주변 픽셀의 수보다 큰 경우인 type1 코너 픽셀 및 해당 픽셀의 밝기보다 상대적으로 큰 밝기를 가지는 주변 픽셀의 수가 상대적으로 작은 밝기를 가지는 상기 주변 픽셀의 수보다 작은 경우인 type2 코너 픽셀을 포함하고,

상기 전역 형상 정보 추출부는 정규화된 흑백 질의 영상 내에서 상기 type1 코너 픽셀과 상기 type2 코너 픽셀을 포함하는 코너 픽셀 좌표, 상기 type1 코너 픽셀 좌표 및 상기 type2 코너 픽셀 좌표를 이용하여,

상기 코너 픽셀 좌표들의 무게중심, 상기 type1 코너 픽셀 좌표들의 무게중심 및 상기 type2 코너 픽셀 좌표들의 무게중심, 각 좌표들의 무게중심, 상기 무게중심을 중심으로 한 소정 반지름의 원 내부에 상기 각 픽셀이 존재하는 비율, 각 좌표가 이루는 삼각형의 길이 비율 및 삼각형의 내각 중 적어도 하나를 상기 질의 영상 전역의 특징으로 추출하는 것

인 내용기반 영상검색 장치.
삭제
제1항에 있어서, 상기 국부 형상 정보 추출부는

상기 코너 픽셀의 밝기값과 상기 코너 픽셀과 인접한 주변 픽셀의 밝기값을 비교한 결과를 상기 코너 픽셀의 특징으로 추출하는 것

인 내용기반 영상검색 장치.
제1항에 있어서, 상기 국부 형상 정보 추출부는

상기 에지 픽셀의 방향과, 상기 에지 픽셀의 밝기값과 상기 에지 픽셀과 인접한 주변 픽셀의 밝기값이 차이를 상기 에지 픽셀의 특징으로 추출하는 것

인 내용기반 영상검색 장치.
제1항에 있어서, 상기 국부 형상 정보 추출부는

상기 일반 픽셀의 밝기값과 상기 일반 픽셀과 인접한 주변 픽셀의 밝기값을 비교한 결과 상기 일반 픽셀의 특징으로 추출하는 것

인 내용기반 영상검색 장치.
제1항에 있어서, 상기 전역 형상 정보 추출부는

상기 정규화된 흑백 질의 영상 내에서 상기 코너 픽셀 및 에지 픽셀의 좌표를 이용하여 공분산 행렬(Covariance Matrix)을 계산하고, 상기 공분산 행렬을 이용하여 주축(Principal Axis)의 비율을 계산하여, 상기 계산된 주축의 비율을 상기 영상 전역의 특징으로 추출하는 것

인 내용기반 영상검색 장치.
제6항에 있어서,

상기 국부 형상 정보 추출부는 상기 에지 픽셀의 방향을 상기 에지 픽셀의 특징으로 추출하고,

상기 형상 기술자 구성부는 상기 주축에 대한 상기 에지 픽셀의 상대적 방향을 이용하여 상기 에지 픽셀의 형상 기술자를 구성하는 것

인 내용기반 영상검색 장치.
삭제
제1항에 있어서,

상기 형상 기술자와 데이터 베이스에 저장된 영상들과의 유사도를 계산하여 영상을 검색하는 영상 정합부; 및

계산된 유사도에 따라 검색된 영상을 출력하는 검색결과 출력부

를 더 포함하는 것인 내용기반 영상검색 장치.
내용기반 영상검색 장치가 수행하는 내용기반 영상검색 방법에 있어서,

입력되는 질의 영상을 구성하는 픽셀을 코너 픽셀, 일반 픽셀 및 에지 픽셀로 구분하는 단계;

상기 코너 픽셀, 일반 픽셀 및 에지 픽셀의 밝기값을 이용한 특징을 추출하는 단계;

상기 특징을 이용하여 상기 각 픽셀에 대한 형상 기술자를 각각 구성하는 단계; 및

상기 형상 기술자를 이용하여 영상을 검색하는 단계를 포함하되,

상기 구성하는 단계는

상기 코너 픽셀 및 에지 픽셀의 좌표를 이용하여 공분산 행렬(Covariance Matrix)을 계산하는 단계;

상기 공분산 행렬로부터 주축을 계산하는 단계; 및

상기 주축과 상기 에지 픽셀의 방향과의 관계를 이용하여 상기 에지 픽셀의 형상 기술자를 구성하는 단계

를 포함하는 내용기반 영상검색 방법.
제10항에 있어서, 상기 추출하는 단계는

정보 추출 대상 픽셀인 타겟 픽셀의 밝기값과, 상기 타겟 픽셀과 인접한 주변 픽셀의 밝기값을 비교하는 단계; 및

상기 비교결과를 토대로 상기 타겟 픽셀의 특징을 추출하는 단계를 포함하는 것

인 내용기반 영상검색 방법.
제11항에 있어서, 상기 추출하는 단계는

상기 타겟 픽셀의 밝기값보다 상대적으로 더 큰 밝기값의 상기 주변 픽셀의 개수 또는 상기 타겟 픽셀의 밝기값과 같거나 상대적으로 작은 밝기값의 상기 주변 픽셀의 개수를, 상기 타겟 픽셀의 특징으로 추출하는 것

인 내용기반 영상검색 방법.
제10항에 있어서, 상기 추출하는 단계는

상기 질의 영상을 구성하는 픽셀을 코너 픽셀과 에지 픽셀 및 일반 픽셀로 구분하는 단계;

상기 코너 픽셀의 밝기값과 상기 코너 픽셀을 둘러싸는 제1 주변 픽셀의 밝기값을 비교하여 상기 코너 픽셀의 특징을 추출하는 단계;

상기 에지 픽셀의 밝기값과 상기 에지 픽셀을 둘러싸는 제2 주변 픽셀의 밝기값을 비교하여 상기 에지 픽셀의 특징을 추출하는 단계; 및

상기 일반 픽셀의 밝기값과 상기 일반 픽셀을 둘러싸는 제3 주변 픽셀의 밝기값을 비교하여 상기 일반 픽셀의 특징을 추출하는 단계를 포함하는 것

인 내용기반 영상검색 방법.
제10항에 있어서, 상기 구성하는 단계는

상기 코너 픽셀의 특징을 이용하여 코너 픽셀의 형상 기술자를 구성하는 단계;

상기 에지 픽셀의 특징을 이용하여 에지 픽셀의 형상 기술자를 구성하는 단계; 및

상기 일반 픽셀의 특징을 이용하여 일반 픽셀의 형상 기술자를 구성하는 단계를 포함하는 것

인 내용기반 영상검색 방법.
삭제
내용기반 영상검색 장치가 수행하는 내용기반 영상검색 방법에 있어서,

입력되는 질의 영상을 흑백 영상으로 변환하고, 상기 질의 영상의 사이즈를 정규화하는 단계;

상기 정규화된 흑백 질의 영상을 구성하는 모든 픽셀 중 코너 픽셀과, 에지 픽셀과, 일반 픽셀을 검출하는 단계;

상기 코너 픽셀, 에지 픽셀 및 일반 픽셀의 밝기값을 토대로 국부 특징을 추출하는 단계;

상기 코너 픽셀, 에지 픽셀 및 일반 픽셀 중 적어도 하나로부터 상기 질의 영상의 전역 특징을 추출하는 단계; 및

상기 국부 특징 및 전역 특징을 이용하여 형상 기술자를 구성하는 단계; 및

상기 형상 기술자를 이용하여 영상을 검색하는 단계

를 포함하되,

상기 형상 기술자를 구성하는 단계는

상기 정규화된 흑백 질의 영상 내에서 상기 코너 픽셀 및 에지 픽셀의 좌표를 이용하여 공분산 행렬(Covariance Matrix)을 계산하는 단계; 및

상기 공분산 행렬을 이용하여 주축(Principal Axis)을 계산하는 단계;

상기 에지 픽셀에서 추출된 방향성으로부터 상기 주축에 대한 상기 에지 픽셀의 상대적 방향을 계산하고, 상기 상대적 방향성을 이용하여 상기 에지 픽셀의 형상 기술자를 구성하는 단계를 포함하는 것

인 내용기반 영상검색 방법.
제16항에 있어서, 상기 국부 특징을 추출하는 단계는

상기 코너 픽셀을 둘러싸는 주변 픽셀들 중 상기 코너 픽셀의 밝기값보다 상대적으로 큰 밝기값을 갖는 제1주변 픽셀의 개수 또는 상기 코너 픽셀의 밝기값보다 상대적으로 작은 밝기값을 갖는 제2주변 픽셀의 개수를 상기 코너 픽셀의 특징으로 추출하는 단계를 포함하는 것

인 내용기반 영상검색 방법.
제16항에 있어서, 상기 국부 특징을 추출하는 단계는

상기 에지 픽셀의 방향성과, 상기 에지 픽셀의 밝기값과 상기 에지 픽셀의 주변 픽셀들의 밝기값의 차이를 상기 에지 픽셀의 특징으로 추출하는 단계를 더 포함하는 것

인 내용기반 영상검색 방법.
제16항에 있어서, 상기 국부 특징을 추출하는 단계는

상기 일반 픽셀을 둘러싸는 주변 픽셀들 중 상기 일반 픽셀의 밝기값보다 상대적으로 큰 밝기값을 갖는 제1주변 픽셀의 개수 또는 상기 일반 픽셀의 밝기값보다 상대적으로 작은 밝기값을 갖는 제2주변 픽셀의 개수를 상기 일반 픽셀의 특징으로 추출하는 단계를 더 포함하는 것

인 내용기반 영상검색 방법.
삭제