KR100375831B1

KR100375831B1 - 영상의 질감도를 기반으로 한 영상 ｄｂ 브라우징 및 소팅방법

Info

Publication number: KR100375831B1
Application number: KR10-2001-0013209A
Authority: KR
Inventors: 김규헌; 정세윤; 이재연; 배영래; 전병태
Original assignee: 한국전자통신연구원
Priority date: 2001-03-14
Filing date: 2001-03-14
Publication date: 2003-03-15
Also published as: US20070174280A1; US7188099B2; KR20020073052A; US20020133489A1

Abstract

본 발명은 영상의 질감도를 기반으로 한 영상 DB 브라우징 및 소팅 방법에 관한 것이다.

본 발명에서는 정지영상 내 객체(object)의 에지 픽슬 개수를 수치화 한 정지 영상의 질감도를 각각 측정한 후, 측정된 질감도 측정값들을 소팅 명령에 따라 소팅하는 단계와, 기준이 되는 질의(query)영상 내 객체의 에지 픽슬 개수를 수치화 한 질의 영상의 질감도를 측정하는 단계, 측정된 질의 영상의 질감도 측정값과 비슷한 측정값을 소팅된 정지영상들의 질감도 측정값에서 검색하는 단계를 포함하는 것을 특징으로 한다.

이로 인해, 외적인 특성이 아닌 영상의 내용을 기반으로 하여 보다 빠르고 효과적으로 브라우징할 수 있다.

Description

영상의 질감도를 기반으로 한 영상 ＤＢ 브라우징 및 소팅 방법 {Fast texture - based image database Browsing and Sorting Method}

본 발명은 영상의 질감도를 기반으로 한 영상 DB 브라우징 및 소팅 방법에 관한 것으로서, 보다 상세하게 설명하면, 정지영상 내 객체의 에지픽슬 개수를 수치화 한 정지영상의 질감도를 이용함으로써, 대용량의 영상 데이터를 효과적으로 소팅 및 브라우징 할 수 있는 영상의 질감도를 기반으로 한 영상 DB 브라우징 및 소팅 방법에 관한 것이다.

기존의 영상 브라우징(Browsing)기법 혹은 소팅(Sorting) 기법은 해당 영상이 갖고 있는 외양적인 특징(영상 데이터의 크기 또는 생성 시기 등)을 이용하여 브라우징 또는 소팅하였기에, 실질적으로 각 영상이 내포하고 있는 내부 정보(영상의 색감, 질감, 영상 내부의 오브젝트)에 기반한 의미 있는 정보를 이용한 지능적인 영상 검색 및 소팅이 불가능하였다.

상기한 종래 기술의 문제점을 해결하기 위한 본 발명의 목적은 고주파 필터를 이용한 n-차원의 웨이브렛 변환과 소벨 연산기(Sobel Operator)를 이용하여 해당 정지영상의 내 객체의 에지픽슬 개수를 수치화 한 질감도를 측정함으로써, 개개의 영상 데이터를 보지 않은 상태에서 영상의 내용을 기반으로 한 효과적인 브라우징 또는 소팅을 제공하는 영상의 질감도를 기반으로 한 영상 DB 브라우징 및 소팅 방법을 제공하기 위한 것이다.

도 1은 본 발명에 따른 영상 DB의 소팅 방법을 설명하기 위한 도면,

도 2는 본 발명에 따른 영상 DB의 브라우징 방법을 설명하기 위한 도면,

도 3은 본 발명에 따른 영상 DB의 소팅 방법을 순차적으로 도시한 흐름도,

도 4는 도 3에 도시된 웨이브렛 변환(Wavelet Transform)과정을 설명하기 위한 도면이다.

※ 도면의 주요 부분에 대한 부호의 설명 ※

210 : 데이터 영상 DB 220 : 데이터 영상 질감도 측정부

230 : 데이터 영상 질감도 DB

240 : 질의 영상 250 : 질의 영상 질감도 측정부

260 : 질의 영상 질감도 DB 270 : 질감도 비교부

상기한 목적을 달성하기 위한 본 발명은 정지영상들을 소팅(sorting)하는 방법에 있어서, 상기 정지영상 내 객체(object)의 에지 픽슬(edge fixel) 개수를 측정한 후, 측정한 상기 에지 픽슬 개수를 수치화 한 상기 정지영상의 질감도를 측정하는 단계와 ; 측정된 상기 질감도 측정값들을 소팅 명령(sorting order)을 따라 소팅하는 단계를 포함한다.

양호하게는, 입력되는 질의(정지) 영상을 기준으로 하여 브라우징(browsing)하는 방법에 있어서, 정지영상 내 객체(object)의 에지 픽슬 개수를 수치화 한, 상기 정지영상의 질감도를 측정한 후, 소팅 명령에 따라 상기 질의 영상들을 소팅하는 단계와 ; 상기 질의(query)영상 내 객체의 에지 픽슬 개수를 수치화 한, 상기 질의 영상의 질감도를 측정하는 단계 ; 상기 질의 영상의 질감도 측정값과 비슷한 측정값을 상기 소팅된 정지영상들의 질감도 측정값에서 검색하는 단계를 포함한다.

본 발명에 따른 영상 DB 브라우징 방법 및 소팅 방법을 언급하기에 앞서, 본 발명을 통해 해당 정지영상에서 추출하는 질감도에 대해 알아보면 다음과 같다.

질감도란, 말 그대로 질감의 정도 즉, 영상 내부의 오브젝트(object)에 대한 거침 정도를 나타낸다는 뜻으로서, 일상적으로 사용되는 말을 빌리면 '부드러운 영상' 혹은 '거친 영상'으로 표현될 수 있다. 그러나, 이와 같이 표현된 질감의 의미는 애매 모호하여 두 개의 다른 오브젝트에 대해 상대적인 질감- 즉, 상대적 거침 혹은 상대적 부드러움 정도- 만으로 표현될 수 있다. 일례로서, "A 라는 오브젝트는 B 라는 오브젝트에 비해 거칠다" 와 같이 표현될 수 있습니다. 하지만 이러한 상대적 개념은 상대적인 비교는 가능하나, 한 가지의 오브젝트에 대한 성질 내지 절대성을 나타내지는 못한다는 문제점을 가지고 있다.

그러나, 본 발명에서는 이러한 상대적 개념의 질감도를 키를 재는 단위인 cm처럼 절대적인 기준을 부여하여 한 개 오브젝트의 질감도를 측정할 수 있도록 한다. 이로 인해, 본 발명에서 제안된 질감도는 비교 대상인 영상 내부의 상대적 오브젝트 없이 절대적으로-거침 내지는 부드러운 정도를 나타낸다.

이러한 특징을 포함하는 질감도에 대한 표현을 본 발명에서는, 하나의 숫자(digit number)로 표시한다. 즉, 사람의 키가 178cm 로 표현되는 것처럼, 질감도 또한 2.78 과 같은 숫자로 표현된다.

이하 첨부된 도면을 참조하면서 본 발명의 일 실시예에 따른 영상의 질감도를 기반으로 한 영상 DB 브라우징 및 소팅 방법에 대해 자세히 알아보기로 한다.

도 1은 본 발명에 따른 영상 DB의 소팅 방법을 설명하기 위한 개략도로서, 도시된 바와 같이, 데이터 영상 DB(110)와 데이터 영상 질감도 측정부(120), 데이터 영상 질감도 DB(130)로 구성되는데, 이를 이용한 영상 DB의 소팅(Sorting) 방법은 다음과 같다. 데이터 영상 질감도 측정부(120)는 데이터 영상이 저장되어 있는 데이터 영상 DB(110)의 각 영상의 질감도를 측정하는데, 이 때, 측정되는 각 영상(정지영상, 이하 데이터 영상 혹은 영상 이라 함)의 질감도는 각 정지영상 내 객체의 에지픽슬 개수를 수치화 한, 하나의 숫자(Digital number)로 표현된다. 측정된각 영상의 질감도는 데이터 영상 질감도 DB(130) 내에 각각의 원영상(정지영상)과 함께 저장된다. 이후, 소팅 명령에 따라 각각 저장된 질감도 측정값들이 소팅되는데, 다음 차례에 입력되는 정지영상 내 객체의 에지픽슬 개수인 질감도에 가까운 순으로 계속 소팅을 한다. 예를 들어, 데이터 영상 DB(110) 내 입력되는 질감도 측정값이 10 이고 데이터 영상 DB(110)내에 저장되어 있는 질감도 측정값이 15, 9, 7, 20 이라면, 소팅 결과는 9, 7, 15, 20 의 순으로 정렬된다.

도 2는 본 발명에 따른 영상 DB의 브라우징 방법을 설명하기 위한 개략도이다. 도시된 바와 같이, 영상 DB의 브라우징 방법에서는 소팅 방법에 비해, 기준이 되는 질의 영상과 데이터 영상을 비교하여 검색하는 단계가 더 포함된다.

우선, 도 1과 같은 소팅 방법에 따라, 측정된 각 데이터 영상(정지영상)의 질감도 측정값은 소팅 명령에 따라 소팅되어 데이터 영상 질감도 DB(230)에 저장된다. 이와 같은 방법을 통해 저장된 질감도 측정값에 따라, 데이터 영상 질감도 DB 내에 들어 있는 해당 영상의 브라우징이 가능해진다. 이로 인해, 개개의 영상 데이터를 직접 살펴보지 않은 상태에서도 외적인 특성이 아닌, 영상의 내적인 특성을 보다 빠르게 브라우징 할 수 있다.

이후, 브라우징 시, 기준이 되는 질의 영상(240, 정지영상)의 질감도를 위의 데이터 영상의 질감도 측정 방법과 동일한, 해당 질의 영상(240)내 객체의 에지 픽슬 개수를 수치화 한 질감도를 측정한 후, 해당 질감도 측정값을 질의 영상 질감도 DB(260)에 저장한다.

이후, 질감도 비교부(270)는 질의 영상의 질감도 측정값을 기준으로 하여, 가까운 데이터 영상 질감도 측정값들을 비교함으로써, 브라우징을 하거나 소팅을 하게 된다. 이로 인해, 개개의 영상 데이터를 직접 살펴보지 않은 상태에서도 외적인 특성이 아닌, 영상의 내적인 특성(영상의 색감, 질감, 영상 내부의 오브젝트)을 보다 빠르게 브라우징할 수 있다.

도 3은 본 발명에 이용되는 데이터 영상 질감도 측정부(도 2의 220)의 동작 과정을 순차적으로 도시한 흐름도로서, 이와 같은 과정을 통해, 데이터 영상의 질감도 측정값이 측정된다. 먼저, 데이터 영상 DB 내 원 영상(정지영상)을 웨이브렛 변환(Wavelet Transform) 과정을 통해, 원 영상이 갖고 있는 특정한 특징점을 강조한 최고주파 영역의 영상을 추출한다(S310).

이 때, 웨이브렛 변환 과정을 통해 최고주파 영역의 영상을 추출하는 이유는 고주파 부분은 원 영상이 갖고 있는 객체(object)들의 에지 정보를 나타내며, 저주파 부분은 객체의 내부 영역에 대한 정보를 나타내기 때문이다. 이로 인해, 저주파부분은 영상의 압축에 사용되기도 한다.

이후, 추출된 최고주파 영역의 영상은 원 영상의 에지(Edge) 정보만을 포함하는 것이 아니라, 잡음(noise)이 많이 포함되어 있기 때문에, 이를 소벨 연산기(Sobel Operator)를 이용(S320)함으로서, 잡음을 제거한 순수 에지 정보만이 포함된 영상을 얻게 된다. 이후, 추출된 영상에서 에지 픽슬(Edge Pixel)의 개수를 측정(S330)하는데, 이 때, 소벨 연산기를 통해 측정되는 에지 픽슬의 개수를 수치화 한, 값이 원 영상의 질감도 측정값이 된다.

즉, A 라는 영상이 변환을 통해 측정된 에지 픽슬이 10 이고, B 라는 영상이 변환을 통해 측정된 에지 픽슬이 20 이라면, B 영상은 A 영상에 비해 두 배의 거침 정도를 갖고 있다는 의미이다.

이 때, 본 발명에서 사용하는 웨이브렛 변환(Wavelet Transform) 기법은 원 영상 내의 데이터 및 기능들을 서로 다른 주파수 성분들로 분해하고, 각 주파수에 해당하는 결과나 연관된 각각의 성분들을 조사할 수 있게 해주는 일종의 도구라 할 수 있다. 또한, 이러한 웨이브렛 변환 기능은 영상 압축에 필요한 여러 가지 유리한 특성을 가지고 있어, MPEC-4 의 표준압축 부호화 기법으로도 많이 사용된다.

또한, 본 발명에서 사용하는 소벨 연산기(Sobel Operator)는 말 그대로 연산자의 일종으로서, 일반적으로 기울기 연산자(gradient operators)로 불리우며, 마스크 오퍼레이션을 통해, 오브젝트의 수직 수평의 에지를 찾아낼 뿐만 아니라, 영상 내의 잡음에 해당하는 부분을 없앤다. 그 정의는 아래와 같이,

수직용 : [-1,0,1 : -2,0,2 : -1,0,1]

수평용 : [-1,-2,-1 : 0,0,0 : 1,2,1] 으로 구성된 매트릭스(Matrix)인데, 이 메트릭스를 통해 3×3 마스크로 원 영상에 결과 연산(product operation)을 수행함으로써, 해당 결과인 수직 수평의 에지 정보를 얻게 된다.

위와 같은 특징을 포함하는 웨이브렛 변환 기법에 도면을 통해 알아보면 다음과 같다. 도 4는 본 발명에 이용되는 웨이브렛 변환 기법을 설명하기 위한 도면으로서, 도시된 바와 같이, 정지영상 내 객체들의 에지 정보를 얻기 위하여 고주파 필터(High Pass Filter)를 사용한 n 차원의 웨이브렛 변환을 수행한다.

우선, 본 발명에서 사용하는 웨이브렛 변환 과정은 4개의 주파수영역(411, 412, 413, 414) 으로 나누어서 변환을 하게 되는데, 이 때, 고주파-저주파 필터 영역(413)은 고주파 영역 내지 저주파 영역의 의미한다.

앞서 설명한 바와 같이, 고주파 영역은 정지영상 내 객체(object)들의 에지 정보를 나타내기 때문에, 개발자가 원하는 영상의 상태 혹은 에지 정보를 얻을 때까지 고주파 필터를 이용한 n 차원의 웨이브렛 변환 과정를 수행할 수 있다.

위에서 양호한 실시예에 근거하여 이 발명을 설명하였지만, 이러한 실시예는 이 발명을 제한하려는 것이 아니라 예시하려는 것이다. 이 발명이 속하는 분야의 숙련자에게는 이 발명의 기술사상을 벗어남이 없이 위 실시예에 대한 다양한 변화나 변경 또는 조절이 가능함이 자명할 것이다. 그러므로, 이 발명의 보호범위는 첨부된 청구범위에 의해서만 한정될 것이 아니며, 위와 같은 변화예나 변경예 또는 조절예를 모두 포함하는 것으로 해석되어야 할 것이다.

이상과 같이 본 발명에 의하면, 웨이브렛 변환과 소벨 연산기를 통해 측정한 정지영상 내 객체의 에지 픽슬 개수를 수치화 한, 정지 영상의 질감도(내부 정보)를 측정한 후, 소팅 명령에 따라 해당 영상 DB 내에 소팅함으로써, 외적인 특성이아닌 영상의 내용을 기반으로 하여 보다 빠르고 효과적으로 브라우징할 수 있을 뿐만 아니라, 영상 데이터를 많이 사용하고 있는 방송 데이터의 검색 및 필터링에도 사용할 수 있는 효과가 있다.

Claims

정지영상들을 소팅(sorting)하는 방법에 있어서,

상기 정지영상 내 객체(object)의 에지 픽슬(edge fixel) 개수를 측정한 후, 측정한 상기 에지 픽슬 개수를 수치화 한 상기 정지영상의 질감도를 측정하는 단계와 ;

측정된 상기 질감도 측정값들을 소팅 명령(sorting order)을 따라 소팅하는 단계를 포함하는 것을 특징으로 하는 정지영상들의 소팅 방법.
청구항 1에 있어서,

상기 질감도 측정 단계는,

상기 정지영상 내 객체에 관한 에지 정보를 얻기 위해, 고역 필터(High Pass Filter)를 통한 n 차원의 웨이브렛 변환(Wavelet Transform)을 하는 제 1 서브 단계와 ;

상기 n 차원의 웨이브렛 변환이 이루어진 상기 정지 영상을 소벨 연산기(Sobel Operator)를 통해 잡음을 제거한 후, 상기 정지 영상 내 객체의 에지 픽슬 개수를 측정하는 제 2 서브 단계를 포함하는 것을 특징으로 하는 정지영상들의 소팅 방법.
청구항 1에 있어서,

상기 소팅 단계는 다음 차례에 입력되는 상기 정지영상 내 객체의 에지 픽슬 개수인 질감도 측정값에 가까운 순으로 소팅하는 것을 특징으로 하는 정지영상들의 소팅 방법.
입력되는 질의(정지) 영상을 기준으로 하여 데이터 영상 질감도 DB 내의 정지 영상들을 브라우징(browsing)하는 방법에 있어서,

상기 질의(query)영상 내 객체의 에지 픽슬 개수를 수치화 한, 상기 질의 영상의 질감도를 측정하는 단계와 ;

상기 질의 영상의 질감도 측정값과 비슷한 측정값을 상기 데이터 영상 질감도 DB 내에 소팅되어 있는 정지영상들의 질감도 측정값에서 검색하는 단계를 포함하는 것을 특징으로 하는 브라우징 방법.
제 4 항에 있어서,

상기 검색 단계는 입력된 상기 질의영상의 질감도에 가까운 순서로 상기 정지영상의 질감도 측정값들을 소팅하는 단계를 부가적으로 포함하는 것을 특징으로 하는 브라우징 방법.