KR100968858B1 - 사용자 검색 선호도 정보를 이용한 멀티미디어 컨텐츠의 내용 기반 검색 방법 및 장치 - Google Patents
사용자 검색 선호도 정보를 이용한 멀티미디어 컨텐츠의 내용 기반 검색 방법 및 장치 Download PDFInfo
- Publication number
- KR100968858B1 KR100968858B1 KR1020020023129A KR20020023129A KR100968858B1 KR 100968858 B1 KR100968858 B1 KR 100968858B1 KR 1020020023129 A KR1020020023129 A KR 1020020023129A KR 20020023129 A KR20020023129 A KR 20020023129A KR 100968858 B1 KR100968858 B1 KR 100968858B1
- Authority
- KR
- South Korea
- Prior art keywords
- search
- content
- user
- feature value
- preference information
- Prior art date
Links
Images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
Abstract
본 발명은 사용자 선호도 정보를 이용하여 멀티미디어 컨텐츠의 내용 기반 검색을 수행하는 방법 및 장치에 관한 것이다. 본 발명은 내용 기반으로 멀티미디어 컨텐츠를 검색하는 방법에 있어서, 질의 컨텐츠와 특징값 추출 관련 선호도 정보를 입력받는 단계와, 상기 특징값 추출 관련 선호도 정보에 따라 상기 질의 콘텐츠로부터 특징값을 추출하는 단계와, 상기 추출된 특징값과의 유사도를 이용하여 상기 질의 콘텐츠와 유사한 컨텐츠를 검색하는 단계와, 상기 검색된 컨텐츠를 출력하는 단계를 포함한다. 본 발명은 사용자에게는 고급 내용 기반 검색 기능을 제공하고, 검색 엔진에게는 보다 정확한 검색 결과를 제공할 수 있도록 한다. 또한 본 발명은 사용자와 검색 엔진간의 효율적인 의사 소통 수단을 제공한다.
삭제
Description
도 1은 본 발명에 따른 사용자 검색 선호도에 따른 내용 기반 검색을 수행하기 위한 시스템 구성을 도시한 블록도.
도 2는 본 발명에 따른 사용자 검색 선호도 항목의 구조도.
도 3은 본 발명에 따른 질의 컨텐츠의 특징 적응의 구조도.
도 4는 본 발명에 따른 사용자 선호 항목에 따른 검색 수행의 구조도.
도 5는 본 발명에 따른 검색 결과의 사용자 선호 항목에 대한 적응 구조도.
본 발명은 멀티미디어 컨텐츠의 내용 기반 검색을 수행하는데 있어서 사용자의 검색 선호도 조건을 정의하고, 이를 내용 기반 검색에 이용하는 방법에 관한 것으로서, 사용자에게는 고급 내용 기반 검색 기능을 제공하고, 검색 엔진에게는 보다 정확한 결과를 제공하도록 하기 위한 방법에 관한 것이다. 이러한 정보는 사용자의 질의 컨텐츠를 사용자의 질의 목적에 보다 부합하도록 적응시키기 위한 구조 이며, MPEG-21의 디지털 아이템 적응을 위한 기술 정보로서의 의미를 가진다.
일반적으로 내용 기반 검색은 기존의 텍스트에 기반한 검색 방법이 멀티미디어 컨텐츠를 검색하는데 수많은 컨텐츠에 일일이 텍스트 정보를 기술해야하는 시간적, 비용적 측면뿐만 아니라, 검색 결과의 정확도 측면에서 가지고 있는 한계점을 극복하기 위한 방안으로써 컨텐츠가 가지는 자체적인 특성에 기반하여 검색을 수행한다. 내용 기반 검색은 컨텐츠의 색, 질감, 모양, 움직임과 같은 컨텐츠 고유 특성에 기반하기 때문에 검색 과정에서 전문성이 필요한 다양한 매개 변수들을 고려해야 한다. 정확도 높은 검색 결과를 얻기 위해서는 이러한 매개 변수의 고려는 필수적이다. 그러나, 대부분의 사용자들은 이러한 매개 변수들에 익숙하지 않다. 그러므로, 사용자들이 매개 변수에 거부감을 느끼지 않으면서도 보다 정확도 높은 검색을 수행하기 위해, 사용자로부터 얻을 수 있는 인간의 시각적 인지 특성 정보를 기술할 수 있는 구조가 필요하다.
예를 들어, 사용자가 어떤 꽃 이미지를 질의 컨텐츠로 가지고 있고, 인터넷상에서 내용 기반 컨텐츠 검색을 제공하는 사이트에 접속하여 검색을 수행하여, 꽃에 대한 다양한 정보를 얻고자 한다고 가정하자. 사용자는 인간만이 가지는 시각적 인지 특성에 의해 해당 질의 컨텐츠가 꽃이라는 사실 외에는 꽃에 대한 어떠한 사전 정보도 가지고 있지 않다. 만일 사용자가 꽃 컨텐츠만 질의로 이용한다면, 검색 엔진은 질의 컨텐츠에 대한 어떠한 정보도 얻을 수 없기 때문에, 사용자에게 검색 결과를 보여주기 위해 데이터베이스 내의 모든 특징값과의 유사도를 측정하여야 한다. 그러므로 유사도 측정에 걸리는 시간이 많이 소요되고, 검색 결과의 정확도에 도 부정적 영향을 줄 수 있기 때문에, 이러한 사실은 검색 엔진에게 상당한 부담감으로 존재하게 된다.
현재 컨텐츠의 내용 기반 기술 및 검색에 관한 표준인 MPEG-7 내에 사용자 선호도를 기술하는 구조로서 UserPreferences 기술 구조(Description Scheme)가 채택되어 있는 상태이다. MPEG-7 사용자 선호도 기술 구조에는 사용자의 검색 및 필터링 선호도를 기술하는 기술 구조가 존재하지만, 컨텐츠의 주제나 장르, 언어, 지역, 컨텐츠의 생성 정보 등의 텍스트 기반 검색 및 필터링을 위한 정보들로만 구성이 되었고 내용 기반 컨텐츠 검색을 위한 사용자 선호도 조건을 기술하는 항목이 존재하지 않는다. 뿐만 아니라, 멀티미디어 통합 체계에 관한 표준인 MPEG-21에서의 디지털 아이템 적응(Digital Item Adaptation) 과정에서 사용자 환경과 특성을 고려한 단말 적응(Terminal Adaptation) 과정에도 적용될 수 있다. 예를 들어, 검색 엔진과 사용자간의 단말 적응 과정에서 사용자로부터 얻어진 사용자 검색 선호 정보와 검색 엔진의 검색 요구 조건을 절충할 필요가 있다. 이러한 과정을 수행하기 위해서는 사용자와 검색 엔진간의 서로 다른 요구 사항을 절충해주는 역할을 수행하는 필요한 정보의 기술 구조로서의 의미를 가진다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 사용자가 내용 기반 검색을 수행하는 과정에 있어서, 단순히 컨텐츠만을 질의로 사용하는 것이 아니라 사용자가 선호하는 개인적인 특성을 검색에 고려하도록 하기 위한 사용자 검색 선호도 항목의 정의와 그 사용 방법을 제공함으로서, 사용자 요구에 보다 부합하는 검색 결과를 얻도록 하는데 그 목적이 있다.
전술한 바와 같은 목적을 달성하기 위하여 본 발명은 내용 기반으로 멀티미디어 컨텐츠를 검색하는 방법에 있어서, 질의 컨텐츠와 특징값 추출 관련 선호도 정보를 입력받는 단계와, 상기 특징값 추출 관련 선호도 정보에 따라 상기 질의 콘텐츠로부터 특징값을 추출하는 단계와, 상기 추출된 특징값과의 유사도를 이용하여 상기 질의 콘텐츠와 유사한 컨텐츠를 검색하는 단계와, 상기 검색된 컨텐츠를 출력하는 단계를 포함하는 것을 일 특징으로 한다.
특징값 추출 관련 선호도 정보(또는 "내용 기반 특징 추출 관련 선호도 정보"라고 함)는 사용자가 선호하는 특징값의 종류를 선택하는 항목, 특징값 사이의 우선 순위를 기술하는 항목, 특징값의 사용범위를 기술하는 항목, 사용자 선호 객체의 상기 질의 컨텐츠에서의 위치 정보 중 적어도 하나를 포함한다. 특징값은 색, 질감, 모양, 움직임, 영역, 얼굴 인식 중 적어도 하나이다.
바람직하게는, 검색 수행 관련 선호도 정보를 입력받는 단계를 더 구비하고, 상기 검색 단계는 상기 검색 수행 관련 선호도 정보에 따라 수행된다. 검색 수행 관련 선호도 정보는 유사도 한계값을 기술하는 항목, 사용자 우선 순위를 기술하는 항목 중 적어도 하나를 포함한다.
또한 바람직하게는, 검색 결과 관련 선호도 정보를 입력받는 단계를 더 구비하고, 상기 출력 단계는 상기 검색 결과 관련 선호도 정보에 따라 수행된다. 검색 결과 관련 선호도 정보는 검색 결과의 저장 여부를 기술하는 항목, 저장 위치를 기술하는 항목, 검색 결과의 개수를 기술하는 항목, 검색 결과의 형식을 기술하는 항목, 검색 결과의 정렬 기준을 기술하는 항목 중 적어도 하나를 포함한다.
또한, 본 발명은 내용 기반으로 멀티미디어 컨텐츠를 검색하는 장치에 있어서, 질의 컨텐츠를 입력받는 검색 질의 입력부와, 특징값 추출 관련 선호도 정보를 입력받는 사용자 검색 선호도 기술부와, 상기 특징값 추출 관련 선호도 정보에 따라 상기 질의 콘텐츠로부터 특징값을 추출하는 질의 컨텐츠 적응부와, 상기 추출된 특징값과의 유사도를 이용하여 상기 질의 콘텐츠와 유사한 컨텐츠를 검색하는 검색 수행부와, 상기 검색된 컨텐츠를 출력하는 검색 결과 출력부를 포함하는 것을 다른 특징으로 한다.
특징값 추출 관련 선호도 정보(또는 "내용 기반 특징 추출 관련 선호도 정보"라고 함)는 사용자가 선호하는 특징값의 종류를 선택하는 항목, 특징값 사이의 우선 순위를 기술하는 항목, 특징값의 사용범위를 기술하는 항목, 사용자 선호 객체의 상기 질의 컨텐츠에서의 위치 정보 중 적어도 하나를 포함한다. 특징값은 색, 질감, 모양, 움직임, 영역, 얼굴 인식 중 적어도 하나이다.
바람직하게는, 검색 수행 관련 선호도 정보를 입력받는 단계를 더 구비하고, 상기 검색 단계는 상기 검색 수행 관련 선호도 정보에 따라 수행된다. 검색 수행 관련 선호도 정보는 유사도 한계값을 기술하는 항목, 사용자 우선 순위를 기술하는 항목 중 적어도 하나를 포함한다.
또한 바람직하게는, 검색 결과 관련 선호도 정보를 입력받는 단계를 더 구비하고, 상기 출력 단계는 상기 검색 결과 관련 선호도 정보에 따라 수행된다. 검색 결과 관련 선호도 정보는 검색 결과의 저장 여부를 기술하는 항목, 저장 위치를 기술하는 항목, 검색 결과의 개수를 기술하는 항목, 검색 결과의 형식을 기술하는 항목, 검색 결과의 정렬 기준을 기술하는 항목 중 적어도 하나를 포함한다.
또한, 본 발명은 내용 기반으로 멀티미디어 컨텐츠를 검색하는 장치에 있어서, 질의 컨텐츠를 입력받는 검색 질의 입력부와, 특징값 추출 관련 선호도 정보를 입력받는 사용자 검색 선호도 기술부와, 상기 특징값 추출 관련 선호도 정보에 따라 상기 질의 콘텐츠로부터 특징값을 추출하는 질의 컨텐츠 적응부와, 상기 추출된 특징값과의 유사도를 이용하여 상기 질의 콘텐츠와 유사한 컨텐츠를 검색하는 검색 수행부와, 상기 검색된 컨텐츠를 출력하는 검색 결과 출력부를 포함하는 것을 다른 특징으로 한다.
삭제
이러한 본 발명에 따라 질의 컨텐츠를 가지고 있는 사용자는 해당 질의 컨텐츠뿐만 아니라 사용자 검색 선호 항목을 부가적으로 기술하여 질의한다. 질의 컨텐츠는 검색 엔진에 전달되기 전에, 사용자의 특징값 관련 선호 정보와 검색 엔진이 요구하는 특징값 요구 사항간의 절충을 통해 특징값을 추출하는 질의 컨텐츠 적응 과정을 거쳐 적응된(Adapted) 특징값이 검색 엔진에 전달된다. 검색 엔진은 사용자 유사도 한계값 정보를 고려하여 검색 결과를 추출해낸다. 사용자 유사도 선호 정보에 의해 필터링된 검색 결과 컨텐츠는 사용자에게 전달하기 전에 사용자 결과 선호 정보를 고려하는 결과 컨텐츠 적응 과정을 거쳐 최종적으로 사용자에게 전달된다.
예를 들어, 사용자가 어떤 꽃 이미지를 질의 컨텐츠로 가지고 있고, 인터넷상에서 내용 기반 컨텐츠 검색을 제공하는 사이트에 접속하여 검색을 수행하여, 꽃에 대한 다양한 정보를 얻고자 한다고 가정하자. 사용자는 인간만이 가지는 시각적 인지 특성에 의해 해당 질의 컨텐츠가 꽃이라는 사실 외에는 꽃에 대한 어떠한 사전 정보도 가지고 있지 않다. 그러므로, 사용자는 다음과 같은 검색 선호도 정보를 질의 컨텐츠와 함께 전송한다.
(1) 내용 기반 특징값 관련 선호도 정보
- 사용자가 질의 컨텐츠인 꽃이 가지는 색 정보와 질감 정보를 이용할 수 있 는 특징값의 종류를 지정한다.
- 사용자는 질감 정보보다는 색 정보에 우선하여 검색이 수행되기를 원한다.
- 사용자는 질의 컨텐츠 가운데 꽃에 해당하는 부분만을 사각형 객체 추출 도구를 이용하여 추출하고, 추출된 4개의 점을 해당 위치 정보를 검색 선호도 정보에 추가한다.
(2) 검색 수행 관련 선호도 정보
- 사용자는 유사도값이 상위 10% 이내에 드는 결과만을 요구한다.
- 사용자는 검색이 매우 신속하게 이루어질 뿐만 아니라, 특징값 사용 비율을 100%로 하여 정확한 검색이 수행되었으면 하기 때문에, 자신의 사용자 우선 순위를 높게 선정한다. 대신에 사용자는 검색이 이루어지는 동안에 일정 시간 동안 광고를 시청하는 등의 기회 비용을 지불할 수 있다.
(3) 검색 결과 관련 선호도 정보
- 사용자는 유사도가 가장 높은 30개의 결과만을 보기를 원한다.
- 사용자는 검색 결과가 유사도 순서에 의해 정렬되었으면 한다.
- 사용자는 검색 결과 컨텐츠 이미지가 모두 JPG 형식을 가졌으면 하고, 30개의 검색 결과를 모두 자신의 저장 장치, 예를 들어, 'C:/image/'에 저장하고 싶다.
위의 예에서 사용자는 사용자 검색 선호 항목을 이용하여 사용자가 원하는 결과에 보다 부합한 결과를 보다 신속하게 얻을 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하면 다음과 같다.
도 1은 본 발명의 실시예에 따른 사용자 검색 선호도 정보에 기반한 내용 기반 검색 시스템 구성의 블록도이다.
도 1을 참조하면, 사용자의 질의 컨텐츠가 존재하고(100), 기술된 사용자 검색 선호도는 컨텐츠 적응부에 전달된다(200). 사용자 검색 선호도가 부가 기술된 질의 컨텐츠는 질의 컨텐츠 적응부로 입력되며(300), 질의 컨텐츠의 적응된 특징값은 검색 수행부로 전달되어 검색 엔진 서버에 존재하는 데이터베이스 내에 특징값(500)과의 유사도를 측정한다(400). 이때 검색 수행 관련 사용자 선호 정보를 이용한다. 결과로 나온 컨텐츠는 검색 결과 컨텐츠 적응부로 전달되어 검색 결과 관련 사용자 선호 조건에 맞게 적응되며(600), 최종적으로 사용자에게 사용자 선호 검색 결과 컨텐츠가 전달된다(700).
도 2는 본 발명의 실시예에 따른 사용자 검색 선호도 항목의 구성도를 나타낸 것이다.
도 2를 참조하면, 사용자 검색 선호도 항목은 크게 세 가지 카테고리로 분류된다(200). 첫 번째가 내용 기반 특징값 관련 선호도 정보이고(210), 두 번째가 검색 수행 관련 선호도 정보이며(220), 마지막이 검색 결과 관련 선호도 정보이다(230).
내용 기반 특징값 관련 선호도 정보 부분에서 정의하는 항목으로써, 사용자의 시각적 인지 특성에 기반한 사용자 선호 특징값의 종류 기술 항목(211)과; 사용자가 선택한 각각의 특징값간의 우선 순위 기술 항목(212)과; 사용자가 선호하는 각각의 특징값의 사용 범위 정도 기술 항목(213)과; 질의 컨텐츠 내에서 사용자가 질의의 주된 객체로 느끼는 부분을 추출하고 해당 객체의 위치 정보를 기술하는 항목을 포함한다(214).
검색 수행 관련 선호도 정보 부분에서 정의하는 항목으로써, 사용자가 검색 결과의 정확도를 기술하기 위하여 사용자의 질의 컨텐츠와 검색 엔진의 데이터베이스 내의 컨텐츠간의 유사도 한계값의 기술 항목(221)과; 특정 사용자에게 보다 양질의 검색 서비스를 제공하기 위한 검색 사용자간의 우선 순위 기술 항목을 포함한다(222).
검색 결과 관련 사용자 선호도 정보 부분에서 정의하는 항목으로써, 사용자가 검색 결과를 자신의 저장 장치에 저장하는지의 여부와 만일 사용자가 자신의 저장 장치에 저장하길 원하는 경우 해당 저장 장치의 위치를 기술하는 항목(231)과; 사용자가 선호하는 검색 결과의 개수 기술 항목(232)과; 사용자가 선호하는 검색 결과의 정렬 기준 기술 항목(234)과; 사용자에게 최종적으로 전달될 검색 결과의 컨텐츠 형식 기술 항목을 포함한다(233).
도 3은 본 발명의 실시예에 따른 상기 사용자 검색 선호도 정보들 가운데 특징값 관련 사용자 선호도 항목을 이용하여(210), 질의 컨텐츠를 검색 엔진의 요구 조건에 부합하도록 적응시키는 단계를 설명하는 구조도이다.
도 3을 참조하면, 먼저 질의 컨텐츠로부터 사용자 선호 객체를 추출한다(110). 그리고 사용자의 선호 특징값을 이용하여 특징을 추출하고(111, 112), 검색 엔진의 유사도 측정 정책에 따라 사용자의 단일 특징값 우선 순위를 고려거나, 다중 특징값을 조합하는 과정을 수행함으로써 검색 수행부에서 검색 엔진의 데이터베이스 내의 특징값들과 유사도를 측정하기 위하여 질의 컨텐츠의 특징 정보를 검색 엔진의 유사도 측정 정책에 맞게 적응시키는 역할을 포함한다(120). 그리고, 적응된 질의 컨텐츠는 검색 수행부(400)에 전달된다.
먼저, 사용자 특징값 추출 관련 선호도 정보로서 선호 객체의 위치 정보를 기술할 수 있는데, 사용자는 선호 객체의 위치 정보를 지정하기 위하여 적어도 3개 이상의 점(Point)을 기술함으로써 객체의 영역을 기술할 수 있다. 선호 객체의 영역 기술은 다음의 수학식 1과 같다.
= {p
1
(x
1
, y
1
), ... , p
n
(x
n
, y
n
)}, 3≤n≤N
여기서, x
n 과 y
n 은 사용자 선호 객체의 위치를 나타내기 위한 하나의 점을 표시하기 위한 값이다.
또한, 추출된 객체로부터 사용자가 선호하는 특징값을 추출하는 과정을 포함한다. 예를 들어, MPEG-7에서 정의된 시각적(Visual) 특징값은 크게, 다섯 가지 종류로 나뉠 수 있는데, 색(Color), 질감(Texture), 모양(Shape), 움직임(Motion), 영역(Region), 얼굴 인식(Face Recognition) 특징값이다. MPEG-7에서 각각의 특징을 추출하기 위한 기술자(Descriptor)를 세부적으로 살펴보면 다음과 같다.
(1) 색 특징값 추출 기술자
- Dominant Color 기술자
- Scalable Color 기술자
- Color Layout 기술자
- Color Structure 기술자
- GoP/GoF Color 기술자
(2) 질감 특징값 추출 기술자
- Homogeneous Texture 기술자
- Texture Browsing 기술자
- Edge Histogram 기술자
(3) 모양 특징값 추출 기술자
- Region-Based Shape 기술자
- Contour-Based Shape 기술자
- Shape 3D 기술자
(4) 움직임 특징값 추출 기술자
- Camera Motion 기술자
- Motion Trajectory 기술자
- Parametric Motion 기술자
- Motion Activity 기술자
(5) 영역 특징값 추출 기술자
- Region Locator 기술자
- SpatioTemporal Locator 기술자
(6) 얼굴 인식 특징값 추출 기술자
- Face Recognition 기술자
등이 존재하며, 이들 특징값 추출 기술자들은 각각의 인식표를 가질 수 있 고, 다음 수학식 2와 같이 표현된다.
질감 특징값(
T
) = {
t
1
,
t
2
,
t
3
, ... ,
t
nt
}, 1≤n
t
≤N
t
모양 특징값(
S
) = {
s
1
,
s
2
,
s
3
, ... ,
s
ns
}, 1≤n
s
≤N
s
움직임 특징값(
M
) = {
m
1
,
m
2
,
m
3
, ... ,
m
nm
}, 1≤n
m
≤N
m
영역 특징값(
R
) = {
r
1
,
r
2
,
r
3
, ... ,
r
nr
}, 1≤n
r
≤N
r
얼굴 인식 특징값(
F
) = {
f
1
,
f
2
,
f
3
, ... ,
f
nf
}, 1≤n
f
≤N
f
여기서, C는 색 특징값 추출 종류, T는 질감 특징값 추출 종류, S는 모양 특징값 추출 종류, M은 움직임 특징값 추출 종류, R은 영역 특징값 추출 종류, F는 얼굴 인식 특징값 추출 종류를 의미한다. 그리고, N
c 는 색 특징값 종류의 개수, N
t 는 질감 특징값 종류의 개수, N
s 는 모양 특징값 종류의 개수, N
m 은 움직임 특징값 종류의 개수, N
r 은 영역 특징값 종류의 개수, N
f 는 얼굴 인식 특징값 종류의 개수를 의미한다.
또한, 정의된 특징값들로부터 사용자는 선호하는 특징값의 종류를 선택할 수 있으며, 선택된 특징값은 특징값간의 우선 순위와 함께 표현된다. 뿐만 아니라 사용자가 선택한 특징값의 부분 사용이나 전체 사용 여부를 사용자가 선택할 수 있도록 각 특징값의 사용 범위성(Scalability)을 정의할 수 있다. 이러한 항목들은 수 학식 3과 같이 표현된다.
= {(
v
1
, o
1
, s
1
), (
v
2
, o
2
, s
2
), ... , (
v
n
, o
n
, s
n
)}
여기서 1≤n≤N,
v
n
∈ {
C
∪
T
∪
S
∪
M
∪
R
∪
F
}, o
n
∈ {1, ... , N}, 0≤s
n
≤1.
여기서, v
n 은 사용자가 선호하는 특징값을 나타내며 수학식 2에서 정의된 값들을 가질 수 있다. o n 은 해당 특징값이 가지는 우선 순위를 표현하며, 선택된 각각의 특징값은 유일한 우선 순위 값을 가진다. 만일 사용자가 우선 순위를 지정하지 않는 경우, 모든 특징값의 우선 순위 값은 지정된 기본값을 동일하게 가질 수 있다. 그리고 s
n 은 해당 특징값이 가지는 사용 범위(Scalability)를 나타내는 것이다. 예를 들어, MPEG-7의 Homogeneous Texture 기술자를 이용한 특징 추출 방법에서는 이미지의 주파수 영역에서 6개의 방향(Orientation) 성분과 5개의 크기(Scale) 성분을 이용하여 모두 30개의 채널을 구성하고, 여기서 전체 62개의 특징값이 추출된다. 이것은 수학식 4와 같이 나타낼 수 있다.
여기서 fDC 와 fSD 는 질의 컨텐츠 이미지의 평균값과 분산값이며, e1, e2, ... , e30 는 주파수 영역에서 각 채널의 에너지값이고, d1, d2, ..., d30 은 각각의 채널 분산값이다. 여기서, 전체 62개의 특징값들 가운데, 각 채널의 분산값을 제외한 나머지 32개의 값만으로 특징값을 구성하여 유사도 측정에 이용할 수 있다. MPEG-7 실험 결과에 의하면, 이렇게 32개의 특징값을 사용할 경우, 유사도 측정에 드는 시간은 반으로 감소하지만, 유사도 특정의 정확도는 약 2% 정도만 감소하는 것으로 알려져 있다.
도 4는 본 발명의 실시예에 따른 상기 사용자 검색 선호도 정보들 가운데 검색 수행 관련 사용자 선호도 항목을 이용하여 검색을 수행하는 단계를 설명하는 구조도이다.
도 4를 참조하면, 질의 컨텐츠 적응부로부터(300) 전달된 질의 특징값(410)과 검색 엔진의 데이터베이스 내의 특징값들간의 유사도를 측정하고(420), 유사도 측정시 사용자 우선 순위를 적용하여 높은 우선 순위에 있는 사용자일수록 보다 많은 검색 프로세스 점위율을 가지도록 하며(222), 사용자가 선호하는 유사도 거리값의상위 상한치에 의해 검색 결과를 필터링하는 역할을 포함한다(430, 432). 데이터베이스 내의 모든 컨텐츠와 유사도 비교 측정이 완료되면(431), 검색된 결과가 검색 결과 컨텐츠 적응부에 전달된다(600). 유사도 거리값의 상위 상한치는 수학식 5와 같이 표현된다.
예를 들어, T
D 값이 0.3이라면, 검색 엔진이 측정한 유사도 거리값들 가운데, 유사도 거리값이 상위 30% 이내에 드는 결과만 검색 결과 적응부로 전달하게 된다.
도 5는 본 발명의 실시예에 따른 상기 사용자 검색 선호도 정보들 가운데 검색 결과 관련 선호도 항목을 이용하여 사용자의 요구 조건에 부합하도록 검색 결과를 적응시키는 단계를 설명하는 구조도이다(400).
도 5를 참조하면, 검색 수행부에서(400) 출력된 결과들 가운데 사용자 선호 검색 결과 개수를 적용하여(232), 검색 결과의 수를 유사도값에 의해 조절하고(610), 결과 컨텐츠의 형식을 사용자가 선호하는 형식으로 변환하며(620), 최종적으로 출력된 검색 결과는 사용자의 저장 장치에 저장하거나 단지 사용자에게 보여주는 과정을 포함하되(630), 사용자 선호 정렬 기준에 의해 출력된다(640). 최종적으로, 검색 결과가 사용자에게 출력되는 과정을 포함한다(700). 검색 수행부에서 참조하는 사용자 선호도 항목은 수학식 6과 같이 표현된다.
검색 결과 컨텐츠의 형식(FormatOfResult) :
- FormatOfResult
∈ {제공 가능한 컨텐츠 형식}, 예) jpg, mpg ...
검색 결과의 저장 여부(IsStoredOrNot) :
- 저장 함 : IsStoredOrNot = 1(참)
- 저장 안함 : IsStoredOrNot = 0(거짓)
검색 결과의 저장 위치(LocationToBeStored) :
- 고유 식별 가능한 저장 장치 : 예) URL, URN, 디렉토리, ...
검색 결과 정렬 방식(OrderTypeOfResult) :
- OrderTypeOfResult ∈ {제공 가능한 정렬 방식},
예) 유사도순, 파일 크기순, 파일 이름순, ...
본 발명은 멀티미디어 컨텐츠의 내용 기반 검색을 수행하는데 있어서 사용자의 검색 선호도 조건을 정의하고, 이를 내용 기반 검색에 이용하는 방법에 관한 것이다. 그러므로, 사용자에게는 고급 내용 기반 검색 기능을 제공하고, 검색 엔진에게는 보다 정확한 결과를 제공하도록 하기 위한 방법에 관한 것이다. 각 사용자의 개인적인 특성과 인간의 시각적 인지 특성을 내용 기반 검색 엔진에 전달하여 사용자와 검색 엔진간의 효율적인 의사 소통 수단을 제공함으로써, 보다 사용자 친화적이고, 사용자 적응적인 멀티미디어 컨텐츠의 내용 기반 검색을 수행함으로써, 내용 기반 검색 엔진에게는 정확한 정보 부족의 단점을 보완하고 사용자에게는 자신의 선호적 특성을 반영한 고급 검색 기능 서비스를 제공받을 수 있게 된다.
Claims (14)
- 내용 기반으로 멀티미디어 컨텐츠를 검색하는 방법에 있어서,질의 컨텐츠와 특징값 추출 관련 선호도 정보를 입력받는 단계와,상기 특징값 추출 관련 선호도 정보에 따라 상기 질의 콘텐츠로부터 특징값을 추출하는 단계와,상기 추출된 특징값과의 유사도를 이용하여 상기 질의 콘텐츠와 유사한 컨텐츠를 검색하는 단계와,상기 검색된 컨텐츠를 출력하는 단계를포함하는 것을 특징으로 하는 내용 기반 검색 방법.
- 제 1 항에 있어서,상기 특징값 추출 관련 선호도 정보는 사용자가 선호하는 특징값의 종류를 선택하는 항목, 특징값 사이의 우선 순위를 기술하는 항목, 특징값의 사용범위를 기술하는 항목, 사용자 선호 객체의 상기 질의 컨텐츠에서의 위치 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 내용 기반 검색 방법.
- 제 2 항에 있어서,상기 특징값은 색, 질감, 모양, 움직임, 영역, 얼굴 인식 중 적어도 하나인 것을 특징으로 하는 내용 기반 검색 방법.
- 제 1 항에 있어서,검색 수행 관련 선호도 정보를 입력받는 단계를 더 구비하고,상기 검색 단계는 상기 검색 수행 관련 선호도 정보에 따라 수행되는 것을 특징으로 하는 내용 기반 검색 방법.
- 제 4 항에 있어서,상기 검색 수행 관련 선호도 정보는 유사도 한계값을 기술하는 항목, 사용자 우선 순위를 기술하는 항목 중 적어도 하나를 포함하는 것을 특징으로 하는 내용 기반 검색 방법.
- 제 1 항에 있어서,검색 결과 관련 선호도 정보를 입력받는 단계를 더 구비하고,상기 출력 단계는 상기 검색 결과 관련 선호도 정보에 따라 수행되는 것을 특징으로 하는 내용 기반 검색 방법.
- 제 6 항에 있어서,상기 검색 결과 관련 선호도 정보는 검색 결과의 저장 여부를 기술하는 항목, 저장 위치를 기술하는 항목, 검색 결과의 개수를 기술하는 항목, 검색 결과의 형식을 기술하는 항목, 검색 결과의 정렬 기준을 기술하는 항목 중 적어도 하나를 포함하는 것을 특징으로 하는 내용 기반 검색 방법.
- 내용 기반으로 멀티미디어 컨텐츠를 검색하는 장치에 있어서,질의 컨텐츠를 입력받는 검색 질의 입력부와,특징값 추출 관련 선호도 정보를 입력받는 사용자 검색 선호도 기술부와,상기 특징값 추출 관련 선호도 정보에 따라 상기 질의 콘텐츠로부터 특징값을 추출하는 질의 컨텐츠 적응부와,상기 추출된 특징값과의 유사도를 이용하여 상기 질의 콘텐츠와 유사한 컨텐츠를 검색하는 검색 수행부와,상기 검색된 컨텐츠를 출력하는 검색 결과 출력부를포함하는 것을 특징으로 하는 내용 기반 검색 장치.
- 제 8 항에 있어서,상기 특징값 추출 관련 선호도 정보는 사용자가 선호하는 특징값의 종류를 선택하는 항목, 특징값 사이의 우선 순위를 기술하는 항목, 특징값의 사용범위를 기술하는 항목, 사용자 선호 객체의 상기 질의 컨텐츠에서의 위치 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 내용 기반 검색 장치.
- 제 9 항에 있어서,상기 특징값은 색, 질감, 모양, 움직임, 영역, 얼굴 인식 중 적어도 하나인 것을 특징으로 하는 내용 기반 검색 장치.
- 제 8 항에 있어서,상기 사용자 검색 선호도 기술부는 검색 수행 관련 선호도 정보를 추가로 입력받고,상기 검색 수행부는 상기 검색 수행 관련 선호도 정보에 따라 검색을 수행하는 것을 특징으로 하는 내용 기반 검색 장치.
- 제 11 항에 있어서,상기 검색 수행 관련 선호도 정보는 유사도 한계값을 기술하는 항목, 사용자 우선 순위를 기술하는 항목 중 적어도 하나를 포함하는 것을 특징으로 하는 내용 기반 검색 장치.
- 제 8 항에 있어서,상기 사용자 검색 선호도 기술부는 검색 결과 관련 선호도 정보를 추가로 입력받고,상기 검색 결과 관련 선호도 정보에 따라 상기 검색 수행부의 검색 결과를 적응시켜서 상기 검색 결과 출력부에 제공하는 검색 결과 컨텐츠 적응부를 더 포함하는 것을 특징으로 하는 내용 기반 검색 장치.
- 제 13 항에 있어서,상기 검색 결과 관련 선호도 정보는 검색 결과의 저장 여부를 기술하는 항목, 저장 위치를 기술하는 항목, 검색 결과의 개수를 기술하는 항목, 검색 결과의 형식을 기술하는 항목, 검색 결과의 정렬 기준을 기술하는 항목 중 적어도 하나를 포함하는 것을 특징으로 하는 내용 기반 검색 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020023129A KR100968858B1 (ko) | 2002-04-26 | 2002-04-26 | 사용자 검색 선호도 정보를 이용한 멀티미디어 컨텐츠의 내용 기반 검색 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020023129A KR100968858B1 (ko) | 2002-04-26 | 2002-04-26 | 사용자 검색 선호도 정보를 이용한 멀티미디어 컨텐츠의 내용 기반 검색 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20030084418A KR20030084418A (ko) | 2003-11-01 |
| KR100968858B1 true KR100968858B1 (ko) | 2010-07-09 |
Family
ID=32380624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020020023129A KR100968858B1 (ko) | 2002-04-26 | 2002-04-26 | 사용자 검색 선호도 정보를 이용한 멀티미디어 컨텐츠의 내용 기반 검색 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100968858B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101873873B1 (ko) * | 2018-03-12 | 2018-07-03 | 미디어젠(주) | 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치 및 검색방법 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7562068B2 (en) * | 2004-06-30 | 2009-07-14 | Microsoft Corporation | System and method for ranking search results based on tracked user preferences |
| KR100763197B1 (ko) * | 2006-02-06 | 2007-10-04 | 삼성전자주식회사 | 컨텐츠 검색 방법 및 장치 |
| US20080104042A1 (en) * | 2006-10-25 | 2008-05-01 | Microsoft Corporation | Personalized Search Using Macros |
| CN101815997A (zh) | 2007-08-03 | 2010-08-25 | 韩国电子通信研究院 | 用于查询表达的设备和方法 |
| KR100900140B1 (ko) * | 2007-10-29 | 2009-06-01 | 에스케이 텔레콤주식회사 | 사용자 정의 옵션에 근거한 검색 결과 순위 조절 방법 및시스템 |
| KR101302567B1 (ko) * | 2011-12-26 | 2013-09-02 | 전자부품연구원 | 콘텐츠 인식 시스템 및 가중 투표를 통한 이진 특징점 추출 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000030847A (ko) * | 2000-03-21 | 2000-06-05 | 전대식 | 인터넷 통합서비스 시스템 및 이 시스템에 접근하는 것을용이하게 하기 위한 사용자 인터페이스장치 |
| KR20010000588A (ko) * | 2000-10-07 | 2001-01-05 | 이종훈 | 통신시스템을 이용한 클립아트 및 고화질 포토이미지다운로드 방법 |
| KR20010028772A (ko) * | 1999-09-22 | 2001-04-06 | 구자홍 | 멀티미디어 사용자 프로파일과 사용자 프로파일을 이용한 멀티미디어 검색 및 브라우징 방법 |
-
2002
- 2002-04-26 KR KR1020020023129A patent/KR100968858B1/ko not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010028772A (ko) * | 1999-09-22 | 2001-04-06 | 구자홍 | 멀티미디어 사용자 프로파일과 사용자 프로파일을 이용한 멀티미디어 검색 및 브라우징 방법 |
| KR20000030847A (ko) * | 2000-03-21 | 2000-06-05 | 전대식 | 인터넷 통합서비스 시스템 및 이 시스템에 접근하는 것을용이하게 하기 위한 사용자 인터페이스장치 |
| KR20010000588A (ko) * | 2000-10-07 | 2001-01-05 | 이종훈 | 통신시스템을 이용한 클립아트 및 고화질 포토이미지다운로드 방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101873873B1 (ko) * | 2018-03-12 | 2018-07-03 | 미디어젠(주) | 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치 및 검색방법 |
| WO2019177182A1 (ko) * | 2018-03-12 | 2019-09-19 | 미디어젠 주식회사 | 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치 및 검색방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20030084418A (ko) | 2003-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101659097B1 (ko) | 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치 | |
| US8756219B2 (en) | Relevant navigation with deep links into query | |
| US20040267693A1 (en) | Method and system for evaluating the suitability of metadata | |
| KR100451649B1 (ko) | 이미지 검색방법과 장치 | |
| US7660783B2 (en) | System and method of ad-hoc analysis of data | |
| US20070078842A1 (en) | System and method for responding to a user reference query | |
| US20120036139A1 (en) | Content recommendation device, method of recommending content, and computer program product | |
| KR100471927B1 (ko) | 웹 기반 영상 데이터 검색 시스템 및 그 방법 | |
| US7366710B2 (en) | Apparatus for retrieving and presenting digital data | |
| US20100017290A1 (en) | Apparatus, method and program for attaching advertisement | |
| JP2006277169A (ja) | 画像データの管理 | |
| US20050038866A1 (en) | Information search support apparatus, computer program, medium containing the program | |
| CN106446235A (zh) | 视频的搜索方法和装置 | |
| US8538941B2 (en) | Visual information search tool | |
| JP5197680B2 (ja) | 特徴情報作成装置、方法及びプログラム | |
| KR100968858B1 (ko) | 사용자 검색 선호도 정보를 이용한 멀티미디어 컨텐츠의 내용 기반 검색 방법 및 장치 | |
| KR100534604B1 (ko) | 티브이-애니타임 표준을 지원하는 멀티미디어 검색 및지능화 서비스 시스템 | |
| US10037550B2 (en) | System and method for identifying offline consumer interests for online personalization by leveraging multimedia inputs | |
| KR100512275B1 (ko) | 멀티미디어 객체의 특징 기술정보 생성방법 | |
| Vendrig et al. | Filter image browsing: Interactive image retrieval by using database overviews | |
| JP2002245089A (ja) | ウェブページ検索システム、二次情報収集装置、インターフェース装置 | |
| JP2005202939A (ja) | Ｘｍｌファイルの作成方法 | |
| JP2002132769A (ja) | 多角的検索サービス方法および装置、ならびにそのプログラムを記録した記録媒体 | |
| JP2004220267A (ja) | 画像検索方法および装置と画像検索プログラムおよび該プログラムを記録した記録媒体 | |
| JP2009193200A (ja) | 文書管理システム、端末装置、文書管理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| N231 | Notification of change of applicant | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application | ||
| J201 | Request for trial against refusal decision | ||
| N231 | Notification of change of applicant | ||
| S901 | Examination by remand of revocation | ||
| GRNO | Decision to grant (after opposition) | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |