KR20030062585A - 멀티미디어 객체의 특징 기술정보 생성방법 - Google Patents

Abstract

본 발명은 멀티미디어 객체의 특징 기술정보를 자동으로 생성하는 방법에 관한 것이다.

본 발명은 멀티미디어 객체의 메타 데이터 생성시, 기 취득한 객체의 특징 기술정보를 현재 취득한 객체의 특징 기술정보 생성에 반영하여 현재 취득한 객체의 특징 기술정보를 생성하여 지정한다. 또한 본 발명은, 질의 객체와 유사한 객체들이 갖는 특징 기술정보를 해당 질의 객체의 특징 기술정보로 생성하여 지정해 주며, 여기서 특징 기술정보로 질의 객체와 유사한 객체들이 갖는 키워드를 해당 질의 객체의 키워드로 지정한다. 또한 본 발명은, 기 취득된 객체들이 포함하고 있는 특징 기술정보들을 사용하여 생성된 특징 기술정보 리스트를 제시하고, 사용자가 이 특징 기술정보 리스트 중에서 현재 취득한 객체의 특징 기술정보를 선택하여 지정하며, 여기서 특징 기술정보 리스트로 키워드 사전을 제시하고 이 키워드 사전에서 선택한 키워드를 현재 취득한 객체의 키워드로 지정한다.

Description

멀티미디어 객체의 특징 기술정보 생성방법{MULTIMEDIA DATA DESCRIPTION OF CONTENT-BASED IMAGE RETRIEVAL}

본 발명은 멀티미디어 객체의 검색을 위한 메타 데이터를 생성하고 이를 이용하여 멀티미디어 객체를 검색하는 방법에 관한 것이다.

멀티미디어 객체 검색 기능의 가장 기본적이고 많이 사용되는 것은 텍스트(text)를 이용한 검색이다. 키워드 등의 텍스트 정보가 각 객체에 부여되어 있고, 검색 시 사용자가 키워드를 입력하면 해당 키워드가 포함된 객체들을 검색하는 것이다.

이러한 텍스트 기반의 검색은 여러 가지 제한점이 있다. 그 중 하나는 텍스트로는 같은 내용을 다양하게 표현할 수 있기 때문에 사용자마다 조금씩 다른 표현으로 텍스트 질의를 할 경우 원하는 객체가 있더라도 정확하게 검색되지 않을 수 있다는 점이다. 이러한 점을 해결하려면 각 객체는 다양한 표현의 텍스트 정보를 포함하고 있어야 하는데 텍스트 정보는 일반적으로 사람이 수동으로 입력하기 때문에 다양한 텍스트 정보를 모두 입력하기란 쉽지 않다. 이러한 문제점을 해결하고자 비슷한 키워드 간의 연결 정보가 있는 테이블을 포함하고 그 연결의 가중치를 학습하게 함으로써 같은 의미의 서로 다른 표현을 연결하려는 시도를 하였다. 비슷한 방법으로 현재 많은 키워드 검색 엔진에서는 유사어 테이블을 포함하여 위와 같은 문제를 조금이라도 해결하려는 시도를 하고 있다.

이러한 노력에도 불구하고 텍스트 기반의 검색 기술은 정보 자체의 한계점으로 인하여 내용 기반 검색을 통해 그 한계를 극복하고자 하는 연구가 많이 이루어지고 있다.

내용 기반 멀티미디어 검색이란 키워드와 같은 텍스트 정보 이외에,칼라(color), 텍스쳐(texture)와 같은 내용상에 표현되는 정보를 사용한 검색을 의미한다. 이러한 기술은 최근 들어 키워드 검색의 제한성을 극복하고 사람에게 자연스런 검색 방법을 제공한다는 측면에서 매우 중요시 되고 많은 연구가 보고되고 있다.

특히, 이미지 검색은 인터넷 사용이 증가하면서 매우 중요해졌으며 특히 디지털 라이브러리 등에서 매우 유용하게 사용되고 있다. 내용 기반 이미지 검색이란 칼라나 텍스쳐 등과 같은 이미지 특성 정보를 분석하여 사람의 눈으로 봤을 때 비슷한 이미지들을 찾아 주는 것을 의미하는 것으로서 보다 좋은 성능을 위해 다양한 특징 정보들이 연구 보고되고 있다.

대부분 이러한 이미지 검색엔진들은 상기 기술한 것과 같이 칼라, 텍스쳐, 모양 정보 등을 사용한다. 각 정보를 표현하는 방법은 다양한데, 예를 들어 칼라의 경우 전체 칼라 분포를 나타내는 칼라 히스토그램이나, 주로 나타나는 칼라를 대표적으로 표현하는 대표 칼라, 각 부분 영역별로 대표 칼라를 표현하는 칼라 레이아웃 등이 칼라를 표현하는 정보로서 사용될 수 있다.

이러한 정보는 바로 검색 성능과 관련되는 것으로서 대부분 연구들은 검색 결과를 높게 하기 위한 특징 기술 정보(description)의 개발에 많은 노력을 기울이고 있다. 검색을 위해서는 각 이미지가 포함하고 있는 특징 기술 정보를 서로 비교하여 유사한 이미지를 결과로 지정함으로써 이루어진다. 이러한 특징 기술 정보는 사전에 추출되어 저장되며, 비교시 보다 빠른 검색을 위하여 인덱스 정보를 구성하여 가지고 있다. 이와 같이 내용 기반 검색에 사용되는 특징 기술 정보는 텍스트가표현하지 못하는 시각적인 면을 해결하고 있으나 정확성이 높지 못하고 초기 적절한 질의를 선택하기 어렵다는 문제가 있다. 때문에 경우에 따라서는 텍스트를 이용한 검색을 더 선호하기도 한다

질의 방법에는 예(example)에 의한 질의, 사용자 스케치에 의한 질의, 그리고 텍스트에 의한 질의가 있다. 예에 의한 질의는 사용자가 질의로서 찾고자 하는 객체와 유사한 객체를 질의로 제시하고, 검색 시스템은 찾고자 하는 객체를 질의로 하여, 제시된 객체가 포함한 특징 기술 정보와 가장 유사한 특징 기술 정보를 포함한 객체들을 검색하게 된다. 이 경우 질의 예가 기존에 특징 기술 정보를 이미 추출한 객체일 경우 데이터 베이스에서 해당 객체의 특징 기술 정보를 찾아 이와 유사한 특징 기술 정보를 갖는 객체를 검색하게 된다. 만일 기존에 특징 기술 정보를 추출하지 않은 새로운 객체일 경우에는 주어진 객체의 특징 기술 정보를 추출 엔진을 사용하여 추출한 후 데이터 베이스에서 유사한 특징 기술 정보를 갖는 객체를 검색하게 된다. 사용자 스케치에 의한 검색은 사용자가 찾고자 하는 객체를 잘 표현하도록 직접 질의 이미지를 제작하는 것을 의미한다. 이 경우 사용자가 제작한 질의 이미지의 특징 정보를 검색 시에 추출 엔진이 추출하게 된다.

최근 들어 이동 통신을 이용한 멀티미디어 서비스가 활발해 지면서 이동 통신 단말기를 이용한 이미지 및 동영상 디스플레이가 중요한 서비스로 부각되고 있다. 이동 통신 단말기는 일반적으로 화면이 작고 키보드가 없는 등 인터페이스가 제한적이어서 검색을 위한 방법도 PC에서의 그것과 다르다. 예를 들면 PC에서는 검색 결과를 나열하고 사용자가 쉽게 훑어볼 수 있으나 이동 통신 단말기에서는 한화면에 적은 수만의 이미지를 볼 수 있으므로, 그러한 검색 방법은 좋지 못하다. 게다가 텍스트 등의 정보를 입력할 경우에도 키보드가 없기 때문에 매우 불편하다. 대신에 일반 PC에서는 잘 사용하지 않는 전자펜을 일반적으로 PDA등에서는 사용하고 있다. 이와 같이 PC와 상이한 환경의 이동 통신 단말기를 이용한 검색 및 디스플레이를 위해서는 이에 맞는 메타데이터 생성 방법과 검색 방법이 제공되어야 한다.

본 발명은 멀티미디어 객체의 특징 기술정보를 자동으로 생성하는 방법을 제공함을 목적으로 한다. 특히 본 발명은 이동 단말기에서 취득한 멀티미디어 객체의 검색을 위한 메타 데이터를 효율적으로 생성하는 방법을 제공함을 목적으로 한다.

상기 목적을 달성하기 위하여 본 발명은 멀티미디어 객체의 메타 데이터 생성시, 기 취득한 객체의 특징 기술정보를 현재 취득한 객체의 특징 기술정보 생성에 반영하여 현재 취득한 객체의 특징 기술정보를 생성하여 지정하는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위하여 본 발명은, 질의 객체와 유사한 객체들이 갖는 특징 기술정보를 해당 질의 객체의 특징 기술정보로 생성하여 지정해 주는 것을 특징으로 한다. 또한 여기서 특징 기술정보로 질의 객체와 유사한 객체들이 갖는 키워드를 해당 질의 객체의 키워드로 지정하는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위하여 본 발명은, 기 취득된 객체들이 포함하고 있는 특징 기술정보들을 사용하여 생성된 특징 기술정보 리스트를 제시하고, 사용자가 이 특징 기술정보 리스트 중에서 현재 취득한 객체의 특징 기술정보를 선택하여 지정함을 특징으로 한다. 또한 여기서 특징 기술정보 리스트로 키워드 사전을 제시하고 이 키워드 사전에서 선택한 키워드를 현재 취득한 객체의 키워드로 지정하는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위하여 본 발명은, 상기 현재 취득한 객체에 상기한 특징 기술정보를 자동으로 생성하여 지정할 때, 사용자가 객체에서 중요영역을 지정하는 단계를 더 포함하고, 이 중요 영역을 반영하여 상기 특징 기술정보를 생성하는 것을 특징으로 한다.

도1은 본 발명의 멀티미디어 객체의 특징 기술정보 생성방법의 제1실시예를 나타낸 플로우차트

도2는 본 발명의 멀티미디어 객체의 특징 기술정보 생성방법의 제2실시예를 나타낸 플로우차트

도3은 본 발명의 멀티미디어 객체의 특징 기술정보 생성방법의 제3실시예를 나타낸 플로우차트

도4 및 도5는 본 발명에서 사용자가 중요 영역을 스케치로 표기하기 위한 인터페이스의 예를 나타낸 도면

도6은 본 발명의 멀티미디어 객체의 특징 기술정보 생성방법의 제4실시예를 나타낸 플로우차트

도7은 본 발명의 멀티미디어 객체의 특징 기술정보 생성방법의 제5실시예를 나타낸 플로우차트

본 발명에서 특징 기술정보는 넓은 의미로 볼 때 메타 데이터의 한 종류이므로 이후 두 용어를 혼용하여 사용하지만 같은 의미이다.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.

초기에 사용자가 이미지 등의 객체를 취득하면 키워드 등의 텍스트 정보를 직접 입력하게 된다. 하지만 계속 이러한 입력 작업이 일어나야 할 경우 이동 통신 환경에서는 매우 불편할 수 있다. 왜냐하면 이동 통신 단말기에서는 키보드와 같은 용이한 텍스트 입력 수단이 제공되지 않기 때문이다. 이러한 문제점을 해결하기 위하여, 이미 취득된 객체의 키워드 들 중에서 현재 취득된 객체에 적합한 키워드가 있는지를 자동으로 판단하여 후보로 제시함으로써 사용자는 단지 키워드 후보 중에서 원하는 것을 선택하여 입력할 수 있는 방법을 제공한다. 적합한 키워드의 검색은 먼저 취득된 객체를 질의로 하여 기존에 취득된 객체들을 대상으로 내용 기반검색을 수행한다. 상기 내용 기반 검색이란 칼라, 질감, 텍스트 이외의 낮은 레벨 특징정보를 사용한 검색을 의미한다. 내용상으로 유사한 객체는 입력될 키워드들도 유사할 것이므로 검색 결과로 유사하다고 판단된 객체들이 이미 포함한 키워들을 후보로 제시하는 것이다.

도1은 이러한 키워드 생성 방법에 대한 플로우차트이다. 먼저 객체를 취득하고(S11), 객체가 취득되면 객체에서 내용기반 검색을 위한 특징 기술 정보를 추출한다(S12). 다음 단계(S13)에서는 기 취득된 객체들의 특징 기술 정보들과 상기 취득한 객체에 대하여 추출한 특징 기술정보를 비교 검색한다. 다음 단계(S14)에서는 상기 검색 결과로부터 유사하다고 검색된 결과 객체에 포함된 키워드들을 추출하고, 추출된 키워드들의 우선 순위를 계산하여 우선 순위 순서로 상기 추출된 키워드를 사용자에게 제시한다(S15,S16).

즉, 기 취득된 객체와 현재 취득한 객체의 특징 기술정보를 기반으로 하여 유사도를 비교함으로써 검색을 수행하고, 검색 결과 일정 임계치 이상 유사하다고 판단된 객체들을 선택한 후 그 객체들이 기 포함한 키워드들을 사용자에게 후보로서 제시하는 것이다. 사용자는 후보들 중 올바른 키워드를 선택함으로써 키워드를 입력할 수 있다. 즉, 상기 제시된 키워드 후보들을 보고 사용자가 원하는 키워드를 선택하면 그 선택된 키워드를 현재 취득한 객체의 특징 기술정보 즉, 키워드로 등록하여 저장하는 것이다(S17,S18).

물론 사용자가 후보에 없는 키워드를 추가로 입력하고 싶을 경우에는 기존과 같이 수동으로 추가할 수도 있다. 앞서 후보 키워드들을 사용자에게 제시할 때에는후보 점수(score)가 높은 순서로 나열하여 제시할 수 있는데, 후보 점수는 유사한 객체들이 공통으로 많이 포함할수록 점수가 높고, 또 해당 객체의 유사도가 높을수록 점수가 높도록 한다. 이러한 관계는 다음과 같이 표현할 수 있다.

[키워드 후보점수 계산방법]

score(KW(i)) = Similarity(Obj(KW(i))·α+ frequency(KW(i))·β

여기서, KW(i)는 키워드 i, score(KW(i))는 키워드 i의 후보 점수, Obj(KW(i))는 키워드 i를 포함하고 있는 객체, similarity(Obj(KW(i)))는 키워드 i를 포함하고 있는 객체의 유사도, frequency(KW(i))는 키워드 i가 객체에 포함된 빈도수, α,β는 상수(coefficiency) 이다.

상기 기술한 과정에서 특징 기술 정보를 이용한 1차 검색 결과를 바로 키워드 후보 생성에 이용하는 대신 사용자로 하여금, 검색 결과를 확인시키는 과정을 추가할 수 있다. 즉, 검색 결과 객체들 중에서 사용자가 확인하여 사용자 관점에서 유사하다고 생각되는 객체들만 선택하게 함으로써 유사한 객체에 대한 신뢰도를 높일 수 있다. 이와 같은 사용자의 확인 행위를 사용자 피드백(relevant feedback)이라고 한다. 상기 과정에서 사용자 피드백을 이용하면 후보로 제시되는 키워드들은 그만큼 사용자가 선택할 확률이 높아지는 효과가 있다. 이와 같이 사용자 피드백 과정이 추가된 경우의 객체 특징기술 정보 생성 및 검색방법이 도2에 나타나 있다.

먼저 객체를 취득하고(S21), 객체가 취득되면 객체에서 내용기반 검색을 위한 특징 기술 정보를 추출한다(S22). 다음 단계(S23)에서는 기 취득된 객체들의 특징 기술 정보들과 상기 취득한 객체에 대하여 추출한 특징 기술정보를 비교 검색한다. 다음 단계(S24)에서는 검색 결과 중에서 사용자가 유사하다고 선택하는 객체(유사 이미지)에 대한 피드백을 받는다. 시스템은 상기 사용자로부터 피드백 받은 이미지만을 유사 이미지로 지정하고(S25), 다음 단계(S26)에서는 상기 피드백 결과로부터 유사하다고 선택된 결과 객체에 포함된 키워드들을 추출하고, 추출된 키워드들의 우선 순위를 계산하여 우선 순위 순서로 상기 추출된 키워드를 사용자에게 제시한다(S27,S28).

즉, 기 취득된 객체와 현재 취득한 객체의 특징 기술정보를 기반으로 하여 유사도를 비교함으로써 검색을 수행하고, 검색 결과에 대해서 다시 한번 사용자 피드백을 받아 사용자가 유사하다고 피드백을 준 검색 결과 객체들이 기 포함한 키워드들을 사용자에게 후보로서 제시하는 것이다. 이와 같이 제시된 키워드 후보들을 보고 사용자가 원하는 키워드를 선택하면 그 선택된 키워드를 현재 취득한 객체의 특징 기술정보 즉, 키워드로 등록하여 저장하는 것이다(S29,S30).

지금까지 설명한 내용 기반 검색에 사용되는 특징 기술 정보는 여러 가지 종류가 동시에 사용된다. 예를 들어 칼라 히스토그램, 에지 히스토그램, 칼라 레이아웃 등에 동시에 사용되어 각 특징 기술 정보를 기준으로 유사도를 계산한 후 이들의 총 합을 사용하여 유사도 총점을 계산하게 된다. 하지만 각 특징 기술 정보가 의미하는 바가 다르므로 검색에 사용되는 객체마다 중요한 특징 기술 정보가 다를 수 있다.

예를 들어 풍경 이미지는 일반적으로 칼라 히스토그램이 유용하지만, 특정 물체를 크로즈 업(close-up)하여 취득한 사진의 경우 칼라 레이아웃이 더 유용하다. 여기서 칼라 히스토그램과 에지 히스토그램은 각각 칼라와 에지의 분포를 표현하는 정보이고 칼라 레이아웃은 이미지를 N*M으로 영역을 분리한 후 각 부분 영역별로 대표 칼라 값을 지정하여 표현하는 정보이다.

이와 같이 각 객체마다 사용되는 특징 정보의 중요도가 다르므로 객체마다 그 객체에 적합한 중요도 정보를 기술하면 보다 좋은 검색 결과를 기대할 수 있다.

이와 같은 중요도 정보는 앞서 기술한 사용자 피드백을 사용하여 자동으로 계산할 수 있다. 사용자 피드백을 사용하여 중요도를 계산하는 방법은 MPEG-7에서 채택된 중요도 표현 기술인 'MatchingHint'(MatchingHint에 대한 자세한 기술은 국제 표준 문서인ISO/IEC 15938-5에 기술되어 있다)를 계산하는 방법을 사용할 수 있으며, 이는 다음과 같이 표현된다.

[MatchingHint 계산방법]

피드백 이미지 FI(feedback image)가 렐러번트 이미지(relevant image)이면 W_k= αSim_k(RI,FI), 피드백 이미지 FI가 렐러번트 이미지가 아니면(irrelevant image) W_k= αDist_k(RI,FI).

여기서, W_k는 특징 기술자 k(descriptor k)의 매칭 힌트, α는 정규화 상수(normalization coefficient), Sim(RI,FI)는 참조 이미지 RI(reference image)(질의 이미지임)와 피드백 이미지 FI 사이의 유사도, Dist(RI,FI)는 참조 이미지 RI와 피드백 이미지 FI 사이의 차(비유사도)이다.

상기 매칭 힌트 계산방법에서 알 수 있듯이 현재 주어진 피드백 결과와 질의이미지간의 유사도를 각 특징 기술 정보(descriptor k)를 사용하여 계산한 후, 만일 유사도가 높으면 해당 특징 기술 정보의 가중치도 상대적으로 높게 된다. 검색 결과 중에서 피드백 받지 못한 결과는 유사하지 않다는 피드백을 받은 것과 마찬가지이므로 비유사도가 낮을수록 해당 특징 기술 정보의 가중치가 높게 된다.

도3은 상기 기술한 것과 같이 사용자의 피드백을 이용하여 키워드를 생성할 뿐 아니라 가중치 정보까지 생성하여 특징 기술 정보로 포함하는 방법을 기술하고 있다.

먼저 객체를 취득하고(S31), 취득한 객체로부터 특징 기술정보를 추출하고(S32), 기 취득된 객체를 대상으로 하여 검색을 실행한다(S33). 상기 검색 결과 중에서 유사 이미지에 대한 피드백을 사용자로부터 받고(S34), 상기 피드백을 받은 이미지를 사용하여 특징 기술정보의 가중치를 결정한다(S35). 이렇게 결정된 가중치를 해당 객체의 특징 정보로 저장한다(S36).

앞서 기술한 칼라 레이아웃 정보는 상기 기술하였듯이 주어진 영상을 N*M의 부분 영역으로 나누어 칼라 정보를 표시하는 기술 정보이다. 이러한 특성으로 인해 칼라 레이아웃은 공간적인 정보를 표현할 수 있어서 영상의 공간적인 칼라 분포를 표현할 수 있다. 이 정보를 사용하면 이동 단말기에 유용한 질의를 수행할 수 있다. 이동 단말기는 화면이 적으므로 객체들을 나열하여 원하는 질의 객체를 사용자가 선택하는 방법을 사용하기가 어렵다. 그 대신 전자펜 등을 이용하여 사용자가 제작한 질의를 수행할 수 있는데 이를 사용자 스케치 질의라고 한다. 이러한 사용자 스케치 질의의 예를 도4와 도5에 나타내었다.

도4는 칼라 레이아웃과 같이 이미지를 N*M으로 나누어진 틀에 사용자가 색을 입힘으로써 자연스럽게 대략적인 질의 이미지를 구성할 수 있다. 또 도5는 스케치와 같이 전자펜으로 특정 색을 지닌 단순한 물체를 묘사할 수 있다. 이와 같은 편리성으로 인하여 칼라 레이아웃 정보는 이동 단말기에서 매우 중요한 특징 기술 정보가 될 수 있는데, 상기 기술한 가중치 정보를 칼라 레이아웃 정보의 공간적인 중요도 표현에 사용할 수 있다. 즉 사용자가 이미지를 취득하면 이 이미지는 어떤 영역이 중요하다고 하는 것을 전자펜 등으로 간단히 표시하게 되면 칼라 레이아웃 정보가 추출되면서 칼라 레이아웃 정보 요소들 중에서 해당 영역에 속하는 요소가 보다 높은 중요도를 갖게 되는 것이다.

이와 같이 칼라 레이아웃 정보의 공간적인 중요도 정보를 객체 취득 시 사용자의 간단한 피드백으로 결정하는 방법을 도6에 나타내었다.

먼저 객체를 취득하고(S61), 취득한 객체에 대해서 중요 영역을 사용자가 표기한다(S62). 다음 부분 영역별 특징을 기술하는 정보를 추출하고(S63), 상기 사용자가 표기한 중요 영역에 대한 가중치를 다른 영역보다 더 높게 지정하고(S64), 지정된 가중치와 특징 기술정보를 해당 객체에 대한 특징 기술정보로 저장한다(S65).

이와 같이 도6에서는 각 부분 영역별로 특징 정보를 표기하는 칼라 레이아웃과 같은 특징 기술 정보의 각 요소에 대한 가중치를 표기된 중요 영역을 사용하여 지정하는 것을 기술하고 있다. 즉, 주요 영역으로 지정된 곳에 대한 정보 요소는 보다 높은 가중치를 갖게 된다. 하지만 이외에 처음부터 중요 영역에 해당하는 요소만을 유효한 추출된 값을 지정하고 다른 부분은 의미 없는 값(Null 값)을 지정할수도 있다. 이 경우 단지 중요 영역만을 대상으로 검색을 수행하게 된다.

중요 영역을 사용자가 표기하는 또 다른 방법으로는 질의 이미지를 N*M으로 가상으로 분할하여 분할된 화면을 사용자에게 제시하고, 사용자가 그 분할된 영역 중에서 중요하다고 간주하는 영역을 선택하는 방법을 사용할 수 있다. 예를 들면 질의 이미지를 4*3=12개의 화면으로 가상 분할하고, 이 분할된 12개의 화면(부분 영역) 중에서 사용자가 이동 단말기 키를 이용하여 선택하는 영역에 해당하는 특징 기술정보를 더 중요한 것으로 간주하는 것이다. 또한, 분할된 12개의 부분 영역의 선택 순서에 따라 중요도를 부여하는 방법을 사용할 수도 있다.

상기 도1 및 도2에서는 기존에 취득된 객체의 텍스트 정보를 사용하여 키워드 후보를 생성하는 방법을 제시하였다. 이와 같이 텍스트 정보를 복잡한 조작 없이 입력하고자 하는 것은 키보드가 없는 이동 단말기의 특성 때문이다. 앞서 기술한 텍스트의 자동 생성 이외에, 이미 취득된 객체에 포함된 키워드들을 자동으로 리스트화하여 키워드 사전을 생성할 수도 있다.

이 경우 키워드 생성은 기 취득된 객체에 포함된 키워드들을 모두 합하여 생성하되 빈도수 등을 고려하여 우선 순위를 지정하고, 사용자에게 제시할 수 있도록 한다. 이와 같이 키워드 사전을 사용함으로써 사용자는 텍스트 직접 입력의 불편함을 최대한 줄이게 된다.

이와 같이 키워드 사전을 포함한 특징 기술정보 생성과 검색 방법을 도7에 나타내었다. 먼저, 기 취득된 객체에 포함된 키워드를 대상으로 하여 키워드 사전을 생성한다(S71). 다음 단계(S72)에서는 객체에 포함된 빈도수에 근거하여 상기키워드의 우선 순위를 생성해 둔다. 다음 객체의 취득이 이루어지면 상기 우선 순위별로 키워드 사전 내의 키워드를 사용자에게 제시한다(S73,S74). 이 키워드 사전으로 보고 사용자가 원하는 키워드를 선택한다(S75). 이렇게 키워드 선택이 이루어지면 선택된 키워드를 해당 객체에 대한 특징 기술정보에 포함시켜 저장한다(S76,S77). 그러나 제시된 키워드 사전에 사용자가 원하는 키워드가 없는 경우는 사용자가 새로운 키워드를 입력하고(S78), 입력된 키워드를 해당 객체에 대한 특징 기술정보로 저장하며(S79), 상기 새로 입력된 키워드를 상기 키워드 사전에 반영한다(S79,S80).

도7과 같이 키워드 사전을 이용한 특징 기술정보 생성 및 검색의 경우 이동 단말기에는 객체를 포함한 데이터베이스와 각 객체를 기술하는 텍스트 기술 정보가 있다. 키워드 사전 생성기는 주기적, 또는 사용자가 원할 때 키워드 사전을 텍스트 기술 정보를 사용하여 생성한다. 생성된 키워드 사전을 사용하여 키워드 후보 디스플레이장치는 사용자에게 키워드를 선택할 수 있도록 키워드 후보들을 제시한다.

본 발명은 이동 단말기를 이용한 멀티미디어 객체의 검색을 편리하게 하고, 이러한 검색을 위해 적절한 특징 기술 정보를 효과적으로 생성할 수 있는 방법을 제시하고 있다. 본 발명은 작은 화면 크기에 키보드가 없는 제한적인 인터페이스의 한계를 극복하는 대신, 전자 펜 등 이동 통신 단말기에서 제공하는 인터페이스를 활용하여 효과적으로 메타데이터를 생성할 수 있도록 하였다. 특히 현실적으로 한번에 원하는 객체를 찾기가 불가능한 점을 인정하는 대신 가장 작은 횟수의 사용자상호 작용에 의해, 빠르게 원하는 객체를 검색할 수 있도록 하여 사용자가 실제로 느끼는 검색 성능이 매우 높도록 하였다.

Claims (11)

1. 객체를 취득하는 단계, 기 취득한 객체의 특징 기술정보를 이용해서 상기 현재 취득한 객체의 특징 기술정보를 지정하는 단계; 로 이루어진 것을 특징으로 하는 멀티미디어 객체의 특징기술 정보 생성방법.
2. 제 1 항에 있어서, 상기 특징 기술정보는 해당 객체에 대한 키워드인 것을 특징으로 하는 멀티미디어 객체의 특징기술 정보 생성방법.
3. 객체의 취득단계와, 취득된 객체와 유사한 기 취득된 객체를 검색하는 단계와, 검색된 유사한 객체들이 포함한 키워드들을 사용하여 후보 키워드를 생성하는 단계와, 생성된 후보 키워드들을 사용자에게 제시하여 사용자가 원하는 키워드를 선택하는 단계와, 사용자가 선택한 키워드들을 상기 취득한 객체의 키워드로 지정하는 단계; 로 이루어진 것을 특징으로 하는 멀티미디어 객체의 특징기술 정보 생성방법.
4. 제 3 항에 있어서, 상기 검색된 유사한 객체들을 대상으로 사용자가 피드백을 주는 단계와, 피드백 받은 객체만을 유사한 객체로 지정하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 객체의 특징기술 정보 생성방법.
5. 제 3 항에 있어서, 상기 생성된 후보 키워드들은 유사 객체에 포함된 빈도수에 비례하여 우선 순위를 두고 이 순위에 따른 순서로 나열하여 사용자에게 제시하는 것을 특징으로 하는 멀티미디어 객체의 특징기술 정보 생성방법.
6. 제 4 항에 있어서, 상기 피드백 받은 결과를 사용하여 특징 기술정보간의 가중치 정보를 계산하여 특징 기술정보에 포함시키는 것을 특징으로 하는 멀티미디어 객체의 특징기술 정보 생성방법.
7. 객체의 취득단계와, 기 취득된 객체들이 포함한 키워드들을 사용하여 생성된 키워드 사전을 제시하는 단계와, 키워드 사전을 사용하여 사용자에게 후보 키워드를 제시하여 사용자가 원하는 키워드를 선택하는 단계와, 사용자가 선택한 키워드들을 취득한 객체의 키워드로 지정하는 단계; 로 이루어진 것을 특징으로 하는 멀티미디어 객체의 특징기술 정보 생성방법.
8. 제 7 항에 있어서, 상기 키워드 사전 내에 키워드의 우선 순위를 포함하고, 상기 키워드의 우선 순위는 객체에 포함된 빈도수를 기준으로 결정하여 정의되며, 사용자에게 후보 키워드를 제시할 때 우선 순위를 고려하여 제시하는 것을 특징으로 하는 멀티미디어 객체의 특징기술 정보 생성방법.
9. 제 1 항에 있어서, 상기 취득된 객체에서 사용자가 중요 영역을 표기하는 단계와, 상기 표기된 중요 영역을 반영하여 특징 기술 정보를 추출하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 객체의 특징기술 정보 생성방법.
10. 제 9 항에 있어서, 상기 중요 영역을 반영하여 특징 기술 정보를 추출하는 것은, 특징 정보가 이미지의 부분 영역별로 특징을 반영하는 요소로 구성되고, 중요 영역은 가중치로 표시되거나 중요 영역에 해당하는 요소만이 유효한 값을 갖도록 지정하는 것을 특징으로 하는 멀티미디어 객체의 특징기술 정보 생성방법.
11. 제 10 항에 있어서, 상기 부분 영역별로 특징을 반영하는 특징 정보는 이미지를 N*M개의 부분 영역으로 나누어 대표 칼라 값으로 표시하는 정보임을 특징으로 하는 멀티미디어 객체의 특징기술 정보 생성방법.