KR20110007179A - 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치 - Google Patents

복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20110007179A
KR20110007179A KR1020107025291A KR20107025291A KR20110007179A KR 20110007179 A KR20110007179 A KR 20110007179A KR 1020107025291 A KR1020107025291 A KR 1020107025291A KR 20107025291 A KR20107025291 A KR 20107025291A KR 20110007179 A KR20110007179 A KR 20110007179A
Authority
KR
South Korea
Prior art keywords
images
clusters
ranking
image
clustering
Prior art date
Application number
KR1020107025291A
Other languages
English (en)
Other versions
KR101659097B1 (ko
Inventor
바르트 크룬
사브리 보우오르벨
마우로 바르비에리
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20110007179A publication Critical patent/KR20110007179A/ko
Application granted granted Critical
Publication of KR101659097B1 publication Critical patent/KR101659097B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Abstract

복수의 저장된 디지털 이미지들이 탐색된다. 이미지들은 탐색 질의에 따라 검색된다(단계(204)). 검색된 이미지들은 이미지의 콘텐트의 미리 결정된 특성에 따라 클러스터링된다(단계(208)). 클러스터들은 미리 결정된 기준에 기초하여 랭킹된다(단계(210)). 탐색 결과들은 랭킹된 클러스터들에 따라 리턴된다(단계(212)).

Description

복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치{METHOD AND APPARATUS FOR SEARCHING A PLURALITY OF STORED DIGITAL IMAGES}
본 발명은 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치에 관한 것이다.
이미지들 및 비디오와 같은 멀티미디어 콘텐트의 검색은 세계적인 관심거리이다. 이러한 방대한 양의 이용가능한 멀티미디어 콘텐트에 기인하여, 소비자와 사업 시장들 양쪽 모두를 위한 효과적인 검색 방법들이 필요하다. 이미지 탐색 엔진들을 이용하는 것이 이미지들을 검색하고 찾기 위한 대중적인 방법이 되었다. 일반적으로 이런 시스템들은 텍스트에 의한 이미지들의 태깅(tagging)에 의존한다. 텍스트는 주로 이미지들을 포함하는 문서로부터 발췌한 텍스트 또는 파일 이름으로 구성된다.
이미지 검색은 거의 이미지들을 동반하는 텍스트 특징들에만 의존하므로, 이러한 이미지 검색 과정은 문제의 소지가 될 수 있다. 예를 들면, 이러한 텍스트 정보는 항상 신뢰가능한 것이 아니고, 많은 경우들에 이런 정보는“노이지(noisy)”정보이다. 예를 들면, 웹 사이트들에서 이미지들의 파일 이름들은 이미지들이 시스템에 추가된 순서에 따라 독단적으로 선택된다. 또한 텍스트가 첨부 이미지들에 나타나 있는 오브젝트들(objects)과 반드시 관련된다고 할 수 없는 많은 상이한 오브젝트들을 언급하는 페이지로부터 관련 텍스트 정보를 발췌하는 것은 어렵다. 예를 들면, 텍스트는 첨부 이미지들에 도시되지 않은 많은 상이한 인물들을 언급할 수 있다.
부가적으로, 몇몇 이름들은 매우 흔하므로 이용자들이 그들이 생각하는 인물의 이미지들을 찾기가 어렵다. 예를 들면, 인터넷 상에는, 많은 웹 페이지들 상에 나타나는 인물들이 극히 드문 웹 페이지들 상에 나타나는 동명의 인물들보다 상위에 있다. 이로 인해 흔한 이름들이거나 이름들이 또한 명사들에 속하는 인물들의 이미지들을 찾는 것은 불가능하다.
그러므로, 종래의 이미지 검색 방법들은 흔히 부정확한 탐색 결과들을 리턴한다. 또한, 다수의 결과들이 리턴되어 이용자가 이용가능한 결과들을 선별하고 획득하는 것을 어렵게 만든다. 따라서 정확하고 일정한 결과들을 생성하고, 선별된 탐색 결과들을 제공하는 탐색 엔진을 갖는 것이 바람직할 것이다.
본 발명은 정확하고 일정한 탐색 결과들을 생성하고, 이런 결과들로 하여금 추가로 선별되도록 하는 시스템을 제공하고자 한다.
본 발명의 일 양태에 따르면 이것은 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법에 의해서 성취되고, 방법은: 탐색 질의(search query)에 따라 이미지들을 검색하는 단계; 이미지의 콘텐트의 미리 결정된 특성에 검색된 이미지들을 클러스터링(clustering)하는 단계; 미리 결정된 기준에 기초하여 클러스터들을 랭킹(ranking)하는 단계; 및 랭킹된 클러스터들에 따라 탐색 결과들을 리턴(return)하는 단계를 포함한다. 탐색 질의는 예를 들면, 인물의 이름 또는 또 다른 텍스트를 포함할 수 있다.
본 발명의 또 다른 양태에 따르면, 이것은 복수의 저장된 디지털 이미지들을 탐색하기 위한 장치에 의해 획득되고, 상기 장치는: 탐색 질의에 따라 이미지들을 검색하기 위한 검색 수단; 이미지의 콘텐트의 미리 결정된 특성에 따라 검색된 이미지들을 클러스터링하기 위한 클러스터링 수단; 미리 결정된 기준에 기초하여 클러스터들을 랭킹하기 위한 랭킹 수단; 및 랭킹된 클러스터들에 따라 탐색 결과들을 리턴하기 위한 출력 수단을 포함한다. 탐색 질의는 예를 들면, 인물의 이름 또는 또 다른 텍스트를 포함할 수 있다.
이 방식으로, 그들의 콘텐트에 따라 이미지들이 클러스터링되므로 정확한 탐색 결과들이 리턴된다. 또한, 탐색 결과들은 미리 결정된 기준에 따라 랭킹되므로 상기 탐색 결과들이 선별된다. 결과로서, 리턴된 결과들은 탐색 질의에 좀 더 구체적이며, 해석이 좀 더 용이하다.
디지털 이미지는 비디오 데이터 스트림 및 사진, 웹 사이트 또는 메타데이터를 갖는 이미지 등과 같은 정지된 디지털 이미지일 수 있다.
미리 결정된 특성은 인물의 미리 결정된 안면 특징과 같은, 오브젝트의 미리 결정된 특성일 수 있다. 검색된 이미지들은 얼굴 검출의 결과들을 이용하고, 동일/유사한 안면 특징들을 가지는 얼굴들을 포함하는 탐색 이미지들을 클러스터링함으로써 클러스터링될 수 있다. 이 방식으로, 구체적인 인물의 이미지들을 찾을 수 있다. 대안적으로, 검색된 이미지들은 예를 들면, 삼림 배경들의 이미지들을 클러스터링하고, 도시 배경들의 이미지들을 클러스터링함으로써 이들의 배경 콘텐트에 따라 클러스터링할 수 있다. 대안적으로, 검색된 이미지들은 이미지들에 포함된 동물들의 오브젝트들 또는 유형들 또는 임의의 다른 콘텐트의 미리 결정된 특성들에 따라 클러스터링할 수 있다.
미리 결정된 기준은 클러스터의 크기가 될 수 있고, 랭킹하는 단계는 클러스터들의 크기 순으로 예를 들면, 가장 큰 것을 첫 번째로 하여 클러스터들을 랭킹하는 단계를 포함할 수 있거나, 가장 인기 있거나 가장 최근 것이 첫 번째로 디스플레이되도록 접속 기록에 따라 또는 이용자 선호도에 따라 랭킹될 수 있다. 이 방식으로, 관련성이 가장 큰 클러스터들은 관련성이 적은 클러스터보다 더 높게 랭킹됨으로써 더 많은 가중치를 부여받는다. 이것은 좀 더 선별된 탐색을 제공한다.
탐색 결과들은 클러스터들 중 적어도 하나의 대표 이미지들을 디스플레이함으로써 리턴될 수 있다. 이러한 디스플레이된 대표 이미지들은 디스플레이된 이미지와 관련된 텍스트 또는 음성 데이터를 수반할 수 있다. 디스플레이된 대표 이미지를 선택할 때, 선택된 대표적 이미지와 연관된 클러스터의 모든 이미지들이 디스플레이될 수 있다. 이 방식으로, 이용자는 대표 이미지들의 형태로 요약된 메뉴를 제공받는다. 이용자는 적은 수의 디스플레이된 대표 이미지들 만을 통해 네비게이트(navigate)할 필요가 있어서, 이들의 탐색 질의와 관련된 이미지들을 찾을 수 있다. 이것은 결과를 검토하고, 해석하기 위한 간단하고 효과적인 방법을 제공하는데 있어서 추가적인 개선을 성취한다.
클러스터들의 랭킹은 선택된 디스플레이된 대표 이미지에 기초하여 조절할 수 있다. 이 방식으로, 결과들을 추가로 선별하여 이용자의 관심에 따라 랭킹된 이미지들을 이용자에게 제공한다.
본 발명의 좀 더 완벽한 이해를 위해, 첨부된 도면과 함께 이제 다음의 설명에 대한 참조가 행해진다.
도 1은 본 발명의 일 실시예에 따른 복수의 저장된 디지털 이미지들을 탐색하기 위한 장치의 간단한 개략도.
도 2는 본 발명의 일 실시예에 따른 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법의 흐름도.
도 1을 참조하면, 장치(100)는 데이터베이스(102)를 포함하고, 이의 출력부는 검색 수단(104)의 입력부에 접속된다. 검색 수단(104)은 예를 들면, 웹이나 데스크톱 탐색 엔진과 같은 탐색 엔진일 수 있다. 검색 수단(104)의 출력부는 검출 수단(106)의 입력부에 접속된다. 검출 수단(106)의 출력부는 클러스터링 수단(108)의 입력부에 접속된다. 클러스터링 수단(108)의 출력부는 랭킹 수단(110)의 입력부에 접속된다. 랭킹 수단(110)의 출력부는 출력 수단(112)의 입력부에 접속되고, 출력 수단(112)의 출력부는 랭킹 수단(110)의 입력부에 차례로 접속된다. 이용자 입력은 선택 수단(114)을 통해 출력 수단(112)에 제공될 수 있다.
도 1 및 도 2를 참조하면, 탐색 질의는 작동 중에 검색 수단(104)으로 입력된다(단계(202)). 검색 수단(104)은 데이터베이스(102)에 액세스한다. 데이터베이스(102)는 오리지널 데이터(예를 들면, 웹 사이트 urls) 및 기술적 정보(예를 들면, 메타데이터)로의 참조들의 리스트인 인덱스이다. 오리지널 데이터는 예를 들면, 비디오 데이터 스트림, 또는 정지된 디지털 이미지들(예를 들면, 사진들)와 같은 디지털 이미지들을 포함할 수 있다. 검색 수단(104)은 예를 들면, 새로운 디지털 이미지들을 위한 웹을 지속적으로 탐색할 수 있다. 검색 수단(104)은 새로운 디지털 이미지들을 지속적으로 인덱스하고, 관련된 기술적 정보를 갖는 데이터베이스(102)에 새롭게 인덱스된 디지털 이미지들을 추가한다. 탐색 질의의 입력 시에 검색 수단(104)은 데이터베이스(102)의 텍스트에 대한 탐색을 실행하고, 탐색 질의에 따라 이미지들을 검색한다(단계(204)).
검색된 이미지들은 검출 수단(106)으로 입력된다. 검출 수단(106)은 예를 들면, 얼굴 검출기일 수 있다. 대안적으로, 검출 수단(106)은 배경 콘텐트 검출기 또는 동물들의 오브젝트 형태 또는 유형들 등을 검출하는 검출기일 수 있다. 얼굴 검출기의 경우 검출 수단(106)은 검색된 이미지들 내에서 얼굴들을 검출한다(단계(206)). 이것은 얼굴들을 포함하는 영역들을 검색된 이미지들에서 검출하고, 검색된 이미지의 얼굴들 모두의 위치 및 크기를 찾음으로써 성취된다. 이미지에서의 얼굴들을 검출하는 방법은 얼굴 검출로서 알려져 있다. 얼굴 검출 방법의 일례는 예를 들면, P. Viola, and M. Jones, IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001의“Rapid object detection using a boosted cascade of simple features”에 개시되어 있다. 인물의 아이덴티티(identity)는 이미지의 인물의 얼굴 생김새에 기초하여 결정될 수 있다. 인물을 식별하는 이 방법은 얼굴 인식으로서 알려져 있다. 얼굴 인식 방법의 일례는 예를 들면, B. Kroon, S. Boughorbel, and A. Hanjalic, ACM Conference on Image and Video Retrieval, 2007의 “Comparison of Face Matching Techniques under Pose Variation”에 개시되어 있다.
검출 수단(106)은 검색된 이미지들 및 검출된 얼굴들을 클러스터링 수단(108)으로 출력한다.
대안적으로, 검출 수단(106)은 검색 수단(104)이 인덱스하는 각 디지털 이미지를 위한 검출을 미리 실행할 수 있다. 이 방식으로, 검색 수단(104)은 찾아지는 임의의 새로운 디지털 이미지들을 인덱스하는 새로운 디지털 이미지들을 위한 웹을 연속적으로 탐색하고, 검출 수단(106)은 인덱스된 디지털 이미지들 각각에 대한 검출을 실행한다. 그 다음, 데이터베이스(102)는 탐색 질의의 입력 시 검색 수단(104)에 의해 검색될 수 있는 각 디지털 이미지를 위한 검출된 모든 얼굴들의 안면 특징들 및 디지털 이미지들에 대한 참조들을 포함하고, 클러스터링 수단(108)으로 입력될 수 있다. 이는 시스템으로 하여금 신속하고, 효과적으로 실행할 수 있도록 하며, 이것은 검출이 탐색 질의가 입력될 때마다 실행될 필요가 없기 때문이다.
클러스터링 수단(108)은 이미지 콘텐트의 미리 결정된 특성에 따라 검색된 이미지들을 클러스터링한다(단계(208)). 미리 결정된 특성은 예를 들면, 인물의 미리 결정된 안면 특성과 같은 오브젝트의 미리 결정된 특징일 수 있다. 클러스터링 수단(108)은 검색된 이미지들을 클러스터링하기 위해 다수의 안면 특징들을 이용할 수 있다. 대안적으로, 미리 결정된 특성은 텍스처와 같은 이미지 특성일 수 있다. 안면 특징들의 경우에, 클러스터링 수단(108)은 동일하거나 유사한 특징들을 갖는 얼굴들을 포함하는 검색된 이미지들을 클러스터링한다. 동일하거나 유사한 특징들은 동일 인물에 속할 가능성이 있다. 대안적으로, 클러스터링 수단(108)은 관련된 배경 콘텐트를 포함하는 검색된 이미지를 클러스터링할 수 있다. 예를 들면, 클러스터링 수단(108)은 도시 배경과 관련된 모든 이미지들 및 삼림 배경과 관련된 모든 이미지들을 클러스터링할 수 있다. 대안적으로, 클러스터링 수단(108)은 동물의 특정 오브젝트 또는 유형 등을 포함하는 이미지들을 클러스터링할 수 있다. 클러스터링 기술들의 예들은 WO2006/095292, US2007 /0296863, WO2007 /036843 및 US2003/0210808에 개시되어 있다.
클러스터들은 클러스터링 수단(108)으로부터 랭킹 수단(110)으로 출력된다. 랭킹 수단(110)은 미리 결정된 기준에 기초하여 클러스터들을 랭킹한다(단계(210)). 미리 결정된 기준은 예를 들면, 클러스터의 크기일 수 있다. 랭킹 수단(110)은 클러스터들의 크기 순서로 예를 들면, 가장 큰 클러스터가 첫 번째로 클러스터들을 랭킹한다. 클러스터의 크기는 오브젝트(예를 들면, 인물)가 검색된 이미지들에 얼마나 자주 존재하는지를 나타낸다. 클러스터가 커질수록, 클러스터가 질의된 인물을 더 많이 피처(feature)할 가능성이 있다. 더 작은 클러스터들은 타겟과 몇몇 의미론적인 관련성을 갖는 인물들을 피처할 수 있다. 예를 들면, 이탈리아 정치가 프로디(Prodi) 또는 베르수스코니(Berlusconi)에 관한 질의에서 더 큰 클러스터들은 프로디 또는 베르수스코니를 나타낼 수 있지만, 더 작은 클러스터들은 동명의 상이한 인물들 또는 다른 정치가들을 피처할 수 있다. 대안적으로, 랭킹 수단(110)은 가장 인기 있거나 가장 최근에 첫 번째로 디스플레이되도록 이용자 선호도 또는 접속 기록에 따라 클러스터들을 랭킹할 수 있다. 이 방식으로, 가장 인기 있거나 가장 최근의 클러스터들(즉, 가장 관련된 클러스터들)은 적게 관련된 클러스터들보다 더 높게 랭킹함으로써 더 많은 가중치를 부여받는다.
랭킹된 클러스터들은 랭킹 수단(110)으로부터 출력되고, 출력 수단(112)으로 입력된다. 출력 수단(112)은 랭킹된 클러스터들에 따라 탐색 결과들을 리턴한다(단계(212)). 출력 수단(112)은 예를 들면, 디스플레이일 수 있다. 출력 디바이스(112)는 클러스터들 중 적어도 하나의 대표 이미지들을 디스플레이함으로써 탐색 결과들을 리턴할 수 있다. 디스플레이된 대표 이미지들은 디스플레이된 이미지들과 관련된 텍스트 및/또는 음성 데이터를 수반할 수 있다.
이용자는 선택 수단(114)을 통해 디스플레이된 대표 이미지를 선택할 수 있다(단계(214)). 디스플레이된 대표 이미지 선택 시에, 출력 수단(112)은 선택된 대표 이미지와 연관된 클러스터의 모든 이미지들을 디스플레이한다. 출력 수단(112)은 탐색 결과들의 계층적 표현을 이용한다.
출력 수단(112)은 탐색 결과들을 리턴할 때, 적합성 피드백 옵션(relevance feedback option)을 이용할 수 있다. 출력 수단(112)은 랭킹 수단(110)으로 선택된 대표 이미지들을 출력한다. 그 다음, 랭킹 수단(110)은 선택된 대표 이미지들에 대응하는 클러스터들에 좀 더 가중치를 부여함으로써 클러스터들의 랭킹을 조정한다(단계 (216)). 즉, 이용자가 대표 이미지를 선택할 때, 선택된 대표 이미지에 대응하는 클러스터는 랭킹된 클러스터들에서 예를 들면, 첫 번째로 보이도록 상위로 이동된다. 이 방식으로, 이용자가 좀 더 흥미를 갖고 있는 클러스터들을 첫 번째로 디스플레이하여, 이용자가 좀 더 용이하게 이용가능한 결과들을 선별하고 획득할 수 있도록 한다. 랭킹 수단(110)은 디스플레이를 위해 출력 수단(112)으로 다시 랭킹된 클러스터들을 출력한다.
본 발명의 실시예는 첨부된 도면에서 설명되고, 상기 기술에서 설명되었을지라도, 본 발명은 개시된 실시예들에 제한되지 않지만, 아래의 청구범위에서 기재한 것과 같이 본 발명의 범위를 벗어나지 않는 다수의 수정들이 가능한 것으로 이해될 것이다. 본 발명은 각 및 모든 신규의 특성의 특징, 및 각 및 모든 특성의 특징들의 결합에 존재한다. 청구범위의 참조 부호들은 이들의 보호 범위를 제한하지 않는다. 동사 “포함하다(to comprise)” 및 이의 동사변형들의 이용은 청구범위에서 기재한 것 이외의 다른 요소들의 존재를 배제하지 않는다. 요소 앞의 관사("a" 또는 "an")의 이용은 복수의 이러한 요소들의 존재를 배제하지 않는다.
당업자에게는 명확할 바와 같은,‘수단들(means)'은 단독으로 또는 다른 기능들과 결합해서, 분리되거나 다른 요소들과 협력된, 작동 중의 재생 또는 특정의 기능을 재생하도록 설계된 임의의 하드웨어(별개 또는 통합된 회로들 또는 전자 요소들과 같은) 또는 소프트웨어(프로그램들 또는 프로그램들의 일부들과 같은)를 포함하는 것을 의미한다. 본 발명은 적합하게 프로그래밍된 컴퓨터에 의해 및 몇몇 별개의 요소들을 포함하는 하드웨어에 의해 구현될 수 있다. 몇몇 수단들을 나열하는 장치 청구항에서, 이러한 몇몇 수단들은 하드웨어 하나 및 동일한 아이템에 의해 구현될 수 있다.‘컴퓨터 프로그램 제품’은 인터넷과 같은 네트워크를 통해 다운로드가능하거나, 임의의 다른 방식으로 시장성이 있는 플로피 디스크와 같은, 컴퓨터-판독가능한 매체 상에 저장된 임의의 소프트웨어 제품을 의미하는 것으로 이해되어야 한다.
100: 장치 102: 데이터베이스
104: 검색 수단 106: 검출 수단
108: 클러스터링 수단 110: 랭킹 수단
112: 출력 수단 114: 선택 수단

Claims (13)

  1. 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법에 있어서:
    탐색 질의에 따라 이미지들을 검색하는 단계;
    상기 이미지의 콘텐트(content)의 미리 결정된 특성에 따라 상기 검색된 이미지들을 클러스터링(clustering)하는 단계;
    미리 결정된 기준에 기초하여 클러스터들을 랭킹(ranking)하는 단계; 및
    상기 랭킹된 클러스터들에 따라 탐색 결과들을 리턴(return)하는 단계를 포함하는, 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 미리 결정된 특성은 오브젝트(object)의 미리 결정된 특징인, 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법.
  3. 제 2 항에 있어서,
    상기 오브젝트의 미리 결정된 특성은 인물의 미리 결정된 안면 특징인, 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법.
  4. 제 3 항에 있어서,
    상기 검색된 이미지들을 클러스터링하는 단계는:
    얼굴 검출의 결과들을 이용하는 단계; 및
    동일하거나/유사한 안면 특징들을 가지는 얼굴들을 포함하는 검색된 이미지들을 클러스터링하는 단계를 포함하는, 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 미리 결정된 기준은 클러스터의 크기이고 상기 랭킹하는 단계는 상기 클러스터들의 크기 순서로 클러스터들을 랭킹하는 단계를 포함하는, 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법.
  6. 제 1 항에 있어서,
    상기 탐색 결과들을 리턴하는 단계는 상기 클러스터들 중 적어도 하나의 대표 이미지들을 디스플레이하는 단계를 포함하는, 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법.
  7. 제 6 항에 있어서,
    상기 탐색 결과들을 리턴하는 단계는:
    상기 디스플레이된 대표 이미지들을 중 하나를 선택하는 단계; 및
    상기 선택된 대표 이미지와 연관된 상기 클러스터의 모든 이미지들을 디스플레이하는 단계를 추가로 포함하는, 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 탐색 결과들을 리턴하는 단계는 상기 디스플레이된 이미지와 관련된 음성 데이터 또는 텍스트를 제공하는 단계를 추가로 포함하는, 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법.
  9. 제 7 항에 있어서,
    상기 선택된 디스플레이된 대표 이미지에 기초하여 상기 클러스터들의 랭킹을 조정하는 단계를 추가로 포함하는, 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 따른 상기 방법을 실행하기 위해 복수의 프로그램 코드 부분들을 포함하는, 컴퓨터 프로그램 제품.
  11. 복수의 저장된 디지털 이미지들을 탐색하기 위한 장치에 있어서:
    탐색 질의에 따라 이미지들을 검색하기 위한 검색 수단;
    상기 이미지의 콘텐트의 미리 결정된 특성에 따라 상기 검색된 이미지를 클러스터링하기 위한 클러스터링 수단;
    미리 결정된 기준에 기초하여 클러스터들을 랭킹하기 위한 랭킹 수단; 및
    상기 랭킹된 클러스터들에 따라 탐색 결과들을 리턴하기 위한 출력 수단을 포함하는, 복수의 저장된 디지털 이미지들을 탐색하기 위한 장치.
  12. 제 11 항에 있어서,
    상기 검색된 이미지들 내에서 얼굴들을 검출하기 위한 검출 수단을 추가로 포함하고;
    상기 클러스터링 수단은 동일하거나/유사한 안면 특징들을 가지는 얼굴들을 포함하는 검색된 이미지들을 클러스터링하도록 동작가능한, 복수의 저장된 디지털 이미지들을 탐색하기 위한 장치.
  13. 제 11 항에 있어서,
    상기 출력 수단은 상기 클러스터들 중 적어도 하나의 대표 이미지들을 디스플레이하기 위한 디스플레이를 포함하고, 상기 장치는 대표 이미지들을 선택하기 위한 선택 수단을 추가로 포함하는, 복수의 저장된 디지털 이미지들을 탐색하기 위한 장치.
KR1020107025291A 2008-04-14 2009-04-14 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치 KR101659097B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08154466 2008-04-14
EP08154466.0 2008-04-14
PCT/IB2009/051545 WO2009128021A1 (en) 2008-04-14 2009-04-14 Method and apparatus for searching a plurality of stored digital images

Publications (2)

Publication Number Publication Date
KR20110007179A true KR20110007179A (ko) 2011-01-21
KR101659097B1 KR101659097B1 (ko) 2016-09-22

Family

ID=40975459

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107025291A KR101659097B1 (ko) 2008-04-14 2009-04-14 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US20110029510A1 (ko)
EP (1) EP2274691A1 (ko)
JP (1) JP5827121B2 (ko)
KR (1) KR101659097B1 (ko)
CN (1) CN102007492B (ko)
WO (1) WO2009128021A1 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211737A1 (en) * 2010-03-01 2011-09-01 Microsoft Corporation Event Matching in Social Networks
US9465993B2 (en) * 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
US9703895B2 (en) * 2010-06-11 2017-07-11 Microsoft Technology Licensing, Llc Organizing search results based upon clustered content
US8724910B1 (en) * 2010-08-31 2014-05-13 Google Inc. Selection of representative images
EP2635981A4 (en) 2010-11-01 2016-10-26 Microsoft Technology Licensing Llc IMAGE SEARCH
US8949253B1 (en) * 2012-05-24 2015-02-03 Google Inc. Low-overhead image search result generation
US9147000B2 (en) * 2012-06-29 2015-09-29 Yahoo! Inc. Method and system for recommending websites
US20140372419A1 (en) * 2013-06-13 2014-12-18 Microsoft Corporation Tile-centric user interface for query-based representative content of search result documents
JP5898158B2 (ja) * 2013-09-30 2016-04-06 富士フイルム株式会社 人物画像表示制御装置ならびにその制御方法，その制御プログラムおよびその制御プログラムを格納した記録媒体
JP5883837B2 (ja) * 2013-09-30 2016-03-15 富士フイルム株式会社 電子アルバム用人物画像決定装置ならびにその制御方法，その制御プログラムおよびその制御プログラムを格納した記録媒体
JP6313056B2 (ja) * 2014-01-31 2018-04-18 シャープ株式会社 情報処理装置、検索システム、情報処理方法、および、プログラム
US9639742B2 (en) 2014-04-28 2017-05-02 Microsoft Technology Licensing, Llc Creation of representative content based on facial analysis
US9773156B2 (en) * 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
US10002310B2 (en) * 2014-04-29 2018-06-19 At&T Intellectual Property I, L.P. Method and apparatus for organizing media content
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US9460493B2 (en) 2014-06-14 2016-10-04 Microsoft Technology Licensing, Llc Automatic video quality enhancement with temporal smoothing and user override
US9373179B2 (en) 2014-06-23 2016-06-21 Microsoft Technology Licensing, Llc Saliency-preserving distinctive low-footprint photograph aging effect
US10235389B2 (en) 2014-06-26 2019-03-19 Amazon Technologies, Inc. Identifying data from keyword searches of color palettes
US9996579B2 (en) 2014-06-26 2018-06-12 Amazon Technologies, Inc. Fast color searching
US9916613B1 (en) 2014-06-26 2018-03-13 Amazon Technologies, Inc. Automatic color palette based recommendations for affiliated colors
US9697573B1 (en) 2014-06-26 2017-07-04 Amazon Technologies, Inc. Color-related social networking recommendations using affiliated colors
US10223427B1 (en) 2014-06-26 2019-03-05 Amazon Technologies, Inc. Building a palette of colors based on human color preferences
US10120880B2 (en) 2014-06-26 2018-11-06 Amazon Technologies, Inc. Automatic image-based recommendations using a color palette
US10691744B2 (en) 2014-06-26 2020-06-23 Amazon Technologies, Inc. Determining affiliated colors from keyword searches of color palettes
US9679532B2 (en) * 2014-06-26 2017-06-13 Amazon Technologies, Inc. Automatic image-based recommendations using a color palette
US9524563B2 (en) 2014-06-26 2016-12-20 Amazon Technologies, Inc. Automatic image-based recommendations using a color palette
US10169803B2 (en) 2014-06-26 2019-01-01 Amazon Technologies, Inc. Color based social networking recommendations
US10255295B2 (en) 2014-06-26 2019-04-09 Amazon Technologies, Inc. Automatic color validation of image metadata
US9514543B2 (en) 2014-06-26 2016-12-06 Amazon Technologies, Inc. Color name generation from images and color palettes
US10073860B2 (en) 2014-06-26 2018-09-11 Amazon Technologies, Inc. Generating visualizations from keyword searches of color palettes
US10430857B1 (en) 2014-08-01 2019-10-01 Amazon Technologies, Inc. Color name based search
US9785649B1 (en) 2014-09-02 2017-10-10 Amazon Technologies, Inc. Hue-based color naming for an image
WO2018017059A1 (en) * 2016-07-19 2018-01-25 Hewlett-Packard Development Company, L.P. Image recognition and retrieval
US20180101540A1 (en) * 2016-10-10 2018-04-12 Facebook, Inc. Diversifying Media Search Results on Online Social Networks
KR102436018B1 (ko) 2018-01-23 2022-08-24 삼성전자주식회사 전자 장치 및 그 제어 방법
US11354349B1 (en) * 2018-02-09 2022-06-07 Pinterest, Inc. Identifying content related to a visual search query

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010053788A (ko) * 1999-12-01 2001-07-02 송문섭 내용기반 이미지 검색 시스템 및 그 방법
KR20060081659A (ko) * 2005-01-10 2006-07-13 삼성전자주식회사 상황기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 디지털 사진 앨범 시스템 및 방법
US20070174269A1 (en) * 2006-01-23 2007-07-26 Microsoft Corporation Generating clusters of images for search results
KR20080028574A (ko) * 2006-09-27 2008-04-01 야후! 인크. 통합 검색 서비스 시스템 및 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01166247A (ja) * 1987-12-23 1989-06-30 Hitachi Ltd 分散システムのデータ参照方式
US6742003B2 (en) * 2001-04-30 2004-05-25 Microsoft Corporation Apparatus and accompanying methods for visualizing clusters of data and hierarchical cluster classifications
JP3457617B2 (ja) * 2000-03-23 2003-10-20 株式会社東芝 画像検索システムおよび画像検索方法
US7130864B2 (en) * 2001-10-31 2006-10-31 Hewlett-Packard Development Company, L.P. Method and system for accessing a collection of images in a database
US20030210808A1 (en) * 2002-05-10 2003-11-13 Eastman Kodak Company Method and apparatus for organizing and retrieving images containing human faces
JP2004013575A (ja) * 2002-06-07 2004-01-15 Konica Minolta Holdings Inc 画像処理装置、画像処理方法、及びプログラム
JP3809823B2 (ja) * 2003-02-24 2006-08-16 日本電気株式会社 人物情報管理システムおよび人物情報管理装置
JP2004361987A (ja) * 2003-05-30 2004-12-24 Seiko Epson Corp 画像検索システム、画像分類システム、画像検索プログラム及び画像分類プログラム、並びに画像検索方法及び画像分類方法
US7274822B2 (en) * 2003-06-30 2007-09-25 Microsoft Corporation Face annotation for photo management
US20060153460A1 (en) * 2005-01-10 2006-07-13 Samsung Electronics Co., Ltd. Method and apparatus for clustering digital photos based on situation and system and method for albuming using the same
US7831599B2 (en) * 2005-03-04 2010-11-09 Eastman Kodak Company Addition of new images to an image database by clustering according to date/time and image content and representative image comparison
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
JP4544047B2 (ja) * 2005-06-15 2010-09-15 日本電信電話株式会社 Ｗｅｂ画像検索結果分類提示方法及び装置及びプログラム及びプログラムを格納した記憶媒体
US7904455B2 (en) * 2005-11-03 2011-03-08 Fuji Xerox Co., Ltd. Cascading cluster collages: visualization of image search results on small displays
US20070150802A1 (en) * 2005-12-12 2007-06-28 Canon Information Systems Research Australia Pty. Ltd. Document annotation and interface
JP4650293B2 (ja) * 2006-02-15 2011-03-16 富士フイルム株式会社 画像分類表示装置及び画像分類表示プログラム
US8116573B2 (en) * 2006-03-01 2012-02-14 Fujifilm Corporation Category weight setting apparatus and method, image weight setting apparatus and method, category abnormality setting apparatus and method, and programs therefor
JP4808512B2 (ja) * 2006-03-01 2011-11-02 富士フイルム株式会社 カテゴリ重要度設定装置および方法、画像重要度設定装置および方法並びにプログラム
US7949186B2 (en) * 2006-03-15 2011-05-24 Massachusetts Institute Of Technology Pyramid match kernel and related techniques
KR100771244B1 (ko) * 2006-06-12 2007-10-29 삼성전자주식회사 동영상 데이터 처리 방법 및 장치
US7684651B2 (en) * 2006-08-23 2010-03-23 Microsoft Corporation Image-based face search
CN1932846A (zh) * 2006-10-12 2007-03-21 上海交通大学 基于外表模型的视频人脸跟踪识别方法
US8676001B2 (en) * 2008-05-12 2014-03-18 Google Inc. Automatic discovery of popular landmarks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010053788A (ko) * 1999-12-01 2001-07-02 송문섭 내용기반 이미지 검색 시스템 및 그 방법
KR20060081659A (ko) * 2005-01-10 2006-07-13 삼성전자주식회사 상황기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 디지털 사진 앨범 시스템 및 방법
US20070174269A1 (en) * 2006-01-23 2007-07-26 Microsoft Corporation Generating clusters of images for search results
KR20080028574A (ko) * 2006-09-27 2008-04-01 야후! 인크. 통합 검색 서비스 시스템 및 방법

Also Published As

Publication number Publication date
CN102007492A (zh) 2011-04-06
US20110029510A1 (en) 2011-02-03
CN102007492B (zh) 2016-07-06
KR101659097B1 (ko) 2016-09-22
JP5827121B2 (ja) 2015-12-02
JP2011520175A (ja) 2011-07-14
EP2274691A1 (en) 2011-01-19
WO2009128021A1 (en) 2009-10-22

Similar Documents

Publication Publication Date Title
KR101659097B1 (ko) 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치
JP6015568B2 (ja) コンテンツ・リンクを生成する方法、装置およびプログラム
Clinchant et al. Semantic combination of textual and visual information in multimedia retrieval
Liu et al. Effective browsing of web image search results
US9009163B2 (en) Lazy evaluation of semantic indexing
US20070288453A1 (en) System and Method for Searching Multimedia using Exemplar Images
US9235643B2 (en) Method and system for generating search results from a user-selected area
WO2009047674A2 (en) Generating metadata for association with a collection of content items
KR20160107187A (ko) 검색 결과에서의 논리적인 질문 응답 기법
US9229958B2 (en) Retrieving visual media
US20100169178A1 (en) Advertising Method for Image Search
KR100876214B1 (ko) 문맥기반 광고 장치와 그 방법 및 이를 구현할 수 있는컴퓨터로 읽을 수 있는 기록 매체
KR100644016B1 (ko) 동영상 검색 시스템 및 방법
Heesch et al. Video Retrieval Using Search and Browsing.
Tommasi et al. Beyond metadata: searching your archive based on its audio-visual content
Lu et al. Browse-to-search: Interactive exploratory search with visual entities
Chivadshetti et al. Content based video retrieval using integrated feature extraction and personalization of results
EP2465056B1 (en) Method, system and controller for searching a database
Xu et al. Automatic generation of social event storyboard from image click-through data
Ashok Kumar et al. An efficient scene content-based indexing and retrieval on video lectures
Lili Hidden markov model for content-based video retrieval
Shinde et al. Retrieval of efficiently classified, re-ranked images using histogram based score computation algorithm extended with the elimination of duplicate images
Worring et al. Lexicon-based browsers for searching in news video archives
Azaiez et al. An approach of a semantic annotation and thematisation of AV documents
Adcock et al. FXPAL MediaMagic video search system

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right