KR101659097B1 - 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치 - Google Patents
복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR101659097B1 KR101659097B1 KR1020107025291A KR20107025291A KR101659097B1 KR 101659097 B1 KR101659097 B1 KR 101659097B1 KR 1020107025291 A KR1020107025291 A KR 1020107025291A KR 20107025291 A KR20107025291 A KR 20107025291A KR 101659097 B1 KR101659097 B1 KR 101659097B1
- Authority
- KR
- South Korea
- Prior art keywords
- images
- clusters
- retrieved
- stored digital
- search
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
복수의 저장된 디지털 이미지들이 탐색된다. 이미지들은 탐색 질의에 따라 검색된다(단계(204)). 검색된 이미지들은 이미지의 콘텐트의 미리 결정된 특성에 따라 클러스터링된다(단계(208)). 클러스터들은 미리 결정된 기준에 기초하여 랭킹된다(단계(210)). 탐색 결과들은 랭킹된 클러스터들에 따라 리턴된다(단계(212)).
Description
본 발명은 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치에 관한 것이다.
이미지들 및 비디오와 같은 멀티미디어 콘텐트의 검색은 세계적인 관심거리이다. 이러한 방대한 양의 이용가능한 멀티미디어 콘텐트에 기인하여, 소비자와 사업 시장들 양쪽 모두를 위한 효과적인 검색 방법들이 필요하다. 이미지 탐색 엔진들을 이용하는 것이 이미지들을 검색하고 찾기 위한 대중적인 방법이 되었다. 일반적으로 이런 시스템들은 텍스트에 의한 이미지들의 태깅(tagging)에 의존한다. 텍스트는 주로 이미지들을 포함하는 문서로부터 발췌한 텍스트 또는 파일 이름으로 구성된다.
이미지 검색은 거의 이미지들을 동반하는 텍스트 특징들에만 의존하므로, 이러한 이미지 검색 과정은 문제의 소지가 될 수 있다. 예를 들면, 이러한 텍스트 정보는 항상 신뢰가능한 것이 아니고, 많은 경우들에 이런 정보는“노이지(noisy)”정보이다. 예를 들면, 웹 사이트들에서 이미지들의 파일 이름들은 이미지들이 시스템에 추가된 순서에 따라 독단적으로 선택된다. 또한 텍스트가 첨부 이미지들에 나타나 있는 오브젝트들(objects)과 반드시 관련된다고 할 수 없는 많은 상이한 오브젝트들을 언급하는 페이지로부터 관련 텍스트 정보를 발췌하는 것은 어렵다. 예를 들면, 텍스트는 첨부 이미지들에 도시되지 않은 많은 상이한 인물들을 언급할 수 있다.
부가적으로, 몇몇 이름들은 매우 흔하므로 이용자들이 그들이 생각하는 인물의 이미지들을 찾기가 어렵다. 예를 들면, 인터넷 상에는, 많은 웹 페이지들 상에 나타나는 인물들이 극히 드문 웹 페이지들 상에 나타나는 동명의 인물들보다 상위에 있다. 이로 인해 흔한 이름들이거나 이름들이 또한 명사들에 속하는 인물들의 이미지들을 찾는 것은 불가능하다.
그러므로, 종래의 이미지 검색 방법들은 흔히 부정확한 탐색 결과들을 리턴한다. 또한, 다수의 결과들이 리턴되어 이용자가 이용가능한 결과들을 선별하고 획득하는 것을 어렵게 만든다. 따라서 정확하고 일정한 결과들을 생성하고, 선별된 탐색 결과들을 제공하는 탐색 엔진을 갖는 것이 바람직할 것이다.
본 발명은 정확하고 일정한 탐색 결과들을 생성하고, 이런 결과들이 더 세밀하게 구별되는 것을 허용하는 시스템을 제공하고자 한다.
본 발명의 일 양태에 따르면 이것은 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법에 의해서 성취되고, 방법은: 탐색 질의(search query)에 따라 이미지들을 검색하는 단계; 이미지의 콘텐트의 미리 결정된 특성에 검색된 이미지들을 클러스터링(clustering)하는 단계; 미리 결정된 기준에 기초하여 클러스터들을 랭킹(ranking)하는 단계; 및 랭킹된 클러스터들에 따라 탐색 결과들을 리턴(return)하는 단계를 포함한다. 탐색 질의는 예를 들면, 인물의 이름 또는 또 다른 텍스트를 포함할 수 있다.
본 발명의 또 다른 양태에 따르면, 이것은 복수의 저장된 디지털 이미지들을 탐색하기 위한 장치에 의해 획득되고, 상기 장치는: 탐색 질의에 따라 이미지들을 검색하기 위한 검색 수단; 이미지의 콘텐트의 미리 결정된 특성에 따라 검색된 이미지들을 클러스터링하기 위한 클러스터링 수단; 미리 결정된 기준에 기초하여 클러스터들을 랭킹하기 위한 랭킹 수단; 및 랭킹된 클러스터들에 따라 탐색 결과들을 리턴하기 위한 출력 수단을 포함한다. 탐색 질의는 예를 들면, 인물의 이름 또는 또 다른 텍스트를 포함할 수 있다.
이 방식으로, 그들의 콘텐트에 따라 이미지들이 클러스터링되므로 정확한 탐색 결과들이 리턴된다. 또한, 탐색 결과들은 미리 결정된 기준에 따라 랭킹되므로 상기 탐색 결과들이 선별된다. 결과로서, 리턴된 결과들은 탐색 질의에 좀 더 구체적이며, 해석이 좀 더 용이하다.
디지털 이미지는 비디오 데이터 스트림 및 사진, 웹 사이트 또는 메타데이터를 갖는 이미지 등과 같은 정지된 디지털 이미지일 수 있다.
미리 결정된 특성은 인물의 미리 결정된 안면 특징과 같은, 오브젝트의 미리 결정된 특성일 수 있다. 검색된 이미지들은 얼굴 검출의 결과들을 이용하고, 동일/유사한 안면 특징들을 가지는 얼굴들을 포함하는 탐색 이미지들을 클러스터링함으로써 클러스터링될 수 있다. 이 방식으로, 구체적인 인물의 이미지들을 찾을 수 있다. 대안적으로, 검색된 이미지들은 예를 들면, 삼림 배경들의 이미지들을 클러스터링하고, 도시 배경들의 이미지들을 클러스터링함으로써 이들의 배경 콘텐트에 따라 클러스터링할 수 있다. 대안적으로, 검색된 이미지들은 이미지들에 포함된 동물들의 오브젝트들 또는 유형들 또는 임의의 다른 콘텐트의 미리 결정된 특성들에 따라 클러스터링할 수 있다.
미리 결정된 기준은 클러스터의 크기가 될 수 있고, 랭킹하는 단계는 클러스터들의 크기 순으로 예를 들면, 가장 큰 것을 첫 번째로 하여 클러스터들을 랭킹하는 단계를 포함할 수 있거나, 가장 인기 있거나 가장 최근 것이 첫 번째로 디스플레이되도록 접속 기록에 따라 또는 이용자 선호도에 따라 랭킹될 수 있다. 이 방식으로, 관련성이 가장 큰 클러스터들은 관련성이 적은 클러스터보다 더 높게 랭킹됨으로써 더 많은 가중치를 부여받는다. 이것은 좀 더 선별된 탐색을 제공한다.
탐색 결과들은 클러스터들 중 적어도 하나의 대표 이미지들을 디스플레이함으로써 리턴될 수 있다. 이러한 디스플레이된 대표 이미지들은 디스플레이된 이미지와 관련된 텍스트 또는 음성 데이터를 수반할 수 있다. 디스플레이된 대표 이미지를 선택할 때, 선택된 대표적 이미지와 연관된 클러스터의 모든 이미지들이 디스플레이될 수 있다. 이 방식으로, 이용자는 대표 이미지들의 형태로 요약된 메뉴를 제공받는다. 이용자는 적은 수의 디스플레이된 대표 이미지들 만을 통해 네비게이트(navigate)할 필요가 있어서, 이들의 탐색 질의와 관련된 이미지들을 찾을 수 있다. 이것은 결과를 검토하고, 해석하기 위한 간단하고 효과적인 방법을 제공하는데 있어서 추가적인 개선을 성취한다.
클러스터들의 랭킹은 선택된 디스플레이된 대표 이미지에 기초하여 조절할 수 있다. 이 방식으로, 결과들을 추가로 선별하여 이용자의 관심에 따라 랭킹된 이미지들을 이용자에게 제공한다.
본 발명의 좀 더 완벽한 이해를 위해, 첨부된 도면과 함께 이제 다음의 설명에 대한 참조가 행해진다.
도 1은 본 발명의 일 실시예에 따른 복수의 저장된 디지털 이미지들을 탐색하기 위한 장치의 간단한 개략도.
도 2는 본 발명의 일 실시예에 따른 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법의 흐름도.
도 2는 본 발명의 일 실시예에 따른 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법의 흐름도.
도 1을 참조하면, 장치(100)는 데이터베이스(102)를 포함하고, 이의 출력부는 검색 수단(104)의 입력부에 접속된다. 검색 수단(104)은 예를 들면, 웹이나 데스크톱 탐색 엔진과 같은 탐색 엔진일 수 있다. 검색 수단(104)의 출력부는 검출 수단(106)의 입력부에 접속된다. 검출 수단(106)의 출력부는 클러스터링 수단(108)의 입력부에 접속된다. 클러스터링 수단(108)의 출력부는 랭킹 수단(110)의 입력부에 접속된다. 랭킹 수단(110)의 출력부는 출력 수단(112)의 입력부에 접속되고, 출력 수단(112)의 출력부는 랭킹 수단(110)의 입력부에 차례로 접속된다. 이용자 입력은 선택 수단(114)을 통해 출력 수단(112)에 제공될 수 있다.
도 1 및 도 2를 참조하면, 탐색 질의는 작동 중에 검색 수단(104)으로 입력된다(단계(202)). 검색 수단(104)은 데이터베이스(102)에 액세스한다. 데이터베이스(102)는 오리지널 데이터(예를 들면, 웹 사이트 urls) 및 기술적 정보(예를 들면, 메타데이터)로의 참조들의 리스트인 인덱스이다. 오리지널 데이터는 예를 들면, 비디오 데이터 스트림, 또는 정지된 디지털 이미지들(예를 들면, 사진들)와 같은 디지털 이미지들을 포함할 수 있다. 검색 수단(104)은 예를 들면, 새로운 디지털 이미지들을 위한 웹을 지속적으로 탐색할 수 있다. 검색 수단(104)은 새로운 디지털 이미지들을 지속적으로 인덱스하고, 관련된 기술적 정보를 갖는 데이터베이스(102)에 새롭게 인덱스된 디지털 이미지들을 추가한다. 탐색 질의의 입력 시에 검색 수단(104)은 데이터베이스(102)의 텍스트에 대한 탐색을 실행하고, 탐색 질의에 따라 이미지들을 검색한다(단계(204)).
검색된 이미지들은 검출 수단(106)으로 입력된다. 검출 수단(106)은 예를 들면, 얼굴 검출기일 수 있다. 대안적으로, 검출 수단(106)은 배경 콘텐트 검출기 또는 동물들의 오브젝트 형태 또는 유형들 등을 검출하는 검출기일 수 있다. 얼굴 검출기의 경우 검출 수단(106)은 검색된 이미지들 내에서 얼굴들을 검출한다(단계(206)). 이것은 얼굴들을 포함하는 영역들을 검색된 이미지들에서 검출하고, 검색된 이미지의 얼굴들 모두의 위치 및 크기를 찾음으로써 성취된다. 이미지에서의 얼굴들을 검출하는 방법은 얼굴 검출로서 알려져 있다. 얼굴 검출 방법의 일례는 예를 들면, P. Viola, and M. Jones, IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001의“Rapid object detection using a boosted cascade of simple features”에 개시되어 있다. 인물의 아이덴티티(identity)는 이미지의 인물의 얼굴 생김새에 기초하여 결정될 수 있다. 인물을 식별하는 이 방법은 얼굴 인식으로서 알려져 있다. 얼굴 인식 방법의 일례는 예를 들면, B. Kroon, S. Boughorbel, and A. Hanjalic, ACM Conference on Image and Video Retrieval, 2007의 “Comparison of Face Matching Techniques under Pose Variation”에 개시되어 있다.
검출 수단(106)은 검색된 이미지들 및 검출된 얼굴들을 클러스터링 수단(108)으로 출력한다.
대안적으로, 검출 수단(106)은 검색 수단(104)이 인덱스하는 각 디지털 이미지를 위한 검출을 미리 실행할 수 있다. 이 방식으로, 검색 수단(104)은 찾아지는 임의의 새로운 디지털 이미지들을 인덱스하는 새로운 디지털 이미지들을 위한 웹을 연속적으로 탐색하고, 검출 수단(106)은 인덱스된 디지털 이미지들 각각에 대한 검출을 실행한다. 그 다음, 데이터베이스(102)는 탐색 질의의 입력 시 검색 수단(104)에 의해 검색될 수 있는 각 디지털 이미지를 위한 검출된 모든 얼굴들의 안면 특징들 및 디지털 이미지들에 대한 참조들을 포함하고, 클러스터링 수단(108)으로 입력될 수 있다. 이는 시스템으로 하여금 신속하고, 효과적으로 실행할 수 있도록 하며, 이것은 검출이 탐색 질의가 입력될 때마다 실행될 필요가 없기 때문이다.
클러스터링 수단(108)은 이미지 콘텐트의 미리 결정된 특성에 따라 검색된 이미지들을 클러스터링한다(단계(208)). 미리 결정된 특성은 예를 들면, 인물의 미리 결정된 안면 특성과 같은 오브젝트의 미리 결정된 특징일 수 있다. 클러스터링 수단(108)은 검색된 이미지들을 클러스터링하기 위해 다수의 안면 특징들을 이용할 수 있다. 대안적으로, 미리 결정된 특성은 텍스처와 같은 이미지 특성일 수 있다. 안면 특징들의 경우에, 클러스터링 수단(108)은 동일하거나 유사한 특징들을 갖는 얼굴들을 포함하는 검색된 이미지들을 클러스터링한다. 동일하거나 유사한 특징들은 동일 인물에 속할 가능성이 있다. 대안적으로, 클러스터링 수단(108)은 관련된 배경 콘텐트를 포함하는 검색된 이미지를 클러스터링할 수 있다. 예를 들면, 클러스터링 수단(108)은 도시 배경과 관련된 모든 이미지들 및 삼림 배경과 관련된 모든 이미지들을 클러스터링할 수 있다. 대안적으로, 클러스터링 수단(108)은 동물의 특정 오브젝트 또는 유형 등을 포함하는 이미지들을 클러스터링할 수 있다. 클러스터링 기술들의 예들은 WO2006/095292, US2007 /0296863, WO2007 /036843 및 US2003/0210808에 개시되어 있다.
클러스터들은 클러스터링 수단(108)으로부터 랭킹 수단(110)으로 출력된다. 랭킹 수단(110)은 미리 결정된 기준에 기초하여 클러스터들을 랭킹한다(단계(210)). 미리 결정된 기준은 예를 들면, 클러스터의 크기일 수 있다. 랭킹 수단(110)은 클러스터들의 크기 순서로 예를 들면, 가장 큰 클러스터가 첫 번째로 클러스터들을 랭킹한다. 클러스터의 크기는 오브젝트(예를 들면, 인물)가 검색된 이미지들에 얼마나 자주 존재하는지를 나타낸다. 클러스터가 커질수록, 클러스터가 질의된 인물을 더 많이 피처(feature)할 가능성이 있다. 더 작은 클러스터들은 타겟과 몇몇 의미론적인 관련성을 갖는 인물들을 피처할 수 있다. 예를 들면, 이탈리아 정치가 프로디(Prodi) 또는 베르수스코니(Berlusconi)에 관한 질의에서 더 큰 클러스터들은 프로디 또는 베르수스코니를 나타낼 수 있지만, 더 작은 클러스터들은 동명의 상이한 인물들 또는 다른 정치가들을 피처할 수 있다. 대안적으로, 랭킹 수단(110)은 가장 인기 있거나 가장 최근에 첫 번째로 디스플레이되도록 이용자 선호도 또는 접속 기록에 따라 클러스터들을 랭킹할 수 있다. 이 방식으로, 가장 인기 있거나 가장 최근의 클러스터들(즉, 가장 관련된 클러스터들)은 적게 관련된 클러스터들보다 더 높게 랭킹함으로써 더 많은 가중치를 부여받는다.
랭킹된 클러스터들은 랭킹 수단(110)으로부터 출력되고, 출력 수단(112)으로 입력된다. 출력 수단(112)은 랭킹된 클러스터들에 따라 탐색 결과들을 리턴한다(단계(212)). 출력 수단(112)은 예를 들면, 디스플레이일 수 있다. 출력 디바이스(112)는 클러스터들 중 적어도 하나의 대표 이미지들을 디스플레이함으로써 탐색 결과들을 리턴할 수 있다. 디스플레이된 대표 이미지들은 디스플레이된 이미지들과 관련된 텍스트 및/또는 음성 데이터를 수반할 수 있다.
이용자는 선택 수단(114)을 통해 디스플레이된 대표 이미지를 선택할 수 있다(단계(214)). 디스플레이된 대표 이미지 선택 시에, 출력 수단(112)은 선택된 대표 이미지와 연관된 클러스터의 모든 이미지들을 디스플레이한다. 출력 수단(112)은 탐색 결과들의 계층적 표현을 이용한다.
출력 수단(112)은 탐색 결과들을 리턴할 때, 적합성 피드백 옵션(relevance feedback option)을 이용할 수 있다. 출력 수단(112)은 랭킹 수단(110)으로 선택된 대표 이미지들을 출력한다. 그 다음, 랭킹 수단(110)은 선택된 대표 이미지들에 대응하는 클러스터들에 좀 더 가중치를 부여함으로써 클러스터들의 랭킹을 조정한다(단계 (216)). 즉, 이용자가 대표 이미지를 선택할 때, 선택된 대표 이미지에 대응하는 클러스터는 랭킹된 클러스터들에서 예를 들면, 첫 번째로 보이도록 상위로 이동된다. 이 방식으로, 이용자가 좀 더 흥미를 갖고 있는 클러스터들을 첫 번째로 디스플레이하여, 이용자가 좀 더 용이하게 이용가능한 결과들을 선별하고 획득할 수 있도록 한다. 랭킹 수단(110)은 디스플레이를 위해 출력 수단(112)으로 다시 랭킹된 클러스터들을 출력한다.
본 발명의 실시예는 첨부된 도면에서 설명되고, 상기 기술에서 설명되었을지라도, 본 발명은 개시된 실시예들에 제한되지 않지만, 아래의 청구범위에서 기재한 것과 같이 본 발명의 범위를 벗어나지 않는 다수의 수정들이 가능한 것으로 이해될 것이다. 본 발명은 각 및 모든 신규의 특성의 특징, 및 각 및 모든 특성의 특징들의 결합에 존재한다. 청구범위의 참조 부호들은 이들의 보호 범위를 제한하지 않는다. 동사 “포함하다(to comprise)” 및 이의 동사변형들의 이용은 청구범위에서 기재한 것 이외의 다른 요소들의 존재를 배제하지 않는다. 요소 앞의 관사("a" 또는 "an")의 이용은 복수의 이러한 요소들의 존재를 배제하지 않는다.
당업자에게는 명확할 바와 같은,‘수단들(means)'은 단독으로 또는 다른 기능들과 결합해서, 분리되거나 다른 요소들과 협력된, 작동 중의 재생 또는 특정의 기능을 재생하도록 설계된 임의의 하드웨어(별개 또는 통합된 회로들 또는 전자 요소들과 같은) 또는 소프트웨어(프로그램들 또는 프로그램들의 일부들과 같은)를 포함하는 것을 의미한다. 본 발명은 적합하게 프로그래밍된 컴퓨터에 의해 및 몇몇 별개의 요소들을 포함하는 하드웨어에 의해 구현될 수 있다. 몇몇 수단들을 나열하는 장치 청구항에서, 이러한 몇몇 수단들은 하드웨어 하나 및 동일한 아이템에 의해 구현될 수 있다.‘컴퓨터 프로그램 제품’은 인터넷과 같은 네트워크를 통해 다운로드가능하거나, 임의의 다른 방식으로 시장성이 있는 플로피 디스크와 같은, 컴퓨터-판독가능한 매체 상에 저장된 임의의 소프트웨어 제품을 의미하는 것으로 이해되어야 한다.
100: 장치 102: 데이터베이스
104: 검색 수단 106: 검출 수단
108: 클러스터링 수단 110: 랭킹 수단
112: 출력 수단 114: 선택 수단
104: 검색 수단 106: 검출 수단
108: 클러스터링 수단 110: 랭킹 수단
112: 출력 수단 114: 선택 수단
Claims (14)
- 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법에 있어서:
데이터베이스 내의 상기 복수의 저장된 디지털 이미지들을 인덱싱하는 단계;
상기 복수의 저장된 디지털 이미지들과 관련된 기술적 정보(descriptive information)를 상기 데이터베이스에 부가하는 단계;
탐색 질의에 따라 상기 기술적 정보에 대한 탐색을 수행하는 단계;
상기 탐색 질의에 대응하는 이미지들을 검색하는 단계;
상기 검색된 이미지 내의 콘텐트(content)의 미리 결정된 특성에 따라 상기 검색된 이미지들을 클러스터들로 클러스터링(clustering)하는 단계;
상기 검색된 이미지들을 액세스하는 액세스 히스토리에 기초하여 상기 검색된 이미지들의 상기 클러스터들을 랭킹(ranking)하는 단계; 및
검색된 이미지들의 랭킹된 상기 클러스터들 중 적어도 하나의 대표 이미지들을 디스플레이함으로써 상기 랭킹된 클러스터들에 따라 탐색 결과들을 리턴(return)하는 단계를 포함하는, 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법. - 제 1 항에 있어서,
상기 미리 결정된 특성은 오브젝트(object)의 미리 결정된 특징인, 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법. - 제 2 항에 있어서,
상기 오브젝트의 미리 결정된 특성은 인물(person)의 미리 결정된 안면 특징인, 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법. - 제 3 항에 있어서,
상기 검색된 이미지들을 클러스터링하는 단계는:
얼굴 검출의 결과들을 이용하는 단계; 및
동일하거나/유사한 안면 특징들을 가지는 얼굴들을 포함하는 검색된 이미지들을 이미지들의 클러스터로 클러스터링하는 단계를 포함하는, 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법. - 삭제
- 삭제
- 제 1 항에 있어서,
상기 탐색 결과들을 리턴하는 단계는:
상기 디스플레이된 대표 이미지들 중 하나를 선택하는 단계; 및
상기 선택된 대표 이미지와 연관된 상기 클러스터의 모든 이미지들을 디스플레이하는 단계를 포함하는, 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법. - 삭제
- 제 7 항에 있어서,
상기 선택된 디스플레이된 대표 이미지에 기초하여 상기 클러스터들의 랭킹을 조정하는 단계를 추가로 포함하는, 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법. - 삭제
- 복수의 저장된 디지털 이미지들을 탐색하기 위한 장치에 있어서:
상기 복수의 저장된 디지털 이미지들을 저장하는 데이터베이스를 탐색하고;
상기 데이터베이스 내의 상기 복수의 저장된 디지털 이미지들을 인덱싱하고;
상기 복수의 저장된 디지털 이미지들과 관련된 기술적 정보를 상기 데이터베이스에 부가하고;
탐색 질의에 따라 상기 기술적 정보에 대한 탐색을 수행하고;
상기 탐색 질의에 대응하는 이미지들을 검색하고;
검색된 상기 이미지들 내의 콘텐트의 미리 결정된 특성에 따라 상기 검색된 이미지들을 클러스터들로 클러스터링하고;
상기 검색된 이미지들을 액세스하는 액세스 히스토리에 기초하여 상기 검색된 이미지들의 클러스터들을 랭킹하고;
상기 랭킹된 클러스터들에 따라 탐색 결과들을 리턴하도록 구성된 컴퓨터; 및
검색된 이미지들의 상기 랭킹된 클러스터들 중 적어도 하나의 대표 이미지들을 디스플레이하도록 구성된 디스플레이를 포함하는, 복수의 저장된 디지털 이미지들을 탐색하기 위한 장치. - 제 11 항에 있어서,
상기 컴퓨터는:
상기 검색된 이미지들 내에서 얼굴들을 검출하고;
유사한 안면 특징들을 가지는 얼굴들을 포함하는 검색된 이미지들을 이미지들의 클러스터로 클러스터링하도록 구성되는, 복수의 저장된 디지털 이미지들을 탐색하기 위한 장치. - 제 11 항에 있어서,
상기 컴퓨터는 대표 이미지들을 선택하도록 구성되는, 복수의 저장된 디지털 이미지들을 탐색하기 위한 장치. - 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법에 있어서:
데이터베이스 내의 상기 복수의 저장된 디지털 이미지들을 인덱싱하는 단계;
상기 복수의 저장된 디지털 이미지들과 관련된 기술적 정보를 상기 데이터베이스에 부가하는 단계;
탐색 질의에 따라 상기 기술적 정보에 대한 탐색을 수행하는 단계;
상기 탐색 질의에 대응하는 이미지들을 검색하는 단계;
검색된 상기 이미지들 내의 콘텐트의 미리 결정된 특성에 따라 상기 검색된 이미지들을 클러스터들로 클러스터링하는 단계;
상기 검색된 이미지들을 액세스하는 액세스 히스토리에 기초하여 상기 검색된 이미지들의 클러스터들을 랭킹하는 단계; 및
상기 랭킹된 클러스터들에 따라 탐색 결과들을 리턴하는 단계를 포함하는, 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP08154466.0 | 2008-04-14 | ||
EP08154466 | 2008-04-14 | ||
PCT/IB2009/051545 WO2009128021A1 (en) | 2008-04-14 | 2009-04-14 | Method and apparatus for searching a plurality of stored digital images |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110007179A KR20110007179A (ko) | 2011-01-21 |
KR101659097B1 true KR101659097B1 (ko) | 2016-09-22 |
Family
ID=40975459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020107025291A KR101659097B1 (ko) | 2008-04-14 | 2009-04-14 | 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20110029510A1 (ko) |
EP (1) | EP2274691A1 (ko) |
JP (1) | JP5827121B2 (ko) |
KR (1) | KR101659097B1 (ko) |
CN (1) | CN102007492B (ko) |
WO (1) | WO2009128021A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11074217B2 (en) | 2018-01-23 | 2021-07-27 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110211737A1 (en) * | 2010-03-01 | 2011-09-01 | Microsoft Corporation | Event Matching in Social Networks |
US9465993B2 (en) | 2010-03-01 | 2016-10-11 | Microsoft Technology Licensing, Llc | Ranking clusters based on facial image analysis |
US9703895B2 (en) * | 2010-06-11 | 2017-07-11 | Microsoft Technology Licensing, Llc | Organizing search results based upon clustered content |
US8724910B1 (en) * | 2010-08-31 | 2014-05-13 | Google Inc. | Selection of representative images |
EP2635981A4 (en) | 2010-11-01 | 2016-10-26 | Microsoft Technology Licensing Llc | IMAGE SEARCH |
US8949253B1 (en) * | 2012-05-24 | 2015-02-03 | Google Inc. | Low-overhead image search result generation |
US9147000B2 (en) * | 2012-06-29 | 2015-09-29 | Yahoo! Inc. | Method and system for recommending websites |
US20140372419A1 (en) * | 2013-06-13 | 2014-12-18 | Microsoft Corporation | Tile-centric user interface for query-based representative content of search result documents |
JP5898158B2 (ja) * | 2013-09-30 | 2016-04-06 | 富士フイルム株式会社 | 人物画像表示制御装置ならびにその制御方法,その制御プログラムおよびその制御プログラムを格納した記録媒体 |
JP5883837B2 (ja) * | 2013-09-30 | 2016-03-15 | 富士フイルム株式会社 | 電子アルバム用人物画像決定装置ならびにその制御方法,その制御プログラムおよびその制御プログラムを格納した記録媒体 |
JP6313056B2 (ja) * | 2014-01-31 | 2018-04-18 | シャープ株式会社 | 情報処理装置、検索システム、情報処理方法、および、プログラム |
US9639742B2 (en) | 2014-04-28 | 2017-05-02 | Microsoft Technology Licensing, Llc | Creation of representative content based on facial analysis |
US10002310B2 (en) * | 2014-04-29 | 2018-06-19 | At&T Intellectual Property I, L.P. | Method and apparatus for organizing media content |
US9773156B2 (en) | 2014-04-29 | 2017-09-26 | Microsoft Technology Licensing, Llc | Grouping and ranking images based on facial recognition data |
US10111099B2 (en) | 2014-05-12 | 2018-10-23 | Microsoft Technology Licensing, Llc | Distributing content in managed wireless distribution networks |
US9430667B2 (en) | 2014-05-12 | 2016-08-30 | Microsoft Technology Licensing, Llc | Managed wireless distribution network |
US9384334B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content discovery in managed wireless distribution networks |
US9384335B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content delivery prioritization in managed wireless distribution networks |
US9874914B2 (en) | 2014-05-19 | 2018-01-23 | Microsoft Technology Licensing, Llc | Power management contracts for accessory devices |
US10037202B2 (en) | 2014-06-03 | 2018-07-31 | Microsoft Technology Licensing, Llc | Techniques to isolating a portion of an online computing service |
US9367490B2 (en) | 2014-06-13 | 2016-06-14 | Microsoft Technology Licensing, Llc | Reversible connector for accessory devices |
US9460493B2 (en) | 2014-06-14 | 2016-10-04 | Microsoft Technology Licensing, Llc | Automatic video quality enhancement with temporal smoothing and user override |
US9373179B2 (en) | 2014-06-23 | 2016-06-21 | Microsoft Technology Licensing, Llc | Saliency-preserving distinctive low-footprint photograph aging effect |
US9697573B1 (en) | 2014-06-26 | 2017-07-04 | Amazon Technologies, Inc. | Color-related social networking recommendations using affiliated colors |
US9916613B1 (en) | 2014-06-26 | 2018-03-13 | Amazon Technologies, Inc. | Automatic color palette based recommendations for affiliated colors |
US10223427B1 (en) | 2014-06-26 | 2019-03-05 | Amazon Technologies, Inc. | Building a palette of colors based on human color preferences |
US10691744B2 (en) | 2014-06-26 | 2020-06-23 | Amazon Technologies, Inc. | Determining affiliated colors from keyword searches of color palettes |
US9524563B2 (en) | 2014-06-26 | 2016-12-20 | Amazon Technologies, Inc. | Automatic image-based recommendations using a color palette |
US10169803B2 (en) | 2014-06-26 | 2019-01-01 | Amazon Technologies, Inc. | Color based social networking recommendations |
US10120880B2 (en) | 2014-06-26 | 2018-11-06 | Amazon Technologies, Inc. | Automatic image-based recommendations using a color palette |
US10073860B2 (en) | 2014-06-26 | 2018-09-11 | Amazon Technologies, Inc. | Generating visualizations from keyword searches of color palettes |
US9996579B2 (en) | 2014-06-26 | 2018-06-12 | Amazon Technologies, Inc. | Fast color searching |
US9514543B2 (en) | 2014-06-26 | 2016-12-06 | Amazon Technologies, Inc. | Color name generation from images and color palettes |
US10235389B2 (en) | 2014-06-26 | 2019-03-19 | Amazon Technologies, Inc. | Identifying data from keyword searches of color palettes |
US10255295B2 (en) | 2014-06-26 | 2019-04-09 | Amazon Technologies, Inc. | Automatic color validation of image metadata |
US9679532B2 (en) * | 2014-06-26 | 2017-06-13 | Amazon Technologies, Inc. | Automatic image-based recommendations using a color palette |
US10430857B1 (en) | 2014-08-01 | 2019-10-01 | Amazon Technologies, Inc. | Color name based search |
US9785649B1 (en) | 2014-09-02 | 2017-10-10 | Amazon Technologies, Inc. | Hue-based color naming for an image |
US10872113B2 (en) | 2016-07-19 | 2020-12-22 | Hewlett-Packard Development Company, L.P. | Image recognition and retrieval |
US20180101540A1 (en) * | 2016-10-10 | 2018-04-12 | Facebook, Inc. | Diversifying Media Search Results on Online Social Networks |
US11354349B1 (en) * | 2018-02-09 | 2022-06-07 | Pinterest, Inc. | Identifying content related to a visual search query |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070174269A1 (en) | 2006-01-23 | 2007-07-26 | Microsoft Corporation | Generating clusters of images for search results |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01166247A (ja) * | 1987-12-23 | 1989-06-30 | Hitachi Ltd | 分散システムのデータ参照方式 |
US6742003B2 (en) * | 2001-04-30 | 2004-05-25 | Microsoft Corporation | Apparatus and accompanying methods for visualizing clusters of data and hierarchical cluster classifications |
KR100353798B1 (ko) * | 1999-12-01 | 2002-09-26 | 주식회사 코난테크놀로지 | 영상 객체 모양 정보 추출 방법 및 그를 이용한 내용기반 이미지 검색 시스템 및 그 방법 |
JP3457617B2 (ja) * | 2000-03-23 | 2003-10-20 | 株式会社東芝 | 画像検索システムおよび画像検索方法 |
US7130864B2 (en) * | 2001-10-31 | 2006-10-31 | Hewlett-Packard Development Company, L.P. | Method and system for accessing a collection of images in a database |
US20030210808A1 (en) * | 2002-05-10 | 2003-11-13 | Eastman Kodak Company | Method and apparatus for organizing and retrieving images containing human faces |
JP2004013575A (ja) * | 2002-06-07 | 2004-01-15 | Konica Minolta Holdings Inc | 画像処理装置、画像処理方法、及びプログラム |
JP3809823B2 (ja) * | 2003-02-24 | 2006-08-16 | 日本電気株式会社 | 人物情報管理システムおよび人物情報管理装置 |
JP2004361987A (ja) * | 2003-05-30 | 2004-12-24 | Seiko Epson Corp | 画像検索システム、画像分類システム、画像検索プログラム及び画像分類プログラム、並びに画像検索方法及び画像分類方法 |
US7274822B2 (en) * | 2003-06-30 | 2007-09-25 | Microsoft Corporation | Face annotation for photo management |
WO2006073299A1 (en) * | 2005-01-10 | 2006-07-13 | Samsung Electronics Co., Ltd. | Method and apparatus for clustering digital photos based on situation and system and method for albuming using the same |
KR100790865B1 (ko) * | 2005-01-10 | 2008-01-03 | 삼성전자주식회사 | 상황기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 디지털 사진 앨범 시스템 및 방법 |
US7831599B2 (en) * | 2005-03-04 | 2010-11-09 | Eastman Kodak Company | Addition of new images to an image database by clustering according to date/time and image content and representative image comparison |
US7519200B2 (en) * | 2005-05-09 | 2009-04-14 | Like.Com | System and method for enabling the use of captured images through recognition |
JP4544047B2 (ja) * | 2005-06-15 | 2010-09-15 | 日本電信電話株式会社 | Web画像検索結果分類提示方法及び装置及びプログラム及びプログラムを格納した記憶媒体 |
US7904455B2 (en) * | 2005-11-03 | 2011-03-08 | Fuji Xerox Co., Ltd. | Cascading cluster collages: visualization of image search results on small displays |
US20070150802A1 (en) * | 2005-12-12 | 2007-06-28 | Canon Information Systems Research Australia Pty. Ltd. | Document annotation and interface |
JP4650293B2 (ja) * | 2006-02-15 | 2011-03-16 | 富士フイルム株式会社 | 画像分類表示装置及び画像分類表示プログラム |
JP4808512B2 (ja) * | 2006-03-01 | 2011-11-02 | 富士フイルム株式会社 | カテゴリ重要度設定装置および方法、画像重要度設定装置および方法並びにプログラム |
US8116573B2 (en) * | 2006-03-01 | 2012-02-14 | Fujifilm Corporation | Category weight setting apparatus and method, image weight setting apparatus and method, category abnormality setting apparatus and method, and programs therefor |
US7949186B2 (en) * | 2006-03-15 | 2011-05-24 | Massachusetts Institute Of Technology | Pyramid match kernel and related techniques |
KR100771244B1 (ko) * | 2006-06-12 | 2007-10-29 | 삼성전자주식회사 | 동영상 데이터 처리 방법 및 장치 |
US7684651B2 (en) * | 2006-08-23 | 2010-03-23 | Microsoft Corporation | Image-based face search |
KR100898454B1 (ko) * | 2006-09-27 | 2009-05-21 | 야후! 인크. | 통합 검색 서비스 시스템 및 방법 |
CN1932846A (zh) * | 2006-10-12 | 2007-03-21 | 上海交通大学 | 基于外表模型的视频人脸跟踪识别方法 |
US8676001B2 (en) * | 2008-05-12 | 2014-03-18 | Google Inc. | Automatic discovery of popular landmarks |
-
2009
- 2009-04-14 WO PCT/IB2009/051545 patent/WO2009128021A1/en active Application Filing
- 2009-04-14 JP JP2011503543A patent/JP5827121B2/ja active Active
- 2009-04-14 US US12/936,533 patent/US20110029510A1/en not_active Abandoned
- 2009-04-14 KR KR1020107025291A patent/KR101659097B1/ko active IP Right Grant
- 2009-04-14 EP EP09733634A patent/EP2274691A1/en not_active Ceased
- 2009-04-14 CN CN200980113195.8A patent/CN102007492B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070174269A1 (en) | 2006-01-23 | 2007-07-26 | Microsoft Corporation | Generating clusters of images for search results |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11074217B2 (en) | 2018-01-23 | 2021-07-27 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
US11550754B2 (en) | 2018-01-23 | 2023-01-10 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
Also Published As
Publication number | Publication date |
---|---|
CN102007492B (zh) | 2016-07-06 |
US20110029510A1 (en) | 2011-02-03 |
JP2011520175A (ja) | 2011-07-14 |
WO2009128021A1 (en) | 2009-10-22 |
JP5827121B2 (ja) | 2015-12-02 |
EP2274691A1 (en) | 2011-01-19 |
CN102007492A (zh) | 2011-04-06 |
KR20110007179A (ko) | 2011-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101659097B1 (ko) | 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치 | |
US20220035827A1 (en) | Tag selection and recommendation to a user of a content hosting service | |
US9846744B2 (en) | Media discovery and playlist generation | |
Liu et al. | Effective browsing of web image search results | |
US6751776B1 (en) | Method and apparatus for personalized multimedia summarization based upon user specified theme | |
US8321456B2 (en) | Generating metadata for association with a collection of content items | |
CN107122400B (zh) | 使用视觉提示细化查询结果的方法、计算系统及存储介质 | |
US8332391B1 (en) | Method and apparatus for automatically identifying compounds | |
EP2510464B1 (en) | Lazy evaluation of semantic indexing | |
US20120197890A1 (en) | Discovering and scoring relationships extracted from human generated lists | |
US20140344303A1 (en) | Method, system and controller for searching a database containing data items | |
US20100169178A1 (en) | Advertising Method for Image Search | |
US20100145922A1 (en) | Personalized search apparatus and method | |
Ivanov et al. | Object-based tag propagation for semi-automatic annotation of images | |
Zaharieva et al. | Retrieving Diverse Social Images at MediaEval 2017: Challenges, Dataset and Evaluation. | |
EP2465056B1 (en) | Method, system and controller for searching a database | |
Xu et al. | Automatic generation of social event storyboard from image click-through data | |
Rüger | Multimedia resource discovery | |
KR100831055B1 (ko) | 온톨로지 기반의 정보 검색 방법 | |
Worring et al. | Lexicon-based browsers for searching in news video archives | |
Shinde et al. | Retrieval of efficiently classified, re-ranked images using histogram based score computation algorithm extended with the elimination of duplicate images | |
Adcock et al. | FXPAL MediaMagic video search system | |
Snoek et al. | MediaMill: Video Search using a Thesaurus of 500 Machine Learned Concepts. | |
JP2018101283A (ja) | Webページを構成する成分キーワードの評価プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |