KR20090097710A - System and method for searching person - Google Patents
System and method for searching person Download PDFInfo
- Publication number
- KR20090097710A KR20090097710A KR1020080023027A KR20080023027A KR20090097710A KR 20090097710 A KR20090097710 A KR 20090097710A KR 1020080023027 A KR1020080023027 A KR 1020080023027A KR 20080023027 A KR20080023027 A KR 20080023027A KR 20090097710 A KR20090097710 A KR 20090097710A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- image
- calculating
- document
- index
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 인물 검색 시스템 및 방법에 관한 것으로, 보다 자세하게는, 문서에 포함된 이미지를 통해 유사도, 얼굴 지수, 최신성에 따른 적합도를 결정하여 상기 적합도에 따라 사용자 질의에 매칭되는 이미지를 인물 검색 결과로 제공하는 인물 검색 시스템 및 방법에 관한 것이다.The present invention relates to a person searching system and method, and more particularly, to determine a goodness of fit according to similarity, face index, and recency based on an image included in a document, and to match an image matching a user query according to the goodness of fit as a person search result. A person searching system and method for providing the same.
최근 이미지 검색이 가능해짐으로써 사용자 질의에 대응하는 이미지를 검색하는 모델링 방법이 많이 제시되고 있다. 예를 들어, 기존의 이미지 검색은 단어를 포함하고 있는 이미지들에 대해 그 단어의 중요도에 따라 정렬하여 노출하는 방식이 있었다.Recently, as image retrieval is possible, many modeling methods for retrieving an image corresponding to a user query have been proposed. For example, the conventional image search has a method of exposing images containing a word sorted according to the importance of the word.
그러나 최근에 사용자는 인물 명칭을 포함하는 질의를 입력하여 이미지를 검색하는 경우, 얼굴 영역이 대부분 포함된 이미지를 검색하고자 하는 경우가 많다. 예를 들면, 사용자가 연예인의 이름을 입력하여 이미지를 검색하는 경우, 이미지 검색 시 해당 연예인의 얼굴이 포함된 이미지를 검색하는 경우가 많이 있다.Recently, however, when a user searches for an image by inputting a query including a person's name, there are many cases where a user wants to search for an image including a face area. For example, when a user searches for an image by inputting a name of a celebrity, there are many cases where an image including a face of the celebrity is searched for when searching for an image.
종래의 이미지 검색은 사용자 질의에 대응하는 이미지 중 얼굴 영역이 포함된 이미지를 검색하기 어려운 문제점이 있었다. 특히, 종래에 이미지 검색에 대해 모델링을 하는 경우 이미지 프로세싱 기법을 적용하지 않아 사용자의 의도와 다른 검색 결과가 노출되는 경우도 종종 있었다.The conventional image search has a problem in that it is difficult to search for an image including a face region among images corresponding to a user query. In particular, in the case of modeling the image search in the prior art, the image processing technique is not applied, and sometimes a search result different from the user's intention is often exposed.
따라서, 이미지 검색 시 인물이 특정된 이미지를 검색하여 보다 정확한 인물 검색을 수행할 수 있는 방법이 요구되고 있다.Accordingly, there is a demand for a method of performing a more accurate person search by searching for an image in which a person is specified when searching for an image.
본 발명은 인물 명칭에 관련된 사용자 질의에 매칭되는 이미지를 검색함으로써 사용자의 검색 의도가 반영된 이미지 검색을 수행하는 인물 검색 시스템 및 방법을 제공한다.The present invention provides a person searching system and method for performing an image search reflecting a user's search intention by searching for an image matching a user query related to a person's name.
본 발명은 사용자 질의와 이미지와의 유사도를 이용하여 이미지를 검색함으로써 사용자 질의에 보다 적합한 이미지를 검색할 수 있는 인물 검색 시스템 및 방법을 제공한다.The present invention provides a person searching system and method capable of searching for an image more suitable for a user query by searching for an image using a similarity between the user query and the image.
본 발명은 이미지에서 검출한 얼굴 영역을 통해 얼굴 지수를 계산함으로써 얼굴 위주의 인물 검색을 하는 사용자 검색 의도를 반영할 수 있는 인물 검색 시스템 및 방법을 제공한다.The present invention provides a person retrieval system and method that can reflect a user search intention for face-oriented person searching by calculating a face index through a face region detected in an image.
본 발명은 문서 작성 시점에 따른 문서의 최신성을 계산함으로써 인물 검색 시 사용자들의 최근 관심을 반영할 수 있는 이미지 검색 결과를 제공할 수 있는 인물 검색 시스템 및 방법을 제공한다.The present invention provides a person searching system and method that can provide an image search result that can reflect the user's recent interest when searching for a person by calculating the freshness of the document according to the document creation time.
본 발명의 일실시예에 따른 인물 검색 시스템은 인물 검색 시스템은 입력된 사용자 질의와 문서에 포함된 이미지 간의 유사도를 계산하는 유사도 계산부, 상기 문서에 포함된 이미지로부터 얼굴 영역을 검출하고, 상기 얼굴 영역을 이용하여 얼굴 지수를 계산하는 얼굴 지수 계산부, 상기 문서의 작성 시점을 이용하여 상기 문서의 최신성을 계산하는 최신성 계산부 및 상기 얼굴 지수, 상기 유사도 및 상기 최신성 중 적어도 하나에 따른 적합도를 이용하여 상기 사용자 질의에 매칭하는 이미지를 검색하는 이미지 검색부를 포함할 수 있다.In a person searching system according to an embodiment of the present invention, a person searching system may include a similarity calculator configured to calculate a similarity between an input user query and an image included in a document, and detect a face region from the image included in the document. A face index calculator for calculating a face index using an area, a freshness calculator for calculating the freshness of the document using a writing time of the document, and at least one of the face index, the similarity, and the freshness It may include an image search unit for searching for an image matching the user query using the goodness of fit.
이 때, 상기 얼굴 지수 계산부는 상기 얼굴 영역의 속성으로부터 전체 이미지에서 상기 얼굴 영역이 차지하는 얼굴 영역 비율을 계산하는 얼굴 영역 비율 계산부, 상기 얼굴 영역의 속성으로부터 얼굴 개수를 계산하는 얼굴 개수 계산부, 상기 얼굴 영역의 속성으로부터 얼굴 사이즈를 계산하는 얼굴 사이즈 계산부 및 상기 얼굴 영역의 속성으로부터 피부색 비율을 계산하는 피부색 비율 계산부를 포함할 수 있다.In this case, the face index calculator may include: a face region ratio calculator configured to calculate a face region ratio occupied by the face region in the entire image from the attributes of the face region, a face number calculator configured to calculate the number of faces from the attributes of the face region; A face size calculator may be configured to calculate a face size from an attribute of the face region, and a skin color ratio calculator may be configured to calculate a skin color ratio from an attribute of the face region.
본 발명의 일실시예에 따른 인물 검색 방법은 입력된 사용자 질의와 문서에 포함된 이미지 간의 유사도를 계산하는 단계, 상기 문서에 포함된 이미지로부터 얼굴 영역을 검출하고, 상기 얼굴 영역을 이용하여 얼굴 지수를 계산하는 단계, 상기 문서의 작성 시점을 이용하여 상기 문서의 최신성을 계산하는 단계 및 상기 얼굴 지수, 상기 유사도 및 상기 최신성 중 적어도 하나에 따른 적합도를 이용하여 상기 사용자 질의에 매칭하는 이미지를 검색하는 단계를 포함할 수 있다.According to an embodiment of the present invention, a person searching method may include calculating a similarity between an input user query and an image included in a document, detecting a face region from the image included in the document, and using the face region to extract a face index. Calculating a recency of the document by using the time of creation of the document and an image matching the user query using a goodness of fit according to at least one of the face index, the similarity, and the recency. Searching may be included.
이 때, 얼굴 지수를 계산하는 상기 단계는 상기 얼굴 영역의 속성으로부터 전체 이미지에서 상기 얼굴 영역이 차지하는 얼굴 영역 비율을 계산하는 단계, 상기 얼굴 영역의 속성으로부터 얼굴 개수를 계산하는 단계, 상기 얼굴 영역의 속성으로부터 얼굴 사이즈를 계산하는 단계 및 상기 얼굴 영역의 속성으로부터 피부색 비율을 계산하는 단계를 포함할 수 있다.In this case, the calculating of the face index may include calculating a proportion of the face area occupied by the face area in the entire image from the property of the face area, calculating the number of faces from the property of the face area, Calculating a face size from an attribute and calculating a skin color ratio from the attribute of the face region.
본 발명에 따르면, 인물 명칭에 관련된 사용자 질의에 매칭되는 이미지를 검색함으로써 사용자의 검색 의도가 반영된 이미지 검색을 수행하는 인물 검색 시스템 및 방법이 제공된다.According to the present invention, there is provided a person searching system and method for performing an image search reflecting a user's search intention by searching for an image matching a user query related to a person name.
본 발명에 따르면, 사용자 질의와 이미지와의 유사도를 이용하여 이미지를 검색함으로써 사용자 질의에 보다 적합한 이미지를 검색할 수 있는 인물 검색 시스템 및 방법이 제공된다.According to the present invention, there is provided a person searching system and method capable of searching for an image more suitable for a user query by searching for an image using a similarity between the user query and the image.
본 발명에 따르면, 이미지에서 검출한 얼굴 영역을 통해 얼굴 지수를 계산함으로써 얼굴 위주의 인물 검색을 하는 사용자 검색 의도를 반영할 수 있는 인물 검색 시스템 및 방법이 제공된다.According to the present invention, there is provided a person searching system and method that can reflect a user search intention of searching for a face-oriented person by calculating a face index through a face region detected in an image.
본 발명에 따르면, 문서 작성 시점에 따른 문서의 최신성을 계산함으로써 보다 최근 이미지를 제공할 수 있는 인물 검색 시스템 및 방법이 제공된다.According to the present invention, there is provided a person searching system and method that can provide a more recent image by calculating the freshness of the document according to the time of document creation.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 본 발명의 일실시예에 따른 인물 검색 방법은 인물 검색 시스템에 의해 수행될 수 있다.Hereinafter, with reference to the contents described in the accompanying drawings will be described in detail an embodiment according to the present invention. However, the present invention is not limited or limited by the embodiments. Like reference numerals in the drawings denote like elements. The person searching method according to an embodiment of the present invention may be performed by a person searching system.
도 1은 본 발명의 일실시예에 따른 인물 검색 시스템의 전체 구성을 도시한 블록 다이어그램이다.1 is a block diagram showing the overall configuration of a person searching system according to an embodiment of the present invention.
도 1을 참고하면, 본 발명의 일실시예에 따른 인물 검색 시스템(100)은 유사도 계산부(101), 얼굴 지수 계산부(102), 최신성 계산부(103) 및 이미지 검색 부(104)를 포함할 수 있다.Referring to FIG. 1, a
유사도 계산부(101)는 입력된 사용자 질의(105)와 문서에 포함된 이미지 간의 유사도를 계산할 수 있다. 이 때, 유사도 계산부(101)는 데이터베이스(106)에 저장된 문서를 이용할 수 있다. 일례로, 데이터베이스(106)는 이미지를 포함하는 적어도 하나의 문서를 저장하고 유지할 수 있다. 이 때, 문서는 디지털 문서를 포함하며, 뉴스, 블로그/카페 글, UCC 자료 등을 포함할 수 있다. 다만, 문서는 인물에 대한 얼굴 이미지를 포함할 수 있다.The
일례로, 유사도 계산부(101)는 문서에 포함된 텍스트 중 문서에 포함된 이미지와 관련된 텍스트를 이용하여 유사도를 계산할 수 있다. 즉, 인물 검색 시스템(100)은 문서에 포함된 이미지가 사용자 질의(105)와 관련이 있는지 여부를 바로 판단하기 어려울 수 있다.For example, the
따라서, 인물 검색 시스템(100)은 문서에 포함된 이미지와 관련된 텍스트를 이용하여 유사도를 계산함으로써, 문서에 포함된 이미지와 사용자 질의(105) 간에 관련이 있는 지 여부를 판단할 수 있다. 만약, "전지현"이라는 사용자 질의(105)가 입력되는 경우, 유사도 계산부(101)는 문서에서 "전지현"의 이미지와 관련된 텍스트 등을 이용하여 사용자 질의(105)와 이미지 간의 유사도를 계산할 수 있다.Accordingly, the
이 때, 이미지와 관련된 텍스트는 사용자 질의(105)와 연관된 텍스트일 수 있다. 즉, 이미지와 관련된 텍스트는 사용자 질의(105)를 포함하는 단어 또는 문장일 수 있다. 상기 예를 참고하면, 이미지와 관련된 텍스트는 "전지현" 그 자체이거나, "전지현"을 포함하는 문구 또는 문장일 수 있다. In this case, the text associated with the image may be text associated with the
일례로, 유사도 계산부(101)는 상기 이미지와 관련된 텍스트를 통해 상기 문서 상에서 상기 사용자 질의의 노출 빈도, 상기 사용자 질의가 노출된 총 문서의 개수 및 상기 문서에 포함된 전체 텍스트의 개수를 검출하여 유사도를 계산할 수 있다. 유사도 계산부(101)에 대해서는 도 2에서 구체적으로 설명된다. For example, the
얼굴 지수 계산부(102)는 문서에 포함된 이미지로부터 얼굴 영역을 검출하고, 상기 얼굴 영역을 이용하여 얼굴 지수를 계산할 수 있다. 인물 검색 시스템(100)은 얼굴 지수를 이용함으로써, 이미지 중에서 얼굴의 비중이 큰 이미지를 추출하여 사용자에게 제공할 수 있다. 사용자는 인물 검색 시 해당 인물의 얼굴이 부각된 이미지를 원하기 때문에, 인물 검색 시스템(100)을 통해 얼굴 영역이 강조된 인물 이미지가 제공될 수 있다.The
일례로, 얼굴 지수 계산부(102)는 복수 개의 얼굴 영역 사이에 중복 영역이 존재하는 경우, 상기 이미지로부터 상기 중복 영역이 제외된 얼굴 영역을 검출할 수 있다. 일례로, 얼굴 지수 계산부(102)는 얼굴 영역 비율, 얼굴 개수, 얼굴 사이즈, 피부색 비율을 계산할 수 있다.For example, when an overlapping region exists between a plurality of face regions, the
이 때, 얼굴 지수 계산부(102)는 상기 얼굴 사이즈 및 상기 얼굴 개수 각각의 가중합에 상기 피부색 비율 및 상기 얼굴 영역 비율을 적용하여 상기 얼굴 지수를 계산할 수 있다. 얼굴 지수 계산부(102)에 대해서는 도 3 내지 도 7에서 구체적으로 설명된다.In this case, the
최신성 계산부(103)는 문서의 작성 시점을 이용하여 상기 문서의 최신성을 계산할 수 있다. 인물 검색의 경우, 사용자는 해당 인물의 최근 모습을 검색하는 의도를 갖는 경우가 많으므로, 본 발명의 일실시예에 따른 인물 검색 시스템(100)은 문서의 최신성을 통해 보다 최근 문서에 포함된 인물 이미지를 제공할 수 있다.The
일례로, 최신성 계산부(103)는 상기 문서의 작성 시점 및 상기 사용자 질의가 입력된 현재 시점 간의 차이와 미리 설정한 임계 시점의 비율에 따라 상기 문서의 최신성을 계산할 수 있다. 최신성 계산부(103)에 대한 구체적인 내용은 도 8에서 설명된다.For example, the
이미지 검색부(104)는 얼굴 지수, 유사도 및 최신성 중 적어도 하나에 따른 적합도를 이용하여 상기 사용자 질의에 매칭하는 이미지를 검색할 수 있다. 즉, 본 발명의 일실시예에 따르면, 인물 검색 시스템(100)은 적합도 계산을 통해 사용자가 입력한 사용자 질의에 적합도가 높은 얼굴 이미지를 검색함으로써 인물 검색을 수행할 수 있다.The
일례로, 이미지 검색부(104)는 상기 얼굴 지수, 상기 유사도 및 상기 최신성 각각에 가중치를 적용하여 상기 적합도를 계산할 수 있다. 이미지 검색부(104)는 계산된 상기 적합도에 따라 이미지의 검색 랭킹을 결정하고, 상기 검색 랭킹에 따라 이미지를 검색할 수 있다.For example, the
도 2는 본 발명의 일실시예에 따른 인물 검색 시스템의 유사도 검색부의 동작을 설명하기 위한 일례를 도시한 도면이다.2 is a diagram illustrating an example for describing an operation of a similarity search unit of a person searching system according to an exemplary embodiment of the present invention.
도 2를 참고하면, 사용자 질의(105)가 입력될 수 있다. 이 때, 사용자 질의(105)는 "A"일 수 있다. 이 때, "A"는 인물 명칭과 연관된 질의일 수 있다. 예를 들면, "A" 그 자체일 수도 있고, "A"를 포함하는 질의일 수 있다.Referring to FIG. 2, a
그러면 유사도 계산부(101)는 입력된 사용자 질의(105)와 문서에 포함된 이미지 간의 유사도를 계산할 수 있다. 이 때, 유사도 계산부(101)는 데이터베이스(106)에 저장된 문서를 이용할 수 있다. 일례로, 데이터베이스(106)는 이미지를 포함하는 적어도 하나의 문서를 저장하고 유지할 수 있다. 이 때, 문서는 디지털 문서를 포함하며, 뉴스, 블로그/카페 글, UCC 자료 등을 포함할 수 있다. 다만, 문서는 인물에 대한 얼굴 이미지를 포함할 수 있다.The
예를 들어, 데이터베이스(105)에 문서(202)와 문서(203)가 저장되어 있다고 가정하자. 이 때, 문서(202)와 문서(203)는 이미지를 포함할 수 있다. 유사도 계산부(101)는 문서(202)와 문서(203)에 포함된 텍스트를 이용하여 사용자 질의(105)와 이미지 간의 유사도를 계산할 수 있다. For example, suppose
일례로, 유사도 계산부(101)는 문서에 포함된 텍스트 중 문서에 포함된 이미지와 관련된 텍스트를 이용하여 텍스트 간 유사도를 계산할 수 있다. 도 2를 참고하면, 이미지와 관련된 텍스트는 "A 화보 촬영", "주연: A, B"일 수 있다. 이 때, 이미지와 관련된 텍스트는 사용자 질의(105)와 연관된 텍스트일 수 있다. 즉, 이미지와 관련된 텍스트는 사용자 질의(105) 그 자체이거나 또는 유사한 단어, 사용자 질의(105)를 포함하는 문구나 문장 등이 포함될 수 있다.In one example, the
일례로, 유사도 계산부(101)는 문서 별 유사도(201)를 생성할 수 있다. 즉, 유사도가 높을수록, 해당 문서에 포함된 이미지와 사용자 질의(105) 간에 유사도가 높은 것을 의미한다. 또한, 유사도가 높으면, 인물 검색 시스템(100)이 검색한 인물 이미지는 사용자가 요구하는 인물 검색 결과에 가깝다고 판단될 수 있다.In one example, the
일례로, 유사도 계산부(101)는 이미지와 관련된 텍스트를 통해 문서 상에서 사용자 질의(105)의 노출 빈도(term frequency), 사용자 질의(105)가 노출된 총 문서의 개수(inverse document frequency) 및 상기 문서에 포함된 전체 텍스트의 개수(document length)를 검출하여 유사도를 계산할 수 있다. 이 때, 유사도 계산부(101)는 문서 상에서 사용자 질의(105)의 노출 빈도, 사용자 질의(105)가 노출된 총 문서의 개수 및 상기 문서에 포함된 전체 텍스트의 개수 각각에 가중치를 적용하여 유사도를 계산할 수 있다. 일례로, 유사도 계산부(101)는 수정된 2-Poisson 모델을 통해 유사도를 계산할 수 있다.In one example, the
결국, 인물 검색 시스템(100)은 사용자 질의(105)와 이미지 간의 유사도 계산을 함으로써 사용자 질의(105)에 관련도가 높은 이미지를 검색할 수 있다.As a result, the
도 3은 본 발명의 일실시예에 따른 인물 검색 시스템의 얼굴 지수 계산부의 전체 구성을 도시한 블록 다이어그램이다.3 is a block diagram showing the overall configuration of the face index calculation unit of the person searching system according to an embodiment of the present invention.
도 3을 참고하면, 얼굴 지수 계산부(102)는 얼굴 영역 비율 계산부(301), 얼굴 개수 계산부(302), 얼굴 사이즈 계산부(303) 및 피부색 비율 계산부(304)를 포함할 수 있다. 이 때, 얼굴 지수 계산부(102)는 문서에 포함된 이미지로부터 얼굴 영역을 검출하고, 상기 얼굴 영역을 이용하여 얼굴 지수를 계산할 수 있다. 도 1에서 볼 수 있듯이, 얼굴 지수 계산부(102)는 데이터베이스(106)에 저장된 적어도 하나의 문서에 포함된 이미지로부터 얼굴 영역을 검출할 수 있다. Referring to FIG. 3, the
얼굴 지수 계산부(102)는 복수 개의 얼굴 영역 사이에 중복 영역이 존재하는 경우, 상기 중복 영역이 제외된 얼굴 영역을 검출할 수 있다. 중복 영역을 제외하 여 얼굴 영역을 검출하는 경우, 중복 영역에 따른 오류를 줄일 수 있어 추후 얼굴 지수 계산시 정확도가 향상될 수 있다.The
얼굴 영역 비율 계산부(301)는 얼굴 영역의 속성으로부터 전체 이미지에서 얼굴 영역이 차지하는 얼굴 영역 비율을 계산할 수 있다. 이 때, 얼굴 영역 비율 계산부(301)는 상기 이미지에서 얼굴 영역 각각을 합산한 결과와 상기 이미지의 전체 사이즈를 이용하여 얼굴 영역 비율을 계산할 수 있다. 본 발명의 일실시예에 따르면, 얼굴 영역 비율이 클수록 얼굴 지수는 큰 값을 가질 수 있다.The face
얼굴 개수 계산부(302)는 얼굴 영역의 속성으로부터 얼굴 개수를 계산할 수 있다. 본 발명의 일실시예에 따르면, 얼굴 개수가 작을수록 이미지에서 얼굴 영역이 부각되는 정도가 커지기 때문에, 얼굴 개수가 작을수록 얼굴 지수가 높게 계산될 수 있다. 즉, 전체 얼굴 영역의 사이즈는 같아도 얼굴 개수가 작은 이미지가 얼굴 지수가 더 크게 나타날 수 있다.The
얼굴 사이즈 계산부(303)는 얼굴 영역의 속성으로부터 상기 얼굴 영역의 사이즈를 계산할 수 있다. 본 발명의 일실시예에 따르면, 동일한 얼굴 영역 비율을 가지는 이미지가 있더라도, 얼굴 영역의 사이즈가 큰 이미지가 더 큰 얼굴 지수를 나타낼 수 있다.The
피부색 비율 계산부(304)는 얼굴 영역의 속성으로부터 상기 얼굴 영역의 피부색 비율을 계산할 수 있다. 피부색은 색을 나타내는 요소인 명도, 채도, 색상을 통해 구분될 수 있다. 예를 들어, 피부색 비율 계산부(304)는 피부색을 단계별로 설정하여, 각 단계에 대응하는 피부색의 비율을 계산할 수 있다. 이 때, 피부색 비율 계산부(304)는 상기 이미지에서 얼굴 영역 각각을 합산한 결과와 상기 얼굴 영역의 피부색 각각을 합산한 결과를 이용하여 피부색 비율을 계산할 수 있다.The skin
이 때, 얼굴 지수 계산부(102)는 얼굴 영역 비율 계산부(301), 얼굴 개수 계산부(302), 얼굴 사이즈 계산부(303) 및 피부색 비율 계산부(304)를 각각 포함할 수 있다. 또한, 얼굴 지수 계산부(102)는 얼굴 영역 비율 계산부(301), 얼굴 개수 계산부(302), 얼굴 사이즈 계산부(303) 및 피부색 비율 계산부(304)를 전부 포함할 수 있다. 얼굴 영역 비율 계산부(301), 얼굴 개수 계산부(302), 얼굴 사이즈 계산부(303) 및 피부색 비율 계산부(304) 각각에 대해서는 도 4 내지 도 7에서 구체적으로 설명된다.In this case, the
일례로, 얼굴 지수 계산부(103)는 상기 얼굴 사이즈 및 상기 얼굴 개수 각각의 가중합에 상기 피부색 비율 및 상기 얼굴 영역 비율을 적용하여 상기 얼굴 지수를 계산할 수 있다. 본 발명의 일실시예에 따르면, 인물 검색 시스템(100)은 얼굴 지수가 더 높은 이미지를 검색 랭킹이 높게 설정하여 사용자에게 먼저 노출할 수 있다.For example, the
도 4는 본 발명의 일실시예에 따른 얼굴 영역 비율 계산부의 동작을 설명하기 위한 일례를 도시한 도면이다.4 is a diagram illustrating an example for describing an operation of a face region ratio calculator according to an exemplary embodiment of the present invention.
얼굴 영역 비율 계산부(301)는 얼굴 영역의 속성으로부터 전체 이미지에서 상기 얼굴 영역이 차지하는 얼굴 영역 비율을 계산할 수 있다. 이 때, 얼굴 영역 비율계산부(301)는 상기 이미지에서 얼굴 영역 각각을 합산한 결과와 상기 이미지의 전체 사이즈를 이용하여 얼굴 영역 비율을 계산할 수 있다. 일례로, 얼굴 영역 비율 계산부(103)는 하기 수학식 1에 따라 얼굴 영역 비율을 계산할 수 있다.The face
여기서, 는 얼굴 영역 비율을 의미하고, 는 전체 이미지에서 각각의 얼굴 영역의 사이즈를 의미한다. 예를 들어, 얼굴 영역이 2개인 경우, 는 2개의 얼굴 영역의 사이즈를 합산한 결과를 의미한다. 다만, 얼굴 영역 간에 중복되는 영역이 존재하는 경우, 얼굴 영역의 사이즈는 중복되는 영역을 제외한 부분에 대한 사이즈를 의미할 수 있다. 는 이미지의 전체 사이즈로, 가로 길이와 세로 길이의 곱으로 결정될 수 있다.here, Means the face area ratio, Denotes the size of each face region in the entire image. For example, if you have two face zones, Denotes the result of summing the sizes of two facial regions. However, when there is an overlapping area between the face areas, the size of the face area may mean a size of a portion excluding the overlapping area. Is the overall size of the image, which may be determined as the product of the width and length.
도 4를 참고하면, 이미지(401)와 이미지(402)는 이미지의 전체 사이즈는 동일하다. 다만, 이미지(401)가 이미지(402)보다 얼굴 영역의 사이즈가 작기 때문에, 수학식 1에 따라 얼굴 영역 비율은 이미지(401)가 이미지(402)보다 작게 나타난다. 인물 검색 시스템(100)은 이미지(401)보다 이미지(402)를 우선적으로 사용자에게 이미지 검색 결과로 노출할 수 있다.Referring to FIG. 4, the
도 5는 본 발명의 일실시예에 따른 얼굴 개수 계산부의 동작을 설명하기 위한 일례를 도시한 도면이다.5 is a diagram illustrating an example for describing an operation of a face count calculator according to an exemplary embodiment of the present invention.
얼굴 개수 계산부(302)는 얼굴 영역의 속성으로부터 얼굴 개수를 계산할 수 있다. 일례로, 얼굴 개수 계산부(302)를 통해 계산된 얼굴 개수는 하기 수학식 2에 따라 함수의 입력값으로 되며, 함수의 출력값은 얼굴 지수 계산할 때 사용될 수 있다.The
여기서, 는 얼굴 개수 계산부(302)가 계산한 얼굴 개수를 의미하고, A와 B는 상수를 의미한다. 수학식 2를 참고하면, 이미지(501)는 이미지(502)보다 얼굴 개수가 작기 때문에, 는 이미지(501)가 이미지(502)보다 더 큰 값을 가질 수 있다.here, Denotes the number of faces calculated by the
따라서, 얼굴 개수가 많을수록 전체 이미지에서 검색하고자 하는 얼굴 영역을 선정하기 어렵기 때문에, 상대적으로 얼굴 개수가 적은 이미지가 얼굴 개수가 많은 이미지보다 얼굴 지수가 더 높게 나타날 수 있다. 즉, 얼굴 개수가 적은 이미지가 얼굴 개수가 많은 이미지보다 얼굴 영역이 상대적으로 부각되어, 얼굴 지수가 높게 나타남을 의미한다.Therefore, as the number of faces increases, it is difficult to select a face area to be searched in the entire image. Therefore, a face index may be higher in an image having a relatively small number of faces than an image having a large number of faces. That is, the image having a small number of faces is relatively higher than the image having a large number of faces, which means that the face index is higher.
도 6은 본 발명의 일실시예에 따른 얼굴 사이즈 계산부의 동작을 설명하기 위한 일례를 도시한 도면이다.6 is a diagram illustrating an example for describing an operation of a face size calculator according to an exemplary embodiment of the present invention.
얼굴 사이즈 계산부(303)는 얼굴 영역의 속성으로부터 얼굴 사이즈를 계산할 수 있다. 이 때, 얼굴 사이즈는 얼굴 영역 비율과 얼굴 영역에서 피부색 비율에 의존적이라고 할 수 있다.The
일례로, 얼굴 사이즈 계산부(303)는 얼굴 사이즈를 계산할 수 있고, 계산된 얼굴 사이즈는 수학식 3에 따라 함수의 입력값으로 되고, 함수의 출력값이 얼굴 지수 계산시 이용될 수 있다.For example, the
여기서, 는 얼굴 영역에 대한 얼굴 사이즈를 의미하고, 는 이미지의 전체 사이즈를 의미한다. 이 때, 이미지 상에 얼굴이 복수 개이고, 얼굴 영역 간에 중복되는 영역이 존재하는 경우, 얼굴 사이즈 계산부(303)는 중복되는 영역을 제외하고 얼굴 사이즈를 계산할 수 있다. 일례로, 얼굴 사이즈가 클수록 얼굴 지수는 높게 계산될 수 있다.here, Means the face size for the face area, Means the total size of the image. In this case, when there are a plurality of faces on the image and there are overlapping areas between the face areas, the
도 6을 참고하면, 이미지(601)와 이미지(602)는 동일한 얼굴 영역 비율을 가진다. 다만, 얼굴 사이즈는 이미지(601)보다 이미지(602)가 더 큰 것을 알 수 있다. 따라서, 얼굴 영역이 동일하더라도 얼굴 사이즈가 더 큰 이미지(602)는 이미지(601)보다 얼굴 지수가 더 크게 계산될 수 있다.Referring to FIG. 6, the
도 7은 본 발명의 일실시예에 따른 피부색 비율 계산부의 동작을 설명하기 위한 일례를 도시한 도면이다.7 is a view showing an example for explaining the operation of the skin color ratio calculator according to an embodiment of the present invention.
피부색 비율 계산부(304)는 얼굴 영역의 속성으로부터 피부색 비율을 계산할 수 있다. 일례로, 피부색 비율 계산부(304)는 하기 수학식 4에 따라 얼굴 영역의 피부색 비율을 계산할 수 있다.The skin
여기서, 는 얼굴 영역의 피부색 비율을 의미하고, 는 전체 이미지에서 각각의 얼굴 영역의 크기를 의미한다. 또한, 는 전체 이미지에서 각각의 피부색이 나타내는 영역의 크기를 의미한다. 예를 들어, 얼굴 영역이 2개인 경우, 는 2개의 얼굴 영역의 사이즈를 합산한 결과를 의미한다. 이 때, 얼굴 영역이 중복되는 경우, 는 중복되는 영역을 제외한 얼굴 영역의 사이즈를 의미한다. 또한, 는 얼굴 영역에서 피부색 각각에 대응되는 영역의 사이즈를 합산한 결과를 의미한다.here, Means the skin color ratio of the face area, Means the size of each face area in the whole image. Also, Means the size of the area indicated by each skin color in the entire image. For example, if you have two face zones, Denotes the result of summing the sizes of two facial regions. At this time, if the face area overlaps, Denotes the size of the face region excluding the overlapping region. Also, Denotes a result of summing the sizes of the regions corresponding to the skin colors in the face region.
도 7을 참고하면, 이미지에서 얼굴 영역이 검출되면, 피부색 비율 계산부(304)는 얼굴 영역의 피부색 비율을 계산함으로써 얼굴 영역의 피부색 분포를 파악할 수 있다. 피부색은 얼굴 영역 내에서 명암, 채도, 색상 등에 따라 다른 분포를 나타낼 수 있다. 피부색 비율 계산부(304)는 도 7의 이미지에서 얼굴 영역의 피부색 분포를 이미지 프로세싱을 통해 결정할 수 있다.Referring to FIG. 7, when a face region is detected in an image, the skin
도 4 내지 도 7을 참고하면, 얼굴 지수 계산부(102)는 문서에 포함된 이미지로부터 얼굴 영역 비율, 얼굴 개수, 얼굴 사이즈 및 피부색 비율을 계산하여 얼굴 지수를 계산할 수 있다.4 to 7, the
일례로, 얼굴 지수 계산부(102)는 상기 수학식 1 내지 상기 수학식 4를 이용하여 하기 수학식 5에 따라 얼굴 지수를 계산할 수 있다. 얼굴 지수 계산부(102)는 상기 얼굴 사이즈 및 상기 얼굴 개수 각각의 가중합에 상기 피부색 비율 및 상기 얼굴 영역 비율을 적용하여 얼굴 지수를 계산할 수 있다.For example, the
여기서, FV(I)는 얼굴 지수(Face Value)를 의미하고, 는 얼굴 영역 비율, 는 피부색 비율, 는 얼굴 사이즈에 대한 함수값, 는 얼굴 개수에 대한 함수값을 의미한다. 또한, 과 는 각각 얼굴 사이즈와 얼굴 개수에 대한 함수값에 적용되는 가중치를 의미한다.Here, FV (I) means a face value (Face Value), The face area ratio, Is skin color ratio, Is a function value for face size, Denotes a function value for the number of faces. Also, and Denote weights applied to the function values for the face size and the number of faces, respectively.
도 8은 본 발명의 일실시예에 따른 인물 검색 시스템의 최신성 계산부의 동작을 설명하기 위한 일례를 도시한 도면이다.8 is a diagram illustrating an example for explaining the operation of the freshness calculator of the person searching system according to an embodiment of the present invention.
최신성 계산부(103)는 문서의 작성 시점을 이용하여 상기 문서의 최신성을 계산할 수 있다. 이 때, 최신성 계산부(103)는 상기 문서의 작성 시점 및 사용자 질의(105)가 입력된 현재 시점 간의 차이와 미리 설정한 임계 시점의 비율에 따라 상기 문서의 최신성을 계산할 수 있다. 일례로, 최신성 계산부(103)는 하기 수학식 6에 따라 문서의 최신성을 계산할 수 있다.The
여기서, 은 문서의 최신성을 의미하고, 는 문서의 작성 시점 및 사용자 질의(105)가 입력된 현재 시점 간의 차이를 의미한다. 그리고, 는 미리 설정한 임계 시점을 의미하고, K는 상수를 의미한다. 수학식 6은 일례에 불과하고, 시스템의 구성에 따라 변경될 수 있다.here, Means the document's freshness, Denotes a difference between a document creation time point and a current time point when the
도 8은 수학식 6을 그래프로 표현한 일례를 나타낸 것이다. 도 8을 참고하면, 그래프의 가로축은 시점을 나타내고, 세로축은 최신성을 나타낸다. 시점이 0인 경우, 사용자 질의(105)가 입력된 현재 시점을 의미하고, P는 문서의 작성 시점을 의미한다. 시점은 최대 MAXAGE까지 설정될 수 있다. 도 8에 도시된 그래프는 단조감수형태를 나타낸다. 도 8에 도시된 그래프의 형태는 시스템의 구성에 따라 변경될 수 있다.8 shows an example in which Equation 6 is graphically represented. Referring to FIG. 8, the horizontal axis represents the viewpoint and the vertical axis represents the freshness. If the time point is 0, it means the current time point at which the
만약, P가 0인 경우, 즉 문서의 작성 시점이 현재 시점인 경우 최신성은 1을 나타낸다. 그리고, P가 MAXAGE인 경우, 즉, 문서의 작성 시점이 미리 설정한 임계 시점인 경우, 최신성은 0을 나타낸다. 그리고, P가 0과 MAXAGE 사이의 값을 가지는 경우, 수학식 6에 따라 시점이 증가할수록 , 최신성은 감소하는 형태를 나타낸다.If P is 0, that is, when the document creation time point is the current time point, the freshness value is 1. When P is MAXAGE, that is, when the document creation time point is a preset threshold time point, the freshness value is 0. When P has a value between 0 and MAXAGE, the freshness decreases as the time point increases according to Equation 6.
이미지 검색부(104)는 얼굴 지수, 유사도 및 최신성 중 적어도 하나를 통해 적합도를 계산하여 상기 문서로부터 상기 사용자 질의에 매칭하는 이미지를 검색할 수 있다. The
일례로, 이미지 검색부(104)는 상기 얼굴 지수, 상기 유사도 및 상기 최신성 각각에 가중치를 적용하여 적합도를 계산할 수 있다. 일례로, 이미지 검색부(104)는 하기 수학식 7을 통해 적합도를 계산할 수 있다.For example, the
여기서, 는 적합도를 의미하고, 는 유사도, 는 얼굴 지수, 는 최신성을 의미한다. 그리고, S, Q, R은 각각 유사도, 얼굴 지수, 최신성에 적용되는 가중치를 의미한다. 상기 수학식 7에서는 얼굴 지수, 유사도 및 최신성을 전부 이용하는 경우를 나타낸다. 다만, 위에서 언급했듯이, 이미지 검색부(104)는 수학식 7에 한정되지 않고, 얼굴 지수, 유사도 및 최신성을 각각 이용하거나 또는 조합하여 적합도를 계산할 수 있다.here, Means goodness of fit, Is similarity, Face index, Means freshness. S, Q, and R mean weights applied to similarity, face index, and freshness, respectively. In Equation 7, the face index, the similarity, and the freshness are all used. However, as mentioned above, the
그리고, 이미지 검색부(104)는 적합도에 따라 검색 랭킹을 결정하고, 상기 검색 랭킹에 따라 이미지를 검색할 수 있다. 즉, 검색 랭킹에 따라 이미지를 정렬하고, 정렬된 이미지를 검색 노출 기준에 따라 사용자에게 제공할 수 있다. The
도 9는 본 발명의 일실시예에 따른 인물 검색 방법의 전체 과정을 도시한 플로우차트이다. 9 is a flowchart illustrating the entire process of the person searching method according to an embodiment of the present invention.
단계(S901)에서, 입력된 사용자 질의와 문서에 포함된 이미지 간의 유사도가 계산될 수 있다. 이 때, 단계(S901)에서, 상기 문서에 포함된 텍스트 중 상기 문서에 포함된 이미지와 관련된 텍스트를 이용하여 유사도가 계산될 수 있다. 이 때, 문서는 디지털 문서를 포함하며, 뉴스, 블로그/카페 글, UCC 자료 등을 포함할 수 있다. 다만, 문서는 인물에 대한 얼굴 이미지를 포함할 수 있다. 여기서, 이미지와 관련된 텍스트는 상기 사용자 질의와 연관된 텍스트일 수 있다.In step S901, the similarity between the input user query and the image included in the document may be calculated. In this case, in step S901, the similarity may be calculated using text related to an image included in the document among the text included in the document. In this case, the document may include a digital document, and may include news, blog / cafe article, UCC material, and the like. However, the document may include a face image of the person. Here, the text associated with the image may be text associated with the user query.
일례로, 단계(S901)에서, 상기 이미지와 관련된 텍스트를 통해 상기 문서 상에서 상기 사용자 질의의 노출 빈도, 상기 사용자 질의가 노출된 총 문서의 개수 및 상기 문서에 포함된 전체 텍스트의 개수를 검출하여 유사도가 계산될 수 있다. 이 때, 유사도가 높으면, 검색된 인물 이미지는 사용자가 요구하는 인물 검색 결과에 가깝다고 판단될 수 있다.For example, in step S901, the degree of similarity is detected by detecting the frequency of exposure of the user query on the document, the total number of documents to which the user query is exposed, and the number of whole texts included in the document through the text associated with the image. Can be calculated. At this time, if the similarity is high, it may be determined that the searched person image is close to the person search result requested by the user.
단계(S902)에서, 문서에 포함된 이미지로부터 얼굴 영역이 검출되고, 검출된 얼굴 영역을 이용하여 얼굴 지수가 계산될 수 있다. 사용자는 인물 검색 시 해당 인물의 얼굴이 부각된 이미지를 원하기 때문에, 얼굴 영역이 강조되어 얼굴 지수가 높은 인물 이미지가 사용자에게 검색 결과로 제공될 수 있다. 일례로, 단계(S902)에서, 복수 개의 얼굴 영역 사이에 중복 영역이 존재하는 경우, 상기 이미지로부터 상기 중복 영역이 제외된 얼굴 영역이 검출될 수 있다. 중복 영역이 제거됨으로써, 계산되는 얼굴 지수의 정확도가 향상될 수 있다.In operation S902, a face region may be detected from an image included in a document, and a face index may be calculated using the detected face region. Since the user wants an image in which the face of the person is highlighted when searching for a person, a face image is emphasized and a person image having a high face index may be provided to the user as a search result. For example, in operation S902, when a duplicate area exists between a plurality of face areas, a face area in which the duplicate area is excluded may be detected from the image. By eliminating the redundant region, the accuracy of the calculated face index can be improved.
이 때, 단계(S902)는 상기 얼굴 영역의 속성으로부터 전체 이미지에서 상기 얼굴 영역이 차지하는 얼굴 영역 비율을 계산하는 단계를 포함할 수 있다. 이 때, 얼굴 영역 비율을 계산하는 상기 단계는 상기 이미지에서 얼굴 영역 각각을 합산한 결과와 상기 이미지의 전체 사이즈를 이용하여 얼굴 영역 비율을 계산할 수 있다. 일례로, 얼굴 영역 비율이 클수록 얼굴 지수는 높게 나타날 수 있다.In this case, step S902 may include calculating a ratio of the face area occupied by the face area in the entire image from the attributes of the face area. In this case, the step of calculating the face area ratio may calculate the face area ratio using the result of summing each of the face areas in the image and the total size of the image. For example, the larger the facial region ratio, the higher the facial index.
또한, 단계(S902)는 상기 얼굴 영역의 속성으로부터 얼굴 개수를 계산하는 단계를 포함할 수 있다. 얼굴 지수를 계산하는 상기 단계는 상기 얼굴 개수가 작을수록 상기 얼굴 지수를 높게 계산할 수 있다. 얼굴 개수가 작으면, 전체 이미지에서 얼굴 영역이 더욱 부각될 수 있기 때문에 얼굴 지수는 더 높게 계산될 수 있다.In addition, step S902 may include calculating a number of faces from attributes of the face area. In the calculating of the face index, the smaller the number of faces, the higher the face index may be. If the number of faces is small, the face index can be calculated higher because the face area can be further highlighted in the whole image.
그리고, 단계(S902)는 상기 얼굴 영역의 속성으로부터 얼굴 사이즈를 계산하는 단계를 포함할 수 있다. 이 때, 얼굴 영역 비율이 동일한 이미지들이 존재하더라도, 얼굴 사이즈가 클수록 얼굴 영역이 더욱 부각될 수 있기 때문에 얼굴 지수는 더 높게 계산될 수 있다.In operation S902, a face size may be calculated from an attribute of the face area. At this time, even if there are images having the same face area ratio, the face index may be calculated higher because the larger the face size, the more the face area may be highlighted.
또한, 단계(S902)는 상기 얼굴 영역의 속성으로부터 피부색 비율을 계산하는 단계를 포함할 수 있다. 예를 들어, 피부색을 단계별로 설정하여, 각 단계에 대응하는 피부색의 비율이 계산될 수 있다. 피부색 비율을 계산하는 상기 단계는 상기 이미지에서 얼굴 영역 각각을 합산한 결과와 상기 얼굴 영역의 피부색 각각을 합산한 결과를 이용하여 피부색 비율을 계산할 수 있다.In operation S902, the skin color ratio may be calculated from the attributes of the face area. For example, by setting the skin color step by step, the ratio of the skin color corresponding to each step may be calculated. In the calculating of the skin color ratio, the skin color ratio may be calculated using the result of summing each of the face areas in the image and the result of summing each of the skin colors of the face area.
일례로, 단계(S902)에서, 상기 얼굴 사이즈 및 상기 얼굴 개수 각각의 가중합에 상기 피부색 비율 및 상기 얼굴 영역 비율을 적용하여 상기 얼굴 지수가 계산될 수 있다. 얼굴 지수를 계산하는 과정은 상기 수학식 5를 참고할 수 있다. For example, in step S902, the face index may be calculated by applying the skin color ratio and the face region ratio to the weighted sum of each of the face size and the number of faces. Refer to Equation 5 for the process of calculating the face index.
단계(S902)에서, 얼굴 영역 비율을 계산하는 단계, 얼굴 개수를 계산하는 단 계, 얼굴 사이즈를 계산하는 단계 및 피부색 비율을 계산하는 단계는 순서가 정해지지 않고, 병렬적으로 수행될 수 있다.In step S902, the step of calculating the area ratio of the face, the step of calculating the number of faces, the step of calculating the size of the face and the step of calculating the skin color ratio may be performed in parallel without being ordered.
단계(903)에서, 상기 문서의 작성 시점을 이용하여 상기 문서의 최신성이 계산될 수 있다. 이 때, 단계(S903)에서 상기 문서의 작성 시점 및 상기 사용자 질의가 입력된 현재 시점 간의 차이와 미리 설정한 임계 시점의 비율에 따라 상기 문서의 최신성이 계산될 수 있다. 즉, 사용자는 인물 검색 시 해당 인물의 최근 이미지를 검색하기 원하기 때문에, 단계(S903)을 통해 최근 문서에 포함된 이미지가 검색 결과로 제공될 수 있다.In step 903, the freshness of the document can be calculated using the time of creation of the document. In this case, in step S903, the freshness of the document may be calculated according to a ratio between a difference between a time point at which the document is created and a current time point at which the user query is input and a preset threshold time point. That is, since the user wants to search for the latest image of the person during the person search, the image included in the recent document may be provided as a search result through step S903.
단계(904)에서, 상기 얼굴 지수, 상기 유사도 및 상기 최신성 중 적어도 하나에 따른 적합도를 이용하여 상기 사용자 질의에 매칭하는 이미지가 검색될 수 있다. 일례로, 단계(S904)에서, 상기 얼굴 지수, 상기 유사도 및 상기 최신성 각각에 가중치를 적용하여 상기 적합도가 계산될 수 있다. 적합도를 계산하는 과정은 상기 수학식 7을 참고할 수 있다.In step 904, an image matching the user query may be retrieved using a goodness of fit according to at least one of the face index, the similarity, and the freshness. For example, in step S904, the goodness of fit may be calculated by applying weights to each of the face index, the similarity, and the freshness. A process of calculating the goodness of fit may refer to Equation 7 above.
그리고, 단계(S904)에서, 상기 적합도에 따라 검색 랭킹이 결정되고, 상기 검색 랭킹에 따라 이미지가 검색될 수 있다. 결국, 적합도가 높은 이미지가 검색 랭킹이 높게 결정되고, 검색 랭킹이 높은 이미지가 사용자에게 인물 검색 결과로 먼저 노출될 수 있다.In operation S904, a search ranking may be determined according to the goodness of fit, and an image may be searched according to the search ranking. As a result, an image with high suitability may have a high search ranking, and an image having a high search ranking may be first exposed to a user as a person search result.
일례로, 인물 검색 방법은 단계(S901), 단계(S902) 및 단계(S903)의 순서에 구애 받지 않고, 병렬적으로 수행할 수 있다.For example, the person searching method may be performed in parallel regardless of the order of steps S901, S902, and S903.
도 9에서 설명되지 않은 내용은 도 1 내지 도 8에 설명된 내용을 참고할 수 있다.For details not described with reference to FIG. 9, reference may be made to the contents described with reference to FIGS. 1 to 8.
또한 본 발명의 일실시예에 따른 인물 검색 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.In addition, the person searching method according to an embodiment of the present invention includes a computer readable medium including program instructions for performing operations implemented by various computers. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The medium or program instructions may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above-described embodiments, which can be variously modified and modified by those skilled in the art to which the present invention pertains. Modifications are possible. Accordingly, the spirit of the present invention should be understood only by the claims set forth below, and all equivalent or equivalent modifications thereof will belong to the scope of the present invention.
도 1은 본 발명의 일실시예에 따른 인물 검색 시스템의 전체 구성을 도시한 블록 다이어그램이다.1 is a block diagram showing the overall configuration of a person searching system according to an embodiment of the present invention.
도 2는 본 발명의 일실시예에 따른 인물 검색 시스템의 유사도 검색부의 동작을 설명하기 위한 일례를 도시한 도면이다.2 is a diagram illustrating an example for describing an operation of a similarity search unit of a person searching system according to an exemplary embodiment of the present invention.
도 3은 본 발명의 일실시예에 따른 인물 검색 시스템의 얼굴 지수 계산부의 전체 구성을 도시한 블록 다이어그램이다.3 is a block diagram showing the overall configuration of the face index calculation unit of the person searching system according to an embodiment of the present invention.
도 4는 본 발명의 일실시예에 따른 얼굴 영역 비율 계산부의 동작을 설명하기 위한 일례를 도시한 도면이다.4 is a diagram illustrating an example for describing an operation of a face region ratio calculator according to an exemplary embodiment of the present invention.
도 5는 본 발명의 일실시예에 따른 얼굴 개수 계산부의 동작을 설명하기 위한 일례를 도시한 도면이다.5 is a diagram illustrating an example for describing an operation of a face count calculator according to an exemplary embodiment of the present invention.
도 6은 본 발명의 일실시예에 따른 얼굴 사이즈 계산부의 동작을 설명하기 위한 일례를 도시한 도면이다.6 is a diagram illustrating an example for describing an operation of a face size calculator according to an exemplary embodiment of the present invention.
도 7은 본 발명의 일실시예에 따른 피부색 비율 계산부의 동작을 설명하기 위한 일례를 도시한 도면이다.7 is a view showing an example for explaining the operation of the skin color ratio calculator according to an embodiment of the present invention.
도 8은 본 발명의 일실시예에 따른 인물 검색 시스템의 최신성 계산부의 동작을 설명하기 위한 일례를 도시한 도면이다.8 is a diagram illustrating an example for explaining the operation of the freshness calculator of the person searching system according to an embodiment of the present invention.
도 9는 본 발명의 일실시예에 따른 인물 검색 방법의 전체 과정을 도시한 플로우차트이다.9 is a flowchart illustrating the entire process of the person searching method according to an embodiment of the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
100: 인물 검색 시스템100: People Search System
101: 유사도 계산부101: similarity calculation unit
102: 얼굴 지수 계산부102: face index calculator
103: 최신성 계산부103: freshness calculation unit
104: 이미지 검색부104: image search unit
105: 사용자 질의105: user queries
106: 데이터베이스106: database
Claims (33)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20080023027A KR100922693B1 (en) | 2008-03-12 | 2008-03-12 | System and method for searching person |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20080023027A KR100922693B1 (en) | 2008-03-12 | 2008-03-12 | System and method for searching person |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090097710A true KR20090097710A (en) | 2009-09-16 |
KR100922693B1 KR100922693B1 (en) | 2009-10-20 |
Family
ID=41357036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR20080023027A KR100922693B1 (en) | 2008-03-12 | 2008-03-12 | System and method for searching person |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100922693B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014065868A1 (en) * | 2012-10-23 | 2014-05-01 | Aperio Technologies, Inc. | Systems and methods for an image repository for pathology |
KR101448174B1 (en) * | 2013-04-03 | 2014-10-08 | 주식회사 다음커뮤니케이션 | Method of serching image and server apparatus thereof |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003178304A (en) * | 2001-12-12 | 2003-06-27 | Mitsubishi Electric Corp | Face image retrieving device, face image retrieving method and program for executing method on computer |
KR20050045772A (en) * | 2003-11-12 | 2005-05-17 | (주)버추얼미디어 | System and method for searching ideal 3d face using facial image |
-
2008
- 2008-03-12 KR KR20080023027A patent/KR100922693B1/en active IP Right Grant
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014065868A1 (en) * | 2012-10-23 | 2014-05-01 | Aperio Technologies, Inc. | Systems and methods for an image repository for pathology |
US10685056B2 (en) | 2012-10-23 | 2020-06-16 | Leica Biosystems Imaging, Inc. | Systems and methods for an image repository for pathology |
US11106726B2 (en) | 2012-10-23 | 2021-08-31 | Leica Biosystems Imaging, Inc. | Systems and methods for an image repository for pathology |
KR101448174B1 (en) * | 2013-04-03 | 2014-10-08 | 주식회사 다음커뮤니케이션 | Method of serching image and server apparatus thereof |
Also Published As
Publication number | Publication date |
---|---|
KR100922693B1 (en) | 2009-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8661031B2 (en) | Method and apparatus for determining the significance and relevance of a web page, or a portion thereof | |
US7961986B1 (en) | Ranking of images and image labels | |
KR100898456B1 (en) | Method for offering result of search and system for executing the method | |
US20110295850A1 (en) | Detection of junk in search result ranking | |
KR100706389B1 (en) | Image search method and apparatus considering a similarity among the images | |
CN106095738B (en) | Recommending form fragments | |
CN108228612B (en) | Method and device for extracting network event keywords and emotional tendency | |
CN111753167A (en) | Search processing method, search processing device, computer equipment and medium | |
KR100922693B1 (en) | System and method for searching person | |
US9378248B2 (en) | Retrieval apparatus, retrieval method, and computer-readable recording medium | |
US20140181124A1 (en) | Method, apparatus, system and storage medium having computer executable instrutions for determination of a measure of similarity and processing of documents | |
KR20190023503A (en) | Image based patent search apparatus | |
JP2012518221A (en) | Document ranking determination system and method based on contribution score | |
KR101113787B1 (en) | Apparatus and method for indexing text | |
KR101058895B1 (en) | Method and device for measuring subject of document using ontology | |
KR102357023B1 (en) | Apparatus and Method for restoring Conversation Segment Sentences | |
KR20100138858A (en) | Method and system for providing relevance site using chracteristic word of site | |
Balaji et al. | Finding related research papers using semantic and co-citation proximity analysis | |
JP4426893B2 (en) | Document search method, document search program, and document search apparatus for executing the same | |
JP6707410B2 (en) | Document search device, document search method, and computer program | |
US11275799B2 (en) | Information processing device and non-transitory computer readable medium | |
CN105279172A (en) | Video matching method and device | |
CN117743558B (en) | Knowledge processing and knowledge question-answering method, device and medium based on large model | |
US11860876B1 (en) | Systems and methods for integrating datasets | |
Li et al. | Extracting relevant snippets from web documents through language model based text segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20121011 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20130926 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20140925 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20151008 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20161010 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20181008 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20191001 Year of fee payment: 11 |