KR20070047063A - Method and apparatus for reducing the number of photo in photo album, semi automatic enrollment method and apparatus of photo album, and photo album system using them - Google Patents
Method and apparatus for reducing the number of photo in photo album, semi automatic enrollment method and apparatus of photo album, and photo album system using them Download PDFInfo
- Publication number
- KR20070047063A KR20070047063A KR1020050103784A KR20050103784A KR20070047063A KR 20070047063 A KR20070047063 A KR 20070047063A KR 1020050103784 A KR1020050103784 A KR 1020050103784A KR 20050103784 A KR20050103784 A KR 20050103784A KR 20070047063 A KR20070047063 A KR 20070047063A
- Authority
- KR
- South Korea
- Prior art keywords
- node
- face
- representative
- unit
- person
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/54—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Library & Information Science (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Mathematical Physics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
인물 DB 등록사진 수 축소 방법 및 장치, 포토 앨범 시스템의 반자동등록 방법 및 장치와, 이를 이용한 포토앨범 시스템이 개시된다. 그 포토앨범 시스템은, 사진영상 속의 특정 인물별로, 상기 사진영상과 상기 특정인물의 얼굴 특징 및 이름이 저장되는 등록 데이터베이스; 사진에 대해 얼굴특징을 추출하고, 추출된 얼굴이 있는 사진들을 상기 등록 데이터베이스에 등록하는 등록부; 등록되지 않은 새로운 사진이 입력되면 사진 내 인물의 이름을 추정하는 질의부; 및 검색할 인물 이름이 들어오면, 이름이 부여된 얼굴들 중에서 검색할 이름이 들어간 얼굴을 검색하고, 해당 얼굴이 들어간 사진을 검색하고, 상기 사진들을 보여주는 검색부를 포함하는 것을 특징으로 한다.Disclosed are a method and apparatus for reducing the number of person DB registered photos, a method and apparatus for semi-automatic registration of a photo album system, and a photo album system using the same. The photo album system comprises: a registration database storing facial features and names of the photographic image and the specific person for each specific person in the photographic image; A registration unit which extracts a facial feature from a picture and registers the pictures with the extracted face in the registration database; A query unit to estimate a name of a person in the picture when a new unregistered picture is input; And when a person's name to be searched comes in, searching for a face containing a name to be searched from among faces given a name, searching for a picture with the corresponding face, and a search unit showing the pictures.
본 발명에 의하면, 다량의 포토 앨범(Photo Album) 사진들에 대해서, 몇 개의 사진들에 대해서만 수동으로 등록을 하면 나머지 사진들에 대하여 신속하게 등록할 수 있다. 또한, 등록된 사진들을 인물의 이름으로 신속하게 검색할 수 있으므로, 다량의 사진들을 효율적으로 관리할 수 있다.According to the present invention, if a large number of Photo Album photos are registered manually only for a few photos, the remaining photos can be quickly registered. In addition, the registered pictures can be quickly searched by the name of the person, so that a large number of pictures can be managed efficiently.
Description
도 1은 본 발명의 일실시예에 따른 포토 앨범 시스템의 블록도이다.1 is a block diagram of a photo album system according to an embodiment of the present invention.
도 2는 등록부(120)의 보다 세부적인 구성을 블록도로 도시한 것이다.2 shows a more detailed configuration of the
도 3은 반자동 등록부(240)의 보다 세부적인 구성을 블록도로 도시한 것이다.3 is a block diagram illustrating a more detailed configuration of the
도 4는 등록DB축소부(260)의 보다 세부적인 구성을 블록도로 도시한 것이다.4 is a block diagram showing a more detailed configuration of the registration
도 5는 도 4의 블록도를 보다 세부적으로 도시한 것이다.FIG. 5 illustrates the block diagram of FIG. 4 in more detail.
도 6은 본 발명에 의한 포토앨범 시스템의 전체적인 체계를 도시한 것이다.Figure 6 shows the overall system of the photo album system according to the present invention.
도 7은 얼굴특징 추출과정을 흐름도로 도시한 것이다.7 is a flowchart illustrating a facial feature extraction process.
도 8은 수동등록 과정을 흐름도로 도시한 것이다.8 is a flowchart illustrating a manual registration process.
도 9는 반자동등록 과정을 흐름도로 도시한 것이다.9 is a flowchart illustrating a semi-automatic registration process.
도 10은 본 발명에 의한 인물 DB 등록사진수 축소방법을 흐름도로 도시한 것이다.10 is a flowchart illustrating a method for reducing the number of person DB registered pictures according to the present invention.
도 11은 도 10에 도시된 흐름도를 보다 상세히 설명한 것이다.FIG. 11 illustrates the flow chart shown in FIG. 10 in more detail.
도 12는 본 발명에 의한 인물 DB 등록사진수 축소방법을 노드그래프를 이용하여 도시한 것이다.12 is a diagram illustrating a method for reducing the number of person DB registered pictures according to the present invention using a node graph.
도 13은 상기 질의 과정을 흐름도로 도시한 것이다.13 is a flowchart illustrating the query process.
도 14는 복수사진에 대한 인물이름 추정과정을 흐름도로 도시한 것이다.14 is a flowchart illustrating a process of estimating a person's name for a plurality of pictures.
도 15는 이름으로 사진찾기 과정을 흐름도로 도시한 것이다.15 is a flowchart illustrating a process of finding a picture by name.
도 16은 등록에서 수동등록의 일실시예를 도시한 것이다.Figure 16 illustrates one embodiment of manual registration in registration.
도 17은 등록에서 반자동 등록에 대한 일실시예를 도시한 것이다.17 illustrates one embodiment for semi-automatic registration in registration.
도 18은 질의에서 사진 내 이름 추정의 일실시예를 도시한 것이다.18 illustrates one embodiment of name estimation in a picture in a query.
도 19는 질의에 있어서 복수 사진에 대한 인물 이름 추정의 일실시예를 도시한 것이다.19 illustrates an embodiment of estimating person names for a plurality of pictures in a query.
도 20은 검색에 있어서 이름으로 사진 찾기의 일실시예를 도시한 것이다. 20 illustrates one embodiment of finding photos by name in a search.
도 21은 등록 DB 축소에 있어서, 사진 수 축소 전의 예를 도시한 것이다.Fig. 21 shows an example before reduction of the number of photos in the reduction of the registration DB.
도 22는 등록 DB축소에 있어서, 사진수 축소 후의 예를 도시한 것이다.Fig. 22 shows an example after reduction of the number of pictures in registration DB reduction.
도 23은 브라우징에 있어서 인물 사진 모두 보이기의 일실시예를 도시한 것이다.FIG. 23 illustrates an embodiment of displaying all the portrait pictures in browsing. FIG.
본 발명은 포토앨범에 관한 것으로서, 특히 인물 DB 등록사진 수 축소 방법 및 장치, 포토 앨범 시스템의 반자동등록 방법 및 장치와, 이를 이용한 포토앨범 시스템에 관한 것이다.BACKGROUND OF THE
디지털 카메라나 스캐너(Scanner) 등의 가정 내 보급으로, 개인이 소유하고 있는 사진 영상의 수가 급격히 증가하고 있다. 이러한 사진 영상들은 보통 컴퓨터의 하드디스크나 기타 저장매체에 디지털 데이터 형태로 저장되며, 이에 따라 저장된 수많은 사진 영상들 중에서 특정 인물이 포함된 사진 영상을 신속하고 용이하게 검색할 필요성이 대두되고 있다.With the spread of digital cameras and scanners in homes, the number of photographic images owned by individuals is rapidly increasing. Such photographic images are usually stored in the form of digital data in a hard disk or other storage medium of a computer. Accordingly, there is a need to quickly and easily search for photographic images including a specific person among numerous stored photographic images.
특정 인물이 포함된 사진 영상을 검색하기 위해서는, 각 사진 영상마다 그 사진 영상에 포함된 인물 이름에 대한 정보를 가지고 있으면 가능하지만, 이를 위해서는 각 사진 영상에 포함된 인물의 이름을 개별적으로 미리 등록하는 과정이 필요하다. 그러나 이와 같이 각 사진 영상마다 일일이 대응하는 이름을 등록하는 방법은 시간이 많이 소요될 뿐만 아니라 번거로운 작업이기도 하다. In order to search for a photo image containing a specific person, it is possible to have information about the name of the person included in the photo image for each photo image. However, in order to do this, the name of the person included in each photo image is individually registered in advance. The process is necessary. However, the method of registering a name corresponding to each photo image is not only time-consuming but also cumbersome.
이러한 점들을 해결하기 위해, US 2004/0264780 에는, "Face Annotation for Photo Management" 라는 발명의 명칭으로, 한 인물에 대해서 몇 장의 사진 영상만을 수동으로 등록하면, 대용량의 DB에 저장된 사진 영상들 중에서 원하는 인물이 포함된 사진을 검색할 수 있도록 지원하는 방법이 개시되어 있다.In order to solve these problems, US 2004/0264780, entitled "Face Annotation for Photo Management", requires that only a few photographic images be manually registered for a person, and among the photographic images stored in a large database, A method of supporting a search for a picture including a person is disclosed.
여기에 개시되어 있는 방법은, 옷차림, 얼굴, 눈, 코, 입 등의 특징을 사용하여 사진 영상 속의 얼굴을 인식하고, 주어진 사진 영상에 대해서 후보 이름 리스트(candidate name list)를 생성하여, 사용자가 인물의 이름을 선택할 수 있도록 한다. 또한, 쿼리(query)된 사진의 얼굴로부터 특징을 추출한 후, 가장 유사한 얼굴의 이름을 보여주기도 한다.The method disclosed herein recognizes a face in a photographic image using features such as attire, face, eyes, nose, mouth, and generates a candidate name list for a given photographic image. Allows you to choose a name for the person. Also, after extracting a feature from the face of the queried picture, the name of the most similar face may be displayed.
그러나 이와 같은 방식은 주어진 사진 데이터 베이스(DB)에 대해서 네이밍(naming) 및 얼굴 등록을 용이하게 하는 기능이 없을 뿐만 아니라, 최신 사진으로 등록된 얼굴을 갱신(update) 하는 기능이 없다.However, this method does not have a function of facilitating naming and face registration for a given photo database DB, and also does not have a function of updating a face registered with the latest picture.
뿐만 아니라, 한 인물의 얼굴은 시간, 장소, 표정, 조명에 따라 변화가 너무 다양함으로 종래의 얼굴 인식 방법을 통해 사진에 이름을 자동 부여하는 방법은 성능에 한계가 존재한다.In addition, since a face of a person varies so much according to time, place, expression, and lighting, there is a limit in performance of automatically assigning a name to a photo through a conventional face recognition method.
본 발명이 이루고자 하는 기술적 과제는, 포토앨범시스템에서의 인물 DB 등록사진 수 축소 방법 및 장치를 제공하는 것이다.An object of the present invention is to provide a method and apparatus for reducing the number of person DB registered photos in a photo album system.
본 발명이 이루고자 하는 다른 기술적 과제는, 포토 앨범 시스템의 반자동등록 방법 및 장치를 제공하는 것이다.Another object of the present invention is to provide a semi-automatic registration method and apparatus for a photo album system.
본 발명이 이루고자하는 또 다른 기술적 과제는, 등록, 질의, 검색 및 브라우징 기능을 모두 구비하며, 얼굴 인식 방법을 통해 저장된 사진 영상에 포함된 인물에 대응하는 이름을 부여하고, 부여된 이름으로 사진 영상을 신속하게 검출하여 표시하는 포토 앨범 시스템을 제공하는 것이다.Another technical problem to be solved by the present invention is to provide a registration, query, search and browsing functions, and to give a name corresponding to a person included in a stored picture image through a face recognition method, and to give a picture image with a given name. It is to provide a photo album system for quickly detecting and displaying.
상기 기술적 과제를 이루기 위한 본 발명에 의한 인물 DB 등록사진 수 축소 방법은, 얼굴 특징간의 거리비교로 얼굴특징 클러스터링을 수행하는 단계; 상기 클러스터링된 얼굴특징들 중에서 대표특징을 선택하는 단계; 및 대표로 선택되지 않은 특징에 해당하는 얼굴사진을 얼굴DB에서 삭제하는 단계를 포함함을 특징으로 한 다.According to an aspect of the present invention, there is provided a method of reducing the number of registered person DB registered pictures, the method comprising: performing facial feature clustering by comparing distances between facial features; Selecting a representative feature from the clustered facial features; And deleting the face picture corresponding to the feature not selected as the representative from the face DB.
상기 기술적 과제를 이루기 위한 본 발명에 의한 인물 DB 등록사진 수 축소 방법은, (a) 얼굴 데이터베이스에 등록된 얼굴특징을 인스턴스라 할 때, 상기 인스턴스를 노드로 표현한 노드 세트(node set)를 생성하는 단계; (b) 노드들 간의 유사도 거리(distance)를 계산하여 소정의 기준값보다 작은 노드간을 링크시켜 노드 그래프(node graph)를 생성하는 단계; (c) 상기 노드 그래프에서 각 노드의 링크섬(link sum)을 계산하는 단계; (d) 노드마다 상기 링크섬과 이전의 대표성 레벨(representative level)을 고려하여 현재의 대표성 레벨을 계산하는 단계; (e) 상기 대표성 레벨이 가장 큰 노드를 대표노드로 선택하고, 상기 대표노드 및 상기 대표노드와 직접 링크되어 있는 노드들을 상기 노드 그래프에서 제거하는 단계; (f) 남아있는 노드들에 대해 상기 (c)단계 내지 (e)단계를, 남아있는 노드가 없을 때까지 반복 수행하는 단계; 및 (g) 대표노드 이외의 노드에 해당하는 사진을 인물 DB에서 삭제하는 단계를 포함함을 특징으로 한다.According to an aspect of the present invention, there is provided a method of reducing the number of registered person DB registered pictures, when (a) a facial feature registered in a face database is an instance, generating a node set representing a node as a node. step; (b) calculating a similarity distance between nodes and linking nodes smaller than a predetermined reference value to generate a node graph; (c) calculating a link sum of each node in the node graph; (d) calculating a current representative level by considering the link island and the previous representative level for each node; (e) selecting a node having the largest level of representativeness as a representative node, and removing the representative node and nodes directly linked to the representative node from the node graph; (f) repeating steps (c) to (e) for remaining nodes until there are no remaining nodes; And (g) deleting a picture corresponding to a node other than the representative node from the person DB.
상기 (d)단계는 노드마다 상기 링크섬과 이전의 대표성레벨(representative level)을 고려하여 현재의 대표성 레벨을 수학식 1과 같이 계산함이 바람직하다.In the step (d), it is preferable to calculate the current representative level as shown in
[수학식1][Equation 1]
(여기서,는 현재의 대표성 레벨을,는 이전의 대표성 레벨을, a(0<a<1)는 aging rate을, 는 각 노드의 링크섬을 나타낸다.)(here, The current representative level, Is the previous representative level, a (0 <a <1) is the aging rate, Represents the linksum of each node.)
상기 기술적 과제를 이루기 위한 본 발명에 의한 인물 DB 등록사진 수 축소 장치는, 얼굴 특징간의 거리비교로 얼굴특징 클러스터링을 수행하는 얼굴특징클러스터링부; 상기 클러스터링된 얼굴특징들 중에서 대표특징을 선택하는 대표특징선택부; 및 대표로 선택되지 않은 특징에 해당하는 얼굴사진을 얼굴DB에서 삭제하는 얼굴삭제부를 포함함을 특징으로 한다. In accordance with an aspect of the present invention, there is provided a device for reducing a number of registered person DB images, including: a facial feature clustering unit configured to perform facial feature clustering as a distance comparison between facial features; A representative feature selection unit for selecting a representative feature among the clustered face features; And a face deleting unit for deleting a face picture corresponding to a feature not selected as a representative from the face DB.
상기 얼굴특징 클러스터링부는 얼굴 DB에 등록된 얼굴특징을 인스턴스라 할 때, 상기 인스턴스를 노드로 표현한 노드 세트(node set)를 생성하는 노드세트생성부; 및 노드들 간의 유사도 거리(distance)를 계산하여 소정의 기준값보다 작은 노드간을 링크시켜 노드 그래프(node graph)를 생성하는 노드그래프생성부를 구비하며, 상기 대표특징선택부는 상기 노드 그래프에서 각 노드의 링크섬(link sum)을 계산하는 링크섬계산부; 노드마다 상기 링크섬과 이전의 대표성레벨(representative level)을 고려하여 현재의 대표성 레벨을 계산하는 대표성레벨계산부; 및 상기 대표성 레벨이 가장 큰 노드를 대표노드로 선택하는 대표노드 선택부를 구비하며, 상기 얼굴삭제부는 상기 대표노드 및 상기 대표노드와 직접 링크되어 있는 노드들을 상기 노드 그래프에서 제거하는 노드제거부; 및 대표노드 이외의 노드에 해당하는 사진을 인물 DB에서 삭제하는 인물삭제부를 구비함이 비람직하다.The face feature clustering unit may include: a node set generation unit generating a node set representing a node as a node when the face feature registered in the face DB is an instance; And a node graph generation unit for calculating a similarity distance between nodes and linking nodes smaller than a predetermined reference value to generate a node graph, wherein the representative feature selection unit includes a node graph generation unit for each node in the node graph. A link sum calculator configured to calculate a link sum; A representative level calculator for calculating a current representative level in consideration of the link island and a previous representative level for each node; And a representative node selector configured to select a node having the largest representative level as a representative node, wherein the face deleting unit removes the representative node and nodes directly linked to the representative node from the node graph. And a person deletion unit for deleting a picture corresponding to a node other than the representative node from the person DB.
상기 대표성레벨 계산부는 노드마다 상기 링크섬과 이전의 대표성레벨(representative level)을 고려하여 현재의 대표성 레벨을 수학식 1과 같이 계산함이 바람직하다.It is preferable that the representative level calculator calculates a current representative level as shown in
상기 다른 기술적 과제를 이루기 위한 본 발명에 의한 포토 앨범 시스템의 반자동등록장치는, 사진이 입력되면, 등록된 얼굴들을 이용해서 인물별로 멀티 인스턴스 검색을 수행하는 멀티 인스턴스 검색부; 등록되지 않은 모든 영상을 질의로, 등록된 영상은 타겟으로 하여 유사도 거리가 소정의 임계값보다 낮은 얼굴들을 보여주는 유사도계산부; 및 상기 보여진 얼굴들 중에서 사용자에 의해 선택된 얼굴에 이름을 부여하여 얼굴 데이터베이스에 등록하는 얼굴DB등록부를 포함함을 특징으로 한다.According to another aspect of the present invention, there is provided a semi-automatic registration device of a photo album system according to the present invention, comprising: a multi-instance search unit for performing a multi-instance search for each person using registered faces; A similarity calculator that queries all unregistered images as targets, and displays registered faces as targets having similarity distances lower than a predetermined threshold; And a face DB registration unit which assigns a name to a face selected by the user from among the faces shown and registers it in the face database.
상기 다른 기술적 과제를 이루기 위한 본 발명에 의한 포토 앨범 시스템의 반자동등록 방법은, 사진이 입력되면, 등록된 얼굴들을 이용해서 인물별로 멀티 인스턴스 검색을 수행하는 단계; 등록되지 않은 모든 영상을 질의로, 등록된 영상은 타겟으로 하여 유사도 거리가 소정의 임계값보다 낮은 얼굴들을 보여주는 단계; 및 상기 보여진 얼굴들 중에서 사용자에 의해 선택된 얼굴에 이름을 부여하여 얼굴 데이터베이스에 등록하는 단계를 포함함을 특징으로 한다.According to another aspect of the present invention, there is provided a method for semi-automatic registration of a photo album system, the method comprising: performing a multi-instance search for each person by using registered faces when a photo is input; Querying all non-registered images as targets, wherein the registered images are targeted to show faces with a similarity distance lower than a predetermined threshold; And assigning a name to a face selected by the user from among the faces shown, and registering the face in the face database.
상기 또 다른 기술적 과제를 이루기 위한 본 발명에 의한 포토 앨범 시스템은, 사진영상 속의 특정 인물별로, 상기 사진영상과 상기 특정인물의 얼굴 특징 및 이름이 저장되는 등록 데이터베이스; 사진에 대해 얼굴특징을 추출하고, 추출된 얼굴이 있는 사진들을 상기 등록 데이터베이스에 등록하는 등록부; 등록되지 않은 새로운 사진이 입력되면 사진 내 인물의 이름을 추정하는 질의부; 및 검색할 인물 이름이 들어오면, 이름이 부여된 얼굴들 중에서 검색할 이름이 들어간 얼굴을 검색하고, 해당 얼굴이 들어간 사진을 검색하고, 상기 사진들을 보여주는 검색부를 포함 하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a photo album system, including: a registration database storing facial features and names of the photo image and the specific person for each specific person in the photo image; A registration unit which extracts a facial feature from a picture and registers the pictures with the extracted face in the registration database; A query unit to estimate a name of a person in the picture when a new unregistered picture is input; And when a person's name to be searched comes in, searching for a face with a name to be searched from among faces given a name, searching for a picture with the corresponding face, and a search unit showing the pictures.
상기 본 발명에 의한 포토 앨범 시스템은, 얼굴 검출에 성공한 사진들을 보여주는 브라우징부를 더 포함하는 것이 바람직하다. 상기 얼굴 특징은 얼굴 위치, 눈 위치, 및 얼굴 기술자 중 적어도 어느 하나에 기초하여 결정되는 것이 바람직하다. 상기 등록부는 사진이 들어오면 얼굴특징을 추출하는 얼굴특징 추출부; 특징이 추출된 얼굴이 있는 사진들을 보여주고, 사용자에 의해 이름이 부여되면 상기 이름을 등록하는 수동등록부; 및 인물별로 멀티 인스턴스 검색을 수행하여 소정의 유사도 거리 내의 얼굴을 보여주고, 상기 얼굴에 대해 사용자에 의해 선택적으로 이름이 부여되면, 상기 이름을 등록하는 반자동등록부를 구비함이 바람직하다.The photo album system according to the present invention preferably further comprises a browsing unit for showing the pictures of successful face detection. Preferably, the facial feature is determined based on at least one of a face position, an eye position, and a facial descriptor. The registration unit facial feature extraction unit for extracting a facial feature when a picture comes in; A manual registration unit which shows pictures with a face extracted from the feature and registers the name when a name is given by the user; And displaying a face within a predetermined similarity distance by performing a multi-instance search for each person, and if the face is selectively given a name by the user, a semi-auto registration unit for registering the name.
상기 반자동 등록부는 사진이 입력되면, 등록된 얼굴들을 이용해서 인물별로 멀티 인스턴스 검색을 수행하는 멀티 인스턴스 검색부; 등록되지 않은 모든 영상을 질의로, 등록된 영상은 타겟으로 하여 유사도 거리가 소정의 임계값보다 낮은 얼굴들을 보여주는 유사도계산부; 및 상기 보여진 얼굴들 중에서 사용자에 의해 선택된 얼굴에 이름을 부여하여 얼굴 데이터베이스에 등록하는 얼굴DB등록부를 포함함이 바람직하다. 상기 등록부는 멀티 인스턴스 검색에서 인스턴스 개수를 줄이는 등록DB축소부를 더 구비함이 바람직하다.The semi-automatic registration unit is a multi-instance search unit for performing a multi-instance search for each person using the registered face, if a picture is input; A similarity calculator that queries all unregistered images as targets, and displays registered faces as targets having similarity distances lower than a predetermined threshold; And a face DB registration unit for assigning a name to a face selected by the user from among the faces shown and registering it in the face database. The registration unit preferably further includes a registration DB reduction unit for reducing the number of instances in the multi-instance search.
상기 등록DB축소부는 얼굴 특징간의 거리비교로 얼굴특징 클러스터링을 수행하는 얼굴특징클러스터링부; 상기 클러스터링된 얼굴특징들 중에서 대표특징을 선택하는 대표특징선택부; 및 대표로 선택되지 않은 특징에 해당하는 얼굴사진을 얼굴DB에서 삭제하는 얼굴삭제부를 포함함이 바람직하다.The registration DB reduction unit includes a face feature clustering unit that performs face feature clustering by comparing distances between face features; A representative feature selection unit for selecting a representative feature among the clustered face features; And a face deleting unit for deleting a face picture corresponding to a feature not selected as a representative from the face DB.
그리고 상기 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.A computer readable recording medium having recorded thereon a program for executing the invention described above is provided.
이하, 첨부된 도면을 참조하여 본 발명에 의한 포토 앨범 시스템 및 그 시스템에서의 얼굴인식 방법을 보다 상세하게 설명한다. Hereinafter, with reference to the accompanying drawings will be described in more detail a photo album system and a face recognition method in the system according to the present invention.
본 발명에 따른 포토 앨범 시스템은, 기존의 얼굴 인식방법으로 얼굴을 인식하기에는 한 인물의 얼굴이 시간, 장소, 표정, 조명 등에 따라 변화가 너무 다양하므로, 한 인물에 대해서 다수의 얼굴을 등록하여, multi-instance search를 수행하는 방식을 사용한다. 또한, 한 인물에 대해서 등록된 얼굴을 확장하는 방법으로, 몇 개의 얼굴에 대해서만 사용자가 수동으로 등록하고, 사용자가 등록한 얼굴에 유사한 얼굴들은 사용자 확인 후에 추가 등록하도록 하며, 최근 얼굴들도 추가 등록할 수 있도록 한다. 그리고 한 인물에 대해 등록된 얼굴의 수가 너무 많아지면, 대표 얼굴 선택 방법에 의해서, 등록된 얼굴의 개수를 줄이는 방법을 사용한다.In the photo album system according to the present invention, since a face of a person varies too much according to time, place, expression, lighting, etc. to recognize a face by the conventional face recognition method, a plurality of faces may be registered for a person. Use a multi-instance search. In addition, by extending the registered face for a person, the user manually registers only a few faces, and similar faces similar to the registered face are added after user confirmation, and the latest faces are also registered. To help. If the number of faces registered for one person becomes too large, a method of reducing the number of registered faces is used by the representative face selection method.
도 1은 본 발명의 일실시예에 따른 포토 앨범 시스템의 블럭도이다. 도 1을 참조하면, 본 발명에 의한 포토 앨범 시스템은 등록데이터베이스(100), 등록부(120), 질의부(140) 및 검색부(160)를 포함하여 이루어진다. 상기 포토앨범 시스템은 브라우징부(180)를 더 구비함이 바람직하다. 도 6은 본 발명에 의한 포토앨범 시스템의 전체적인 체계를 도시한 것으로서, 등록(enrollment), 질의(query), 검색(searching) 및 브라우징(browsing)를 포함하고 있다.1 is a block diagram of a photo album system according to an embodiment of the present invention. Referring to FIG. 1, the photo album system according to the present invention includes a
상기 등록데이터베이스(100)는 사진영상 속의 특정 인물별로, 상기 사진영상과 상기 특정인물의 얼굴 특징 및 이름을 저장한다. The
상기 등록부(120)는 사진에 대해 얼굴특징을 추출하고, 추출된 얼굴이 있는 사진들을 상기 등록 데이터베이스(100)에 등록한다. 상기 등록부(120)는 사용자가 몇 장의 사진만 수동으로 등록하면, 반자동으로 다량의 사진을 등록할 수 있도록 지원할 뿐만 아니라, 최신 사진으로 등록 DB를 갱신하는 기능도 지원한다.The
도 2는 상기 등록부(120)의 보다 세부적인 구성을 블록도로 도시한 것으로서, 얼굴특징추출부(200), 수동등록부(220) 및 반자동등록부(240)를 포함하여 이루어진다. 상기 등록부(120)는 등록DB축소부(260)를 더 구비함이 바람직하다. 2 is a block diagram illustrating a more detailed configuration of the
상기 얼굴특징 추출부(200)는 사진이 들어오면 얼굴특징을 추출한다. 상기 얼굴 특징은 얼굴 위치, 눈 위치, 및 얼굴 기술자 중 적어도 어느 하나에 기초하여 결정되는 것이 바람직하다. 도 7은 상기 얼굴특징 추출과정을 흐름도로 도시한 것으로서, 입력사진들이 들어오면, 사용자가 지정한 폴더 내의 모든 사진에 대해서 얼굴을 검출한다.(700단계) 그리고 나서 검출된 모든 얼굴에 대해서 눈을 검출하고(720단계), 검출된 눈으로 영상 정규화를 수행한다.(740단계) 얼굴 정규화는 검출된 얼굴 영역에서 눈과 같은 특징점을 추출하고, 이를 이용하여 영상을 인식에 적합한 크기 및 위치로 변환하는 과정을 의미한다. 이와 같은 정규화된 영상에 대해서, 얼굴 기술자(Face Descriptor)를 추출한다.(760단계) 얼굴 기술자 추출은, MPEG 7에서 채택된 PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis) 등과 같은 자동 얼굴 인식 알고리즘을 사용할 수 있다. 추출된 얼굴 기술자와, 얼굴 위치, 눈 위치 등에 의해 얼굴 특징을 결정한다. The
상기 수동등록부(220)는 특징이 추출된 얼굴이 있는 사진들을 보여주고, 사 용자에 의해 이름이 부여되면 상기 이름을 등록한다. 도 8은 상기 수동등록 과정을 흐름도로 도시한 것으로서, 특징이 추출된 얼굴이 있는 사진들을 thumbnail로 보여주고(800단계), 사용자가 수동으로 인물당 수 장 정도만 선택해서 이름을 부여한다.(820단계) 한 사진에 복수의 얼굴이 있으면 마우스로 선택할 수 있다.(840단계) 이름이 부여된 얼굴을 그 이름으로 등록한다.(860단계) 도 16은 수동등록의 일실시예를 도시한 것이다.The
상기 반자동등록부(240)는 인물별로 멀티 인스턴스 검색(multi-instance search)을 수행하여 소정의 유사도 거리 내의 얼굴을 보여주고, 상기 얼굴에 대해 사용자에 의해 선택적으로 이름이 부여되면, 상기 이름을 등록한다.The
도 3은 상기 반자동 등록부(240)의 보다 세부적인 구성을 블록도로 도시한 것으로서, 인스턴스 검색부(300), 유사도 계산부(320) 및 얼굴DB등록부(340)를 포함하여 이루어진다. 상기 인스턴스 검색부(300)는 사진이 입력되면, 등록된 얼굴들을 이용해서 인물별로 멀티 인스턴스 검색을 수행한다. 도 17은 반자동 등록에 대한 일실시예를 도시한 것이다.3 is a block diagram illustrating a more detailed configuration of the
상기 유사도 계산부(320)는 등록되지 않은 모든 영상을 질의로, 등록된 영상은 타겟으로 하여 유사도 거리가 소정의 임계값보다 낮은 얼굴들을 보여준다.The
상기 얼굴DB등록부(340)는 상기 보여진 얼굴들 중에서 사용자에 의해 선택된 얼굴에 이름을 부여하여 얼굴 데이터베이스에 등록한다.The face
도 9는 반자동등록 과정을 흐름도로 도시한 것으로서, 사진이 입력되면, 인물별로 등록된 인물 특징을 이용해서 얼굴기술자간의 거리가 threshold보다 낮은 얼굴들을 선택한다.(900단계) 상기 threshold의 값은 사용자가 입력가능하다. 사용자가 수정할 필요가 있으면 수정한 후(920단계), 얼굴특징에 이름을 부여한다.(940단계) 그리고 나서 인물을 등록한다.(960단계) 즉 등록된 얼굴들을 이용해서 인물별로 멀티 인스턴스 검색을 수행한다. 등록되지 않은 모든 영상을 쿼리(query)로, 등록된 영상은 target으로 하여 유사도(similarity) 거리가 threshold 보다 낮은 얼굴들을 보여준다. 사용자는 잘못 retrieval된 영상은 삭제하고 제대로 retrieval 된 영상에 대해서만 데이터 베이스에 추가 등록할 수 있다. 이를 통해서 하나의 이름으로 등록된 얼굴의 수가 획기적으로 확장되고 얼굴인식 성능이 증가한다. Threshold를 조절하여 false rejection과 false alarm의 비율을 조절할 수 있다. 9 is a flowchart illustrating a semi-automatic registration process, when a picture is input, faces that are less than a threshold between face descriptors are selected by using a person feature registered for each person (step 900). Can be entered. If the user needs to make a correction (step 920), the face feature is assigned a name (step 940), and then a person is registered (step 960). Perform. All registered images are queried, and registered images are targeted to show faces with a similarity distance lower than a threshold. The user can delete images that have been incorrectly retrieval and add them to the database only for those that have been properly retrieval. This greatly expands the number of faces registered under one name and increases face recognition performance. By adjusting the threshold, you can adjust the ratio of false rejection and false alarms.
상기 등록DB축소부(260)는 멀티 인스턴스 검색에서 인스턴스 개수를 줄인다. 멀티 인스턴스 검색에서 인스턴스가 너무 많이 늘어날 때에는 인스턴스를 축소할 필요가 있다. 유사한 모델을 중복 사용할 필요가 없으며, 인스턴스가 많으면 검색시간이 증가한다. 또한 최근 모델로 update할 필요가 있다. 상기 등록DB축소부(260)는 주어진 distance threshold에 따라 오래된 대표는 탈락되도록 하며, representative level 개념을 넣어서 이전 set에서 대표성이 있는 것은 다음 set에도 선택될 가능성이 높도록 한다. 자주 사용하면 멀티 인스턴스 검색의 성능이 저하될 수 있다. 상기 등록DB축소부(260)는 인물 DB 등록 사진수 축소 장치로서 그 자체로서도 하나의 발명이 될 수 있다.The registration
도 4는 상기 등록DB축소부(260)의 보다 세부적인 구성을 블록도로 도시한 것 으로서, 얼굴특징 클러스터링부(400), 대표특징 선택부(420) 및 얼굴삭제부(440)를 포함하여 이루어진다. 상기 얼굴특징 클러스터링부(400)는 얼굴 특징간의 거리비교로 얼굴특징 클러스터링을 수행한다. 상기 대표특징선택부(420)는 상기 클러스터링된 얼굴특징들 중에서 대표특징을 선택한다. 상기 얼굴삭제부(440)는 대표로 선택되지 않은 특징에 해당하는 얼굴사진을 얼굴DB에서 삭제한다.4 is a block diagram illustrating a more detailed configuration of the registration
도 5는 상기 도 4의 블록도를 보다 세부적으로 도시한 것으로서, 상기 얼굴특징 클러스터링부(400)는 노드 세트 생성부(500) 및 노드그래프 생성부(510)를 구비한다. 상기 노드세트생성부(500)는 얼굴 데이터베이스에 등록된 얼굴특징을 인스턴스라 할 때, 상기 인스턴스를 노드로 표현한 노드 세트(node set)를 생성한다. 상기 노드그래프생성부(510)는 노드들 간의 유사도 거리(distance)를 계산하여 소정의 기준값보다 작은 노드간을 링크시켜 노드 그래프(node graph)를 생성한다.5 illustrates the block diagram of FIG. 4 in more detail, wherein the facial
상기 대표특징선택부(420)는 링크섬계산부(520), 대표성 레벨 계산부(530) 및 대표노드 선택부(540)를 구비한다. 상기 링크섬계산부(520)는 상기 노드 그래프에서 각 노드의 링크섬(link sum)을 계산한다. 상기 대표성레벨 계산부(530)는 노드마다 상기 링크섬과 이전의 대표성레벨(representative level)을 고려하여 현재의 대표성 레벨을 계산한다. 상기 대표노드 선택부(540)는 상기 대표성 레벨이 가장 큰 노드를 대표노드로 선택한다. The
상기 얼굴삭제부(440)는 노드제거부(550) 및 인물삭제부(560)를 구비한다. 상기 노드제거부(550)는 상기 대표노드 및 상기 대표노드와 직접 링크되어 있는 노드들을 상기 노드 그래프에서 제거한다. 상기 인물삭제부(560)는 대표노드 이외의 노드에 해당하는 사진을 인물 DB에서 삭제한다.The
도 10은 본 발명에 의한 인물 DB 등록사진수 축소방법을 흐름도로 도시한 것이다. 먼저, 얼굴 특징간의 거리비교로 얼굴특징 클러스터링을 수행한다.(1000단계) 그리고 나서 상기 클러스터링된 얼굴특징들 중에서 대표특징을 선택하고(1010단계), 대표로 선택되지 않은 특징에 해당하는 얼굴사진을 얼굴DB에서 삭제한다.(1020단계)10 is a flowchart illustrating a method for reducing the number of person DB registered pictures according to the present invention. First, face feature clustering is performed by distance comparison between face features (step 1000). Then, a representative feature is selected from the clustered face features (step 1010), and a face photograph corresponding to a feature not selected as a representative is selected. Delete from face DB (step 1020).
도 11은 도 10에 도시된 흐름도를 보다 상세히 설명한 것으로서, 먼저 얼굴 데이터베이스에 등록된 얼굴특징을 인스턴스라 할 때, 상기 인스턴스를 노드로 표현한 노드 세트(node set)를 생성한다.(1100단계) 시간 t에서의 노드 세트는 t-1 에서의 대표성 노드(representative node)와 새로 추가된 노드로 구성되어 있다. (T = distance에 대한 threshold, 새로 추가된 노드의 representative level, a = aging rate(0<a<1), 예를 들어 a = 0.9))FIG. 11 illustrates the flow chart shown in FIG. 10 in more detail. First, when a face feature registered in a face database is an instance, a node set representing a node as a node is generated (step 1100). The node set at t consists of a representative node at t-1 and a newly added node. (T = threshold for distance, representative level of newly added node, a = aging rate (0 <a <1), for example a = 0.9)
노드들 간의 유사도 거리(distance)를 계산하여 소정의 기준값보다 작은 노드간을 링크시켜 노드 그래프(node graph)를 생성한다.(1110단계) 예를 들어 노드들 간의 distance 가 T 보다 작은 것은 link를 연결한다. 상기 노드 그래프에서 각 노드의 링크섬(link sum)을 계산한다.(1120단계) 즉 노드들 마다 link sum을 구한다. (recursive link도 포함한다.) 노드마다 상기 링크섬과 이전의 대표성 레벨(representative level)을 고려하여 현재의 대표성 레벨을 계산한다.(1130단계) 상기 대표성 레벨이 가장 큰 노드를 대표노드로 선택하고, 상기 대표노드 및 상기 대표노드와 직접 링크되어 있는 노드들을 상기 노드 그래프에서 제거한다.(1140단 계) 남아있는 노드들에 대해 상기 (c)단계 내지 (e)단계를, 남아있는 노드가 없을 때까지 반복 수행한다.(1150단계) 대표노드 이외의 노드에 해당하는 사진을 인물 DB에서 삭제한다.(1160단계)A node graph is generated by linking nodes smaller than a predetermined reference value by calculating a similarity distance between nodes (step 1110). For example, if a distance between nodes is smaller than T, a link is connected. do. The link sum of each node is calculated in the node graph (step 1120). That is, a link sum is calculated for each node. (Recursive link is also included.) For each node, the current representative level is calculated by considering the link island and the previous representative level. (Step 1130) The node having the largest representative level is selected as the representative node. Remove the representative node and the nodes directly linked to the representative node from the node graph. (Step 1140) For the remaining nodes, steps (c) to (e) are performed. Repeat until (step 1150). Delete the picture corresponding to the node other than the representative node from the person DB (step 1160).
상기 1130단계는 노드마다 상기 링크섬과 이전의 대표성레벨(representative level)을 고려하여 현재의 대표성 레벨을 수학식 1과 같이 계산할 수 있다. In
[수학식1][Equation 1]
여기서,는 현재의 대표성 레벨을,는 이전의 대표성 레벨을, a(0<a<1)는 aging rate을, 는 각 노드의 링크섬을 나타낸다. 도 12는 상술한 본 발명에 의한 인물 DB 등록사진수 축소방법을 노드그래프를 이용하여 도시한 것이다. 도 21은 등록 DB 축소에 있어서, 사진 수 축소 전의 예를 도시한 것이며, 도 22는 등록 DB축소에 있어서, 사진수 축소 후의 예를 도시한 것이다.here, The current representative level, Is the previous representative level, a (0 <a <1) is the aging rate, Represents the link sum of each node. 12 illustrates a method for reducing the number of registered person DB registered pictures according to the present invention using a node graph. FIG. 21 shows an example before the number of photos is reduced in registration DB reduction, and FIG. 22 shows an example after the number of photos is reduced in registration DB reduction.
한편, 도 1에 도시된 상기 질의부(140)는 등록되지 않은 새로운 사진이 입력되면 사진 내 인물의 이름을 추정한다. 질의는 등록되지 않은 새로운 사진이 입력되었을 때 그 얼굴의 이름을 알아 맞춘다. 질의(query)의 얼굴과 등록된 모든 얼굴과의 distance를 구해서 distance가 가장 작은 얼굴의 이름을 디스플레이한다. 한 사진에 복수의 얼굴이 있으면 각 얼굴에 대해서 같은 작업을 반복한다. 추측된 이름이 틀릴 경우 수정할 수 있다. 도 13은 상기 질의 과정을 흐름도로 도시한 것으로서, 사진이 입력되면 얼굴특징을 추출한다.(1300단계) 얼굴기술자 간의 distance 가 가장 작은 얼굴의 이름을 표시한다.(1310단계) 필요하면, 사용자에 의해 수정되고(1320단계), 얼굴특징에 이름을 부여한다.(1330단계) 그리고 나서 인물을 등록한다.(1340단계) 도 18은 질의에서 사진 내 이름 추정의 일실시예를 도시한 것이다.Meanwhile, the
또한 상기 질의부(140)는 복수 사진에 대한 인물 이름을 추정할 수도 있다. 예를 들어, 디지털 카메라에서 사진을 찍은 후 사진들을 한꺼번에 한 개의 폴더에 옮기는 경우에는 여러 장에 대해서 인물이름을 추정해서 thumbnail로 보여준다. 인물의 이름들은 얼굴 바로 밑에 보여준다. 틀릴 경우 더블 클릭으로 선택해서 수정할 수 있다. 도 14는 복수사진에 대한 인물이름 추정과정을 흐름도로 도시한 것으로서, 사진이 입력되면 얼굴특징을 추출한다.(1400단계) 등록된 모든 인물특징을 참조하여, 얼굴기술자 간의 distance가 가장 작은 얼굴의 이름을 파악한다.(1410단계) 사진들을 thumbnail로 배열하고 추정된 이름을 표시한다.(1420단계) 추측된 이름이 틀릴 경우, 필요에 따라 사용자가 수정가능하다.(1430단계) 얼굴특징에 이름을 부여하고(1440단계), 인물을 등록한다.(1450단계) 도 19는 질의에 있어서 복수 사진에 대한 인물 이름 추정의 일실시예를 도시한 것이다.In addition, the
최신사진 등록을 위해서는, 등록되지 않은 사진들에 대해서 질의(사진 내 인물의 이름을 추정하거나 복수의 사진에 대한 인물이름을 추정)를 수행한 후에, 최신 얼굴들을 등록할 수 있다.In order to register the latest picture, after performing a query (estimating the name of a person in the picture or a person name for a plurality of pictures) with respect to the unregistered pictures, the latest faces may be registered.
상기 검색부(160)는 검색할 인물 이름이 들어오면, 이름이 부여된 얼굴들 중에서 검색할 이름이 들어간 얼굴을 검색하고, 해당 얼굴이 들어간 사진을 검색하고, 상기 사진들을 보여준다. 주어진 이름의 모든 얼굴들을 보여준다. 이미 "이름 부여"가 끝난 사진들만 보여주기 때문에 에러가 없다. 일반 검색엔진처럼 "김정배" 뿐만 아니라 "김정배&황원준"이나 "김정배┃황원준"으로도 검색할 수 있다.When the name of the person to search for comes in, the
도 15는 이름으로 사진찾기 과정을 흐름도로 도시한 것으로서, 검색할 인물이름이 입력되면 이름이 부여된 얼굴들을 참조하여 검색할 이름이 들어간 얼굴을 파악한다.(1500단계) 해당 얼굴이 들어간 사진을 파악하여(1520단계), 사진들을 thumbnail로 배열한다.(1540단계) 도 20은 검색에 있어서 이름으로 사진 찾기의 일실시예를 도시한 것이다. 15 is a flowchart illustrating a process of finding a picture by name. When a person name to be searched is input, the face having a name to be searched is identified by referring to the faces assigned to the name (step 1500). (Step 1520), and arrange the pictures in thumbnails (step 1540). FIG. 20 shows an embodiment of finding pictures by name in a search.
상기 브라우징부(180)는 얼굴 검출에 성공한 사진들을 thumbnail로 보여준다. 도 23은 브라우징에 있어서 인물 사진 모두 보이기의 일실시예를 도시한 것이다.The
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. The present invention can be embodied as code that can be read by a computer (including all devices having an information processing function) in a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording devices include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the specific embodiments described above, but the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.
본 발명에 의하면, 다량의 포토 앨범(Photo Album) 사진들에 대해서, 몇 개의 사진들에 대해서만 수동으로 등록을 하면 나머지 사진들에 대하여 신속하게 등록할 수 있다. 또한, 등록된 사진들을 인물의 이름으로 신속하게 검색할 수 있으므로, 다량의 사진들을 효율적으로 관리할 수 있다.According to the present invention, if a large number of Photo Album photos are registered manually only for a few photos, the remaining photos can be quickly registered. In addition, the registered pictures can be quickly searched by the name of the person, so that a large number of pictures can be managed efficiently.
Claims (17)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050103784A KR101100429B1 (en) | 2005-11-01 | 2005-11-01 | Semi automatic enrollment method and apparatus of photo album, and photo album system using them |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050103784A KR101100429B1 (en) | 2005-11-01 | 2005-11-01 | Semi automatic enrollment method and apparatus of photo album, and photo album system using them |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110051673A Division KR101138873B1 (en) | 2011-05-30 | 2011-05-30 | Method and apparatus for reducing the number of photo in photo album |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070047063A true KR20070047063A (en) | 2007-05-04 |
KR101100429B1 KR101100429B1 (en) | 2011-12-30 |
Family
ID=38272092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050103784A KR101100429B1 (en) | 2005-11-01 | 2005-11-01 | Semi automatic enrollment method and apparatus of photo album, and photo album system using them |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101100429B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102202173A (en) * | 2010-03-23 | 2011-09-28 | 三星电子(中国)研发中心 | Photo automatically naming method and device thereof |
US8036432B2 (en) | 2007-07-24 | 2011-10-11 | Samsung Electronics Co., Ltd. | System and method of saving digital content classified by person-based clustering |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR960013819A (en) * | 1994-10-31 | 1996-05-22 | 경주현 | Vehicle Collision Hazard Alarm |
JPH1185992A (en) * | 1997-09-05 | 1999-03-30 | Omron Corp | Device and method for picture registration and retrieval and program recording medium |
JPH11250071A (en) * | 1998-02-26 | 1999-09-17 | Minolta Co Ltd | Image database constructing method, image database device and image information storage medium |
EP1239405A3 (en) * | 2001-03-09 | 2004-05-19 | Kabushiki Kaisha Toshiba | Face image recognition apparatus |
JP3984029B2 (en) * | 2001-11-12 | 2007-09-26 | オリンパス株式会社 | Image processing apparatus and program |
JP4039847B2 (en) * | 2001-11-12 | 2008-01-30 | オリンパス株式会社 | Image processing apparatus and program |
WO2004055715A1 (en) * | 2002-12-13 | 2004-07-01 | Koninklijke Philips Electronics N.V. | Expression invariant face recognition |
-
2005
- 2005-11-01 KR KR1020050103784A patent/KR101100429B1/en active IP Right Grant
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8036432B2 (en) | 2007-07-24 | 2011-10-11 | Samsung Electronics Co., Ltd. | System and method of saving digital content classified by person-based clustering |
EP4113325A2 (en) | 2007-07-24 | 2023-01-04 | Samsung Electronics Co., Ltd. | System and method of saving digital content classified by person-based clustering |
CN102202173A (en) * | 2010-03-23 | 2011-09-28 | 三星电子(中国)研发中心 | Photo automatically naming method and device thereof |
CN102202173B (en) * | 2010-03-23 | 2013-01-16 | 三星电子(中国)研发中心 | Photo automatically naming method and device thereof |
Also Published As
Publication number | Publication date |
---|---|
KR101100429B1 (en) | 2011-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10242250B2 (en) | Picture ranking method, and terminal | |
TWI351620B (en) | Information processing apparatus and method, and a | |
JP5358083B2 (en) | Person image search device and image search device | |
KR100601997B1 (en) | Method and apparatus for person-based photo clustering in digital photo album, and Person-based digital photo albuming method and apparatus using it | |
US8416997B2 (en) | Method of person identification using social connections | |
JP5612310B2 (en) | User interface for face recognition | |
US8194940B1 (en) | Automatic media sharing via shutter click | |
US8107689B2 (en) | Apparatus, method and computer program for processing information | |
EP2618290A2 (en) | Method and apparatus to incorporate automatic face recognition in digital image collections | |
JP2009514107A (en) | Determining a specific person from an aggregate | |
JP4643735B1 (en) | Electronic device and video processing method | |
JP2008165701A (en) | Image processing device, electronics equipment, image processing method, and program | |
WO2020007201A1 (en) | Picture search method and device, readable storage medium, and terminal | |
JP2009543197A (en) | Using backgrounds to explore image populations | |
US9665773B2 (en) | Searching for events by attendants | |
KR101138873B1 (en) | Method and apparatus for reducing the number of photo in photo album | |
JP5289211B2 (en) | Image search system, image search program, and server device | |
JP2008090698A (en) | Apparatus, method and program of image classification | |
KR101100429B1 (en) | Semi automatic enrollment method and apparatus of photo album, and photo album system using them | |
WO2021196551A1 (en) | Image retrieval method and apparatus, computer device, and storage medium | |
CN103093213B (en) | Video file classification method and terminal | |
JP2002007413A (en) | Image retrieving device | |
CN110825821A (en) | Personnel relationship query method and device, electronic equipment and storage medium | |
JP2007304771A (en) | Subject recognition device, subject recognition program and image retrieval service provision method | |
JP2011135126A (en) | Moving image display device, and method and program for displaying moving image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
A107 | Divisional application of patent | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20141119 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20151118 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20161121 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20171121 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20181119 Year of fee payment: 8 |