KR20110003236A - 얼굴 색인 장치 및 방법 - Google Patents

얼굴 색인 장치 및 방법 Download PDF

Info

Publication number
KR20110003236A
KR20110003236A KR1020090099323A KR20090099323A KR20110003236A KR 20110003236 A KR20110003236 A KR 20110003236A KR 1020090099323 A KR1020090099323 A KR 1020090099323A KR 20090099323 A KR20090099323 A KR 20090099323A KR 20110003236 A KR20110003236 A KR 20110003236A
Authority
KR
South Korea
Prior art keywords
face
face recognition
social
individual
image
Prior art date
Application number
KR1020090099323A
Other languages
English (en)
Other versions
KR101089288B1 (ko
Inventor
노용만
최재영
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20110003236A publication Critical patent/KR20110003236A/ko
Application granted granted Critical
Publication of KR101089288B1 publication Critical patent/KR101089288B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 멀티미디어 콘텐츠 내 존재하는 인물들의 얼굴 영상을 색인함에 있어서, 공유 가능한 개인 영상들의 집합을 활용하여 개인 영상 내 속한 다수의 다른 사용자들과의 사회적 관계 모델을 형성하고, 사회적 관계 모델을 기반으로 온라인 커뮤니티 네트워크 또는 P2P 플랫폼 기반 검색 시스템 등에 분산된 다수의 얼굴 인식 엔진을 협동적으로 활용하여 얼굴 색인을 수행함으로써, 하나의 얼굴 인식 엔진만을 사용했을 때와 비교하여 우수한 얼굴 색인 및 검색 성능을 확보할 수 있다. 또한, 다른 사용자들의 얼굴 색인 시스템에 등록된 얼굴 영상 집합을 공유하고 활용할 수 있기 때문에 등록 얼굴 영상의 부재로 인한 얼굴인식 성능 저하를 방지시켜 얼굴 인식의 신뢰성과 정확도를 높일 수 있다.
얼굴, 색인, 협동, 얼굴인식 엔진, 분산, 네트워크, 온라인 네트워크

Description

얼굴 색인 장치 및 방법{FACE IMAGE INDEXING APPARATUS AND METHOD THEREFOR}
본 발명은 얼굴 인식에 관한 것으로, 특히 멀티미디어 콘텐츠(multimedia contents)내 존재하는 인물들의 얼굴 영상을 색인(index)함에 있어서, 공유 가능한 개인 영상들의 집합을 활용하여 개인 영상 내 속한 다수의 다른 사용자들과의 사회적 관계 모델(social relationship model)을 형성하고, 사회적 관계 모델을 기반으로 온라인 커뮤니티 네트워크(online community network) 또는 P2P(peer-to-peer) 플랫폼(platform) 기반 검색 시스템 등에 분산된(decentralized) 다수의 얼굴 인식 엔진(face recognition engine)들을 선택하여 이와 같이 선택된 다수의 얼굴 인식 엔진을 협동적으로 활용함으로써, 색인을 위해 입력되는 멀티미디어 콘텐츠 내 얼굴 영상을 보다 신뢰성 있게 자동 색인할 수 있도록 하는 얼굴 색인 장치 및 방법에 관한 것이다.
디지털 저장 기기의 낮은 비용과 대중화 그리고 향상된 멀티미디어 콘텐츠 획득 성능 덕분에 개인 사용자가 관리해야 하는 멀티미디어 콘텐츠의 양이 기하급 수적으로 늘어나고 있다. 또한 "Flicker와 "Facebook"같은 온라인 커뮤니티 네트워크에 출현으로 개인 사용자들이 방대한 양의 멀티미디어 콘텐츠의 저장 및 관리가 요구되고 있는 것이 보편화되고 있는 실정이다.
따라서, 이처럼 방대한 양의 멀티미디어 콘텐츠들을 효율적으로 관리할 수 있도록 하기 위해 자동 멀티미디어 콘텐츠 색인에 대한 많은 연구들이 진행되고 있다. 한편, 최근 연구에 따르면 사용자들은 보통 개인 영상이나 비디오에 존재하는 관련 인물들을 기반으로 자기 자신의 멀티미디어 콘텐츠를 관리하는 방법을 선호하는 것으로 알려지고 있다. 따라서 멀티미디어 콘텐츠에 존재하는 인물이 "누구"인지 자동적으로 색인할 수 있는 기술은 상업적으로 가치가 크며 새로운 연구주제로 많은 연구가 진행되고 있는 실정이다.
현재 온라인 커뮤니티 네트워크 사이트들은 사용자가 직접 멀티미디어 콘텐츠에 존재하는 인물의 이름을 색인할 수 있는 기능을 제공하고 있으나, 이러한 수동적인 얼굴색인은 보통 시간 소비가 크며 사용자에게 많은 노동력을 요구한다. 이러한 제약을 극복하기 위해서는 컴퓨터를 기반으로 한 얼굴검출 및 인식을 활용한 자동 얼굴색인 기술이 실현되어야 하며, 이와 같은 자동 얼굴검출 기술은 이미 완성도가 높은 기술로 알려져 있다.
하지만, 현재 자동 얼굴인식 기술은, 특히 웹(web)과 같은 통제 불가능한 콘텐츠 획득 상황에서 검출된 얼굴영상에 대해서 신뢰성 있는 인식 성능을 제공하는데 많은 한계를 보이고 있다. 이는 보통 멀티미디어 콘텐츠로부터 검출된 얼굴영상들이 심각한 조명변화/자세변화/해상도변화에 종속되어 있기 때문이다.
또한, 대부분의 현재 자동 얼굴인식 기술은 단일화된 얼굴인식 엔진을 활용하는 중앙화된(centralized) 얼굴인식 프로토콜(protocol)을 가지고 있다. 단일화된 얼굴인식 엔진을 활용하는 기술은 전통적인 얼굴인식 응용분야인 바이오 메트릭(bio-metric) 인증이나 비디오카메라 기반 감시 등의 분야에 사용되고 있는 방법이다.
그러나, 온라인 사회적 네트워크나 P2P 플랫폼 기반 검색 사이트는 개인 멀티미디어 콘텐츠 저장과 관리에 있어 개인화(personalization)되고 분산화(decentralization)되는 특징 때문에 얼굴인식 엔진이 특정 개인영상 혹은 비디오를 위해 특성화되어 있으며, 네트워크(network)에 존재하는 각각 개인의 얼굴인식 엔진들은 분산화 되어 있어 종래 단일화 된 하나의 얼굴인식 엔진을 활용하는 것은 신뢰성 있는 얼굴인식 결과를 얻는데 한계가 존재한다.
따라서, 본 발명은 멀티미디어 콘텐츠 내 존재하는 얼굴 영상을 색인함에 있어서, 공유 가능한 개인 영상들의 집합을 활용하여 개인 영상 내 속한 다수의 다른 사용자들과의 사회적 관계 모델을 형성하고, 사회적 관계 모델을 기반으로 온라인 커뮤니티 네트워크 또는 P2P 플랫폼 기반 검색 시스템 등에 분산된 다수의 얼굴 인식 엔진을 선택하여 이와 같이 선택된 다수의 얼굴 인식 엔진을 협동적으로 활용함으로써, 색인을 위해 입력되는 멀티미디어 콘텐츠 내 얼굴 영상을 보다 신뢰성 있 게 색인할 수 있도록 하는 얼굴 색인 장치 및 방법을 제공하고자 한다.
상술한 본 발명은 입력 멀티미디어 콘텐츠에서 얼굴을 색인하는 장치로서, 상기 입력 멀티미디어 콘텐츠로부터 얼굴 영상을 추출하는 얼굴 영상 추출부와, 온라인 커뮤니티 네트워크나 P2P 플랫폼 기반 검색 시스템 내 분산된 얼굴인식 엔진들 중 상기 얼굴 영상에 대한 얼굴 인식을 위해 기 설정된 수의 얼굴 인식 엔진들을 선택하는 얼굴인식 엔진 선택부와, 상기 선택된 다수의 얼굴 인식 엔진의 특성이 적용되는 다수의 얼굴 특징 정보 추출기를 구비하여 상기 얼굴 영상에 대해 각각의 얼굴 인식 엔진에 따른 다수의 얼굴 특징 정보를 추출하는 얼굴 특징 추출부와, 상기 다수의 얼굴 특징 정보를 결합하여 상기 얼굴 영상에 대해 하나의 결합된 얼굴인식 결과를 생성하고, 상기 인식된 얼굴에 대한 색인 정보를 생성하는 협동 얼굴 인식부를 포함한다.
또한, 상기 얼굴인식 엔진 선택부는, 온라인 커뮤니티 네트워크나 P2P 플랫폼 기반 검색 시스템에서 공유 가능한 개인의 영상 집합에 존재하는 각각의 다른 사용자와의 사회적 관계 모델을 생성하고, 상기 사회적 관계 모델을 기반으로 사회적 친밀도가 상대적으로 높은 기 설정된 수의 다른 사용자에게 분산 보유된 얼굴인식 엔진을 선택하는 것을 특징으로 한다.
또한, 상기 얼굴인식 엔진 선택부는, 상기 사회적 관계 모델을 생성 시, 상기 공유 가능한 개인 영상들의 집합에 존재하는 각각의 다른 사용자의 개별 얼굴 영상의 제1출현 빈도수와, 상기 개인과 함께 등장하는 각각의 다른 사용자의 얼굴 영상의 제2출현 빈도수를 계산하여 개인과 각각의 다른 사용자와의 사회적 친밀도를 계산하여 상기 사회적 관계 모델을 생성하는 것을 특징으로 한다.
또한, 상기 얼굴인식 엔진 선택부는, 상기 사회적 관계 모델 생성 시, 상기 개별 얼굴 영상의 제1출현 빈도수보다 상기 개인과 함께 등장하는 각각의 다른 사용자의 얼굴 영상의 제2출현 빈도수에 더 가중치를 두어 상기 사회적 관계 모델을 생성하며, 상기 사회적 관계 모델을 생성 시, 상기 개인과 사회적 친밀도가 존재하는 모든 다른 사용자를 상기 개인을 중심축으로 연결되는 각 노드에 할당한 후, 상기 개인과 각 노드에 할당된 다른 사용자와의 사회적 친밀도의 정도를 양적인 수치로 표현하여 상기 사회적 관계 모델을 생성하는 것을 특징으로 한다.
또한, 상기 협동 얼굴 인식부는, 상기 다수의 얼굴 특징 정보를 결합하여 미리 데이터 베이스에 저장된 색인대상 인물들 중 상기 결합한 얼굴 특징 정보와 가장 유사성이 높은 인물의 얼굴로 인식하고, 상기 인식된 얼굴에 미리 등록된 색인 정보와 함께 얼굴 인식 결과로 출력하는 것을 특징으로 한다.
또한, 본 발명은 입력 멀티미디어 콘텐츠에서 얼굴을 색인하는 방법으로서, 상기 입력 멀티미디어 콘텐츠로부터 얼굴 영상을 추출하는 단계와, 온라인 커뮤니티 네트워크나 P2P 플랫폼 기반 검색 시스템 내 분산된 얼굴인식 엔진들 중 상기 얼굴 영상에 대한 얼굴 인식을 위해 기 설정된 수의 얼굴 인식 엔진들을 선택하는 단계와, 상기 선택된 다수의 얼굴 인식 엔진의 특성이 적용되는 다수의 얼굴 특징 정보 추출기를 이용하여 상기 얼굴 영상에 대해 각각의 얼굴 인식 엔진에 따른 다 수의 얼굴 특징 정보를 추출하는 단계와, 상기 다수의 얼굴 특징 정보를 결합하여 상기 얼굴 영상에 대해 하나의 결합된 얼굴인식 결과를 생성하고, 상기 인식된 얼굴에 대한 색인 정보를 생성하는 단계를 포함한다.
또한, 상기 얼굴인식 엔진을 선택하는 단계는, 온라인 커뮤니티 네트워크나 P2P 플랫폼 기반 검색 시스템에서 공유 가능한 개인 영상들의 집합에 존재하는 각각의 다른 사용자와의 사회적 관계 모델을 생성하는 단계와, 상기 사회적 관계 모델을 기반으로 사회적 친밀도가 상대적으로 높은 기 설정된 수의 다른 사용자에게 분산 보유된 얼굴인식 엔진을 선택하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 사회적 관계 모델을 생성하는 단계는, 상기 공유 가능한 개인의 영상 집합에 존재하는 각각의 다른 사용자의 개별 얼굴 영상의 제1 출현 빈도수를 계산하는 단계와, 상기 개인과 함께 등장하는 각각의 다른 사용자의 얼굴 영상의 제2 출현 빈도수를 계산하는 단계와, 상기 각각의 다른 사용자의 얼굴 영상에 대한 제1 출현 빈도수와 제2 출현 빈도수를 결합하여 상기 개인과 각각의 다른 사용자와의 사회적 친밀도를 계산하여 상기 사회적 관계 모델을 생성하는 단계를 포함하되, 상기 사회적 친밀도 계산 시, 상기 개별 얼굴 영상의 제1출현 빈도수보다 상기 개인과 함께 등장하는 각각의 다른 사용자의 얼굴 영상의 제2출현 빈도수에 더 가중치를 두는 것을 특징으로 한다.
또한, 상기 사회적 관계 모델의 생성 시, 상기 개인과 사회적 친밀도가 존재하는 모든 다른 사용자를 상기 개인을 중심축으로 연결되는 각 노드에 할당하는 단계와, 상기 개인과 상기 각 노드에 할당된 다른 사용자와의 사회적 친밀도의 정도 를 양적인 수치로 표현하여 상기 사회적 관계 모델을 생성하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 색인 정보를 생성하는 단계는, 상기 다수의 얼굴 특징 정보를 결합하여 미리 데이터 베이스에 저장된 색인대상 인물들 중 상기 결합한 얼굴 특징 정보와 가장 유사성이 높은 인물의 얼굴을 인식하는 단계와, 상기 인식된 얼굴에 미리 등록된 색인 정보와 함께 얼굴 인식 결과로 출력하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서는 멀티미디어 콘텐츠내 존재하는 인물들의 얼굴 영상을 색인 함에 있어서, 공유 가능한 개인 영상들의 집합을 활용하여 개인 영상 내 속한 다수의 다른 사용자들과의 사회적 관계 모델을 형성하고, 사회적 관계 모델을 기반으로 온라인 커뮤니티 네트워크 또는 P2P 플랫폼 기반 검색 시스템 등에 분산된 다수의 얼굴 인식 엔진을 협동적으로 활용하여 얼굴 색인을 수행함으로써, 하나의 얼굴 인식 엔진만을 사용했을 때와 비교하여 우수한 얼굴 색인 및 검색 성능을 확보할 수 있는 이점이 있다.
또한, 다른 사용자들의 얼굴 색인 시스템에 등록된 얼굴 영상 집합을 공유하고 활용할 수 있기 때문에 등록 얼굴 영상의 부재로 인한 얼굴인식 성능 저하를 방지시켜 얼굴 인식의 신뢰성을 높일 수 있는 이점이 있다. 또한 다수의 얼굴인식 엔진을 활용한 얼굴을 색인하는 본 발명의 기술은 온라인 커뮤니티 네트워크, P2P 플 랫폼 검색 시스템 뿐만 아니라 모바일 기반 멀티미디어 콘텐츠 관리분야와 IPTV 방송분야 등에서도 얼굴 색인을 기반으로 하는 응용 서비스에 넓게 적용될 수 있는 이점이 있다.
이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시 예에 따른 멀티미디어 콘텐츠(multimedia)내 존재하는 인물들의 얼굴을 인식하고 색인을 수행하는 얼굴 색인 장치의 상세 블록 구성을 도시한 것이다.
이하, 도 1을 참조하여, 본 발명의 얼굴 색인 장치내 각 구성 요소에서의 동작을 상세히 설명하기로 한다.
먼저, 얼굴인식 엔진 선택부(120)는 입력 멀티미디어 콘텐츠(100)에 대한 실질적인 얼굴 색인 과정 전에 위 얼굴 색인 장치의 사용자에 대해 미리 형성한 사회 적 관계 모델(110)을 기반으로, 온라인 커뮤니티 네트워크나 P2P 플랫폼 기반 검색 시스템 등에 분산된 얼굴인식 엔진들(130) 중에서 다수의 얼굴 인식 엔진을 선택하여 얼굴 인식 엔진을 구성한다.
이때, 얼굴인식 엔진 선택부(120)는 다수의 얼굴인식 엔진을 선택함에 있어서, 온라인 커뮤니티 네트워크나 P2P 플랫폼 기반 검색 시스템에서 공유 가능한 사용자의 영상 집합에 존재하는 각각의 다른 사용자와의 사회적 관계 모델(110)을 생성하고, 상기 사회적 관계 모델(110)을 기반으로 사회적 친밀도가 상대적으로 높은 기 설정된 수의 다른 사용자에게 분산 보유된 얼굴인식 엔진을 선택하게 된다. 이는 사회적 친밀도가 상대적으로 높은 다른 사용자들에게 보유된 얼굴 인식 엔진들이 위 얼굴 색인 장치의 사용자가 얼굴 인식하고자 하는 인물들에 대해서도 상대적으로 높은 얼굴 인식 확률을 가질 것으로 예상되기 때문이다.
또한, 얼굴인식 엔진 선택부(120)는, 사회적 관계 모델(110)을 생성함에 있어서는, 위 언급된 공유 가능한 사용자 영상들의 집합에 존재하는 각각의 다른 사용자의 개별 얼굴 영상의 출현 빈도수와, 사용자와 함께 등장하는 각각의 다른 사용자의 얼굴 영상의 출현 빈도수를 계산하여 사용자와 각각의 다른 사용자와의 사회적 친밀도를 계산하여 사회적 관계 모델(110)을 생성하게 된다.
얼굴 영상 추출부(140)는 입력 멀티미디어 콘텐츠(100)를 수신하고, 입력 멀티미디어 콘텐츠(100) 내 존재하는 얼굴 영상을 추출한다.
얼굴 특징 추출부(150)는 얼굴인식 엔진 선택부(120)에서 선택된 다수의 얼굴 인식 엔진의 특성이 적용되는 다수의 얼굴 특징 정보 추출기(151, 152, 153)를 구비하여 얼굴영상 추출부(140)로부터 추출되는 입력 멀티미디어 콘텐츠(100)내 각 얼굴 영상에 대해 각각의 얼굴 인식 엔진에 따른 다수의 얼굴 특징 정보를 추출한다.
협동 얼굴 인식부(collaborative face recognition)(160)는 얼굴 특징 추출부(150)로부터 추출되는 다수의 얼굴 특징 정보를 결합하여 미리 데이터 베이스(data base)(도시하지 않음)에 저장된 색인대상 인물들 중 위 결합한 얼굴 특징 정보와 가장 유사성이 높은 인물의 얼굴로 인식하고, 이와 같이 인식된 얼굴에 미리 등록된 색인 정보와 함께 얼굴 인식 결과로 출력한다.
즉, 온라인 커뮤니티 네트워크 등에 연결되는 특정 K번째 사용자의 컴퓨터내 구현되는 얼굴 색인 장치에서 얼굴색인 대상이 되는 사용자의 개인 영상 및 비디오를 포함하는 멀티미디어 콘텐츠(100)가 입력되면, 얼굴인식 엔진 선택부(120)는 실질적인 얼굴색인 과정 전에 형성된 위 사용자의 사회적 관계 모델(110)에 기반하여 분산화된 많은 얼굴인식 엔진들(130)로부터 얼굴 색인에 적합한 다수의 얼굴인식 엔진을 선택하여 입력 멀티미디어 콘텐츠(100) 내 얼굴을 인식하기 위한 얼굴인식 엔진을 구성한다.
그러면, 얼굴특징 추출부(150)는 얼굴영상 추출부(140)로부터 얼굴 검출 알고리즘을 통해 추출된 입력 멀티미디어 콘텐츠(100) 내 얼굴 영상들에 대해 사회적 관계 모델(110)을 기반으로 선택된 다수개의 얼굴인식 엔진의 특성이 적용된 얼굴특징 정보 추출기(151, 152, 153)를 이용하여 다수의 얼굴특징 정보를 추출한다.
이에 따라, 협동 얼굴 인식부(160)는 다수의 얼굴특징 정보를 결합하여 하나 의 협동 얼굴 인식 결과로 생성하고, 협동 얼굴 인식 결과를 기반으로 해당 멀티미디어 콘텐츠(100)에 대한 얼굴 색인을 수행하는 것이다.
도 2는 얼굴인식 엔진 선택부(120)에서 네트워크 내 분산된 얼굴인식 엔진의 데이터 베이스에서 각 사용자에게 최적으로 적용될 수 있는 얼굴인식 엔진을 선택하기 위한 사회적 관계 모델(110)을 생성하는 과정을 도시한 것이다.
먼저, 사회적 관계 모델(110)을 생성함에 있어서, 온라인 커뮤니티 네트워크나 P2P플랫폼 기반 네트워크를 통해 공유 가능한 사용자의 개인 영상들의 집합(200)에 존재하는 특정 인물의 출현 빈도 확률과 사용자와 특정 인물이 쌍으로 동시에 출현하는 동시 출현 빈도 확률을 계산한다(S202, S204). 이때, 특정 인물 출현 빈도 확률(Poccur(j))을 구하는 방법은 다음 [수학식 1]과 같이 표현된다.
Figure 112009063886712-PAT00001
여기서,
Figure 112009063886712-PAT00002
는 현재 얼굴색인 장치의 소유자인 k번째 사용자가 관리하고 있는 전체 개인 영상들로 구성된 집합을 나타내며,
Figure 112009063886712-PAT00003
는 k번째 사용자와 사회적 관계가 존재하는 친구 혹은 가족 등의 인물들로 구성되어 있는 집합이다. 여기서 k는 고정상수 이다. 그리고
Figure 112009063886712-PAT00004
는
Figure 112009063886712-PAT00005
에 포함된 j번째 인물이 개인영상
Figure 112009063886712-PAT00006
에 색인되어 있으면 "1"의 값을 반환하고, 그렇지 않으면 "0"을 반환하는 함수이다.
특정 인물 쌍의 동시 출현 빈도 확률(Pco - occur(k,j))을 구하는 방법은 다음 [수학식 2]와 같이 표현된다.
Figure 112009063886712-PAT00007
여기서,
Figure 112009063886712-PAT00008
는 현재 얼굴색인 장치의 소유자인 k번째 사용자와
Figure 112009063886712-PAT00009
에 포함된 다른 인물들 간에 공유할 수 있는 전체 개인영상으로 구성된 집합을 나타낸다. 그리고
Figure 112009063886712-PAT00010
는 k번째 사용자와 j번째 사용자가 개인영상
Figure 112009063886712-PAT00011
에 대해서 동시에 색인되어 있으면 "1"값을 반환하고 그렇지 않으면 "0"을 반환하는 함수이다.
이어, 도 2의 (S206)단계에서는 (S202)~(S204)단계에서의 [수학식 1]과 [수학식 2]로부터 구한 특정 인물의 출현 빈도 확률과 특정 인물 쌍의 동시 출현 빈도 확률을 기반으로, 특정 사용자와 관련된 다른 사용자들 간에 사회적 친밀도 정도를 양적으로 계산한다. 이때, 사회적 친밀도 정도를 계산하는 방법은 다음의 [수학식 3]과 같이 표현된다.
Figure 112009063886712-PAT00012
여기서,
Figure 112009063886712-PAT00013
는 현재 얼굴색인 장치의 소유자 k번째 사용자와
Figure 112009063886712-PAT00014
에 포함된 j번째 인물사이에 사회적 관계 친밀도 정도를 양적으로 표현하는 값이다.
이어, 최종적으로 (S208)단계에서 [수학식 3]에서 계산한 사회적 친밀도 정도를 나타내는 값들에 기반하여 사회적 관계 모델을 생성한다.
이때, 사회적 관계 모델은 다음 [수학식 4]와 같이 표현될 수 있으며, 이와 같이 생성되는 사회적 관계 모델은 도 3에서 도시된 사회적 관계 모델의 그래프에서 보여지는 바와 같이 사회적 친밀도 정도에 따라 사용자를 중심으로 나타낼 수 있다.
Figure 112009063886712-PAT00015
여기서,
Figure 112009063886712-PAT00016
는 다음과 같이 정의되는 노드(node)들과
Figure 112009063886712-PAT00017
, 에지(edge)들
Figure 112009063886712-PAT00018
, 그리고, 양 노드를 연결하는 에지의 가중치들 값
Figure 112009063886712-PAT00019
으로 구성되는 사회적 관계 모델이며, 이는 도 3에서와 같이 그래프로 표현될 수 있다.
그리고, 집합
Figure 112009063886712-PAT00020
에서 각 노드
Figure 112009063886712-PAT00021
는
Figure 112009063886712-PAT00022
에 포함된 j번째 인물을 나타내며, 집합
Figure 112009063886712-PAT00023
에서 각 에지
Figure 112009063886712-PAT00024
는 k번째 인물과 j번째 인물사이에 사회적 관계의 유무를 표현하는 값이며, 집합
Figure 112009063886712-PAT00025
에서 각 가중치
Figure 112009063886712-PAT00026
는 [수학식 4]에서 정의한 내용과 동일하다.
즉, 사회적 관계 모델의 그래프를 도시한 도 3을 참조하면, 현재 얼굴색인 장치의 소유자인 특정 사용자(300)와 사회적 관계가 존재하는 다른 사용자들이 각각 [수학식 4]에서 보여 진 노드 점들로 구성되어 있다. 또한 특정 사용자와 다른 사용자들 간에 사회적 친밀도 정도가 [수학식 3]에서 계산한 사회적 친밀도 정도 값들로 표현되어 있다.
위와 같이, 형성된 사회적 관계 모델을 통해 네트워크상 분산된 얼굴인식 엔진들(130)로부터 적합한 얼굴인식 엔진들의 집합을 선택하는 것은 다음 [수학식 5]와 같이 표현된다.
Figure 112009063886712-PAT00027
여기서,
Figure 112009063886712-PAT00028
은 사회적 관계 모델의 그래프를 입력으로 취하여 k번째 사용자와 사회적 관계가 가장 높은 순서로,
Figure 112009063886712-PAT00029
에 포함된 모든 사용자들 중에서
Figure 112009063886712-PAT00030
명의 다른 사용자들을 순위로 정하고, 해당
Figure 112009063886712-PAT00031
명의 사용자들에 소유되고 있는 해당
Figure 112009063886712-PAT00032
개의 얼굴인식 엔진들을 반환하는 함수이다.
도 4는 본 발명의 얼굴색인 장치에서 선택된 다수의 얼굴인식 엔진들의 집합을 활용한 협동 얼굴인식 방법의 동작 제어 흐름을 도시한 것이다. 이하, 도 1 및 도 4를 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.
도 4를 참조하면, 입력 멀티미디어 콘텐츠(100)가 입력되면(S400), 얼굴영상 추출부(140)를 통해 입력 멀티미디어 콘텐츠(100)에서 색인 대상이 되는 얼굴영상들이 획득된다(S402).
이와 같이, 획득된 얼굴영상들은 사회적 관계 모델(110)을 기반으로 [수학식 5]에서와 같은 방법을 통해 선택된 다수의 얼굴인식 엔진이 독립적으로 적용된 얼굴특징 추출부(150)를 통해 다수의 얼굴특징 정보로 추출된다(S404).
이때, 얼굴특징 정보(
Figure 112009063886712-PAT00033
)를 계산하는 방법은 다음 [수학식 6]으로 표현된다.
Figure 112009063886712-PAT00034
여기서,
Figure 112009063886712-PAT00035
는 멀티미디어 콘텐츠(100)로부터 추출된 얼굴영상이며,
Figure 112009063886712-PAT00036
는 협동 얼굴인식을 위해 선택된
Figure 112009063886712-PAT00037
개의 얼굴인식 엔진들에 포함되어 있는 n번째 얼굴특징 정보 추출기이다. 그리고
Figure 112009063886712-PAT00038
은 얼굴영상
Figure 112009063886712-PAT00039
을 입력으로 취한 후 해당 얼굴특징 정보
Figure 112009063886712-PAT00040
를 반환한다.
이어, 다수의 독립적인 얼굴인식 엔진들로부터 생성된 다수의 얼굴특징 정보 값들은 협동 얼굴 인식부(160)를 통해 하나의 얼굴인식 결과로 결합된다(S406). 이때, 다수의 얼굴특징 정보를 이용하여 하나의 얼굴인식 결과로 결합하는 방법은 다음 [수학식 7]과 같이 표현된다.
Figure 112009063886712-PAT00041
여기서,
Figure 112009063886712-PAT00042
은 사전에 등록된 색인되어야 할 인물대상들의 이름과 같은 레이블을 표현한다. [수학식 7]에서는 입력 얼굴영상을 N 개의 다수의 얼굴특징 정보 추출기(151, 152, 153)에 적용시켜 추출되어진 N 개의 얼굴특징 정보를 활용하여, 협동 얼굴인식 수행 후 색인되어야 할 인물들 중에 가장 큰 확률을 나타내는 인물 을 선택하는 과정을 나타낸다.
이어, [수학식 7]에 의해 수행된 협동 얼굴인식 결과를 기반으로 최종적으로 해당 멀티미디어 콘텐츠(100)에 존재하는 얼굴 영상에 대응되는 인물을 색인한다(S408).
상기한 바와 같이, 본 발명은 멀티미디어 콘텐츠 내 존재하는 얼굴 영상을 색인함에 있어서, 공유 가능한 개인 영상들의 집합을 활용하여 개인 영상 내 속한 다수의 다른 사용자들과의 사회적 관계 모델을 형성하고, 사회적 관계 모델을 기반으로 온라인 커뮤니티 네트워크 또는 P2P 플랫폼 기반 검색 시스템 내 분산된 다수의 얼굴 인식 엔진을 협동적으로 활용하여 얼굴 색인을 수행함으로써, 하나의 얼굴 인식 엔진만을 사용했을 때와 비교하여 우수한 얼굴 색인 및 검색 성능을 확보할 수 있다.
또한, 다른 사용자들의 얼굴 색인 시스템에 등록된 얼굴 영상 집합을 공유하고 활용할 수 있기 때문에 등록 얼굴 영상의 부재로 인한 얼굴인식 성능 저하를 방지시켜 얼굴 인식의 신뢰성을 확보하여 정확성을 높일 수 있다. 또한 다수의 얼굴인식 엔진을 활용하여 얼굴을 색인하는 본 발명의 기술은 온라인 커뮤니티 네트워크, P2P 플랫폼 검색 시스템 뿐만 아니라 모바일 기반 멀티미디어 콘텐츠 관리분야와 IPTV 방송분야 등에서도 얼굴 색인을 기반으로 하는 응용 서비스에 넓게 적용될 수 있다.
한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명 의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
도 1은 본 발명의 실시 예에 따른 얼굴 색인 장치의 상세 블록 구성도,
도 2는 본 발명의 실시 예에 따른 얼굴 색인 장치에서 사회적 관계 모델을 생성하는 처리 흐름도,
도 3은 본 발명의 실시 예에 따른 사회적 관계 모델의 그래프 예시도,
도 4는 본 발명의 실시 예에 따라 사회적 관계 모델을 기반으로 선택된 다수의 얼굴인식 엔진을 이용한 협동 얼굴 인식 처리 흐름도.
<도면의 주요 부호에 대한 간략한 설명>
100 : 멀티미디어 콘텐츠 110 : 사회적 관계 모델
120 : 얼굴인식 엔진 선택부 130 : 얼굴인식 엔진들
140 : 얼굴영상 추출부 150 : 얼굴특징 추출부
160 : 협동얼굴 인식부

Claims (14)

  1. 입력 멀티미디어 콘텐츠에 존재하는 인물들의 얼굴을 자동으로 색인하는 장치로서,
    상기 입력 멀티미디어 콘텐츠로부터 얼굴 영상을 추출하는 얼굴 영상 추출부와,
    온라인 커뮤니티 네트워크나 P2P 플랫폼 기반 검색 시스템 내 분산된 얼굴인식 엔진들 중 상기 얼굴 영상에 대한 얼굴 인식을 위해 기 설정된 다수의 얼굴 인식 엔진들을 선택하는 얼굴인식 엔진 선택부와,
    상기 선택된 다수의 얼굴 인식 엔진의 특성이 적용되는 다수의 얼굴 특징 정보 추출기를 구비하여 상기 얼굴 영상에 대해 각각의 얼굴 인식 엔진에 따른 다수의 얼굴 특징 정보를 추출하는 얼굴 특징 추출부와,
    상기 다수의 얼굴 특징 정보를 결합하여 상기 얼굴 영상에 대해 하나의 결합된 얼굴인식 결과를 생성하고, 상기 인식된 얼굴에 대한 색인 정보를 생성하는 협동 얼굴 인식부
    를 포함하는 얼굴 색인 장치.
  2. 제 1 항에 있어서,
    상기 얼굴인식 엔진 선택부는,
    상기 온라인 커뮤니티 네트워크나 P2P 플랫폼 기반 검색 시스템에서 공유 가능한 개인의 영상 집합에 존재하는 각각의 다른 사용자와의 사회적 관계 모델을 생성하고, 상기 사회적 관계 모델을 기반으로 사회적 친밀도가 상대적으로 높은 기 설정된 수의 다른 사용자에게 분산 보유된 얼굴인식 엔진을 선택하는 것을 특징으로 하는 얼굴 색인 장치.
  3. 제 2 항에 있어서,
    상기 얼굴인식 엔진 선택부는,
    상기 사회적 관계 모델을 생성 시, 상기 공유 가능한 개인 영상들의 집합에 존재하는 각각의 다른 사용자의 개별 얼굴 영상의 제1출현 빈도수와, 상기 개인과 함께 등장하는 각각의 다른 사용자의 얼굴 영상의 제2출현 빈도수를 계산하여 개인과 각각의 다른 사용자와의 사회적 친밀도를 계산하여 상기 사회적 관계 모델을 생성하는 것을 특징으로 하는 얼굴 색인 장치.
  4. 제 3 항에 있어서,
    상기 얼굴인식 엔진 선택부는,
    상기 사회적 관계 모델 생성 시, 상기 개별 얼굴 영상의 제1출현 빈도수보다 상기 개인과 함께 등장하는 각각의 다른 사용자의 얼굴 영상의 제2출현 빈도수에 더 가중치를 두어 상기 사회적 관계 모델을 생성하는 것을 특징으로 하는 얼굴 색인 장치.
  5. 제 3 항에 있어서,
    상기 얼굴인식 엔진 선택부는,
    상기 사회적 관계 모델을 생성 시, 상기 개인과 사회적 친밀도가 존재하는 모든 다른 사용자를 상기 개인을 중심축으로 연결되는 각 노드에 할당한 후, 상기 개인과 각 노드에 할당된 다른 사용자와의 사회적 친밀도의 정도를 양적인 수치로 표현하여 상기 사회적 관계 모델을 생성하는 것을 특징으로 하는 얼굴 색인 장치.
  6. 제 1 항에 있어서,
    상기 얼굴인식 엔진 선택부는,
    IPTV 네트워크나, 이동통신 네트워크 내 분산된 얼굴인식 엔진들 중 상기 얼굴 영상에 대한 얼굴 인식을 위해 기 설정된 수의 다수의 얼굴 인식 엔진을 선택하여 얼굴 인식 엔진을 구성하는 것을 특징으로 하는 얼굴 색인 장치.
  7. 제 1 항에 있어서,
    상기 협동 얼굴 인식부는,
    상기 다수의 얼굴 특징 정보를 결합하여 미리 데이터 베이스에 저장된 색인대상 인물들 중 상기 결합한 얼굴 특징 정보와 가장 유사성이 높은 인물의 얼굴로 인식하고, 상기 인식된 얼굴에 미리 등록된 색인 정보와 함께 얼굴 인식 결과로 출력하는 것을 특징으로 하는 얼굴 색인 장치.
  8. 입력 멀티미디어 콘텐츠에서 얼굴을 색인하는 방법으로서,
    상기 입력 멀티미디어 콘텐츠로부터 얼굴 영상을 추출하는 단계와,
    온라인 커뮤니티 네트워크나 P2P 플랫폼 기반 검색 시스템 내 분산된 얼굴인식 엔진들 중 상기 얼굴 영상에 대한 얼굴 인식을 위해 기 설정된 다수의 얼굴 인식 엔진들을 선택하는 단계와,
    상기 선택된 다수의 얼굴 인식 엔진의 특성이 적용되는 다수의 얼굴 특징 정보 추출기를 이용하여 상기 얼굴 영상에 대해 각각의 얼굴 인식 엔진에 따른 다수의 얼굴 특징 정보를 추출하는 단계와,
    상기 다수의 얼굴 특징 정보를 결합하여 상기 얼굴 영상에 대해 하나의 결합된 얼굴인식 결과를 생성하고, 상기 인식된 얼굴에 대한 색인 정보를 생성하는 단계
    를 포함하는 얼굴 색인 방법.
  9. 제 8 항에 있어서,
    상기 얼굴인식 엔진을 선택하는 단계는,
    상기 온라인 커뮤니티 네트워크나 P2P 플랫폼 기반 검색 시스템에서 공유 가능한 개인 영상들의 집합에 존재하는 각각의 다른 사용자와의 사회적 관계 모델을 생성하는 단계와,
    상기 사회적 관계 모델을 기반으로 사회적 친밀도가 상대적으로 높은 기 설정된 수의 다른 사용자에게 분산 보유된 얼굴인식 엔진을 선택하는 단계
    를 포함하는 것을 특징으로 하는 얼굴 색인 방법.
  10. 제 9 항에 있어서,
    상기 사회적 관계 모델을 생성하는 단계는,
    상기 공유 가능한 개인의 영상 집합에 존재하는 각각의 다른 사용자의 개별 얼굴 영상의 제1 출현 빈도수를 계산하는 단계와,
    상기 개인과 함께 등장하는 각각의 다른 사용자의 얼굴 영상의 제2 출현 빈도수를 계산하는 단계와,
    상기 각각의 다른 사용자의 얼굴 영상에 대한 제1 출현 빈도수와 제2 출현 빈도수를 결합하여 상기 개인과 각각의 다른 사용자와의 사회적 친밀도를 계산하여 상기 사회적 관계 모델을 생성하는 단계
    를 포함하는 것을 특징으로 하는 얼굴 색인 방법.
  11. 제 10 항에 있어서,
    상기 사회적 친밀도 계산 시,
    상기 개별 얼굴 영상의 제1출현 빈도수보다 상기 개인과 함께 등장하는 각각의 다른 사용자의 얼굴 영상의 제2출현 빈도수에 더 가중치를 두는 것을 특징으로 하는 얼굴 색인 방법.
  12. 제 9 항에 있어서,
    상기 사회적 관계 모델의 생성 시,
    상기 개인과 사회적 친밀도가 존재하는 모든 다른 사용자를 상기 개인을 중심축으로 연결되는 각 노드에 할당하는 단계와,
    상기 개인과 상기 각 노드에 할당된 다른 사용자와의 사회적 친밀도의 정도를 양적인 수치로 표현하여 상기 사회적 관계 모델을 생성하는 단계
    를 더 포함하는 것을 특징으로 하는 얼굴 색인 방법.
  13. 제 8 항에 있어서,
    상기 얼굴인식 엔진을 선택하는 단계에서,
    상기 다수의 얼굴 인식 엔진은, IPTV 네트워크나, 이동통신 네트워크내 분산된 얼굴인식 엔진들 중에서 선택하는 것을 특징으로 하는 얼굴 색인 방법.
  14. 제 8 항에 있어서,
    상기 색인 정보를 생성하는 단계는,
    상기 다수의 얼굴 특징 정보를 결합하여 미리 데이터 베이스에 저장된 색인대상 인물들 중 상기 결합한 얼굴 특징 정보와 가장 유사성이 높은 인물의 얼굴을 인식하는 단계와,
    상기 인식된 얼굴에 미리 등록된 색인 정보와 함께 얼굴 인식 결과로 출력하는 단계
    를 포함하는 것을 특징으로 하는 얼굴 색인 방법.
KR1020090099323A 2009-07-03 2009-10-19 얼굴 색인 장치 및 방법 KR101089288B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090060854 2009-07-03
KR1020090060854 2009-07-03

Publications (2)

Publication Number Publication Date
KR20110003236A true KR20110003236A (ko) 2011-01-11
KR101089288B1 KR101089288B1 (ko) 2011-12-05

Family

ID=43611245

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090099323A KR101089288B1 (ko) 2009-07-03 2009-10-19 얼굴 색인 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101089288B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822767A (zh) * 2020-06-11 2021-12-21 浙江宇视科技有限公司 社会关系确定方法、装置、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090440B (zh) * 2017-12-14 2020-12-18 中国铁道科学研究院电子计算技术研究所 一种面向铁路客运的身份验证系统
KR102466942B1 (ko) 2017-12-27 2022-11-14 한국전자통신연구원 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822767A (zh) * 2020-06-11 2021-12-21 浙江宇视科技有限公司 社会关系确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR101089288B1 (ko) 2011-12-05

Similar Documents

Publication Publication Date Title
CN103069415B (zh) 用于图像处理的计算机实施的方法、计算机程序产品和计算机系统
US9275272B2 (en) Tag suggestions for images on online social networks
CN102741835B (zh) 用于图像处理的方法、装置或者系统
US8983210B2 (en) Social network system and method for identifying cluster image matches
EP2753026B1 (en) Method, apparatus and storage medium for adding friends in social network
US10469912B2 (en) Visual hash tags via trending recognition activities, systems and methods
US10805647B2 (en) Automatic personalized story generation for visual media
US20110182485A1 (en) Relationship mapping employing multi-dimensional context including facial recognition
CN103412951A (zh) 基于人物照片的人脉关联分析管理系统与方法
CN102750346B (zh) 软件推荐方法和系统、终端设备
CN106656732A (zh) 一种基于场景信息获取聊天回复内容的方法及装置
CN106649409A (zh) 一种基于场景信息显示搜索结果的方法及装置
AU2014274171A1 (en) Tag suggestions for images on online social networks
US20210117467A1 (en) Systems and methods for filtering of computer vision generated tags using natural language processing
CN111191133B (zh) 业务搜索处理方法、装置及设备
CN105103181A (zh) 人物选择器
Adams et al. Extraction of social context and application to personal multimedia exploration
CN111954087B (zh) 视频中图像的截取方法和装置、存储介质和电子设备
CN103678624A (zh) 搜索方法、搜索服务器、搜索请求执行方法及终端
KR101089288B1 (ko) 얼굴 색인 장치 및 방법
US9544384B2 (en) Method and system for pushing associated users in social networking service network
CN107656760A (zh) 数据处理方法及装置、电子设备
JP6709709B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR101344888B1 (ko) 온톨로지 관계 구조를 이용한 소셜 네트워크 서비스 제공 장치 및 그 방법
CN116016421A (zh) 促进在计算装置中执行的基于媒体的内容共享的方法、计算装置可读存储介质以及计算装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant