KR20150007403A - 인물 인식 방법, 그리고 인물 정보 데이터 운용 방법 및 장치 - Google Patents

Abstract

본 발명은 인물 정보 데이터 운용 방법에 있어서, 적어도 하나의 인물을 포함하는 사진을 표시부에 출력하는 과정; 상기 출력된 사진에서 적어도 하나의 사람 형태와 매칭되는 인물 영역을 인식하는 과정; 상기 인식된 인물 영역에서 인물의 외적 이미지 특징점을 추출하는 과정; 및 상기 추출된 외적 이미지 특징점을 기반으로 상기 사진에 포함된 인물이 누구인지 인식하는 과정을 포함하는 인물 정보 데이터 운용 방법을 포함한다.

Description

인물 인식 방법, 그리고 인물 정보 데이터 운용 방법 및 장치 {Apparatus and method for operating information searching data of persons and person recognizes method using the same}

본 발명은 인물 인식 방법 그리고, 인물 정보 데이터 운용 방법 및 장치에 관한 것으로, 보다 구체적으로, 인물 사진에서 인물 인식을 위한 인물 정보 데이터 운용 방법 및 장치에 관한 것이다.

최근 통신 기술의 발달로, 휴대용 단말기 예컨대, 스마트폰, 태블릿 PC 등이 널리 보급되고 있다. 휴대용 단말기는 이용의 편의성과 휴대의 용이성으로 인해 매우 폭넓은 분야에서 이용되고 있다. 휴대용 단말기는 사용자들이 필요로 하는 다양한 기능 등을 제공하기 위하여 각 구성들에 대응하는 기능들을 제공해 왔다. 휴대용 단말기는 카메라를 포함하며, 카메라가 촬영한 사진 또는 외부에서 수신된 사진 등을 별도로 저장 및 관리하고, 이를 검색할 수 있도록 하는 특정 기능을 제공한다.

단말기는 사용자가 요구하는 특정 기능 지원을 위해 다양한 기능 항목 등을 제공하며, 이를 기반으로 해당 기능 지원을 수행하고 있다. 예를 들어, 단말기는 사진 또는 영상에서 포함된 인물을 인식하고, 인식된 인물 정보를 이용하여 다양한 서비스를 제공하고 있다. 이 경우, 사진 또는 영상에서 인물을 인식하는 방법은 얼굴 인식 과정을 주로 이용하고 있다. 얼굴 인식 과정은 사진 또는 영상에서 얼굴을 검출하고, 검출된 얼굴을 검색 데이터 베이스와 비교하여 인물을 인식하게 된다.

그러나, 이러한 얼굴 인식 기술은 사진 또는 영상에서 사람의 얼굴이 정면으로 출력되지 않는 경우, 사진을 통해서 얼굴을 인식하기 어려운 단점이 얼굴을 인식하기 어려운 단점이 존재한다. 이에 따라, 사진 또는 영상에서 얼굴 인식이 어려운 상황에서도 인물 인식의 정확도 및 인식률을 높일 수 있는 기능 지원이 요구되고 있는 실정이다.

상기 안출된 문제점을 극복하기 위하여, 본 발명은 사진이나 영상에서 얼굴 영역 이외의 외적 특징을 통해 사람을 인식하고, 인식된 사람이 누구인지 구별할 수 있는 인물 정보 데이터 운용 방법 및 장치를 제공하는데 그 목적이 있다.

또한, 본 발명은 이미지, 얼굴 매칭 외에 위치 정보, 사진 또는 영상의 메타 데이터를 이용하여 사진이나 영상에 포함된 인물을 구별할 수 있는 인물 정보 데이터 운용 방법 및 장치를 제공하는 데 그 목적이 있다.

본 발명은 인물 정보 데이터 운용 방법에 있어서, 적어도 하나의 인물을 포함하는 사진을 표시부에 출력하는 과정; 상기 출력된 사진에서 적어도 하나의 사람 형태와 매칭되는 인물 영역을 인식하는 과정; 상기 인식된 인물 영역에서 인물의 외적 이미지 특징점을 추출하는 과정; 및 상기 추출된 인물의 외적 이미지 특징점을 기반으로 상기 사진에 포함된 인물이 누구인지 인식하는 과정을 포함한다.

또한, 본 발명은 인물 정보 데이터 운용 방법에 있어서, 카메라 촬영 이벤트 또는 수신 이벤트에 의해 적어도 하나의 인물을 포함하는 사진을 생성하는 과정; 상기 사진의 속정 정보를 수집하는 과정, 상기 사진에 대한 얼굴 인식 성공 시 얼굴 인식된 인물의 식별 정보를 수집하는 과정 및 상기 얼굴 인식된 인물의 외적 이미지 특정 정보를 수집하는 과정 중 적어도 하나를 수행하는 과정; 및 상기 수집된 정보들과 상기 생성된 사진을 연관시켜 저장하는 단계를 포함한다.

또한, 본 발명은 인물 정보 데이터 운용 방법에 있어서, 적어도 하나의 인물을 포함하는 특정사진에 대해 인물의 얼굴 정보 검색, 인물의 외적 이미지 특징 정보 검색 및 인물의 사람 형태 정보 검색 중 적어도 하나를 수행 시 최근 생성된 데이터를 기준으로 검색 대상 자료를 선정하는 과정; 및 상기 검색 대상 자료 중 상기 특정 사진이 저장된 시간 및 위치에 생성된 자료부터 정보를 검색하는 과정을 포함한다.

또한, 본 발명은 인물 정보 운용을 지원하는 단말기에 있어서, 적어도 하나의 인물을 포함하는 사진을 출력하는 표시부; 및 상기 표시부에 출력된 사진에서 적어도 하나의 사람 형태와 매칭되는 인물 영역을 인식하고, 상기 인식된 인물 영역에서 인물의 외적 이미지 특징점을 추출하고, 상기 추출된 인물의 외적 이미지 특징점을 기반으로 상기 사진에 포함된 인물이 누구인지 인식하는 제어부를 포함한다.

본 발명에 따르면, 인물 사진에 포함된 인물의 외적 이미지 특징 정보를 수집하고 저장함으로써, 사진 이나 영상에서 사용자 얼굴이 정면으로 노출되지 않거나, 얼굴이 가려져 있는 경우에도 해당 인물 인식의 정확성을 향상시킬 수 있다. 또한, 본 발명에 따르면, 사진 또는 영상에 인물을 인식하여 인식된 인물 정보를 기반으로 사용자 기능을 보다 용이하고 다양하게 운용할 수 있도록 지원할 수 있다.

도 1은 본 발명의 실시예에 따른 단말기의 구성을 개략적으로 나타내 보인 블록도이다.
도 2는 본 발명의 실시예에 따른 인물 정보 데이터 저장 방법을 설명하기 위한 흐름도이다.
도 3및 도 4는 인물 정보 데이터 저장 과정을 이해하기 위한 화면 예시도들이다.
도 5는 본 발명의 실시예에 따른 인물 인식 방법을 설명하기 위한 흐름도이다.
도 6은 사람 형태 검출 과정을 이해하기 위한 화면 예시도이다.
도 7은 본 발명의 실시예에 다른 인물 인식 방법을 설명하기 위한 화면 예시도이다.
도 8을 본 발명의 실시예에 따른 인물 정보 검색 운용 방법을 설명하기 위한 흐름도이다.

이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따라 메시지 관리 방법 및 장치에 대해서 상세하게 설명한다. 본 발명의 상세한 설명에 앞서, 이하에서 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서, 본 명세서와 도면은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한, 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.

본 발명에 따른 방법 및 장치는 휴대 단말기에 적용될 수 있다. 이러한 휴대 단말기는 휴대폰, 스마트폰, 태블릿 PC, 핸드헬드(hand-held) PC, PMP(Portable Multimedia Player), PDA(Personal Digital Assistant) 등이 될 수 있음은 자명하다. 이하 설명에서는 본 발명에 따른 인물 정보 데이터 운용 방법 및 장치가 휴대 단말기에 적용되는 것으로 가정하여 설명한다.

본 발명에서 '검출'은 사진 내에 포함된 특정 객체(예; 얼굴, 사람 형태, 악세서리, 옷의 로고 등의 특정 패턴)의 추출을 의미하며, '인식'은 검출된 특정 객체가 무엇 인지를 판단하는 의미이다. '검색'은 정보 인식 과정 시 데이터 베이스에서 매칭되는 정보를 찾거나, 인식된 특정 객체를 기준으로 정보 분류 시 데이터들을 추출하는 의미로 해석될 수 있다.

본 발명에 따른 단말기는 단말기에 수집된 사진 또는 영상에 포함된 적어도 하나의 인물들을 인식하는 기능을 지원한다. 특히, 본 발명의 단말기는 사진 또는 영상에 포함된 인물들의 얼굴 인식 이외의 외적 특징 정보 예컨대, 인물의 헤어 정보, 의류 정보, 액세서리 정보 등을 기반으로 해당 인식이 누구인지 인식하는 기능을 지원한다.

그리고, 본 발명의 단말기는 사진 또는 영상에 포함된 적어도 하나의 인물들을 인식하고, 해당 인물이 포함된 사진 또는 영상을 분류하도록 지원한다. 본 발명의 단말기는 인식된 인물들에 해당되는 인물 식별 정보를 사진 상의 일정 위치에 출력하도록 지원한다. 또한, 단말기는 인식된 인물들에 해당하는 사용자에 대응하는 타 단말기와의 연동 기능 예를 들어, 전화 호 발신, 사진 또는 영상 발송, 메시지 발송, 쇼설 네트워크 지원 기능 등을 수행할 수 있도록 지원한다.

도 1은 본 발명의 실시예에 따른 단말기의 구성을 개략적으로 나타내 보인 블록도이다.

도 1을 참조하면, 본 발명에 따른 단말기는 입력부(110), 표시부(120), 통신부(130), 카메라(140), 저장부(150) 및 제어부(160)를 포함하여 이루어질 수 있다.

입력부(110)는 단말기 운용에 필요한 다양한 입력 신호를 생성한다. 입력부(110)는 사용자 설정 및 단말기의 기능 제어와 관련된 신호를 생성하여 제어부(160)로 전달한다. 제어부(160)는 이러한 입력 신호에 응답하여 해당 입력 신호에 따른 기능들을 제어한다. 본 발명의 입력부(110)는 사진 또는 영상에서 인물 인식 기능을 활성화하기 위한 입력 신호, 인식된 인물들을 기반으로 하는 연동 기능 등의 활성화를 위한 입력 신호를 생성할 수 있다.

표시부(120)는 단말기의 운용 과정에 필요한 다양한 기능 화면을 표시한다. 표시부(120)는 제어부(160)의 제어 하에, 제어부(160)에서 입력받은 영상 데이터를 아날로그 신호로 변환하여 표시한다. 표시부(120)는 단말기 운용에 따라 다양한 화면을 제공하는 표시 패널과, 표시 패널의 전면 또는 후면에 입력 이벤트 생성을 지원하는 터치 패널을 포함할 수 있다. 표시부(120)는 단말기의 회전 방향(또는 파지 방향)에 따라 가로 보기 모드를 제공하거나 세로 보기 모드를 지원한다. 또한, 표시부(120)에 터치 패널이 포함되는 경우, 표시부(120)는 입력부(110)로서 동작할 수 있다. 이 경우, 단말기 운용을 위한 입력 신호는 터치 패널을 통해 생성될 수 있다.

본 발명에서 표시부(120)는 인물 정보 데이터 운용 기능과 관련된 다양한 화면 인터페이스를 제공할 수 있다. 예를 들어, 표시부(120)는 사진 또는 영상 출력 화면, 인물 인식 결과 정보 표시 화면, 인식 인물과의 연동 기능 정보 제공 화면, 인식된 인물들을 기반으로 한 연동 기능 실행 화면, 인식된 인물과 관련된 정보 검색 화면, 사진 또는 영상 공유를 위한 화면 등을 제공할 수 있다.

또한, 표시부(120)는 사진을 적어도 하나의 인물을 포함하고 있는 경우, 인물 인식 결과, 해당 인물들의 식별 정보를 표시할 수 있다. 표시부(120)는 제어부(160)의 제어 하에, 인물 인식 결과에 따라 이미지에 인물 식별 정보를 태깅(tagging)처리하여 표시할 수 있다.

통신부(130)는 단말기의 통신 기능을 수행한다. 통신부(130)는 지원 가능한 이동 통신 네트워크와 통신 채널을 형성하여 음성 통신, 화상 통신 및 데이터 통신과 같은 통신 기능을 수행한다. 통신부(130)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신기와, 수신되는 신호를 저잡음 증폭하고 수신 신호의 주파수를 하강 변환하는 RF수신부 등을 포함할 수 있다. 본 발명에서 통신부는 타 단말기와 전화 호 송수신, 메시지 송수신, 메신저 송수신등과 같은 통신 기능을 지원한다.

통신부(130)는 사진 또는 영상에서 인식된 인물이 사용한 네트워크 정보를 이용하여 인식된 인물의 타 단말기와 특정 통신 채널 형성 및 데이터 송수신을 지원할 수 있다. 본 발명에 따른 통신부(130)는 이동 통신 모듈(131), GPS 수신 모듈(132) 및 무선 인터넷 모듈(133)을 포함하여 구성될 수 있으며, 이에 한정하지 않는다. 이동 통신 모듈(131)은 기지국, 서버 등과 무선 신호를 송수신한다. 무선 신호는 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티 미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. GPS 수신 모듈(132)은 제어부(160)의 제어 하에, GPS 위성으로부터 GPS 위성 신호를 수신하여 제어부(160)로 전달한다. 제어부(160)는 GPS 위성 신호를 이용하여 현재 위치한 단말기의 위치 정보를 계산할 수 있다. 무선 인터넷 모듈(133)은 무선 인터넷 네트워크에 접속하여 무선 신호를 송수신한다. 예를 들어, 무선 인터넷 모듈(133)은 제어부(160)의 제어 하에,사진 또는 영상에서 인식된 인물들이 이용하는 특정 소셜 네트워크 서비스(SNS; Social Network Service)를 지원하는 소셜 네트워크와 통신 채널을 형성할 수 있다. 본 발명의 통신부(130)는 단말기 사용자가 사진 또는 영상에서 인식된 인물들의 사용자가 이용하는 타 단말기로 사진을 전송하거나, 전화 통화를 수행할 수 있도록 통신 채널을 형성할 수 있다.

카메라(140)는 입력된 광 신호를 전기적 신호로 변환하는 카메라 센서와, 카메라 센서로부터 촬영되는 아날로그 영상 신호를 디지털 데이터로 변환하는 영상처리 장치(Image Signal Processor) 및 영상처리 장치에서 출력되는 디지털 데이터를 표시부(120)에 표시하기 위해 비디오 신호를 영상 처리(예, 크기 조정(scaling), 잡음 제거, RGB 신호 변환 등) 하는 신호처리 장치(Digital Signal Processor)등을 포함할 수 있다.

저장부(150)는 사용자 기기의 운영체제(OS:Operating System) 및 다양한 어플리케이션(이하, 앱)을 비롯하여, 단말에서 생성되는 다양한 데이터 등을 저장한다. 데이터는 사용자 기기의 앱 실행에 발생하는 데이터 및 사용자 기기를 이용하여 생성하거나 외부(예컨대, 외부 서버, 다른 사용자 기기 등)로부터 수신하여 저장 가능한 모든 형태의 데이터들을 포함할 수 있다. 저장부(150)는 사용자 기기에서 제공되는 사용자 인터페이스(UI: User Interface) 및 사용자 기기에서 기능 처리 시 필요한 다양한 설정 정보를 저장할 수 있다.

본 발명에 따른 저장부(150)는 제어부(160)의 제어 하에, 단말기에 사진 또는 영상 수집(예; 카메라 촬영, 외부 수신 등) 시 사진 또는 영상과 관련된 인물 식별 정보, 인물 외적 특징 정보 및 속성 정보 중 적어도 하나 이상의 정보를 저장할 수 있다.

저장부(150)는 얼굴 인식을 위한 얼굴 정보 데이터 베이스(151)(예: 폰북의 사진 정보, 소셜 네트워크 서비스의 친구 목록 사진 정보), 인물의 외적 특징 정보 데이터 베이스(152)를 포함할 수 있으나, 이에 한정하지 않으며, 인간 관계 정보 데이터 베이스, 사진 속성 정보 데이터 베이스, 사람 형태 데이터베이스를 더 포함할 수 있다.

여기서, 얼굴 정보 데이터 베이스(151)는 타 단말기 사용자 얼굴에 해당하는 인물의 얼굴 사진 정보 및 해당 인물의 식별 정보(예, 이름, 전화번호, 이메일, 소셜 네트워크 계정 등) 를 포함하는 데이터들로서, 단말기에 수집된 사진에서 검출된 얼굴과 매칭 여부를 확인하여 얼굴 인식하기 위해 이용될 수 있다. 인물의 외적 특징 정보 데이터 베이스(152)는 사진에 포함된 인물의 얼굴 이외의 외적 특징 예를 들어, 인물의 옷 정보(예: 옷 색상, 상표, 글자 등), 무늬, 인물의 헤어 정보(예: 머리 색상, 길이, 모양 등), 인물 액세서리 정보(예, 시계, 목걸이, 반지, 문신 등) 등이 저장된 데이터베이스이다. 인물의 외적 특징 정보 데이터 베이스(152)는 단말기에 수집된 사진에서 사람의 형태가 존재하나 얼굴을 검출할 수 없는 경우, 사진에서 추출된 인물의 외향 즉, 외적 이미지 특징들과 매칭 여부를 확인하여 인물 인식하기 위해 이용될 수 있다.

본 발명의 도면에는 도시되지 않았으나, 인간 관계 데이터 베이스는 단말기에서 지원하는 앱들과 연동하여 특정 인물과 관련있는 인물들의 정보가 저장된 데이터 베이스이다. 예를 들어, 단말기는 인물 인식 결과, 사진에 둘 이상의 인물들이 포함된 경우, 인식된 제1 인물과 제2 인물은 서로 연관 관계가 있는 인물들로 저장할 수 있다. 사진 속성 정보 데이터 베이스는 단말기에 생성된 사진의 생성 시간, 생성 위치 정보 등의 메타 데이터가 저장된 데이터 베이스이고, 사람 형태 데이터베이스는 사람의 다양한 자세, 형태에 따른 사람의 외곽선들에 대한 정보가 저장된 데이터 베이스이다. 한편, 상술한 데이터베이스들은 단말기와 네트워크로 연결된 특정 서버에 저장될 수도 있으며, 이 경우, 필요에 따라 특정 서버와 연결하여 데이터베이스를 이용할 수 잇다.

또한, 저장부(150)는 인물 인식 및 검색 기능 지원을 위해, 정보 수집 프로그램, 정보 인식 프로그램 및 정보 검색 프로그램 등을 포함할 수 있다. 여기서, 정보 수집 프로그램은 사진에 포함된 사람이 누구인지 구분하여 인물 식별 정보 수집하는 과정, 사진에 포함된 사람의 얼굴 이외의 외적 특징 정보를 추출하여 수집하는 과정, 사진 생성 시간 및 위치 정보 등의 속성 정보를 수집할 수 있도록 지원한다. 정보 인식 프로그램은 사진에 포함된 적어도 하나의 얼굴을 인식하고, 인식된 얼굴을 바탕으로 데이터 베이스를 기반으로 얼굴에 해당되는 사람이 누구인지 인식하는 얼굴 인식, 사진에 포함된 적어도 하나의 사람의 형태가 존재하는지 인식하는 사람 형태 인식 및 사진에 포함된 사물의 모양, 텍스트 등을 인식하는 외적 이미지 특징 정보 인식 등 사진의 정보를 인식할 수 있도록 지원한다. 정보 검색 프로그램은 사진에서 수집된 정보들을 카테고리 별로 검색할 수 있도록 지원한다.

제어부(160)는 사용자 기기의 전반적인 동작 및 내부 구성들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(160)는 배터리에서 내부 구성들로의 전원 공급을 제어한다. 제어부(160)는 전원이 공급되면, 사용자 기기의 부팅 과정을 제어하고, 사용자의 설정에 따라 사용자 기기의 기능 실행을 위해 프로그램 영역에서 저장된 각종 응용 프로그램을 실행한다.

본 발명에서 제어부(160)는 인물 정보 데이터 운용 기능 지원을 위한 다양한 신호 전달과 데이터 처리 및 정보 수집과 출력을 제어한다.

제어부(160)는 인물 정보 수집부(161), 정보 인식부(162), 및 인물 정보 운용부(163)를 포함하여 구성될 수 있다.

인물 정보 수집부(161)는 정보 수집 이벤트가 발생되면, 이벤트에 응답하여 사진으로부터 수집할 수 있는 정보들을 수집한다. 정보 수집 이벤트는 카메라를 통해 사진이 활영되거나, 통신부를 통해 타 단말기 또는 서버로부터 사진이 수신된 경우를 포함할 수 있다.

인물 정보 수집부(161)는 정보 수집 이벤트에 응답하여 인물 정보 수집부 사진 생성 시의 시간 정보(예, 카메라 촬영 시각, 데이터 수신 시각 등), 사진 생성 시의 위치 정보 등의 속성 정보를 수집한다. 여기서, 위치 정보는 GPS 위치 정보, 액세스 포인트 위치 정보 및 기지국 위치 정보 중 하나를 포함할 수 있다.

또한, 인물 정보 수집부(161)는 정보 수집 이벤트에 응답하여 사진에 적어도 하나의 얼굴을 포함하는 경우, 얼굴을 인식하여 인식된 인물의 식별 정보를 수집한다. 이를 위해 인물 정보 수집부(161)는 얼굴 인식 결과, 인식된 얼굴에 매칭되는 사람의 폰북(예: 연락처, 쇼셜 네트워크 서비스)과 연동하여 인물의 식별 정보(예: 이름, 전화번호, 이메일, 쇼셜 네트워크 계졍 등)를 수집할 수 있다. 또한, 인물 정보 수집부(161)는 정보 수집 이벤트에 응답하여 사진에서 사람의 형태가 인식되나, 얼굴이 검출되지 않는 경우, 사람의 형태에서 사물, 텍스트 등을 인식하여 인물의 외적 이미지 특징 정보를 수집한다. 예를 들어, 인물 정보 수집부(161)는 사진에서 사물(예; 옷, 모자, 악세서리, 신발, 헤어), 텍스트(예; 옷의 로고, 상표) 정보를 인식하여 해당 인물의 외적 특징들을 수집할 수 있다. 그리고, 인물 정보 수집부(161)는 수집된 정보 예컨대, 사진 속성 정보, 인물 식별 정보, 외적 특징 정보 들을 서로 연관시켜 저장하여 인물 검색 데이터베이스를 구성할 수 있다.

정보 인식부(162)는 인물 정보 수집부(161) 및 인물 정보 운용부(163)와 연결되며, 사진에서 얼굴 인식, 사람 형태 인식, 사물 인식, 텍스트 인식 등을 통해 사진에 포함된 인물이 누구인지 인식하는 기능을 지원한다. 본 발명에서 정보 인식부(162)는 사진에서 인물 정보, 인물 외적 특징 정보를 수집하는 과정뿐 만 아니라, 인물 정보 분류 과정에서도 인식 과정이 수행될 수 있다.

이를 위해, 정보 인식부(162)는 먼저, 적어도 하나의 사람을 포함하고 있는 사진에서 얼굴이 검출되는지, 사람의 형태가 검출되는지를 확인한다. 이 과정에서 정보 인식부(162)는 사진에서 적어도 하나 이상의 인물 인식을 위한 인식 대상자(예; 얼굴이 보이는 사람, 얼굴이 보이지 않는 사람 등,)를 결정할 수 있다.

정보 인식부(162)는 사람의 얼굴이 검출되는 경우, 검출된 얼굴과 매칭되는 인물이 얼굴 정보 데이터 베이스에서 검색하여 검출된 얼굴에 해당되는 인물이 누구인 지를 식별하고, 식별 결과를 인물 정보 수집부(161)에 전달한다. 또한, 정보 인식부(162)는 사진에서 사람의 형태가 검출되었으나, 얼굴이 인식되지 않는 경우, 사람의 외적 이미지 특징 정보를 기반으로 해당 인물이 누구인지를 식별하고, 식별 결과를 인물 정보 수집부(61)에 전달한다. 구체적으로, 정보 인식부(162)는 사진에서 사람의 얼굴이 검출되지 않는 경우, 에지 검출 알고리즘을 통해 사진에서 외곽선을 추출하고, 이를 기반으로 사람의 형태가 검출되는지를 결정할 수 있다. 예를 들어, 정보 인식부(162)는 사진에서 추출된 에지 정보가 사람의 외곽선 형태를 저장한 사람 형태 데이터베이스와 매칭되는 지를 판단하여 사진에서 사람이 존재하는지를 결정할 수 있다.

또한, 정보 인식부(162)는 사진에서 사람의 형태가 검출되면, 사람의 형태로 이루어진 영역에서 해당 사람의 외적 이미지 특징 정보를 추출하고, 추출된 정보를 인식하고 인식 결과를 인물 정보 수집부(161)에 전달한다. 예를 들어, 정보 인식부(162)는 사진에서 사람이 입고 있는 옷을 인식하고, 옷의 색상, 상표, 옷에 새겨진 글자, 머리 색상, 사람이 쓰고 있는 모자, 시계, 목걸이, 반지 등과 같이 사물 인식을 통해 인물의 외적 이미지 특징들이 무엇인지 식별할 수 있다.

한편, 정보 인식부(162)는 정보 검색 시 검색하고자 하는 특정 객체(예; 모자, 시계 등)를 기준으로 템플릿 매칭을 통해 사진 전체 영역과 비교하여 특정 객체를 인식할 수도 있다. 이 경우, 정보 인식부(162)는 상관 계수(correlation coefficient)를 이용하여 템플릿 매칭 과정에서 유사도가 높은 객체를 인식할 수 있다.

인물 정보 운용부(163)는 정보 인식 결과를 기반으로 컨텐츠 분류 기능, 사진 공유 기능, 인물 식별 정보 태깅 기능을 지원한다. 예를 들어, 인물 정보 운용부(163)는 특정 인물과 관련된 사진 검색을 요청하는 입력 신호가 발생되면, 해당 인물이 포함되고 있는 사진들을 검색하여 인물이 포함된 사진만 분류할 수 있다. 또한, 인물 정보 운용 부(163)는 사진에 포함된 적어도 하나의 인식된 인물들에 대응되는 식별 정보를 각 인물들과 관련지어 출력할 수 있다. 예를 들어, 인물 정보 운용부(163)는 인식된 인물들을 독립적으로 구분되게 표시하고, 말풍선이나, 화살표, 지시선 등을 통해 각 인물들의 식별 정보를 출력하도록 지원할 수 있다. 이때, 식별 정보는 인물의 이름, 전화 번호, 이메일 번호, 쇼셜 네트워크 계정 번호 중 적어도 하나를 포함할 수 있다.

인물 정보 운용부(163)는 인물 사진에 기록된 태그 정보를 기반으로 기 설정된 정보 따라 새로운 컨텐츠를 생성하도록 지원할 수 있다. 예를 들어, 인물 정보 운용부(163)는 사진이 표시된 상태에서 인물의 식별 정보가 태깅 되면, 해당 인물의 식별 정보를 기반으로 메시지를 전송하거나, 해당 사진을 전송하거나, 이메일을 전송하는 등 새로운 컨텐츠의 생성을 보다 용이하고 간편하게 할 수 있도록 지원할 수 있다.

디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 본 발명에 따른 단말기는 단말기의 위치 변화와 관련된 정보를 감지하기 위한 센서 모듈, 오디오 처리부 등 본 발명에서 언급되지 않은 구성들을 더 포함할 수 있다. 또한 본 발명의 단말기(는 그 제공 형태에 따라 상기한 구성에서 특정 구성들이 제외되거나 다른 구성으로 대체될 수도 있음은 물론이다.

도 2는 본 발명의 실시예에 따른 인물 정보 데이터 저장 방법을 설명하기 위한 흐름도이다. 도 3 및 도 4는 인물 정보 데이터 저장 과정을 이해하기 위한 화면 예시도들이다.

도 2를 참조하면, 단계 210에서 단말기는 사용자 입력 또는 외부의 수신 이벤트에 따라 단말 내에 사진 컨텐츠가 생성될 수 있다. 예를 들어, 단말기는 사용자가 카메라를 통해 사진을 촬영하여 저장하거나, 외부로부터 사진 또는 영상을 다운로드 받을 수 있다.

단계 220에서 단말기는 생성된 사진의 속성 정보를 수집한다. 여기서, 속성 정보는 이미지 생성 시간, 이미지 생성 위치 정보 등의 메타 데이터를 포함할 수 있다. 위치 정보는 단말기 GPS 위치 정보 또는 단말과 연결된 기지국의 위치 정보 등을 이용하여 수집할 수 있다.

한편으로, 단계 230에서 단말기는 생성된 사진에 적어도 하나의 얼굴이 인식되는지를 결정한다. 예컨대, 단말기는 사진 내에서 얼굴이 검출되고, 검출된 얼굴을 기반으로 얼굴 데이터 베이스에서 검색하여 얼굴에 대응하는 인물이 누구인지 인식할 수 있다. 이 과정에서 단말기는 생성된 사진에서 얼굴 인식 할 수 없는 경우, 단계 260으로 진행하여 수집된 정보만을 생성된 사진과 연관시켜 저장할 수 잇다.

단계 240에서 단말기 얼굴 인식이 성공한 경우, 인식된 인물의 식별 정보를 수집한다. 예컨대, 단말기는 인식된 얼굴에 대응하는 얼굴 사진이 등록된 폰북 정보를 검색하여 인물의 식별 정보를 수집할 수 있다. 여기서, 식별 정보는 이름, 전화번호, 이메일, 아이디. 소셜 네트워크 계정 등 해당 인물을 다른 인물과 구별할 수 있는 모든 정보를 포함할 수 있다.

한편, 단계 250에서 단말기는 사진에서 얼굴 인식이 성공한 경우, 에지 검출을 수행한다. 설명의 편의를 위하여, 도 3과 같은 화면 예시도를 들어 설명하면, 도 301은 얼굴을 포함하고 있는 인물 사진의 원본이고, 도 302는 301 사진에서 에지 검출을 수행한 결과이다. 단말기는 도 301과 같이 사진 에서 얼굴 영역(310)을 검출한다. 단말기는 사진의 얼굴 영역에서 얼굴의 특징점들을 추출하고, 얼굴 정보 데이터베이스와 유사도를 비교하여 대응되는 인물이 누구인지 인식한다. 그리고 단말기는, 도302에 도시된 바와 같이, 에지 검출을 통해 사진의 에지 정보를 획득한다. 단말기는 사진의 에지 정보를 통해 특정 객체의 위치, 모양, 크기 등의 대한 정보를 수집할 수 있다.

즉, 단계 251에서 단말기는 에지 검출을 통해 얼굴 인식된 인물의 외적 특징 정보를 수집한다. 예컨대, 단말기는 에지 검출을 통해 사진에서 윤곽선(edge)들을 검출하고, 템플릿 매칭 또는 사물 인식 등을 이용하여 얼굴 인식된 인물이 입고 있는 옷, 모자, 시계, 목걸이, 상표, 텍스트, 안경, 가방, 액세서리, 신발 등의 인물의 외적 특징들이 무엇인지 식별하여 해당 인물의 외적 이미지 특징 정보를 수집할 수 있다. 또한, 단말기는 인식된 옷의 색상, 머리 길이, 머리 색상, 가방 색상, 무늬 등 얼굴 이외의 사람을 구별할 수 있는 외적 이미지 특징 정보를 수집할 수 도 있다. 설명의 편의를 위하여 도 4와 같은 화면 예시도를 들어 설명하면, 401은 인물을 포함하고 있는 인물 사진의 원본이며, 402는 401 사진에서 에지 검출이 수행된 결과물이다. 에지 검출 수행 결과, 단말기는 사진 내에서 사물 인식 또는 템플릿 매칭을 통해 특정 객체의 위치, 모양, 크기 등의 대한 정보를 수집할 수 있다. 예를 들어, 도 402와 같이, 단말기는 해당 인물이 입고 있는 옷의 상표, 해당 인물이 차고 있는 시계 정보 등의 외적 이미지 특징 정보를 수집할 수 있다. 이와 같이, 수집된 외적 이미지 특징 정보는 인물 인식 과정 또는 컨텐츠 분류 과정에서 이용될 수 있다.

단계 260에서 단말기는 수집된 속성 정보, 인물 식별 정보 및 외적 특징 정보를 연관시켜 저장한다. 이 과정에서 단말기는 인물 검색 데이터 베이스를 구성할 수 있다.

도 5는 본 발명의 실시예에 따른 인물 인식 방법을 설명하기 위한 흐름도이다. 도 6은 사람 형태 검출 과정을 이해하기 위한 화면 예시도이다.

도 5를 참조하면, 단계 510에서 단말기는 사용자 입력 또는 기 정의된 스케줄에 따라 인물 인식 기능을 활성화하기 위한 입력 신호가 발생되는지 여부를 결정한다. 여기서, 인물 인식 기능 활성화하기 위한 입력 신호는 표시부(120)에 적어도 하나의 인물을 포함하는 사진이 출력된 화면에서 발생될 수 있다. 이 과정에서, 단말기는 표시부(120) 화면에 출력된 특정 사진에 대해 인물 인식 기능을 활성화할 수 있다. 이 과정에서 단말기는 입력 신호가 인물 인식 운용 기능을 위한 입력 신호가 아닌 경우, 본 발명의 실시예에 따른 프로세스는 종료되나, 해당 입력 신호에 따른 단말기 기능을 수행하도록 지원할 수 있다.

단계 520에서 단말기는 인물 인식 기능 활성화를 위한 입력 신호에 응답하여 화면에 출력된 사진에서 얼굴 검출 여부를 결정한다. 예컨대, 단말기는 화면에 출력된 사진에서 색상 정보, 컨투어(contour) 이미지 정보 등의 기술을 이용하여 얼굴 영역과 배경 영역을 분리할 수 있다. 이 경우, 단말기는 이미지에서 얼굴 영역이 검출되면, 얼굴이 검출됐다고 결정할 수 있다. 또한, 단말기는 안면 인식(facial recognition), 홍채 인식(Iris scan), 얼굴 특징 추적(lariat feature tracking), 열적외선 인식 등의 기술을 기반으로 얼굴 색 검출, 눈 및 입의 위치 등을 검출하여 얼굴 검출 여부를 결정할 수 있다.

한편, 이 과정에서 단말기는 사진에서 하나 이상의 얼굴이 검출되는 경우, 사진에서 인식 대상을 결정할 수 있다. 여기서, 인식 대상을 결정하는 기준은 얼굴 검출 우선 순위, 사람 형태 검출 우선 순위, 중앙 영역 우선 순위 등 이에 한정하지 않고, 다양한 조건으로 인식 대상을 결정할 수 있다. 본 발명의 단말기는 인식 대상을 결정하는 조건 등 사용자 설정 또는 제조 과정에서 설정될 수 있다.

단계 521에서 단말기는 사진에서 얼굴이 검출되는 경우, 얼굴 인식 알고리즘을 이용하여 검출된 얼굴을 얼굴 정보 데이터 베이스(DB)에서 비교하여 검색한다. 단말기는 예컨대, 단말기는 검출된 얼굴의 특징점을 추출하고, 얼굴 정보 데이터 베이스에 저장된 얼굴 특징 정보들과 유사도를 비교함으로써, 얼굴 인식 과정을 수행할 수 있다. 얼굴 인식 알고리즘은 PCA, LDA(Linear Discriminate analysis) 등을 이용할 수 있으나, 이에 한정하는 것은 아니다.

단계 540에서 단말기는 얼굴 검색 결과에 따라 사진에 포함된 인물이 누구인지 인식할 수 있는지를 결정한다. 예컨대, 단말기는 사진에서 검출된 얼굴에 대응하는 인물이 얼굴 정보 데이터 베이스에서 검색되는 경우, 얼굴에 대응하는 인물이 누구인지 인식하고, 해당 인물의 식별 정보를 수집할 수 있다.

이 과정에서 단말기는 얼굴 인식 결과 해당 인물을 식별할 수 없는 경우, 단계 590으로 진행하여 사진 상에 다른 인물이 있는지를 결정하고, 다른 인물이 있는 경우, 단계 520으로 복귀하고, 다른 인물이 없는 경우, 프로세스는 종료된다.

한편, 단계 530에서 단말기는 사진에서 얼굴이 검출되지 않는 경우, 사진에 대해 에지 검출 알고리즘을 이용하여 에지 검출을 수행한다. 여기서, 에지 검출 알고리즘은 homogeneity operator, difference operator, edge image thresholding 등을 이용할 수 있으나, 이에 한정하는 것은 아니다.

단계 531에서 단말기는 에지 검출 수행 결과, 사람 형태가 검출되는지를 결정한다. 예컨대, 단말기는 사진에서 검출된 에지 정보를 기반으로 사람 형태 DB와 비교하여 검색하고, 검색 결과, 사진 내에서 사람 형태 영역이 검출되는지를 결정한다. 여기서, 사람 형태 DB는 사람의 다양한 자세, 형태에 따른 사람의 외곽선을 저장한 데이터베이스일 수 있다. 즉, 단말기는 사진 내에서 에지 특징점들을 추출하고, 사람 형태 데이터 베이스에 저장된 사람의 외곽 특징점들과 유사도를 비교하여 사진 내에서 사람 형태 영역이 검출되는지를 결정할 수 있다. 이 과정에서, 단말기는 특정 이미지 내에서 얼굴 영역이 검출되지 않더라도 사람 형태로 이루어진 인물이 포함되어 있으므로, 인물이 검출된 경우로 결정할 수 있다.

설명의 편의를 위하여, 도 6과 같은 화면 예시도를 들어 설명하면, 도 601은 얼굴을 포함하지 않는 인물 사진의 원본이고, 도 602는 도601 사진에서 에지 검출을 수행한 결과이다. 여기서, 703은 사람의 다양한 자세, 형태에 따른 사람의 외곽선을 저장한 데이터를 도식화한 화면이다. 예를 들어, 단말기는 601사진에서 얼굴을 검출할 수 없는 경우, 에지 검출을 통해 602와 같은 사진의 에지 정보를 획득한다. 단말기는 에지 정보를 기반으로 703과 같은 사람 형태 데이터베이스에서 검색하여 사람의 형태가 인식되면, 사진에서 인물이 검출된 경우로 결정할 수 있다.

단계 553에서 단말기는 사진에서 인물이 검출된 경우, 사람 형태 영역 내에서 해당 인물의 외적 이미지 특징점들을 추출한다. 여기서, 외적 이미지 특징은 사람의 얼굴 영역 이외의 외적 이미지 특징 예를 들어, 헤어, 의류, 악세서리 등 외적, 외향 이미지 특징 정보를 의미한다. 예를 들어, 단말기는 사람 형태 영역 내에서 해당 인물의 머리 색상, 옷 색상, 액세서리 특징 등의 특징점들을 추출할 수 있다.

단계 535에서 단말기는 추출된 외적 특징점들을 외적 이미지 특징 정보 데이터 베이스를 비교하여 검색한다. 본 발명에 따른 단말기는 사람 형태 영역 내에서 추출된 해당 인물의 외적 특징점들과 외적 이미지 특징 정보 데이터베이스에 저장된 외적 특징점들과 유사도를 비교함으로써, 얼굴 이외의 외적 이이미지 특징으로 인물 인식 과정을 수행할 수 있다. 예컨대, 단말기는 사람의 얼굴이 정면이 아니거나 얼굴이 가려져 있는 경우, 그 사람이 입고 있는 옷, 머리 모양, 몸에 난 흉터나 문선, 액세서리, 신발, 모자, 가방과 같이 얼굴 이외의 외적 특징으로 그 사람이 누구인지 구별할 수 있다.

단계 550에서 단말기는 외적 이미지 특징 검색 결과에 따라 사진에 포함된 인물이 누구인지 인식할 수 있는지를 결정한다. 단말기는 사진에서 검출된 외적 이미지 특징 정보에 매칭되는 정보가 외적 이미지 특징 정보 데이터 베이스에서 검색되는 경우, 해당 정보와 연관되어 저장된 인물의 식별 정보를 통해 해당 인물이 누구인지 인식할 수 있다.

단계 560에서 단말기는 인물 인식 결과, 인식된 인물에 대한 식별 정보를 해당 인물 사진 상에 표시할 수 있다. 예를 들어, 앞서 설명한 도 3에서와 같이, 단말기는 인식된 인물의 얼굴에 점선(또는 실선)으로 된 사각 박스를 제공하여 인식된 인물에 대한 표시를 수행할 수 있다. 여기서, 인식된 인물에 대한 표시는 얼굴 영역에 표시할 수도 있고 사람 전체 영역에 표시할 수 도 있으며, 이에 한정하는 것은 아니다. 또한, 단말기는 인식된 인물 주위에 말풍선 또는 텍스트를 태깅하여 인식된 인물과 관련하여 연동되는 특징 기능 항목을 출력하도록 지원할 수 있다.

또한, 인물에 대한 표시와 더불어 단계 561에서 단말기는 본 발명의 인물 인식 운용 기능 수행을 위한 항목들을 화면 일측에 출력하도록 지원할 수 있다. 즉, 단말기는 사진 전송 기능, 메시지 전송, 통화 호 연결 기능, 소셜 네트?? 정보 기능, 사진 공유 기능, 사진 분류 기능 중 적어도 하나를 운용할 수 있는 항목을 화면에 출력하도록 지원할 수 있다.

단계 570에서 단말기는 특정 항목을 선택하는 사용자 입력을 검출하고, 이에 응답하여 단계 580에서 단말기는 사용자 입력에 의해 선택된 특정 항목에 대응되는 기능을 수행한다. 예컨대, 단말기는 사진에서 인식된 인물을 선택할 수 있도록 하는 그래픽 요소 및 특정 사용자 기능을 수행할 수 있도록 지원하는 별도의 표시 항목 중 적어도 하나를 표시부에 표시할 수 있다. 그러면, 사용자는 해당 그래픽 요소를 선택하거나 표시된 특정 항목을 선택함으로써 상술한 새 컨텐츠 생성 기능, 사진 공유 기능, 사진 분류 기능, 사진 전송 기능, 메시지 전송 기능, 통화 호 연결 기능, 소셜 네트워크 정보 지원 기능 중 적어도 하나를 운용할 수 있다.

한편, 도면에는 도시 되지 않았으나, 단계 540및 단계 550에서 단말기는 인물 검색 결과, 인물이 식별되지 않는 경우, 특정 이미지에서 추출된 정보들을 각각의 데이터베이스에 저장할 수 있다. 이 과정에서 사용자는 추출된 정보에 해당되는 인물에 대한 정보를 저장할 수도 있다.

다음으로, 단말기는 단계 590에서 인물 검색 결과, 인물을 식별할 수 없는 경우, 사진 내에 다른 인물이 있는지 여부를 확인하고, 다른 인물이 있는 경우, 단계 520으로 복귀하여 다른 인물에 대한 인물 인식 과정을 수행한다.

한편, 본 발명의 인물 인식 방법에 대한 설며에서 저장부에 저장된 사진을 기반으로 상술한 인물 인식 기능을 수행하는 것으로 설명하였지만, 본 발명의 인물 인식 방법은 카메라를 통해 수집된 인물 사진 또는 외부로부터 수신된 사진에 대해서도 상술한 얼굴 인식과, 외적 특징 인물 인식, 입력 신호에 따라 지정된 사진 전송 기능, 메시지 전송, 통화 호 연결 기능, 소셜 네트?? 정보 기능, 사진 공유 기능, 사진 분류 기능 중 적어도 하나의 기능 지원을 수행할 수도 있다.

또한, 상술한 설명에서는 인물 사진이 표시부에 표시되면, 얼굴 인식 또는 외적 특징 인물 인식을 통하여 인식된 인물을 선택 가능하도록 표시하는 그래픽 요소를 제공하거나 특정 항목들을 제공하는 것으로 설명하지만, 본 발명이 이에 한정되는 것은 아니다. 즉, 본 발명은 인식된 인물을 기반으로 제공되는 새 컨텐츠 제공 기능, 사진 전송 기능, 메시지 전송, 통화 호 연결 기능, 소셜 네트?? 정보 기능, 사진 공유 기능, 사진 분류 기능 중 적어도 하나의 기능을 기 정해진 스케쥴 정보나 사용자 설정에 따라 자동으로 수행될 수도 있다.

도 7은 본 발명의 실시예에 다른 인물 인식 방법을 설명하기 위한 화면 예시도이다.

도 7을 참조하면, 본 발명의 단말기는 특정 사진에 대해 인물 인식 기능을 기원하는 메뉴 항목이나 핫 키를 제공할 수 있다. 그리고, 사용자가 적어도 하나의 인물을 포함하고 있는 사진에서 인물 인식을 실행하기 위해 해당 항목을 선택하는 입력 신호를 생성하는 경우, 단말기는 인물 인식 기능을 수행할 수 있다.

예를 들어, 사용자는 701 화면의 사진에 대해 인물 인식 기능 실행을 요청할 수 있다. 단말기는 사용자 요청에 응답하여 도 5의 프로세스를 따라 인물 인식 과정을 수행할 수 있다. 이 경우, 단말기는 사진에서 얼굴을 검출할 수 없으므로, 에지 검출을 통해 해당 인물의 외적 이미지 특징점 예컨대, 701 사진의 인물이 입고 있는 옷의 상표(721) 및 시계(722)를 인식한다. 다음에, 단말기는 인식된 옷의 상표 및 시계를 외적 특징 데이터베이스에서 검색하여 701 사진에 포함된 인물이 누구인지를 인식한다.

예컨대, 단말에 수집된 사진들 중 702와 같은 사진을 포함할 수 있다. 702사진 의 수집 시에 단말기는 도 2의 프로세스를 따라 사진에 포함된 인물의 식별 정보, 속성 정보 및 외적 이미지 특징 정보가 연관되어 저장될 수 있다. 이 경우, 단말기는 702 사진을 통해 702 사진에 포함된 인물이 'A'이고, 'A'라는 인물의 얼굴 특징 이외의 'A'인물이 입고 있는 옷의 상표, 'A'인물이 차고 있는 시계 등의 'A'인물의 외적 이미지 특징 정보(750)를 알 수 있다.

그러면, 단말기는 외적 이미지 특징 검색 과정에서 701에서 인식된 옷의 상표(721)와 시계(722)가 702 사진에서 수집된 'A'인물이 입고 잇는 옷의 상표와, 'A'인물이 차고 있는 시계와 동일한 사물(750)임을 판별함으로써, 701 사진에 포함된 인물이 'A' 인물인지 인식할 수 있다.

한편, 상술한 방법에 의해 본 발명의 단말기는 인물 별로 사진을 분류할 수 있는 기능을 지원할 수 있다. 즉, 사용자는 정보 분류 시 'A'인물이 포함되어 있는 사진 만을 분류하기를 원할 수 있다. 이를 위해, 단말기는 사진 컨텐츠 검색 화면에서 전체 사진들을 필터링하여 'A'인물이 포함된 사진만을 수집하도록 제어할 수 잇다. 특히, 단말기는 전체 사진들 중에서 'A'의 얼굴 인식이 가능한 인물 사진만을 필터링하고, 얼굴 인식이 불가능한 인물 사진들에 대해서는 'A' 인물의 외적 이미 특징 정보를 포함하고 있는 인물 사진만을 필터링할 수 있다. 즉, 본 발명에 따른 단말기는 'A'인물을 포함하고 있는 사진 801 및 사진 802 모두 필터링함으로써, 얼굴 인식이 불가능하더라도'A'인물이 포함된 모든 사진들을 분류할 수 있다.

도 8을 본 발명의 실시예에 따른 인물 정보 검색 운용 방법을 설명하기 위한 흐름도이다.

도8을 참조하면, 본 발명에 따른 단말기는 인물의 외적 특징 정보 인식을 위해 정보 검색 알고리즘을 지원할 수 있다. 예컨대, 본 발명에서 정보 검색은, 인물의 외적 특징을 인식하기 위한 정보 검색인 경우를 예를 들어 설명하지만, 이에 한정하지 않고, 얼굴 인식을 위한 정보 검색, 사람 형태를 인식하기 위한 정보 검색, 컨텐츠 분류를 위한 정보 검색 등 단말기 운용 과정 에서 요구되는 모드 정보 검색 과정에서 이용될 수 있다.

먼저 단계 810에서 단말기는 정보 검색을 위해 최근 생성된 데이터를 기준으로 자료를 쿼리(query)하여 검색 대상 자료를 데이터베이스에서 가져온다. 여기서, 쿼리는 정보 검색을 위한 검색 대상 자료의 범위를 선정하는 과정으로 이해될 수 있다. 단계 820에서 단말기는 사진 내에 포함된 사람이 한 명을 초과하는지를 결정한다. 예컨대, 단말기는 사진에서 얼굴 영역 또는 사람 형태 영역을 검출하고, 검출된 영역이 하나 이상인지를 판단하여 사진에 포함된 사람의 수를 판단할 수 있다. 단계 830에서 단말기는 사진 내에 사람이 한 명을 초과하는 경우, 인식 대상으로 결정된 인물과 연관된 인물들의 정보들을 기준으로 검색하기 시작한다. 예를 들어, 특정 사진 내에 인물 'B'와 'C'가 포함되고, 단말기는 해당 사진에서 얼굴 인식을 통해 'B'라는 인물이 누구인지는 인식한 상태이나, 'C'인물은 얼굴 인식 불가능할 수 있다. 이 경우, 단말기는 'C'인물을 인식하기 위해, 'B'와 연관되어 저장된 자료에서부터 'C'인물 검색을 시작할 수 있다.

단계 840에서 단말기는 사진 내에 사람이 한명인 경우, 인식 대상으로 지정된 데이터의 속성 정보와 검색 대상 자료들의 속성 정보들을 비교하고, 단계 850에서 단말기는 인식 대상으로 지정된 데이터가 저장된 시간 및 위치와 근접한 자료에서부터 검색을 시작한다. 예를 들어, 단말기는 인식 대상으로 지정된 데이터가 특정 날짜와 특정 위치에서 저장된 경우, 단말기는 검색 대상 자료의 범위에서 해당 날짜와 해당 위치에서 저장된 데이터들부터 검색하기 시작하여 검색 범위를 확장하면서 검색할 수 이다. 이로 인해, 단말기는 많은 양의 데이터를 검색하는 하는데 있어서, 자료 검색을 보다 용이하고 빠르게 검색하여 인물이 인식되는데 걸리는 시간을 절약할 수 있다.

이상에서와 같이, 본 발명에 따른 인물 정보 데이터 운용 방법 및 장치에 대하여 본 명세서 및 도면을 통해 바람직한 실시예를 들어 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고, 발명의 이해를 돕기 위해 일반적인 의미에서 사용된 것일 뿐, 본 발명이 전술한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 기술적 사상에 바탕을 둔 다양한 실시 예가 가능 함은 본 발명이 속하는 기술 분야에서 통산의 지식을 가진 자에게 자명한 것이다.

100: 단말기
110: 입력부 120: 표시부
130: 통신부 140: 카메라
150: 저장부 160:제어부
161: 인물 정보 수집부
162: 정보 인식부
163: 인물 정보 운용부

Claims (21)

1. 인물 정보 데이터 운용 방법에 있어서,
   적어도 하나의 인물을 포함하는 사진을 표시부에 출력하는 과정;
   상기 출력된 사진에서 적어도 하나의 사람 형태와 매칭되는 인물 영역을 인식하는 과정;
   상기 인식된 인물 영역에서 인물의 외적 이미지 특징점을 추출하는 과정; 및
   상기 추출된 인물의 외적 이미지 특징점을 기반으로 상기 사진에 포함된 인물이 누구인지 인식하는 과정을 포함하는 인물 정보 데이터 운용 방법.
2. 제1항에 있어서,
   상기 인물의 외적 이미지 특징점을 추출하는 과정은,
   상기 인물의 옷의 모양, 옷에 포함된 텍스트, 액세서리, 헤어스타일 중 적어도 하나의 외적 이미지 객체를 인식하는 과정;
   상기 인식된 외적 이미지 객체의 색상 정보를 추출하는 과정으로 이루어지는 인물 정보 데이터 운용 방법.
3. 제1항에 있어서,
   상기 인물 영역을 인식하는 과정은,
   상기 표시부 출력된 사진에서 얼굴 영역이 검출되지 않은 경우, 상기 인물 영역을 인식하는 것을 특징으로 하는 인물 정보 데이터 운용 방법.
4. 제1항에 있어서,
   상기 인물 영역을 인식하는 과정은,
   상기 표시부에 출력된 사진의 에지 검출 정보와 사람의 다양한 외곽선 형태를 저장한 사람 형태 데이터베이스와 유사도를 비교 검색하여 상기 사진 내에 사람의 형태가 검출되는 지를 판단하는 것을 특징으로 하는 인물 정보 데이터 운용 방법.
5. 제1항에 있어서,
   상기 추출된 외적 이미지 특징을 기반으로 상기 사진에 포함된 인물이 누구인지 인식하는 과정은,
   상기 추출된 외적 이미지 특징을 사람의 외적 이미지 특징 정보들을 저장한 외적 이미지 정보 데이터베이스에서 비교 검색하는 과정; 및
   상기 비교 결과, 상기 추출된 외적 이미지 특정 정보와 동일한 외적 이미지 특징과 연관되어 저장된 인물의 식별 정보를 추출하는 과정으로 이루어지는 것을 특징으로 하는 인물 정보 데이터 운용 방법.
6. 제1항에 있어서,
   상기 인물을 인식하는 단계 이후에,
   상기 인식된 인물에 대한 표시, 인식된 인물과 관련된 특정 사용자 기능을 별도의 메뉴 항목 중 적어도 하나를 표시하는 과정; 을 더 포함하는 인물 정보 데이터 운용 방법.
7. 제6에 있어서,
   상기 메뉴 항목 중 어느 하나의 선택에 따라 상기 특정 사용자 기능을 수행하는 과정을 더 포함하고,
   상기 특정 사용자 기능을 수행하는 과정은,
   상기 인식된 인물과 매칭되는 폰복 정보를 기반으로 타 사용자 단말기에 사진 또는 메시지를 전송하거나, 전화 호 연결하는 과정,
   상기 인식된 인물을 포함하는 사진 컨텐츠들을 필터링하여 분류하는 과정,
   및
   상기 인식된 인물과 매치되는 사용자의 소셜 네트워크 계정 정보를 기반으로 해당 사용자가 소셜 네트워크와 연결하는 소셜 네트워크 정보 지원 과정 중 적어도 하나를 수행하는 것을 특징으로 하는 인물 정보 데이터 운용 방법.
8. 인물 정보 데이터 운용 방법에 있어서,
   카메라 촬영 이벤트 또는 수신 이벤트에 의해 적어도 하나의 인물을 포함하는 사진을 생성하는 과정;
   상기 사진의 속정 정보를 수집하는 과정, 상기 사진에 대한 얼굴 인식 성공 시 얼굴 인식된 인물의 식별 정보를 수집하는 과정 및 상기 얼굴 인식된 인물의 외적 이미지 특정 정보를 수집하는 과정 중 적어도 하나를 수행하는 과정; 및
   상기 수집된 정보들과 상기 생성된 사진을 연관시켜 저장하는 단계를 포함하는 인물 정보 데이터 운용 방법.
9. 인물 정보 데이터 운용 방법에 있어서,
   적어도 하나의 인물을 포함하는 특정사진에 대해 인물의 얼굴 정보 검색, 인물의 외적 이미지 특징 정보 검색 및 인물의 사람 형태 정보 검색 중 적어도 하나를 수행 시 최근 생성된 데이터를 기준으로 검색 대상 자료를 선정하는 과정; 및
   상기 검색 대상 자료 중 상기 특정 사진이 저장된 시간 및 위치에 생성된 자료부터 정보를 검색하는 과정을 포함하는 인물 정보 데이터 운용 방법.
10. 제9항에 있어서,
    상기 특정 사진에 적어도 둘 이상의 인물을 포함하고 있는 경우, 인식 대상이 되는 인물과 인간 관계가 형성된 인물들에 연관되어 저장된 자료부터 검색하는 과정을 더 포함하는 것을 특징으로 하는 인물 정보 데이터 운용 방법.
11. 인물 정보 운용을 지원하는 단말기에 있어서,
    적어도 하나의 인물을 포함하는 사진을 출력하는 표시부;
    상기 표시부에 출력된 사진에서 적어도 하나의 사람 형태와 매칭되는 인물 영역을 인식하고, 상기 인식된 인물 영역에서 인물의 외적 이미지 특징점을 추출하고, 상기 추출된 인물의 외적 이미지 특징점을 기반으로 상기 사진에 포함된 인물이 누구인지 인식하는 제어부를 포함하는 단말기.
12. 제11항에 있어서,
    폰복 정보를 기반으로 얼굴 사진 정보 및 인물의 식별 정보를 포함하는 얼굴 정보 데이터베이스, 인물의 옷, 헤어 및 악세서리 중 적어도 하나와 관련된 인물의 외적 이미지 정보를 포함하는 외적 이미지 특징 정보 데이터베이스,
    사람의 다양한 자세 및 형태의 외곽선 정보를 포함하는 사람 형태 데이터베이스 중 적어도 하나를 포함하는 저장부를 더 포함하는 단말기.
13. 제11항에 있어서,
    상기 제어부는,
    상기 인물의 옷의 모양, 옷에 포함된 텍스트, 액세서리, 헤어스타일 중 적어도 하나의 외적 이미지 객체를 인식하고, 상기 인식된 외적 이미지 객체의 색상 정보를 추출하도록 제어하는 것을 특징으로 하는 단말기.
14. 제11항에 있어서,
    상기 제어부는,
    상기 표시부 출력된 사진에서 얼굴 영역이 검출되지 않은 경우, 상기 인물 영역을 인식하도록 제어하는 것을 특징으로 하는 단말기.
15. 제11항에 있어서,
    상기 제어부는,
    상기 표시부에 출력된 사진의 에지 검출 정보와 사람의 다양한 외곽선 형태를 저장한 사람 형태 데이터베이스와 유사도를 비교 검색하여 상기 사진 내에 사람의 형태가 검출되는 지를 판단하는 것을 특징으로 하는 단말기.
16. 제11항에 있어서,
    상기 제어부는,
    상기 추출된 외적 이미지 특징을 사람의 외적 이미지 특징 정보들을 저장한 외적 이미지 정보 데이터베이스에서 비교 검색하고, 상기 비교 결과, 상기 추출된 외적 이미지 특정 정보와 동일한 외적 이미지 특징과 연관되어 저장된 인물의 식별 정보를 추출하도록 제어하는 것을 특징으로 하는 단말기.
17. 제11항에 있어서,
    상기 표시부는,
    상기 인식된 인물에 대한 표시, 인식된 인물과 관련된 특정 사용자 기능을 별도의 메뉴 항목 중 적어도 하나를 표시하는 것을 특징으로 하는 단말기.
18. 제17항에 있어서,
    상기 제어부는,
    상기 표시부에 표시된 메뉴 항목 중 어느 하나의 선택에 따라 상기 인식된 인물과 매칭되는 폰복 정보를 기반으로 타 사용자 단말기에 사진 또는 메시지를 전송하거나, 전화 호 연결하는 과정,
    상기 인식된 인물을 포함하는 사진 컨텐츠들을 필터링하여 분류하는 과정,
    및
    상기 인식된 인물과 매치되는 사용자의 소셜 네트워크 계정 정보를 기반으로 해당 사용자가 소셜 네트워크와 연결하는 소셜 네트워크 정보 지원 과정 중 적어도 하나를 수행하도록 제어하는 것을 특징으로 하는 단말기.
19. 제11항에 있어서,
    상기 제어부는,
    카메라 촬영 이벤트 또는 수신 이벤트에 의해 적어도 하나의 인물을 포함하는 사진을 생성하고,상기 사진의 속정 정보를 수집하는 과정, 상기 사진에 대한 얼굴 인식 성공 시 얼굴 인식된 인물의 식별 정보를 수집하는 과정 및 상기 얼굴 인식된 인물의 외적 이미지 특정 정보를 수집하는 과정 중 적어도 하나를 수행하고, 상기 수집된 정보들과 상기 생성된 사진을 연관시켜 저장하는 것을 특징으로 하는 단말기.
20. 제11항에 있어서,
    상기 제어부는,
    적어도 하나의 인물을 포함하는 특정사진에 대해 인물의 얼굴 정보 검색, 인물의 외적 이미지 특징 정보 검색 및 인물의 사람 형태 정보 검색 중 적어도 하나를 수행 시 최근 생성된 데이터를 기준으로 검색 대상 자료를 선정하고, 상기 검색 대상 자료 중 상기 특정 사진이 저장된 시간 및 위치에 생성된 자료부터 정보를 검색하도록 제어하는 것을 특징으로 하는 단말기.
21. 제20항에 있어서,
    상기 제어부는,
    상기 특정 사진에 적어도 둘 이상의 인물을 포함하고 있는 경우, 인식 대상이 되는 인물과 인간 관계가 형성된 인물들에 연관되어 저장된 자료부터 검색하도록 제어하는 것을 특징으로 하는 단말기.

Images