KR20110013073A - 얼굴인식을 이용한 디지털 촬영기기의 멀티미디어 컨텐츠 자동 태깅 시스템 - Google Patents

Abstract

멀티미디어 컨텐츠의 효율적인 검색과 관리를 위해 얼굴인식을 통해 얻을 수 있는 정보 키워드를 찾아 이를 멀티미디어 컨텐츠에 태그정보로 자동 및 선별적으로 저장이 가능하여 태그의 조합으로 컨텐츠 파일명을 저장할 수 있어 이미지 및 동영상 검색에 편리한, 얼굴인식을 이용한 디지털 촬영기기의 멀티미디어 컨텐츠 자동 태깅 시스템

얼굴인식, 태깅, 태그, 자동태깅, 디지털 촬영기기, 디지털 카메라, 디지털 캠코더, 휴대폰, 카메라폰

Description

얼굴인식을 이용한 디지털 촬영기기의 멀티미디어 컨텐츠 자동 태깅 시스템{File Tagging Namer}

본 발명은 얼굴인식을 이용한 디지털 촬영기기(디지털 캠코더, 디지털 카메라, 카메라 폰 등)의 멀티미디어 컨텐츠(사진, 동영상 등)의 자동 태깅 시스템에 관한 것으로, 보다 상세하게는 멀티미디어 컨텐츠의 효율적인 검색을 위해 얼굴인식을 통해 얻을 수 있는 얼굴에 관련된 정보(컨텐츠에 등장하는 인물의 이름, 인물의 수, 얼굴표정, 어른/아이 구별 등)를 찾아 이를 컨텐츠의 저장시에 자동으로 태그정보로 추가시킬 수 있는, 멀티미디어 컨텐츠의 자동 태깅 시스템이 구비된 디지털 촬영기기 및 그 방법에 관한 것이다

인터넷의 정보들이 텍스트 위주의 컨텐츠에서 멀티미디어 컨텐츠인 사진, 동영상 중심으로 변화함에 따라 멀티미디어 컨텐츠의 검색은 날로 중요해지고 있다. 또한 웹2.0이 자리 잡은 현재에는 일반 사용자가 제작한 콘텐츠인 UCC(User Created Contents)가 인터넷의 메가트렌드로 부각되면서 동영상 검색이 기존의 검색에 이어 새로운 비즈니스 모델로 떠오르고 있다.

보통 사용자들은 자신이 제작한 컨텐츠를 블로그나 웹 페이지 상에 올릴 때, 검색의 용이성을 위해 관련 주제어들을 키워드 처리를 해주는 태깅(Tagging)을 한다. 현재 웹상에서 대표적인 동영상(이미지) 검색 방법으로서 동영상이 태그처리가 잘 되어있지 않다면 찾아보기 힘들다는 단점이 있다.

또한 사용자가 디지털 촬영기기를 이용하여 저장된 컨텐츠들은 보통 파일명이 촬영날짜, 몇 번째 찍은 촬영물인지를 나타내는 숫자의 조합(예를 들면 081024_003.jpg)으로 저장되며, 나중에 사용자가 원하는 컨텐츠를 찾을 때 일일이 촬영 내용을 확인하여 자료를 찾을 수밖에 없는 단점이 생긴다.

이에, 본 발명은 멀티미디어 컨텐츠의 효율적인 검색과 관리를 위해, 최근 디지털 카메라, 디지털 캠코더, 카메라 폰 등에 적용되고 있는 얼굴인식 기술을 이용하여 얻어진 정보들을 의미 있는 단어로 변환하여 디지털 촬영기기내에서 자동적으로 태그(Tag)를 추가하는데 있다.

최근 디지털 촬영기기에 적용되고 있는 얼굴인식은 디지털 카메라나 휴대전화 등의 휴대기기에서 얼굴 인식 기능을 탑재하여 비디오 이미지를 분석하고 지능적인 필터링이 가능하도록 하는 것이다.

디지털 카메라의 경우, 피사 대상의 얼굴이 웃는 순간을 포착하여 자동으로 셔터 를 동작하게 하거나, 디지털 캠코더에서는 얼굴을 인식하여 촬영된 영상 속에서 인식된 얼굴이 나오는 장면을 찾아주는 인덱스 기능도 가능하다. 얼굴인식 기술은 앞서 말한 기능뿐만 아니라, 관찰 대상의 특정한 움직임을 분석할 수 있어 태그(Tag) 정보들을 추출하기에 용이하다.

얼굴인식으로 사용자가 미리 입력시킨 DB를 통해 인물(얼굴)의 이름을 얻을 수 있으며, 찍힌 컨텐츠의 인물의 수, 얼굴의 표정, 어른/아이 구별 등의 정보를 얻을 수 있다. 이 정보들을 의미 있는 단어들로 변환하여 디지털 촬영기기에서 컨텐츠에 자동으로 태깅(Tagging)을 하고 태깅된 정보를 이용하여 사용자가 미리 지정한 형식으로 파일명을 저장한다면, 기존 멀티미디어 컨텐츠를 검색하거나 관리하는데 있어서 생기는 문제점들을 해결 할 수 있다.

따라서, 멀티미디어 컨텐츠의 효율적인 검색과 관리를 위해 얼굴인식을 통해 얻을 수 있는 정보에 관한 의미 있는 단어(키워드)를 찾아 이를 멀티미디어 컨텐츠에 태그(Tag)정보로 자동 및 선별적으로 저장하고 미리 지정된 태그의 조합으로 파일명을 저장할 수 있는, 얼굴인식을 이용한 디지털 촬영기기의 멀티미디어 컨텐츠 자동 태깅 시스템을 제공하는데 그 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해 될 수 있으며, 본 발명의 실시 예에 의해 보다 분명하게 알게 될 것이다. 또한 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 얼굴인식을 이용한 디지털 촬영기기의 멀티미디어 컨텐츠 자동 태깅 시스템은;

디지털 촬영기기의 렌즈부를 통하여 촬영되고 있는 이미지 및 영상을 입력받는 단계, 입력받은 사진 및 영상의 얼굴정보를 얼굴인식기반의 처리부를 통해 인식하고 저장부의 Database를 통해 촬영된 얼굴의 정보를 수집하여 키워드화 하는 단계, 키워드화 된 태그 정보를 디지털 촬영기기의 디스플레이를 통해 보여주는 단계, 디스 플레이를 통해 보여지는 태그들 중에서 원하는 것을 선택하여 촬영된 컨텐츠와 함께 저장과 동시에 미리 지정된 태그의 조합으로 파일명을 저장하는 단계를 포함하는 것을 특징으로 한다.

또한 키워드화 된 태그 정보를 디지털 촬영기기의 디스플레이를 통해 보여주는 단계에 있어서 얼굴에 대한 이름이 저장부의 Database에 저장되어 있지 않다면, 사용자가 이를 직접 입력부를 통해 입력하여 Database에 저장하고, 수정할 사항이 있으면 입력부를 통해 수정 및 저장 후에 입력 및 수정된 태그 정보를 디스플레이를 통해 다시 보여주는 단계를 더 포함하는 것을 특징으로 한다.

또한 상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 디지털 촬영기기는 이미지 및 영상을 입력받는 렌즈부와, 상기 렌즈부로부터 입력받은 이미지 및 영상을 분석하여 포함된 얼굴을 추출 처리하는 디지털 촬영기기에 적용된 얼굴인식 기반의 처리부와, 상기 처리된 얼굴에 해당하는 정보를 Database에 저장하고 기존에 저장되어 있는 정보를 입력, 추출 및 변경이 가능한 얼굴인식 Database 기반의 저장부와, 저장부를 통해 얻은 컨텐츠의 정보를 수집하여 키워드화 된 태그 정보를 사용자에게 표시하여 선택 할 수 있게 보여주는 디스플레이와, 디스플레이를 통해 보여지는 태그 중에서 인식된 얼굴의 이름정보가 저장부의 Database에 없는 경우나 수정이 필요한 경우에 사용자가 직접 입력할 수 있는 입력부와, 사용자가 선택한 태그를 촬영된 이미지 및 영상과 함께 저장하고 미리 지정된 태그의 조합으로 파일 의 이름을 저장할 수 있도록 제어하는 제어부를 포함하는 것이 특징이다.

얼굴인식을 통해 분석된 이미지 및 영상에 찍힌 사람의 이름 인물의 수, 얼굴의 표정, 어른/아이 구별 등의 정보를 얻을 수 있다. 이 정보들을 의미 있는 단어들로 변환하여 디지털 촬영기기에서 컨텐츠의 저장과 동시에 자동으로 태깅(Tagging)을 함으로써, 사용자가 일일이 태깅해야 하는 번거로움을 줄일 수 있어 사용자의 편의성을 증대시킬 수 있는 효과가 있다.

또한 이렇게 만들어진 컨텐츠가 웹 페이지나 블로그에 올려진다면 다른 사용자들이 얼굴인식 통해 얻어지는 정보관련 태그에 의해 보다 정확하고 편리하게 검색을 할 수 있다. 결국 얼굴인식을 통한 컨텐츠의 자동 태깅 시스템은 흩어져 있는 컨텐츠 속 가치들을 키워드로 정리함으로써 브라우징 기능과 검색 기능을 증대시킬 수 있는 효과가 있다.

특히 멀티미디어 파일로만 이루어진 컨텐츠는 현재의 기술로는 내용을 분석하여 검색할 수 있는 방법이 거의 존재하지 않으므로 이러한 태깅 기술이 같는 효과는 매우 크다. 더욱이, 현재 얼굴인식 기능을 가진 디지털 촬영장치(디지털 카메라, 디지털 캠코더, 카메라 폰)이 출시되고 있는 상황을 볼 때, 본 발명의 얼굴인식 기술을 이용한 자동 태깅 시스템은 이러한 멀티미디어 파일 태깅에 큰 효과를 보여줄 것이다.

앞으로의 UCC(User created contents)환경에서는 콘텐츠의 양이 많아지고 활용이 넓어짐에 따라 저작권의 문제가 대두될 될 것이다. 콘텐츠를 생산하는 생산자가 얼굴인식을 통한 자동 태깅 시스템을 이용한다면 촬영할 때부터 자신의 저작권을 보호할 수 있는 장점이 생긴다.

또한 이미지 및 영상의 멀티미디어 컨텐츠 파일 저장시에 태깅된 정보를 활용하여 사용자가 미리 지정한 형식으로 파일명을 저장한다면 사용자가 자신의 파일을 관리하고 검색할 때 용이하게 사용될 수 있다.

예를 들면 사용자 자신이 나온 사진만을 찾고 싶은 경우, 사용자는 파일명만 보고도 자신의 사진을 알아볼 수 있으며 또한 태그 검색을 통해 자신의 이름을 입력하여 검색을 할 수 있다.

이하, 본 발명의 실시 예의 구성 및 동작을 첨부된 도면을 참조하여 설명한다.

도 1은 본 발명의 일 실시 예로서, 얼굴인식을 이용한 멀티미디어 컨텐츠 자동 태깅 시스템이 구비된 디지털 촬영기기의 개략적인 블록도이다. 다만, 도 1은 본 발명의 설명의 간결성을 유지하기 위하여 본 발명에 따른 기술적 특징부만을 도시한 것일 뿐이다. 따라서, 도 1에 도시하지 않았을 지라도 본 발명의 디지털 촬영기기 는 디지털 촬영기기의 필수적인 구성들 즉, 동작을 제어하는 버튼, 스피커, 마이크, 소정신호를 송수신하는 송수신부와, 전원을 제공하는 배터리 등과 그 이외의 통상적인 단말기의 구성요소들을 포함한다. 다만 상기와 같은 구성요소들의 각 기능 및 동작은 본 발명의 기술 분야의 통상의 기술자에게 자명한 사실인바, 본 발명의 간결성을 위하여 생략한다.

즉, 도 1에 도시된 바와 같이, 본 발명에 따른, 얼굴인식을 이용한 멀티미디어 컨텐츠 자동 태깅 시스템이 구비된 디지털 촬영기기(100)는 렌즈부(101)와, 처리부(102)와 저장부(103)와 디스플레이(104)와 입력부(105)와, 제어부(106)를 포함한다.

보다 상세히 설명하면, 본 발명에 따른 디지털 촬영기기(100)는 이미지 및 영상을 입력받는 렌즈부(101)와, 상기 렌즈부로부터 입력받은 이미지 및 영상을 분석하여 포함된 얼굴을 추출 처리하는 디지털 촬영기기에 적용된 얼굴인식 기반의 처리부(102)와, 상기 처리된 얼굴에 해당하는 정보를 Database에 저장하고 기존에 저장되어 있는 정보를 입력, 추출 및 변경이 가능한 얼굴인식 Database 기반의 저장부(103)와, 저장부를 통해 얻은 컨텐츠의 정보를 수집하여 키워드화 된 태그 정보를 사용자에게 표시하여 선택 할 수 있게 보여주는 디스플레이(104)와, 디스플레이를 통해 보여지는 태그 중에서 인식된 얼굴의 이름정보가 저장부의 Database에 없는 경우나 수정이 필요한 경우에 사용자가 직접 입력할 수 있는 입력부(105)와, 사 용자가 선택한 태그를 촬영된 이미지 및 영상과 함께 저장하고 미리 지정된 태그의 조합으로 파일의 이름을 저장할 수 있도록 제어하는 제어부(106)를 포함하는 것이 특징이다.

도 2는 본 발명의 일 실시 예로서, 본 발명에 따른 디지털 촬영 기기에서 얼굴인식을 이용한 멀티미디어 컨텐츠 자동 태깅 시스템을 나타내는 흐름도이다.

즉, 본 발명에 따른 얼굴인식을 이용한 디지털 촬영기기의 멀티미디어 컨텐츠 자동 태깅 시스템은 디지털 촬영기기의 렌즈부를 통하여 촬영되고 있는 이미지 및 영상을 입력받는 단계(201), 입력받은 사진 및 영상의 얼굴정보를 얼굴인식기반의 처리부를 통해 인식하고 저장부의 Database를 통해 촬영된 얼굴의 정보를 수집하여 키워드화 하는 단계(202), 키워드화 된 태그 정보를 디지털 촬영기기의 디스플레이를 통해 보여주는 단계(203), 디스플레이를 통해 보여지는 태그들 중에서 원하는 것을 선택하여 촬영된 컨텐츠와 함께 저장과 동시에 미리 지정된 태그의 조합으로 파일명을 저장하는 단계(204)를 포함하는 것을 특징으로 한다.

또한 키워드화 된 태그 정보를 디지털 촬영 기기의 디스플레이를 통해 보여주는 단계에 있어서 얼굴에 대한 이름이 저장부의 Database에 저장되어 있지 않다면, 사용자가 이를 직접 입력부를 통해 입력하여 Database에 저장하고, 수정할 사항이 있으면 입력부를 통해 수정 및 저장후에 입력 및 수정된 태그 정보를 디스플레이를 통해 다시 보여주는 단계(212)를 더 포함하는 것을 특징으로 한다.

도 3은 본 발명에 따른 디지털 촬영장치의 제1 실시예가 도시된 예시도이다.

도 3의 (a)는 디지털 촬영장치(100)를 통해 이미지 및 영상을 촬영하게 되면 얼굴인식을 통해 얻어진 정보의 태그가 아이콘 및 텍스트의 형태로 디스플레이(104) 하단부에 나타나게 되는 것을 예시한 도면이다.

도 3의 (b)는 얼굴의 이름정보가 미리 저장된 Database에 없는 경우에 Question마크(?)의 가 뜨고 사용자는 이를 수정하기 위해 터치스크린 디스플레이(104)에 아이콘을 눌러 수정 할 수 있음을 예시한 도면이다.

도 3의 (c)는 정보 입력 변경을 위한 입력부(105)의 창으로 인식된 얼굴의 이름을 사용자가 새롭게 입력해 주며 이 입력부(105)를 통하여 기존의 Data의 수정 및 변경이 가능한 것을 예시한 도면이다.

도 3의 (d)는 기존에 저장부(103)의 Database에 저장되어 있지 않았던 얼굴에 대한 이름정보가 인식된 것을 예시한 도면으로 디스플레이 하단부의 태그 정보 아이콘을 선택하여 저장할 수 있다.

도 4는 본 발명에 따른 디지털 촬영장치의 제2 실시예가 도시된 예시도이다.

얼굴인식으로 얻어진 태그정보를 초기 설정된 태그조합 파일 저장 방식을 통해 자동적으로 태그의 나열 후 이미지 및 영상의 확장자로 저장이 되게 된다. 또한 사 용자가 직접 초기 설정된 태그조합 파일 저장방식을 변경하여 태그의 순서를 변경할 수 있다.

본 발명의 간결한 설명을 위하여 얼굴인식을 이용한 디지털 촬영기기의 멀티미디어 컨텐츠 자동 태깅 시스템이 사용되는 특정 예를 들어 설명한다.

도 3(a)

사용자 강병수는 친구와 함께 동영상을 찍으려고 한다. 그래서 얼굴인식 자동 태깅이 가능한 디지털 촬영장치(100)로 촬영을 마쳤다.

디스플레이(104) 하단부를 통해 나타난 태그들 중 강병수(사용자)의 얼굴 아이콘에는 이름까지 표시되었고, 아직 저장부(103)의 Database에 등록되지 않은 친구는 얼굴 아이콘 하단에 Question마크(?)를 통해 태그정보를 저장하려면 입력이 필요하다는 것을 보여줬다.

그리고 마냥 웃고 있었던 두 사람의 표정에 대한 태그는 스마일 마크로 나타났다. 또한 영상 내에 두 명의 사람이 있다는 것을 나타내는 아이콘이 표현 되었다.

도 3(b)

친구의 이름 정보를 저장부(103)의 Database에 등록하기 위해 아이콘을 눌렀다.

도 3(c)

아이콘을 누르니 디스플레이(104)에 입력부(104)가 창으로 뜨면서 입력이 가능해 졌다. 친구의 이름인 조예원을 입력했다.

도 3(d)

입력을 마치고 나니 친구의 Question마크는 조예원이란 친구의 이름으로 바뀌었다. 저장부(103)의 Database에 입력이 되었으므로 다음부터는 조예원이란 친구와 함께 이미지나 영상을 찍으면 자동적으로 얼굴아이콘 하단에 이름이 보이고 태그를 자동으로 저장할 수 있게 된다.

또한 사용자가 원하는 태그를 마음대로 선택할 수 있게 아이콘을 누르면 그에 대한 태그들이 멀티미디어 파일 내에 저장이 되어 블로그나 웹 페이지에 올릴때 따로 태그를 적지 않아도 자동적으로 태깅이 된다. 얼굴인식을 통해 얻을 수 있는 많은 정보들이 파일 내에 태그로 저장되어 있어 웹상에서 멀티미디어 컨텐츠의 브라우징과 검색 기능이 강화되는 효과가 있다.

도 4

마지막으로 파일을 저장하려고 하니 기존에 숫자를 통해 자동적으로 저장되거나 사용자가 일일이 입력해야 했던 창이 아닌, 이미지나 영상 내의 얼굴을 인식하여 정보를 추출한 태그들의 조합을 통한 파일명으로 저장할 것인지를 물어본다.

초기 설정된 값은 [이름1 이름2 표정 사람의 수. 멀티미디어 확장자(jpg, avi)]여서 [강병수 조예원 웃음 2명.jpg]로 저장할 것인지 물어보았다. 사용자는 예를 눌러 저장을 하였다.

초기 값은 사용자가 원하는 조합으로 변경이 가능하다. 또한 이를 통해 저장된 파일들은 사용자 자신이 나오거나 특정인물이 나온 사진, 일정 수 이상 찍은 단체사진, 즐거운 사진, 게다가 얼굴인식으로 얻을 수 있는 수많은 정보들을 통해 손쉽게 검색 및 관리가 용이하다.

본 발명의 도시된 실시 예를 참고로 본 발명을 설명하였으나, 이는 예시적인 것에 불과하며 본 발명의 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허 청구 범위의 기술적 사상에 의해 정해져야 할 것이다.

도 1은 본 발명의 일 실시 예로서, 얼굴인식을 이용 멀티미디어 컨텐츠 자동 태깅 시스템이 구비된 디지털 촬영기기의 개략적인 블록도이다.

도 2는 본 발명의 일 실시 예로서, 본 발명에 따른 디지털 촬영기기에서의 얼굴인식을 이용 멀티미디어 컨텐츠 자동 태깅이 가능한 디지털 촬영기기 시스템을 나타내는 흐름도이다.

도 3는 본 발명에 따른 디지털 촬영장치의 제1실시예가 도시된 예시도이다.

도 4는 본 발명에 따른 디지털 촬영장치의 제2실시예가 도시된 예시도이다.

<도면의 주요 부분에 관한 부호의 설명>

100 디지털 촬영장치

101 렌즈부

102 처리부

103 저장부

104 디스플레이

105 입력부

Claims (3)

1. 이미지 및 영상을 입력받는 렌즈부;

   상기 렌즈부로부터 입력받은 이미지 및 영상을 분석하여 포함된 얼굴을 추출 처리하는 디지털 촬영기기에 적용된 얼굴인식 기반의 처리부;

   상기 처리된 얼굴에 해당하는 정보를 Database에 저장하고 기존에 저장되어 있는 정보를 입력, 추출 및 변경이 가능한 얼굴인식 Database 기반의 저장부;

   저장부를 통해 얻은 컨텐츠의 정보를 수집하여 키워드화 된 태그 정보를 사용자에게 표시하여 선택 할 수 있게 보여주는 디스플레이;

   디스플레이를 통해 보여지는 태그 중에서 인식된 얼굴의 이름정보가 저장부의 Database에 없는 경우나 수정이 필요한 경우에 사용자가 직접 입력할 수 있는 입력부;

   사용자가 선택한 태그를 촬영된 이미지 및 영상과 함께 저장하고 미리 지정된 태그의 조합으로 파일의 이름을 저장할 수 있도록 제어하는 제어부를 포함하는 것을 특징으로 하는 얼굴인식을 이용한 디지털 촬영기기의 멀티미디어 컨텐츠 자동 태깅 시스템.
2. 제 1항에 있어서,

   얼굴인식을 이용 멀티미디어 컨텐츠 자동 태깅 디지털 촬영기기 시스템은;

   디지털 촬영기기의 렌즈부를 통하여 촬영되고 있는 이미지 및 영상을 입력받는 단 계;

   입력받은 사진 및 영상의 얼굴정보를 얼굴인식기반의 처리부를 통해 인식하고 저장부의 Database를 통해 촬영된 얼굴의 정보를 수집하여 키워드화 하는 단계;

   키워드화 된 태그 정보를 디지털 촬영기기의 디스플레이를 통해 보여주는 단계; 디스플레이를 통해 보여지는 태그들 중에서 원하는 것을 선택하여 촬영된 컨텐츠와 함께 저장과 동시에 미리 지정된 태그의 조합으로 파일명을 저장하는 단계를 포함하는 것을 특징으로 하는 얼굴인식을 이용한 디지털 촬영기기의 멀티미디어 컨텐츠 자동 태깅 시스템.
3. 제 2항에 있어서,

   키워드화 된 태그 정보를 디지털 촬영기기의 디스플레이를 통해 보여주는 단계에 있어서 얼굴에 대한 이름이 저장부의 Database에 저장되어 있지 않다면, 사용자가 이를 직접 입력부를 통해 입력하여 Database에 저장하고, 수정할 사항이 있으면 입력부를 통해 수정 및 저장후에 입력 및 수정된 태그 정보를 디스플레이를 통해 다시 보여주는 단계를 더 포함하는 얼굴인식을 이용한 디지털 촬영기기의 멀티미디어 컨텐츠 자동 태깅 시스템.

Images