KR20130082980A

KR20130082980A - 얼굴인식 기반 사용자 맞춤형 추천 시스템

Info

Publication number: KR20130082980A
Application number: KR1020110142484A
Authority: KR
Inventors: 신임근
Original assignee: 주식회사 유비벨록스모바일
Priority date: 2011-12-26
Filing date: 2011-12-26
Publication date: 2013-07-22

Abstract

본 발명에 따른 얼굴인식 기반의 사용자 맞춤형 서비스 시스템은, 사용자를 촬영하는 카메라 모듈과, 상기 촬영된 이미지에서 사용자의 얼굴을 인식하고 얼굴 식별을 위한 식별정보를 생성하는 얼굴인식 모듈과, 사용자별 얼굴 식별정보를 저장하는 사용자 정보 데이터베이스와, 단말의 잠금해제를 시도하는 사용자의 입력이 감지되면 상기 카메라 모듈을 구동하고 얼굴인식 모듈을 실행하여, 상기 사용자에 관한 식별정보를 추출한 후, 추출된 식별정보와 일치하는 사용자 정보가 상기 사용자 정보 DB에 존재하면, 단말의 상태를 동작모드로 전환하는 제어부와, 상기 사용자 정보에 대응되는 추천 메뉴화면을 단말에 디스플레이하고 해당 사용자의 정보를 서버로 전송하는 추천 엔진을 포함하여 구성되며, 상기 제어부는 상기 서버가 추천한 맞춤형 컨텐츠가 수신되면, 사용자의 승인 절차를 통해 상기 맞춤형 컨텐츠를 실행하거나 저장한다.
본 발명은 하나의 단말기(예: 스마트폰)를 여러 사용자가 사용할 경우 사용자별 맞춤형 추천 서비스를 제공할 수 있으며, 단말기 사용시 혹시나 발생할 수 있는 개인정보의 유출이나 의도하지 않게 유해정보에 노출되는 것을 방지할 수 있다. 또한, 자녀가 부모의 단말기(예: 스마트폰)를 가지고 놀 경우 발생할 수 있는 유해정보에 노출되는 문제를 차단하고, 유익한 정보와 교육용 어플리케이션들을 추천하고 권장하는 서비스의 질적 향상을 도모할 수 있다.

Description

얼굴인식 기반 사용자 맞춤형 추천 시스템{USER PERSONALIZED RECOMMENDATION SYSTEM BASED ON FACE-RECOGNITION}

본 발명은 사용자 맞춤형 서비스 시스템에 관한 것으로, 보다 상세하게는 얼굴인식 기반의 사용자 맞춤형 서비스 시스템에 관한 것이다.

스마트폰은 휴대폰과 개인휴대단말기(personal digital assistant; PDA)의 장점을 결합한 것으로, 가장 큰 특징은 완제품으로 출시되어 주어진 기능만 사용하던 기존의 휴대폰과는 달리 수백여 종의 다양한 어플리케이션(응용 프로그램)을 사용자가 원하는 대로 설치하고 추가 또는 삭제할 수 있다는 장점을 가지고 있다.

최근, 스마트폰 시장이 급속히 성장한 이유는, 무선인터넷을 이용하여 인터넷에 직접 접속할 수 있을 뿐 아니라 여러 가지 브라우징 프로그램을 이용하여 다양한 방법으로 접속할 수 있는 점, 사용자가 원하는 애플리케이션을 직접 제작할 수도 있는 점, 다양한 애플리케이션을 통하여 자신에게 알맞은 인터페이스를 구현할 수 있는 점 그리고 같은 운영체제(OS)를 가진 스마트폰 간에 애플리케이션을 공유할 수 있는 점 등, 스마트폰이 기존 휴대폰이 갖지 못한 장점들을 가지고 있기 때문이다. 그리고, 스마트폰의 이러한 장점들은, 급기야 PC(퍼스널 컴퓨터)를 대체할 수 있는 수준에까지 이르렀다.

스마트폰은 특정 개인의 전용 단말기이지만, 다양한 기능을 탑재하고 다양한 어플리케이션(예: 게임, SNS, 교육, 도서, 음악, 경제 등)을 원하는 만큼 설치할 수 있기 때문에, 개인 전용물임에도 불구하고 경우에 따라서는 주변인(예: 형제자매 또는 자녀 등)들이 사용자의 승락을 받고 빌려 쓰거나 때로는 승락없이 임의로 사용하는 경우가 종종 발생한다.

스마트폰 사용을 허가해 주게 되면, 사용자(소유자)는 폰 비밀번호나 암호키를 자의적으로 공개해야 하므로, 일단 스마트폰을 빌려 쓴 주변인은 보안 인증의 대상에서 제외되고, 언제든 사용자(소유자)의 승락없이 스마트폰을 쓸 수 있는 가능성을 갖게 된다.

스마트폰은 다양한 기능과 어플리케이션의 탑재가 가능하고 그 사용범위가 큰 만큼 사용자(소유자)의 신상 정보나 금융정보와 같은 다양한 개인정보가 저장되어 있고 그에 따라 개인의 사적인 정보가 보장되어야 하지만, 종래 폰 비밀번호나 암호키를 설정하는 보안방식은, 대부분의 스마트폰이 개인 전용 단말기임에도 불구하고 그러한 개인의 사적인 정보를 보장하기 어렵다.

스마트폰을 여러 사용자가 사용할 경우 발생할 수 있는 개인정보의 유출을 방지하기 어렵고, 언제 어디서나 인터넷 통신에 접속할 수 있는 스마트폰의 장점으로 인해, 의도하지 않게 유해정보에 노출되는 것을 방지하기 어려운 문제가 있다.

특히, 어린 자녀의 경우 부모의 단말기(예: 스마트폰)를 빈번히 가지고 놀게 되는데 이때 자녀들이 유해정보에 노출되거나, 단말기(예: 스마트폰)의 미숙한 조작에 의해 중요 정보가 삭제되거나 노출되는 문제가 발생하고 있다.

이러한, 종래 기술에 따른 보안/인증방식의 문제는, 스마트폰 뿐 아니라, 로그인을 필요로 하는 컴퓨터 시스템의 경우에도 일어날 수 있는 것이고, 컴퓨터 시스템의 경우 현재 로그인한 사용자 혹은 마지막으로 로그인한 사용자를 획일적으로 가정함으로 다양한 사용자에게 적합한 환경의 추천 서비스를 제공하기 어려운 문제점들을 노출하고 있다.

본 발명의 목적은, 얼굴인식 기반의 사용자 인증절차를 수행하고, 인증된 사용자에게 적합한 컨텐츠를 추천하는 사용자 맞춤형 추천 서비스 시스템을 제공하는데 있다.

본 발명의 부가적인 특성 및 이점들은 아래의 설명에 기재될 것이며, 부분적으로는 상기 설명에 의해 명백해지거나 본 발명의 실행을 통해 숙지될 것이다. 본 발명의 목표 및 다른 이점들은 특히 아래 기재된 설명 및 부가된 도면뿐만 아니라 청구항에서 지적한 구조에 의해 구현될 것이다.

본 발명은 하나의 단말기(예: 스마트폰)를 여러 사용자가 사용할 경우 사용자별 맞춤형 추천 서비스를 제공할 수 있으며, 단말기 사용시 혹시나 발생할 수 있는 개인정보의 유출이나 의도하지 않게 유해정보에 노출되는 것을 방지할 수 있다.

또한, 자녀가 부모의 단말기(예: 스마트폰)를 가지고 놀 경우 발생할 수 있는 유해정보에 노출되는 문제를 차단하고, 유익한 정보와 교육용 어플리케이션들을 추천하고 권장하는 서비스의 질적 향상을 도모할 수 있다.

도1은 본 발명에 따른 사용자 맞춤형 추천 서비스의 블록 구성도.
도2는 본 발명에 따른 사용자 맞춤형 추천 시스템의 블록 구성도.
도3은 본 발명에 따른 단말의 잠금상태와 잠금해제를 시도하는 사용자의 조작을 나타낸 도면.
도4는 본 발명에 따른 사용자 맞춤형 추천 서비스의 흐름도.
도5는 사용자 촬영과 얼굴인식에 관한 본 발명의 실시예를 나타낸 도면.
도6은 본 발명에 따른 추천 메뉴화면의 예시도.

상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 얼굴인식 기반의 사용자 맞춤형 서비스 시스템은, 사용자를 촬영하는 카메라 모듈과, 상기 촬영된 이미지에서 사용자의 얼굴을 인식하고 얼굴 식별을 위한 식별정보를 생성하는 얼굴인식 모듈과, 사용자별 얼굴 식별정보를 저장하는 사용자 정보 데이터베이스와, 단말의 잠금해제를 시도하는 사용자의 입력이 감지되면 상기 카메라 모듈을 구동하고 얼굴인식 모듈을 실행하여, 상기 사용자에 관한 식별정보를 추출한 후, 추출된 식별정보와 일치하는 사용자 정보가 상기 사용자 정보 DB에 존재하면, 단말의 상태를 동작모드로 전환하는 제어부와, 상기 사용자 정보에 대응되는 추천 메뉴화면을 단말에 디스플레이하고 해당 사용자의 정보를 서버로 전송하는 추천 엔진을 포함하여 구성되며, 상기 제어부는 상기 서버가 추천한 맞춤형 컨텐츠가 수신되면, 사용자의 승인 절차를 통해 상기 맞춤형 컨텐츠를 실행하거나 저장한다.

상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 얼굴인식 기반의 사용자 맞춤형 서비스 제공방법은,

단말의 잠금해제를 시도하는 사용자의 입력을 감지하는 과정과, 카메라 모듈을 구동시켜 상기 사용자를 촬영하는 과정과, 상기 촬영된 이미지에서 사용자의 얼굴을 인식하고 얼굴 식별을 위한 식별정보를 생성하는 과정과, 사용자 정보 DB에서, 상기 식별정보와 일치하는 사용자 정보를 검출하는 과정과, 상기 식별정보와 일치하는 정보가 검출되면, 단말의 상태를 동작모드로 전환하고, 상기 검출된 정보에 대응되는 추천 메뉴화면을 디스플레이하는 과정과, 상기 검출된 사용자 정보를 서버로 전송하고 서버가 추천한 맞춤형 컨텐츠를 제공받는 과정과, 사용자의 승인 혹은 선택에 따라 서버의 맞춤형 컨텐츠를 실행하거나 저장하는 과정으로 이루어진다.

이하, 본 발명의 바람직한 실시예를 도면을 참조하여 설명하면 다음과 같다.

도1은 본 발명에 따른 사용자 맞춤형 추천 서비스의 블록 구성도이다.

도1에 도시된 바와 같이, 본 발명에 따른 얼굴인식 기반의 사용자 맞춤형 추천 서비스는, 이동단말기(200), 사용자 맞춤형 추천 시스템(100), 그리고 서버(300)가 상호 연동하여 이루어진다.

상기 이동단말기(100)는 여러 어플리케이션을 메모리에 저장할 수 있다. 예를 들어, 얼굴인식 기반의 사용자 맞춤형 추천 시스템(100)이 어플리케이션 형태로 구현되는 경우 해당 어플리케이션(이하, '어플(appl)'이라 한다)을 메모리에 저장할 수 있다. 본 발명에 따른 사용자는 특정 웹 서버(300)나 어플리케이션 스토어(이하, '앱스토어(App store)'라 한다)로부터 상기 사용자 맞춤형 추천 서비스 어플(appl)을 다운로드하여 단말(100)에 설치할 수 있다.

상기 이동단말기(200)는 화상통화용 카메라 또는 사용자의 이미지를 촬영할 수 있는 카메라 모듈을 탑재한다.

상기 이동단말기(200)는 상기 서버(300)에 접속 가능한 통신기능을 갖는 단말기를 통칭하는 것으로, 피처폰(feature phone) 및 스마트 폰(smart phone) 등과 같은 휴대폰, 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션(Navigation), MP3P(MPEG layer 3 Player), 태블릿 PC와 같은 모바일 PC 등이 될 수 있다. 또한, 데스크 탑과 같은 퍼스널 컴퓨터도 그 대상이 될 수 있다.

이미 언급하였듯, 사용자 맞춤형 추천 시스템(100)은 어플(appl) 형태로 구현될 수 있으며, 이 경우 특정 웹 서버(예: 추천 서버(300))나 앱스토어(App store)로부터 다운로드되어 설치된다. 그리고, 이동단말(200)의 카메라 모듈 및 통신모듈과 연동하여 본 발명에 따른 사용자 맞춤형 추천 서비스를 수행한다.

사용자 맞춤형 추천 시스템(100)은 얼굴인식 기능을 탑재하며, 촬영된 화상정보와 사용자 정보를 매치하기 위한 사용자 정보 DB를 구비한다. 그리고, 네트워크로 연결된 서버(300, 이하, '추천 서버(300)'라 한다)와 통신하여 추천 서비스를 제공받는다.

상기 추천 서버(300)는 상기 이동단말(200)로부터 사용자 정보가 수신되면, 사용자에게 적합한 컨텐츠 즉, 사용자의 성별, 연령, 관심분야에 따른 맞춤형 컨텐츠(예: 어플(appl))나 정보를 상기 단말(200)로 제공한다. 추천 서버(300)는 상기 사용자 맞춤형 서비스 어플(appl)을 게시하여, 단말(100)이 다운로드할 수 있도록 한다.

도2는 본 발명에 따른 사용자 맞춤형 추천 시스템의 블록 구성도이다.

도2에 도시된 바와 같이, 본 발명에 따른 사용자 맞춤형 추천 시스템(100)은 카메라 모듈(110), 얼굴인식 모듈(120), 사용자 정보 데이터베이스(DB, 130), 제어부(140), 추천 엔진(150), 통신모듈(160)을 포함하여 구성된다.

상기 카메라 모듈(110)은 잠금모드의 단말을 조작하는 사용자의 입력이 감지될 때, 제어부(140)의 제어에 따라 기동하여 사용자를 촬영한다.

카메라 모듈(110)은, 이동단말(200)이 화상 통화모드 또는 촬영모드일 때 이미지 센서에 의해 얻어지는 정지영상이나 동영상의 화상 프레임을 처리한다. 그리고, 처리된 화상 프레임은 디스플레이부(미도시)에 표시될 수 있다. 상기 카메라(110)에서 처리된 화상 프레임은 메모리(또는 사용자 정보 DB(130))에 저장되거나 통신모듈(160)를 통해 추천 서버(300)로 전송될 수 있다. 상기 카메라 (110)는 이동단말기(200)의 구성 태양에 따라 2개 이상이 구비될 수 있다.

상기 얼굴인식 모듈(120)은 상기 카메라 모듈(110)의 촬영 이미지에서 사용자의 얼굴을 인식하고 얼굴 식별을 위한 식별정보를 생성한다.

사람 얼굴이 기본적으로 갖고 있는 눈,코,입,귀와 그 각도에 따라 분석하여 대상이 되는 피사체를 찾고 초점을 맞추는 기능이 얼굴인식이다. 얼굴인식의 기본적인 원리는 둥근 형체에 눈과 코와 입, 그리고 머리모양 등의 정보를 소프트웨어적으로 만들어서 유사한 데이터가 들어 올 경우 그 물체에 초점을 맞춰 좀 더 뚜렷한 결과물을 얻을 수 있게 해주는 것이다.

상기 사용자 정보 데이터베이스(DB, 130)는 사용자별 얼굴 식별정보를 저장한다. 그리고, 상기 얼굴 식별정보에 대응되는 각 사용자의 맞춤 정보를 저장한다. 상기 사용자의 맞춤정보는 해당 사용자에 맞는 추천 메뉴화면(메뉴 환경) 정보를 포함한다. 이때, 상기 추천 메뉴화면(메뉴환경)은 상기 서버(300) 로부터 제공받은 컨텐츠(예: 어플리케이션 등)와, 도6에 도시된 바와 같이 이동단말기(200)가 제공하는 메뉴들 중 선택된 메뉴(기능)들이 나열된 것일 수 있다. 이동단말기(200)의 주(主)사용자는, 사용자별로 각기 다른(혹은 그 사용자에게 맞는) 메뉴화면이 구성되도록 추천 메뉴화면을 설정할 수 있다.

상기 제어부(140)는 단말(200)이 잠금모드일 때 단말의 잠금해제를 시도하는 사용자의 입력이 감지되면 상기 카메라 모듈(110)을 구동하고 얼굴인식 모듈(120)을 실행하여, 상기 사용자에 관한 식별정보를 추출한다. 그리고, 추출된 식별정보와 일치하는 사용자 정보가 상기 사용자 정보 DB(130)에 존재하면, 단말의 상태를 동작모드로 전환한다.

본 발명에 따른 사용자 맞춤형 추천 서비스는 이때 검출되는 사용자 정보에 따라 각기 다른 환경을 제공한다. 또한 사용자의 성별, 연령, 관심분야에 따른 맞춤형 컨텐츠나 정보를 제공한다.

상기 추천 엔진(150)은, 상기 추출된 얼굴 식별정보에 일치하는 정보가 상기 사용자 정보 DB(130)에서 검출되면, 그 식별정보에 대응되는 추천 메뉴화면(메뉴환경)을 도6에 도시된 바와 같이 단말 화면에 디스플레이 한다. 도6은 본 발명에 따른 추천 메뉴화면의 예시도로서, 주(主) 사용자의 딸(5세)을 위한 추천 메뉴화면이다. 도6의 a)에 도시된 추천 메뉴화면은, 주 사용자가 딸의 정보를 DB(130)에 등록하면서 설정한 것이다.

도6의 a)에 도시된 바와 같이 상기 추천 메뉴화면은 실행 가능한 메뉴(기능)와 실행할 수 없는 메뉴(기능)가 쉽게 구분되도록 메뉴들을 구성하는 것이 바람직하다. 실행할 수 있는 메뉴는 실선으로 표시하고 실행할 수 없는 메뉴들은 점선으로 표시하여 사용자가 인지할 수 있도록 하였다.

이후, 추천 엔진(150)은 상기 DB(130)에서 검출된 사용자의 정보를 추천 서버(300)로 전송한다. 그리고, 상기 추천 서버(300)로부터 상기 사용자에 대한 맞춤형 컨텐츠(예: 어플(appl))를 추천받는다.

추천 엔진(150)은 상기 추천 서버(300)로부터 맞춤형 컨텐츠가 수신되면, 사용자의 승인 절차를 통해 상기 맞춤형 컨텐츠를 실행하거나 단말(200)에 저장한다.

위에서 언급하였듯, 맞춤형 컨텐츠(예: 어플(appl))는 사용자의 성별(예: 여자), 연령(예: 5세), 관심분야(예: 애니메이션)에 따라 추천되는 것으로, 뽀로로, '스펀지 밥', '토마스와 친구들' 등의 어플이나 오디오 북(동화) 어플과 같은 유아용 애니메이션이나 유아교육용 컨텐츠가 그 예로서 추천될 수 있다.

도4는 본 발명에 따른 사용자 맞춤형 추천 서비스의 흐름도이다.

설명의 편의를 위해, 본 발명의 이동단말기(200)가 스마트폰인 것으로 가정하고, 다음과 같이 도4를 참조하여 본 발명에 따른 사용자 맞춤형 추천 시스템의 동작을 설명한다.

서비스 이용에 앞서 사용자는, 추천 서버(200)나 앱스토어(App store)에 접속하여 사용자 맞춤형 추천 서비스 어플(appl)을 다운로드하여 설치한다. 그리고, 사용자 본인과 단말기(200) 사용이 예상되는 주변인(예: 자녀, 배우자 등)의 정보(예: 얼굴 이미지, 이름, 나이, 성별, 관심분야 등)를 미리 사용자 정보 DB(130)에 등록한다.

단말(200)은 일정 시간동안 사용자의 입력이 중단되면, 도3의 a)에 도시된 바와 같이 잠금모드로 상태를 전환한다.

그리고, 잠금모드 상태에서, 잠금해제를 시도하는 사용자의 조작이 감지되면 즉, 잠금해지 바(bar, 3a)를 좌측이나 우측으로 이동시키는 사용자의 조작이 감지되면(S10), 제어부(140)는 일단, 상기 카메라 모듈(110)을 구동하여 도3의 b)에 도시된 바와 같이 상기 잠금해제를 시도하는 사용자를 촬영한다. (S20) 그리고, 얼굴인식 모듈(120)을 실행하여 촬영된 사용자의 이미지에서 얼굴부분을 인식한 후 사용자의 얼굴 식별정보를 추출한다. (S30) 상기 얼굴 식별정보가 추출되면, 추출된 식별정보와 일치하는 사용자 정보의 검출을 위해 사용자 정보 DB(130)를 검색한다. (S40)

도5는 상기 단계(S20~S30)에서, 사용자를 촬영하고 인식하는 방법에 관한 다른 예시이다. 도5의 예시에서 사용자가 잠금해지 바(bar, 5b)를 터치하면, 제어부(140)는 도5에 도시된 바와 같이 사용자의 얼굴 촬영을 위한 입력창(5a)을 단말화면에 디스플레이한다. 그리고 사용자는 자신의 얼굴을 상기 입력창(5a)에 맞춘다. 상기 입력창(5a)의 'T'자 눈금선의 가로 눈금선에 사용자의 눈을 맞추고 세로 눈금선에 사용자의 코를 맞춘다.

사용자가, 자신의 얼굴을 상기 입력창(5a)에 맞추고 잠금해제를 시도하기 위해 잠금해지 바(bar, 5b)를 좌측이나 우측으로 이동시키면, 제어부(140)는 사용자의 얼굴을 촬영하고 촬영된 이미지에서 사용자의 얼굴 식별정보를 추출한다. 도5의 예시는 촬영된 사용자 이미지에서 얼굴부분을 인식하는 단계가 불필요하므로, 잠금모드를 동작모드로 전환하는 과정을 빠르게 진행할 수 있는 장점이 있다.

일단, 상기 과정(S40)에서, 상기 추출된 식별정보와 일치하는 사용자 정보가 검출되면(S50), 단말(200)을 동작모드로 전환하고 상기 식별정보에 대응되는 추천 메뉴화면을 도6에 도시된 바와 같이 단말 화면에 디스플레이 한다. (S60 ~ S70)

상기 과정(S10)에서, 잠금해제를 시도하는 사용자는 3가지 경우로 구분될 수 있다. i) 사용자 본인(주(主) 사용자)이 시도하는 경우, ii) DB(130)에 저장된 사용자 주변인이 시도하는 경우, 그리고 iii) DB(130)에 저장되지 않은 사용자 주변인이 시도하는 경우로 구분될 수 있다.

i) 우선, 단말(200)의 잠금해제를 시도하는 사용자가 사용자 본인 즉, 주(主) 사용자인 경우, 제어부(140)는 단말(200)을 동작모드로 전환하고(S60) 추천 엔진(150)은 단말(200)에서 제공되는 기본 메뉴화면을 그대로 단말에 디스플레이 한다. (S70)

ii) 만일, 상기 잠금해제를 시도하는 사용자가 DB(130)에 저장된 사용자의 주변인(예: 딸(5세))인 경우, 제어부(140)는 단말(200)을 동작모드로 전환하고(S60) 추천 엔진(150)은 사용자에 의해 기 설정된 추천 메뉴를 단말화면에 디스플레이 한다. (S70) 만일, 사용자에 의해 기 설정된 추천 메뉴가 없는 경우 추천 엔진(150)은 상기 DB(130)에서 검출된 사용자의 정보를 추천 서버(300)로 전송한다. 그리고, 상기 추천 서버(300)로부터 제공되는 추천 메뉴를 단말화면에 디스플레이 한다. 도6의 b)는 추천 서버(300)로부터 제공되는 메뉴 화면을 단말에 디스플레이한 것이다.

iii) 또한 만일, 상기 잠금해제를 시도하는 사용자가 DB(130)에 저장되어 있지 않은 사용자의 주변인인 경우, 제어부(140)는 소정의 정보 입력창을 화면에 출력하여 해당 사용자로부터 사용자 정보를 입력받는다. (S90) 그리고 입력된 사용자 정보를 추천 서버(300)에 전달하고 단말(200)을 동작모드로 전환한다. (S60)

추천 엔진(150)은 전달받은 사용자 정보(예: 얼굴 이미지, 이름, 나이, 성별, 관심분야 등)를 추천 서버(300)로 전송하고, 추천 메뉴화면을 제공받아 단말에 디스플레이 한다. (S70)

본 발명의 다른 예로서, 잠금해제를 시도하는 사용자가 DB(130)에 저장되어 있지 않은 사용자의 주변인인 경우, 제어부(140)는 촬영된 사용자 이미지에 기초하여 사용자의 성별, 연령대 등에 대한 추정값을 사용자 정보로서 상기 추천 엔진(150)에 제시할 수 있다.

이상의 과정들(S10 ~ S70)을 통해, 잠김상태의 단말(200)은 동작모드로 전환되고, 추천 메뉴화면을 디스플레이 한다. 그리고, 일단, 동작모드로 전환된 단말(200)은 추천 서버(300)에 접속하고 현재 사용자의 정보를 전송한다. (S80)

추천 서버(300)는 단말(200)로부터 사용자 정보가 수신되면, 사용자에게 적합한 컨텐츠 즉, 사용자의 성별, 연령, 관심분야에 따른 맞춤형 컨텐츠(예: 어플(appl))나 정보를 선정하여 단말(200)로 제공한다. 그리고, 추천 서버(300)로부터 맞춤형 컨텐츠(예: 어플(appl))를 수신한 단말의 추천 엔진(150)은 사용자의 승인 혹은 선택에 따라 상기 서버(300)로부터 제공되는 컨텐츠를 실행하거나 메모리에 저장한다. (S80)

본 발명에 따른 제어부(140)는 누군가 단말의 잠금해제를 시도하는 경우, 자동으로 해당 사용자를 촬영하고 촬영한 이미지를 접속 히스토리로서 단말(200)내 소정 메모리 공간에 저장한다. 단말(200)의 주(主)사용자는 상기 저장된 접속 히스토리를 체크함으로써, 어떤 사용자들이 자신의 단말을 이용하고 접근(잠금해제를 시도)하려 했는지 파악할 수 있다.

이상에서 설명한 상기 이동단말기(200) 내의 사용자 맞춤형 서비스 시스템은 하드웨어적으로 구현될 수도 있고, 어플(appl)로도 구현될 수 있다.

예시적인 하드웨어적인 구현에 의하면, 상기 사용자 맞춤형 서비스 어플(appl)은 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수도 있다.

본 발명은 도면에 도시된 실시 예(들)를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형이 이루어질 수 있으며, 상기 설명된 실시예(들)의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

이상 기술된 바와 같이, 본 발명은 하나의 단말기(예: 스마트폰)를 여러 사용자가 사용할 경우 사용자별 맞춤형 추천 서비스를 제공할 수 있으며, 단말기 사용시 혹시나 발생할 수 있는 개인정보의 유출이나 의도하지 않게 유해정보에 노출되는 것을 방지할 수 있다.

100 : 사용자 맞춤형 추천 시스템 110 : 카메라 모듈
120 : 얼굴인식 모듈 130 : 사용자 정보 DB
140 : 제어부 150 : 추천 엔진
200 : 이동단말기 300 : 추천 서버

Claims

사용자를 촬영하는 카메라 모듈(110)과;
상기 촬영된 이미지에서 사용자의 얼굴을 인식하고 얼굴 식별을 위한 식별정보를 생성하는 얼굴인식 모듈(120)과;
사용자별 얼굴 식별정보를 저장하는 사용자 정보 데이터베이스(DB, 130)와;
단말의 잠금해제를 시도하는 사용자의 입력이 감지되면 상기 카메라 모듈을 구동하고 얼굴인식 모듈을 실행하여, 상기 사용자에 관한 식별정보를 추출한 후, 추출된 식별정보와 일치하는 사용자 정보가 상기 사용자 정보 DB에 존재하면, 단말의 상태를 동작모드로 전환하는 제어부(140)와;
상기 사용자 정보에 대응되는 추천 메뉴화면을 단말에 디스플레이하고 해당 사용자의 정보를 서버(300)로 전송하는 추천 엔진(150)을 포함하여 구성되며;
상기 제어부는 상기 서버가 추천한 맞춤형 컨텐츠가 수신되면, 사용자의 승인 절차를 통해 상기 맞춤형 컨텐츠를 실행하거나 저장하는 것을 특징으로 하는 얼굴인식 기반의 사용자 맞춤형 서비스 시스템.
제1항에 있어서, 상기 제어부(140)는,
상기 추출된 식별정보와 일치하는 사용자 정보가 상기 사용자 정보 DB에 존재하지 않는 경우,
소정의 정보 입력창을 화면에 출력하고,
상기 출력된 입력창을 통해 사용자 정보를 입력받아 추천엔진에 인가하고,
단말을 동작모드로 전환하는 것을 특징으로 하는 얼굴인식 기반의 사용자 맞춤형 서비스 시스템.
제1항에 있어서, 상기 제어부(140)는,
상기 추출된 식별정보와 일치하는 사용자 정보가 상기 사용자 정보 DB에 존재하지 않는 경우,
상기 촬영된 이미지에 기초하여 사용자의 성별, 연령대에 대한 추정값을 생성하고,
상기 추정값을 사용자 정보로서 추천 엔진에 인가하고,
단말을 동작모드로 전환하는 것을 특징으로 하는 얼굴인식 기반의 사용자 맞춤형 서비스 시스템.
제2항 내지 3항에 있어서, 상기 추천 엔진(150)은
상기 제어부로부터 인가된 사용자 정보를 상기 서버로 전송하고, 추천 메뉴화면을 제공받아 단말에 디스플레이 하는 것을 특징으로 하는 얼굴인식 기반의 사용자 맞춤형 서비스 시스템.
제1항에 있어서, 상기 제어부(140)는,
단말의 잠금해제를 시도하는 사용자의 입력이 감지되면 상기 카메라 모듈을 구동하여 해당 사용자를 촬영하고 촬영한 이미지를 접속 히스토리로서 저장하는 것을 특징으로 하는 얼굴인식 기반의 사용자 맞춤형 서비스 시스템.
단말의 잠금해제를 시도하는 사용자의 입력을 감지하는 과정과;
카메라 모듈을 구동시켜 상기 사용자를 촬영하는 과정과;
상기 촬영된 이미지에서 사용자의 얼굴을 인식하고 얼굴 식별을 위한 식별정보를 생성하는 과정과;
사용자 정보 DB에서, 상기 식별정보와 일치하는 사용자 정보를 검색하는 과정과;
상기 식별정보와 일치하는 정보가 검출되면, 단말의 상태를 동작모드로 전환하고, 상기 검출된 정보에 대응되는 추천 메뉴화면을 디스플레이하는 과정과;
상기 검출된 사용자 정보를 서버로 전송하고 서버가 추천한 맞춤형 컨텐츠를 제공받는 과정과;
사용자의 승인 혹은 선택에 따라 서버의 맞춤형 컨텐츠를 실행하거나 저장하는 과정으로 이루어지는 것을 특징으로 하는 얼굴인식 기반의 사용자 맞춤형 서비스 제공방법.
제6항에 있어서, 상기 식별정보와 일치하는 정보가 검출되지 않는 경우,
소정의 정보 입력창을 단말화면에 출력하는 과정과;
상기 출력된 입력창을 통해 사용자 정보를 입력받아 상기 추천엔진에 인가하는 과정과;
상기 단말을 동작모드로 전환하는 과정을 더 포함하는 것을 특징으로 하는 얼굴인식 기반의 사용자 맞춤형 서비스 제공방법.
제6항에 있어서, 상기 식별정보와 일치하는 정보가 검출되지 않는 경우,
상기 촬영된 이미지에 기초하여 사용자의 성별, 연령대에 대한 추정값을 생성하는 과정과;
상기 추정값을 사용자 정보로서 상기 추천 엔진에 인가하는 과정과;
상기 단말을 동작모드로 전환하는 과정을 더 포함하는 것을 특징으로 하는 얼굴인식 기반의 사용자 맞춤형 서비스 제공방법.
제7항 내지 8항에 있어서, 상기 추천 엔진은
상기 인가된 사용자 정보를 상기 서버로 전송하고, 추천 메뉴화면을 제공받아 단말에 디스플레이 하는 것을 특징으로 하는 얼굴인식 기반의 사용자 맞춤형 서비스 제공방법.
제6항에 있어서,
단말의 잠금해제를 시도하는 사용자의 입력이 감지되면, 상기 카메라 모듈을 구동하여 해당 사용자를 촬영하고 촬영한 이미지를 접속 히스토리로서 저장하는 과정을 더 포함하는 것을 특징으로 하는 얼굴인식 기반의 사용자 맞춤형 서비스 제공방법.