KR20150103507A

KR20150103507A - 모션 인식 잠금 해제 방법, 모션 인식 잠금 해제 시스템 및 이를 포함하는 전자 기기

Info

Publication number: KR20150103507A
Application number: KR1020140025039A
Authority: KR
Inventors: 배광혁; 경규민; 김태찬; 정성영; 조승한
Original assignee: 삼성전자주식회사
Priority date: 2014-03-03
Filing date: 2014-03-03
Publication date: 2015-09-11
Also published as: US9805184B2; US20150248551A1

Abstract

모션 인식 잠금 해제 방법은 사용자 모션을 촬상하여 모션 정보를 생성하고, 모션 정보에 기초하여 광학 흐름을 연산하며, 광학 흐름을 기 설정된 기준 방향들을 기초로 분류하고 그룹화하여 코드로 변환시키고, 코드와 패스워드를 비교하여 코드와 패스워드가 일치하는지 여부를 나타내는 비교 결과를 생성하며, 상기 비교 결과에 기초하여 전자 기기의 잠금 해제를 수행할지 여부를 결정할 수 있다.

Description

모션 인식 잠금 해제 방법, 모션 인식 잠금 해제 시스템 및 이를 포함하는 전자 기기 {METHOD OF UNLOCKING AN ELECTRONIC DEVICE BASED ON MOTION RECOGNITIONS, MOTION RECOGNITION UNLOCKING SYSTEM, AND ELECTRONIC DEVICE INCLUDING THE SAME}

본 발명은 전자 기기에 적용되는 잠금 해제 기술에 관한 것이다. 보다 상세하게는, 본 발명은 전자 기기에 적용되는 모션 인식 잠금 해제 방법, 이를 채용한 모션 인식 잠금 해제 시스템 및 이를 포함하는 전자 기기에 관한 것이다.

최근, 전자 기기(예를 들어, 모바일 기기 등)의 보안이 중요해짐에 따라, 전자 기기의 잠금 해제를 수행하는 다양한 방식들이 제안되고 있다. 예를 들어, 전자 기기에 구비된 물리 버튼 또는 터치 버튼을 눌러 사용자가 비밀 번호를 입력하는 방식, 전자 기기의 터치 스크린 패널에 표시된 소정의 아이콘을 사용자가 드래그 동작 등으로 이동시키는 방식(예를 들어, 밀어서 잠금 해제 방식), 전자 기기의 터치 스크린 패널에 표시된 이미지 상에 사용자가 드래그 동작 등을 수행하는 방식(예를 들어, 물결 잠금 해제 방식), 전자 기기의 터치 스크린 패널에 표시된 소정의 패턴들 상에 기 설정된 순서대로 사용자가 드래그 동작 등을 수행하는 방식(예를 들어, 패턴 잠금 해제 방식) 등이 전자 기기에 적용되어 왔다.

그러나, 이러한 방식들은 모두 전자 기기의 터치 스크린 패널 등에 물리적인 접촉이 가해지므로, 터치 횟수가 증가함에 따라 터치 스크린 패널 등이 손상될 수 있고, 터치 스크린 패널 상에 사용자의 지문 등이 남아 시인성이 떨어질 수 있다. 이에, 전자 기기에 구비된 다양한 센서들(예를 들어, 가속도계 센서(accelerometer), 회전 센서(gyroscope) 등)을 이용하여 사용자 모션을 인식하고, 그에 기초하여 잠금 해제를 수행하는 방식이 제안되고 있으나, 이러한 방식은 다양한 센서들을 이용하기 때문에 사용자 모션을 인식하기 위한 데이터들의 연산량이 많아, 잠금 해제에 많은 전력이 소모되고, 잠금 해제의 동작 속도가 떨어지며, 잠금 해제가 잘못 수행되는 빈도가 높다는 문제점이 있다.

본 발명의 일 목적은 전자 기기의 잠금 해제를 수행함에 있어서, 저전력을 소모하면서도 고속으로 잠금 해제를 수행할 수 있고, 잠금 해제가 잘못 수행되는 것을 방지할 수 있는 모션 인식 잠금 해제 방법을 제공하는 것이다.

본 발명의 다른 목적은 상기 모션 인식 잠금 해제 방법을 채용한 모션 인식 잠금 해제 시스템을 제공하는 것이다.

본 발명의 또 다른 목적은 상기 모션 인식 잠금 해제 시스템을 포함하는 전자 기기를 제공하는 것이다.

다만, 본 발명의 목적은 상술한 목적들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.

본 발명의 일 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 모션 인식 잠금 해제 방법은 사용자 모션(motion)을 촬상하여 모션 정보를 생성하는 단계, 상기 모션 정보에 기초하여 광학 흐름을 연산하는 단계, 상기 광학 흐름(optical flow)을 기 설정된 기준 방향들을 기초로 분류하고 그룹화하여 코드(code)로 변환시키는 단계, 상기 코드와 기 설정된 패스워드를 비교하여 상기 코드와 상기 패스워드가 일치하는지 여부를 나타내는 비교 결과를 생성하는 단계, 및 상기 비교 결과에 기초하여 전자 기기의 잠금 해제를 수행할지 여부를 결정하는 단계를 포함할 수 있다.

일 실시예에 의하면, 상기 사용자 모션은 타임 스탬프(time stamp) 단위로 동작하는 타임 스탬프 기반 광학 센서 또는 프레임(frame) 단위로 동작하는 프레임 기반 광학 센서에 의해 촬상될 수 있다.

일 실시예에 의하면, 상기 모션 정보는 모션 벡터(motion vector)들이고, 상기 광학 흐름은 상기 모션 벡터들 사이의 벡터 연산에 의해 연산될 수 있다.

일 실시예에 의하면, 상기 타임 스탬프 기반 광학 센서 또는 상기 프레임 기반 광학 센서의 촬상면에 평행한 좌표 평면은 x-y평면이고, 상기 기준 방향들은 상기 x-y평면에서의 x축 방향, 상기 x-y평면에서의 y축 방향, 상기 x-y평면에서의 대각선 방향, 상기 x-y평면에서의 회전 방향, 또는 상기 x-y평면에서의 z축 방향 중에서 적어도 하나 이상을 포함할 수 있다.

일 실시예에 의하면, 상기 패스워드는 상기 기준 방향들이 시간의 흐름에 따라 랜덤(random)하게 나열된 정보에 상응할 수 있다.

일 실시예에 의하면, 상기 코드로 변환시키는 단계는, 상기 광학 흐름을 기 설정된 시간 단위마다 상기 기준 방향들을 기초로 분류함으로써 서브 코드들을 생성하는 단계, 및 상기 서브 코드들을 순차적으로 나열함으로써 그룹화하는 단계를 포함할 수 있다.

일 실시예에 의하면, 상기 코드로 변환시키는 단계는, 상기 광학 흐름을 기 설정된 시간 단위마다 상기 기준 방향들을 기초로 분류함으로써 서브 코드들을 생성하는 단계, 및 상기 서브 코드들을 시간 또는 공간 중에서 적어도 하나 이상으로 상관(correlation)시켜 나열함으로써 그룹화하는 단계를 포함할 수 있다.

일 실시예에 의하면, 상기 비교 결과를 생성하는 단계는, 상기 코드의 시퀀스(sequence)와 상기 패스워드의 시퀀스를 비교하여 시퀀스 비교 결과를 생성하는 단계, 상기 코드의 타이밍(timing)과 상기 패스워드의 타이밍을 비교하여 타이밍 비교 결과를 생성하는 단계, 및 상기 시퀀스 비교 결과와 상기 타이밍 비교 결과에 기초하여 상기 코드와 상기 패스워드가 일치함을 나타내는 제 1 비교 결과 또는 상기 코드와 상기 패스워드가 불일치함을 나타내는 제 2 비교 결과를 생성하는 단계를 포함할 수 있다.

일 실시예에 의하면, 상기 제 1 비교 결과 또는 상기 제 2 비교 결과를 생성하는 단계는, 상기 시퀀스 비교 결과가 기 설정된 시퀀스 유사도 기준 값보다 크고 상기 타이밍 비교 결과가 기 설정된 타이밍 유사도 기준 값보다 크면 상기 제 1 비교 결과를 생성하는 단계, 및 상기 시퀀스 비교 결과가 상기 시퀀스 유사도 기준 값보다 작거나 또는 상기 타이밍 비교 결과가 상기 타이밍 유사도 기준 값보다 작으면 상기 제 2 비교 결과를 생성하는 단계를 포함할 수 있다.

일 실시예에 의하면, 상기 비교 결과에 기초하여 상기 잠금 해제를 수행할지 여부를 결정하는 단계는, 상기 비교 결과가 상기 제 1 비교 결과이면 상기 잠금 해제를 수행하는 것으로 결정하는 단계, 및 상기 비교 결과가 상기 제 2 비교 결과이면 상기 잠금 해제를 수행하지 않는 것으로 결정하는 단계를 포함할 수 있다.

본 발명의 다른 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 모션 인식 잠금 해제 시스템은 사용자 모션(motion)을 촬상하여 모션 정보를 생성하는 센서부, 상기 모션 정보에 기초하여 광학 흐름을 연산하는 광학 흐름 연산부, 상기 광학 흐름(optical flow)을 기 설정된 기준 방향들을 기초로 분류하고 그룹화하여 코드(code)로 변환시키는 코드 생성부, 상기 기준 방향들이 시간의 흐름에 따라 랜덤(random)하게 나열된 정보에 상응하는 패스워드를 저장하는 패스워드 저장부, 상기 코드와 상기 패스워드를 비교하여 상기 코드와 상기 패스워드가 일치하는지 여부를 나타내는 비교 결과를 생성하는 비교부, 및 상기 비교 결과에 기초하여 전자 기기의 잠금 해제를 수행할지 여부를 나타내는 잠금 해제 제어 신호를 출력하는 제어 신호 생성부를 포함할 수 있다.

일 실시예에 의하면, 상기 센서부는 타임 스탬프(time stamp) 단위로 동작하는 타임 스탬프 기반 광학 센서 또는 프레임(frame) 단위로 동작하는 프레임 기반 광학 센서를 포함할 수 있다.

일 실시예에 의하면, 상기 광학 흐름 연산부는 상기 모션 정보에 상응하는 모션 벡터들 사이의 벡터 연산을 이용하여 상기 광학 흐름을 연산할 수 있다.

일 실시예에 의하면, 상기 코드 생성부는 상기 광학 흐름을 기 설정된 시간 단위마다 상기 기준 방향들을 기초로 분류함으로써 서브 코드들을 생성할 수 있고, 상기 서브 코드들을 순차적으로 나열함으로써 그룹화할 수 있다.

일 실시예에 의하면, 상기 코드 생성부는 상기 광학 흐름을 기 설정된 시간 단위마다 상기 기준 방향들을 기초로 분류함으로써 서브 코드들을 생성할 수 있고, 상기 서브 코드들을 시간 또는 공간 중에서 적어도 하나 이상으로 상관(correlation)시켜 나열함으로써 그룹화할 수 있다.

일 실시예에 의하면, 상기 비교부는 상기 코드의 시퀀스(sequence)와 상기 패스워드의 시퀀스를 비교하여 시퀀스 비교 결과를 생성할 수 있고, 상기 코드의 타이밍(timing)과 상기 패스워드의 타이밍을 비교하여 타이밍 비교 결과를 생성할 수 있으며, 상기 시퀀스 비교 결과와 상기 타이밍 비교 결과에 기초하여 상기 코드와 상기 패스워드가 일치함을 나타내는 제 1 비교 결과 또는 상기 코드와 상기 패스워드가 불일치함을 나타내는 제 2 비교 결과를 생성할 수 있다.

일 실시예에 의하면, 상기 비교부는, 상기 시퀀스 비교 결과가 기 설정된 시퀀스 유사도 기준 값보다 크고, 상기 타이밍 비교 결과가 기 설정된 타이밍 유사도 기준 값보다 크면, 상기 제 1 비교 결과를 생성할 수 있고, 상기 시퀀스 비교 결과가 상기 시퀀스 유사도 기준 값보다 작거나, 또는 상기 타이밍 비교 결과가 상기 타이밍 유사도 기준 값보다 작으면, 상기 제 2 비교 결과를 생성할 수 있다.

일 실시예에 의하면, 상기 제어 신호 생성부는, 상기 비교 결과가 상기 제 1 비교 결과이면, 상기 잠금 해제가 수행되도록 제어하는 제 1 잠금 해제 제어 신호를 출력할 수 있고, 상기 비교 결과가 상기 제 2 비교 결과이면, 상기 잠금 해제가 수행되지 않도록 제어하는 제 2 잠금 해제 제어 신호를 출력할 수 있다.

본 발명의 또 다른 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 전자 기기는 복수의 기능 모듈(function module)들, 사용자 모션(motion)을 촬상하고 상기 사용자 모션에 기초하여 잠금 해제를 수행할지 여부를 결정하는 모션 인식 잠금 해제 시스템, 상기 기능 모듈들 및 상기 모션 인식 잠금 해제 시스템을 제어하고 제 1 클럭 신호에 기초하여 동작하는 메인(main) 프로세서 및 상기 제 1 클럭 신호보다 낮은 동작 주파수를 갖는 제 2 클럭 신호에 기초하여 동작하는 서브(sub) 프로세서를 구비하는 어플리케이션 프로세서, 및 상기 기능 모듈들, 상기 모션 인식 잠금 해제 시스템 및 상기 어플리케이션 프로세서에 전력을 공급하는 전력 관리 집적 회로를 포함할 수 있다. 이 때, 상기 모션 인식 잠금 해제 시스템은 상기 사용자 모션을 촬상하여 모션 정보를 생성하는 센서부, 상기 모션 정보에 기초하여 광학 흐름을 연산하는 광학 흐름 연산부, 상기 광학 흐름(optical flow)을 기 설정된 기준 방향들을 기초로 분류하고 그룹화하여 코드(code)로 변환시키는 코드 생성부, 상기 기준 방향들이 시간의 흐름에 따라 랜덤(random)하게 나열된 정보에 상응하는 패스워드를 저장하는 패스워드 저장부, 상기 코드와 상기 패스워드를 비교하여 상기 코드와 상기 패스워드가 일치하는지 여부를 나타내는 비교 결과를 생성하는 비교부, 및 상기 비교 결과에 기초하여 상기 잠금 해제를 수행할지 여부를 나타내는 잠금 해제 제어 신호를 출력하는 제어 신호 생성부를 포함할 수 있다.

일 실시예에 의하면, 상기 전자 기기의 동작 모드가 슬립 모드(sleep mode)일 때, 상기 전력 관리 집적 회로는 상기 모션 인식 잠금 해제 시스템 및 상기 서브 프로세서에 상기 전력을 공급할 수 있다.

일 실시예에 의하면, 상기 동작 모드가 상기 슬립 모드일 때, 상기 모션 인식 잠금 해제 시스템은 상기 서브 프로세서에 의해 제어될 수 있다.

일 실시예에 의하면, 상기 동작 모드가 상기 슬립 모드일 때, 상기 전력 관리 집적 회로는 상기 기능 모듈들 중에서 센싱 기능을 수행하는 센서 모듈에 상기 전력을 공급하고, 상기 센서 모듈은 상기 서브 프로세서에 의해 제어될 수 있다.

일 실시예에 의하면, 상기 전자 기기의 동작 모드가 액티브 모드(active mode)일 때, 상기 전력 관리 집적 회로는 상기 기능 모듈들, 상기 모션 인식 잠금 해제 시스템 및 상기 어플리케이션 프로세서에 상기 전력을 공급할 수 있다.

일 실시예에 의하면, 상기 동작 모드가 상기 액티브 모드일 때, 상기 모션 인식 잠금 해제 시스템은 상기 메인 프로세서에 의해 제어될 수 있다.

일 실시예에 의하면, 상기 동작 모드가 상기 액티브 모드일 때, 상기 모션 인식 잠금 해제 시스템은 상기 서브 프로세서에 의해 제어될 수 있다.

본 발명의 실시예들에 따른 모션 인식 잠금 해제 방법은 전자 기기의 잠금 해제를 수행함에 있어서, 사용자 모션에 의해 생성된 모션 정보에 기초하여 광학 흐름을 연산하고, 상기 광학 흐름을 기 설정된 기준 방향들을 기초로 분류하고 그룹화하여 코드로 변환하며, 상기 코드를 패스워드와 비교하여 잠금 해제를 수행하기 때문에, 저전력을 소모하면서도 고속으로 잠금 해제를 수행할 수 있고, 잠금 해제가 잘못 수행되는 것을 방지할 수 있다.

본 발명의 실시예들에 따른 모션 인식 잠금 해제 시스템은 상기 모션 인식 잠금 해제 방법을 채용함으로써, 전자 기기의 잠금 해제를 수행함에 있어서 저전력을 소모하면서도 고속으로 잠금 해제를 수행할 수 있고, 잠금 해제가 잘못 수행되는 것을 방지할 수 있다.

본 발명의 실시예들에 따른 전자 기기는 상기 모션 인식 잠금 해제 시스템을 포함함으로써, 사용자에게 고성능의 잠금 해제 인터페이스를 제공할 수 있다. 또한, 상기 전자 기기는 전자 기기의 잠금 해제가 잘못 수행되는 것을 방지하기 때문에, 전자 기기의 신뢰성과 보안성을 크게 향상시킬 수 있다.

다만, 본 발명의 효과는 상술한 효과들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.

도 1은 본 발명의 실시예들에 따른 모션 인식 잠금 해제 방법을 나타내는 순서도이다.
도 2는 도 1의 모션 인식 잠금 해제 방법에 의해 사용자 모션이 검출되는 예들을 나타내는 도면이다.
도 3은 도 1의 모션 인식 잠금 해제 방법에 의해 광학 흐름이 기 설정된 기준 방향들에 기초하여 분류되는 일 예를 나타내는 도면이다.
도 4는 도 1의 모션 인식 잠금 해제 방법에 의해 광학 흐름이 코드로 변환되는 일 예를 나타내는 도면이다.
도 5는 도 1의 모션 인식 잠금 해제 방법에 의해 광학 흐름이 코드로 변환되는 다른 예를 나타내는 도면이다.
도 6은 도 1의 모션 인식 잠금 해제 방법에 의해 코드와 패스워드가 비교되는 일 예를 나타내는 순서도이다.
도 7은 도 1의 모션 인식 잠금 해제 방법에 의해 코드와 패스워드가 비교되는 일 예를 설명하기 위한 도면이다.
도 8은 도 1의 모션 인식 잠금 해제 방법에 의해 코드와 패스워드가 비교된 결과의 일 예를 나타내는 도면이다.
도 9는 본 발명의 실시예들에 따른 모션 인식 잠금 해제 시스템을 나타내는 블록도이다.
도 10는 도 9의 모션 인식 잠금 해제 시스템에 구비된 비교부의 일 예를 나타내는 블록도이다.
도 11은 도 9의 모션 인식 잠금 해제 시스템에 구비된 센서부의 일 예를 나타내는 도면이다.
도 12a 및 도 12b는 도 11의 센서부에서 모션 정보가 생성되는 예들을 나타내는 도면들이다.
도 13은 본 발명의 실시예들에 따른 전자 기기를 나타내는 블록도이다.
도 14는 도 13의 전자 기기가 스마트폰으로 구현된 일 예를 나타내는 도면이다.
도 15는 도 13의 전자 기기의 동작 모드에 따라 모션 인식 잠금 해제 시스템이 제어되는 일 예를 나타내는 순서도이다.
도 16은 도 13의 전자 기기의 동작 모드에 따라 모션 인식 잠금 해제 시스템이 제어되는 일 예를 나타내는 도면이다.
도 17은 도 13의 전자 기기의 슬립 모드에서 모션 인식 잠금 해제 시스템이 제어되는 일 예를 나타내는 블록도이다.
도 18은 도 13의 전자 기기의 액티브 모드에서 모션 인식 잠금 해제 시스템이 제어되는 일 예를 나타내는 블록도이다.
도 19는 도 13의 전자 기기의 액티브 모드에서 모션 인식 잠금 해제 시스템이 제어되는 다른 예를 나타내는 블록도이다.
도 20은 본 발명의 실시예들에 따른 컴퓨팅 시스템을 나타내는 블록도이다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 실시예들에 따른 모션 인식 잠금 해제 방법을 나타내는 순서도이고, 도 2는 도 1의 모션 인식 잠금 해제 방법에 의해 사용자 모션이 검출되는 예들을 나타내는 도면이며, 도 3은 도 1의 모션 인식 잠금 해제 방법에 의해 광학 흐름이 기 설정된 기준 방향들에 기초하여 분류되는 일 예를 나타내는 도면이다.

도 1 내지 도 3을 참조하면, 도 1의 모션 인식 잠금 해제 방법은 사용자 모션을 촬상하여 모션 정보를 생성(S110)하고, 모션 정보에 기초하여 광학 흐름을 연산(S120)하며, 광학 흐름을 기 설정된 기준 방향들을 기초로 분류하고 그룹화하여 코드로 변환(S130)시킬 수 있다. 이후, 도 1의 모션 인식 잠금 해제 방법은 코드와 기 설정된 패스워드를 비교하여 코드와 기 설정된 패스워드가 일치하는지 여부를 확인(S140)할 수 있다. 이 때, 도 1의 모션 인식 잠금 해제 방법은 코드와 기 설정된 패스워드가 일치하면 전자 기기의 잠금 해제를 수행(S150)하고, 코드와 기 설정된 패스워드가 일치하지 않으면 전자 기기의 잠금 상태를 유지(S160)할 수 있다. 즉, 도 1의 모션 인식 잠금 해제 방법은 코드와 기 설정된 패스워드를 비교하여 코드와 기 설정된 패스워드가 일치하는지 여부를 나타내는 비교 결과를 생성할 수 있고, 그 비교 결과에 기초하여 전자 기기의 잠금 해제를 수행할지 여부를 결정할 수 있다.

구체적으로, 도 1의 모션 인식 잠금 해제 방법은 사용자 모션을 촬상하여 모션 정보를 생성(S110)할 수 있다. 이 때, 모션정보는 모션벡터들에 상응 할 수 있다. 일 실시예에서, 사용자 모션은 타임 스탬프 단위로 동작하는 타임 스탬프 기반 광학 센서에 의해 촬상될 수 있다. 이 경우, 타임 스탬프 기반 광학 센서(예를 들어, 이벤트 기반 센서(event based sensor), 다이내믹 비전 센서(dynamic vision sensor) 등으로 명명됨)는 피사체 중에서 움직임이 발생한 부분을 센싱하여 이벤트를 출력할 수 있다. 예를 들어, 타임 스탬프 기반 광학 센서에 구비된 센싱 유닛들은 수광 소자들에 상응할 수 있고, 이러한 센싱 유닛들이 광 강도(light intensity) 변화를 센싱하여 이벤트를 출력할 수 있다. 이 때, 이벤트는 광 강도 변화가 발생한 시간 정보, 광 강도 변화가 발생한 위치 정보 등을 포함할 수 있다. 따라서, 타임 스탬프 기반 광학 센서는 센싱 유닛들이 타임 스탬프 단위로 출력하는 이벤트에 기초하여 모션 정보 즉, 모션 벡터들을 생성할 수 있다. 다른 실시예에서, 사용자 모션은 프레임 단위로 동작하는 프레임 기반 광학 센서에 의해 촬상될 수 있다. 이 경우, 프레임 기반 광학 센서는 일반적인 카메라 모듈에 구비되는 컬러 이미지 센서, 흑백 이미지 센서 등일 수 있고, 수광 소자들에 상응하는 센싱 유닛들을 구비할 수 있다. 따라서, 프레임 광학 기반 센서는 프레임 단위로 출력되는 이미지 프레임에 기초하여 모션 정보 즉, 모션 벡터들을 생성할 수 있다. 몇몇 실시예들에서, 광학 센서(즉, 타임 스탬프 기반 광학 센서 또는 프레임 기반 광학 센서)는 근접 센서(proximity sensor)와 연동될 수 있다. 이 경우, 광학 센서는 기 설정된 거리 내에서 피사체의 움직임이 발생하는 경우에만 사용자 모션을 촬상할 수 있다. 즉, 피사체의 움직임이 배경의 움직임이 구별되는 것이다. 또한, 몇몇 실시예들에서, 광학 센서는 기 설정된 개수 이상의 이벤트(즉, 피사체의 움직임)가 발생하는 경우에만 동작할 수 있다. 이 경우, 광학 센서는 모션 인식 잠금 해제를 수행하기 위한 것이라고 통계적으로 판단된 피사체의 움직임에 대해서만 사용자 모션을 촬상할 수 있다.

이후, 도 1의 모션 인식 잠금 해제 방법은 모션 정보에 기초하여 광학 흐름을 연산(S120)할 수 있다. 일 실시예에서, 광학 흐름은 모션 정보 즉, 모션 벡터들 사이의 벡터 연산에 의해 연산될 수 있다. 한편, 도 2에 도시된 바와 같이, 타임 스탬프 기반 광학 센서 또는 프레임 기반 광학 센서에 대하여 사용자 모션은 좌표 공간(즉, x-y-z 공간)에서 수행될 수 있다. 이 때, 타임 스탬프 기반 광학 센서 또는 프레임 기반 광학 센서의 촬상면에 평행한 좌표 평면을 x-y평면으로 가정한다. 따라서, 도 2에 도시된 바와 같이, x-y평면에서 사용자의 손이 상하 방향, 좌우 방향, 또는 대각선 방향으로 움직이는 것은 평면 방향(PLANE-DIRECTION)의 사용자 모션으로 명명될 수 있고, 타임 스탬프 기반 광학 센서 또는 프레임 기반 광학 센서의 촬상면에 수직한 방향으로 사용자의 손이 움직이는 것은 z축 방향(Z-DIRECTION)의 사용자 모션으로 명명될 수 있으며, x-y평면에서 사용자의 손이 회전하는 것은 회전 방향(R-DIRECTION)의 사용자 모션으로 명명될 수 있다. 따라서, 광학 흐름은 좌표 공간(즉, x-y-z 공간)에서 모션 정보 즉, 모션 벡터들 사이의 벡터 연산에 의해 연산될 수 있다. 예를 들어, 평면 방향(PLANE-DIRECTION)의 사용자 모션은 모션 벡터들의 평균값(average) 연산으로 얻어질 수 있고, z축 방향(Z-DIRECTION)의 사용자 모션은 모션 벡터들의 내적(inner product) 연산으로 얻어질 수 있으며, 회전 방향(R-DIRECTION)의 사용자 모션은 모션 벡터들의 외적(cross product) 연산으로 얻어질 수 있다. 다만, 이것은 예시적인 것에 불과한 것으로서, 광학 흐름의 연산은 이에 한정되지 않는다.

다음, 도 1의 모션 인식 잠금 해제 방법은 광학 흐름을 기 설정된 기준 방향들을 기초로 분류하고 그룹화하여 코드로 변환(S130)시킬 수 있다. 구체적으로, 도 1의 모션 인식 잠금 해제 방법은 광학 흐름을 기 설정된 기준 방향들을 기초로 분류할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 타임 스탬프 기반 광학 센서 또는 프레임 기반 광학 센서의 촬상면에 평행한 좌표 평면(즉, (1), (2), (3), (4), (5), (6), (7), (8), (11), (12))을 x-y평면으로 가정하고, 타임 스탬프 기반 광학 센서 또는 프레임 기반 광학 센서의 촬상면에 수직한 축(즉, (9), (10))을 z축으로 가정하면, 기 설정된 기준 방향들은 x-y평면에서의 x축 방향(즉, (1), (5)), x-y평면에서의 y축 방향(즉, (3), (7)), x-y평면에서의 대각선 방향(즉, (2), (4), (6), (8)), x-y평면에서의 회전 방향(즉, (11), (12)), 또는 x-y평면에서의 z축 방향(즉, (9), (10)) 중에서 적어도 하나 이상을 포함할 수 있다. 다만, 도 3에서는 기 설정된 기준 방향들이 4개의 자유도(degree of freedom; DOF)를 가진 12개의 방향들로 도시되어 있지만, 기 설정된 기준 방향들은 그에 한정되는 것이 아니다. 예를 들어, 기 설정된 기준 방향들은 4보다 적은 수의 자유도(DOF)를 가진 복수의 방향들일 수도 있다.

이와 같이, 광학 흐름이 기 설정된 기준 방향들을 기초로 분류되면, 도 1의 모션 인식 잠금 해제 방법은 광학 흐름을 그룹화할 수 있다. 일 실시예에서, 도 1의 모션 인식 잠금 해제 방법은 광학 흐름을 기 설정된 시간 단위마다 기 설정된 기준 방향들을 기초로 분류함으로써 서브 코드들을 생성하고, 이러한 서브 코드들을 순차적으로 나열함으로써 그룹화할 수 있다. 이 경우, 상기 코드는 기 설정된 시간 단위마다 저장된 광학 흐름의 방향 정보를 포함할 수 있다. 다른 실시예에서, 도 1의 모션 인식 잠금 해제 방법은 광학 흐름을 기 설정된 시간 단위마다 기 설정된 기준 방향들을 기초로 분류함으로써 서브 코드들을 생성하고, 이러한 서브 코드들을 시간 또는 공간 중에서 적어도 하나 이상으로 상관시켜 나열함으로써 그룹화할 수 있다. 이 경우, 상기 코드는 시간적 또는 공간적으로 상관도를 가진 광학 흐름의 방향 정보를 포함할 수 있다. 예를 들어, 사용자가 x-y평면의 x축 상에서 좌측 방향으로 손을 한번 이동시켰을 때, 기 설정된 시간 단위마다 생성된 서브 코드들이 순차적으로 나열되는 경우, "좌, 좌, 좌, 좌, 좌"라는 방향 정보를 포함할 수 있다. 그러나, 사용자가 x-y평면의 x축 상에서 좌측 방향으로 손을 한번 이동시켰다는 것은, "좌, 좌, 좌, 좌, 좌"라는 방향 정보가 시간적 또는 공간적으로 상관도를 가졌다는 것을 의미하므로, "좌, 좌, 좌, 좌, 좌"라는 방향 정보를 "좌"라는 방향 정보로 변환하는 방식으로 코드를 생성할 수 있다.

이후, 도 1의 모션 인식 잠금 해제 방법은 코드와 기 설정된 패스워드를 비교하여 코드와 기 설정된 패스워드가 일치하는지 여부를 확인(S140)할 수 있다. 이 때, 기 설정된 패스워드는 기 설정된 기준 방향들이 시간의 흐름에 따라 랜덤하게 나열된 정보에 상응할 수 있다. 그러므로, 광학 흐름이 기 설정된 기준 방향들을 기초로 분류되고 그룹화됨으로써 코드가 생성되면, 상기 코드는 기 설정된 패스워드와 비교될 수 있다. 구체적으로, 도 1의 모션 인식 잠금 해제 방법은 코드의 시퀀스와 기 설정된 패스워드의 시퀀스를 비교하여 시퀀스 비교 결과를 생성하고, 코드의 타이밍과 기 설정된 패스워드의 타이밍을 비교하여 타이밍 비교 결과를 생성하며, 시퀀스 비교 결과와 타이밍 비교 결과에 기초하여 코드와 기 설정된 패스워드가 일치함을 나타내는 제 1 비교 결과 또는 코드와 기 설정된 패스워드가 불일치함을 나타내는 제 2 비교 결과를 생성할 수 있다. 이 때, 시퀀스 비교 결과가 기 설정된 시퀀스 유사도 기준 값보다 크고, 타이밍 비교 결과가 기 설정된 타이밍 유사도 기준 값보다 크면, 도 1의 모션 인식 잠금 해제 방법은 코드와 기 설정된 패스워드가 일치함을 나타내는 제 1 비교 결과를 생성할 수 있다. 반면에, 시퀀스 비교 결과가 기 설정된 시퀀스 유사도 기준 값보다 작거나, 또는 타이밍 비교 결과가 기 설정된 타이밍 유사도 기준 값보다 작으면, 도 1의 모션 인식 잠금 해제 방법은 코드와 기 설정된 패스워드가 불일치함을 나타내는 제 2 비교 결과를 생성할 수 있다.

한편, 도 1의 모션 인식 잠금 해제 방법은 코드와 기 설정된 패스워드가 일치하면, 전자 기기의 잠금 해제를 수행(S150)할 수 있다. 반면에, 도 1의 모션 인식 잠금 해제 방법은 코드와 기 설정된 패스워드가 일치하지 않으면, 전자 기기의 잠금 상태를 유지(S160)할 수 있다. 구체적으로, 도 1의 모션 인식 잠금 해제 방법은 코드와 기 설정된 패스워드를 비교한 결과, 코드와 기 설정된 패스워드가 일치함을 나타내는 제 1 비교 결과가 생성되는 경우, 전자 기기의 잠금 해제를 수행하는 것으로 결정할 수 있다. 반면에, 도 1의 모션 인식 잠금 해제 방법은 코드와 기 설정된 패스워드를 비교한 결과, 코드와 기 설정된 패스워드가 불일치함을 나타내는 제 2 비교 결과가 생성되는 경우, 전자 기기의 잠금 상태를 유지하는 것으로 결정할 수 있다. 즉, 도 1의 모션 인식 잠금 해제 방법은 전자 기기의 잠금 해제를 수행하지 않는 것으로 결정할 수 있다. 상술한 바와 같이, 전자 기기의 잠금 해제를 수행함에 있어서, 사용자 모션에 의해 생성된 모션 정보에 기초하여 광학 흐름을 연산하고, 상기 광학 흐름을 기 설정된 기준 방향들을 기초로 분류하고 그룹화하여 코드로 변환하며, 상기 코드를 패스워드와 비교하여 잠금 해제를 수행하기 때문에, 저전력을 소모하면서도 고속으로 잠금 해제를 수행할 수 있고, 잠금 해제가 잘못 수행되는 것을 방지할 수 있다. 즉, 도 1의 모션 인식 잠금 해제 방법은 모션 인식을 통한 전자 기기의 잠금 해제를 단순화된 방식으로 수행할 수 있다.

한편, 상기에서는 코드의 시퀀스와 기 설정된 패스워드의 시퀀스를 비교하고, 코드의 타이밍과 기 설정된 패스워드의 타이밍을 비교하는 방식으로 코드와 기 설정된 패스워드를 비교하는 것으로 설명하였으나, 코드와 기 설정된 패스워드를 비교하는 방식은 그에 한정되지 않는다. 예를 들어, 코드와 기 설정된 패스워드의 비교는 다이내믹 프로그래밍 매칭(Dynamic Programming matching; DP matching)으로 수행될 수도 있고, 히든 마르코프 모델(Hidden Markov Model; HMM)을 이용하여 수행될 수도 있으며, 코드의 시퀀스와 기 설정된 패스워드의 시퀀스 사이의 상호 상관(cross-correlation) 값을 이용하여 수행될 수도 있다.

도 4는 도 1의 모션 인식 잠금 해제 방법에 의해 광학 흐름이 코드로 변환되는 일 예를 나타내는 도면이고, 도 5는 도 1의 모션 인식 잠금 해제 방법에 의해 광학 흐름이 코드로 변환되는 다른 예를 나타내는 도면이다.

도 4 및 도 5를 참조하면, 도 1의 모션 인식 잠금 해제 방법에 의해 광학 흐름이 변환된 제 1 코드(CODE-1)와 제 2 코드(CODE-2)가 도시되어 있다. 제 1 코드(CODE-1)와 제 2 코드(CODE-2)는 광학 흐름이 서로 다른 방식으로 변환되어 그룹화될 수 있음을 보여주고 있다. 구체적으로, 제 1 코드(CODE-1)는 광학 흐름을 기 설정된 시간 단위마다 기 설정된 기준 방향들을 기초로 분류함으로써 서브 코드들을 생성하고, 이러한 서브 코드들을 순차적으로 나열함으로써 그룹화하는 방식으로 생성된 것이다. 즉, 도 4에 도시된 바와 같이, 제 1 코드(CODE-1)는 기 설정된 시간 단위마다 저장된 광학 흐름의 방향 정보(예를 들어, (2), (2), (2), (2), (2), (7), (7), (7), (12), (12), (12), (12), (12), (12), (1), (1), (1), (8), (8), (8) 순)를 포함할 수 있다. 따라서, 광학 흐름이 코드로 변환됨에 있어 제 1 코드(CODE-1)처럼 변환되는 경우에는, 전자 기기의 잠금 해제를 위해 기 설정된 패스워드도 기 설정된 시간 단위마다 기 설정된 기준 방향들이 랜덤하게 나열된 정보를 포함할 수 있다. 반면에, 제 2 코드(CODE-2)는 광학 흐름을 기 설정된 시간 단위마다 기 설정된 기준 방향들을 기초로 분류함으로써 서브 코드들을 생성하고, 이러한 서브 코드들을 시간 또는 공간 중에서 적어도 하나 이상으로 상관시켜 나열함으로써 그룹화하는 방식으로 생성될 수 있다. 이 경우, 제 2 코드(CODE-2)는 시간적 또는 공간적으로 상관도를 가진 광학 흐름의 방향 정보(예를 들어, (2), (7), (12), (1), (8) 순)를 포함할 수 있다. 따라서, 광학 흐름이 코드로 변환됨에 있어 제 2 코드(CODE-2)처럼 변환되는 경우에는, 전자 기기의 잠금 해제를 위해 기 설정된 패스워드도 기 설정된 기준 방향들이 시간적 또는 공간적으로 상관도를 갖도록 랜덤하게 나열된 정보를 포함할 수 있다.

도 6은 도 1의 모션 인식 잠금 해제 방법에 의해 코드와 패스워드가 비교되는 일 예를 나타내는 순서도이고, 도 7은 도 1의 모션 인식 잠금 해제 방법에 의해 코드와 패스워드가 비교되는 일 예를 설명하기 위한 도면이며, 도 8은 도 1의 모션 인식 잠금 해제 방법에 의해 코드와 패스워드가 비교된 결과의 일 예를 나타내는 도면이다.

도 6 내지 도 8을 참조하면, 도 1의 모션 인식 잠금 해제 방법은 사용자 모션에 대응되는 코드(CODE)를 생성(S210)하고, 기 설정된 패스워드(PASSWORD)를 독출(S220)할 수 있다. 이후, 도 1의 모션 인식 잠금 해제 방법은 코드(CODE)의 시퀀스와 기 설정된 패스워드(PASSWORD)의 시퀀스를 비교(S230)하고, 코드(CODE)의 타이밍과 기 설정된 패스워드(PASSWORD)의 타이밍을 비교(S240)하며, 시퀀스 비교 결과(SEQUENCE COMPARISON RESULT)와 타이밍 비교 결과(TIMING COMPARISON RESULT)에 기초하여 코드(CODE)와 기 설정된 패스워드(PASSWORD)의 일치 여부를 결정(S250)할 수 있다. 이 때, 도 8에 도시된 바와 같이, 시퀀스 비교 결과(RES1)가 기 설정된 시퀀스 유사도 기준 값(SPV)보다 크고, 타이밍 비교 결과(RES2)가 기 설정된 타이밍 유사도 기준 값(TPV)보다 크면, 도 1의 모션 인식 잠금 해제 방법은 코드(CODE)와 기 설정된 패스워드(PASSWORD)가 일치한다고 결정(즉, 제 1 영역(CR)으로 표시)할 수 있다. 반면에, 시퀀스 비교 결과(RES1)가 기 설정된 시퀀스 유사도 기준 값(SPV)보다 작거나, 또는 타이밍 비교 결과(RES2)가 기 설정된 타이밍 유사도 기준 값(TPV)보다 작으면, 도 1의 모션 인식 잠금 해제 방법은 코드(CODE)와 기 설정된 패스워드(PASSWORD)가 불일치한다고 결정(즉, 제 2 영역(ICR)으로 표시)할 수 있다. 한편, 도 8에서 시퀀스 비교 결과(RES1)와 비교되는 기 설정된 시퀀스 유사도 기준 값(SPV)이 타이밍 비교 결과(RES2)가 비교되는 기 설정된 타이밍 유사도 기준 값(TPV)보다 큰 값으로 도시된 것은, 코드(CODE)와 기 설정된 패스워드(PASSWORD)의 일치 여부를 판단함에 있어서, 시퀀스 유사도가 타이밍 유사도보다 중요하다는 것을 의미할 수 있다. 다만, 이것은 예시적인 것에 불과한 것으로서, 요구되는 조건(예를 들어, 타이밍 유사도가 시퀀스 유사도보다 중요한 경우)에 따라, 기 설정된 타이밍 유사도 기준 값(TPV)이 기 설정된 시퀀스 유사도 기준 값(SPV)보다 큰 값으로 설정될 수도 있다. 한편, 상술한 바와 같이, 코드(CODE)와 기 설정된 패스워드(PASSWORD)의 비교가 상기 방식으로만 한정되는 것은 아니다. 예를 들어, 코드(CODE)와 기 설정된 패스워드(PASSWORD)의 비교는 다이내믹 프로그래밍 매칭으로 수행될 수도 있고, 히든 마르코프 모델을 이용하여 수행될 수도 있으며, 코드(CODE)의 시퀀스와 기 설정된 패스워드(PASSWORD)의 시퀀스 사이의 상호 상관 값을 이용하여 수행될 수도 있다.

도 9는 본 발명의 실시예들에 따른 모션 인식 잠금 해제 시스템을 나타내는 블록도이고, 도 10는 도 9의 모션 인식 잠금 해제 시스템에 구비된 비교부의 일 예를 나타내는 블록도이다.

도 9 및 도 10을 참조하면, 모션 인식 잠금 해제 시스템(100)은 센서부(110), 광학 흐름 연산부(120), 코드 생성부(130), 패스워드 저장부(140), 비교부(150) 및 제어 신호 생성부(160)를 포함할 수 있다.

센서부(110)는 사용자 모션(LIG)을 촬상하여 모션 정보(SOI)를 생성할 수 있다. 이 때, 모션 정보(SOI)는 모션 벡터들에 상응할 수 있다. 실시예에 따라, 센서부(110)는 타임 스탬프 단위로 동작하는 타임 스탬프 기반 광학 센서 또는 프레임 단위로 동작하는 프레임 기반 광학 센서를 포함할 수 있다. 한편, 센서부(110)에 구비된 타임 스탬프 기반 광학 센서 또는 프레임 기반 광학 센서는 광 강도 변화를 센싱하는 수광 소자들에 상응하는 센싱 유닛들을 포함할 수 있다. 일 실시예에서, 센서부(110)는 타임 스탬프 기반 광학 센서를 이용하여 사용자 모션(LIG)을 촬상할 수 있다. 이 경우, 타임 스탬프 기반 광학 센서는 피사체 중에서 움직임이 발생한 부분을 센싱하여 이벤트를 출력할 수 있다. 이 때, 이벤트는 광 강도 변화가 발생한 시간 정보, 광 강도 변화가 발생한 위치 정보 등을 포함할 수 있다. 따라서, 센서부(110)는 센싱 유닛들이 타임 스탬프 단위로 출력하는 이벤트에 기초하여 모션 정보(SOI) 즉, 모션 벡터들을 생성할 수 있다. 다른 실시예에서, 센서부(110)는 프레임 기반 광학 센서를 이용하여 사용자 모션(LIG)을 촬상할 수 있다. 예를 들어, 센서부(100)에 포함되는 프레임 기반 광학 센서는 일반적인 카메라 모듈에 구비되는 컬러 이미지 센서, 흑백 이미지 센서 등일 수 있다. 이 경우, 프레임 광학 기반 센서는 프레임 단위로 출력되는 이미지 프레임에 기초하여 모션 정보(SOI) 즉, 모션 벡터들을 생성할 수 있다. 몇몇 실시예들에서, 센서부(110)는 근접 센서를 포함할 수 있다. 이 경우, 센서부(110)는 기 설정된 거리 내에서 피사체의 움직임이 발생하는 경우에만 사용자 모션(LIG)을 촬상할 수 있다. 또한, 몇몇 실시예들에서, 센서부(110)는 기 설정된 개수 이상의 이벤트(즉, 피사체의 움직임)가 발생하는 경우에만 동작할 수 있다. 이 경우, 센서부(110)는 모션 인식 잠금 해제를 수행하기 위한 것이라고 통계적으로 판단된 피사체의 움직임에 대해서만 사용자 모션(LIG)을 촬상할 수 있다. 광학 흐름 연산부(120)는 센서부(110)로부터 모션 정보(SOI)를 입력받고, 모션 정보(SOI)에 기초하여 광학 흐름(OPI)을 연산할 수 있다. 일 실시예에서, 광학 흐름(OPI)은 모션 정보(SOI) 즉, 모션 벡터들 사이의 벡터 연산에 의해 연산될 수 있다. 다시 말하면, 광학 흐름 연산부(120)는 좌표 공간(즉, x-y-z 공간)에서 모션 정보(SOI) 즉, 모션 벡터들 사이의 벡터 연산을 수행함으로써 광학 흐름(OPI)을 연산할 수 있다.

코드 생성부(130)는 광학 흐름 연산부(120)로부터 광학 흐름(OPI)를 입력받고, 광학 흐름(OPI)을 기 설정된 기준 방향들을 기초로 분류하고 그룹화하여 코드(CD)로 변환시킬 수 있다. 우선, 코드 생성부(130)는 광학 흐름(OPI)을 기 설정된 기준 방향들에 기초하여 분류할 수 있다. 예를 들어, 센서부(110)에 구비된 타임 스탬프 기반 광학 센서 또는 프레임 기반 광학 센서의 촬상면에 평행한 좌표 평면을 x-y평면으로 가정하고, 타임 스탬프 기반 광학 센서 또는 프레임 기반 광학 센서의 촬상면에 수직한 축을 z축으로 가정하면, 기 설정된 기준 방향들은 x-y평면에서의 x축 방향, x-y평면에서의 y축 방향, x-y평면에서의 대각선 방향, x-y평면에서의 회전 방향, 또는 x-y평면에서의 z축 방향 중에서 적어도 하나 이상을 포함할 수 있다. 다만, 기 설정된 기준 방향들이 그에 한정되는 것은 아니다. 이후, 코드 생성부(130)는 기 설정된 기준 방향들을 기초로 분류된 광학 흐름(OPI)을 그룹화할 수 있다. 일 실시예에서, 코드 생성부(130)는 광학 흐름(OPI)을 기 설정된 시간 단위마다 기 설정된 기준 방향들을 기초로 분류함으로써 서브 코드들을 생성하고, 이러한 서브 코드들을 순차적으로 나열함으로써 그룹화할 수 있다. 이 경우, 코드(CD)는 기 설정된 시간 단위마다 저장된 광학 흐름(OPI)의 방향 정보를 포함할 수 있다. 다른 실시예에서, 코드 생성부(130)는 광학 흐름(OPI)을 기 설정된 시간 단위마다 기 설정된 기준 방향들을 기초로 분류함으로써 서브 코드들을 생성하고, 이러한 서브 코드들을 시간 또는 공간 중에서 적어도 하나 이상으로 상관시켜 나열함으로써 그룹화할 수 있다. 이 경우, 코드(CD)는 시간적 또는 공간적으로 상관도를 가진 광학 흐름(OPI)의 방향 정보를 포함할 수 있다.

패스워드 저장부(140)는 기 설정된 기준 방향들이 시간의 흐름에 따라 랜덤하게 나열된 정보에 상응하는 패스워드(PW)를 저장할 수 있다. 따라서, 코드 생성부(130)가 광학 흐름(OPI)을 기 설정된 기준 방향들을 기초로 분류하고 그룹화하여 코드(CD)로 변환하면, 코드(CD)는 패스워드 저장부(140)에 저장된 패스워드(PW)와 비교될 수 있다. 비교부(150)는 코드 생성부(130)로부터 코드(CD)를 입력받고, 패스워드 저장부(140)로부터 패스워드(PW)를 독출한 후, 코드(CD)와 패스워드(PW)를 비교하여 코드(CD)와 패스워드(PW)가 일치하는지 여부를 나타내는 비교 결과(CRI)를 생성할 수 있다. 이를 위하여, 도 10에 도시된 바와 같이, 비교부(150)는 코드(CD)의 시퀀스(CDS)와 패스워드(PW)의 시퀀스(PWS)를 비교하여 시퀀스 비교 결과(RES1)를 생성하는 시퀀스 검출기(162), 코드(CD)의 타이밍(CDT)과 패스워드(PW)의 타이밍(PWT)을 비교하여 타이밍 비교 결과(RES2)를 생성하는 타이밍 검출기(164) 및 시퀀스 비교 결과(RES1)와 타이밍 비교 결과(RES2)를 기초로 코드(CD)와 패스워드(PW)가 일치하는지 여부를 나타내는 비교 결과(CRI)를 생성하는 결과 생성기(166)를 포함할 수 있다. 이 때, 비교부(150)는 시퀀스 비교 결과(RES1)가 기 설정된 시퀀스 유사도 기준 값보다 크고, 타이밍 비교 결과(RES2)가 기 설정된 타이밍 유사도 기준 값보다 크면, 코드(CD)와 패스워드(PW)가 일치함을 나타내는 제 1 비교 결과를 생성할 수 있다. 반면에, 비교부(150)는 시퀀스 비교 결과(RES1)가 기 설정된 시퀀스 유사도 기준 값보다 작거나, 또는 타이밍 비교 결과(RES2)가 기 설정된 타이밍 유사도 기준 값보다 작으면, 코드(CD)와 패스워드(PW)가 불일치함을 나타내는 제 2 비교 결과를 생성할 수 있다. 다만, 비교부(150)가 상기 방식으로만 코드(CODE)와 기 설정된 패스워드(PASSWORD)의 비교를 수행하는 것은 아니다. 예를 들어, 비교부(150)는 코드(CODE)와 기 설정된 패스워드(PASSWORD)의 비교를 다이내믹 프로그래밍 매칭으로 수행할 수도 있고, 히든 마르코프 모델을 이용하여 수행할 수도 있으며, 코드(CODE)의 시퀀스와 기 설정된 패스워드(PASSWORD)의 시퀀스 사이의 상호 상관 값을 이용하여 수행할 수도 있다.

제어 신호 생성부(160)는 비교부(150)로부터 코드(CD)와 패스워드(PW)가 일치하는지 여부를 나타내는 비교 결과(CRI)를 입력받고, 그에 기초하여 전자 기기의 잠금 해제를 수행할지 여부를 나타내는 잠금 해제 제어 신호(CTL)를 출력할 수 있다. 구체적으로, 제어 신호 생성부(160)는 비교부(150)에서 출력된 비교 결과(CRI)가 코드(CD)와 패스워드(PW)가 일치함을 나타내는 제 1 비교 결과인 경우, 전자 기기의 잠금 해제가 수행되도록 제어하는 제 1 잠금 해제 제어 신호를 출력할 수 있다. 반면에, 제어 신호 생성부(160)는 비교부(150)에서 출력된 비교 결과(CRI)가 코드(CD)와 패스워드(PW)가 불일치함을 나타내는 제 2 비교 결과인 경우, 전자 기기의 잠금 해제가 수행되지 않도록 제어(즉, 잠금 상태가 유지되도록 제어)하는 제 2 잠금 해제 제어 신호를 출력할 수 있다. 그 결과, 제어 신호 생성부(160)에서 출력되는 잠금 해제 제어 신호(CTL)에 따라, 전자 기기의 잠금 해제가 수행되거나 또는 전자 기기의 잠금 상태가 유지될 수 있다. 상술한 바와 같이, 모션 인식 잠금 해제 시스템(100)은 전자 기기의 잠금 해제를 수행함에 있어서, 사용자 모션(LIG)에 의해 생성된 모션 정보(SOI)에 기초하여 광학 흐름(OPI)을 연산하고, 상기 광학 흐름(OPI)을 기 설정된 기준 방향들을 기초로 분류하고 그룹화하여 코드(CD)로 변환하며, 상기 코드(CD)를 패스워드(PW)와 비교하여 잠금 해제를 수행할 수 있다. 이에, 모션 인식 잠금 해제 시스템(100)은 저전력을 소모하면서도 고속으로 잠금 해제를 수행할 수 있고, 잠금 해제가 잘못 수행되는 것을 방지할 수 있다.

도 11은 도 9의 모션 인식 잠금 해제 시스템에 구비된 센서부의 일 예를 나타내는 도면이고, 도 12a 및 도 12b는 도 11의 센서부에서 모션 정보가 생성되는 예들을 나타내는 도면들이다.

도 11 내지 도 12b를 참조하면, 센서부(110)가 모션 벡터들에 상응하는 모션 정보(SOI)를 생성하는 것이 도시되어 있다. 이 때, 도 11에 도시된 바와 같이, 센서부(110)에 구비된 광학 센서(예를 들어, 타임 스탬프 기반 광학 센서 또는 프레임 기반 광학 센서)의 촬상면에 평행한 좌표 평면을 x-y평면으로 가정한다. 상술한 바와 같이, 센서부(110)는 사용자 모션(LIG)를 촬상하기 위해 광 강도 변화를 센싱할 수 있다. 이를 위하여, 센서부(110)는 광 강도 변화를 센싱하는 수광 소자들에 상응하는 센싱 유닛(SU)들을 포함할 수 있다. 이 때, 센싱 유닛(SU)들은 이미지의 픽셀(pixel) 단위로 구비될 수 있는데, 센싱 유닛(SU)들이 각각 센싱하는 광 강도 변화들의 시간적 또는 공간적인 관계 정보까지 도출하기 위해 소정의 센싱 유닛(SU)들이 묶여 센싱 필드(sensing field)(SUR)를 구성할 수 있다. 다만, 도 11에서는 센싱 필드(SUR)가 3*3 매트릭스(matrix) 형태를 가지고 있으나, 센싱 필드(SUR)의 형태는 그에 한정되지는 않는다. 예를 들어, 센싱 필드(SUR)은 q*r 매트릭스 형태(단, q과 r은 1보다 큰 정수)를 가질 수 있다.

일 실시예에서, 센서부(110)는 타임 스탬프 단위로 동작하는 타임 스탬프 기반 광학 센서(예를 들어, 이벤트 기반 센서, 다이내믹 비전 센서 등으로 명명됨)를 포함할 수 있다. 이 경우, 센서부(110)는 피사체 중에서 움직임이 발생한 부분을 센싱하여 이벤트를 출력할 수 있다. 구체적으로, 각 센싱 유닛(SU)은 광 강도 변화를 센싱하여 이벤트를 출력할 수 있다. 예를 들어, 각 센싱 유닛(SU)은 사용자 모션(LIG)에 의해 광 강도 변화가 발생하면, 광 강도 변화를 기 설정된 임계값(threshold value)와 비교하고, 광 강도 변화가 기 설정된 임계값보다 큰 경우 이벤트를 출력할 수 있다. 따라서, 이벤트는 광 강도 변화가 발생한 시간 정보, 광 강도 변화가 발생한 위치 정보 등을 포함할 수 있다. 그 결과, 도 12a에 도시된 바와 같이, 타임 스탬프 기반 광학 센서를 포함하는 센서부(110)는 센싱 유닛(SU)들이 타임 스탬프 단위(T(n), T(n+1), T(n+2) 등)로 출력하는 이벤트에 기초하여 모션 정보(SOI) 즉, 모션 벡터들을 생성할 수 있다. 다른 실시예에서, 센서부(110)는 프레임 단위로 동작하는 프레임 기반 광학 센서를 포함할 수 있다. 이 경우, 프레임 기반 광학 센서는 일반적인 카메라 모듈에 구비되는 컬러 이미지 센서, 흑백 이미지 센서 등일 수 있다. 예를 들어, 각 센싱 유닛(SU)이 광 강도 변화를 센싱하여 이미지 프레임을 생성하면, 이미지 프레임에서 광 강도 변화를 검출할 수 있다. 그 결과, 도 12b에 도시된 바와 같이, 프레임 광학 기반 센서를 포함하는 센서부(110)는 프레임 단위(F(n), F(n+1), F(n+2) 등)로 출력되는 이미지 프레임에 기초하여 모션 정보(SOI) 즉, 모션 벡터들을 생성할 수 있다.

한편, 센서부(110)가 타임 스탬프 기반 광학 센서 또는 프레임 기반 광학 센서를 이용하여 모션 정보(SOI) 즉, 모션 벡터들을 생성함에 있어서, 상관도가 유사한 부분을 중심으로 모션 벡터들을 생성하는 상관 기반 방식(correlation based technique), 특징부가 유사한 부분을 중심으로 모션 벡터들을 생성하는 특징 기반 방식(feature based technique), 변화도가 유사한 부분을 중심으로 모션 벡터들을 생성하는 그래디언트 기반 방식(gradient based technique) 등이 사용될 수 있다. 다만, 이것은 예시적인 것에 불과한 것으로서, 센서부(110)가 모션 정보(SOI)를 생성하는 방식이 이에 한정되는 것은 아니다. 이후, 광학 흐름 연산부(120)는 센서부(110)로부터 수신한 모션 정보(SOI)에 기초하여 광학 흐름(OPI)을 연산할 수 있다. 구체적으로, 광학 흐름 연산부(120)는 좌표 공간(즉, x-y-z 공간)에서 모션 정보(SOI) 즉, 모션 벡터들 사이의 벡터 연산을 수행함으로써 광학 흐름(OPI)을 연산할 수 있다. 예를 들어, x-y평면에서의 직선 방향의 사용자 모션(LIG)은 모션 벡터들의 평균값 연산으로 얻어질 수 있고, z축 방향의 사용자 모션(LIG)은 모션 벡터들의 내적 연산으로 얻어질 수 있으며, x-y평면에서의 회전 방향의 사용자 모션(LIG)은 모션 벡터들의 외적 연산으로 얻어질 수 있다. 다만, 이것도 예시적인 것에 불과한 것으로서, 광학 흐름(OPI)의 연산은 이에 한정되지 않는다.

도 13은 본 발명의 실시예들에 따른 전자 기기를 나타내는 블록도이고, 도 14는 도 13의 전자 기기가 스마트폰으로 구현된 일 예를 나타내는 도면이다.

도 13 및 도 14를 참조하면, 전자 기기(500)는 어플리케이션 프로세서(510), 모션 인식 잠금 해제 시스템(520), 적어도 하나 이상의 센서 모듈(530), 복수의 기능 모듈들(540-1, …, 540-k), 메모리 모듈(550), 입출력 모듈(560) 및 전력 관리 집적 회로(power management integrated circuit; PMIC)(570)를 포함할 수 있다. 한편, 도 14에 도시된 바와 같이, 전자 기기(500)는 스마트폰으로 구현될 수 있다. 다만, 전자 기기(500)는 컴퓨터, 노트북, 디지털 카메라, 비디오 캠코더, 휴대폰, 스마트폰, 비디오폰, 스마트패드, 타블렛 PC, MP3 플레이어 등으로 구현될 수도 있다.

어플리케이션 프로세서(510)는 전자 기기(500)의 전반적인 동작을 제어할 수 있다. 즉, 어플리케이션 프로세서(510)는 어플리케이션 프로세서(510)는 모션 인식 잠금 해제 시스템(520), 센서 모듈(530), 기능 모듈들(540, …, 540-k), 메모리 모듈(550), 입출력 모듈(560), 전력 관리 집적 회로 등을 제어할 수 있다. 이 때, 어플리케이션 프로세서(510)는 제 1 클럭 신호에 기초하여 동작하는 메인 프로세서(512) 및 제 1 클럭 신호보다 낮은 동작 주파수를 갖는 제 2 클럭 신호에 기초하여 동작하는 서브 프로세서(514)를 구비할 수 있다. 다시 말하면, 어플리케이션 프로세서(510)는 고성능의 메인 프로세서(512)와 저성능의 서브 프로세서(514)를 구비할 수 있다. 일 실시예에서, 전자 기기(500)의 액티브 모드에서 어플리케이션 프로세서(510)의 메인 프로세서(512)만 동작할 수 있다. 이 경우, 고성능의 메인 프로세서(512)가 전자 기기(500)의 메인 기능(main function)과 서브 기능(sub function)을 모두 수행할 수 있다. 예를 들어, 고성능의 메인 프로세서(512)가 모션 인식 잠금 해제 시스템(520), 센서 모듈(530), 기능 모듈들(540, …, 540-k), 메모리 모듈(550), 입출력 모듈(560), 전력 관리 집적 회로 등을 모두 제어할 수 있다. 다른 실시예에서, 전자 기기(500)의 액티브 모드에서 어플리케이션 프로세서의 메인 프로세서(512)와 서브 프로세서(514)가 동시에 동작할 수 있다. 이 경우, 고성능의 메인 프로세서(512)가 전자 기기(500)의 메인 기능(예를 들어, 기능 모듈들(540, …, 540-k) 등을 제어)을 수행할 수 있고, 저성능의 서브 프로세서(514)가 전자 기기(500)의 서브 기능(예를 들어, 모션 인식 잠금 해제 시스템, 센서 모듈 등을 제어)을 수행할 수 있다. 다만, 전자 기기(500)의 메인 기능과 서브 기능은 요구되는 조건에 따라 다양하게 설정될 수 있다.

일 실시예에서, 전자 기기(500)의 슬립 모드에서 어플리케이션 프로세서(510)의 서브 프로세서(514)만 동작할 수 있다. 즉, 전자 기기(500)의 슬립 모드에서 어플리케이션 프로세서(510)의 메인 프로세서(512)는 파워 오프(power-off)될 수 있다. 일반적으로, 전자 기기(500)의 슬립 모드에서는 전자 기기(500)의 메인 기능이 수행되지 않으므로, 전자 기기(500)의 슬립 모드에서까지 고성능의 메인 프로세서(512)가 동작하는 것은 전력 면에서 비효율적이다. 이에, 전자 기기(500)의 슬립 모드에서는 저성능의 서브 프로세서(514)가 전자 기기(500)의 서브 기능(예를 들어, 모션 인식 잠금 해제 시스템(520), 센서 모듈(530) 등을 제어)만을 수행할 수 있다. 그 결과, 전자 기기(500)의 슬립 모드에서의 불필요한 전력 소모가 방지(또는, 감소)될 수 있다. 이러한 이유로, 전자 기기(500)의 액티브 모드에서는 전력 관리 집적 회로(570)가 어플리케이션 프로세서(510), 모션 인식 잠금 해제 시스템(520), 센서 모듈(530), 기능 모듈들(540, …, 540-k), 메모리 모듈(550), 입출력 모듈(560) 등에 전력을 공급할 수 있다. 반면에, 전자 기기(500)의 슬립 모드에서는 전력 관리 집적 회로(570)가 전자 기기(500)의 서브 기능(예를 들어, 모션 인식 잠금 해제 시스템(520), 센서 모듈(530) 등을 제어)만을 수행하기 위하여, 어플리케이션 프로세서(510)(특히, 저성능의 서브 프로세서(514)), 모션 인식 잠금 해제 시스템(520), 센서 모듈(530) 등에만 전력을 공급할 수 있다.

모션 인식 잠금 해제 시스템(520)은 사용자 모션을 촬상하고, 그에 기초하여 전자 기기(500)의 잠금 해제를 수행할지 여부를 결정할 수 있다. 이를 위하여, 모션 인식 잠금 해제 시스템(520)은 사용자 모션을 촬상하여 모션 정보를 생성하는 센서부, 모션 정보에 기초하여 광학 흐름을 연산하는 광학 흐름 연산부, 광학 흐름을 기 설정된 기준 방향들을 기초로 분류하고 그룹화하여 코드로 변환시키는 코드 생성부, 기 설정된 기준 방향들이 시간의 흐름에 따라 랜덤하게 나열된 정보에 상응하는 패스워드를 저장하는 패스워드 저장부, 코드와 기 설정된 패스워드를 비교하여 코드와 기 설정된 패스워드가 일치하는지 여부를 나타내는 비교 결과를 생성하는 비교부, 및 이러한 비교 결과에 기초하여 전자 기기(500)의 잠금 해제를 수행할지 여부를 나타내는 잠금 해제 제어 신호를 출력하는 제어 신호 생성부를 포함할 수 있다. 상술한 바와 같이, 전자 기기(500)의 슬립 모드에서의 불필요한 전력 소모를 방지하기 위하여, 전자 기기(500)의 동작 모드가 슬립 모드일 때, 모션 인식 잠금 해제 시스템(520)은 어플리케이션 프로세서(510)의 서브 프로세서(514)에 의해 제어될 수 있다. 또한, 전자 기기(500)의 동작 모드가 액티브 모드일 때, 모션 인식 잠금 해제 시스템(520)은 어플리케이션 프로세서(510)의 메인 프로세서(512) 및/또는 서브 프로세서(514)에 의해 제어될 수 있다. 다만, 이에 대해서는 상술한 바 있으므로, 그에 대한 중복되는 설명은 생략하기로 한다.

센서 모듈(530)은 다양한 센싱 동작들을 수행할 수 있다. 이 때, 센서 모듈(530)은 회전 각속도를 측정하는 자이로 센서 모듈, 속도 및 운동량을 측정하는 가속도 센서 모듈, 나침반 역할을 수행하는 지자계 센서 모듈, 고도를 측정하는 기압계 센서 모듈, 동작 인식, 접근 탐지, 광원 구별 등을 수행하는 제스쳐-근접-조도-RGB 센서 모듈, 온도 및 습도를 측정하는 온도-습도 센서 모듈, 사용자가 전자 기기(500)를 손에 쥐었는지를 판단하는 그립 센서 모듈 등을 포함할 수 있다. 다만, 이것은 예시적인 것에 불과한 것으로서, 센서 모듈(530)의 종류는 이에 한정되지 않는다. 복수의 기능 모듈들(540-1, ..., 540-k)은 전자 기기(500)의 다양한 기능들을 수행할 수 있다. 예를 들어, 전자 기기(500)는 통신 기능을 수행하기 위한 통신 모듈(예를 들어, CDMA(code division multiple access) 모듈, LTE(long term evolution) 모듈, RF(radio frequency) 모듈, UWB(ultra wideband) 모듈, WLAN(wireless local area network) 모듈, WIMAX(worldwide interoperability for microwave access) 모듈 등), 카메라 기능을 수행하기 위한 카메라 모듈 등을 포함할 수 있다. 실시예에 따라, 전자 기기(500)는 GPS(global positioning system) 모듈, 마이크 모듈, 스피커 모듈 등을 더 포함할 수 있다. 다만, 전자 기기(500)에 구비되는 복수의 기능 모듈들(540-1, ..., 540-k)의 종류는 그에 한정되지 않는다.

메모리 모듈(550)은 전자 기기(500)의 동작에 필요한 데이터들을 저장할 수 있다. 이 때, 메모리 모듈(550)은 어플리케이션 프로세서(510) 내에 구비될 수도 있다. 예를 들어, 메모리 모듈(550)은 DDR SDRAM(Double Data Rate Synchronous Dynamic Random Access Memory) 장치, DRAM(Dynamic Random Access Memory) 장치, SRAM(Static Random Access Memory) 장치, 모바일 DRAM 장치 등과 같은 휘발성 메모리 장치 및/또는 EPROM(Erasable Programmable Read-Only Memory) 장치, EEPROM(Electrically Erasable Programmable Read-Only Memory) 장치, 플래시 메모리(Flash Memory) 장치, PRAM(Phase Change Random Access Memory) 장치, RRAM(Resistance Random Access Memory) 장치, NFGM(Nano Floating Gate Memory) 장치, PoRAM(Polymer Random Access Memory) 장치, MRAM(Magnetic Random Access Memory) 장치, FRAM(Ferroelectric Random Access Memory) 장치 등과 같은 비휘발성 메모리 장치를 포함할 수 있다. 실시예에 따라, 메모리 모듈(550)은 솔리드 스테이트 드라이브(solid state drive; SSD), 하드 디스크 드라이브(hard disk drive; HDD), 씨디롬(CD-ROM) 등을 더 포함할 수도 있다. 입출력 모듈(560)은 표시 기능을 수행하기 위한 표시 모듈, 터치 입력 기능을 수행하기 위한 터치 센서 모듈 등을 포함할 수 있다. 이와 같이, 전자 기기(500)는 모션 인식 잠금 해제 시스템(520)을 포함함으로써, 사용자에게 고성능의 잠금 해제 인터페이스를 제공할 수 있다. 또한, 전자 기기(500)는 전자 기기(500)의 잠금 해제가 잘못 수행되는 것을 방지하기 때문에, 전자 기기(500)의 신뢰성과 보안성을 크게 향상시킬 수 있다.

도 15는 도 13의 전자 기기의 동작 모드에 따라 모션 인식 잠금 해제 시스템이 제어되는 일 예를 나타내는 순서도이고, 도 16은 도 13의 전자 기기의 동작 모드에 따라 모션 인식 잠금 해제 시스템이 제어되는 일 예를 나타내는 도면이다.

도 15 및 도 16을 참조하면, 전자 기기(500)의 동작 모드에 따라 모션 인식 잠금 해제 시스템(520)이 제어되는 것이 도시되어 있다. 구체적으로, 전자 기기(500)의 동작 모드가 결정(S310)되면, 전자 기기(500)의 동작 모드가 슬립 모드(740)인지 여부를 확인(S320)할 수 있다. 이 때, 전자 기기(500)의 동작 모드가 슬립 모드(740)인 경우, 어플리케이션 프로세서(510)의 서브 프로세서(514)로 모션 인식 잠금 해제 시스템(520)을 제어(S330)할 수 있다. 반면에, 전자 기기(500)의 동작 모드가 슬립 모드(740)가 아닌 경우(즉, 전자 기기(500)의 동작 모드가 액티브 모드(720)인 경우), 어플리케이션 프로세서(510)의 메인 프로세서(512) 및/또는 서브 프로세서(514)로 모션 인식 잠금 해제 시스템(520)을 제어(S340)할 수 있다. 도 16에 도시된 바와 같이, 전자 기기(500)는 액티브 모드(720)와 슬립 모드(740)로 동작할 수 있다. 예를 들어, 전자 기기(500)를 스마트폰이라고 가정하면, 전자 기기(500)의 액티브 모드(720)는 사용자가 디스플레이를 통해 스마트폰을 조작하여 소정의 어플리케이션을 수행하고 상태에 상응할 수 있고, 전자 기기(500)의 슬립 모드(740)는 사용자가 스마트폰을 조작하지 않는 디스플레이가 꺼진 상태에 상응할 수 있다. 따라서, 전자 기기(500)의 동작 모드가 슬립 모드(740)인 경우, 모션 인식 잠금 해제 시스템(520)이 어플리케이션 프로세서(510)의 서브 프로세서(514)에 의해 제어되고 있으므로, 사용자는 전자 기기(500)의 동작 모드를 액티브 모드(720)로 전환시키지 않는 채로(예를 들어, 스마트폰의 디스플레이를 켜지 않은 채로), 사용자 모션을 입력하여 스마트폰의 잠금 해제를 수행할 수 있다. 다만, 이것은 예시적인 것에 불과한 것으로서, 본 발명이 이에 한정되는 것은 아니다. 또한, 상기에서는 전자 기기(500)의 동작 모드를 액티브 모드(720)와 슬립 모드(740)로 구분하였지만, 전자 기기(500)의 슬립 모드(740)는 모션 인식 잠금 해제 시스템(520)이 동작 가능하다면, 전자 기기(500)의 파워 오프 모드까지 포함할 수 있다.

도 17은 도 13의 전자 기기의 슬립 모드에서 모션 인식 잠금 해제 시스템이 제어되는 일 예를 나타내는 블록도이고, 도 18은 도 13의 전자 기기의 액티브 모드에서 모션 인식 잠금 해제 시스템이 제어되는 일 예를 나타내는 블록도이며, 도 19는 도 13의 전자 기기의 액티브 모드에서 모션 인식 잠금 해제 시스템이 제어되는 다른 예를 나타내는 블록도이다.

도 17 내지 도 19를 참조하면, 전자 기기(500)의 동작 모드에 따라 모션 인식 잠금 해제 시스템(520)이 어플리케이션 프로세서(510)의 메인 프로세서(512) 또는 서브 프로세서(514)에 의해 제어되는 것이 도시되어 있다. 도 17에 도시된 바와 같이, 전자 기기(500)의 슬립 모드에서 모션 인식 잠금 해제 시스템(520)은 저성능의 서브 프로세서(514)에 의해 제어될 수 있다. 상술한 바와 같이, 모션 인식 잠금 해제 시스템(520)은 모션 인식을 통한 전자 기기(500)의 잠금 해제를 단순화된 방식으로 수행하기 때문에, 전자 기기(500)의 잠금 해제에 많은 연산량이 요구되지 않는다. 즉, 전자 기기(500)의 슬립 모드에서 모션 인식 잠금 해제 시스템(520)이 동작함에 있어, 전자 기기(500)의 메인 기능을 수행하기 위한 고성능의 메인 프로세서(512)가 동작할 필요가 없다. 이에, 전자 기기(500)의 슬립 모드에서 고성능의 메인 프로세서(512)는 파워 오프될 수 있다. 한편, 도 18에 도시된 바와 같이, 전자 기기(500)의 액티브 모드에서는 고성능의 메인 프로세서(512)만 동작할 수 있다. 이 경우, 고성능의 메인 프로세서(512)가 전자 기기(500)의 메인 기능을 수행함과 동시에, 서브 기능(예를 들어, 모션 인식 잠금 해제 시스템, 센서 모듈 등을 제어)까지 수행할 수 있다. 또는, 도 19에 도시된 바와 같이, 전자 기기(500)의 액티브 모드에서 고성능의 메인 프로세서(512)와 저성능의 서브 프로세서(514)가 동시에 동작할 수 있다. 이 경우, 고성능의 메인 프로세서(512)가 전자 기기(500)의 메인 기능을 수행하는 반면에, 저성능의 서브 프로세서(514)는 전자 기기(500)의 서브 기능(예를 들어, 모션 인식 잠금 해제 시스템, 센서 모듈 등을 제어)을 수행할 수 있다. 즉, 전자 기기(500)의 액티브 모드에서 고성능의 메인 프로세서(512)와 저성능의 서브 프로세서(514)가 역할 분담을 할 수 있다. 이와 같이, 전자 기기(500)의 슬립 모드에서 모션 인식 잠금 해제 시스템(520)이 저성능의 서브 프로세서(514)에 의해 제어되기 때문에, 전자 기기(500)의 슬립 모드에서의 불필요한 전력 소모는 방지(또는, 감소)될 수 있다. 다만, 상기에서는 어플리케이션 프로세서(510)가 고성능의 메인 프로세서(512)와 저성능의 서브 프로세서(514)를 포함하는 것으로 도시되어 있지만, 어플리케이션 프로세서(510)가 전자 기기(500)의 동작 모드에 따라 고성능 모드와 저성능 모드 중의 하나로 동작하는 것으로 해석될 수도 있다.

도 20은 본 발명의 실시예들에 따른 컴퓨팅 시스템을 나타내는 블록도이다.

도 20을 참조하면, 컴퓨팅 시스템(1000)은 프로세서(1010), 입출력 허브(1020), 입출력 컨트롤러 허브(1030), 그래픽 카드(1040) 및 모션 인식 잠금 해제 시스템(1050)을 포함할 수 있다.

프로세서(1010)는 특정 계산들 또는 태스크들을 수행할 수 있다. 예를 들어, 프로세서(1010)는 마이크로프로세서 또는 중앙 처리 장치일 수 있다. 프로세서(1010)는 하나의 코어(core)를 포함하거나, 복수의 코어들을 포함할 수 있다. 예를 들어, 프로세서(1010)는 코어의 개수에 따라 듀얼 코어 프로세서, 쿼드 코어 프로세서, 헥사 코어 프로세서 등으로 명명될 수 있다. 실시예에 따라, 프로세서(1010)는 내부 또는 외부에 캐시 메모리(cache memory)를 더 포함할 수 있다. 입출력 허브(1020)는 그래픽 카드(1040)와 같은 장치들과 프로세서(1010) 사이의 데이터 전송을 관리할 수 있다. 입출력 허브(1020)는 다양한 방식의 인터페이스를 통하여 프로세서(1010)에 연결될 수 있다. 예를 들어, 입출력 허브(1020)와 프로세서(1010)는 프론트 사이드 버스(Front Side Bus; FSB), 시스템 버스(System Bus), 하이퍼트랜스포트(HyperTransport), 라이트닝 데이터 트랜스포트(Lightning Data Transport; LDT), 퀵패스 인터커넥트(QuickPath Interconnect; QPI), 공통 시스템 인터페이스(Common System Interface; CSI) 등의 다양한 표준의 인터페이스로 연결될 수 있다. 나아가, 입출력 허브(1020)는 주변 장치들과의 다양한 인터페이스들을 제공할 수 있다. 예를 들어, 입출력 허브(1020)는 가속 그래픽 포트(Accelerated Graphics Port; AGP) 인터페이스, 주변 구성요소 인터페이스 익스프레스(Peripheral Component Interface Express; PCIe), 통신 스트리밍 구조(Communications Streaming Architecture; CSA) 인터페이스 등을 제공할 수 있다.

그래픽 카드(1040)는 AGP 또는 PCIe를 통하여 입출력 허브(1020)와 연결될 수 있다. 그래픽 카드(1040)는 영상을 표시하기 위한 디스플레이를 제어할 수 있다. 그래픽 카드(1040)는 이미지 데이터 처리를 위한 내부 프로세서 등을 포함할 수 있다. 실시예에 따라, 입출력 허브(1020)는 입출력 허브(1020)의 외부에 위치한 그래픽 카드(1040)를 대신하여 내부에 그래픽 장치를 포함할 수도 있다. 이 때, 입출력 허브(1020)에 포함되는 그래픽 장치는 집적 그래픽(integrated graphics)으로 명명될 수 있다. 입출력 컨트롤러 허브(1030)는 다양한 시스템 인터페이스들이 효율적으로 동작하도록 데이터 버퍼링 및 인터페이스 중재를 수행할 수 있다. 입출력 컨트롤러 허브(1030)는 내부 버스를 통하여 입출력 허브(1020)와 연결될 수 있다. 예를 들어, 입출력 허브(1020)와 입출력 컨트롤러 허브(1030)는 다이렉트 미디어 인터페이스(Direct Media Interface; DMI), 허브 인터페이스, 엔터프라이즈 사우스브릿지 인터페이스(Enterprise Southbridge Interface; ESI), PCIe 등을 통하여 서로 연결될 수 있다. 입출력 컨트롤러 허브(1030)는 주변 장치들과의 다양한 인터페이스들을 제공할 수 있다. 예를 들어, 입출력 컨트롤러 허브(1030)는 범용 직렬 버스(Universal Serial Bus; USB) 포트, 직렬 ATA(Serial Advanced Technology Attachment; SATA) 포트, 범용 입출력(General Purpose Input/Output; GPIO), 로우 핀 카운트(Low Pin Count; LPC) 버스, 직렬 주변 인터페이스(Serial Peripheral Interface; SPI), PCI, PCIe 등을 제공할 수 있다.

모션 인식 잠금 해제 시스템(1050)은 사용자 모션을 촬상하고, 그에 기초하여 컴퓨팅 시스템(1000)의 잠금 해제를 수행할지 여부를 결정할 수 있다. 이를 위하여, 모션 인식 잠금 해제 시스템(1050)은 사용자 모션을 촬상하여 모션 정보를 생성하는 센서부, 모션 정보에 기초하여 광학 흐름을 연산하는 광학 흐름 연산부, 광학 흐름을 기 설정된 기준 방향들을 기초로 분류하고 그룹화하여 코드로 변환시키는 코드 생성부, 기 설정된 기준 방향들이 시간의 흐름에 따라 랜덤하게 나열된 정보에 상응하는 패스워드를 저장하는 패스워드 저장부, 코드와 기 설정된 패스워드를 비교하여 코드와 기 설정된 패스워드가 일치하는지 여부를 나타내는 비교 결과를 생성하는 비교부, 및 이러한 비교 결과에 기초하여 컴퓨팅 시스템(1000)의 잠금 해제를 수행할지 여부를 나타내는 잠금 해제 제어 신호를 출력하는 제어 신호 생성부를 포함할 수 있다. 다만, 이에 대해서는 상술한 바 있으므로, 그에 대한 중복되는 설명은 생략하기로 한다. 실시예에 따라, 컴퓨팅 시스템(1000)은 개인용 컴퓨터(personal computer), 서버 컴퓨터(server computer), 워크스테이션(workstation), 노트북(laptop) 등과 같은 임의의 컴퓨팅 시스템일 수 있다. 이상, 본 발명의 실시예들에 따른 모션 인식 잠금 해제 방법, 모션 인식 잠금 해제 시스템, 전자 기기 및 컴퓨팅 시스템에 대해 도면을 참조하여 설명하였으나, 상기 설명은 예시적인 것으로서 본 발명의 기술적 사상을 벗어나지 않는 범위에서 해당 기술 분야에서 통상의 지식을 가진 자에 의하여 수정 및 변경될 수 있을 것이다. 예를 들어, 모션 인식 잠금 해제 시스템의 구성 요소들 중의 일부(예를 들어, 센서부 등)는 모션 인식 잠금 해제 시스템을 포함하는 전자 기기 또는 컴퓨팅 시스템의 구성 요소(예를 들어, 센서 모듈 등)로 대체될 수도 있다.

본 발명은 잠금 해제 기능을 제공하는 모든 전자 기기에 다양하게 적용될 수 있다. 예를 들어, 본 발명은 컴퓨터, 노트북, 디지털 카메라, 비디오 캠코더, 휴대폰, 스마트폰, 비디오폰, 스마트패드, 타블렛(tablet) PC, MP3 플레이어, 차량용 네비게이션 등에 적용될 수 있다.

이상에서는 본 발명의 예시적인 실시예들을 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 모션 인식 잠금 해제 시스템 110: 센서부
120: 광학 흐름 연산부 130: 코드 생성부
140: 패스워드 저장부 150: 비교부
160: 제어 신호 생성부

Claims

사용자 모션(motion)을 촬상하여 모션 정보를 생성하는 단계;
상기 모션 정보에 기초하여 광학 흐름을 연산하는 단계;
상기 광학 흐름(optical flow)을 기 설정된 기준 방향들을 기초로 분류하고 그룹화하여 코드(code)로 변환시키는 단계;
상기 코드와 기 설정된 패스워드를 비교하여 상기 코드와 상기 패스워드가 일치하는지 여부를 나타내는 비교 결과를 생성하는 단계; 및
상기 비교 결과에 기초하여 전자 기기의 잠금 해제를 수행할지 여부를 결정하는 단계를 포함하는 모션 인식 잠금 해제 방법.
제 1 항에 있어서, 상기 사용자 모션은 타임 스탬프(time stamp) 단위로 동작하는 타임 스탬프 기반 광학 센서 또는 프레임(frame) 단위로 동작하는 프레임 기반 광학 센서에 의해 촬상되는 것을 특징으로 하는 모션 인식 잠금 해제 방법.
제 2 항에 있어서, 상기 모션 정보는 모션 벡터(motion vector)들이고, 상기 광학 흐름은 상기 모션 벡터들 사이의 벡터 연산에 의해 연산되는 것을 특징으로 하는 모션 인식 잠금 해제 방법.
제 2 항에 있어서, 상기 타임 스탬프 기반 광학 센서 또는 상기 프레임 기반 광학 센서의 촬상면에 평행한 좌표 평면은 x-y평면이고, 상기 기준 방향들은 상기 x-y평면에서의 x축 방향, 상기 x-y평면에서의 y축 방향, 상기 x-y평면에서의 대각선 방향, 상기 x-y평면에서의 회전 방향, 또는 상기 x-y평면에서의 z축 방향 중에서 적어도 하나 이상을 포함하는 것을 특징으로 하는 모션 인식 잠금 해제 방법.
제 1 항에 있어서, 상기 패스워드는 상기 기준 방향들이 시간의 흐름에 따라 랜덤(random)하게 나열된 정보에 상응하는 것을 특징으로 하는 모션 인식 잠금 해제 방법.
제 5 항에 있어서, 상기 코드로 변환시키는 단계는
상기 광학 흐름을 기 설정된 시간 단위마다 상기 기준 방향들을 기초로 분류함으로써 서브 코드들을 생성하는 단계; 및
상기 서브 코드들을 순차적으로 나열함으로써 그룹화하는 단계를 포함하는 것을 특징으로 하는 모션 인식 잠금 해제 방법.
제 5 항에 있어서, 상기 코드로 변환시키는 단계는
상기 광학 흐름을 기 설정된 시간 단위마다 상기 기준 방향들을 기초로 분류함으로써 서브 코드들을 생성하는 단계; 및
상기 서브 코드들을 시간 또는 공간 중에서 적어도 하나 이상으로 상관(correlation)시켜 나열함으로써 그룹화하는 단계를 포함하는 것을 특징으로 하는 모션 인식 잠금 해제 방법.
제 5 항에 있어서, 상기 비교 결과를 생성하는 단계는
상기 코드의 시퀀스(sequence)와 상기 패스워드의 시퀀스를 비교하여 시퀀스 비교 결과를 생성하는 단계;
상기 코드의 타이밍(timing)과 상기 패스워드의 타이밍을 비교하여 타이밍 비교 결과를 생성하는 단계; 및
상기 시퀀스 비교 결과와 상기 타이밍 비교 결과에 기초하여 상기 코드와 상기 패스워드가 일치함을 나타내는 제 1 비교 결과 또는 상기 코드와 상기 패스워드가 불일치함을 나타내는 제 2 비교 결과를 생성하는 단계를 포함하는 것을 특징으로 하는 모션 인식 잠금 해제 방법.
제 8 항에 있어서, 상기 제 1 비교 결과 또는 상기 제 2 비교 결과를 생성하는 단계는
상기 시퀀스 비교 결과가 기 설정된 시퀀스 유사도 기준 값보다 크고, 상기 타이밍 비교 결과가 기 설정된 타이밍 유사도 기준 값보다 크면, 상기 제 1 비교 결과를 생성하는 단계; 및
상기 시퀀스 비교 결과가 상기 시퀀스 유사도 기준 값보다 작거나, 또는 상기 타이밍 비교 결과가 상기 타이밍 유사도 기준 값보다 작으면, 상기 제 2 비교 결과를 생성하는 단계를 포함하는 것을 특징으로 하는 모션 인식 잠금 해제 방법.
제 8 항에 있어서, 상기 비교 결과에 기초하여 상기 잠금 해제를 수행할지 여부를 결정하는 단계는
상기 비교 결과가 상기 제 1 비교 결과이면, 상기 잠금 해제를 수행하는 것으로 결정하는 단계; 및
상기 비교 결과가 상기 제 2 비교 결과이면, 상기 잠금 해제를 수행하지 않는 것으로 결정하는 단계를 포함하는 것을 특징으로 하는 모션 인식 잠금 해제 방법.
사용자 모션(motion)을 촬상하여 모션 정보를 생성하는 센서부;
상기 모션 정보에 기초하여 광학 흐름을 연산하는 광학 흐름 연산부;
상기 광학 흐름(optical flow)을 기 설정된 기준 방향들을 기초로 분류하고 그룹화하여 코드(code)로 변환시키는 코드 생성부;
상기 기준 방향들이 시간의 흐름에 따라 랜덤(random)하게 나열된 정보에 상응하는 패스워드를 저장하는 패스워드 저장부;
상기 코드와 상기 패스워드를 비교하여 상기 코드와 상기 패스워드가 일치하는지 여부를 나타내는 비교 결과를 생성하는 비교부; 및
상기 비교 결과에 기초하여 전자 기기의 잠금 해제를 수행할지 여부를 나타내는 잠금 해제 제어 신호를 출력하는 제어 신호 생성부를 포함하는 모션 인식 잠금 해제 시스템.
제 11 항에 있어서, 상기 센서부는 타임 스탬프(time stamp) 단위로 동작하는 타임 스탬프 기반 광학 센서 또는 프레임(frame) 단위로 동작하는 프레임 기반 광학 센서를 포함하는 것을 특징으로 하는 모션 인식 잠금 해제 시스템.
제 11 항에 있어서, 상기 광학 흐름 연산부는 상기 모션 정보에 상응하는 모션 벡터들 사이의 벡터 연산을 이용하여 상기 광학 흐름을 연산하는 것을 특징으로 하는 모션 인식 잠금 해제 시스템.
제 11 항에 있어서, 상기 코드 생성부는 상기 광학 흐름을 기 설정된 시간 단위마다 상기 기준 방향들을 기초로 분류함으로써 서브 코드들을 생성하고, 상기 서브 코드들을 순차적으로 나열함으로써 그룹화하는 것을 특징으로 하는 모션 인식 잠금 해제 시스템.
제 11 항에 있어서, 상기 코드 생성부는 상기 광학 흐름을 기 설정된 시간 단위마다 상기 기준 방향들을 기초로 분류함으로써 서브 코드들을 생성하고, 상기 서브 코드들을 시간 또는 공간 중에서 적어도 하나 이상으로 상관(correlation)시켜 나열함으로써 그룹화하는 것을 특징으로 하는 모션 인식 잠금 해제 시스템.
제 11 항에 있어서, 상기 비교부는 상기 코드의 시퀀스(sequence)와 상기 패스워드의 시퀀스를 비교하여 시퀀스 비교 결과를 생성하고, 상기 코드의 타이밍(timing)과 상기 패스워드의 타이밍을 비교하여 타이밍 비교 결과를 생성하며, 상기 시퀀스 비교 결과와 상기 타이밍 비교 결과에 기초하여 상기 코드와 상기 패스워드가 일치함을 나타내는 제 1 비교 결과 또는 상기 코드와 상기 패스워드가 불일치함을 나타내는 제 2 비교 결과를 생성하는 것을 특징으로 하는 모션 인식 잠금 해제 시스템.
제 16 항에 있어서, 상기 비교부는 상기 시퀀스 비교 결과가 기 설정된 시퀀스 유사도 기준 값보다 크고, 상기 타이밍 비교 결과가 기 설정된 타이밍 유사도 기준 값보다 크면, 상기 제 1 비교 결과를 생성하고,
상기 시퀀스 비교 결과가 상기 시퀀스 유사도 기준 값보다 작거나, 또는 상기 타이밍 비교 결과가 상기 타이밍 유사도 기준 값보다 작으면, 상기 제 2 비교 결과를 생성하는 것을 특징으로 하는 모션 인식 잠금 해제 시스템.
제 17 항에 있어서, 상기 제어 신호 생성부는 상기 비교 결과가 상기 제 1 비교 결과이면, 상기 잠금 해제가 수행되도록 제어하는 제 1 잠금 해제 제어 신호를 출력하고,
상기 비교 결과가 상기 제 2 비교 결과이면, 상기 잠금 해제가 수행되지 않도록 제어하는 제 2 잠금 해제 제어 신호를 출력하는 것을 특징으로 하는 모션 인식 잠금 해제 시스템.
복수의 기능 모듈(function module)들;
사용자 모션(motion)을 촬상하고, 상기 사용자 모션에 기초하여 잠금 해제를 수행할지 여부를 결정하는 모션 인식 잠금 해제 시스템;
상기 기능 모듈들 및 상기 모션 인식 잠금 해제 시스템을 제어하고, 제 1 클럭 신호에 기초하여 동작하는 메인(main) 프로세서 및 상기 제 1 클럭 신호보다 낮은 동작 주파수를 갖는 제 2 클럭 신호에 기초하여 동작하는 서브(sub) 프로세서를 구비하는 어플리케이션 프로세서; 및
상기 기능 모듈들, 상기 모션 인식 잠금 해제 시스템 및 상기 어플리케이션 프로세서에 전력을 공급하는 전력 관리 집적 회로를 포함하고,
상기 모션 인식 잠금 해제 시스템은
상기 사용자 모션을 촬상하여 모션 정보를 생성하는 센서부;
상기 모션 정보에 기초하여 광학 흐름을 연산하는 광학 흐름 연산부;
상기 광학 흐름(optical flow)을 기 설정된 기준 방향들을 기초로 분류하고 그룹화하여 코드(code)로 변환시키는 코드 생성부;
상기 기준 방향들이 시간의 흐름에 따라 랜덤(random)하게 나열된 정보에 상응하는 패스워드를 저장하는 패스워드 저장부;
상기 코드와 상기 패스워드를 비교하여 상기 코드와 상기 패스워드가 일치하는지 여부를 나타내는 비교 결과를 생성하는 비교부; 및
상기 비교 결과에 기초하여 상기 잠금 해제를 수행할지 여부를 나타내는 잠금 해제 제어 신호를 출력하는 제어 신호 생성부를 포함하는 것을 특징으로 하는 전자 기기.
제 19 항에 있어서, 상기 전자 기기의 동작 모드가 슬립 모드(sleep mode)일 때, 상기 모션 인식 잠금 해제 시스템은 상기 서브 프로세서에 의해 제어되고,
상기 동작 모드가 액티브 모드일 때, 상기 모션 인식 잠금 해제 시스템은 상기 메인 프로세서 또는 상기 서브 프로세서에 의해 제어되는 것을 특징으로 하는 전자 기기.