KR20150087664A - 비 접촉식 입력 인터페이스 구현 방법 및 그 장치 - Google Patents

Abstract

전자 장치의 입력 인터페이스 구현 방법이 개시된다. 상기 방법은, 상기 전자 장치의 카메라를 이용하여 전방 영역을 촬영하는 동작, 사용자 손에 의한 제스처가 인식되면 상기 제스처에 기초한 입력 인터페이스를 스크린에 디스플레이 하는 동작, 및 상기 사용자 손의 움직임에 따라 상기 입력 인터페이스를 제어하는 동작을 포함할 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예들이 가능하다.

Description

비 접촉식 입력 인터페이스 구현 방법 및 그 장치{Method and Apparatus for Providing non-Contacting Input Interface}

본 발명은 휴대 단말과 같은 전자 장치의 카메라를 이용하여 입력 인터페이스를 구현하는 방법 및 그 장치에 관한 것이다.

전자 장치는 사용자 입력을 처리하기 위한 다양한 인터페이스를 제공한다. 일반적인 데스크톱 PC나 랩탑은 물리 키보드 장치를 제공한다. 블랙베리(Blackberry) 스마트폰과 같은 소형화된 휴대 단말에서도 물리 키보드가 제공될 수 있다. 갤럭시 S4와 같은 스마트폰, 갤럭시 노트, 갤럭시 탭과 같은 제품 군에서는 터치 입력에 기반한 소프트 키보드(soft keyboard)를 제공한다. 이외에도, 터치 입력에 기반한 다양한 입력 방식, 마이크 모듈에 의한 음성 입력 등이 제공된다.

또한 최근 출시되는 전자 장치들은 카메라 모듈을 기본적으로 포함하는 경우가 많다. 휴대 단말 장치에서는 전면 및 후면 카메라를 제공하고, 랩탑이나 데스크톱 장치에서도 웹캠(webcam)과 같은 카메라 장치가 제공된다. 또한 카메라 장치를 기반으로 하여 애플리케이션 및 통신 기능을 제공하는, 스마트 카메라와 같은 장치도 개발되고 있다.

한편, 독(dock)과 같은 전자 장치 전용 거치대 또는 특정 형태로 접어서 전자 장치를 고정시키는 스마트 커버와 같은 사용이 증가하고 있다.

기존의 터치 입력의 경우, 사용자의 손이 전자 장치의 터치 스크린에 물리적으로 접촉해야 하므로, 입력이 이루어지는 시점에는 입력 패널(예를 들어, 키보드 등)의 일부 영역의 잘 보이지 않게 되는 시인성의 제약이 발생한다.

또한, 음성 인식을 통한 입력 역시 주변 소음이나, 음성 명령을 자제해야 하는 공간(예를 들어, 도서관이나 강의실) 등의 이유로 종종 그 사용에 제약이 발생한다.

따라서, 본 발명의 다양한 실시 예에서는 휴대 단말과 같은 전자 장치에 일반적으로 포함되는 카메라 모듈 및 영상처리 기술을 이용하여 인지되는 사용자 동작에 따라 직관적이면서 비접촉 방식을 지원하는 입력 인터페이스를 제공하고자 한다.

본 발명의 일 실시 예에 따른 전자 장치의 입력 인터페이스 구현 방법은, 상기 전자 장치의 카메라를 이용하여 상기 전자 장치의 전방 영역을 촬영하는 동작, 사용자 손에 의한 미리 정의된 제스처가 인식되면 상기 제스처에 기초한 입력 인터페이스를 상기 전자 장치의 스크린에 디스플레이 하는 동작, 및 상기 카메라에 의해 감지된 상기 사용자 손의 움직임에 따라 상기 입력 인터페이스를 제어하는 동작을 포함할 수 있다.

또한 본 발명의 일 실시 예에 따른 전자 장치는, 애플리케이션을 실행하는 프로세서, 사용자 동작을 감지하는 적어도 하나의 카메라 모듈, 상기 감지된 동작을 분석하는 영상처리 모듈, 및 상기 애플리케이션과 입력 수단이 디스플레이 되는 스크린을 포함할 수 있다. 상기 프로세서는 상기 애플리케이션 및 상기 감지된 동작에 기초하여 상기 디스플레이 되는 입력 수단을 결정할 수 있다.

본 발명의 다양한 실시 예에 따르면 모바일 장치의 디스플레이 화면 크기의 증가와 거치대의 사용이 증가하는 가운데, 사용자가 비 접촉 상태로 전자 장치로 입력을 제공하기 위한 입력 인터페이스를 제공함으로써, 사용자 편의성이 증가하는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 입력 인터페이스가 구현되는 예시적인 환경을 나타낸다.
도 2는 본 발명의 일 실시 예에 따른 키보드 입력 인터페이스가 디스플레이 되는 예시를 나타낸다.
도 3은 본 발명의 일 실시 예에 따른 입력 지점과 키보드 자판 사이의 예시적인 매칭을 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 키보드 자판의 입력을 나타낸다.
도 5는 본 발명의 일 실시 예에 따른 마우스 입력 인터페이스가 디스플레이 되는 예시를 나타낸다.
도 6은 본 발명의 일 실시 예에 따른 마우스 커서의 이동을 나타낸다.
도 7은 본 발명의 일 실시 예에 따른 입력 지점과 마우스 커서 사이의 예시적인 매칭을 나타낸다.
도 8은 본 발명의 일 실시 예에 따른 전자 장치의 예시적인 구조를 나타낸다.
도 9는 본 발명의 일 실시 예에 따른 전자 장치의 입력 인터페이스 구현 프로세스 흐름도를 나타낸다.
도 10은 본 발명의 다른 실시 예에 따른 사용자 입력의 구현 예시를 나타낸다.
도 11은 본 발명의 다른 실시 예에 따른 복수 개의 카메라 모듈을 포함하는 전자 장치의 입력 구현 예시를 나타낸다.
도 12는 본 발명의 다른 실시 예에 따른 카메라 모듈과 추가적인 센서를 이용한 전자 장치의 입력 구현 예시를 나타낸다.

이하, 첨부된 도면을 참조하여 본 발명(present disclosure)을 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 본 명세서에 기재되어 있다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.

본 명세서에 개시된 내용(disclosure) 중에서 “포함한다” 또는 “포함할 수 있다” 등의 표현은 개시된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 “또는” 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, “A 또는 B”는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.

본 명세서에서 “제1,” “제2,” “첫째,” 또는 “둘째,”등의 표현들은 본 발명의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명에 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크톱 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.

어떤 실시 예들에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.

어떤 실시 예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller’s machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.

어떤 실시 예들에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 본 발명에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.

이하, 첨부된 도면을 참조하여 다양한 실시 예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시 예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 입력 인터페이스가 구현되는 예시적인 환경을 나타낸다.

도 1을 참조하면, 전자 장치 100이 가로 방향으로 위치하고 있다. 전자 장치 100은 전면 카메라 모듈 110 및 스크린 120을 포함할 수 있다. 도 1에서 전자 장치 100은 스마트폰의 형태로 도시되었으나, 전자 장치 100의 종류는 이에 제한되지 않고 후술하는 본 발명의 특징이 적용될 수 있는 다양한 형태의 전자 장치에 적용될 수 있다. 또한 전자 장치 100의 전면 카메라 모듈 110은 전자 장치 100의 상단(전자 장치 100이 세로로 배치될 때를 기준으로 한 경우)에 위치하지만, 다른 실시 예에서, 카메라 모듈 110의 위치와 개수는 적절히 변경될 수 있다. 예를 들어, 카메라 모듈은 전자 장치 100의 상단 및 하단에 복수 개가 배치될 수도 있다.

전자 장치 100의 카메라 모듈 110은 전자 장치 100의 전면을 촬영할 수 있다. 일반적인 카메라 모듈 110의 화각은 약 60도이며, 따라서, 전자 장치 100이 XY 평면에 대하여 60도 이상의 각도를 가지며 거치되는 경우, 카메라 모듈 110은 바닥(즉, XY 평면)에 배치된 사용자의 손 200을 인식할 수 있다. 이때 카메라 모듈 110에 의해 인식되는 영역 300은 카메라 모듈 110을 중심으로 약 60도의 중심각을 갖는다. 카메라 모듈 110의 화각은 예시적인 것이며, 카메라 모듈에 의해 인식되는 영역 300은 카메라 모듈의 종류, 개수, 전자 장치 100이 고정된 각도 등에 의해 변경될 수 있다. 예를 들어, 카메라 모듈은 어안 렌즈(fish eye lens)와 같은 광각 렌즈일 수 있고, 좌안 및 우안 영상을 촬영하는 3D 카메라 모듈일 수도 있다. 이 경우, 카메라 모듈에 의해 인식되는 전방 영역 300은 일반적인 경우보다 증가할 수 있다.

도 1에서 전자 장치 100은 스마트 커버 130에 의해 고정될 수 있다. 본 명세서에서 전자 장치가 고정되어 있다는 것은 사용자가 전자 장치에 접촉하고 있지 않을 때, 전자 장치가 한쪽으로 움직이지 않고 정지 상태를 유지하는 것을 의미한다. 다른 실시 예에서, 전자 장치 100은 충전 기능이나 스피커 기능, 또는 다른 전자 장치와의 연결을 지원하는 전용 독(dock)에 의해 고정될 수 있다. 또는 전자 장치 100은 단순히 벽이나 책과 같은 주변 물품을 이용한 지지대에 의해서도 고정될 수 있다. 일부 실시 예에서, 전자 장치 100은 관성 센서 등을 이용하여 전자 장치 100이 고정 상태임을 인식하면, 입력 인터페이스 구현을 위한 전면 카메라 모듈이 자동으로 동작하도록 할 수 있다. 그러나 다른 실시 예에서, 전력 관리 등의 이유로 전자 장치 100은 사용자 입력에 의해서만 전면 카메라 모듈이 동작하도록 할 수 있다. 또 다른 실시 예에서, 전자 장치 100은 아이디 또는 비밀번호를 입력해야 하거나, 검색 엔진 사이트 등에 접속한 경우 등 사용자 입력이 요구되는 상황에서 자동으로 카메라 모듈이 동작하도록 할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 키보드 입력 인터페이스가 디스플레이 되는 예시를 나타낸다.

도 2를 참조하면, 소정의 이벤트에 의해 카메라 모듈 110이 동작하고, 전방 영역 300을 촬영한다. 카메라 모듈 110에 의해 촬영되는 영역 300에서 미리 정의된 제스처가 인식되면, 전자 장치 100은 해당 제스처에 대응되는 입력 인터페이스를 스크린에 디스플레이 할 수 있다. 도 2의 예시에서 사용자는 손 200을 왼쪽에서 오른쪽 방향으로 쓸어 내리는 듯한 제스처를 취할 수 있다. 또는 이와 반대 방향으로 손 200을 이동시키는 제스처를 취하는 것도 가능하다. 이와 같은 제스처는 카메라 모듈 110에 의해 촬영되고, 전자 장치 100은 촬영된 영상을 분석하여 미리 정의되어 있는 패턴의 제스처 중 하나의 제스처가 발생하였는지 판단할 수 있다. 예를 들어, 전자 장치 100은 촬영된 영상에서 사용자 손 200이 이동한 거리가 미리 결정된 거리 L(예를 들어, 소형 키보드의 크기에 해당하는 20cm) 이상인 경우, 사용자가 입력 인터페이스로서 키보드를 구동하고자 하는 것으로 판단하고, 키보드 140이 디스플레이 되도록 할 수 있다.

본 명세서에서 키보드라 하면, 쿼티(QWERTY) 키보드의 형태를 갖는 자판을 의미할 수 있다. 하지만 이에 한정되는 것은 아니며, 키보드는 전자 장치 100이 지원하는 다양한 형태의 입력 방식(예를 들어, 천지인 방식, 숫자 키패드에 문숫자를 할당하는 방식 등) 및 다양한 언어를 이용한 입력 자판을 포함한다.

사용자는 입력 인터페이스로서 키보드 140을 디스플레이 하기 위한 제스처를 수행한 후에, 문자 입력을 하여 양손(예를 들어, 쿼티 키보드가 디스플레이 되는 경우), 또는 한 손(예를 들어, 문숫자 키패드 방식)을 영역 300에 위치시킬 수 있다. 이 경우, 카메라 모듈 110은 사용자의 한 손 또는 양손을 촬영하고, 전자 장치 100은 촬영된 영상을 분석하여 사용자의 모든 손가락의 위치, 검지나 중지 같은 특정 손가락의 위치, 또는 검지와 중지와 같이 2개 이상의 손가락이 위치하는 상대적으로 보다 넓은 개념의 위치를 입력 지점으로서 인식할 수 있다. 전자 장치 100은 사용자 손 200의 위치가 카메라 모듈 110에 의해 정확하게 인식되지 않아서, 디스플레이 된 키보드 140의 특정 키와 손가락을 매칭시킬 수 없는 경우, 스크린 120에 사용자를 위한 안내 메시지를 디스플레이 할 수 있다.

사용자의 손가락과 키보드 140의 특정 키가, 영역 300 내에서 감지되는 입력 지점의 위치에 따라 서로 매칭될 수 있다. 예를 들어, 사용자의 손가락에 의해 지시되는 입력 지점이 카메라 모듈 110에 의해 인식되는 영역 300의 중앙 부분에 위치하면, 해당 입력 지점은 키보드 140의 중앙에 위치한 키 “H”에 매칭될 수 있다.

도 3은 본 발명의 일 실시 예에 따른 입력 지점과 키보드 자판 사이의 예시적인 매칭을 나타낸다.

도 3을 참조하면, 사용자는 키보드 140을 디스플레이 하기 위한 제스처를 수행한 후에, 키 입력을 위해 카메라 모듈 110에 의한 감지 영역 300 내에서 손 200을 대기시킬 수 있다. 전자 장치 100은 감지된 영상에 기초하여 사용자의 손가락 202, 203 등을 식별할 수 있다. 이 때 사용자 손 200 중 하나의 손가락에 해당하는 영역에 키보드 140 상의 소정 키가 대응될 수 있다. 예를 들어, 전자 장치 100은 사용자의 오른손 검지 손가락 202의 위치로 지시되는 입력 지점에 대하여 키보드의 “J” 키 142를 대응시킬 수 있다. 만약 양손이 모두 인식 가능한 경우, 왼손의 검지 손가락의 위치로 지시되는 입력 지점에 대하여 키보드 “F” 키를 대응시킬 수 있다. 이와 같이 함으로써, 사용자는 키보드 140이 디스플레이 된 상태에서, 자신의 손가락의 위치에 기준이 되는 키(예를 들어, 쿼티 키보드의 경우 “F” 키 및 “J” 키)가 매칭되기 때문에, 별도로 자신의 손가락을 이동시켜서 디스플레이 된 키보드와 매칭시키는 작업을 수행할 필요가 없다. 또한 키보드를 구성하는 자판들은, 사용자의 손가락 사이의 간격, 예를 들어 검지와 중지 사이의 간격에 대응되도록 매칭될 수 있다. 이와 같이 함으로써, 사용자의 손이 크거나 작은 경우에도, 전자 장치 100은 사용자 손에 최적화된 입력을 제공할 수 있다.

도 3에 도시된 것과 같이, 현재 입력 지점에 대응되는 키(예를 들어, 검지 손가락 202에 대응되는 “J” 키 142는 강조될 수 있다. 강조는 해당 키 자판의 확대, 테두리, 점멸, 색상 변경 등 다양한 방법으로 수행될 수 있다. 만약 사용자의 손(또는 손가락)이 XY 평면에서 이동하면, 전자 장치 100은 이동 후의 사용자 손의 위치에 대응되는 키를 계속해서 강조할 수 있다. 이와 같이 함으로써, 사용자는 현재 자신의 손이 위치한 입력 지점에 대응되는 키 및 XY평면에 위치한 가상의 자판 영역을 인지할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 키보드 자판의 입력을 나타낸다.

도 4를 참조하면, 카메라 모듈 110은 XY 평면뿐만 아니라, XYZ 공간을 촬영하기 때문에, 사용자 손가락의 Z 방향 움직임도 인지할 수 있다. 예를 들어, 사용자가 검지 손가락 202를 이동시켜서 키보드 140 상의 키 “U” 144가 강조된 상태에서, 마치 전형적인 키보드 장치를 타이핑하듯이 손가락을 Z 방향으로 움직이면, 전자 장치 100은 해당 영상 분석을 통해 강조되어 있는 키의 입력을 수행할 수 있다(145). 입력된 키는 스크린 120 상에 디스플레이 될 수 있다. 키의 입력을 위해서 사용자는 XY 평면에 위치한 손가락을 떼었다가(Z축 방향으로 이동시켰다가) 입력하고자 하는 키를 선택(다시 XY 평면에 위치)하여야 한다. 전자 장치 100은 사용자의 이와 같은 동작을 인지하여 키 입력을 수행할 수 있다. 그러나 다른 실시 예에서, 전자 장치 100은 다르게 정의된 규칙에 따라 키 입력을 수행할 수 있다. 예를 들어, 소정 키가 강조된 상태에서 소정 시간이 경과하면, 해당 키가 입력되도록 할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 마우스 입력 인터페이스가 디스플레이 되는 예시를 나타낸다.

도 5를 참조하면, 소정의 이벤트에 의해 카메라 모듈 110이 동작하고, 전방 영역 300을 촬영한다. 카메라 모듈 110에 의해 촬영되는 영역 300에서 미리 정의된 제스처가 인식되면, 전자 장치 100은 해당 제스처에 대응되는 입력 인터페이스를 스크린에 디스플레이 할 수 있다. 도 5의 예시에서 사용자는 마치 마우스를 잡고 흔들듯이, 손 200을 좌우로 왕복하는 제스처를 취할 수 있다. 전자 장치 100은 손 200이 한번 왕복하는 제스처가 인식되면 스크린 120에 마우스 커서 150이 디스플레이 되도록 할 수 있다. 다른 실시 예에서, 전자 장치 100은 손 200이 미리 정의된 횟수만큼 왕복하면(예를 들어, 좌우로 2번 왕복) 마우스 커서 150이 디스플레이 되도록 할 수 있다. 또 다른 실시 예에서, 사용자가 손을 마우스 모양으로 웅크린 채로 미리 정의된 시간(예를 들어, 2초)동안 영역 300 내에서 정지 상태를 유지하면, 전자 장치 100은 이를 감지하여 마우스 커서 150이 디스플레이 되도록 할 수도 있다.

사용자는 손 200을 움직여서 커서 150을 이동시킬 수 있다. 전자 장치 100은 카메라 모듈 110에 의해 촬영된 사용자 손 200의 위치 변화를 분석하고, 그에 따라 마우스 커서 150을 제어할 수 있다. 전자 장치 100은 손 200의 특정 손가락의 위치, 예를 들어, 검지나 중지에 해당하는 위치를 입력 지점으로 설정하고, 해당 입력 지점의 위치 변화를 감지하여 커서 150을 제어할 수 있다.

카메라 모듈 110은 Z축 방향 변화를 감지할 수 있다. 손 200이 Z축 방향으로 움직였다가(즉, XY 평면에서 떨어졌다가) 다시 원래 위치로 복귀(다시 XY평면에 위치)하는 동작이 감지되면, 전자 장치 100은 마우스 클릭 이벤트가 발생한 것으로 판단할 수 있다. 이와 같은 방식으로, 전자 장치 100은 복수 회의 클릭 이벤트를 판단할 수 있다. 예를 들어, 손 200이 Z축 방향으로 1회 왕복하면 좌클릭, 2회 왕복하면 더블클릭, 3회 왕복하면 3중 클릭(또는 우클릭) 이벤트가 발생한 것으로 판단할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 마우스 커서의 이동을 나타낸다.

도 6을 참조하면, 카메라 모듈 110은 소정의 화각을 가지며, 그에 따라 감지할 수 있는 영역 300에 한계를 가질 수 있다. 이 경우, 사용자의 손 200이 영역 300 밖으로 벗어나면, 커서 150은 사용자의 동작에 의해 제어되지 않는다. 따라서, 사용자의 손 200이 영역 300의 경계에 위치하거나, 경계를 벗어나는 경우, 스크린 120에 디스플레이 된 커서 150에는 커서 150이 제어되지 않고 있다는 것을 나타내는 표시가 디스플레이 될 수 있다. 예를 들어, 커서 150 주위로 원형 테두리 152가 생성될 수 있다. 이 경우, 사용자의 손 200이 영역 300 내부로 다시 위치할 때까지 커서 150은 이동하지 않고 정지 상태를 유지할 수 있다.

사용자 손 200이 XY 평면 상에서 이동할 때는 마우스 커서 150에 대한 드래그 동작이 수행될 수 있다. 손 200이 XY 평면 상에서 떨어지면서 (즉, Z축 방향으로 올라간 상태에서) X 또는 Y 방향으로 움직이는 경우, 커서 150은 손 200이 XY 평면 상에서 떨어진 순간 위치했던 지점에 고정되어 있고, 손 200이 다시 XY 평면에 위치하는 순간부터 이동할 수 있다. 이와 같은 동작을 통해서, 전자 장치 100의 스크린 120이 카메라 모듈 110에 의해 감지되는 영역 300보다 훨씬 넓은 경우에도 마우스 커서 150의 제어가 가능해질 수 있다.

도 7은 본 발명의 일 실시 예에 따른 입력 지점과 마우스 커서 사이의 예시적인 매칭을 나타낸다.

도 7을 참조하면, 전자 장치 700의 카메라 모듈 710에 의해 감지되는 영역 300이 도시된다. 도 7의 예시에서, 카메라 모듈 710은 전자 장치 700이 가로 방향으로 위치할 때 상단 중앙에 오도록 배치될 수 있다. 카메라 모듈 710이 감지할 수 있는 영역 300은 전자 장치 700의 전방으로부터 일정 거리 이상 이격된 위치에서 거리 h만큼 사용자 쪽으로 확장된다. 카메라 모듈 710이 가지는 화각에 따라, 영역 300의 경계는 d1보다 d2가 넓은 폭을 가진다. 즉, 영역 300은 사다리꼴의 형태를 가질 수 있다. 그러나 다른 실시 예에서 영역 300은 카메라의 종류, 개수, 및 위치에 따라서 다른 형태를 가질 수 있다.

사용자 입력 지점 701이 영역 300 내부에 위치할 수 있다. 입력 지점 701은 Y축 방향으로 h를 α:β로 분할하고 X축 방향으로 d=d1+(d2-d1)*α/(α+β)를 a:b로 분할하는 지점에 위치할 수 있다. 이 경우, d와 h는 각각 스크린 720의 D와 H에 대응되도록 변환되고, 마우스 커서 750은 H를 α:β로 분할하고 D를 a:b로 분할하는 지점에 위치할 수 있다. 즉, 마우스 커서 750은 영역 300내에서의 사용자 손에 의한 입력 지점 701의 위치에 기초하여 결정될 수 있다.

영역 300과 스크린 720의 맵핑 관계를 이용하여 커서 150이 이동될 수 있다. 다만 이와 같은 경우, 입력 지점 701이 d1에 근접한 경우, d2에 근접한 경우에 비하여 입력 지점 701의 이동 대비 스크린 720상에서 커서 150의 움직임이 급격하게 증가할 수 있다. 따라서 일부 실시 예에서는, 마우스 커서의 초기 생성 위치만 도 7과 관련하여 설명된 대응관계에 따라 결정되고, 마우스 이동 및 클릭 등의 동작은 도 6에서 설명한 것과 같은 방식으로 동작할 수 있다. 또한, 다른 실시 예에서는, 입력 지점 701의 위치와 관계 없이, 마우스 커서 750이 스크린 720의 정중앙이나, 소정 위치에 생성될 수 있다.

도 8은 본 발명의 일 실시 예에 따른 전자 장치의 예시적인 구조를 나타낸다.

도 8을 참조하면, 전자 장치 800은 프로세서 810, 메모리 820, 통신 모듈 830, 센서 모듈 840, 입력 모듈 850, 디스플레이 860, 인터페이스 870, 오디오 모듈 880, 전력 관리 모듈(Power Management Module, PMM) 890, 배터리 892, 및 SIM 카드 801를 포함할 수 있다.

프로세서 810는 하나 이상의 AP(application processor) 812 및/또는 하나 이상의 CP(communication processor) 814를 포함할 수 있다. 도 8에서는 AP 812 및 CP 814가 프로세서 810 내에 포함된 것으로 도시되었으나, AP 812 와 CP 814는 서로 다른 IC 패키지들 내에 각각 포함될 수 있다. 일 실시 예에 따르면, AP 812 및 CP 814는 하나의 IC 패키지 내에 포함될 수 있다.

AP 812는 운영체제 또는 응용 프로그램을 구동하여 AP 812에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. AP 812는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 일 실시 예에 따르면, 상기 프로세서 810는 GPU(graphic processing unit)를 더 포함할 수 있다.

CP 814는 전자 장치 800와 네트워크로 연결된 다른 전자 장치들간의 통신에서 데이터 링크를 관리하고 통신 프로토콜을 변환하는 기능을 수행할 수 있다. CP 814는 SoC로 구현될 수 있다. 일 실시 예에서, CP 814는 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다. CP 814는, 예를 들면, 가입자 식별 모듈(예: SIM 카드 801)을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 또한, CP 814는 사용자에게 음성 통화, 영상 통화, 문자 메시지 또는 패킷 데이터(packet data) 등의 서비스들을 제공할 수 있다.

또한, CP 814는 통신 모듈 830의 데이터 송수신을 제어할 수 있다. 도 15에서는, CP 814, 전력 관리 모듈 890 또는 메모리 820 등의 구성요소들이 AP 812와 별개의 구성요소로 도시되어 있으나, 일 실시 예에 따르면, AP 812가 전술한 구성요소들의 적어도 일부(예: CP 814)를 포함하도록 구현될 수 있다.

일 실시 예에 따르면, AP 812 또는 CP 814는 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, AP 812 또는 CP 814는 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장할 수 있다.

SIM 카드 801는 가입자 식별 모듈을 포함하는 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. SIM 카드 801는 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.

메모리 820는 내장 메모리 및/또는 외장 메모리를 포함할 수 있다. 내장 메모리는, DRAM, SRAM, SDRAM 등과 같은 휘발성 메모리, 또는 OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, NOR 플래시 메모리 등과 같은 비휘발성 메모리 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 내장 메모리는 SSD일 수 있다. 외장 메모리는 CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드 또는 메모리 스틱(Memory Stick) 등과 같은 플래시 드라이브를 더 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치 800와 기능적으로 연결될 수 있다. 일 실시 예에 따르면, 전자 장치 800은 HDD와 같은 저장 장치(또는 저장 매체)를 더 포함할 수 있다.

통신 모듈 830은 무선 통신 모듈 832 및/또는 RF 모듈 834을 포함할 수 있다. 무선 통신 모듈 832은, 예를 들면, Wi-Fi, Bluetooth, GPS, 또는 NFC를 포함할 수 있다. 무선 통신 모듈 832은 무선 주파수를 이용하여 무선 통신 기능을 제공할 수 있다. 또한 무선 통신 모듈 832은 전자 장치 800를 네트워크(예: Internet, LAN, WAN, telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등)와 연결시키기 위한 네트워크 인터페이스(예: LAN card) 또는 모뎀 등을 포함할 수 있다.

RF 모듈 834은 RF 신호의 송수신과 같은 데이터 통신을 담당할 수 있다. RF 모듈 834은, 예를 들어 트랜시버, PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, RF 모듈 834은 무선 통신에서 자유 공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다. 일 실시 예에서, 안테나 시스템은 RF 모듈 834에 대응되거나, RF 모듈을 구성하는 적어도 일 부분에 해당할 수 있다.

센서 모듈 840은 물리 량을 계측하거나 전자 장치 800의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈 840은 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서(예: RGB 센서), 생체 센서, 온/습도 센서, 조도 센서 또는 UV(ultra violet) 센서 중 적어도 하나를 포함할 수 있다. 또한 센서 모듈 840은 후각 센서, EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR 센서, 홍채 센서 또는 지문 센서 등을 포함할 수 있다. 센서 모듈 840은 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.

입력 모듈 850은 터치 패널, (디지털) 펜 센서, 키(key) 또는 초음파 입력 장치를 포함할 수 있다. 터치 패널은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 상기 터치 패널은 제어 회로를 더 포함할 수도 있다. 정전식의 경우, 물리적 접촉 또는 근접 인식이 가능하다. 상기 터치 패널은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 상기 터치 패널은 사용자에게 촉각 반응을 제공할 수 있다.

디스플레이 860는 패널, 홀로그램, 또는 프로젝터 등을 포함할 수 있다. 예를 들어, 패널은 LCD 또는 AM-OLED 등일 수 있다. 또한 패널은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널은 터치 패널과 하나의 모듈로 구성될 수도 있다. 홀로그램은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은 전자 장치 800의 내부 또는 외부에 위치할 수 있다. 일 실시 예에 따르면, 디스플레이 860는 패널, 홀로그램, 또는 프로젝터를 제어하기 위한 제어 회로를 더 포함할 수 있다.

인터페이스 870는 HDMI, USB, 광통신(optical communication) 단자 또는 D-sub 단자를 포함할 수 있다. 또한 인터페이스 870는 MHL(mobile high-definition link), SD card/MMC(multi-media card) 또는 IrDA(infrared data association)를 포함할 수 있다.

오디오 모듈 880은 소리(sound)와 전기신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈 880은 스피커, 리시버, 이어폰 또는 마이크 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.

전력 관리 모듈 890은 전자 장치 800의 전력을 관리할 수 있다. 전력 관리 모듈 890은 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다.

본 명세서에 개시된 내용을 구현하기 위해서, 전자 장치 800은 도 8에 도시된 구성요소의 전부 또는 일부를 포함할 수 있다. 예를 들어, 전자 장치 800은 적어도 하나의 애플리케이션을 실행하기 위한 프로세서 810 또는 AP 812, 사용자 동작을 감지하기 위한 카메라 모듈을 포함하는 센서 모듈 840, 및 디스플레이 860을 포함할 수 있다. 또한, 감지된 사용자 동작을 분석하기 위한 GPU(미도시)와 같은 영상 처리 모듈을 포함할 수 있다. GPU는 AP 812 또는 프로세서 810에 통합되어 구현될 수 있다.

프로세서 810은 센서 모듈 840에 의해 감지된 동작에 기초하여 스크린(디스플레이 860)에 디스플레이 되는 입력 수단을 결정할 수 있다. 만약 센서 모듈 840이 어안 렌즈와 같은 광각 렌즈를 구비하는 경우, 프로세서 810은 광각렌즈에 의해 인식된 영상을 역보정하여, 사용자 동작이 왜곡되는 것을 방지하고, 감지된 사용자 동작에 적절하게 입력 인터페이스가 반응하도록 제어할 수 있다.

센서 모듈 840은 복수 개의 카메라 모듈을 포함할 수 있고, 프로세서 810(또는 GPU와 같은 영상 처리 모듈)은 복수의 카메라에 의해 감지된 영상을 처리할 수 있다. 각각의 카메라에 의해 감지되는 영역 중 중첩되는 영역에 해당하는 부분에 대한 영상 보정을 수행함으로써, 정확도 및 사용자 입력 범위를 증가시킬 수 있다.

만약 복수 개의 카메라 모듈이 좌안 영상용 모듈과 우안 영상용 모듈을 포함하는 경우, 프로세서 810은 감지되는 사용자 동작을 3D 영상으로 분석할 수 있다. 이 경우, 사용자 동작의 Y축 방향 동작에 대한 분석이 크게 개선될 수 있다. 이는 사용자 입력의 정확도 향상을 가져올 수 있다.

도 9는 본 발명의 일 실시 예에 따른 전자 장치의 입력 인터페이스 구현 프로세스 흐름도를 나타낸다. 이하의 설명에서, 전술한 내용과 중복되거나 전술한 내용에 대응될 수 있는 설명은 생략한다.

도 9를 참조하면, S910에서 전자 장치 100은 카메라 모듈을 이용하여 전방 영역을 촬영한다. 카메라 모듈은 사용자에 의해 활성화되거나, 전자 장치 100이 고정 상태에 있는 경우 자동으로 활성화 될 수 있다. S920에서, 전자 장치 100은 전방 영역에서 사용자 동작을 감지하고, 이 동작이 전자 장치 100에 미리 정의된 사용자 제스처 중 하나에 대응되는지 판단할 수 있다. 판단 결과, 사용자 동작이 미리 정의된 제스처로 인식되면, S930에서 전자 장치 100은 상기 제스처에 대응되는 입력 인터페이스를 디스플레이 할 수 있다.

일부 실시 예에서, 전자 장치 100은 제스처뿐만 아니라, 현재 스크린에 디스플레이 되고 있는 애플리케이션에 기초하여 입력 인터페이스를 결정하고, 해당 입력 인터페이스를 디스플레이 할 수 있다. 예를 들어, 현재 게임 애플리케이션이 실행 중인 경우, 전자 장치 100은 사용자 입력에 기초하여 게임 조작용 게임 패드에 대응되는 인터페이스를 제공할 수 있다. 즉, 예를 들어 도 2에서 설명한 것과 같은 키보드 140을 디스플레이 하는 사용자 동작은, 다양한 애플리케이션에 대한 다양한 입력 인터페이스를 디스플레이 하기 위해 적용될 수 있다. 만약 비디오 애플리케이션을 이용한 동영상 시청 중에 사용자가 손을 한 방향으로 쓸어 내리는 동작을 취하면, 탐색 메뉴나 볼륨 조절 메뉴, 일시 정지 또는 종료 등 동영상 재생을 제어하는 입력 인터페이스가 디스플레이 될 수 있다. (동영상 재생 중에 키보드를 디스플레이 하는 것은 무의미할 수 있다.) 사용자가 전자 장치를 고정시키고 게임 애플리케이션을 실행시킨 후 역시 동일한 동작을 입력한 경우, 해당 게임에 적절한 입력 인터페이스가 디스플레이 될 수 있다. 이와 같이 함으로써, 하나의 사용자 동작을 감지하여 실행 중인 애플리케이션에 적절한 입력 인터페이스가 디스플레이 될 수 있다.

S940에서, 카메라 모듈은 촬영되는 영역 내의 사용자 동작을 감지하고, 그에 따라 입력 인터페이스를 제어할 수 있다.

도 10은 본 발명의 다른 실시 예에 따른 사용자 입력의 구현 예시를 나타낸다.

도 10을 참조하면, 전자 장치 1000은 전자 장치 100에 도시된 것과 반대 방향으로 놓여져 있으며, 좌측 하단에 위치한 카메라 모듈 1010을 포함할 수 있다.

카메라 모듈 1010은 사용자의 손을 감지하여, 사용자 입력 지점 1001을 판단할 수 있다. 도 10에 도시된 실시 예에서, 전자 장치 1000은 사용자의 손이 감지되는 것만으로 터치 입력 인터페이스가 구현되도록 할 수 있다. 터치 입력 인터페이스는 키보드나 마우스, 게임 패드 등과 달리 어떠한 입력 수단도 도시되지 않을 수 있다. 그러나 일부 실시 예에서, 입력 지점 1001에 대응되는 터치 지점이 스크린 1020 상에서 원형 또는 기타 터치 효과 등을 이용하여 도시될 수 있다.

이제 사용자가 손을 상하좌우로 움직이면, 스크린 1020 상에 도시된 화면이 슬라이드 될 수 있다. 예를 들어, 뉴스나 플립보드(Flipboard)의 경우, 사용자가 카메라 1010에 의해 감지되는 영역에서 입력 지점 1001을 이동시킴에 따라서, 스크린을 터치하였을 때와 유사한 방식으로 다음 페이지, 이전 페이지, 또는 다음/이전 이미지 등이 디스플레이 될 수 있다. 예를 들어, 처음에 도시된 스크린 1은 사용자가 오른쪽으로 손을 움직이면(입력 지점 1001을 오른쪽으로 이동시키면) 좌측에 위치하는 페이지나 사진(예를 들어, 스크린 4)이 디스플레이 될 수 있다. 예를 들어, 사용자가 손을 아래쪽으로 움직이면, 페이지가 위쪽으로 스크롤 되거나, 혹은 당겨서 새로 고침 기능 등이 동작할 수 있다.

도 11은 본 발명의 다른 실시 예에 따른 복수 개의 카메라 모듈을 포함하는 전자 장치의 입력 인터페이스 구현 예시를 나타낸다.

도 11을 참조하면, 전자 장치 1100은 좌측 및 우측에 각각의 카메라 모듈 1110, 1112를 포함할 수 있다. 전자 장치 1100의 스크린 1120에는 게임 애플리케이션이 실행될 수 있다. 이 경우, 사용자는 카메라 모듈 1110 및 1112에 의해 감지되는 영역에 양손 200R 및 200L을 위치시킬 수 있다. 카메라 모듈 1110 및 1112는 사용자 손 200R 및 200L을 인식하고, 전자 장치 1100은 각각의 손에 의한 입력 지점 1101 및 1102를 인식할 수 있다. 전자 장치 1100은 입력 지점 1101 및 1102를 각각 게임 화면의 제어 버튼 A 및/또는 B에 대응되도록 맵핑할 수 있고, 사용자 손 200R 및 200L의 이동에 따라 입력 지점 1101 및 1102의 변화를 인식하고, 그에 따라 게임 버튼 A 및 B를 제어할 수 있다.

도 12는 본 발명의 다른 실시 예에 따른 카메라 모듈과 추가적인 센서를 이용한 전자 장치의 입력 구현 예시를 나타낸다.

도 12를 참조하면, 전자 장치 1200은 카메라 모듈 외에 추가적으로 제스처 센서 모듈을 더 포함할 수 있다. 제스처 센서의 경우, 카메라에 비하여 인식률과 인식 속도가 빠르다는 장점을 갖기 때문에, 순간적으로 변화하는 사용자 동작을 인지하고 처리하는데 효율적일 수 있다.

예를 들어, 게임 패드에서 방향키 조작은 버튼 조작에 비해서 높은 인식률과 빠른 인식 속도를 요구할 수 있다. 그에 따라, 도시된 예시에서와 같이 전자 장치 1200은 카메라 만으로 인식되는 영역 1210과 카메라와 제스처 센서에 의해 인식되는 영역 1220에서 인식되는 사용자 동작에 기초하여 입력 인터페이스를 제어할 수 있다. 예를 들어, 제스처 센서는 4개의 채널 센서와 1개의 적외선 센서(IR LED)를 이용하여 8개 방향(상, 하, 좌, 우, 좌상, 좌하, 우상, 우하)을 인식할 수 있다. 따라서 제스처 센서를 이용하면 조이스틱 또는 게임 패드의 방향키에 대응되는 입력 인터페이스를 구현하는 것이 용이하다. 따라서, 방향키 부분은 카메라 및 제스처 센서를 통해 사용자 동작을 감지하고, 입력 버튼 부분은 카메라를 통해 사용자 동작을 감지하여 방향 제어 1222 및 선택 제어 1212를 지원하는 효과적인 입력 인터페이스를 구현할 수 있다.

이상 본 명세서를 통해 개시된 모든 실시 예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

1. 전자 장치의 입력 인터페이스 구현 방법에 있어서,
   상기 전자 장치의 카메라를 이용하여 상기 전자 장치의 전방 영역을 촬영하는 동작;
   사용자 손에 의한 미리 정의된 제스처가 인식되면, 상기 제스처에 기초한 입력 인터페이스를 상기 전자 장치의 스크린에 디스플레이 하는 동작; 및
   상기 카메라에 의해 감지된 상기 사용자 손의 움직임에 따라 상기 입력 인터페이스를 제어하는 동작을 포함하는 방법.
2. 제1항에 있어서,
   상기 입력 인터페이스를 디스플레이 하는 동작은, 상기 사용자 손이 일 방향으로 소정 거리 이상 이동하는 제스처가 인식되면, 키보드를 입력 인터페이스로서 디스플레이 하는 것을 특징으로 하는 방법.
3. 제2항에 있어서,
   상기 사용자 손 중 하나의 손가락에 해당하는 영역에 상기 키보드의 미리 정의된 키를 위치시키는 것을 특징으로 하는 방법.
4. 제3항에 있어서,
   상기 키보드가 쿼티(QWERTY) 키보드인 경우, 검지 손가락 영역에 "J" 또는 "F" 키가 위치하는 것을 특징으로 하는 방법.
5. 제3항에 있어서,
   상기 입력 인터페이스를 제어하는 동작은, 상기 사용자 손의 위치가 변경되면 상기 변경된 위치에 대응되는 키를 강조하는 것을 특징으로 하는 방법.
6. 제3항에 있어서,
   상기 입력 인터페이스를 제어하는 동작은, 상기 사용자 손의 움직임에 따라, 상기 손가락에 대응되는 키가 입력되도록 하는 것을 특징으로 하는 방법.
7. 제2항에 있어서,
   상기 사용자의 손이 반대방향으로 소정 거리 이상 이동하는 제스처가 인식되면, 상기 키보드를 디스플레이 하지 않는 것을 특징으로 하는 방법.
8. 제1항에 있어서,
   상기 입력 인터페이스를 디스플레이 하는 동작은, 상기 사용자 손이 좌우로 미리 정의된 횟수만큼 왕복하는 제스처가 인식되면 마우스 커서를 입력 인터페이스로서 디스플레이 하는 것을 특징으로 하는 방법.
9. 제8항에 있어서,
   상기 마우스 커서가 디스플레이 되는 위치는, 상기 카메라에 의해 감지되는 영역에서 상기 사용자 손의 위치에 기초하여 결정되는 것을 특징으로 하는 방법.
10. 제1항에 있어서,
    상기 입력 인터페이스를 디스플레이 하는 동작은, 상기 제스처가 인식되면, 상기 제스처 및 현재 전자 장치에서 디스플레이 되고 있는 애플리케이션에 기초하여 입력 인터페이스를 디스플레이 하는 것을 특징으로 하는 방법.
11. 제10항에 있어서,
    상기 입력 인터페이스를 제어하는 동작은, 상기 카메라에 의해 인식된 상기 사용자의 양손의 움직임에 기초하여 상기 제어를 수행하는 것을 특징으로 하는 방법.
12. 동작 감지를 이용하여 입력 인터페이스를 제공하는 전자 장치에 있어서,
    애플리케이션을 실행하는 프로세서;
    사용자 동작을 감지하는 적어도 하나의 카메라 모듈;
    상기 감지된 동작을 분석하는 영상처리 모듈; 및
    상기 애플리케이션과 입력 수단이 디스플레이 되는 스크린을 포함하고,
    상기 프로세서는 상기 애플리케이션 및 상기 감지된 동작에 기초하여 상기 디스플레이 되는 입력 수단을 결정하는 것을 특징으로 하는 장치.
13. 제12항에 있어서,
    상기 카메라 모듈은 어안렌즈를 포함하고,
    상기 영상처리 모듈은 상기 어안렌즈에 의해 인식된 영상을 역보정하는 것을 특징으로 하는 장치.
14. 제12항에 있어서,
    상기 카메라 모듈은 좌안 영상 촬영 모듈과 우안 영상 촬영 모듈을 포함하고,
    상기 영상처리 모듈은 상기 좌안 영상 촬영 모듈과 상기 우안 영상 촬영 모듈에 의해 감지된 동작을 3D 영상으로 분석하는 것을 특징으로 하는 장치.
15. 제12항에 있어서,
    상기 프로세서는 상기 카메라에 의해 감지된 동작에 따라 상기 디스플레이 된 입력 수단을 제어하는 것을 특징으로 하는 장치.

Images