KR20150026535A

KR20150026535A - 촬영된 영상을 이용하여 객체를 인식하는 방법 및 컴퓨터 판독 가능한 기록 매체

Info

Publication number: KR20150026535A
Application number: KR20130105519A
Authority: KR
Inventors: 이기혁; 이경희; 허창룡
Original assignee: 삼성전자주식회사
Priority date: 2013-09-03
Filing date: 2013-09-03
Publication date: 2015-03-11
Also published as: EP2843510A2; EP2843510B1; US9412001B2; KR102157313B1; EP2843510A3; US20150063661A1

Abstract

본 발명의 일 실시 예에 따른 전자 장치에서 객체를 인식하는 방법은, 카메라 모듈을 이용하여 영상을 촬영하는 과정; 상기 촬영된 영상으로부터 인식된 정보를 통신 네트워크를 통해 연결된 외부의 전자 장치로 전송하는 과정; 상기 외부의 전자 장치로부터 상기 인식된 정보와 관련된 정보를 수신하는 과정; 및 상기 수신된 정보를 표시부에 표시하는 과정을 포함할 수 있다. 또한, 본 발명은 다른 실시 예가 가능하다.

Description

촬영된 영상을 이용하여 객체를 인식하는 방법 및 컴퓨터 판독 가능한 기록 매체{METHOD AND COMPUTER READABLE RECORDING MEDIUM FOR RECOGNIZING AN OBJECT USING A CAPTURED IMAGE}

본 발명은 촬영된 영상으로부터 객체를 인식하여 인식된 객체와 관련된 정보를 제공하는 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

촬영된 영상으로부터 객체를 인식하는 방법 중에서, 손가락 인식은 다른 인식 대상에 비해 비교적 형태가 일정하여 인식이 용이하다. 그러나 초기에 손가락을 찾기 위해서는 다양한 크기와 각도에 대한 특징점 비교를 수행해야 한다.

손가락 인식 방법의 예로서 손가락의 형태를 템플릿으로 저장한 후 촬영된 영상 내에서 저장된 템플릿과 유사한 형태가 발견되면, 이를 손가락으로 인식하는 방법이 있다.

또한, 손가락 인식 방법의 다른 예로서, 인식률 향상을 위해 피부색을 이용할 수도 있다. 손가락의 인식 이후에는 인식된 손가락을 추적함으로써 손끝의 이동 경로를 파악할 수 있다. 이때에는 손가락의 크기, 각도 변화 등을 고려하여 위치를 파악할 수 있는 LK(Lucas-Kanade) 방식을 이용할 수도 있다.

그러나, 손가락의 인식을 통한 입력시에는 일반적으로 모든 경우에 대해 동작하여야 하기 때문에, 상기 방법을 이용하면 저장된 손가락 템플릿의 다양한 변수(예컨대, 다양한 크기, 다양한 각도 등)에 대해 인식을 수행하여야 한다. 한편, 해당 변수를 많이 고려할수록 인식률은 증가하지만 그에 필요한 연산이 증가하게 된다. 또한, 촬영된 영상의 모든 영역에 대해 해당 연산을 수행하여야 하기 때문에 고화질 영상일수록 복잡한 연산이 필요하게 된다.

이를 해결하기 위해, 본 발명의 일 실시 예는 제1 전자 장치에서 촬영된 영상으로부터 인식된 정보를 제2 전자 장치로 전송함으로써, 촬영된 영상과 관련된 정보를 제공할 수 있는 객체를 인식하는 방법 및 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.

또한, 본 발명의 일 실시 예는 전자 장치에서 촬영된 영상 중 미리 설정된 적어도 일부 영역 내에서 손가락 이미지를 검출함으로써 인식 프로세스의 효율을 높일 수 있는 객체를 인식하는 방법 및 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.

본 발명의 일 실시 예에 따르면, 전자 장치에서 객체를 인식하는 방법은, 카메라 모듈을 이용하여 영상을 촬영하는 과정; 상기 촬영된 영상으로부터 인식된 정보를 통신 네트워크를 통해 연결된 외부의 전자 장치로 전송하는 과정; 상기 외부의 전자 장치로부터 상기 인식된 정보와 관련된 정보를 수신하는 과정; 및 상기 수신된 정보를 표시부에 표시하는 과정을 포함할 수 있다.

또한, 본 발명의 다른 실시 예에 따르면, 전자 장치에서 객체를 인식하는 방법은, 카메라 모듈을 이용하여 영상을 촬영하는 과정; 상기 촬영된 영상의 전체 영역 중 미리 설정된 적어도 일부 영역 내에서 손가락 이미지를 검출하는 과정; 상기 촬영된 영상에서 상기 손가락 이미지가 검출된 위치에 근접한 미리 설정된 크기의 영역 내에서 적어도 하나의 객체를 검출하는 과정; 및 상기 검출된 객체의 유형과 관련된 동작을 수행하는 과정;을 포함할 수 있다.

또한, 본 발명의 다른 실시 예에 따르면, 전자 장치에서 객체를 인식하는 방법은, 손의 적어도 일부 영역에 적외선 광원을 조사하는 과정; 적외선 카메라로 영상을 촬영하는 과정; 상기 촬영된 영상의 전체 영역 중 미리 설정된 적어도 일부 영역 내에서 패턴을 추출하는 과정; 및 상기 추출된 패턴으로 사용자를 인증하는 과정을 포함할 수 있다.

또한, 본 발명의 다른 실시 예에 따르면, 전자 장치에서 객체를 인식하는 방법은, 제1 전자 장치에서 손의 적어도 일부 영역에 적외선 광원을 조사하는 과정; 제2 전자 장치에서 상기 손의 적어도 일부 영역을 포함하는 적외선 영상을 획득하는 과정; 및 상기 획득한 적외선 영상으로부터 상기 손의 위치를 검출하는 과정을 포함할 수 있다.

또한, 본 발명의 다른 실시 예에 따르면, 전자 장치에서 객체를 인식하는 방법은, 카메라 모듈을 이용하여 영상을 촬영하는 과정; 상기 촬영된 영상의 전체 영역 중 미리 설정된 적어도 일부 영역 내에서 손가락 이미지를 검출하는 과정; 및 상기 촬영된 영상에서 상기 손가락 이미지가 검출된 위치가 미리 설정된 복수의 위치들 중에서 특정 위치에 가장 근접할 경우 상기 검출된 손가락을 상기 특정 위치에 대응하는 손가락으로 인식하는 과정;을 포함할 수 있다.

또한, 본 발명의 다른 실시 예에 따르면, 전자 장치에서 객체를 인식하는 방법은, 제1 전자 장치에서 촬영된 영상으로부터 사용자 손의 적어도 하나의 손가락 이미지를 검출하는 과정; 제2 전자 장치에서 촬영된 영상으로부터 상기 손의 이미지를 검출하는 과정; 상기 제2 전자 장치에서 상기 검출된 손의 움직임에 따라 제스쳐를 판단하는 과정; 및 상기 제1 전자 장치에서 검출된 손가락 이미지의 검출 결과에 따라 상기 판단한 각 제스쳐에 대응하는 상이한 동작을 수행하는 과정;을 포함할 수 있다.

또한, 본 발명의 다른 실시 예에 따르면, 전자 장치에서 객체를 인식하는 방법은, 복수의 전자 장치들이 통신으로 연결되는 과정; 상기 복수의 전자 장치들 중 제1 전자 장치에서 제2 전자 장치가 포함된 영상을 촬영하는 과정; 상기 촬영된 영상의 전체 영역 중 미리 설정된 적어도 일부 영역 내에서 손가락 이미지를 검출하는 과정; 상기 복수의 전자 장치들 중에서 상기 손가락 이미지가 검출된 위치에 근접한 전자 장치를 선택하는 과정; 및 상기 선택된 전자 장치에 대한 제어 신호를 상기 선택된 전자 장치로 전송하는 과정을 포함할 수 있다.

한편, 상기 전자 장치에서 객체를 인식하는 방법에 대한 정보는 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있다. 이러한 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 기록매체를 포함한다. 그 예로는, 롬(Read Only Memory), 램(Random Access Memory), CD(Compact Disk), DVD(Digital Video Disk)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치, 임베디드 멀티미디어 카드(eMMC) 등이 있으며, 또한 케리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다. 또한, 이러한 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

본 발명의 일 실시 예에 따르면, 제1 전자 장치에서 촬영된 영상으로부터 인식된 정보를 제2 전자 장치로 전송하거나 정보 검색 서버로 전송함으로써, 촬영된 영상과 관련된 보다 구체적인 정보를 효과적으로 제공할 수 있다.

또한, 본 발명의 실시 예에 따르면, 제1 전자 장치에서 촬영된 영상 중 미리 설정된 적어도 일부 영역 내에서 손가락 이미지를 검출함으로써 인식 프로세스의 효율을 높일 수 있으며, 이러한 프로세싱 감소로 인한 전력소모 감소 및 처리시간 감소의 효과를 제공할 수 있다.

또한, 본 발명의 실시 예에 따르면, 웨어러블 장치에 의해 한 손을 이용한 텍스트 스캔이 가능하며, 영상을 이용한 디바이스 제어시 간편한 입력 수단을 제공할 수 있다.

도 1은 본 발명의 실시 예에 따른 시스템을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 객체를 인식하여 관련된 정보를 제공하는 절차를 나타내는 신호 흐름도이다.
도 3은 본 발명의 다른 실시 예에 따른 객체를 인식하여 관련된 정보를 제공하는 절차를 나타내는 신호 흐름도이다.
도 4는 본 발명의 또 다른 실시 예에 따른 객체를 인식하여 관련된 정보를 제공하는 절차를 나타내는 신호 흐름도이다.
도 5는 본 발명의 실시 예에 따른 웨어러블 장치를 이용하여 촬영된 영상과 관련된 정보를 제공하는 예를 나타내는 도면이다.
도 6은 본 발명의 다른 실시 예에 따른 웨어러블 장치를 이용하여 촬영된 영상과 관련된 정보를 제공하는 예를 나타내는 도면이다.
도 7은 본 발명의 실시 예에 따른 손가락 식별을 이용하여 객체를 인식하는 절차를 나타내는 흐름도이다.
도 8은 본 발명의 실시 예에 따른 웨어러블 장치의 착용 예를 나타내는 도면이다.
도 9는 본 발명의 실시 예에 따른 웨어러블 장치에서의 영상 촬영의 예를 나타내는 도면이다.
도 10은 본 발명의 다른 실시 예에 따른 웨어러블 장치에서의 영상 촬영의 예를 나타내는 도면이다.
도 11은 본 발명의 실시 예에 따른 촬영된 영상에서 손가락 식별을 위한 영역을 나타내는 도면이다.
도 12는 본 발명의 실시 예에 따른 촬영된 영상에서 설정된 영역을 통한 손가락 식별 방법을 나타내는 도면이다.
도 13은 본 발명의 실시 예에 따른 촬영된 영상에서 손가락 식별 결과를 나타내는 도면이다.
도 14는 본 발명의 실시 예에 따른 촬영된 영상에서 복수의 손가락 식별 결과를 나타내는 도면이다.
도 15는 본 발명의 실시 예에 따른 손가락 식별을 통해 객체를 인식하는 예를 나타내는 도면이다.
도 16은 본 발명의 다른 실시 예에 따른 손가락 식별을 통해 객체를 인식하는 예를 나타내는 도면이다.
도 17 및 도 18은 본 발명의 실시 예에 따른 손가락 식별을 통해 텍스트를 인식하여 표시하는 예를 나타내는 도면이다.
도 19 내지 도 21은 본 발명의 실시 예에 따른 복수의 손가락 식별을 통해 영역을 선택하는 예를 나타내는 도면이다.
도 22는 본 발명의 실시 예에 따른 촬영된 영상을 식별하여 디바이스를 제어하는 절차를 나타내는 신호 흐름도이다.
도 23 내지 도 25는 본 발명의 실시 예에 따른 촬영된 영상을 식별하여 연동된 디바이스를 제어하는 예를 나타내는 도면이다.
도 26 내지 도 28은 본 발명의 다른 실시 예에 따른 촬영된 영상을 식별하여 연동된 디바이스를 제어하는 예를 나타내는 도면이다.
도 29 내지 도 31은 본 발명의 또 다른 실시 예에 따른 촬영된 영상을 식별하여 연동된 디바이스를 제어하는 예를 나타내는 도면이다.
도 32는 본 발명의 실시 예에 따른 웨어러블 장치에서 IR 광을 조사하는 예를 나타내는 도면이다.
도 33은 본 발명의 실시 예에 따른 웨어러블 장치에서 IR 광에 의해 정맥 영상을 획득하는 예를 나타내는 도면이다.
도 34 내지 도 37은 본 발명의 실시 예에 따른 웨어러블 장치에서 IR 광원을 이용하여 손 또는 손가락을 검출하는 예를 나타내는 도면이다.
도 38은 본 발명의 실시 예에 따라 제1 단말에서 손을 검출하는 예를 나타내는 도면이다.
도 39는 본 발명의 실시 예에 따라 제2 단말에서 손가락을 검출하는 예를 나타내는 도면이다.
도 40은 본 발명의 실시 예에 따라 제1 단말에서 제스쳐를 인식하는 예를 나타내는 도면이다.
도 41은 본 발명의 실시 예에 따라 촬영된 영상을 분석하여 객체를 식별하고, 관련된 정보를 제공하는 절차를 나타내는 신호 흐름도이다.
도 42는 본 발명의 실시 예에 따라 촬영된 영상을 분석하여 와인 라벨을 식별하는 예를 나타내는 도면이다.
도 43은 본 발명의 실시 예에 따라 식별된 와인 라벨의 관련 정보를 표시하는 예를 나타내는 도면이다.
도 44 및 도 45는 본 발명의 실시 예에 따른 촬영된 영상으로부터 객체 식별을 위한 메뉴 표시의 예를 나타내는 도면이다.
도 46은 본 발명의 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블록도이다.
도 47은 본 발명의 실시 예에 따른 웨어러블 장치의 예를 나타내는 사시도이다.
도 48은 본 발명의 실시 예에 따른 전자 장치의 예를 나타내는 사시도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하여 상세하게 설명한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명의 실시 예들은 제1 전자 장치에서 촬영된 영상으로부터 인식된 정보를 제2 전자 장치로 전송함으로써, 촬영된 영상과 관련된 정보를 제공할 수 있는 객체를 인식하는 전자 장치 및 방법을 개시한다.

또한, 본 발명의 실시 예들은 전자 장치에서 촬영된 영상 중 미리 설정된 적어도 일부 영역 내에서 손가락 이미지를 검출하도록 함으로써 인식 프로세스의 효율을 높일 수 있는 객체를 인식하는 전자 장치 및 방법을 개시한다.

한편, 후술하는 본 발명의 실시 예들에 대한 설명에서, '전자 장치'는 적어도 하나의 프로세서를 구비하는 임의의 장치일 수 있으며, 카메라, 휴대 장치, 이동 단말, 통신 단말, 휴대용 통신 단말, 휴대용 이동 단말 등을 포함할 수 있다. 예를 들어, 전자 장치는 디지털 카메라, 스마트폰, 휴대폰, 게임기, 텔레비전(TV), 디스플레이 장치, 차량용 헤드 유닛, 노트북 컴퓨터, 랩탑 컴퓨터, 태블릿(Tablet) 컴퓨터, PMP(Personal Media Player), PDA(Personal Digital Assistants), 내비게이션 장치, 은행의 ATM, 상점의 POS 장치 등일 수 있다. 또한, 본 발명의 실시 예들에서의 전자 장치는 플렉서블 장치 또는 플렉서블 디스플레이 장치일 수 있다. 또한, 본 발명의 실시 예들에서의 전자 장치는 웨어러블 장치(예컨대, 시계형 장치, 안경형 장치, 의류형 장치 등)일 수도 있다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시 예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

먼저, 도 1을 참조하여 본 발명의 실시 예에 따른 시스템의 구조를 설명하며, 다음으로 도 2 내지 도 4를 참조하여 본 발명의 실시 예에 따른 절차를 상세히 설명한다.

도 1은 본 발명의 실시 예에 따른 시스템을 나타내는 도면이다. 도 1을 참조하면, 본 발명의 실시 예에 따른 시스템은 제1 전자 장치(100a) 및 제2 전자 장치(100b)를 포함하여 구성될 수 있다. 또한, 본 발명의 다른 실시 예에 따라 정보 검색 서버(102)를 더 포함하여 구성될 수도 있다.

본 발명의 실시 예에 따라 제1 전자 장치(100a)에 구비된 카메라 모듈을 통해 영상이 촬영되면, 촬영된 영상 정보 또는 촬영된 영상으로부터 인식된 인식 정보가 제2 전자 장치(100b)로 전송될 수 있다. 이때, 상기 제1 전자 장치(100a)와 제2 전자 장치(100b)는 유무선 통신 수단을 통해 서로 통신할 수 있으며, 상기 제1 전자 장치(100a)와 제2 전자 장치(100b)가 근거리에 위치할 경우, 유선 통신 수단 또는 근거리 무선 통신 수단에 의해 서로 통신할 수 있다.

한편, 상기 촬영된 영상으로부터 인식된 인식 정보는 촬영된 영상으로부터 인식된 객체의 종류(예컨대, 바코드, QR 코드, 와인라벨, 물체, 사람의 신체, 얼굴 등)와 관련된 정보일 수도 있으며, 촬영된 영상으로부터 인식된 객체의 영역을 포함하는 적어도 일부의 영상 정보일 수도 있으며, 촬영된 영상으로부터 인식된 객체를 분석한 정보(예컨대, 바코드 식별 정보, QR 코드 분석 정보, 피처 포인트 정보(descriptor) 등)일 수도 있다.

이와 같이, 제2 전자 장치(100b)로 촬영된 영상과 관련된 인식 정보가 전송되면, 제2 전자 장치(100b)에서는 장치 내에 저장된 데이터베이스 또는 장치 내에 설치된 애플리케이션 등을 이용하여 상기 인식 정보와 관련된 정보를 검색한다. 상기 인식 정보와 관련된 정보는 촬영된 영상으로부터 인식된 객체와 관련된 상세 정보일 수 있다.

상기 검색된 인식 정보와 관련된 정보는 상기 제2 전자 장치(100b)에 구비된 표시부를 통해 디스플레이될 수 있다. 또한, 본 발명의 다른 실시 예에 따라, 상기 검색된 인식 정보와 관련된 정보는 상기 제1 전자 장치(100a)로 전송될 수 있다. 상기 제1 전자 장치(100a)에서는 상기 제2 전자 장치(100b)로부터 전송된 인식 정보와 관련된 정보를 표시부를 통해 디스플레이할 수 있다.

또한, 본 발명의 다른 실시 예에 따라 상기 제2 전자 장치(100b)에서는 통신 네트워크(101)를 통해 정보 검색 서버(102)로 상기 인식 정보와 관련된 정보의 검색을 요청할 수 있다. 정보 검색 서버(102)에서는 상기 제2 전자 장치(100b)로부터의 검색 요청에 따라 상기 인식 정보와 관련된 정보를 검색하고, 검색된 결과를 다시 통신 네트워크(101)를 통해 제2 전자 장치(100b)로 제공한다.

상기 정보 검색 서버(102)로부터 제2 전자 장치(100b)로 제공된 인식 정보와 관련된 정보는 상기 제2 전자 장치(100b)에 구비된 표시부를 통해 디스플레이될 수 있다. 또한, 상기 정보 검색 서버(102)로부터 제2 전자 장치(100b)로 제공된 인식 정보와 관련된 정보는 상기 제1 전자 장치(100a)로 다시 전송될 수 있다. 상기 제1 전자 장치(100a)에서는 상기 제2 전자 장치(100b)로부터 전송된 인식 정보와 관련된 정보를 표시부를 통해 디스플레이할 수 있다.

상기 통신 네트워크(101)는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 통신 네트워크(101)는 공지의 월드와이드웹(WWW; World Wide Web)일 수 있으며, 적외선(Infrared Data Association; IrDA) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선전송기술을 이용할 수도 있다. 또한, 상기 통신 네트워크(101)는 방송 신호를 수신하기 위한 케이블 방송 통신망, 지상파 방송 통신망, 위성 방송 통신망 등을 포함할 수도 있다.

이하, 도 2 내지 도 4를 참조하여 본 발명의 실시 예에 따른 객체를 인식하여 관련된 정보를 제공하는 절차를 설명한다.

도 2는 본 발명의 실시 예에 따른 객체를 인식하여 관련된 정보를 제공하는 절차를 나타내는 신호 흐름도이다. 도 2를 참조하면, 제1 전자 장치(100a)와 제2 전자 장치(100b)는 통신으로 연결(202)된다. 상기 제1 전자 장치(100a)와 제2 전자 장치(100b)는 동일 또는 유사한 종류의 전자 장치일 수도 있으며, 상이한 종류의 전자 장치일 수도 있다. 예컨대, 제1 전자 장치(100a)는 웨어러블 장치(wearable device)(예컨대, 시계형 장치, 안경형 장치)일 수 있으며, 제2 전자 장치(100b)는 스마트폰일 수 있다. 그러나, 본 발명이 상기 장치들에 한정되는 것은 아니다.

상기 제1 전자 장치(100a)와 제2 전자 장치(100b)는 다양한 통신 방식에 의해 통신으로 연결될 수 있으며, 전술한 바와 같이 상기 제1 전자 장치(100a)와 제2 전자 장치(100b)가 근거리에 위치할 경우, 유선 통신 수단 또는 근거리 무선 통신 수단에 의해 서로 통신으로 연결될 수 있다.

제1 전자 장치(100a)에 구비된 카메라 모듈을 통해 영상이 촬영(204)되면, 촬영된 영상으로부터 정보를 인식(206)한다. 상기 촬영된 영상으로부터 인식된 정보는 제2 전자 장치(100b)로 전송(208)될 수 있다. 상기 촬영된 영상으로부터 인식된 인식 정보는 전술한 바와 같이 촬영된 영상으로부터 인식된 객체의 종류(예컨대, 바코드, QR 코드, 와인라벨, 물체, 사람의 신체, 얼굴 등)와 관련된 정보일 수도 있으며, 촬영된 영상으로부터 인식된 객체의 영역을 포함하는 적어도 일부의 영상 정보일 수도 있으며, 촬영된 영상으로부터 인식된 객체를 분석한 정보(예컨대, 바코드 식별 정보, QR 코드 분석 정보 등)일 수도 있다.

제2 전자 장치(100b)로 촬영된 영상과 관련된 인식 정보가 전송되면, 제2 전자 장치(100b)에서는 장치 내에 저장된 데이터베이스 또는 장치 내에 설치된 애플리케이션 등을 이용하여 상기 인식 정보와 관련된 정보를 검색(210)한다. 상기 인식 정보와 관련된 정보는 촬영된 영상으로부터 인식된 객체와 관련된 상세 정보일 수 있다.

상기 검색된 인식 정보와 관련된 정보는 상기 제2 전자 장치(100b)에서 상기 제1 전자 장치(100a)로 전송(212)될 수 있다. 상기 제1 전자 장치(100a)에서는 상기 제2 전자 장치(100b)로부터 전송된 인식 정보와 관련된 정보를 표시부를 통해 디스플레이(214)할 수 있다.

도 3은 본 발명의 다른 실시 예에 따른 객체를 인식하여 관련된 정보를 제공하는 절차를 나타내는 신호 흐름도이다. 도 3을 참조하면, 제1 전자 장치(100a)와 제2 전자 장치(100b)는 통신으로 연결(302)된다. 상기 제1 전자 장치(100a)와 제2 전자 장치(100b)는 동일 또는 유사한 종류의 전자 장치일 수도 있으며, 상이한 종류의 전자 장치일 수도 있다. 예컨대, 전술한 바와 같이 제1 전자 장치(100a)는 웨어러블 장치(wearable device)(예컨대, 시계형 장치, 안경형 장치)일 수 있으며, 제2 전자 장치(100b)는 스마트폰일 수 있다. 그러나, 본 발명이 상기 장치들에 한정되는 것은 아니다.

제1 전자 장치(100a)에 구비된 카메라 모듈을 통해 영상이 촬영(304)되면, 촬영된 영상으로부터 정보를 인식(306)한다. 상기 촬영된 영상으로부터 인식된 정보는 제2 전자 장치(100b)로 전송(308)될 수 있다. 상기 촬영된 영상으로부터 인식된 인식 정보는 전술한 바와 같이 촬영된 영상으로부터 인식된 객체의 종류(예컨대, 바코드, QR 코드, 와인라벨, 물체, 사람의 신체, 얼굴 등)와 관련된 정보일 수도 있으며, 촬영된 영상으로부터 인식된 객체의 영역을 포함하는 적어도 일부의 영상 정보일 수도 있으며, 촬영된 영상으로부터 인식된 객체를 분석한 정보(예컨대, 바코드 식별 정보, QR 코드 분석 정보, 피처 포인트 정보(descriptor) 등)일 수도 있다.

제2 전자 장치(100b)로 촬영된 영상과 관련된 인식 정보가 전송되면, 제2 전자 장치(100b)에서는 장치 내에 저장된 데이터베이스 또는 장치 내에 설치된 애플리케이션 등을 이용하여 상기 인식 정보와 관련된 정보를 검색(310)한다. 상기 인식 정보와 관련된 정보는 촬영된 영상으로부터 인식된 객체와 관련된 상세 정보일 수 있다.

상기 검색된 인식 정보와 관련된 정보는 상기 제2 전자 장치(100b)의 표시부를 통해 디스플레이(312)될 수 있다.

도 4는 본 발명의 또 다른 실시 예에 따른 객체를 인식하여 관련된 정보를 제공하는 절차를 나타내는 신호 흐름도이다. 도 4를 참조하면, 제1 전자 장치(100a)와 제2 전자 장치(100b)는 통신으로 연결(402)된다. 상기 제1 전자 장치(100a)와 제2 전자 장치(100b)는 동일 또는 유사한 종류의 전자 장치일 수도 있으며, 상이한 종류의 전자 장치일 수도 있다. 예컨대, 전술한 바와 같이 제1 전자 장치(100a)는 웨어러블 장치(wearable device)(예컨대, 시계형 장치, 안경형 장치)일 수 있으며, 제2 전자 장치(100b)는 스마트폰일 수 있다. 그러나, 본 발명이 상기 장치들에 한정되는 것은 아니다.

제1 전자 장치(100a)에 구비된 카메라 모듈을 통해 영상이 촬영(404)되면, 촬영된 영상으로부터 정보를 인식(406)한다. 상기 촬영된 영상으로부터 인식된 정보는 제2 전자 장치(100b)로 전송(408)될 수 있다. 상기 촬영된 영상으로부터 인식된 인식 정보는 전술한 바와 같이 촬영된 영상으로부터 인식된 객체의 종류(예컨대, 바코드, QR 코드, 와인라벨, 물체, 사람의 신체, 얼굴 등)와 관련된 정보일 수도 있으며, 촬영된 영상으로부터 인식된 객체의 영역을 포함하는 적어도 일부의 영상 정보일 수도 있으며, 촬영된 영상으로부터 인식된 객체를 분석한 정보(예컨대, 바코드 식별 정보, QR 코드 분석 정보, 피처 포인트 정보(descriptor) 등)일 수도 있다.

제2 전자 장치(100b)로 촬영된 영상과 관련된 인식 정보가 전송되면, 제2 전자 장치(100b)에서는 장치 내에 저장된 데이터베이스 또는 장치 내에 설치된 애플리케이션 등을 이용하여 상기 인식 정보와 관련된 정보를 검색(310)하거나, 전송된 인식 정보를 정보 검색 서버(102)로 전송하여 관련된 정보의 검색을 요청(412)할 수 있다. 이때, 먼저 제2 전자 장치(100b)에서 인식 정보와 관련된 정보의 검색을 수행한 후, 검색 결과가 존재하지 않으면, 정보 검색 서버(102)로 검색을 요청하도록 구현할 수도 있다. 또한, 다른 실시 예에 따라 제2 전자 장치(100b)에서 검색한 결과와 정보 검색 서버(102)를 통해 검색된 결과를 종합하여 정보를 제공할 수도 있다.

정보 검색 서버(102)에서는 상기 제2 전자 장치(100b)로부터의 검색 요청에 따라 상기 인식 정보와 관련된 정보를 검색(414)하고, 검색된 결과를 다시 통신 네트워크(101)를 통해 제2 전자 장치(100b)로 전송(416)한다.

상기 정보 검색 서버(102)로부터 제2 전자 장치(100b)로 제공된 인식 정보와 관련된 정보는 상기 제2 전자 장치(100b)에 구비된 표시부를 통해 디스플레이(418)될 수 있다. 또한, 상기 정보 검색 서버(102)로부터 제2 전자 장치(100b)로 제공된 인식 정보와 관련된 정보는 상기 제1 전자 장치(100a)로 전송(420)될 수 있다. 상기 제1 전자 장치(100a)에서는 상기 제2 전자 장치(100b)로부터 전송된 인식 정보와 관련된 정보를 표시부를 통해 디스플레이(422)할 수 있다.

이하, 도 5 내지 도 45를 참조하여, 본 발명의 실시 예에 따라 웨어러블 장치를 통해 객체를 인식하는 방법 및 인식된 객체와 관련된 정보를 제공하는 방법의 다양한 실시 예들을 설명하기로 한다. 한편, 후술하는 설명에서는 웨어러블 장치의 예로서 시계형 장치 또는 안경형 장치를 예를 들어 설명하나, 본 발명의 실시 예들이 상기 시계형 장치 또는 안경형 장치로 한정되는 것은 아니다.

도 5는 본 발명의 실시 예에 따른 웨어러블 장치를 이용하여 촬영된 영상과 관련된 정보를 제공하는 예를 나타내는 도면이다. 도 5를 참조하면, 제1 전자 장치(500)가 시계형 장치일 경우, 사용자가 제1 전자 장치(500)를 손목에 착용한 상태에서 상기 제1 전자 장치(500)에 구비된 카메라 모듈(501)을 통해 영상을 촬영할 수 있다.

제1 전자 장치(500)를 통해 촬영된 영상(511)에는 사용자의 손(512)의 적어도 일부분이 포함될 수 있다. 예컨대, 제1 전자 장치(500)를 손목에 착용하였기 때문에 촬영된 영상의 일정한 위치(예컨대, 촬영된 영상(511)의 하단)에 손(512)의 일부(예컨대, 손등 부분) 또는 손가락이 포함될 수 있다. 따라서, 사용자가 특정 객체(514)(예컨대, 상기 도 5에서는 음식이 담긴 그릇)를 손가락으로 가리키면 상기 손가락에 근접한 객체(514)를 식별하고, 상기 식별된 객체(514)를 포함하는 영역(513)에 대한 분석을 수행할 수 있다. 이와 같이, 본 발명의 실시 예에 따라 상기 식별된 객체(514)를 포함하는 영역(513)에 대한 분석을 통해 식별된 객체와 관련된 상세 정보들을 얻을 수 있다. 이때, 본 발명의 실시 예에 따라 상기 카메라 모듈(501)을 통해 촬영된 영상(511)의 전체 이미지에서 상기 객체(514)를 식별할 수도 있으며, 본 발명의 다른 실시 예에 따라 상기 촬영된 영상(511)의 일정 영역 내에 포함된 손가락을 먼저 검출하고, 상기 검출된 손가락에 근접한 객체(514)를 식별할 수도 있다.

한편, 상기 제1 전자 장치(500)에서 상기 식별된 객체(514)를 포함하는 영역(513)에 대한 분석이 가능할 경우, 상기 제1 전자 장치(500)에서 자체적으로 분석을 수행한 후, 분석 결과를 상기 제1 전자 장치(500)의 표시부에 표시할 수 있다. 또한, 다른 실시 예에 따라 상기 제1 전자 장치(500)에서 분석된 결과를 통신으로 연결된(예컨대, 페어링된(paired)) 제2 전자 장치(520)로 전송할 수 있다. 제2 전자 장치(520)에서는 상기 제1 전자 장치(500)로부터 분석된 결과를 수신하여 표시부(521)(예컨대, 터치 스크린)에 표시할 수 있다.

또한, 다른 실시 예에 따라, 상기 제1 전자 장치(500)를 통해 상기 식별된 객체(514)를 포함하는 영역(513)에 대한 분석이 불가능할 경우, 상기 제1 전자 장치(500)에서 촬영된 영상(511) 또는 상기 전체 촬영된 영상(511) 중 식별된 객체(514)를 포함하는 영역(513)에 대한 영상 정보를 제2 전자 장치(520)로 전송할 수 있다. 제2 전자 장치(520)에서는 상기 제1 전자 장치(500)로부터 전송된 정보를 분석하여 상기 식별된 객체와 관련된 정보를 표시부(521)에 표시할 수 있다. 또한, 전술한 바와 같이 상기 제2 전자 장치(520)에서 통신 네트워크(101)를 통해 정보 검색 서버(102)로 상기 촬영된 영상과 관련된 정보(예컨대, 촬영된 영상(511) 또는 식별된 객체를 포함하는 영역(513)에 대한 영상 정보 등)를 전송하여 관련 정보에 대한 검색을 요청할 수 있다. 상기 정보 검색 서버(102)를 통해 검색된 검색 결과는 전술한 바와 같이 제2 전자 장치(520)의 표시부(521)에 표시될 수 있다.

예컨대, 상기 제1 전자 장치(500)에서 촬영된 객체가 음식 또는 영화 관련 이미지일 경우, 상기 음식 또는 영화와 관련된 부가 정보가 검색되어 제2 전자 장치(520)에 표시될 수 있다. 또한, 예컨대, 상기 제1 전자 장치(500)에서 촬영된 객체가 텍스트일 경우, 문장의 인식 결과 또는 번역 결과 등이 제2 전자 장치(520)에 표시될 수도 있다. 또한, 예컨대, 상기 제1 전자 장치(500)에서 촬영된 객체가 사람일 경우, 얼굴인식 등을 통해 해당 인물에게 파일 전송 등을 수행할 것을 제2 전자 장치(520)에 요청할 수도 있다.

한편, 상기 제1 전자 장치(500)에서 제2 전자 장치(520)로 전송하는 정보는 전술한 바와 같이 다양한 정보일 수 있으며, 상기 촬영된 영상의 전체 또는 일부일 수도 있다.

도 6은 본 발명의 다른 실시 예에 따른 웨어러블 장치를 이용하여 촬영된 영상과 관련된 정보를 제공하는 예를 나타내는 도면이다. 도 6을 참조하면, 제1 전자 장치(600)가 시계형 장치일 경우, 사용자가 상기 제1 전자 장치(600)를 손목에 착용한 상태에서 제1 전자 장치(600)에 구비된 카메라 모듈(601)을 통해 영상을 촬영할 수 있다.

상기 제1 전자 장치(600)를 통해 촬영된 영상(611)에는 사용자의 손(612)의 적어도 일부가 포함될 수 있다. 예컨대, 제1 전자 장치(600)를 손목에 착용하였기 때문에 촬영된 영상의 일정한 위치에 손(612)의 일부(예컨대, 손등) 및 손가락이 포함될 수 있다. 따라서, 사용자가 특정 객체(614)(예컨대, 상기 도 6에서는 음식이 담긴 그릇)를 손가락으로 가리키면 상기 손가락에 근접한 객체(614)를 식별하고, 식별된 객체(614)를 포함하는 영역(613)에 대한 분석을 수행한다. 이와 같이, 상기 식별된 객체(614)를 포함하는 영역(613)에 대한 분석을 통해 식별된 객체와 관련된 상세 정보들을 얻을 수 있다.

한편, 본 발명의 실시 예에 따라, 상기 제1 전자 장치(600)를 통해 상기 식별된 객체(614)를 포함하는 영역(613)에 대한 분석이 불가능할 경우, 상기 제1 전자 장치(600)에서 촬영된 영상(611) 또는 상기 전체 영상 중 식별된 객체를 포함하는 영역(613)에 대한 영상 정보를 제2 전자 장치(620)로 전송할 수 있다. 제2 전자 장치(620)에서는 상기 제1 전자 장치(600)로부터 전송된 정보를 분석하여 상기 식별된 객체와 관련된 정보를 제1 전자 장치(600)로 전송할 수 있다.

또한, 전술한 바와 같이 상기 제2 전자 장치(620)에서 통신 네트워크를 통해 정보 검색 서버(102)로 상기 촬영된 영상과 관련된 정보(예컨대, 촬영된 영상(611), 식별된 객체를 포함하는 영역(613)에 대한 영상 정보 등)를 전송하여 관련 정보에 대한 검색을 요청할 수 있다. 상기 정보 검색 서버(102)를 통해 검색된 검색 결과는 전술한 바와 같이 제1 전자 장치(600)로 전송하여 제1 전자 장치(600)의 표시부에 표시되도록 할 수 있다.

예컨대, 상기 제1 전자 장치(600)에서 촬영된 객체가 음식 또는 영화 관련 이미지일 경우, 상기 음식 또는 영화와 관련된 부가 정보가 검색되어 제1 전자 장치(600)에 표시될 수 있다. 또한, 예컨대, 상기 제1 전자 장치(600)에서 촬영된 객체가 텍스트일 경우, 문장의 인식 결과 또는 번역 결과 등이 제1 전자 장치(600)에 표시될 수 있다. 또한, 예컨대, 상기 제1 전자 장치(600)에서 촬영된 객체가 사람일 경우, 얼굴인식 등을 통해 해당 인물에게 파일 전송 등을 수행할 것을 제2 전자 장치(620)에 요청할 수도 있다.

한편, 상기 제1 전자 장치(600)에서 제2 전자 장치(620)로 전송하는 정보는 전술한 바와 같이 다양한 정보일 수 있으며, 상기 촬영된 영상의 전체 또는 일부일 수도 있다.

이하, 도 7 내지 도 21을 참조하여, 미리 설정된 영역 내의 손가락 식별을 이용하여 객체를 인식하는 다양한 실시 예를 설명한다.

도 7은 본 발명의 실시 예에 따른 손가락 식별을 이용하여 객체를 인식하는 절차를 나타내는 흐름도이다. 도 7을 참조하면, 전자 장치(예컨대, 시계형 장치 등을 포함하는 웨어러블 전자 장치)에 구비된 카메라 모듈을 통해 영상을 촬영하면, 촬영된 영상의 전체 영역 중 미리 설정된 적어도 일부 영역 내에서 손가락을 검출(702)한다. 예컨대, 도 11 내지 도 14에 도시된 바와 같이 손목에 시계형 장치를 착용한 상태에서 영상을 촬영하면, 시계형 장치의 착용 위치로 인해 손 또는 손가락이 촬영된 영상의 일정 영역 내에 위치하게 된다. 예컨대, 도 12에 도시된 바와 같이 촬영된 영상(1120)의 일정 영역(1110) 내에 손가락(1200)이 위치한다.

따라서, 촬영된 영상(1120)의 전체 영역에서 손가락을 검출할 수도 있으나, 본 발명의 실시 예에 따라 상기 미리 설정된 일부 영역에 대해서 우선적으로 손가락을 검출함으로써 보다 적은 연산과 빠른 속도로 검출할 수 있다. 따라서, 영상에서의 손가락 검출이 효율적으로 수행될 수 있다. 한편, 상기 미리 설정된 영역 내에서 손가락이 검출되지 않으면(704), 촬영된 영상의 전체 영역에서 손가락을 검출(706)한다.

이와 같이, 촬영된 영상의 전체 영역 또는 미리 설정된 영역 내에서 손가락을 검출하면, 손가락이 검출된 영역 또는 위치에 근접한 미리 설정된 크기의 영역 내에서 객체를 식별(708)할 수 있다. 이때, 상기 미리 설정된 크기의 영역 내에서 객체가 식별되면(710), 식별된 객체에 대응하는 동작을 수행(714)할 수 있다. 반면, 미리 설정된 크기의 영역 내에서 객체가 식별되지 않으면(710), 객체 식별을 위한 식별 영역을 미리 설정된 크기만큼 확장하여 객체를 식별할 수 있다.

이와 같이, 본 발명의 실시 예에 따라 손가락을 검출한 후, 손가락이 검출된 영역에 근접한 위치에서 좁은 범위에서 넓은 범위로 영역을 넓혀가면서 객체를 식별하도록 구현함으로써 객체 식별의 효율을 높일 수 있다.

도 8은 본 발명의 실시 예에 따른 웨어러블 장치의 착용 예를 나타내는 도면이고, 도 9는 본 발명의 실시 예에 따른 웨어러블 장치에서의 영상 촬영의 예를 나타내는 도면이며, 도 10은 본 발명의 다른 실시 예에 따른 웨어러블 장치에서의 영상 촬영의 예를 나타내는 도면이다.

도 8을 참조하면, 웨어러블 장치의 예로서 시계형 장치(800)를 손목에 착용하고, 시계형 장치(800)에 구비된 카메라(810)를 회전시킴으로써 카메라(810)를 온시키거나, 카메라(810)의 촬영 모드를 변경(예컨대, 일반 촬영 모드에서 객체 식별 모드로 변경)시키도록 구현할 수 있다.

보다 구체적인 예를 설명하면, 카메라(810)를 시계형 장치(800) 본체의 테두리에 위치시키고, 테두리는 본체를 따라 회전이 가능하도록 구현할 수 있다. 예컨대, 회전의 정도 또는 테두리에 장착된 카메라의 위치를 판별할 수 있는 수단을 구비하면, 카메라의 촬영 모드를 객체 식별 모드로 변경시킬 수 있다.

예컨대, 테두리의 회전을 통해 시계형 장치(800)에 장착된 카메라(810)의 위치를 도 9에 도시된 바와 같이 변경시키면, 변경된 위치를 검출하여 카메라를 동작시킬 수 있다. 이와 같이, 카메라(810)의 위치를 변경시키면, 카메라(810)가 촬영하는 방향은 손(820)(예컨대, 손등) 및 손가락이 위치한 부분을 향하게 된다. 따라서, 상기 동작시킨 카메라(810)로 도 10에 도시된 바와 같이 손가락(821)을 검출하고, 손가락이 검출될 경우 객체 인식을 위한 연산을 시작할 수 있다.

한편, 어두운 조건 또는 촬영된 영상의 인식률 향상이 필요한 경우 도 10에 도시된 바와 같이 IR LED(Infrared Emitting Diode) 광원과 같은 보조 광원을 이용하여 인식을 수행할 수도 있다.

이하, 도 11 내지 도 15를 참조하여 촬영된 영상의 일부 영역으로부터 손가락을 검출하는 보다 구체적인 예를 설명한다.

도 11은 본 발명의 실시 예에 따른 촬영된 영상에서 손가락 식별을 위한 영역을 나타내는 도면이다. 도 11을 참조하면, 예컨대, 카메라의 촬영 방향이 시계형 장치를 착용한 손의 손끝을 향한 경우를 가정할 수 있다. 이때, 검출이 예상되는 손가락의 크기, 방향, 위치 등은 시계형 장치와 손의 상대적인 위치에 의해 정해질 가능성이 높으며, 이러한 시계형 장치와 손의 상대적인 위치는 어느 정도 일정할 수 있다.

따라서, 도 11을 참조하면, 본 발명의 실시 예에 따라 촬영된 전체 영상(1100)에서 상기 시계형 장치와 손(1120)의 상대적인 위치를 고려하여 손가락이 검출될 가능성이 높은 일부 영역(1110)을 미리 설정할 수 있다. 예컨대, 사용자가 시계형 장치를 착용한 상태에서 카메라 모듈을 통해 영상을 촬영하고, 촬영된 전체 영상에서 손 또는 손가락을 검출하고, 상기 검출된 손 또는 손가락의 위치 또는 영역을 이용하여 이후 손가락이 검출될 가능성이 높은 영역을 설정하여 저장할 수 있다. 이후, 손가락 검출 시에는 상기 미리 저장된 손가락이 검출될 가능성이 높은 영역에 대해서 우선적으로 손가락을 검출함으로써 검출 프로세싱의 효율을 높일 수 있다.

이와 같이, 촬영된 전체 영상(1100)에서 검출하지 않고, 상기 미리 설정된 일부 영역(1110)에서 손가락을 검출함으로써 종래의 손가락 검출 방법에 비해 훨씬 간단한 연산으로도 검출이 가능하다.

예컨대, 촬영된 전체 영상(1100)에서 도 11에 도시된 바와 같이 미리 설정된 일부 영역(1110)에서 손가락의 검출을 수행할 수 있다. 이때, 상기 미리 설정된 일부 영역(1110)은 도시된 바와 같이 손의 기울어진 각도에 따라 기울여서 설정될 수 있다. 예컨대, 도시된 바와 같이 전체 화면에서 일정 각도로 기울어진 사각형의 영역을 미리 설정된 영역으로 하여 손가락의 검출을 수행할 수 있다. 따라서, 다른 각도에 대한 검출 연산은 생략될 수 있다. 또한, 손가락의 크기가 미리 정해져 있고, 시계형 장치와 손(1120)의 상대적인 위치가 거의 고정되어 있으므로, 정해진 크기의 영역에 대한 검출만을 수행할 수 있으며, 해당 영역에서 검출된 손가락의 크기도 일정하므로 손가락을 스케일링(scaling)하는 과정이 생략될 수도 있다.

도 12는 본 발명의 실시 예에 따른 촬영된 영상에서 설정된 영역을 통한 손가락 식별 방법을 나타내는 도면이다. 도 12를 참조하면, 전술한 바와 같이 시계형 장치에서 촬영된 전체 영상(1100)의 일정 위치에는 손(1120)의 일부가 포함될 수 있으며, 도 13에 도시된 바와 같이 본 발명의 실시 예에 따라 미리 설정된 일부 영역(1110) 내에서 손가락(1200)을 검출할 수 있다. 따라서, 상기 검출된 손가락(1200)을 포함하는 손가락 검출 영역(1300)의 위치를 확인할 수 있다. 도 13은 본 발명의 실시 예에 따른 촬영된 영상에서 손가락 식별 결과를 나타내는 도면이다. 이에 따라, 후술하는 각종 실시 예들에서는 상기 손가락 검출 영역(1300)을 이용하여 다양한 기능들(예컨대, 상기 손가락 검출 영역(1300)에서 근접한 위치에 위치한 객체와 관련된 동작들)을 수행할 수 있다.

도 14는 본 발명의 실시 예에 따른 촬영된 영상에서 복수의 손가락 식별 결과를 나타내는 도면이다. 도 14를 참조하면, 도시된 바와 같이 촬영된 전체 영상(1400) 중 미리 정해진 일부 영역에서 적어도 하나의 손가락들을 검출할 수 있다.

이때, 본 발명의 다른 실시 예에 따라 검출된 손가락의 개수 또는 검출된 손가락의 위치에 따라 다양한 기능을 부여할 수도 있다. 예컨대, 도 14에 도시된 바와 같이 4개의 손가락이 검출되면, 각 검출 영역(1421, 1422, 1423, 1424)의 위치에 따라 미리 설정된 다양한 기능들이 수행되도록 구현할 수 있다. 예컨대, 하나의 손가락으로 텍스트를 인식할 경우 글자 단위로 인식을 수행하고, 두 개의 손가락으로 텍스트를 인식할 경우 줄 단위로 인식을 수행하고, 세 개의 손가락으로 텍스트를 인식할 경우 문단 단위로 인식을 수행할 수 있다.또한, 손가락의 이동 방향에 따라 인식의 단위를 다르게 할 수도 있다. 예컨대, 손가락을 글자 방향으로 움직인 경우 단어 단위로 인식하고, 손가락을 글자 방향과 수직으로 움직인 경우 줄 단위로 인식하고, 손가락을 문단의 처음에서 끝까지 대각선으로 움직인 경우 문단 단위로 인식할 수 있다.

또한, 도 14에 도시된 바와 같이 반지(1430) 등과 같은 액세서리를 착용하고 있는 경우, 액세서리의 착용 여부 또는 착용된 액세서리의 형태와 색상 등에 따라 다른 동작을 부여할 수도 있다. 또한, 도면에 도시하지는 않았으나, 손톱의 장식(예컨대, 매니큐어) 등과 같은 장식의 인식 여부에 따라 다른 동작을 부여할 수도 있다.

한편, 도시된 바와 같이 손가락의 크기, 방향, 각도를 이용하여 미리 설정된 고유한 조건을 만족할 경우 특정 사용자의 손가락인 것으로 판단할 수도 있다. 따라서, 손가락 식별을 통해 사용자를 구별할 수도 있다.

또한, 본 발명의 다른 실시 예에 따라 손가락의 초점거리를 검출하여 사용자의 손가락 여부를 검출할 수도 있다. 즉, 해당 위치에 손가락이 검출된 경우, 손가락 영상의 에지(edge) 정보를 이용하여, 해당 부분의 콘트라스트(contrast)가 미리 설정된 수치 이하일 경우 다른 손가락인 것으로 인식할 수 있다. 이때, 상기 손가락의 콘트라스트는 손가락의 윤곽선과 손가락의 주름으로부터 취득할 수도 있으며, 본 발명의 실시 예가 상기 방법에 한정되는 것은 아니다.

이하, 도 15 내지 도 21을 참조하여 전술한 바와 같은 손가락 식별을 통해 객체를 인식하는 다양한 실시 예들을 설명한다.

도 15는 본 발명의 실시 예에 따른 손가락 식별을 통해 객체를 인식하는 예를 나타내는 도면이다. 도 15를 참조하면, 예컨대 상술한 방법 등에 의해 촬영된 영상(1500)에서 손(1510) 또는 손가락(1520)이 검출되면, 상기 검출된 손가락(1520)의 위치로부터 근접한 영역(예컨대, 미리 설정된 크기의 영역)에 대해 객체 인식을 수행할 수 있다. 도 15에서는 객체의 일 예로서 텍스트를 인식하는 예를 도시한다.

따라서, 본 발명의 실시 예에 따라 도 15에 도시된 바와 같이 상기 손가락(1520)이 검출된 위치로부터 근접한 일정 크기의 영역(1530)에 대해 텍스트 인식을 수행할 수 있다. 이때, 상기 텍스트 인식을 수행하는 일정 크기의 영역(1530)을 제외한 나머지 영역(1540)에 대해서는 텍스트 인식을 수행하지 않을 수 있다. 이와 같이 함으로써, 촬영된 전체 영상(1500)에 대해 텍스트 인식을 하지 않고 사용자가 원하는 위치(예컨대, 손가락이 가리키는 위치)에 해당하는 텍스트만을 인식할 수 있다. 이에 따라, 텍스트 인식을 위한 불필요한 연산량의 증가를 방지할 수 있으며, 사용자가 원하는 지점의 텍스트만을 선택적으로 식별할 수 있다.

또한, 본 발명의 실시 예에 따라 상기 텍스트 인식의 시작은 특정한 입력, 예컨대 시계형 장치에 대한 음성 입력, 터치 입력 또는 특정 위치에 일정시간 이상 손가락이 머무름 등으로 판단하도록 구현할 수 있다.

아울러, 텍스트 인식이 시작된 이후에는 손가락의 주변 영상을 순차적으로 인식하여 텍스트를 인식할 수 있다. 이때, 손가락의 이동은 시계형 장치의 이동과 연관되므로, 시계형 장치에 내장된 위치 센서를 통해 산출된 시계형 장치의 이동량으로부터 텍스트와 영상의 위치를 연산할 수 있다. 이와 같은 위치 정보를 통해 촬영된 영상으로부터 인식을 위한 영역을 판단할 수 있다.

또한, 본 발명의 다른 실시 예에 따라, 텍스트의 크기가 상기 텍스트 인식을 수행하기 위한 일정 크기의 영역(1530)보다 커서 텍스트 인식이 정상적으로 수행되지 않을 수 있으므로, 미리 설정된 일정 크기의 영역(1530) 내에서 객체(예컨대, 도 15에서는 텍스트)가 인식되지 않으면, 상기 영역(1530)의 크기를 객체 인식이 가능한 범위까지 미리 설정된 크기로 단계적으로 증가시키도록 구현할 수도 있다.

도 16은 본 발명의 다른 실시 예에 따른 손가락 식별을 통해 객체를 인식하는 예를 나타내는 도면이다. 도 16을 참조하면, 예컨대 상술한 방법 등에 의해 촬영된 영상(1600)에서 손(1610) 또는 손가락(1620)이 검출되면, 상기 검출된 손가락(1620)의 위치로부터 근접한 영역(예컨대, 미리 설정된 크기의 영역)에 대해 객체 인식을 수행할 수 있다.

이때, 도 16에 도시된 바와 같이 본 발명의 실시 예에 따라 상기 검출된 손가락이 일정한 방향으로 이동할 경우, 시계형 장치에 기부된 위치 센서를 통해 상기 손(1610) 또는 손가락(1620)의 이동 방향을 판단하고, 손의 이전 이동 방향으로부터 앞으로의 이동 방향을 예측하여 인식용 영역(1630)의 크기를 조절할 수도 있다. 이러한 경우 텍스트 인식을 위한 인식용 영역(1630)은 넓어지지만 더 많은 영상 데이터를 얻을 수 있어 인식 성능이 향상될 수 있다. 상기 도 16의 실시 예에서도 상기 도 15의 실시 예와 마찬가지로 상기 텍스트 인식을 수행하는 일정 크기의 영역(1630)을 제외한 나머지 영역(1640)에 대해서는 텍스트 인식을 수행하지 않을 수 있다.

도 17 및 도 18은 본 발명의 실시 예에 따른 손가락 식별을 통해 텍스트를 인식하여 표시하는 예를 나타내는 도면이다.

도 17 및 도 18을 참조하면, 손목에 착용된 시계형 장치(1700)의 카메라(1710)를 통해 텍스트 인식 대상(1720)을 촬영하면, 상술한 바와 같이 촬영된 영상으로부터 손가락을 검출하고, 검출된 손가락과 근접한 영역에 포함된 객체를 식별한다.

이때, 도 17에 도시된 바와 같이 텍스트 인식이 시작되어, 도 18에 도시된 바와 같이 텍스트 인식이 완료될 수 있다.

이와 같이, 텍스트 인식이 완료되면, 인식된 텍스트(1800)가 시계형 장치(1700)의 표시부에 표시(1810)될 수 있다. 또한, 본 발명의 다른 실시 예에 따라 상기 인식된 텍스트(1800)를 음성으로 출력하거나, 시계형 장치(1700)와 통신으로 연결된 다른 전자 장치에 표시할 수 있다. 또한, 본 발명의 다른 실시 예에 따라 진동으로 사용자에게 텍스트 인식에 대한 알림을 제공할 수도 있다.

도 19 내지 도 21은 본 발명의 실시 예에 따른 복수의 손가락 식별을 통해 영역을 선택하는 예를 나타내는 도면이다. 도 19 내지 도 21을 참조하면, 복수의 손가락을 이용한 사진 촬영 또는 인식을 위한 영역 지정이 가능하다.

예컨대, 도 19에 도시된 바와 같이 손목에 착용된 시계형 장치(1900)의 카메라(1910)를 통해 텍스트 인식 대상(1920)을 촬영하면, 상술한 바와 같이 촬영된 영상으로부터 제1 손가락(1930)을 검출하고, 검출된 제1 손가락(1930)과 근접한 영역에 포함된 객체를 식별한다.

이때, 도 20에 도시된 바와 같이 상기 검출된 제1 손가락(1930)에 근접하여 상기 제1 손가락(1930)과는 다른 제2 손가락(2000)이 검출되면, 상기 제1 손가락(1930) 또는 제2 손가락(2000)의 이동을 감지한다.

그런 다음, 도 21에 도시된 바와 같이 상기 제1 손가락(1930) 또는 2 손가락(2000)의 이동이 일정 시간 동안 정지하거나, 사용자의 다른 입력이 입력되면, 상기 제1 손가락(1930) 및 제2 손가락(2000) 사이의 영역(2100)을 촬영 또는 인식할 수 있다. 이때, 상기 도 21에는 상기 제1 손가락(1930) 및 제2 손가락(2000) 사이의 영역(2100)이 상기 제1 손가락(1930) 및 제2 손가락(2000)을 꼭지점으로 하는 직사각형으로 표시되었으나, 본 발명이 이에 한정되지는 않는다.

도 22는 본 발명의 실시 예에 따른 촬영된 영상을 식별하여 디바이스를 제어하는 절차를 나타내는 신호 흐름도이다. 도 22를 참조하면, 제1 전자 장치(100a)(예컨대, 웨어러블 디바이스)에 장착된 카메라를 온(2202) 시키고, 제2 전자 장치(100b)로 접속 요청 신호를 전송(2204)하면, 제2 전자 장치(100b)에서는 연결을 완료(2206)한 후, 접속 요청에 대한 응답 신호를 상기 제1 전자 장치(100a)로 전송(2208)한다.

상기 제1 전자 장치(100a)는 객체 식별 모드로 전환(2210)되고, 카메라를 통해 촬영된 영상을 분석(2212)한다. 이때, 상술한 바와 같이 본 발명의 실시 예에 따라 촬영된 영상의 미리 설정된 영역 내에서 손가락을 검출하고, 상기 검출된 손가락에 인접한 영역 내의 디바이스를 식별한다. 예컨대, 상기 검출된 손가락에 의해 지적된 디바이스를 식별(2214)할 수 있다. 그런 다음, 제어 데이터가 입력(2216)되면, 상기 제어 데이터에 상기 디바이스에 대한 디바이스 식별 정보를 포함하여 상기 접속된 제2 전자 장치(100b)로 전송(2218)한다.

상기 제2 전자 장치(100b)에서는 상기 제1 전자 장치(100a)로부터 수신된 제어 데이터에 따라 상기 디바이스를 제어(2220)할 수 있다. 이와 같이, 본 발명의 실시 예에 따라 웨어러블 디바이스를 착용하고, 사용자가 특정 디바이스를 손가락으로 지적하면, 지적된 디바이스를 제어할 수 있다.

또한, 본 발명의 실시 예에 따라, 상기 제2 전자 장치(100b)에서는 제어 결과 정보를 제1 전자 장치(100a)로 전송(2222)할 수 있으며, 상기 제1 전자 장치(100a)에서는 상기 전송된 제어 결과 정보를 표시부에 표시(2224)함으로써 사용자가 제어 결과를 확인할 수 있다.

상기 도 22에서와 같은 실시 예는 시계형 장치(Aux device)로 다른 기기(Main device)를 조작하는 방법에 적용될 수 있다. 예컨대, 제어할 디바이스(Main device)의 형태를 촬영하여 데이터베이스에 저장하고, 상기 시계형 장치에서 촬영된 라이브 뷰에서 영상을 분석하여 손가락으로 지정한 디바이스를 전체 영상에서 분류할 수 있다.

예컨대, 상기 데이터베이스는 아래와 같이 구성될 수 있다.

영상(특징점 정보)	디바이스 ID
TV	1
PC	2
냉장고	3
세탁기	4

이와 같이 분류된 영상을 상기 데이터베이스에서 검출하여 디바이스 ID를 검출할 수 있다. 이때, 상기 디바이스 ID의 검출은 상기 시계형 장치에서 할 수도 있으며, 상기 시계형 장치와 연결된 다른 장치(예컨대, 제2 전자 장치)에서 할 수도 있다. 이에 따라, 상기 제2 전자 장치에서 상기 검출된 디바이스 ID를 가진 기기에 제어 신호를 전송함으로써 시계형 장치에서 손가락으로 지정한 디바이스를 제어할 수 있다.

도 23 내지 도 25는 본 발명의 실시 예에 따른 촬영된 영상을 식별하여 연동된 디바이스를 제어하는 예를 나타내는 도면이다.

도 23 내지 도 25를 참조하면, 도시된 바와 같이 복수의 기기들(예컨대, 디바이스 A 및 디바이스 B)가 시계형 장치에 동시에 연결된 경우, 상기 시계형 장치에서 촬영된 영상에서 손가락 주변에 위치한 기기를 제어할 수 있다. 이에 따라, 주변의 복수의 기기들을 시계형 장치에 연결시킨 후, 손가락으로 특정 기기를 지적함으로써 해당 기기를 용이하게 제어할 수 있다.

예컨대, 도 23을 참조하면, 디바이스 A 및 디바이스 B가 시계형 장치에 연결된 경우, 상기 시계형 장치에서 촬영된 영상(2300)에는 전술한 바와 같이 손(2330)의 적어도 일부 또는 손가락이 포함될 수 있다. 또한, 상기 촬영된 영상(2300)에는 상기 연결된 디바이스들 중 적어도 하나의 디바이스가 표시될 수 있다. 도 23에는 촬영된 영상(2300) 내에 디바이스 A(2310) 및 디바이스 B(2320)가 모두 포함된 예를 나타낸다.

이때, 도 24에 도시된 바와 같이 사용자가 디바이스 A(2310)를 가리키면, 시계형 장치에서는 상기 손가락을 식별하고, 식별된 손가락에 근접한 디바이스인 디바이스 A(2310)를 선택하게 된다.

다음으로, 사용자는 시계형 장치의 특정 버튼을 누르거나, 미리 설정된 제스쳐를 통해 상기 선택된 디바이스(예컨대, 디바이스 A(2310))를 제어할 수 있다. 예컨대, 도 25에 도시된 바와 같이 사용자가 미리 설정된 제스쳐를 취함으로써 상기 선택된 디바이스 A(2310)의 볼륨을 다운(Volume Down)시킬 수 있다.

한편, 상기 선택된 디바이스의 제어 방법은 도 22에서 상술한 절차에 따라 수행될 수 있다.

도 26 내지 도 28은 본 발명의 다른 실시 예에 따른 촬영된 영상을 식별하여 연동된 디바이스를 제어하는 예를 나타내는 도면이다.

도 26 내지 도 28을 참조하면, 도시된 바와 같이 상기 시계형 장치에 연결된 복수의 기기들을 순차적으로 제어할 수 있다.

예컨대, 도 26을 참조하면, 디바이스 A 및 디바이스 B가 시계형 장치에 연결된 경우, 상기 시계형 장치에서 촬영된 영상(2600)에는 전술한 바와 같이 손(2630)의 적어도 일부 또는 손가락이 포함될 수 있다. 또한, 상기 촬영된 영상(2600)에는 상기 연결된 디바이스들 중 적어도 하나의 디바이스가 표시될 수 있다. 도 26에는 촬영된 영상(2600) 내에 디바이스 A(2610) 및 디바이스 B(2620)가 모두 포함된 예를 나타낸다.

이와 같이, 복수의 기기들(예컨대, 디바이스 A(2610) 및 디바이스 B(2620))과 시계형 장치가 전기적으로 연결된 상황에서, 도 27에 도시된 바와 같이 손(2630)을 움직여 손가락으로 디바이스 A(Device A)(2610)를 가리키고 명령어(command)를 입력할 수 있다.

이때, 본 발명의 실시 예에 따라 검출된 손가락과 가장 근접한 위치의 기기인 디바이스 A(2610)를 입력된 명령어의 대상으로 인식하고 상기 선택된 디바이스 A(2610)를 제어할 수 있다. 또한, 손(2630)을 움직여 손가락으로 디바이스 B(Device B)(2620)를 가리키고 명령어를 입력하면, 검출된 손가락과 가장 근접한 위치의 디바이스 B(Device B)(2620)를 명령어의 대상으로 인식하고 상기 선택된 디바이스 B를 제어할 수 있다.

예컨대, 도시된 바와 같이 상기 디바이스 A(2610)를 가리키고, 데이터 전송(transfer data) 명령어를 입력한 후, 상기 디바이스 B(2620)를 가리키면, 상기 디바이스 A(2610)에 저장된 데이터가 상기 디바이스 B(2620)로 전송될 수 있다.

도 29 내지 도 31은 본 발명의 또 다른 실시 예에 따른 촬영된 영상을 식별하여 연동된 디바이스를 제어하는 예를 나타내는 도면이다.

도 29 내지 도 31을 참조하면, 도시된 바와 같이 복수의 연결된 디바이스들을 순차적으로 제어할 수 있다.

복수의 디바이스들(예컨대, 디바이스 A 및 디바이스 B)과 시계형 장치가 연결되고, 상기 복수의 디바이스들(디바이스 A 및 디바이스 B)에 대한 제어가 가능한 디바이스 C가 상기 시계형 장치가 전기적으로 연결된 상황에서, 본 발명의 실시 예에 따라 상기 시계형 장치를 이용하여 상기 복수의 디바이스들을 디바이스 C를 통해 제어할 수 있다.

예컨대, 도 29를 참조하면, 디바이스 A(2930) 및 디바이스 B(2940)가 시계형 장치에 연결된 경우, 상기 시계형 장치에서 촬영된 영상(2900)에는 전술한 바와 같이 손(2920)의 적어도 일부 또는 손가락이 포함될 수 있다. 또한, 상기 촬영된 영상(2900)에는 상기 연결된 디바이스들 중 적어도 하나의 디바이스가 표시될 수 있다. 도 29에는 촬영된 영상(2900) 내에 디바이스 A(2930) 및 디바이스 B(2940)와 상기 디바이스 A(2930) 및 디바이스 B(2940)를 제어할 수 있는 디바이스 C(2920)가 모두 포함된 예를 나타낸다.

따라서, 도 29에 도시된 바와 같이, 복수의 기기들(예컨대, 디바이스 A(2930), 디바이스 B(2940), 디바이스 C(2920))과 시계형 장치가 전기적으로 연결된 상황에서, 도 30에 도시된 바와 같이 손(2910)을 움직여 손가락으로 디바이스 A(Device A)(2930)를 가리키고 명령어(command)(예컨대, 화면 오프)를 입력하면, 상기 시계형 장치에서는 상기 디바이스 A(2930)를 제어 대상 디바이스로 인식하고, 디바이스 C(2920)로 해당 입력된 명령어를 전송한다. 상기 디바이스 C(2920)에서는 상기 디바이스 A(2930)를 입력된 명령어의 대상으로 인식하고 상기 선택된 디바이스 A(2930)를 상기 전송된 명령어에 따라 제어할 수 있다.

또한, 도 31에 도시된 바와 같이 손(2930)을 움직여 손가락으로 디바이스 B(Device B)(2940)를 가리키고 명령어를 입력하면 검출된 손가락과 가장 근접한 위치의 디바이스 B(Device B)(2940)를 명령어)의 대상으로 인식하고 상기 선택된 디바이스 B를 제어할 수 있다.

예컨대, 도시된 바와 같이 상기 디바이스 B(2940)를 가리키고, 명령어(command)(예컨대, 화면 온)를 입력하면, 상기 시계형 장치에서는 상기 디바이스 B(2940)를 제어 대상 디바이스로 인식하고, 디바이스 C(2920)로 해당 입력된 명령어를 전송한다. 상기 디바이스 C(2920)에서는 상기 디바이스 B(2940)를 입력된 명령어의 대상으로 인식하고 상기 선택된 디바이스 B(2940)를 상기 전송된 명령어에 따라 제어할 수 있다.

도 32는 본 발명의 실시 예에 따른 웨어러블 장치에서 IR 광을 조사하는 예를 나타내는 도면이고, 도 33은 본 발명의 실시 예에 따른 웨어러블 장치에서 IR 광에 의해 정맥 영상을 획득하는 예를 나타내는 도면이다.

본 발명의 실시 예에 따라 사용자와 손가락을 인식하는 방법은 다양한 변형 및 실시 예가 가능하다.

생체정보를 이용한 개인 인증 방법에서 지문, 홍채와 함께 널리 쓰이고 있는 방법은 정맥 인증이다. 정맥 인증은 혈액에 많이 포함되어 있는 헤모글로빈이 특정 파장에서 빛을 흡수하는 성질을 이용한 것이다. 상기 정맥 인증 중에서도 가장 많이 쓰이는 방법은 손등, 또는 손바닥에 있는 정맥의 패턴을 이용하는 방법이다. 이를 위해서는 적외선 광원(예컨대, 750nm ~ 950nm)을 손등 또는 손바닥에 조사한 후, 적외선을 촬상할 수 있는 카메라로 촬영함으로써 정맥 이미지를 취득하며, 취득한 이미지에서 특징점을 추출한 후, 특징점의 위치를 코드로 변환하고, 기 저장된 사용자의 코드와 비교함으로써 인증을 수행한다.

본 발명의 실시 예에 따른 웨어러블 디바이스(예컨대, 시계형 장치)를 이용한 정맥 인증은 신체에 부착 가능한 웨어러블 디바이스가 인체에서 실질적으로 고정된 위치에서 일정한 크기와 방향을 가진 영상을 취득할 수 있기 때문에, 영상 입력 시 입력장치에 미리 정해진 위치, 크기, 각도를 가진 정맥 패턴이 입력되는 점을 이용하면 정맥 패턴의 추출 과정에서 패턴의 오리엔테이션 또는 매칭 과정을 간소화 할 수 있다.

예컨대, 도 32를 참조하면, 시계형 장치(3200)를 착용한 상태에서 IR LED 모듈(3210)을 통해 IR 광을 조사하면, IR 광의 조사 방향이 손등을 향하기 때문에 손등에 있는 정맥 영상을 취득하여 인증을 수행할 수 있다. 이때, 상술한 본 발명의 실시 예들에서와 같이, 시계형 장치가 착용된 위치에서 동일한 위치, 방향, 크기를 가진 정맥 영상이 촬영되므로, 별도의 패턴 오리엔테이션, 매칭 과정 없이도 간소하게 정맥 영상을 통한 인증이 가능해질 수 있다.

본 발명의 실시 예들에 따라 상기 정맥 인증 과정에 따른 인증 결과에 의해 다음을 수행할 수도 있다.

예컨대, 본 발명의 실시 예에 따라 상기 인증 결과 인증에 성공한 경우 인증 정보로부터 단말 아이디를 추출하여, 주변에 위치한 단말 중 동일 아이디를 가진 단말과 연결시킬 수 있다.

또한, 본 발명의 다른 실시 예에 따라 사용자가 미리 결정해 놓은 작업을 수행할 수도 있다. 예컨대, 인증에 성공한 경우, 시계형 장치 또는 이와 연동된 단말의 잠금을 해제할 수도 있으며, 인증에 실패한 경우 알람을 울리도록 할 수도 있다.

또한, 본 발명의 다른 실시 예에 따라 상기 촬영된 정맥 영상으로부터 사용자의 맥박 및 혈압을 측정하여 측정된 결과를 제공할 수도 있다.

도 34 내지 도 37은 본 발명의 실시 예에 따른 웨어러블 장치에서 IR 광원을 이용하여 손 또는 손가락을 검출하는 예를 나타내는 도면이다.

도 34 내지 도 37을 참조하면, 웨어러블 장치(예컨대, 시계형 장치)에서 손에 조사하는 특정 파장(예를 들면 적외선)을 이용하여 손의 인식 성능을 향상시킬 수도 있다. 이를 이용한 본 발명의 다양한 실시 예들로서 다음과 같은 방법이 있다.

도 34에 도시된 바와 같이 본 발명의 실시 예에 따라 제1 장치(예컨대, 시계형 장치(3415))에서 손(3420)을 향해 적외선 광원(3410)을 조사할 수 있다. 이때, 광원의 방향을 표시하기 위해 복수로 배열된 광원을 사용할 수도 있다.

그런 다음, 제2 장치(예컨대, 안경형 장치)에서 IR 영상을 촬영하면, 상기 제1 장치에서 조사된 손(3420)의 영역은 밝게 표시되고, 나머지 영역(3400)은 어둡게 표시되도록 구현할 수 있다.

또한, 도 35에 도시된 바와 같이 휘도 필터를 적용하여 어두운 영역(3500)을 제외한 밝게 표시된 영역(3520)에서 손 또는 손가락을 검출할 수 있다. 따라서, 시계형 장치가 향하는 방향 및 위치 정보로부터 손가락의 방향과 크기를 추출하여 해당 위치, 방향, 크기를 가진 손 또는 손가락을 검출하도록 구현할 수 있다. 또한, 광원의 크기와 배열된 광원의 방향으로부터 영상을 이용하여 손의 거리와 방향을 추출할 수도 있다.

또한, 도 36에 도시된 바와 같이 일반 영상 촬영 모드로 배경 영상을 촬영하고, 도 37에 도시된 바와 같이 손가락의 배경에 위치한 오브젝트를 인식함으로써, 인식된 손가락의 위치와 오브젝트의 위치를 비교하여 사용자가 지시하고 있는 오브젝트를 인식하도록 구현할 수 있다.

이때, 손가락과 손의 인식을 구별하여 수행하는 방법은 도 38 내지 도 40과 같은 절차에 의해 수행될 수 있다.

예컨대, 손가락의 경우 시계와 같이 손과 고정된 위치에서 바라본 모양은 일정하지만, TV나 안경 등의 단말에서 바라본 손가락의 형상은 그 각도와 거리에 따라 다양할 수 있다. 따라서, TV와 같이 인식을 위한 카메라와 거리가 먼 곳이나, 저화소 카메라를 이용하여 인식하고자 하는 경우에는 손가락에 대한 충분한 영상 정보가 없기 때문에 손가락의 인식이 어려운 경우가 발생할 수 있다.

그러나, 인체의 스켈레톤 추출 등의 방법으로부터 손의 위치를 검출하는 것은 가능하다. 따라서 손을 이용한 제스처를 시계 단말이 아닌 다른 기기에서 인식하고자 하고, 손가락에 따라 다른 제스처를 부여하고자 하는 경우, 손가락의 인식을 시계형 장치와 같은 별도의 장치에서 수행하도록 구현할 수 있다.

이때, 손가락 인식 결과에 따라 손의 움직임에 의한 제스처의 인식에 따른 결과를 기능적으로 다르게 부여할 수 있다. 예를 들면 검지 손가락을 편 채로 제스처를 손을 옆으로 움직이는 제스처를 수행한 경우, 화면에 표시되는 영상을 옆으로 움직이도록 명령할 수 있고, 모든 손가락을 펼친 상태에서 동일한 손의 제스처를 입력한 경우 다음에 재생될 영상을 표시하도록 기능을 부여할 수 있다. 이러한 경우, 손의 움직임은 안경형 장치와 같이 제스처를 인식하는 단말에서 검출하고, 손가락 인식은 시계형 장치에서 수행하도록 함으로써 두 장치의 정보를 가지고 검출 결과에 따라 다른 동작을 부여할 수 있다.

도 38은 제1 장치(예컨대, 안경형 장치)에서 촬영된 화면(3800) 내에 포함된 손을 검출하는 방법을 나타낸다. 예컨대, 상술한 바와 같이 제2 장치(예컨대, 시계형 장치(3810))에서 조사된 IR 광원을 이용하여 안경형 장치에서 손(3820)을 검출할 수 있다.

이때, 도 39에 도시된 바와 같이 제2 장치(예컨대, 시계형 장치(3810))에서 상술한 방법 등을 이용하여 손가락을 검출할 수 있다.

도 40을 참조하면, 제1 장치(예컨대, 안경형 장치)에서 촬영된 화면(400) 내에 포함된 손(4110)을 제2 장치(예컨대, 시계형 장치(4120))에서 검출하고, 상기 검출된 손의 이동을 확인할 수 있다. 이때, 상술한 바와 같이 상기 제1 장치의 제스쳐를 손가락 검출 결과에 따라 다르게 인식할 수 있다.

도 41은 본 발명의 실시 예에 따라 촬영된 영상을 분석하여 객체를 식별하고, 관련된 정보를 제공하는 절차를 나타내는 신호 흐름도이다. 도 41을 참조하면, 제1 전자 장치(100a)(예컨대, 웨어러블 디바이스)에 장착된 카메라를 온(4102) 시키고, 제2 전자 장치(100b)로 접속 요청 신호를 전송(4104)하면, 제2 전자 장치(100b)에서는 연결을 완료(4106)한 후, 접속 요청에 대한 응답 신호를 상기 제1 전자 장치(100a)로 전송(4108)할 수 있다.

상기 제1 전자 장치(100a)는 객체 식별 모드로 전환(4110)되고, 카메라를 통해 촬영된 영상을 분석(4112)한다. 이때, 상술한 바와 같이 본 발명의 실시 예에 따라 촬영된 영상의 미리 설정된 영역 내에서 손가락을 검출하고, 상기 검출된 손가락에 인접한 영역 내의 객체를 식별(4114)한다. 한편, 상기 식별 결과, 객체가 식별되지 않을 경우, 미리 설정된 영역을 이동 또는 확장시켜 다시 촬영 영상을 분석(4112)할 수 있다.

객체 식별에 성공하면, 상기 식별된 객체가 포함된 영역을 캡쳐하여 제2 전자 장치(100b)로 전송(4116)한다. 상기 제2 전자 장치(100b)에서는 상기 제1 전자 장치(100a)로부터 수신된 영상 데이터로부터 영상 처리(4118) 수행하고, 상기 객체와 관련된 정보를 확인(4120)할 수 있다.

상기 확인된 정보는 다시 제1 전자 장치(100a)로 전송(4122)할 수 있으며, 상기 제1 전자 장치(100a)에서는 상기 전송된 객체와 관련된 정보를 표시부에 표시(4124)함으로써 사용자가 분석된 객체와 관련된 정보를 확인할 수 있다.

상기 영상 촬영의 성공 여부는 제1 전자 장치(100a) 또는 제2 전자 장치(100b)의 화면에 표시할 수 있다. 또한, 상기 제2 전자 장치(100b)에서는 캡쳐된 영상을 처리한 경과, 복수의 인식 객체가 존재할 때, 손가락에서 가장 근접한 객체를 처리하도록 구현할 수 있다.

한편, 상기 식별 가능한 객체의 예로는 바코드, QR 코드, 와인 라벨 등을 포함할 수도 있다. 또한, 상기 QR 코드와 유사한 예들로서, 컬러짚 코드, 스마트 태그, 데이터 매트릭스(Data Matrix) 등도 포함될 수 있다.

상기 바코드(Bar-code)와 QR 코드는 각각 1차원 코드와 2차원 코드로 분류될 수 있다. 간단한 정보의 전달에는 바코드가 사용되고, 다음과 같은 부호화 원리를 통해 정보를 저장할 수 있다.

바코드는 부호화 방법에 따라 구분된다. 부호화 방법은 바코드가 나타내는 원문의 한 자리 숫자나 한 글자를 흑백 막대의 조합으로 표현하는 방법을 비롯하여 바코드의 시작과 끝, 체크 섬 등을 제공한다. 부호화 방법은 다음 두 가지 기준에 의해 구분될 수 있다.

- 연속(continuous) 바코드와 불연속(discrete) 바코드 : 연속 바코드에서 숫자나 글자를 나타내는 부호는 연속해 있으며, 이를 구분하기 위해 처음과 끝이 다르다.(예컨대, 흑으로 시작해서 백으로 끝나거나 백으로 시작해서 흑으로 끝남.) 반면에 불연속 바코드에서 숫자나 글자를 나타내는 부호는 모두 떨어져 있으며 처음과 끝이 모두 흑색인 경우가 대부분이다. 불연속 바코드에서 한 자리 숫자나 한 글자 사이의 간격은(떨어진 숫자나 글자들이 하나의 코드로 인식될 수만 있다면) 제한이 없다.

- 두 폭(two-width) 바코드와 여러 폭(many-width) 바코드. 두 폭 바코드에서 흑색 막대나 백색 막대의 너비는 좁거나 넓은 두 가지로 구분된다. 즉 넓은 막대가 좁은 막대에 비해 얼마나 넓은지는 아무런 의미가 없다. 그러나 여러 폭 바코드에서 모든 막대의 너비는 좁은 막대의 정수 배이다. 여러 폭 바코드에서 좁은 막대의 너비를 모듈이라고 한다. 예를 들어, 네 폭 바코드는 1, 2, 3, 4 모듈 막대로 이루어진다.

QR 코드는 이보다 정보의 기록 밀도가 20~40배 높으며, 데이터 복원 기능도 포함하고 있어 좀더 고성능의 인식이 필요한 경우 사용될 수 있다. 일반 바코드는 단방향 즉, 1차원 적으로 숫자 또는 문자 정보가 저장 가능한 반면, QR 코드는 종횡으로 2차원 형태를 가져서 더 많은 정보를 가질 수 있으며, 숫자 외에 알파벳과 한자 등 문자 데이터를 저장할 수도 있다. 농담의 판별이 가능한 색조라면 QR 코드에 색상이 들어갈 수도 있다.

상기 QR 코드는 예컨대, 버전 1 부터 버전 40 까지 다양한 버전을 지원하고 있으며, 각 버전마다 최대로 포함할 수 있는 정보와 크기가 다르다. QR 코드에는 데이터의 표현과 읽기를 수월하게 하기 위해 콰이어트 존, 위치 검출 패턴(분리자 포함), 타이밍 패턴, 정렬 패턴, 포맷 정보, 버전 정보, 데이터 영역(에러 정정 코드 영역 포함) 등의 영역이 나뉘어 있다.

QR 코드는 예컨대 숫자 최대 7089자, 영숫자(코드표가 따로 존재) 최대 4296자, 8비트 바이트 최대 2953바이트, 한자 1817자를 담을 수 있다.

와인 라벨 인식은 와인 병의 바깥면에 부착된 와인의 레이블을 인식하는 기술로, 카메라로 와인 라벨을 촬영하여 서버 등 데이터베이스에 저장되어 있는 라벨과 비교하여 동일한 라벨에 저장되어 있는 정보를 읽어오는 방법을 이용한다. 효율적인 탐색을 위해 영상 인식 알고리즘을 이용할 수 있으며, 와인 라벨 이미지 전체를 비교하는 대신 라벨에서 검출된 특징점을 비교하는 방법을 이용하기도 하며, 여기서 인식률을 높이기 위해 둥근 와인병에 의해 발생한 와핑(warping)을 보상하는 영상처리를 부가할 수 있다.

이상적인 조건에서는 일반 가시광 환경에서 카메라에 의해서도 인식이 가능하나, 저조도 조건이나 반사가 심한 경우 IR 광원을 인식 대상에 투사하고, 반사된 패턴을 인식하는 방법을 이용할 수도 있다. 와인 라벨의 경우 영상을 이용하기 때문에 영상에 대한 데이터베이스가 있는 서버에 접속하여 결과를 다운로드 받는 방식을 사용할 수 있다.

또한, 상기 도 41의 객체 식별 모드(4110)가 OCR(Optical Character Recognition) 모드일 경우, 상기 촬영된 영상에서 텍스트를 추출할 수 있다.

도 42는 본 발명의 실시 예에 따라 촬영된 영상을 분석하여 와인 라벨을 식별하는 예를 나타내는 도면이다. 도 42를 참조하면, 와인병(4220)에 부착된 와인 라벨(4221)을 시계형 장치(4220)의 카메라(4210)를 통해 촬영하면, 표시부(4201)에 촬영된 와인 라벨(4221)의 이미지가 표시될 수 있다.

이때, 도 43에 도시된 바와 같이 본 발명의 실시 예에 따라 상기 촬영된 와인 라벨이 분석되고, 분석 결과가 시계형 장치(4200)의 표시부(4300)에 표시될 수 있다. 도 43은 본 발명의 실시 예에 따라 식별된 와인 라벨의 관련 정보를 표시하는 예를 나타내는 도면이다.

상기 촬영된 와인 라벨 이미지의 분석은 상기 시계형 장치(4200) 내에서 또는 상기 시계형 장치(4200)와 연결된 다른 전자 장치에서 또는 네트워크를 통해 연결된 서버에서 분석될 수 있다.

한편, 상기 도 42 및 도 43과 같은 방법으로 인식 가능한 객체로는 상기 와인 라벨 외에도, 명함, QR 코드, 바코드 등과 같이 다른 어떠한 객체도 가능하다.

도 44 및 도 45는 본 발명의 실시 예에 따른 촬영된 영상으로부터 객체 식별을 위한 메뉴 표시의 예를 나타내는 도면이다.

도 44를 참조하면, 본 발명의 실시 예에 따라 시계형 장치에서 촬영된 영상(4400)에는 특정 메뉴로 진입 가능한 메뉴 진입 이미지(4410)를 표시할 수 있다. 이에 따라, 상기 메뉴 진입 이미지(4410)를 선택하면, 도시된 바와 같은 기능 선택 메뉴(4420)가 표시될 수 있다.

또한, 상기 도 44의 기능 선택 메뉴(4420)에서 특정 기능을 선택하면, 해당 기능이 적용된 화면(4500)이 표시될 수 있다.

도 46은 본 발명의 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블록도이다. 예컨대, 도 46에 도시된 전자 장치(100)는 상술한 실시 예들에서의 제1 전자 장치(100a) 또는 제2 전자 장치(100b)의 일 예일 수 있다.

따라서, 상기 전자 장치(100)는 통신부와 표시부를 구비하는 임의의 장치일 수 있으며, 카메라, 휴대 장치, 이동 단말, 통신 단말, 휴대용 통신 단말, 휴대용 이동 단말 등으로 칭할 수 있다. 예를 들어, 전자 장치는 디지털 카메라, 스마트폰, 휴대폰, 게임기, 텔레비전(TV), 디스플레이 장치, 차량용 헤드 유닛, 노트북 컴퓨터, 랩탑 컴퓨터, 태블릿(Tablet) 컴퓨터, PMP(Personal Media Player), PDA(Personal Digital Assistants), 내비게이션 장치, 은행의 ATM, 상점의 POS 장치 등일 수 있다. 또한, 본 발명에서의 전자 장치는 플렉서블 장치 또는 플렉서블 디스플레이 장치일 수 있다.

이러한 전자 장치(100)의 일 예로서 제1 전자 장치(100a)는 시계형 장치가 될 수 있으며, 제2 전자 장치(100b)는 휴대 장치(예컨대, 휴대폰, 스마트폰 등)가 될 수 있다. 후술하는 전자 장치의 구성들 중에서 일부 구성은 필요에 따라 생략되거나 변경될 수 있다. 이하, 도 46을 참조하여, 본 발명의 실시 예들이 적용될 수 있는 전자 장치(100)의 세부 구조를 예로서 설명하기로 한다.

도 46을 참조하면, 본 발명의 실시 예에 따른 전자 장치(100)는 제어부(110), 통신모듈(120), 입/출력 모듈(130), 저장부(150), 전원공급부(160), 터치스크린(171), 및 터치스크린 컨트롤러(172)를 포함할 수 있다.

우선, 제어부(110)는 CPU(111), 장치(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM, 112) 및 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 장치(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111), 롬(112), 및 램(113)은 내부버스(bus)를 통해 상호 연결될 수 있다. 또한, 제어부(110)는 통신모듈(120), 입/출력 모듈(130), 저장부(150), 전원공급부(160), 터치스크린(171), 및 터치스크린 컨트롤러(172)를 제어할 수 있다. 나아가, 제어부(110)는 싱글코어로 이루어지거나, 듀얼 코어, 트리플 코어, 또는 쿼드 코어 등과 같이 복수의 코어로 이루어질 수도 있다. 상기 코어의 수는 단말의 특성에 따라 본 발명의 기술분야에서 통상의 지식을 가진자에 의해 다양하게 구성될 수 있음은 물론이다.

통신모듈(120)은 셀룰러 모듈, 무선랜 모듈 및 근거리통신 모듈 중 적어도 하나를 포함할 수 있다. 셀룰러 모듈은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나를 이용하여 이동 통신을 통해 전자 장치(100)가 외부 장치와 연결되도록 한다. 셀룰러 모듈은 전자 장치(100)에 입력되는 전화번호를 가지는 휴대폰, 스마트폰, 태블릿 PC 또는 다른 장치와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.

무선랜 모듈은 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 무선랜 모듈은 무선으로 연결되는 무선 액세스 포인트(AP, access point)에서 제공하는 위치 정보를 사용하여 무선랜 모듈을 구비하고 있는 단말의 위치정보를 확인하는 WPS(Wi-Fi Positioning System)를 구동할 수 있다.

근거리통신 모듈은 제어부(110)의 제어에 따라 장치(100)와 무선으로 근거리 통신을 처리하는 모듈로써, 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등의 근거리 통신방식에 기초하여 통신을 처리할 수 있다.

나아가, 통신모듈(120)은 USB 통신 케이블, 시리얼 통신 케이블 등을 통해 연결된 다른 전자장치와 소정의 통신 방식(예컨대, USB 통신, 시리얼 통신 등)에 기초하여 데이터 통신을 수행할 수 있음은 물론이다.

입/출력 모듈(130)은 버튼(131), 스피커(132), 및 진동모터(133) 중, 적어도 하나를 포함할 수 있다.

버튼(131)은 상기 장치(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼(도시되지 아니함), 볼륨버튼(도시되지 아니함), 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼 중 적어도 하나를 포함할 수 있다.

스피커(132)는 제어부(110)의 제어에 따라 셀룰러 모듈, 무선랜 모듈 및 근거리통신 모듈의 다양한 신호(예, 무선신호, 방송신호 등)에 대응되는 사운드를 장치(100) 외부로 출력할 수 있다. 스피커(132)는 상기 장치(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.

진동모터(133)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 상기 장치(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다.

이와 같은, 스피커(132) 및 진동모터(133)는 장치(100)의 볼륨운영모드의 설정 상태에 따라, 동작할 수 있다. 예컨대, 장치(100)의 볼륨운영모드는 소리모드, 진동모드, 소리 및 진동모드, 무음모드 등으로 운영될 수 있으며, 이들 모드 중 하나의 모드로 설정될 수 있다. 제어부(110)는 상기 볼륨운영모드가 설정된 모드에 기초하여, 전자 장치(100)가 수행하는 기능에 따라 상기 스피커(132) 또는 진동모터(133)의 동작을 지시하는 신호를 출력할 수 있다.

저장부(150)는 제어부(110)의 제어에 따라 입/출력 모듈(130), 터치스크린(171)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(150)는 장치(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.

'저장부'라는 용어는 저장부(150), 제어부(110)내 롬(112), 램(113) 또는 장치(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.

전원공급부(160)는 제어부(110)의 제어에 따라 장치(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 장치(100)에 전원을 공급한다. 또한, 전원공급부(160)는 장치에 구비된 커넥터와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 장치(100)로 공급할 수 있다. 또한, 전원공급부(160)는 무선 충전 기술을 통해 외부의 전원소스로부터 무선으로 입력되는 전원을 장치(100)로 공급할 수도 있다.

터치스크린(171)은 단말의 운영체제(OS; Operation System)에 기초하여, 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 디스플레이할 수 있다. 터치스크린(171)은 유저 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 터치스크린 컨트롤러(172)로 전송할 수 있다. 터치스크린(171)은 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치 가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치를 입력받을 수 있다. 또한, 터치스크린(171)은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 터치스크린(171)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치스크린 컨트롤러(172)로 전송할 수 있다.

터치스크린(171)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.

한편, 터치스크린 컨트롤러(172)는 제어부(110)에서 제공되는 디스플레이 데이터가 터치스크린(171)에 표시될 수 있도록, 터치스크린(171)의 출력값을 제어한다. 그리고, 터치스크린 컨트롤러(172)는 터치스크린(171)에서부터 수신된 아날로그 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(110)로 전송한다.

이와 같은, 제어부(110)는 터치스크린(171)과 터치스크린 컨트롤러(172)로부터 제공되는 데이터를 사용하여, 사용자 입력을 처리할 수 있다. 즉, 제어부(110)는 터치스크린 컨트롤러(172)로부터 수신된 디지털 신호를 이용하여 터치스크린(171)을 제어할 수 있다. 예를 들어, 제어부(110)는 터치 이벤트 또는 호버링 이벤트에 응답하여 터치스크린(171)에 표시된 단축 아이콘(도시되지 아니함)이 선택되게 하거나 또는 단축 아이콘(도시되지 아니함)을 실행할 수 있다.

이상, 본 발명의 일 실시예에서, 사용자 입력을 터치스크린(171)을 통해 입력받는 것을 예시하였으나, 본 발명이 이를 한정하는 것은 아니며, 다양한 구성부를 통해 사용자 입력을 인식하여 처리할 수 있음은 물론이다. 예컨대, 본 발명의 일 실시예에 따른 전자 장치(100)는, 센서 모듈 또는 카메라 모듈을 포함할 수 있고, 상기 센서 모듈 또는 카메라 모듈을 통해 입력되는 데이터를 사용하여 사용자 입력을 처리할 수 있다.

예컨대, 상기 센서 모듈은 사용자의 장치(100)에 대한 접근 여부를 검출하는 근접센서, 장치(100) 주변의 빛의 양을 검출하는 조도센서, 및 RGB 센서 중, 적어도 하나의 센서를 포함하여 구성될 수 있다. 또한, 센서 모듈은 장치(100)의 동작(예, 장치(100)의 회전, 장치(100)에 가해지는 가속도 또는 진동)을 검출하는 모션센서(도시되지 아니함)를 포함할 수도 있다. 나아가, 상기 센서 모듈에서 검출된 정보는 제어부(110)에 제공될 수 있으며, 상기 제어부(110)는 상기 검출된 정보를 사용하여 사용자 입력을 처리할 수 있다.

나아가, 카메라 모듈은 장치의 전면 또는 후면에 마련되어 제어부(110)의 제어에 따라 정지이미지 또는 동영상을 촬영하는 카메라를 포함할 수 있으며, 카메라를 통해 촬영된 정지이미지 또는 동영상은 제어부(110)에 제공될 수 있다. 상기 제어부(110)는 상기 카메라에서 제공되는 정지이미지 또는 동영상을 사용하여, 사용자 입력을 처리할 수 있다.

도 47은 본 발명의 실시 예에 따른 웨어러블 장치의 예를 나타내는 사시도이다. 한편, 상술한 본 발명의 실시 예에 따른 시계형 장치는 웨어러블 장치 한 종류로, 일반적인 시계와 같이 팔목에 착용 가능한 디바이스이며, 연산을 수행하는 중앙 처리장치, 정보를 표시하는 디스플레이, 주변 전자장치와 관련되는 통신 장치 등을 내장할 수 있다. 또한 영상의 촬영을 위한 카메라를 내장하여 일반 촬영 또는 인식용 카메라로 사용이 가능하다.

도 47을 참조하면, 상기 제1 전자 장치(100a)가 도시된 바와 같이 시계형 장치일 경우, 제2 전자 장치(100b)에 비하여 상대적으로 작은 용량 및 작은 처리 능력을 구비하는 저장부, 제어부, 및 입출력장치를 구비할 수 있다. 예컨대, 상기 시계형 장치는 사용자의 신체에 착용 가능할 수 있는 정도의 크기로 마련된 단말일 수 있다. 나아가, 상기 시계형 장치는 도시된 바와 같이 소정의 하드웨어 구성물(예컨대, 시계줄)에 결합되어, 사용자의 손목에 착용할 수 있다.

또한, 상기 시계형 장치는 입출력 장치로서, 미리 정해진 소정 크기의 터치스크린(181)을 포함할 수 있으며, 추가적으로 적어도 하나의 하드웨어 버튼(183)을 포함할 수도 있다.

한편, 상기 시계형 장치는 본 발명의 실시 예에 따라 상기 터치스크린(181)을 통해, 카메라(185)를 통해 촬영된 화면을 표시하거나, 상기 촬영된 화면으로부터 인식된 객체의 분석 결과를 표시할 수 있다.

도 48은 본 발명의 실시 예에 따른 전자 장치의 전면 사시도를 나타내는 도면이다.

도 48을 참조하면, 전자 장치(100)의 전면 중앙에는 터치스크린(171)이 배치된다. 상기 터치스크린(171)은 장치(100)의 전면의 대부분을 차지하도록 크게 형성될 수 있다.

또한, 상기 전자 장치(100)의 화면에 표시되는 홈 스크린은 여러 페이지의 서로 다른 홈 스크린들을 포함할 수 있는데, 상기 여러 페이지의 홈 스크린들 중 첫 번째 홈 스크린은 도 48에 도시된 바와 같은 메인 홈 스크린일 수 있다. 홈 스크린에는 자주 사용되는 어플리케이션들을 실행하기 위한 단축 아이콘들(171a, 171b, 171c), 메인메뉴 전환키(171d), 시간, 날씨 등이 표시될 수 있다. 상기 메인메뉴 전환키(171d)는 상기 터치스크린(171) 상에 메뉴 화면을 표시한다. 또한, 상기 터치스크린(171)의 상단에는 배터리 충전상태, 수신신호의 세기, 현재 시각, 볼륨운영모드와 같은 장치(100)의 상태를 표시하는 상태바(Status Bar)가 형성될 수도 있다.

이하, 본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에게 공지되어 사용 가능한 것일 수도 있다.

또한, 본 발명의 예시적 실시예에 따른 방법들은 전술한 장치(100)의 저장부(150)에 프로그램 명령 형태로 구현되어 저장될 수 있으며, 상기 프로그램 명령은, 본 발명의 예시적 실시예에 따른 방법들의 실행을 위해 제어부(110) 내에 포함된 램(RAM, 113)에 일시적으로 저장될 수 있다. 이에 따라, 제어부(110)는, 본 발명의 예시적 실시예에 따른 방법들에 따른 상기 프로그램 명령에 대응하여, 장치(100)에 포함된 하드웨어 구성요소들의 제어를 수행하고, 본 발명의 예시적 실시예에 따른 방법들을 실행하면서 발생되는 데이터를 일시 또는 지속적으로 저장부(150)에 저장하고, 본 발명의 예시적 실시예에 따른 방법들의 실행에 필요한 UI를 터치스크린 컨트롤러(172)에 제공할 수 있다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

100a : 제1 전자 장치 100b : 제2 전자 장치
101 : 통신 네트워크 102 : 정보 검색 서버
500 : 제1 전자 장치 501 : 카메라 모듈
511 : 촬영된 영상 512 : 손
513 : 식별된 객체 영역 514 : 식별된 객체
520 : 제2 전자 장치 521 : 표시부

Claims

카메라 모듈을 이용하여 영상을 촬영하는 과정;
상기 촬영된 영상으로부터 인식된 정보를 통신 네트워크를 통해 연결된 외부의 전자 장치로 전송하는 과정;
상기 외부의 전자 장치로부터 상기 인식된 정보와 관련된 정보를 수신하는 과정; 및
상기 수신된 정보를 표시부에 표시하는 과정을 포함하는, 전자 장치에서 객체를 인식하는 방법.
제1항에 있어서, 상기 촬영된 영상으로부터 정보를 인식하는 방법은,
상기 촬영된 영상의 전체 영역 중 미리 설정된 적어도 일부 영역 내에서 손가락 이미지를 검출하는 과정; 및
상기 촬영된 영상에서 상기 손가락 이미지가 검출된 위치에 근접한 미리 설정된 크기의 영역 내에서 적어도 하나의 객체를 검출하는 과정;을 포함하는, 전자 장치에서 객체를 인식하는 방법.
제2항에 있어서, 상기 미리 설정된 적어도 일부 영역은,
상기 촬영된 영상 내에서 미리 설정된 크기 또는 방향을 갖는, 전자 장치에서 객체를 인식하는 방법.
제2항에 있어서, 상기 객체는,
바코드, QR 코드, 와인라벨, 물체, 사람의 신체, 얼굴, 피처 포인트 정보 중 선택된 어느 하나인, 전자 장치에서 객체를 인식하는 방법.
제1항에 있어서, 상기 전자 장치는,
신체에 착용 가능한 웨어러블 디바이스인, 전자 장치에서 객체를 인식하는 방법.
제5항에 있어서, 상기 전자 장치는,
시계형 장치 또는 안경형 장치인, 전자 장치에서 객체를 인식하는 방법.
제1 전자 장치에서 촬영된 영상으로부터 인식된 정보를 상기 제2 전자 장치에서 수신하는 과정; 및
상기 인식된 정보에 대응되는 관련 정보를 검색하여 표시부에 표시하는 과정을 포함하는, 전자 장치에서 객체를 인식하는 방법.
카메라 모듈을 이용하여 영상을 촬영하는 과정;
상기 촬영된 영상의 전체 영역 중 미리 설정된 적어도 일부 영역 내에서 손가락 이미지를 검출하는 과정;
상기 촬영된 영상에서 상기 손가락 이미지가 검출된 위치에 근접한 미리 설정된 크기의 영역 내에서 적어도 하나의 객체를 검출하는 과정; 및
상기 검출된 객체의 유형과 관련된 동작을 수행하는 과정;을 포함하는, 전자 장치에서 객체를 인식하는 방법.
제8항에 있어서, 상기 미리 설정된 적어도 일부 영역은,
상기 전자 장치가 착용된 상태에서 상기 전자 장치와 상기 손가락 간의 상대적인 위치를 고려하여 결정되는, 전자 장치에서 객체를 인식하는 방법.
제8항에 있어서, 상기 미리 설정된 적어도 일부 영역은,
상기 촬영된 영상 내에서 미리 설정된 크기 또는 방향을 갖는, 전자 장치에서 객체를 인식하는 방법.
제8항에 있어서, 상기 객체는,
바코드, QR 코드, 와인라벨, 물체, 사람의 신체, 얼굴 중 선택된 어느 하나인, 전자 장치에서 객체를 인식하는 방법.
제8항에 있어서, 상기 전자 장치는,
신체에 착용 가능한 웨어러블 디바이스인, 전자 장치에서 객체를 인식하는 방법.
제12항에 있어서, 상기 전자 장치는,
시계형 장치 또는 안경형 장치인, 전자 장치에서 객체를 인식하는 방법.
제8항에 있어서, 상기 객체를 검출하는 과정은,
제1 손가락 이미지가 검출된 위치에 근접한 미리 설정된 크기의 영역 내에서 제2 손가락 이미지를 검출하는 과정을 포함하며,
상기 제1 손가락 이미지 또는 상기 제2 손가락 이미지의 움직임을 트래킹하는 과정; 및
상기 제1 손가락 이미지와 상기 제2 손가락 이미지의 사이에 위치한 영역의 영상 내에 포함된 객체를 인식하는 과정을 더 포함하는, 전자 장치에서 객체를 인식하는 방법.
제14항에 있어서, 상기 객체를 인식하는 과정은,
상기 제1 손가락 또는 제2 손가락의 움직임이 미리 설정된 시간 이상 발생하는 않는 경우 수행하는, 전자 장치에서 객체를 인식하는 방법.
제8항에 있어서, 상기 손가락 이미지를 검출하는 과정은,
미리 정해진 오브젝트에 따라 손가락을 구별하는, 전자 장치에서 객체를 인식하는 방법.
제8항에 있어서, 상기 손가락 이미지를 검출하는 과정은,
손가락의 엣지 정보를 이용하여 컨트라스트에 따라 손가락을 구별하는, 전자 장치에서 객체를 인식하는 방법.
손의 적어도 일부 영역에 적외선 광원을 조사하는 과정;
적외선 카메라로 영상을 촬영하는 과정;
상기 촬영된 영상의 전체 영역 중 미리 설정된 적어도 일부 영역 내에서 패턴을 추출하는 과정; 및
상기 추출된 패턴으로 사용자를 인증하는 과정을 포함하는, 전자 장치에서 객체를 인식하는 방법.
제18항에 있어서, 상기 미리 설정된 적어도 일부 영역은,
상기 전자 장치가 착용된 상태에서 상기 전자 장치와 상기 손가락 간의 상대적인 위치를 고려하여 결정되는, 전자 장치에서 객체를 인식하는 방법.
제18항에 있어서, 상기 미리 설정된 적어도 일부 영역은,
상기 촬영된 영상 내에서 미리 설정된 크기 또는 방향을 갖는, 전자 장치에서 객체를 인식하는 방법.
카메라 모듈을 이용하여 영상을 촬영하는 과정;
상기 촬영된 영상의 전체 영역 중 미리 설정된 적어도 일부 영역 내에서 손가락 이미지를 검출하는 과정; 및
상기 촬영된 영상에서 상기 손가락 이미지가 검출된 위치가 미리 설정된 복수의 위치들 중에서 특정 위치에 가장 근접할 경우 상기 검출된 손가락을 상기 특정 위치에 대응하는 손가락으로 인식하는 과정;을 포함하는, 전자 장치에서 객체를 인식하는 방법.
제21항에 있어서, 상기 미리 설정된 적어도 일부 영역은,
상기 전자 장치가 착용된 상태에서 상기 전자 장치와 상기 손가락 간의 상대적인 위치를 고려하여 결정되는, 전자 장치에서 객체를 인식하는 방법.
제21항에 있어서, 상기 미리 설정된 적어도 일부 영역은,
상기 촬영된 영상 내에서 미리 설정된 크기 또는 방향을 갖는, 전자 장치에서 객체를 인식하는 방법.
제1 전자 장치에서 손의 적어도 일부 영역에 적외선 광원을 조사하는 과정;
제2 전자 장치에서 상기 손의 적어도 일부 영역을 포함하는 적외선 영상을 획득하는 과정; 및
상기 획득한 적외선 영상으로부터 상기 손의 위치를 검출하는 과정을 포함하는, 전자 장치에서 객체를 인식하는 방법.
제1 전자 장치에서 촬영된 영상으로부터 사용자 손의 적어도 하나의 손가락 이미지를 검출하는 과정;
제2 전자 장치에서 촬영된 영상으로부터 상기 손의 이미지를 검출하는 과정;
상기 제2 전자 장치에서 상기 검출된 손의 움직임에 따라 제스쳐를 판단하는 과정; 및
상기 제1 전자 장치에서 검출된 손가락 이미지의 검출 결과에 따라 상기 판단한 각 제스쳐에 대응하는 상이한 동작을 수행하는 과정;을 포함하는, 전자 장치에서 객체를 인식하는 방법.
복수의 전자 장치들이 통신으로 연결되는 과정;
상기 복수의 전자 장치들 중 제1 전자 장치에서 제2 전자 장치가 포함된 영상을 촬영하는 과정;
상기 촬영된 영상의 전체 영역 중 미리 설정된 적어도 일부 영역 내에서 손가락 이미지를 검출하는 과정;
상기 복수의 전자 장치들 중에서 상기 손가락 이미지가 검출된 위치에 근접한 전자 장치를 선택하는 과정; 및
상기 선택된 전자 장치에 대한 제어 신호를 상기 선택된 전자 장치로 전송하는 과정을 포함하는, 전자 장치에서 객체를 인식하는 방법.
청구항 제1항 내지 제26항 중 어느 한 항에 기재된 방법을 컴퓨터상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.