KR101535738B1 - 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법 - Google Patents

비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법 Download PDF

Info

Publication number
KR101535738B1
KR101535738B1 KR1020140008474A KR20140008474A KR101535738B1 KR 101535738 B1 KR101535738 B1 KR 101535738B1 KR 1020140008474 A KR1020140008474 A KR 1020140008474A KR 20140008474 A KR20140008474 A KR 20140008474A KR 101535738 B1 KR101535738 B1 KR 101535738B1
Authority
KR
South Korea
Prior art keywords
information
unit
target object
shape
motion recognition
Prior art date
Application number
KR1020140008474A
Other languages
English (en)
Other versions
KR20150048608A (ko
Inventor
차재상
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Publication of KR20150048608A publication Critical patent/KR20150048608A/ko
Application granted granted Critical
Publication of KR101535738B1 publication Critical patent/KR101535738B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법이 개시된다. 이러한 스마트 디바이스는, 디바이스 본체와, 카메라 센서부, 비접촉 동작 인식부 및 제어부를 포함한다. 상기 디스플레이부는 디바이스 본체 일면에 배치된다. 카메라 센서부는 상기 디바이스 본체의 서로 다른 모서리부에 각각 배치되는 카메라가 적어도 세개 이상 구비되고, 상기 카메라를 통해 대상객체에 대한 영상정보를 각각 획득한다. 비접촉 동작 인식부는 상기 카메라 센서부를 통해 획득한 영상정보를 기반으로 상기 대상객체의 모양, 위치 및 크기 변화 분석을 수행하고, 변화분석에 따른 비접촉 동작 인식 정보를 생성한다. 제어부는 상기 생성된 비접촉 동작 인식 정보에 따라 제어된 화면을 상기 디스플레이부에 디스플레이한다. 이와 같이, 본 발명은 적어도 세개 이상의 카메라가 객체의 비접촉 동작을 인식함으로써, 객체의 동작을 더욱 정밀하게 인식할 수 있으며, 다양한 사용자 인터페이스가 요구되는 환경에서 사용자에게 편리하면서도 생동감 있는 장치의 사용감을 줄 수 있다.

Description

비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법{SMART DEVICE WITH TOUCHLESS CONTROLLING OPERATION FUNCTION AND THE CONTROL METHOD OF USING THE SAME}
본 발명은 스마트 디바이스에 관한 것으로서, 더욱 상세하게는 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법에 관한 것이다.
현대 사회에서 컴퓨터 정보기술의 발전으로 정보기기 사용이 보편화됨에 따라 사용기기와 인간 사이에, 자연스러운 상호작용의 중요성이 증가하고 있다. 이에 따라 정보기기는 텍스트 위주의 인터페이스에서, 인간의 다양한 제스쳐 등을 사용하고 사용자 경험을 중요시 하는 MMI(Man-Machine Interface) 방식으로 발전하고 있다.
이러한 MMI 방식은 직관적인 도구인 손을 이용하여 직접 정보를 입력하기 때문에 별도의 입력장치가 필요하지 않고, 사용자 훈련 여부와 관계없이 사용할 수 있다는 장점이 있다. 최근에는 다양한 유저 인터페이스 환경을 제공하기 위하여 디스플레이 모듈에 터치패드를 결합한 터치스크린이 스마트 디바이스에 채용되고 있으며, 이로 인하여 사용자는 디스플레이 모듈에 구현된 화면을 보면서 다양한 사용자 명력을 입력하거나 기능을 선택할 수 있게 되었다.
그러나, 종래의 터치스크린을 이용한 스마트 디바이스에서는 사용자가 단순히 스마트 디바이스의 화면에 디스플레이된 메뉴 또는 아이콘을 손가락으로 터치함으로써 상기 메뉴 또는 아이콘과 관련된 기능을 선택할 수 있을 뿐, 사용자의 동작에 따른 다양한 유저 인터페이스 환경을 제공하지 못하는 문제가 있다.
더구나, 최근 무선 인터넷 기술의 발달에 따라 스마트 디바이스를 통해서도 개인용 컴퓨터(Personal Computer)로 보는 웹페이지와 동일한 형태로 웹페이지를 볼 수 있을 뿐만 아니라 모든 유선 웹사이트에 대한 검색을 가능하게 하는 풀브라우징(Full Browsing) 서비스가 제공되고 있다.
그러나, 스마트 디바이스에 구비된 소형의 디스플레이 모듈에 상기 웹페이지에 포함된 텍스트, 그래픽, 이미지, 동영상 및 플래시 등이 조밀하게 디스플레이됨으로써, 대게 특정 이미지 크기가 사용자의 손가락과 터치스크린 간의 접촉 면적보다 작기 때문에, 상기 특정 이미지에 인접하여 배열된 다른 이미지 또는 텍스트 등이 터치되는 문제점이 발생되었으며, 손가락으로 인해 화면을 자주 가리는 문제가 존재하였다.
또한, 이러한 터치스크린은 손가락이나 터치팬 등을 통해 반드시 접촉해야지만 기기 조작이 가능함에 따라 잦은 터치가 이루어짐에 따라 액정 손상이나, 특정 부분의 인식이 저하될 수 있다. 따라서 사용자가 터치스크린을 접촉하지 않고도 원하는 기능을 실행시키기 위한 새로운 입력 방법이 구현될 필요성이 있다.
본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것이다. 즉, 본 발명의 목적은, 적어도 세개 이상의 카메라를 통해 객체의 비접촉 동작을 인식함으로써, 동작 인식이 더욱 정밀하게 이루어질 수 있으며, 비접촉식이므로 기존의 터치 방식의 입력 한계를 뛰어넘어 보다 생동감 있는 사용자 상호작용을 제공할 수 있는 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 기술적 사상으로서 본 발명의 비접촉 동작 제어가 가능한 스마트 디바이스는, 디바이스 본체와, 카메라 센서부, 비접촉 동작 인식부 및 제어부를 포함한다.
상기 디스플레이부는 디바이스 본체 일면에 배치된다.
상기 카메라 센서부는 상기 디바이스 본체의 서로 다른 모서리부에 각각 배치되는 카메라가 적어도 세개 이상 구비되고, 상기 카메라를 통해 대상객체에 대한 영상정보를 각각 획득한다. 이때, 카메라 센서부는 상기 디바이스 본체의 전면 또는 후면 또는 전·후면 모두에 배치될 수 있으며, 상기 영상정보는 대상객체에 대한 영상을 캡쳐한 이미지 정보, 영상이 캡쳐된 시간 정보 및 촬영한 카메라 정보 등을 포함한다.
상기 비접촉 동작 인식부는 카메라 센서부를 통해 획득한 영상정보를 기반으로 상기 대상객체의 모양, 위치 및 크기 변화 분석을 수행하고, 변화분석에 따른 비접촉 동작 인식 정보를 생성한다. 또한, 비접촉 동작 인식부는, 상기 카메라별 영상정보를 매칭하여 깊이 맵을 산출하고, 대상객체를 검출하는 객체 검출부, 상기 객체 검출부를 통해 검출된 대상객체의 모양을 인식하는 모양 인식부, 상기 대상객체의 카메라별 시차평균을 이용하여 대상객체의 위치를 측정하는 위치 측정부 및 상기 대상객체의 모양, 위치 및 크기 변화를 통해 비접촉 동작 인식 정보를 생성하는 정보 생성부를 포함할 수 있다.
상기 제어부는 상기 생성된 비접촉 동작 인식 정보에 따라 제어된 화면을 상기 디스플레이부에 디스플레이하며, 텍스트 입력이 가능한 어플리케이션이 실행될 경우, 상기 디스플레이부를 통해 텍스트 입력을 위한 키패드 화면을 제공한다. 이때, 상기 비접촉 동작 인식부는, 상기 모양 인식부를 통해 사용자가 양손의 다섯개 손가락을 모두 이용하여 키입력을 수행하는지 파악하며, 사용자가 양손의 다섯개 손가락을 모두 이용하여 키입력을 수행할 경우, 펼쳐진 손바닥에서 손가락을 구부린 경우의 모양 변화를 통해 펼친 손가락과 접힌 손가락을 구분하고, 이와 동시에 손가락의 위치 변화 및 크기 변화를 통해 사용자가 선택한 키패드의 키를 인식할 수 있다.
본 발명의 비접촉 동작 제어가 가능한 스마트 디바이스는 상기 대상객체의 모양을 인식하기 위한 모양정보 및 대상객체의 모양, 위치, 크기 변화에 따른 비접촉 동작 인식 정보를 생성하기 위한 기 설정된 정보가 저장된 저장부를 포함할 수 있다. 더불어, 상기 카메라 센서부의 활성화 여부를 판단하기 위한 감지장치를 포함할 수 있다.
본 발명의 일실시예에 의한 스마트 디바이스를 이용한 비접촉 동작 제어 방법은, 적어도 세개 이상의 카메라를 통해 대상객체에 대한 영상정보를 각각 획득하는 단계, 카메라별 영상정보를 매칭하여 깊이 맵을 산출하고, 산출된 깊이 맵을 기반으로 영상정보 내 대상객체를 검출하는 단계, 대상객체의 카메라별 시차평균을 이용하여 대상객체의 위치를 측정하는 단계, 상기 대상객체의 모양, 위치 및 크기 변화를 통해 비접촉 동작 인식 정보를 생성하는 단계 및 생성된 비접촉 동작 인식 정보에 따라 화면을 제어하는 단계를 포함하여 구성된다.
상기 영상정보 내 대상객체를 검출하는 단계 이후에, 검출된 대상객체의 모양을 인식하여 특정모양의 인식 또는 모양변화를 인식하는 단계를 추가로 포함할 수 있다.
상기 대상객체에 대한 영상정보를 각각 획득하는 단계에서는, 디바이스 일측에 구비된 감지장치에 의해 기 설정된 시간만큼 대상객체가 존재하지 않을 경우, 카메라를 대기상태로 전환하고, 상기 감지장치에 의해 대상객체의 존재가 감지될 경우 상기 카메라를 활성화 시킬 수 있다.
본 발명에 따른 스마트 디바이스는, 적어도 세개 이상의 카메라가 객체의 비접촉 동작을 인식함으로써, 객체의 동작을 더욱 정밀하게 인식할 수 있으며, 다양한 사용자 인터페이스가 요구되는 환경에서 사용자에게 편리하면서도 생동감 있는 장치의 사용감을 줄 수 있다.
또한, 종래에는 스마트 디바이스의 근접거리 이내에 대상객체가 위치해야만 객체의 동작을 인식할 수 있었으나, 본 발명은 카메라를 이용하여 대상객체의 위치를 파악함으로써 스마트 디바이스와 대상객체와의 이격거리에 대한 제한이 없으며, 실시간으로 연속적인 동작 인식이 가능하다. 더불어, 잦은 접촉으로 인한 모바일 기기의 스크린 액정의 손상을 방지할 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 스마트 디바이스의 개략적인 내부 구성도이다.
도 2는 본 발명의 일실시예에 따른 스마트 디바이스에 카메라 센서부가 장착된 일예를 나타낸 외부 사시도이다.
도 3은 본 발명의 일실시예에 따른 대상객체 위치파악의 일예를 보여주는 개념도이다.
도 4는 본 발명의 일실시예에 따른 텍스트 입력의 일예를 보여주는 개념도이다.
도 5는 본 발명의 일실시예에 따른 스마트 디바이스의 비접촉 동작 제어 방법을 순차적으로 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 바람직한 실시예를 첨부 도면에 의거하여 상세하게 설명하기로 한다.
본 발명의 스마트 디바이스는 스마트폰, 휴대폰, MP3, 게임기, 네비게이션, TV, 디스플레이 장치, 노트북 컴퓨터, 태블릿(tablet) 컴퓨터, PMP(Personal Media Player), PDA(Personal Digital Assistants) 등일 수 있으며, 본 발명의 실시예에서는 스마트 디바이스의 대표적인 구성인 스마트폰을 이용하여 설명하기로 한다. 또한, 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
도 1은 본 발명의 일실시예에 따른 스마트 디바이스의 개략적인 내부 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 스마트 디바이스는 디바이스 본체(100), 상기 본체(100) 전면에 배치되는 디스플레이부(200), 상기 본체(100)의 서로 다른 단부에 각각 배치되는 카메라(310)가 적어도 세개 이상 구비되고, 상기 카메라(310)를 통해 대상객체에 대한 영상정보를 각각 획득하는 카메라 센서부(300), 상기 카메라 센서부(300)를 통해 획득한 영상정보를 기반으로 상기 대상객체의 모양, 위치 및 크기 변화 분석을 수행하고, 변화 분석에 따른 비접촉 동작 인식 정보를 생성하는 비접촉 동작 인식부(400) 및 생성된 비접촉 동작 인식 정보에 따라 디바이스를 제어하는 제어부(500)를 포함하여 구성된다.
먼저, 디스플레이부(200)는 사용자에게 제공할 다양한 화면을 표시하며, 상기 제어부(500)로부터 수신된 화면 제어 신호에 따라 제어된 화면을 표시한다. 예를 들어, 사용자가 손을 오른쪽에서 왼쪽으로 이동할 경우, 디스플레이부(200)는 제어부(500)로부터 화면 페이지가 다음 페이지로 넘어가는 내용이 포함된 화면 제어 신호를 수신하여 해당 화면 페이지에서 다음 페이지로 이동된 화면을 표시하며, 텍스트 입력이 가능한 어플리케이션이 실행될 경우 텍스트 입력을 위한 키패드 화면을 표시하고, 제어부(500)로부터 사용자가 비접촉으로 선택한 키패드의 키에 대응되는 텍스트가 입력되는 제어 신호를 수신하여 해당 텍스트를 표시한다. 또한, 본 발명의 디스플레이부(200)는 기존의 멀티터치 기능을 갖는 터치 스크린으로 구성될 수도 있다.
카메라 센서부(300)는 대상객체에 대한 영상정보를 획득하여 비접촉 동작 인식부(400)로 전송하게 되는데, 여기서 영상정보는 대상객체의 영상을 캡쳐한 이미지 정보, 영상이 캡쳐된 시간 정보 및 촬영한 카메라 정보를 포함한다. 본 발명의 카메라 센서부(300)는, 대상객체의 위치를 정확히 계산하기 위해 카메라가 적어도 3개 이상 필요하며, 디바이스 본체(100) 일면의 서로 다른 단부에 위치하는 것이 바람직하다.
본 발명에서는 도 2에 도시된 바와 같이, 4개의 카메라(310a~310d)가 디바이스 본체(100) 전면의 각 모서리를 따라 위치함으로써, 디스플레이부의 비 사용영역(Dead Zone)이 없이 카메라(310)가 설치된 4각 영역을 모두 사용할 수 있다. 또한, 본 발명의 카메라 센서부(300)는 디바이스 본체(100) 일면에 돌출되지 않는 내장형태의 구조를 가질 수 있도록 평행식 카메라(parallel camera) 구조로 구성되는 것이 바람직하며, 디바이스 본체(100) 전면 및 후면에 모두 배치될 수도 있다.
더불어, 본 발명은 적어도 3개 이상의 카메라를 구비함으로써 다시점 영상을 통한 3차원 영상을 사용자에게 제공할 수 있게 된다. 즉, 상기 카메라 센서부(300)의 3개 이상의 카메라(310)를 통해 원하는 시점의 영상을 획득하고, 제어부(500)는 깊이 영상 기반의 렌더링 기술(Depth Image-based rendering, DIBR)을 사용하여 영상을 합성함으로써, 임의 시점의 영상을 3차원으로 제공할 수 있게 된다. 이에 따라, 사용자는 본 발명의 스마트 디바이스를 이용하여 언제 어디서나 용이하게 3차원 영상을 생성할 수 있게 된다.
비접촉 동작 인식부(400)는 상기 카메라 센서부(300)를 통해 획득한 영상정보를 기반으로 상기 대상객체의 모양, 위치 및 크기 변화 분석을 수행하고, 변화 분석에 따른 비접촉 동작 인식 정보를 생성한다. 이를 위해, 비접촉 동작 인식부(400)는 객체 검출부(410), 모양 인식부(420), 위치 측정부(430) 및 정보 생성부(440)를 포함한다. 또한, 본 발명은 비접촉 동작 인식부(400)를 통해 대상객체의 모양을 인식하기 위한 모양정보 및 대상객체의 모양, 위치, 크기 변화에 따른 비접촉 동작 인식 정보를 생성하기 위한 기 설정된 정보가 저장된 저장부(600)를 구비한다.
본 발명은 스테레오 비전 방식에 따라 대상객체의 거리를 추정한다. 스테레오 비전 시스템을 이용하여 거리를 추정하는 방식의 경우, 카메라로부터 각각 촬영된 영상을 매칭시켜 깊이 맵(depth map)을 생성한다. 그리고 깊이 맵과 각각 촬영된 영상을 이용하여 대상객체를 검출하고, 상기 검출된 대상객체 내의 시차 평균을 구한다. 스테레오 비전 시스템에서는 상기 구해진 시차를 이용하여 객체의 거리를 추정할 수 있다. 이러한 스테레오 비전 기술을 이용하여 객체의 거리를 추정하는 기술은, 이미 넓게 쓰이고 있는 위치 추적 기술로 여기에서는 그에 대한 상세한 설명은 생략하기로 한다.
객체 검출부(410)는 카메라별 영상정보를 매칭하여 깊이 맵(depth map)을 산출하고, 산출된 깊이 맵을 기반으로 영상정보 내 대상객체를 검출한다. 이에 따라, 모양 인식부(420)에서는 대상객체의 특정모양을 인식할 수 있게 되며, 위치 측정부(430)에서는 검출된 대상객체의 중심부분에 대한 시차 값을 구하여 카메라와 대상객체와의 거리를 구할 수 있게 된다. 상기 깊이 맵을 산출하기 위한 매칭 방법으로는 DP(Dynamic Programming), BP(Belief Propagation), Graph-cut 등과 같은 방법을 사용할 수 있다. 또한, 깊이 맵을 이용하여 객체를 검출하는 과정은 다양한 방식을 이용하여 객체를 추출할 수 있으며, 본 발명에서는 수직 시차맵(V-disparity)을 이용하여 수직 시차맵에 맵핑된 시차 값의 분포에 따라 영상정보에 포함된 객체를 검출한다. 즉, 수직 시차맵을 이용하여 감소 경향과 다른 시차값을 갖는 영역의 합을 대상객체 영역으로 검출거나, 같은 시차값을 갖는 픽셀들의 영역을 대상객체 영역으로 검출할 수 있다.
모양 인식부(420)는 상기 객체 검출부(410)를 통해 검출된 대상객체의 모양을 인식한다. 이에 따라, 본 발명은 검출된 대상객체의 특정모양의 인식 또는 모양 변화에 따라서도 비접촉 동작 인식 정보를 인식할 수 있게 된다. 예를 들어, 가위, 바위, 보와 같은 특정모양과, 펼쳐진 손바닥에서 손가락을 구부린 경우의 모양 변화를 통해 펼친 손가락과 접힌 손가락을 구별할 수 있으며, 이에 따라 기타, 피아노 등의 악기연주를 화면을 터치하지 않고 실제 악기를 다루듯 연주하거나, 생동감 있는 게임 제어를 수행할 수 있게 된다.
위치 측정부(430)는 대상객체의 카메라별 시차평균을 이용하여 대상객체의 위치를 측정한다. 본 발명의 위치 측정부(430)는 적어도 세개 이상의 카메라를 통해 획득한 영상정보를 기반으로 하여 대상객체의 위치를 산출하며, 인접한 카메라 사이의 중심위치에서 대상객체까지와의 거리를 각각 추정하고, 추정된 거리들의 최접점에 따라 대상객체에 대한 정확한 위치좌표(x, y, z)를 도출한다. 이에 따라, 두개의 카메라인 좌·우측 카메라만을 이용하여 위치파악하는 경우보다, 더욱 정확한 대상객체의 위치파악이 가능하다.
예를 들어, 도 3에 도시된 바와 같이, 4개의 카메라(310a~310d)를 통해 영상정보를 획득하는 경우, 제1 카메라(310a) 및 제2 카메라(310b) 사이의 중심위치에서 대상객체까지와의 거리(a), 제2 카메라(310b) 및 제3 카메라(310c) 사이의 중심위치에서 대상객체까지와의 거리(b), 제3 카메라(310c) 및 제4 카메라(310d) 사이의 중심위치에서 대상객체까지와의 거리(c), 제4 카메라(310d) 및 제1 카메라(310a) 사이의 중심위치에서 대상객채까지와의 거리(d)를 스테레오 비전 알고리즘을 이용한 삼각 공식을 통해 각각 산출하고, 이를 통해 대상객체에 대한 정확한 위치좌표를 도출한다.
정보 생성부(440)는 모양 인식부(420) 및 위치 측정부(430)를 통한 대상객체의 모양, 위치 및 크기 변화를 통해 비접촉 동작 인식 정보를 생성한다. 즉, 대상객체의 위치변화를 통해 상·하·좌·우·회전 움직임 방향 및 패턴, 속도를 추정할 수 있게 되며, 대상객체의 크기변화를 통해 모양변화 및 원근, 속도를 추정할 수 있게 되어 그에 대응되는 비접촉 동작 인식 정보를 생성할 수 있게 된다.
제어부(500)는 비접촉 동작 인식부로부터 비접촉 동작 인식 정보를 전달 받으면, 비접촉 동작 인식 정보를 파악하여 동작 제어 정보를 생성하고, 생성된 동작 제어 정보에 따른 화면 제어 신호를 디스플레이부(200)로 전송함으로써 디스플레이부의 화면을 제어할 수 있다. 또한, 제어부(500)는 동작 제어 정보에 따른 스마트 디바이스의 동작 제어를 수행한다.
더불어, 제어부(500)는 텍스트 입력이 가능한 어플리케이션이 실행될 경우 디스플레이부(200)를 통해 텍스트 입력을 위한 문자, 숫자, 기호, 그래픽 및 아이콘 중 적어도 하나 이상이 일정한 배열로 표시되는 키패드 화면을 제공하고, 비접촉 동작 인식부(400)로부터 비접촉 동작 인식 정보를 전달받아, 상기 키패드 화면을 통한 비접촉 텍스트 입력을 수행할 수 있다.
예를 들어, 도 4에 도시된 바와 같이, 웹브라우저의 검색 입력창이 선택되거나 메모장과 같은 텍스트 입력 어플리케이션이 실행될 경우, 제어부(500)는 자동으로 화면의 일측에 텍스트 입력을 위한 키패드 화면(210)을 디스플레이하며, 비접촉 동작 인식부(400)는 대상객체의 모양, 위치 및 크기 변화를 통해 해당 키패드의 키가 터치되었음을 인식하고, 제어부(500)는 터치된 키패드의 키에 대응되는 텍스트가 디스플레이부(200)를 통해 표시되도록 제어한다.
이때, 비접촉 동작 인식부(400)는 모양 인식부(420)를 통해 사용자가 양손의 각각 한개의 손가락만 사용하는지 아니면 양손의 다섯개 손가락을 모두 이용하여 키입력을 수행하는지 구분하며, 사용자가 양손의 각각 한개의 손가락만 이용하여 키입력을 수행할 경우 손가락인 대상객체에 대한 정확한 위치좌표를 도출하고, 대상객체의 모양, 위치 및 크기 변화를 통해 키패드의 키가 선택되었음을 인식한다. 이와 반대로, 사용자가 양손의 다섯개 손가락을 모두 이용하여 키입력을 수행할 경우 비접촉 동작 인식부(400)는 펼쳐진 손바닥에서 손가락을 구부린 경우의 모양 변화를 통해 펼친 손가락과 접힌 손가락을 구별하고, 이와 동시에 손가락의 위치 변화 및 크기 변화를 통해 키패드 각각의 키가 선택되었음을 인식할 수도 있다.
더불어, 본 발명은 카메라 센서부(300)의 활성화 여부를 판단하기 위한 장치인 감지장치(700)를 추가로 포함하여 구성될 수도 있다. 본 발명의 감지장치(700)는 적외선, 초음파, 근접 센서 중 하나로 구성될 수 있으며, 카메라 센서부(300)는 일정시간 대상객체가 존재하지 않을 경우 대기상태로 있다가 감지장치(700)를 통해 대상객체의 존재가 감지될 경우 활성화 상태로 전환된다.
도 5는 본 발명의 일실시예에 따른 스마트 디바이스의 비접촉 동작 제어 방법을 순차적으로 도시한 순서도이다.
도 5에 도시된 바와 같이, 본 발명은 먼저 대상객체에 대한 영상정보를 적어도 세개 이상의 카메라를 통해 각각 획득한다(S810). 이어서, 스테레오 비전 방식을 이용하여 카메라별로 각각 촬영된 영상을 매칭시켜 깊이 맵을 생성한다(S820).
다음으로 생성된 깊이 맵을 기반으로 영상정보 내 대상객체를 검출한다(S830). 이때, 본 발명에서는 검출된 대상객체의 모양을 인식하여, 특정 모양의 인식 또는 모양 변화에 따라서도 비접촉 동작 인식 정보를 인식할 수도 있다. 예를 들어, 가위, 바위, 보 동작과 같은 특정모양과, 펼쳐진 손바닥에서 손가락을 구부린 경우의 모양 변화를 통해 펼친 손가락과 접힌 손가락을 구별할 수 있으며, 이에 따라 키패드 화면을 통한 텍스트 입력이 가능하고, 기타, 피아노 등의 악기연주를 화면을 터치하지 않고도 실제 악기를 다루듯 연주하거나, 생동감 있는 게임 제어를 수행할 수 있게 된다.
이어서, 대상객체의 카메라별 시차평균을 이용하여 대상객체의 위치를 측정한다(S840). 본 발명에서는 적어도 세개 이상의 카메라를 통해 획득한 영상정보를 기반으로 하여 대상객체의 위치를 산출하며, 인접한 카메라 사이의 중심위치에서 대상객체까지와의 거리를 각각 추정하고, 추정된 거리들의 최접점에 따라 대상객체에 대한 정확한 위치좌표(x, y, z)를 도출한다.
다음으로 대상객체의 모양, 위치 및 크기 변화를 통해 비접촉 동작 인식 정보를 생성한다(S850). 다시 말해, 대상객체의 위치변화를 통해 상·하·좌·우·회전 움직임 방향 및 패턴, 속도를 추정하며, 대상객체의 크기변화를 통해 모양변화, 원근 및 속도를 추정할 수 있게 되어 그에 대응되는 비접촉 동작 인식 정보를 생성할 수 있게 된다.
이어서, 생성된 비접촉 동작 인식 정보를 파악하여 그에 대응하는 동작 제어 정보를 생성하고(S860), 생성된 동작 제어 정보에 따른 화면 제어를 수행한다(S870).
상술한 바와 같이, 본 발명은 3개 이상의 카메라를 통해 대상객체의 상·하·좌·우·회전 움직임 방향 및 원근, 패턴, 속도, 모양 변화에 따른 비접촉식 동작을 인식할 수 있게 되며, 인식된 동작에 따라 화면 및 디바이스의 동작을 제어할 수 있게 된다. 이에 따라, 본 발명은 스마트 디바이스와 대상객체와의 이격거리에 따른 동작 인식에 제한이 없으며, 실시간으로 연속적인 객체의 동작 인식이 가능해 보다 생동감 있는 사용자 상호작용을 제공할 수 있게 된다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백하다 할 것이다.
100 : 디바이스 본체 200 : 디스플레이부
210 : 키패드 화면 300 : 카메라 센서부
310 : 카메라 400 : 비접촉 동작 인식부
410 : 객체 검출부 420 : 모양 인식부
430 : 위치 측정부 440 : 정보 생성부
500 : 제어부 600 : 저장부
700 : 감지장치

Claims (13)

  1. 디바이스 본체;
    상기 디바이스 본체의 일면에 배치되는 디스플레이부;
    상기 디바이스 본체의 서로 다른 단부에 각각 배치되고, 대상객체에 대한 영상정보들을 각각 획득하는 적어도 3개의 카메라들;
    상기 영상정보들을 이용하여 비접촉 동작 인식 정보를 생성하는 비접촉 동작 인식부; 및
    상기 비접촉 동작 인식 정보에 따라 상기 디스플레이부를 통해 표시되는 화면이 제어되도록 상기 디스플레이부를 제어하는 제어부를 포함하고,
    상기 비접촉 동작 인식부는
    상기 영상정보들을 매칭하여 깊이 맵을 산출하고, 상기 산출된 깊이 맵을 기반으로 상기 영상정보들 각각 내에서 상기 대상객체를 검출하는 객체 검출부;
    상기 객체 검출부를 통해 검출된 상기 대상객체의 모양을 인식하는 모양 인식부;
    상기 영상정보들을 이용하여 상기 카메라들 중 서로 이웃하는 두 카메라들 사이의 중심 위치에서 상기 대상객체까지의 거리를 각각 추정하고, 상기 추정된 거리들의 최접점에 따라 상기 대상객체의 3차원 위치를 측정하는 위치 측정부; 및
    상기 대상객체의 모양 및 3차원 위치 각각의 변화를 분석하여 상기 비접촉 동작 인식 정보를 생성하는 정보 생성부를 포함하는 것을 특징으로 하는 비접촉 동작 제어가 가능한 스마트 디바이스.
  2. 제1항에 있어서, 상기 카메라 센서부는
    상기 디바이스 본체의 전면 및 후면 중 적어도 하나에 배치되는 것을 특징으로 하는 비접촉 동작 제어가 가능한 스마트 디바이스.
  3. 제1항에 있어서, 상기 영상정보들 각각은
    상기 대상객체에 대한 영상을 캡쳐한 이미지 정보, 상기 영상이 캡쳐된 시간 정보 및 상기 영상이 촬영된 카메라 정보를 포함하는 것을 특징으로 하는 비접촉 동작 제어가 가능한 스마트 디바이스.
  4. 삭제
  5. 제1항에 있어서, 상기 제어부는
    텍스트 입력이 가능한 어플리케이션이 실행된 경우, 상기 텍스트 입력을 위한 키패드가 상기 디스플레이부를 통해 표시되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 비접촉 동작 제어가 가능한 스마트 디바이스.
  6. 제5항에 있어서, 상기 대상객체는 임의의 사용자의 양손을 포함하고,
    상기 정보 생성부는
    상기 양손의 다섯개 손가락들의 모양 및 3차원 위치 각각의 변화를 분석하여, 상기 키패드를 통한 키입력값을 갖는 상기 비접촉 동작 인식 정보를 생성하는것을 특징으로 하는 비접촉 동작 제어가 가능한 스마트 디바이스.
  7. 제6항에 있어서, 상기 손가락들의 모양 변화는
    펼친 손가락과 접힌 손가락 사이의 변화를 포함하는 것을 특징으로 하는 하는 비접촉 동작 제어가 가능한 스마트 디바이스.
  8. 제1항에 있어서, 상기 대상객체의 모양을 인식하기 위한 모양정보 및 상기 대상객체의 모양 및 3차원 위치의 변화에 따른 상기 비접촉 동작 인식 정보를 생성하기 위한 기 설정된 정보를 저장하고 있는 저장부를 더 포함하는 것을 특징으로 하는 비접촉 동작 제어가 가능한 스마트 디바이스.
  9. 제1항에 있어서, 상기 디바이스 본체에 장착되어 상기 대상객체의 존재 유무를 감지하는 감지장치를 더 포함하고,
    상기 제어부는
    상기 감지장치에 의한 감지 결과, 기 설정된 시간 이상 상기 대상객체가 존재하지 않는다고 판단되면, 상기 카메라들을 대기 상태로 제어하고,
    상기 감지장치에 의한 감지 결과, 상기 대상객체의 존재가 존재한다고 판단되면, 상기 영상정보들이 획득되도록 상기 카메라들을 활성화 상태로 제어하는 것을 특징으로 하는 비접촉 동작 제어가 가능한 스마트 디바이스.
  10. 제1항에 있어서, 상기 제어부는
    상기 영상정보들을 기반으로 다시점의 3차원 영상을 생성하는 것을 특징으로 하는 비접촉 동작 제어가 가능한 스마트 디바이스.
  11. 삭제
  12. 삭제
  13. 삭제
KR1020140008474A 2013-10-28 2014-01-23 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법 KR101535738B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130128420 2013-10-28
KR1020130128420 2013-10-28

Publications (2)

Publication Number Publication Date
KR20150048608A KR20150048608A (ko) 2015-05-07
KR101535738B1 true KR101535738B1 (ko) 2015-07-09

Family

ID=53005344

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140008474A KR101535738B1 (ko) 2013-10-28 2014-01-23 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법

Country Status (2)

Country Link
KR (1) KR101535738B1 (ko)
WO (1) WO2015064991A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180057870A (ko) * 2016-11-23 2018-05-31 삼성전자주식회사 움직임 정보 생성 방법 및 이를 지원하는 전자 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102187965B1 (ko) * 2020-03-31 2020-12-07 주식회사 가난한동지들 오브젝트 카메라 및 감지센서가 구비된 영상표시장치
KR20210123156A (ko) * 2020-04-02 2021-10-13 삼성전자주식회사 전자 장치 및 비접촉 제스처를 이용한 전자 장치의 기능 운용 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110105671A (ko) * 2010-03-19 2011-09-27 김은주 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법
KR20120028743A (ko) * 2010-09-15 2012-03-23 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR20130077874A (ko) * 2010-09-22 2013-07-09 시마네켄 조작입력장치 및 방법, 그리고 프로그램

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010007455A1 (de) * 2010-02-10 2011-08-11 Ident Technology AG, 82234 System und Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Raum
KR101216833B1 (ko) * 2010-06-01 2012-12-28 금오공과대학교 산학협력단 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법
KR20130053153A (ko) * 2011-11-15 2013-05-23 전자부품연구원 비접촉 방식의 휴대단말기
KR20140139515A (ko) * 2012-03-26 2014-12-05 실리콤텍(주) 모션 제스처 센싱 모듈 및 모션 제스처 센싱 방법
KR20130088104A (ko) * 2013-04-09 2013-08-07 삼성전자주식회사 비접촉 방식의 인터페이스를 제공하기 위한 휴대 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110105671A (ko) * 2010-03-19 2011-09-27 김은주 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법
KR20120028743A (ko) * 2010-09-15 2012-03-23 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR20130077874A (ko) * 2010-09-22 2013-07-09 시마네켄 조작입력장치 및 방법, 그리고 프로그램

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180057870A (ko) * 2016-11-23 2018-05-31 삼성전자주식회사 움직임 정보 생성 방법 및 이를 지원하는 전자 장치
KR102544779B1 (ko) * 2016-11-23 2023-06-19 삼성전자주식회사 움직임 정보 생성 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
WO2015064991A3 (ko) 2015-06-25
KR20150048608A (ko) 2015-05-07
WO2015064991A2 (ko) 2015-05-07

Similar Documents

Publication Publication Date Title
JP6348211B2 (ja) コンピュータ装置の遠隔制御
US20220129060A1 (en) Three-dimensional object tracking to augment display area
US20190250714A1 (en) Systems and methods for triggering actions based on touch-free gesture detection
JP6480434B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
US9747018B2 (en) Apparatus and method for controlling object
US20190384450A1 (en) Touch gesture detection on a surface with movable artifacts
US9619042B2 (en) Systems and methods for remapping three-dimensional gestures onto a finite-size two-dimensional surface
US20120274550A1 (en) Gesture mapping for display device
US20130343607A1 (en) Method for touchless control of a device
US10921926B2 (en) Apparatus and method for recognizing proximity motion using sensors
US20130222239A1 (en) Asymmetric mapping for tactile and non-tactile user interfaces
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
US9285885B2 (en) Gesture recognition module and gesture recognition method
KR102118610B1 (ko) 센서들을 이용하는 근접 동작 인식 장치 및 그 장치를 이용한 방법
KR20090087270A (ko) 3차원 위치 입력 방법 및 장치
US11886643B2 (en) Information processing apparatus and information processing method
KR101535738B1 (ko) 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
KR20150076574A (ko) 공간 터치 방법 및 공간 터치 장치
JP2005321966A (ja) インタフェース方法、装置、およびプログラム
KR20140101276A (ko) 깊이 정보 및 사용자의 공간 제스처에 기초하여 메뉴를 표시하는 방법
KR101598579B1 (ko) 안내정보를 제공하는 사용자 인터페이스 장치 및 안내정보 제공 방법
KR20140021166A (ko) 2차원 가상 터치 장치
KR20090103384A (ko) 공간 투영 및 공간 터치 기능이 구비된 네트워크 단말 장치및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant