KR20160063075A - 공간 인터랙션에서 모션 인식 방법 및 이를 위한 장치 - Google Patents

공간 인터랙션에서 모션 인식 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR20160063075A
KR20160063075A KR1020140166624A KR20140166624A KR20160063075A KR 20160063075 A KR20160063075 A KR 20160063075A KR 1020140166624 A KR1020140166624 A KR 1020140166624A KR 20140166624 A KR20140166624 A KR 20140166624A KR 20160063075 A KR20160063075 A KR 20160063075A
Authority
KR
South Korea
Prior art keywords
motion
input
user
subject
determined
Prior art date
Application number
KR1020140166624A
Other languages
English (en)
Inventor
배수정
정문식
최성도
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140166624A priority Critical patent/KR20160063075A/ko
Priority to US14/952,897 priority patent/US20160147294A1/en
Publication of KR20160063075A publication Critical patent/KR20160063075A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Abstract

단말에서 사용자의 모션을 인식하는 방법을 개시한다. 개시된 모션 인식 방법은 단말이 복수의 모션 입력을 수신하는 단계; 상기 수신된 복수의 모션 입력 중에서 의도 모션을 결정하는 단계; 및 상기 수신된 복수의 모션 입력 중에서 결정된 의도 모션에 대응되는 단말 제어를 수행하는 단계를 포함하고, 상기 의도 모션을 결정하는 단계는, 기설정된 시간동안 정지 상태의 모션 입력 수신 이후에, 처음으로 입력되는 모션 입력을 의도 모션으로 결정하는 것을 특징으로 한다.

Description

공간 인터랙션에서 모션 인식 방법 및 이를 위한 장치{Apparatus and method for recognizing a motion in spatial interactions}
본 발명은 공간 인터랙션에서 사용자가 의도하는 모션을 인식하는 방법 및 이를 위한 디지털 디바이스에 관한 것이다.
셋톱박스, 디지털 TV와 같은 디지털 디바이스의 제어를 용이하게 하기 위하여 대부분의 디바이스에는 리모컨이 함께 제공되고 있다. 또한, 디지털 디바이스의 기능이 다양해 지면서, 디지털 디바이스의 기능을 보다 효과적으로 제어 및 활용하고 사용자의 사용 편의성을 높이기 위하여 리모컨 등과 같은 제어 수단 역시 다양하게 변형이 시도되고 있다.
예를 들어, 리모컨의 내부에 자이로 센서(Gyro sensor)를 내장하여 단순한 키 입력이 아닌 리모컨의 움직임에 의해 사용자의 입력을 전달할 수 있으며, 게임기 역시 자이로 센서와 같은 모션(motion) 인식 센서를 내장함으로써 다양한 유형의 게임이 가정 내에서 가능하도록 하고 있다. 또한, PC 제어를 위한 기존의 마우스 역시 무선 마우스를 넘어 에어(air) 마우스와 같이 사용자가 마우스를 공중에서 움직이는 동작을 인식하여 사용자 입력을 전달하고, PC의 동작을 제어하는 기술도 선보이고 있다.
하지만, 사용자가 리모컨 등을 파지(grip)한 상태로 움직임을 수행하도록 하는 것은 사용자에게 불편함으로 작용될 수 있다. 따라서, 사용자가 리모컨 등을 파지하지 않고, 즉 리모컨의 움직임으로 제어하지 않고, 사용자 신체의 움직임을 통해서 디바이스를 제어하려는 연구가 개발되고 있다.
디바이스 내에 내장된 다양한 센서들을 이용하여, 사용자 신체의 움직임을 검출할 수 있으며, 이를 디바이스 제어 정보로 적용시킬 수 있다. 디바이스에는 사용자 신체의 움직임에 대한 정보를 기 저장되어 있으며, 저장된 정보에 대응되는 사용자 신체의 움직임이 검출될 경우, 이를 디바이스 제어 정보로 결정할 수 있다.
하지만, 사용자의 움직임은 일정한 공간 속에서 수행되며, 사용자 신체의 움직임 모두를 디바이스 제어 정보로 결정할 경우, 사용자가 의도하지 않은 움직임까지도 디바이스 제어 정보로 적용될 수 있는 경우가 발생하고 있다. 따라서, 사용자가 의도한 움직임(모션)을 정확하게 판단할 수 있는 방법이 요구되고 있다.
디지털 디바이스에서 모션을 인식하는 방법 및 이를 위한 장치를 제공하고자 한다. 자세하게는, 사용자의 모션 중에서 사용자가 의도하는 모션을 판단하는 방법 및 이를 위한 장치를 제공하고자 한다.
본 개시의 한 측면에 따르는 사용자의 모션을 인식하는 방법에 있어서, 단말이 복수의 모션 입력을 수신하는 단계; 상기 수신된 복수의 모션 입력 중에서 의도 모션을 결정하는 단계; 및 상기 수신된 복수의 모션 입력 중에서 결정된 의도 모션에 대응되는 단말 제어를 수행하는 단계를 포함하고, 상기 의도 모션을 결정하는 단계는, 기설정된 시간동안 정지 상태의 모션 입력 수신 이후에, 처음으로 입력되는 모션 입력을 의도 모션으로 결정하는 것을 특징으로 한다.
바람직하게는, 상기 결정된 의도 모션을 상기 단말의 저장부에 저장하는 단계를 더 포함할 수 있다.
보다 바람직하게는, 상기 저장부는, 상기 복수의 의도 모션에 대응되는 단말 제어 정보를 저장하고 있는 것을 특징으로 한다.
바람직하게는, 상기 모션 입력은, 상기 단말의 입력부에 입력되는 피사체의 형태 중에서, 기설정된 피사체의 형태의 움직임으로 판단될 수 있다.
보다 바람직하게는, 상기 기설정된 피사체의 형태는, 사용자의 머리, 손, 팔, 발 및 다리 중 적어도 하나 이상의 형태를 포함할 수 있다.
바람직하게는, 상기 수신된 복수의 모션 입력은, 상기 결정된 의도 모션 및 상기 결정된 의도 모션과 반대로 움직이는 역모션 입력을 포함할 수 있다.
바람직하게는, 상기 모션 입력은, 공간 상에서의 스와이프(swype), 핀치 투 줌(pinch-to-zoom) 및 회전 모션 중 적어도 하나 이상을 포함할 수 있다.
바람직하게는, 상기 복수의 모션 입력을 수신하는 단계는, 상기 단말이 수신하는 연속적인 이미지 내에서 피사체를 검출하는 단계; 상기 검출된 피사체의 영역을 피사체 이외의 영역과 분리하는 단계; 및 상기 분리된 피사체의 형태를 추출하는 단계를 포함할 수 있다.
보다 바람직하게는, 상기 추출된 피사체의 형태를 상기 단말의 저장부에 저장하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 복수의 모션 입력은 상기 단말의 입력부에 의해 수신되고, 상기 입력부는 광학 센서, 적외선 센서, 전자기 센서, 초음파 센서 및 자이로(gyro) 센서 중 적어도 하나 이상을 포함할 수 있다.
본 개시의 다른 측면에 따르는 모션을 인식하는 디바이스는, 복수의 모션 입력을 수신하는 입력부; 상기 수신된 복수의 모션 입력 중에서 의도 모션을 결정하고, 상기 수신된 복수의 모션 입력 중에서 결정된 의도 모션에 대응되는 단말 제어를 수행하도록 명령하는 제어부를 포함하고, 상기 제어부는, 기설정된 시간동안 정지 상태의 모션 입력 수신 이후에, 처음으로 입력되는 모션 입력을 의도 모션으로 결정하는 것을 특징으로 한다.
본 개시의 또다른 측면에 따르는 모션을 인식하는 디바이스는, 상기의 방법들을 컴퓨터에서 실행하기 위한 프로그램이 기록된, 컴퓨터로 읽을 수 있는 기록매체일 수 있다.
본 개시의 또다른 측면에 따르는 컴퓨터 프로그램은, 하드웨어와 결합되어, 단말이 복수의 모션 입력을 수신하는 단계; 상기 수신된 복수의 모션 입력 중에서 의도 모션을 결정하는 단계; 및 상기 수신된 복수의 모션 입력 중에서 결정된 의도 모션에 대응되는 단말 제어를 수행하는 단계를 포함하고, 상기 의도 모션을 결정하는 단계는, 기설정된 시간동안 정지 상태의 모션 입력 수신 이후에, 처음으로 입력되는 모션 입력을 의도 모션으로 결정하는 것을 특징으로 하는 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램이다.
도 1은 본 개시의 일 실시예에 따른 사용자의 모션을 인식하는 방법을 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 사용자의 모션을 시간의 흐름에 따라 인식하는 방법을 나타내는 도면이다.
도 3은 본 개시의 일 실시예에 따른 사용자의 신체의 움직임을 인식하는 방법을 나타내는 도면이다.
도 4는 본 개시의 일 실시예에 따른 모션 인식의 대상이 되는 사용자의 신체부를 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따른 모션을 인식하는 과정을 나타내는 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 사용자의 손 영역을 검출하는 과정을 나타내는 흐름도이다.
도 7은 본 개시의 다른 일 실시예에 따른 사용자의 손 영역을 검출하는 과정을 나타내는 흐름도이다.
도 8 은 본 개시의 일 실시예에 따른 얼굴 영역을 추출하는 과정을 나타내는 흐름도이다.
도 9 는 본 개시의 일 실시예에 따른 얼굴 영역을 추출하는 방법을 나타내는 도면이다.
도 10 은 본 개시의 일 실시예에 따른 스와이프 모션 입력을 인식하는 방법을 나타내는 도면이다.
도 11 및 도 12는 본 개시의 일 실시예에 따른 핀치 투 줌 모션 입력을 인식하는 방법을 나타내는 도면이다.
도 13 및 도 14는 본 개시의 일 실시예에 따른 회전 모션 입력을 인식하는 방법을 나타내는 도면이다.
도 15는 본 개시의 일 실시예에 따른 사용자의 신체를 이용한 모션을 인식하는 방법을 나타내는 도면이다.
도 16은 본 개시의 일 실시예에 따른 디지털 디바이스의 구조를 개념적으로 나타내는 블록도이다.
도 17은 본 개시의 다른 일 실시예에 따른 디지털 디바이스의 구조를 개념적으로 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 각 구성요소의 크기나 두께는 설명의 명료성을 위하여 과장되어 있을 수 있다.
명세서 전체에서 "터치 입력"이란 사용자가 디바이스를 제어하기 위해 터치 스크린에 행하는 제스처 등을 의미한다. 또한, 본 명세서에서 “터치 입력”은 터치 스크린상에 접촉되지 않고, 일정거리 이상 이격되어 있는 상태의 터치(예컨대, 플로팅(floating) 또는 호버링(hovering))를 포함할 수 있다.
예를 들어, 본 명세서에서 기술되는 터치 입력에는 드래그, 플릭, 탭, 더블 탭, 스와이프 등이 있을 수 있다.
"드래그(drag)"는 사용자가 손가락이나 터치 도구를 이용하여 화면에 터치한 후 터치를 유지한 상태에서 손가락이나 터치 도구를 화면 내의 다른 위치로 이동시키는 동작을 의미한다.
"탭(tap)"은 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 움직이지 않은 채 화면에서 즉시 들어올리는 동작을 나타낸다.
"더블 탭(double tap)"은 사용자가 손가락이나 터치 도구(stylus)를 이용하여 화면을 두 번 터치하는 동작을 나타낸다.
"플릭(flick)"은 사용자가 손가락이나 터치 도구를 이용하여 임계 속도 이상으로 드래그하는 동작을 나타낸다. 손가락이나 터치 도구의 이동 속도가 임계 속도 이상인지에 기초하여 드래그와 플릭을 구별할 수 있으나, 본 명세서에서 “플릭”은 “드래그”에 포함되는 것으로 해석한다.
“스와이프(swype 또는 swipe)”는 손가락이나 터치 도구로 화면 위의 일정 영역을 터치한 상태에서 수평 또는 수직 방향으로 일정 거리를 움직이는 동작이다. 사선 방향의 움직임은 스와이프 이벤트로 인식되지 않을 수 있다. 본 명세서에서 “스와이프”는 “드래그”에 포함되는 것으로 해석한다.
또한, “터치 & 홀드(touch & hold)”는 사용자가 손가락이나 터치 도구(stylus)를 이용하여 화면을 터치한 후 임계 시간 이상 터치 입력을 유지하는 동작을 나타낸다. 즉, 터치-인 시점과 터치-아웃 시점간의 시간 차이가 임계 시간 이상인 경우를 의미한다. 롱 프레스(long press)와 혼용될 수 있다. 터치 입력이 탭인지 터치 & 홀드인지를 사용자에게 인식시키도록 하기 위하여 터치 입력이 임계 시간 이상 유지되면 시각적 또는 청각적으로 피드백 신호가 제공될 수도 있다.
"드래그 & 드롭(drag & drop)"은 사용자가 손가락이나 터치 도구를 이용해 어플리케이션의 식별 정보를 화면 내 소정 위치에 드래그한 후 놓는 동작을 의미한다.
“핀치 투 줌(pinch to zoom)”은 사용자가 둘 이상의 손가락이나 터치 도구의 간격을 점점 더 멀어지게 하거나, 줄어들게 하는 동작을 의미한다. 손가락 간의 간격이 멀어지게 하는 경우에는 터치 스크린 상에 표시된 화면을 확대하는 입력으로 사용될 수 있고, 손가락 간의 간격이 줄어드는 경우는 화면을 축소하는 입력으로 사용될 수 있다.
명세서 전체에서 "모션(motion) 입력"은, 사용자가 디바이스를 제어하기 위해 디바이스에 가하는 모션을 의미한다. 예를 들어, 모션 입력은, 사용자가 디바이스를 회전시키거나, 디바이스를 기울이거나, 디바이스를 상하좌우로 이동시키는 입력을 포함할 수 있다. 디바이스는, 가속도 센서(Acceleration sensor), 기울기 센서(tilt sensor), 자이로 센서(Gyro sensor), 자기장 센서(3-axis Magnetic sensor), 초음파 센서(ultrasonic sensor) 등을 이용하여, 사용자에 의해 기 설정된 모션 입력을 감지할 수 있다.
명세서 전체에서 "벤딩 입력"은, 디바이스가 플렉서블 디스플레이 장치인 경우, 사용자가 전자 기기를 제어하기 위해 전자 기기의 전체 또는 일부 영역을 구부리는 입력을 의미한다. 본 발명의 일 실시예에 의하면, 디바이스는 벤딩 센서를 이용하여, 벤딩 위치(좌표 값), 벤딩 방향, 벤딩 각도, 벤딩 속도, 벤딩 횟수, 벤딩 동작 발생 시점, 벤딩 동작 유지 시간 등을 감지할 수 있다.
명세서 전체에서 “키 입력”은 사용자가 디바이스에 부착된 물리적인 키를 이용하여, 디바이스를 제어하는 입력을 의미한다.
명세서 전체에서 “다중 입력”은, 적어도 둘 이상의 입력 방식이 결합된 것을 의미한다. 예를 들어, 디바이스는, 사용자의 터치 입력 및 모션 입력을 수신할 수도 있고, 사용자의 터치 입력 및 음성 입력을 수신할 수도 있다. 또한, 디바이스는 사용자의 터치 입력 및 안구 입력을 수신할 수도 있다. 안구 입력은 디바이스를 제어하기 위해 사용자가 눈의 깜빡임, 응시 위치, 안구의 이동 속도 등을 조절하는 입력을 의미한다.
본 발명의 일부 실시예에 의하면, 디바이스는 디바이스와 연계된 외부 디바이스(미도시)로부터 어플리케이션 실행 명령을 수신하는 통신부를 포함할 수 있다.
외부 디바이스(미도시)는 휴대폰, 스마트폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자책 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 사용자는 디바이스와 연계된 휴대폰, 스마트폰, 노트북 컴퓨터, 태블릿 PC, 네비게이션 등을 통해 디바이스에 설치된 어플리케이션의 실행을 요청할 수 있다. 외부 디바이스는 근거리 통신(예컨대, 블루투스, NFC, WFD)을 이용하여 어플리케이션 실행 명령을 디바이스에 전송할 수 있다. 또한 본 개시에서 “디바이스” 용어는 동등한 의미의 “단말”과도 혼용하여 사용하므로 이 점을 참작할 필요가 있다.
본 발명의 일 실시예에 의하면, 디바이스는 사용자 입력에 응답하여 어플리케이션을 실행할 수 있다. 사용자 입력은, 어플리케이션의 실행을 요청하는 입력일 수 있다. 또한, 디바이스는 디바이스와 연계된 외부 디바이스(미도시)로부터 실행 명령을 수신하여 디바이스의 어플리케이션을 실행할 수도 있다.
도 1은 본 개시의 일 실시예에 따른 사용자의 모션을 인식하는 방법을 나타내는 도면이다.
사용자는 디바이스에 대한 제어 명령을 디바이스에 입력하기 위하여 다양한 방법을 이용할 수 있다. 디바이스에 내장된 키 버튼을 누르거나, 디바이스에 내장된 터치 스크린 상을 터치 입력하여 사용자의 의도에 부합되는 디바이스 제어 명령을 입력할 수 있다. 또는, 물리적인 터치 이외에도 사용자의 음성 입력을 통하여도 디바이스 제어 명령을 입력할 수 있으며, 리모컨, 외부 디바이스 등을 이용하여 제어 명령 신호를 전송하는 것도 가능하다.
사용자는 모션 입력을 통하여 디바이스에 대한 제어 명령을 입력할 수 있다. 이때, 사용자의 모션 입력에 대하여 크게 두가지 태양으로 구분할 수 있다. 먼저, 사용자가 디바이스 자체를 이동시킴으로써, 디바이스 내부에 있는 가속도 센서(Acceleration sensor), 기울기 센서(tilt sensor), 자기장 센서(3-axis Magnetic sensor) 또는 자이로 센서(Gyro sensor) 등으로부터 움직임 정보를 획득하여 디바이스의 제어 명령으로 이용할 수 있다.
다른 하나의 모션 입력 태양은, 사용자의 신체의 움직임을 디바이스에서 인식하여, 기 저장된 움직임 정보와 매칭시켜 디바이스의 제어 정보로 이용하는 방법이다. 이 경우, 디바이스의 입력부에서 사용자의 움직임(또는 “모션”과 혼용할 수 있다)을 인식하고, 디바이스의 입력부는 카메라 등과 같은 광학 센서를 통하여 획득된 연속적인 이미지에서 모션 입력을 검출할 수 있고, 또는, 조도 센서를 통하여 디바이스 주변의 조도의 변화를 감지하여 모션 입력을 검출할 수도 있다. 적외선 센서, 열감지 센서 등을 이용하여 디바이스 주변에서 사용자의 모션 입력을 인식할 수도 있다.
도 1에 도시된 바와 같이, 디바이스(100)에 내장된 카메라(105)에서 사용자의 모션을 인식할 수 있다. 카메라(105)의 촬영 범위 내에서 획득되는 사용자의 모션에 대한 연속적인 이미지 또는 동영상으로부터 움직임을 검출하여 디바이스(100)에 대한 제어 명령으로 결정할 수 있다.
도 2는 본 개시의 일 실시예에 따른 사용자의 모션을 시간의 흐름에 따라 인식하는 방법을 나타내는 도면이다.
도 2에 도시된 바와 같이, 사용자는 디바이스(100) 주변에서 디바이스(100)에 대한 제어 명령을 입력하기 위하여 일정 범위 내에서 모션을 취할 수 있다. 이때, 일정 범위는 디바이스(100)의 입력부에서 인식할 수 있는 범위, 즉 카메라(105)의 촬영 범위로 제한함이 바람직하다.
사용자는 시간의 흐름에 따라, 디바이스(100)에 대하여 다양한 모션을 취할 수 있다. 도 2에서는 크게 210 내지 250의 5개의 시간 구간으로 구분하여 사용자의 모션을 구분하여 설명하고 있다. 5개의 시간 구간은 서로 동등한 시간 크기로 반드시 제한되는 것은 아니며, 특정 시간 구간이 다른 시간 구간들에 비하여 길거나 짧을 수 있음에 유의할 필요가 있다.
사용자는 신체의 일부분인 손을 이용하여 디바이스(100)의 전면 카메라(105) 상에서 손을 움직일 수 있다. 예를 들어, 사용자는 디바이스(100)에 표시되고 있는 화면을 전환하기 위한 스와이프(swype) 입력을 모션으로 입력하기 위하여, 손을 좌우로 움직일 수 있다.
먼저, 시간 구간 210에서 전면 카메라(105) 상에 손을 위치할 수 있으며, 시간 구간 220에서 좌에서 우로 움직일 수 있다(설명의 편의를 위하여, “좌-우 스와이프 모션”이라 칭한다). 좌-우 스와이프 모션에 의해서 디바이스는 표시 중인 화면을 좌에서 우로 전환하거나, 좌-우 스와이프 모션에 기정의된 제어를 수행할 수 있다.
사용자는 시간 구간 220에서의 좌-우 스와이프 모션에 의해 좌에서 우로 전환된 화면을 다시 한번 좌에서 우로 전환하기 위하여 좌-우 스와이프 모션을 반복할 수 있다.
사용자가 좌-우 스와이프 모션을 취한 후에, 다시 좌-우 스와이프 모션을 취하기 위해서는 필연적으로(necessarily) 우에서 좌로 손을 움직여야 한다. 따라서, 시간 구간 230에서 사용자는 우로 움직였던 손을 다시 좌로 이동시키고, 시간 구간 240에서 사용자는 화면 전환을 위한 좌-우 스와이프 모션을 취할 수 있다. 이후, 시간 구간 250에서 우로 움직였던 손을 다시 원래의 위치로 움직이기 위하여 다시 좌로 움직일 수 있다.
사용자가 디바이스(100)의 화면을 제어(전환)하기 위하여 취한 모션들은, 전체 시간 구간들 210 내지 250 에서 취한 모션 중에서, 시간 구간들 220 및 240에 해당되는 좌-우 스와이프 모션들이다. 하지만, 디바이스(100)는 좌에서 우로의 모션을 위하여 필연적으로 수반되는 시간 구간 230 및 250에서의 모션이 사용자의 의도에 부합되는지를 판단할 수 없으므로, 전체 시간 구간 210 내지 250에서의 모든 모션을 입력받아 디바이스(100)의 제어 정보로 결정할 수 있다.
따라서, 사용자는 두 번에 걸친 좌-우 스와이프 입력을 의도하여 모션들을 취하였으나, 디바이스(100)는 시간 구간 220에서의 좌-우 스와이프 입력, 시간 구간 230에서의 우-좌 스와이프 입력, 시간 구간 240에서의 좌-우 스와이프 입력 및 시간 구간 250에서의 우-좌 스와이프 입력을 모두 수신하게 된다. 따라서 디바이스(100)는 표시되는 화면을 좌에서 우로 전환하였다가 다시 우에서 좌로 전환하고, 다시 우로, 좌로 전환하여 사용자의 의도에 부합되지 않는 결과를 초래할 수 있다.
이러한 디바이스(100)에 대한 사용자의 오입력을 방지하기 위하여, 사용자와 디바이스(100) 간에 정의된 모션을 수행하도록 하는 것이 요구되고 있으며, 이하에서 중점적으로 설명하기로 한다.
도 3은 본 개시의 일 실시예에 따른 사용자의 신체의 움직임을 인식하는 방법을 나타내는 도면이다.
도 3에 도시된 바와 같이, 디바이스(100)의 사용자는 신체의 일부인 머리(310)를 좌우로 움직임으로써(320) 디바이스(100)에 대한 제어 명령을 입력할 수 있다. 디바이스(100)의 입력부에서 사용자의 머리의 움직임을 검출하여, 모션 입력 정보로 이용할 수 있다.
사용자의 머리는 움직일 수 있는 범위가 제한되어 있다. 좌우로 고개를 돌린다 해도 일정 범위까지만 움직일 수 있으며, 다시 정면으로 시선을 가져오기 위하여 정면을 바라보도록 움직임 이후에 복귀할 수 있다.
앞서 설명한 바와 같이, 사용자가 고개를 좌 또는 우로 돌리는 모션 입력을 수행한 경우에, 반대 방향으로의 모션이 필연적으로 수반된다. 디바이스(100)에서는 이러한 움직임을 모두 인식하게 되고, 어떠한 모션이 사용자의 의도에 따른 모션인지를 구분할 수 없으므로, 인식된 모든 모션에 대응되는 디바이스(100) 제어를 수행하게 되는 문제가 발생하게 된다. 따라서, 디바이스(100)에서 사용자의 의도에 부합되는 의도 모션이 무엇인지를 결정할 수 있는 원칙이 요구된다.
도 4는 본 개시의 일 실시예에 따른 모션 인식의 대상이 되는 사용자의 신체부를 나타내는 도면이다.
도 4에 도시된 바와 같이, 사용자가 의지를 가지고 움직일 수 있는 신체부위는 모션 입력의 주체가 될 수 있다. 사용자는 사용자의 신체 중에서 수의근(voluntary muscle)을 포함하고 있어, 사용자의 의지에 부합되게 움직일 수 있는 신체부위를 움직임으로써, 디바이스에 대한 제어를 명령할 수 있다.
도 4(a)에 도시된 바와 같이 사용자는 손을 움직여서 모션 입력을 수행할 수 있고, 도시되지는 않았으나, 손가락을 움직이거나, 손을 쥐었다 폈다 함으로써 모션 입력을 수행할 수도 있다. 도 4(b)에 도시된 바와 같이, 팔 전체를 움직여서 모션 입력을 수행할 수 있고, 관절부인 팔꿈치를 굽히고 펴는 동작을 통해서 모션 입력을 수행할 수도 있다.
도 4(c) 내지 4(d)에 도시된 바와 같이, 사용자는 발 및 다리를 움직여서 디바이스에 모션 입력을 수행할 수 있다. 발 및 다리는 손 및 팔과 움직임이 유사하므로, 손 및 팔에 대한 설명을 참조하기로 한다.
도 5는 본 개시의 일 실시예에 따른 모션을 인식하는 과정을 나타내는 흐름도이다.
상기에 언급한 모션 입력의 오입력을 방지하기 위한 디바이스와 사용자 간의 원칙이 요구되고 있으므로, 디바이스에서 사용자의 모션 입력을 인식하고, 사용자가 의도한 의도 모션(intended motion)이 무엇인지를 판단할 수 있는 원칙을 설명하기로 한다.
단계 S510에서, 디바이스는 입력부를 통해서 사용자의 모션 입력을 수신할 수 있다. 사용자의 모션 입력이 일회성(一回性)의 입력일 경우, 오입력으로 판단될 문제가 없으나, 사용자의 모션 입력이 반복되는 경우에는 사용자의 의도에 부합된 의도 모션 및 의도 모션과 반대 방향으로의 모션인 역모션(reverse motion)을 구분하지 못함에서 발생하는 오입력 문제가 있을 수 있다. 따라서, 본 개시에서는 디바이스가 복수의 모션 입력을 수신하는 경우를 중점적으로 설명한다.
디바이스의 입력부는 사용자의 모션을 입력받는 역할을 수행할 수 있다. 디바이스의 입력부는 카메라 등과 같은 광학 센서를 통하여 획득된 연속적인 이미지에서 모션 입력을 검출할 수 있고, 또는, 조도 센서를 통하여 디바이스 주변의 조도의 변화를 감지하여 모션 입력을 검출할 수도 있다. 적외선 센서, 열감지 센서 등을 이용하여 디바이스 주변에서 사용자의 모션 입력을 인식할 수도 있다. 디바이스가 획득한 이미지에서 모션 입력을 검출하는 방법에 대하여는 후술하기로 한다.
단계 S520에서 디바이스는 입력부를 수신된 복수의 모션들 중에서 사용자의 의도에 부합되는 의도 모션(intended motion)을 결정할 수 있다. 사용자는 다양한 원칙을 통해서 의도 모션을 정의할 수 있으며, 정의된 의도 모션을 디바이스에 설정할 수 있다.
본 개시에서는, 디바이스에서 기설정된 시간동안 정지 상태의 모션 입력 수신 이후에, 처음으로 입력되는 모션 입력을 사용자의 의도에 부합되는 의도 모션으로 결정할 수 있다. 이는 사용자가 모션을 취함으로써 디바이스에 제어 명령을 할 경우, 이를 의도 모션으로 정의하기 위하여 별도의 모션을 취한다든지의 절차를 포함시키는 것은 사용자의 모션 입력 동작에 불편함을 초래할 수 있다. 예를 들어 사용자가 디바이스에 의도된 모션을 취하기 위하여 디바이스의 카메라 상에 박수를 친다거나, 손을 한 번 쥐었다 폈다 한다거나 하는 동작은 사용자의 의도 모션과 관계없는 불필요한 동작이므로, 효율적이지 못한 측면이 있다.
따라서, 사용자의 불필요한 동작없이 디바이스에 사용자의 의도 모션이 무엇인지 정의하기 위한 동작이 필요하다. 효율성 측면에서, 사용자가 의도 모션을 취하기 전에 소정 시간동안 정지 상태로 있은 후에 의도 모션을 취할 수 있다. 사용자의 의도 모션을 취하기 전에 소정 시간동안 정지 상태를 유지함으로써, 디바이스는 의도 모션이 입력될 것임을 판단할 수 있고, 정지 상태 이후 처음으로 입력되는 모션 입력을 의도 모션으로 결정할 수 있다.
예를 들어, 사용자가 스마트폰의 디스플레이부에 표시된 뉴스 기사를 구독하는 중에 스크롤 명령을 하기 위하여, 스마트폰의 전면 카메라 상에서 손을 아래에서 위로 움직일 경우, 아래에서 위로 움직이기 전의 상태에서 소정 시간동안 손을 정지 상태를 유지하고 손을 위로 움직이면, 스마트폰의 제어부에서는 아래에서 위로의 스크롤에 대한 모션 입력(설명의 편의를 위하여, “하-상 스크롤 입력”으로 칭할 수 있다)으로 판단할 수 있다. 반대로, 사용자가 손을 소정 시간동안 정지 상태로 유지한 후에 아래로 움직으면, 위에서 아래로의 스크롤에 대한 모션 입력(설명의 편의를 위하여, “상-하 스크롤 입력”으로 칭할 수 있다)으로 판단할 수 있다.
하-상 스크롤 입력 또는 상-하 스크롤 입력 이후에 필연적으로 이에 반대되는 방향으로의 모션이 디바이스에 입력될 수 있다. 예를 들어, 사용자가 스마트폰을 이용하여 뉴스 기사를 구독하기 위하여 기사를 위로 올리는 하-상 스크롤 입력을 스마트폰에게 한 이후에 다시 하-상 스크롤 입력을 할 경우가 있을 수 있다. 이 경우에 있어서, 사용자의 손의 움직임은 물리적으로 제한된 범위 내에서만 가능하므로, 아래로 움직인 손을 다시 위로 올리는 상-하 스크롤 입력이 스마트폰에 입력될 수 있다.
스마트폰은 소정 시간동안의 정지 상태 이후에, 하-상 스크롤 입력이 수신되었으므로, 사용자의 의도 모션을 하-상 스크롤 입력으로 결정할 수 있다. 따라서, 하-상 스크롤 입력 이후에 상-하 스크롤 입력이 수신되더라도, 이를 의도 모션이 아니라고 결정할 수 있다.
단계 S530에서, 디바이스는 수신된 복수의 모션 중에서 결정된 의도 모션에 대응되는 디바이스 제어 동작을 수행할 수 있다. 디바이스는 앞서 설명한 단계 S520에서 사용자의 의도 모션 및 의도 모션이 아닌 모션을 구별할 수 있으므로, 사용자의 의도 모션에 해당되는 모션만 유의미한 입력으로 결정하고, 의도 모션이 아닌 모션에 대해서는 별도의 동작을 수행하지 않을 수 있다.
디바이스는 결정된 의도 모션을 디바이스의 저장부에 저장할 수 있다. 저장부에는 사용자에 의해 설정된 다양한 모션에 대한 데이터베이스가 저장될 수 있다. 하기의 표 1은 본 개시의 일 실시예에 따라, 저장부에 저장될 수 있는 다양한 모션들을 정의하고 있다.
모션 어플리케이션 제어 명령
좌-우 스와이프 이미지 뷰어 왼쪽 화면을 호출
음악 플레이어 음량 증가
동영상 플레이어 재생 빨리감기
우-좌 스와이프 이미지 뷰어 오른쪽 화면을 호출
음악 플레이어 음량 감소
동영상 플레이어 재생 되감기
확대 핀치 투 줌 이미지 뷰어 화면을 확대
바탕화면 화면에 표시된 객체를 분리
축소 핀치 투 줌 이미지 뷰어 화면을 축소
바탕화면 화면에 표시된 객체를 그룹핑
시계방향 회전 이미지 뷰어 화면을 시계 방향으로 회전
음악 플레이어 음량 증가
동영상 플레이어 재생 빨리감기
반시계방향 회전 이미지 뷰어 화면을 반시계 방향으로 회전
음악 플레이어 음량 감소
동영상 플레이어 재생 되감기
탭
(단말에 가까이 접근)		 바탕화면 객체 선택
음악 플레이어 재생/정지
더블탭 바탕화면 어플리케이션 실행
동영상 플레이어 재생/정지
상-하 스크롤 이미지 뷰어 위쪽 화면을 호출
음악 플레이어 음량 감소
하-상 스크롤 이미지 뷰어 아래쪽 화면을 호출
음악 플레이어 음량 증가
손을 쥐었다 핌 이미지 뷰어 화면을 확대
파일 관리 프로그램 버퍼에 저장된 데이터 붙여넣기
손을 폈다 쥠 이미지 뷰어 화면을 축소
파일 관리 프로그램 데이터를 버퍼에 저장
상기 표 1에 정의된 모션 이외에도 3차원 공간 상에서 디바이스의 입력부 상에서 인식할 수 있는 다양한 모션들에 대하여 디바이스에 대한 제어 명령으로 정의할 수 있으며, 반드시 표 1에 정의된 것으로 제한되지 않는다. 사용자는 디바이스에 대한 제어 명령을 상기 표 1과는 다르게 정의할 수 있다.
또한, 사용자의 모션 입력은 서로 다른 모션 입력이나, 디바이스에 대하여는 동일한 제어 명령으로 정의될 수 있다. 예를 들어, 좌-우 스와이프 모션 입력과 시계 방향 회전 모션 입력은 서로 다른 형태의 모션 입력이지만, 디바이스에 대하여는 음량을 증가하도록 제어하는 명령으로 동일하게 정의될 수 있다.
사용자의 모션 입력에 대한 디바이스에 대한 제어 명령은, 디바이스에서 실행 중인 어플리케이션에 따라 서로 다르게 정의될 수 있다. 어플리케이션에 따라 사용자로부터 입력되는 제어 명령이 상이하게 설정될 수 있다. 예를 들어, 상-하 스크롤 모션 입력 및 하-상 스크롤 모션 입력은 인터넷 브라우져 어플리케이션에서는 화면을 위 아래로 이동하는 제어 명령으로 이용될 수 있으며, 동영상 재생 어플리케이션에서는 음량을 감소시키거나 증가시키는 제어 명령으로 이용될 수 있다.
도 6은 본 개시의 일 실시예에 따른 사용자의 손 영역을 검출하는 과정을 나타내는 흐름도이다.
도 6에서는 앞서 도 5에서의 단계 S510에서의 단계를 보다 상세하게 설명하기로 한다. 단계 S510에서, 디바이스는 입력부를 통하여 복수의 모션 입력을 수신할 수 있다. 복수의 모션 입력은 사용자의 신체를 이용한 움직임을 의미할 수 있으며, 특정 움직임이 반복될 수 있다. 도 6에서는 입력부를 카메라로 예를 들어 카메라에서 촬영되는 연속적인 이미지들로부터 모션 입력을 추출하는 과정을 설명한다.
단계 S610에서, 디바이스는 사용자의 움직임을 획득하기 위하여 디바이스의 입력부에 해당되는 카메라부에서 연속적인 이미지를 획득할 수 있다. 동영상의 경우에도 연속적인 이미지에 해당될 수 있다. 디바이스의 제어부는 획득한 이미지들 중에서 픽셀의 변화값이 큰 영역을 결정할 수 있으며, 이 영역에서 사용자의 모션이 취해지고 있다고 결정할 수 있다.
단계 S620에서, 디바이스의 제어부는 획득된 이미지에서 손 영역을 검출할 수 있다. 디바이스의 제어부는 저장부에 기 저장된 다양한 피사체의 형태에 대한 정보로부터, 획득된 이미지 내에 동일/유사한 피사체의 형태가 있는지를 판단할 수 있다. 예를 들어, 디바이스의 저장부에 사용자의 손 형태에 대한 정보가 저장되어 있는 경우, 사용자의 손을 이용한 모션이 카메라부에 의해 촬영되어 이미지로서 수신되면, 디바이스의 제어부는 사용자의 손 형태를 검출할 수 있다.
단계 S630에서, 디바이스의 제어부는 검출된 손 영역을 손 이외의 영역과 분리(segmentation)할 수 있다. 손과 손 이외의 영역 경계에서의 픽셀 값의 변화 정도를 이용하여, 손 영역의 경계를 결정할 수 있다. 카메라의 입력부에서, 손 영역과 손 이외의 영역에 대한 깊이값(depth value)이 서로 다르게 수신될 수 있으므로, 깊이값 속성을 기준으로 하여 손 영역을 분리할 수도 있다.
단계 S640에서, 디바이스의 제어부는 획득된 이미지에서 손 형태를 추출할 수 있다. 상기 단계 S630에서 손 영역 및 손 이외의 영역을 경계로 하여 분리할 수 있으므로, 분리된 손 영역만을 추출하여 손 영역의 움직임을 모션 판단의 기준으로 결정할 수 있다.
단계 S650에서, 디바이스는 추출된 손 형태의 움직임이 좌-우 스와이프 모션인지, 우-좌 스와이프 모션인지 등을 구별할 수 있다. 이렇게 손에 대한 기하학 정보를 측정함으로써, 복수의 모션 입력을 구분할 수 있다.
상기의 단계들 S610 내지 S650의 과정들을 상세하게 설명하기 위하여, 상기디바이스의 입력부를 CCD(charge-coupled device) 카메라로 손 영역을 검출하는 과정을 예를 들어 설명하기로 한다.
CCD 컬러 영상을 이용한 손 영역 추출의 방법으로 색상 정보 및 기하학적 모양 정보를 기반으로 하는 방법을 이용할 수 있지만, RGB(Red-Green-Blue) 컬러 공간에서 색상 정보를 기반으로 하는 손 영역 검출 방법은 조명의 변화에 민감하게 반응하는 문제가 있다. 따라서, RGB 컬러 공간을 YCbCr 컬러 공간(YCbCr color space)이나, YIQ 컬러 공간(YIQ color space)으로 변환시켜 손 영역을 추출할 수 있다.
여기서, YCbCr 컬러 공간에 대하여 간략하게 설명하면, YCbCr 컬러 공간은 영상 시스템에서 사용되는 색공간의 일종이며, 컬러 정보로부터 밝기 성분과 색차 성분을 분리한 색표현 방식으로, Y는 휘도 신호, Cb 및 Cr은 색차 신호를 의미한다. YCbCr은 절대 색공간이 아니며, 적/녹/청 3원색이 시각적으로 균일한 정보를 RGB 정보를 밝기 신호 및 색차 신호로 서로 다른 정보를 가지도록 수식에 의하여 변환된 색 표현 방식이다.
YCbCr 컬로 공간에서 Cb 및 Cr만을 사용하여 다양한 조명 변화의 영향을 감소시켜 손 영역을 추출하여 이진화하고, 이진화 된 영상을 향상(enhancement)시킨 후 추출된 손 영역을 2차 모멘트 모양 특성 값을 이용하여 최종 손 후보 영역으로 추출한다.
도 7은 본 개시의 다른 일 실시예에 따른 사용자의 손 영역을 검출하는 과정을 나타내는 흐름도이다.
도 7에서는 상기의 도 6에 대한 설명에서의 단계 610 내지 단계 630의 일련의 과정을 상세하게 설명하기로 한다.
단계 S710에서, 디바이스는 입력부를 통하여 이미지를 획득할 수 있다. 디바이스의 제어부에서는 입력된 이미지를 하나의 프레임 단위로 하여 신호 처리의 대상으로 결정할 수 있다. 도 7의 오른쪽에 표시된 바와 같이, 디바이스에서 획득한 이미지(715)에 대하여 디지털 신호 처리(digital signal processing; DSP)의 대상으로 결정할 수 있다.
단계 S720에서, 디바이스의 제어부는 상기 이미지(715)에서, 손바닥 영역을 검출할 수 있다. 디바이스의 저장부에는 손바닥 영역에 해당되는 형태 정보들이 데이터베이스화하여 저장되어 있을 수 있다. 손바닥 영역 이외에도, 얼굴 형태, 팔 형태, 다리 형태 및 발 형태 등 다양한 형태들이 저장부에 저장되어 있을 수 있다. 디바이스의 제어부는 이미지 프레임에서 손바닥 영역을 검출할 수 있고, 손바닥 영역이 이미지 내에서 특정 좌표 부근임을 결정할 수 있다(725).
단계 S730에서, 디바이스의 제어부는 검출된 손바닥 영역에 대한 픽셀 색상을 분석할 수 있다. 손바닥은 피부 색상을 나타내고, 이미지 내에서 손바닥 주변의 픽셀들과 서로 다른 색상 정보를 포함할 수 있다. 이미지 내에서 검출된 손바닥 영역 및 손바닥 이외의 영역을 그레이 스케일(gray scale) 처리하여, 색상의 차이가 아닌 흰색과 검정색에서의 명도의 차이로 구분할 수 있다(735).
이 경우, 이미지 내에서 사용자의 손바닥 영역의 픽셀 정보와 유사한 픽셀 정보를 가지는 얼굴 영역이 문제될 수 있다. 얼굴 영역도 손바닥 영역과 비슷한 픽셀 정보로서 그레이 스케일 처리하여도 유사한 명도의 차이가 있을 수 있다. 디바이스의 제어부는 저장부에 저장된 데이터베이스를 검색하여 얼굴 영역의 형태 및 손바닥 영역의 형태를 구별할 수 있다. 단순히 픽셀의 색상 및 명도의 차이로 구분하는 것이 아니며, 검출되는 피사체의 전체 형태 또한 하나의 구별 기준이 됨에 유의할 필요가 있다.
단계 S740에서, 디바이스의 제어부는 손바닥 영역을 손바닥 이외의 영역과 분리할 수 있다. 따라서, 디바이스의 제어부는 손바닥 영역의 움직임 정보만을 획득할 수 있다(745).
단계 S750에서, 디바이스의 제어부는 손바닥의 실루엣(silhouette) 또는 윤곽(contour) 정보를 획득하여, 손바닥의 모션 입력을 결정할 수 있다.
도 8 은 본 개시의 일 실시예에 따른 얼굴 영역을 추출하는 과정을 나타내는 흐름도이다.
앞서 설명에서는 디바이스의 입력부를 카메라 등과 같은 광학 이미지 센서로 하여 획득한 이미지에서 사용자의 모션을 결정하는 것을 예로 설명하였다. 하지만 디바이스의 입력부는 광학 이미지 센서 이외에도 다양한 형태의 센서가 될 수 있으며, 적외선 카메라를 통하여 특정 피사체 영역을 추출할 수 있다. 이하에서는 설명의 편의를 위하여 적외선 카메라를 이용하여 얼굴 후보 영역을 추출하는 과정을 설명하기로 한다.
피사체는 스스로가 가진 온도에 따른 적외선 에너지를 방출하므로, 디바이스의 적외선 카메라는 이와 같이 움직이는 피사체에서 방출되는 적외선 영역의 에너지를 검출할 수 있다. 물체의 표면 온도를 각각의 온도의 높낮이에 따른 물체의 온도 분포 정보 이미지로 나타낼 수 있다. 따라서 적외선 이미지에서 얼굴 영역의 온도 분포를 이용하면, 얼굴 영역의 추출을 할 수 있다. 디바이스는 적외선 카메라를 이용하여 촬영된 적외선 이미지를 이용하여 얼굴 영역을 추출하기 위하여, 도 8에 도시된 같은 일련의 과정을 수행할 수 있다.
단계 S810에서, 디바이스의 제어부는 먼저 적외선 이미지를 획득할 수 있다.
단계 S820에서, 디바이스의 제어부는 적외선 이미지에서 온도 분포에 따른 1차 얼굴 후보 영역을 추출하여 이진화(Binarization)할 수 있다.
단계 S830에서, 디바이스의 제어부는 이진화된 값에 형태학적 필터링 (Morphological Filtering) 및 기하학적 교정(Geometrical correction)을 수행할 수 있다.
단계 S840에서, 디바이스의 제어부는 레이블링 (Blob labeling)의 이미지 처리를 수행할 수 있다.
단계 S850에서, 디바이스의 제어부는 2차 모멘트 모양 특성 값을 이용하여 얼굴 후보 영역으로 추출된 부분이 얼굴 영역인지를 판단할 수 있다.
단계 S860에서, 디바이스의 제어부는 얼굴 영역으로 판단되는 경우, 최종적으로 얼굴 영역을 추출할 수 있다.
도 9 는 본 개시의 일 실시예에 따른 얼굴 영역을 추출하는 방법을 나타내는 도면이다.
도 9에 도시된 바와 같이, 얼굴 온도 분포의 값을 일정 범위로 설정하여 얼굴 후보 영역을 검출할 수 있다. 그러나, 앞서 도 8의 알고리즘은 적외선 이미지 내에 얼굴 영역과 유사한 온도 분포를 갖는 열원(heat source)이 존재하는 경우, 이를 모두 얼굴 영역으로 인식하는 오류가 발생할 수 있다. 예를 들어, 도 9(a)는 적외선 이미지 내에 얼굴 영역의 온도 분포와 유사한 열원이 존재하는 경우를 보여주며, 도 9(b)는 도 9(a)의 열 특성 지수 분포를 이용하여, 도 8의 흐름도의 ‘얼굴 후보 영역 추출’ 알고리즘을 수행한 결과를 보여준다. 디바이스는 앞서 도 6에서 설명한 추출 방법 및 적외선 추출 방법을 조합하여 피사체 추출의 정확도를 향상시킬 수 있다.
실시예1 : 스와이프
도 10 은 본 개시의 일 실시예에 따른 스와이프 모션 입력을 인식하는 방법을 나타내는 도면이다.
사용자는 디바이스(100)의 어플리케이션을 실행시킬 수 있으며, 실행 중인 어플리케이션을 조작하기 위하여 디바이스(100)에 제어 명령을 입력할 수 있다. 예를 들어, 사용자가 태블릿 PC의 이미지 뷰어 어플리케이션을 통하여 다수의 이미지를 보기 위해서는 태블릿 PC에 좌-우/우-좌 스와이프 입력이 필요할 수 있다.
사용자는 물리적으로 디바이스에 스와이프 입력을 입력할 수 있다. 사용자는 디바이스(100)의 터치 스크린 상에 스와이프 입력을 할 수 있으며, 또는 스크린 이외에 별도의 터치 패드 상에서 스와이프 입력을 할 수도 있다. 또는 하드 키(hard key) 도는 조이스틱(joystick)의 형태로 된 입력부에 스와이프 입력을 할 수도 있다.
하지만, 사용자로 하여금 디바이스(100)에 직접적으로 제어 명령을 입력하도록 하는 것은 사용자에게 불편함을 제공할 수 있다. 리모컨을 이용하여 디바이스(100)에 제어 명령을 전송할 수도 있으나, 리모컨을 이용하지 못할 경우가 발생할 수 있다.
예를 들어, 사용자가 요리 중인 상황에 처해 있을 수 있다. 사용자는 태블릿 PC에 표시된 조리법을 보고 요리를 하고 있을 수 있으며, 조리법의 다음 화면으로 전환하기 위하여 스와이프 입력을 해야 할 경우가 있다. 이러한 경우, 사용자의 손 발에 음식물이 묻어 있어, 사용자가 직접 태블릿 PC를 조작하지 못할 수 있으며 리모컨을 이용하지도 못할 수 있다. 대안으로, 사용자의 음성 명령을 통해서 태블릿 PC에 스와이프 명령을 입력할 수 있으나, 요리를 하는 경우에는 주변에 조리기구들의 소리가 음성 명령에 잡음으로 작용하여 디바이스가 제대로 인식하지 못할 수 있다. 따라서, 태블릿 PC와 같은 디바이스 앞에서 기설정된 모션 입력을 취하는 것이 가장 직관적이면서도 효율적인 제어 명령 입력이 될 수 있다.
사용자는 디바이스(100)를 향해서 연속적인 스와이프 모션 입력을 취할 수 있다. 도 10에 도시된 바와 같이, 사용자는 시간 구간 1010에서 신체 일부인 손을 이용하여 전면 카메라부(105) 상에 일정시간 동안 정지하고 있을 수 있다.
디바이스(100)의 입력부는 사용자의 손을 포함한 이미지를 촬영할 수 있으며, 디바이스(100)의 제어부는 획득한 이미지 내에서 손 영역을 검출할 수 있다. 제어부는 획득한 복수의 연속적인 이미지에서 검출된 손 영역의 움직임(모션)을 인식할 수 있다.
시간 구간 1010에서 사용자의 손의 움직임이 기설정된 오차 범위 내에서 이루어지므로, 제어부는 다음 시간 구간에서 입력되는 사용자의 모션 입력을 사용자의 의도에 부합되는 의도 모션(intended motion)으로 결정할 수 있다.
시간 구간 1020에서, 사용자는 전면 카메라(105) 상에서 손을 좌에서 우로 이동시키는 좌-우 스와이프 모션 입력을 취할 수 있다. 제어부는 획득되는 복수의 연속적인 이미지 내에서 검출된 손 영역이 좌에서 우로 움직이므로, 사용자의 의도 모션은 “좌-우 스와이프 모션”임을 결정할 수 있다.
디바이스(100)의 제어부는 저장부의 데이터베이스를 검색하여 좌-우 스와이프 모션에 대응되는 디바이스 제어 명령이 무엇인지 인지할 수 있다. 데이터베이스 상에 좌-우 스와이프 모션은 현재 실행 중인 이미지 뷰어 어플리케이션에 대하여 왼쪽 화면을 호출하는 제어 명령으로 저장되어 있을 수 있다. 따라서, 제어부는 표시부에 현재 표시 중인 화면의 왼쪽 화면이 표시되도록 제어할 수 있다.
시간 구간 1030에서, 사용자는 디바이스(100)에 다시 좌-우 스와이프 모션을 입력하기 위하여 손을 우에서 좌로 이동시킬 수 있다. 이 때의 사용자 손의 움직임은 입력부에서 촬영되어 제어부에서 사용자가 우-좌 스와이프 모션을 취한 것으로 결정될 수 있다.
디바이스(100)의 제어부는 결정된 우-좌 스와이프 모션이 사용자의 의도 모션과 부합되는지 판단할 수 있다. 제어부는 시간 구간 1010에서 소정 시간동안 정지 상태에 있은 후의 시간 구간 1020에서의 좌-우 스와이프 모션을 의도 모션으로 결정하였기 때문에 시간 구간 1030에서의 우-좌 스와이프 모션은 사용자의 의도 모션이 아니라고 결정할 수 있다. 따라서, 제어부는 시간 구간 1030에서의 우-좌 스와이프 모션에 대하여 디바이스의 제어 명령이 아닌 것으로 결정하고, 아무런 제어 동작을 수행하지 않을 수 있다.
또한, 디바이스(100)의 제어부는 의도 모션 이후에 입력되는 의도 모션이 아닌 모션 입력에 대하여 오입력이 있음을 디바이스(100)의 표시부에 표시하도록 제어할 수도 있다. 또는 사용자의 의도 모션이 무엇인지를 표시부에 표시할 수 있다. 사용자는 표시된 정보를 통하여, 자신의 의도에 맞게 디바이스(100)에 입력되었는지 확인할 수 있으며, 의도 모션이 잘못 결정된 경우에는 수정할 수 있다.
시간 구간 1040에서 사용자는 디바이스(100)에 좌-우 스와이프 모션을 입력할 수 있고, 제어부는 좌-우 스와이프 모션이 의도 모션이라고 판단하여, 표시부에 표시 중인 화면의 왼쪽 화면을 호출할 수 있다.
이후 시간 구간 1050에서 사용자가 우로 움직였던 손을 다시 제자리로 위치하기 위하여 좌로 움직일 경우 제어부에서 이를 우-좌 스와이프 모션으로 결정할 수 있으며, 해당 모션 입력은 의도 모션이 아니라고 결정하여 아무런 제어 동작을 수행하지 않을 수 있다.
실시예2 : 핀치 투 줌
도 11 및 도 12는 본 개시의 일 실시예에 따른 핀치 투 줌 모션 입력을 인식하는 방법을 나타내는 도면이다.
사용자는 디바이스의 어플리케이션을 실행시킬 수 있으며, 실행 중인 어플리케이션을 조작하기 위하여 디바이스에 제어 명령을 입력할 수 있다. 예를 들어, 사용자가 태블릿 PC의 이미지 뷰어 어플리케이션을 통하여 이미지를 확대시키거나 축소시켜서 보기 위해서는 디바이스에 핀치 투 줌 입력이 필요할 수 있다.
사용자는 디바이스(100)의 카메라부(105)를 향해서 연속적인 핀치 투 줌 모션 입력을 취할 수 있다. 도 11에 도시된 바와 같이, 사용자는 시간 구간 1110에서 신체 일부인 엄지 및 검지를 이용하여 전면 카메라부(105) 상에 일정시간 동안 정지하고 있을 수 있다.
디바이스(100)의 입력부는 사용자의 손을 포함한 이미지를 촬영할 수 있으며, 디바이스(100)의 제어부는 획득한 이미지 내에서 손 영역을 검출할 수 있다. 제어부는 획득한 복수의 연속적인 이미지에서 검출된 손 영역의 움직임(모션)을 인식할 수 있다. 특히, 엄지 및 검지가 전체 손 영역의 실루엣을 결정하므로, 엄지 및 검지의 움직임을 인식할 수 있다.
시간 구간 1110에서 사용자의 손의 움직임이 기설정된 오차 범위 내에서 이루어지므로, 제어부는 다음 시간 구간에서 입력되는 사용자의 모션 입력을 사용자의 의도에 부합되는 의도 모션(intended motion)으로 결정할 수 있다.
시간 구간 1120 내지 1130에서, 사용자는 전면 카메라 상에서 엄지 및 검지의 간격을 축소시키는 축소 핀치 투 줌 모션 입력을 취할 수 있다. 제어부는 획득되는 복수의 연속적인 이미지 내에서 검출된 엄지 및 검지의 간격이 줄어드므로, 사용자의 의도 모션은 “축소 핀치 투 줌 모션”임을 결정할 수 있다.
디바이스(100)의 제어부는 저장부의 데이터베이스를 검색하여 축소 핀치 투 줌 모션에 대응되는 디바이스(100) 제어 명령이 무엇인지 인지할 수 있다. 데이터베이스 상에 축소 핀치 투 줌 모션은 현재 실행 중인 이미지 뷰어 어플리케이션에 대하여 화면을 축소시키는 제어 명령으로 저장되어 있을 수 있다. 따라서, 제어부는 표시부에 현재 표시 중인 화면이 축소 표시되도록 제어할 수 있다.
시간 구간 1140 내지 1150에서, 사용자는 디바이스(100)에 다시 축소 핀치 투 줌 모션을 입력하기 위한 전 단계로서 엄지 및 검지의 간격을 증가시킬 수 있다. 이 때의 사용자 손의 움직임은 디바이스(100)의 입력부에서 촬영되어 디바이스(100)의 제어부에서 사용자가 확대 핀치 투 줌 모션을 취한 것으로 결정될 수 있다.
디바이스(100)의 제어부는 결정된 확대 핀치 투 줌 모션이 사용자의 의도 모션과 부합되는지 판단할 수 있다. 제어부는 시간 구간 1110에서 소정 시간동안 정지 상태에 있은 후의 시간 구간 1120 내지 1130에서의 축소 핀치 투 줌 모션을 의도 모션으로 결정하였기 때문에 시간 구간 1140 내지 1150에서의 확대 핀치 투 줌 모션은 사용자의 의도 모션이 아니라고 결정할 수 있다. 따라서, 제어부는 시간 구간 1140 내지 1150에서의 확대 핀치 투 줌 모션에 대하여 디바이스(100)의 제어 명령이 아닌 것으로 결정하고, 아무런 제어 동작을 수행하지 않을 수 있다.
또한, 디바이스(100)의 제어부는 의도 모션 이후에 입력되는 의도 모션이 아닌 모션 입력에 대하여 오입력이 있음을 디바이스(100)의 표시부에 표시하도록 제어할 수도 있다. 또는 사용자의 의도 모션이 무엇인지를 표시부에 표시할 수 있다. 사용자는 표시된 정보를 통하여, 자신의 의도에 맞게 디바이스(100)에 입력되었는지 확인할 수 있으며, 의도 모션이 잘못 결정된 경우에는 수정할 수 있다.
시간 구간 1150 이후에, 사용자는 다시 디바이스(100)에 표시 중인 이미지를 더 축소하기 위하여 축소 핀치 투 줌 모션을 취할 수 있다. 디바이스(100)는 이미 사용자의 의도 모션이 축소 핀치 투 줌 모션임을 결정한 상태이므로, 소정 시간동안 일시정지하지 않고 바로 축소 핀치 투 줌 모션을 입력하여도 디바이스(100)에 대한 의도 모션으로 인식되어 화면에 표시 중인 이미지를 축소시키는 제어를 수행할 수 있다.
도 12는 앞서 설명한 도 11에서의 의도 모션이 축소 핀치 투 줌 모션인 것과 반대로, 의도 모션이 확대 핀치 투 줌 모션인 경우에 대한 도면으로서, 그 동작이 도 11에서 설명한 것과 같은 원리로서 설명될 수 있다.
시간 구간 1210에서 사용자의 손의 움직임이 기설정된 오차 범위 내에서 이루어지므로, 디바이스(100)의 제어부는 다음 시간 구간에서 입력되는 사용자의 모션 입력을 사용자의 의도에 부합되는 의도 모션(intended motion)으로 결정할 수 있다.
시간 구간 1220 내지 1230에서, 사용자는 전면 카메라(105) 상에서 엄지 및 검지의 간격을 증가시키는 확대 핀치 투 줌 모션 입력을 취할 수 있다. 디바이스(100)의 제어부는 획득되는 복수의 연속적인 이미지 내에서 검출된 엄지 및 검지의 간격이 증가하므로, 사용자의 의도 모션은 “확대 핀치 투 줌 모션”임을 결정할 수 있다.
디바이스(100)의 제어부는 저장부의 데이터베이스를 검색하여 확대 핀치 투 줌 모션에 대응되는 디바이스(100) 제어 명령이 무엇인지 인지할 수 있다. 데이터베이스 상에 확대 핀치 투 줌 모션은 현재 실행 중인 이미지 뷰어 어플리케이션에 대하여 화면을 확대시키는 제어 명령으로 저장되어 있을 수 있다. 따라서, 제어부는 표시부에 현재 표시 중인 화면이 확대 표시되도록 제어할 수 있다.
시간 구간 1240 내지 1250에서, 사용자는 디바이스(100)에 다시 확대 핀치 투 줌 모션을 입력하기 위한 전 단계로서 엄지 및 검지의 간격을 축소시킬 수 있다. 이 때의 사용자 손의 움직임은 디바이스(100)의 입력부에서 촬영되어 제어부에서 사용자가 확대 핀치 투 줌 모션을 취한 것으로 결정될 수 있다.
디바이스(100)의 제어부는 결정된 확대 핀치 투 줌 모션이 사용자의 의도 모션과 부합되는지 판단할 수 있다. 제어부는 시간 구간 1110에서 소정 시간동안 정지 상태에 있은 후의 시간 구간 1120 내지 1130에서의 축소 핀치 투 줌 모션을 의도 모션으로 결정하였기 때문에 시간 구간 1140 내지 1150에서의 확대 핀치 투 줌 모션은 사용자의 의도 모션이 아니라고 결정할 수 있다. 따라서, 제어부는 시간 구간 1140 내지 1150에서의 확대 핀치 투 줌 모션에 대하여 디바이스(100)의 제어 명령이 아닌 것으로 결정하고, 아무런 제어 동작을 수행하지 않을 수 있다.
또한, 디바이스(100)의 제어부는 의도 모션 이후에 입력되는 의도 모션이 아닌 모션 입력에 대하여 오입력이 있음을 디바이스(100)의 표시부에 표시하도록 제어할 수도 있다. 또는 사용자의 의도 모션이 무엇인지를 표시부에 표시할 수 있다. 사용자는 표시된 정보를 통하여, 자신의 의도에 맞게 디바이스(100)에 입력되었는지 확인할 수 있으며, 의도 모션이 잘못 결정된 경우에는 수정할 수 있다.
시간 구간 1150 이후에, 사용자는 다시 디바이스(100)에 표시 중인 이미지를 더 축소하기 위하여 축소 핀치 투 줌 모션을 취할 수 있다. 디바이스(100)는 이미 사용자의 의도 모션이 축소 핀치 투 줌 모션임을 결정한 상태이므로, 소정 시간동안 일시정지하지 않고 바로 축소 핀치 투 줌 모션을 입력하여도 디바이스(100)에 대한 의도 모션으로 인식되어 화면에 표시 중인 이미지를 축소시키는 제어를 수행할 수 있다.
실시예3 : 회전
도 13 및 도 14는 본 개시의 일 실시예에 따른 회전 모션 입력을 인식하는 방법을 나타내는 도면이다.
사용자는 디바이스의 어플리케이션을 실행시킬 수 있으며, 실행 중인 어플리케이션을 조작하기 위하여 디바이스에 제어 명령을 입력할 수 있다. 예를 들어, 사용자가 태블릿 PC의 이미지 뷰어 어플리케이션을 통하여 이미지를 회전시키면서 보기 위해서는 디바이스에 회전 입력이 필요할 수 있다.
사용자는 디바이스(100)의 카메라부(105)를 향해서 연속적인 핀치 투 줌 모션 입력을 취할 수 있다. 도 13에 도시된 바와 같이, 사용자는 시간 구간 1310에서 신체 일부인 엄지 및 검지를 이용하여 전면 카메라부(105) 상에 일정시간 동안 정지하고 있을 수 있다.
디바이스(100)의 입력부는 사용자의 손을 포함한 이미지를 촬영할 수 있으며, 디바이스(100)의 제어부는 획득한 이미지 내에서 손 영역을 검출할 수 있다. 제어부는 획득한 복수의 연속적인 이미지에서 검출된 손 영역의 움직임(모션)을 인식할 수 있다. 특히, 엄지 및 검지가 전체 손 영역의 실루엣을 결정하므로, 엄지 및 검지의 움직임을 인식할 수 있다.
시간 구간 1310에서 사용자의 손의 움직임이 기설정된 오차 범위 내에서 이루어지므로, 디바이스(100)의 제어부는 다음 시간 구간에서 입력되는 사용자의 모션 입력을 사용자의 의도에 부합되는 의도 모션(intended motion)으로 결정할 수 있다.
시간 구간 1320에서, 사용자는 전면 카메라(105) 상에서 엄지 및 검지를 시계 방향으로 회전시키는 시계방향 회전 모션 입력을 취할 수 있다. 디바이스(100)의 제어부는 획득되는 복수의 연속적인 이미지 내에서 검출된 엄지 및 검지의 위치가 손바닥을 중심으로 시계방향으로 회전므로, 사용자의 의도 모션은 “시계방향 회전 모션”임을 결정할 수 있다.
디바이스(100)의 제어부는 저장부의 데이터베이스를 검색하여 시계방향 회전 모션에 대응되는 디바이스(100) 제어 명령이 무엇인지 인지할 수 있다. 데이터베이스 상에 시계방향 회전 모션은 현재 실행 중인 이미지 뷰어 어플리케이션에 대하여 화면을 시계방향으로 회전시키는 제어 명령으로 저장되어 있을 수 있다. 따라서, 제어부는 표시부에 현재 표시 중인 이미지가 시계 방향으로 회전되도록 제어할 수 있다. 이 때, 사용자의 엄지 및 검지의 회전 각도의 크기에 따라 그 회전 정도가 달라질 수 있다.
시간 구간 1330에서, 사용자는 디바이스(100)에 다시 시계방향 회전 모션을 입력하기 위한 전 단계로서 엄지 및 검지를 반시계방향으로 회전시킬 수 있다. 이 때의 사용자 손의 움직임은 디바이스(100)의 입력부에서 촬영되어 디바이스(100)의 제어부에서 사용자가 반시계방향 회전 모션을 취한 것으로 결정될 수 있다.
디바이스(100)의 제어부는 결정된 반시계방향 회전 모션이 사용자의 의도 모션과 부합되는지 판단할 수 있다. 제어부는 시간 구간 1310에서 소정 시간동안 정지 상태에 있은 후의 시간 구간 1320에서의 시계방향 회전 모션을 의도 모션으로 결정하였기 때문에 시간 구간 1330에서의 반시계방향 회전 모션은 사용자의 의도 모션이 아니라고 결정할 수 있다. 따라서, 제어부는 시간 구간 1330에서의 반시계방향 회전 모션에 대하여 디바이스(100)의 제어 명령이 아닌 것으로 결정하고, 아무런 제어 동작을 수행하지 않을 수 있다.
또한, 디바이스(100)의 제어부는 의도 모션 이후에 입력되는 의도 모션이 아닌 모션 입력에 대하여 오입력이 있음을 디바이스(100)의 표시부에 표시하도록 제어할 수도 있다. 또는 사용자의 의도 모션이 무엇인지를 표시부에 표시할 수 있다. 사용자는 표시된 정보를 통하여, 자신의 의도에 맞게 디바이스(100)에 입력되었는지 확인할 수 있으며, 의도 모션이 잘못 결정된 경우에는 수정할 수 있다.
시간 구간 1340에서, 사용자는 다시 디바이스(100)에 표시 중인 이미지를 더 시계방향으로 회전시키기 위하여 시계방향 회전 모션을 취할 수 있다. 디바이스는 이미 사용자의 의도 모션이 시계방향 회전 모션임을 결정한 상태이므로, 소정 시간동안 일시정지하지 않고 바로 시계방향 회전 모션을 입력하여도 디바이스(100)에 대한 의도 모션으로 인식되어 화면에 표시 중인 이미지를 시계방향으로 회전시키는 제어를 수행할 수 있다.
도 14는 앞서 설명한 도 13에서의 의도 모션이 “시계방향 회전 모션”인 것과 반대로, 의도 모션이 “반시계방향 회전 모션”인 경우에 대한 도면으로서, 그 동작이 도 13에서 설명한 것과 같은 원리로서 설명될 수 있다.
시간 구간 1410에서 사용자의 손의 움직임이 기설정된 오차 범위 내에서 이루어지므로, 디바이스(100)의 제어부는 다음 시간 구간에서 입력되는 사용자의 모션 입력을 사용자의 의도에 부합되는 의도 모션(intended motion)으로 결정할 수 있다.
시간 구간 1420에서, 사용자는 전면 카메라(105) 상에서 엄지 및 검지를 반시계방향으로 회전시키는 반시계방향 회전 모션 입력을 취할 수 있다. 디바이스(100)의 제어부는 획득되는 복수의 연속적인 이미지 내에서 검출된 엄지 및 검지의 위치가 손바닥을 중심으로 반시계방향으로 회전하므로, 사용자의 의도 모션은 “반시계방향 회전 모션”임을 결정할 수 있다.
디바이스(100)의 제어부는 저장부의 데이터베이스를 검색하여 “반시계방향 회전 모션”에 대응되는 디바이스(100) 제어 명령이 무엇인지 인지할 수 있다. 데이터베이스 상에 반시계방향 회전 모션은 현재 실행 중인 이미지 뷰어 어플리케이션에 대하여 화면을 반시계방향으로 회전시키는 제어 명령으로 저장되어 있을 수 있다. 따라서, 제어부는 표시부에 현재 표시 중인 이미지가 반시계방향으로 회전되도록 제어할 수 있다.
시간 구간 1430에서, 사용자는 디바이스(100)에 다시 반시계방향 회전 모션을 입력하기 위한 전 단계로서 엄지 및 검지를 시계방향으로 회전시킬 수 있다. 이 때의 사용자 손의 움직임은 디바이스(100)의 입력부에서 촬영되어 디바이스(100)의 제어부에서 사용자가 시계방향 회전 모션을 취한 것으로 결정될 수 있다.
디바이스(100)의 제어부는 결정된 시계방향 회전 모션이 사용자의 의도 모션과 부합되는지 판단할 수 있다. 제어부는 시간 구간 1410에서 소정 시간동안 정지 상태에 있은 후의 시간 구간 1420에서의 반시계방향 회전 모션을 의도 모션으로 결정하였기 때문에 시간 구간 1430에서의 시계방향 회전 모션은 사용자의 의도 모션이 아니라고 결정할 수 있다. 따라서, 제어부는 시간 구간 1430에서의 시계방향 회전 모션에 대하여 디바이스(100)의 제어 명령이 아닌 것으로 결정하고, 아무런 제어 동작을 수행하지 않을 수 있다.
또한, 디바이스(100)의 제어부는 의도 모션 이후에 입력되는 의도 모션이 아닌 모션 입력에 대하여 오입력이 있음을 디바이스(100)의 표시부에 표시하도록 제어할 수도 있다. 또는 사용자의 의도 모션이 무엇인지를 표시부에 표시할 수 있다. 사용자는 표시된 정보를 통하여, 자신의 의도에 맞게 디바이스(100)에 입력되었는지 확인할 수 있으며, 의도 모션이 잘못 결정된 경우에는 수정할 수 있다.
시간 구간 1440에서, 사용자는 다시 디바이스에 표시 중인 이미지를 더 반시계방향으로 회전시키기 위하여 반시계방향 회전 모션을 취할 수 있다. 디바이스(100)는 이미 사용자의 의도 모션이 반시계방향 회전 모션임을 결정한 상태이므로, 소정 시간동안 일시정지하지 않고 바로 반시계방향 회전 모션을 입력하여도 디바이스(100)에 대한 의도 모션으로 인식되어 화면에 표시 중인 이미지를 반시계방향으로 회전시키는 제어를 수행할 수 있다.
실시예 4 : 깊이감 ( depth ) 모션
도 15는 본 개시의 일 실시예에 따른 사용자의 신체를 이용한 모션을 인식하는 방법을 나타내는 도면이다.
앞서 도 10 내지 14에서 설명한 모션들은 디바이스로부터 일정 거리를 유지한 공간에서의 사용자의 모션들이다. 이하에서는 본 개시의 일 실시예로, 디바이스와의 거리감(깊이감) 이동을 통한 모션 입력을 설명하기로 한다.
사용자는 디바이스의 입력부 상에서 다양한 위치 및 다양한 형태로 모션을 취할 수 있으며, 디바이스는 사용자의 모션 입력을 수신하여 저장부에 저장되어 있는 기설정된 제어 명령과 매칭시킴으로써 제어 동작을 수행할 수 있다.
도 15에 도시된 바와 같이, TV와 같은 디바이스 앞에서 사용자가 발로써 제어 명령을 입력시킬 수 있다. 사용자가 발이 TV에 가까워지면 TV에서 재생 중인 영상의 음량을 감소시키고 발이 TV에서 멀어지면 음량을 증가시키도록 설정할 수 있다.
상기와 같이 TV의 저장부에 기설정된 이후에, 사용자가 음량을 감소시키기 위하여 소정의 시간 동안 정지 상태의 모션을 취한 후에 발을 TV에 가까이 가져갈 경우, TV는 사용자의 발 영역을 검출하고 점점 TV에 가까워짐을 판단할 수 있으며 사용자의 의도에 부합되는 의도 모션으로 결정하여 음량을 감소시킬 수 있다.
음량 감소가 된 이후에, 사용자는 다시 원래 TV를 시청하던 위치로 오기 위하여 뒤로 이동할 수 있다. TV는 발이 다시 멀어짐을 감지할 수 있으나, 사용자의 의도 모션이 아니라고 결정할 수 있다. 따라서, 사용자의 발이 멀어지더라도 음량을 증가시키지 않을 수 있다. 따라서, 사용자의 모션 입력에 필연적으로 수반되는 역모션을 제거하는 효과를 획득할 수 있다.
도 16은 본 개시의 일 실시예에 따른 디지털 디바이스의 구조를 개념적으로 나타내는 블록도이다.
본 개시의 일 실시예에 따른 디바이스(100)는 입력부(110), 저장부(120) 및 제어부(130)을 포함할 수 있다.
본 개시의 일 실시예에 따른 입력부(110)는 사용자의 모션을 입력받을 수 있다. 입력부(110)는 디바이스(100)에 내장되거나 유/무선으로 연결된 센서를 통하여 감지된 사용자의 모션을 이미지, 영상 또는 음성의 타입으로 변환할 수 있다.
입력부(110)는 사용자의 일회적(一回的)인 모션뿐만 아니라, 복수의 모션을 입력받을 수 있다. 사용자의 연속적인 움직임을 시간의 흐름에 따라 이미지 등의 정보로 획득하는 역할을 수행한다.
본 개시의 일 실시예에 따른 저장부(120)는 사용자의 모션 및 디바이스(100)에 대한 제어 명령을 연결하여 저장하는 역할을 수행한다. 저장부는 사용자에 의해 설정된 다양한 모션 입력을 다양한 기준을 가지고 데이터베이스화하여 저장할 수 있다. 예를 들어, “좌-우 스와이프 모션” 입력에 대하여 어플리케이션 별로 서로 다른 제어 명령으로 구분하여 저장할 수 있다. 저장부(120)는 “좌-우 스와이프 모션” 입력에 대하여 이미지 뷰어에서는 표시중인 화면의 왼쪽 화면을 호출하는 제어 명령이 될 수 있고, 음악 플레이어에서는 음량을 증가시키는 제어 명령으로 저장할 수 있다.
저장부(120)는 피사체에 따라서 제어 명령을 다르게 저장할 수 있다. 사용자의 손을 가지고 회전하는 모션과 발을 가지고 회전하는 모션에 대하여 이를 구별하여 서로 다른 제어 명령으로 저장할 수도 있다.
저장부(120)에는 사용자의 모션 입력 및 제어 명령을 다양한 기준으로 매칭되어 있을 수 있다. 모션이 이루어지는 위치 또는 장소별로 제어 명령을 다르게 할 수 있으며, 또는 조도, 온도, 습도, 소음 크기 등 사용자가 있는 환경의 다양한 컨텍스트(context) 정보에 따라서 각각 제어 명령을 설정할 수도 있다.
본 개시의 일 실시예에 따른 제어부(130)는 사용자의 모션 입력에 대하여 모션의 주체가 되는 피사체를 검출하고, 검출된 피사체를 추출하는 역할을 수행할 수 있다. 또한, 저장부(120)에 저장된 모션 관련 데이터베이스로부터 사용자의 모션이 어떠한 제어 명령인지 결정할 수 있다.
제어부(130)는 사용자의 의도에 부합되는 의도 모션(intended motion)이 무엇인지 결정할 수 있다. 사용자에 의해 소정 시간 정지 상태 이후에 입력되는 최초의 모션 입력을 의도 모션으로 결정할 수 있다. 따라서, 디바이스(100)에 입력되는 다양한 모션 입력 중에서 의도 모션에 대응되는 제어만 수행할 수 있다.
제어부(130)는 사용자의 의도 모션을 갱신할 수 있다. 사용자의 의도 모션이 입력된 이후에, 다시 사용자로부터 이전 의도 모션과 다른 모션이 소정 시간 동안 정지 상태 이후에 입력될 수 있다. 제어부(130)는 입력되는 모션을 새로운 의도 모션으로 결정하여, 새로운 의도 모션에 대응되는 제어만 수행할 수 있다.
도 17은 본 개시의 다른 일 실시예에 따른 디지털 디바이스의 구조를 개념적으로 나타내는 블록도이다.
본 개시의 일 실시예에 따른 디바이스(100)는 입력부(110), 저장부(120), 제어부(130) 이외에 표시부(140) 및 통신부(150)을 더 포함할 수 있다.
앞서 도 16에서 입력부(110), 저장부(120) 및 제어부(130)에 대하여 설명하였으므로, 이하에서는 표시부(140) 및 통신부(150)를 중점적으로 설명한다.
본 개시의 일 실시예에 따른 표시부(140)는 디바이스(100)에서 실행 중인 어플리케이션에 관한 화면을 표시할 수 있다. 경우에 따라서는 터치 스크린과 같이 입력 및 표시를 동시에 수행할 수도 있다.
표시부(140)는 사용자의 모션이 입력된 경우에, 획득된 사용자의 모션 이미지를 표시할 수 있다. 입력부(110)에 의해서 획득된 이미지를 그대로 표시할 수도 있으며, 또는 저장부(120)에 저장된 다른 형태의 이미지를 표시할 수도 있다. 예를 들어, 스마트폰의 전면 카메라를 통하여 수신되는 사용자의 모션 입력을 표시부에 PIP(Picture in Picture)의 형태로 표시할 수 있다. 또는 사용자의 모션 입력이 좌-우 스와이프 모션 입력일 경우, 저장부(120)에 저장된 오른쪽 화살표 이미지를 표시할 수도 있다.
본 개시의 일 실시예에 따른 통신부(150)는 디바이스와 외부 디바이스와 통신하는 역할을 수행한다. 디바이스의 원격 제어 장치와 통신하는 역할을 수행할 수 있으며, 또는 다른 디바이스와 제어 명령을 송수신 할 수 있다.
예를 들어, 사용자가 스마트폰의 전면 카메라 상에서 확대 핀치 투 줌 모션을 입력할 경우, 스마트폰의 통신부(150)는 확대 핀치 투 줌 모션에 해당되는 이미지 정보 또는 확대 핀치 투 줌 모션이 이미지를 확대하라는 제어 명령이라는 정보를 외부 디바이스인 TV에 전송하여, TV에서 표시 중인 이미지를 확대시킬 수 있다.
다양한 기능을 수행하는 디지털 기기에 있어서 사용자 환경(UI/UX) 문제는 중요한 이슈이다. 예를 들어, 스마트 텔레비전이 종래의 텔레비전을 대체하여 일반 가정의 거실에서 사용될 때 중요한 이슈 중 하나는 스마트 텔레비전이 제공하는 다양한 기능들을 사용자가 편하게 사용할 수 있는가이다. 스마트 텔레비전은 방송 콘텐츠 뿐만 아니라, 인터넷 웹서핑, 전자우편, 게임, 사진 및 음악, 동영상 미디어 등 종래에 개인용 컴퓨터에서 이용 가능하던 다양한 인터넷 기반의 콘텐츠들을 제공할 수 있다. 그런데, 이러한 다양한 콘텐츠들의 제공이 사용자로 하여금 불편함을 느끼게 하면 결과적으로 스마트 텔레비전의 효용성은 떨어지게 될 것이다. 이러한 점에서 본 실시예들에 의한 그래픽 사용자 인터페이스 제공 장치 및 방법을 스마트 텔레비전과 같은 멀티미디어 장치에 적용함으로써, 사용자 편의성을 향상시킬 수 있다.
한편, 본 발명은 중앙처리장치(Central Processing Unit; CPU)와 같은 디지털 기기에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록매체를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 플래쉬 메모리, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크 등이 있으며, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 그래픽 사용자 인터페이스를 제공하는 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
전술한 본 발명인 그래픽 사용자 인터페이스를 제공하는 장치 및 방법은 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
100 : 디바이스
200 : 조작기구

Claims (22)

  1. 사용자의 모션을 인식하는 방법에 있어서,
    단말이 복수의 모션 입력을 수신하는 단계;
    상기 수신된 복수의 모션 입력 중에서 의도 모션을 결정하는 단계; 및
    상기 수신된 복수의 모션 입력 중에서 결정된 의도 모션에 대응되는 단말 제어를 수행하는 단계;
    를 포함하고,
    상기 의도 모션을 결정하는 단계는,
    기설정된 시간동안 정지 상태의 모션 입력 수신 이후에, 처음으로 입력되는 모션 입력을 의도 모션으로 결정하는 것을 특징으로 하는, 모션 인식 방법.
  2. 제1항에 있어서,
    상기 결정된 의도 모션을 상기 단말의 저장부에 저장하는 단계를 더 포함하는, 모션 인식 방법.
  3. 제2항에 있어서,
    상기 저장부는,
    상기 복수의 의도 모션에 대응되는 단말 제어 정보를 저장하고 있는 것을 특징으로 하는, 모션 인식 방법.
  4. 제1항에 있어서,
    상기 모션 입력은,
    상기 단말의 입력부에 입력되는 피사체의 형태 중에서, 기설정된 피사체의 형태의 움직임으로 판단되는, 모션 인식 방법.
  5. 제4항에 있어서,
    상기 기설정된 피사체의 형태는,
    사용자의 머리, 손, 팔, 발 및 다리 중 적어도 하나 이상의 형태를 포함하는, 모션 인식 방법.
  6. 제1항에 있어서,
    상기 수신된 복수의 모션 입력은,
    상기 결정된 의도 모션 및 상기 결정된 의도 모션과 반대로 움직이는 역모션 입력을 포함하는, 모션 인식 방법.
  7. 제1항에 있어서,
    상기 모션 입력은,
    공간 상에서의 스와이프(swype), 핀치 투 줌(pinch-to-zoom) 및 회전 모션 중 적어도 하나 이상을 포함하는, 모션 인식 방법.
  8. 제1항에 있어서,
    상기 복수의 모션 입력을 수신하는 단계는,
    상기 단말이 수신하는 연속적인 이미지 내에서 피사체를 검출하는 단계;
    상기 검출된 피사체의 영역을 피사체 이외의 영역과 분리하는 단계; 및
    상기 분리된 피사체의 형태를 추출하는 단계;
    를 포함하는, 모션 인식 방법.
  9. 제8항에 있어서,
    상기 추출된 피사체의 형태를 상기 단말의 저장부에 저장하는 단계를 더 포함하는, 모션 인식 방법.
  10. 제1항에 있어서,
    상기 복수의 모션 입력은 상기 단말의 입력부에 의해 수신되고,
    상기 입력부는,
    광학 센서, 적외선 센서, 전자기 센서, 초음파 센서 및 자이로(gyro) 센서 중 적어도 하나 이상을 포함하는, 모션 인식 방법.
  11. 사용자의 모션을 인식하는 단말에 있어서,
    복수의 모션 입력을 수신하는 입력부;
    상기 수신된 복수의 모션 입력 중에서 의도 모션을 결정하고, 상기 수신된 복수의 모션 입력 중에서 결정된 의도 모션에 대응되는 단말 제어를 수행하도록 명령하는 제어부;
    를 포함하고,
    상기 제어부는,
    기설정된 시간동안 정지 상태의 모션 입력 수신 이후에, 처음으로 입력되는 모션 입력을 의도 모션으로 결정하는 것을 특징으로 하는, 모션 인식 단말.
  12. 제11항에 있어서,
    상기 결정된 의도 모션을 상기 단말의 저장부에 저장하는 저장부를 더 포함하는, 모션 인식 단말.
  13. 제12항에 있어서,
    상기 저장부는,
    상기 복수의 의도 모션에 대응되는 단말 제어 정보를 저장하고 있는 것을 특징으로 하는, 모션 인식 단말.
  14. 제11항에 있어서,
    상기 모션 입력은,
    상기 단말의 입력부에 입력되는 피사체의 형태 중에서, 기설정된 피사체의 형태의 움직임으로 판단되는, 모션 인식 단말.
  15. 제14항에 있어서,
    상기 기설정된 피사체의 형태는,
    사용자의 머리, 손, 팔, 발 및 다리 중 적어도 하나 이상의 형태를 포함하는, 모션 인식 단말.
  16. 제11항에 있어서,
    상기 수신된 복수의 모션 입력은,
    상기 결정된 의도 모션 및 상기 결정된 의도 모션과 반대로 움직이는 역모션 입력을 포함하는, 모션 인식 단말.
  17. 제11항에 있어서,
    상기 모션 입력은,
    공간 상에서의 스와이프(swype), 핀치 투 줌(pinch-to-zoom) 및 회전 모션 중 적어도 하나 이상을 포함하는, 모션 인식 단말.
  18. 제11항에 있어서,
    상기 제어부는,
    상기 입력부에서 수신하는 연속적인 이미지 내에서 피사체를 검출하고, 상기 검출된 피사체의 영역을 피사체 이외의 영역과 분리하며, 상기 분리된 피사체의 형태를 추출하는, 모션 인식 단말.
  19. 제18항에 있어서,
    상기 저장부는,
    상기 추출된 피사체의 형태를 저장하는 것을 특징으로 하는, 모션 인식 단말.
  20. 제11항에 있어서,
    상기 입력부는,
    광학 센서, 적외선 센서, 전자기 센서 및 자이로(gyro) 센서 중 적어도 하나 이상을 포함하는, 모션 인식 단말.
  21. 제1항 내지 제20항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
  22. 하드웨어와 결합 되어, 사용자의 모션을 인식하는 방법에 있어서,
    단말이 복수의 모션 입력을 수신하는 단계;
    상기 수신된 복수의 모션 입력 중에서 의도 모션을 결정하는 단계; 및
    상기 수신된 복수의 모션 입력 중에서 결정된 의도 모션에 대응되는 단말 제어를 수행하는 단계;
    를 포함하고,
    상기 의도 모션을 결정하는 단계는,
    기설정된 시간동안 정지 상태의 모션 입력 수신 이후에, 처음으로 입력되는 모션 입력을 의도 모션으로 결정하는 것을 특징으로 하는, 모션 인식 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
KR1020140166624A 2014-11-26 2014-11-26 공간 인터랙션에서 모션 인식 방법 및 이를 위한 장치 KR20160063075A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140166624A KR20160063075A (ko) 2014-11-26 2014-11-26 공간 인터랙션에서 모션 인식 방법 및 이를 위한 장치
US14/952,897 US20160147294A1 (en) 2014-11-26 2015-11-25 Apparatus and Method for Recognizing Motion in Spatial Interaction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140166624A KR20160063075A (ko) 2014-11-26 2014-11-26 공간 인터랙션에서 모션 인식 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
KR20160063075A true KR20160063075A (ko) 2016-06-03

Family

ID=56010150

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140166624A KR20160063075A (ko) 2014-11-26 2014-11-26 공간 인터랙션에서 모션 인식 방법 및 이를 위한 장치

Country Status (2)

Country Link
US (1) US20160147294A1 (ko)
KR (1) KR20160063075A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170277944A1 (en) * 2016-03-25 2017-09-28 Le Holdings (Beijing) Co., Ltd. Method and electronic device for positioning the center of palm
JP6374585B2 (ja) * 2017-10-02 2018-08-15 京セラ株式会社 電子機器、プログラムおよび制御方法
US10540015B2 (en) * 2018-03-26 2020-01-21 Chian Chiu Li Presenting location related information and implementing a task based on gaze and voice detection
EP3839811B1 (en) * 2019-12-18 2024-03-13 Tata Consultancy Services Limited Systems and methods for shapelet decomposition based gesture recognition using radar
JP2022152962A (ja) * 2021-03-29 2022-10-12 京セラドキュメントソリューションズ株式会社 表示装置及び画像形成装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457353B2 (en) * 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
KR20140056860A (ko) * 2012-11-01 2014-05-12 주식회사 팬택 광 센서를 구비한 전자 기기 및 이의 제어 방법, 이 전자 기기를 위한 제스처 인식 장치와 방법

Also Published As

Publication number Publication date
US20160147294A1 (en) 2016-05-26

Similar Documents

Publication Publication Date Title
US11175726B2 (en) Gesture actions for interface elements
US9298266B2 (en) Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9507417B2 (en) Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
JP5567206B2 (ja) コンピューティングデバイスインターフェース
US8290210B2 (en) Method and system for gesture recognition
US10013083B2 (en) Utilizing real world objects for user input
US10437324B2 (en) Information processing apparatus, information processing method, and computer program
US8610678B2 (en) Information processing apparatus and method for moving a displayed object between multiple displays
US9690475B2 (en) Information processing apparatus, information processing method, and program
US10860857B2 (en) Method for generating video thumbnail on electronic device, and electronic device
WO2018000519A1 (zh) 一种基于投影的用户交互图标的交互控制方法及系统
US11546457B2 (en) Electronic device and method of operating electronic device in virtual reality
US20140362002A1 (en) Display control device, display control method, and computer program product
KR20130105725A (ko) 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전
KR20160063075A (ko) 공간 인터랙션에서 모션 인식 방법 및 이를 위한 장치
US10095384B2 (en) Method of receiving user input by detecting movement of user and apparatus therefor
KR20170009979A (ko) 터치 입력을 위한 방법 및 시스템
EP2899623A2 (en) Information processing apparatus, information processing method, and program
US20220019288A1 (en) Information processing apparatus, information processing method, and program
JP6484859B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN113467615A (zh) 手势处理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid