KR20170093057A - 미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령의 처리 방법 및 장치 - Google Patents

미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령의 처리 방법 및 장치 Download PDF

Info

Publication number
KR20170093057A
KR20170093057A KR1020160125829A KR20160125829A KR20170093057A KR 20170093057 A KR20170093057 A KR 20170093057A KR 1020160125829 A KR1020160125829 A KR 1020160125829A KR 20160125829 A KR20160125829 A KR 20160125829A KR 20170093057 A KR20170093057 A KR 20170093057A
Authority
KR
South Korea
Prior art keywords
hand
gesture
information
media
user
Prior art date
Application number
KR1020160125829A
Other languages
English (en)
Inventor
천승문
고현철
김재곤
양안나
Original Assignee
(주)인시그널
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)인시그널, 한국항공대학교산학협력단 filed Critical (주)인시그널
Priority to US15/597,969 priority Critical patent/US20170336874A1/en
Publication of KR20170093057A publication Critical patent/KR20170093057A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • G06F17/3012—
    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
    • H04L41/0266—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols using meta-data, objects or commands for formatting management information, e.g. using eXtensible markup language [XML]
    • H04L67/16—
    • H04L67/2804—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

미디어 사물 인터넷과 웨어러블(Internet of Media Things and Wearables, IoMTW) 시스템에서 미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령의 처리 방법 및 장치가 개시된다. 일 실시예에 따른 처리 방법은 사용자의 손 영상을 획득하는 단계, 획득한 사용자의 손 영상에서 배경 영역과 손 영역을 구분하는 단계, 구분된 손 영역을 이용하여 손 모양을 검출하고, 검출된 손 모양을 기술하는 손 윤곽 정보를 생성하는 단계, 구분된 손 영역의 경시적 변화에 기초하여 손의 이동 경로를 검출하고, 검출된 손의 이동 경로를 기술하는 손 궤도 정보를 생성하는 단계 및 손 윤곽 정보와 손 궤도 정보를 이용하여 사용자의 손 제스쳐를 인식하는 단계를 포함한다.

Description

미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령의 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING HAND GESTURE COMMANDS FOR MEDIA-CENTRIC WEARABLE ELECTRONIC DEVICES}
본 발명은 미디어 중심의 웨어러블 전자 기기(media-centric wearable electronic devices)를 활용하는 기술에 관한 것으로, 보다 구체적으로 웨어러블 전자 기기를 이용하여 사용자의 손 제스쳐(hand gesture)를 인식하고 또한 인식된 손 제스쳐에 기초하여 멀티미디어 콘텐츠를 편리하게 소비할 수 있도록 웨어러블 전자 기기를 제어하는 기술에 관한 것이다.
최근 스마트 폰(smart phone)이나 테블릿 컴퓨터(tablet computer) 등과 같은 휴대용 전자 기기(portable smart electronic device)의 광범위한 보급에 추가하여 스마트 의류(smart clothing), 스마트 밴드(smart band), 스마트 시계(smart watch), 스마트 글래스(smart glass) 등과 같은 웨어러블 전자 기기(wearable electronic device)도 점차 보급이 확산되고 있다. 웨어러블 전자 기기는 사람이 직접 착용하거나 또는 사람이 착용한 의류 등에 전자 기기가 임베드(embed)되어 있는 장치로서, 네트워크에 직접 연결되거나 또는 다른 전자 기기(예컨대, 스마트 폰)를 통해 연결되어서 통신이 가능한 장치를 가리킨다. 그리고 미디어 중심의 웨어러블 전자 기기는 사용자가 시계 화면이나 안경 렌즈 등과 같은 스마트 전자 기기의 디스플레이에 표시되는 멀티미디어 콘텐츠의 소비를 용이하게 제어할 수 있는 기능을 구비한 웨어러블 전자 기기를 가리킨다.
웨어러블 전자 기기들은 해당 제품 자체의 용도 등에 따른 고유의 특성을 가진다. 예를 들어, 카메라가 구비된 웨어러블 전자 기기(예컨대, 스마트 글래스나 스마트 의류, 스마트 모자 등)는 착용자의 시선이나 몸통, 머리 등이 향하는 방향으로 사진이나 동영상을 자연스럽게 촬영할 수가 있다. 특히, 스마트 글래스는 그 구조적인 특성상 양안식 스테레오 카메라를 설치하기가 용이하며, 이 경우 사람이 실제로 보는 것과 같은 스테레오스코픽 영상의 획득도 가능하다. 웨어러블 전자 기기에서는, 음성 인식 기술과는 별개로, 구비된 카메라를 활용하여 사용자 제스쳐, 예컨대 손 제스쳐를 인식하고 이를 사용자 명령으로 인식하여 처리하는 방법이 적극적으로 고려되고 있다.
그런데, 웨어러블 전자 기기는 해당 제품의 형상이나 크기, 재질, 용도, 착용 위치 등에 의하여 한정되는 일정한 제약이 존재할 수 있다. 예를 들어, 스마트 글래스 등과 같은 대부분의 웨어러블 전자 기기는 키보드(keyboard)를 구비하고 있지 않다. 그리고 웨어러블 전자 기기는 통상적으로 사용자가 이동 중이거나 또는 두 손을 이용하여 다른 작업을 수행하고 있는 상황을 전제로 한다. 또한, 웨어러블 전자 기기는 사용자의 건강에 미치는 영향을 고려하여 발열이나 전자파 발생 등을 최소화해야 하는 것이 바람직하다.
따라서 전술한 웨어러블 전자 기기의 특성을 충분히 활용하면서도 동시에 웨어러블 전자 기기의 고유의 특성에 따른 여러 가지 제약을 극복할 수 있도록 미디어 중심의 웨어러블 전자 기기를 위하여 손 제스쳐 명령을 처리할 수 있는 새로운 기술이 필요하다.
본 발명이 해결하고자 하는 하나의 과제는 키보드가 없으며 또한 사용자의 두 손이 자유로운 상태에서 화면에 표시되는 멀티미디어 콘텐츠에 대한 입력이나 재생 등을 제어할 수 있는 미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령의 처리 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 하나의 과제는 다양한 응용 분야에 활용이 가능한 미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령의 처리 방법 및 장치를 제공하는 것이다.
전술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 미디어 사물 인터넷과 웨어러블(Internet of Media Things and Wearables, IoMTW) 시스템에서 미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령의 처리 방법은 사용자의 손 영상을 획득하는 단계, 상기 획득한 사용자의 손 영상에서 배경 영역과 손 영역을 구분하는 단계, 구분된 상기 손 영역을 이용하여 손 모양을 검출하고, 검출된 상기 손 모양을 기술하는 손 윤곽 정보를 생성하는 단계, 구분된 상기 손 영역의 경시적 변화에 기초하여 손의 이동 경로를 검출하고, 검출된 상기 손의 이동 경로를 기술하는 손 궤도 정보를 생성하는 단계 및 상기 손 윤곽 정보와 상기 손 궤도 정보를 이용하여 사용자의 손 제스쳐를 인식하는 단계를 포함한다.
상기 실시예의 일 측면에 의하면, 상기 손 윤곽 정보는 상기 검출된 손 모양의 윤곽선에 해당하는 복수의 점들 각각을 표시하는 좌표들의 집합으로 표현하거나 또는 상기 손을 구성하는 복수의 손가락들 각각의 방향 벡터들의 집합으로 표현할 수 있다.
상기 실시예의 다른 측면에 의하면, 상기 손 궤도 정보를 생성하는 단계에서는 상기 손의 이동 거리 또는 평균 이동 속도가 미리 설정된 기준 이상일 경우에만 상기 손 궤도 정보를 생성할 수 있다.
상기 실시예의 또 다른 측면에 의하면, 상기 손 궤도 정보는 상기 손의 이동 경로를 시 분할 방법, 움직임 분할 방법 또는 점 분할 방법으로 구성할 수 있다.
상기 실시예의 또 다른 측면에 의하면, 상기 미디어 중심의 웨어러블 전자 기기를 위한 메타데이터는 최상위 서술 요소들로서 데이터 요소, 커멘드 요소, 미디어 중심의 사물 인터넷 요소, 미디어 중심의 웨어러블 요소, 프로세싱 요소 및 사용자 요소로 구성되고, 상기 손 윤곽 정보와 상기 손 궤도 정보는 상기 데이터 요소의 프로세싱 데이터에 포함될 수 있다. 이 경우에, 상기 최상위 서술 요소들 각각은 필요에 따라 생성되고 또한 동일한 요소가 복수 개가 생성될 수 있다.
상기한 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 미디어 사물 인터넷과 웨어러블(Internet of Media Things and Wearables, IoMTW) 시스템에서 미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령의 처리 장치는 입력되는 사용자의 손 영상으로부터 배경 영역과 손 영역을 구분한 다음, 구분된 상기 손 영역을 이용하여 손 모양을 검출하고 검출된 상기 손 모양을 기술하는 손 윤곽 정보를 생성하며 또한 구분된 상기 손 영역의 경시적 변화에 기초하여 손의 이동 경로를 검출하고 검출된 상기 손의 이동 경로를 기술하는 손 궤도 정보를 생성하는 제스쳐 검출부 및 상기 제스쳐 검출부로부터 전달되는 상기 손 윤곽 정보와 상기 손 궤도 정보를 이용하여 사용자의 손 제스쳐를 인식하는 제스쳐 인식부를 포함한다.
상기 실시예의 일 측면에 의하면, 상기 손 윤곽 정보는 상기 검출된 손 모양의 윤곽선에 해당하는 복수의 점들 각각을 표시하는 좌표들의 집합으로 표현하거나 또는 상기 손을 구성하는 복수의 손가락들 각각의 방향 벡터들의 집합으로 표현하고, 상기 손 궤도 정보는 상기 손의 이동 경로를 시 분할 방법, 움직임 분할 방법 또는 점 분할 방법으로 구성할 수 있다.
전술한 본 발명의 실시예에 의하면, IoMTW 시스템에서 사용자의 손 제스쳐를 검출하고 또한 인식하여 웨어러블 전자 기기를 제어하는 것이 가능하므로, 사용자는 웨어러블 전자 기기에 대한 물리적인 접촉이 없이도 멀티미디어 콘텐츠를 소비할 수가 있다. 그리고 IoMTW 시스템의 동작에 필요한 다양한 메타데이터를 효율적으로 기술할 수가 있다.
도 1은 미디어 사물 인터넷과 웨어러블(Internet of Media Things and Wearables, IoMTW) 국제 표준에 개시되어 있는 IoMTW 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령의 처리 방법을 보여 주는 흐름도이다.
도 3은 검출된 손 모양을 표시하는 일례를 보여 주는 도면이다.
도 4a는 미리 설정된 특정 지점(Ψ)을 손의 중심점으로 이용하는 일례를 보여 주는 도면이다.
도 4b는 손가락의 방향 벡터가 만나는 지점을 손의 중심점으로 이용하는 일례를 보여 주는 도면이다.
도 5는 손의 위치 정보가 큐의 형태로 관리되는 것을 도식적으로 보여 주는 도면이다.
도 6은 3차원 곡선으로 표현되는 손 궤적의 일례를 보여 주는 도면이다.
도 7은 손의 평균 이동 속도 차이에 따른 손 궤적을 비교하여 나타낸 도면이다.
도 8은 다양한 예의 손의 궤적을 도식적으로 보여 주는 도면이다.
도 9는 본 발명의 일 실시예에 따른 미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령 처리 장치의 개략적인 구성을 보여 주는 블록도이다.
도 10은 손 검출 모듈 및 손 인식 모듈에서의 처리 과정의 일례를 도식적으로 보여 주는 도면이다.
도 11a 내지 도 11c는 각각 하나의 손 궤도를 구성하는 방법의 일례를 도식적으로 보여 주는 도면으로서, 도 11a는 시 분할(time division) 방법으로 손 궤도를 구성하는 예이며, 도 11b는 움직임 분할(motion division) 방법으로 손 궤도를 구성하는 예이며, 도 11c는 점 분할(point division) 방법으로 손 궤도를 구성하는 예이다.
도 12는 미디어 중심의 웨어러블 기기를 위한 메타데이터의 서술 구조를 보여 주는 도면이다.
도 13은 도 12의 서술 구조에서 데이터 요소(Data)의 구성을 보다 상세하게 보여 주는 도면이다.
도 14는 도 13의 구성에서 손 제스쳐 데이터 유형(HandGestureType)의 구성의 일례를 보여 주는 도면이다.
도 15는 도 14에서 손 윤곽 데이터 유형(HandContourType)의 구성의 일례를 보여 주는 도면이다.
도 16은 도 15에서 그룹 베이저 곡선 데이터 유형(GroupBeizerCurveType)의 세부적인 구성의 일례를 보여 주는 도면이다.
도 17은 도 14에서 손 궤도 데이터 유형(HandTrajectoryType)의 구성의 일례를 보여 주는 도면이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
도 1은 ISO/IEC SC29/WG11 MPEG 기구에서 논의 중인 미디어 사물 인터넷과 웨어러블(Internet of Media Things and Wearables, IoMTW) 국제 표준에 개시되어 있는 IoMTW 시스템의 구성도이다. 도 1을 참조하면, IoMTW 시스템은 하나 이상의 미디어 사물(Media Thing, MThing)을 포함하는 미디어 웨어러블 전자 기기(MWearable), 어플리케이션을 이용하는 사용자(User/Application) 및 처리부(Processing Unit)를 포함하여 구성된다. 여기서, 미디어 사물(MThing)은 오디오/비디오 감지 및 구동(sensing and actuating) 능력 중에서 하나 이상의 능력을 갖는 사물을 가리킨다. 그리고 미디어 웨어러블 전자 기기(MWearable)는 미디어 통신이나 저장 능력 중에서 하나 이상의 능력을 갖는 웨어러블 장치를 가리킨다.
이러한 IoMTW 시스템에서는 사용자가 두 손이 자유로운 상태에서도 웨어러블 전자 기기를 제어하여 멀티미디어 콘텐츠를 소비할 수 있도록 하는 것이 요구된다. 이를 위하여 미디어 웨어러블 전자 기기(Mwearable)는 적어도 손 제스쳐 및/또는 음성 등과 같은 사용자로부터의 비접촉 입력을 수신하고 이에 대응하도록 멀티미디어 콘텐츠의 소비를 제어할 수 있어야 한다. 그리고 여러 가지 신호나 상황을 감지할 수 있는 다양한 센서가 미디어 사물(MThing)의 일 구성요소로서 필요할 수도 있다.
보다 구체적으로, 웨어러블 전자 기기(Mwearable)는 적어도 사용자의 손 제스쳐를 검출하고 이를 소정 포맷의 손 표현 데이터로 표현하여 처리부로 전송하고 또한 처리부로부터 수신된 제스쳐 커맨드에 따라서 멀티미디어 콘텐츠를 제어하는 기능을 수행하는 장치이어야 한다. 그리고 처리부는 웨어러블 전자 기기로부터 수신된 일련의 손 표현 데이터를 이용하여 손 제스쳐를 인식하고 또한 인식된 손 제스쳐에 대응하는 제스쳐 커맨드를 웨어러블 전자 기기로 출력할 수 있다. 이러한 처리부는 웨어러블 전자 기기의 외부에 배치되어 있는 서버 또는 호스트의 기능으로 구현될 수도 있다. 하지만, 이러한 웨어러블 전자 기기와 처리부의 전술한 기능 구분은 예시적인 것이며, 어느 하나(예컨대, 웨어러블 전자 기기)의 기능의 일부가 다른 하나(예컨대, 처리부)의 기능으로 대체되어 구현될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령의 처리 방법을 보여 주는 흐름도이다. 도 2에 도시된 손 제스쳐 명령의 처리 방법은 도 1에 도시된 IoMTW 시스템에서 수행될 수 있는데, 그 구체적인 구현 방식에는 특별한 제한이 없다. 예를 들어, 손 제스쳐 명령의 처리 방법은 IoMTW 시스템을 구성하는 웨어러블 전자 기기와 처리부의 통합된 기능을 통해 구현되거나 또는 웨어러블 전자 기기나 처리부만의 단독 기능을 통해 구현될 수도 있다.
도 2를 참조하면, IoMTW 시스템, 예컨대 웨어러블 전자 기기는 사용자의 손 영상을 획득한다(S10). 여기서, '손 영상'이란 사용자의 손이 포함되어 있는 영상으로서, 스테레오스코픽 영상에 한정되지 않으며 모노스코픽 영상일 수도 있다. 그리고 본 단계에서 웨어러블 전자 기기가 영상을 획득하는 구체적인 방식에도 특별한 제한이 없는데, 예를 들어 웨어러블 전자 기기에 구비되어 있는 소정의 카메라(스테레오스코픽 카메라(stereoscopic camera) 또는 모노스코픽 카메라(monoscopic camera))로 직접 사용자의 손 영상을 촬영하거나 또는 다른 장치에서 촬영한 영상을 전달받을 수도 있다.
그리고 단계 S10에서 웨어러블 전자 기기는 소정의 시간 동안의 영상 시퀀스, 즉 일련의 손 영상을 획득한다. 이것은 손 제스쳐가 소정의 시간 동안의 손의 모양 및/또는 손의 움직임으로 표현되기 때문이다. 즉, 손 제스쳐는 시간의 경과에 따른 공간상의 손의 위치의 변화에만 한정되지 않으며 손 모양의 변화도 포함할 수 있다.
일 실시예에 의하면, 단계 S10에서 획득한 손 영상은 스테레오스코픽 카메라로 촬영한 스테레오스코픽 영상일 수 있다. 스테레오스코픽 카메라는 좌측 카메라와 우측 카메라가 소정의 간격으로 이격되어 있는 한 쌍의 카메라를 가리킨다. 스테레오스코픽 카메라를 이용하면, 실제 사용자의 두 눈을 통하여 보는 것과 같이 피사체를 촬영하는 것이 가능하기 때문에, 자연스러운 스테레오스코픽 영상, 즉 좌영상과 우영상으로 구성된 한 쌍의 영상을 한 번에 얻을 수가 있다.
이 경우에 손 영상은 깊이 카메라(depth camera)로 촬영한 깊이 맵 영상을 추가로 포함할 수도 있다. 깊이 카메라는 근적외선(Infrared Ray, IR) 등과 같은 광을 피사체에 조사하여 해당 피사체까지의 거리에 대한 데이터를 획득할 수 있는 카메라를 가리킨다. 이러한 깊이 카메라를 이용하면 곧바로 피사체에 대한 깊이 정보, 즉 깊이 맵(depth map)을 얻을 수 있는 장점이 있다. 다만, IR을 발광시킬 수 있는 발광 다이오드(Light Emitting Diode, LED)와 같은 광원이 추가로 필요할 뿐만 아니라 광원에서의 전원 소모가 크다는 단점이 있다.
그리고 IoMTW 시스템, 예컨대 웨어러블 전자 기기 또는 처리부는 단계 S10에서 획득한 손 영상으로부터 배경 영역과 손 영역을 구분한다(S11). 배경 영역과 손 영역의 구분은 다양한 방법으로 구현될 수 있다. 예를 들어, 웨어러블 전자 기기는 단계 S10에서 획득한 일련의 스테레오스코픽 이미지들 각각에 대하여 스테레오 매칭법을 적용하여 깊이 맵을 생성한다. 깊이 맵은 카메라부와 피사체 사이의 거리를 소정의 값으로 표현한 데이터를 가리킨다. 그리고 생성된 깊이 맵을 그레이 레벨로 표시함으로써 깊이 맵 이미지를 만든 다음, 깊이 맵 이미지에서 배경 영역과 손 영역을 구분할 수 있다.
손 영역과 배경 영역의 분리를 위하여 사용하는 알고리즘에는 특별한 제한이 없는데, 손과 배경 사이에는 상대적으로 비어 있는 공간이 있다는 특성을 이용하여, 손 영역과 배경 영역을 분리할 수 있다. 이 경우에는 상기 비어 있는 공간을 경계값으로 하여 손 영역과 배경 영역을 분리할 수 있다. 또는 카메라로부터 사용자의 손이 떨어질 수 있는 거리는 특정 범위 이내로 제한될 수 밖에 없는 특성을 이용하여, 손 영역과 배경 영역을 분리할 수도 있다. 이 경우에는 거리가 소정의 범위 이내인 영역을 손 영역으로 간주하고, 나머지 영역은 배경 영역으로 간주할 수 있다.
계속해서 IoMTW 시스템, 예컨대 웨어러블 전자 기기 또는 처리부는 손 영역의 윤곽에 기초하여 손 모양을 검출한다(S12). '손 모양'이란 손의 구체적인 형상을 의미하는 것으로, 예컨대 각 손가락이 굽혀져 있는지 또는 펼쳐져 있는지, 또는 펼쳐져 있는 손가락이 몇 개인지, 그리고 펼쳐져 있는 손가락이 어떤 방향을 가리키는지를 지시하는 방향 벡터 등이 손 모양을 특정하는데 사용될 수 있다. 도 3에는 검출된 손 모양을 표시하는 일례가 도시되어 있는데, 손의 윤곽선을 점의 집합으로 표현하는 경우이다.
그리고 단계 S12에서 손 모양을 검출하는 간격은 특별한 제한이 없는데, 예를 들어 손 영상의 시퀀스를 구성하는 프레임 영상마다 검출을 수행하거나 또는 소정의 시간 간격(예컨대, 매 10프레임별)으로 일부 프레임 영상에 대해서만 검출을 수행할 수도 있다. 또는, 실시예에 따라서는 손 모양의 검출은 1회만 수행될 수도 있는데, 이 경우에는 손 제스쳐를 통한 명령이 손 모양의 경시적 변화는 고려하지 않고 단지 특정한 손 모양과 함께 손의 이동 경로만을 고려하는 경우일 수 있다.
손 모양에 대한 검출 결과, 검출된 손 모양은 소정 포맷의 손 윤곽 정보(hand contour information)로 표현될 수 있다. 일례로, 손 윤곽 정보는 도 3에 도시된 것과 같은 점들, 즉 이를 표시하는 좌표들의 집합으로 표현할 수 있다. 다른 방법으로 손 윤곽은 각 손가락의 방향 벡터를 이용하여 표현할 수도 있는데, 이 경우에 손 윤곽 정보는 방향 벡터들의 집합이 된다. 이러한 손 윤곽 정보는 그 포맷에 상관 없이 후속 단계인 단계 S14에서 손 제스쳐를 인식하기 위한 하나의 정보로 활용될 수 있다.
계속해서 IoMTW 시스템, 예컨대 웨어러블 전자 기기 또는 처리부는 단계 S11에서 구분한 손 영역의 시퀀스로부터 손의 이동 경로를 파악한다(S13). 보다 구체적으로, 웨어러블 전자 기기 또는 처리부는 먼저 프레임 각각으로부터 검출된 손 영역에 기초하여 손의 위치를 구한다. 손의 위치는, 예컨대 화면에서 손의 중심점의 위치일 수 있는데, 미리 설정되어 있는 손이나 손바닥의 특정한 지점을 이용하여 구할 수 있다. 도 4a에서는 미리 설정된 특정 지점(Ψ)을 손의 중심점으로 이용하는 일례가 도시되어 있다. 이와는 달리, 손가락 각각의 방향 벡터를 이용하여 손의 중심점을 구할 수도 있다. 도 4b에서는 손가락들 각각의 방향 벡터가 만나는 지점을 이용하여 소정 반지름의 원을 형성한 다음 이 원의 중심을 손의 중심점으로 이용하는 일례가 도시되어 있다.
그리고 웨어러블 전자 기기 또는 처리부는 각 프레임에 대하여 구한 손의 중심점의 이동 경로, 즉 손의 궤적을 구할 수 있다. 이를 위하여, 다수의 프레임의 중심점의 위치 정보가 필요하므로, 각 프레임에서의 손의 위치 정보는 큐(Queue)의 형태로 관리될 수 있다. 도 5에는 손의 위치 정보가 큐의 형태로 관리되는 것이 도식적으로 도시되어 있다. 도 5를 참조하면, 큐에 저장되어 있는 손의 위치 정보(#n point)가 중심점일 경우(p∈Ψ)에 이를 추적점으로 결정하여 손의 이동 경로를 구하는 것을 알 수 있다. 구해진 이동 경로는 손 궤도 정보(hand trajectory information)로 표현될 수 있으며, 이러한 손 궤도 정보는 그 포맷에 상관 없이 후속 단계인 단계 S14에서 손 제스쳐를 인식하기 위한 하나의 정보로 활용될 수 있다.
통상적으로 손의 이동 경로를 구하면, 손의 이동 거리와 함께 손의 평균 이동 속도도 구할 수 있다. 예를 들어, 손의 이동 거리는 손의 궤적이 나타내는 도형, 예컨대 3차원 곡선 선분이나 직선 선분의 길이를 계산하여 구할 수 있다. 도 6에는 3차원 곡선으로 표현되는 손 궤적의 일례가 도시되어 있다. 그리고 손의 평균 이동 속도는 손의 이동 거리를 소요 시간으로 나누어서 구할 수 있다. 도 7에는 손의 평균 이동 속도 차이에 따른 손 궤적을 각각 나타낸 도면으로, 도 7의 (a)은 손의 평균 이동 속도가 상대적으로 저속인 경우이고 도 7의 (b)는 손의 평균 이동 속도가 상대적으로 고속인 경우이다. 도 7을 참조하면, 손의 궤적을 표시하는 점들 사이의 간격이 (a)는 상대적으로 조밀하게 표시되지만 (b)는 상대적으로 엉성하게 표시되어 있는 것을 알 수 있다.
그리고 본 실시예의 일 측면에 의하면, 모든 손의 궤적에 대하여 손의 움직임이 발생한 것으로 간주하지 않고, 이동 거리 및/또는 평균 이동 속도가 미리 설정되어 있는 조건을 만족하는 경우에만 손의 이동이 발생한 것으로 간주할 수 있다. 예를 들어, 최근 N개의 영상 프레임을 기준으로 손의 궤적을 파악한 경우에, 손의 상대 이동 거리가 제1 기준치(M) 이상이고, 손의 평균 이동 속도가 제2 기준치(V) 이상인 경우에만 손의 움직임이 발생한 것으로 간주할 수 있다. 이에 따라서 인식된 손의 움직임의 조합으로 최종 이동 경로가 파악될 수 있다. 도 8은 다양한 예의 손의 궤적을 도식적으로 보여 주는 도면이다.
계속해서 도 2를 참조하면, IoMTW 시스템, 예컨대 웨어러블 전자 기기 또는 처리부는 손 윤곽 정보와 손 궤도 정보를 이용하여 손 제스쳐에 대한 인식을 수행한다(S14). 손 제스쳐의 인식은 검출된 손 모양과 손의 이동 경로가 어떠한 제스쳐 명령을 지시하는 것인지는 확인하는 과정이다. 즉, 본 실시예에 의하면, 단계 S12에서 구해진 손 윤곽 정보와 단계 S13에서 구해진 손 궤도 정보를 종합하여 손 제스쳐를 인식한다. 그리고 인식된 손 제스쳐가 어떠한 제스쳐 명령에 해당되는지를 파악하여 이를 출력한다.
손 제스쳐를 인식하기 위하여, 처리부는 수신된 손 윤곽 정보를 데이터베이스에 미리 등록되어 있는 특정 손 모양들과 비교함으로써 대응되는 손 모양을 확인할 수도 있다. 이 경우에, 데이터베이스에는 손 제스쳐의 인식에 사용되는 특정한 손 모양 각각의 방향 벡터들에 대한 정보가 저장되어 있을 수 있다. 그리고 단계 S12에서 생성된 손 윤곽 정보를 지시하는 손가락 방향 벡터와 데이터베이스에 저장되어 있는 방향 벡터들 사이의 유사도를 계산하여, 가장 유사한 방향 벡터에 대응하는 손 모양으로 인식할 수도 있다. 처리부는 또한 수신된 손 궤도 정보를 데이터베이스에 미리 등록되어 있는 손 이동 경로들과 비교함으로써 대응되는 손의 이동 경로를 확인할 수 있다.
계속해서 도 2를 참조하면, IoMTW 시스템, 예컨대 웨어러블 전자 기기 또는 처리부는 단계 S14에서 출력되는 제스쳐 명령에 따라서 웨어러블 전자 기기를 제어한다(S15). 예를 들어, 제스쳐 명령에 대응하도록 웨어러블 전자 기기에서 멀티미디어 콘텐츠를 재생하기 시작하거나 또는 재생 중인 멀티미디어 콘텐츠의 재생을 정지시키거나 또는 일시적으로 중단시킬 수도 있다. 또는, 제스쳐 명령에 따라서 볼륨이나 화면 밝기/색상 등을 조정하거나 또는 재생 중인 멀티미디어 콘텐츠를 변경하는 것도 가능하다.
다음으로 도 1의 IoMTW 시스템에 구현될 수 있는 손 제스쳐 명령 처리 장치에 관하여 설명한다.
도 9는 본 발명의 일 실시예에 따른 미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령 처리 장치의 개략적인 구성을 보여 주는 블록도이다. 도 9에 도시된 손 제스쳐 명령 처리 장치(20)는 도 1에 도시된 IoMTW 시스템에 포함되는 기능 블록도일 수 있는데, 각 기능 블록이 속하는 구성 요소에는 특별한 제한이 없다. 예를 들어, 제스쳐 검출(gesture detection) 모듈(22)과 제스쳐 인식(gesture recognition) 모듈(24)은 각각 IoMTW 시스템을 구성하는 웨어러블 전자 기기와 처리부에 분리되어 포함되거나 또는 웨어러블 전자 기기와 처리부 중의 어느 하나에 제스쳐 검출 모듈(22)과 제스쳐 인식 모듈(24)이 모두 포함될 수도 있다. 특히, 전자의 경우에, 제스쳐 검출 모듈(22)과 제스쳐 인식 모듈(24)은 서로 다른 디바이스나 또는 다른 공간 상에 존재할 수 있다.
그리고 도 9에 도시된 손 제스쳐 명령 처리 장치(20)는 도 2 내지 도 8을 참조하여 설명한 손 제스쳐 명령의 처리 방법을 수행하기 위한 장치의 구성도의 일례에 해당한다. 따라서 이하에서는 불필요한 중복 설명을 피하기 위하여, 손 제스쳐 명령 처리 장치(20) 및 이를 구성하는 각 기능 블록의 동작이나 기능에 관해서는 간략하게 설명하기로 한다. 그리고 손 제스쳐 명령 처리 장치(20)와 관련하여 구체적으로 설명하지 않은 사항은, 본 명세서에서 명시적으로 이에 반하는 기재가 없다면 도 2 내지 도 8을 참조하여 전술한 내용이 동일하게 적용될 수 있다.
도 9를 참조하면, 손 제스쳐 명령 처리 장치(20)는 제스쳐 검출 모듈(22)과 제스쳐 인식 모듈(24)을 포함한다. 제스쳐 검출 모듈(22)은 입력되는 손 영상으로부터 손 모양을 검출하여 손 윤곽 정보를 출력하고 또한 손의 이동 경로를 검출하여 손 궤도 정보를 출력한다. 그리고 제스쳐 인식 모듈(24)은 손 윤곽 정보와 손 궤도 정보를 이용하여 웨어러블 전자 기기를 제어하기 위한 제스쳐 명령을 출력한다. 이를 개략적으로 정리하면 다음의 표 1과 같다.
Figure pat00001
일 측면에 의하면, 손 검출 모듈은 사용자의 손 제스쳐 이벤트(즉, 손 영상의 시퀀스)에 대하여 하나의 손 윤곽 정보와 하나의 손 궤도 정보를 생성하여 손 인식 모듈로 전달할 수 있다. 이것은 논리적으로 볼 때 손 제스쳐 이벤트가 끝난 이후에 모든 자료를 정리해서 손 윤곽 정보와 손 궤도 정보를 생성하여 전달하는 것을 의미한다. 이를 위해서는 손 검출 모듈의 성능이 매우 좋아야 실시간 처리가 가능해야 한다. 다만, 손 인식 모듈은 해당 이벤트가 종료된 이후에 정보를 수신하기 때문에 역시 손 인식 모듈의 성능도 상당히 좋아야 한다.
다른 측면에 의하면, 손 검출 모듈 및 손 인식 모듈의 통상적인 성능을 고려할 경우에, 손 인식 모듈에서 실시간으로 제스쳐 명령을 생성하기 위해서는 손 검출 모듈은 매 프레임마다 손 윤곽 정보를 생성하여 손 인식 모듈로 전달하고 또한 손 인식 모듈에서는 미리 처리를 준비하고 있어야 한다. 도 10은 이에 따른 손 검출 모듈 및 손 인식 모듈에서의 처리 과정의 일례를 도식적으로 도시한 것이다. 도 10을 참조하면, 손 검출 모듈은 프레임 단위로 손 윤곽 정보(CI(n))를 생성하여 전달하고 또한 손 궤도 정보(TI(n))는 복수의 프레임에 대하여 하나만 생성하여 전달하는 것을 알 수 있다.
손 제스쳐 명령 처리 장치(20)를 전술한 기능의 제스쳐 검출 모듈(22)과 제스쳐 인식 모듈(24)로 구성하기 위한 전제 조건은 여러 가지가 있을 수 있다. 아래 표 2는 이러한 전제 조건 중에서 필수적인 4가지를 나타낸 것이다. 다만, 이러한 전제 조건은 향후에 변동될 수 있는 것으로서, 일부 전제 조건의 경우에는 제한 사항들이 완화되거나 또는 불필요할 수도 있다.
Figure pat00002
전술한 전제 조건 하에서, 제스쳐 검출 모듈(22)은 미리 설정된 소정의 시간 동안 다양한 방법으로 손 궤도 정보를 구성할 수 있다. 즉, 제스쳐 검출 모듈(22)은 전체 손 궤도를 다양한 방법으로 분할하고 각 분할 손 궤도를 이에 대응하는 손 궤도 정보로 표현하여 전달할 수 있다. 이 경우에 제스쳐 인식 모듈(24)은 전달받은 손 궤도 정보(분할 손 궤도를 표현하는 것)를 파싱하여 손 궤도를 파악할 수 있다. 이에 의하면, 제스쳐 검출 모듈(22)이 전체 손 궤도를 단일의 손 궤도 정보로 표현하는 것에 비하여 처리 속도를 향상시킬 수가 있다.
도 11a 내지 도 11c는 각각 하나의 손 궤도를 구성하는 방법의 일례를 도식적으로 보여 주는 도면이다. 보다 구체적으로, 도 11a는 시 분할(time division) 방법으로 손 궤도를 구성하는 예이며, 도 11b는 움직임 분할(motion division) 방법으로 손 궤도를 구성하는 예이며, 도 11c는 점 분할(point division) 방법으로 손 궤도를 구성하는 예이다.
도 11a를 참조하면, 시 분할 방법에 의하면, 제스쳐 검출 모듈(22)은 전체 시간을 복수의 시간 구간으로 나누어서 임의의 시간 구간에서의 궤도 정보를 생성하여 전달한다. 이 경우에, 전체 궤도 정보는 (n-1)번째 궤도 정보(n-1 trajectory information), n번째 궤도 정보(n trajectory information) 및 (n+1)번째 궤도 정보(n+1 trajectory information)로 분할되어 구성된다. 그리고 제스쳐 인식 모듈(24)은 n번째 궤도 정보는 물론 그 이전과 이후의 궤도 정보를 결합하여 손 제스쳐를 인식한다. 이를 위하여, 제스쳐 인식 모듈(24)은 전후 궤도 정보 사이의 연속성이나 연동성을 고려하여 손 제스쳐를 인식할 수 있다.
도 11b를 참조하면, 움직임 분할 방법에 의하면, 제스쳐 검출 모듈(22)은 움직임 검출(motion detection)과 같은 분할된 움직임 감지를 통하여 감지된 분할 움직임 정보가 포함된 손 궤도 정보를 생성하여 전달한다. 이 경우에, 전체 궤도 정보는 다수의 분할 움직임 정보로 분할되어 구성될 수 있다. 그리고 제스쳐 인식 모듈(24)은 다수의 분할 움직임 정보들 중에서 유효한 분할 움직임 정보에 기초하여 손 제스쳐를 인식한다. 이를 위하여, 제스쳐 인식 모듈(24)은 유효한 손 움직임의 발생 여부를 판단하는 기능이 추가로 필요할 수도 있다.
도 11c를 참조하면, 점 분할 방법에 의하면, 제스쳐 검출 모듈(22)은 손의 특정 지점, 예컨대 손의 중심에 대한 정보를 손 궤도 정보로서 각각의 프레임 정보에 포함시켜서 전달한다. 엄격하게 말해서, 손의 특정 지점에 대한 정보는 손 궤도 정보라고 말하기는 어렵다. 다만, 다수의 손의 특정 지점에 대한 정보를 이용하여 제스쳐 인식 모듈(24)은 손 궤도 정보를 재구성할 수 있으므로, 한편으로는 손 궤도 정보라고 지칭할 수도 있다. 이를 위하여, 제스쳐 인식 모듈(24)은 다수의 지점 정보를 이용하여 손 궤도 정보를 재구성하는 기능이 추가로 필요하다.
이상에서 설명한 3가지의 손 궤도 정보의 구성 방안을 정리하면, 다음의 표 3으로 요약할 수 있다.
Figure pat00003
계속해서 표 2에 기술되어 있는 전제 조건 하에서, 제스쳐 검출 모듈(22)은 다양한 방법으로 손 윤곽선 정보를 구성할 수 있다. 예를 들어, 제스쳐 검출 모듈(22)은 매 프레임마다 또는 소정의 프레임 간격마다 손의 윤곽선을 검출하여 손 윤곽선 정보를 생성하여 전달할 수 있다. 또는, 제스쳐 검출 모듈(22)은 윤곽선이 일정 조건 동안에 동일하다고 판단되면, 해당 조건이 충족되는 동안에는 손 윤곽선 정보를 생성하는 것을 최소화할 수도 있다. 예컨대, 도 11a에 도시된 것과 같이 시 분할 단위마다 1번의 손 윤곽선 정보를 생성하거나 또는 도 11b에 도시된 것과 같이 움직인 분할 단위마다 1번의 손 윤곽선 정보를 생성할 수도 있다.
이상에서 설명한 손 궤도 정보와 손 윤곽선 정보는 소정 포맷의 메타데이터로서 표현될 수 있다. 아래 표 4와 표 5는 각각 손 윤곽선 정보와 손 궤도 정보를 기술하는 방법의 일례를 보여 주는 도면이다.
Figure pat00004
Figure pat00005
다음으로 미디어 중심의 웨어러블 기기를 위한 메타데이터에 관하여 설명한다. 상기 메타데이터는 웨어러블 기기를 이용하여 사용자가 특정한 정보나 신호를 입력하면서 그 결과값을 받기 위해 필요한 것들이다. 따라서 상기 메타데이터는 도 1에 도시된 IoMTW 시스템에서 각 구성 요소들 사이에 정보를 교환하기 위한 것으로서, 예컨대 미디어 웨어러블 전자 기기(MWearable)를 제어하여 멀티미디어 콘텐츠를 소비하는데 상기 메타데이터가 활용될 수 있다.
도 12는 미디어 중심의 웨어러블 기기를 위한 메타데이터의 서술 구조를 보여 주는 도면이다. 도 12를 참조하면, 미디어 중심의 웨어러블 기기를 위한 메타데이터는 최상위 서술 요소(root element)로서 6가지가 분류되어 있다. 보다 구체적으로, 분류된 최상위 서술 요소는 데이터 요소(Data), 커멘드 요소(Cmmd), 미디어 중심의 사물 인터넷 요소(M-IoT), 미디어 중심의 웨어러블 요소(M-Wearable), 프로세싱 요소(PUnit) 및 사용자 요소(User)를 포함한다. 본 실시예의 일 측면에 의하면, 이러한 최상위 서술 요소들이 모두 동시에 생성될 필요는 없으며, 각각은 필요에 따라 생성될 수 있다. 그리고 동일한 최상위 서술 요소가 반드시 하나일 필요도 없으며 필요에 따라 다수 개가 생성될 수도 있다.
데이터 요소(Data)는 그 하부의 서술 요소로서 프로세싱 데이터(PData)와 미디어 데이터(MData)로 구성된다. 프로세싱 데이터(PData)는 프로세싱에 입력되는 데이터로서, 웨어러블 기기의 입력 장치로부터 입력되는 입력 정보와 프로세싱 중간에 발생하는 정보를 표현하기 위한 것이다. 이러한 입력 정보의 대표적인 예가 사용자로부터 입력되는 영상 데이터나 음성 데이터이다. 이러한 프로세싱 데이터(PData)는 IoMTW 시스템의 처리부에서 처리함으로써 웨어러블 기기를 제어하기 위한 제어 신호가 생성될 수 있다. 그리고 미디어 데이터(MData)는 사용자에게 제공되는 미디어 데이터를 표현하기 위한 것으로, 예컨대 영상 데이터, 음성 데이터, 텍스트 데이터, 그래픽 데이터 등이 될 수 있다.
도 13은 이러한 데이터 요소(Data)의 구성을 보다 상세하게 보여 주는 도면이다. 전술한 바와 같이, 데이터 요소(Data)는 프로세싱 데이터(PData)와 미디어 데이터(MData)로 구성된다. 그리고 프로세싱 데이터(PData)는 다양한 유형(type)의 데이터를 포함하는데, 예컨대 속성(attributes)은 물론 영상 시퀀스(ImageSequence), 스테레오 영상 시퀀스(StereoImageSequence), 음성(Voice) 등과 같은 유형을 포함한다.
그리고 프로세싱 데이터는 이러한 데이터들을 프로세싱하여 생성되는 중간 산물 데이터(IntermediateData)를 별도의 유형으로 포함한다. 예를 들어, 중간 산물 데이터(IntermediateData)는 손 제스쳐 데이터(HandGesture)와 객체 형상 데이터(ObjectShape) 등의 유형을 포함할 수 있다.
도 14는 이 중에서 손 제스쳐 데이터 유형(HandGestureType)의 구성의 일례를 보여 주는 도면이다. 도 14를 참조하면, 손 제스쳐 데이터 유형(HandGestureType)은 손 윤곽 데이터(HandContour)와 손 궤도 데이터(HandTrajectory) 등의 유형을 포함할 수 있다.
도 15는 이 중에서 손 윤곽 데이터 유형(HandContourType)의 구성의 일례를 보여 주는 도면이다. 도 15를 참조하면, 손 윤곽 데이터 유형(HandContourType)은 축 데이터(Coordinate)와 그룹 베이저 곡선 데이터(GroupBeizerCurve) 등의 유형과 함께 중심 위치 데이터(CerterPosition) 유형을 포함한다. 도 16은 이 중에서 그룹 베이저 곡선 데이터 유형(GroupBeizerCurveType)의 세부적인 구성의 일례를 보여 주는 도면으로서, 초기 출발 위치 데이터(initialStartPoint)와 함께 제어 지점 데이터(ControlPoint)와 출발 및 종료 지점 데이터(StartEndPoint)로 구성된 베이저 곡선 데이터(BeizerCurve)를 포함한다.
도 17은 도 14에서 손 궤도 데이터 유형(HandTrajectoryType)의 구성의 일례를 보여 주는 도면이다. 도 17을 참조하면, 손 궤도 데이터 유형(HandTrajectoryType)은 그룹 베이저 곡선 데이터(GroupBeizerCurve) 및 중심 위치 데이터(CenterPosition)를 포함한다. 그리고 그룹 베이저 곡선 데이터(GroupBeizerCurve)는 출발 및 종료 지점 데이터(StartEndPoint)와 베이저 곡선 데이터(BeizerCurve)를 포함한다.
계속해서 도 12를 참조하면, 명령어 요소(Cmmd)는 인터렉션 명령어(CInt)와 액션 명령어(CAct)를 포함한다. 인터렉션 명령어(Cint)는 사용자와 웨어러블 기기 또는 웨어러블 기기와 처리부 사이의 제어 정보를 서술하는 것이다. 그리고 액션 명령어(CAct)는 웨어러블 기기와 연결된 센서 등의 미디어 중심의 사물 인터넷(M-IoT) 장치나 미디어 중심의 웨어러블 전자 기기(M-Wearable)를 제어하는 제어 정보를 서술하는 것이다.
미디어 중심의 웨어러블 요소(M-Wearable)는 웨어러블 디바이스 요소(WearableDevice)와 센서 요소(Sensor)를 포함한다. 이러한 미디어 중심의 웨어러블 요소(M-Wearable)는 웨어러블 기기 정보와 웨어러블 기기에 장착된 입출력 장치 또는 센서에 대한 정보를 서술한다. 그리고 프로세싱 유닛 요소(PUnit)는 입력 정보를 처리하여 웨어러블 기기 및 미디어를 제어하기 위한 유용한 정보 또는 명령어를 생성하는 프로세싱에 대한 정보를 서술하기 위한 서술 구조를 제공한다. 프로세싱 유닛 요소(PUnit)는 제스처 인식(GestureRecognition), 음성 인식(VoiceRecognition), 음성 합성(SpeechSynthesis) 및 영상 분석(ImageAnalysis) 등의 유형으로 구분될 수 있다. 또한 사용자 요소(User)는 웨어러블 기기를 사용하는 사용자에 대한 정보를 기술하는 서술 구조를 제공한다.
이상의 설명은 실시예에 불과할 뿐, 이에 의하여 한정되는 것으로 해석되어서는 안된다. 본 발명의 기술 사상은 특허청구범위에 기재된 발명에 의해서만 특정되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다. 따라서 전술한 실시예가 다양한 형태로 변형되어 구현될 수 있다는 것은 통상의 기술자에게 자명하다.

Claims (8)

  1. 미디어 사물 인터넷과 웨어러블(Internet of Media Things and Wearables, IoMTW) 시스템에서 미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령의 처리 방법에 있어서,
    사용자의 손 영상을 획득하는 단계;
    상기 획득한 사용자의 손 영상에서 배경 영역과 손 영역을 구분하는 단계;
    구분된 상기 손 영역을 이용하여 손 모양을 검출하고, 검출된 상기 손 모양을 기술하는 손 윤곽 정보를 생성하는 단계;
    구분된 상기 손 영역의 경시적 변화에 기초하여 손의 이동 경로를 검출하고, 검출된 상기 손의 이동 경로를 기술하는 손 궤도 정보를 생성하는 단계; 및
    상기 손 윤곽 정보와 상기 손 궤도 정보를 이용하여 사용자의 손 제스쳐를 인식하는 단계를 포함하는 것을 특징으로 하는 손 제스쳐 명령의 처리 방법.
  2. 제1항에 있어서,
    상기 손 윤곽 정보는 상기 검출된 손 모양의 윤곽선에 해당하는 복수의 점들 각각을 표시하는 좌표들의 집합으로 표현하거나 또는 상기 손을 구성하는 복수의 손가락들 각각의 방향 벡터들의 집합으로 표현하는 것을 특징으로 하는 손 제스쳐 명령의 처리 방법.
  3. 제1항에 있어서,
    상기 손 궤도 정보를 생성하는 단계에서는 상기 손의 이동 거리 또는 평균 이동 속도가 미리 설정된 기준 이상일 경우에만 상기 손 궤도 정보를 생성하는 것을 특징으로 하는 손 제스쳐 명령의 처리 방법.
  4. 제1항에 있어서,
    상기 손 궤도 정보는 상기 손의 이동 경로를 시 분할 방법, 움직임 분할 방법 또는 점 분할 방법으로 구성하는 것을 특징으로 하는 손 제스쳐 명령의 처리 방법.
  5. 제1항에 있어서,
    상기 미디어 중심의 웨어러블 전자 기기를 위한 메타데이터는 최상위 서술 요소들로서 데이터 요소, 커멘드 요소, 미디어 중심의 사물 인터넷 요소, 미디어 중심의 웨어러블 요소, 프로세싱 요소 및 사용자 요소로 구성되고,
    상기 손 윤곽 정보와 상기 손 궤도 정보는 상기 데이터 요소의 프로세싱 데이터에 포함되는 것을 특징으로 하는 손 제스쳐 명령의 처리 방법.
  6. 제5항에 있어서,
    상기 최상위 서술 요소들 각각은 필요에 따라 생성되고 또한 동일한 요소가 복수 개가 생성되는 것이 허용되는 것을 특징으로 하는 손 제스쳐 명령의 처리 방법.
  7. 미디어 사물 인터넷과 웨어러블(Internet of Media Things and Wearables, IoMTW) 시스템에서 미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령의 처리 장치에 있어서,
    입력되는 사용자의 손 영상으로부터 배경 영역과 손 영역을 구분한 다음, 구분된 상기 손 영역을 이용하여 손 모양을 검출하고 검출된 상기 손 모양을 기술하는 손 윤곽 정보를 생성하며 또한 구분된 상기 손 영역의 경시적 변화에 기초하여 손의 이동 경로를 검출하고 검출된 상기 손의 이동 경로를 기술하는 손 궤도 정보를 생성하는 제스쳐 검출부; 및
    상기 제스쳐 검출부로부터 전달되는 상기 손 윤곽 정보와 상기 손 궤도 정보를 이용하여 사용자의 손 제스쳐를 인식하는 제스쳐 인식부를 포함하는 것을 특징으로 하는 손 제스쳐 명령의 처리 장치.
  8. 제7항에 있어서,
    상기 손 윤곽 정보는 상기 검출된 손 모양의 윤곽선에 해당하는 복수의 점들 각각을 표시하는 좌표들의 집합으로 표현하거나 또는 상기 손을 구성하는 복수의 손가락들 각각의 방향 벡터들의 집합으로 표현하고,
    상기 손 궤도 정보는 상기 손의 이동 경로를 시 분할 방법, 움직임 분할 방법 또는 점 분할 방법으로 구성하는 것을 특징으로 하는 손 제스쳐 명령의 처리 장치.
KR1020160125829A 2016-02-04 2016-09-29 미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령의 처리 방법 및 장치 KR20170093057A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/597,969 US20170336874A1 (en) 2016-05-20 2017-05-17 Method and apparatus for processing hand gesture command for media-centric wearable electronic device

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1020160014324 2016-02-04
KR20160014324 2016-02-04
KR20160016020 2016-02-12
KR1020160016020 2016-02-12
KR1020160062260 2016-05-20
KR20160062260 2016-05-20

Publications (1)

Publication Number Publication Date
KR20170093057A true KR20170093057A (ko) 2017-08-14

Family

ID=60142052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160125829A KR20170093057A (ko) 2016-02-04 2016-09-29 미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령의 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20170093057A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753771A (zh) * 2020-06-29 2020-10-09 武汉虹信技术服务有限责任公司 一种手势事件的识别方法、系统及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753771A (zh) * 2020-06-29 2020-10-09 武汉虹信技术服务有限责任公司 一种手势事件的识别方法、系统及介质
CN111753771B (zh) * 2020-06-29 2024-09-20 武汉虹信技术服务有限责任公司 一种手势事件的识别方法、系统及介质

Similar Documents

Publication Publication Date Title
US11734336B2 (en) Method and apparatus for image processing and associated user interaction
US12094070B2 (en) Coordinating cursor movement between a physical surface and a virtual surface
US10394334B2 (en) Gesture-based control system
EP3616050B1 (en) Apparatus and method for voice command context
US10664060B2 (en) Multimodal input-based interaction method and device
US10635895B2 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
KR102227392B1 (ko) 단어 흐름 주석
Betancourt et al. The evolution of first person vision methods: A survey
KR102576135B1 (ko) 감각 안경류
US20180088663A1 (en) Method and system for gesture-based interactions
US20180329209A1 (en) Methods and systems of smart eyeglasses
CN114303120A (zh) 虚拟键盘
US9013591B2 (en) Method and system of determing user engagement and sentiment with learned models and user-facing camera images
US10896545B1 (en) Near eye display interface for artificial reality applications
US20170336874A1 (en) Method and apparatus for processing hand gesture command for media-centric wearable electronic device
US20160357263A1 (en) Hand-gesture-based interface utilizing augmented reality
US20200326783A1 (en) Head mounted display device and operating method thereof
US20220012283A1 (en) Capturing Objects in an Unstructured Video Stream
US11106949B2 (en) Action classification based on manipulated object movement
CN112116525A (zh) 换脸识别方法、装置、设备和计算机可读存储介质
US11682045B2 (en) Augmented reality advertisements on objects
KR20220067964A (ko) 카메라 시야(fov) 가장자리에서 움직임을 인식하여 전자 장치를 제어하는 방법 및 그 전자 장치
KR20190114279A (ko) 미디어 사물 인터넷을 위한 손 제스쳐 명령의 처리 방법 및 장치
Abdallah et al. An overview of gesture recognition
Chan et al. Recognition from hand cameras: A revisit with deep learning

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application