KR20230072757A - 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법 - Google Patents

웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법 Download PDF

Info

Publication number
KR20230072757A
KR20230072757A KR1020210159308A KR20210159308A KR20230072757A KR 20230072757 A KR20230072757 A KR 20230072757A KR 1020210159308 A KR1020210159308 A KR 1020210159308A KR 20210159308 A KR20210159308 A KR 20210159308A KR 20230072757 A KR20230072757 A KR 20230072757A
Authority
KR
South Korea
Prior art keywords
region
interest
gesture
electronic device
wearable electronic
Prior art date
Application number
KR1020210159308A
Other languages
English (en)
Inventor
오바울
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210159308A priority Critical patent/KR20230072757A/ko
Priority to US17/735,630 priority patent/US20230154134A1/en
Publication of KR20230072757A publication Critical patent/KR20230072757A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따르면, 카메라를 포함하는 웨어러블 전자 장치의 동작 방법은 카메라의 뷰에 대응하는 영상 프레임 내에서 사용자의 뷰에 대응하는 관심 영역을 설정하기 위한 사용자의 손의 제1 제스쳐를 인식하고, 제1 제스쳐의 인식 여부를 기초로 관심 영역을 투사하기 위한 가상 디스플레이를 생성하고, 영상 프레임으로부터 관심 영역을 추출하고, 관심 영역의 크기 조절을 위한 손의 제2 제스쳐를 인식하며, 제2 제스쳐의 인식 여부를 기초로 관심 영역의 크기를 조절하여 가상 디스플레이에 투사한다.

Description

웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법{WEARABLE ELECTRONIC DEVICE AND OPERATING METHOD OF WEARABLE ELECTRONIC DEVICE}
아래의 개시는 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법에 관한 것이다.
가상 현실(virtual reality; VR), 증강 현실(augmented reality; AR) 또는 혼합 현실(mixed reality; MR)을 구현할 수 있는 전자 기기들이 제공된다. 이러한 전자 기기들은 현실 세계의 환경 위에 가상의 객체나 정보를 결합하여 보여줄 수 있으며, 예를 들어, 유비쿼터스(ubiquitous) 환경이나 사물 인터넷(internet of things; IoT) 환경에서 다양하게 활용될 수 있다. 전자 기기들은 외부 전경과 가상 영상의 결합을 통해 다양한 정보를 사용자에게 보다 실감나게 전달할 수 있다.
전자 기기들은 예를 들어, 눈 추적 및/또는 시선 추적 결과를 바탕으로 사용자의 의도를 식별하거나, 또는 사용자와 상호 작용할 수 있으나, 눈 및/또는 시선 추적 결과에 의해 사용자의 정확한 의도를 파악하기 어렵고, 사용자의 다양한 의도 전달이 어려울 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치의 동작 방법은 상기 카메라의 뷰에 대응하는 영상 프레임 내에서 사용자의 뷰에 대응하는 관심 영역을 설정하기 위한 상기 사용자의 손의 제1 제스쳐를 인식하는 단계, 상기 제1 제스쳐의 인식 여부를 기초로, 상기 관심 영역을 투사하기 위한 가상 디스플레이를 생성하는 단계, 상기 영상 프레임으로부터 상기 관심 영역을 추출하는 단계, 상기 관심 영역의 크기 조절을 위한 상기 손의 제2 제스쳐를 인식하는 단계, 및 상기 제2 제스쳐의 인식 여부를 기초로, 상기 관심 영역의 크기를 조절하여 상기 가상 디스플레이에 투사하는 단계를 포함한다.
상기 관심 영역을 추출하는 단계는 상기 영상 프레임에서 상기 사용자의 손 관절들의 위치들을 추정하는 단계, 및 상기 추정된 손 관절들의 위치들을 기초로, 상기 관심 영역을 추출하는 단계를 포함할 수 있다.
상기 사용자의 손 관절들의 위치 들을 추정하는 단계는 상기 제1 제스쳐의 유형 별로, 상기 영상 프레임으로부터 상기 사용자의 손 관절들의 위치를 추정하는 단계를 포함할 수 있다.
상기 관심 영역을 추정하는 단계는 상기 제1 제스쳐의 유형 별로 추정된 손 관절들의 위치를 이용하여 상기 관심 영역을 설정하는 단계를 포함할 수 있다.
상기 손 관절들의 위치들을 추정하는 단계는 상기 손 관절들의 위치들 간의 회귀 분석(regression)을 기초로, 상기 손의 회전 각도를 추정하는 단계, 및 상기 추정한 회전 각도를 보정하여 새로운 손 관절들의 위치를 산출하는 단계를 포함하고, 상기 관심 영역을 추출하는 단계는 상기 새로운 손 관절들의 위치들을 기초로, 상기 관심 영역을 추출하는 단계를 포함할 수 있다.
상기 관심 영역을 추출하는 단계는 상기 추정된 손 관절들의 위치들 간의 가중합을 기초로, 상기 관심 영역의 중심점 및 상기 관심 영역의 각 변의 길이를 산출하는 단계, 및 상기 관심 영역의 중심점 및 상기 관심 영역의 각 변의 길이를 기초로, 상기 관심 영역을 추출하는 단계를 포함할 수 있다.
상기 관심 영역을 추출하는 단계는 미리 학습된 신경망을 이용하여 상기 사용자의 손의 포즈를 추정하는 단계, 상기 추정된 손의 포즈로부터 상기 사용자의 손 관절들의 위치를 추정하는 단계, 및 상기 추정된 손 관절들의 위치로부터 상기 관심 영역의 중심 위치, 및 상기 관심 영역의 각 변의 길이를 산출하는 단계를 포함할 수 있다.
상기 가상 디스플레이는 상기 제1 제스쳐 및 상기 제2 제스쳐 중 어느 하나의 제스쳐가 유지되는지 여부에 따라 표시될 수 있다.
상기 가상 디스플레이를 생성하는 단계는 상기 카메라의 뷰 위치와 무관하게 상기 가상 디스플레이를 생성하는 단계를 포함할 수 있다.
상기 제1 제스쳐를 인식하는 단계는 상기 영상 프레임 내에서 상기 제1 제스쳐가 인식되지 않는 경우, 상기 영상 프레임의 이전 영상 프레임에서 상기 제1 제스쳐를 인식하는 단계를 포함할 수 있다.
상기 가상 디스플레이에 투사하는 단계는 상기 제2 제스쳐가 인식된 경우, 상기 관심 영역 내 중심부를 고정 배율로 확대하는 단계, 및 상기 확대된 중심부를 상기 가상 디스플레이에 투사하는 단계를 포함할 수 있다.
상기 가상 디스플레이에 투사하는 단계는 상기 제1 제스쳐에서 양 손의 검지 손가락들 간의 제1 거리와 상기 제2 제스쳐에서 상기 양 손의 검지 손가락들 간의 제2 거리에 기초한 가변 비율에 의해 상기 관심 영역의 크기를 조절하는 단계, 및 상기 조절된 크기의 관심 영역을 상기 가상 디스플레이에 투사하는 단계를 포함할 수 있다.
상기 웨어러블 전자 장치의 동작 방법은 상기 제2 제스쳐가 인식되지 않는 경우, 상기 관심 영역을 상기 가상 디스플레이에 투사하는 단계를 더 포함할 수 있다.
상기 웨어러블 전자 장치는 VR 글래스(virtual reality glass)를 포함하는 스마트 글래스(smart glass), AR(Augmented Reality) 기기, VR(Virtual Reality) 기기, 및 MR(Mixed Reality) 기기를 포함하는 헤드 마운티드 디스플레이(head mounted display, HMD), 및 아이 마운티드 디스플레이(eye mounted display) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치는 영상 프레임을 획득하는 카메라, 및 상기 카메라의 뷰에 대응하는 영상 프레임 내에서 사용자의 뷰에 대응하는 관심 영역을 설정하기 위한 상기 사용자의 손의 제1 제스쳐를 인식하고, 상기 제1 제스쳐의 인식 여부를 기초로, 상기 관심 영역을 투사하기 위한 가상 디스플레이를 생성하고, 상기 영상 프레임으로부터 상기 관심 영역을 추출하고, 상기 관심 영역의 크기 조절을 위한 상기 손의 제2 제스쳐를 인식하며, 상기 제2 제스쳐의 인식 여부를 기초로, 상기 관심 영역의 크기를 조절하여 상기 가상 디스플레이에 투사하는 프로세서를 포함한다.
상기 프로세서는 상기 영상 프레임에서 상기 사용자의 손 관절들의 위치 들을 추정하고, 상기 추정된 손 관절들의 위치들을 기초로, 상기 관심 영역을 추출할 수 있다.
상기 프로세서는 상기 제1 제스쳐의 유형 별로, 상기 영상 프레임으로부터 상기 사용자의 손 관절들의 위치를 추정하고, 상기 제1 제스쳐의 유형 별로 추정된 손 관절들의 위치를 이용하여 상기 관심 영역을 설정할 수 있다.
상기 프로세서는 상기 손 관절들의 위치들 간의 회귀 분석(regression)을 기초로, 상기 손의 회전 각도를 추정하고, 상기 추정한 회전 각도를 보정하여 새로운 손 관절의 위치를 산출하며, 상기 새로운 손 관절들의 위치들을 기초로, 상기 관심 영역을 추출할 수 있다.
상기 프로세서는 상기 추정된 손 관절들의 위치들 간의 가중합을 기초로, 상기 관심 영역의 중심점 및 상기 관심 영역의 각 변의 길이를 산출하고, 상기 관심 영역의 중심점 및 상기 관심 영역의 각 변의 길이를 기초로, 상기 관심 영역을 추출할 수 있다.
도 1 및 도 2는 일 실시예에 따른 웨어러블 전자 장치의 개요(overview)를 설명하기 위한 도면들이다.
도 3은 일 실시예에 따른 웨어러블 전자 장치의 동작 개요를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 웨어러블 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 5는 실시예들에 따른 제1 제스쳐 및 제2 제스쳐의 예시들을 도시한 도면이다.
도 6 은 일 실시예에 따른 관심 영역을 추출하는 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따라 손의 회전 각도를 추정하는 방법을 설명하기 위한 도면이다.
도 8및 도 9는 다른 실시예들에 따라 손의 회전 각도를 산출하는 방법을 설명하기 위한 도면이다.
도 10은 다른 실시예에 따라 관심 영역을 추정하는 방법을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 가변 비율에 의해 관심 영역의 크기를 조절하는 방법을 설명하기 위한 도면이다.
도 12는 다른 실시예에 따른 웨어러블 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 13은 일 실시예에 따라 제1 제스쳐의 인식 여부를 판단하는 방법을 나타낸 흐름도이다.
도 14는 일 실시예에 따른 웨어러블 전자 장치의 블록도이다.
도 15은 다른 실시예에 따른 웨어러블 전자 장치의 블록도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 동작, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 동작, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1 및 도 2는 일 실시예에 따른 웨어러블 전자 장치의 개요(overview)를 설명하기 위한 도면들이다.
도 1을 참조하면, 일 실시예에 따른 웨어러블 전자 장치(110)는 사용자(100)에게 가상 현실 서비스, 증강 현실 서비스, 및 혼합 현실 서비스 중 적어도 하나를 제공하는 장치일 수 있다. 증강 현실 서비스는 사용자(100)가 보는 현실 세계의 이미지에 가상의 이미지 또는 가상의 컨텐츠를 겹쳐 보여줄 수 있다. 웨어러블 전자 장치(110)는 디스플레이(115)를 통해 현실 세계의 실제 객체(120)와 함께 현실 세계의 실제 객체(120)와 관련된 컨텐츠를 포함하는 가상의 이미지(예: 도 2의 가상 객체(220))를 사용자(100)에게 제공할 수 있다. 이때, 가상의 이미지는 디스플레이(115)를 통해 현실화되는 가상 디스플레이 상에 표시될 수 있다.
사용자(100)에게 보여지는 가상의 이미지는 2D 이미지일 수도 있고, 또는 3D이미지일 수 있다. 또한, 가상의 이미지는 움직임이 없는 정적 이미지일 수도 있고, 또는 애니메이션과 같이 움직임을 갖는 동적인 이미지일 수도 있다. 웨어러블 전자 장치(110)는 사용자(100)에게 착용될 수 있는 웨어러블 장치일 수 있다. 웨어러블 전자 장치(110)는 예를 들어 스마트 글래스(smart glass), VR 헤드셋(headset), 또는 AR 헤드셋을 포함하는 헤드 마운티드 디스플레이(Head Mounted Display; HMD), 아이 마운티드 디스플레이(Eye Mounted Display; EMD) 및 페이스 마운티드 디스플레이(Face Mounted Display; FMD)와 같은 전자 장치일 수 있으며, 반드시 이에 한정되지는 않는다.
도 2를 참조하면, 웨어러블 전자 장치(110)의 디스플레이(115)를 통해 제공되는 컨텐츠(210)의 일례가 도시되어 있다. 이하, 설명의 편의를 위하여 웨어러블 전자 장치(110)에 의해 제공되는 가상 컨텐츠가 증강 현실을 위한 영상 컨텐츠(210)인 경우를 일 예로 들어 설명하지만, 이는 가상 현실 및/또는 혼합 현실을 위한 컨텐츠의 제공을 배제하는 것은 아니다.
웨어러블 전자 장치(110)는 사용자(100)가 바라보는 현실 세계의 실제 객체(120)에 가상 정보를 포함하는 가상 객체(220)를 정합하여 영상 컨텐츠(210)를 형성할 수 있다. 영상 컨텐츠(210)는 예를 들어 현실 세계의 실제 객체(120)로부터 실감나는 가상 객체를 복제하는 것일수도 있고, 또는 현실 세계의 실제 객체(120) 위에 가상의 컴퓨터 그래픽 효과를 구현하는 것일 수도 있다. 가상의 컴퓨터 그래픽 효과는 예를 들어, 실제의 기계 장치 위에 사용자 설명서와 같은 부가 정보 또는 사용자 설명서를 설명해 주는 가상의 캐릭터와 같은 부가 컨텐츠를 가상의 이미지로 구현한 것일 수도 있고, 또는 사용자가 바라보는 관심 영역을 확대, 및/또는 축소 가공한 컨텐츠를 가상의 이미지로 구현한 것일 수 있으며, 반드시 이에 한정되지는 않는다.
예를 들어, 사용자(100)가 머리 또는 시선을 움직이는 경우, 사용자(100)가 실제 객체(120)를 바라보는 시선 방향이 달라질 수 있다. 웨어러블 전자 장치(110)는 시선 방향의 변화에 따라 가상 객체(220)를 세밀하게 조정함으로써 사용자(100)에게 고정밀의 영상 컨텐츠(210)를 제공할 수 있다. 웨어러블 전자 장치(110)는 시선 방향의 변화를 정밀하게 측정함으로써 실제 객체(120)와 가상 객체(220)를 자연스럽게 정합할 수 있다. 웨어러블 전자 장치(110)는 사용자(100)가 실제 객체(120)를 바라보는 장면에서 가상 객체(220)를 실제 객체(120)에 대비되는 정확한 위치에 표현함으로써 실감나는 영상 컨텐츠(210)를 구현할 수 있다.
웨어러블 전자 장치(110)는 후술하는 손의 포즈 추정을 자체적으로 수행할 수도 있고, 또는 별도의 포즈 추정 장치를 통해 추정된 손의 포즈에 대한 정보를 전달받을 수도 있다. 이 경우, 포즈 추정 장치는 웨어러블 전자 장치(110)의 위치 측정(localization)을 수행할 수 있다. 위치 측정 결과는 사용자(100)의 머리 움직임이나 사용자(100)가 바라보는 방향, 또는 손의 포즈를 추정하는데 이용될 수 있다.
포즈 추정 장치에 의해 추정되는 손의 포즈는 손의 위치(position) 및 자세(orientation)에 대한 좌표 정보를 포함할 수 있다. 손의 포즈는 예를 들어, 6 자유도(degrees of freedom; DoF)로서 표현될 수 있으며, 반드시 이에 한정되지는 않는다.
또한, 포즈 추정 장치에 의해 추정되는 웨어러블 전자 장치(110)의 포즈는 웨어러블 전자 장치(110)를 착용한 사용자(100)의 포즈 또는 웨어러블 전자 장치(110)에 포함된 이미지 센서(예: 카메라)의 포즈에 대응될 수 있다.
포즈 추정 장치는 카메라 또는 이미지 센서에 의해 획득된 영상 정보와 모션 센서에 의해 획득된 움직임 정보(예: 관성 센서의 데이터)를 이용하여 웨어러블 전자 장치(110) 및/또는 사용자의 적어도 신체 일부의 포즈(예: 손의 포즈)를 결정할 수 있다. 포즈 추정 장치는 영상 정보와 움직임 정보를 함께 이용함으로써 웨어러블 전자 장치(110) 및/또는 사용자의 적어도 신체 일부의 포즈를 정확하고 효과적으로 추정할 수 있다. 카메라와 같은 이미지 센서 및 모션 센서는 웨어러블 전자 장치(110)에 포함될 수 있다. 이미지 센서는 웨어러블 전자 장치(110)의 주변 영역 중 적어도 일부 영역(예, 사용자(100)의 전방 영역)을 촬영하여 영상 정보를 획득한다. 모션 센서는 웨어러블 전자 장치(110) 또는 사용자(100)의 움직임을 측정할 수 있다. 모션 센서는 예를 들어, 가속도 센서와 자이로(gyro) 센서를 포함하는 관성 센서(inertial measurement unit; IMU)를 포함할 수 있으며, 반드시 이에 한정되지는 않는다.
포즈 추정 장치는 웨어러블 전자 장치(110)의 이전 시간의 위치에서부터 현재 시간의 위치까지의 움직임의 변화를 반영하여 영상 내의 객체들의 위치를 추정할 수 있다.
도 3은 일 실시예에 따른 웨어러블 전자 장치의 동작 개요를 설명하기 위한 도면이다. 도 3을 참조하면, 일 실시예에 따른 웨어러블 전자 장치(330)를 착용한 사용자(310)가 양 손을 이용하여 제1제스쳐를 수행한 경우에 웨어러블 전자 장치(330)의 전면부에 설치된 카메라의 뷰(Field Of View; FOV)에 대응하는 영상 프레임(350), 사용자(310)의 뷰에 대응하는 관심 영역(Region of Interest; ROI)(370) 및 관심 영역이 투사되는 가상 디스플레이(390)가 도시된다.
카메라 기술의 발달로 사람의 시력보다 우수한 해상도를 가진 영상들을 실시간으로 획득하는 것이 가능해진 환경에서 헤드 마운디트 디스프레이(HMD), 아이 마운티드 디스플레이(EMD) 또는 안경 형태의 웨어러블 전자 장치(330)는 사용자(310)의 눈 앞에 위치한 렌즈 형태의 디스플레이를 통해 화면을 표시할 수 있다. 웨어러블 전자 장치(330)는 웨어러블 전자 장치(330)를 착용한 사용자(310)의 눈이 초점을 맞추기 편한 위치에 가상 디스플레이(390)를 배치하고, 전면부 카메라에서 촬영된 영상을 활용하여 사용자가 관심 있게 보고 싶은 영역, 다시 말해 관심 영역(370)을 그대로 또는 확대하여 가상 디스플레이(390)에 투사함으로써 사용자(310)의 본래 시력 이상의 시각 정보 처리 능력을 제공할 수 있다.
여기서, 가상 디스플레이(390)는 웨어러블 전자 장치(330)의 디스플레이 장치에 의해 화면 상에 표시되는 (가상) 스크린에 해당할 수 있다. 웨어러블 전자 장치(330)는 예를 들어, 직사각형 형태의 평면 스크린을 양안 영상에 각각 투사하되, 적절한 디스패리티(disparity), 다시 말해 양안 영상 간 시점 차이를 부여하여 스크린이 사용자가 느끼기 편안한 위치(예를 들어, 1m)에 위치하는 것처럼 보이도록 할 수 있다. 웨어러블 전자 장치(330)는 촬영한 영상 또는 확대된 영상을 직사각형 형태의 평면 스크린에 투영하여 사용자가 마치 자신의 눈 앞 1m 앞에 있는 가상 스크린에서 영상을 보는 것처럼 느끼도록 할 수 있다. 웨어러블 전자 장치(330)는 예를 들어, 하나 이상의 전면부 카메라를 포함하고, 컴퓨터 비전 기술을 통해 손의 특정 제스쳐를 인식하여 사용자(310)의 관심 영역(370)을 가상 디스플레이(390)에 투사함으로써 사용자의 시력을 보조할 수 있다.
예를 들어, 도 3에 도시된 것과 같이 사용자가 눈 앞에서 양 손에 의해 직사각형 형태를 표현하는 특정 제스쳐('제1 제스쳐')를 취할 수 있다. 여기서, 특정 제스쳐는 예를 들어, 직사각형 형태를 표현하는 제스쳐 또는 사진기 프레임 형태를 표현하는 제스쳐 등과 같이 사용자의 의도를 용이하게 파악할 수 있는 직관적인 제스쳐에 해당할 수 있다.
웨어러블 전자 장치(330)는 전면 카메라에서 획득한 영상 프레임(350) 내에서 손의 특정 제스쳐에 의해 지정되는 관심 영역(370)을 설정 및 추출할 수 있다. 이후, 관심 영역(370)을 확장하는 제스쳐('제2 제스쳐')가 인식되면, 웨어러블 전자 장치(330)는 추출한 관심 영역(370)을 확대하여 가상 디스플레이(390)에 투사함으로써 확대된 관심 영역(370)과 카메라를 통해 촬영된 영상을 함께 사용자에게 제공할 수 있다.
일 실시예에서는 직관적으로 직사각형 형태를 나타낼 수 있는 제스처 및/또는 확대하는 동작을 나타내는 제스처를 인식하여 마우스, 또는 컨트롤러와 같은 입력 장치가 없이도 빠르게 관심 영역(370)을 설정, 추출 및/또는 확대하여 가상 디스플레이(390)로 투사할 수 있다.
웨어러블 전자 장치(330)는 예를 들어, VR 글래스(virtual reality glass)를 포함하는 스마트 글래스(smart glass), AR(Augmented Reality) 기기, VR(Virtual Reality) 기기, 및 MR(Mixed Reality) 기기를 포함하는 헤드 마운티드 디스플레이(HMD), 아이 마운티드 디스플레이(EMD), 및 페이스 마운티드 디스플레이(FMD) 중 적어도 하나를 포함할 수 있다.
웨어러블 전자 장치(330)는 외안경 또는 쌍안경 형태의 디스플레이를 통해 사용자에게 원하는 정보를 제공할 수 있다. 웨어러블 전자 장치(330)는 장치 정면부를 촬영하도록 탑재된 카메라를 이용하여 주변 환경의 사진이나 영상 자료를 실시간으로 획득할 수 있다. 웨어러블 전자 장치(330)는 예를 들어, 블루투스, 와이파이(Wi-Fi) 등과 같은 무선 통신 기술을 지원하며, 인터넷 연결을 통해 실시간으로 정보를 검색하고 공유할 수 있다. 또한, 웨어러블 전자 장치(330)는 GPS(Global Positioning System)를 통한 위치 추적 기능을 제공하여 위치 정보 기반의 다양한 애플리케이션(앱)이 구동되도록 할 수 있다. 웨어러블 전자 장치(330)는 사용자와의 의사 소통을 위한 인터페이스로 예를 들어, 터치 버튼, 음성 인식을 통한 자연어 명령 처리, 이외에도 탑재된 카메라에 의해 캡쳐되는 사용자의 제스쳐를 이용할 수 있으며, 반드시 이에 한정되지는 않는다.
도 4는 일 실시예에 따른 웨어러블 전자 장치의 동작 방법을 나타낸 흐름도이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 4를 참조하면, 일 실시예에 따른 웨어러블 전자 장치는 단계(410) 내지 단계(450)을 통해 관심 영역의 크기를 조절하여 가상 디스플레이에 투사할 수 있다.
단계(410)에서, 웨어러블 전자 장치는 카메라의 뷰에 대응하는 영상 프레임 내에서 사용자의 뷰에 대응하는 관심 영역을 설정하기 위한 사용자의 손의 제1 제스쳐를 인식한다. 제1 제스쳐는 예를 들어, 직사각형 형태를 표현하는 제스쳐이거나, 또는 사진기 프레임 형태를 표현하는 제스쳐와 같이 관심 영역의 설정을 의도함을 직관적으로 파악할 수 있는 미리 정해진 다양한 형태의 제스쳐들일 수 있으며, 반드시 이에 한정되지는 않는다. 웨어러블 전자 장치는 예를 들어, 제1 제스쳐가 사각형 형태 또는 사각형에 가까운 형태가 되는지에 의해 제1 제스쳐를 인식할 수 있다. 또한, 웨어러블 전자 장치는 기울어진 영상에 대응하여 제1 제스쳐를 취하는 손의 각도가 기울어진 경우에도 기울어진 사각형 형태에 의해서 제1 제스쳐를 인식할 수도 있다.
예를 들어, 영상 프레임 내에서 제1 제스쳐가 인식되지 않는 경우, 웨어러블 전자 장치는 영상 프레임의 이전 영상 프레임에서 제1 제스쳐를 인식할 수 있다.
단계(420)에서, 웨어러블 전자 장치는 단계(410)에서의 제1 제스쳐의 인식 여부를 기초로, 관심 영역을 투사하기 위한 가상 디스플레이를 생성한다. 웨어러블 전자 장치는 카메라의 뷰 위치와 무관하게 가상 디스플레이를 생성할 수 있다. 가상 디스플레이는 제1 제스쳐 및 제2 제스쳐 중 어느 하나의 제스쳐가 유지되는지 여부에 따라 표시될 수 있다. 예를 들어, 제1 제스쳐 또는 제2 제스쳐가 유지되는 동안에는 화면에 가상 디스플레이가 표시되고, 제1 제스쳐 또는 제2 제스쳐가 사라진 경우에는 화면에서 가상 디스플레이가 표시되지 않을 수 있다. 제1 제스쳐 및 제2 제스쳐의 다양한 예시들은 아래의 도 5를 참조하여 보다 구체적으로 설명한다.
단계(430)에서, 웨어러블 전자 장치는 영상 프레임으로부터 관심 영역을 추출한다. 웨어러블 전자 장치는 예를 들어, 영상 프레임에서 사용자의 손 관절들의 위치들을 추정하고, 추정된 손 관절들의 위치들을 기초로 관심 영역을 추출할 수 있다. 이때, 손 관절들의 위치들은 예를 들어, 2차원 위치일 수도 있고, 또는 3차원 위치일 수도 있다.
웨어러블 전자 장치는 예를 들어, 제1 제스쳐의 유형 별로, 영상 프레임으로부터 사용자의 손 관절들의 위치를 추정할 수 있다. 아래의 도 5에 도시된 것과 같이, 제스쳐(제1 제스쳐)의 유형 별로 사용자의 양 손 또는 어느 한 손이 취할 수 있는 형태가 미리 결정될 수 있다. 웨어러블 전자 장치는 이와 같이 유형 별로 취해지는 제1 제스쳐의 대략적인 형태를 고려하여 영상 프레임으로부터 사용자의 손 관절들의 위치를 추정할 수 있다.
웨어러블 전자 장치는 제1 제스쳐의 유형 별로 추정된 손 관절들의 위치를 이용하여 영상 프레임에서 관심 영역을 설정하여 추출할 수 있다. 웨어러블 전자 장치는 예를 들어, 추정된 손 관절들의 위치들 간의 가중합을 기초로, 관심 영역의 중심점 및 관심 영역의 각 변의 길이를 산출할 수 있다. 웨어러블 전자 장치는 관심 영역의 중심점의 위치 및 관심 영역의 각 변의 길이를 기초로 관심 영역의 위치를 설정하고, 해당 위치에서 관심 영역을 추출할 수 있다. 여기서, '관심 영역을 추출한다'는 의미는 영상 프레임에서 관심 영역에 해당하는 영역의 영상을 복사하거나, 또는 관심 영역에 해당하는 영역의 영상 정보를 추출하는 것을 모두 포괄하는 의미로 이해될 수 있다. 웨어러블 전자 장치가 관심 영역을 추출하는 방법은 아래의 도 6을 참조하여 보다 구체적으로 설명한다.
웨어러블 전자 장치는 예를 들어, 손 관절들의 위치들 간의 회귀 분석(regression)을 기초로, 손의 회전 각도를 추정할 수 있다. 웨어러블 전자 장치는 추정한 회전 각도를 보정(예를 들어, 역회전)하여 새로운 손 관절들의 위치를 산출할 수 있다. 이 경우, 웨어러블 전자 장치는 새로운 손 관절들의 위치들을 기초로 관심 영역을 추출할 수 있다. 웨어러블 전자 장치는 새로운 손 관절들의 위치들의 가중합을 이용하여 관심 영역을 추출할 수 있다. 실시예에 따라서, 웨어러블 전자 장치는 손 관절들의 위치들을 이용하여 손의 회전 각도를 산출할 수도 있다.
웨어러블 전자 장치가 손의 회전 각도를 추정하는 방법은 아래의 도 7을 참조하고, 손의 회전 각도를 산출하는 방법은 아래의 도 8 내지 도 9를 참조하여 보다 구체적으로 설명한다.
실시예에 따라서, 웨어러블 전자 장치는 미리 학습된 신경망을 이용하여 관심 영역을 추출할 수도 있다. 웨어러블 전자 장치가 신경망에 의해 관심 영역을 추출하는 방법은 아래의 도 10을 참조하여 보다 구체적으로 설명한다.
단계(440)에서, 웨어러블 전자 장치는 단계(430)에서 추출한 관심 영역의 크기 조절을 위한 손의 제2 제스쳐를 인식한다. 제2 제스쳐는 예를 들어, 제1 제스쳐의 형태를 확장하는 형태의 제스쳐일 수 있으며, 반드시 이에 한정되지는 않는다.
제2 제스쳐가 인식되지 않는 경우, 웨어러블 전자 장치는 단계(430)에서 추출한 관심 영역을 크기 조정하지 않고 그대로 가상 디스플레이에 투사할 수 있다.
단계(450)에서, 웨어러블 전자 장치는 단계(440)에서의 제2 제스쳐의 인식 여부를 기초로, 관심 영역의 크기를 조절하여 가상 디스플레이에 투사한다. 웨어러블 전자 장치는 제2 제스쳐가 인식된 경우, 관심 영역을 확대하고, 확대한 관심 영역을 가상 디스플레이에 투사할 수 있다. 이때, 초점 거리는 사용자에 의해 지정된 (가상 디스플레이의) 위치에 기초하여 결정될 수 있다. 웨어러블 전자 장치는 제2 제스쳐가 인식된 경우, 관심 영역 내 중심부를 고정 배율로 확대하고, 확대된 중심부를 가상 디스플레이에 투사할 수 있다.
실시예에 따라서, 웨어러블 전자 장치는 관심 영역의 크기를 가변 비율에 의해 조절(예를 들어, 확대)하여 가상 디스플레이에 투사할 수도 있다. 웨어러블 전자 장치가 관심 영역의 크기를 가변 비율에 의해 조절하는 방법은 아래의 도 11을 참조하여 보다 구체적으로 설명한다.
도 5는 실시예들에 따른 제1 제스쳐 및 제2 제스쳐의 예시들을 도시한 도면이다. 도 5를 참조하면, 일 실시예에 따른 제1 제스쳐의 예시들을 나타낸 도면들(510,530,550) 및 제2 제스쳐의 예시들을 나타낸 도면들(520,540,560)이 도시된다.
도 5에 도시된 제스쳐들 중 제1 유형의 제스쳐는 예를 들어, 도면들(510,520)에 도시된 것과 같이 양 손의 엄지 손가락들을 서로 마주치고, 검지 손가락들을 세워 사각형의 형태를 표현하는 제스쳐일 수 있다. 제2 유형의 제스쳐는 예를 들어, 도면들(530,540)에 도시된 것과 같이 왼손의 엄지 손가락과 오른손의 검지 손가락이 마주치고, 왼손의 검지 손가락과 오른손의 엄지 손가락을 마주치도록 하여 사각형의 형태를 표현하는 제스쳐일 수 있다. 또한, 제3 유형의 제스쳐는 예를 들어, 도면들(550,560)에 도시된 것과 같이 왼손 또는 오른손과 같이 어느 한쪽 손의 엄지 손가락과 검지 손가락을 일정 거리만큼 벌려 사각형의 형태를 표현하는 제스쳐일 수 있다. 각 유형들에서 제2 제스쳐는 제1 제스쳐에 의해 그 동작의 크기가 클 수 있다.
실시예에 따라서, 웨어러블 전자 장치는 제2 제스쳐에 의해 관심 영역의 크기를 축소시킬 수도 있다. 이 경우, 제2 제스쳐에 의해 표현되는 사각형 형태의 크기는 제1 제스쳐에 의해 표현되는 사각형 형태의 크기보다 작을 수 있다.
도 6은 일 실시예에 따른 관심 영역을 추출하는 방법을 설명하기 위한 도면이다. 도 6을 참조하면, 일 실시예에 따른 웨어러블 전자 장치의 전면부 카메라로 촬영된 영상 프레임(605)에서 제1 유형의 제1 제스쳐를 취한 왼손(L)(610)과 오른손(R)(620) 각각의 엄지 손가락의 3개의 관절들(
Figure pat00001
,
Figure pat00002
,
Figure pat00003
)과 검지 손가락의 4개의 관절들(
Figure pat00004
,
Figure pat00005
,
Figure pat00006
,
Figure pat00007
)의 위치 정보 및 관심 영역(630)의 위치 정보(w, h, c)가 도시된다.
웨어러블 전자 장치는 전면부 카메라에서 촬영된 영상 프레임(605)에서 왼손(L)(610)과 오른손(R)(620)에 의해 취해지는 제1 제스쳐에 의해 특정될 수 있는 관심 영역(630)을 추출할 수 있다. 관심 영역(630)은 예를 들어, 제1 제스쳐에 의해 직사각형 형태로 추출될 수 있다.
웨어러블 전자 장치는 양 손 관절들(
Figure pat00008
)의 위치들을 추정하고, 추정된 위치들 간의 가중합을 기초로, 관심 영역(630)의 중심점(c)의 위치(예: c(x), c(y)) 및 관심 영역(630)의 각 변(예: 폭(width; w) 및 높이(height; h))의 길이를 산출할 수 있다.
관심 영역(630)의 위치 및 각 변의 크기는 제1 제스쳐를 인식할 때 사용된 엄지 손가락의 관절들(
Figure pat00009
,
Figure pat00010
,
Figure pat00011
)의 위치 및 검지 손가락의 관절들(
Figure pat00012
,
Figure pat00013
,
Figure pat00014
,
Figure pat00015
)의 위치를 아래와 같이 가중합하여 구할 수 있다.
웨어러블 전자 장치는 관심 영역(630)의 중심점(c)의 위치
Figure pat00016
를 예를 들어, 아래의 수학식 1과 같이 계산할 수 있다.
Figure pat00017
여기서, 손의 관절들을 나타낸 집합 S는
Figure pat00018
일 수 있다.
Figure pat00019
는 관심 영역(630)의 중심점(c)에 해당하는 정점
Figure pat00020
의 x축의 위치 좌표를 나타내고,
Figure pat00021
는 정점
Figure pat00022
의 y 축의 위치 좌표를 나타낼 수 있다.
x 축에 대한 가중치(
Figure pat00023
)는
Figure pat00024
이고, y 축에 대한 가중치(
Figure pat00025
)는
Figure pat00026
일 수 있다.
웨어러블 전자 장치는 관심 영역(630)의 높이(
Figure pat00027
) 및 폭(
Figure pat00028
)을 아래의 수학식 2와 같이 연산할 수 있다.
Figure pat00029
여기서, 폭(
Figure pat00030
)을 연산하기 위한 가중치(
Figure pat00031
) 및 높이(
Figure pat00032
)을 연산하기 위한 가중치(
Figure pat00033
)는 예를 들어, 아래의 수학식 3와 같이 설정될 수 있다.
Figure pat00034
예를 들어, 웨어러블 전자 장치가 현재의 영상 프레임(605)에서 제1제스쳐를 인식할 수 없는 경우, 엄지 손가락의 관절들(
Figure pat00035
,
Figure pat00036
,
Figure pat00037
)의 위치 및 검지 손가락의 관절들(
Figure pat00038
,
Figure pat00039
,
Figure pat00040
,
Figure pat00041
)의 위치들을 알 수가 없다. 이 경우, 웨어러블 전자 장치는 버퍼에 저장된 이전 영상 프레임에서 관심 영역에 해당하는 직사각형의 위치 및 크기 정보를 활용하여 엄지 손가락 및 검지 손가락의 관절들의 위치를 산출할 수 있다. 현재의 영상 프레임(605)이 t 시점에 촬영된 영상이라면, 이전 영상 프레임은 t 시점보다 앞선 t-1 시점 또는 t-2 시점에 촬영된 영상일 수 있다.
영상 프레임(605) 내에서 관심 영역(630)의 네 변의 위치가 정해지면, 웨어러블 전자 장치는 관심 영역(630)의 중심점 및 관심 영역(630)의 각 변의 길이를 기초로, 관심 영역을 추출할 수 있다. 웨어러블 전자 장치는 관심 영역에 대한 정보를 버퍼에 저장할 수 있다.
한편, 현재의 영상 프레임(605)에서 제2 제스쳐를 수행하고 있다고 판단되면, 웨어러블 전자 장치는 관심 영역(630)을 보간(interpolation) 등의 방법을 통해 확대한 후 중앙 부분을 잘라내어(crop) 버퍼에 저장할 수 있다.
예를 들어, 사용자가 도 5에 도시된 도면(510,530)과 같은 제1 제스쳐를 취한 상황에서 양 손을 화살표 방향으로 벌려 양 손 간의 공간을 넓히는 동작, 다시 말해 제2 제스쳐를 수행할 수 있다.
제2 제스쳐가 수행되었다고 판단한 경우, 웨어러블 전자 장치는 관심 영역(630)을 고정 배율(예를 들어, 1.5배 또는 2배)로 확대하여 버퍼에 저장할 수 있다. 웨어러블 전자 장치는 제2 제스쳐가 수행되었다고 판단한 이후에 입력되는 영상 프레임(들)의 관심 영역을, 이전 영상 프레임에서 적용된 고정 배율만큼 자동적으로 확대 처리할 수 있다. 예를 들어, 사용자가 제2 제스쳐를 여러 번 수행할 경우, 웨어러블 전자 장치는 해당 영상 프레임을 추가적으로 더 확대한 후, 확대한 영상의 중앙 부분을 잘라내어 버퍼에 저장할 수 있다.
웨어러블 전자 장치는 버퍼에 저장된 관심 영역의 영상들을 가상 디스플레이에 투사하여 사용자가 디스플레이를 통해 관심 영역의 영상들을 볼 수 있게 할 수 있다. 전술한 과정이 모두 완료되는 경우, 웨어러블 전자 장치는 현재 영상 프레임(605)에서의 제스쳐 인식 여부, 관심 영역(630)의 위치 및 크기, 및 현재 배율 등의 정보를 저장할 수 있다. 웨어러블 전자 장치는 전면부 카메라로부터 획득한 새로운 영상 프레임의 영상을 버퍼에 저장하고, 전술한 과정을 반복 수행할 수 있다.
도 7은 일 실시예에 따라 손의 회전 각도를 추정하는 방법을 설명하기 위한 도면이다. 일 실시예에 따른 웨어러블 전자 장치는 영상 프레임이 기울어진 상태로 촬영됨에 따라 사용자의 제스쳐 또한 기울어진 형태로 취해진 경우에도 제스쳐를 취하는 손이 기울어진 각도를 추정하여 관심 영역의 중심점 및 각 변의 길이를 연산함으로써 관심 영역을 추출할 수 있다.
도 7a를 참조하면, 객체들이 일정 각도로 기울어진 상태로 촬영된 영상 프레임(705)에 대하여 사용자가 양 손(710,720)의 각도를 기울여 제스쳐(예를 들어, 제1 제스쳐)를 취한 상황이 도시된다.
일 실시예에 따른 웨어러블 전자 장치는 손 관절들의 위치들 간 회귀 분석(regression)을 기초로, 예를 들어, 아래의 수학식 4와 같이 수직한 중심축(730)을 기준으로 손이 회전한 각도(
Figure pat00042
)를 추정할 수 있다.
Figure pat00043
여기서,
Figure pat00044
는 영상 프레임(705)에 표시된 각 관절들의 평균 정점
Figure pat00045
의 x축의 위치 좌표를 나타내고,
Figure pat00046
는 평균 정점
Figure pat00047
의 y 축의 위치 좌표를 나타낼 수 있다.
Figure pat00048
에서 가운데 찍힌 점(ㆍ)은 x또는 y를 의미할 수 있다. 다시 말해
Figure pat00049
는
Figure pat00050
또는
Figure pat00051
를 나타낼 수 있다. 이에 따라,
Figure pat00052
는 평균 정점
Figure pat00053
의 x, y 성분을 나타내며, 왼손의 정점의 x, y 성분
Figure pat00054
과 오른손의 정점의 x, y 성분
Figure pat00055
의 평균에 의해 구할 수 있다.
Figure pat00056
이고,
Figure pat00057
일 수 있다.
도 7b를 참조하면, 도 7a에 도시된 영상 프레임(705)에서 추정된 각도(
Figure pat00058
)만큼 영상 프레임(705)을 보정(예를 들어, 역회전)한 영상(740)이 도시된다.
웨어러블 전자 장치는 도 7a를 통해 추정한 각도(
Figure pat00059
)만큼 영상 프레임(705)을 회전시킨 영상(740)으로부터 예를 들어, 아래의 수학식 5에 의해 새로운(역회전된) 손 관절들의 위치 좌표(
Figure pat00060
및
Figure pat00061
)를 획득할 수 있다.
Figure pat00062
여기서,
Figure pat00063
이고,
Figure pat00064
일 수 있다.
웨어러블 전자 장치는 예를 들어, 아래의 수학식 6과 같이 역회전된 손 관절들의 위치 좌표들(
Figure pat00065
)의 가중합을 통해 관심 영역(750)의 중심점(c')의 위치 및 각 변(
Figure pat00066
및
Figure pat00067
)의 길이를 연산할 수 있다.
Figure pat00068
여기서,
Figure pat00069
이고, 계수
Figure pat00070
일 수 있다. x 축에 대한 가중치(
Figure pat00071
)는
Figure pat00072
이고, y 축에 대한 가중치(
Figure pat00073
)는
Figure pat00074
일 수 있다.
또한, 관심 영역(750)의 폭(
Figure pat00075
)을 연산하기 위한 가중치(
Figure pat00076
) 및 높이(
Figure pat00077
)을 연산하기 위한 가중치(
Figure pat00078
)는 예를 들어, 아래의 수학식 7과 같이 설정될 수 있다.
Figure pat00079
도 7c를 참조하면, 도 7b에 도시된 역회전한 영상(740)을 각도(
Figure pat00080
)만큼 재회전시킨 영상(760)이 도시된다.
일 실시예에 따른 웨어러블 전자 장치는 영상(740)의 중심점(c')의 위치를 기준으로 영상(740)을 각도(
Figure pat00081
)만큼 재회전시켜 영상(760)을 획득할 수 있다. 영상(760)에서의 관심 영역(770)의 높이(h), 및 너비(w)는 불변, 다시 말해 영상(740)에서의 관심 영역(750)의 높이(h), 및 너비(w)와 동일하게 유지될 수 있다.
이를 기초로, 웨어러블 전자 장치는 예를 들어, 아래의 수학식 8과 같이 영상(760)에서의 관심 영역(770)의 중심점(c)의 위치
Figure pat00082
를 산출할 수 있다.
Figure pat00083
여기서, c'는 도 7b의 영상 프레임(740)와 같이 역회전된 영상에서 관심 영역(750)의 중심점(c')의 위치에 해당할 수 있다.
도 8은 일 실시예에 따라 손의 회전 각도를 산출하는 방법을 설명하기 위한 도면이다. 도 8을 참조하면, 일 실시예에 따른 웨어러블 전자 장치의 전면부 카메라에 의해 촬영된 영상 프레임(805)에 대하여 사용자가 왼손(810) 및 오른손(820)에 의해 제2 유형의 제스쳐(예를 들어, 제1 제스쳐)가 취해진 상황이 도시된다.
사용자가 도 7에 도시된 것과 다른 형태의 손 모양으로 관심 영역(830)을 지정하는 제스쳐를 취한 경우, 웨어러블 전자 장치는 도 7에서와 다른 가중치를 사용하여 관심 영역(830)의 중심점(c)의 위치와 관심 영역(830)의 높이(
Figure pat00084
) 및 폭(
Figure pat00085
)의 길이를 구할 수 있다.
웨어러블 전자 장치는 도 7을 통해 전술한 것과 같은 영상의 역회전 및 재회전 과정이 없이, 예를 들어, 아래의 수학식 9를 통해 직접적으로 관심 영역(830)의 중심점(c)의 위치 좌표를 산출할 수 있다.
Figure pat00086
이때, S는
Figure pat00087
일 수 있다.
웨어러블 전자 장치는 양 손(810,820)의 손가락 관절들의 x축 및 y 축 좌표의 평균값을 관심 영역(830)의 중심점(c)의 위치 좌표로 산출할 수 있다.
웨어러블 전자 장치는 예를 들어, 아래의 수학식 10을 통해 관심 영역(830)의 높이(
Figure pat00088
) 및 너비(
Figure pat00089
)를 산출할 수 있다.
Figure pat00090
여기서, 계수
Figure pat00091
일 수 있다.
또한, 웨어러블 전자 장치는 예를 들어, 아래의 수학식 11을 통해 수직한 중심축을 기준으로 손이 회전한 각도(
Figure pat00092
)를 산출할 수 있다.
Figure pat00093
여기서,
Figure pat00094
이고,
Figure pat00095
일 수 있다.
도 9는 다른 실시예에 따라 손의 회전 각도를 산출하는 방법을 설명하기 위한 도면이다. 도 9를 참조하면, 일 실시예에 따른 웨어러블 전자 장치의 전면부 카메라에 의해 촬영된 영상 프레임(905)에 대하여 사용자가 왼손(910)에 의해 제3 유형의 제스쳐(예를 들어, 제1 제스쳐)를 취한 상황이 도시된다.
사용자가 도 8에 도시된 것과 다른 손 모양으로 관심 영역(930)을 지정하는 제스쳐를 취한 경우, 웨어러블 전자 장치는 도 8에서와 다른 가중치를 사용하여 관심 영역(930)의 중심점(c)의 위치와 관심 영역(930)의 높이(
Figure pat00096
) 및 폭(
Figure pat00097
)의 길이를 구할 수 있다.
웨어러블 전자 장치는 예를 들어, 아래의 수학식 12를 통해 직접적으로 관심 영역(930)의 중심점(c)의 위치 좌표를 산출할 수 있다.
Figure pat00098
여기서,
Figure pat00099
는 검지 손가락의 끝 관절을 나타내고,
Figure pat00100
는 엄지 손가락의 끝 관절을 나타낼 수 있다.
Figure pat00101
일 수 있다.
웨어러블 전자 장치는 양 손 또는 어느 한 손의 엄지 손가락의 끝 관절(
Figure pat00102
)의 x축 좌표(
Figure pat00103
)와 검지 손가락의 끝 관절(
Figure pat00104
)의 x 축 좌표(
Figure pat00105
)를 평균하여 관심 영역(930)의 중심점(c)의 x좌표를 산출할 수 있다. 웨어러블 전자 장치는 양 손 또는 어느 한 손의 엄지 손가락의 끝 관절(
Figure pat00106
)의 y축 좌표(
Figure pat00107
)와 검지 손가락의 끝 관절(
Figure pat00108
)의 y축 좌표(
Figure pat00109
)를 평균하여 관심 영역(930)의 중심점(c)의 y좌표를 산출할 수 있다.
웨어러블 전자 장치는 예를 들어, 아래의 수학식 13을 통해 관심 영역(930)의 높이(
Figure pat00110
) 및 너비(
Figure pat00111
)를 산출할 수 있다.
Figure pat00112
여기서, 계수
Figure pat00113
일 수 있다.
웨어러블 전자 장치는 양 손 또는 어느 한 손(예: 왼손(L))의 검지 손가락의 끝 관절(
Figure pat00114
)의 위치와 엄지 손가락의 끝 관절(
Figure pat00115
)의 위치 간의 차이에 의해 관심 영역(930)의 높이(
Figure pat00116
)를 산출할 수 있다. 또한, 웨어러블 전자 장치는 양 손 또는 어느 한 손의 검지 손가락의 첫번째 마디 관절(
Figure pat00117
)과 엄지 손가락의 첫번째 마디 관절(
Figure pat00118
) 간의 평균 위치와 검지 손가락의 끝 관절(
Figure pat00119
)과 엄지 손가락의 끝 관절(
Figure pat00120
) 간의 평균 위치 간의 차이에 의해 관심 영역(930)의 너비(
Figure pat00121
)를 산출할 수 있다.
또한, 웨어러블 전자 장치는 예를 들어, 아래의 수학식 14를 통해 수직한 중심축을 기준으로 손이 회전한 각도(
Figure pat00122
)를 산출할 수 있다.
Figure pat00123
여기서,
Figure pat00124
이고,
Figure pat00125
일 수 있다.
도 10은 다른 실시예에 따라 관심 영역을 추정하는 방법을 설명하기 위한 도면이다. 도 10을 참조하면, 일 실시예에 따라 웨어러블 전자 장치의 전면부 카메라에 의해 촬영된 영상(1005)에 대하여 사용자가 왼손(1010) 및 오른손(1020)에 의해 제1 유형의 제스쳐(예를 들어, 제1 제스쳐)를 취한 상황이 도시된다.
웨어러블 전자 장치는 미리 학습된 신경망(예: 심층 신경망(Deep Neural Network; DNN))(1030)을 이용하여 영상(1005)으로부터 양 손(1010,1020)의 포즈를 추정함으로써 관심 영역(1040)을 추정할 수 있다.
웨어러블 전자 장치는 신경망(1030)에 의해 영상(1005)으로부터 양 손(1010,1020)의 포즈를 추정하고, 추정된 양 손의 포즈로부터 사용자의 손 관절들의 위치를 추정할 수 있다. 웨어러블 전자 장치는 추정된 손 관절들의 위치로부터 관심 영역의 중심 위치, 및 관심 영역의 각 변의 길이를 산출할 수 있다.
신경망(1030)이 영상(1005)으로부터 양 손(1010,1020)의 포즈를 추정하는 데에는 예를 들어, 확률 그래프 모델에 기반한 신뢰 전파(Belief Propagation) 알고리즘 또는 은닉 마르코프 모델(Hidden Markov Model)과 같은 알려진 다양한 포즈 추정 알고리즘들이 사용될 수 있으며, 반드시 이에 한정되지는 않는다.
도 11은 일 실시예에 따른 가변 비율에 의해 관심 영역의 크기를 조절하는 방법을 설명하기 위한 도면이다. 도 11을 참조하면, 일 실시예에 따라 제1 유형의 제1 제스쳐를 취한 양 손(1110)의 위치 및 제1 제스쳐를 확장한 제2 제스쳐를 취한 양 손(1120)의 위치가 도시된다. 웨어러블 전자 장치는 확대하려는 대상(예: 관심 영역)을 점으로 선택하는 것이 아니라, 넓이를 가진 면적으로 선택할 수 있다.
양 손(1110)에 의해 취해진 제1 제스쳐에서 양 검지 손가락 간의 거리를 제1 거리(
Figure pat00126
)라 하고, 양 손(1120)에 의해 취해진 제2 제스쳐에서 벌려진 양 검지 간 거리를 제2 거리(
Figure pat00127
)라고 할 수 있다.
웨어러블 전자 장치는 제1 제스쳐에서 양 손의 검지 손가락들 간의 제1 거리와 제2 제스쳐에서 양 손의 검지 손가락들 간의 제2 거리에 기초한 가변 비율에 의해 관심 영역의 크기를 조절할 수 있다. 보다 구체적으로, 웨어러블 전자 장치는 제1 제스쳐를 취한 양 손(1110)의 검지 손가락들의 양 끝(1113,1115) 간의 제1 거리(
Figure pat00128
)와 제2 제스쳐를 취한 양 손(1120)의 검지 손가락들의 양 끝(1123,1125) 간의 제2 거리(
Figure pat00129
)에 기초한 가변 비율에 의해 관심 영역의 크기를 조절할 수 있다. 가변 비율을 예를 들어,
Figure pat00130
/
Figure pat00131
배일 수 있으며, 반드시 이에 한정되지는 않는다.
웨어러블 전자 장치는 조절된 크기의 관심 영역을 가상 디스플레이에 투사할 수 있다.
도 12는 다른 실시예에 따른 웨어러블 전자 장치의 동작 방법을 나타낸 흐름도이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 12를 참조하면, 일 실시예에 따른 웨어러블 전자 장치는 단계(1210) 내지 단계(1280)을 통해 가상 디스플레이에 관심 영역을 투사할 수 있다.
단계(1210)에서, 웨어러블 전자 장치는 버퍼에 전면부 카메라에서 획득한 영상 및 이전 프레임에서의 제스쳐 판단 정보 및 관심 영역 정보 등의 데이터를 추가할 수 있다.
단계(1220)에서, 웨어러블 전자 장치는 단계(1210)에서 버퍼에 추가한 데이터를 바탕으로 제1 제스쳐 수행 여부를 판단할 수 있다. 이때, 제1 제스쳐에 대한 수행 여부를 판단하기 위해, 웨어러블 전자 장치는 현재 프레임에서 전면부 카메라에 촬영된 사용자의 손이 제1 제스쳐를 수행했는지 여부를 판단할 수 있다. 웨어러블 전자 장치가 제1 제스쳐의 수행 여부를 판단하는 방법은 아래의 도 13을 참조하여 보다 구체적으로 설명한다.
단계(1220)에서 현재 프레임으로부터 지정된 시간(예를 들어, 2초) 동안 연속해서 제1 제스쳐를 인식하지 못했다면, 웨어러블 전자 장치는 제1 제스쳐를 수행하지 않았다고 판단할 수 있다. 단계(1220)에서 제1 제스쳐를 수행하지 않았다고 판단된 경우, 단계(1230)에서 웨어러블 전자 장치는 가상 디스플레이가 존재하는지를 판단하여 가상 디스플레이가 존재하는 경우 동작을 종료할 수 있다. 이후, 웨어러블 전자 장치는 단계(1210)에서 다음 프레임의 데이터를 버퍼에 저장할 수 있다.
이와 달리, 단계(1220)에서 제1 제스쳐를 수행했다고 판단되는 경우, 단계(1240)에서 웨어러블 전자 장치는 가상 디스플레이를 생성 또는 유지할 수 있다. 웨어러블 전자 장치는 예를 들어, 사용자의 시선 앞 1m에 가상 디스플레이를 생성할 수 있다. 웨어러블 전자 장치가 가상 디스플레이를 생성하는 위치는 사용자 설정에 따라 가변적일 수 있다. 이전 단계에서 가상 디스플레이가 이미 생성된 경우, 단계(1240)에서 웨어러블 전자 장치는 가상 디스플레이를 그대로 유지할 수 있다.
단계(1250)에서, 웨어러블 전자 장치는 카메라에 의해 촬영된 영상 프레임에서 관심 영역을 추출할 수 있다.
단계(1260)에서, 웨어러블 전자 장치는 제2 제스쳐의 수행 여부를 판단할 수 있다. 단계(1260)에서 제2 제스쳐가 수행되었다고 판단되면, 단계(1270)에서 웨어러블 전자 장치는 관심 영역 내 중앙부를 고정 배율로 확대할 수 있다.
이와 달리, 단계(1260)에서 제2 제스쳐가 수행되지 않았다고 판단되면, 단계(1280)에서 웨어러블 전자 장치는 가상 디스플레이에 단계(1250)에서 추출한 관심 영역을 투사할 수 있다.
도 13은 일 실시예에 따라 제1 제스쳐의 인식 여부를 판단하는 방법을 나타낸 흐름도이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 13을 참조하면, 일 실시예에 따른 웨어러블 전자 장치는 단계(1310) 내지 단계(1360)을 통해 제1 제스쳐의 인식 여부를 판단할 수 있다.
단계(1310)에서, 웨어러블 전자 장치는 현재 프레임에서 제1 제스쳐의 인식 여부, 다시 말해 현재 프레임에서 제1 제스쳐가 인식되는지 여부를 판단할 수 있다. 단계(1310)에서 제1 제스쳐를 인식하지 못했더라도 이전 프레임들 중 제1 제스쳐를 인식했다는 판단 정보가 있다면 제1 제스쳐를 유지하고 있다고 판단하고 다음 단계를 수행할 수 있다.
단계(1310)에서 제1 제스쳐가 인식되지 않는다고 판단된 경우, 단계(1320)에서 웨어러블 전자 장치는 현재 프레임의 이전 시간 구간에 해당하는 이전 프레임에서 제1 제스쳐의 인식 여부를 검색할 수 있다.
단계(1320)에서 제1 제스쳐가 인식되지 않는 경우, 단계(1330)에서 웨어러블 전자 장치는 이미 생성된 가상 디스플레이가 존재하는지를 판단하여 가상 디스플레이의 존재 시에 동작을 종료할 수 있다.
단계(1320)에서 제1 제스쳐가 인식된 경우, 단계(1340)에서 웨어러블 전자 장치는 가상 디스플레이를 생성하고, 단계(1350)에서 제1 제스쳐 또는 제2 제스쳐가 유지되는지 여부를 판단할 수 있다.
단계(1350)에서 제1 제스쳐 또는 제2 제스쳐가 유지된다고 판단된 경우, 단계(1340)에서 웨어러블 전자 장치는 가상 디스플레이를 유지할 수 있다. 단계(1350)에서 제1 제스쳐 또는 제2 제스쳐가 유지되지 않는다고 판단된 경우, 단계(1360)에서 웨어러블 전자 장치는 가상 디스플레이를 종료할 수 있다.
단계(1310)에서 제1 제스쳐가 인식되다고 판단된 경우, 단계(1340)에서, 웨어러블 전자 장치는 가상 디스플레이를 생성한 후, 단계(1350)에서 제1 제스쳐 또는 제2 제스쳐가 유지되는지 여부를 판단할 수 있다. 단계(1350)에서 제1 제스쳐 또는 제2 제스쳐가 유지되지 않는다고 판단된 경우, 단계(1360)에서 웨어러블 전자 장치는 가상 디스플레이를 종료할 수 있다.
도 14는 일 실시예에 따른 웨어러블 전자 장치의 블록도이다. 도 14을 참조하면, 일 실시예에 따른 웨어러블 전자 장치(1400)는 데이터 수신부(1410), 제1 제스쳐 인식부(1420), 가상 디스플레이 생성부(1430), 관심 영역 추출부(1440), 투사부(1450), 제2 제스쳐 인식부(1460), 및 영상 조정부(1470)를 포함할 수 있다.
데이터 수신부(1410)는 관심 영역의 추출에 필요한 센서 데이터를 실시간으로 수신할 수 있다. 데이터 수신부(1410)는 예를 들어, 웨어러블 전자 장치의 전면 카메라(미도시)에서 실시간으로 출력되는 비디오 프레임 및/또는 사용자의 손의 제스쳐를 인식하기 위한 추가적인 센서 출력을 수신할 수 있다.
제1 제스쳐 인식부(1420)는 사용자가 관심 영역의 추출을 시작하기 위한 손의 제1 제스쳐를 수행하였는지 여부를 판단할 수 있다. 사용자가 제1 제스쳐를 수행했다고 판단되면, 가상 디스플레이 생성부(1430)는 관심 영역을 투사하기 위한 가상 디스플레이를 생성할 수 있다. 이때, 생성되는 가상 디스플레이의 위치는 예를 들어, 사용자가 설정한 위치일 수도 있고, 제1 제스쳐를 수행하고 있는 손에 인접한 위치, 또는 웨어러블 전자 장치에 인접한 위치일 수 있으며, 반드시 이에 한정되지는 않는다.
가상 디스플레이 생성부(1430)에 의해 가상 디스플레이가 생성되면, 관심 영역 추출부(1440)는 전면부 카메라에 촬영된 영상 프레임 내에 손의 제1 제스쳐에 의해 지정된 직사각형 영역(관심 영역)의 영상 정보를 복사 또는 추출할 수 있다.
투사부(1450)는 관심 영역 추출부(1440)에 의해 복사 또는 추출된 관심 영역의 영상 정보를 가상 디스플레이에 투사할 수 있다. 이때, 관심 영역 추출부(1440)는 3차원 혹은 2차원의 손 관절들의 위치를 추정한 정보를 활용하여 관심 영역을 추출할 수 있다. 관심 영역 추출부(1440)는 예를 들어, 추정된 손 관절들 중 엄지 손가락과 검지 손가락의 관절들의 위치 좌표의 가중합을 통해 관심 영역에 해당하는 직사각형의 크기 및 위치 등을 결정할 수 있다.
사용자가 관심 영역을 좀더 확대하여 시력 보조를 하기 위해서 예를 들어, 도 5에 도시된 제2 제스쳐들(520,540,560)과 같이 제1 제스쳐를 확장시키는 액션, 다시 말해 제2 제스쳐를 취할 수 있다. 이 경우, 제2 제스쳐 인식부(1460)는 사용자의 제2 제스쳐의 수행 여부를 판단할 수 있다. 제2 제스쳐 인식부(1460)에 의해 제2 제스쳐가 수행하였다고 판단된 경우, 영상 조정부(1470)는 관심 영역 추출부(1440)에 의해 추출된 관심 영역의 크기를 조정(예: 확대)하여 가상 디스플레이에 투사할 수 있다. 영상 조정부(1470)는 예를 들어, 보간(interpolation) 방법 또는 업스케일링(upscaling) 방법에 의해 관심 영역의 크기를 조정할 수 있다.
예를 들어, 사용자가 객체를 육안으로 확인하기 어렵거나, 더 자세히 살펴보고 싶거나, 혹은 선천척/후천적 이유로 시력이 감퇴되어 망막에 상이 정확히 맺히지 않는 경우가 발생할 수 있다. 이러한 경우, 사용자는 웨어러블 전자 장치(1400)를 착용하고, 웨어러블 전자 장치(1400)의 전면부 카메라에서 획득한 영상 정보를 가상 디스플레이에 투사하여 봄으로써 시력을 보완할 수 있다.
도 15는 다른 실시예에 따른 웨어러블 전자 장치의 블록도이다. 도 15를 참조하면, 일 실시예에 따른 웨어러블 전자 장치(1500)는 적어도 하나의 센서(1510), 프로세서(1530), 디스플레이(1550), 메모리(1570) 및 통신 인터페이스(1590)를 포함할 수 있다. 또한, 도면에 도시되지 않았으나 웨어러블 전자 장치(1500)는 통신 인터페이스를 더 포함할 수 있다.
적어도 하나의 센서(1510), 프로세서(1530), 디스플레이(1550) 및 메모리(1570)는 통신 버스(1505) 또는 적어도 하나의 센서(1510), 프로세서(1530), 디스플레이(1550) 및 메모리(1570) 각각에게 할당된 IP(Internet Protocol)를 통해 서로 통신할 수 있다.
적어도 하나의 센서(1510)는 예를 들어, 카메라 혹은 이미지 센서와 사용자의 손의 포즈를 추정하기 위한 모션 센서를 포함할 수 있으며, 반드시 이에 한정되지는 않는다. 카메라는 웨어러블 전자 장치(1500)의 전면부에 배치되어 카메라의뷰에 대응하는 영상 프레임을 획득한다.
프로세서(1530)는 카메라의 뷰에 대응하는 영상 프레임 내에서 사용자의 뷰에 대응하는 관심 영역을 설정하기 위한 사용자의 손의 제1 제스쳐를 인식한다. 프로세서(1530)는 제1 제스쳐의 인식 여부를 기초로, 관심 영역을 투사하기 위한 가상 디스플레이를 생성한다. 프로세서(1530)는 영상 프레임으로부터 관심 영역을 추출한다. 프로세서(1530)는 관심 영역의 크기 조절을 위한 손의 제2 제스쳐를 인식한다. 프로세서(1530)는 제2 제스쳐의 인식 여부를 기초로, 관심 영역의 크기를 조절하여 가상 디스플레이에 투사한다.
디스플레이(1550)는 프로세서(1530)에 의해 가상 디스플레이에 관심 영역이 투사된 영상을 영상 컨텐츠를 표시할 수 있다.
메모리(1570)는 프로세서(1530)의 처리 과정에서 생성되는 다양한 정보를 저장할 수 있다. 이 밖에도, 메모리(1570)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(1570)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(1570)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.
통신 인터페이스(1590)는 관심 영역의 추출에 필요한 센서 데이터를 실시간으로 수신할 수 있다. 통신 인터페이스(1590)는 예를 들어, 웨어러블 전자 장치의 전면 카메라(미도시)에서 실시간으로 출력되는 비디오 프레임 및/또는 사용자의 손의 제스쳐를 인식하기 위한 추가적인 센서 출력을 수신할 수 있다.
또한, 프로세서(1530)는 메모리(1570)에 포함된 실행가능한 명령어들을 실행할 수 있다. 프로세서(1530)는 프로그램을 실행하고, 웨어러블 전자 장치(1000)를 제어할 수 있다. 프로세서(1530)에 의하여 실행되는 프로그램 코드는 메모리(1570)에 저장될 수 있다. 또한, 프로세서(1530)는 도 1 내지 도 14를 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 기법을 수행할 수 있다. 프로세서(1530)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 웨어러블 전자 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 웨어러블 전자 장치(1000)는 마이크로프로세서(microprocessor), 중앙 처리 장치(Central Processing Unit; CPU), 그래픽 처리 장치(Graphic Processing Unit; GPU), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array), NPU(Neural Processing Unit) 등을 포함할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 카메라를 포함하는 웨어러블 전자 장치의 동작 방법에 있어서,
    상기 카메라의 뷰에 대응하는 영상 프레임 내에서 사용자의 뷰에 대응하는 관심 영역을 설정하기 위한 상기 사용자의 손의 제1 제스쳐를 인식하는 단계;
    상기 제1 제스쳐의 인식 여부를 기초로, 상기 관심 영역을 투사하기 위한 가상 디스플레이를 생성하는 단계;
    상기 영상 프레임으로부터 상기 관심 영역을 추출하는 단계;
    상기 관심 영역의 크기 조절을 위한 상기 손의 제2 제스쳐를 인식하는 단계; 및
    상기 제2 제스쳐의 인식 여부를 기초로, 상기 관심 영역의 크기를 조절하여 상기 가상 디스플레이에 투사하는 단계
    를 포함하는, 웨어러블 전자 장치의 동작 방법.
  2. 제1항에 있어서,
    상기 관심 영역을 추출하는 단계는
    상기 영상 프레임에서 상기 사용자의 손 관절들의 위치들을 추정하는 단계; 및
    상기 추정된 손 관절들의 위치들을 기초로, 상기 관심 영역을 추출하는 단계
    를 포함하는, 웨어러블 전자 장치의 동작 방법.
  3. 제2항에 있어서,
    상기 사용자의 손 관절들의 위치들을 추정하는 단계는
    상기 제1 제스쳐의 유형 별로, 상기 영상 프레임으로부터 상기 사용자의 손 관절들의 위치를 추정하는 단계
    를 포함하는, 웨어러블 전자 장치의 동작 방법.
  4. 제3항에 있어서,
    상기 관심 영역을 추정하는 단계는
    상기 제1 제스쳐의 유형 별로 추정된 손 관절들의 위치를 이용하여 상기 관심 영역을 설정하는 단계
    를 포함하는, 웨어러블 전자 장치의 동작 방법.
  5. 제2항에 있어서,
    상기 손 관절들의 위치들을 추정하는 단계는
    상기 손 관절들의 위치들 간의 회귀 분석(regression)을 기초로, 상기 손의 회전 각도를 추정하는 단계; 및
    상기 추정한 손의 회전 각도를 보정하여 새로운 손 관절들의 위치를 산출하는 단계
    를 포함하고,
    상기 관심 영역을 추출하는 단계는
    상기 새로운 손 관절들의 위치들을 기초로, 상기 관심 영역을 추출하는 단계
    를 포함하는, 웨어러블 전자 장치의 동작 방법.
  6. 제2항에 있어서,
    상기 관심 영역을 추출하는 단계는
    상기 추정된 손 관절들의 위치들 간의 가중합을 기초로, 상기 관심 영역의 중심점 및 상기 관심 영역의 각 변의 길이를 산출하는 단계; 및
    상기 관심 영역의 중심점 및 상기 관심 영역의 각 변의 길이를 기초로, 상기 관심 영역을 추출하는 단계
    를 포함하는, 웨어러블 전자 장치의 동작 방법.
  7. 제1항에 있어서,
    상기 관심 영역을 추출하는 단계는
    미리 학습된 신경망을 이용하여 상기 사용자의 손의 포즈를 추정하는 단계;
    상기 추정된 손의 포즈로부터 상기 사용자의 손 관절들의 위치를 추정하는 단계; 및
    상기 추정된 손 관절들의 위치로부터 상기 관심 영역의 중심 위치, 및 상기 관심 영역의 각 변의 길이를 산출하는 단계
    를 포함하는, 웨어러블 전자 장치의 동작 방법.
  8. 제1항에 있어서,
    상기 가상 디스플레이는
    상기 제1 제스쳐 및 상기 제2 제스쳐 중 어느 하나의 제스쳐가 유지되는지 여부에 따라 표시되는, 웨어러블 전자 장치의 동작 방법.
  9. 제1항에 있어서,
    상기 가상 디스플레이를 생성하는 단계는
    상기 카메라의 뷰 위치와 무관하게 상기 가상 디스플레이를 생성하는 단계
    를 포함하는, 웨어러블 전자 장치의 동작 방법.
  10. 제1항에 있어서,
    상기 제1 제스쳐를 인식하는 단계는
    상기 영상 프레임 내에서 상기 제1 제스쳐가 인식되지 않는 경우, 상기 영상 프레임의 이전 영상 프레임에서 상기 제1 제스쳐를 인식하는 단계
    을 포함하는, 웨어러블 전자 장치의 동작 방법.
  11. 제1항에 있어서,
    상기 가상 디스플레이에 투사하는 단계는
    상기 제2 제스쳐가 인식된 경우, 상기 관심 영역 내 중심부를 고정 배율로 확대하는 단계; 및
    상기 확대된 중심부를 상기 가상 디스플레이에 투사하는 단계
    를 포함하는, 웨어러블 전자 장치의 동작 방법.
  12. 제1항에 있어서,
    상기 가상 디스플레이에 투사하는 단계는
    상기 제1 제스쳐에서 양 손의 검지 손가락들 간의 제1 거리와 상기 제2 제스쳐에서 상기 양 손의 검지 손가락들 간의 제2 거리에 기초한 가변 비율에 의해 상기 관심 영역의 크기를 조절하는 단계; 및
    상기 조절된 크기의 관심 영역을 상기 가상 디스플레이에 투사하는 단계
    를 포함하는, 웨어러블 전자 장치의 동작 방법.
  13. 제1항에 있어서,
    상기 제2 제스쳐가 인식되지 않는 경우, 상기 관심 영역을 상기 가상 디스플레이에 투사하는 단계
    를 더 포함하는, 웨어러블 전자 장치의 동작 방법.
  14. 제1항에 있어서,
    상기 웨어러블 전자 장치는
    VR 글래스(virtual reality glass)를 포함하는 스마트 글래스(smart glass), AR(Augmented Reality) 기기, VR(Virtual Reality) 기기, 및 MR(Mixed Reality) 기기를 포함하는 헤드 마운티드 디스플레이(head mounted display; HMD), 및 아이 마운티드 디스플레이(eye mounted display) 중 적어도 하나를 포함하는, 웨어러블 전자 장치의 동작 방법.
  15. 하드웨어와 결합되어 제1항 내지 제14항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  16. 영상 프레임을 획득하는 카메라; 및
    상기 카메라의 뷰에 대응하는 영상 프레임 내에서 사용자의 뷰에 대응하는 관심 영역을 설정하기 위한 상기 사용자의 손의 제1 제스쳐를 인식하고, 상기 제1 제스쳐의 인식 여부를 기초로, 상기 관심 영역을 투사하기 위한 가상 디스플레이를 생성하고, 상기 영상 프레임으로부터 상기 관심 영역을 추출하고, 상기 관심 영역의 크기 조절을 위한 상기 손의 제2 제스쳐를 인식하며, 상기 제2 제스쳐의 인식 여부를 기초로, 상기 관심 영역의 크기를 조절하여 상기 가상 디스플레이에 투사하는 프로세서
    를 포함하는, 웨어러블 전자 장치.
  17. 제16항에 있어서,
    상기 프로세서는
    상기 영상 프레임에서 상기 사용자의 손 관절들의 위치들을 추정하고, 상기 추정된 손 관절들의 위치들을 기초로, 상기 관심 영역을 추출하는,
    웨어러블 전자 장치.
  18. 제17항에 있어서,
    상기 프로세서는
    상기 제1 제스쳐의 유형 별로, 상기 영상 프레임으로부터 상기 사용자의 손 관절들의 위치를 추정하고, 상기 제1 제스쳐의 유형 별로 추정된 손 관절들의 위치를 이용하여 상기 관심 영역을 설정하는,
    웨어러블 전자 장치.
  19. 제17항에 있어서,
    상기 프로세서는
    상기 손 관절들의 위치들 간의 회귀 분석을 기초로, 상기 손의 회전 각도를 추정하고, 상기 추정한 손의 회전 각도를 보정하여 새로운 손 관절의 위치를 산출하며, 상기 새로운 손 관절들의 위치들을 기초로, 상기 관심 영역을 추출하는, 웨어러블 전자 장치.
  20. 제17항에 있어서,
    상기 프로세서는
    상기 추정된 손 관절들의 위치들 간의 가중합을 기초로, 상기 관심 영역의 중심점 및 상기 관심 영역의 각 변의 길이를 산출하고, 상기 관심 영역의 중심점 및 상기 관심 영역의 각 변의 길이를 기초로, 상기 관심 영역을 추출하는, 웨어러블 전자 장치.
KR1020210159308A 2021-11-18 2021-11-18 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법 KR20230072757A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210159308A KR20230072757A (ko) 2021-11-18 2021-11-18 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법
US17/735,630 US20230154134A1 (en) 2021-11-18 2022-05-03 Method and apparatus with pose estimation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210159308A KR20230072757A (ko) 2021-11-18 2021-11-18 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법

Publications (1)

Publication Number Publication Date
KR20230072757A true KR20230072757A (ko) 2023-05-25

Family

ID=86323891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210159308A KR20230072757A (ko) 2021-11-18 2021-11-18 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법

Country Status (2)

Country Link
US (1) US20230154134A1 (ko)
KR (1) KR20230072757A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792506B2 (en) * 2022-02-09 2023-10-17 Motorola Mobility Llc Electronic devices and corresponding methods for defining an image orientation of captured images
US11995780B2 (en) 2022-09-09 2024-05-28 Snap Inc. Shooting interaction using augmented reality content in a messaging system
US11948266B1 (en) * 2022-09-09 2024-04-02 Snap Inc. Virtual object manipulation with gestures in a messaging system

Also Published As

Publication number Publication date
US20230154134A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
JP7283506B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US10082879B2 (en) Head mounted display device and control method
JP6356157B2 (ja) Ｈｍｄのための人体ジェスチャーベースの領域および体積の選択
KR20230072757A (ko) 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
WO2019142560A1 (ja) 視線を誘導する情報処理装置
US20230005101A1 (en) Information processing apparatus, information processing method, and recording medium
KR20220122287A (ko) 증강 현실 제공 장치의 포즈 결정 방법 및 장치
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
JP6446465B2 (ja) 入出力装置、入出力プログラム、および入出力方法
US20220300120A1 (en) Information processing apparatus, and control method
US11275434B2 (en) Information processing apparatus, information processing method, and storage medium
JP2018128739A (ja) 画像処理装置、画像処理方法、コンピュータプログラム、及び記憶媒体
JP6371547B2 (ja) 画像処理装置、方法、および、プログラム
JP2017091190A (ja) 画像処理装置、画像処理方法およびプログラム
US20170302904A1 (en) Input/output device, input/output program, and input/output method
JP2017126009A (ja) 表示制御装置、表示制御方法、およびプログラム
US20230376109A1 (en) Image processing apparatus, image processing method, and storage device
JP7467748B1 (ja) 表示制御装置、表示システム及びプログラム
TWI779332B (zh) 擴增實境系統與其錨定顯示虛擬物件的方法
JP7118383B1 (ja) 表示システム、表示方法、及び表示プログラム
US20230368483A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP2020095671A (ja) 認識装置及び認識方法