WO2021246574A1 - 손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템 - Google Patents

손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템 Download PDF

Info

Publication number
WO2021246574A1
WO2021246574A1 PCT/KR2020/010792 KR2020010792W WO2021246574A1 WO 2021246574 A1 WO2021246574 A1 WO 2021246574A1 KR 2020010792 W KR2020010792 W KR 2020010792W WO 2021246574 A1 WO2021246574 A1 WO 2021246574A1
Authority
WO
WIPO (PCT)
Prior art keywords
hand
hand shape
command
illuminance
command conversion
Prior art date
Application number
PCT/KR2020/010792
Other languages
English (en)
French (fr)
Inventor
김대영
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Publication of WO2021246574A1 publication Critical patent/WO2021246574A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Abstract

본 출원은 가상현실 콘텐츠를 제어할 수 있는 기기 및 방법에 관한 것이다. 본 출원의 실시 예에 따른 휴대용 단말은 사용자 손을 촬영하는 영상 촬영부, 조도를 감지하는 조도 센서, 상기 영상 촬영부로부터 수신된 원본 영상으로부터 손 모양을 검출하고, 상기 조도 센서로부터 수신된 조도 데이터로부터 조도 변화를 검출하는 검출부 및 상기 검출부로부터 수신된 손 모양 정보를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 제1 입력 커맨드로 변환하고, 상기 검출부로부터 수신된 조도 변화 정보를 상기 가상현실 콘텐츠를 제어하기 위한 제2 입력 커맨드로 변환하는 커맨드 변환부를 포함하며, 상기 커맨드 변환부는 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하기 위한 손 모양-커맨드 변환 테이블 및 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하기 위한 조도-커멘드 변환 테이블을 포함한다. 본 출원의 실시 예에 따른 휴대용 단말은 장착된 카메라 및/또는 센서를 통하여 VR 뷰어에서 실행되는 가상현실 콘텐츠를 제어할 수 있다. 별도의 컨트롤러가 필요없기 때문에, 본 출원의 실시 예에 따른 휴대용 단말은 가상현실 콘텐츠를 이용하기 위한 비용을 절감할 수 있다.

Description

손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 VR 뷰어 시스템
본 출원은 가상현실 콘텐츠를 제어할 수 있는 기기 및 방법에 관한 것이다.
최근, 사용자 동작과 상호 작용할 수 있는 VR 뷰어에 대한 연구가 활발히 진행되고 있다. 본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2018-0002426호(2018.01.08)에 개시되어 있다.
한편, 휴대용 단말을 장착할 수 있는 VR 뷰어에 대한 관심 역시 최근 높아지고 있다. 휴대용 단말을 통하여 가상현실을 이용하기 위해서는, 레티클(Reticle)이라고 하는 시선 기반 컨트롤을 사용하거나 별도의 컨트롤러를 구비하여야 한다. 이러한 별도의 전용 컨트롤러는 비싼 가격으로 판매되며, 이는 사용자가 가상현실 콘텐츠를 이용하는데 진입장벽으로 작용한다.
본 출원의 목적은 별도의 전용 컨트롤러 없이, 휴대용 단말에 장착된 카메라 및/또는 센서를 통하여 VR 뷰어에서 실행되는 가상현실 콘텐츠를 제어할 수 있는 휴대용 단말을 제공하는 데에 있다.
본 출원의 일 실시 예에 따른 휴대용 단말은 사용자 손을 촬영하는 영상 촬영부; 조도를 감지하는 조도 센서; 상기 영상 촬영부로부터 수신된 원본 영상으로부터 손 모양을 검출하고, 상기 조도 센서로부터 수신된 조도 데이터로부터 조도 변화를 검출하는 검출부; 및 상기 검출부로부터 수신된 손 모양 정보를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 제1 입력 커맨드로 변환하고, 상기 검출부로부터 수신된 조도 변화 정보를 상기 가상현실 콘텐츠를 제어하기 위한 제2 입력 커맨드로 변환하는 커맨드 변환부를 포함하며, 상기 커맨드 변환부는 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하기 위한 손 모양-커맨드 변환 테이블 및 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하기 위한 조도-커멘드 변환 테이블을 포함한다.
일 실시 예에 있어서, 상기 검출부는 상기 원본 영상으로부터 손 모양을 검출하는 손 모양 검출 모듈; 상기 원본 영상으로부터 손 움직임을 검출하는 손 동작 추적 모듈; 및 상기 조도 데이터로부터 조도 변화를 검출하는 조도 변화 검출 모듈을 포함한다.
일 실시 예에 있어서, 상기 손 모양 검출 모듈은 상기 원본 영상으로부터 손 영역을 추출하는 손 영역 추출 회로; 및 상기 손 영역으로부터 손 모양을 판단하는 손 모양 판단 회로를 포함하며, 상기 손 영역 추출 회로는 상기 원본 영상에 포함된 각 픽셀의 색 값에 기초하여, 상기 손 영역을 추출한다.
일 실시 예에 있어서, 상기 손 모양 판단 회로는 상기 손 영역에 대한 적응적 이진화 처리를 수행하여 적어도 하나의 손가락 영역을 검출한다.
일 실시 예에 있어서, 상기 손 모양 판단 회로는 상기 손 영역에 대한 손가락 말단 포인트 및 손가락 사이 포인트를 검출한다.
일 실시 예에 있어서, 상기 커맨드 변환부는 상기 손 모양 검출 모듈로부터 상기 손 모양 정보를 수신하며, 상기 손 모양-커맨드 변환 테이블에 기초하여 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하는 손 모양-커맨드 변환 모듈; 상기 손 동작 추적 모듈로부터 손 움직임 정보를 수신하며, 손 동작-커맨드 변환 테이블에 기초하여 상기 손 움직임 정보를 제3 입력 커맨드로 변환하는 손 동작-커맨드 변환 모듈; 및 상기 조도 변화 검출 모듈로부터 상기 조도 변화 정보를 수신하며, 상기 조도-커맨드 변환 테이블에 기초하여 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하는 조도-커맨드 변환 모듈을 포함한다.
일 실시 예에 있어서, 상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보에 포함된 손가락 영역의 개수에 기초하여 단일 입력 커맨드 방식 또는 다중 입력 커맨드 방식 중 어느 하나를 지원한다.
일 실시 예에 있어서, 상기 손 모양 정보에 포함된 상기 손가락 영역의 개수가 2개 이상인 경우, 상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보를 적어도 2개의 입력 커맨드로 변환한다.
일 실시 예에 있어서, 상기 손 모양 정보에 포함된 상기 손가락 영역의 개수가 2개 미만인 경우, 상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보를 하나의 입력 커맨드로 변환한다.
일 실시 예에 있어서, 상기 조도 변화 커맨드 모듈은 상기 조도-커맨드 변환 테이블에 기초하여 상기 조도 변화 정보를 디폴트 입력 값으로 변환하고, 상기 디폴트 입력 값은 상기 VR 뷰어에 제공되지 않는다.
본 출원의 실시 예에 따른 휴대용 단말은 장착된 카메라 및/또는 센서를 통하여 VR 뷰어에서 실행되는 가상현실 콘텐츠를 제어할 수 있다. 별도의 컨트롤러가 필요 없기 때문에, 본 출원의 실시 예에 따른 휴대용 단말은 가상현실 콘텐츠를 이용하기 위한 비용을 절감할 수 있다.
도 1은 본 출원의 일 실시 예에 따른 휴대용 단말을 보여주는 블록도이다.
도 2는 도 1의 손 모양 검출 모듈을 좀 더 자세히 보여주는 블록도이다.
도 3은 도 1의 손 모양 검출 모듈의 동작을 설명하기 위한 도면이다.
도 4는 도 1의 손 모양-커맨드 변환 모듈에 저장된 손 모양-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 5는 도 1의 손 동작-커맨드 변환 모듈에 저장된 손 동작-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 6은 도 1의 조도-커맨드 변환 모듈에 저장된 조도-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 7은 도 1의 휴대용 단말의 동작을 보여주는 순서도이다.
도 8은 도 1의 손 모양 검출 모듈 및 손 모양-커맨드 변환 모듈의 동작을 좀 더 자세히 설명하기 위한 순서도이다.
도 9는 본 출원의 다른 실시 예에 따른 휴대용 단말을 보여주는 블록도이다.
도 10은 도 1의 휴대용 단말이 장착되는 VR 뷰어의 일 예를 보여주는 도면이다.
이하에서는, 본 출원의 기술적 사상을 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 출원의 실시 예들이 첨부된 도면을 참조하여 설명될 것이다.
도 1은 본 출원의 일 실시 예에 따른 휴대용 단말(100)을 보여주는 블록도이다.
본 출원의 실시 예에 따른 휴대용 단말(100)은 VR 뷰어에 장착될 수 있으며, VR 뷰어에서 실행되는 가상현실 콘텐츠를 제어하기 위한 VR 제어 커맨드를 생성할 수 있다. 도 1을 참조하면, 휴대용 단말(100)은 영상 촬영부(110), 조도 센서(120), 검출부(130) 및 커맨드 변환부(140)를 포함한다.
영상 촬영부(110)는 사용자의 손을 촬영하여 원본 영상을 생성할 수 있다. 예를 들어, 영상 촬영부(110)는 스마트 폰, 태블릿 PC 등의 휴대용 단말(100)에 장착된 카메라일 수 있으며, 휴대용 단말(100)을 조작하는 사용자의 손을 촬영하여 원본 영상을 생성할 수 있다.
여기서, 영상 촬영부(110)에 의하여 생성된 원본 영상은 2차원의 시각 정보 데이터일 수 있다. 다른 예로, 원본 영상은 2차원 시각 정보에 심도 정보를 더 포함하는 데이터일 수도 있다. 다른 예로, 원본 영상은 복수의 프레임으로 이루어진 동영상일 수 있다. 다른 예로, 원본 영상은 복수의 프레임으로 이루어진 동영상의 어느 하나의 프레임일 수도 있다.
조도 센서(120)는 휴대용 단말(100) 주위의 밝기를 감지할 수 있다. 예를 들어, 조도 센서(120)는 스마트 폰, 태블릿 PC 등의 휴대용 단말(100)에 장착된 CDS 센서일 수 있으며, 사용자의 손이 조도 센서를 가리는 경우에 휴대용 단말(100) 주위의 밝기가 낮아진 것으로 감지할 수 있다.
예를 들어, 조도 센서(120)는 빛에 반응하여 전류를 생성하는 소자일 수 있으며, 스마트 폰, 태블릿 PC 등의 표면에 장착되는 소형의 표면 장착형(SMT; Surface Mount Technology) 소자일 수 있다. 예를 들어, 조도 센서(120)는 광 도전셀(photoelectric cell), 광 기전력셀(photovoltaic cell), 포토다이오드(photo diode) 또는 포토트랜지스터(photo transistor) 중 어느 하나일 수 있다.
검출부(130)는 영상 촬영부(110)로부터 원본 영상을 수신하고, 조도 센서(120)로부터 조도 데이터를 수신할 수 있다. 검출부(130)는 수신된 원본 영상으로부터 손 모양 또는 손 동작을 검출하고, 수신된 조도 데이터로부터 조도 변화를 검출할 수 있다. 이를 위하여, 검출부(130)는 손 모양 검출 모듈(131), 손 동작 추적 모듈(132) 및 조도 변화 검출 모듈(133)을 포함할 수 있다.
손 모양 검출 모듈(131)은 영상 촬영부(110)로부터 원본 영상을 수신할 수 있다. 여기서, 원본 영상은 2차원 시각 정보 데이터일 수 있다. 손 모양 검출 모듈(131)은 수신된 원본 영상으로부터 손 영역을 추출하고, 추출된 손 영역으로부터 손 모양을 판단할 수 있다.
예를 들어, 손 모양 검출 모듈(131)은 손 영역에 대한 적응적 이진화 처리를 수행하여 손가락 영역을 추출함으로써, 손 모양을 판단할 수 있다. 다른 예로, 손 모양 검출 모듈(131)은 손 영역으로부터 손가락 말단 포인트 및 손가락 사이 포인트를 추출함으로써, 손 모양을 판단할 수 있다. 다만, 이는 예시적인 것이며, 본 출원의 기술적 사상은 이에 한정되지 않음이 이해될 것이다.
손 동작 추적 모듈(132)은 영상 촬영부(110)로부터 원본 영상을 수신할 수 있다. 여기서, 원본 영상은 복수의 프레임으로 이루어진 동영상이거나, 소정 시간 간격으로 촬영된 적어도 2개의 프레임일 수 있다. 손 동작 추적 모듈(132)은 수신된 원본 영상으로부터 사용자의 손의 움직임을 추적할 수 있다.
예를 들어, 손 동작 추적 모듈(132)은 원본 영상에 포함된 제1 프레임에 대한 이진화 및 레이블링(labeling) 처리를 수행하여 제1 손 영역을 추출하고, 원본 영상에 포함된 제2 프레임에 대한 이진화 및 레이블링 처리를 수행하여 제2 손 영역을 추출할 수 있다. 손 동작 추적 모듈(132)은 제1 및 제2 손 영역으로부터 각각 제1 및 제2 중심점을 추출하고, 추출된 제1 중심점과 제2 중심점은 서로 연결함으로써 사용자의 손의 움직임을 추적할 수 있다. 다만, 이는 예시적인 것이며, 손 동작 추적 모듈(132)은 다양한 방법에 의하여 사용자의 손의 움직임을 추적할 수 있다.
조도 변화 감지 모듈(133)은 조도 센서(120)로부터 조도 데이터를 수신할 수 있다. 조도 변화 감지 모듈(133)은 수신된 데이터와 기준 값을 비교함으로써, 조도 변화를 검출할 수 있다.
예를 들어, 조도 센서(120)는 빛에 반응하여 전류를 생성하는 소자인 경우, 사용자가 조도 센서(120)를 손으로 가리는지 여부에 따라 조도 센서(120)에서 생성되는 전류의 양이 변화할 수 있다.
이 경우, 조도 변화 감지 모듈(133)은 조도 센서(120)로부터 수신된 전류와 기준 전류를 비교함으로써 조도 변화를 검출할 수 있다. 예를 들어, 수신된 전류가 기준 전류보다 작은 경우, 조도 변화 감지 모듈(133)은 사용자가 조도 센서(120)를 가리지 않아 조도 변화가 없는 상태로 인식할 수 있다. 다른 예로, 수신된 전류가 기준 전류보다 큰 경우, 조도 변화 감지 모듈(133)은 사용자가 조도 센서(120)를 가려서 조도에 변화가 생긴 상태로 인식할 수 있다.
커맨드 변환부(140)는 검출부(130)로부터 손 모양, 손 동작 또는 조도 변화 중 적어도 하나를 수신할 수 있다. 커맨드 변환부(140)는 수신된 손 모양, 손 동작 또는 조도 변화를 각각 대응하는 입력 커맨드로 변환할 수 있다. 여기서, 입력 커맨드는 VR 뷰어에서 실행되는 가상현실 콘텐츠를 제어하기 위한 커맨드일 수 있다. 커맨드 변환부(140)는 손 모양-커맨드 변환 모듈(141), 손 동작-커맨드 변환 모듈(142) 및 조도-커맨드 변환 모듈(143)을 포함한다.
손 모양-커맨드 변환 모듈(141)은 손 모양 검출 모듈(131)로부터 사용자의 손 모양에 대한 정보를 수신할 수 있다. 손 모양-커맨드 변환 모듈(141)은 미리 설정된 손 모양-커맨드 변환 테이블을 저장하고 있으며, 해당 손 모양-커맨드 변환 테이블에 기초하여 수신된 손 모양을 대응하는 입력 커맨드로 변환할 수 있다.
손 동작-커맨드 변환 모듈(142)은 손 동작 추적 모듈(132)로부터 사용자의 손의 움직임에 대한 정보를 수신할 수 있다. 손 동작-커맨드 변환 모듈(142)은 미리 설정된 손 동작-커맨드 변환 테이블을 저장하고 있으며, 해당 손 동작-커맨드 변환 테이블에 기초하여 수신된 사용자의 손 동작을 대응하는 입력 커맨드로 변환할 수 있다.
조도-커맨드 변환 모듈(143)은 조도 변화 검출 모듈(133)로부터 조도 변화에 대한 정보를 수신할 수 있다. 조도-커맨드 변환 모듈(143)은 미리 설정된 조도-커맨드 변환 테이블을 저장하고 있으며, 해당 조도-커맨드 변환 테이블에 기초하여 수신된 조도 변화를 대응하는 입력 커맨드로 변환할 수 있다.
상술한 바와 같이, 본 출원의 기술적 사상에 따른 휴대용 단말(100)은 가상현실 콘텐츠를 실행하는 VR 뷰어에 장착될 수 있다. 또한, 휴대용 단말(100)은 휴대용 단말(100)에 장착된 카메라 및/또는 조도 센서를 이용하여 사용자의 손 모양, 손 동작 또는 조도 변화를 검출하고, 이를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 입력 커맨드로 변환할 수 있다. 이에 따라, 본 출원의 기술적 사상에 따른 휴대용 단말(100)은 별도의 컨트롤러 없이 사용자가 VR 뷰어에서 실행되는 가상현실 콘텐츠와 상호작용하는 것을 가능하게 할 수 있다.
도 2는 도 1의 손 모양 검출 모듈(131)을 좀 더 자세히 보여주는 블록도이며, 도 3은 도 1의 손 모양 검출 모듈(131)의 동작을 설명하기 위한 도면이다.
도 2를 참조하면, 손 모양 검출 모듈(131)은 손 영역 추출 회로(131_1) 및 손 모양 판단 회로(131_2)를 포함한다.
손 영역 추출 회로(131_1)는 영상 촬영부(110)로부터 원본 영상을 수신하고, 수신된 원본 영상으로부터 사용자의 손 영역을 추출할 수 있다.
예를 들어, 도 3a를 참조하면, 손 영역 추출 회로(131_1)는 원본 영상의 각 픽셀(pixel)의 색 값을 기준으로 배경과 손 영역을 분리할 수 있다. 이후, 손 영역 추출 회로(131_1)는 각 픽셀의 색 값이 피부색 값 범위에 해당하는 영역을 백색 영역으로 변환하고, 각 픽셀의 색 값이 피부색 값 범위에 해당하지 않는 영역을 흑색 영역으로 변환할 수 있다.
손 모양 판단 회로(131_2)는 손 영역 추출 회로(131_1)로부터 손 영역에 대한 정보를 수신한다. 손 모양 판단 회로(131_2)는 수신된 손 영역에 기초하여, 손 모양을 판단할 수 있다.
예를 들어, 손 모양 판단 회로(131_2)는 수신된 손 영역에 대하여 적응적 이진화 처리를 수행함으로써, 손 모양을 판단할 수 있다.
도 3b를 참조하여 좀 더 자세히 설명하면, 손 모양 판단 회로(131_2)는 먼저 손 영역에 적응적 이진화 처리를 수행하여 각 손가락에 대응하는 손가락 영역들을 검출할 수 있다. 이후, 손 모양 판단 회로(131_2)는 검출된 손가락 영역들에 기초하여 손 모양을 판단할 수 있다. 예를 들어, 손 모양 판단 회로(131_2)는 검출된 손가락 영역들의 개수 및/또는 위치에 기초하여, 손 모양을 판단할 수 있다.
다른 예로, 손 모양 판단 회로(131_2)는 수신된 손 영역으로부터 손가락 말단 포인트 및 손가락 사이 포인트를 검출함으로써, 손 모양을 판단할 수 있다.
도 3c를 참조하여 좀 더 자세히 설명하면, 손 모양 판단 회로(131_2)는 먼저 수신된 손 영역에 기초하여, 손 영역과 배경 영역 사이의 경계선 벡터를 검출할 수 있다. 이후, 손 모양 판단 회로(131_2)는 경계선 벡터에서 손가락 말단 포인트 및 손가락 사이 포인트를 검출할 수 있다.
일 실시 예에 있어서, 손 모양 판단 회로(131_2)는 경계선 벡터에서 일정 각도 이하의 변곡점에 해당하는 포인트를 검출함으로써, 손가락 말단 포인트 및 손가락 사이 포인트를 검출할 수 있다. 예를 들어, 손 모양 판단 회로(131_2)는 경계선 벡터를 해리스 코너 검출기(harris corner detector)에 입력하여 변곡점에 해당되는 포인트가 포함된 주변 벡터가 오목(concave) 형태이면, 이를 손가락 말단 포인트로 검출할 수 있다. 반대로, 손 모양 판단 회로(131_2)는 변곡점에 해당되는 포인트가 포함된 주변 벡터가 볼록(convex) 형태이면, 이를 손가락 사이 포인트로 검출할 수 있다.
이후, 손 모양 판단 회로(131_2)는 검출된 손가락 말단 포인트 및 손가락 사이 포인트에 기초하여, 손 모양을 판단할 수 있다. 예를 들어, 손 모양 판단 회로(131_2)는 손가락 말단 포인트와 이에 대응하는 손가락 사이 포인트 사이의 거리, 손가락 말단 포인트의 개수 및/또는 손가락 사이 포인트의 개수에 기초하여, 손 모양을 판단할 수 있다.
도 4는 도 1의 손 모양-커맨드 변환 모듈(141)에 저장된 손 모양-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 1 및 도 4를 참조하면, 손 모양-커맨드 변환 모듈(141)은 손 모양 검출 모듈(131)로부터 손 모양에 대한 정보를 수신할 수 있다. 이후, 손 모양-커맨드 변환 모듈(141)은 기 저장된 손 모양-커맨드 변환 테이블에 기초하여, 수신된 손 모양에 대한 정보를 VR을 제어하기 위한 입력 커맨드로 변환할 수 있다.
본 출원의 기술적 사상에 따른 일 실시 예에 있어서, 손 모양-커맨드 변환 모듈(141)은 단일 입력 커맨드 방식 및 다중 입력 커맨드 방식을 모두 지원할 수 있다. 여기서, 단일 입력 방식은 하나의 손 모양을 하나의 입력 커맨드로 변환하는 것을 가리키며, 다중 입력 방식은 하나의 손 모양을 복수의 입력 커맨드로 변환하는 것을 가리킨다.
본 출원의 일 실시 예에 있어서, 사용자의 손 모양에서 펼쳐진 손 가락의 개수가 2개 미만인 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 단일 입력 커맨드로 변환할 수 있다.
예를 들어, 엄지 손가락이 펼쳐진 손 모양 정보가 수신되는 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 제1 입력 커맨드(CMD_1)로 변환할 수 있다. 다른 예로, 검지 손가락이 펼쳐진 손 모양 정보가 수신되는 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 제2 입력 커맨드(CMD_2)로 변환할 수 있다.
본 출원의 일 실시 예에 있어서, 사용자의 손 모양에서 펼쳐진 손 가락의 개수가 2개 이상인 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 다중 입력 커맨드로 변환할 수 있다.
예를 들어, 엄지 및 검지 손가락이 펼쳐진 손 모양 정보가 수신되는 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 제1 입력 커맨드(CMD_1) 및 제2 입력 커맨드(CMD_2)로 변환할 수 있다. 변환된 제1 및 제2 입력 커맨드(CMD_1, CMD_2)는 각각 순차적으로 VR 뷰어에 제공될 수 있다.
다른 예로, 검지 및 중지 손가락이 펼쳐진 손 모양 정보가 수신되는 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 제2 입력 커맨드(CMD_2) 및 제3 입력 커맨드(CMD_3)로 변환할 수 있다. 변환된 제2 및 제3 입력 커맨드(CMD_2, CMD_3)는 각각 순차적으로 VR 뷰어에 제공될 수 있다.
상술한 바와 같이, 본 출원의 실시 예에 따른 휴대용 단말(100)은 단일 입력 커맨드 방식과 다중 입력 커맨드 방식을 지원할 수 있다. 이에 따라, 사용자가 좀 더 효율적으로 VR 뷰어에서 실행되는 가상현실 콘텐츠와 상호작용할 수 있다.
도 5는 도 1의 손 동작-커맨드 변환 모듈(142)에 저장된 손 동작-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 1 및 도 5를 참조하면, 손 동작-커맨드 변환 모듈(142)은 손 동작 추적 모듈(132)로부터 손의 움직임에 대한 정보를 수신할 수 있다. 이후, 손 동작-커맨드 변환 모듈(142)은 기 저장된 손 동작-커맨드 변환 테이블에 기초하여, 수신된 손의 움직임에 대한 정보를 VR을 제어하기 위한 입력 커맨드로 변환할 수 있다.
예를 들어, 손 동작-커맨드 변환 테이블에는 좌측에서 우측으로 움직이는 손 동작 및 이에 대응하는 입력 커맨드가 저장되어 있을 수 있다. 이 경우, 손 동작-커맨드 변환 모듈(142)은 손 동작 추적 모듈(132)로부터 수신된 손의 움직임에 대한 정보가 손 동작-커맨드 변환 테이블에 저장된 손 동작과 일치하는지 여부를 판단한다. 만약 일치한다면, 손 동작-커맨드 변환 모듈(142)은 해당 손 동작을 슬라이드 입력 커맨드(CMD_slide)로 변환하고, 이를 VR 뷰어에 제공할 것이다. 만약 일치하지 않는다면, 손 동작-커맨드 변환 모듈(142)은 해당 손 동작을 노이즈로 인식하고, 입력 커맨드를 생성하지 않을 것이다.
도 6은 도 1의 조도-커맨드 변환 모듈(143)에 저장된 조도-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 1 및 도 6을 참조하면, 조도-커맨드 변환 모듈(143)은 조도 변화 검출 모듈(132)로부터 조도 변화에 대한 정보를 수신할 수 있다. 이후, 조도-커맨드 변환 모듈(143)은 기 저장된 조도-커맨드 변환 테이블에 기초하여, 조도 변화에 대한 정보를 VR을 제어하기 위한 입력 커맨드로 변환할 수 있다.
예를 들어, 휴대용 단말(100) 주위의 밝기가 그대로 유지되는 경우, 조도-커맨드 변환 모듈(143)은 계속해서 오프 입력 커맨드(CMD_off)를 생성할 수 있다. 오프 입력 커맨드는 VR 뷰어에 제공되는 디폴트 값일 수 있다. VR 뷰어는 오프 입력 커맨드에 응답하여, 현재 디스플레이 중인 가상현실 콘텐츠를 계속하여 실행할 수 있다.
예를 들어, 사용자가 손으로 조도 센서를 가림으로써 휴대용 단말(100) 주위의 밝기가 감소하는 경우, 조도-커맨드 변환 모듈(143)은 온 입력 커맨드(CMD_on)를 생성할 수 있다. 온 입력 커맨드(CMD_on)는, 예를 들어, VR 뷰어에서 실행 중인 가상현실 콘텐츠의 일시 멈춤 동작을 제어하는 커맨드일 수 있다. VR 뷰어는 온 입력 커맨드에 응답하여, 현재 디스플레이 중인 가상현실 콘텐츠를 잠시 중지시킬 수 있다. 다만, 이는 예시적인 것이며, 온 입력 커맨드(CMD_on)는 가상현실 콘텐츠의 온(on), 오프(off) 등을 제어하는 커맨드일 수도 있다.
상술한 바와 같이, 본 출원의 실시 예에 따른 휴대용 단말은 사용자가 휴대용 단말(100)에 장착되 조도 센서(120)를 가리는지 여부에 따라, VR 입력 커맨드를 생성할 수 있다. 특히, 손 모양 및 손 동작 검출이 어려운 어두운 환경에서도, 조도 센서(120) 및 조도 변화 검출 모듈(133)은 사용자가 조도 센서(120)를 가리는지 여부를 정확하게 검출할 수 있는 장점이 있다.
도 7은 도 1의 휴대용 단말(100)의 동작을 보여주는 순서도이다.
S110 단계에서, 휴대용 단말(100)은 원본 영상 및/또는 조도 데이터를 생성한다. 예를 들어, 영상 촬영부(110)는 사용자의 손을 촬영하여 원본 영상을 생성하고, 조도 센서(120)는 휴대용 단말(100) 주위의 밝기 변화를 감지하여 조도 데이터를 생성할 수 있다. 영상 촬영부(110)는 생성된 원본 영상을 손 모양 검출 모듈(131) 및 손 동작 추적 모듈(132)에 전달하고, 조도 센서(120)는 생성된 조도 데이터를 조도 변화 검출 모듈(133)에 전달할 수 있다.
S120 단계에서, 휴대용 단말(100)은 손 모양, 손 동작 및/또는 조도 변화를 검출할 수 있다. 예를 들어, 손 모양 검출 모듈(131)은 수신된 원본 영상으로부터 손 영역을 추출하고, 추출된 손 영역에 기초하여 손 모양을 판단할 수 있다. 손 동작 추적 모듈(132)은 수신된 원본 영상에 포함된 적어도 2 개의 프레임으로부터 손의 움직임을 추적하여, 손의 움직임 정보를 생성할 수 있다. 조도 변화 검출 모듈(133)은 수신된 조도 데이터에 기초하여, 조도 변화에 대한 정보를 생성할 수 있다.
S130 단계에서, 휴대용 단말(100)은 손 모양, 손 동작 및/또는 조도 변화를 VR 뷰어를 제어하기 위한 입력 커맨드로 변환할 수 있다. 예를 들어, 손 모양-커맨드 변환 모듈(141)은 기 설정된 손 모양-커맨드 변환 테이블에 기초하여, 손 모양을 대응하는 입력 커맨드로 변환할 수 있다. 손 동작-커맨드 변환 모듈(142)은 기 설정된 손 동작-커맨드 변환 테이블에 기초하여, 손 동작을 대응하는 입력 커맨드로 변환할 수 있다. 조도-커맨드 변환 모듈(143)은 기 설정된 조도-커맨드 변환 테이블에 기초하여, 조도 변화를 대응하는 입력 커맨드로 변환할 수 있다.
S140 단계에서, 휴대용 단말(100)은 입력 커맨드를 VR 뷰어로 전송할 수 있다.
상술한 바와 같이, 본 출원의 기술적 사상에 따른 휴대용 단말(100)은 휴대용 단말(100)에 장착된 카메라 및/또는 조도 센서를 이용하여 사용자의 손 모양, 손 동작 또는 조도 변화를 검출하고, 이를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 입력 커맨드로 변환할 수 있다. 이에 따라, 본 출원의 기술적 사상에 따른 휴대용 단말(100)은 별도의 컨트롤러 없이 사용자가 VR 뷰어에서 실행되는 가상현실 콘텐츠와 상호작용하는 것을 가능하게 할 수 있다.
도 8은 도 1의 손 모양 검출 모듈(131) 및 손 모양-커맨드 변환 모듈(141)의 동작을 좀 더 자세히 설명하기 위한 순서도이다.
S210 단계에서, 손 모양 검출 모듈(131)은 영상 촬영부(110)로부터 원본 영상을 수신할 수 있다.
S220 단계에서, 손 모양 검출 모듈(131)은 원본 영상으로부터 손 영역을 추출할 수 있다. 예를 들어, 손 모양 검출 모듈(131)의 손 영역 추출 회로(131_1)는 원본 영상의 각 픽셀(pixel)의 색 값을 기준으로 배경과 손 영역을 분리할 수 있다.
S230 단계에서, 손 모양 검출 모듈(131)은 손 영역으로부터 손 모양을 판단할 수 있다. 예를 들어, 손 모양 판단 회로(131_2)는 손 영역에 대하여 적응적 이진화 처리를 수행함으로써 손 모양을 판단할 수 있다. 다른 예로, 손 모양 판단 회로(131_2)는 수신된 손 영역으로부터 손가락 말단 포인트 및 손가락 사이 포인트를 검출함으로써, 손 모양을 판단할 수 있다.
S240 단계에서, 손 모양-커맨드 변환 모듈(141)은 손 모양 검출 모듈(131)로부터 손 모양에 대한 정보를 수신할 수 있다. 손 모양-커맨드 변환 모듈(141)은 수신된 손 모양에 포함된 손가락 영역이 2개 이상인지 판단할 수 있다.
만약 손 모양에 포함된 손가락 영역이 2개 이상이라면, 손 모양-커맨드 변환 모듈(141)은 다중 입력 커맨드 방식으로 변환 동작을 수행할 수 있다. 즉, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 적어도 2개의 입력 커맨드로 변환할 수 있다(S250 단계). 이후, 손 모양-커맨드 변환 모듈(141)은 생성된 적어도 2개의 입력 커맨드를 VR 뷰어로 순차적으로 송신할 수 있다(S260 단계).
한편, 만약 손 모양에 포함된 손가락 영역이 2개 미만이라면, 손 모양-커맨드 변환 모듈(141)은 단일 입력 커맨드 방식으로 변환 동작을 수행할 수 있다. 즉, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 하나의 입력 커맨드로 변환할 수 있다(S270 단계). 이후, 손 모양-커맨드 변환 모듈(141)은 생성된 하나의 입력 커맨드를 VR 뷰어로 송신할 수 있다(S280 단계).
상술한 바와 같이, 본 출원의 실시 예에 따른 휴대용 단말(100)은 단일 입력 커맨드 방식과 다중 입력 커맨드 방식을 지원할 수 있다. 이에 따라, 사용자가 좀 더 효율적으로 VR 뷰어에서 실행되는 가상현실 콘텐츠와 상호작용할 수 있다.
한편, 상술한 설명은 예시적인 것이며, 본 출원의 기술적 사상은 이에 한정되지 않음이 이해될 것이다. 이하에서는, 본 출원의 기술적 사상의 다른 응용 예 및 적용 예들이 좀 더 자세히 설명될 것이다.
도 9는 본 출원의 다른 실시 예에 따른 휴대용 단말(100_1)을 보여주는 블록도이다. 도 9의 휴대용 단말(100_1)은 도 1의 휴대용 단말(100)과 유사하다. 따라서, 동일하거나 유사한 구성요소는 동일하거나 유사한 참조번호를 사용하여 설명될 것이며, 중복되는 설명은 간략한 설명을 위하여 이하 생략될 것이다.
도 9를 참조하면, 휴대용 단말(100_1)은 영상 촬영부(110), ToF 센서(120_1), 검출부(130_1) 및 커맨드 변환부(140_1)를 포함한다. 검출부(130_1)는 손 모양 검출 모듈(131), 손 동작 추적 모듈(132) 및 위치 검출 모듈(133_1)을 포함한다. 커맨드 변환부(140_1)는 손 모양-커맨드 변환 모듈(141), 손 동작-커맨드 변환 모듈(142) 및 위치-커맨드 변환 모듈(143_1)을 포함한다.
도 1의 휴대용 단말(100)의 조도 센서(120)를 대신하여, 도 9의 휴대용 단말(100_1)은 ToF(Time of Flight) 센서(120_1)를 구비한다.
구체적으로, 도 9의 휴대용 단말(100_1)은 ToF 센서(120_1)를 통하여 휴대용 단말(100_1)과 사용자 손 사이의 거리를 측정할 수 있다. 예를 들어, ToF 센서(120_1)는 휴대용 단말(100_1)의 표면에 장착될 수 있으며, ToF 센서(120_1)에 포함된 광원으로부터 방사된 펄스 형태의 광신호가 사용자 손에 의해 반사되어 되돌아올 때까지의 시간을 측정하여 사용자 손까지의 거리를 계산할 수 있다.
위치 검출 모듈(133_1)은 ToF 센서(120_1)로부터 사용자 손과 휴대용 단말(100_1) 사이의 거리 정보를 수신할 수 있다. 위치 검출 모듈(133_1)은 사용자 손과 휴대용 단말(100_1) 사이의 거리를 기준 거리와 비교함으로써, 사용자 손이 휴대용 단말(100_1)로부터 근거리에 위치하는지 혹은 원거리에 위치하는지 검출할 수 있다.
위치-커맨드 변환 모듈(143_1)은 위치 검출 모듈(133_1)로부터 사용자 손의 위치 정보를 수신할 수 있다. 위치-커맨드 변환 모듈(143_1)은 기 설정된 위치-커맨드 변환 테이블을 포함하며, 사용자 손의 위치에 따라 입력 커맨드를 생성할 수 있다.
예를 들어, 사용자 손이 원거리에 위치하는 경우, 위치-커맨드 변환 모듈(143_1)은 오프 입력 커맨드(CMD_off)를 생성할 수 있다. 여기서, 오프 입력 커맨드(CMD_off)는, 도 6과 유사하게, 디폴트 값일 수 있다. 다른 예로, 사용자 손이 근거리에 위치하는 경우, 위치-커맨드 변환 모듈(143_1)은 온 입력 커맨드(CMD_on)를 생성할 수 있다. 여기서, 온 입력 커맨드(CMD_on)는, 도 6과 유사하게, VR 뷰어에서 실행 중인 가상현실 콘텐츠의 일시 멈춤 동작을 제어하는 커맨드일 수 있다.
도 10은 도 1의 휴대용 단말(100)이 장착되는 VR 뷰어(200)의 일 예를 보여주는 도면이다.
도 10에 도시된 바와 같이, 휴대용 단말(100)은 VR 뷰어(200)에 장착될 수 있다. VR 뷰어(200)는 가상현실 콘텐츠를 실행하며, 사용자는 휴대용 단말(100)에 장착된 카메라, 조도 센서 및/또는 ToF 센서 등을 통하여 가상현실 콘텐츠를 제어할 수 있다.
이와 같이, 본 출원의 기술적 사상에 따른 휴대용 단말(100)은 별도의 컨트롤러 없이 VR 뷰어(200)에서 실행되는 가상현실 콘텐츠와의 상호작용을 가능하게 할 수 있다.
한편, 상술한 설명은 예시적인 것이며, 본 출원의 기술적 사상은 이에 한정되지 않음이 이해될 것이다. 본 출원의 기술 분야에서 통상의 지식을 가진 자는 본 출원의 기술적 사상이 다양하게 응용 및 적용될 수 있음을 이해할 것이며, 이러한 응용 및 적용은 모두 본 출원의 기술적 사상의 범주 내에 속함이 이해될 것이다.

Claims (15)

  1. 사용자 손을 촬영하는 영상 촬영부;
    조도를 감지하는 조도 센서;
    상기 영상 촬영부로부터 수신된 원본 영상으로부터 손 모양을 검출하고, 상기 조도 센서로부터 수신된 조도 데이터로부터 조도 변화를 검출하는 검출부; 및
    상기 검출부로부터 수신된 손 모양 정보를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 제1 입력 커맨드로 변환하고, 상기 검출부로부터 수신된 조도 변화 정보를 상기 가상현실 콘텐츠를 제어하기 위한 제2 입력 커맨드로 변환하는 커맨드 변환부를 포함하며,
    상기 커맨드 변환부는 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하기 위한 손 모양-커맨드 변환 테이블 및 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하기 위한 조도-커멘드 변환 테이블을 포함하는, 휴대용 단말.
  2. 제1 항에 있어서,
    상기 검출부는
    상기 원본 영상으로부터 손 모양을 검출하는 손 모양 검출 모듈;
    상기 원본 영상으로부터 손 움직임을 검출하는 손 동작 추적 모듈; 및
    상기 조도 데이터로부터 조도 변화를 검출하는 조도 변화 검출 모듈을 포함하는, 휴대용 단말.
  3. 제2 항에 있어서,
    상기 손 모양 검출 모듈은
    상기 원본 영상으로부터 손 영역을 추출하는 손 영역 추출 회로; 및
    상기 손 영역으로부터 손 모양을 판단하는 손 모양 판단 회로를 포함하며,
    상기 손 영역 추출 회로는 상기 원본 영상에 포함된 각 픽셀의 색 값에 기초하여, 상기 손 영역을 추출하는, 휴대용 단말.
  4. 제3 항에 있어서,
    상기 손 모양 판단 회로는 상기 손 영역에 대한 적응적 이진화 처리를 수행하여 적어도 하나의 손가락 영역을 검출하는, 휴대용 단말.
  5. 제3 항에 있어서,
    상기 손 모양 판단 회로는 상기 손 영역에 대한 손가락 말단 포인트 및 손가락 사이 포인트를 검출하는, 휴대용 단말.
  6. 제2 항에 있어서,
    상기 커맨드 변환부는
    상기 손 모양 검출 모듈로부터 상기 손 모양 정보를 수신하며, 상기 손 모양-커맨드 변환 테이블에 기초하여 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하는 손 모양-커맨드 변환 모듈;
    상기 손 동작 추적 모듈로부터 손 움직임 정보를 수신하며, 손 동작-커맨드 변환 테이블에 기초하여 상기 손 움직임 정보를 제3 입력 커맨드로 변환하는 손 동작-커맨드 변환 모듈; 및
    상기 조도 변화 검출 모듈로부터 상기 조도 변화 정보를 수신하며, 상기 조도-커맨드 변환 테이블에 기초하여 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하는 조도-커맨드 변환 모듈을 포함하는, 휴대용 단말.
  7. 제6 항에 있어서,
    상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보에 포함된 손가락 영역의 개수에 기초하여 단일 입력 커맨드 방식 또는 다중 입력 커맨드 방식 중 어느 하나를 지원하는, 휴대용 단말.
  8. 제7 항에 있어서,
    상기 손 모양 정보에 포함된 상기 손가락 영역의 개수가 2개 이상인 경우, 상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보를 적어도 2개의 입력 커맨드로 변환하는, 휴대용 단말.
  9. 제7 항에 있어서,
    상기 손 모양 정보에 포함된 상기 손가락 영역의 개수가 2개 미만인 경우, 상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보를 하나의 입력 커맨드로 변환하는, 휴대용 단말.
  10. 제2 항에 있어서,
    상기 조도 변화 커맨드 모듈은 상기 조도-커맨드 변환 테이블에 기초하여 상기 조도 변화 정보를 디폴트 입력 값으로 변환하고, 상기 디폴트 입력 값은 상기 VR 뷰어에 제공되지 않는, 휴대용 단말.
  11. 사용자 손을 촬영하는 영상 촬영부;
    사용자 손과의 거리를 감지하는 ToF 센서;
    상기 영상 촬영부로부터 수신된 원본 영상으로부터 손 모양을 검출하고, 상기 ToF 센서로부터 수신된 거리 데이터로부터 사용자 손의 위치를 검출하는 검출부; 및
    상기 검출부로부터 수신된 손 모양 정보를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 제1 입력 커맨드로 변환하고, 상기 검출부로부터 수신된 손의 위치 정보를 상기 가상현실 콘텐츠를 제어하기 위한 제2 입력 커맨드로 변환하는 커맨드 변환부를 포함하며,
    상기 커맨드 변환부는 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하기 위한 손 모양-커맨드 변환 테이블 및 상기 손의 위치 정보를 상기 제2 입력 커맨드로 변환하기 위한 위치-커멘드 변환 테이블을 포함하는, 휴대용 단말.
  12. 제11 항에 있어서,
    상기 검출부는 상기 위치-커맨드 변환 테이블에 기초하여 상기 손의 위치 정보를 디폴트 입력 값으로 변환하고, 상기 디폴트 입력 값은 상기 VR 뷰어에 제공되지 않는, 휴대용 단말.
  13. 가상현실 콘텐츠를 실행하는 VR 뷰어; 및
    상기 VR 뷰어에 장착되며, 상기 가상현실 콘텐츠를 제어하기 위한 입력 커맨드를 상기 VR 뷰어에 전송하는 휴대용 단말을 포함하며,
    상기 휴대용 단말은
    사용자 손을 촬영하는 영상 촬영부;
    조도를 감지하는 조도 센서;
    상기 영상 촬영부로부터 수신된 원본 영상으로부터 손 모양을 검출하고, 상기 조도 센서로부터 수신된 조도 데이터로부터 조도 변화를 검출하는 검출부; 및
    상기 검출부로부터 수신된 손 모양 정보를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 제1 입력 커맨드로 변환하고, 상기 검출부로부터 수신된 조도 변화 정보를 상기 가상현실 콘텐츠를 제어하기 위한 제2 입력 커맨드로 변환하는 커맨드 변환부를 포함하며,
    상기 커맨드 변환부는 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하기 위한 손 모양-커맨드 변환 테이블 및 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하기 위한 조도-커멘드 변환 테이블을 포함하는, VR 뷰어 시스템.
  14. 제13 항에 있어서,
    상기 검출부는
    상기 원본 영상으로부터 손 모양을 검출하는 손 모양 검출 모듈; 상기 원본 영상으로부터 손 움직임을 검출하는 손 동작 추적 모듈; 및
    상기 조도 데이터로부터 조도 변화를 검출하는 조도 변화 검출 모듈을 포함하고,
    상기 손 모양 검출 모듈은
    상기 원본 영상으로부터 손 영역을 추출하는 손 영역 추출 회로; 및
    상기 손 영역으로부터 손 모양을 판단하는 손 모양 판단 회로를 포함하며,
    상기 손 영역 추출 회로는 상기 원본 영상에 포함된 각 픽셀의 색 값에 기초하여, 상기 손 영역을 추출하는, VR 뷰어 시스템.
  15. 제13 항에 있어서,
    상기 커맨드 변환부는
    상기 손 모양 검출 모듈로부터 상기 손 모양 정보를 수신하며, 상기 손 모양-커맨드 변환 테이블에 기초하여 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하는 손 모양-커맨드 변환 모듈;
    상기 손 동작 추적 모듈로부터 손 움직임 정보를 수신하며, 손 동작-커맨드 변환 테이블에 기초하여 상기 손 움직임 정보를 제3 입력 커맨드로 변환하는 손 동작-커맨드 변환 모듈; 및
    상기 조도 변화 검출 모듈로부터 상기 조도 변화 정보를 수신하며, 상기 조도-커맨드 변환 테이블에 기초하여 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하는 조도-커맨드 변환 모듈을 포함하며,
    상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보에 포함된 손가락 영역의 개수에 기초하여 단일 입력 커맨드 방식 또는 다중 입력 커맨드 방식 중 어느 하나를 지원하는, VR 뷰어 시스템.
PCT/KR2020/010792 2020-06-02 2020-08-13 손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템 WO2021246574A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200066591A KR102321359B1 (ko) 2020-06-02 2020-06-02 손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템
KR10-2020-0066591 2020-06-02

Publications (1)

Publication Number Publication Date
WO2021246574A1 true WO2021246574A1 (ko) 2021-12-09

Family

ID=78476132

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/010792 WO2021246574A1 (ko) 2020-06-02 2020-08-13 손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템

Country Status (2)

Country Link
KR (1) KR102321359B1 (ko)
WO (1) WO2021246574A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012137989A (ja) * 2010-12-27 2012-07-19 Sony Computer Entertainment Inc ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
KR20160137253A (ko) * 2015-05-22 2016-11-30 한국전자통신연구원 증강 현실 디바이스 및 상기 증강 현실 디바이스를 위한 사용자 인터랙션 장치 및 방법
KR20170024240A (ko) * 2015-08-25 2017-03-07 전자부품연구원 조도 센서를 이용한 웨어러블 디바이스의 입력 시스템 및 동작 방법
JP2019516261A (ja) * 2016-02-18 2019-06-13 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． インサイドアウト方式のポジション、ユーザボディ、及び環境トラッキングを伴うバーチャルリアリティ及びミックスドリアリティ用ヘッドマウントディスプレイ
KR20190128962A (ko) * 2018-05-09 2019-11-19 서강대학교산학협력단 증강현실 기반의 전자책 제공 방법 및 착용형 디스플레이 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526426B1 (ko) * 2013-12-31 2015-06-05 현대자동차 주식회사 제스처 인식 장치 및 방법
KR102207856B1 (ko) * 2014-05-14 2021-01-26 한국전자통신연구원 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법
KR101745651B1 (ko) * 2016-03-29 2017-06-09 전자부품연구원 손 제스처 인식 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012137989A (ja) * 2010-12-27 2012-07-19 Sony Computer Entertainment Inc ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
KR20160137253A (ko) * 2015-05-22 2016-11-30 한국전자통신연구원 증강 현실 디바이스 및 상기 증강 현실 디바이스를 위한 사용자 인터랙션 장치 및 방법
KR20170024240A (ko) * 2015-08-25 2017-03-07 전자부품연구원 조도 센서를 이용한 웨어러블 디바이스의 입력 시스템 및 동작 방법
JP2019516261A (ja) * 2016-02-18 2019-06-13 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． インサイドアウト方式のポジション、ユーザボディ、及び環境トラッキングを伴うバーチャルリアリティ及びミックスドリアリティ用ヘッドマウントディスプレイ
KR20190128962A (ko) * 2018-05-09 2019-11-19 서강대학교산학협력단 증강현실 기반의 전자책 제공 방법 및 착용형 디스플레이 장치

Also Published As

Publication number Publication date
KR102321359B1 (ko) 2021-11-02

Similar Documents

Publication Publication Date Title
WO2012065516A1 (zh) 一种通过手势识别实现照相机快门功能的方法及手机装置
WO2013129792A1 (en) Method and portable terminal for correcting gaze direction of user in image
WO2017078356A1 (ko) 디스플레이 장치 및 그의 영상 표시 방법
WO2015129966A1 (en) Head mounted display providing closed-view and method of controlling therefor
WO2011068362A2 (en) Power control method of device controllable by user's gesture
WO2014035127A1 (en) Apparatus for generating depth image
WO2018236058A1 (en) ELECTRONIC DEVICE FOR PROVIDING PROPERTY INFORMATION OF AN EXTERNAL LIGHT SOURCE FOR AN OBJECT OF INTEREST
WO2020171553A1 (en) An electronic device applying bokeh effect to image and controlling method thereof
WO2015111869A1 (ko) 제스처 장치, 그 동작 방법 및 이를 구비한 차량
WO2019066273A1 (ko) 전자칠판 및 그 제어방법
EP3925206A1 (en) Electronic device, method, and computer-readable medium for providing bokeh effect in video
WO2019124824A1 (ko) 복수 개의 카메라를 포함하는 전자 장치 및 그 동작 방법
WO2015030307A1 (en) Head mounted display device and method for controlling the same
WO2015190742A1 (ko) 카메라를 통한 가상 버튼 구현방법, 장치 및 컴퓨터 판독가능 기록매체
WO2019164288A1 (en) Method for providing text translation managing data related to application, and electronic device thereof
WO2020080845A1 (en) Electronic device and method for obtaining images
WO2021158017A1 (en) Electronic device and method for recognizing object
WO2017183795A1 (ko) 광학 센서 장치 및 광학 센싱 방법
WO2021246574A1 (ko) 손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템
WO2020190008A1 (en) Electronic device for auto focusing function and operating method thereof
WO2020171450A1 (ko) 뎁스 맵을 생성하는 전자 장치 및 방법
WO2021235884A1 (ko) Awb를 수행하여 이미지를 생성하는 전자 장치 및 방법
WO2019172577A1 (ko) 전자장치의 이미지 처리 장치 및 방법
EP3766040A1 (en) Method and electronic device for recommending image capture mode
WO2021158043A1 (ko) 전자 장치 및 오토 포커스 수행 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20938591

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20938591

Country of ref document: EP

Kind code of ref document: A1