KR102321359B1 - Portable terminal and vr viewer system for controlling virtual reality content based on hand shape and illumination sensor - Google Patents

Portable terminal and vr viewer system for controlling virtual reality content based on hand shape and illumination sensor Download PDF

Info

Publication number
KR102321359B1
KR102321359B1 KR1020200066591A KR20200066591A KR102321359B1 KR 102321359 B1 KR102321359 B1 KR 102321359B1 KR 1020200066591 A KR1020200066591 A KR 1020200066591A KR 20200066591 A KR20200066591 A KR 20200066591A KR 102321359 B1 KR102321359 B1 KR 102321359B1
Authority
KR
South Korea
Prior art keywords
hand
hand shape
command
illuminance
command conversion
Prior art date
Application number
KR1020200066591A
Other languages
Korean (ko)
Inventor
김대영
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020200066591A priority Critical patent/KR102321359B1/en
Priority to PCT/KR2020/010792 priority patent/WO2021246574A1/en
Application granted granted Critical
Publication of KR102321359B1 publication Critical patent/KR102321359B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0233—Handheld
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0238—Details making use of sensor-related data, e.g. for identification of sensor or optical parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/00389—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J2001/0257—Details portable

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Multimedia (AREA)

Abstract

The present application relates to a device and method for controlling virtual reality content. According to an embodiment of the present application, the portable terminal includes: an image photographing unit to photograph a user hand; an illumination sensor to sense illuminance; a detecting unit to detect a hand shape from an original image received from the image photographing unit to detect an illuminance change based on illuminance data received from the illuminance sensor; and a command converting unit to convert information on the hand shape received from the detecting unit into a first input command which is used for controlling VR content of a virtual reality (VR) viewer, and to convert information on the illuminance change received from the detecting unit into a second input command used for controlling VR content. The command converting unit includes a hand-shape command converting table to convert the information on the hand shape into the first input command, and an illumination-command converting table to convert the information on the illumination change into the second input command. According to an embodiment of the present application, the portable terminal may control the VR content executed on the VR viewer through a camera and/or a sensor mounted in a portable terminal. Since the additional controller is not required, the portable terminal according to an embodiment of the present application may reduce costs for using the virtual reality content.

Description

손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 VR 뷰어 시스템{PORTABLE TERMINAL AND VR VIEWER SYSTEM FOR CONTROLLING VIRTUAL REALITY CONTENT BASED ON HAND SHAPE AND ILLUMINATION SENSOR}A portable terminal that controls virtual reality content based on a hand shape and an illuminance sensor, and a VR viewer system including the same

본 출원은 가상현실 콘텐츠를 제어할 수 있는 기기 및 방법에 관한 것이다.The present application relates to a device and method capable of controlling virtual reality content.

최근, 사용자 동작과 상호 작용할 수 있는 VR 뷰어에 대한 연구가 활발히 진행되고 있다. 본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2018-0002426호(2018.01.08)에 개시되어 있다.
한편, 휴대용 단말을 장착할 수 있는 VR 뷰어에 대한 관심 역시 최근 높아지고 있다. 휴대용 단말을 통하여 가상현실을 이용하기 위해서는, 레티클(Reticle)이라고 하는 시선 기반 컨트롤을 사용하거나 별도의 컨트롤러를 구비하여야 한다. 이러한 별도의 전용 컨트롤러는 비싼 가격으로 판매되며, 이는 사용자가 가상현실 콘텐츠를 이용하는데 진입장벽으로 작용한다. Recently, research on a VR viewer capable of interacting with a user's motion is being actively conducted. The technology that is the background of the present invention is disclosed in Korean Patent Application Laid-Open No. 10-2018-0002426 (2018.01.08).
Meanwhile, interest in a VR viewer capable of mounting a portable terminal is also increasing recently. In order to use virtual reality through a portable terminal, it is necessary to use a gaze-based control called a reticle or to have a separate controller. These separate dedicated controllers are sold at a high price, which acts as a barrier to entry for users to use virtual reality content.

본 출원의 목적은 별도의 전용 컨트롤러 없이, 휴대용 단말에 장착된 카메라 및/또는 센서를 통하여 VR 뷰어에서 실행되는 가상현실 콘텐츠를 제어할 수 있는 휴대용 단말을 제공하는 데에 있다.An object of the present application is to provide a portable terminal capable of controlling virtual reality content executed in a VR viewer through a camera and/or sensor mounted on the portable terminal without a separate dedicated controller.

본 출원의 일 실시 예에 따른 휴대용 단말은 사용자 손을 촬영하는 영상 촬영부; 조도를 감지하는 조도 센서; 상기 영상 촬영부로부터 수신된 원본 영상으로부터 손 모양을 검출하고, 상기 조도 센서로부터 수신된 조도 데이터로부터 조도 변화를 검출하는 검출부; 및 상기 검출부로부터 수신된 손 모양 정보를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 제1 입력 커맨드로 변환하고, 상기 검출부로부터 수신된 조도 변화 정보를 상기 가상현실 콘텐츠를 제어하기 위한 제2 입력 커맨드로 변환하는 커맨드 변환부를 포함하며, 상기 커맨드 변환부는 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하기 위한 손 모양-커맨드 변환 테이블 및 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하기 위한 조도-커멘드 변환 테이블을 포함한다. A portable terminal according to an embodiment of the present application includes an image capturing unit for photographing a user's hand; an illuminance sensor for detecting illuminance; a detection unit detecting a hand shape from the original image received from the image capturing unit and detecting a change in illuminance from the illuminance data received from the illuminance sensor; and converting the hand shape information received from the detector into a first input command for controlling the virtual reality content of the VR viewer, and converting the illuminance change information received from the detector into a second input command for controlling the virtual reality content and a command converter for converting, wherein the command converter includes a hand-command conversion table for converting the hand shape information into the first input command and an illuminance-command for converting the illuminance change information into the second input command. Includes conversion table.

일 실시 예에 있어서, 상기 검출부는 상기 원본 영상으로부터 손 모양을 검출하는 손 모양 검출 모듈; 상기 원본 영상으로부터 손 움직임을 검출하는 손 동작 추적 모듈; 및 상기 조도 데이터로부터 조도 변화를 검출하는 조도 변화 검출 모듈을 포함한다.In an embodiment, the detection unit includes a hand shape detection module for detecting a hand shape from the original image; a hand motion tracking module for detecting hand motion from the original image; and an illuminance change detection module configured to detect an illuminance change from the illuminance data.

일 실시 예에 있어서, 상기 손 모양 검출 모듈은 상기 원본 영상으로부터 손 영역을 추출하는 손 영역 추출 회로; 및 상기 손 영역으로부터 손 모양을 판단하는 손 모양 판단 회로를 포함하며, 상기 손 영역 추출 회로는 상기 원본 영상에 포함된 각 픽셀의 색 값에 기초하여, 상기 손 영역을 추출한다.In one embodiment, the hand shape detection module comprises: a hand region extraction circuit for extracting a hand region from the original image; and a hand shape determination circuit for determining a hand shape from the hand area, wherein the hand area extraction circuit extracts the hand area based on a color value of each pixel included in the original image.

일 실시 예에 있어서, 상기 손 모양 판단 회로는 상기 손 영역에 대한 적응적 이진화 처리를 수행하여 적어도 하나의 손가락 영역을 검출한다.In an embodiment, the hand shape determination circuit detects at least one finger region by performing adaptive binarization on the hand region.

일 실시 예에 있어서, 상기 손 모양 판단 회로는 상기 손 영역에 대한 손가락 말단 포인트 및 손가락 사이 포인트를 검출한다.In one embodiment, the hand shape determination circuit detects a finger distal point and an inter-finger point for the hand region.

일 실시 예에 있어서, 상기 커맨드 변환부는 상기 손 모양 검출 모듈로부터 상기 손 모양 정보를 수신하며, 상기 손 모양-커맨드 변환 테이블에 기초하여 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하는 손 모양-커맨드 변환 모듈; 상기 손 동작 추적 모듈로부터 손 움직임 정보를 수신하며, 손 동작-커맨드 변환 테이블에 기초하여 상기 손 움직임 정보를 제3 입력 커맨드로 변환하는 손 동작-커맨드 변환 모듈; 및 상기 조도 변화 검출 모듈로부터 상기 조도 변화 정보를 수신하며, 상기 조도-커맨드 변환 테이블에 기초하여 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하는 조도-커맨드 변환 모듈을 포함한다.In an embodiment, the command conversion unit receives the hand shape information from the hand shape detection module, and converts the hand shape information into the first input command based on the hand shape-command conversion table. command conversion module; a hand motion-command conversion module that receives hand motion information from the hand motion tracking module and converts the hand motion information into a third input command based on a hand motion-command conversion table; and an illuminance-command conversion module that receives the illuminance change information from the illuminance change detection module and converts the illuminance change information into the second input command based on the illuminance-command conversion table.

일 실시 예에 있어서, 상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보에 포함된 손가락 영역의 개수에 기초하여 단일 입력 커맨드 방식 또는 다중 입력 커맨드 방식 중 어느 하나를 지원한다.In an embodiment, the hand shape-command conversion module supports either a single input command method or a multiple input command method based on the number of finger regions included in the hand shape information.

일 실시 예에 있어서, 상기 손 모양 정보에 포함된 상기 손가락 영역의 개수가 2개 이상인 경우, 상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보를 적어도 2개의 입력 커맨드로 변환한다.In an embodiment, when the number of the finger regions included in the hand shape information is two or more, the hand shape-command conversion module converts the hand shape information into at least two input commands.

일 실시 예에 있어서, 상기 손 모양 정보에 포함된 상기 손가락 영역의 개수가 2개 미만인 경우, 상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보를 하나의 입력 커맨드로 변환한다.In an embodiment, when the number of the finger regions included in the hand shape information is less than two, the hand shape-command conversion module converts the hand shape information into one input command.

일 실시 예에 있어서, 상기 조도 변화 커맨드 모듈은 상기 조도-커맨드 변환 테이블에 기초하여 상기 조도 변화 정보를 디폴트 입력 값으로 변환하고, 상기 디폴트 입력 값은 상기 VR 뷰어에 제공되지 않는다.In an embodiment, the illuminance change command module converts the illuminance change information into a default input value based on the illuminance-command conversion table, and the default input value is not provided to the VR viewer.

본 출원의 실시 예에 따른 휴대용 단말은 장착된 카메라 및/또는 센서를 통하여 VR 뷰어에서 실행되는 가상현실 콘텐츠를 제어할 수 있다. 별도의 컨트롤러가 필요 없기 때문에, 본 출원의 실시 예에 따른 휴대용 단말은 가상현실 콘텐츠를 이용하기 위한 비용을 절감할 수 있다.The portable terminal according to an embodiment of the present application may control the virtual reality content executed in the VR viewer through the mounted camera and/or sensor. Since a separate controller is not required, the portable terminal according to the embodiment of the present application can reduce the cost for using virtual reality content.

도 1은 본 출원의 일 실시 예에 따른 휴대용 단말을 보여주는 블록도이다.
도 2는 도 1의 손 모양 검출 모듈을 좀 더 자세히 보여주는 블록도이다.
도 3은 도 1의 손 모양 검출 모듈의 동작을 설명하기 위한 도면이다.
도 4는 도 1의 손 모양-커맨드 변환 모듈에 저장된 손 모양-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 5는 도 1의 손 동작-커맨드 변환 모듈에 저장된 손 동작-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 6은 도 1의 조도-커맨드 변환 모듈에 저장된 조도-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 7은 도 1의 휴대용 단말의 동작을 보여주는 순서도이다.
도 8은 도 1의 손 모양 검출 모듈 및 손 모양-커맨드 변환 모듈의 동작을 좀 더 자세히 설명하기 위한 순서도이다.
도 9는 본 출원의 다른 실시 예에 따른 휴대용 단말을 보여주는 블록도이다.
도 10은 도 1의 휴대용 단말이 장착되는 VR 뷰어의 일 예를 보여주는 도면이다.1 is a block diagram illustrating a portable terminal according to an embodiment of the present application.
FIG. 2 is a block diagram showing the hand shape detection module of FIG. 1 in more detail.
FIG. 3 is a view for explaining the operation of the hand shape detection module of FIG. 1 .
4 is a diagram illustrating an example of a hand shape-command conversion table stored in the hand shape-command conversion module of FIG. 1 .
5 is a diagram illustrating an example of a hand motion-command conversion table stored in the hand motion-command conversion module of FIG. 1 .
FIG. 6 is a diagram illustrating an example of an illuminance-command conversion table stored in the illuminance-command conversion module of FIG. 1 .
7 is a flowchart illustrating an operation of the portable terminal of FIG. 1 .
8 is a flowchart for explaining the operation of the hand shape detection module and the hand shape-command conversion module of FIG. 1 in more detail.
9 is a block diagram illustrating a portable terminal according to another embodiment of the present application.
10 is a diagram illustrating an example of a VR viewer to which the portable terminal of FIG. 1 is mounted.

이하에서는, 본 출원의 기술적 사상을 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 출원의 실시 예들이 첨부된 도면을 참조하여 설명될 것이다. Hereinafter, embodiments of the present application will be described with reference to the accompanying drawings in order to describe in detail the technical idea of the present application to be easily implemented by those of ordinary skill in the art to which the present application belongs.

도 1은 본 출원의 일 실시 예에 따른 휴대용 단말(100)을 보여주는 블록도이다. 1 is a block diagram showing a portable terminal 100 according to an embodiment of the present application.

본 출원의 실시 예에 따른 휴대용 단말(100)은 VR 뷰어에 장착될 수 있으며, VR 뷰어에서 실행되는 가상현실 콘텐츠를 제어하기 위한 VR 제어 커맨드를 생성할 수 있다. 도 1을 참조하면, 휴대용 단말(100)은 영상 촬영부(110), 조도 센서(120), 검출부(130) 및 커맨드 변환부(140)를 포함한다.The portable terminal 100 according to an embodiment of the present application may be mounted on a VR viewer and may generate a VR control command for controlling virtual reality content executed in the VR viewer. Referring to FIG. 1 , the portable terminal 100 includes an image capturing unit 110 , an illuminance sensor 120 , a detecting unit 130 , and a command converting unit 140 .

영상 촬영부(110)는 사용자의 손을 촬영하여 원본 영상을 생성할 수 있다. 예를 들어, 영상 촬영부(110)는 스마트 폰, 태블릿 PC 등의 휴대용 단말(100)에 장착된 카메라일 수 있으며, 휴대용 단말(100)을 조작하는 사용자의 손을 촬영하여 원본 영상을 생성할 수 있다. The image capture unit 110 may generate an original image by photographing the user's hand. For example, the image capturing unit 110 may be a camera mounted on a portable terminal 100 such as a smart phone or a tablet PC, and may generate an original image by photographing a user's hand operating the portable terminal 100 . can

여기서, 영상 촬영부(110)에 의하여 생성된 원본 영상은 2차원의 시각 정보 데이터일 수 있다. 다른 예로, 원본 영상은 2차원 시각 정보에 심도 정보를 더 포함하는 데이터일 수도 있다. 다른 예로, 원본 영상은 복수의 프레임으로 이루어진 동영상일 수 있다. 다른 예로, 원본 영상은 복수의 프레임으로 이루어진 동영상의 어느 하나의 프레임일 수도 있다.Here, the original image generated by the image capturing unit 110 may be two-dimensional visual information data. As another example, the original image may be data including depth information in addition to 2D visual information. As another example, the original image may be a moving image composed of a plurality of frames. As another example, the original image may be any one frame of a moving picture composed of a plurality of frames.

조도 센서(120)는 휴대용 단말(100) 주위의 밝기를 감지할 수 있다. 예를 들어, 조도 센서(120)는 스마트 폰, 태블릿 PC 등의 휴대용 단말(100)에 장착된 CDS 센서일 수 있으며, 사용자의 손이 조도 센서를 가리는 경우에 휴대용 단말(100) 주위의 밝기가 낮아진 것으로 감지할 수 있다.The illuminance sensor 120 may detect brightness around the portable terminal 100 . For example, the illuminance sensor 120 may be a CDS sensor mounted on the portable terminal 100 such as a smart phone or a tablet PC, and when the user's hand covers the illuminance sensor, the brightness around the portable terminal 100 is reduced. lowered can be perceived.

예를 들어, 조도 센서(120)는 빛에 반응하여 전류를 생성하는 소자일 수 있으며, 스마트 폰, 태블릿 PC 등의 표면에 장착되는 소형의 표면 장착형(SMT; Surface Mount Technology) 소자일 수 있다. 예를 들어, 조도 센서(120)는 광 도전셀(photoelectric cell), 광 기전력셀(photovoltaic cell), 포토다이오드(photo diode) 또는 포토트랜지스터(photo transistor) 중 어느 하나일 수 있다.For example, the illuminance sensor 120 may be a device that generates a current in response to light, or may be a small surface mount technology (SMT) device mounted on the surface of a smart phone or a tablet PC. For example, the illuminance sensor 120 may be any one of a photoelectric cell, a photovoltaic cell, a photodiode, or a phototransistor.

검출부(130)는 영상 촬영부(110)로부터 원본 영상을 수신하고, 조도 센서(120)로부터 조도 데이터를 수신할 수 있다. 검출부(130)는 수신된 원본 영상으로부터 손 모양 또는 손 동작을 검출하고, 수신된 조도 데이터로부터 조도 변화를 검출할 수 있다. 이를 위하여, 검출부(130)는 손 모양 검출 모듈(131), 손 동작 추적 모듈(132) 및 조도 변화 검출 모듈(133)을 포함할 수 있다.The detector 130 may receive an original image from the image capture unit 110 and receive illuminance data from the illuminance sensor 120 . The detector 130 may detect a hand shape or a hand motion from the received original image, and detect a change in illuminance from the received illuminance data. To this end, the detection unit 130 may include a hand shape detection module 131 , a hand motion tracking module 132 , and an illumination change detection module 133 .

손 모양 검출 모듈(131)은 영상 촬영부(110)로부터 원본 영상을 수신할 수 있다. 여기서, 원본 영상은 2차원 시각 정보 데이터일 수 있다. 손 모양 검출 모듈(131)은 수신된 원본 영상으로부터 손 영역을 추출하고, 추출된 손 영역으로부터 손 모양을 판단할 수 있다.The hand shape detection module 131 may receive an original image from the image capturing unit 110 . Here, the original image may be 2D visual information data. The hand shape detection module 131 may extract a hand region from the received original image and determine a hand shape from the extracted hand region.

예를 들어, 손 모양 검출 모듈(131)은 손 영역에 대한 적응적 이진화 처리를 수행하여 손가락 영역을 추출함으로써, 손 모양을 판단할 수 있다. 다른 예로, 손 모양 검출 모듈(131)은 손 영역으로부터 손가락 말단 포인트 및 손가락 사이 포인트를 추출함으로써, 손 모양을 판단할 수 있다. 다만, 이는 예시적인 것이며, 본 출원의 기술적 사상은 이에 한정되지 않음이 이해될 것이다.For example, the hand shape detection module 131 may determine the hand shape by performing adaptive binarization processing on the hand region and extracting the finger region. As another example, the hand shape detection module 131 may determine the hand shape by extracting a finger tip point and a point between the fingers from the hand region. However, it will be understood that this is an example, and the technical spirit of the present application is not limited thereto.

손 동작 추적 모듈(132)은 영상 촬영부(110)로부터 원본 영상을 수신할 수 있다. 여기서, 원본 영상은 복수의 프레임으로 이루어진 동영상이거나, 소정 시간 간격으로 촬영된 적어도 2개의 프레임일 수 있다. 손 동작 추적 모듈(132)은 수신된 원본 영상으로부터 사용자의 손의 움직임을 추적할 수 있다. The hand motion tracking module 132 may receive an original image from the image capturing unit 110 . Here, the original image may be a moving picture composed of a plurality of frames or at least two frames captured at a predetermined time interval. The hand motion tracking module 132 may track the motion of the user's hand from the received original image.

예를 들어, 손 동작 추적 모듈(132)은 원본 영상에 포함된 제1 프레임에 대한 이진화 및 레이블링(labeling) 처리를 수행하여 제1 손 영역을 추출하고, 원본 영상에 포함된 제2 프레임에 대한 이진화 및 레이블링 처리를 수행하여 제2 손 영역을 추출할 수 있다. 손 동작 추적 모듈(132)은 제1 및 제2 손 영역으로부터 각각 제1 및 제2 중심점을 추출하고, 추출된 제1 중심점과 제2 중심점은 서로 연결함으로써 사용자의 손의 움직임을 추적할 수 있다. 다만, 이는 예시적인 것이며, 손 동작 추적 모듈(132)은 다양한 방법에 의하여 사용자의 손의 움직임을 추적할 수 있다. For example, the hand motion tracking module 132 extracts the first hand region by performing binarization and labeling processing on the first frame included in the original image, The second hand region can be extracted by performing binarization and labeling processing. The hand motion tracking module 132 extracts first and second center points from the first and second hand regions, respectively, and connects the extracted first and second center points to each other to track the movement of the user's hand. . However, this is only an example, and the hand motion tracking module 132 may track the motion of the user's hand by various methods.

조도 변화 감지 모듈(133)은 조도 센서(120)로부터 조도 데이터를 수신할 수 있다. 조도 변화 감지 모듈(133)은 수신된 데이터와 기준 값을 비교함으로써, 조도 변화를 검출할 수 있다. The illuminance change detection module 133 may receive illuminance data from the illuminance sensor 120 . The illuminance change detection module 133 may detect the illuminance change by comparing the received data with a reference value.

예를 들어, 조도 센서(120)는 빛에 반응하여 전류를 생성하는 소자인 경우, 사용자가 조도 센서(120)를 손으로 가리는지 여부에 따라 조도 센서(120)에서 생성되는 전류의 양이 변화할 수 있다. For example, when the illuminance sensor 120 is a device that generates a current in response to light, the amount of current generated by the illuminance sensor 120 varies depending on whether the user covers the illuminance sensor 120 with a hand. can do.

이 경우, 조도 변화 감지 모듈(133)은 조도 센서(120)로부터 수신된 전류와 기준 전류를 비교함으로써 조도 변화를 검출할 수 있다. 예를 들어, 수신된 전류가 기준 전류보다 작은 경우, 조도 변화 감지 모듈(133)은 사용자가 조도 센서(120)를 가리지 않아 조도 변화가 없는 상태로 인식할 수 있다. 다른 예로, 수신된 전류가 기준 전류보다 큰 경우, 조도 변화 감지 모듈(133)은 사용자가 조도 센서(120)를 가려서 조도에 변화가 생긴 상태로 인식할 수 있다. In this case, the illuminance change detection module 133 may detect the illuminance change by comparing the current received from the illuminance sensor 120 with a reference current. For example, when the received current is smaller than the reference current, the illuminance change detection module 133 may recognize the illuminance change detection module 133 as a state in which there is no illuminance change because the user does not cover the illuminance sensor 120 . As another example, when the received current is greater than the reference current, the illuminance change detection module 133 may recognize that the illuminance change has occurred because the user covers the illuminance sensor 120 .

커맨드 변환부(140)는 검출부(130)로부터 손 모양, 손 동작 또는 조도 변화 중 적어도 하나를 수신할 수 있다. 커맨드 변환부(140)는 수신된 손 모양, 손 동작 또는 조도 변화를 각각 대응하는 입력 커맨드로 변환할 수 있다. 여기서, 입력 커맨드는 VR 뷰어에서 실행되는 가상현실 콘텐츠를 제어하기 위한 커맨드일 수 있다. 커맨드 변환부(140)는 손 모양-커맨드 변환 모듈(141), 손 동작-커맨드 변환 모듈(142) 및 조도-커맨드 변환 모듈(143)을 포함한다.The command conversion unit 140 may receive at least one of a hand shape, a hand motion, or an illumination change from the detection unit 130 . The command conversion unit 140 may convert the received hand shape, hand motion, or illuminance change into corresponding input commands. Here, the input command may be a command for controlling the virtual reality content executed in the VR viewer. The command conversion unit 140 includes a hand shape-command conversion module 141 , a hand motion-command conversion module 142 , and an illuminance-command conversion module 143 .

손 모양-커맨드 변환 모듈(141)은 손 모양 검출 모듈(131)로부터 사용자의 손 모양에 대한 정보를 수신할 수 있다. 손 모양-커맨드 변환 모듈(141)은 미리 설정된 손 모양-커맨드 변환 테이블을 저장하고 있으며, 해당 손 모양-커맨드 변환 테이블에 기초하여 수신된 손 모양을 대응하는 입력 커맨드로 변환할 수 있다.The hand shape-command conversion module 141 may receive information about the user's hand shape from the hand shape detection module 131 . The hand shape-command conversion module 141 stores a preset hand shape-command conversion table, and may convert the received hand shape into a corresponding input command based on the corresponding hand shape-command conversion table.

손 동작-커맨드 변환 모듈(142)은 손 동작 추적 모듈(132)로부터 사용자의 손의 움직임에 대한 정보를 수신할 수 있다. 손 동작-커맨드 변환 모듈(142)은 미리 설정된 손 동작-커맨드 변환 테이블을 저장하고 있으며, 해당 손 동작-커맨드 변환 테이블에 기초하여 수신된 사용자의 손 동작을 대응하는 입력 커맨드로 변환할 수 있다. The hand motion-command conversion module 142 may receive information about the user's hand motion from the hand motion tracking module 132 . The hand motion-command conversion module 142 stores a preset hand motion-command conversion table, and may convert the received user's hand motion into a corresponding input command based on the corresponding hand motion-command conversion table.

조도-커맨드 변환 모듈(143)은 조도 변화 검출 모듈(133)로부터 조도 변화에 대한 정보를 수신할 수 있다. 조도-커맨드 변환 모듈(143)은 미리 설정된 조도-커맨드 변환 테이블을 저장하고 있으며, 해당 조도-커맨드 변환 테이블에 기초하여 수신된 조도 변화를 대응하는 입력 커맨드로 변환할 수 있다. The illuminance-command conversion module 143 may receive information about the illuminance change from the illuminance change detection module 133 . The illuminance-command conversion module 143 may store a preset illuminance-command conversion table and convert the received illuminance change into a corresponding input command based on the corresponding illuminance-command conversion table.

상술한 바와 같이, 본 출원의 기술적 사상에 따른 휴대용 단말(100)은 가상현실 콘텐츠를 실행하는 VR 뷰어에 장착될 수 있다. 또한, 휴대용 단말(100)은 휴대용 단말(100)에 장착된 카메라 및/또는 조도 센서를 이용하여 사용자의 손 모양, 손 동작 또는 조도 변화를 검출하고, 이를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 입력 커맨드로 변환할 수 있다. 이에 따라, 본 출원의 기술적 사상에 따른 휴대용 단말(100)은 별도의 컨트롤러 없이 사용자가 VR 뷰어에서 실행되는 가상현실 콘텐츠와 상호작용하는 것을 가능하게 할 수 있다. As described above, the portable terminal 100 according to the technical idea of the present application may be mounted on a VR viewer that executes virtual reality content. In addition, the portable terminal 100 detects a user's hand shape, hand motion, or illuminance change using a camera and/or an illuminance sensor mounted on the portable terminal 100, and controls the VR viewer's virtual reality content. It can be converted to an input command. Accordingly, the portable terminal 100 according to the technical idea of the present application may enable a user to interact with virtual reality content executed in a VR viewer without a separate controller.

도 2는 도 1의 손 모양 검출 모듈(131)을 좀 더 자세히 보여주는 블록도이며, 도 3은 도 1의 손 모양 검출 모듈(131)의 동작을 설명하기 위한 도면이다.FIG. 2 is a block diagram showing the hand shape detection module 131 of FIG. 1 in more detail, and FIG. 3 is a diagram for explaining the operation of the hand shape detection module 131 of FIG. 1 .

도 2를 참조하면, 손 모양 검출 모듈(131)은 손 영역 추출 회로(131_1) 및 손 모양 판단 회로(131_2)를 포함한다. Referring to FIG. 2 , the hand shape detection module 131 includes a hand region extraction circuit 131_1 and a hand shape determination circuit 131_2 .

손 영역 추출 회로(131_1)는 영상 촬영부(110)로부터 원본 영상을 수신하고, 수신된 원본 영상으로부터 사용자의 손 영역을 추출할 수 있다. The hand region extraction circuit 131_1 may receive an original image from the image capturing unit 110 and extract a user's hand region from the received original image.

예를 들어, 도 3a를 참조하면, 손 영역 추출 회로(131_1)는 원본 영상의 각 픽셀(pixel)의 색 값을 기준으로 배경과 손 영역을 분리할 수 있다. 이후, 손 영역 추출 회로(131_1)는 각 픽셀의 색 값이 피부색 값 범위에 해당하는 영역을 백색 영역으로 변환하고, 각 픽셀의 색 값이 피부색 값 범위에 해당하지 않는 영역을 흑색 영역으로 변환할 수 있다. For example, referring to FIG. 3A , the hand region extraction circuit 131_1 may separate the background and the hand region based on the color value of each pixel of the original image. Thereafter, the hand region extraction circuit 131_1 converts a region in which the color value of each pixel corresponds to the skin color value range into a white region, and converts a region in which the color value of each pixel does not correspond to the skin color value range into a black region. can

손 모양 판단 회로(131_2)는 손 영역 추출 회로(131_1)로부터 손 영역에 대한 정보를 수신한다. 손 모양 판단 회로(131_2)는 수신된 손 영역에 기초하여, 손 모양을 판단할 수 있다.The hand shape determination circuit 131_2 receives information about the hand region from the hand region extraction circuit 131_1 . The hand shape determination circuit 131_2 may determine the hand shape based on the received hand region.

예를 들어, 손 모양 판단 회로(131_2)는 수신된 손 영역에 대하여 적응적 이진화 처리를 수행함으로써, 손 모양을 판단할 수 있다. For example, the hand shape determination circuit 131_2 may determine the hand shape by performing adaptive binarization on the received hand region.

도 3b를 참조하여 좀 더 자세히 설명하면, 손 모양 판단 회로(131_2)는 먼저 손 영역에 적응적 이진화 처리를 수행하여 각 손가락에 대응하는 손가락 영역들을 검출할 수 있다. 이후, 손 모양 판단 회로(131_2)는 검출된 손가락 영역들에 기초하여 손 모양을 판단할 수 있다. 예를 들어, 손 모양 판단 회로(131_2)는 검출된 손가락 영역들의 개수 및/또는 위치에 기초하여, 손 모양을 판단할 수 있다.3B , the hand shape determination circuit 131_2 may first perform adaptive binarization on the hand region to detect finger regions corresponding to each finger. Thereafter, the hand shape determination circuit 131_2 may determine the hand shape based on the detected finger regions. For example, the hand shape determination circuit 131_2 may determine the hand shape based on the number and/or positions of the detected finger regions.

다른 예로, 손 모양 판단 회로(131_2)는 수신된 손 영역으로부터 손가락 말단 포인트 및 손가락 사이 포인트를 검출함으로써, 손 모양을 판단할 수 있다. As another example, the hand shape determination circuit 131_2 may determine the hand shape by detecting a finger tip point and a finger point point from the received hand region.

도 3c를 참조하여 좀 더 자세히 설명하면, 손 모양 판단 회로(131_2)는 먼저 수신된 손 영역에 기초하여, 손 영역과 배경 영역 사이의 경계선 벡터를 검출할 수 있다. 이후, 손 모양 판단 회로(131_2)는 경계선 벡터에서 손가락 말단 포인트 및 손가락 사이 포인트를 검출할 수 있다. Referring to FIG. 3C , the hand shape determination circuit 131_2 may detect a boundary line vector between the hand region and the background region based on the first received hand region. Thereafter, the hand shape determination circuit 131_2 may detect a finger end point and a point between the fingers from the boundary line vector.

일 실시 예에 있어서, 손 모양 판단 회로(131_2)는 경계선 벡터에서 일정 각도 이하의 변곡점에 해당하는 포인트를 검출함으로써, 손가락 말단 포인트 및 손가락 사이 포인트를 검출할 수 있다. 예를 들어, 손 모양 판단 회로(131_2)는 경계선 벡터를 해리스 코너 검출기(harris corner detector)에 입력하여 변곡점에 해당되는 포인트가 포함된 주변 벡터가 오목(concave) 형태이면, 이를 손가락 말단 포인트로 검출할 수 있다. 반대로, 손 모양 판단 회로(131_2)는 변곡점에 해당되는 포인트가 포함된 주변 벡터가 볼록(convex) 형태이면, 이를 손가락 사이 포인트로 검출할 수 있다. In an embodiment, the hand shape determination circuit 131_2 may detect a point at the end of a finger and a point between the fingers by detecting a point corresponding to an inflection point of a predetermined angle or less in the boundary line vector. For example, the hand shape determination circuit 131_2 inputs a boundary line vector to a Harris corner detector and, if a peripheral vector including a point corresponding to an inflection point is concave, it is detected as a finger tip point. can do. Conversely, if the peripheral vector including the point corresponding to the inflection point has a convex shape, the hand shape determination circuit 131_2 may detect it as a point between the fingers.

이후, 손 모양 판단 회로(131_2)는 검출된 손가락 말단 포인트 및 손가락 사이 포인트에 기초하여, 손 모양을 판단할 수 있다. 예를 들어, 손 모양 판단 회로(131_2)는 손가락 말단 포인트와 이에 대응하는 손가락 사이 포인트 사이의 거리, 손가락 말단 포인트의 개수 및/또는 손가락 사이 포인트의 개수에 기초하여, 손 모양을 판단할 수 있다. Thereafter, the hand shape determination circuit 131_2 may determine the hand shape based on the detected finger end point and inter-finger point. For example, the hand shape determination circuit 131_2 may determine a hand shape based on a distance between a finger distal point and a corresponding interdigital point, the number of finger distal points, and/or the number of interdigital points. .

도 4는 도 1의 손 모양-커맨드 변환 모듈(141)에 저장된 손 모양-커맨드 변환 테이블의 일 예를 보여주는 도면이다. FIG. 4 is a diagram illustrating an example of a hand shape-command conversion table stored in the hand shape-command conversion module 141 of FIG. 1 .

도 1 및 도 4를 참조하면, 손 모양-커맨드 변환 모듈(141)은 손 모양 검출 모듈(131)로부터 손 모양에 대한 정보를 수신할 수 있다. 이후, 손 모양-커맨드 변환 모듈(141)은 기 저장된 손 모양-커맨드 변환 테이블에 기초하여, 수신된 손 모양에 대한 정보를 VR을 제어하기 위한 입력 커맨드로 변환할 수 있다.1 and 4 , the hand shape-command conversion module 141 may receive information about the hand shape from the hand shape detection module 131 . Thereafter, the hand shape-command conversion module 141 may convert the received hand shape information into an input command for controlling VR based on a pre-stored hand shape-command conversion table.

본 출원의 기술적 사상에 따른 일 실시 예에 있어서, 손 모양-커맨드 변환 모듈(141)은 단일 입력 커맨드 방식 및 다중 입력 커맨드 방식을 모두 지원할 수 있다. 여기서, 단일 입력 방식은 하나의 손 모양을 하나의 입력 커맨드로 변환하는 것을 가리키며, 다중 입력 방식은 하나의 손 모양을 복수의 입력 커맨드로 변환하는 것을 가리킨다. In an embodiment according to the spirit of the present application, the hand shape-command conversion module 141 may support both a single input command method and a multiple input command method. Here, the single input method refers to converting one hand shape into one input command, and the multiple input method refers to converting one hand shape into a plurality of input commands.

본 출원의 일 실시 예에 있어서, 사용자의 손 모양에서 펼쳐진 손 가락의 개수가 2개 미만인 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 단일 입력 커맨드로 변환할 수 있다. In an embodiment of the present application, when the number of extended fingers in the user's hand shape is less than two, the hand shape-command conversion module 141 may convert the corresponding hand shape into a single input command.

예를 들어, 엄지 손가락이 펼쳐진 손 모양 정보가 수신되는 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 제1 입력 커맨드(CMD_1)로 변환할 수 있다. 다른 예로, 검지 손가락이 펼쳐진 손 모양 정보가 수신되는 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 제2 입력 커맨드(CMD_2)로 변환할 수 있다. For example, when information on a hand shape with an extended thumb is received, the hand shape-command conversion module 141 may convert the corresponding hand shape into the first input command CMD_1 . As another example, when information on a hand shape with an extended index finger is received, the hand shape-command conversion module 141 may convert the corresponding hand shape into the second input command CMD_2 .

본 출원의 일 실시 예에 있어서, 사용자의 손 모양에서 펼쳐진 손 가락의 개수가 2개 이상인 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 다중 입력 커맨드로 변환할 수 있다. In an embodiment of the present application, when the number of fingers spread out in the user's hand shape is two or more, the hand shape-command conversion module 141 may convert the corresponding hand shape into a multi-input command.

예를 들어, 엄지 및 검지 손가락이 펼쳐진 손 모양 정보가 수신되는 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 제1 입력 커맨드(CMD_1) 및 제2 입력 커맨드(CMD_2)로 변환할 수 있다. 변환된 제1 및 제2 입력 커맨드(CMD_1, CMD_2)는 각각 순차적으로 VR 뷰어에 제공될 수 있다. For example, when information on a hand shape with the thumb and index finger outstretched is received, the hand shape-command conversion module 141 converts the hand shape into the first input command CMD_1 and the second input command CMD_2 . can The converted first and second input commands CMD_1 and CMD_2 may be sequentially provided to the VR viewer, respectively.

다른 예로, 검지 및 중지 손가락이 펼쳐진 손 모양 정보가 수신되는 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 제2 입력 커맨드(CMD_2) 및 제3 입력 커맨드(CMD_3)로 변환할 수 있다. 변환된 제2 및 제3 입력 커맨드(CMD_2, CMD_3)는 각각 순차적으로 VR 뷰어에 제공될 수 있다.As another example, when information on a hand shape with the index and middle fingers spread out is received, the hand shape-command conversion module 141 may convert the corresponding hand shape into the second input command CMD_2 and the third input command CMD_3 . have. The converted second and third input commands CMD_2 and CMD_3 may be sequentially provided to the VR viewer, respectively.

상술한 바와 같이, 본 출원의 실시 예에 따른 휴대용 단말(100)은 단일 입력 커맨드 방식과 다중 입력 커맨드 방식을 지원할 수 있다. 이에 따라, 사용자가 좀 더 효율적으로 VR 뷰어에서 실행되는 가상현실 콘텐츠와 상호작용할 수 있다. As described above, the portable terminal 100 according to an embodiment of the present application may support a single input command method and a multiple input command method. Accordingly, the user can more efficiently interact with the virtual reality content executed in the VR viewer.

도 5는 도 1의 손 동작-커맨드 변환 모듈(142)에 저장된 손 동작-커맨드 변환 테이블의 일 예를 보여주는 도면이다. FIG. 5 is a diagram illustrating an example of a hand motion-command conversion table stored in the hand motion-command conversion module 142 of FIG. 1 .

도 1 및 도 5를 참조하면, 손 동작-커맨드 변환 모듈(142)은 손 동작 추적 모듈(132)로부터 손의 움직임에 대한 정보를 수신할 수 있다. 이후, 손 동작-커맨드 변환 모듈(142)은 기 저장된 손 동작-커맨드 변환 테이블에 기초하여, 수신된 손의 움직임에 대한 정보를 VR을 제어하기 위한 입력 커맨드로 변환할 수 있다.1 and 5 , the hand motion-command conversion module 142 may receive information on the hand motion from the hand motion tracking module 132 . Thereafter, the hand motion-command conversion module 142 may convert the received hand motion information into an input command for controlling VR based on a pre-stored hand motion-command conversion table.

예를 들어, 손 동작-커맨드 변환 테이블에는 좌측에서 우측으로 움직이는 손 동작 및 이에 대응하는 입력 커맨드가 저장되어 있을 수 있다. 이 경우, 손 동작-커맨드 변환 모듈(142)은 손 동작 추적 모듈(132)로부터 수신된 손의 움직임에 대한 정보가 손 동작-커맨드 변환 테이블에 저장된 손 동작과 일치하는지 여부를 판단한다. 만약 일치한다면, 손 동작-커맨드 변환 모듈(142)은 해당 손 동작을 슬라이드 입력 커맨드(CMD_slide)로 변환하고, 이를 VR 뷰어에 제공할 것이다. 만약 일치하지 않는다면, 손 동작-커맨드 변환 모듈(142)은 해당 손 동작을 노이즈로 인식하고, 입력 커맨드를 생성하지 않을 것이다. For example, the hand motion-command conversion table may store a hand motion moving from left to right and an input command corresponding thereto. In this case, the hand motion-command conversion module 142 determines whether the hand motion information received from the hand motion tracking module 132 matches the hand motion stored in the hand motion-command conversion table. If they match, the hand motion-command conversion module 142 will convert the hand motion into a slide input command (CMD_slide) and provide it to the VR viewer. If they do not match, the hand motion-command conversion module 142 will recognize the hand motion as noise and will not generate an input command.

도 6은 도 1의 조도-커맨드 변환 모듈(143)에 저장된 조도-커맨드 변환 테이블의 일 예를 보여주는 도면이다. FIG. 6 is a diagram illustrating an example of an illuminance-command conversion table stored in the illuminance-command conversion module 143 of FIG. 1 .

도 1 및 도 6을 참조하면, 조도-커맨드 변환 모듈(143)은 조도 변화 검출 모듈(132)로부터 조도 변화에 대한 정보를 수신할 수 있다. 이후, 조도-커맨드 변환 모듈(143)은 기 저장된 조도-커맨드 변환 테이블에 기초하여, 조도 변화에 대한 정보를 VR을 제어하기 위한 입력 커맨드로 변환할 수 있다.1 and 6 , the illuminance-command conversion module 143 may receive information on the illuminance change from the illuminance change detection module 132 . Thereafter, the illuminance-to-command conversion module 143 may convert information on the illuminance change into an input command for controlling VR based on a pre-stored illuminance-command conversion table.

예를 들어, 휴대용 단말(100) 주위의 밝기가 그대로 유지되는 경우, 조도-커맨드 변환 모듈(143)은 계속해서 오프 입력 커맨드(CMD_off)를 생성할 수 있다. 오프 입력 커맨드는 VR 뷰어에 제공되는 디폴트 값일 수 있다. VR 뷰어는 오프 입력 커맨드에 응답하여, 현재 디스플레이 중인 가상현실 콘텐츠를 계속하여 실행할 수 있다.For example, when the brightness around the portable terminal 100 is maintained as it is, the illuminance-command conversion module 143 may continuously generate the off input command CMD_off. The off input command may be a default value provided to the VR viewer. The VR viewer may continue to run the currently displayed virtual reality content in response to the off input command.

예를 들어, 사용자가 손으로 조도 센서를 가림으로써 휴대용 단말(100) 주위의 밝기가 감소하는 경우, 조도-커맨드 변환 모듈(143)은 온 입력 커맨드(CMD_on)를 생성할 수 있다. 온 입력 커맨드(CMD_on)는, 예를 들어, VR 뷰어에서 실행 중인 가상현실 콘텐츠의 일시 멈춤 동작을 제어하는 커맨드일 수 있다. VR 뷰어는 온 입력 커맨드에 응답하여, 현재 디스플레이 중인 가상현실 콘텐츠를 잠시 중지시킬 수 있다. 다만, 이는 예시적인 것이며, 온 입력 커맨드(CMD_on)는 가상현실 콘텐츠의 온(on), 오프(off) 등을 제어하는 커맨드일 수도 있다. For example, when the brightness around the portable terminal 100 is decreased by the user covering the illuminance sensor with his/her hand, the illuminance-command conversion module 143 may generate an on input command CMD_on. The on input command CMD_on may be, for example, a command for controlling a pause operation of the virtual reality content being executed in the VR viewer. The VR viewer may temporarily pause the currently displayed virtual reality content in response to the on input command. However, this is only an example, and the on input command CMD_on may be a command for controlling on, off, and the like of virtual reality content.

상술한 바와 같이, 본 출원의 실시 예에 따른 휴대용 단말은 사용자가 휴대용 단말(100)에 장착되 조도 센서(120)를 가리는지 여부에 따라, VR 입력 커맨드를 생성할 수 있다. 특히, 손 모양 및 손 동작 검출이 어려운 어두운 환경에서도, 조도 센서(120) 및 조도 변화 검출 모듈(133)은 사용자가 조도 센서(120)를 가리는지 여부를 정확하게 검출할 수 있는 장점이 있다. As described above, the portable terminal according to an embodiment of the present application may generate a VR input command according to whether the user covers the illuminance sensor 120 mounted on the portable terminal 100 . In particular, even in a dark environment where it is difficult to detect a hand shape and a hand motion, the illuminance sensor 120 and the illuminance change detection module 133 have an advantage in that it is possible to accurately detect whether the user covers the illuminance sensor 120 .

도 7은 도 1의 휴대용 단말(100)의 동작을 보여주는 순서도이다.7 is a flowchart illustrating an operation of the portable terminal 100 of FIG. 1 .

S110 단계에서, 휴대용 단말(100)은 원본 영상 및/또는 조도 데이터를 생성한다. 예를 들어, 영상 촬영부(110)는 사용자의 손을 촬영하여 원본 영상을 생성하고, 조도 센서(120)는 휴대용 단말(100) 주위의 밝기 변화를 감지하여 조도 데이터를 생성할 수 있다. 영상 촬영부(110)는 생성된 원본 영상을 손 모양 검출 모듈(131) 및 손 동작 추적 모듈(132)에 전달하고, 조도 센서(120)는 생성된 조도 데이터를 조도 변화 검출 모듈(133)에 전달할 수 있다.In step S110, the portable terminal 100 generates an original image and/or illuminance data. For example, the image capturing unit 110 may generate an original image by photographing a user's hand, and the illuminance sensor 120 may generate illuminance data by detecting a change in brightness around the portable terminal 100 . The image capture unit 110 transmits the generated original image to the hand shape detection module 131 and the hand motion tracking module 132 , and the illuminance sensor 120 transmits the generated illuminance data to the illuminance change detection module 133 . can transmit

S120 단계에서, 휴대용 단말(100)은 손 모양, 손 동작 및/또는 조도 변화를 검출할 수 있다. 예를 들어, 손 모양 검출 모듈(131)은 수신된 원본 영상으로부터 손 영역을 추출하고, 추출된 손 영역에 기초하여 손 모양을 판단할 수 있다. 손 동작 추적 모듈(132)은 수신된 원본 영상에 포함된 적어도 2 개의 프레임으로부터 손의 움직임을 추적하여, 손의 움직임 정보를 생성할 수 있다. 조도 변화 검출 모듈(133)은 수신된 조도 데이터에 기초하여, 조도 변화에 대한 정보를 생성할 수 있다.In step S120 , the portable terminal 100 may detect a hand shape, a hand motion, and/or a change in illuminance. For example, the hand shape detection module 131 may extract a hand region from the received original image and determine the hand shape based on the extracted hand region. The hand motion tracking module 132 may generate hand motion information by tracking the motion of the hand from at least two frames included in the received original image. The illuminance change detection module 133 may generate information on the illuminance change based on the received illuminance data.

S130 단계에서, 휴대용 단말(100)은 손 모양, 손 동작 및/또는 조도 변화를 VR 뷰어를 제어하기 위한 입력 커맨드로 변환할 수 있다. 예를 들어, 손 모양-커맨드 변환 모듈(141)은 기 설정된 손 모양-커맨드 변환 테이블에 기초하여, 손 모양을 대응하는 입력 커맨드로 변환할 수 있다. 손 동작-커맨드 변환 모듈(142)은 기 설정된 손 동작-커맨드 변환 테이블에 기초하여, 손 동작을 대응하는 입력 커맨드로 변환할 수 있다. 조도-커맨드 변환 모듈(143)은 기 설정된 조도-커맨드 변환 테이블에 기초하여, 조도 변화를 대응하는 입력 커맨드로 변환할 수 있다.In step S130 , the portable terminal 100 may convert a hand shape, a hand motion, and/or a change in illuminance into an input command for controlling the VR viewer. For example, the hand shape-command conversion module 141 may convert a hand shape into a corresponding input command based on a preset hand shape-command conversion table. The hand motion-command conversion module 142 may convert the hand motion into a corresponding input command based on a preset hand motion-command conversion table. The illuminance-command conversion module 143 may convert the illuminance change into a corresponding input command based on a preset illuminance-command conversion table.

S140 단계에서, 휴대용 단말(100)은 입력 커맨드를 VR 뷰어로 전송할 수 있다.In step S140 , the portable terminal 100 may transmit an input command to the VR viewer.

상술한 바와 같이, 본 출원의 기술적 사상에 따른 휴대용 단말(100)은 휴대용 단말(100)에 장착된 카메라 및/또는 조도 센서를 이용하여 사용자의 손 모양, 손 동작 또는 조도 변화를 검출하고, 이를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 입력 커맨드로 변환할 수 있다. 이에 따라, 본 출원의 기술적 사상에 따른 휴대용 단말(100)은 별도의 컨트롤러 없이 사용자가 VR 뷰어에서 실행되는 가상현실 콘텐츠와 상호작용하는 것을 가능하게 할 수 있다. As described above, the portable terminal 100 according to the technical idea of the present application detects a user's hand shape, hand motion, or illuminance change by using a camera and/or an illuminance sensor mounted on the portable terminal 100 , and It can be converted into an input command to control the VR viewer's virtual reality content. Accordingly, the portable terminal 100 according to the technical idea of the present application may enable a user to interact with virtual reality content executed in a VR viewer without a separate controller.

도 8은 도 1의 손 모양 검출 모듈(131) 및 손 모양-커맨드 변환 모듈(141)의 동작을 좀 더 자세히 설명하기 위한 순서도이다.8 is a flowchart for explaining the operation of the hand shape detection module 131 and the hand shape-command conversion module 141 of FIG. 1 in more detail.

S210 단계에서, 손 모양 검출 모듈(131)은 영상 촬영부(110)로부터 원본 영상을 수신할 수 있다.In step S210 , the hand shape detection module 131 may receive an original image from the image capturing unit 110 .

S220 단계에서, 손 모양 검출 모듈(131)은 원본 영상으로부터 손 영역을 추출할 수 있다. 예를 들어, 손 모양 검출 모듈(131)의 손 영역 추출 회로(131_1)는 원본 영상의 각 픽셀(pixel)의 색 값을 기준으로 배경과 손 영역을 분리할 수 있다.In step S220 , the hand shape detection module 131 may extract a hand region from the original image. For example, the hand region extraction circuit 131_1 of the hand shape detection module 131 may separate the background and the hand region based on the color value of each pixel of the original image.

S230 단계에서, 손 모양 검출 모듈(131)은 손 영역으로부터 손 모양을 판단할 수 있다. 예를 들어, 손 모양 판단 회로(131_2)는 손 영역에 대하여 적응적 이진화 처리를 수행함으로써 손 모양을 판단할 수 있다. 다른 예로, 손 모양 판단 회로(131_2)는 수신된 손 영역으로부터 손가락 말단 포인트 및 손가락 사이 포인트를 검출함으로써, 손 모양을 판단할 수 있다. In step S230 , the hand shape detection module 131 may determine the hand shape from the hand region. For example, the hand shape determination circuit 131_2 may determine the hand shape by performing adaptive binarization on the hand region. As another example, the hand shape determination circuit 131_2 may determine the hand shape by detecting a finger tip point and a finger point point from the received hand region.

S240 단계에서, 손 모양-커맨드 변환 모듈(141)은 손 모양 검출 모듈(131)로부터 손 모양에 대한 정보를 수신할 수 있다. 손 모양-커맨드 변환 모듈(141)은 수신된 손 모양에 포함된 손가락 영역이 2개 이상인지 판단할 수 있다. In step S240 , the hand shape-command conversion module 141 may receive information about the hand shape from the hand shape detection module 131 . The hand shape-command conversion module 141 may determine whether there are two or more finger regions included in the received hand shape.

만약 손 모양에 포함된 손가락 영역이 2개 이상이라면, 손 모양-커맨드 변환 모듈(141)은 다중 입력 커맨드 방식으로 변환 동작을 수행할 수 있다. 즉, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 적어도 2개의 입력 커맨드로 변환할 수 있다(S250 단계). 이후, 손 모양-커맨드 변환 모듈(141)은 생성된 적어도 2개의 입력 커맨드를 VR 뷰어로 순차적으로 송신할 수 있다(S260 단계). If there are two or more finger regions included in the hand shape, the hand shape-command conversion module 141 may perform a conversion operation using a multi-input command method. That is, the hand shape-command conversion module 141 may convert the corresponding hand shape into at least two input commands (step S250 ). Thereafter, the hand shape-command conversion module 141 may sequentially transmit the generated at least two input commands to the VR viewer (step S260 ).

한편, 만약 손 모양에 포함된 손가락 영역이 2개 미만이라면, 손 모양-커맨드 변환 모듈(141)은 단일 입력 커맨드 방식으로 변환 동작을 수행할 수 있다. 즉, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 하나의 입력 커맨드로 변환할 수 있다(S270 단계). 이후, 손 모양-커맨드 변환 모듈(141)은 생성된 하나의 입력 커맨드를 VR 뷰어로 송신할 수 있다(S280 단계).Meanwhile, if the number of finger regions included in the hand shape is less than two, the hand shape-command conversion module 141 may perform a conversion operation using a single input command method. That is, the hand shape-command conversion module 141 may convert the corresponding hand shape into one input command (step S270 ). Thereafter, the hand shape-command conversion module 141 may transmit one generated input command to the VR viewer (step S280 ).

상술한 바와 같이, 본 출원의 실시 예에 따른 휴대용 단말(100)은 단일 입력 커맨드 방식과 다중 입력 커맨드 방식을 지원할 수 있다. 이에 따라, 사용자가 좀 더 효율적으로 VR 뷰어에서 실행되는 가상현실 콘텐츠와 상호작용할 수 있다. As described above, the portable terminal 100 according to an embodiment of the present application may support a single input command method and a multiple input command method. Accordingly, the user can more efficiently interact with the virtual reality content executed in the VR viewer.

한편, 상술한 설명은 예시적인 것이며, 본 출원의 기술적 사상은 이에 한정되지 않음이 이해될 것이다. 이하에서는, 본 출원의 기술적 사상의 다른 응용 예 및 적용 예들이 좀 더 자세히 설명될 것이다. Meanwhile, it will be understood that the above description is exemplary, and the technical spirit of the present application is not limited thereto. Hereinafter, other application examples and application examples of the technical idea of the present application will be described in more detail.

도 9는 본 출원의 다른 실시 예에 따른 휴대용 단말(100_1)을 보여주는 블록도이다. 도 9의 휴대용 단말(100_1)은 도 1의 휴대용 단말(100)과 유사하다. 따라서, 동일하거나 유사한 구성요소는 동일하거나 유사한 참조번호를 사용하여 설명될 것이며, 중복되는 설명은 간략한 설명을 위하여 이하 생략될 것이다.9 is a block diagram illustrating a portable terminal 100_1 according to another embodiment of the present application. The portable terminal 100_1 of FIG. 9 is similar to the portable terminal 100 of FIG. 1 . Accordingly, the same or similar components will be described using the same or similar reference numerals, and overlapping descriptions will be omitted below for the sake of brevity.

도 9를 참조하면, 휴대용 단말(100_1)은 영상 촬영부(110), ToF 센서(120_1), 검출부(130_1) 및 커맨드 변환부(140_1)를 포함한다. 검출부(130_1)는 손 모양 검출 모듈(131), 손 동작 추적 모듈(132) 및 위치 검출 모듈(133_1)을 포함한다. 커맨드 변환부(140_1)는 손 모양-커맨드 변환 모듈(141), 손 동작-커맨드 변환 모듈(142) 및 위치-커맨드 변환 모듈(143_1)을 포함한다. Referring to FIG. 9 , the portable terminal 100_1 includes an image capturing unit 110 , a ToF sensor 120_1 , a detecting unit 130_1 , and a command converting unit 140_1 . The detection unit 130_1 includes a hand shape detection module 131 , a hand motion tracking module 132 , and a position detection module 133_1 . The command conversion unit 140_1 includes a hand shape-command conversion module 141 , a hand motion-command conversion module 142 , and a position-command conversion module 143_1 .

도 1의 휴대용 단말(100)의 조도 센서(120)를 대신하여, 도 9의 휴대용 단말(100_1)은 ToF(Time of Flight) 센서(120_1)를 구비한다. Instead of the illuminance sensor 120 of the portable terminal 100 of FIG. 1 , the portable terminal 100_1 of FIG. 9 includes a Time of Flight (ToF) sensor 120_1 .

구체적으로, 도 9의 휴대용 단말(100_1)은 ToF 센서(120_1)를 통하여 휴대용 단말(100_1)과 사용자 손 사이의 거리를 측정할 수 있다. 예를 들어, ToF 센서(120_1)는 휴대용 단말(100_1)의 표면에 장착될 수 있으며, ToF 센서(120_1)에 포함된 광원으로부터 방사된 펄스 형태의 광신호가 사용자 손에 의해 반사되어 되돌아올 때까지의 시간을 측정하여 사용자 손까지의 거리를 계산할 수 있다. Specifically, the portable terminal 100_1 of FIG. 9 may measure the distance between the portable terminal 100_1 and the user's hand through the ToF sensor 120_1. For example, the ToF sensor 120_1 may be mounted on the surface of the portable terminal 100_1, until the pulsed optical signal emitted from the light source included in the ToF sensor 120_1 is reflected by the user's hand and returned. It is possible to calculate the distance to the user's hand by measuring the time of

위치 검출 모듈(133_1)은 ToF 센서(120_1)로부터 사용자 손과 휴대용 단말(100_1) 사이의 거리 정보를 수신할 수 있다. 위치 검출 모듈(133_1)은 사용자 손과 휴대용 단말(100_1) 사이의 거리를 기준 거리와 비교함으로써, 사용자 손이 휴대용 단말(100_1)로부터 근거리에 위치하는지 혹은 원거리에 위치하는지 검출할 수 있다. The position detection module 133_1 may receive distance information between the user's hand and the portable terminal 100_1 from the ToF sensor 120_1 . The position detection module 133_1 may detect whether the user's hand is located near or far from the portable terminal 100_1 by comparing the distance between the user's hand and the portable terminal 100_1 with a reference distance.

위치-커맨드 변환 모듈(143_1)은 위치 검출 모듈(133_1)로부터 사용자 손의 위치 정보를 수신할 수 있다. 위치-커맨드 변환 모듈(143_1)은 기 설정된 위치-커맨드 변환 테이블을 포함하며, 사용자 손의 위치에 따라 입력 커맨드를 생성할 수 있다. The location-command conversion module 143_1 may receive location information of the user's hand from the location detection module 133_1 . The position-command conversion module 143_1 includes a preset position-command conversion table and may generate an input command according to the position of the user's hand.

예를 들어, 사용자 손이 원거리에 위치하는 경우, 위치-커맨드 변환 모듈(143_1)은 오프 입력 커맨드(CMD_off)를 생성할 수 있다. 여기서, 오프 입력 커맨드(CMD_off)는, 도 6과 유사하게, 디폴트 값일 수 있다. 다른 예로, 사용자 손이 근거리에 위치하는 경우, 위치-커맨드 변환 모듈(143_1)은 온 입력 커맨드(CMD_on)를 생성할 수 있다. 여기서, 온 입력 커맨드(CMD_on)는, 도 6과 유사하게, VR 뷰어에서 실행 중인 가상현실 콘텐츠의 일시 멈춤 동작을 제어하는 커맨드일 수 있다. For example, when the user's hand is located at a long distance, the position-command conversion module 143_1 may generate an off input command CMD_off. Here, the off input command CMD_off may have a default value similar to FIG. 6 . As another example, when the user's hand is located in a short distance, the location-command conversion module 143_1 may generate an on input command CMD_on. Here, the on input command CMD_on may be a command for controlling a pause operation of the virtual reality content being executed in the VR viewer, similarly to FIG. 6 .

도 10은 도 1의 휴대용 단말(100)이 장착되는 VR 뷰어(200)의 일 예를 보여주는 도면이다. 10 is a view showing an example of the VR viewer 200 in which the portable terminal 100 of FIG. 1 is mounted.

도 10에 도시된 바와 같이, 휴대용 단말(100)은 VR 뷰어(200)에 장착될 수 있다. VR 뷰어(200)는 가상현실 콘텐츠를 실행하며, 사용자는 휴대용 단말(100)에 장착된 카메라, 조도 센서 및/또는 ToF 센서 등을 통하여 가상현실 콘텐츠를 제어할 수 있다. As shown in FIG. 10 , the portable terminal 100 may be mounted on the VR viewer 200 . The VR viewer 200 executes virtual reality content, and the user may control the virtual reality content through a camera, an illuminance sensor, and/or a ToF sensor mounted on the portable terminal 100 .

이와 같이, 본 출원의 기술적 사상에 따른 휴대용 단말(100)은 별도의 컨트롤러 없이 VR 뷰어(200)에서 실행되는 가상현실 콘텐츠와의 상호작용을 가능하게 할 수 있다. As such, the portable terminal 100 according to the technical idea of the present application may enable interaction with virtual reality content executed in the VR viewer 200 without a separate controller.

한편, 상술한 설명은 예시적인 것이며, 본 출원의 기술적 사상은 이에 한정되지 않음이 이해될 것이다. 본 출원의 기술 분야에서 통상의 지식을 가진 자는 본 출원의 기술적 사상이 다양하게 응용 및 적용될 수 있음을 이해할 것이며, 이러한 응용 및 적용은 모두 본 출원의 기술적 사상의 범주 내에 속함이 이해될 것이다.Meanwhile, it will be understood that the above description is exemplary, and the technical spirit of the present application is not limited thereto. Those of ordinary skill in the technical field of the present application will understand that the technical spirit of the present application may be variously applied and applied, and it will be understood that all such applications and applications fall within the scope of the technical spirit of the present application.

100, 100_1: 휴대용 단말
200: VR 뷰어
110: 영상 촬영부
120: 조도 센서
130: 검출부
131: 손 모양 검출 모듈
132: 손 동작 추적 모듈
133: 조도 변화 감지 모듈
140: 커맨드 변환부
141: 손 모양-커맨드 변환 모듈
142: 손 동작-커맨드 변환 모듈
143: 조도-커맨드 변환 모듈100, 100_1: portable terminal
200: VR Viewer
110: video recording unit
120: light sensor
130: detection unit
131: hand shape detection module
132: hand motion tracking module
133: illuminance change detection module
140: command conversion unit
141: hand shape-command conversion module
142: hand motion-command conversion module
143: illuminance-command conversion module

Claims (15)

사용자 손을 촬영하는 영상 촬영부;
조도를 감지하는 조도 센서;
상기 영상 촬영부로부터 수신된 원본 영상으로부터 손 모양을 검출하고, 상기 조도 센서로부터 수신된 조도 데이터로부터 조도 변화를 검출하는 검출부; 및
상기 검출부로부터 수신된 손 모양 정보를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 제1 입력 커맨드로 변환하고, 상기 검출부로부터 수신된 조도 변화 정보를 상기 가상현실 콘텐츠를 제어하기 위한 제2 입력 커맨드로 변환하는 커맨드 변환부를 포함하며,
상기 커맨드 변환부는 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하기 위한 손 모양-커맨드 변환 테이블 및 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하기 위한 조도-커맨드 변환 테이블을 포함하고,
상기 커맨드 변환부는 상기 손 모양-커맨드 변환 테이블에 기초하여 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하는 손 모양-커맨드 변환 모듈을 포함하고,
상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보에 포함된 손가락 영역의 개수에 기초하여 단일 입력 커맨드 방식 또는 다중 입력 커맨드 방식 중 어느 하나를 지원하는, 휴대용 단말.an image capturing unit for photographing the user's hand;
an illuminance sensor for detecting illuminance;
a detection unit detecting a hand shape from the original image received from the image capturing unit and detecting a change in illuminance from the illuminance data received from the illuminance sensor; and
The hand shape information received from the detector is converted into a first input command for controlling the virtual reality content of the VR viewer, and the illuminance change information received from the detector is converted into a second input command for controlling the virtual reality content. It includes a command conversion unit to
The command conversion unit includes a hand shape-command conversion table for converting the hand shape information into the first input command and an illumination-command conversion table for converting the illumination change information into the second input command,
The command conversion unit includes a hand shape-command conversion module that converts the hand shape information into the first input command based on the hand shape-command conversion table,
The hand shape-command conversion module supports either a single input command method or a multiple input command method based on the number of finger regions included in the hand shape information. 제1 항에 있어서,
상기 검출부는
상기 원본 영상으로부터 손 모양을 검출하는 손 모양 검출 모듈;
상기 원본 영상으로부터 손 움직임을 검출하는 손 동작 추적 모듈; 및
상기 조도 데이터로부터 조도 변화를 검출하는 조도 변화 검출 모듈을 포함 하는, 휴대용 단말.According to claim 1,
the detection unit
a hand shape detection module for detecting a hand shape from the original image;
a hand motion tracking module for detecting hand motion from the original image; and
and an illuminance change detection module for detecting illuminance change from the illuminance data. 제2 항에 있어서,
상기 손 모양 검출 모듈은
상기 원본 영상으로부터 손 영역을 추출하는 손 영역 추출 회로; 및
상기 손 영역으로부터 손 모양을 판단하는 손 모양 판단 회로를 포함하며,
상기 손 영역 추출 회로는 상기 원본 영상에 포함된 각 픽셀의 색 값에 기초하여, 상기 손 영역을 추출하는, 휴대용 단말.3. The method of claim 2,
The hand shape detection module is
a hand region extraction circuit for extracting a hand region from the original image; and
a hand shape determination circuit for determining a hand shape from the hand region;
and the hand region extraction circuit extracts the hand region based on a color value of each pixel included in the original image. 제3 항에 있어서,
상기 손 모양 판단 회로는 상기 손 영역에 대한 적응적 이진화 처리를 수행하여 적어도 하나의 손가락 영역을 검출하는, 휴대용 단말.4. The method of claim 3,
and the hand shape determination circuit detects at least one finger region by performing adaptive binarization processing on the hand region. 제3 항에 있어서,
상기 손 모양 판단 회로는 상기 손 영역에 대한 손가락 말단 포인트 및 손가락 사이 포인트를 검출하는, 휴대용 단말.4. The method of claim 3,
and the hand shape determination circuit detects a finger distal point and an inter-finger point for the hand region. 제2 항에 있어서,
상기 커맨드 변환부는
상기 손 동작 추적 모듈로부터 손 움직임 정보를 수신하며, 손 동작-커맨드 변환 테이블에 기초하여 상기 손 움직임 정보를 제3 입력 커맨드로 변환하는 손 동작-커맨드 변환 모듈; 및
상기 조도 변화 검출 모듈로부터 상기 조도 변화 정보를 수신하며, 상기 조도-커맨드 변환 테이블에 기초하여 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하는 조도-커맨드 변환 모듈을 더 포함하는, 휴대용 단말.3. The method of claim 2,
The command conversion unit
a hand motion-command conversion module that receives hand motion information from the hand motion tracking module and converts the hand motion information into a third input command based on a hand motion-command conversion table; and
and an illuminance-command conversion module that receives the illuminance change information from the illuminance change detection module and converts the illuminance change information into the second input command based on the illuminance-command conversion table. 삭제delete 제6 항에 있어서,
상기 손 모양 정보에 포함된 상기 손가락 영역의 개수가 2개 이상인 경우, 상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보를 적어도 2개의 입력 커맨드로 변환하는, 휴대용 단말.7. The method of claim 6,
When the number of the finger regions included in the hand shape information is two or more, the hand shape-command conversion module converts the hand shape information into at least two input commands. 제6 항에 있어서,
상기 손 모양 정보에 포함된 상기 손가락 영역의 개수가 2개 미만인 경우, 상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보를 하나의 입력 커맨드로 변환하는, 휴대용 단말.7. The method of claim 6,
When the number of the finger regions included in the hand shape information is less than two, the hand shape-command conversion module converts the hand shape information into one input command. 제6 항에 있어서,
상기 조도-커맨드 변환 모듈은 상기 조도-커맨드 변환 테이블에 기초하여 상기 조도 변화 정보를 디폴트 입력 값으로 변환하고, 상기 디폴트 입력 값은 상기 VR 뷰어에 제공되지 않는, 휴대용 단말. 7. The method of claim 6,
and the illuminance-command conversion module converts the illuminance change information into a default input value based on the illuminance-command conversion table, and the default input value is not provided to the VR viewer. 사용자 손을 촬영하는 영상 촬영부;
사용자 손과의 거리를 감지하는 ToF 센서;
상기 영상 촬영부로부터 수신된 원본 영상으로부터 손 모양을 검출하고, 상기 ToF 센서로부터 수신된 거리 데이터로부터 사용자 손의 위치를 검출하는 검출부; 및
상기 검출부로부터 수신된 손 모양 정보를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 제1 입력 커맨드로 변환하고, 상기 검출부로부터 수신된 손의 위치 정보를 상기 가상현실 콘텐츠를 제어하기 위한 제2 입력 커맨드로 변환하는 커맨드 변환부를 포함하며,
상기 커맨드 변환부는 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하 기 위한 손 모양-커맨드 변환 테이블 및 상기 손의 위치 정보를 상기 제2 입력 커맨드로 변환하기 위한 위치-커맨드 변환 테이블을 포함하고,
상기 커맨드 변환부는 상기 손 모양-커맨드 변환 테이블에 기초하여 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하는 손 모양-커맨드 변환 모듈을 포함하고,
상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보에 포함된 손가락 영역의 개수에 기초하여 단일 입력 커맨드 방식 또는 다중 입력 커맨드 방식 중 어느 하나를 지원하는, 휴대용 단말.an image capturing unit for photographing the user's hand;
ToF sensor that detects the distance to the user's hand;
a detection unit detecting a hand shape from the original image received from the image capturing unit and detecting a position of a user's hand from the distance data received from the ToF sensor; and
The hand shape information received from the detector is converted into a first input command for controlling the virtual reality content of the VR viewer, and the hand position information received from the detector is converted into a second input command for controlling the virtual reality content Includes a command conversion unit to convert,
The command conversion unit includes a hand shape-command conversion table for converting the hand shape information into the first input command and a location-command conversion table for converting the hand location information into the second input command,
The command conversion unit includes a hand shape-command conversion module that converts the hand shape information into the first input command based on the hand shape-command conversion table,
The hand shape-command conversion module supports either a single input command method or a multiple input command method based on the number of finger regions included in the hand shape information. 제11 항에 있어서,
상기 검출부는 상기 위치-커맨드 변환 테이블에 기초하여 상기 손의 위치 정보를 디폴트 입력 값으로 변환하고, 상기 디폴트 입력 값은 상기 VR 뷰어에 제공되지 않는, 휴대용 단말. 12. The method of claim 11,
The detection unit converts the position information of the hand into a default input value based on the position-command conversion table, and the default input value is not provided to the VR viewer. 가상현실 콘텐츠를 실행하는 VR 뷰어; 및
상기 VR 뷰어에 장착되며, 상기 가상현실 콘텐츠를 제어하기 위한 입력 커맨드를 상기 VR 뷰어에 전송하는 휴대용 단말을 포함하며,
상기 휴대용 단말은
사용자 손을 촬영하는 영상 촬영부;
조도를 감지하는 조도 센서;
상기 영상 촬영부로부터 수신된 원본 영상으로부터 손 모양을 검출하고, 상기 조도 센서로부터 수신된 조도 데이터로부터 조도 변화를 검출하는 검출부; 및
상기 검출부로부터 수신된 손 모양 정보를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 제1 입력 커맨드로 변환하고, 상기 검출부로부터 수신된 조도 변화 정보를 상기 가상현실 콘텐츠를 제어하기 위한 제2 입력 커맨드로 변환하는 커맨드 변환부를 포함하며,
상기 커맨드 변환부는 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하기 위한 손 모양-커맨드 변환 테이블 및 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하기 위한 조도-커맨드 변환 테이블을 포함하고,
상기 커맨드 변환부는 상기 손 모양-커맨드 변환 테이블에 기초하여 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하는 손 모양-커맨드 변환 모듈을 포함하고,
상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보에 포함된 손가락 영역의 개수에 기초하여 단일 입력 커맨드 방식 또는 다중 입력 커맨드 방식 중 어느 하나를 지원하는, VR 뷰어 시스템.VR viewer running virtual reality content; and
and a portable terminal mounted on the VR viewer and transmitting an input command for controlling the virtual reality content to the VR viewer,
The portable terminal
an image capturing unit for photographing the user's hand;
an illuminance sensor for detecting illuminance;
a detection unit detecting a hand shape from the original image received from the image capturing unit and detecting a change in illuminance from the illuminance data received from the illuminance sensor; and
The hand shape information received from the detector is converted into a first input command for controlling the virtual reality content of the VR viewer, and the illuminance change information received from the detector is converted into a second input command for controlling the virtual reality content. It includes a command conversion unit to
The command conversion unit includes a hand shape-command conversion table for converting the hand shape information into the first input command and an illumination-command conversion table for converting the illumination change information into the second input command,
The command conversion unit includes a hand shape-command conversion module that converts the hand shape information into the first input command based on the hand shape-command conversion table,
The VR viewer system, wherein the hand shape-command conversion module supports either a single input command method or a multiple input command method based on the number of finger regions included in the hand shape information. 제13 항에 있어서,
상기 검출부는
상기 원본 영상으로부터 손 모양을 검출하는 손 모양 검출 모듈;
상기 원본 영상으로부터 손 움직임을 검출하는 손 동작 추적 모듈; 및
상기 조도 데이터로부터 조도 변화를 검출하는 조도 변화 검출 모듈을 포함하고,
상기 손 모양 검출 모듈은
상기 원본 영상으로부터 손 영역을 추출하는 손 영역 추출 회로; 및
상기 손 영역으로부터 손 모양을 판단하는 손 모양 판단 회로를 포함하며,
상기 손 영역 추출 회로는 상기 원본 영상에 포함된 각 픽셀의 색 값에 기초
하여, 상기 손 영역을 추출하는, VR 뷰어 시스템.14. The method of claim 13,
the detection unit
a hand shape detection module for detecting a hand shape from the original image;
a hand motion tracking module for detecting hand motion from the original image; and
an illuminance change detection module for detecting illuminance change from the illuminance data;
The hand shape detection module is
a hand region extraction circuit for extracting a hand region from the original image; and
a hand shape determination circuit for determining a hand shape from the hand region;
The hand region extraction circuit is based on the color value of each pixel included in the original image.
to extract the hand region, VR viewer system. 제14 항에 있어서,
상기 커맨드 변환부는
상기 손 동작 추적 모듈로부터 손 움직임 정보를 수신하며, 손 동작-커맨드 변환 테이블에 기초하여 상기 손 움직임 정보를 제3 입력 커맨드로 변환하는 손 동작-커맨드 변환 모듈; 및
상기 조도 변화 검출 모듈로부터 상기 조도 변화 정보를 수신하며, 상기 조도-커맨드 변환 테이블에 기초하여 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하는 조도-커맨드 변환 모듈을 더 포함하는, VR 뷰어 시스템.15. The method of claim 14,
The command conversion unit
a hand motion-command conversion module that receives hand motion information from the hand motion tracking module and converts the hand motion information into a third input command based on a hand motion-command conversion table; and
The VR viewer system further comprising: an illuminance-command conversion module that receives the illuminance change information from the illuminance change detection module and converts the illuminance change information into the second input command based on the illuminance-command conversion table.
KR1020200066591A 2020-06-02 2020-06-02 Portable terminal and vr viewer system for controlling virtual reality content based on hand shape and illumination sensor KR102321359B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200066591A KR102321359B1 (en) 2020-06-02 2020-06-02 Portable terminal and vr viewer system for controlling virtual reality content based on hand shape and illumination sensor
PCT/KR2020/010792 WO2021246574A1 (en) 2020-06-02 2020-08-13 Portable terminal for controlling virtual reality content on basis of hand shape and illumination sensor, and vr viewer system including same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200066591A KR102321359B1 (en) 2020-06-02 2020-06-02 Portable terminal and vr viewer system for controlling virtual reality content based on hand shape and illumination sensor

Publications (1)

Publication Number Publication Date
KR102321359B1 true KR102321359B1 (en) 2021-11-02

Family

ID=78476132

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200066591A KR102321359B1 (en) 2020-06-02 2020-06-02 Portable terminal and vr viewer system for controlling virtual reality content based on hand shape and illumination sensor

Country Status (2)

Country Link
KR (1) KR102321359B1 (en)
WO (1) WO2021246574A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012137989A (en) * 2010-12-27 2012-07-19 Sony Computer Entertainment Inc Gesture operation input processor and gesture operation input processing method
KR101526426B1 (en) * 2013-12-31 2015-06-05 현대자동차 주식회사 Gesture recognize apparatus and method
KR20150130767A (en) * 2014-05-14 2015-11-24 한국전자통신연구원 Device for detecting the user's hand and method thereof
KR20160137253A (en) * 2015-05-22 2016-11-30 한국전자통신연구원 Augmented Reality Device, User Interaction Apparatus and Method for the Augmented Reality Device
KR101745651B1 (en) * 2016-03-29 2017-06-09 전자부품연구원 System and method for recognizing hand gesture

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170024240A (en) * 2015-08-25 2017-03-07 전자부품연구원 Input system and method of the wearable device using the illuminance sensor
BR112018016726B1 (en) * 2016-02-18 2023-03-14 Apple Inc IMAGE PROCESSING METHOD FOR MIXED REALITY AND HEAD WEAR DEVICE
KR102570401B1 (en) * 2018-05-09 2023-08-23 서강대학교 산학협력단 METHOD AND WEARABLE DISPLAY APPARATUS FOR PROVIDING eBOOK BASED ON AUGMENTED REALLITY

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012137989A (en) * 2010-12-27 2012-07-19 Sony Computer Entertainment Inc Gesture operation input processor and gesture operation input processing method
KR101526426B1 (en) * 2013-12-31 2015-06-05 현대자동차 주식회사 Gesture recognize apparatus and method
KR20150130767A (en) * 2014-05-14 2015-11-24 한국전자통신연구원 Device for detecting the user's hand and method thereof
KR20160137253A (en) * 2015-05-22 2016-11-30 한국전자통신연구원 Augmented Reality Device, User Interaction Apparatus and Method for the Augmented Reality Device
KR101745651B1 (en) * 2016-03-29 2017-06-09 전자부품연구원 System and method for recognizing hand gesture

Also Published As

Publication number Publication date
WO2021246574A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
US10133349B2 (en) Display apparatus and method of controlling the same
KR102661983B1 (en) Method for processing image based on scene recognition of image and electronic device therefor
US20100207872A1 (en) Optical displacement detecting device and operating method thereof
CA3049704C (en) Camera assembly and mobile electronic device
US20020085097A1 (en) Computer vision-based wireless pointing system
US20140037135A1 (en) Context-driven adjustment of camera parameters
RU2456659C2 (en) Image capturing device, image display and capturing device and electronic device
KR102661185B1 (en) Electronic device and method for obtaining images
CN104035555A (en) System, Information Processing Apparatus, And Information Processing Method
US20130229387A1 (en) Optical touch device, passive touch control system, and input detection method
US20160133024A1 (en) Method and system for gesture identification based on object tracing
WO2019124824A1 (en) Electronic device including plurality of cameras, and operation method therefor
WO2019024644A1 (en) Proximity detection method and apparatus, storage medium, and electronic device
KR20190087215A (en) Electronic device and methof to control auto focus of camera
CN114500837B (en) Shooting method and device and electronic equipment
US9310903B2 (en) Displacement detection device with no hovering function and computer system including the same
KR100853024B1 (en) Apparatus for controlling image in display and method thereof
KR101599871B1 (en) Photographing apparatus and photographing method
KR102321359B1 (en) Portable terminal and vr viewer system for controlling virtual reality content based on hand shape and illumination sensor
KR100860331B1 (en) Electronic device having apparatus for controlling moving of pointer
TW201709022A (en) Non-contact control system and method
KR20080007991A (en) Optical pointing apparatus and mobile terminal having the same
KR102495326B1 (en) Electronic device and control method thereof
KR101795055B1 (en) Image recognition device and method for improving image recognition rate
CN116363744A (en) Gesture recognition method and device and computer readable storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant