WO2020085821A1 - 헤드 마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법 - Google Patents

헤드 마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법 Download PDF

Info

Publication number
WO2020085821A1
WO2020085821A1 PCT/KR2019/014085 KR2019014085W WO2020085821A1 WO 2020085821 A1 WO2020085821 A1 WO 2020085821A1 KR 2019014085 W KR2019014085 W KR 2019014085W WO 2020085821 A1 WO2020085821 A1 WO 2020085821A1
Authority
WO
WIPO (PCT)
Prior art keywords
smart terminal
user
head
display
head mount
Prior art date
Application number
PCT/KR2019/014085
Other languages
English (en)
French (fr)
Inventor
신의현
정태식
차동우
Original Assignee
주식회사 알파서클
수원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 알파서클, 수원대학교산학협력단 filed Critical 주식회사 알파서클
Priority to US17/288,136 priority Critical patent/US11301667B2/en
Priority to CN201980070311.6A priority patent/CN112912824A/zh
Publication of WO2020085821A1 publication Critical patent/WO2020085821A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Definitions

  • the present invention relates to a smart terminal, and more particularly, to a smart terminal connected to a head mounted display and a control method therefor.
  • a head mounted display is a display device worn on a user's head. Since the head mount display uses stereoscopic technology, it has a three-dimensional effect and has a wide viewing angle, which has the advantage of increasing the sense of presence and immersion, and is used for the implementation of virtual reality or augmented reality.
  • the head mount display is a method of covering the eyes and wearing it on the head, a safety problem may occur because the external situation cannot be seen directly.
  • a head mount display in which a device such as a smartphone is mounted and used without a separate control means, inconvenience of removing and removing the head mount display for operation such as stopping an image is caused.
  • the inventor of the present invention has been studied for a long time to solve such a problem, developed through trial and error, and then completed the present invention.
  • the present invention intends to propose a smart terminal connected to a head mounted display and a control method therefor to solve the above problems.
  • the first aspect of the present invention is a smart terminal that plays an image by being fastened to a head mounted display worn on a user's head:
  • the smart terminal includes a motion control module that recognizes a predetermined user's behavior using a sensor or camera included in the smart terminal, and executes a control operation matched to the user's behavior,
  • the smart terminal uses a motion control module to allow the user to control the smart terminal without removing the head mount display, and is characterized by controlling the operation of the smart terminal regardless of whether a separate control means is included in the head mount display. To provide a smart terminal connected to the head mount display.
  • the motion control module recognizes the action of the user tapping the head mount display using a sensor included in the smart terminal, and executes the control action,
  • control operation includes at least one of video playback, playback stoppage, and user front screen display.
  • the operation control module includes a menu display module that pops up a selection menu for controlling the smart terminal on the display of the smart terminal when the user's tapping action is recognized;
  • a menu selection module that detects a user's head movement using a sensor of the smart terminal and moves a menu selection point moving on the selection menu according to the head movement;
  • an operation selection module that executes the operation displayed in the area where the menu selection point is located.
  • the camera for photographing the user's hand gestures in front of the head-mount display
  • a gesture storage unit for storing the type of the user's hand gesture and the type of control gesture matched to the hand gesture type
  • the motion control module recognizes the hand gesture that the user takes in front of the head mount display using the camera module, and controls the smart terminal according to the control motion matched with the hand gesture type stored in the gesture storage.
  • the second aspect of the present invention comprises the steps of: (a) activating an operation control module by a smart terminal that is fastened to a head mounted display worn on a user's head to reproduce an image;
  • the motion control module included in the smart terminal uses the sensor included in the smart terminal to recognize the action of the user tapping the head mount display or the camera to recognize the type of hand action the user takes in front of the head mount display. step;
  • the smart terminal allows the user to control the smart terminal without removing the head mount display, and the operation of the smart terminal is controlled regardless of whether a separate control means is included in the head mount display. , It provides a control method of the smart terminal connected to the head mount display.
  • step (b) is
  • the third aspect of the present invention is a smart terminal that plays an image by being fastened to a head mounted display worn on a user's head:
  • the smart terminal uses a camera included in the smart terminal to recognize the dangerous situation in front of the user, and includes a risk response module that executes a control operation matched to the dangerous situation,
  • the smart terminal provides a smart terminal that performs risk management based on situational awareness by controlling the smart terminal by allowing the user to identify and respond to the risk situation without taking off the head mount display using the risk response module. do.
  • the danger countermeasure module is installed at the rear of the smart terminal and recognizes an obstacle appearing in front of the user by using a rear camera capable of monitoring the user's front, and when the obstacle is recognized in front of the user, is included in the smart terminal It is good to display the front screen in real time on the displayed display.
  • the smart terminal recognizes a user tapping the head mount display using a sensor included in the smart terminal or recognizes a hand gesture that the user takes in front of the head mount display using the camera included in the smart terminal, and the corresponding action It is preferable to further include a motion control module that executes any one of the pre-matched control actions of video playback, playback stop, and switching between the playback video and the front screen.
  • the danger countermeasure module simultaneously displays the playback screen and the front screen when the distance between the user and the obstacle is greater than a predetermined criterion
  • the danger countermeasure module displays the front screen in the direction in which the obstacle appears among the top, bottom, left, and right of the display unit.
  • the fourth aspect of the present invention (a) is fastened to the head mounted display (Head Mounted Display) worn on the user's head, the smart terminal that plays the image activates the rear camera and the danger counter module that can monitor the user's front To do;
  • the head mounted display Head Mounted Display
  • the smart terminal provides a control method of a smart terminal that performs risk management based on situational awareness by performing the above steps and allowing the user to recognize and respond to an obstacle in front of the user without taking off the head mount display. .
  • FIG. 1 is a schematic diagram depicting a scene for controlling a smart terminal without taking off the head mound display using the present invention.
  • FIG. 2 is a view showing a preferred embodiment of the smart terminal of the present invention.
  • FIG. 3 is a view showing a preferred embodiment of a method for controlling the operation of the smart terminal of the present invention.
  • FIG. 4 is a view showing a preferred embodiment of a control method of a smart terminal that recognizes the dangerous situation of the present invention.
  • FIG. 1 is a schematic diagram depicting a scene for controlling a smart terminal without taking off the head mound display using the present invention.
  • the present invention will be described with respect to a method of reproducing an image through the display of the smart terminal 100 by entering a smart terminal in the form that the head mount display 10 does not have a separate display unit. It is not necessarily limited to this.
  • the present invention can be applied to a head mound display 10 having a display unit itself. This is because the same operation can be implemented when the configuration of the smart terminal described below is included in the head mount display.
  • the user is wearing the head mount display 10 and watching video content including virtual reality.
  • the user may control the headmount display 10 through, for example, tapping the headmount display 10.
  • the head mount display 10 is controlled through the same operation as the present invention, it is possible to immediately control the head mount display even without a separate control means.
  • immediate control is possible without removing the head-mount display and touching the smart terminal. That is, regardless of whether or not a separate control means is mounted on the head mount display, the head mount display 10 can be controlled regardless of whether or not a smart terminal is used as a display means.
  • the smart terminal can detect the risk situation through context awareness and inform the user of the risk situation while the user is wearing the head mount display 10 and watching the video content including the virtual reality.
  • the method in which the smart terminal 100 notifies the dangerous situation is installed at the rear of the smart terminal and recognizes an obstacle appearing in front of the user using a rear camera capable of monitoring the user's front, and an obstacle in front of the user When is recognized, the front screen is displayed in real time on the display unit included in the smart terminal.
  • the user can take a look at the weight and take off the head mount display 10 or cope with the danger situation through other actions.
  • the operation to cope with the dangerous situation may basically be an operation of taking off the head mounted display 10, but the present invention can cope with the dangerous situation without removing the head mounted display 10.
  • various controls can be executed immediately. For example, if a visit suddenly opens and someone delivers something to him, the front screen is displayed on the smart terminal. The user can know that the sudden situation is not a dangerous situation, so there is no need to take off the head mount display 10. In this case, the user taps the head mount display 10 to pause the video, and after receiving the object in the state where the head mount display 10 is still worn, puts it on the desired position, and then taps the head mount display 10 again. Can play.
  • the head mount display 10 of the present invention is a device including an outer case, support means for fixing the outer case to the head, a display unit (for example, a smart terminal), and a frame supporting the display unit.
  • a display unit for example, a smart terminal
  • the head mount display 10 of the present invention has been described in the case of not including a separate control means such as a hand grip, the present invention can be applied even when the control means are included.
  • FIG. 2 is a view showing a preferred embodiment of the smart terminal of the present invention.
  • the smart terminal 100 of the present invention may include a sensor 110, a camera 120, a gesture storage unit 130, and an operation control module 140.
  • the sensor 110 includes a plurality of sensors included in the smart terminal.
  • the sensor 110 may include an acceleration sensor 111 and a gyro sensor 113.
  • the acceleration sensor 111 is a sensor that measures acceleration for movement of a smartphone on X, Y, and Z coordinates.
  • the gyro sensor 113 is a sensor that measures angular velocity.
  • the smart terminal of the present invention can detect a preset user's action, for example, an action of tapping the head mount display using a sensor 110 such as an acceleration sensor 111 and a gyro sensor 113.
  • the camera 120 is a device that is built in a smart terminal and photographs images, and may be a rear camera mounted on the opposite side of the display screen of the smart terminal.
  • the rear camera can shoot the user's hand gestures in front of the head mount display.
  • the outer case of the head mount display may have a shape in which the rear camera is located, or a translucent shape so that the rear camera can capture a user's hand motion.
  • the gesture storage unit 130 may store the type of the user's hand gesture and the type of the control gesture matched with the hand gesture type.
  • the operation control module 140 recognizes a predetermined user's behavior using the sensor 110 or the camera 120 included in the smart terminal, and executes a control operation matching the user's behavior.
  • the smart terminal 100 of the present invention allows the user to control the smart terminal without removing the head mount display using the motion control module 140, regardless of whether a separate control means is included in the head mount display. It controls the operation of the smart terminal.
  • the user's action of the operation control module 140 may have various embodiments.
  • the motion control module 140 may use a sensor included in the smart terminal to recognize the action of the user tapping the head mount display and execute the control action.
  • the tapping action may be further specified by the number of times. For example, recognizing the tapping action may have a malfunction, and thus the tapping action may be recognized as a single action.
  • a plurality of control actions may be matched with one action. For example, if a double tapping action is recognized during video playback, playback may be stopped (pause), and if there is a double tapping during pause, playback may be resumed. As such, if all control operations can be controlled by one action (for example, tapping twice), there is an advantage that the user can easily remember and control.
  • different control operations may be performed according to the number of tapping. It is also possible to adjust the tapping interval so that another control operation is performed.
  • the control operation may include at least one of video playback, playback interruption, and user front screen display.
  • the front screen display is meaningful to display the image of the rear camera on the display screen so that the user can know the front situation without taking off the head mount display.
  • the front screen display may be a full screen or a partial screen.
  • the operation control module 140 may include a menu display module 141, a menu selection module 143, an operation selection module 145, and a risk response module 147.
  • the menu display module 141 pops up a selection menu for controlling the smart terminal on the display of the smart terminal.
  • a selection menu a plurality of menus such as video playback, pause, go back, and playback speed control may be overlapped and displayed.
  • the menu display module 141 may visualize a menu selection point that can be moved according to the user's head movement in the selection menu.
  • the menu selection module 143 detects the user's head movement using the sensor of the smart terminal, and moves the menu selection point moving on the selection menu according to the head movement. That is, when the head rotates, the menu selection point moves on the selection menu.
  • the operation selection module 145 executes the operation displayed in the area where the menu selection point is located.
  • the danger countermeasure module 147 may recognize a dangerous situation in front of the user using a camera included in the smart terminal, and execute a control operation matched to the dangerous situation. In this way, the smart terminal of the present invention can control the smart terminal without the user taking off the head mount display by using the danger countermeasure module 147 so that the user can identify and respond to the dangerous situation.
  • the danger countermeasure module 147 is installed at the rear of the smart terminal and recognizes an obstacle appearing in front of the user using a rear camera capable of monitoring the user's front.
  • the front screen may be displayed in real time on the display unit included in the terminal.
  • the danger countermeasure module 147 simultaneously displays the playback screen and the front screen when the distance between the user and the obstacle is greater than a predetermined criterion, and when the distance is closer than the predetermined criterion, stops the playback screen and displays the front screen. Only can be displayed. In this way, discomfort to the user can be reduced by changing the display method according to the severity of the dangerous situation.
  • the danger countermeasure module 147 may display the front screen in the direction in which the obstacle appears among the top, bottom, left, and right of the display unit. In this way, when the direction in which the obstacle appears from the start of displaying the front screen, the user can more actively cope with the dangerous situation. For example, the action of avoiding obstacles can be performed even without taking off the head mount display.
  • the motion control module 140 recognizes a hand gesture taken by the user in front of the head mount display using the camera module, and operates the smart terminal according to the control gesture matched with the hand gesture type stored in the gesture storage unit 130. Can be controlled. For example, when the user clenches his fist, the video content can be paused, and when the palm is opened, the video content can be played again.
  • FIG. 3 is a view showing a preferred embodiment of a method for controlling the operation of the smart terminal of the present invention.
  • the smart terminal activates the motion control module (S1100).
  • the motion control module included in the smart terminal recognizes the action of the user tapping the head mount display using the sensor included in the smart terminal or the camera recognizes the type of hand action the user takes in front of the head mount display (S1200). .
  • the smart terminal executes a control operation matching the user's behavior (S1300).
  • the smart terminal executes the above steps to allow the user to control the smart terminal without taking off the head mount display, thereby controlling the operation of the smart terminal regardless of whether a separate control means is included in the head mount display.
  • the smart terminal of the present invention pops up a selection menu for controlling the smart terminal on the display of the smart terminal, and moves the user's head using the sensor of the smart terminal. Detecting and moving the menu selection point moving on the selection menu according to the head movement, and when the user's tapping action is recognized, sequentially executing the operation displayed in the area where the menu selection point is located, so that the user moves through the head movement. Make the control operation possible.
  • FIG. 4 is a view showing a preferred embodiment of a control method of a smart terminal that recognizes the dangerous situation of the present invention.
  • a smart terminal that plays an image by being fastened to a head mounted display worn on a user's head activates a rear camera and a danger countermeasure module capable of monitoring the user's front (S2100) ).
  • the danger countermeasure module included in the smart terminal recognizes an obstacle appearing in front of the user using a rear view camera (S2200).
  • the front screen is displayed in real time on the display unit included in the smart terminal (S2300).
  • the head mount display may be removed, but the smartphone may be controlled using the motion control module while wearing the head mount display. That is, when the user performs a predetermined action, for example, a tapping action, the motion control module recognizes the user's action (S2400), and executes a control action matching the preset user's action (S2500).
  • a predetermined action for example, a tapping action
  • the motion control module recognizes the user's action (S2400), and executes a control action matching the preset user's action (S2500).
  • the smart terminal of the present invention executes the above steps so that the user recognizes and responds to an obstacle in front of the user without taking off the head mount display.

Abstract

본 발명은 사용자의 머리에 착용되는 헤드마운트디스플레이(Head Mounted Display)에 체결되어 영상을 재생하는 스마트단말로서 스마트단말은 스마트단말에 포함된 센서 또는 카메라를 이용하여 사전에 정해진 사용자의 행위를 인식하고, 사용자의 행위에 매칭된 제어동작을 실행하는 동작제어모듈을 포함하며, 스마트단말은 동작제어모듈을 이용하여 사용자가 헤드마운트디스플레이를 벗지 않고도 스마트단말을 제어하도록 함으로서, 헤드마운트디스플레이에 별도의 제어수단이 포함되어 있는지 여부와 무관하게 스마트단말의 동작을 제어하는 것을 특징으로 한다.

Description

헤드 마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법
본 발명은 스마트 단말에 관한 것으로, 보다 상세하게는 헤드마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법에 관한 것이다.
헤드마운트디스플레이 (HMD: head mounted display)는 사용자의 머리에 착용하는 디스플레이장치이다. 헤드마운트디스플레이는 스테레오스코피 기술을 사용하기 때문에 입체감을 주며 넓은 시야각을 가지고 있어 현장감과 몰입감을 증대시켜주는 장점이 있어 가상현실 또는 증강현실의 구현을 위해 사용된다.
그러나, 헤드마운트디스플레이는 눈을 가리고 머리에 착용하는 방식이기 때문에 외부상황을 직접 눈으로 볼 수 없어 안전문제가 발생할 수 있다. 특히 별도의 제어수단을 구비하지 않고 스마트폰과 같은 디바이스를 장착하여 사용하는 방식의 헤드마운트디스플레이의 경우 영상을 멈추는 등의 조작을 위해 헤드마운트디스플레이를 썻다 벗어야하는 불편함이 초래된다.
이에 본 발명의 발명자는 그런 문제점을 해결하기 위해서 오랫동안 연구하고 시행착오를 거치며 개발한 끝에 본 발명을 완성하기에 이르렀다.
본 발명은 상기한 문제점을 해결하기 위하여 헤드마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법을 제안하고자 한다.
한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다.
본 발명의 제1국면은 사용자의 머리에 착용되는 헤드마운트디스플레이(Head Mounted Display)에 체결되어 영상을 재생하는 스마트단말로서:
스마트단말은 스마트단말에 포함된 센서 또는 카메라를 이용하여 사전에 정해진 사용자의 행위를 인식하고, 사용자의 행위에 매칭된 제어동작을 실행하는 동작제어모듈을 포함하며,
스마트단말은 동작제어모듈을 이용하여 사용자가 헤드마운트디스플레이를 벗지 않고도 스마트단말을 제어하도록 함으로서, 헤드마운트디스플레이에 별도의 제어수단이 포함되어 있는지 여부와 무관하게 스마트단말의 동작을 제어하는 것을 특징으로 하는, 헤드마운트디스플레이에 연결된 스마트단말을 제공한다.
바람직한 실시예에 있어서, 동작제어모듈은 스마트단말에 포함된 센서를 이용하여 사용자가 헤드마운트디스플레이를 두드리는 행위를 인식하여 제어동작을 실행하고,
제어동작은 영상재생, 재생중단, 사용자 전방화면표시 중 적어도 하나 이상을 포함하는 것이 좋다.
바람직한 실시예에 있어서, 동작제어모듈은 사용자의 두드리는 행위가 인식되면 스마트단말의 디스플레이에 스마트단말을 제어하기 위한 선택메뉴를 팝업시키는 메뉴디스플레이모듈;
스마트단말의 센서를 이용하여 사용자의 헤드움직임을 감지하고, 헤드움직임에 따라 선택메뉴 상에서 움직이는 메뉴선택포인트를 이동시키는 메뉴선택모듈;
사용자의 두드리는 행위가 인식되면 메뉴선택포인트가 위치한 영역에 표시된 동작을 실행하는 동작선택모듈을 더 포함하는 것이 좋다.
바람직한 실시예에 있어서, 헤드마운트디스플레이 앞에서 사용자의 손동작을 촬영하는 카메라;
사용자의 손동작의 형태와 손동작 형태에 매칭된 제어동작의 종류를 저장하는 제스쳐저장부를 더 포함하고,
동작제어모듈은 카메라모듈을 이용하여 사용자가 헤드마운트디스플레이 앞에서 취하는 손동작을 인식하고, 제스쳐저장부에 저장된 손동작 형태와 매칭된 제어동작에 따라 스마트단말을 제어하는 것이 좋다.
본 발명의 제2국면은 (a) 사용자의 머리에 착용되는 헤드마운트디스플레이(Head Mounted Display)에 체결되어 영상을 재생하는 스마트단말이 동작제어모듈을 활성화하는 단계;
(b) 스마트단말에 포함된 동작제어모듈이 스마트단말에 포함된 센서를 이용하여 사용자가 헤드마운트디스플레이를 두드리는 행위를 인식하거나 또는 카메라를 이용하여 사용자가 헤드마운트디스플레이 앞에서 취하는 손동작의 형태를 인식하는 단계;
(c) 스마트단말이 사용자의 행위에 매칭된 제어동작을 실행하는 단계를 포함하고,
스마트단말은 위 단계를 실행하여 사용자가 헤드마운트디스플레이를 벗지 않고도 스마트단말을 제어하도록 함으로서, 헤드마운트디스플레이에 별도의 제어수단이 포함되어 있는지 여부와 무관하게 스마트단말의 동작을 제어하는 것을 특징으로 하는, 헤드마운트디스플레이에 연결된 스마트단말의 제어방법을 제공한다.
바람직한 실시예에서 (b) 단계는
사용자의 두드리는 행위가 인식되면 스마트단말의 디스플레이에 스마트단말을 제어하기 위한 선택메뉴를 팝업시키는 단계;
스마트단말의 센서를 이용하여 사용자의 헤드움직임을 감지하고, 헤드움직임에 따라 선택메뉴 상에서 움직이는 메뉴선택포인트를 이동시키는 단계;
사용자의 두드리는 행위가 인식되면 메뉴선택포인트가 위치한 영역에 표시된 동작을 실행하는 단계를 더 포함하는 것이 좋다.
본 발명의 제3국면은 사용자의 머리에 착용되는 헤드마운트디스플레이(Head Mounted Display)에 체결되어 영상을 재생하는 스마트단말로서:
스마트단말은 스마트단말에 포함된 카메라를 이용하여 사용자의 전방에 발생된 위험상황을 인식하고, 위험상황에 매칭된 제어동작을 실행하는 위험대처모듈을 포함하며,
스마트단말은 위험대처모듈을 이용하여 사용자가 헤드마운트디스플레이를 벗지 않고도 스마트단말을 제어하여 사용자가 위험상황을 파악하고 대응하도록 하는 것을 특징으로 하는, 상황인식에 기반한 위험대처를 수행하는 스마트단말을 제공한다.
바람직한 실시예에서 위험대처모듈은 스마트단말의 후방에 설치되어 사용자의 전방을 모니터링할 수 있는 후방카메라를 이용하여 사용자의 전방에 나타난 장애물을 인식하고, 사용자 전방에 장애물을 인식하면, 스마트단말에 포함된 디스플레이부에 전방화면을 실시간으로 표시하는 것이 좋다.
바람직한 실시예에서 스마트단말은 스마트단말에 포함된 센서를 이용하여 사용자가 헤드마운트디스플레이를 두드리는 행위를 인식하거나 스마트단말에 포함된 카메라를 이용하여 사용자가 헤드마운트디스플레이 앞에서 취하는 손동작을 인식하여, 해당 행위에 대해 사전에 매칭된 제어동작인 영상재생, 재생중단, 재생영상과 전방화면 사이의 전환 중 어느 하나를 실행하는 동작제어모듈을 더 포함하는 것이 좋다.
바람직한 실시예에서 위험대처모듈은 사용자와 장애물의 거리가 사전에 정한 기준보다 먼 경우 재생화면과 전방화면을 동시에 표시하고,
거리가 사전에 정한 기준보다 가까운 경우 재생화면을 중단하고 전방화면만을 표시하는 것이 좋다.
바람직한 실시예에서 위험대처모듈은 디스플레이부의 상하좌우 중에서 장애물이 출현한 방향에 전방화면을 표시하는 것이 좋다.
본 발명의 제4국면은 (a) 사용자의 머리에 착용되는 헤드마운트디스플레이(Head Mounted Display)에 체결되어 영상을 재생하는 스마트단말이 사용자의 전방을 모니터링할 수 있는 후방카메라 및 위험대처모듈을 활성화하는 단계;
(b) 스마트단말에 포함된 위험대처모듈이 후방카메라를 이용하여 사용자 전방에 나타난 장애물을 인식하는 단계;
(c) 위험대처모듈이 장애물을 인식하면 스마트단말에 포함된 디스플레이부에 전방화면을 실시간으로 표시하는 단계를 포함하고,
스마트단말은 위 단계를 실행하여 사용자가 헤드마운트디스플레이를 벗지 않고도 사용자 전방에 장애물이 출현했음을 인지하고 대응하도록 하는 것을 특징으로 하는, 상황인식에 기반한 위험대처를 수행하는 스마트단말의 제어방법을 제공한다.
본 발명의 실시예에 따르면, 헤드마운트 디스플레이에 연결된 스마트 단말을 효율적으로 제어할 수 있다.
한편, 여기에서 명시적으로 언급되지 않은 효과라하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.
도 1은 본 발명을 이용하여 헤드마운드디스플레이를 벗지 않고도 스마트단말을 제어하는 장면을 묘사한 모식도이다.
도 2는 본 발명의 스마트단말의 바람직한 실시예를 나타내는 도면이다.
도 3은 본 발명의 스마트단말의 동작을 제어하는 방법의 바람직한 실시예를 나타내는 도면이다.
도 4는 본 발명의 위험상황을 인식하는 스마트단말의 제어방법의 바람직한 실시예를 나타내는 도면이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.
본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
도 1은 본 발명을 이용하여 헤드마운드디스플레이를 벗지 않고도 스마트단말을 제어하는 장면을 묘사한 모식도이다.
이하에서 본 발명의 바람직한 실시예는 헤드마운트디스플레이(10)는 별도의 디스플레이부가 없는 형태, 즉 스마트단말을 체결하여 스마트단말(100)의 디스플레이를 통해 영상을 재생하는 방식에 관하여 설명하지만 본 발명이 반드시 이에 한정되는 것은 아니다. 예를들어 자체적으로 디스플레이부를 구비하고 있는 헤드마운드디스플레이(10)라도 본 발명이 적용될 수 있다. 왜냐하면 이하에서 설명할 스마트단말의 구성이 헤드마운트디스플레이에 포함되면 동일한 동작을 구현할 수 있기 때문이다.
도 1에서 알 수 있듯이, 사용자는 헤드마운트디스플레이(10)를 착용하고 가상현실을 포함하는 영상콘텐츠를 시청하고 있다. 시청 도중 사용자는 예를 들어 헤드마운트디스플레이(10)를 두드리는 동작을 통해 헤드마운트디스플레이(10)를 제어할 수 있다. 본 발명과 같은 동작을 통해 헤드마운트디스플레이(10)를 제어하면 헤드마운트디스플레이에 별도의 제어수단이 장착되어 있지 않아도 즉각적인 제어가 가능하다. 또한, 헤드마운트디스플레이를 벗고 스마트단말을 터치하지 않아도 즉각적인 제어가 가능하다. 즉 헤드마운트디스플레이에 별도의 제어수단이 장착되어 있는지 여부와 무관하게 또한 디스플레이수단으로 스마트단말을 체결하여 사용하는지 여부와 무관하게 헤드마운트디스플레이(10)를 제어할 수 있는 효과가 있다.
한편, 다른 실시예에서 스마트단말은 사용자가 헤드마운트디스플레이(10)를 착용하고 가상현실을 포함하는 영상콘텐츠를 시청하는 도중에 스스로 상황인식을 통해 위험상황을 감지하고 사용자에게 위험상황을 알릴 수 있다. 바람직한 실시예에서 스마트단말(100)이 위험상황을 알리는 방법은 스마트단말의 후방에 설치되어 사용자의 전방을 모니터링할 수 있는 후방카메라를 이용하여 사용자의 전방에 나타난 장애물을 인식하고, 사용자 전방에 장애물을 인식하면, 스마트단말에 포함된 디스플레이부에 전방화면을 실시간으로 표시하는 것이다.
위험상황이 사용자에게 통지되면 사용자는 경중을 살펴 헤드마운트디스플레이(10)를 벗거나 다른 동작을 통해 위험상황에 대처할 수 있다.
위험상황에 대처하는 동작은 기본적으로 헤드마운트디스플레이(10)를 벗는 동작일 수 있지만, 본 발명은 헤드마운트디스플레이(10)를 벗지 않고도 위험상황에 대처할 수 있다. 예를 들어 헤드마운트디스플레이(10)를 두드리는 동작을 통해 스마트단말을 제어함으로서 다양한 제어를 즉각적으로 실행할 수 있다. 예를들어 방문이 갑자기 열리고 누군가 자신에게 물건을 전달하는 상황이 발생한 경우, 스마트단말에 전방화면이 표시된다. 사용자는 급작스러운 상황이 위험한 상황이 아님을 알 수 있기 때문에 굳이 헤드마운트디스플레이(10)를 벗지 않아도 된다. 이런 경우 사용자는 헤드마운트디스플레이(10)를 두드려 영상을 일시정지시킨 후, 여진히 헤드마운트디스플레이(10)를 쓴 상태에서 물건을 받아 원하는 위지에 내려놓은 후, 다시 헤드마운트디스플레이(10)를 두드려 영상을 재생할 수 있다.
한편, 도시하지 않았지만 본 발명의 헤드마운트디스플레이(10)는 외부케이스, 외부케이스를 헤드에 고정하는 지지수단, 디스플레이부(예를들면 스마트단말), 디스플레이부를 지지하는 프레임을 포함하는 장치이다. 또한, 본 발명의 헤드마운트디스플레이(10)는 손에 쥐는 형태 등의 별도의 제어수단을 포함하지 않는 경우에 대해 설명하고 있지만 제어수단이 포함된 경우에도 본 발명을 적용할 수 있음은 물론이다.
도 2는 본 발명의 스마트단말의 바람직한 실시예를 나타내는 도면이다.
도 2에서 알 수 있듯이, 본 발명의 스마트단말(100)은 센서(110), 카메라(120), 제스쳐저장부(130), 및 동작제어모듈(140)을 포함할 수 있다.
센서(110)는 스마트단말에 포함되는 다수의 센서를 포함한다. 예를들어, 센서(110)는 가속도센서(111) 및 자이로센서(113)를 포함할 수 있다. 가속도센서(111)는 X, Y, Z 좌표 상에서 스마트폰의 움직임에 대한 가속도를 측정하는 센서이다. 자이로센서(113)는 각속도를 측정하는 센서이다. 본 발명의 스마트단말은 사전에 설정된 사용자의 행위, 예를들어 헤드마운트디스플레이를 두드리는 행위를 가속도센서(111) 및 자이로센서(113)와 같은 센서(110)를 이용하여 감지할 수 있다.
카메라(120)는 스마트단말에 내장되어 영상을 촬영하는 장치로서 스마트단말의 디스플레이화면과 반대면에 장착된 후방카메라일 수 있다. 후방카메라는 헤드마운트디스플레이 앞에서 사용자의 손동작을 촬영할 수 있다. 이를 위해 헤드마운트디스플레이의 외부케이스는 후방카메라가 위치한 부분이 개방된 형태 또는 후방카메라가 사용자의 손동작을 촬영할 수 있도록 반투명한 형태일 수 있다.
제스쳐저장부(130)는 사용자의 손동작의 형태와 손동작 형태에 매칭된 제어동작의 종류를 저장할 수 있다.
동작제어모듈(140)은 스마트단말에 포함된 센서(110) 또는 카메라(120)를 이용하여 사전에 정해진 사용자의 행위를 인식하고, 사용자의 행위에 매칭된 제어동작을 실행한다. 이와 같이 본 발명의 스마트단말(100)은 동작제어모듈(140)을 이용하여 사용자가 헤드마운트디스플레이를 벗지 않고도 스마트단말을 제어하도록 함으로서, 헤드마운트디스플레이에 별도의 제어수단이 포함되어 있는지 여부와 무관하게 스마트단말의 동작을 제어한다.
동작제어모듈(140)이 인삭하는 사용자의 행위는 다양한 실시예가 있을 수 있다. 바람직한 실시예에서 동작제어모듈(140)은 스마트단말에 포함된 센서를 이용하여 사용자가 헤드마운트디스플레이를 두드리는 행위를 인식하여 제어동작을 실행할 수 있다. 두드리는 행위는 횟수에 의해 더욱 특정될 수 있는데, 예를 들면 한 번 두드리는 행위를 인식하는 것은 오동작의 가능성이 있으므로 두 번 두드리는 행위를 하나의 행위로서 인식할 수 있다. 하나의 행위에는 복수의 제어동작이 매칭될 수 있다. 예를들어, 영상재생 중에 두 번 두드리는 행위가 인식되면 재생을 중단(일시정지)하고, 일시정지 중에 두 번 두드리는 행위가 있으면 다시 재생을 시작할 수 있다. 이와 같이 하나의 행위(예를들어 두 번 두드리기)로 모든 제어동작을 컨트롤할 수 있으면 사용자가 기억하기 쉽고 제어하기 쉬운 장점이 있다.
한편, 다른 실시예에서는 두드리는 횟수에 따라 서로 다른 제어동작이 실행되도록 할 수 있다. 또한, 두드리는 간격을 조절하여 다른 제어동작이 실행되도록 할 수도 있다.
제어동작은 영상재생, 재생중단, 사용자 전방화면표시 중 적어도 하나 이상을 포함할 수 있다. 전방화면표시는 디스플레이 화면에 후방카메라의 영상을 표시함으로서 사용자가 헤드마운트디스플레이를 벗지 않고도 전방의 상황을 알 수 있도록 하는데 의미가 있다. 전방화면표시는 전체화면일 수도 있고 일부화면일 수도 있다.
한편, 다른 실시예에서 동작제어모듈(140)은 메뉴디스플레이모듈(141), 메뉴선택모듈(143), 동작선택모듈(145) , 위험대처모듈(147)을 포함할 수 있다.
메뉴디스플레이모듈(141)는 사용자의 두드리는 행위가 인식되면 스마트단말의 디스플레이에 스마트단말을 제어하기 위한 선택메뉴를 팝업시킨다. 선택메뉴에는 영상재생, 일시정지, 뒤로가기, 재생속도조절 등과 같은 복수의 메뉴가 오버랩되어 표시될 수 있다. 또한, 메뉴디스플레이모듈(141)은 선택메뉴에 사용자의 헤드움직임에 따라 움직일 수 있는 메뉴선택포인트를 가시화할 수 있다.
메뉴선택모듈(143)은 스마트단말의 센서를 이용하여 사용자의 헤드움직임을 감지하고, 헤드움직임에 따라 선택메뉴 상에서 움직이는 메뉴선택포인트를 이동시킨다. 즉, 헤드가 회전하면 선택메뉴 상에서 메뉴선택포인트가 이동한다.
동작선택모듈(145)은 사용자의 두드리는 행위가 인식되면 메뉴선택포인트가 위치한 영역에 표시된 동작을 실행한다.
위험대처모듈(147)은 스마트단말에 포함된 카메라를 이용하여 사용자의 전방에 발생된 위험상황을 인식하고, 위험상황에 매칭된 제어동작을 실행할 수 있다. 이와 같이 본 발명의 스마트단말은 위험대처모듈(147)을 이용하여 사용자가 헤드마운트디스플레이를 벗지 않고도 스마트단말을 제어하여 사용자가 위험상황을 파악하고 대응하도록 할 수 있다.
바람직한 실시예에서 위험대처모듈(147)은 스마트단말의 후방에 설치되어 사용자의 전방을 모니터링할 수 있는 후방카메라를 이용하여 사용자의 전방에 나타난 장애물을 인식하고, 사용자 전방에 장애물을 인식하면, 스마트단말에 포함된 디스플레이부에 전방화면을 실시간으로 표시할 수 있다.
위험대처모듈(147)이 전방화면을 표시하는 방법에는 다양한 실시예가 있을 수 있다. 일 실시예에서 위험대처모듈(147)은 사용자와 장애물의 거리가 사전에 정한 기준보다 먼 경우 재생화면과 전방화면을 동시에 표시하고, 거리가 사전에 정한 기준보다 가까운 경우 재생화면을 중단하고 전방화면만을 표시할 수 있다. 이와 같이 위험상황의 경중에 따라 표시방법을 달리하면 사용자에게 주는 불편함을 감소시킬 수 있다. 한편, 다른 실시예에서 위험대처모듈(147)은 디스플레이부의 상하좌우 중에서 장애물이 출현한 방향에 전방화면을 표시할 수 있다. 이와 같이 전방화면을 표시하는 시작부터 장애물이 출현한 방향을 표시하면 사용자가 위험상황에 보다 능동적으로 대처할 수 있다. 예를들어 장애물을 회피하는 동작을 헤드마운트디스플레이를 벗지않은 상황에서도 실행할 수 있다.
한편, 다른 실시예에서 동작제어모듈(140)은 카메라모듈을 이용하여 사용자가 헤드마운트디스플레이 앞에서 취하는 손동작을 인식하고, 제스쳐저장부(130)에 저장된 손동작 형태와 매칭된 제어동작에 따라 스마트단말을 제어할 수 있다. 예를들어 사용자가 주먹을 쥐면 영상콘텐츠 재생을 일시정지시킬 수 있고, 손바닥을 펴면 영상콘텐츠를 다시 재생시킬 수 있다.
도 3은 본 발명의 스마트단말의 동작을 제어하는 방법의 바람직한 실시예를 나타내는 도면이다.
도 3에서 알 수 있듯이, 사용자의 머리에 착용되는 헤드마운트디스플레이(Head Mounted Display)과 헤드마운트디스플레이에서 영상을 재생하는 스마트단말이 체결된 후, 스마트단말이 동작제어모듈을 활성화한다(S1100).
스마트단말에 포함된 동작제어모듈이 스마트단말에 포함된 센서를 이용하여 사용자가 헤드마운트디스플레이를 두드리는 행위를 인식하거나 또는 카메라를 이용하여 사용자가 헤드마운트디스플레이 앞에서 취하는 손동작의 형태를 인식한다(S1200).
스마트단말이 사용자의 행위에 매칭된 제어동작을 실행한다(S1300). 스마트단말은 위 단계를 실행하여 사용자가 헤드마운트디스플레이를 벗지 않고도 스마트단말을 제어하도록 함으로서, 헤드마운트디스플레이에 별도의 제어수단이 포함되어 있는지 여부와 무관하게 스마트단말의 동작을 제어한다.
일 실시예에서 본 발명의 스마트단말은 S1200단계에서 사용자의 두드리는 행위가 인식되면 스마트단말의 디스플레이에 스마트단말을 제어하기 위한 선택메뉴를 팝업시키는 단계, 스마트단말의 센서를 이용하여 사용자의 헤드움직임을 감지하고, 헤드움직임에 따라 선택메뉴 상에서 움직이는 메뉴선택포인트를 이동시키는 단계, 사용자의 두드리는 행위가 인식되면 메뉴선택포인트가 위치한 영역에 표시된 동작을 실행하는 단계를 순차적으로 실행하여 사용자가 헤드움직임을 통해 제어동작을 실행할 수 있도록 한다.
도 4는 본 발명의 위험상황을 인식하는 스마트단말의 제어방법의 바람직한 실시예를 나타내는 도면이다.
도 4에서 알 수 있듯이, 사용자의 머리에 착용되는 헤드마운트디스플레이(Head Mounted Display)에 체결되어 영상을 재생하는 스마트단말이 사용자의 전방을 모니터링할 수 있는 후방카메라 및 위험대처모듈을 활성화한다(S2100).
스마트단말에 포함된 위험대처모듈이 후방카메라를 이용하여 사용자 전방에 나타난 장애물을 인식한다(S2200).
위험대처모듈이 장애물을 인식하면 스마트단말에 포함된 디스플레이부에 전방화면을 실시간으로 표시한다(S2300).
사용자가 위험상황을 인지하면, 헤드마운트디스플레이를 벗을 수도 있지만, 헤드마운트디스플레이를 착용한 상태에서 동작제어모듈을 이용하여 스마트폰을 제어할 수 있다. 즉, 사용자가 사전에 정한 동작 예를들어 두드리는 행위를 실시하면 동작제어모듈이 사용자의 행위를 인식하고(S2400), 사전에 설정된 사용자의 행위에 매칭된 제어동작을 실행한다(S2500).
이와 같이 본 발명의 스마트단말은 위 단계를 실행하여 사용자가 헤드마운트디스플레이를 벗지 않고도 사용자 전방에 장애물이 출현했음을 인지하고 대응하도록 한다.
본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

Claims (6)

  1. 사용자의 머리에 착용되는 헤드마운트디스플레이(Head Mounted Display)에 체결되어 영상을 재생하는 스마트단말로서:
    스마트단말은 스마트단말에 포함된 센서 또는 카메라를 이용하여 사전에 정해진 사용자의 행위를 인식하고, 사용자의 행위에 매칭된 제어동작을 실행하는 동작제어모듈을 포함하며,
    스마트단말은 동작제어모듈을 이용하여 사용자가 헤드마운트디스플레이를 벗지 않고도 스마트단말을 제어하도록 함으로서, 헤드마운트디스플레이에 별도의 제어수단이 포함되어 있는지 여부와 무관하게 스마트단말의 동작을 제어하는 것을 특징으로 하는, 헤드마운트디스플레이에 연결된 스마트단말.
  2. 제1항에 있어서,
    동작제어모듈은 스마트단말에 포함된 센서를 이용하여 사용자가 헤드마운트디스플레이를 두드리는 행위를 인식하여 제어동작을 실행하고,
    제어동작은 영상재생, 재생중단, 사용자 전방화면표시 중 적어도 하나 이상을 포함하는 것인, 헤드마운트디스플레이에 연결된 스마트단말.
  3. 제2항에 있어서,
    동작제어모듈은
    사용자의 두드리는 행위가 인식되면 스마트단말의 디스플레이에 스마트단말을 제어하기 위한 선택메뉴를 팝업시키는 메뉴디스플레이모듈;
    스마트단말의 센서를 이용하여 사용자의 헤드움직임을 감지하고, 헤드움직임에 따라 선택메뉴 상에서 움직이는 메뉴선택포인트를 이동시키는 메뉴선택모듈;
    사용자의 두드리는 행위가 인식되면 메뉴선택포인트가 위치한 영역에 표시된 동작을 실행하는 동작선택모듈을 더 포함하는 것인, 헤드마운트디스플레이에 연결된 스마트단말.
  4. 제1항에 있어서,
    헤드마운트디스플레이 앞에서 사용자의 손동작을 촬영하는 카메라;
    사용자의 손동작의 형태와 손동작 형태에 매칭된 제어동작의 종류를 저장하는 제스쳐저장부를 더 포함하고,
    동작제어모듈은 카메라모듈을 이용하여 사용자가 헤드마운트디스플레이 앞에서 취하는 손동작을 인식하고, 제스쳐저장부에 저장된 손동작 형태와 매칭된 제어동작에 따라 스마트단말을 제어하는 것인, 헤드마운트디스플레이에 연결된 스마트단말.
  5. (a) 사용자의 머리에 착용되는 헤드마운트디스플레이(Head Mounted Display)에 체결되어 영상을 재생하는 스마트단말이 동작제어모듈을 활성화하는 단계;
    (b) 스마트단말에 포함된 동작제어모듈이 스마트단말에 포함된 센서를 이용하여 사용자가 헤드마운트디스플레이를 두드리는 행위를 인식하거나 또는 카메라를 이용하여 사용자가 헤드마운트디스플레이 앞에서 취하는 손동작의 형태를 인식하는 단계;
    (c) 스마트단말이 사용자의 행위에 매칭된 제어동작을 실행하는 단계를 포함하고,
    스마트단말은 위 단계를 실행하여 사용자가 헤드마운트디스플레이를 벗지 않고도 스마트단말을 제어하도록 함으로서, 헤드마운트디스플레이에 별도의 제어수단이 포함되어 있는지 여부와 무관하게 스마트단말의 동작을 제어하는 것을 특징으로 하는, 헤드마운트디스플레이에 연결된 스마트단말의 제어방법.
  6. 제5항에 있어서,
    (b) 단계는
    사용자의 두드리는 행위가 인식되면 스마트단말의 디스플레이에 스마트단말을 제어하기 위한 선택메뉴를 팝업시키는 단계;
    스마트단말의 센서를 이용하여 사용자의 헤드움직임을 감지하고, 헤드움직임에 따라 선택메뉴 상에서 움직이는 메뉴선택포인트를 이동시키는 단계;
    사용자의 두드리는 행위가 인식되면 메뉴선택포인트가 위치한 영역에 표시된 동작을 실행하는 단계를 더 포함하는 것인, 헤드마운트디스플레이에 연결된 스마트단말의 제어방법.
PCT/KR2019/014085 2018-10-24 2019-10-24 헤드 마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법 WO2020085821A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/288,136 US11301667B2 (en) 2018-10-24 2019-10-24 Smart user equipment connected to head mounted display and method of controlling the same
CN201980070311.6A CN112912824A (zh) 2018-10-24 2019-10-24 与头戴式显示器相连接的智能终端及用于其的控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0127250 2018-10-24
KR1020180127250A KR102242703B1 (ko) 2018-10-24 2018-10-24 헤드 마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법

Publications (1)

Publication Number Publication Date
WO2020085821A1 true WO2020085821A1 (ko) 2020-04-30

Family

ID=70331654

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/014085 WO2020085821A1 (ko) 2018-10-24 2019-10-24 헤드 마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법

Country Status (4)

Country Link
US (1) US11301667B2 (ko)
KR (1) KR102242703B1 (ko)
CN (1) CN112912824A (ko)
WO (1) WO2020085821A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7039672B1 (ja) * 2020-10-29 2022-03-22 ソフトバンク株式会社 制御装置、プログラム、及び制御方法
CN113407084B (zh) * 2021-06-24 2022-05-17 杭州灵伴科技有限公司 展示内容更新方法、头戴式显示设备和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150104769A (ko) * 2014-03-06 2015-09-16 엘지전자 주식회사 글래스 타입의 이동 단말기
US20170011706A1 (en) * 2015-07-07 2017-01-12 Samsung Electronics Co., Ltd. Head-mounted display apparatus
US20170115729A1 (en) * 2015-10-23 2017-04-27 Samsung Electronics Co., Ltd. Method for obtaining sensor data and electronic device using the same
KR20170089228A (ko) * 2016-01-26 2017-08-03 이재민 스마트 폰을 이용한 가상현실 헤드 마운트 디스플레이의 제어 방법
KR101839441B1 (ko) * 2014-09-17 2018-03-16 (주)에프엑스기어 두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101302138B1 (ko) * 2009-12-18 2013-08-30 한국전자통신연구원 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
KR20170099755A (ko) * 2016-02-24 2017-09-01 주식회사 메타포트 보행 시뮬레이터용 ｈｍｄ
US9779605B1 (en) * 2016-03-30 2017-10-03 Sony Interactive Entertainment Inc. Virtual reality proximity sensors
CN110476168B (zh) * 2017-04-04 2023-04-18 优森公司 用于手部跟踪的方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150104769A (ko) * 2014-03-06 2015-09-16 엘지전자 주식회사 글래스 타입의 이동 단말기
KR101839441B1 (ko) * 2014-09-17 2018-03-16 (주)에프엑스기어 두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
US20170011706A1 (en) * 2015-07-07 2017-01-12 Samsung Electronics Co., Ltd. Head-mounted display apparatus
US20170115729A1 (en) * 2015-10-23 2017-04-27 Samsung Electronics Co., Ltd. Method for obtaining sensor data and electronic device using the same
KR20170089228A (ko) * 2016-01-26 2017-08-03 이재민 스마트 폰을 이용한 가상현실 헤드 마운트 디스플레이의 제어 방법

Also Published As

Publication number Publication date
US20210312160A1 (en) 2021-10-07
KR102242703B1 (ko) 2021-04-21
CN112912824A (zh) 2021-06-04
KR20200046301A (ko) 2020-05-07
US11301667B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
WO2015030303A1 (en) Portable device displaying augmented reality image and method of controlling therefor
WO2019093846A1 (en) System and method for distributed device tracking
WO2020017927A1 (en) System and method for hybrid eye tracker
WO2015129966A1 (en) Head mounted display providing closed-view and method of controlling therefor
WO2016043537A1 (ko) 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
WO2013129792A1 (en) Method and portable terminal for correcting gaze direction of user in image
WO2013105715A1 (en) Device and method for controlling rotation of displayed image
WO2015030305A1 (en) Portable device displaying augmented reality image and method of controlling therefor
WO2017200279A1 (en) Method and apparatus for facilitating interaction with virtual reality equipment
WO2015046677A1 (en) Head-mounted display and method of controlling the same
WO2020085821A1 (ko) 헤드 마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법
WO2015046837A1 (ko) 컨텐츠 공유 장치 및 방법
WO2017135788A1 (en) Portable image device with external dispaly
WO2015030307A1 (en) Head mounted display device and method for controlling the same
WO2017052008A1 (ko) 관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템
US20240005680A1 (en) Head-mounted display, display control method, and program
WO2015115700A1 (en) Portable device including a flip cover and method of controlling therefor
WO2015034130A1 (ko) 원격 존재 장치
WO2014092272A1 (ko) 프로젝션 기능을 갖는 로봇 및 로봇의 프로젝터 제어 방법
WO2021215800A1 (ko) 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템
US10380779B2 (en) Wearable information processing device
KR20180113406A (ko) 가상 공간을 이탈한 컨트롤러의 추적 방법 및 그 전자장치
WO2014182030A1 (ko) 헤드 마운트 디스플레이
WO2015009112A9 (en) Method and apparatus for displaying images in portable terminal
WO2017204478A1 (ko) 공용 hmd장치 및 이를 구비한 게임기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19877073

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 1.10.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19877073

Country of ref document: EP

Kind code of ref document: A1