WO2015111869A1 - 제스처 장치, 그 동작 방법 및 이를 구비한 차량 - Google Patents

제스처 장치, 그 동작 방법 및 이를 구비한 차량 Download PDF

Info

Publication number
WO2015111869A1
WO2015111869A1 PCT/KR2015/000402 KR2015000402W WO2015111869A1 WO 2015111869 A1 WO2015111869 A1 WO 2015111869A1 KR 2015000402 W KR2015000402 W KR 2015000402W WO 2015111869 A1 WO2015111869 A1 WO 2015111869A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
image
state mode
extracted
idle state
Prior art date
Application number
PCT/KR2015/000402
Other languages
English (en)
French (fr)
Inventor
이정훈
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to EP15740431.0A priority Critical patent/EP3098692A4/en
Priority to CN201580005677.7A priority patent/CN106062668B/zh
Priority to US15/113,408 priority patent/US10108334B2/en
Priority to JP2016547916A priority patent/JP6671288B2/ja
Publication of WO2015111869A1 publication Critical patent/WO2015111869A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3259—Power saving in cursor control device, e.g. mouse, joystick, trackball
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Definitions

  • Embodiments relate to an apparatus operated by a gesture.
  • a multimedia electronic device there is a mobile device such as a smart phone.
  • Mobile devices combine portability and portability with a variety of features such as calling, listening to music, viewing videos, sending and receiving messages, scheduling, and surfing the Internet.
  • buttons are installed on the exterior of the multimedia electronic device to receive input commands for performing various functions of the multimedia electronic device. The user can operate various buttons to perform the corresponding function.
  • the embodiment provides a gesture device and a method of operating the same to minimize the possibility of malfunction.
  • the embodiment provides a gesture device and a method of operating the same that maximize the convenience of the user's operation of the device.
  • An embodiment provides a vehicle having a gesture device.
  • the gesture device may include an input module for acquiring an image; A gesture processor extracting a gesture from the obtained image; And a controller for controlling to switch the lock state mode to an idle state mode based on the extracted gesture.
  • the vehicle comprises a driver's seat, a console box and a gear knob arranged next to the driver's seat and a room mirror.
  • the vehicle includes an input module mounted below the room mirror to acquire an image; A gesture processor extracting a gesture from the obtained image; And a controller configured to switch the lock state mode to an idle state mode based on the extracted gesture and perform a function corresponding to the extracted gesture.
  • a method of operating a gesture device may include obtaining an image; Extracting a gesture from the image; Confirming whether the extracted gesture is an activation gesture; And switching the locked state mode to an idle state mode when the extracted gesture is the activation gesture.
  • the embodiment is initially set to the locked state mode, and in this locked state mode, no malfunction is caused by the gesture even if any gesture is taken, thereby preventing the degradation of the reliability of the product due to the malfunction and improving the quality.
  • FIG. 1 is a block diagram illustrating a gesture device according to an embodiment.
  • FIG. 2 is a diagram illustrating a vehicle equipped with a gesture device according to an embodiment.
  • FIG. 3 is a diagram illustrating an image input module mounted on the room mirror of FIG. 2.
  • FIG. 4 is a block diagram illustrating an image input module of FIG. 1.
  • FIG. 5 is a block diagram illustrating an output module of FIG. 1.
  • FIG. 6 is a block diagram illustrating a gesture processor of FIG. 1.
  • FIG. 7 is a diagram illustrating an example of an activation gesture.
  • FIG. 8 is a diagram illustrating a detailed configuration of a gesture determination unit.
  • FIG. 9 is a flowchart illustrating a method of operating the gesture device according to the first embodiment.
  • FIG. 10 is a diagram illustrating an example of a driving gesture.
  • FIG. 11 illustrates another example of a driving gesture.
  • FIG. 12 is a flowchart for explaining a method of operating a gesture device according to a second embodiment.
  • FIG. 13 is a diagram illustrating another example of a driving gesture.
  • FIG. 14 is a diagram illustrating another example of a driving gesture.
  • 15 is a diagram illustrating another example of a driving gesture.
  • the top (bottom) or the bottom (bottom) is the two components are in direct contact with each other or One or more other components are all included disposed between the two components.
  • up (up) or down (down) may include the meaning of the down direction as well as the up direction based on one component.
  • the "signal” may be a voltage signal or a current signal.
  • FIG. 1 is a block diagram illustrating a gesture device according to an embodiment.
  • the gesture device may include an image input module 10, a gesture processor 20, a controller 30, an output module 40, and a memory 50.
  • the image input module 10 inputs an image of an object. As illustrated in FIG. 4, the image input module 10 may include a camera 12 and an infrared light source 14.
  • the camera 12 may obtain an image from an object and output the image as an electric signal.
  • the camera 12 may acquire an image in real time under the control of the controller 30. Therefore, an image of a stationary object or a moving object may be obtained in real time by the camera 12.
  • the camera 12 When the camera 12 is mounted in a vehicle, for example, the camera 12 may be driven under the control of the controller 30 that recognizes that the vehicle is turned on when the vehicle is turned on.
  • the user may directly drive the camera 12 regardless of whether the vehicle is turned on.
  • the infrared light source 14 may include, for example, an infrared light emitting device (LED), but is not limited thereto.
  • LED infrared light emitting device
  • the infrared light source 14 may be disposed around the camera, but is not limited thereto.
  • the infrared light source 14 may be driven at night, for example, under the control of the controller 30. In the case of night, infrared light is irradiated from the infrared light source 14, the image obtained from the camera 12 has a brightness can be distinguished from the object and the non-object.
  • the gesture device according to the embodiment may be provided in, for example, a vehicle as shown in FIG. 2.
  • a rearview mirror 103 is provided on the front ceiling 102, and a gear shift with a console box 107 and a gear knob 105 next to the driver's seat 101 is mounted.
  • a center fascia 109 may also be provided between the driver's seat 101 and the passenger seat (not shown). It may be installed in the ceiling 102, but not limited thereto.
  • the room mirror 103 is a ceiling 102 perpendicular to the console box 107 and the gear knob 105 or a diagonally facing ceiling 102. Can be installed on
  • the image input module 10 may be mounted on, for example, a portion of the lower portion of the room mirror 103 of the vehicle, as shown in FIG. 3, but is not limited thereto.
  • the image input module 10 may be mounted on a portion of the inner surface of the ceiling 102 of the vehicle, for example, but is not limited thereto.
  • the image input module 10 is mounted on a portion of the underside of the vehicle's room mirror 103 or on a portion of the inner surface of the ceiling 102 of the vehicle, the image input module 10 is, for example, in the driver's hand and / or hand. Images of adjacent forearms should be acquired. Here, the forearm may be between the wrist and the elbow, but is not limited thereto.
  • the image acquisition area A may include a gear knob 105, a console box 107, and an area between the gear knob 105 and the console box 107.
  • the gear knob 105 is mounted on the top of the gear shift lever 106 to improve the user's grip.
  • an image of an object placed in the image acquisition area A may be acquired by the image input module 10.
  • the output module 40 may also be mounted to the vehicle. As shown in FIG. 5, the output module 40 may include a sound output unit 42 and a display panel 44.
  • the display panel 44 is a member for displaying a still image or a moving image, and may be mounted on the center fascia 109, for example.
  • the display panel 44 may display, for example, a movie, a music video, or a navigation screen.
  • the display panel 44 may display a face of the other party or an image sent by the other party during the video call.
  • the sound output unit 42 is a member for outputting an audio signal and may be mounted on each door or ceiling 102 of the vehicle.
  • the controller 30 may control each component, that is, the image input module 10, the gesture processor 20, the output module 40, and the memory 50 as a whole.
  • the controller 30 controls the image to be acquired by the camera 12 of the image input module 10 and controls the light to be irradiated by the infrared light source 14 of the image input module 10 in the night mode. can do.
  • the controller 30 controls the audio signal to be output by the sound output unit 42 of the output module 40, and controls the image signal to be output by the display panel 44 of the output module 40. Can be.
  • controller 30 may control new data to be updated in the memory 50 and control to delete and change previously stored data.
  • the controller 30 may control to perform an operation corresponding to an event of the user based on the output result of the gesture processing unit 20.
  • the gesture processor 20 may include an image analyzer 22, a day / night determiner 24, and a gesture determiner 26.
  • the image analyzer 22 may analyze an image of a frame unit provided from the camera 12 of the image input module 10.
  • the image analyzer 22 may grasp the brightness information of the image, the shape of the object, the shape motion information of the object, the contour information of the object, and the color information of the object.
  • Brightness information of the image may be provided to the day and night determination unit 24.
  • Shape motion information of the object, silhouette information of the object, and color information of the object may be provided to the gesture determination unit 26.
  • Day and night determination unit 24 may determine whether it is day or night based on the brightness information of the image. For example, when the brightness average level of the entire 30-frame image is greater than or equal to the threshold, it may be determined as day. For example, when the brightness average level of the entire 30-frame image is less than or equal to the threshold, it may be determined as night. If it is determined to be night, the infrared light source 14 of the image input module 10 may be driven under the control of the controller 30 to irradiate infrared light. Thereafter, the image reflecting the infrared light by the camera 12 may be acquired again.
  • the gesture determination unit 26 may determine whether the user's gesture is an activation gesture or a driving gesture based on the shape information of the object, the shape motion information of the object, the silhouette information of the object, and the color information of the object.
  • the driving gesture may mean an input command for performing a plurality of functions preset in the gesture device according to the embodiment. Therefore, there may be a plurality of driving gestures.
  • One of the plurality of drive gestures may or may not be the same as the activation gesture. Even if the driving gesture is the same as the activation gesture, the gesture device according to the embodiment can be operated without error.
  • the activation gesture (first gesture) and one of the plurality of driving gestures (second gesture) are the same
  • the first gesture extracted from the first image input by the image input module 10 first is the activation gesture.
  • the second gesture extracted from the second image inputted by the image input module 10 after being recognized as being in the idle state mode is recognized as a driving gesture, and a function corresponding to the second gesture may be performed.
  • the driving gesture may be a home gesture for displaying a home screen, an input gesture for displaying an input window for entering letters or numbers, a left gesture for displaying the next or previous screen, a right gesture, an up gesture, and a down gesture.
  • a shortcut key gesture may be used to directly perform a predetermined operation, but the present invention is not limited thereto.
  • the activation gesture may be a gesture for releasing the immersion apparatus for preventing a malfunction caused by the numerous gestures described above.
  • the activation gesture may switch to an idle state mode for recognizing the driving gesture. Prior to the idle state mode, it may be called a lock state mode. Accordingly, the lock state mode may be switched to the idle state mode by the activation gesture.
  • the activation gesture may be preset in the memory 50 in which a specific object shape is a shape movement of a specific object.
  • the lock state mode is set to the idle state mode by the user's gesture. Can be switched to.
  • the driving gesture may also be preset so that the corresponding function may be performed in response to the driving gesture of the user, but is not limited thereto.
  • the gesture determination unit 26 may apply various algorithms.
  • the gesture determiner 26 may be divided into a hand segmentation function 61 and a hand classification function 65.
  • the hand discrimination function 61 may be divided into a moving object detection function 62 and a hand verification function 64.
  • the hand discrimination function 61 may be applied to different algorithms according to day and night. That is, in the case of night time, since color information is not included in the image acquired from the image input module 10, silhouette information, motion information of the feature points of the silhouette, brightness information, and the like may be used.
  • the object motion detection function 62 finds blobs corresponding to, for example, a posterior area of the hand, from an image acquired from the image input module 10, and related information about the blobs of the hand, for example, a location of a feature point or a region of interest (ROI). The location of the corner points of interest can be identified.
  • blobs corresponding to, for example, a posterior area of the hand, from an image acquired from the image input module 10, and related information about the blobs of the hand, for example, a location of a feature point or a region of interest (ROI).
  • ROI region of interest
  • the hand authentication function 64 accurately distinguishes the area corresponding to the hand from the previous image, and coordinates (x, y) for all pixels in the area and silhouette information of the area, that is, the outermost pixels of the area. Detect coordinates (x, y) In addition, the hand authentication function 64 detects the coordinate value where the hand region is located in the next image and provides the object motion detection function 62. The motion detection function 62 can narrow the detection range of the candidate area ROI on which the hand is to be located based on the information provided from the hand authentication function 64, so that the hand area can be detected more accurately. Accordingly,
  • the hand specifying function 65 may be divided into a gesture management function 67 and a gesture classification function 69.
  • the gesture management function 67 may perform flow management for all gestures after switching to the idle state mode for efficient and accurate gesture recognition and reduction of computation time.
  • the gesture specifying function 69 detects the shape of the hand or the shape of the hand by using the feature point information provided by the object motion detection function 62, and removes the shape of the motion not intended by the user. Only the operation type intended by the user can be output. By the gesture specifying function 69, malfunction due to an operation form not intended by the user can be prevented.
  • FIG. 9 is a flowchart illustrating a method of operating the gesture device according to the first embodiment.
  • the camera 12 of the image input module 10 may be driven under the control of the controller 30 (S201).
  • the controller 30 may recognize that the vehicle is turned on and control the camera 12 to be driven.
  • the controller 30 may control the camera 12 to be driven.
  • the gesture device may be set to the locked state mode (S203). That is, the image of the object located in the image acquisition area A corresponding to the lens of the camera 12 may be acquired by driving the camera 12.
  • the user inadvertently makes a specific gesture in the image acquisition area A, a malfunction may be generated that is recognized as a driving gesture and performs a specific function.
  • the embodiment may release the lock state mode by a preset specific gesture, that is, an activation gesture so that the function by the gesture is performed only after the switch to the idle state mode.
  • the first image of the object located in the image acquisition area A is obtained by the driven camera 12 (S205).
  • the gesture processing unit 20 checks whether the gesture extracted from the obtained first image is an activation gesture (S207).
  • the gesture processing unit 20 analyzes the first image to grasp shape information of the object, shape motion information of the object, color information of the object, and the like, and whether the gesture exists in the first image and the gesture exists based on the identified information. If yes, it may be determined whether the gesture corresponds to a preset activation gesture.
  • a hand gesture as shown in FIG. 7 may be set in the memory 50 as an activation gesture. That is, the activation gesture may have only a little finger spread out and the rest of the fingers.
  • the gesture processing unit 20 determines whether a gesture exists in the first image and whether the present gesture is the same as the hand gesture shown in FIG. 7.
  • the controller 30 may switch the lock state mode to the idle state mode (S209).
  • the idle state mode may be referred to as a function activation state in which various functions that can be implemented in the gesture device according to the embodiment are performed based on various gestures.
  • Various functions may be performed after the lock state mode is switched to the idle state mode. Even if an image of such a gesture is acquired by the camera 12 by taking a gesture to perform a specific function in the locked state mode, the locked state mode is set, and thus the corresponding function cannot be performed. In contrast, when the user enters the idle state mode, the specific function may be performed in response to a gesture for performing the specific function.
  • various gestures may be set to correspond to various functions to perform various functions.
  • the user interface (US) screen displayed on the display panel 44 of the output module 40 is disappeared to the left by the left gesture.
  • the next UI screen may be displayed on the display panel 44.
  • various functions may be performed through the various gestures after the switch to the idle state mode.
  • a second image may be obtained by the camera 12 (S211).
  • the gesture processing unit 20 checks whether there is a gesture in the second image based on the second image and if the gesture is a driving gesture (S213).
  • the driving gesture may have various gestures to correspond to various functions provided in the gesture device.
  • a function corresponding to the corresponding driving gesture may be performed (S215).
  • a call signal may be transmitted to a telephone number corresponding to the shortcut key “1” in response to the gesture, and a call may be connected to a user of the telephone number.
  • FIG. 12 is a flowchart for explaining a method of operating a gesture device according to a second embodiment.
  • the second embodiment is almost similar to the first embodiment except for steps S230, S240, and S250.
  • the same steps as in the first embodiment will be denoted by the same reference numerals, and detailed description thereof will be omitted. Descriptions omitted in the second embodiment can be easily understood from the first embodiment.
  • the step of driving the camera 12 (S201), the setting of the lock state mode (S203), and the step of obtaining the first image (S205) may be performed.
  • the gesture processing unit 20 checks whether the brightness of the first image determined from the first image is less than or equal to the threshold (S230).
  • the brightness may be the brightness of the first image of one frame or the average brightness of the first image of a plurality of frames, but is not limited thereto.
  • the threshold When the brightness of the first image is less than or equal to the threshold, it may mean nighttime. When the brightness of the first image is greater than or equal to the threshold, it may mean that it is daytime.
  • the threshold may be preset or set by the user.
  • the infrared light source 14 may be driven to irradiate infrared light from the infrared light source 14 (S240).
  • the first image may be acquired by the camera 12 while the infrared light source 14 is irradiated.
  • the obtained first image may have a different color from the first image acquired in step S205. That is, the first image acquired in step S205 may have a color, whereas the first image acquired in step S250 may be black and white.
  • step S207 may be performed immediately without the infrared light source 14 being driven.
  • FIG. 13 is a diagram illustrating another example of a driving gesture.
  • the multimedia module that is the output module by the corresponding gesture. It may be possible to reduce or increase the volume of the device.
  • FIG. 14 is a diagram illustrating another example of a driving gesture.
  • 15 is a diagram illustrating another example of a driving gesture.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

제스처 장치는 영상을 획득하는 입력 모듈, 상기 획득된 영상으로부터 제스처를 추출하는 제스처 처리부 및 상기 추출된 제스처를 바탕으로 잠금 상태 모드를 아이들 상태 모드로 전환하도록 제어하는 제어부를 포함한다. 차량은 운전석, 상기 운전석 옆에 배치되는 콘솔 박스 및 기어 노브 그리고 룸미러를 포함한다. 차량은 영상을 획득하기 위해 상기 룸미러의 하부에 장착되는 입력 모듈, 상기 획득된 영상으로부터 제스처를 추출하는 제스처 처리부, 및 상기 추출된 제스처를 바탕으로 잠금 상태 모드를 아이들 상태 모드로 전환하고 상기 추출된 제스처에 대응하는 기능을 수행하도록 제어하는 제어부를 포함한다.

Description

제스처 장치, 그 동작 방법 및 이를 구비한 차량
실시예를 제스처에 의해 동작되는 장치에 관한 것이다.
최근 들어, 사용자에게 정보를 제공하여 주는 멀티미디어 전자 기기가 활발하게 개발 및 출시되고 있다.
이러한 멀티미디어 전자 기기의 대표적인 예로서, 스마트폰과 같은 모바일 기기가 있다.
모바일 기기는 이동성과 휴대성을 겸비하는 한편, 통화, 음악 감상, 비디오 보기, 메시지 송수신, 스케줄 관리, 인터넷 서핑 등과 같이 다양한 기능을 포함하고 있다.
한편 이러한 멀티미디어 전자 기기는 차량에 적용하려는 시도가 연구되고 있다.
이러한 멀티미디어 전자 기기의 다양한 기능을 수행하기 위한 입력 명령을 입력받기 위해 다양한 버튼이 멀티미디어 전자 기기의 외관에 설치되어 있다. 사용자는 다양한 버튼을 조작하여 해당 기능을 수행할 수 있다.
하지만, 사용자는 다양한 버튼 각각이 어떤 기능을 수행하기 위한 버튼인지를 파악하기 어렵고, 설사 사용자가 해당 버튼 기능을 파악하고 있다 하더라도 사용자가 일일이 해당 버튼을 눌러 동작을 시키는 데에는 상당한 번거로움이 있다.
더군다나, 소형 멀티미디어 전자 기기의 경우 그 점유 면적의 한계로 인해 각 버튼 간의 간격이 좁기 때문에, 사용자의 잘못된 버튼 선택에 의해 오동작이 발생되는 문제가 있다.
실시예는 오동작 발생 가능성을 최소화한 제스처 장치 및 그 동작 방법을 제공한다.
실시예는 사용자의 기기 조작 편의성을 극대화한 제스처 장치 및 그 동작 방법을 제공한다.
실시예는 제스처 장치를 구비한 차량을 제공한다.
실시예에 따르면, 제스처 장치는 영상을 획득하는 입력 모듈; 상기 획득된 영상으로부터 제스처를 추출하는 제스처 처리부; 및 상기 추출된 제스처를 바탕으로 잠금 상태 모드를 아이들 상태 모드로 전환하도록 제어하는 제어부를 포함한다.
실시예에 따르면, 차량은 운전석, 상기 운전석 옆에 배치되는 콘솔 박스 및 기어 노브 그리고 룸미러를 포함한다. 차량은 영상을 획득하기 위해 상기 룸미러의 하부에 장착되는 입력 모듈; 상기 획득된 영상으로부터 제스처를 추출하는 제스처 처리부; 및 상기 추출된 제스처를 바탕으로 잠금 상태 모드를 아이들 상태 모드로 전환하고 상기 추출된 제스처에 대응하는 기능을 수행하도록 제어하는 제어부를 포함한다.
실시예에 따르면, 제스처 장치의 동작 방법은 영상을 획득하는 단계; 상기 영상으로부터 제스처를 추출하는 단계; 상기 추출된 제스처가 활성화 제스처인지 확인하는 단계; 및 상기 추출된 제스처가 상기 활성화 제스처인 경우, 잠금 상태 모드를 아이들 상태 모드로 전환하는 단계를 포함한다.
실시예는 초기에는 잠금 상태 모드로 설정되고, 이러한 잠금 상태 모드에서는 어떠한 제스처가 취해지더라도 제스처에 의한 오동작이 발생되지 않게 되어, 오동작에 의한 제품의 신뢰성 저하를 방지하여 품질 향상을 도모할 수 있다.
실시예는 다양한 제스처에 의해 다양한 기능이 수행되므로, 기존에 다수의 버튼 조작으로 기능을 수행할 때 발생되는 번거로움을 해소하거나 버튼 간의 간격 협소로 인한 오동작을 방지할 수 있다.
도 1은 실시예에 따른 제스처 장치를 도시한 블록도이다.
도 2는 실시예에 따른 제스처 장치가 구비된 차량을 도시한 도면이다.
도 3은 도 2의 룸미러에 장착된 영상 입력 모듈을 도시한 도면이다.
도 4는 도 1의 영상 입력 모듈을 도시한 블록도이다.
도 5는 도 1의 출력 모듈을 도시한 블록도이다.
도 6은 도 1의 제스처 처리부를 도시한 블록도이다.
도 7은 활성화 제스처의 일예를 도시한 도면이다.
도 8은 제스처 판단부의 세부 구성을 도시한 도면이다.
도 9는 제1 실시예에 따른 제스처 장치의 동작 방법을 설명하는 흐름도이다.
도 10은 구동 제스처의 일예를 도시한 도면이다.
도 11은 구동 제스처의 다른 예를 도시한 도면이다.
도 12는 제2 실시예에 따른 제스처 장치의 동작 방법을 설명하는 흐름도이다.
도 13은 구동 제스처의 또 다른 예를 도시한 도면이다.
도 14는 구동 제스처의 또 다른 예를 도시한 도면이다.
도 15는 구동 제스처의 또 다른 예를 도시한 도면이다.
실시예의 설명에 있어서, 각 구성 요소의 " 상(위) 또는 하(아래)"에 형성되는 것으로 기재되는 경우에 있어, 상(위) 또는 하(아래)는 두개의 구성 요소들이 서로 직접 접촉되거나 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 배치되어 형성되는 것을 모두 포함한다. 또한 “상(위) 또는 하(아래)”으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다. 아울러, "신호"는 전압 신호 또는 전류 신호일 수 있다.
도 1은 실시예에 따른 제스처 장치를 도시한 블록도이다.
도 1을 참조하면, 실시예에 따른 제스처 장치는 영상 입력 모듈(10), 제스처 처리부(20), 제어부(30), 출력 모듈(40) 및 메모리(50)를 포함할 수 있다.
영상 입력 모듈(10)은 대상물의 영상을 입력한다. 영상 입력 모듈(10)은 도 4에 도시한 바와 같이, 카메라(12) 및 적외선 광원(14)을 포함할 수 있다.
카메라(12)는 대상물로부터 영상을 획득하여 전기 신호로 출력할 수 있다. 카메라(12)는 제어부(30)의 제어 하에 실시간으로 영상을 획득할 수 있다. 따라서, 카메라(12)에 의해 정지 대상물이거나 움직이는 대상물에 대한 영상이 실시간으로 획득될 수 있다.
카메라(12)가 예컨대 차량에 장착되는 경우, 차량의 시동이 켜질 때 이러한 차량의 시동이 켜짐을 인지한 제어부(30)의 제어 하에 카메라(12)가 구동될 수 있다.
또는 차량의 시동이 켜짐에 관계없이 사용자가 직접 카메라(12)을 구동시킬 수도 있다.
적외선 광원(14)은 예컨대 적외선 발광 소자(LED)을 포함할 수 있지만, 이에 대해서는 한정하지 않는다.
적외선 광원(14)은 카메라 주변에 배치될 수 있지만, 이에 대해서는 한정하지 않는다.
적외선 광원(14)은 제어부(30)의 제어 하에 예컨대, 야간에 구동될 수 있다. 야간의 경우 적외선 광원(14)으로부터 적외선 광이 조사됨으로써, 카메라(12)로부터 획득된 영상이 밝기를 가지게 되어 대상물과 비 대상물이 구분될 수 있다.
실시예에 따른 제스처 장치는 도 2에 도시한 바와 같이 예컨대 차량에 구비될 수 있다.
차량의 실내에는 전방의 천장(102)에 룸미러(103)가 구비되고, 운전석(101) 옆에 콘솔 박스((console box, 107)와 기어 노브((gear knob, 105)가 장착된 기어 변속 레버(106)가 구비될 수 있다. 또한 운전석(101)과 조수석(미도시) 사이에 센터페시아(center fascia, 109))가 구비될 수 있다. 룸미러(103)는 전면 유리의 상측 근처의 천장(102)에 설치될 수 있지만, 이에 대해서는 한정하지 않는다. 룸미러(103)는 콘솔 박스(107) 및 기어 노브(105)에 대해 수직인 천장(102)이나 대각선 방향을 향하는 천장(102)에 설치될 수 있다.
영상 입력 모듈(10)은 도 3에 도시한 바와 같이 예컨대 차량의 룸미러(103)의 하부의 일부 상에 장착될 수 있지만, 이에 대해서는 한정하지 않는다.
영상 입력 모듈(10)은 예컨대 차량의 천장(102)의 내면의 일부 상에 장착될 수 있지만, 이에 대해서는 한정하지 않는다.
영상 입력 모듈(10)이 차량의 룸미러(103)의 하부의 일부 또는 차량의 천장(102)의 내면의 일부 상에 장착되든지 간에 영상 입력 모듈(10)은 예컨대 운전자의 손 및/또는 손에 인접한 팔뚝에 대한 영상을 획득해야 한다. 여기서, 팔뚝이라 함은 손목과 팔꿈치 사이일 수 있지만, 이에 대해서는 한정하지 않는다.
영상 입력 모듈(10)에 의해 영상이 획득되는 영역이 영상 획득 영역(A)이라 명명될 수 있다. 영상 획득 영역(A)은 기어 노브(105), 콘솔 박스(107) 그리고 기어 노브(105)와 콘솔 박스(107) 사이의 영역을 포함할 수 있다. 기어 노브(105)는 기어 변속 레버(106)의 상단에 장착되어 사용자의 그립(grip) 감을 향상시켜 준다.
따라서, 영상 획득 영역(A)에 놓여지는 대상물에 대한 영상이 영상 입력 모듈(10)에 의해 획득될 수 있다.
출력 모듈(40)은 또한 차량에 장착될 수 있다. 출력 모듈(40)은 도 5에 도시한 바와 같이, 음향 출력부(42)와 디스플레이 패널(44)을 포함할 수 있다.
디스플레이 패널(44)은 정지 영상이나 동영상이 표시되는 부재로서, 예컨대 센터페시아(109)에 장착될 수 있다. 디스플레이 패널(44)은 예컨대 영화나 뮤직 비디오 또는 네비게이션 화면을 표시할 수 있다. 또한 디스플레이 패널(44)은 영상 통화시 상대방 얼굴이나 상대방이 보내준 영상이 표시될 수 있다.
음향 출력부(42)는 오디오 신호가 출력되는 부재로서, 차량의 각 도어나 천장(102) 등에 장착될 수 있다.
제어부(30)는 각 구성 요소, 즉 영상 입력 모듈(10), 제스처 처리부(20), 출력 모듈(40) 및 메모리(50)를 전체적으로 제어할 수 있다.
예컨대, 제어부(30)는 영상 입력 모듈(10)의 카메라(12)에 의해 영상이 획득되도록 제어하는 한편, 야간 모드시 영상 입력 모듈(10)의 적외선 광원(14)에 의해 빛이 조사되도록 제어할 수 있다.
예컨대, 제어부(30)는 출력 모듈(40)의 음향 출력부(42)에 의해 오디오 신호가 출력되도록 제어하는 한편, 출력 모듈(40)의 디스플레이 패널(44)에 의해 영상 신호가 출력되도록 제어할 수 있다.
예컨대, 제어부(30)는 메모리(50)에 새로운 데이터가 업데이트되도록 제어하며 기 저장된 데이터가 삭제 및 변경되도록 제어할 수 있다.
예컨대, 제어부(30)는 제스처 처리부(20)의 출력 결과를 바탕으로 사용자의 이벤트에 대응하는 동작을 수행하도록 제어할 수 있다.
제스처 처리부(20)의 출력 결과를 바탕으로 제어부(30)의 제어 동작에 대해서는 나중에 상세히 설명하기로 한다.
제스처 처리부(20)는 도 6에 도시한 바와 같이, 영상 분석부(22), 주야간 판단부(24) 및 제스처 판단부(26)를 포함할 수 있다.
영상 분석부(22)는 영상 입력 모듈(10)의 카메라(12)로부터 제공된 프레임 단위의 영상을 분석할 수 있다. 영상 분석부(22)는 영상의 밝기 정보, 대상물의 모양, 대상물의 모양 움직임 정보, 대상물의 실루엣(contour) 정보 및 대상물의 컬러 정보를 파악할 수 있다. 영상의 밝기 정보는 주야간 판단부(24)로 제공될 수 있다. 대상물의 모양 움직임 정보, 대상물의 실루엣 정보 및 대상물의 컬러 정보는 제스처 판단부(26)로 제공될 수 있다.
주야간 판단부(24)는 영상의 밝기 정보를 바탕으로 주간인지 야간인지를 판단할 수 있다. 예컨대, 30 프레임의 영상 전체의 밝기 평균 레벨이 임계치 이상인 경우 주간으로 판단될 수 있다. 예컨대, 30 프레임의 영상 전체의 밝기 평균 레벨이 임계치 이하인 경우 야간으로 판단될 수 있다. 만일 야간으로 판단되는 경우, 제어부(30)의 제어 하에 영상 입력 모듈(10)의 적외선 광원(14)이 구동되어 적외선 광이 조사될 수 있다. 이후, 카메라(12)에 의해 적외선 광이 반영된 영상이 다시 취득될 수 있다.
제스처 판단부(26)는 대상물의 모양 정보, 대상물의 모양 움직임 정보, 대상물의 실루엣 정보 및 대상물의 컬러 정보를 바탕으로 사용자의 제스처가 활성화 제스처인지 또는 구동 제스처인지를 판단할 수 있다.
여기서, 구동 제스처는 실시예에 따른 제스처 장치에 기 설정된 다수의 기능을 수행하기 위한 입력 명령을 의미할 수 있다. 따라서, 구동 제스처는 다수개가 존재할 수 있다.
다수의 구동 제스처 중 어느 하나의 제스처는 활성화 제스처와 동일할 수도 있고 그렇지 않을 수도 있다. 구동 제스처가 활성화 제스처와 동일하더라도, 실시예에 따른 제스처 장치를 에러 없이 동작시킬 수 있다. 예컨대, 활성화 제스처(제1 제스처)와 다수의 구동 제스처 중 하나의 제스처(제2 제스처)가 동일한 경우, 영상 입력 모듈(10)에 의해 먼저 입력된 제1 영상에서 추출된 제1 제스처가 활성화 제스처로 인지되어 아이들 상태 모드로 전환되고 이후 영상 입력 모듈(10)에 의해 입력된 제2 영상에서 추출된 제2 제스처가 구동 제스처로 인지되어 제2 제스처에 대응하는 기능이 수행될 수 있다.
예컨대 구동 제스처로는 홈 화면을 디스플레이하기 위한 홈 제스처, 문자나 숫자를 입력하기 위한 입력창을 디스플레이하기 위한 입력 제스처, 다음 화면이나 이전 화면을 디스플레이하기 위한 왼쪽 제스처, 오른쪽 제스처, 업 제스처 및 다운 제스처 그리고 기 설정된 동작을 곧바로 수행하도록 하는 단축키(shortcut key) 제스처가 사용될 수 있지만, 이에 대해서는 한정하지 않는다.
활성화 제스처는 앞서 설명한 수많은 제스처에 의한 오동작이 발생되지 않도록 하기 위한 담금 장치를 해제하기 위한 제스처일 수 있다. 활성화 제스처에 의해 구동 제스처를 인식하기 위한 아이들 상태(idle state) 모드로 전환될 수 있다. 아이들 상태 모드 이전에는 잠금 상태 모드로 명명될 수 있다. 따라서, 활성화 제스처에 의해 잠금 상태 모드가 아이들 상태 모드로 전환될 수 있다.
활성화 제스처는 특정한 대상물 모양이 특정한 대상물의 모양 움직임으로 메모리(50)에 기 설정될 수 있다.
예컨대, 활성화 제스처는 도 7에 도시한 바와 같이, 새끼 손가락만 펼쳐지고 나머지 손가락들이 오므려진 모양으로 활성화 제스처가 메모리(50)에 기 설정되는 경우, 사용자의 이러한 제스처에 의해 잠금 상태 모드가 아이들 상태 모드로 전환될 수 있다.
예컨대, 구동 제스처는 또한 기 설정되어 사용자의 구동 제스처에 응답하여 해당 기능이 수행될 수 있지만, 이에 대해서는 한정하지 않는다.
제스처 판단부(26)는 다양한 알고리즘이 적용될 수 있다.
이하에서 다양한 알고리즘 중 하나의 알고리즘을 설명하겠지만, 실시예는 이에 한정하지 않는다.
제스처 판단부(26)는 도 8에 도시한 바와 같이, 손 구분(hand segmentation) 기능(61)과 손 특정(hand classification) 기능(65)으로 구분될 수 있다.
손 구분 기능(61)은 대상물 움직임 검출(moving object detection) 기능(62)과 손 인증(hand verification) 기능(64)으로 구분될 수 있다.
손 구분 기능(61)은 주간과 야간에 따라 다른 알고리즘이 적용될 수 있다. 즉, 야간의 경우, 영상 입력 모듈(10)로부터 획득된 영상에 컬러 정보가 포함되지 않기 때문에, 실루엣 정보와 그 실루엣의 특징점(feature points)의 움직임 정보 및 밝기 정보 등이 이용될 수 있다.
대상물 움직임 검출 기능(62)는 영상 입력 모듈(10)로부터 획득된 영상에서 예컨대 손의 후부 영역에 해당하는 블롭(blobs)을 찾아 이에 대한 관련 정보, 예컨대 특징점의 위치나 관심 영역(ROI: region of interest)의 코너점(corner points)의 위치를 파악할 수 있다.
손 인증 기능(64)은 이전 영상으로부터 손에 해당하는 영역을 정확하게 구분해내고 해당 영역 내의 모든 픽셀들에 대한 좌표값(x,y)과 해당 영역의 실루엣 정보 즉 해당 영역의 최외곽 픽셀들에 대한 좌표(x,y)을 검출한다. 아울러, 손 인증 기능(64)은 다음 영상에서 손 영역이 위치하게 좌표값을 추청하여 대상물 움직임 검출 기능(62)으로 제공한다. 움직임 검출 기능(62)는 손 인증 기능(64)로부터 제공된 정보를 바탕으로 손이 위치될 후보 영역(ROI)의 검출 범위를 좁힐 수 있어, 보다 정확하게 손 영역을 검출할 수 있다. 이에 따라,
손 특정 기능(65)는 제스처 관리(gesture management) 기능(67)과 제스처 특정(gesture classification) 기능(69)으로 구분될 수 있다.
제스처 관리 기능(67)은 효율적이고 정확한 제스처 인식 및 연산시간 감소를 위하여 아이들 상태 모드로의 전환 이후의 모든 제스처에 대한 플로우(flow) 관리를 수행할 수 있다.
제스처 특정 기능(69)은 대상물 움직임 검출 기능(62)에서 제공된 특징점(feature points) 정보를 이용하여 손의 모양이나 움직임 형태를 파악하여 파악된 손의 움직임 중에서 사용자가 의도하지 않은 동작 형태를 제거하여 사용자가 의도한 동작 형태만을 출력할 수 있다. 제스처 특정 기능(69)에 의해 사용자가 의도하지 않은 동작 형태로 인한 오동작이 방지될 수 있다.
도 9는 제1 실시예에 따른 제스처 장치의 동작 방법을 설명하는 흐름도이다.
도 1, 도 4 및 도 9를 참조하면, 제어부(30)의 제어 하에 영상 입력 모듈(10)의 카메라(12)가 구동될 수 있다(S201).
예컨대, 차량의 시동이 켜지면, 제어부(30)는 이러한 차량의 시동 켜짐을 인지하고 카메라(12)가 구동되도록 제어할 수 있다.
예컨대, 사용자의 이벤트, 예컨대 카메라(12) 구동 버튼에 대한 누름이 감지되면, 제어부(30)는 카메라(12)가 구동되도록 제어할 수 있다.
이때, 제스처 장치는 잠금 상태 모드로 설정될 수 있다(S203). 즉, 카메라(12) 구동에 의해 카메라(12)의 렌즈에 대응되는 영상 획득 영역(A)에 위치되는 대상물에 대한 영상이 획득될 수 있다. 이때, 사용자가 영상 획득 영역(A)에서 무심코 특정 제스처를 취하는 경우 구동 제스처로 인지되어 특정 기능이 수행되는 오동작이 발생될 수 있다.
실시예는 이러한 오동작을 방지하기 위해, 기 설정된 특정 제스처 즉 활성화 제스처에 의해 잠금 상태 모드를 해제하여 아이들 상태 모드로 전환된 이후에만 제스처에 의한 기능이 수행되도록 하여 줄 수 있다.
따라서, 잠금 상태 모드로 설정된 경우, 영상 획득 영역(A)에서 특정 제스처 이외의 어떠한 제스처가 취해지더라도 제스처에 의한 오동작이 발생되지 않게 된다.
구동된 카메라(12)에 의해 영상 획득 영역(A)에 위치된 대상물에 대한 제1 영상이 획득된다(S205).
제스처 처리부(20)는 획득된 제1 영상으로부터 추출된 제스처가 활성화 제스처인지 확인한다(S207).
제스처 처리부(20)는 제1 영상을 분석하여 대상물의 모양 정보, 대상물의 모양 움직임 정보, 대상물의 컬러 정보 등을 파악하고, 파악된 이들 정보를 토대로 제1 영상에 제스처가 존재하는지 그리고 제스처가 존재한다면 이 제스처가 기 설정된 활성화 제스처와 일치하는지를 판단할 수 있다.
예컨대, 도 7과 같은 손 모양의 제스처가 활성화 제스처로 메모리(50)에 설정될 수 있다. 즉, 활성화 제스처는 새끼 손가락만 펼쳐지고 나머지 손사락들은 오므려진 모양을 가질 수 있다. 이러한 경우, 제스처 처리부(20)는 제1 영상에 제스처가 존재하고 존재하는 제스처가 도 7과 같은 손 모양의 제스처와 동일한지 판단한다.
만일 제1 영상에 존재하는 제스처가 기 설정된 활성화 제스처와 동일한 경우, 제어부(30)는 잠금 상태 모드를 아이들 상태 모드로 전환할 수 있다(S209). 아이들 상태 모드는 다양한 제스처를 바탕으로 실시예에 따른 제스처 장치에 구현 가능한 다양한 기능이 수행될 수 있는 기능 활성화 상태라 할 수 있다.
잠금 상태 모드가 아이들 상태 모드로 전환된 이후에 비로서 다양한 기능이 수행될 수 있다. 잠금 상태 모드 상태에서 특정 기능을 수행하기 위한 제스처를 취하여 카메라(12)에 의해 이러한 제스처에 대한 영상이 획득되더라도 잠금 상태 모드로 설정되어 있어 해당 기능이 수행될 수 없다. 이에 반해, 아이들 상태 모드로 전환되면, 특정 기능을 수행하기 위한 제스처에 응답하여 해당 특정 기능이 수행될 수 있다.
실시예에 따른 제스처 장치는 다양한 기능을 수행하도록 다양한 기능에 대응되도록 다양한 제스처가 설정될 수 있다.
예컨대, 도 10에 도시한 바와 같이, 손이 왼쪽으로 이동되는 제스처의 경우, 이러한 왼쪽 제스처에 의해 출력 모듈(40)의 디스플레이 패널(44)에 표시되는 유저 인터페이스(US) 화면이 왼쪽으로 사라지는 대신 다음 UI 화면이 디스플레이 패널(44) 상에 표시될 수 있다.
예컨대, 도 11에 도시한 바와 같이, 검지 손가락만 펼쳐지는 제스처, 즉 "1"을 나타내는 단축키를 표시하는 제스처의 경우, 이러한 단축키 제스처에 의해 "1"을 나타내는 단축키에 설정된 특정 사람의 전화 번호를 이용하여 특정 사람의 단말기로 호 신호(call signal)가 송신되어, 특정 사람과 통화가 가능할 수 있다.
이 이외에도 다양한 기능에 맞도록 다양한 제스처가 설정되는 경우, 아이들 상태 모드로 전환된 후 이러한 다양한 제스처를 통해 다양한 기능이 수행될 수 있다.
실시예는 이와 같이 다양한 제스처에 의해 다양한 기능이 수행되므로, 기존에 다수의 버튼 조작으로 기능을 수행할 때 발생되는 번거로움을 해소하거나 버튼 간의 간격 협소로 인한 오동작을 방지할 수 있다.
아이들 상태 모드에서의 다양한 기능 구현에 대해서는 이하에서 설명한다.
제어부(30)의 제어 하에 카메라(12)에 의해 제2 영상이 획득될 수 있다(S211).
제스처 처리부(20)는 제2 영상을 바탕으로 제2 영상 내에 제스처가 있는지 그리고 제스처가 있다면 해당 제스처가 구동 제스처인지를 확인한다(S213).
구동 제스처는 제스처 장치에 구비된 다양한 기능에 대응하도록 다양한 제스처를 가질 수 있다.
만일 제2 영상 내에 제스처가 구동 제스처이면, 해당 구동 제스처에 대응하는 기능이 수행될 수 있다(S215).
예컨대, 앞서 설명한 바와 같이, 검지 손가락만 펼쳐지는 제스처인 경우, 이러한 제스처에 응답하여 단축키 "1"에 해당하는 전화 번호로 호 신호가 송신되어 해당 전화 번호의 사용자와 통화가 연결될 수 있다.
도 12는 제2 실시예에 따른 제스처 장치의 동작 방법을 설명하는 흐름도이다.
제2 실시예에서 단계(S230), 단계(S240) 및 단계(S250)을 제외하고는 제1 실시예와 거의 유사하다. 제2 실시예에서 제1 실시예와 동일한 단계는 동일한 도면 부호를 부여하고 상세한 설명을 생략하기로 한다. 제2 실시예에서 생략된 설명은 제1 실시예로부터 용이하게 이해될 수 있다.
도 12에 도시한 바와 같이, 카메라(12)가 구동되는 단계(S201), 잠금 상태 모드로 설정되는 단계(S203) 및 제1 영상이 획득되는 단계(S205)가 진행될 수 있다.
제1 영상이 획득되면, 제스처 처리부(20)는 제1 영상으로부터 파악된 제1 영상의 밝기가 임계치 이하인지 여부를 확인한다(S230). 여기서, 밝기는 한 프레임의 제1 영상의 밝기이거나 다수 프레임의 제1 영상의 평균 밝기일 수 있지만, 이에 대해서는 한정하지 않는다.
제1 영상의 밝기가 임계치 이하인 경우 야간인 것을 의미하고, 제1 영상의 밝기가 임계치 이상인 경우 주간인 것을 의미할 수 있다. 임계치는 기 설정되어 있을 수 있고 또는 사용자에 의해 설정될 수 있다.
만일 제1 영상의 밝기가 임계치 이하인 경우, 적외선 광원(14)이 구동되어 적외선 광원(14)으로부터 적외선 광이 조사될 수 있다(S240).
적외선 광원(14)이 조사된 상태에서 카메라(12)에 의해 제1 영상이 다시 획득될 수 있다(S250). 이때, 획득된 제1 영상은 단계(S205)에서 획득된 제1 영상과 컬러가 다를 수 있다. 즉, 단계(S205)에서 획득된 제1 영상은 컬러를 가지는데 반해, 단계(S250)에서 획득된 제1 영상은 흑백일 수 있다.
이후의 단계들(S207, S209, S211, S213, S215)는 제1 실시예와 동일하므로, 더 이상의 설명은 생략하기로 한다.
만일 단계(S230)에서 제1 영상의 밝기가 임계치보다 큰 경우, 적외선 광원(14)이 구동될 필요 없이 곧바로 단계(S207)이 수행될 수 있다.
도 13은 구동 제스처의 또 다른 예를 도시한 도면이다.
예컨대, 도 13에 도시한 바와 같이 손바닥과 손가락을 자연스럽게 편 상태로 손바닥이 차량 바닥을 향하도록하여 아래로 이동하거나, 손바닥이 차량 지붕을 향하도록 하여 위로 이동할 경우, 해당 제스처에 의해 출력 모듈인 멀티미디어 장치의 볼륨을 줄이거나 높일 수 있는 것이 가능할 수 있다.
도 14는 구동 제스처의 또 다른 예를 도시한 도면이다.
도 14를 참조하면, 손바닥이 차량 바닥을 향하도록 하여 손바닥과 손가락을 펼친 상태에서 주먹을 쥐는 제스처에 의해, 음악을 플레이 하거나 네비게이션등을 실행시키는 출력 모듈의 특정 기능을 동작/실행하도록 하는 것이 가능할 수 있다.
도 15는 구동 제스처의 또 다른 예를 도시한 도면이다.
도 15를 참조하면, 손바닥이 차량 바닥을 향하도록 하여 손바닥과 손가락을 자연스럽게 펼친 상태로 2~3차례 좌우로 흔들 경우, 해당 제스처에 의해 플레이 되고 있는 음악이 멈춰지면서 상위 메뉴로 이동되거나, 임의의 메뉴에서 해당 메뉴의 상위 메뉴로 단순 이동되도록 하는 것이 가능할 수 있다.

Claims (12)

  1. 제1 영상을 획득하는 입력 모듈;
    상기 획득된 제1 영상으로부터 제스처를 추출하는 제스처 처리부; 및
    상기 추출된 제스처를 바탕으로 잠금 상태 모드를 아이들 상태 모드로 전환하도록 제어하는 제어부를 포함하는 제스처 장치.
  2. 제1항에 있어서,
    상기 입력 모듈은 상기 아이들 상태 모드로 전환된 후, 제2 영상을 획득하고,
    상기 제스처 처리부는 상기 제2 영상으로부터 제스처를 추출하며,
    상기 제어부는 상기 제2 영상으로부터 추출된 제스처에 대응하는 기능을 수행하도록 제어하는 제스처 장치.
  3. 제2항에 있어서,
    상기 입력 모듈은
    상기 제1 영상 및 상기 제2 영상을 획득하는 카메라; 및
    야간시 적외선 광을 조사하는 적외선 광원을 포함하고,
    야간시 적외선 광을 반영한 제1 영상 및 제2 영상이 획득되는 제스처 장치.
  4. 제2항에 있어서,
    상기 제1 및 제2 영상은 손 및/또는 팔뚝에 대한 영상인 제스처 장치.
  5. 운전석, 상기 운전석 옆에 배치되는 콘솔 박스 및 기어 노브 그리고 룸미러를 포함하는 차량에 있어서,
    영상을 획득하기 위해 상기 룸미러의 하부에 장착되는 입력 모듈;
    상기 획득된 영상으로부터 제스처를 추출하는 제스처 처리부; 및
    상기 추출된 제스처를 바탕으로 잠금 상태 모드를 아이들 상태 모드로 전환하고 상기 추출된 제스처에 대응하는 기능을 수행하도록 제어하는 제어부를 포함하는 차량.
  6. 제5항에 있어서,
    상기 기능은 상기 아이들 상태 모드로 전환된 이후에만 수행되는 차량.
  7. 제5항에 있어서,
    상기 영상은 상기 콘솔 박스와 상기 기어 노브 사이에 정의되는 획득 영역에 위치되는 대상물로부터 획득되는 차량.
  8. 제5항에 있어서,
    상기 제스처 처리부는 상기 영상으로부터 추출된 대상물의 모양 정보, 대상물의 모양 움직임 정보, 대상물의 실루엣 정보 및 대상물의 컬러 정보를 바탕으로 상기 제스처를 추출하는 차량.
  9. 제1 영상을 획득하는 단계;
    상기 제1 영상으로부터 제1 제스처를 추출하는 단계;
    상기 추출된 제1 제스처가 활성화 제스처인지 확인하는 단계; 및
    상기 추출된 제1 제스처가 상기 활성화 제스처인 경우, 잠금 상태 모드를 아이들 상태 모드로 전환하는 단계를 포함하는 제스처 장치의 동작 방법.
  10. 제9항에 있어서,
    상기 잠금 상태 모드에서 상기 활성화 제스처 이외의 구동 제스처에 대응하는 기능의 수행이 차단되는 제스처 장치의 동작 방법.
  11. 제9항에 있어서,
    상기 아이들 상태 모드로 전환된 후, 제2 영상을 획득하는 단계;
    상기 제2 영상으로부터 제2 제스처를 추출하는 단계;
    상기 추출된 제2 제스처가 구동 제스처인지 확인하는 단계; 및
    상기 추출된 제2 제스처가 상기 구동 제스처인 경우, 상기 구동 제스처에 대응하는 기능을 수행하는 단계를 더 포함하는 제스처 장치의 동작 방법.
  12. 제9항에 있어서,
    상기 활성화 제스처인지 확인하는 단계 이전에,
    상기 제1 영상의 밝기를 추출하는 단계; 및
    상기 제1 영상의 밝기가 임계치 이하인 경우, 적외선 광원을 구동하여 적외선 광을 조사하는 단계를 더 포함하고,
    상기 적외선 광이 조사된 상태에서 상기 제1 영상이 다시 획득되어 상기 다시 획득된 제1 영상으로부터 추출된 제스처가 활성화 제스처인지 확인하는 과정이 수행되는 제스처 장치의 동작 방법.
PCT/KR2015/000402 2014-01-22 2015-01-14 제스처 장치, 그 동작 방법 및 이를 구비한 차량 WO2015111869A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15740431.0A EP3098692A4 (en) 2014-01-22 2015-01-14 Gesture device, operation method for same, and vehicle comprising same
CN201580005677.7A CN106062668B (zh) 2014-01-22 2015-01-14 手势设备、用于手势设备的操作方法以及包括手势设备的车辆
US15/113,408 US10108334B2 (en) 2014-01-22 2015-01-14 Gesture device, operation method for same, and vehicle comprising same
JP2016547916A JP6671288B2 (ja) 2014-01-22 2015-01-14 ジェスチャー装置、その動作方法及びこれを備えた車両

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140007631A KR20150087544A (ko) 2014-01-22 2014-01-22 제스처 장치, 그 동작 방법 및 이를 구비한 차량
KR10-2014-0007631 2014-01-22

Publications (1)

Publication Number Publication Date
WO2015111869A1 true WO2015111869A1 (ko) 2015-07-30

Family

ID=53681629

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/000402 WO2015111869A1 (ko) 2014-01-22 2015-01-14 제스처 장치, 그 동작 방법 및 이를 구비한 차량

Country Status (6)

Country Link
US (1) US10108334B2 (ko)
EP (1) EP3098692A4 (ko)
JP (1) JP6671288B2 (ko)
KR (1) KR20150087544A (ko)
CN (1) CN106062668B (ko)
WO (1) WO2015111869A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112015000921T5 (de) * 2014-03-26 2016-12-08 Faurecia Automotive Seating, Llc Fahrzeugsitz
EP3119158A4 (en) * 2014-03-31 2017-03-08 Huawei Technologies Co. Ltd. Privacy protection method and terminal device
JP2016168958A (ja) * 2015-03-13 2016-09-23 矢崎総業株式会社 車両用操作システム
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
TWI636395B (zh) * 2016-11-10 2018-09-21 財團法人金屬工業研究發展中心 基於深度值之手勢操作方法及其系統
FR3060473A1 (fr) * 2016-12-16 2018-06-22 Peugeot Citroen Automobiles Sa Pavillon de toit de vehicule automobile comportant un dispositif de commande sans contact d’au moins un composant electrique.
US20190073040A1 (en) * 2017-09-05 2019-03-07 Future Mobility Corporation Limited Gesture and motion based control of user interfaces
US10755495B1 (en) 2017-09-25 2020-08-25 State Farm Mutual Automobile Insurance Company Technology for detecting onboard sensor tampering
CN109215197B (zh) * 2018-09-17 2021-09-03 广州小鹏汽车科技有限公司 一种鉴权方法、电子设备及计算机可读存储介质
CN110315968B (zh) * 2019-07-03 2021-04-16 上海科世达-华阳汽车电器有限公司 一种控制换挡操纵装置的方法、设备、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100967556B1 (ko) * 2009-01-07 2010-07-05 아진산업(주) 차량실내 감시 기록장치
KR20110022057A (ko) * 2008-06-18 2011-03-04 오블롱 인더스트리즈, 인크 차량 인터페이스를 위한 제스처 기반 제어 시스템
KR20120049249A (ko) * 2009-07-07 2012-05-16 폭스바겐 악티엔 게젤샤프트 차량에서 사용자 인터페이스를 제공하는 방법 및 장치
WO2013151614A1 (en) * 2012-04-02 2013-10-10 Google Inc. Gesture-based automotive controls
KR20130124139A (ko) * 2012-11-21 2013-11-13 삼성전자주식회사 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
KR100960577B1 (ko) 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
JP4650247B2 (ja) * 2005-12-07 2011-03-16 株式会社デンソー カーナビゲーションシステム
JP5228439B2 (ja) * 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
KR101564222B1 (ko) 2009-05-26 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
JP2010282390A (ja) * 2009-06-04 2010-12-16 Toyama Prefecture 通行車両撮影方法と撮影装置
GB2474536B (en) * 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
KR101623007B1 (ko) * 2009-11-11 2016-05-20 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
US8359020B2 (en) 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
US20120215403A1 (en) * 2011-02-20 2012-08-23 General Motors Llc Method of monitoring a vehicle driver
CN102131047B (zh) * 2011-04-18 2012-09-26 广州市晶华光学电子有限公司 一种360度自动跟踪式狩猎相机及其工作方法
US20120329529A1 (en) 2011-06-21 2012-12-27 GreatCall, Inc. Gesture activate help process and system
US20130155237A1 (en) * 2011-12-16 2013-06-20 Microsoft Corporation Interacting with a mobile device within a vehicle using gestures
DE102012000201A1 (de) * 2012-01-09 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
DE102012000263A1 (de) * 2012-01-10 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
US8638989B2 (en) * 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
KR20130124143A (ko) * 2012-11-30 2013-11-13 삼성전자주식회사 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
AU2013205613B2 (en) 2012-05-04 2017-12-21 Samsung Electronics Co., Ltd. Terminal and method for controlling the same based on spatial interaction
WO2013175603A1 (ja) * 2012-05-24 2013-11-28 パイオニア株式会社 操作入力装置、操作入力方法及び操作入力プログラム
JP5916566B2 (ja) * 2012-08-29 2016-05-11 アルパイン株式会社 情報システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110022057A (ko) * 2008-06-18 2011-03-04 오블롱 인더스트리즈, 인크 차량 인터페이스를 위한 제스처 기반 제어 시스템
KR100967556B1 (ko) * 2009-01-07 2010-07-05 아진산업(주) 차량실내 감시 기록장치
KR20120049249A (ko) * 2009-07-07 2012-05-16 폭스바겐 악티엔 게젤샤프트 차량에서 사용자 인터페이스를 제공하는 방법 및 장치
WO2013151614A1 (en) * 2012-04-02 2013-10-10 Google Inc. Gesture-based automotive controls
KR20130124139A (ko) * 2012-11-21 2013-11-13 삼성전자주식회사 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말

Also Published As

Publication number Publication date
EP3098692A1 (en) 2016-11-30
US10108334B2 (en) 2018-10-23
CN106062668A (zh) 2016-10-26
JP2017510875A (ja) 2017-04-13
JP6671288B2 (ja) 2020-03-25
KR20150087544A (ko) 2015-07-30
CN106062668B (zh) 2019-11-15
US20170010797A1 (en) 2017-01-12
EP3098692A4 (en) 2017-07-19

Similar Documents

Publication Publication Date Title
WO2015111869A1 (ko) 제스처 장치, 그 동작 방법 및 이를 구비한 차량
WO2014003329A1 (en) Mobile terminal and method for recognizing voice thereof
WO2017188801A1 (ko) 동작-음성의 다중 모드 명령에 기반한 최적 제어 방법 및 이를 적용한 전자 장치
WO2012002603A1 (ko) 외부 장치의 동작 상태 제공 방법 및 그 장치
WO2016024806A1 (en) Method and apparatus for providing image contents
WO2015190742A1 (ko) 카메라를 통한 가상 버튼 구현방법, 장치 및 컴퓨터 판독가능 기록매체
WO2015137742A1 (en) Display apparatus and controlling method thereof
WO2014133265A1 (en) Display apparatus
WO2021172832A1 (ko) 제스처 인식 기반의 영상 편집 방법 및 이를 지원하는 전자 장치
WO2020145517A1 (en) Method for authenticating user and electronic device thereof
WO2020213834A1 (ko) 복수의 어플리케이션의 실행화면들을 표시하는 전자 장치 및 그의 동작 방법
WO2018093160A2 (ko) 디스플레이장치, 시스템 및 기록매체
WO2013085278A1 (ko) 선택적 주의 집중 모델을 이용한 모니터링 장치 및 그 모니터링 방법
WO2018110820A1 (ko) 차량의 윈도 글라스를 이용한 편의장치 제어시스템
WO2015056893A1 (en) Image processing apparatus and control method thereof
WO2019160325A1 (en) Electronic device and control method thereof
WO2020105784A1 (ko) 주차유도 시스템 및 그 제어방법
WO2021080290A1 (en) Electronic apparatus and control method thereof
WO2017039250A1 (en) Video communication device and operation thereof
WO2019135512A1 (ko) 디스플레이장치 및 그 제어방법
WO2022050622A1 (ko) 디스플레이장치 및 그 제어방법
CN110545352A (zh) 电子设备、控制装置、电子设备的控制方法、及记录介质
WO2021235884A1 (ko) Awb를 수행하여 이미지를 생성하는 전자 장치 및 방법
WO2015053451A1 (en) Mobile terminal and operating method thereof
WO2013141598A1 (en) User terminal, electronic device, and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15740431

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016547916

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15113408

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015740431

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015740431

Country of ref document: EP