KR20220074707A - Method and apparatus for controlling contents in vehicle for a plurality of users - Google Patents

Method and apparatus for controlling contents in vehicle for a plurality of users Download PDF

Info

Publication number
KR20220074707A
KR20220074707A KR1020210108489A KR20210108489A KR20220074707A KR 20220074707 A KR20220074707 A KR 20220074707A KR 1020210108489 A KR1020210108489 A KR 1020210108489A KR 20210108489 A KR20210108489 A KR 20210108489A KR 20220074707 A KR20220074707 A KR 20220074707A
Authority
KR
South Korea
Prior art keywords
users
screen
content
vehicle
display unit
Prior art date
Application number
KR1020210108489A
Other languages
Korean (ko)
Other versions
KR102475071B1 (en
Inventor
문연국
김민준
채승훈
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210108489A priority Critical patent/KR102475071B1/en
Publication of KR20220074707A publication Critical patent/KR20220074707A/en
Application granted granted Critical
Publication of KR102475071B1 publication Critical patent/KR102475071B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Abstract

본 발명의 일 실시예에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법은 a) 센서부에 의해 표시부의 스크린과 상기 사용자들과의 거리 및 상기 사용자들의 인원수 중 하나 이상을 감지함으로써 사용자 환경을 판단하는 단계; b) 상기 사용자 환경에 근거하여 상기 센서부에 의해 감지되는 상기 사용자들의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 인터랙션 방식으로 선택하는 단계; 및 c) 상기 인터랙션 방식에 따른 상기 센서부의 감지 신호에 따라 상기 표시부 및 음향 출력부 중 하나 이상이 양방향 콘텐츠를 제공하도록 제어하는 단계를 포함하는 것을 특징으로 한다. A method for controlling content in a vehicle for a plurality of users according to an embodiment of the present invention comprises a) a user environment by sensing at least one of a distance between a screen of a display unit and the users and the number of the users by a sensor unit. judging; b) selecting one or more of the user's gaze, motion, gesture, voice, and touch sensed by the sensor unit in an interactive manner based on the user environment; and c) controlling at least one of the display unit and the sound output unit to provide interactive content according to the detection signal of the sensor unit according to the interaction method.

Description

다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치{Method and apparatus for controlling contents in vehicle for a plurality of users} Method and apparatus for controlling contents in vehicle for a plurality of users

본 발명은 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치에 관한 것으로, 상세하게는, 무인 셔틀 버스와 같은 차량 내에서 다수의 사용자들이 원활하게 콘텐츠를 조작할 수 있으며, 사용자 환경에 따라 적합한 콘텐츠를 제공할 수 있는, 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치에 관한 것이다. The present invention relates to a content control method and a content control apparatus in a vehicle for a plurality of users, and more particularly, to a content control method and a content control apparatus in a vehicle such as an unmanned shuttle bus, in which a plurality of users can smoothly manipulate content, and a user environment To a content control method and a content control apparatus in a vehicle for a plurality of users, which can provide suitable content according to the present invention.

최근, 자율 주행 차량의 개발 및 사용이 활발히 행해지고 있다. 이러한 자율 주행 차량은 사용자를 위한 인포테인먼트(infotainment)와 같은 콘텐츠를 제공하고 이를 제어하는 콘텐츠 제어 방법 및 콘텐츠 제어 장치가 널리 적용되고 있다. In recent years, the development and use of autonomous vehicles has been actively carried out. Such an autonomous vehicle provides content such as infotainment for a user and a content control method and a content control apparatus for controlling the content are widely applied.

그런데, 종래의 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치는 단일 사용자용 차량에 적합한 조작 방식, 예를 들어 터치(touch) 및/또는 제스처(gesture)만으로 인터랙션(interaction)을 행하고 있다. 즉, 종래의 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치는 운전석 중심의 조작에 의해 행해지고 적용되었기 때문에, 무인 셔틀 버스와 같은 넓은 공간을 가진 다수의 사용자들을 위한 차량 내에서는 사용자들이 콘텐츠를 조작하는 데에 어려움이 있는 문제점이 있다. However, the conventional content control method and content control apparatus in a vehicle perform interaction only by a manipulation method suitable for a single-user vehicle, for example, a touch and/or a gesture. In other words, since the conventional content control method and content control device in a vehicle are performed and applied by operation centered on the driver's seat, in a vehicle for a large number of users, such as an unmanned shuttle bus, users manipulate content. There is a problem that makes it difficult.

또한, 종래의 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치는, 사용자 환경에 대한 인식 없이 콘텐츠를 제공하므로, 다수의 사용자들을 위한 차량 내에서는 적합한 콘텐츠를 제공하는 데에 한계가 있는 문제점이 있다.In addition, since the conventional content control method and content control apparatus in a vehicle provide content without recognizing a user environment, there is a problem in that there is a limitation in providing suitable content in a vehicle for a large number of users.

본 발명의 목적은, 예를 들어, 무인 셔틀 버스와 같은 넓은 공간을 가진 다수의 사용자들을 위한 차량 내에서 다수의 사용자들이 원활하게 콘텐츠를 조작할 수 있는, 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치를 제공하는 데에 있다. It is an object of the present invention to provide content in-vehicle for multiple users, for example, in a vehicle for multiple users with a large space, such as an unmanned shuttle bus, where multiple users can smoothly manipulate the content. An object of the present invention is to provide a control method and a content control apparatus.

본 발명의 다른 목적은 사용자 환경에 따라 다수의 사용자들을 위한 차량 내에서 적합한 콘텐츠를 제공할 수 있는, 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치를 제공하는 데에 있다. Another object of the present invention is to provide a content control method and a content control apparatus in a vehicle for a plurality of users, capable of providing suitable content in a vehicle for a plurality of users according to a user environment.

상기와 같은 목적을 달성하기 위하여, 본 발명의 실시예의 제1 특징에 따르면, 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법은 a) 센서부에 의해 표시부의 스크린(screen)과 상기 사용자들과의 거리 및 상기 사용자들의 인원수 중 하나 이상을 감지함으로써 사용자 환경을 판단하는 단계; b) 상기 사용자 환경에 근거하여 상기 센서부에 의해 감지되는 상기 사용자들의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 인터랙션 방식으로 선택하는 단계; 및 c) 상기 인터랙션 방식에 따른 상기 센서부의 감지 신호에 따라 상기 표시부 및 음향 출력부 중 하나 이상이 양방향 콘텐츠를 제공하도록 제어하는 단계를 포함하는 것을 특징으로 한다. In order to achieve the above object, according to a first aspect of an embodiment of the present invention, a content control method in a vehicle for a plurality of users is a) a screen of a display unit by a sensor unit and the users determining a user environment by sensing at least one of a distance of and the number of the users; b) selecting one or more of the user's gaze, motion, gesture, voice, and touch sensed by the sensor unit in an interactive manner based on the user environment; and c) controlling at least one of the display unit and the sound output unit to provide interactive content according to the detection signal of the sensor unit according to the interaction method.

본 발명의 실시예의 제2 특징에 따르면, 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법은 a) 센서부에 의해 표시부의 스크린과 상기 사용자들과의 거리 및 상기 사용자들의 인원수 중 하나 이상을 감지함으로써 사용자 환경을 판단하는 단계; b) 상기 사용자 환경에 근거하여 상기 센서부에 의해 감지되는 상기 사용자들의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 이용한 인터랙션이 필요한지 여부를 판단하는 단계; 및 c) 상기 인터랙션이 필요한지 여부에 따라 상기 표시부 및 음향 출력부 중 하나 이상이 일방향 콘텐츠를 제공하도록 제어하는 단계를 포함하는 것을 특징으로 한다. According to a second aspect of an embodiment of the present invention, a method for controlling content in a vehicle for a plurality of users a) detects one or more of a distance between a screen of a display unit and the users and the number of the users by a sensor unit determining the user environment by doing so; b) determining whether interaction using one or more of the user's gaze, motion, gesture, voice, and touch sensed by the sensor unit is required based on the user environment; and c) controlling at least one of the display unit and the sound output unit to provide one-way content according to whether the interaction is required.

본 발명의 실시예의 제3 특징에 따르면, 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치는 시각 콘텐츠가 표시되는 스크린을 가진 표시부; 음향 콘텐츠를 출력하는 음향 출력부; 상기 스크린과 상기 사용자들과의 거리 및 상기 사용자들의 인원수 중 하나 이상을 감지하고, 상기 사용자들의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 감지하는 센서부; 및 상기 스크린과 상기 사용자들과의 거리 및 상기 사용자들의 인원수 중 하나 이상에 의해 판단된 사용자 환경에 근거하여 상기 사용자들의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 인터랙션 방식으로 선택하고, 상기 인터랙션 방식에 따른 상기 센서부의 감지 신호에 따라 상기 표시부 및 상기 음향 출력부 중 하나 이상이 양방향 콘텐츠를 제공하도록 제어하는 제어부를 포함하는 것을 특징으로 한다. According to a third aspect of an embodiment of the present invention, an in-vehicle content control apparatus for a plurality of users includes: a display unit having a screen on which visual content is displayed; a sound output unit for outputting sound content; a sensor unit for sensing at least one of a distance between the screen and the users and the number of users, and sensing at least one of gazes, motions, gestures, voices, and touches of the users; and interactively selecting one or more of the users' gazes, motions, gestures, voices, and touches based on a user environment determined by at least one of the distance between the screen and the users and the number of the users, and a control unit controlling at least one of the display unit and the sound output unit to provide interactive content according to a detection signal of the sensor unit according to the interaction method.

본 발명의 실시예의 제4 특징에 따르면, 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치는 시각 콘텐츠가 표시되는 스크린을 가진 표시부; 음향 콘텐츠를 출력하는 음향 출력부; 상기 스크린과 상기 사용자들과의 거리 및 상기 사용자들의 인원수 중 하나 이상을 감지하는 센서부; 및 상기 스크린과 상기 사용자들과의 거리 및 상기 사용자들의 인원수 중 하나 이상에 의해 판단된 사용자 환경에 근거하여 상기 센서부에 의해 감지되는 상기 사용자들의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 이용한 인터랙션이 필요한지 여부를 판단하고, 상기 인터랙션이 필요한지 여부에 따라 상기 표시부 및 상기 음향 출력부 중 하나 이상이 일방향 콘텐츠를 제공하도록 제어하는 제어부를 포함하는 것을 특징으로 한다. According to a fourth aspect of an embodiment of the present invention, an in-vehicle content control apparatus for a plurality of users includes: a display unit having a screen on which visual content is displayed; a sound output unit for outputting sound content; a sensor unit for sensing at least one of a distance between the screen and the users and the number of users; and at least one of gazes, motions, gestures, voices, and touches of the users detected by the sensor unit based on a user environment determined by at least one of a distance between the screen and the users and the number of users. and a control unit for determining whether an interaction using is required and controlling at least one of the display unit and the sound output unit to provide one-way content according to whether the interaction is required.

본 발명의 실시예에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치를 사용하면 다음과 같은 효과가 달성된다. The following effects are achieved by using the content control method and content control apparatus in a vehicle for multiple users according to an embodiment of the present invention.

1. 예를 들어, 무인 셔틀 버스와 같은 넓은 공간을 가진 다수의 사용자들을 위한 차량 내에서 다수의 사용자들이 원활하게 콘텐츠를 조작할 수 있다. 1. For example, in a vehicle for multiple users with a large space, such as an unmanned shuttle bus, multiple users can smoothly manipulate content.

2. 사용자 환경에 따라 다수의 사용자들을 위한 차량 내에서 적합한 콘텐츠를 제공할 수 있다. 2. Depending on the user environment, suitable content can be provided in the vehicle for multiple users.

이하, 본 발명에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치의 바람직한 실시형태를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치를 구비한 콘텐츠 제어 시스템의 블록도이다.
도 2 및 도 3은 본 발명의 다양한 실시예에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치를 구비한 차량을 보여주는 사시도이다.
도 4는 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치에 포함되는 센서부 및 표시부의 개략도이다.
도 5a 내지 도 5e는 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치의 제어부에 의해 판단된 근접 사용자 환경 및 이의 인터랙션을 설명하기 위한 개략도이다.
도 6a 내지 도 6e는 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치의 제어부에 의해 판단된 비근접 사용자 환경 및 이의 인터랙션을 설명하기 위한 개략도이다.
도 7a 내지 도 7c는 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치의 제어부에 의해 판단된 군집 사용자 환경 및 이의 콘텐츠 제공을 설명하기 위한 개략도이다.
도 8은 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법의 순서도이다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of a content control method and a content control apparatus in a vehicle for multiple users according to the present invention will be described in detail with reference to the accompanying drawings.
1 is a block diagram of a content control system having an in-vehicle content control device for multiple users according to an embodiment of the present invention.
2 and 3 are perspective views illustrating a vehicle having an in-vehicle content control device for multiple users according to various embodiments of the present disclosure;
4 is a schematic diagram of a sensor unit and a display unit included in an apparatus for controlling content in a vehicle for multiple users according to an embodiment of the present invention.
5A to 5E are schematic diagrams for explaining a proximity user environment determined by a control unit of a content control apparatus in a vehicle for a plurality of users and an interaction thereof for a plurality of users according to an embodiment of the present invention.
6A to 6E are schematic diagrams for explaining a non-proximity user environment determined by a control unit of an apparatus for controlling content in a vehicle for a plurality of users and their interactions according to an embodiment of the present invention.
7A to 7C are schematic diagrams for explaining a swarm user environment determined by a control unit of a content control apparatus in a vehicle for a plurality of users and content provision thereof for a plurality of users according to an embodiment of the present invention.
8 is a flowchart of a content control method in a vehicle for multiple users according to an embodiment of the present invention.

이하, 본 발명에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치의 바람직한 실시형태를 첨부된 도면을 참조하여 상세히 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of a content control method and a content control apparatus in a vehicle for a plurality of users according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치를 구비한 콘텐츠 제어 시스템의 블록도이고, 도 2 및 도 3은 본 발명의 다양한 실시예에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치를 구비한 차량을 보여주는 사시도이며, 도 4는 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치에 포함되는 센서부 및 표시부의 개략도이다. 1 is a block diagram of a content control system having an in-vehicle content control device for multiple users according to an embodiment of the present invention, and FIGS. 2 and 3 are multiple views according to various embodiments of the present invention. It is a perspective view showing a vehicle having an in-vehicle content control device for users, and FIG. 4 is a sensor unit and a display unit included in the in-vehicle content control device for multiple users according to an embodiment of the present invention. It is a schematic diagram.

도 5a 내지 도 5e는 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치의 제어부에 의해 판단된 근접 사용자 환경 및 이의 인터랙션을 설명하기 위한 개략도이다. 구체적으로, 도 5b 내지 도 5e는 각각 터치, 제스처, 음성, 및 시선을 통한 인터랙션을 도시하고 있다. 5A to 5E are schematic diagrams for explaining a proximity user environment determined by a control unit of a content control apparatus in a vehicle for a plurality of users and an interaction thereof for a plurality of users according to an embodiment of the present invention. Specifically, FIGS. 5B to 5E illustrate interactions through touch, gesture, voice, and gaze, respectively.

도 6a 내지 도 6e는 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치의 제어부에 의해 판단된 비근접 사용자 환경 및 이의 인터랙션을 설명하기 위한 개략도이다. 구체적으로, 도 6b는 시선을 통한 인터랙션을 도시하고 있고, 도 6c 및 도 6d는 동작을 통한 인터랙션을 도시하고 있다. 6A to 6E are schematic diagrams for explaining a non-proximity user environment determined by a control unit of an apparatus for controlling content in a vehicle for a plurality of users and their interactions according to an embodiment of the present invention. Specifically, FIG. 6B shows an interaction through a gaze, and FIGS. 6C and 6D show an interaction through an operation.

도 7a 내지 도 7c는 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치의 제어부에 의해 판단된 군집 사용자 환경 및 이의 콘텐츠 제공을 설명하기 위한 개략도이다. 7A to 7C are schematic diagrams for explaining a swarm user environment determined by a control unit of a content control apparatus in a vehicle for a plurality of users and content provision thereof for a plurality of users according to an embodiment of the present invention.

먼저, 도 1 내지 도 7c를 참조하여, 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량(C) 내에서의 콘텐츠 제어 장치(100)를 설명하면 다음과 같다. First, the content control apparatus 100 in the vehicle C for a plurality of users according to an embodiment of the present invention will be described with reference to FIGS. 1 to 7C .

도 1 내지 도 3을 참조하여, 콘텐츠 제어 장치(100; 101, 102)가 구비되는 차량(C; C1, C2)은, 예를 들어, 다수의 사용자들(U)이 탑승할 수 있는 자율 주행 버스, 승합차, SUV 차량, 및 기차 중 어느 하나에 의해 구현될 수 있으나, 이에 제한되는 것은 아니며, 다수의 사용자들(U)이 탑승할 수 있는 차량이라면 다양한 예가 가능할 것이다. 또한, 본 명세서에 있어서, "다수의 사용자들(U)을 위한 차량(C; C1, C2)"은 다수의 사용자들(U)이 탑승할 수 있는 차량을 의미하고, 표시부(110)의 스크린을 바라보는 사용자(U)가 항상 다수이어야 하는 것은 아니며, 표시부(110)의 스크린을 바라보는 사용자(U)가 1명일 수도 있다. 1 to 3 , the vehicles C; C1 and C2 provided with the content control apparatus 100 ( 101 , 102 ) are autonomously driven, for example, in which a plurality of users U can ride. It may be implemented by any one of a bus, a van, an SUV vehicle, and a train, but is not limited thereto, and various examples are possible as long as it is a vehicle that a plurality of users U can ride. In addition, in this specification, "vehicles C for multiple users U; C1, C2" means a vehicle in which multiple users U can ride, and the screen of the display unit 110 is It is not always necessary to have a plurality of users U looking at , and there may be only one user U looking at the screen of the display unit 110 .

또한, 본 명세서에 있어서, 콘텐츠는, 예를 들어, 인포메이션(information), 가상 현실(VR; Virtual Reality), 증강 현실(AR; Augmented Reality), 관광, 쇼핑, 게임, 음악, 및/또는 화상 회의를 포함할 수 있다. In addition, in the present specification, content is, for example, information, virtual reality (VR), augmented reality (AR), tourism, shopping, games, music, and/or video conferencing. may include

다수의 사용자들을 위한 차량(C) 내에서의 콘텐츠 제어 장치(100)는 표시부(110), 음향 출력부(120), 센서부(130), 및 제어부(140)를 포함한다. 또한, 콘텐츠 제어 장치(100)는 저장부(150) 및/또는 통신부(160)를 더 포함할 수 있다. The content control apparatus 100 in the vehicle C for multiple users includes a display unit 110 , a sound output unit 120 , a sensor unit 130 , and a control unit 140 . Also, the content control apparatus 100 may further include a storage unit 150 and/or a communication unit 160 .

표시부(110)는 시각 콘텐츠가 표시되는 스크린을 가진 구성요소이다. 표시부(110)는, 예를 들어, 터치스크린(touchscreen; 134)을 가지는 터치스크린 패널 디스플레이(touchscreen panel display)에 의해 구현될 수 있다. 또한, 표시부(110)는 사용자(U)가 차량(C)의 바깥을 볼 수 있게 하면서 시각 콘텐츠를 표시할 수 있는 투명 디스플레이일 수 있다. 또한, 표시부(110)는 롤러블 디스플레이(rollable display)일 수도 있다. The display unit 110 is a component having a screen on which visual content is displayed. The display unit 110 may be implemented by, for example, a touchscreen panel display having a touchscreen 134 . Also, the display unit 110 may be a transparent display capable of displaying visual content while allowing the user U to see the outside of the vehicle C. Also, the display unit 110 may be a rollable display.

음향 출력부(120)는 음향 콘텐츠를 출력하는 구성요소이다. 음향 출력부(120)는 스피커 및/또는 이어폰을 포함할 수 있다. The sound output unit 120 is a component that outputs sound content. The sound output unit 120 may include a speaker and/or an earphone.

센서부(130)는 표시부(110)의 스크린과 사용자들(U)과의 거리 및 사용자들(U)의 인원수 중 하나 이상을 감지하는 구성요소이다. 또한, 센서부(130)는 사용자들(U)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 감지할 수 있다. The sensor unit 130 is a component that detects one or more of the distance between the screen of the display unit 110 and the users U and the number of users U. Also, the sensor unit 130 may detect one or more of the user's U's gaze, motion, gesture, voice, and touch.

예를 들어, 센서부(130)는 RGB-D 카메라(RGB-Depth camera; 131), 적외선 카메라(132), 마이크(133), 및/또는 터치스크린(134)을 포함할 수 있다. RGB-D 카메라(131)는, 예를 들어, 사용자(U)의 동작을 감지하거나, 표시부(110)의 스크린과 사용자(U)와의 거리 및/또는 사용자(U)의 인원수를 감지할 수 있다. 또한, 예를 들어, RGB-D 카메라(131)는 복수개의 RGB-D 카메라(131)로 이루어짐으로써 차량(C)의 넓은 공간에서의 사용자(U)의 동작을 감지할 수 있다. For example, the sensor unit 130 may include an RGB-Depth camera 131 , an infrared camera 132 , a microphone 133 , and/or a touch screen 134 . The RGB-D camera 131 may detect, for example, a motion of the user U, a distance between the screen of the display unit 110 and the user U, and/or the number of users U. . Also, for example, the RGB-D camera 131 may detect the motion of the user U in a wide space of the vehicle C by being constituted of a plurality of RGB-D cameras 131 .

적외선 카메라(132)는, 예를 들어, 사용자(U)의 제스처 및/또는 시선을 감지하거나, 표시부(110)의 스크린과 사용자(U)와의 거리 및/또는 사용자(U)의 인원수를 감지할 수 있다. 또한, 마이크(133)는 사용자(U)의 음성을 감지할 수 있고, 터치스크린(134)은 사용자(U)의 터치를 감지할 수 있다. The infrared camera 132, for example, detects the gesture and/or gaze of the user U, or detects the distance between the screen of the display unit 110 and the user U and/or the number of the user U. can Also, the microphone 133 may detect the user's (U) voice, and the touch screen 134 may detect the user's (U) touch.

본 명세서에 있어서, "시선을 감지하다"는 의미는 "사용자(U)가 스크린을 쳐다 보는지 여부, 및 스크린 중 사용자(U)가 쳐다보는 위치 중 하나 이상을 감지함"일 수 있다. 예를 들어, 도 6b를 참조하여, 적외선 카메라(132)는 사용자(U1, U2)가 표시부(110)의 스크린을 쳐다 봄을 감지할 수 있다. 또한, 도 5e를 참조하여, 적외선 카메라(132)는 표시부(110)의 스크린 중 사용자(U)가 쳐다보는 위치를 감지할 수 있다. 즉, 도 5e에 도시된 시선 감지는 시선 추적에 해당한다. In this specification, the meaning of "sensing the gaze" may mean "detecting at least one of whether the user U looks at the screen and the position at which the user U looks at the screen". For example, referring to FIG. 6B , the infrared camera 132 may detect that the users U1 and U2 look at the screen of the display unit 110 . In addition, referring to FIG. 5E , the infrared camera 132 may detect a position that the user U looks at among the screens of the display unit 110 . That is, the gaze detection shown in FIG. 5E corresponds to gaze tracking.

본 명세서에 있어서, "동작을 감지하다"는 의미는 "스크린으로부터 미리 정해진 거리보다 먼 위치에 있는 사용자(U)의 일시적인 동작의 유무, 연속적인 동작의 유무, 동작 위치, 및 동작 방향 중 하나 이상을 감지함"일 수 있다. 예를 들어, 도 6c를 참조하여, RGB-D 카메라(131)는 사용자(U1)가 단순히 팔을 드는 것과 같은 일시적인 동작을 감지할 수 있다. 또한, 도 6d를 참조하여, RGB-D 카메라(131)는 사용자(U1)가 팔을 흔드는 것과 같은 연속적인 동작을 감지하면서, 동작 위치 및 동작 방향을 감지할 수 있다. 즉, 도 6d에 도시된 동작 감지는 동작 추적에 해당한다. In the present specification, the meaning of “sensing motion” is “at least one of the presence or absence of a temporary motion of the user U located at a location farther than a predetermined distance from the screen, the presence or absence of continuous motion, the motion position, and the motion direction. may be "detected. For example, referring to FIG. 6C , the RGB-D camera 131 may detect a temporary motion of the user U1 simply raising an arm. In addition, referring to FIG. 6D , the RGB-D camera 131 may detect a motion position and direction while detecting a continuous motion such as waving an arm of the user U1 . That is, the motion detection shown in FIG. 6D corresponds to motion tracking.

본 명세서에 있어서, "제스처를 감지하다"는 의미는 "스크린으로부터 미리 정해진 거리 이내에 있는 사용자(U)의 움직임 위치 및 움직임 방향 중 하나 이상을 감지함"일 수 있다. 예를 들어, 도 5c를 참조하여, 적외선 카메라(132)는 사용자(U1, U2, U3)의 손 또는 손가락의 움직임 위치 및 움직임 방향 중 하나 이상을 감지할 수 있다. In this specification, the meaning of "sensing a gesture" may mean "detecting at least one of a movement position and a movement direction of the user U within a predetermined distance from the screen". For example, referring to FIG. 5C , the infrared camera 132 may detect at least one of a movement position and a movement direction of the user's U1 , U2 , and U3 hands or fingers.

본 명세서에 있어서, "제스처"는 "동작"보다 작은 움직임일 수 있다. In this specification, a "gesture" may be a movement smaller than a "motion".

제어부(140)는 표시부(110)의 스크린과 사용자들(U)과의 거리 및 사용자들(U)의 인원수 중 하나 이상에 의해 판단된 사용자 환경에 근거하여 사용자들(U)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 인터랙션 방식으로 선택하고, 선택된 인터랙션 방식에 따른 센서부(130)의 감지 신호에 따라 표시부(110) 및 음향 출력부(120) 중 하나 이상이 양방향 콘텐츠를 제공하도록 제어한다. The control unit 140 determines the user's gaze, motion, At least one of gesture, voice, and touch is selected as an interaction method, and one or more of the display unit 110 and the sound output unit 120 provides interactive content according to a detection signal of the sensor unit 130 according to the selected interaction method control to do

본 명세서에 있어서, "인터랙션(interaction)"은, 제어부(140)에 의해 사용자 환경이 판단된 후, 사용자(U)와 콘텐츠 제어 장치(100)의 센서부(130) 간의 상호작용을 의미할 수 있다. 또한, "양방향 콘텐츠"는 사용자(U)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 통한 인터랙션 방식을 이용한 콘텐츠를 의미할 수 있다. 예를 들어, "양방향 콘텐츠"는 게임 및/또는 화상 회의를 포함할 수 있다. In this specification, "interaction" may mean an interaction between the user U and the sensor unit 130 of the content control device 100 after the user environment is determined by the controller 140 . have. Also, “bidirectional content” may refer to content using an interaction method through one or more of the user U's gaze, motion, gesture, voice, and touch. For example, “interactive content” may include games and/or video conferencing.

또한, 제어부(140)는, 다수의 사용자들(U)의 인터랙션에 의한 다수의 감지 신호들이 센서부(130)를 통해 입력될 때, 다수의 감지 신호들을 통합하여 처리할 수도 있다. 이러한 다수의 감지 신호들에 대한 통합 처리에 의해, 사용자들(U)의 인터랙션에 대한 우선 순위를 정하지 않아도 원활한 콘텐츠 제공이 가능하다. In addition, when a plurality of detection signals by interaction of a plurality of users U are input through the sensor unit 130 , the controller 140 may integrate and process the plurality of detection signals. By the integrated processing of such a plurality of detection signals, it is possible to provide smooth content without setting priorities for the interactions of the users (U).

또한, 제어부(140)는 표시부(110)의 스크린과 사용자들(U)과의 거리 및 사용자들(U)의 인원수 중 하나 이상에 의해 판단된 사용자 환경에 근거하여 센서부(130)에 의해 감지되는 사용자들(U)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 이용한 인터랙션이 필요한지 여부를 판단하고, 인터랙션이 필요한지 여부에 따라 표시부(110) 및 음향 출력부(120) 중 하나 이상이 일방향 콘텐츠를 제공하도록 제어할 수 있다. 본 명세서에 있어서, "일방향 콘텐츠"는 사용자(U)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 통한 인터랙션을 필요로 하지 않는 콘텐츠를 의미할 수 있다. 예를 들어, "일방향 콘텐츠"는 음악 청취 및/또는 영화 감상을 포함할 수 있다. In addition, the control unit 140 detects by the sensor unit 130 based on the user environment determined by at least one of the distance between the screen of the display unit 110 and the users U and the number of users U. It is determined whether interaction using one or more of the gaze, motion, gesture, voice, and touch of the users U is required, and at least one of the display unit 110 and the sound output unit 120 according to whether the interaction is required. You can control to provide this one-way content. In the present specification, “one-way content” may mean content that does not require interaction through one or more of the user U's gaze, motion, gesture, voice, and touch. For example, “one-way content” may include listening to music and/or watching a movie.

또한, 제어부(140)는 사용자들(U)의 인원수가 미리 정해진 인원수 이하인지 여부에 따라 사용자 환경을 판단할 수 있다. 또한, 제어부(140)는 표시부(110)의 스크린과 사용자들(U)과의 거리가 미리 정해진 거리 이하인지 여부에 따라 사용자 환경을 판단할 수 있다. Also, the controller 140 may determine the user environment according to whether the number of users U is less than or equal to a predetermined number of people. Also, the controller 140 may determine the user environment according to whether the distance between the screen of the display unit 110 and the users U is less than or equal to a predetermined distance.

본 명세서에 있어서, '사용자들(U)의 인원수'는, 예를 들면, 표시부(110)의 스크린을 바라보는 사용자들(U)의 인원수일 수 있다. '표시부(110)의 스크린과 사용자들(U)과의 거리'는 '표시부(110)의 스크린을 바라보는 사용자들(U) 중 표시부(110)의 스크린으로부터 가장 먼 거리에 있는 사용자(U)와 스크린과의 거리'를 의미할 수 있다. In this specification, the 'number of users (U)' may be, for example, the number of users U looking at the screen of the display unit 110 . The 'distance between the screen of the display unit 110 and the users U' is the 'user (U) at the farthest distance from the screen of the display unit 110 among users (U) looking at the screen of the display unit 110 . and distance from the screen'.

사용자 환경은, 예를 들어, '근접 사용자 환경', '비근접 사용자 환경' 및/또는 '군집 사용자 환경'을 포함할 수 있다. The user environment may include, for example, a 'proximity user environment', a 'non-proximity user environment' and/or a 'cluster user environment'.

'근접 사용자 환경'은, 도 5a를 참조하여, 예를 들어, 사용자들(U)의 인원수가 미리 정해진 인원수 이하이고 표시부(110)의 스크린과 사용자들(U)과의 거리가 미리 정해진 거리 이하인 사용자 환경일 수 있다. '비근접 사용자 환경'은, 도 6a를 참조하여, 예를 들어, 사용자들(U)의 인원수가 미리 정해진 인원수 이하이고 표시부(110)의 스크린과 사용자들(U)과의 거리가 미리 정해진 거리를 초과하는 사용자 환경일 수 있다. '군집 사용자 환경'은, 도 7a를 참조하여, 예를 들어, 사용자들(U)의 인원수가 미리 정해진 인원수를 초과하는 사용자 환경일 수 있다. '미리 정해진 인원수'는 예를 들어 3명일 수 있고, '미리 정해진 거리'는 예를 들어 1m일 수 있으나, 이에 제한되는 것은 아니다.The 'proximity user environment' is, for example, with reference to FIG. 5A , in which the number of users U is less than or equal to a predetermined number and the distance between the screen of the display unit 110 and the users U is less than or equal to a predetermined distance. It may be a user environment. The 'non-proximity user environment' refers to, for example, the number of users U or less and the distance between the screen of the display unit 110 and the users U is a predetermined distance with reference to FIG. 6A . It may be a user environment that exceeds . The 'group user environment' may be, for example, a user environment in which the number of users U exceeds a predetermined number of people with reference to FIG. 7A . The 'predetermined number of people' may be, for example, three people, and the 'predetermined distance' may be, for example, 1 m, but is not limited thereto.

저장부(150)는 콘텐츠를 저장하는 구성요소이다. 저장부(150)는 제어부(140)가 센서부(130)로부터 감지 신호를 수신하기 전에 콘텐츠를 미리 저장하고 있을 수도 있고, 제어부(140)가 수신한 센서부(130)의 감지 신호에 따라 콘텐츠 서버(200)로부터 콘텐츠를 수신하여 저장할 수도 있다. The storage unit 150 is a component for storing content. The storage unit 150 may store contents in advance before the control unit 140 receives the detection signal from the sensor unit 130 , and the contents according to the detection signal of the sensor unit 130 received by the control unit 140 . Content may be received and stored from the server 200 .

통신부(160)는 콘텐츠 서버(200) 및/또는 단말(300)과 통신하기 위한 구성요소이다. 통신부(160)는 예를 들어 무선 통신을 행할 수 있다. 예를 들어, 통신부(160)는 콘텐츠 서버(200)의 서버 통신부(220)로부터 콘텐츠를 수신할 수도 있고, 저장부(150)에 저장되어 있는 콘텐츠를 단말(300)의 단말 통신부(310)로 송신할 수도 있다. The communication unit 160 is a component for communicating with the content server 200 and/or the terminal 300 . The communication unit 160 may perform wireless communication, for example. For example, the communication unit 160 may receive content from the server communication unit 220 of the content server 200 , and transfer the contents stored in the storage unit 150 to the terminal communication unit 310 of the terminal 300 . You can also send

다음으로, 도 1을 참조하여, 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량(C) 내에서의 콘텐츠 제어 장치(100)를 구비한 콘텐츠 제어 시스템(1000)을 설명하면 다음과 같다. Next, with reference to FIG. 1 , the content control system 1000 including the content control apparatus 100 in the vehicle C for multiple users according to an embodiment of the present invention will be described as follows. .

콘텐츠 제어 시스템(1000)은 콘텐츠 제어 장치(100), 콘텐츠 서버(200), 및 단말(300)을 포함한다. 콘텐츠 제어 장치(100)는 앞에서 설명하였으므로, 이하에서는 콘텐츠 서버(200) 및 단말(300)만을 설명한다. The content control system 1000 includes a content control apparatus 100 , a content server 200 , and a terminal 300 . Since the content control apparatus 100 has been described above, only the content server 200 and the terminal 300 will be described below.

콘텐츠 서버(200)는 콘텐츠를 저장하고, 콘텐츠 제어 장치(100) 및/또는 단말(300)에 콘텐츠를 전송하는 구성요소이다. 콘텐츠 서버(200)는 서버 저장부(210), 서버 통신부(220), 및 서버 제어부(230)를 포함한다. 서버 저장부(210)는 콘텐츠를 저장하고, 서버 통신부(220)는 콘텐츠 제어 장치(100)의 통신부(160) 및/또는 단말(300)의 단말 통신부(310)로 콘텐츠를 전송한다. 서버 제어부(230)는 서버 통신부(220)로부터 수신된 신호에 따라 서버 저장부(210)에 저장되어 있는 콘텐츠를 전송하도록 서버 통신부(220)를 제어한다. The content server 200 is a component that stores content and transmits the content to the content control device 100 and/or the terminal 300 . The content server 200 includes a server storage unit 210 , a server communication unit 220 , and a server control unit 230 . The server storage unit 210 stores the content, and the server communication unit 220 transmits the content to the communication unit 160 of the content control apparatus 100 and/or the terminal communication unit 310 of the terminal 300 . The server control unit 230 controls the server communication unit 220 to transmit the content stored in the server storage unit 210 according to a signal received from the server communication unit 220 .

단말(300)은 사용자(U)가 휴대할 수 있으며, 콘텐츠 제어 장치(100) 및/또는 콘텐츠 서버(200)로부터 콘텐츠를 수신할 수 있는 구성요소이다. 단말(300)은 단말 통신부(310), 단말 표시부(320), 단말 음향 출력부(330), 단말 제어부(340), 및 입력부(350)를 포함한다. 단말 통신부(310)는 콘텐츠 제어 장치(100)의 통신부(160) 및/또는 콘텐츠 서버(200)의 서버 통신부(220)로부터 콘텐츠를 수신한다. 단말 표시부(320)는 단말(300)에 수신된 시각 콘텐츠를 표시하고, 단말 음향 출력부(330)는 단말(300)에 수신된 음향 콘텐츠를 출력한다. 단말 제어부(340)는 단말 통신부(310)에 수신된 콘텐츠를 단말 표시부(320)에 표시하고 단말 음향 출력부(330)에 출력하도록 제어한다. 또한, 단말 제어부(340)는 입력부(350)를 통해 입력된 신호에 따라 콘텐츠를 단말 표시부(320)에 표시하고 단말 음향 출력부(330)에 출력하도록 제어할 수도 있다. The terminal 300 is a component that can be carried by the user U and can receive content from the content control device 100 and/or the content server 200 . The terminal 300 includes a terminal communication unit 310 , a terminal display unit 320 , a terminal sound output unit 330 , a terminal control unit 340 , and an input unit 350 . The terminal communication unit 310 receives content from the communication unit 160 of the content control device 100 and/or the server communication unit 220 of the content server 200 . The terminal display unit 320 displays the received visual content in the terminal 300 , and the terminal sound output unit 330 outputs the received audio content to the terminal 300 . The terminal control unit 340 controls to display the content received by the terminal communication unit 310 on the terminal display unit 320 and output to the terminal sound output unit 330 . Also, the terminal control unit 340 may control to display the content on the terminal display unit 320 and output the contents to the terminal sound output unit 330 according to a signal input through the input unit 350 .

예를 들어, 도 1 및 도 7c를 참조하여, 군집 사용자 환경에 속한 사용자들(U1~U8) 중 콘텐츠 제어 장치(100)의 표시부(110)의 스크린에 표시되는 콘텐츠를 감상하기 곤란한 사용자(U5)의 단말(300)은, 콘텐츠 제어 장치(100)의 표시부(110)의 스크린에 표시되는 콘텐츠와 동일한 콘텐츠를 단말 표시부(320)를 통해 표시할 수 있다. 이러한 단말(300)의 콘텐츠 제공은 입력부(350)를 통한 사용자(U5)의 입력 신호에 의해 행해질 수도 있고, 콘텐츠 제어 장치(100)의 센서부(130)가 콘텐츠를 감상하기 곤란한 사용자(U5)를 감지함으로써 행해질 수도 있다. For example, with reference to FIGS. 1 and 7C , among users U1 to U8 belonging to a cluster user environment, it is difficult for a user U5 to enjoy content displayed on the screen of the display unit 110 of the content control device 100 . ), the terminal 300 may display the same content as the content displayed on the screen of the display unit 110 of the content control apparatus 100 through the terminal display unit 320 . The content provision of the terminal 300 may be performed by the input signal of the user U5 through the input unit 350, and the sensor unit 130 of the content control device 100 may find it difficult for the user U5 to appreciate the content. It can also be done by detecting

도 8은 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법의 순서도이다. 도 1 내지 도 8을 참조하여, 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량(C) 내에서의 콘텐츠 제어 방법을 설명하면 다음과 같다. 8 is a flowchart of a content control method in a vehicle for multiple users according to an embodiment of the present invention. A method for controlling content in a vehicle C for a plurality of users according to an embodiment of the present invention will be described with reference to FIGS. 1 to 8 .

단계 410에서, 제어부(140)는 센서부(130)에 의해 표시부(110)의 스크린과 사용자들(U)과의 거리 및 사용자들(U)의 인원수 중 하나 이상을 감지함으로써 사용자 환경을 판단한다. 예를 들어, 제어부(140)는 사용자들(U)의 인원수가 미리 정해진 인원수 이하인지 여부를 판단할 수 있다. 또한, 제어부(140)는 표시부(110)의 스크린과 사용자들(U)과의 거리가 미리 정해진 거리 이하인지 여부를 판단할 수 있다. In step 410 , the control unit 140 determines the user environment by detecting one or more of the distance between the screen of the display unit 110 and the users U and the number of the users U by the sensor unit 130 . . For example, the controller 140 may determine whether the number of users U is less than or equal to a predetermined number of people. Also, the controller 140 may determine whether the distance between the screen of the display unit 110 and the users U is less than or equal to a predetermined distance.

단계 420에서, 제어부(140)는 사용자 환경에 근거하여 센서부(130)에 의해 감지되는 사용자들(U)의 시선, 동작, 제스처, 음성 및 터치 중 하나 이상을 이용한 인터랙션이 필요한지 여부를 판단한다. In step 420 , the control unit 140 determines whether interaction using one or more of the gaze, motion, gesture, voice, and touch of the users U sensed by the sensor unit 130 is required based on the user environment. .

제어부(140)가 사용자들(U)의 시선, 동작, 제스처, 음성 및 터치 중 하나 이상을 이용한 인터랙션이 필요하다고 판단하면, 단계 440에서, 제어부(140)는 사용자 환경에 근거하여 센서부(130)에 의해 감지되는 사용자들(U)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 인터랙션 방식으로 선택한다. When the controller 140 determines that interaction using one or more of the users U's gaze, motion, gesture, voice, and touch is necessary, in step 440, the controller 140 controls the sensor unit 130 based on the user environment. ), one or more of the gaze, motion, gesture, voice, and touch of the users U sensed by the user U is selected in an interactive manner.

예를 들어, 판단된 사용자 환경이 '근접 사용자 환경' 또는 '비근접 사용자 환경'인 경우, 제어부(140)는 사용자들(U)의 시선, 동작, 제스처, 음성 및 터치 중 하나 이상을 이용한 인터랙션이 필요하다고 판단한다. For example, when the determined user environment is a 'proximity user environment' or a 'non-proximity user environment', the control unit 140 performs an interaction using one or more of the users U's gaze, motion, gesture, voice, and touch. deem it necessary

도 5b 내지 도 5e를 참조하여, 판단된 사용자 환경이 '근접 사용자 환경'인 경우, 제어부(140)는, 예를 들어, 센서부(130)에 의해 감지되는 사용자들(U)의 터치, 제스처, 음성, 및/또는 시선을 인터랙션 방식으로 선택할 수 있다. 5B to 5E , when the determined user environment is a 'proximity user environment', the controller 140, for example, the user's U's touch and gesture sensed by the sensor unit 130 , voice, and/or gaze may be selected interactively.

도 6b 내지 도 6d를 참조하여, 판단된 사용자 환경이 '비근접 사용자 환경'인 경우, 제어부(140)는, 예를 들어, 센서부(140)에 의해 감지되는 사용자들(U)의 시선 및/또는 동작을 인터랙션 방식으로 선택할 수 있다. 6B to 6D , when the determined user environment is a 'non-proximity user environment', the control unit 140, for example, the gaze of users U detected by the sensor unit 140 and / Or you can select the action as an interactive way.

도 6e를 참조하여, 제어부(140)는 사용자들(U1, U2, U3)의 시선 및/또는 동작을 감지함으로써 어느 사용자의 인터랙션이 우선하는지에 관한 인터랙션 우선 순위를 정할 수 있다. 구체적으로, 제1 사용자(U1)의 동작과 제2 사용자(U2)의 동작이 동시에 감지되는 경우, 제1 사용자(U1)의 인터랙션이 제2 사용자(U2)의 인터랙션보다 우선한다면 제1 사용자(U1)의 동작에 따라 콘텐츠가 제공될 수 있다. 그러나, 이에 한정되는 것은 아니며, 제어부(140)는, 다수의 사용자들(U; U1, U2, U3)의 인터랙션에 의한 다수의 감지 신호들이 센서부(130)를 통해 입력될 때, 다수의 감지 신호들을 통합하여 처리할 수도 있음에 유의하여야 한다. Referring to FIG. 6E , the controller 140 may determine an interaction priority regarding which user's interaction has priority by detecting the gazes and/or motions of the users U1 , U2 , and U3 . Specifically, when the motion of the first user U1 and the motion of the second user U2 are sensed at the same time, if the interaction of the first user U1 takes precedence over the interaction of the second user U2, the first user ( Content may be provided according to the operation of U1). However, the present invention is not limited thereto, and the controller 140 detects a plurality of detection signals by the interaction of a plurality of users (U; U1, U2, U3) when a plurality of detection signals are input through the sensor unit 130 . It should be noted that signals may be integrated and processed.

제어부(140)가 사용자들(U)의 시선, 동작, 제스처, 음성 및 터치 중 하나 이상을 이용한 인터랙션이 필요하지 않다고 판단하면, 단계 430에서, 제어부(140)는 표시부(110) 및 음향 출력부(120) 중 하나 이상이 일방향 콘텐츠를 제공하도록 제어한다. If the control unit 140 determines that interaction using one or more of the users U's gaze, motion, gesture, voice, and touch is not necessary, in step 430 , the control unit 140 controls the display unit 110 and the sound output unit One or more of 120 controls to provide one-way content.

예를 들어, 판단된 사용자 환경이 '군집 사용자 환경'인 경우, 제어부(140)는 사용자들(U)의 시선, 동작, 제스처, 음성 및 터치 중 하나 이상을 이용한 인터랙션이 필요하지 않다고 판단하고, 표시부(110) 및 음향 출력부(120) 중 하나 이상이 일방향 콘텐츠를 제공하도록 제어한다. 예를 들어, 도 7b를 참조하여, 제어부(140)는 RGB-D 카메라(131)에 의해 사용자들(U1~U8)의 연령 및/또는 성별을 판단하고, 판단된 연령 및/또는 성별에 따라 표시부(110) 및 음향 출력부(120) 중 하나 이상이 맞춤형 콘텐츠를 제공하도록 제어할 수 있다. For example, if the determined user environment is a 'cluster user environment', the controller 140 determines that interaction using one or more of the users U's gaze, motion, gesture, voice, and touch is not necessary, At least one of the display unit 110 and the sound output unit 120 is controlled to provide one-way content. For example, referring to FIG. 7B , the controller 140 determines the age and/or gender of the users U1 to U8 by the RGB-D camera 131 , and according to the determined age and/or gender At least one of the display unit 110 and the sound output unit 120 may be controlled to provide customized content.

단계 450에서, 제어부(140)는 인터랙션 방식에 따른 센서부(130)의 감지 신호에 따라 표시부(110) 및 음향 출력부(120) 중 하나 이상이 양방향 콘텐츠를 제공하도록 제어한다. In operation 450 , the controller 140 controls one or more of the display unit 110 and the sound output unit 120 to provide interactive content according to the detection signal of the sensor unit 130 according to the interaction method.

예를 들어, 판단된 사용자 환경이 '근접 사용자 환경'인 경우, 제어부(140)는 사용자들(U)의 터치, 제스처, 음성, 및/또는 시선을 통한 인터랙션에 따른 센서부(130)의 감지 신호에 따라 표시부(110) 및 음향 출력부(120) 중 하나 이상이 양방향 콘텐츠를 제공하도록 제어할 수 있다. 또한, 판단된 사용자 환경이 '비근접 사용자 환경'인 경우, 제어부(140)는 사용자들(U)의 시선 및/또는 동작을 통한 인터랙션에 따른 센서부(130)의 감지 신호에 따라 표시부(110) 및 음향 출력부(120) 중 하나 이상이 양방향 콘텐츠를 제공하도록 제어할 수 있다. For example, when the determined user environment is the 'proximity user environment', the controller 140 detects the sensor unit 130 according to the user's U's interaction through touch, gesture, voice, and/or gaze. According to a signal, one or more of the display unit 110 and the sound output unit 120 may be controlled to provide interactive content. In addition, when the determined user environment is the 'non-proximity user environment', the control unit 140 controls the display unit 110 according to the detection signal of the sensor unit 130 according to the interaction through the gaze and/or motion of the users U. ) and at least one of the sound output unit 120 may be controlled to provide interactive content.

본 발명의 실시예의 제1 특징에 따르면, 다수의 사용자들(U)을 위한 차량(C) 내에서의 콘텐츠 제어 방법은 a) 센서부(130)에 의해 표시부(110)의 스크린과 상기 사용자들(U)과의 거리 및 상기 사용자들(U)의 인원수 중 하나 이상을 감지함으로써 사용자 환경을 판단하는 단계; b) 상기 사용자 환경에 근거하여 상기 센서부(130)에 의해 감지되는 상기 사용자들(U)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 인터랙션 방식으로 선택하는 단계; 및 c) 상기 인터랙션 방식에 따른 상기 센서부(130)의 감지 신호에 따라 상기 표시부(110) 및 음향 출력부(120) 중 하나 이상이 양방향 콘텐츠를 제공하도록 제어하는 단계를 포함한다. 이에 따라, 예를 들어, 무인 셔틀 버스와 같은 넓은 공간을 가진 다수의 사용자들(U)을 위한 차량(C; C1, C2) 내에서 다수의 사용자들(U)이 원활하게 콘텐츠를 조작할 수 있다. According to a first feature of the embodiment of the present invention, a method for controlling content in a vehicle C for a plurality of users U is a) a screen of the display unit 110 by a sensor unit 130 and the users determining a user environment by sensing at least one of a distance to (U) and a number of the users (U); b) selecting one or more of the eyes, motions, gestures, voices, and touches of the users U sensed by the sensor unit 130 in an interactive manner based on the user environment; and c) controlling at least one of the display unit 110 and the sound output unit 120 to provide interactive content according to the detection signal of the sensor unit 130 according to the interaction method. Accordingly, for example, in the vehicle (C; C1, C2) for a large number of users (U) having a large space such as an unmanned shuttle bus, a plurality of users (U) can smoothly manipulate the content have.

본 발명의 실시예의 제2 특징에 따르면, 다수의 사용자들(U)을 위한 차량(C) 내에서의 콘텐츠 제어 방법은 a) 센서부(130)에 의해 표시부(110)의 스크린과 상기 사용자들(U)과의 거리 및 상기 사용자들(U)의 인원수 중 하나 이상을 감지함으로써 사용자 환경을 판단하는 단계; b) 상기 사용자 환경에 근거하여 상기 센서부(130)에 의해 감지되는 상기 사용자들(U)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 이용한 인터랙션이 필요한지 여부를 판단하는 단계; 및 c) 상기 인터랙션이 필요한지 여부에 따라 상기 표시부(110) 및 음향 출력부(120) 중 하나 이상이 일방향 콘텐츠를 제공하도록 제어하는 단계를 포함한다. 이에 따라, 사용자 환경에 따라 다수의 사용자들(U)을 위한 차량(C) 내에서 적합한 콘텐츠를 제공할 수 있다. According to a second feature of the embodiment of the present invention, the content control method in the vehicle C for a plurality of users U is: a) the screen of the display unit 110 by the sensor unit 130 and the users determining a user environment by sensing at least one of a distance to (U) and a number of the users (U); b) determining whether an interaction using one or more of gaze, motion, gesture, voice, and touch of the users U sensed by the sensor unit 130 is required based on the user environment; and c) controlling at least one of the display unit 110 and the sound output unit 120 to provide one-way content according to whether the interaction is required. Accordingly, it is possible to provide suitable content in the vehicle C for a plurality of users U according to the user environment.

본 발명은 첨부된 예시 도면의 바람직한 실시형태를 중심으로 도시하고 설명하였지만, 이에 한정하지 않고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 이하의 청구범위에 기재된 본 발명의 기술적 사상의 범위 내에서 다양한 형태로 실시할 수 있음은 물론이다. Although the present invention has been shown and described with reference to preferred embodiments of the accompanying drawings, it is not limited thereto, and those of ordinary skill in the art to which the present invention pertains within the scope of the technical spirit of the present invention described in the claims below. Of course, it can be implemented in various forms.

100, 101, 102: 콘텐츠 제어 장치
110: 표시부 120: 음향 출력부
130: 센서부 131: RGB-D 카메라
132: 적외선 카메라 133: 마이크
134: 터치스크린 140: 제어부
150: 저장부 160: 통신부
200: 콘텐츠 서버 210: 서버 저장부
220: 서버 통신부 230: 서버 제어부
300: 단말 310: 단말 통신부
320: 단말 표시부 330: 단말 음향 출력부
340: 단말 제어부 C, C1, C2: 차량
U, U1~U8: 사용자
100, 101, 102: content control device
110: display unit 120: sound output unit
130: sensor unit 131: RGB-D camera
132: infrared camera 133: microphone
134: touch screen 140: control unit
150: storage unit 160: communication unit
200: content server 210: server storage unit
220: server communication unit 230: server control unit
300: terminal 310: terminal communication unit
320: terminal display unit 330: terminal sound output unit
340: terminal control unit C, C1, C2: vehicle
U, U1~U8: User

Claims (10)

다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법에 있어서,
a) RGB-D 카메라 및 적외선 카메라를 포함하는 센서부에 의해 표시부의 스크린을 바라보는 상기 사용자들의 인원수를 감지하는 단계;
b) 상기 스크린을 바라보는 상기 사용자들의 인원수가 미리 정해진 인원수 이하인지 여부를 판단하는 단계;
c) 상기 스크린을 바라보는 상기 사용자들의 인원수가 미리 정해진 인원수 이하일 때, 상기 센서부에 의해 감지되는 상기 사용자들의 시선을 인터랙션 방식으로 선택하는 단계; 및
d) 상기 인터랙션 방식에 따른 상기 센서부의 감지 신호에 따라 상기 표시부 및 음향 출력부 중 하나 이상이 인터랙션을 필요로 하는 양방향 콘텐츠를 제공하도록 제어하는 단계
를 포함하는 것을 특징으로 하는 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법.
A method for controlling content in a vehicle for multiple users, the method comprising:
a) detecting the number of users looking at the screen of the display unit by a sensor unit including an RGB-D camera and an infrared camera;
b) determining whether the number of users looking at the screen is less than or equal to a predetermined number of people;
c) when the number of users looking at the screen is less than or equal to a predetermined number of people, selecting the user's gaze detected by the sensor unit in an interactive manner; and
d) controlling at least one of the display unit and the sound output unit to provide interactive content requiring interaction according to the detection signal of the sensor unit according to the interaction method
A method for controlling content in a vehicle for a plurality of users, comprising:
제1항에 있어서, 상기 b) 단계에서, 상기 스크린을 바라보는 상기 사용자들의 인원수가 상기 미리 정해진 인원수 이하일 때, 상기 표시부의 스크린과 상기 스크린을 바라보는 상기 사용자들과의 거리가 미리 정해진 거리 이하인지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법. According to claim 1, wherein in step b), when the number of users looking at the screen is less than or equal to the predetermined number of people, the distance between the screen of the display unit and the users looking at the screen is less than or equal to a predetermined distance A method for controlling content in a vehicle for a plurality of users, comprising the step of determining whether it is recognized. 제2항에 있어서, 상기 c) 단계에서, 상기 스크린을 바라보는 상기 사용자들의 인원수가 미리 정해진 인원수 이하이면서 상기 표시부의 스크린과 상기 스크린을 바라보는 상기 사용자들과의 거리가 상기 미리 정해진 거리 이하일 때, 상기 사용자들의 터치, 제스처, 및 음성 중 하나 이상을 상기 인터랙션 방식으로 더 선택하는 것을 특징으로 하는 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법. The method according to claim 2, wherein in step c), when the number of users looking at the screen is less than or equal to a predetermined number, and the distance between the screen of the display unit and the users looking at the screen is less than or equal to the predetermined distance , the method for controlling content in a vehicle for a plurality of users, characterized in that further selecting one or more of the users' touch, gesture, and voice as the interaction method. 제2항에 있어서, 상기 c) 단계에서, 상기 스크린을 바라보는 상기 사용자들의 인원수가 미리 정해진 인원수 이하이면서 상기 표시부의 스크린과 상기 스크린을 바라보는 상기 사용자들과의 거리가 상기 미리 정해진 거리를 초과할 때, 상기 사용자들의 동작을 상기 인터랙션 방식으로 더 선택하는 것을 특징으로 하는 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법. The method according to claim 2, wherein in step c), the number of users looking at the screen is less than or equal to a predetermined number, and the distance between the screen of the display unit and the users looking at the screen exceeds the predetermined distance. When doing this, the method for controlling content in a vehicle for a plurality of users, characterized in that the user's actions are further selected in the interactive manner. 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치에 있어서,
시각 콘텐츠가 표시되는 스크린을 가진 표시부;
음향 콘텐츠를 출력하는 음향 출력부;
상기 스크린을 바라보는 상기 사용자들의 인원수를 감지하는 RGB-D 카메라 및 적외선 카메라를 포함하며, 상기 사용자들의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 감지하는 센서부; 및
상기 스크린을 바라보는 상기 사용자들의 인원수가 미리 정해진 인원수 이하인지 여부를 판단하고, 상기 스크린을 바라보는 상기 사용자들의 인원수가 미리 정해진 인원수 이하일 때, 상기 센서부에 의해 감지되는 상기 사용자들의 시선을 인터랙션 방식으로 선택하며, 상기 인터랙션 방식에 따른 상기 센서부의 감지 신호에 따라 상기 표시부 및 음향 출력부 중 하나 이상이 인터랙션을 필요로 하는 양방향 콘텐츠를 제공하도록 제어하는 제어부
를 포함하는 것을 특징으로 하는 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치.
A content control device in a vehicle for multiple users, comprising:
a display unit having a screen on which visual content is displayed;
a sound output unit for outputting sound content;
a sensor unit including an RGB-D camera and an infrared camera for detecting the number of users looking at the screen, and detecting one or more of the users' gaze, motion, gesture, voice, and touch; and
It is determined whether the number of users looking at the screen is less than or equal to a predetermined number of people, and when the number of users looking at the screen is less than or equal to a predetermined number of people, the user's gaze detected by the sensor unit is an interaction method a control unit for controlling to provide interactive content requiring interaction at least one of the display unit and the sound output unit according to the detection signal of the sensor unit according to the interaction method
In-vehicle content control device for multiple users, comprising:
제5항에 있어서, 상기 제어부는, 상기 스크린을 바라보는 상기 사용자들의 인원수가 상기 미리 정해진 인원수 이하일 때, 상기 표시부의 스크린과 상기 스크린을 바라보는 상기 사용자들과의 거리가 미리 정해진 거리 이하인지 여부를 판단하는 것을 특징으로 하는 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치. The method of claim 5, wherein the control unit, when the number of users looking at the screen is less than or equal to the predetermined number of people, whether the distance between the screen of the display unit and the users looking at the screen is less than or equal to a predetermined distance An apparatus for controlling content in a vehicle for a plurality of users, characterized in that determining 제6항에 있어서, 상기 제어부는, 상기 스크린을 바라보는 상기 사용자들의 인원수가 미리 정해진 인원수 이하이면서 상기 표시부의 스크린과 상기 스크린을 바라보는 상기 사용자들과의 거리가 상기 미리 정해진 거리 이하일 때, 상기 사용자들의 터치, 제스처, 및 음성 중 하나 이상을 상기 인터랙션 방식으로 더 선택하는 것을 특징으로 하는 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치. The method of claim 6, wherein the control unit is, when the number of users looking at the screen is less than or equal to a predetermined number and the distance between the screen of the display unit and the users looking at the screen is less than or equal to the predetermined distance, The apparatus for controlling content in a vehicle for a plurality of users, characterized in that the user further selects one or more of user's touch, gesture, and voice as the interaction method. 제6항에 있어서, 상기 제어부는, 상기 스크린을 바라보는 상기 사용자들의 인원수가 미리 정해진 인원수 이하이면서 상기 표시부의 스크린과 상기 스크린을 바라보는 상기 사용자들과의 거리가 상기 미리 정해진 거리를 초과할 때, 상기 사용자들의 동작을 상기 인터랙션 방식으로 더 선택하는 것을 특징으로 하는 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치. The method of claim 6, wherein the control unit, when the number of the users looking at the screen is less than or equal to a predetermined number of people and the distance between the screen of the display unit and the users looking at the screen exceeds the predetermined distance , The apparatus for controlling content in a vehicle for a plurality of users, characterized in that the user's actions are further selected in the interactive manner. 제5항에 있어서, 상기 차량은 다수의 사용자들이 탑승할 수 있는 자율 주행 버스, 승합차, SUV 차량, 및 기차 중 어느 하나에 의해 구현되는 것을 특징으로 하는 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치. The content control in the vehicle for multiple users according to claim 5, wherein the vehicle is implemented by any one of an autonomous driving bus, a van, an SUV, and a train capable of riding a plurality of users. Device. 제5항에 있어서, 상기 표시부는 터치스크린 패널 디스플레이, 투명 디스플레이, 및 롤러블 디스플레이 중 어느 하나에 의해 구현되는 것을 특징으로 하는 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치. The apparatus of claim 5, wherein the display unit is implemented by any one of a touch screen panel display, a transparent display, and a rollable display.
KR1020210108489A 2020-11-27 2021-08-18 Method and apparatus for controlling contents in vehicle for a plurality of users KR102475071B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210108489A KR102475071B1 (en) 2020-11-27 2021-08-18 Method and apparatus for controlling contents in vehicle for a plurality of users

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200162014 2020-11-27
KR1020210108489A KR102475071B1 (en) 2020-11-27 2021-08-18 Method and apparatus for controlling contents in vehicle for a plurality of users

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200162014 Division 2020-11-27 2020-11-27

Publications (2)

Publication Number Publication Date
KR20220074707A true KR20220074707A (en) 2022-06-03
KR102475071B1 KR102475071B1 (en) 2022-12-07

Family

ID=81755813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210108489A KR102475071B1 (en) 2020-11-27 2021-08-18 Method and apparatus for controlling contents in vehicle for a plurality of users

Country Status (2)

Country Link
KR (1) KR102475071B1 (en)
WO (1) WO2022114334A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110061187A (en) * 2009-12-01 2011-06-09 삼성전자주식회사 Display method and apparatus based on user's potion
KR20150119053A (en) * 2013-02-13 2015-10-23 구글 인코포레이티드 Adaptive screen interfaces based on viewing distance

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7225414B1 (en) * 2002-09-10 2007-05-29 Videomining Corporation Method and system for virtual touch entertainment
KR101575063B1 (en) * 2014-03-27 2015-12-07 모젼스랩(주) multi-user recognition multi-touch interface apparatus and method using depth-camera
KR101741665B1 (en) * 2015-11-30 2017-06-15 현대자동차주식회사 User interface apparatus and vehicle comprising the same, control method for the user interface apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110061187A (en) * 2009-12-01 2011-06-09 삼성전자주식회사 Display method and apparatus based on user's potion
KR20150119053A (en) * 2013-02-13 2015-10-23 구글 인코포레이티드 Adaptive screen interfaces based on viewing distance

Also Published As

Publication number Publication date
KR102475071B1 (en) 2022-12-07
WO2022114334A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
US10120454B2 (en) Gesture recognition control device
US20200178027A1 (en) Content display controls based on environmental factors
US9678573B2 (en) Interaction with devices based on user state
US10913463B2 (en) Gesture based control of autonomous vehicles
US10466800B2 (en) Vehicle information processing device
US20190073040A1 (en) Gesture and motion based control of user interfaces
US20180292907A1 (en) Gesture control system and method for smart home
US20140049558A1 (en) Augmented reality overlay for control devices
US20220244789A1 (en) Method for operating a mobile terminal using a gesture recognition and control device, gesture recognition and control device, motor vehicle, and an output apparatus that can be worn on the head
US20230078074A1 (en) Methods and devices for hand-on-wheel gesture interaction for controls
KR102475071B1 (en) Method and apparatus for controlling contents in vehicle for a plurality of users
US20230120284A1 (en) System for controlling vehicle display by transfering external interest information
EP3226568A1 (en) Display device and display method
GB2502595A (en) Touch sensitive input device compatibility notification when a mobile device is connected to an In-Vehicle device
KR20210131174A (en) Apparatus and method for recognizing gesture
KR20210057478A (en) An artificial intelligence apparatus
KR102645313B1 (en) Method and apparatus for controlling contents in vehicle for a plurality of users
US20230121130A1 (en) System for controlling vehicle based on occupant's intent
US11503361B1 (en) Using signing for input to search fields
US20230123723A1 (en) System for controlling vehicle display based on occupant's gaze departure
CN117666794A (en) Vehicle interaction method and device, electronic equipment and storage medium
KR20230054545A (en) System for controlling vehicle display by displaying and storing of external interest information
KR20230054544A (en) System for controlling vehicle display by synthesizing and displaying information of external interest
KR20230054007A (en) System for controlling vehicle display based on occupant's gaze
KR20230054010A (en) System for controlling button display in vehicle display based on occupant gaze and controlling initiative

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right