KR20220074707A - Method and apparatus for controlling contents in vehicle for a plurality of users - Google Patents
Method and apparatus for controlling contents in vehicle for a plurality of users Download PDFInfo
- Publication number
- KR20220074707A KR20220074707A KR1020210108489A KR20210108489A KR20220074707A KR 20220074707 A KR20220074707 A KR 20220074707A KR 1020210108489 A KR1020210108489 A KR 1020210108489A KR 20210108489 A KR20210108489 A KR 20210108489A KR 20220074707 A KR20220074707 A KR 20220074707A
- Authority
- KR
- South Korea
- Prior art keywords
- users
- screen
- content
- vehicle
- display unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Abstract
본 발명의 일 실시예에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법은 a) 센서부에 의해 표시부의 스크린과 상기 사용자들과의 거리 및 상기 사용자들의 인원수 중 하나 이상을 감지함으로써 사용자 환경을 판단하는 단계; b) 상기 사용자 환경에 근거하여 상기 센서부에 의해 감지되는 상기 사용자들의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 인터랙션 방식으로 선택하는 단계; 및 c) 상기 인터랙션 방식에 따른 상기 센서부의 감지 신호에 따라 상기 표시부 및 음향 출력부 중 하나 이상이 양방향 콘텐츠를 제공하도록 제어하는 단계를 포함하는 것을 특징으로 한다. A method for controlling content in a vehicle for a plurality of users according to an embodiment of the present invention comprises a) a user environment by sensing at least one of a distance between a screen of a display unit and the users and the number of the users by a sensor unit. judging; b) selecting one or more of the user's gaze, motion, gesture, voice, and touch sensed by the sensor unit in an interactive manner based on the user environment; and c) controlling at least one of the display unit and the sound output unit to provide interactive content according to the detection signal of the sensor unit according to the interaction method.
Description
본 발명은 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치에 관한 것으로, 상세하게는, 무인 셔틀 버스와 같은 차량 내에서 다수의 사용자들이 원활하게 콘텐츠를 조작할 수 있으며, 사용자 환경에 따라 적합한 콘텐츠를 제공할 수 있는, 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치에 관한 것이다. The present invention relates to a content control method and a content control apparatus in a vehicle for a plurality of users, and more particularly, to a content control method and a content control apparatus in a vehicle such as an unmanned shuttle bus, in which a plurality of users can smoothly manipulate content, and a user environment To a content control method and a content control apparatus in a vehicle for a plurality of users, which can provide suitable content according to the present invention.
최근, 자율 주행 차량의 개발 및 사용이 활발히 행해지고 있다. 이러한 자율 주행 차량은 사용자를 위한 인포테인먼트(infotainment)와 같은 콘텐츠를 제공하고 이를 제어하는 콘텐츠 제어 방법 및 콘텐츠 제어 장치가 널리 적용되고 있다. In recent years, the development and use of autonomous vehicles has been actively carried out. Such an autonomous vehicle provides content such as infotainment for a user and a content control method and a content control apparatus for controlling the content are widely applied.
그런데, 종래의 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치는 단일 사용자용 차량에 적합한 조작 방식, 예를 들어 터치(touch) 및/또는 제스처(gesture)만으로 인터랙션(interaction)을 행하고 있다. 즉, 종래의 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치는 운전석 중심의 조작에 의해 행해지고 적용되었기 때문에, 무인 셔틀 버스와 같은 넓은 공간을 가진 다수의 사용자들을 위한 차량 내에서는 사용자들이 콘텐츠를 조작하는 데에 어려움이 있는 문제점이 있다. However, the conventional content control method and content control apparatus in a vehicle perform interaction only by a manipulation method suitable for a single-user vehicle, for example, a touch and/or a gesture. In other words, since the conventional content control method and content control device in a vehicle are performed and applied by operation centered on the driver's seat, in a vehicle for a large number of users, such as an unmanned shuttle bus, users manipulate content. There is a problem that makes it difficult.
또한, 종래의 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치는, 사용자 환경에 대한 인식 없이 콘텐츠를 제공하므로, 다수의 사용자들을 위한 차량 내에서는 적합한 콘텐츠를 제공하는 데에 한계가 있는 문제점이 있다.In addition, since the conventional content control method and content control apparatus in a vehicle provide content without recognizing a user environment, there is a problem in that there is a limitation in providing suitable content in a vehicle for a large number of users.
본 발명의 목적은, 예를 들어, 무인 셔틀 버스와 같은 넓은 공간을 가진 다수의 사용자들을 위한 차량 내에서 다수의 사용자들이 원활하게 콘텐츠를 조작할 수 있는, 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치를 제공하는 데에 있다. It is an object of the present invention to provide content in-vehicle for multiple users, for example, in a vehicle for multiple users with a large space, such as an unmanned shuttle bus, where multiple users can smoothly manipulate the content. An object of the present invention is to provide a control method and a content control apparatus.
본 발명의 다른 목적은 사용자 환경에 따라 다수의 사용자들을 위한 차량 내에서 적합한 콘텐츠를 제공할 수 있는, 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치를 제공하는 데에 있다. Another object of the present invention is to provide a content control method and a content control apparatus in a vehicle for a plurality of users, capable of providing suitable content in a vehicle for a plurality of users according to a user environment.
상기와 같은 목적을 달성하기 위하여, 본 발명의 실시예의 제1 특징에 따르면, 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법은 a) 센서부에 의해 표시부의 스크린(screen)과 상기 사용자들과의 거리 및 상기 사용자들의 인원수 중 하나 이상을 감지함으로써 사용자 환경을 판단하는 단계; b) 상기 사용자 환경에 근거하여 상기 센서부에 의해 감지되는 상기 사용자들의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 인터랙션 방식으로 선택하는 단계; 및 c) 상기 인터랙션 방식에 따른 상기 센서부의 감지 신호에 따라 상기 표시부 및 음향 출력부 중 하나 이상이 양방향 콘텐츠를 제공하도록 제어하는 단계를 포함하는 것을 특징으로 한다. In order to achieve the above object, according to a first aspect of an embodiment of the present invention, a content control method in a vehicle for a plurality of users is a) a screen of a display unit by a sensor unit and the users determining a user environment by sensing at least one of a distance of and the number of the users; b) selecting one or more of the user's gaze, motion, gesture, voice, and touch sensed by the sensor unit in an interactive manner based on the user environment; and c) controlling at least one of the display unit and the sound output unit to provide interactive content according to the detection signal of the sensor unit according to the interaction method.
본 발명의 실시예의 제2 특징에 따르면, 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법은 a) 센서부에 의해 표시부의 스크린과 상기 사용자들과의 거리 및 상기 사용자들의 인원수 중 하나 이상을 감지함으로써 사용자 환경을 판단하는 단계; b) 상기 사용자 환경에 근거하여 상기 센서부에 의해 감지되는 상기 사용자들의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 이용한 인터랙션이 필요한지 여부를 판단하는 단계; 및 c) 상기 인터랙션이 필요한지 여부에 따라 상기 표시부 및 음향 출력부 중 하나 이상이 일방향 콘텐츠를 제공하도록 제어하는 단계를 포함하는 것을 특징으로 한다. According to a second aspect of an embodiment of the present invention, a method for controlling content in a vehicle for a plurality of users a) detects one or more of a distance between a screen of a display unit and the users and the number of the users by a sensor unit determining the user environment by doing so; b) determining whether interaction using one or more of the user's gaze, motion, gesture, voice, and touch sensed by the sensor unit is required based on the user environment; and c) controlling at least one of the display unit and the sound output unit to provide one-way content according to whether the interaction is required.
본 발명의 실시예의 제3 특징에 따르면, 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치는 시각 콘텐츠가 표시되는 스크린을 가진 표시부; 음향 콘텐츠를 출력하는 음향 출력부; 상기 스크린과 상기 사용자들과의 거리 및 상기 사용자들의 인원수 중 하나 이상을 감지하고, 상기 사용자들의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 감지하는 센서부; 및 상기 스크린과 상기 사용자들과의 거리 및 상기 사용자들의 인원수 중 하나 이상에 의해 판단된 사용자 환경에 근거하여 상기 사용자들의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 인터랙션 방식으로 선택하고, 상기 인터랙션 방식에 따른 상기 센서부의 감지 신호에 따라 상기 표시부 및 상기 음향 출력부 중 하나 이상이 양방향 콘텐츠를 제공하도록 제어하는 제어부를 포함하는 것을 특징으로 한다. According to a third aspect of an embodiment of the present invention, an in-vehicle content control apparatus for a plurality of users includes: a display unit having a screen on which visual content is displayed; a sound output unit for outputting sound content; a sensor unit for sensing at least one of a distance between the screen and the users and the number of users, and sensing at least one of gazes, motions, gestures, voices, and touches of the users; and interactively selecting one or more of the users' gazes, motions, gestures, voices, and touches based on a user environment determined by at least one of the distance between the screen and the users and the number of the users, and a control unit controlling at least one of the display unit and the sound output unit to provide interactive content according to a detection signal of the sensor unit according to the interaction method.
본 발명의 실시예의 제4 특징에 따르면, 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치는 시각 콘텐츠가 표시되는 스크린을 가진 표시부; 음향 콘텐츠를 출력하는 음향 출력부; 상기 스크린과 상기 사용자들과의 거리 및 상기 사용자들의 인원수 중 하나 이상을 감지하는 센서부; 및 상기 스크린과 상기 사용자들과의 거리 및 상기 사용자들의 인원수 중 하나 이상에 의해 판단된 사용자 환경에 근거하여 상기 센서부에 의해 감지되는 상기 사용자들의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 이용한 인터랙션이 필요한지 여부를 판단하고, 상기 인터랙션이 필요한지 여부에 따라 상기 표시부 및 상기 음향 출력부 중 하나 이상이 일방향 콘텐츠를 제공하도록 제어하는 제어부를 포함하는 것을 특징으로 한다. According to a fourth aspect of an embodiment of the present invention, an in-vehicle content control apparatus for a plurality of users includes: a display unit having a screen on which visual content is displayed; a sound output unit for outputting sound content; a sensor unit for sensing at least one of a distance between the screen and the users and the number of users; and at least one of gazes, motions, gestures, voices, and touches of the users detected by the sensor unit based on a user environment determined by at least one of a distance between the screen and the users and the number of users. and a control unit for determining whether an interaction using is required and controlling at least one of the display unit and the sound output unit to provide one-way content according to whether the interaction is required.
본 발명의 실시예에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치를 사용하면 다음과 같은 효과가 달성된다. The following effects are achieved by using the content control method and content control apparatus in a vehicle for multiple users according to an embodiment of the present invention.
1. 예를 들어, 무인 셔틀 버스와 같은 넓은 공간을 가진 다수의 사용자들을 위한 차량 내에서 다수의 사용자들이 원활하게 콘텐츠를 조작할 수 있다. 1. For example, in a vehicle for multiple users with a large space, such as an unmanned shuttle bus, multiple users can smoothly manipulate content.
2. 사용자 환경에 따라 다수의 사용자들을 위한 차량 내에서 적합한 콘텐츠를 제공할 수 있다. 2. Depending on the user environment, suitable content can be provided in the vehicle for multiple users.
이하, 본 발명에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치의 바람직한 실시형태를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치를 구비한 콘텐츠 제어 시스템의 블록도이다.
도 2 및 도 3은 본 발명의 다양한 실시예에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치를 구비한 차량을 보여주는 사시도이다.
도 4는 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치에 포함되는 센서부 및 표시부의 개략도이다.
도 5a 내지 도 5e는 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치의 제어부에 의해 판단된 근접 사용자 환경 및 이의 인터랙션을 설명하기 위한 개략도이다.
도 6a 내지 도 6e는 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치의 제어부에 의해 판단된 비근접 사용자 환경 및 이의 인터랙션을 설명하기 위한 개략도이다.
도 7a 내지 도 7c는 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치의 제어부에 의해 판단된 군집 사용자 환경 및 이의 콘텐츠 제공을 설명하기 위한 개략도이다.
도 8은 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법의 순서도이다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of a content control method and a content control apparatus in a vehicle for multiple users according to the present invention will be described in detail with reference to the accompanying drawings.
1 is a block diagram of a content control system having an in-vehicle content control device for multiple users according to an embodiment of the present invention.
2 and 3 are perspective views illustrating a vehicle having an in-vehicle content control device for multiple users according to various embodiments of the present disclosure;
4 is a schematic diagram of a sensor unit and a display unit included in an apparatus for controlling content in a vehicle for multiple users according to an embodiment of the present invention.
5A to 5E are schematic diagrams for explaining a proximity user environment determined by a control unit of a content control apparatus in a vehicle for a plurality of users and an interaction thereof for a plurality of users according to an embodiment of the present invention.
6A to 6E are schematic diagrams for explaining a non-proximity user environment determined by a control unit of an apparatus for controlling content in a vehicle for a plurality of users and their interactions according to an embodiment of the present invention.
7A to 7C are schematic diagrams for explaining a swarm user environment determined by a control unit of a content control apparatus in a vehicle for a plurality of users and content provision thereof for a plurality of users according to an embodiment of the present invention.
8 is a flowchart of a content control method in a vehicle for multiple users according to an embodiment of the present invention.
이하, 본 발명에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치의 바람직한 실시형태를 첨부된 도면을 참조하여 상세히 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of a content control method and a content control apparatus in a vehicle for a plurality of users according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치를 구비한 콘텐츠 제어 시스템의 블록도이고, 도 2 및 도 3은 본 발명의 다양한 실시예에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치를 구비한 차량을 보여주는 사시도이며, 도 4는 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치에 포함되는 센서부 및 표시부의 개략도이다. 1 is a block diagram of a content control system having an in-vehicle content control device for multiple users according to an embodiment of the present invention, and FIGS. 2 and 3 are multiple views according to various embodiments of the present invention. It is a perspective view showing a vehicle having an in-vehicle content control device for users, and FIG. 4 is a sensor unit and a display unit included in the in-vehicle content control device for multiple users according to an embodiment of the present invention. It is a schematic diagram.
도 5a 내지 도 5e는 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치의 제어부에 의해 판단된 근접 사용자 환경 및 이의 인터랙션을 설명하기 위한 개략도이다. 구체적으로, 도 5b 내지 도 5e는 각각 터치, 제스처, 음성, 및 시선을 통한 인터랙션을 도시하고 있다. 5A to 5E are schematic diagrams for explaining a proximity user environment determined by a control unit of a content control apparatus in a vehicle for a plurality of users and an interaction thereof for a plurality of users according to an embodiment of the present invention. Specifically, FIGS. 5B to 5E illustrate interactions through touch, gesture, voice, and gaze, respectively.
도 6a 내지 도 6e는 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치의 제어부에 의해 판단된 비근접 사용자 환경 및 이의 인터랙션을 설명하기 위한 개략도이다. 구체적으로, 도 6b는 시선을 통한 인터랙션을 도시하고 있고, 도 6c 및 도 6d는 동작을 통한 인터랙션을 도시하고 있다. 6A to 6E are schematic diagrams for explaining a non-proximity user environment determined by a control unit of an apparatus for controlling content in a vehicle for a plurality of users and their interactions according to an embodiment of the present invention. Specifically, FIG. 6B shows an interaction through a gaze, and FIGS. 6C and 6D show an interaction through an operation.
도 7a 내지 도 7c는 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치의 제어부에 의해 판단된 군집 사용자 환경 및 이의 콘텐츠 제공을 설명하기 위한 개략도이다. 7A to 7C are schematic diagrams for explaining a swarm user environment determined by a control unit of a content control apparatus in a vehicle for a plurality of users and content provision thereof for a plurality of users according to an embodiment of the present invention.
먼저, 도 1 내지 도 7c를 참조하여, 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량(C) 내에서의 콘텐츠 제어 장치(100)를 설명하면 다음과 같다. First, the
도 1 내지 도 3을 참조하여, 콘텐츠 제어 장치(100; 101, 102)가 구비되는 차량(C; C1, C2)은, 예를 들어, 다수의 사용자들(U)이 탑승할 수 있는 자율 주행 버스, 승합차, SUV 차량, 및 기차 중 어느 하나에 의해 구현될 수 있으나, 이에 제한되는 것은 아니며, 다수의 사용자들(U)이 탑승할 수 있는 차량이라면 다양한 예가 가능할 것이다. 또한, 본 명세서에 있어서, "다수의 사용자들(U)을 위한 차량(C; C1, C2)"은 다수의 사용자들(U)이 탑승할 수 있는 차량을 의미하고, 표시부(110)의 스크린을 바라보는 사용자(U)가 항상 다수이어야 하는 것은 아니며, 표시부(110)의 스크린을 바라보는 사용자(U)가 1명일 수도 있다. 1 to 3 , the vehicles C; C1 and C2 provided with the content control apparatus 100 ( 101 , 102 ) are autonomously driven, for example, in which a plurality of users U can ride. It may be implemented by any one of a bus, a van, an SUV vehicle, and a train, but is not limited thereto, and various examples are possible as long as it is a vehicle that a plurality of users U can ride. In addition, in this specification, "vehicles C for multiple users U; C1, C2" means a vehicle in which multiple users U can ride, and the screen of the
또한, 본 명세서에 있어서, 콘텐츠는, 예를 들어, 인포메이션(information), 가상 현실(VR; Virtual Reality), 증강 현실(AR; Augmented Reality), 관광, 쇼핑, 게임, 음악, 및/또는 화상 회의를 포함할 수 있다. In addition, in the present specification, content is, for example, information, virtual reality (VR), augmented reality (AR), tourism, shopping, games, music, and/or video conferencing. may include
다수의 사용자들을 위한 차량(C) 내에서의 콘텐츠 제어 장치(100)는 표시부(110), 음향 출력부(120), 센서부(130), 및 제어부(140)를 포함한다. 또한, 콘텐츠 제어 장치(100)는 저장부(150) 및/또는 통신부(160)를 더 포함할 수 있다. The
표시부(110)는 시각 콘텐츠가 표시되는 스크린을 가진 구성요소이다. 표시부(110)는, 예를 들어, 터치스크린(touchscreen; 134)을 가지는 터치스크린 패널 디스플레이(touchscreen panel display)에 의해 구현될 수 있다. 또한, 표시부(110)는 사용자(U)가 차량(C)의 바깥을 볼 수 있게 하면서 시각 콘텐츠를 표시할 수 있는 투명 디스플레이일 수 있다. 또한, 표시부(110)는 롤러블 디스플레이(rollable display)일 수도 있다. The
음향 출력부(120)는 음향 콘텐츠를 출력하는 구성요소이다. 음향 출력부(120)는 스피커 및/또는 이어폰을 포함할 수 있다. The
센서부(130)는 표시부(110)의 스크린과 사용자들(U)과의 거리 및 사용자들(U)의 인원수 중 하나 이상을 감지하는 구성요소이다. 또한, 센서부(130)는 사용자들(U)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 감지할 수 있다. The
예를 들어, 센서부(130)는 RGB-D 카메라(RGB-Depth camera; 131), 적외선 카메라(132), 마이크(133), 및/또는 터치스크린(134)을 포함할 수 있다. RGB-D 카메라(131)는, 예를 들어, 사용자(U)의 동작을 감지하거나, 표시부(110)의 스크린과 사용자(U)와의 거리 및/또는 사용자(U)의 인원수를 감지할 수 있다. 또한, 예를 들어, RGB-D 카메라(131)는 복수개의 RGB-D 카메라(131)로 이루어짐으로써 차량(C)의 넓은 공간에서의 사용자(U)의 동작을 감지할 수 있다. For example, the
적외선 카메라(132)는, 예를 들어, 사용자(U)의 제스처 및/또는 시선을 감지하거나, 표시부(110)의 스크린과 사용자(U)와의 거리 및/또는 사용자(U)의 인원수를 감지할 수 있다. 또한, 마이크(133)는 사용자(U)의 음성을 감지할 수 있고, 터치스크린(134)은 사용자(U)의 터치를 감지할 수 있다. The
본 명세서에 있어서, "시선을 감지하다"는 의미는 "사용자(U)가 스크린을 쳐다 보는지 여부, 및 스크린 중 사용자(U)가 쳐다보는 위치 중 하나 이상을 감지함"일 수 있다. 예를 들어, 도 6b를 참조하여, 적외선 카메라(132)는 사용자(U1, U2)가 표시부(110)의 스크린을 쳐다 봄을 감지할 수 있다. 또한, 도 5e를 참조하여, 적외선 카메라(132)는 표시부(110)의 스크린 중 사용자(U)가 쳐다보는 위치를 감지할 수 있다. 즉, 도 5e에 도시된 시선 감지는 시선 추적에 해당한다. In this specification, the meaning of "sensing the gaze" may mean "detecting at least one of whether the user U looks at the screen and the position at which the user U looks at the screen". For example, referring to FIG. 6B , the
본 명세서에 있어서, "동작을 감지하다"는 의미는 "스크린으로부터 미리 정해진 거리보다 먼 위치에 있는 사용자(U)의 일시적인 동작의 유무, 연속적인 동작의 유무, 동작 위치, 및 동작 방향 중 하나 이상을 감지함"일 수 있다. 예를 들어, 도 6c를 참조하여, RGB-D 카메라(131)는 사용자(U1)가 단순히 팔을 드는 것과 같은 일시적인 동작을 감지할 수 있다. 또한, 도 6d를 참조하여, RGB-D 카메라(131)는 사용자(U1)가 팔을 흔드는 것과 같은 연속적인 동작을 감지하면서, 동작 위치 및 동작 방향을 감지할 수 있다. 즉, 도 6d에 도시된 동작 감지는 동작 추적에 해당한다. In the present specification, the meaning of “sensing motion” is “at least one of the presence or absence of a temporary motion of the user U located at a location farther than a predetermined distance from the screen, the presence or absence of continuous motion, the motion position, and the motion direction. may be "detected. For example, referring to FIG. 6C , the RGB-
본 명세서에 있어서, "제스처를 감지하다"는 의미는 "스크린으로부터 미리 정해진 거리 이내에 있는 사용자(U)의 움직임 위치 및 움직임 방향 중 하나 이상을 감지함"일 수 있다. 예를 들어, 도 5c를 참조하여, 적외선 카메라(132)는 사용자(U1, U2, U3)의 손 또는 손가락의 움직임 위치 및 움직임 방향 중 하나 이상을 감지할 수 있다. In this specification, the meaning of "sensing a gesture" may mean "detecting at least one of a movement position and a movement direction of the user U within a predetermined distance from the screen". For example, referring to FIG. 5C , the
본 명세서에 있어서, "제스처"는 "동작"보다 작은 움직임일 수 있다. In this specification, a "gesture" may be a movement smaller than a "motion".
제어부(140)는 표시부(110)의 스크린과 사용자들(U)과의 거리 및 사용자들(U)의 인원수 중 하나 이상에 의해 판단된 사용자 환경에 근거하여 사용자들(U)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 인터랙션 방식으로 선택하고, 선택된 인터랙션 방식에 따른 센서부(130)의 감지 신호에 따라 표시부(110) 및 음향 출력부(120) 중 하나 이상이 양방향 콘텐츠를 제공하도록 제어한다. The
본 명세서에 있어서, "인터랙션(interaction)"은, 제어부(140)에 의해 사용자 환경이 판단된 후, 사용자(U)와 콘텐츠 제어 장치(100)의 센서부(130) 간의 상호작용을 의미할 수 있다. 또한, "양방향 콘텐츠"는 사용자(U)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 통한 인터랙션 방식을 이용한 콘텐츠를 의미할 수 있다. 예를 들어, "양방향 콘텐츠"는 게임 및/또는 화상 회의를 포함할 수 있다. In this specification, "interaction" may mean an interaction between the user U and the
또한, 제어부(140)는, 다수의 사용자들(U)의 인터랙션에 의한 다수의 감지 신호들이 센서부(130)를 통해 입력될 때, 다수의 감지 신호들을 통합하여 처리할 수도 있다. 이러한 다수의 감지 신호들에 대한 통합 처리에 의해, 사용자들(U)의 인터랙션에 대한 우선 순위를 정하지 않아도 원활한 콘텐츠 제공이 가능하다. In addition, when a plurality of detection signals by interaction of a plurality of users U are input through the
또한, 제어부(140)는 표시부(110)의 스크린과 사용자들(U)과의 거리 및 사용자들(U)의 인원수 중 하나 이상에 의해 판단된 사용자 환경에 근거하여 센서부(130)에 의해 감지되는 사용자들(U)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 이용한 인터랙션이 필요한지 여부를 판단하고, 인터랙션이 필요한지 여부에 따라 표시부(110) 및 음향 출력부(120) 중 하나 이상이 일방향 콘텐츠를 제공하도록 제어할 수 있다. 본 명세서에 있어서, "일방향 콘텐츠"는 사용자(U)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 통한 인터랙션을 필요로 하지 않는 콘텐츠를 의미할 수 있다. 예를 들어, "일방향 콘텐츠"는 음악 청취 및/또는 영화 감상을 포함할 수 있다. In addition, the
또한, 제어부(140)는 사용자들(U)의 인원수가 미리 정해진 인원수 이하인지 여부에 따라 사용자 환경을 판단할 수 있다. 또한, 제어부(140)는 표시부(110)의 스크린과 사용자들(U)과의 거리가 미리 정해진 거리 이하인지 여부에 따라 사용자 환경을 판단할 수 있다. Also, the
본 명세서에 있어서, '사용자들(U)의 인원수'는, 예를 들면, 표시부(110)의 스크린을 바라보는 사용자들(U)의 인원수일 수 있다. '표시부(110)의 스크린과 사용자들(U)과의 거리'는 '표시부(110)의 스크린을 바라보는 사용자들(U) 중 표시부(110)의 스크린으로부터 가장 먼 거리에 있는 사용자(U)와 스크린과의 거리'를 의미할 수 있다. In this specification, the 'number of users (U)' may be, for example, the number of users U looking at the screen of the
사용자 환경은, 예를 들어, '근접 사용자 환경', '비근접 사용자 환경' 및/또는 '군집 사용자 환경'을 포함할 수 있다. The user environment may include, for example, a 'proximity user environment', a 'non-proximity user environment' and/or a 'cluster user environment'.
'근접 사용자 환경'은, 도 5a를 참조하여, 예를 들어, 사용자들(U)의 인원수가 미리 정해진 인원수 이하이고 표시부(110)의 스크린과 사용자들(U)과의 거리가 미리 정해진 거리 이하인 사용자 환경일 수 있다. '비근접 사용자 환경'은, 도 6a를 참조하여, 예를 들어, 사용자들(U)의 인원수가 미리 정해진 인원수 이하이고 표시부(110)의 스크린과 사용자들(U)과의 거리가 미리 정해진 거리를 초과하는 사용자 환경일 수 있다. '군집 사용자 환경'은, 도 7a를 참조하여, 예를 들어, 사용자들(U)의 인원수가 미리 정해진 인원수를 초과하는 사용자 환경일 수 있다. '미리 정해진 인원수'는 예를 들어 3명일 수 있고, '미리 정해진 거리'는 예를 들어 1m일 수 있으나, 이에 제한되는 것은 아니다.The 'proximity user environment' is, for example, with reference to FIG. 5A , in which the number of users U is less than or equal to a predetermined number and the distance between the screen of the
저장부(150)는 콘텐츠를 저장하는 구성요소이다. 저장부(150)는 제어부(140)가 센서부(130)로부터 감지 신호를 수신하기 전에 콘텐츠를 미리 저장하고 있을 수도 있고, 제어부(140)가 수신한 센서부(130)의 감지 신호에 따라 콘텐츠 서버(200)로부터 콘텐츠를 수신하여 저장할 수도 있다. The
통신부(160)는 콘텐츠 서버(200) 및/또는 단말(300)과 통신하기 위한 구성요소이다. 통신부(160)는 예를 들어 무선 통신을 행할 수 있다. 예를 들어, 통신부(160)는 콘텐츠 서버(200)의 서버 통신부(220)로부터 콘텐츠를 수신할 수도 있고, 저장부(150)에 저장되어 있는 콘텐츠를 단말(300)의 단말 통신부(310)로 송신할 수도 있다. The
다음으로, 도 1을 참조하여, 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량(C) 내에서의 콘텐츠 제어 장치(100)를 구비한 콘텐츠 제어 시스템(1000)을 설명하면 다음과 같다. Next, with reference to FIG. 1 , the
콘텐츠 제어 시스템(1000)은 콘텐츠 제어 장치(100), 콘텐츠 서버(200), 및 단말(300)을 포함한다. 콘텐츠 제어 장치(100)는 앞에서 설명하였으므로, 이하에서는 콘텐츠 서버(200) 및 단말(300)만을 설명한다. The
콘텐츠 서버(200)는 콘텐츠를 저장하고, 콘텐츠 제어 장치(100) 및/또는 단말(300)에 콘텐츠를 전송하는 구성요소이다. 콘텐츠 서버(200)는 서버 저장부(210), 서버 통신부(220), 및 서버 제어부(230)를 포함한다. 서버 저장부(210)는 콘텐츠를 저장하고, 서버 통신부(220)는 콘텐츠 제어 장치(100)의 통신부(160) 및/또는 단말(300)의 단말 통신부(310)로 콘텐츠를 전송한다. 서버 제어부(230)는 서버 통신부(220)로부터 수신된 신호에 따라 서버 저장부(210)에 저장되어 있는 콘텐츠를 전송하도록 서버 통신부(220)를 제어한다. The
단말(300)은 사용자(U)가 휴대할 수 있으며, 콘텐츠 제어 장치(100) 및/또는 콘텐츠 서버(200)로부터 콘텐츠를 수신할 수 있는 구성요소이다. 단말(300)은 단말 통신부(310), 단말 표시부(320), 단말 음향 출력부(330), 단말 제어부(340), 및 입력부(350)를 포함한다. 단말 통신부(310)는 콘텐츠 제어 장치(100)의 통신부(160) 및/또는 콘텐츠 서버(200)의 서버 통신부(220)로부터 콘텐츠를 수신한다. 단말 표시부(320)는 단말(300)에 수신된 시각 콘텐츠를 표시하고, 단말 음향 출력부(330)는 단말(300)에 수신된 음향 콘텐츠를 출력한다. 단말 제어부(340)는 단말 통신부(310)에 수신된 콘텐츠를 단말 표시부(320)에 표시하고 단말 음향 출력부(330)에 출력하도록 제어한다. 또한, 단말 제어부(340)는 입력부(350)를 통해 입력된 신호에 따라 콘텐츠를 단말 표시부(320)에 표시하고 단말 음향 출력부(330)에 출력하도록 제어할 수도 있다. The terminal 300 is a component that can be carried by the user U and can receive content from the
예를 들어, 도 1 및 도 7c를 참조하여, 군집 사용자 환경에 속한 사용자들(U1~U8) 중 콘텐츠 제어 장치(100)의 표시부(110)의 스크린에 표시되는 콘텐츠를 감상하기 곤란한 사용자(U5)의 단말(300)은, 콘텐츠 제어 장치(100)의 표시부(110)의 스크린에 표시되는 콘텐츠와 동일한 콘텐츠를 단말 표시부(320)를 통해 표시할 수 있다. 이러한 단말(300)의 콘텐츠 제공은 입력부(350)를 통한 사용자(U5)의 입력 신호에 의해 행해질 수도 있고, 콘텐츠 제어 장치(100)의 센서부(130)가 콘텐츠를 감상하기 곤란한 사용자(U5)를 감지함으로써 행해질 수도 있다. For example, with reference to FIGS. 1 and 7C , among users U1 to U8 belonging to a cluster user environment, it is difficult for a user U5 to enjoy content displayed on the screen of the
도 8은 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법의 순서도이다. 도 1 내지 도 8을 참조하여, 본 발명의 일 실시형태에 따른 다수의 사용자들을 위한 차량(C) 내에서의 콘텐츠 제어 방법을 설명하면 다음과 같다. 8 is a flowchart of a content control method in a vehicle for multiple users according to an embodiment of the present invention. A method for controlling content in a vehicle C for a plurality of users according to an embodiment of the present invention will be described with reference to FIGS. 1 to 8 .
단계 410에서, 제어부(140)는 센서부(130)에 의해 표시부(110)의 스크린과 사용자들(U)과의 거리 및 사용자들(U)의 인원수 중 하나 이상을 감지함으로써 사용자 환경을 판단한다. 예를 들어, 제어부(140)는 사용자들(U)의 인원수가 미리 정해진 인원수 이하인지 여부를 판단할 수 있다. 또한, 제어부(140)는 표시부(110)의 스크린과 사용자들(U)과의 거리가 미리 정해진 거리 이하인지 여부를 판단할 수 있다. In
단계 420에서, 제어부(140)는 사용자 환경에 근거하여 센서부(130)에 의해 감지되는 사용자들(U)의 시선, 동작, 제스처, 음성 및 터치 중 하나 이상을 이용한 인터랙션이 필요한지 여부를 판단한다. In
제어부(140)가 사용자들(U)의 시선, 동작, 제스처, 음성 및 터치 중 하나 이상을 이용한 인터랙션이 필요하다고 판단하면, 단계 440에서, 제어부(140)는 사용자 환경에 근거하여 센서부(130)에 의해 감지되는 사용자들(U)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 인터랙션 방식으로 선택한다. When the
예를 들어, 판단된 사용자 환경이 '근접 사용자 환경' 또는 '비근접 사용자 환경'인 경우, 제어부(140)는 사용자들(U)의 시선, 동작, 제스처, 음성 및 터치 중 하나 이상을 이용한 인터랙션이 필요하다고 판단한다. For example, when the determined user environment is a 'proximity user environment' or a 'non-proximity user environment', the
도 5b 내지 도 5e를 참조하여, 판단된 사용자 환경이 '근접 사용자 환경'인 경우, 제어부(140)는, 예를 들어, 센서부(130)에 의해 감지되는 사용자들(U)의 터치, 제스처, 음성, 및/또는 시선을 인터랙션 방식으로 선택할 수 있다. 5B to 5E , when the determined user environment is a 'proximity user environment', the
도 6b 내지 도 6d를 참조하여, 판단된 사용자 환경이 '비근접 사용자 환경'인 경우, 제어부(140)는, 예를 들어, 센서부(140)에 의해 감지되는 사용자들(U)의 시선 및/또는 동작을 인터랙션 방식으로 선택할 수 있다. 6B to 6D , when the determined user environment is a 'non-proximity user environment', the
도 6e를 참조하여, 제어부(140)는 사용자들(U1, U2, U3)의 시선 및/또는 동작을 감지함으로써 어느 사용자의 인터랙션이 우선하는지에 관한 인터랙션 우선 순위를 정할 수 있다. 구체적으로, 제1 사용자(U1)의 동작과 제2 사용자(U2)의 동작이 동시에 감지되는 경우, 제1 사용자(U1)의 인터랙션이 제2 사용자(U2)의 인터랙션보다 우선한다면 제1 사용자(U1)의 동작에 따라 콘텐츠가 제공될 수 있다. 그러나, 이에 한정되는 것은 아니며, 제어부(140)는, 다수의 사용자들(U; U1, U2, U3)의 인터랙션에 의한 다수의 감지 신호들이 센서부(130)를 통해 입력될 때, 다수의 감지 신호들을 통합하여 처리할 수도 있음에 유의하여야 한다. Referring to FIG. 6E , the
제어부(140)가 사용자들(U)의 시선, 동작, 제스처, 음성 및 터치 중 하나 이상을 이용한 인터랙션이 필요하지 않다고 판단하면, 단계 430에서, 제어부(140)는 표시부(110) 및 음향 출력부(120) 중 하나 이상이 일방향 콘텐츠를 제공하도록 제어한다. If the
예를 들어, 판단된 사용자 환경이 '군집 사용자 환경'인 경우, 제어부(140)는 사용자들(U)의 시선, 동작, 제스처, 음성 및 터치 중 하나 이상을 이용한 인터랙션이 필요하지 않다고 판단하고, 표시부(110) 및 음향 출력부(120) 중 하나 이상이 일방향 콘텐츠를 제공하도록 제어한다. 예를 들어, 도 7b를 참조하여, 제어부(140)는 RGB-D 카메라(131)에 의해 사용자들(U1~U8)의 연령 및/또는 성별을 판단하고, 판단된 연령 및/또는 성별에 따라 표시부(110) 및 음향 출력부(120) 중 하나 이상이 맞춤형 콘텐츠를 제공하도록 제어할 수 있다. For example, if the determined user environment is a 'cluster user environment', the
단계 450에서, 제어부(140)는 인터랙션 방식에 따른 센서부(130)의 감지 신호에 따라 표시부(110) 및 음향 출력부(120) 중 하나 이상이 양방향 콘텐츠를 제공하도록 제어한다. In
예를 들어, 판단된 사용자 환경이 '근접 사용자 환경'인 경우, 제어부(140)는 사용자들(U)의 터치, 제스처, 음성, 및/또는 시선을 통한 인터랙션에 따른 센서부(130)의 감지 신호에 따라 표시부(110) 및 음향 출력부(120) 중 하나 이상이 양방향 콘텐츠를 제공하도록 제어할 수 있다. 또한, 판단된 사용자 환경이 '비근접 사용자 환경'인 경우, 제어부(140)는 사용자들(U)의 시선 및/또는 동작을 통한 인터랙션에 따른 센서부(130)의 감지 신호에 따라 표시부(110) 및 음향 출력부(120) 중 하나 이상이 양방향 콘텐츠를 제공하도록 제어할 수 있다. For example, when the determined user environment is the 'proximity user environment', the
본 발명의 실시예의 제1 특징에 따르면, 다수의 사용자들(U)을 위한 차량(C) 내에서의 콘텐츠 제어 방법은 a) 센서부(130)에 의해 표시부(110)의 스크린과 상기 사용자들(U)과의 거리 및 상기 사용자들(U)의 인원수 중 하나 이상을 감지함으로써 사용자 환경을 판단하는 단계; b) 상기 사용자 환경에 근거하여 상기 센서부(130)에 의해 감지되는 상기 사용자들(U)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 인터랙션 방식으로 선택하는 단계; 및 c) 상기 인터랙션 방식에 따른 상기 센서부(130)의 감지 신호에 따라 상기 표시부(110) 및 음향 출력부(120) 중 하나 이상이 양방향 콘텐츠를 제공하도록 제어하는 단계를 포함한다. 이에 따라, 예를 들어, 무인 셔틀 버스와 같은 넓은 공간을 가진 다수의 사용자들(U)을 위한 차량(C; C1, C2) 내에서 다수의 사용자들(U)이 원활하게 콘텐츠를 조작할 수 있다. According to a first feature of the embodiment of the present invention, a method for controlling content in a vehicle C for a plurality of users U is a) a screen of the
본 발명의 실시예의 제2 특징에 따르면, 다수의 사용자들(U)을 위한 차량(C) 내에서의 콘텐츠 제어 방법은 a) 센서부(130)에 의해 표시부(110)의 스크린과 상기 사용자들(U)과의 거리 및 상기 사용자들(U)의 인원수 중 하나 이상을 감지함으로써 사용자 환경을 판단하는 단계; b) 상기 사용자 환경에 근거하여 상기 센서부(130)에 의해 감지되는 상기 사용자들(U)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 이용한 인터랙션이 필요한지 여부를 판단하는 단계; 및 c) 상기 인터랙션이 필요한지 여부에 따라 상기 표시부(110) 및 음향 출력부(120) 중 하나 이상이 일방향 콘텐츠를 제공하도록 제어하는 단계를 포함한다. 이에 따라, 사용자 환경에 따라 다수의 사용자들(U)을 위한 차량(C) 내에서 적합한 콘텐츠를 제공할 수 있다. According to a second feature of the embodiment of the present invention, the content control method in the vehicle C for a plurality of users U is: a) the screen of the
본 발명은 첨부된 예시 도면의 바람직한 실시형태를 중심으로 도시하고 설명하였지만, 이에 한정하지 않고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 이하의 청구범위에 기재된 본 발명의 기술적 사상의 범위 내에서 다양한 형태로 실시할 수 있음은 물론이다. Although the present invention has been shown and described with reference to preferred embodiments of the accompanying drawings, it is not limited thereto, and those of ordinary skill in the art to which the present invention pertains within the scope of the technical spirit of the present invention described in the claims below. Of course, it can be implemented in various forms.
100, 101, 102: 콘텐츠 제어 장치
110: 표시부
120: 음향 출력부
130: 센서부
131: RGB-D 카메라
132: 적외선 카메라
133: 마이크
134: 터치스크린
140: 제어부
150: 저장부
160: 통신부
200: 콘텐츠 서버
210: 서버 저장부
220: 서버 통신부
230: 서버 제어부
300: 단말
310: 단말 통신부
320: 단말 표시부
330: 단말 음향 출력부
340: 단말 제어부
C, C1, C2: 차량
U, U1~U8: 사용자 100, 101, 102: content control device
110: display unit 120: sound output unit
130: sensor unit 131: RGB-D camera
132: infrared camera 133: microphone
134: touch screen 140: control unit
150: storage unit 160: communication unit
200: content server 210: server storage unit
220: server communication unit 230: server control unit
300: terminal 310: terminal communication unit
320: terminal display unit 330: terminal sound output unit
340: terminal control unit C, C1, C2: vehicle
U, U1~U8: User
Claims (10)
a) RGB-D 카메라 및 적외선 카메라를 포함하는 센서부에 의해 표시부의 스크린을 바라보는 상기 사용자들의 인원수를 감지하는 단계;
b) 상기 스크린을 바라보는 상기 사용자들의 인원수가 미리 정해진 인원수 이하인지 여부를 판단하는 단계;
c) 상기 스크린을 바라보는 상기 사용자들의 인원수가 미리 정해진 인원수 이하일 때, 상기 센서부에 의해 감지되는 상기 사용자들의 시선을 인터랙션 방식으로 선택하는 단계; 및
d) 상기 인터랙션 방식에 따른 상기 센서부의 감지 신호에 따라 상기 표시부 및 음향 출력부 중 하나 이상이 인터랙션을 필요로 하는 양방향 콘텐츠를 제공하도록 제어하는 단계
를 포함하는 것을 특징으로 하는 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법. A method for controlling content in a vehicle for multiple users, the method comprising:
a) detecting the number of users looking at the screen of the display unit by a sensor unit including an RGB-D camera and an infrared camera;
b) determining whether the number of users looking at the screen is less than or equal to a predetermined number of people;
c) when the number of users looking at the screen is less than or equal to a predetermined number of people, selecting the user's gaze detected by the sensor unit in an interactive manner; and
d) controlling at least one of the display unit and the sound output unit to provide interactive content requiring interaction according to the detection signal of the sensor unit according to the interaction method
A method for controlling content in a vehicle for a plurality of users, comprising:
시각 콘텐츠가 표시되는 스크린을 가진 표시부;
음향 콘텐츠를 출력하는 음향 출력부;
상기 스크린을 바라보는 상기 사용자들의 인원수를 감지하는 RGB-D 카메라 및 적외선 카메라를 포함하며, 상기 사용자들의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 감지하는 센서부; 및
상기 스크린을 바라보는 상기 사용자들의 인원수가 미리 정해진 인원수 이하인지 여부를 판단하고, 상기 스크린을 바라보는 상기 사용자들의 인원수가 미리 정해진 인원수 이하일 때, 상기 센서부에 의해 감지되는 상기 사용자들의 시선을 인터랙션 방식으로 선택하며, 상기 인터랙션 방식에 따른 상기 센서부의 감지 신호에 따라 상기 표시부 및 음향 출력부 중 하나 이상이 인터랙션을 필요로 하는 양방향 콘텐츠를 제공하도록 제어하는 제어부
를 포함하는 것을 특징으로 하는 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 장치. A content control device in a vehicle for multiple users, comprising:
a display unit having a screen on which visual content is displayed;
a sound output unit for outputting sound content;
a sensor unit including an RGB-D camera and an infrared camera for detecting the number of users looking at the screen, and detecting one or more of the users' gaze, motion, gesture, voice, and touch; and
It is determined whether the number of users looking at the screen is less than or equal to a predetermined number of people, and when the number of users looking at the screen is less than or equal to a predetermined number of people, the user's gaze detected by the sensor unit is an interaction method a control unit for controlling to provide interactive content requiring interaction at least one of the display unit and the sound output unit according to the detection signal of the sensor unit according to the interaction method
In-vehicle content control device for multiple users, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210108489A KR102475071B1 (en) | 2020-11-27 | 2021-08-18 | Method and apparatus for controlling contents in vehicle for a plurality of users |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200162014 | 2020-11-27 | ||
KR1020210108489A KR102475071B1 (en) | 2020-11-27 | 2021-08-18 | Method and apparatus for controlling contents in vehicle for a plurality of users |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200162014 Division | 2020-11-27 | 2020-11-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220074707A true KR20220074707A (en) | 2022-06-03 |
KR102475071B1 KR102475071B1 (en) | 2022-12-07 |
Family
ID=81755813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210108489A KR102475071B1 (en) | 2020-11-27 | 2021-08-18 | Method and apparatus for controlling contents in vehicle for a plurality of users |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102475071B1 (en) |
WO (1) | WO2022114334A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110061187A (en) * | 2009-12-01 | 2011-06-09 | 삼성전자주식회사 | Display method and apparatus based on user's potion |
KR20150119053A (en) * | 2013-02-13 | 2015-10-23 | 구글 인코포레이티드 | Adaptive screen interfaces based on viewing distance |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7225414B1 (en) * | 2002-09-10 | 2007-05-29 | Videomining Corporation | Method and system for virtual touch entertainment |
KR101575063B1 (en) * | 2014-03-27 | 2015-12-07 | 모젼스랩(주) | multi-user recognition multi-touch interface apparatus and method using depth-camera |
KR101741665B1 (en) * | 2015-11-30 | 2017-06-15 | 현대자동차주식회사 | User interface apparatus and vehicle comprising the same, control method for the user interface apparatus |
-
2020
- 2020-11-30 WO PCT/KR2020/017314 patent/WO2022114334A1/en active Application Filing
-
2021
- 2021-08-18 KR KR1020210108489A patent/KR102475071B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110061187A (en) * | 2009-12-01 | 2011-06-09 | 삼성전자주식회사 | Display method and apparatus based on user's potion |
KR20150119053A (en) * | 2013-02-13 | 2015-10-23 | 구글 인코포레이티드 | Adaptive screen interfaces based on viewing distance |
Also Published As
Publication number | Publication date |
---|---|
KR102475071B1 (en) | 2022-12-07 |
WO2022114334A1 (en) | 2022-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10120454B2 (en) | Gesture recognition control device | |
US20200178027A1 (en) | Content display controls based on environmental factors | |
US9678573B2 (en) | Interaction with devices based on user state | |
US10913463B2 (en) | Gesture based control of autonomous vehicles | |
US10466800B2 (en) | Vehicle information processing device | |
US20190073040A1 (en) | Gesture and motion based control of user interfaces | |
US20180292907A1 (en) | Gesture control system and method for smart home | |
US20140049558A1 (en) | Augmented reality overlay for control devices | |
US20220244789A1 (en) | Method for operating a mobile terminal using a gesture recognition and control device, gesture recognition and control device, motor vehicle, and an output apparatus that can be worn on the head | |
US20230078074A1 (en) | Methods and devices for hand-on-wheel gesture interaction for controls | |
KR102475071B1 (en) | Method and apparatus for controlling contents in vehicle for a plurality of users | |
US20230120284A1 (en) | System for controlling vehicle display by transfering external interest information | |
EP3226568A1 (en) | Display device and display method | |
GB2502595A (en) | Touch sensitive input device compatibility notification when a mobile device is connected to an In-Vehicle device | |
KR20210131174A (en) | Apparatus and method for recognizing gesture | |
KR20210057478A (en) | An artificial intelligence apparatus | |
KR102645313B1 (en) | Method and apparatus for controlling contents in vehicle for a plurality of users | |
US20230121130A1 (en) | System for controlling vehicle based on occupant's intent | |
US11503361B1 (en) | Using signing for input to search fields | |
US20230123723A1 (en) | System for controlling vehicle display based on occupant's gaze departure | |
CN117666794A (en) | Vehicle interaction method and device, electronic equipment and storage medium | |
KR20230054545A (en) | System for controlling vehicle display by displaying and storing of external interest information | |
KR20230054544A (en) | System for controlling vehicle display by synthesizing and displaying information of external interest | |
KR20230054007A (en) | System for controlling vehicle display based on occupant's gaze | |
KR20230054010A (en) | System for controlling button display in vehicle display based on occupant gaze and controlling initiative |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right |