KR20230108652A - System for controlling vehicle display - Google Patents

System for controlling vehicle display Download PDF

Info

Publication number
KR20230108652A
KR20230108652A KR1020220004327A KR20220004327A KR20230108652A KR 20230108652 A KR20230108652 A KR 20230108652A KR 1020220004327 A KR1020220004327 A KR 1020220004327A KR 20220004327 A KR20220004327 A KR 20220004327A KR 20230108652 A KR20230108652 A KR 20230108652A
Authority
KR
South Korea
Prior art keywords
display
information
vehicle
area
occupant
Prior art date
Application number
KR1020220004327A
Other languages
Korean (ko)
Inventor
김경훈
안성준
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020220004327A priority Critical patent/KR20230108652A/en
Priority to US18/089,274 priority patent/US20230219465A1/en
Priority to EP22216794.2A priority patent/EP4212377A1/en
Priority to US18/089,299 priority patent/US20230219418A1/en
Priority to EP22216796.7A priority patent/EP4209386A3/en
Priority to EP22216818.9A priority patent/EP4212378A1/en
Priority to EP22216827.0A priority patent/EP4215401A1/en
Priority to US18/089,243 priority patent/US20230226910A1/en
Priority to EP22216817.1A priority patent/EP4209376A1/en
Priority to US18/089,760 priority patent/US20230219419A1/en
Priority to US18/089,671 priority patent/US20230221798A1/en
Priority to CN202310033264.6A priority patent/CN116424173A/en
Publication of KR20230108652A publication Critical patent/KR20230108652A/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/22—
    • B60K35/28—
    • B60K35/81—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • B60K37/04—Arrangement of fittings on dashboard
    • B60K37/06—Arrangement of fittings on dashboard of controls, e.g. controls knobs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60K2360/334—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/10—Input devices or features thereof
    • B60K2370/12—Input devices or input features
    • B60K2370/146—Input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/15—Output devices or features thereof
    • B60K2370/152—Displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/16—Type of information
    • B60K2370/161—Explanation of functions, e.g. instructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/20—Optical features of instruments
    • B60K2370/33—Illumination features
    • B60K2370/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/50—Control arrangements; Data network features
    • B60K2370/52—Control of displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Abstract

본 발명은 차량 디스플레이 제어 시스템에 관한 것으로, 보다 상세하게는 사용자 니즈에 따라 차량 디스플레이에 대한 이동을 제어하는 시스템에 관한 것이다.
본 발명에 따른 차량 디스플레이 제어 시스템은 제1 디스플레이의 이동에 대한 요청을 수신하는 디스플레이 이동 요청 수신부와, 요청에 따라 제1 디스플레이를 이동시키는 제어 명령을 생성하는 제어 명령 생성부 및 제어 명령에 따라 이동된 제1 디스플레이에 부가 정보를 디스플레이하고, 제1 디스플레이가 이동 완료된 영역에 표출되고 있던 컨텐츠의 표시를 변경시키는 부가 정보 디스플레이부를 포함한다. The present invention relates to a vehicle display control system, and more particularly, to a system for controlling movement of a vehicle display according to user needs.
A vehicle display control system according to the present invention includes a display movement request receiving unit receiving a request for moving a first display, a control command generating unit generating a control command for moving a first display according to the request, and movement according to the control command. and an additional information display unit for displaying additional information on the moved first display and changing the display of content displayed in the area where the first display has been moved.

Description

차량 디스플레이 제어 시스템{SYSTEM FOR CONTROLLING VEHICLE DISPLAY}Vehicle display control system {SYSTEM FOR CONTROLLING VEHICLE DISPLAY}

본 발명은 차량 디스플레이 제어 시스템에 관한 것으로, 보다 상세하게는 사용자 니즈에 따라 차량 디스플레이에 대한 이동을 제어하는 시스템에 관한 것이다. The present invention relates to a vehicle display control system, and more particularly, to a system for controlling movement of a vehicle display according to user needs.

종래 기술에 따르면, 차량 디스플레이를 이용하여 영상을 시청할 수 있도록 하는 기술이 제안되었으나, 사용자 니즈에 따라 차량 디스플레이 자체를 이동하는 구성을 제안하고 있지 않아, 탑승자의 다양한 니즈를 반영한 서비스를 제공하고 있지 못한 한계가 있다. According to the prior art, a technology for allowing users to view images using a vehicle display has been proposed, but a configuration in which the vehicle display itself is moved according to user needs has not been proposed, and thus services that reflect the various needs of passengers have not been provided. There are limits.

본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 사용자 니즈에 따라 차량 디스플레이를 슬라이딩 이동시키고 부가 정보(AR 컨텐츠)를 표시하는 것이 가능한 차량 디스플레이 제어 시스템을 제공하는데 그 목적이 있다. The present invention has been proposed to solve the above problems, and an object of the present invention is to provide a vehicle display control system capable of sliding and moving a vehicle display and displaying additional information (AR content) according to user needs.

본 발명은 차량 디스플레이 제어 시스템에 관한 것으로, 보다 상세하게는 사용자 니즈에 따라 차량 디스플레이에 대한 이동을 제어하는 시스템에 관한 것이다. The present invention relates to a vehicle display control system, and more particularly, to a system for controlling movement of a vehicle display according to user needs.

본 발명에 따른 차량 디스플레이 제어 시스템은 제1 디스플레이의 이동에 대한 요청을 수신하는 디스플레이 이동 요청 수신부와, 요청에 따라 제1 디스플레이를 이동시키는 제어 명령을 생성하는 제어 명령 생성부 및 제어 명령에 따라 이동된 제1 디스플레이에 부가 정보를 디스플레이하고, 제1 디스플레이가 이동 완료된 영역에 표출되고 있던 컨텐츠의 표시를 변경시키는 부가 정보 디스플레이부를 포함한다. A vehicle display control system according to the present invention includes a display movement request receiving unit receiving a request for moving a first display, a control command generating unit generating a control command for moving a first display according to the request, and movement according to the control command. and an additional information display unit for displaying additional information on the moved first display and changing the display of content displayed in the area where the first display has been moved.

상기 디스플레이 이동 요청 수신부는 차량 탑승자의 제스처, 버튼 입력, 차량 탑승자의 디바이스로부터 수신한 요청 정보 중 적어도 어느 하나를 이용하여 상기 요청을 수신한다. The display movement request receiving unit receives the request by using at least one of a gesture of a vehicle occupant, a button input, and request information received from a vehicle occupant's device.

상기 제어 명령 생성부는 투명 디스플레이인 상기 제1 디스플레이를 무빙 레일을 따라 이동시키는 상기 제어 명령을 전송한다. The control command generating unit transmits the control command for moving the first display, which is a transparent display, along a moving rail.

상기 부가 정보 디스플레이부는 상기 제1 디스플레이가 이동 완료된 영역에서 컨텐츠를 표출하는 프로젝션 영역을 투명화시키고, AR 정보를 외부 객체의 위치에 대응시켜 상기 부가 정보를 디스플레이한다. The additional information display unit makes a projection area displaying content transparent in the area where the first display has been moved, and displays the additional information by making AR information correspond to a location of an external object.

상기 부가 정보 디스플레이부는 상기 제1 디스플레이가 이동 완료된 영역에서 표출되고 있던 컨텐츠의 사이즈를 조절하여 디스플레이한다. The additional information display unit adjusts the size of content being displayed in the area where the first display has been moved and displays the content.

본 발명에 따른 차량 디스플레이 제어 방법은 (a) 제1 디스플레이의 이동에 대한 요청을 수신하는 단계와, (b) 제1 디스플레이를 이동시키는 제어 명령을 생성하는 단계 및 (c) 제어 명령에 따라 제1 디스플레이를 이동시키고, 제1 디스플레이가 이동 완료된 영역에서 부가 정보를 디스플레이하는 단계를 포함한다. A vehicle display control method according to the present invention includes (a) receiving a request for moving a first display, (b) generating a control command for moving the first display, and (c) controlling a first display according to the control command. and moving the first display and displaying additional information in the area where the first display has been moved.

상기 (b) 단계는 투명 디스플레이인 상기 제1 디스플레이를 무빙 레일에 따라 이동시키도록 하는 상기 제어 명령을 생성한다. The step (b) generates the control command to move the first display, which is a transparent display, along the moving rail.

상기 (c) 단계는 상기 제1 디스플레이가 이동 완료된 영역에서 컨텐츠를 표출하는 프로젝선 영역을 투명화시키고, AR 정보를 외부 객체에 대응시켜 상기 부가 정보를 디스플레이한다. In the step (c), a projection area displaying content in the area where the first display has been moved is made transparent, and the additional information is displayed by matching AR information to an external object.

상기 (c) 단계는 프로젝션 영역과 상기 제1 디스플레이의 영역의 중첩 상태에 따라, 상기 프로젝션 영역에서 표출되는 컨텐츠의 사이즈를 조절한다. The step (c) adjusts the size of content displayed in the projection area according to an overlapping state of the projection area and the area of the first display.

본 발명에 따르면, 사용자 니즈에 따라 측창 투명 디스플레이를 전면 윈드쉴드 측으로 이동시키고, 부가 정보(AR 콘텐츠)를 표시함으로써, 다양한 형태로 주행 환경과 관련한 정보 또는 사용자가 원하는 컨텐츠를 디스플레이하는 것이 가능한 효과가 있다. According to the present invention, by moving the side window transparent display to the front windshield side according to user needs and displaying additional information (AR content), it is possible to display information related to the driving environment or content desired by the user in various forms. there is.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 시스템을 도시한다.
도 2 내지 도 4는 본 발명의 실시예에 따른 탑승자 의도 기반 실내 레이아웃 변경을 도시한다.
도 5는 본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 방법을 도시한다.
도 6은 본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 시스템을 도시한다.
도 7은 본 발명의 다른 실시예에 따른 우선순위를 고려한 영역 별 차량 윈드쉴드 디스플레이 제어를 도시한다.
도 8은 본 발명의 다른 실시예에 따른 외부 관심 객체의 상대적 이동 시 우선순위를 고려한 영역 별 차량 윈드쉴드 디스플레이 제어를 도시한다.
도 9는 본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 방법을 도시한다.
도 10은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 시스템을 도시한다.
도 11은 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시 영역 판단 및 디스플레이 제어를 도시한다.
도 12는 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 방법을 도시한다.
도 13은 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 시스템을 도시한다.
도 14 내지 도 17은 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 상황에서의 차량 디스플레이 제어에 대한 예시를 도시한다.
도 18은 본 발명의 또 다른 실시예에 따른 제어권 이탈 시 차량 디스플레이 제어에 대한 예시를 도시한다.
도 19는 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 방법을 도시한다.
도 20은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 시스템을 도시한다.
도 21, 도 22 및 도 23은 본 발명의 또 다른 실시예에 따른 버튼 표시 제어를 도시한다.
도 24는 본 발명의 또 다른 실시예에 따른 다른 탑승자 참여 시 주도권 전환을 도시한다.
도 25는 본 발명의 또 다른 실시예에 따른 다른 탑승자 참여 시 화면 영역 분할 및 시선 정보에 기반한 디스플레이 제어를 도시한다.
도 26은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 방법을 도시한다.
도 27은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 시스템을 도시한다.
도 28은 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시 및 외부 관심 정보 표시 영역 제어를 도시한다.
도 29는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 방법을 도시한다.
도 30은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템을 도시한다.
도 31 및 도 32는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 회전 표시를 도시한다.
도 33은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 방법을 도시한다.
도 34는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 시스템을 도시한다.
도 35는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 캡쳐 과정을 도시한다.
도 36은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 스마트폰으로 공유하는 과정을 도시한다.
도 37은 본 발명의 또 다른 실시예에 따른 투명 디스플레이 슬라이딩을 통한 탑승자 별 외부 관심 정보 저장 및 확인 과정을 도시한다.
도 38은 본 발명의 또 다른 실시예에 따른 외부 관심 정보의 디스플레이 간 공유를 도시한다.
도 39는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 방법을 도시한다.
도 40은 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 시스템을 도시한다.
도 41은 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 과정을 도시한다.
도 42는 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 방법을 도시한다.
도 43은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 시스템을 도시한다.
도 44는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시를 도시한다.
도 45는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 방법을 도시한다.
도 46은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.
도 47은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 과정을 도시한다.
도 48은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.
도 49는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.
도 50은 본 발명의 또 다른 실시예에 따른 외부 관심 객체의 크기/부피 정보 전환 표시를 도시한다.
도 51은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.
도 52는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.
도 53은 본 발명의 또 다른 실시예에 따른 컨텐츠 이동 시 디스플레이 표출 영역 및 시트 제어를 도시한다.
도 54는 본 발명의 또 다른 실시예에 따른 컨텐츠 이동 시 디스플레이 표출 영역 제어를 도시한다.
도 55는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.
도 56은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.
도 57은 본 발명의 또 다른 실시예에 따른 시선 모니터링 결과에 따른 디스플레이 점유 제어를 도시한다.
도 58은 본 발명의 또 다른 실시예에 따른 시선 모니터링 결과에 따른 주도권 요청 불가에 대한 제어 상황을 도시한다.
도 59는 본 발명의 또 다른 실시예에 따른 시선 모니터링 결과에 따른 주도권 요청 및 수락에 대한 제어 상황을 도시한다.
도 60은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.
도 61은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.
도 62는 본 발명의 또 다른 실시예에 따른 복수의 사용자 인식에 따른 화면 조작 과정을 도시한다.
도 63은 본 발명의 또 다른 실시예에 따른 디스플레이 분리에 따른 개인화된 조작 과정을 도시한다.
도 64는 본 발명의 또 다른 실시예에 따른 원거리 사용자의 화면 조작 과정을 도시한다.
도 65는 본 발명의 또 다른 실시예에 따른 터치 입력 신호를 이용한 개별 위젯 이동 과정을 도시한다.
도 66은 본 발명의 또 다른 실시예에 따른 시선인식 및 제스처를 이용한 개별 위젯 이동 과정을 도시한다.
도 67은 본 발명의 또 다른 실시예에 따른 단일 위젯 이동을 통한 위젯 그룹 이동 과정을 도시한다.
도 68은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.
도 69는 본 발명의 또 다른 실시예에 따른 미디어 재생 제어 시스템을 도시한다.
도 70은 본 발명의 또 다른 실시예에 따른 실내 및 실외 탑승자의 스마트폰을 이용한 미디어 조작을 구분하여 인식하는 과정을 도시한다.
도 71은 본 발명의 또 다른 실시예에 따른 시선인식 정보 및 스마트폰을 이용한 미디어 조작 정보를 이용하여 미디어 조작을 구분하여 인식하는 과정을 도시한다.
도 72는 본 발명의 또 다른 실시예에 따른 시선인식 정보 및 UWB 통신을 이용한 미디어 조작 구분 인식 과정을 도시한다.
도 73은 본 발명의 또 다른 실시예에 따른 미디어 재생 제어 방법을 도시한다.
도 74는 본 발명의 또 다른 실시예에 따른 미디어 재생 제어 시스템을 도시한다.
도 75는 본 발명의 또 다른 실시예에 따른 사운드 간섭 방지 과정을 도시한다.
도 76은 본 발명의 또 다른 실시예에 따른 미디어 재생 제어 방법을 도시한다.
도 77은 본 발명의 또 다른 실시예에 따른 위험요소 판단 및 경고 제공 시스템을 도시한다.
도 78은 본 발명의 또 다른 실시예에 따른 외부 위험요소 경고 및 안전지역 이탈 경고 상황을 도시한다.
도 79는 본 발명의 또 다른 실시예에 따른 위험요소 판단 및 경고 제공 방법을 도시한다.
도 80은 본 발명의 또 다른 실시예에 따른 멀미 저감을 위한 차량 제어 시스템을 도시한다.
도 81은 본 발명의 또 다른 실시예에 따른 멀미 저감을 위한 디스플레이 및 실내 레이아웃 변화를 도시한다.
도 82는 본 발명의 또 다른 실시예에 따른 전면 디스플레이의 가변 표시 레이아웃을 도시한다.
도 83은 본 발명의 또 다른 실시예에 따른 프로젝션 디스플레이(전방 글라스)를 도시한다.
도 84는 본 발명의 또 다른 실시예에 따른 프로젝션 디스플레이(전방 글라스)를 이용하는 상황에서의 프로젝터를 도시한다.
도 85는 본 발명의 또 다른 실시예에 따른 프로젝션 디스플레이(루프 글라스)를 도시한다.
도 86은 본 발명의 또 다른 실시예에 따른 프로젝션 디스플레이(루프 글라스)를 이용하는 상황에서의 프로젝터를 도시한다.
도 87은 본 발명의 또 다른 실시예에 따른 영상 이동 과정을 도시한다.
도 88은 본 발명의 또 다른 실시예에 따른 멀미 저감을 위한 차량 제어 방법을 도시한다.
도 89는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.
도 90은 본 발명의 또 다른 실시예에 따른 디스플레이 간 영상 이동에 따른 음향 및 실내 레이아웃 변경 과정을 도시한다.
도 91은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.
도 92는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.
도 93은 본 발명의 또 다른 실시예에 따른 슬라이딩 디스플레이를 도시한다.
도 94는 본 발명의 또 다른 실시예에 따른 디스플레이 이동 및 AR 컨텐츠 표시 과정을 도시한다.
도 95는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.
도 96은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 와핑 시스템을 도시한다.
도 97은 본 발명의 또 다른 실시예에 따른 탑승자 위치별 영상 및 와핑의 예시를 표현한다.
도 98은 본 발명의 또 다른 실시예에 따른 탑승자의 시선 정보에 따른 영상 와핑을 도시한다.
도 99는 본 발명의 또 다른 실시예에 따른 탑승자 거리 및 시선 정보에 따른 영상 와핑을 도시한다.
도 100은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 와핑 방법을 도시한다.
도 101은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.
도 102는 본 발명의 또 다른 실시예에 따른 탑승자 거리에 따른 디스플레이 영역 분할을 도시한다.
도 103은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.
도 104는 본 발명의 일 실시예에 따른 목적 기반 차량을 도시한 도면.
도 105는 도 104에 표시된 A-A의 단면을 도시한 측단면도.
도 106 및 도 107은 도 104에 표시된 A-A의 단면을 도시한 평단면도.
도 108 내지 도 115는 본 발명의 일 실시예에 따른 목적 기반 차량에 있어서, 다양한 시트 구조를 도시한 도면.1 illustrates a vehicle control system based on occupant intent according to an embodiment of the present invention.
2 to 4 illustrate indoor layout change based on occupant intention according to an embodiment of the present invention.
5 illustrates a vehicle control method based on occupant's intention according to an embodiment of the present invention.
6 illustrates a vehicle display control system based on an occupant's gaze according to another embodiment of the present invention.
FIG. 7 illustrates vehicle windshield display control for each area considering priority according to another embodiment of the present invention.
FIG. 8 illustrates control of a vehicle windshield display for each region in consideration of priorities in relative movement of an external object of interest according to another embodiment of the present invention.
9 illustrates a vehicle display control method based on a passenger's gaze according to another embodiment of the present invention.
10 illustrates a vehicle display control system and determination of an external interest information display area based on a passenger's gaze according to another embodiment of the present invention.
11 illustrates determination of an external interest information display area and display control according to another embodiment of the present invention.
12 illustrates a method for determining an external interest information display area and controlling a vehicle display based on an occupant's gaze according to another embodiment of the present invention.
13 illustrates an occupant's gaze departure determination and vehicle display control system according to another embodiment of the present invention.
14 to 17 illustrate examples of controlling a vehicle display in a driver's gaze deviation situation according to another embodiment of the present invention.
18 illustrates an example of vehicle display control when a control right is deviating according to another embodiment of the present invention.
19 illustrates a method for determining occupant gaze deviation and controlling a vehicle display according to another embodiment of the present invention.
20 illustrates a button display control and initiative control system in a vehicle display based on an occupant's gaze according to another embodiment of the present invention.
21, 22 and 23 show button display control according to another embodiment of the present invention.
24 illustrates transition of initiative when another passenger participates according to another embodiment of the present invention.
25 illustrates division of a screen area and display control based on gaze information when another passenger participates according to another embodiment of the present invention.
26 illustrates a button display control and initiative control method in a vehicle display based on an occupant's gaze according to another embodiment of the present invention.
27 illustrates a vehicle display control system for delivering external interest information according to another embodiment of the present invention.
28 illustrates external interest information display and external interest information display area control according to another embodiment of the present invention.
29 illustrates a vehicle display control method for transmitting external interest information according to another embodiment of the present invention.
30 illustrates a vehicle display control system synthesizing and displaying external interest information according to another embodiment of the present invention.
31 and 32 illustrate external interest information rotation display according to another embodiment of the present invention.
33 illustrates a vehicle display control method for synthesizing and displaying external interest information according to another embodiment of the present invention.
34 illustrates a vehicle display control system for storing and sharing external interest information according to another embodiment of the present invention.
35 illustrates a process of capturing external interest information according to another embodiment of the present invention.
36 illustrates a process of sharing external interest information to a smartphone according to another embodiment of the present invention.
37 illustrates a process of storing and checking external interest information for each occupant through sliding of a transparent display according to another embodiment of the present invention.
38 illustrates sharing of external interest information between displays according to another embodiment of the present invention.
39 illustrates a vehicle display control method for storing and sharing external interest information according to another embodiment of the present invention.
40 illustrates a vehicle display area control system for external interest information according to another embodiment of the present invention.
41 illustrates a process of controlling a vehicle display area for external interest information according to another embodiment of the present invention.
42 illustrates a method for controlling a vehicle display area for external interest information according to another embodiment of the present invention.
43 illustrates a vehicle display control system for displaying and storing external interest information according to another embodiment of the present invention.
44 illustrates external interest information display according to another embodiment of the present invention.
45 illustrates a vehicle display control method for displaying and storing external interest information according to another embodiment of the present invention.
46 illustrates a vehicle display control system according to another embodiment of the present invention.
47 illustrates a vehicle display control process according to another embodiment of the present invention.
48 illustrates a vehicle display control method according to another embodiment of the present invention.
49 illustrates a vehicle display control system according to another embodiment of the present invention.
50 illustrates switching display of size/volume information of an external object of interest according to another embodiment of the present invention.
51 illustrates a vehicle display control method according to another embodiment of the present invention.
52 illustrates a vehicle display control system according to another embodiment of the present invention.
53 illustrates display area and sheet control when content is moved according to another embodiment of the present invention.
54 illustrates control of a display area when content is moved according to another embodiment of the present invention.
55 illustrates a vehicle display control method according to another embodiment of the present invention.
56 illustrates a vehicle display control system according to another embodiment of the present invention.
57 illustrates display occupancy control according to a gaze monitoring result according to another embodiment of the present invention.
58 illustrates a control situation for inability to request initiative according to a result of gaze monitoring according to another embodiment of the present invention.
59 illustrates a control situation for requesting and accepting initiative according to a gaze monitoring result according to another embodiment of the present invention.
60 illustrates a vehicle display control method according to another embodiment of the present invention.
61 illustrates a vehicle display control system according to another embodiment of the present invention.
62 illustrates a screen manipulation process according to recognizing a plurality of users according to another embodiment of the present invention.
63 illustrates a personalized manipulation process according to display separation according to another embodiment of the present invention.
64 illustrates a screen manipulation process by a remote user according to another embodiment of the present invention.
65 illustrates a process of moving an individual widget using a touch input signal according to another embodiment of the present invention.
66 illustrates a process of moving individual widgets using gaze recognition and gestures according to another embodiment of the present invention.
67 illustrates a process of moving a widget group through moving a single widget according to another embodiment of the present invention.
68 illustrates a vehicle display control method according to another embodiment of the present invention.
69 illustrates a media playback control system according to another embodiment of the present invention.
70 illustrates a process of distinguishing and recognizing media manipulation using a smart phone of an indoor and outdoor occupant according to another embodiment of the present invention.
71 illustrates a process of distinguishing and recognizing media manipulation using gaze recognition information and media manipulation information using a smartphone according to another embodiment of the present invention.
FIG. 72 illustrates a process of distinguishing and recognizing media manipulation using gaze recognition information and UWB communication according to another embodiment of the present invention.
73 illustrates a media playback control method according to another embodiment of the present invention.
74 illustrates a media playback control system according to another embodiment of the present invention.
75 illustrates a sound interference prevention process according to another embodiment of the present invention.
76 illustrates a media playback control method according to another embodiment of the present invention.
77 illustrates a risk factor determination and warning providing system according to another embodiment of the present invention.
78 illustrates an external risk factor warning and safe area departure warning situation according to another embodiment of the present invention.
79 illustrates a risk factor determination and warning providing method according to another embodiment of the present invention.
80 illustrates a vehicle control system for motion sickness reduction according to another embodiment of the present invention.
81 illustrates a display and indoor layout change for motion sickness reduction according to another embodiment of the present invention.
82 illustrates a variable display layout of a front display according to another embodiment of the present invention.
83 shows a projection display (front glass) according to another embodiment of the present invention.
84 illustrates a projector in a situation using a projection display (front glass) according to another embodiment of the present invention.
85 shows a projection display (roof glass) according to another embodiment of the present invention.
86 shows a projector in a situation using a projection display (roof glass) according to another embodiment of the present invention.
87 illustrates an image movement process according to another embodiment of the present invention.
88 illustrates a vehicle control method for reducing motion sickness according to another embodiment of the present invention.
89 illustrates a vehicle display control system according to another embodiment of the present invention.
90 illustrates a process of changing sound and indoor layout according to image movement between displays according to another embodiment of the present invention.
91 illustrates a vehicle display control method according to another embodiment of the present invention.
92 illustrates a vehicle display control system according to another embodiment of the present invention.
93 illustrates a sliding display according to another embodiment of the present invention.
94 illustrates a process of moving a display and displaying AR content according to another embodiment of the present invention.
95 illustrates a vehicle display control method according to another embodiment of the present invention.
96 illustrates a vehicle display warping system according to another embodiment of the present invention.
97 illustrates an example of images and warping for each occupant position according to another embodiment of the present invention.
98 illustrates image warping according to eye gaze information of a passenger according to another embodiment of the present invention.
99 illustrates image warping according to passenger distance and line of sight information according to another embodiment of the present invention.
100 illustrates a vehicle display warping method according to another embodiment of the present invention.
101 illustrates a vehicle display control system according to another embodiment of the present invention.
102 illustrates division of a display area according to an occupant distance according to another embodiment of the present invention.
103 illustrates a vehicle display control method according to another embodiment of the present invention.
104 is an illustration of a purpose-based vehicle according to one embodiment of the present invention.
Fig. 105 is a cross-sectional side view of AA indicated in Fig. 104;
106 and 107 are planar cross-sectional views showing sections of AA indicated in FIG. 104;
108 to 115 are views illustrating various seat structures in a purpose-based vehicle according to an embodiment of the present invention.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. The foregoing and other objects, advantages and characteristics of the present invention, and a method of achieving them will become clear with reference to the detailed embodiments described below in conjunction with the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms, and only the following embodiments provide the purpose of the invention, As only provided to easily inform the configuration and effect, the scope of the present invention is defined by the description of the claims.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, terms used in this specification are for describing the embodiments and are not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, “comprises” and/or “comprising” means the presence of one or more other components, steps, operations, and/or elements in which a stated component, step, operation, and/or element is present. or added.

도 1은 본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 시스템을 도시한다. 1 illustrates a vehicle control system based on occupant intent according to an embodiment of the present invention.

본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 시스템은 차량에 탑승한 탑승자의 시선을 인식하는 탑승자 시선 인식부(101)와, 탑승자의 시선을 고려하여 차량의 측창을 통해 보여지는 외부 객체 중, 관심 지점을 결정하는 관심 지점 결정부(103) 및 차량의 이동에 따라 관심 지점에 대한 지속적인 응시가 가능하도록 탑승자의 시트 포지션을 변경시키는 시트 포지션 제어부(105)를 포함한다. A vehicle control system based on occupant's intention according to an embodiment of the present invention includes a passenger's gaze recognizing unit 101 for recognizing the gaze of a passenger riding in a vehicle, and external objects viewed through a side window of the vehicle in consideration of the gaze of the occupant, It includes a POI determining unit 103 that determines a POI and a seat position controller 105 that changes a seat position of an occupant so that continuous gaze at the POI is possible according to the movement of the vehicle.

본 발명에 따른 탑승자 의도 기반 차량 제어 시스템은 투명 디스플레이로 구성되는 차량의 측창으로 인가되는 탑승자의 터치 입력 신호 및 탑승자의 에어 제스처 중 적어도 어느 하나를 인식하는 탑승자 제스처 인식부(102)를 더 포함하고, 관심 지점 결정부(103)는 터치 입력 신호 및 에어 제스처 중 적어도 어느 하나가 인식됨에 따라 관심 지점을 결정한다. The passenger intention-based vehicle control system according to the present invention further includes a passenger gesture recognition unit 102 recognizing at least one of a passenger's touch input signal applied to a side window of a vehicle composed of a transparent display and an air gesture of the passenger, , the POI determining unit 103 determines the POI according to recognizing at least one of a touch input signal and an air gesture.

시트 포지션 제어부(105)는 차량의 주행 방향 및 주행 속도를 고려하여, 탑승자가 앉은 시트를 회전시키는 제어 신호를 전송한다. The seat position control unit 105 transmits a control signal for rotating the seat on which the occupant sits in consideration of the driving direction and driving speed of the vehicle.

시트 포지션 제어부(105)는 동일한 관심 지점을 응시하는 복수의 차량 탑승자의 시선을 고려하여, 제1 탑승자의 시트를 회전시키는 제어 신호를 전송하고, 제2 탑승자의 시트에 대해 전방 또는 후방 슬라이딩과 함께 회전시키도록 제어 신호를 전송한다. The seat position control unit 105 considers the line of sight of a plurality of vehicle occupants staring at the same point of interest, transmits a control signal for rotating the seat of the first occupant, and slides forward or backward with respect to the seat of the second occupant. Sends a control signal to rotate.

본 발명에 따른 탑승자 의도 기반 차량 제어 시스템은 동일한 관심 지점을 응시하는 복수의 차량 탑승자의 시선을 확인하여, 제1 탑승자에 의해 제2 탑승자의 시야가 가려지는 것으로 판단하는 경우, 제1 탑승자의 착좌 위치로부터 가까운 제1 측창 너머로 보여지는 외부 영역을 제2 탑승자의 착좌 위치로부터 가까운 제2 측창을 통해 디스플레이하도록 제어하는 디스플레이 제어부(104)를 더 포함한다. 이 때, 시트 포지션 제어부(105)는 제1 탑승자의 시트를 제1 방향으로 회전시키는 제어 신호를 전송하고, 제2 탑승자의 시트를 제1 방향과 반대 방향인 제2 방향으로 회전시키는 제어 신호를 전송한다. In the vehicle control system based on occupant intention according to the present invention, when it is determined that the view of a second occupant is blocked by the first occupant by checking the eyes of a plurality of occupants of the vehicle gazing at the same point of interest, the first occupant is seated The display controller 104 controls to display an external area seen through the first side window close to the seated position through the second side window close to the seating position of the second occupant. At this time, the seat position control unit 105 transmits a control signal for rotating the seat of the first occupant in a first direction and transmits a control signal for rotating the seat of the second occupant in a second direction opposite to the first direction. send.

도 2 내지 도 4는 본 발명의 실시예에 따른 탑승자 의도 기반 실내 레이아웃 변경을 도시한다. 2 to 4 illustrate indoor layout change based on occupant intention according to an embodiment of the present invention.

도 2 내지 도 4를 참조하면, 전방으로 주행하는 차량에 탑승한 사람 중, 좌측 뒷좌석에 앉은 제1 탑승자와, 우측 뒷좌석에 앉은 제2 탑승자가 있음을 가정한다. Referring to FIGS. 2 to 4 , it is assumed that there is a first occupant sitting in the left rear seat and a second occupant sitting in the right rear seat among the passengers in the vehicle traveling forward.

제1 탑승자는 좌측 측창의 투명 디스플레이와 가까운 곳에 탑승한 사람으로서, 투명 디스플레이에 대한 터치 조작을 수행하고, 제2 탑승자는 좌측 측창의 투명 디스플레이로부터 먼 곳에 탑승한 사람으로서, 에어 제스처를 통해 조작을 수행한다. The first occupant is a person riding close to the transparent display on the left side window and performs a touch operation on the transparent display, and the second occupant is a person riding far from the transparent display on the left side window and performs manipulation through air gestures. carry out

본 발명의 실시예에 따르면, 탑승자의 시선을 인식하고, 시선 정보에 기반하여 탑승자 별로 개인화된 AR 정보를 좌측 측창의 투명 디스플레이를 통해 표시한다. According to an embodiment of the present invention, the gaze of the occupant is recognized, and based on the gaze information, personalized AR information for each occupant is displayed through the transparent display on the left side window.

도 2를 참조하면, 제1 탑승자가 좌측 측창의 투명 디스플레이를 통해 보여지는 외부의 객체(isolated spire)의 영역에 터치 신호를 입력하면, 관심 지점 결정부(103)는 제1 탑승자의 시선, 제1 탑승자의 터치 신호 인가 영역을 고려하여, 외부의 특정 객체가 관심 객체인 것으로 결정한다. Referring to FIG. 2 , when the first occupant inputs a touch signal to an area of an isolated spire seen through the transparent display of the left side window, the POI determining unit 103 determines the first occupant's line of sight and the second occupant's line of sight. 1 It is determined that a specific external object is an object of interest in consideration of the area to which the touch signal of the occupant is applied.

디스플레이 제어부(104)는 좌측 측창의 투명 디스플레이를 통해, 해당 관심 객체의 구체적인 정보를 텍스트, 이미지, 아이콘 등으로 표시한다. The display controller 104 displays specific information of the object of interest in the form of text, images, icons, etc. through the transparent display of the left side window.

또한, 스피커를 통해 해당 관심 객체에 대한 정보를 음원으로 제공하는 것이 가능하며, 이 때 지향성 스피커 또는 좌측 뒷좌석에 배치된 헤드레스트 스피커를 통해, 제1 탑승자에게 해당 음원을 독립적으로 제공하는 것이 가능하다. In addition, it is possible to provide information on the object of interest as a sound source through a speaker, and at this time, it is possible to independently provide the corresponding sound source to the first occupant through a directional speaker or a headrest speaker disposed in the left rear seat. .

주행 차량이 전방으로 주행함에 따라, 좌측 측창을 통해 보여지는 외부의 관심 객체는 차량 바디 기준 좌측 후방 방향으로 상대적으로 이동된다. As the driving vehicle drives forward, the external object of interest viewed through the left side window is relatively moved in the left rear direction with respect to the vehicle body.

제1 탑승자의 시선이 해당 관심 객체에 머물러, 제1 탑승자가 좌측 후방 방향으로 고개를 돌려 해당 관심 객체를 지속적으로 응시하고자 하는 것으로 확인하는 경우, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 반시계 방향으로 회전시켜, 제1 탑승자로 하여금 보다 편안한 자세로 해당 관심 객체를 지속적으로 응시할 수 있도록 한다. When it is determined that the gaze of the first occupant stays on the object of interest and the first occupant turns his or her head in the left rear direction to continuously gaze at the object of interest, the seat position control unit 105 determines whether the first occupant is on board. The seat of the left rear seat is rotated counterclockwise so that the first occupant can continuously gaze at the object of interest in a more comfortable posture.

이 때, 시트 포지션 제어부(105)는 탑승자 시선 인식부(101)를 통해 획득된 해당 관심 객체에 대한 제1 탑승자의 응시 지속 시간이 기설정 시간 이상인 경우, 제1 탑승자가 해당 관심 객체를 지속적으로 응시하고자 하는 니즈가 있는 것으로 판단하고, 주행 차량의 주행 속도 및 그에 따른 외부 관심 객체의 상대적 이동 속도에 맞추어 제1 탑승자가 탑승한 좌측 뒷좌석의 시트의 회전 속도를 제어한다. At this time, the seat position control unit 105 continuously controls the first occupant to look at the object of interest when the duration of the first occupant's gaze on the object of interest acquired through the occupant's gaze recognition unit 101 is equal to or longer than a preset time. It is determined that there is a need to gaze, and the rotational speed of the seat of the left rear seat in which the first occupant sits is controlled according to the traveling speed of the driving vehicle and the relative moving speed of the object of interest.

시트 포지션 제어부(105)는 기설정 속도 이상의 고속 주행 중(예: 50Km/h)에는, 외부 관심 객체의 상대적 이동에 맞춰 시트를 회전시키게 되면, 급격한 시트 회전이 필요할 것으로 예상되고, 이에 따라 제1 탑승자로 하여금 불쾌감이 발생할 것으로 예상되는 경우, 시트에 대한 회전 동작을 수행하지 않는다. When the seat position control unit 105 rotates the seat according to the relative movement of the external object of interest while driving at a high speed equal to or higher than a preset speed (eg, 50 Km/h), it is expected that rapid seat rotation will be required. When an occupant is expected to feel uncomfortable, the seat rotation operation is not performed.

불쾌감 발생에 대한 예상은 기설정된 기준 시트 회전 속도를 기준으로 판단이 이루어진다. The prediction of occurrence of discomfort is determined based on a preset reference seat rotation speed.

이 때, 시트 포지션 제어부(105)는 주행 차량의 주행 속도 뿐 아니라, 외부 관심 객체와 차량 간의 거리 정보를 기준으로, 시트 회전 동작 수행 여부를 결정한다. At this time, the seat position control unit 105 determines whether to perform a seat rotation operation based on distance information between an external object of interest and the vehicle as well as the driving speed of the driving vehicle.

예컨대, 주행 차량으로부터 50미터 떨어진 곳에 외부 관심 객체가 있는 상황에서, 주행 속도에 맞춰 제1 탑승자가 해당 외부 관심 객체를 지속적으로 응시할 수 있도록 시트를 회전하는 경우, 급격한 시트 회전이 필요한 반면, 주행 차량으로부터 500미터 떨어진 곳에 외부 관심 객체가 있는 경우, 주행 속도에 맞춰 제1 탑승자가 해당 외부 관심 객체를 지속적으로 응시할 수 있도록 시트를 회전하더라도, 급격한 시트 회전이 필요하지 않다. For example, in a situation where there is an external object of interest 50 meters away from the driving vehicle, when the seat is rotated so that the first occupant can continuously gaze at the external object of interest according to the driving speed, rapid seat rotation is required, whereas the driving vehicle If there is an external object of interest 500 meters away from the vehicle, even if the first occupant rotates the seat so that the first occupant can continuously gaze at the external object of interest according to the driving speed, rapid seat rotation is not necessary.

따라서, 시트 포지션 제어부(105)는 주행 차량의 주행 속도, 제1 탑승자가 지속적으로 응시하고자 하는 외부 관심 객체와 주행 차량의 이격 거리를 종합적으로 고려하여, 제1 탑승자가 고개를 돌리지 않고도 지속적으로 해당 외부 관심 객체를 편안하게 응시할 수 있도록 제1 탑승자의 시트 포지션을 회전할 것인지 여부를 결정한다. Therefore, the seat position control unit 105 comprehensively considers the driving speed of the driving vehicle and the distance between the driving vehicle and the external object of interest that the first occupant wants to continuously gaze at, so that the first occupant does not turn his or her head. It is determined whether or not to rotate the seat position of the first occupant so that he can comfortably gaze at an external object of interest.

주행 차량이 전방으로 더 나아감에 따라, 해당 관심 객체가 제1 탑승자의 시야를 벗어나는 것으로 확인하면, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 시계 방향으로 회전시켜, 본래의 포지션으로 되돌린다. If it is determined that the object of interest is out of the first occupant's field of view as the driving vehicle moves forward, the seat position control unit 105 rotates the seat of the left rear seat in which the first occupant sits clockwise, return to the position of

또한, 시트 포지션 제어부(105)는 탑승자 시선 인식부(101)를 통해 획득되는 시선 정보가 더 이상 해당 관심 객체에 머무르지 않는 시간이 일정 시간 이상 유지되는 경우, 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 시계 방향으로 회전시켜, 본래의 포지션으로 되돌린다. In addition, the seat position control unit 105 determines the position of the left rear seat in which the first occupant rides when the time during which the gaze information obtained through the occupant gaze recognition unit 101 no longer stays on the object of interest is maintained for a predetermined period of time or longer. Rotate the seat clockwise to return it to its original position.

도 3을 참조하면, 제1 탑승자가 좌측 측창의 투명 디스플레이를 통해 보여지는 외부의 객체(isolated spire)를 주시하며 해당 영역에 터치 신호를 입력하고, 제2 탑승자가 좌측 측창의 투명 디스플레이를 통해 보여지는 동일한 외부의 객체(isolated spire)를 주시하며 기설정된 에어 제스처를 수행하는 것을 가정한다. Referring to FIG. 3 , the first occupant inputs a touch signal to the corresponding area while looking at an external object (isolated spire) shown through the transparent display of the left side window, and the second occupant sees it through the transparent display of the left side window. It is assumed that Ji looks at the same external object (isolated spire) and performs a preset air gesture.

즉, 제1 탑승자와 제2 탑승자는 동일한 외부 객체를 외부 POI로 지정한다. That is, the first passenger and the second passenger designate the same external object as an external POI.

관심 지점 결정부(103)는 제1 탑승자의 시선, 제1 탑승자의 터치 신호 인가 영역, 제2 탑승자의 시선, 제2 탑승자의 에어 제스처를 고려하여, 외부의 특정 객체가 관심 객체인 것으로 결정한다. The point-of-interest determining unit 103 determines that a specific external object is an object of interest by considering the gaze of the first occupant, the touch signal application area of the first occupant, the gaze of the second occupant, and the air gesture of the second occupant. .

디스플레이 제어부(104)는 좌측 측창의 투명 디스플레이를 통해, 해당 관심 객체의 구체적인 정보를 텍스트, 이미지, 아이콘 등으로 표시한다. The display controller 104 displays specific information of the object of interest in the form of text, images, icons, etc. through the transparent display of the left side window.

또한, 스피커를 통해 해당 관심 객체에 대한 정보를 음원으로 제공하는 것이 가능하며, 이 때 뒷좌석 탑승자를 향하는 지향성 스피커, 좌측 뒷좌석에 배치된 헤드레스트 스피커, 우측 뒷좌석에 배치된 헤드레스트 스피커를 통해, 제1 및 제2 탑승자에게 음원을 제공하는 것이 가능하다. In addition, it is possible to provide information on the object of interest as a sound source through a speaker, and at this time, through a directional speaker facing rear seat occupants, a headrest speaker disposed in the left rear seat, and a headrest speaker disposed in the right rear seat, It is possible to provide sound sources to the first and second occupants.

주행 차량이 전방으로 주행함에 따라, 좌측 측창을 통해 보여지는 외부의 관심 객체는 차량 바디 기준 좌측 후방 방향으로 상대적으로 이동된다. As the driving vehicle drives forward, the external object of interest viewed through the left side window is relatively moved in the left rear direction with respect to the vehicle body.

제1 탑승자와 제2 탑승자의 시선이 해당 관심 객체에 머물러, 제1 탑승자 및 제2 탑승자가 좌측 후방 방향으로 고개를 돌려 해당 관심 객체를 지속적으로 응시하는 것으로 확인하는 경우, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 반시계 방향으로 회전시켜, 제1 탑승자로 하여금 보다 편안한 자세로 해당 관심 객체를 지속적으로 응시할 수 있도록 한다. When it is confirmed that the gazes of the first and second passengers stay on the object of interest, and the first and second passengers turn their heads in the left rear direction and continuously gaze at the object of interest, the seat position control unit 105 rotates the seat of the left rear seat on which the first occupant sits in a counterclockwise direction so that the first occupant can continuously gaze at the object of interest in a more comfortable posture.

또한, 시트 포지션 제어부(105)는 외부의 관심 객체가 상대적으로 이동됨에 따라, 제1 탑승자에 의해 가려지는 제2 탑승자의 시야를 고려하여, 제2 탑승자가 탑승한 우측 뒷좌석의 시트를 차량 바디 기준 후방으로 슬라이딩 이동시키고, 반시계 방향으로 회전시켜, 제2 탑승자가 보다 용이하게 해당 관심 객체를 지속적으로 응시할 수 있도록 한다. In addition, as the external object of interest is relatively moved, the seat position control unit 105 considers the view of the second occupant covered by the first occupant, and sets the seat of the right rear seat on which the second occupant sits on the basis of the vehicle body. It slides backward and rotates counterclockwise so that the second occupant can continuously gaze at the object of interest more easily.

주행 차량이 전방으로 더 나아감에 따라, 해당 관심 객체가 제1 탑승자 및 제2 탑승자의 시야를 벗어나는 것으로 확인하면, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 시계 방향으로 회전시키고, 제2 탑승자가 탑승한 우측 뒷좌석의 시트를 전방으로 슬라이딩 이동시키고 시계 방향으로 회전시켜, 본래의 시트 포지션으로 되돌린다. If it is determined that the object of interest is out of the field of view of the first and second passengers as the driving vehicle moves forward, the seat position control unit 105 moves the seat of the left rear seat in which the first passenger sits clockwise. , and the seat of the right rear seat seated by the second occupant is slid forward and rotated clockwise to return to the original seat position.

도 4를 참조하면, 제1 탑승자가 좌측 측창의 투명 디스플레이를 통해 보여지는 외부의 객체(isolated spire)를 주시하며 해당 영역에 터치 신호를 입력하고, 제2 탑승자가 좌측 측창의 투명 디스플레이를 통해 보여지는 동일한 외부의 객체(isolated spire)를 주시하며 기설정된 에어 제스처를 수행하는 것을 가정한다. Referring to FIG. 4 , the first occupant inputs a touch signal to the corresponding area while looking at an external object (isolated spire) shown through the transparent display on the left side window, and the second occupant sees it through the transparent display on the left side window. It is assumed that Ji looks at the same external object (isolated spire) and performs a preset air gesture.

즉, 제1 탑승자와 제2 탑승자는 동일한 외부 객체를 외부 POI로 지정한다. That is, the first passenger and the second passenger designate the same external object as an external POI.

관심 지점 결정부(103)는 제1 탑승자의 시선, 제1 탑승자의 터치 신호 인가 영역, 제2 탑승자의 시선, 제2 탑승자의 에어 제스처를 고려하여, 외부의 특정 객체가 관심 객체인 것으로 결정한다. The point-of-interest determining unit 103 determines that a specific external object is an object of interest by considering the gaze of the first occupant, the touch signal application area of the first occupant, the gaze of the second occupant, and the air gesture of the second occupant. .

디스플레이 제어부(104)는 좌측 측창의 투명 디스플레이를 통해, 해당 관심 객체의 구체적인 정보를 텍스트, 이미지, 아이콘 등으로 표시한다. The display controller 104 displays specific information of the object of interest in the form of text, images, icons, etc. through the transparent display of the left side window.

또한, 스피커를 통해 해당 관심 객체에 대한 정보를 음원으로 제공하는 것이 가능하며, 이 때 뒷좌석 탑승자를 향하는 지향성 스피커, 좌측 뒷좌석에 배치된 헤드레스트 스피커, 우측 뒷좌석에 배치된 헤드레스트 스피커를 통해, 제1 및 제2 탑승자에게 음원을 제공하는 것이 가능하다. In addition, it is possible to provide information on the object of interest as a sound source through a speaker, and at this time, through a directional speaker facing rear seat occupants, a headrest speaker disposed in the left rear seat, and a headrest speaker disposed in the right rear seat, It is possible to provide sound sources to the first and second occupants.

주행 차량이 전방으로 주행함에 따라, 좌측 측창을 통해 보여지는 외부의 관심 객체는 차량 바디 기준 좌측 후방 방향으로 상대적으로 이동된다. As the driving vehicle drives forward, the external object of interest viewed through the left side window is relatively moved in the left rear direction with respect to the vehicle body.

제1 탑승자의 시선이 해당 관심 객체에 머물러, 제1 탑승자가 좌측 후방 방향으로 고개를 돌려 해당 관심 객체를 지속적으로 응시하는 것으로 확인하는 경우, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 반시계 방향으로 회전시켜, 제1 탑승자로 하여금 보다 편안한 자세로 해당 관심 객체를 지속적으로 응시할 수 있도록 한다. When it is determined that the gaze of the first occupant stays on the object of interest and the first occupant turns her head in the left rear direction and continuously gazes at the object of interest, the seat position control unit 105 controls the left side where the first occupant is on board. The seat of the rear seat is rotated counterclockwise so that the first occupant can continuously gaze at the object of interest in a more comfortable posture.

또한, 외부의 관심 객체가 상대적으로 이동됨에 따라, 제1 탑승자에 의해 가려지는 제2 탑승자의 시야를 고려하여, 디스플레이 제어부(104)는 우측 측창 디스플레이를 통해, 좌측 측창 투명 디스플레이 너머 보이는 외부 풍경의 화면을 복제하여 표시하고, 시트 포지션 제어부(105)는 제2 탑승자가 탑승한 우측 뒷좌석의 시트를 시계 방향으로 회전시켜, 제2 탑승자가 우측 측창 디스플레이를 통해 보다 용이하게 해당 관심 객체를 지속적으로 응시할 수 있도록 한다. In addition, as the external object of interest is relatively moved, in consideration of the second occupant's view blocked by the first occupant, the display controller 104 displays the external scenery seen through the left side window transparent display through the right side window display. The screen is duplicated and displayed, and the seat position control unit 105 rotates the seat of the right rear seat on which the second occupant sits clockwise so that the second occupant can continuously gaze at the object of interest through the right side window display more easily. make it possible

주행 차량이 전방으로 더 나아감에 따라, 해당 관심 객체가 제1 탑승자 및 제2 탑승자의 시야를 벗어나는 것으로 확인하면, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 시계 방향으로 회전시키고, 제2 탑승자가 탑승한 우측 뒷좌석의 시트를 반시계 방향으로 회전시켜, 본래의 시트 포지션으로 되돌린다. If it is determined that the object of interest is out of the field of view of the first and second passengers as the driving vehicle moves forward, the seat position control unit 105 moves the seat of the left rear seat in which the first passenger sits clockwise. and rotates the seat of the right rear seat on which the second occupant sits counterclockwise to return it to its original seat position.

도 5는 본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 방법을 도시한다. 5 illustrates a vehicle control method based on occupant's intention according to an embodiment of the present invention.

본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 방법은 차량에 탑승한 탑승자의 시선 정보를 획득하는 단계(S501)와, 시선 정보를 이용하여 차량의 외부에 위치한 관심 지점을 결정하는 단계(S502) 및 차량의 이동에 따라 관심 지점에 대한 지속적인 응시가 가능하도록 탑승자의 시트 포지션을 변경시키는 단계(S503)를 포함한다. A method for controlling a vehicle based on occupant's intention according to an embodiment of the present invention includes obtaining gaze information of a passenger riding in a vehicle (S501), and determining a point of interest located outside the vehicle by using the gaze information (S502). and changing the seat position of the occupant so as to continuously gaze at the point of interest according to the movement of the vehicle (S503).

S503 단계는 차량의 주행 방향 및 주행 속도를 고려하여, 탑승자가 앉은 시트를 회전시킨다. In step S503, the seat on which the occupant sits is rotated in consideration of the driving direction and driving speed of the vehicle.

S501 단계에서 복수의 탑승자의 시선 정보를 획득하고, S502 단계에서 복수의 탑승자의 관심 지점이 동일한 것으로 판단되는 경우, S503 단계는 제1 탑승자의 시트를 회전시키고, 제2 탑승자의 시트에 대해 전방 또는 후방 슬라이딩과 함께 회전시킨다. In step S501, when the gaze information of the plurality of passengers is obtained, and in step S502, when it is determined that the points of interest of the plurality of passengers are the same, in step S503, the seat of the first passenger is rotated, and the seat of the first passenger is rotated forward or forward with respect to the seat of the second passenger. Rotate with rear sliding.

본 발명에 따른 탑승자 의도 기반 차량 제어 방법은 S501 단계에서 복수의 탑승자의 시선 정보를 획득하고, S502 단계에서 상기 복수의 탑승자의 관심 지점이 동일한 것으로 판단되는 경우, 제1 탑승자의 착좌 위치로부터 가까운 제1 측창 너머로 보여지는 관심 지점을 포함한 외부 영역을 제2 탑승자의 착좌 위치로부터 가까운 제2 측창을 통해 디스플레이하도록 제어하는 단계(S504)를 더 포함한다. In the vehicle control method based on occupant intention according to the present invention, eye gaze information of a plurality of occupants is acquired in step S501, and when it is determined that the points of interest of the plurality of occupants are the same in step S502, the first occupant closest to the seating position of the first occupant is determined to be the same in step S502. The method may further include controlling to display an external area including the point of interest seen through the first side window through the second side window close to the seating position of the second occupant ( S504 ).

도 6은 본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 시스템을 도시한다. 6 illustrates a vehicle display control system based on an occupant's gaze according to another embodiment of the present invention.

본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 시스템은 차량 내 제1 탑승자의 시선을 인식하는 제1 탑승자 시선 인식부(601)와, 차량 내 제2 탑승자의 시선을 인식하는 제2 탑승자 시선 인식부(602)와, 제1 탑승자 및 제2 탑승자의 시선으로부터 관심 정보를 결정하고, 윈드쉴드에 관심 정보를 표시하는 영역이 상호 교차되는지 여부를 확인하고, 디스플레이에 대한 우선순위를 결정하는 관심 정보 표시 영역 교차 여부 확인 및 우선순위 결정부(603)와, 디스플레이에 대한 우선순위에 따라 디스플레이를 제어하는 디스플레이 제어부(604)를 포함한다. A vehicle display control system based on an occupant's gaze according to another embodiment of the present invention includes a first occupant's gaze recognizing unit 601 for recognizing the gaze of a first occupant in a vehicle, and a second occupant for recognizing a gaze of a second occupant in the vehicle. Determines interest information from the gaze recognition unit 602 and the gazes of the first occupant and the second occupant, determines whether areas displaying the interest information on the windshield cross each other, and determines display priorities It includes a checking and prioritizing unit 603 to determine whether an interest information display area is crossed, and a display control unit 604 to control a display according to display priorities.

디스플레이 제어부(604)는 제1 탑승자의 관심 정보 표시 영역과 제2 탑승자의 관심 정보 표시 영역이 겹쳐지는 경우, 기설정된 주도권 정보를 고려하여 디스플레이를 제어한다. The display controller 604 controls the display in consideration of predetermined initiative information when the interest information display area of the first occupant overlaps with the interest information display area of the second occupant.

디스플레이 제어부(604)는 제1 탑승자가 제2 탑승자보다 주도권을 가지는 것으로 설정된 경우, 제1 탑승자의 관심 정보 표시 영역이 제2 탑승자의 관심 정보 표시 영역을 가리며 상위에 표시되도록 디스플레이를 제어한다. When the first passenger is set to have the initiative over the second passenger, the display controller 604 controls the display so that the interest information display area of the first passenger covers the interest information display area of the second passenger and is displayed on top.

디스플레이 제어부(604)는 제1 탑승자가 제2 탑승자보다 주도권을 가지는 것으로 설정된 경우, 제2 탑승자의 관심 정보 표시 영역을 이동시켜 제2 탑승자의 관심 정보 표시 영역이 제1 탑승자의 관심 정보 표시 영역과 겹쳐지지 않도록 디스플레이를 제어한다. When the display controller 604 is set to have the initiative over the second occupant, the display controller 604 moves the interest information display area of the second occupant so that the interest information display area of the second occupant is the same as the interest information display area of the first occupant. Control the displays so that they do not overlap.

디스플레이 제어부(604)는 제1 탑승자의 관심 정보 표시 영역과 제2 탑승자의 관심 정보 표시 영역이 겹쳐지는 경우, 관심 정보의 중요도를 고려하여 디스플레이를 제어한다. The display controller 604 controls the display in consideration of the importance of the interest information when the interest information display area of the first occupant overlaps with the interest information display area of the second occupant.

디스플레이 제어부(604)는 제1 탑승자의 관심 정보가 제2 탑승자의 관심 정보 대비 중요도가 높은 분류에 속하는 것으로 판단하는 경우, 제2 탑승자의 관심 정보에 대한 표시를 수행하지 않고, 제1 탑승자의 관심 정보에 대한 표시를 수행하도록 디스플레이를 제어한다. When the display control unit 604 determines that the interest information of the first passenger belongs to a category having a higher importance than the interest information of the second passenger, the display controller 604 does not display the interest information of the second passenger and displays the interest information of the first passenger. Controls the display to display information.

디스플레이 제어부(604)는 제1 탑승자에게 할당된 디스플레이 영역에 표시되는 컨텐츠의 종류 및 제1 탑승자에게 할당된 디스플레이 영역과 관련한 조작 상황 중 적어도 어느 하나를 고려하여, 제2 탑승자의 관심 정보를 제1 탑승자에게 할당된 디스플레이 영역에 표시할 것인지 여부를 결정한다. The display control unit 604 considers at least one of a type of content displayed on the display area allocated to the first passenger and an operation situation related to the display area allocated to the first passenger, and converts interest information of the second passenger to the first passenger. Determines whether or not to display in the display area allocated to the occupant.

도 7은 본 발명의 다른 실시예에 따른 우선순위를 고려한 영역 별 차량 윈드쉴드 디스플레이 제어를 도시한다. FIG. 7 illustrates vehicle windshield display control for each area considering priority according to another embodiment of the present invention.

도 7의 (a)를 참조하면, 운전자 A와 동승자 B는 차량 전면 윈드쉴드 너머로 외부 객체를 바라본다. Referring to (a) of FIG. 7 , driver A and passenger B look at an external object through a front windshield of the vehicle.

이 때, 운전자 A가 ①의 영역에 위치한 전방 차량을 기설정 시간 이상 응시하는 경우, 운전자 A의 시선 추적 결과에 따라 주행 관련 정보가 표시되며, 예컨대 전방 차량과의 거리, 네비게이션 정보 기반 AR 길 안내 정보 등이 투명 디스플레이인 전방 윈드쉴드의 제1 영역(A-1)에 표시된다. At this time, when driver A gazes at the vehicle in front located in the area ① for a predetermined time or longer, driving-related information is displayed according to the result of driver A's eye tracking, for example, the distance to the vehicle in front and AR route guidance based on navigation information. Information and the like are displayed on the first area A-1 of the front windshield, which is a transparent display.

동승자 B는 ②의 영역에 위치한 상점을 기설정 시간 이상 응시하고, 그에 따라 해당 상점의 정보(예: 여름 세일, 최고 70%까지)가 투명 디스플레이인 전방 윈드쉴드의 제2 영역(B-1)에 표시된다. Passenger B gazes at the store located in the area ② for a predetermined amount of time or longer, and accordingly, the store information (eg summer sale, up to 70%) is displayed in the second area (B-1) of the front windshield, which is a transparent display. displayed on

도 7의 (b)를 참조하면, 운전자 A는 ①의 영역에 위치한 주차 타워(예: 해당 주차 타워가 네비게이션 경로에 설정된 목적지임)를 바라봄에 따라, 해당 주차 타워의 정보(예: 시간당 주차 비용)가 투명 디스플레이인 전방 윈드쉴드의 제2 영역(B-1)에 표시된다. Referring to (b) of FIG. 7, as driver A looks at a parking tower located in the area ① (eg, the corresponding parking tower is a destination set in a navigation route), information of the corresponding parking tower (eg, hourly parking) cost) is displayed on the second area B-1 of the front windshield, which is a transparent display.

이 때, 전술한 바와 같이 동승자 B의 시선에 따라 ②의 영역에 위치한 상점의 정보(예: 여름 세일, 최고 70%까지)에 대한 표시 영역(즉, 투명 디스플레이인 전방 윈드쉴드의 제2 영역(B-1) 중 일부)과 운전자 A의 시선에 따라 ①의 영역에 위치한 주차 타워의 정보에 대한 표시 영역이 겹치게 된다. At this time, as described above, the display area for store information (eg, summer sale, up to 70%) located in the area ② according to the gaze of passenger B (ie, the transparent display, the second area of the front windshield ( Some of B-1)) and the driver A's line of sight overlap the display area for parking tower information located in the area ①.

일례로, 디스플레이 제어부(604)는 운전자 A의 외부 관심 정보 영역과 동승자 B의 외부 관심 정보 영역을 겹쳐서 표시하도록 제어한다. 이 때, 반대의 경우로 동승자 B의 시선이 제1 영역(A-1)에 위치한 상점을 응시함에 따라, 제1 영역(A-1)에 위치한 상점에 대한 정보를 투명 디스플레이인 전방 윈드쉴드에 표시하는 경우, 운전자 A가 응시하는 객체에 대한 디스플레이 영역과 겹쳐지게 될 것으로 판단하면, 디스플레이 제어부(604)는 운전자 A가 응시하는 객체에 대한 정보만 디스플레이하고, 동승자 B의 시선에 따른 외부 관심 정보를 디스플레이하지 않도록 제어한다. For example, the display controller 604 controls the driver A's external interest information region and the passenger B's external interest information region to be overlapped and displayed. At this time, in the opposite case, as the gaze of the passenger B gazes at the store located in the first area A-1, the information about the store located in the first area A-1 is displayed on the front windshield, which is a transparent display. In the case of display, if it is determined that the display area for the object that driver A is gazing at will overlap, the display controller 604 displays only the information on the object that driver A is gazing at, and the external interest information according to the gaze of passenger B. Control not to display.

다른 예로서, 디스플레이 제어부(604)는 운전자 A의 시선에 따라 투명 디스플레이에 표시되는 정보의 표출 우선순위가 동승자 B의 시선에 따라 투명 디스플레이에 표시되는 정보의 표출 순위보다 높은 것을 확인하고, 운전자 A의 외부 관심 정보 영역을 동승자 B의 외부 관심 정보 영역 앞에 표시한다(즉, 동승자 B의 외부 관심 정보 영역의 일부가 가려질 수 있다). As another example, the display controller 604 confirms that the priority of displaying information displayed on the transparent display according to the gaze of driver A is higher than the priority of displaying information displayed on the transparent display according to the gaze of passenger B, and The external interest information region of is displayed in front of the external interest information region of passenger B (that is, a part of the external interest information region of passenger B may be covered).

또 다른 예로서, 디스플레이 제어부(604)는 운전자 A의 시선에 따라 투명 디스플레이에 표시되는 정보의 표출 우선순위가 동승자 B의 시선에 따라 투명 디스플레이에 표시되는 정보의 표출 순위보다 높은 것을 확인하고, 동승자 B의 외부 관심 정보에 대한 디스플레이 영역을 이동시켜, 운전자 A의 외부 관심 정보에 대한 디스플레이 영역과 겹쳐지지 않도록 한다. As another example, the display controller 604 confirms that the priority of displaying information displayed on the transparent display according to the gaze of driver A is higher than the priority of displaying information displayed on the transparent display according to the gaze of passenger B, and The display area for information of external interest of driver B is moved so that it does not overlap with the display area for information of external interest of driver A.

예컨대, 도 7의 (b)의 경우, 상점의 정보(예: 여름 세일, 최고 70%까지)에 대한 표시 영역을 우측 하단으로 이동시켜, 주차 타워의 정보에 대한 표시 영역과 겹치지 않도록 제어한다. For example, in the case of (b) of FIG. 7 , the display area for store information (eg, summer sale, up to 70%) is moved to the lower right corner so that it does not overlap with the display area for parking tower information.

즉, 운전자 A가 동승자 B 대비 주도권이 있을 경우, 운전자 A가 응시하는 외부 관심 정보에 대한 표시 영역을 동승자 B가 응시하는 외부 관심 정보에 대한 표시 영역 대비 선순위를 두어 디스플레이하도록 제어한다. That is, when driver A has the initiative compared to passenger B, the display area for external interest information gazed at by driver A is controlled to be displayed in priority over the display area for external interest information gazed at by passenger B.

또한, 탑승자의 시선 인식에 따라 제공되는 정보가 주행, 안전 관련 정보(예: 차선, 속도 제한, 신호등, 앞차와의 거리 정보 등)인 경우, 외부 관심 정보 표시 영역을 다른 정보(예: 상점 정보 등) 표시 영역보다 우선하여 디스플레이하도록 제어한다. In addition, when the information provided according to the gaze recognition of the occupant is information related to driving and safety (eg, lane, speed limit, traffic lights, distance to the vehicle in front, etc.), the external interest information display area is set to other information (eg, shop information). etc.) Priority is given to the display area so that the display is controlled.

도 8은 본 발명의 다른 실시예에 따른 외부 관심 객체의 상대적 이동 시 우선순위를 고려한 영역 별 차량 윈드쉴드 디스플레이 제어를 도시한다. FIG. 8 illustrates control of a vehicle windshield display for each region in consideration of priorities in relative movement of an external object of interest according to another embodiment of the present invention.

도 8의 (a)를 참조하면, 제1 탑승자 A와 제2 탑승자 B는 차량 좌측 측창 윈드쉴드 너머로 외부 객체를 바라본다. Referring to (a) of FIG. 8 , the first occupant A and the second occupant B look at an external object through the windshield of the left side window of the vehicle.

이 때, 제1 탑승자 A의 니즈에 따라 제1 영역(A-1)에 뮤직플레이어를 디스플레이하고 있고, 제2 탑승자 B의 니즈에 따라 외부 관심 객체(Isolated Spire)의 윤곽을 제2 영역(B-1)에 디스플레이하고 있다. At this time, the music player is displayed in the first area (A-1) according to the needs of the first passenger A, and the outline of the object of interest (Isolated Spire) is displayed in the second area (B) according to the needs of the second passenger B. -1) is displayed.

도 8의 (b)를 참조하면, 차량이 전방으로 주행 이동함에 따라, 제2 탑승자 B의 관심 정보가 제1 탑승자 A의 디스플레이 영역(A-1)을 침범하는 경우, 디스플레이 제어부(604)는 컨텐츠의 속성, 제1 탑승자 A의 시선 모니터링 결과를 고려하여 제1 영역(A-1) 및 제2 영역(B-1)에 대한 디스플레이 제어를 수행한다. Referring to (b) of FIG. 8 , when the interest information of the second passenger B invades the display area A-1 of the first passenger A as the vehicle travels forward, the display controller 604 The display control for the first area A-1 and the second area B-1 is performed in consideration of the content properties and the result of monitoring the gaze of the first passenger A.

도 8의 (b)를 참조하면, 제1 탑승자 A의 디스플레이 영역(A-1)에 표시되는 컨텐츠가 제1 탑승자 A의 시선 정보에 기초한 외부 관심 정보가 아닌 컨텐츠(예: 음악, 날씨, 영화 등)일 경우, 그 컨텐츠의 종류 또는 제1 탑승자 A의 화면 조작 상태에 따라, 제2 탑승자 B의 외부 관심 객체의 정보를 제1 영역(A-1)에 침범하여 표시할 것인지 결정한다. Referring to (b) of FIG. 8 , the content displayed on the display area A-1 of the first passenger A is not the external interest information based on the gaze information of the first passenger A (eg, music, weather, movies). etc.), it is determined whether to display the information of the external object of interest of the second passenger B in the first area A-1 according to the type of content or the screen manipulation state of the first passenger A.

제1 탑승자 A가 제1 영역(A-1)에서 음악을 고르는 경우, 디스플레이 제어부(604)는 제2 탑승자 B의 외부 관심 객체의 정보를 제1 영역(A-1)에 표시하지 않도록 제어하여, 제1 탑승자 A의 화면 조작을 방해하지 않도록 한다. When the first passenger A selects music in the first area A-1, the display control unit 604 controls not to display information on the external object of interest of the second passenger B in the first area A-1. , so as not to interfere with the screen operation of the first passenger A.

또한, 제1 탑승자 A가 제1 영역(A-1)에서 영화를 시청하고 있는 경우, 디스플레이 제어부(604)는 제2 탑승자 B의 외부 관심 객체의 정보를 제1 영역(A-1)에 표시하지 않도록 제어하여, 제1 탑승자 A의 영화 시청을 방해하지 않도록 한다. In addition, when the first passenger A is watching a movie in the first area A-1, the display controller 604 displays information on the external object of interest of the second passenger B in the first area A-1. It is controlled so as not to interfere with the first occupant A's movie viewing.

다른 예로서, 제1 탑승자 A가 제1 영역(A-1)에서 컨텐츠 실행에 대한 조작을 수행하고 있지 않은 상황인 경우, 디스플레이 제어부(604)는 제2 탑승자 B의 외부 관심 객체의 정보를 제1 영역(A-1)에 표시하도록 제어한다. As another example, in a situation where the first passenger A is not performing an operation for content execution in the first area (A-1), the display control unit 604 provides information on the external interest object of the second passenger B. It is controlled to be displayed in area 1 (A-1).

또한, 제1 탑승자 A가 ③과 같이 일정 시간 이상 다른 곳을 응시하는 것으로 확인되면, 디스플레이 제어부(604)는 제2 탑승자 B의 외부 관심 객체의 정보를 제1 영역(A-1)에 표시하도록 제어한다.In addition, if it is confirmed that the first passenger A is gazing at a different place for a certain period of time or longer as shown in ③, the display controller 604 displays the information on the external object of interest of the second passenger B in the first area A-1. Control.

도 9는 본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 방법을 도시한다. 9 illustrates a vehicle display control method based on a passenger's gaze according to another embodiment of the present invention.

본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 방법은 차량에 탑승한 복수의 탑승자의 시선 정보를 인식하는 단계(S901)와, 시선 정보를 이용하여 관심 정보를 확인하는 단계(S902)와, 투명 디스플레이인 윈드쉴드로 표시되는 관심 정보의 표시 영역이 교차하는지 여부를 확인하는 단계(S903) 및 관심 정보의 표시 영역이 교차하는 경우, 디스플레이 제어를 수행하는 단계(S904)를 포함한다, A vehicle display control method based on the gaze of a passenger according to another embodiment of the present invention includes the steps of recognizing eye gaze information of a plurality of passengers in a vehicle (S901), and identifying interest information using the eye gaze information (S902). , checking whether the display areas of the information of interest displayed on the windshield, which is a transparent display, intersect (S903) and, if the display areas of the interest information intersect, controlling the display (S904).

S904 단계는 제1 탑승자의 관심 정보 표시 영역과 제2 탑승자의 관심 정보 표시 영역이 겹쳐지는 것으로 확인한 결과에 따라, 기설정된 주도권 정보를 고려하여 디스플레이 제어를 수행한다. In step S904, display control is performed in consideration of preset initiative information according to a result of confirming that the interest information display area of the first occupant overlaps with the interest information display area of the second occupant.

S904 단계는 제1 탑승자가 제2 탑승자보다 주도권을 가지는 것으로 설정된 경우, 제1 탑승자의 관심 정보 표시 영역이 제2 탑승자의 관심 정보 표시 영역을 가리며 상위에 표시되도록 디스플레이 제어를 수행한다. In step S904, when it is set that the first passenger has the initiative over the second passenger, the display control is performed so that the interest information display area of the first passenger covers the interest information display area of the second passenger and is displayed above.

S904 단계는 제1 탑승자가 제2 탑승자보다 주도권을 가지는 것으로 설정된 경우, 제2 탑승자의 관심 정보 표시 영역을 이동시켜 제2 탑승자의 관심 정보 표시 영역이 제1 탑승자의 관심 정보 표시 영역과 겹쳐지지 않도록 디스플레이 제어를 수행한다. In step S904, if it is set that the first occupant has the initiative over the second occupant, the interest information display area of the second occupant is moved so that the interest information display area of the second occupant does not overlap with the interest information display area of the first occupant. Perform display control.

S904단계는 제1 탑승자의 관심 정보 표시 영역과 제2 탑승자의 관심 정보 표시 영역이 겹쳐지는 경우, 관심 정보의 중요도를 고려하여 디스플레이 제어를 수행한다. In step S904, when the interest information display area of the first occupant and the interest information display area of the second occupant overlap, display control is performed in consideration of the importance of the interest information.

S904단계는 제1 탑승자의 관심 정보가 제2 탑승자의 관심 정보 대비 중요도가 높은 분류에 속하는 것으로 판단하는 경우, 제2 탑승자의 관심 정보에 대한 표시를 수행하지 않고, 제1 탑승자의 관심 정보에 대한 표시를 수행하도록 디스플레이 제어를 수행한다. In step S904, when it is determined that the interest information of the first passenger belongs to a category having a higher importance than the interest information of the second passenger, the interest information of the second passenger is not displayed, and the interest information of the first passenger is not displayed. Perform display control to perform display.

S904단계는 제1 탑승자에게 할당된 디스플레이 영역에 표시되는 컨텐츠의 종류 및 제1 탑승자에게 할당된 디스플레이 영역과 관련한 조작 상황 중 적어도 어느 하나를 고려하여, 제2 탑승자의 관심 정보를 제1 탑승자에게 할당된 디스플레이 영역에 표시할 것인지 여부를 결정한다. In step S904, interest information of the second passenger is allocated to the first passenger in consideration of at least one of a type of content displayed on the display area allocated to the first passenger and an operation situation related to the display area allocated to the first passenger. Determines whether to display in the displayed display area.

도 10은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 시스템을 도시한다. 10 illustrates a vehicle display control system and determination of an external interest information display area based on a passenger's gaze according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 시스템은 차량 내 제1 탑승자의 시선을 인식하는 제1 탑승자 시선 인식부(1001)와, 제1 탑승자의 시선으로부터 제1 탑승자의 외부 관심 정보를 확인하는 제1 탑승자의 외부 관심 정보 확인부(1003)와, 차량 내 제2 탑승자의 시선을 인식하는 제2 탑승자 시선 인식부(1002)와, 제2 탑승자의 시선으로부터 제2 탑승자의 외부 관심 정보를 확인하는 제2 탑승자의 외부 관심 정보 확인부(1004)와, 제1 탑승자의 외부 관심 정보 표시 영역과 제2 탑승자의 외부 관심 정보 표시 영역을 확인하는 외부 관심 정보 표시 영역 확인부(1005) 및 상대적으로 정보 표시의 중요도가 낮은 제2 탑승자의 외부 관심 정보 표시 영역에 의한, 제1 탑승자의 외부 관심 정보 표시 영역에 대한 인식 영향을 고려하여, 디스플레이에 대한 우선순위를 결정하는 디스플레이 제어부(1006)를 포함한다. According to another embodiment of the present invention, an occupant's gaze-based external interest information display area determination and vehicle display control system includes a first occupant's gaze recognition unit 1001 recognizing a first occupant's gaze in a vehicle, and a first occupant's gaze recognition unit 1001 . A first occupant's external interest information identification unit 1003 that checks the first occupant's external interest information from the gaze, a second occupant's gaze recognition unit 1002 that recognizes the second occupant's gaze in the vehicle, and the second occupant's gaze recognition unit 1002 The second occupant's external interest information identification unit 1004 confirms the external interest information of the second occupant from the gaze of the second occupant, and the external interest information display area of the first occupant and the external interest information display area of the second occupant are checked. Considering the influence of the interest information display area identification unit 1005 and the external interest information display area of the second occupant, which has a relatively low importance of information display, on the external interest information display area of the first occupant, and a display control unit 1006 that determines priorities.

디스플레이 제어부(1006)는 인식 영향이 기설정된 수치 이하인 것으로 판단한 경우, 제1 탑승자의 외부 관심 정보 표시와 함께 제2 탑승자의 외부 관심 정보를 표시하도록 디스플레이 제어를 수행한다. When it is determined that the recognition influence is equal to or less than a predetermined value, the display control unit 1006 performs a display control to display external interest information of the second occupant together with display of external interest information of the first occupant.

디스플레이 제어부(1006)는 인식 영향이 기설정된 수치를 초과하는 것으로 판단한 경우, 제2 탑승자의 외부 관심 정보를 표시하지 않고, 제1 탑승자의 외부 관심 정보만 표시하도록 디스플레이 제어를 수행한다. When it is determined that the recognition influence exceeds a predetermined value, the display control unit 1006 controls the display to display only the external interest information of the first occupant without displaying the external interest information of the second occupant.

디스플레이 제어부(1006)는 인식 영향이 기설정된 수치를 초과하는 것으로 판단한 경우, 제2 탑승자의 외부 관심 정보 표시 영역을 이동시켜, 이동 후의 제2 탑승자의 외부 관심 정보 표시 영역이 제1 탑승자의 외부 관심 정보 표시 영역을 침범하지 않도록 디스플레이 제어를 수행한다.When the display control unit 1006 determines that the recognition effect exceeds a preset value, the display area for displaying information of external interest of the second occupant is moved so that the area for displaying information of external interest of the second occupant after the movement is displayed is the external interest of the first occupant. The display control is performed so as not to invade the information display area.

디스플레이 제어부(1006)는 제2 탑승자의 외부 관심 객체의 본래 위치에 대한 윤곽 정보를 디스플레이하도록 제어한다.The display control unit 1006 controls to display contour information about the original position of the external object of interest of the second occupant.

도 11은 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시 영역 판단 및 디스플레이 제어를 도시한다. 11 illustrates determination of an external interest information display area and display control according to another embodiment of the present invention.

도 11을 참조하면, 차량에 탑승한 운전자 A와 동승자 B는 차량 전면 윈드쉴드 너머로 외부 객체를 바라본다. Referring to FIG. 11 , a driver A and a passenger B riding in a vehicle look at an external object through a front windshield of the vehicle.

도 11의 (a)를 참조하면, 운전자 A가 ①의 영역에 위치한 전방 차량을 기설정 시간 이상 응시하는 경우, 운전자 A의 시선 추적 결과에 따라 주행 관련 정보가 표시되며, 예컨대 전방 차량과의 거리, 네비게이션 정보 기반 AR 길 안내 정보 등이 투명 디스플레이로 구성되는 전방 윈드쉴드의 제1 영역(A-1)에 표시된다. 동승자 B는 ②의 영역에 위치한 상점을 기설정 시간 이상 응시하고, 그에 따라 해당 상점의 정보(예: 여름 세일, 최고 70%까지)가 투명 디스플레이인 전방 윈드쉴드의 제2 영역(B-1)에 표시된다. Referring to (a) of FIG. 11 , when driver A gazes at a vehicle in front located in an area ① for a predetermined time or longer, driving-related information is displayed according to the result of eye tracking of driver A, for example, the distance to the vehicle in front. , AR road guidance information based on navigation information, etc. are displayed on the first area A-1 of the front windshield composed of a transparent display. Passenger B gazes at the store located in the area ② for a predetermined amount of time or longer, and accordingly, the store information (eg summer sale, up to 70%) is displayed in the second area (B-1) of the front windshield, which is a transparent display. displayed on

도 11의 (b)를 참조하면, 동승자 B의 시선 이동에 따라, ②에 해당하는 외부 관심 정보에 대한 표시 영역이 제1 영역(A-1)로 이동된다. Referring to (b) of FIG. 11 , according to the eye movement of the passenger B, the display area for the external interest information corresponding to ② is moved to the first area A-1.

이 때, 디스플레이 제어부(1006)는 동승자 B의 외부 관심 정보에 대한 표시 영역이 운전자 A의 외부 관심 정보에 대한 표시 영역과 겹치지 않는 것으로 확인하면, 제1 영역(A-1)에 동승자 B의 외부 관심 정보를 표시하도록 제어한다. At this time, if the display controller 1006 confirms that the display area for information of interest to the outside of passenger B does not overlap with the display area for information of interest to outside of driver A, the display controller 1006 displays the outside of passenger B in the first area A-1. Control to display information of interest.

도 11의 (c)를 참조하면, 운전자 A의 시선 이동에 따라, ①에 해당하는 후측방 경고 알림이 운전자 A의 외부 관심 정보로서 표시된다. Referring to (c) of FIG. 11 , according to driver A's gaze movement, a rear side warning notification corresponding to ① is displayed as driver A's external interest information.

이 경우, 도 11의 (b)에서 설명한 동승자 B의 외부 관심 정보에 대한 표시 영역이 운전자 A의 외부 관심 정보에 대한 표시 영역과 겹쳐지는 것으로 판단되며, 디스플레이 제어부(1006)는 동승자 B의 외부 관심 정보에 대한 표시 여부를 결정한다. In this case, it is determined that the display area for information of external interest of passenger B overlaps with the display area for information of external interest of driver A described in (b) of FIG. Decide whether or not to display information.

이 때, 디스플레이 제어부(1006)는 운전자 A의 시선 정보를 모니터링하여, 운전자 A의 외부 관심 정보에 대한 표시 영역이 동승자 B의 외부 관심 정보에 대한 표시 영역과 겹쳐지지 않을 때까지, 동승자 B의 외부 관심 정보에 대한 표시를 수행하지 않는다. At this time, the display control unit 1006 monitors driver A's gaze information until the display area for driver A's external interest information does not overlap with the display area for passenger B's external interest information. Do not perform display of information of interest.

다른 예로서, 디스플레이 제어부(1006)는 도 11의 (c)에 도시한 바와 같이, 동승자 B의 외부 관심 정보에 대한 표시 영역이 운전자 A의 외부 관심 정보에 대한 표시 영역과 겹쳐지지 않도록, 동승자 B의 외부 관심 정보에 대한 표시 영역을 이동시킨다. As another example, as shown in (c) of FIG. 11 , the display control unit 1006 controls the display area for the information of interest to passenger B to be outside from overlapping with the display area for information of interest to driver A. Moves the display area for the external interest information of .

도 11의 (c)에 도시한 바와 같이, 디스플레이 제어부(1006)는 동승자 B의 외부 관심 정보에 대한 표시 영역을 제2 영역(B-1)로 이동시켜, 운전자 A가 외부 관심 정보에 대해 확인하는데 방해 요소가 발생되지 않도록 한다. As shown in (c) of FIG. 11 , the display controller 1006 moves the display area for the information of interest to the passenger B to the second area B-1 so that the driver A confirms the information of interest to the outside. Make sure that there are no obstructions in doing so.

디스플레이 제어부(1006)는 동승자 B의 외부 관심 정보에 대해 AR로 표시하거나, 카메라 영상으로 표시하도록 제어한다. The display control unit 1006 controls to display the external interest information of the passenger B in AR or as a camera image.

디스플레이 제어부(1006)는 동승자 B의 외부 관심 객체의 위치에 대해서는 점선 형태로 지속 표시하여, 위치를 인지하도록 하며, 운전자 A의 시선에는 방해되지 않도록 제어한다. The display control unit 1006 continuously displays the position of the external object of interest to passenger B in a dotted line form so that the position is recognized and controlled so as not to interfere with driver A's line of sight.

도 12는 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 방법을 도시한다. 12 illustrates a method for determining an external interest information display area and controlling a vehicle display based on an occupant's gaze according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 방법은 차량 내 제1 탑승자 및 제2 탑승자의 시선 정보를 인식하는 단계(S1201)와, 제1 탑승자 및 제2 탑승자의 시선 정보를 이용하여, 제1 탑승자의 외부 관심 정보 표시 영역 및 제2 탑승자의 외부 관심 정보 표시 영역을 확인하는 단계(S1202) 및 상대적으로 정보 표시의 중요도가 낮은 제2 탑승자의 외부 관심 정보 표시 영역에 의한, 제1 탑승자의 외부 관심 정보 표시 영역에 대한 인식 영향을 고려하여, 디스플레이에 대한 우선순위를 결정하여 디스플레이를 제어하는 단계(S1203)를 포함한다. According to another embodiment of the present invention, a method for determining an occupant's gaze-based external interest information display area and controlling a vehicle display includes the steps of recognizing gaze information of a first occupant and a second occupant in a vehicle (S1201); Checking the external interest information display area of the first occupant and the external interest information display area of the second occupant by using the gaze information of the second occupant (S1202) and the external area of the second occupant whose information display is relatively less important Controlling the display by determining a display priority in consideration of the effect of the interest information display area on the recognition of the first passenger's external interest information display area (S1203).

S1203 단계는 인식 영향이 기설정된 수치 이하인 것으로 판단한 경우, 제1 탑승자의 외부 관심 정보 표시와 함께 제2 탑승자의 외부 관심 정보를 표시하도록 디스플레이를 제어한다. In operation S1203, when it is determined that the recognition influence is equal to or less than a predetermined value, the display is controlled to display external interest information of the second passenger along with information of external interest of the first passenger.

S1203 단계는 인식 영향이 기설정된 수치를 초과하는 것으로 판단한 경우, 제2 탑승자의 외부 관심 정보를 표시하지 않고, 제1 탑승자의 외부 관심 정보만 표시하도록 디스플레이를 제어한다. In step S1203, if it is determined that the recognition influence exceeds a predetermined value, the display is controlled to display only the external interest information of the first passenger without displaying the external interest information of the second passenger.

S1203 단계는 인식 영향이 기설정된 수치를 초과하는 것으로 판단한 경우, 제2 탑승자의 외부 관심 정보 표시 영역을 이동시켜, 이동 후의 제2 탑승자의 외부 관심 정보 표시 영역이 제1 탑승자의 외부 관심 정보 표시 영역을 침범하지 않도록 디스플레이를 제어한다. In step S1203, if it is determined that the recognition influence exceeds a preset value, the second occupant's external interest information display area is moved so that the second occupant's external interest information display area after movement is the first occupant's external interest information display area. Control the display so as not to invade the

S1203 단계는 제2 탑승자의 외부 관심 객체의 본래 위치에 대한 윤곽 정보를 표시하도록 디스플레이를 제어한다. Step S1203 controls the display to display contour information on the original position of the second occupant's external object of interest.

도 13은 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 시스템을 도시한다. 13 illustrates an occupant's gaze departure determination and vehicle display control system according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 시스템은 차량 내 탑승자의 디스플레이 화면 시청 관련 행동 정보를 인식하는 탑승자 정보 인식부(1310) 및 디스플레이 화면 시청 관련 행동 정보를 이용하여 차량 디스플레이에 대한 제어를 수행하는 디스플레이 제어부(1320)를 포함하되, 디스플레이 제어부(1320)는 디스플레이 화면 시청 관련 행동 정보를 분석하여 탑승자의 시선이 디스플레이 화면 영역을 이탈하는 것으로 판단하고, 그에 따라 디스플레이에 대한 제어를 수행한다. According to another embodiment of the present invention, the occupant's line of sight deviation determination and vehicle display control system uses the occupant information recognizing unit 1310 that recognizes behavioral information related to viewing a display screen of an occupant in a vehicle and the behavioral information related to viewing a display screen. The display controller 1320 includes a display controller 1320 that controls the display, and the display controller 1320 analyzes behavioral information related to viewing the display screen to determine that the passenger's gaze departs from the display screen area, and accordingly, the display controller 1320 determines carry out control

탑승자 정보 인식부(1310)는 차량 내 탑승자의 시선 정보를 획득하여, 차량 내 탑승자의 시선이 디스플레이 화면 영역을 이탈하는지 여부와, 이탈 지속 시간을 인식하는 탑승자 시선 인식부(1311)를 포함한다. The occupant information recognizing unit 1310 includes an occupant gaze recognizing unit 1311 that obtains gaze information of the occupant in the vehicle and recognizes whether the occupant's gaze departs from the display screen area and the duration of the departure.

디스플레이 제어부(1320)는 탑승자의 시선이 디스플레이 화면 영역을 이탈하는 지속 시간이 기설정 시간을 초과하는 경우, 영상 컨텐츠의 화면을 흐리게 표시하도록 제어한다. The display control unit 1320 controls to dimly display the screen of video content when the duration of the occupant's gaze departing from the display screen area exceeds a predetermined time period.

탑승자 정보 인식부(1310)는 차량 내 음성 정보를 획득하는 음성 인식부(1312)를 더 포함하고, 디스플레이 제어부(1320)는 차량 내 음성 정보를 이용하여 통화 또는 차량 내 대화가 진행 중인 것으로 확인하여 동영상 재생에 해당하는 영상 컨텐츠의 재생에 대해 일시정지하도록 제어한다. The occupant information recognition unit 1310 further includes a voice recognition unit 1312 that acquires in-vehicle voice information, and the display control unit 1320 confirms that a call or in-vehicle conversation is in progress using the in-vehicle voice information, Playback of video content corresponding to video playback is controlled to be paused.

디스플레이 제어부(1320)는 차량 내 음성 정보를 이용하여 통화 또는 차량 내 대화가 진행 중인 것으로 확인하여 영상 컨텐츠의 재생 음량을 감소시키도록 제어한다. The display control unit 1320 determines that a call or an in-vehicle conversation is in progress using the in-vehicle voice information, and controls the playback volume of the video content to be reduced.

디스플레이 제어부(1320)는 이탈 지속 시간이 기설정 시간 이상 지속되는 경우, 영상 컨텐츠가 아닌 배경화면을 표출하도록 제어한다. The display control unit 1320 controls to display a background screen instead of video content when the duration of the departure lasts longer than a preset time.

탑승자 정보 인식부(1310)는 차량 내 시트에 대한 탑승자의 착석상태를 인식하는 착석상태 인식부(1313)를 더 포함하고, 디스플레이 제어부(1320)는 시트로 접근하는 탑승자를 식별하여 주도권을 가진 제1 탑승자가 시트에 착석하는 경우 영상 컨텐츠를 자동 재생시키도록 제어한다. The occupant information recognition unit 1310 further includes a seating state recognition unit 1313 for recognizing the occupant's sitting state on the seat in the vehicle, and the display control unit 1320 identifies the occupant approaching the seat and controls 1 When an occupant sits on the seat, video content is controlled to be played automatically.

주도권을 가지지 않은 제2 탑승자가 시트에 착석하는 것으로 확인된 경우, 디스플레이 제어부(1320)는 상기 디스플레이 화면 영역 중 일부를 제2 탑승자에게 할당한다. When it is confirmed that the second occupant who does not have the initiative sits on the seat, the display controller 1320 allocates a portion of the display screen area to the second occupant.

디스플레이 제어부(1320)는 제1 탑승자의 권한 설정 정보 및 제1 탑승자의 탑승 상태 정보 중 적어도 어느 하나를 고려하여 제2 탑승자에게 할당된 영역 너머로 제2 탑승자의 외부 관심 정보를 표출하도록 제어한다. The display controller 1320 controls the display of the second passenger's external interest information beyond the area allocated to the second passenger in consideration of at least one of the first passenger's authority setting information and the first passenger's boarding state information.

디스플레이 제어부(1320)는 제1 탑승자가 차량을 벗어나는 경우, 제2 탑승자의 사용 히스토리 정보를 고려하여 제2 탑승자가 이전에 사용했던 기능을 화면에 표시하도록 제어한다. When the first occupant leaves the vehicle, the display controller 1320 controls a function previously used by the second occupant to be displayed on the screen in consideration of the use history information of the second occupant.

도 14 내지 도 17은 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 상황에서의 차량 디스플레이 제어에 대한 예시를 도시한다. 14 to 17 illustrate examples of controlling a vehicle display in a driver's gaze deviation situation according to another embodiment of the present invention.

도 14를 참조하면, 차량 디스플레이에 재생되고 있는 영상 컨텐츠를 시청하던 탑승자(주도권자)의 시선이 화면으로부터 벗어나는 경우, 디스플레이 제어부(1320)는 차량 디스플레이의 화면을 흐리게 표시하여, 탑승자가 화면에 표출되는 영상 컨텐츠에 의해 간섭 받지 않도록 제어한다. Referring to FIG. 14 , when the gaze of an occupant (initiator) who is watching video content being played on the vehicle display deviates from the screen, the display controller 1320 blurs the screen of the vehicle display so that the occupant is displayed on the screen. It is controlled not to be interfered with by the video contents being used.

이 때, 탑승자가 전화 통화를 하거나, 차량 내 다른 탑승자와 대화를 하는 것으로 판단되는 경우, 또는 탑승자가 눈을 감고 시트에 기대는 경우 등 영상 컨텐츠 시청 의도가 없어진 것으로 판단되면, 디스플레이 제어부(1320)는 영상 컨텐츠의 재생 음량을 줄이도록 제어한다. At this time, if it is determined that the occupant is making a phone call or having a conversation with another occupant in the vehicle, or if it is determined that the occupant has no intention of viewing the video content, such as when the occupant closes his eyes and leans on the seat, the display control unit 1320 controls to reduce the playback volume of video content.

이 때, 영상 컨텐츠가 TV 컨텐츠와 같이 실시간 재생이 아닌 동영상 재생에 해당하는 경우, 디스플레이 제어부(1320)는 영상 컨텐츠를 일시정지(Pause)시키도록 제어한다. At this time, when the video content corresponds to video playback rather than real-time playback, such as TV content, the display controller 1320 controls the video content to pause.

도 15를 참조하면, 차량 디스플레이에 재생되고 있는 영상 컨텐츠를 시청하던 탑승자가 이석/이동하는 경우, 탑승자의 시선이 기설정 범위 이상(예: 화면 영역) 벗어나는 경우에도 탑승자의 시선 이동이 기준 치 이내(예: 3초 이내에 시선이 다시 화면 영역 안으로 돌아옴)의 변동이라면, 디스플레이 제어부(1320)는 영상 컨텐츠 화면 및 재생 소리에 변화를 주지 않고 그대로 재생하도록 제어한다. Referring to FIG. 15 , when an occupant watching video content being played on a vehicle display moves/moves, the occupant's gaze moves within a reference value even when the occupant's gaze deviates from a predetermined range or more (eg, screen area). (eg, the line of sight returns to the screen area within 3 seconds), the display controller 1320 controls the video content screen and playback sound to be reproduced as they are without any change.

탑승자가 시트를 벗어난 경우, 디스플레이 제어부(1320)는 영상 컨텐츠의 재생 음량을 줄이도록 제어하고, 차량 디스플레이 화면을 흐리게 제어하고(이 때, 탑승자가 시트를 벗어난 순간으로부터 시간의 흐름에 따라 재생 음량을 순차적으로 점점 줄이고, 화면도 점점 뿌옇게 변화하도록 제어함), 실시간 재생이 아닌 동영상 재생에 해당되는 경우, 일시정지 시키도록 제어한다. When the occupant gets out of the seat, the display controller 1320 controls to reduce the playback volume of the video content, dims the vehicle display screen (at this time, adjusts the playback volume according to the lapse of time from the moment the occupant gets off the seat) It is controlled to gradually decrease sequentially and the screen gradually becomes blurry), and in the case of video playback, not real-time playback, control to pause.

탑승자가 시트를 벗어난 순간으로부터 기설정 시간이 지나도록 탑승자가 복귀하지 않는 경우, 디스플레이 제어부(1320)는 영상 컨텐츠가 재생되는 화면을 다른 탑승자가 볼 수 없도록 배경 화면으로 변환하여 표출하도록 디스플레이를 제어한다. If the occupant does not return after a predetermined time elapses from the moment the occupant leaves the seat, the display controller 1320 converts the screen on which video content is reproduced into a background screen so that other occupants cannot see it and controls the display to display it. .

도 16을 참조하면, 차량 디스플레이에 배경화면이 표출되고 있는 상태에서, 시트로부터 벗어난 탑승자가 시트 근처로 다가오는 것을 감지하는 경우, 디스플레이 제어부(1320)는 배경화면 표출을 중단하고 이전에 일시정지된 영상 컨텐츠를 표출하도록 제어한다. Referring to FIG. 16 , in a state where a background screen is displayed on a vehicle display, when detecting that an occupant who has moved away from the seat approaches the seat, the display controller 1320 stops displaying the background screen and displays a previously paused image. Control the display of content.

이 때, 시트에 착석하는 탑승자가 주도권이 있는 사람인 것으로 확인하면, 영상 컨텐츠를 자동으로 재생시킨다. At this time, if it is confirmed that the occupant sitting on the seat is a person with initiative, the video content is automatically played.

시트에 접근한 탑승자가 주도권이 있는 사람이지만, 시선만 화면 내에 위치하고 시트에 착석하지 않는 상태인 경우, 탑승자가 플레이 버튼을 클릭함에 따라, 영상 컨텐츠를 재생시킨다. If the occupant approaching the seat is a person with initiative, but is in a state where only the gaze is within the screen and is not seated on the seat, the video content is played as the occupant clicks the play button.

도 17을 참조하면, 탑승자의 시선이 차량 디스플레이 화면으로부터 일정 시간 이상 벗어남에 따라, 배경화면이 표출되고 있다. Referring to FIG. 17 , as the gaze of the occupant deviates from the vehicle display screen for a predetermined period of time or longer, the background screen is displayed.

이 때, 주도권을 갖지 않은 다른 탑승자가 시트에 다가오는 경우, 디스플레이 제어부(1320)는 해당 차량 디스플레이 화면 영역 중 일부를 다른 탑승자에게 할당한다. At this time, when another occupant without initiative approaches the seat, the display controller 1320 allocates a portion of the corresponding vehicle display screen area to the other occupant.

이 때, 화면 잠금이 설정된 경우에는, 주도권을 가진 탑승자에게 할당된 영역에서 기존에 재생되던 영상 컨텐츠를 표시하지 않도록 제어한다. At this time, when the screen lock is set, control is performed not to display video content previously played in the area allocated to the occupant having the initiative.

주도권을 갖지 않은 다른 탑승자(탑승자 B)에게 제공되는 영역을 제2 영역(B-1), 주도권을 가진 탑승자(탑승자 A)에게 제공되는 영역을 제1 영역(A-1)으로 도시한다. The area provided to the other occupant (passenger B) who does not have the initiative is shown as the second area (B-1), and the area provided to the occupant (passenger A) who has the initiative is shown as the first area (A-1).

디스플레이 제어부(1320)는 탑승자 B의 외부 관심 정보가 제2 영역(B-1)을 넘어 제1 영역(A-1)에 표출되어야 하는 경우, 탑승자 A의 탑승 상태에 따라, 또는 주도권을 가진 탑승자 A의 권한 설정 여부에 따라 탑승자 B의 외부 관심 정보가 제1 영역(A-)에도 표출되도록 제어한다. The display controller 1320 controls the information of passenger B's external interest to be displayed in the first area A-1 beyond the second area B-1, according to the boarding state of passenger A, or the passenger who has the initiative. Depending on whether A's permission is set, the information of interest to the outside of passenger B is also controlled to be displayed in the first area (A-).

도 18은 본 발명의 또 다른 실시예에 따른 제어권 이탈 시 차량 디스플레이 제어에 대한 예시를 도시한다. 18 illustrates an example of vehicle display control when a control right is deviating according to another embodiment of the present invention.

차량 디스플레이에 영상 컨텐츠가 재생되는 상황에서, 주도권이 있는 탑승자가 차량을 벗어나는 경우, 디스플레이 제어부(1320)는 배경화면을 표출하도록 디스플레이 제어를 수행한다. In a situation where video content is reproduced on the vehicle display, when a passenger with initiative leaves the vehicle, the display controller 1320 performs display control to display a background screen.

주도권이 있는 탑승자가 차량을 벗어난 경우, 디스플레이 제어부(1320)는 주도권이 없는 다른 탑승자가 디스플레이에 접근함에 따라, 다른 탑승자가 기존에 사용하였던 기능을 표시하도록 디스플레이 제어를 수행한다. When an occupant with initiative leaves the vehicle, the display controller 1320 controls the display to display a function previously used by another occupant as another occupant without initiative approaches the display.

도 19는 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 방법을 도시한다. 19 illustrates a method for determining occupant gaze deviation and controlling a vehicle display according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 방법은 차량 내 탑승자의 시선 정보, 음성 정보 및 착석 상태 정보 중 적어도 어느 하나를 획득하는 단계(S1901) 및 S1901 단계에서 획득된 정보를 이용하여 탑승자의 의도가 디스플레이 화면 시청을 중단하는 것임을 확인하고, 차량 디스플레이를 제어하는 단계(S1902)를 포함한다. According to another embodiment of the present invention, the method for determining the departure of the occupant's gaze and controlling the vehicle display includes obtaining at least one of information on the gaze of the occupant in the vehicle, voice information, and seated state information (S1901) and information acquired in the step S1901. and confirming that the occupant's intention is to stop viewing the display screen by using , and controlling the vehicle display (S1902).

S1901 단계에서 차량 내 탑승자의 시선 정보를 획득하는 경우, 차량 내 탑승자의 시선이 디스플레이 화면 영역을 이탈하는지 여부와, 이탈 지속 시간을 포함하는 시선 정보를 획득한다. When the gaze information of the occupant in the vehicle is acquired in step S1901, gaze information including whether or not the gaze of the occupant in the vehicle departs from the display screen area and the duration of the departure is obtained.

S1902 단계는 이탈 지속 시간이 기설정 시간을 초과하는 경우, 영상 컨텐츠의 화면을 흐리게 표시하도록 제어한다. In step S1902, if the departure duration exceeds a preset time, the video content screen is dimmed.

S1901 단계에서 음성 정보가 획득된 경우, S1902 단계는 음성 정보를 이용하여 통화 또는 차량 내 대화가 진행 중인 것으로 판단하고, 동영상 재생에 해당하는 영상 컨텐츠를 일시정지하도록 제어한다. When voice information is acquired in step S1901, step S1902 determines that a call or in-vehicle conversation is in progress using the voice information, and controls to pause video content corresponding to video playback.

S1901단계에서 음성 정보가 획득된 경우, S1902단계는 음성 정보를 이용하여 통화 또는 차량 내 대화가 진행 중인 것으로 판단하고, 영상 컨텐츠의 재생 음량을 감소시키도록 제어한다. When voice information is acquired in step S1901, step S1902 determines that a call or in-vehicle conversation is in progress using the voice information, and controls to reduce the playback volume of video content.

S1902단계는 탑승자의 의도가 디스플레이 화면 시청을 중단하는 것임을 확인하고, 영상 컨텐츠가 아닌 배경화면이 표출되도록 제어한다. In step S1902, it is confirmed that the occupant's intention is to stop viewing the display screen, and control is performed so that the background screen, not the video content, is displayed.

S1901 단계에서 착석 상태 정보를 인식하는 경우, S1902단계는 시트에 착석하는 탑승자에게 주도권이 부여되었는지 여부에 따라 영상 컨텐츠를 자동 재생시킨다. When the seated state information is recognized in step S1901, in step S1902, video content is automatically reproduced according to whether the initiative is given to the occupant sitting on the seat.

S1901 단계에서 주도권이 부여되지 않은 탑승자가 착석한 것으로 확인되면, S1902 단계는 주도권이 부여되지 않은 탑승자에게 디스플레이 화면 영역 중 일부를 할당한다. If it is confirmed in step S1901 that the occupant who is not given initiative is seated, in step S1902, a portion of the display screen area is allocated to the occupant who is not given initiative.

S1902 단계는 주도권이 부여된 탑승자의 권한 설정 정보 및 주도권이 부여된 탑승자의 탑승 상태 정보 중 적어도 어느 하나를 고려하여, 주도권이 부여되지 않은 탑승자에게 할당된 영역 너머로 외부 관심 정보를 표출하도록 제어한다. In step S1902, the external interest information is displayed beyond the area allocated to the non-initiative passenger in consideration of at least one of the authority setting information of the passenger to whom initiative is granted and the boarding status information of the passenger to whom initiative is granted.

S1901 단계에서 주도권이 부여된 탑승자가 차량을 벗어나고, 주도권이 부여되지 않은 탑승자가 착석한 것으로 확인되면, S1902 단계는 주도권이 부여되지 않은 탑승자의 사용 히스토리 정보를 이용하여 이전에 사용했던 기능을 화면에 표시하도록 제어한다. In step S1901, when it is confirmed that the occupant to whom initiative is granted leaves the vehicle and the occupant to whom initiative is not given is seated, in step S1902, functions previously used are displayed on the screen by using the use history information of the occupant to whom initiative is not granted. control to display.

도 20은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 시스템을 도시한다. 20 illustrates a button display control and initiative control system in a vehicle display based on an occupant's gaze according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 시스템은 차량 디스플레이 화면 영역 내의 제1 탑승자의 시선을 인식하는 제1 탑승자 시선 인식부(2001) 및 제1 탑승자의 시선에 따라 영상 컨텐츠 위에 버튼을 표시하도록 제어하는 버튼 표시 제어부(2003)를 포함한다. According to another embodiment of the present invention, a button display control and initiative control system in a vehicle display based on an occupant's gaze includes a first occupant's gaze recognition unit 2001 recognizing a first occupant's gaze within a vehicle display screen area and a first occupant's gaze recognition unit 2001 . A button display controller 2003 is included to control buttons to be displayed on the video content according to the gaze.

제1 탑승자 시선 인식부(2001)가 제1 탑승자의 시선이 기설정된 화면 영역에 일정 시간 이상 머무르는 것으로 확인하는 경우, 버튼 표시 제어부(2003)는 커서를 생성하여 표시하고, 제1 탑승자의 시선 이동 및 제1 탑승자의 시선 거리에 따라 커서의 이동 및 크기 변화를 제어한다. When the first occupant's gaze recognition unit 2001 determines that the first occupant's gaze stays on the preset screen area for a predetermined period of time or more, the button display control unit 2003 creates and displays a cursor, and moves the first occupant's gaze and controlling the movement and size change of the cursor according to the gaze distance of the first passenger.

제1 탑승자 시선 인식부(2001)가 제1 탑승자의 시선이 기설정된 화면 영역에 일정 시간 이상 머무르는 것으로 확인하는 경우, 버튼 표시 제어부(2003)는 영상 컨텐츠의 플레이어 버튼 및 프로그레스 버튼 중 적어도 어느 하나를 표시하도록 제어한다. When the first occupant's gaze recognition unit 2001 determines that the first occupant's gaze stays on the preset screen area for a predetermined period of time or more, the button display control unit 2003 selects at least one of the player button and the progress button of the video content. control to display.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 시스템은 차량 디스플레이의 이용에 참여하는 제2 탑승자의 시선을 인식하는 제2 탑승자 시선 인식부(2002)를 더 포함하고, 버튼 표시 제어부(2003)는 주도권 전환에 대한 버튼을 표시하도록 제어한다. A system for controlling the display of buttons in a vehicle display based on a passenger's gaze and initiative control according to another embodiment of the present invention further includes a second occupant's gaze recognizing unit 2002 recognizing the gaze of a second occupant participating in using the vehicle display. And, the button display control unit 2003 controls to display a button for initiative transfer.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 시스템은 주도권 전환에 대한 승인이 이루어지는 경우, 차량 디스플레이 화면 영역을 제1 탑승자 및 제2 탑승자에게 할당하는 디스플레이 제어부(2004)를 더 포함한다. According to another embodiment of the present invention, a button display control and initiative control system in a vehicle display based on an occupant's gaze is a display control unit for allocating a vehicle display screen area to a first occupant and a second occupant when approval for a change of initiative is made ( 2004) are further included.

디스플레이 제어부(2004)는 제1 탑승자의 승인에 따라, 제2 탑승자의 외부 관심 정보를 제2 탑승자에게 할당된 제2 영역 너머 제1 탑승자에게 할당된 제1 영역으로도 표시한다. According to the approval of the first passenger, the display control unit 2004 displays the external interest information of the second passenger in the first area allocated to the first passenger over the second area allocated to the second passenger.

디스플레이 제어부(2004)는 제2 탑승자가 제1 영역에 표시되는 영상 컨텐츠를 기설정 시간 이상 응시하는 경우, 차량 디스플레이 화면 영역 전체로 영상 컨텐츠를 표출하도록 제어한다. The display controller 2004 controls the display of the video content to the entire vehicle display screen area when the second occupant gazes at the video content displayed on the first area for a predetermined period of time or longer.

도 21, 도 22 및 도 23은 본 발명의 또 다른 실시예에 따른 버튼 표시 제어를 도시한다. 21, 22 and 23 show button display control according to another embodiment of the present invention.

도 21을 참조하면, 탑승자가 차량 디스플레이에 재생되는 영상 컨텐츠 화면에서 일정 영역을 주시하는 것으로 확인하면, 필요 버튼이 생성된다. Referring to FIG. 21 , when it is confirmed that the occupant looks at a certain area on the video content screen reproduced on the vehicle display, a necessary button is created.

버튼 표시 제어부는 탑승자의 시선 이동, 탑승자의 시선 거리에 기초하여 커서의 이동 및 크기를 제어한다. The button display control unit controls the movement and size of the cursor based on the driver's gaze movement and the driver's gaze distance.

탑승자는 화면에서 일정 영역을 기설정 시간 이상 응시하거나, 차량 AVN과 연결된 휴대폰 화면에 제스처를 입력시켜 기능 아이템을 선택한다. The occupant selects a function item by staring at a certain area on the screen for a predetermined period of time or by inputting a gesture on the mobile phone screen connected to the vehicle AVN.

버튼 표시 제어부는 플레이어 버튼(재생, 일시정지, 앞으로 이동, 뒤로 이동, 음량, 화면 밝기 등) 및 프로그레스 버튼을 표시하고, 아이템 선택에 의한 기능 실행을 위해 버튼 표시 아이템을 실행시킨다. The button display control unit displays player buttons (play, pause, forward, backward, volume, screen brightness, etc.) and progress buttons, and executes button display items for function execution by item selection.

도 22를 참조하면, 탑승자가 영상 컨텐츠가 재생되는 화면에서 좌측 영역을 응시하는 경우, 커서가 생성되고, 버튼 표시 제어부는 커서를 위젯의 모양에 맞게 변화시키며, 기설정 시간 이상 응시되는 것을 확인하여 플레이어 버튼 및 프로그레스 버튼을 표시한다. Referring to FIG. 22, when the occupant gazes at the left area on the screen where video content is played, a cursor is created, the button display control unit changes the cursor to match the shape of the widget, and confirms that the gaze is made for a predetermined time or longer. Display the player button and progress button.

버튼 표시 제어부는 탑승자의 시선 이동 시 시선이 머무르지 않는 영역에 버튼을 띄워놓도록 위젯을 제공한다. The button display control unit provides a widget to display a button in an area where the gaze of the occupant does not stay when the gaze of the occupant moves.

도 23을 참조하면, 버튼 표시 제어부는 탑승자와 차량 디스플레이 간의 거리에 따라, 커서의 크기를 상이하게 결정한다.Referring to FIG. 23 , the button display control unit differently determines the size of the cursor according to the distance between the occupant and the vehicle display.

도 24는 본 발명의 또 다른 실시예에 따른 다른 탑승자 참여 시 주도권 전환을 도시한다. 24 illustrates transition of initiative when another passenger participates according to another embodiment of the present invention.

탑승자 A가 차량 디스플레이 화면에 재생되는 영상 컨텐츠를 시청하고 있는 상황에서, 탑승자 B가 특정 영역을 주시하여 참여하면, 주도권 전환에 대한 버튼을 표시한다. In a situation where occupant A is watching video content reproduced on the vehicle display screen, when occupant B observes a specific area and participates in it, a button for switching the initiative is displayed.

이 때, 탑승자 B가 주도권 전환에 대한 버튼을 선택함에 따라, 주도권을 탑승자 B에게 제공하거나, 함께 영상을 시청하는 버튼을 표시한다. At this time, as the passenger B selects the button for switching the initiative, the initiative is provided to the passenger B or a button for watching a video together is displayed.

탑승자 B의 시선에 의해 주도권 전환이 요청되면, 현재 주도권을 가진 탑승자 A가 이에 동의하는 것에 대한 버튼이 화면에 제공된다. When a change of initiative is requested by the gaze of passenger B, a button for consent of passenger A who currently has the initiative is provided on the screen.

탑승자 B의 요청에 의해 주도권 전환이 승인된 경우, 탑승자 B만의 화면을 구성하는 것이 가능하며, 이와 관련하여 도 25를 참조하여 설명한다. When the transfer of initiative is approved at the request of passenger B, it is possible to configure a screen only for passenger B, which will be described with reference to FIG. 25 .

도 25는 본 발명의 또 다른 실시예에 따른 다른 탑승자 참여 시 화면 영역 분할 및 시선 정보에 기반한 디스플레이 제어를 도시한다. 25 illustrates division of a screen area and display control based on gaze information when another passenger participates according to another embodiment of the present invention.

탑승자 A가 차량 디스플레이 중 제1 영역(A-1)에서 영상 컨텐츠를 시청하고 있고, 탑승자 B의 참여에 따라, 차량 디스플레이 영역 중 일부 영역(B-1)이 탑승자 B에게 할당된다. Passenger A is watching video content in a first area (A-1) of the vehicle display, and according to the participation of passenger B, a portion (B-1) of the vehicle display area is allocated to passenger B.

제1 영역(A-1)에는 탑승자 A가 선택한 영상 컨텐츠가 재생되고, 제2 영역(B-1)에는 외부 관심 정보가 표출되는 상황임을 가정한다. It is assumed that the video content selected by the passenger A is reproduced in the first area (A-1), and external interest information is displayed in the second area (B-1).

이 때, 탑승자 A의 승인에 따라, 외부 관심 정보가 제2 영역(B-1) 너머 제1 영역(A-1)으로 표출된다. At this time, according to passenger A's approval, the external interest information is displayed in the first area A-1 beyond the second area B-1.

이 때, 탑승자 B가 영상 컨텐츠를 일정 시간 이상 응시하는 경우, 탑승자 B가 외부 관심 정보 대신 영상 컨텐츠를 시청하고자 하는 의도가 있는 것으로 확인하고, 차량 디스플레이의 전체 영역으로 영상 컨텐츠를 표시하도록 제어한다. At this time, if the occupant B gazes at the video content for a certain period of time or more, it is determined that the occupant B has an intention to watch the video content instead of the external interest information, and the video content is displayed on the entire area of the vehicle display.

도 26은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 방법을 도시한다. 26 illustrates a button display control and initiative control method in a vehicle display based on an occupant's gaze according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 방법은 차량 디스플레이 화면 영역 내의 제1 탑승자의 시선을 인식하는 단계(S2601) 및 제1 탑승자의 시선에 따라 영상 컨텐츠 위에 버튼을 표시하도록 제어하는 단계(S2602)를 포함한다. According to another embodiment of the present invention, a button display control and initiative control method in a vehicle display based on an occupant's gaze includes the steps of recognizing a first occupant's gaze within a vehicle display screen area (S2601) and video content according to the first occupant's gaze. and controlling to display a button on top (S2602).

S2601 단계에서 제1 탑승자의 시선이 기설정된 화면 영역에 일정 시간 이상 머무르는 것으로 확인되는 경우, S2602 단계는 커서를 생성하여 표시하고, 제1 탑승자의 시선 이동 및 제1 탑승자의 시선 거리에 따라 커서의 이동 및 크기 변화를 제어한다. When it is confirmed in step S2601 that the first passenger's gaze stays on the preset screen area for a predetermined period of time or more, in step S2602, a cursor is generated and displayed, and the cursor is displayed according to the movement of the gaze of the first passenger and the gaze distance of the first passenger. Control movement and size changes.

S2601 단계에서 제1 탑승자의 시선이 기설정된 화면 영역에 일정 시간 이상 머무르는 것으로 확인되는 경우, S2602 단계는 영상 컨텐츠의 플레이어 버튼 및 프로그레스 버튼 중 적어도 어느 하나를 표시하도록 제어한다. When it is determined in step S2601 that the first passenger's gaze stays on the preset screen area for a predetermined period of time or more, in step S2602, at least one of a player button and a progress button of the video content is controlled to be displayed.

S2601 단계는 차량 디스플레이의 이용에 참여하는 제2 탑승자의 시선을 추가적으로 인식하고, S2602 단계는 주도권 전환에 대한 버튼을 표시하도록 제어한다. Step S2601 additionally recognizes the gaze of the second occupant participating in the use of the vehicle display, and step S2602 controls to display a button for switching initiative.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 방법은 제2 탑승자의 주도권 전환 요청에 따른 제1 탑승자의 승인을 확인하여, 주도권 전환 제어를 수행하는 단계(S2603)를 더 포함한다. According to another embodiment of the present invention, a method for controlling display of buttons in a vehicle display and initiative control based on a passenger's gaze includes the steps of confirming approval of a first passenger in response to a second passenger's request to switch initiative, and performing initiative switching control (S2603 ) is further included.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 방법은 주도권 전환 요청이 승인되는 경우, 차량 디스플레이 화면 영역을 제1 탑승자 및 제2 탑승자에게 분할하여 할당하고, 제1 탑승자 및 제2 탑승자의 시선 정보를 이용하여 디스플레이 제어를 수행하는 단계(S2604)를 더 포함한다. According to another embodiment of the present invention, a button display control and initiative control method in a vehicle display based on an occupant's gaze divides and allocates a vehicle display screen area to a first occupant and a second occupant when a request for initiative change is approved, and A step of performing display control using gaze information of the first occupant and the second occupant (S2604) is further included.

S2604 단계는 제1 탑승자의 승인에 따라, 제2 탑승자의 외부 관심 정보를 제2 탑승자에게 할당된 제2 영역 너머 제1 탑승자에게 할당된 제1 영역으로도 표시한다. In step S2604, according to the approval of the first passenger, the external interest information of the second passenger is also displayed in the first area allocated to the first passenger beyond the second area allocated to the second passenger.

S2604 단계는 제2 탑승자가 제1 영역에 표시되는 영상 컨텐츠를 기설정 시간 이상 응시하는 경우, 영상 컨텐츠를 차량 디스플레이 화면 영역 전체에 표출하도록 제어한다.In step S2604, when the second occupant gazes at the video content displayed on the first area for a predetermined period of time or more, the video content is displayed on the entire vehicle display screen area.

도 27은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 시스템을 도시한다. 27 illustrates a vehicle display control system for delivering external interest information according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 시스템은 차량 내 제1 탑승자의 외부 관심 정보를 확인하는 외부 관심 정보 확인부(2701) 및 제1 탑승자의 외부 관심 정보를 차량 디스플레이를 통해 표출하도록 제어하는 디스플레이 제어부(2703)를 포함한다. A vehicle display control system for transmitting external interest information according to another embodiment of the present invention includes an external interest information checking unit 2701 for checking external interest information of a first occupant in a vehicle and external interest information of a first occupant in a vehicle. It includes a display control unit 2703 that controls to be expressed through a display.

외부 관심 정보 확인부(2701)는 제1 탑승자의 시선 정보를 이용하여 외부 관심 객체를 확인한다. The external interest information identification unit 2701 identifies an external interest object using gaze information of the first occupant.

외부 관심 정보 확인부(2701)는 제1 탑승자의 음성 정보 및 시선 정보를 이용하여 외부 관심 객체를 확인한다. The external interest information identification unit 2701 identifies an external interest object using voice information and gaze information of the first occupant.

외부 관심 정보 확인부(2701)는 제1 탑승자의 제스처 정보 및 시선 정보를 이용하여 외부 관심 객체를 확인한다. The external interest information identification unit 2701 identifies an external interest object using gesture information and gaze information of the first occupant.

디스플레이 제어부(2703)는 외부 관심 정보에 대해 하이라이트 표시, 영역 표시, 컨투어 표시, 확대 표시 중 적어도 어느 하나를 통해 디스플레이하도록 제어한다. The display controller 2703 controls to display the external interest information through at least one of a highlight display, an area display, a contour display, and an enlarged display.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 시스템은 차량 내의 제1 탑승자 및 제2 탑승자의 위치 정보를 확인하는 탑승 위치 인식부(2702)를 더 포함하고, 디스플레이 제어부(2703)는 위치 정보를 고려하여 제2 탑승자기 인지 가능한 디스플레이 영역을 통해 외부 관심 정보를 디스플레이하도록 제어한다. A vehicle display control system for transmitting external interest information according to another embodiment of the present invention further includes a boarding position recognition unit 2702 for checking position information of a first occupant and a second occupant in a vehicle, and a display control unit ( 2703) controls to display external interest information through the display area perceivable to the second passenger in consideration of the location information.

도 28은 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시 및 외부 관심 정보 표시 영역 제어를 도시한다. 28 illustrates external interest information display and external interest information display area control according to another embodiment of the present invention.

도 28의 (a)를 참조하면, 운전자 A는 주행 차량의 전방 윈드쉴드 너머로 보이는 관심 객체(예: 곰)를 인지한다. Referring to (a) of FIG. 28 , driver A recognizes an object of interest (eg, a bear) seen through the front windshield of the driving vehicle.

외부 관심 정보 확인부는 운전자 A의 시선이 일정 시간 이상 특정 영역에 머무르는 경우, 외부 관심 정보를 확인한다. The external interest information checking unit checks the external interest information when driver A's gaze stays in a specific area for a predetermined period of time or longer.

외부 관심 정보 확인부는 운전자 A가 “애들아 저거 봤어?”라고 발화하는 경우, 운전자 A의 발화 정보 및 시선 정보에 기초하여 외부 관심 정보를 확인한다. The external interest information checking unit checks the external interest information based on driver A's speech information and gaze information when driver A utters "Did you see that?"

외부 관심 정보 확인부는 운전자 A의 시선이 일정 시간 이상 특정 영역에 머무르며, 외부 관심 정보 표시를 위해 기설정된 제스처(예: 손가락으로 가리키는 동작)를 수행하는 경우, 외부 관심 정보를 확인한다. The external interest information checking unit checks the external interest information when the driver A's gaze stays in a specific area for a certain period of time or longer and performs a preset gesture (eg, pointing with a finger) to display the external interest information.

디스플레이 제어부는 운전자 A의 외부 관심 정보에 대해 하이라이트 표시, 영역 표시, 컨투어 표시, 확대 표시 중 적어도 어느 하나를 통해 디스플레이하도록 제어한다. The display control unit controls to display the external interest information of the driver A through at least one of a highlight display, an area display, a contour display, and an enlarged display.

도 28의 (a)를 참조하면, 운전자 A가 관심을 가지는 외부 객체의 영역에 대해, 투명 디스플레이인 전방 윈드쉴드에 해당 영역 표시를 디스플레이하도록 제어한다. Referring to (a) of FIG. 28 , with respect to the area of the external object that the driver A is interested in, the display of the corresponding area is controlled to be displayed on the front windshield, which is a transparent display.

도 28의 (b)를 참조하면, 전술한 바와 같이, 운전자 A의 외부 관심 정보를 전방 윈드쉴드에 표시하는 경우, 운전자 A에 의해 가려져 운전자 A의 뒷좌석에 위치한 동승자 B, 동승자 C가 해당 외부 관심 정보를 용이하게 확인하기 어려운 상황임을 가정한다. Referring to (b) of FIG. 28 , as described above, when driver A's external interest information is displayed on the front windshield, passengers B and passenger C located in the rear seat of driver A are covered by the driver A and are subject to the external interest information. It is assumed that the information is difficult to easily check.

이 때, 디스플레이 제어부는 탑승 위치 인식부를 통해 획득된 동승자의 착석 위치 정보를 고려하여, 외부 관심 정보를 동승자 B 및 동승자 C가 용이하게 확인할 수 있도록, 동승자 B의 착좌 위치 근처에 위치한 좌측 측창 투명 디스플레이에 표출하고, 동승자 C의 착좌 위치 근처에 위치한 우측 측장 투명 디스플레이에 표출하도록 제어한다. At this time, the display control unit considers the seated position information of the passenger obtained through the boarding position recognition unit, so that passenger B and passenger C can easily check information of interest outside the left side window transparent display located near the seating position of passenger B. and controlled to be displayed on the right side-length transparent display located near the seating position of passenger C.

탑승 위치 인식부는 시트 센서, 실내 카메라 중 적어도 어느 하나를 이용하여 차량 내 탑승자의 위치를 인식하고, 디스플레이 제어부는 해당 위치를 이용하여 동승자가 편안하게 볼 수 있는 디스플레이 영역(전술한 후석 좌측창 디스플레이 영역, 후석 우측창 디스플레이 영역)을 결정하고, 결정된 영역에 외부 관심 정보를 디스플레이한다. The boarding position recognition unit recognizes the position of the occupant in the vehicle using at least one of a seat sensor and an indoor camera, and the display control unit uses the corresponding position to display a display area that the passenger can comfortably see (the display area of the rear seat left window described above). , the rear seat right window display area) is determined, and external interest information is displayed in the determined area.

도 29는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 방법을 도시한다. 29 illustrates a vehicle display control method for transmitting external interest information according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 방법은 차량 내 제1 탑승자의 외부 관심 정보를 확인하는 단계(S2901)와, 차량 내 제1 탑승자와, 제2 탑승자의 탑승 위치를 확인하는 단계(S2902) 및 탑승 위치를 고려하여 외부 관심 정보를 차량 디스플레이를 통해 표시하도록 제어하는 단계(S2903)를 포함한다. A vehicle display control method for transmitting external interest information according to another embodiment of the present invention includes the steps of checking the external interest information of a first occupant in a vehicle (S2901), a first occupant in the vehicle, and a second occupant boarding. A step of checking the location (S2902) and a step of controlling to display external interest information through the vehicle display in consideration of the boarding position (S2903).

S2901 단계는 제1 탑승자의 시선 정보, 음성 정보, 제스처 정보 중 적어도 어느 하나를 이용하여 외부 관심 정보를 확인한다. In step S2901, external interest information is identified using at least one of information on the gaze of the first occupant, voice information, and gesture information.

S2903 단계는 외부 관심 정보에 대해 하이라이트 표시, 영역 표시, 컨투어 표시, 확대 표시 중 적어도 어느 하나를 통해 디스플레이하도록 제어한다. In step S2903, the external interest information is displayed through at least one of a highlight display, an area display, a contour display, and an enlarged display.

S2903 단계는 탑승 위치를 이용하여, 제2 탑승자의 시야가 가려지지 않는 것으로 확인되는 경우, 제1 탑승자가 제1 디스플레이 영역 너머로 확인한 외부 관심 정보를 제1 디스플레이 영역에 표시한다. In step S2903, when it is determined that the view of the second occupant is not blocked using the boarding position, external interest information confirmed by the first occupant over the first display area is displayed on the first display area.

S2903 단계는 탑승 위치를 이용하여, 제2 탑승자의 시야가 가려지는 것으로 확인되는 경우, 제1 탑승자가 제1 디스플레이 영역 너머로 확인한 외부 관심 정보를 제1 디스플레이 영역과 상이한 제2 디스플레이 영역에 표시하도록 제어한다. In step S2903, when it is determined that the second occupant's view is obstructed using the boarding position, control is performed to display external interest information confirmed by the first occupant over the first display area on a second display area different from the first display area. do.

도 30은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템을 도시한다. 30 illustrates a vehicle display control system synthesizing and displaying external interest information according to another embodiment of the present invention.

본 발명의 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템은 차량 내 탑승자가 관심을 가지는 차량 외부의 관심 객체를 확인하는 외부 관심 정보 확인부(3001)와, 외부 관심 정보의 회전과 관련한 차량 내 탑승자의 조작 정보를 인식하는 탑승자 조작 정보 인식부(3002) 및 차량 외부의 관심 객체에 대한 3D 이미지를 합성하여 표시하되, 조작 정보에 따라 3D 이미지를 회전시켜 표시하는 디스플레이 제어부(3003)를 포함한다. A vehicle display control system for synthesizing and displaying external interest information according to another embodiment of the present invention includes an external interest information checking unit 3001 for identifying an object of interest outside the vehicle that a passenger in the vehicle is interested in, and an external interest information A passenger operation information recognition unit 3002 for recognizing operation information of a passenger in the vehicle related to rotation and a display control unit 3002 synthesizing and displaying a 3D image of an object of interest outside the vehicle, rotating and displaying the 3D image according to the operation information ( 3003).

외부 관심 정보 확인부(3001)는 차량 내 탑승자의 시선이 기설정 시간 이상 머무르는 영역에 위치한 관심 객체를 확인한다. The external interest information checking unit 3001 checks an object of interest located in an area where the gaze of a passenger in the vehicle stays for a predetermined time or longer.

탑승자 조작 정보 인식부(3002)는 터치 입력, 제스처 입력, 음성 입력 중 적어도 어느 하나를 조작 정보로 인식한다. The passenger manipulation information recognition unit 3002 recognizes at least one of touch input, gesture input, and voice input as manipulation information.

디스플레이 제어부(3003)는 조작 정보에 따라 3D 이미지의 회전 정도를 결정하여, 3D 이미지를 회전시켜 표시하고, 기설정 시간 이상 추가적으로 조작이 없는 경우 3D 이미지를 관심 객체의 실제 위치로 원복하여 표시한다. The display controller 3003 determines the degree of rotation of the 3D image according to the manipulation information, rotates and displays the 3D image, and returns the 3D image to the actual position of the object of interest when there is no additional manipulation for a predetermined time or more.

도 31 및 도 32는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 회전 표시를 도시한다. 31 and 32 illustrate external interest information rotation display according to another embodiment of the present invention.

도 31을 참조하면, 차량 내 탑승자의 시선 정보를 이용하여 차량 윈드쉴드 너머 보여지는 객체 중 외부 관심 객체를 결정하고, 해당 관심 객체를 3D 형태로 합성하여 표시한다. Referring to FIG. 31 , an external object of interest is determined among objects visible over a vehicle windshield using gaze information of a passenger in a vehicle, and the object of interest is synthesized in a 3D form and displayed.

이 때, 3D 형태로 합성된 외부 관심 정보는 투명디스플레이인 전방 윈드쉴드 영역에서 표시된다. At this time, the external interest information synthesized in 3D form is displayed on the front windshield area, which is a transparent display.

차량 내 탑승자가 터치 또는 제스처를 통해 3D 형태로 합성된 외부 관심 정보를 우측으로 드래그(drag)하게 되면, 드래그한 값만큼 3D 형태로 합성된 외부 관심 정보가 우측으로 회전된다. When a passenger in the vehicle drags the synthesized external interest information in 3D form through a touch or gesture to the right, the external interest information synthesized in 3D form is rotated to the right by the dragged value.

차량 내 탑승자의 조작에 따라 3D 형태로 합성된 외부 관심 정보가 회전되어 표시된 후, 기설정 시간이 지나면 실제 외부 관심 객체의 위치로 3D 형태로 합성된 외부 관심 정보의 위치가 원복된다. After the external interest information synthesized in 3D form is rotated and displayed according to the operation of the occupant in the vehicle, the location of the external interest information synthesized in 3D form returns to the actual position of the external object of interest after a predetermined time elapses.

도 32를 참조하면, 외부 관심 객체를 3D 형태로 합성하여 표시하되, 차량 내 탑승차의 터치, 제스처 뿐 아니라 음성 인식 등 멀티모달 인터랙션을 통해 해당 3D 객체를 360도 상하/좌우 회전하여 표시하도록 제어한다. Referring to FIG. 32, an external object of interest is synthesized and displayed in a 3D form, but the corresponding 3D object is rotated 360 degrees up and down/left and right through multimodal interaction such as touch and gesture of a vehicle inside the vehicle as well as voice recognition. do.

도 33은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 방법을 도시한다. 33 illustrates a vehicle display control method for synthesizing and displaying external interest information according to another embodiment of the present invention.

본 발명의 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 방법은 차량 내 탑승자의 외부 관심 정보를 확인하는 단계(S3301)와, 외부 관심 정보의 회전과 관련한 탑승자의 조작 정보를 인식하는 단계(S3302) 및 외부 관심 정보를 3D 이미지로 합성하여 표시하도록 제어하고, 조작 정보에 따라 3D 이미지를 회전시켜 표시하도록 제어하는 단계(S3303)를 포함한다. A vehicle display control method for synthesizing and displaying external interest information according to another embodiment of the present invention includes the step of checking the external interest information of a passenger in the vehicle (S3301), and recognizing the passenger's operation information related to the rotation of the external interest information. (S3302) and synthesizing and displaying external interest information into a 3D image, and rotating and displaying the 3D image according to the manipulation information (S3303).

S3301 단계는 차량 내 탑승자의 시선이 기설징 시간 이상 머무르는 영역에 위치한 외부 객체에 대한 외부 관심 정보를 확인한다. In step S3301 , external interest information on an external object located in an area where the gaze of the occupant in the vehicle stays for a predetermined time or longer is checked.

S3302 단계는 터치 입력, 제스처 입력, 음성 입력 중 적어도 어느 하나의 조작 정보를 인식한다. Step S3302 recognizes at least one operation information among touch input, gesture input, and voice input.

S3303 단계는 조작 정보에 따라 결정한 회전 정도에 따라 3D 이미지를 회전시켜 표시하고, 기설정 시간 이상 추가적으로 조작이 없는 경우 3D 이미지를 관심 객체의 실제 위치로 원복하여 표시한다. In step S3303, the 3D image is rotated and displayed according to the degree of rotation determined according to the manipulation information, and if there is no additional manipulation for a predetermined time or longer, the 3D image is returned to the actual position of the object of interest and displayed.

도 34는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 시스템을 도시한다. 34 illustrates a vehicle display control system for storing and sharing external interest information according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 시스템은 차량 탑승자의 외부 관심 객체에 대한 영상 저장 요청에 대한 조작 정보를 수신하는 탑승자 조작 인식부(3401) 및 투명 디스플레이로 구성되는 차량 윈드쉴드 너머로 차량 탑승자에 의해 응시되는 외부 관심 객체에 대해, 조작 정보에 따라 영상 저장을 수행하는 디스플레이 제어부(3402)를 포함한다. A vehicle display control system for storing and sharing external interest information according to another embodiment of the present invention includes a passenger manipulation recognition unit 3401 receiving manipulation information for a vehicle occupant's request to store an image of an external object of interest, and a transparent display. and a display controller 3402 that stores an image according to manipulation information on an external object of interest gazed at by a vehicle occupant over the vehicle windshield.

탑승자 조작 인식부(3401)는 시선 정보, 음성 정보, 제스처 정보, 터치 정보 중 적어도 어느 하나를 이용하여 입력되는 조작 정보를 수신한다. The passenger manipulation recognition unit 3401 receives manipulation information input using at least one of gaze information, voice information, gesture information, and touch information.

디스플레이 제어부(3402)는 외부 관심 객체의 정보를 AR 정보로 표시하도록 디스플레이를 제어한다. The display controller 3402 controls the display to display information on an external object of interest as AR information.

디스플레이 제어부(3402)는 외부 전경과 AR 정보를 동시에 캡쳐하여 저장한다. The display controller 3402 simultaneously captures and stores external foreground and AR information.

디스플레이 제어부(3402)는 기설정 시간 동안 화이트 아웃 처리하여 화면 캡쳐에 대한 디스플레이를 제어한다. The display control unit 3402 performs white-out processing for a predetermined time and controls the display of the screen capture.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 시스템은 조작 정보에 따라 저장된 영상을 차량 디스플레이 내 분할 영역, 차량 탑승자의 휴대단말, 다른 사용자의 휴대 단말 중 적어도 어느 하나로 전송하는 외부 관심 정보 전송부(3403)를 더 포함한다. A vehicle display control system for storing and sharing external interest information according to another embodiment of the present invention transmits an image stored according to manipulation information to at least one of a divided area in a vehicle display, a mobile terminal of a vehicle occupant, and a mobile terminal of another user. An external interest information transmission unit 3403 for transmission is further included.

디스플레이 제어부(3402)는 차량 내 복수의 탑승자에게 디스플레이 영역을 분할하여 할당하고, 각 영역 내에서 이루어지는 영상 저장 요청에 따라 외부 관심 정보 영상을 저장하고, 저장된 영상을 할당된 디스플레이 영역 중 기설정 영역에 표시하도록 제어한다. The display control unit 3402 divides and allocates a display area to a plurality of occupants in the vehicle, stores an external interest information image according to an image storage request made within each area, and stores the stored image in a preset area among the allocated display areas. control to display.

디스플레이 제어부(3402)는 복수의 탑승자의 접근 제어 우선권을 고려하여 투명 디스플레이를 이동시키도록 하는 제어 정보를 전송한다. The display controller 3402 transmits control information for moving the transparent display in consideration of access control priority of a plurality of passengers.

디스플레이 제어부(3402)는 탑승자 요청 및 공유 권한 설정 정보에 따라 제1 탑승자의 기설정 영역에 저장된 영상 정보를 제2 탑승자의 기설정 영역으로 이동시키도록 제어한다. The display controller 3402 controls the image information stored in the first passenger's preset area to be moved to the second passenger's preset area according to the passenger's request and sharing permission setting information.

이하, 도 35 내지 도 38에서는, 차량 내 후석 좌측 좌석 탑승자가 후석 좌측창 투명 디스플레이를 통해 외부를 응시하는 상황으로 가정한다. Hereinafter, in FIGS. 35 to 38 , it is assumed that an occupant in a left rear seat in a vehicle gazes at the outside through a transparent display in the left rear seat window.

도 35는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 캡쳐 과정을 도시한다. 35 illustrates a process of capturing external interest information according to another embodiment of the present invention.

도 35의 (a)를 참고하면, 디스플레이 제어부(3402)는 투명 디스플레이를 통해, 위치 정보, 날씨, 배터리 정보, 투명 디스플레이의 투명도 중 적어도 어느 하나를 포함하는 고정 정보를 표시한다. Referring to (a) of FIG. 35 , the display controller 3402 displays fixed information including at least one of location information, weather, battery information, and transparency of the transparent display through the transparent display.

도 35의 (b)를 참고하면, 탑승자 조작 인식부(3401)는 후석 좌측창을 통해 탑승자의 시선이 일정 시간 이상 머무르는 영역을 확인하고, 디스플레이 제어부(3402)는 시선 추적 정보에 기반하여 AR 정보를 표시한다. Referring to (b) of FIG. 35 , the occupant manipulation recognition unit 3401 checks the area where the occupant's gaze stays for a certain period of time through the left rear seat window, and the display controller 3402 provides AR information based on the gaze tracking information. display

이 때, 디스플레이 제어부(3402)는 산 이름, 높이, 날씨, 거리, 소요시간(현재 위치로부터 산 초입까지의 차량 이동 소요 시간, 산 초입에서부터 산 정상까지 걸어 올라가는데 소요되는 시간 등) 정보를 AR 정보로 표시한다. At this time, the display control unit 3402 transmits information such as mountain name, height, weather, distance, required time (time required for vehicle movement from the current position to the beginning of the mountain, time required to walk up from the beginning to the top of the mountain, etc.) to the AR. display with information

도 35의 (c)를 참고하면, 탑승자 조작 인식부(3401)는 다양한 탑승자의 조작 정보를 인식하여 외부 관심 정보에 대한 저장 의도를 파악한다. Referring to (c) of FIG. 35 , the passenger manipulation recognizing unit 3401 recognizes various manipulation information of the passenger and determines the intention of storing the information of interest to the outside.

시선 인식과 휴대장치 앱 내 저장 버튼 터치, 시선 인식과 휴대장치 앱 내 하단 스와이프 터치, 시선 인식과 특정 음성 명령(예: 저장해줘, 이거 캡쳐해줘), 시선 인식과 특정 제스처, 시선 인식과 디스플레이 스와이프 다운 터치 등 다양한 방식으로 해당 외부 관심 정보를 저장할 것을 요청한다. Gaze Recognition and save button touch within mobile app, Gaze Recognition and bottom swipe touch within mobile app, Gaze Recognition and specific voice commands (e.g. save, capture this), Gaze Recognition and specific gestures, Gaze Recognition and display Requests to store the corresponding external interest information in various ways, such as a swipe-down touch.

도 35의 (d)를 참조하면, 디스플레이 제어부(3402)는 탑승자 조작 인식부로부터 수신한 저장 요청에 따라, 외부 전경과 AR 정보(다른 예로서, 해당 외부 관심 정보의 영역만 잘라서 저장하는 것 역시 가능함)를 동시에 캡쳐하며, 이 때 캡쳐 정보에는 사진, 동영상, AR 정보, GPS 위치 정보가 포함될 수 있다. Referring to (d) of FIG. 35 , the display control unit 3402 cuts and stores the outside foreground and AR information (as another example, only the region of interest to the outside) according to the storage request received from the passenger manipulation recognition unit. possible) at the same time, and at this time, the capture information may include photos, videos, AR information, and GPS location information.

디스플레이 제어부(3402)는 화면 캡쳐 시, 기설정 시간(예: 1초) 동안 화이트 아웃(white out) 처리한다. When capturing a screen, the display controller 3402 performs a white out process for a preset time (eg, 1 second).

디스플레이 제어부(3402)는 스크린샷된 화면이 디스플레이의 특정 영역(예: 좌측 하단)에 일정 크기(예: 15cm x 15cm), 일정 시간(예: 3초) 동안 표시되도록 제어한다. The display controller 3402 controls the screen shot to be displayed in a specific area (eg, lower left corner) of the display in a predetermined size (eg, 15 cm x 15 cm) and for a predetermined period of time (eg, 3 seconds).

도 36은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 스마트폰으로 공유하는 과정을 도시한다. 36 illustrates a process of sharing external interest information to a smartphone according to another embodiment of the present invention.

탑승자의 시선 추적에 따라, 후석 측창 투명 디스플레이를 통해 외부 관심 정보가 AR로 표시되고 있는 상황에서, 탑승자가 차량과 연결된 자신의 휴대단말을 이용하여 특정 버튼을 터치하는 정보를 탑승자 조작 인식부(3401)가 수신하게 되면, 디스플레이 제어부(3402)는 기설정 방식(예: 외부 전경과 AR 정보를 동시에)에 따라 캡쳐하고, 화면 캡쳐 시, 기설정 시간(예: 1초) 동안 화이트 아웃(white out) 처리한다. In a situation where information of external interest is displayed in AR through the transparent display of the rear seat side window according to the eye tracking of the occupant, the occupant's manipulation recognition unit (3401 ) is received, the display control unit 3402 captures according to a preset method (eg, external foreground and AR information at the same time), and when capturing the screen, whites out for a preset time (eg, 1 second). ) process.

외부 관심 정보 전송부(3403)는 캡쳐된 화면을 탑승자의 휴대단말로 전송하고, 탑승자는 휴대단말의 앱(예: 앨범)을 통해 정상적으로 원하는 캡쳐 이미지가 전송되었는지 확인할 수 있다. The external interest information transmitter 3403 transmits the captured screen to the passenger's mobile device, and the passenger can check whether the desired captured image is normally transmitted through an app (eg, album) of the mobile device.

탑승자는 앨범 내 조작을 통해, 휴대단말에 표시되는 이미지를 넘겨볼 수 있고, 특정 버튼(공유 버튼)을 누름에 따라, 공유 대상 이미지를 다른 사람의 스마트폰 또는 차량으로 전송한다. Passengers can flip through the images displayed on the portable terminal through manipulation in the album, and by pressing a specific button (share button), the image to be shared is transmitted to another person's smartphone or vehicle.

도 37은 본 발명의 또 다른 실시예에 따른 투명 디스플레이 슬라이딩을 통한 탑승자 별 외부 관심 정보 저장 및 확인 과정을 도시한다. 37 illustrates a process of storing and checking external interest information for each occupant through sliding of a transparent display according to another embodiment of the present invention.

도 37의 (a)를 참고하면, 주행 차량의 후석 좌측에 탑승자 A가 착석하고, 주행 차량의 후석 우측에 탑승자 B가 착석하며, 탑승자 A와 탑승자B는 후석 측창 너머로 외부를 응시한다. Referring to (a) of FIG. 37 , passenger A is seated on the left side of the back seat of the driving vehicle, and passenger B is seated on the right side of the rear seat of the driving vehicle, and passengers A and B look outward through the rear seat side window.

후석 측창은 투명 디스플레이로 구성되며, 각 탑승자 별로 할당된 영역을 제공한다. The rear seat side window is composed of a transparent display and provides an area allocated to each occupant.

예컨대, 탑승자의 시야각을 고려하여, 제1 영역(A-1)을 탑승자 A에게, 제2 영역(B-1)을 탑승자 B에게 할당한다. For example, the first area A-1 is allocated to the occupant A and the second area B-1 is allocated to the occupant B in consideration of the passenger's viewing angle.

다른 예로서, 탑승자가 현재 응시하고 있는 외부 객체의 위치를 기반으로, 디스플레이 영역을 할당하는 것이 가능하다. 즉, 도 37의 (a)에 도시한 것과 상이한 예로서, 탑승자 A가 isolated spire를 관심 객체로 응시하고, 탑승자 B가 double spire를 관심 객체로 응시하고 있는 경우, 제2 영역을 탑승자 A에게, 제1 영역을 탑승자 B에게 할당하는 것 역시 가능하다. As another example, it is possible to allocate a display area based on the location of an external object that the occupant is currently gazing at. That is, as an example different from that shown in (a) of FIG. 37 , when passenger A gazes at an isolated spire as an object of interest and passenger B gazes at a double spire as an object of interest, the second area is directed to passenger A, It is also possible to assign the first area to passenger B.

다시 도 37의 (a)의 도시 사항을 참고하면, 탑승자 A는 제1 영역(A-1)너머로 보여지는 double spire를 관심 객체로 응시하고, 디스플레이에서 스와이프 다운을 하는 경우, 디스플레이 제어부(3402)는 디스플레이 영역 하단의 특정 개인화 영역에 캡쳐 이미지를 저장하여 표시한다. 또한, 탑승자 B는 후석 좌측창으로부터 탑승자 A보다 떨어져 있는 사람이므로, 시선 인식 및 에어 제스처를 통해 캡쳐 의도를 전달하고, 디스플레이 제어부(3402)는 디스플레이 영역 하단의 특정 개인화 영역에 탑승자 B가 요청한 바에 따라 캡쳐 이미지를 저장하여 표시한다. Referring again to (a) of FIG. 37 , when the passenger A gazes at the double spire shown over the first area A-1 as an object of interest and swipe down on the display, the display control unit 3402 ) stores and displays the captured image in a specific personalized area at the bottom of the display area. In addition, since passenger B is a person who is farther away from the left window of the rear seat than passenger A, the intention to capture is conveyed through gaze recognition and air gestures, and the display control unit 3402 displays a specific personalized area at the bottom of the display area as requested by passenger B. Save and display the captured image.

도 37의 (b)를 도시하면, 자율주행 상황에서 운전 제어권이 자율주행 모드에 있고, 운전석에 위치한 탑승자 C가 좌측창을 통해 외부 경치를 감상하며, 운전자 C의 좌측창 디스플레이 접근 제어권이 탑승자 B보다 선순위인 것을 가정한다(디스플레이 접근 제어에 대한 선순위는 탑승 위치로부터 가까운 디스플레이일수록 높은 것임을 가정한다). Referring to (b) of FIG. 37 , in an autonomous driving situation, the driving control right is in the autonomous driving mode, the passenger C located in the driver's seat enjoys the outside scenery through the left window, and the driver C's left window display access control right is the passenger B It is assumed that the priority is higher (the priority for display access control is assumed to be higher for a display closer to the boarding position).

이 때, 제2 영역(B-1)에 해당되는 투명 디스플레이를 전방으로 슬라이딩 무빙하여, 탑승자 C의 좌측에 배치되고, 제2 영역(B-1)은 제3 영역(C-1)으로 탑승자 C에게 할당된다. At this time, the transparent display corresponding to the second area (B-1) is slid forward and is disposed on the left side of the occupant C, and the second area (B-1) is transferred to the third area (C-1). assigned to C.

탑승자 C는 디스플레이 스와이프 다운을 통해 외부 관심 정보에 대한 저장을 요청하고, 디스플레이 제어부(3402)는 외부 관심 정보를 디스플레이 하단의 특정 영역에 캡쳐 이미지로 저장됨을 표시한다. Passenger C requests storage of the external interest information through a swipe-down display, and the display control unit 3402 displays that the external interest information is stored as a captured image in a specific area at the bottom of the display.

도 37의 (c)를 참고하면, 차량 내 배치된 face ID 카메라, 시트 위치 정보를 고려하여 탑승자 별 인증을 수행하고, 인증이 완료되면 각 탑승자에게 할당된 디스플레이 영역 중 하단 영역에 개인화된 컨텐츠 히스토리를 표시한다. Referring to (c) of FIG. 37 , authentication is performed for each occupant in consideration of the face ID camera and seat location information disposed in the vehicle, and when the authentication is completed, a personalized content history is displayed in the lower area of the display area allocated to each occupant. display

컨텐츠 히스토리 표시는 캡쳐된 시간 순서로 이미지/영상 파일이 표시된다. In the content history display, image/video files are displayed in the order of captured time.

도 38은 본 발명의 또 다른 실시예에 따른 외부 관심 정보의 디스플레이 간 공유를 도시한다. 38 illustrates sharing of external interest information between displays according to another embodiment of the present invention.

도 38을 참조하면, 제1 영역(A-1)은 탑승자 A에게, 제2 영역(B-1)은 탑승자 B에게 할당되며, 각 영역의 하단 특정 영역에 각 탑승자의 컨텐츠 히스토리가 표시된다. Referring to FIG. 38 , the first area A-1 is allocated to passenger A and the second area B-1 is allocated to passenger B, and the content history of each passenger is displayed in a specific area at the bottom of each area.

도 38의 (a)를 참조하면, 탑승자 B가 컨텐츠 히스토리 중 특정 컨텐츠를 선택하고(long press, 제스처를 통해 선택이 가능함), 해당 객체를 드래그하여 탑승자 A의 디스플레이에 전달할 것을 요청한다. Referring to (a) of FIG. 38 , passenger B selects a specific content from the content history (selection is possible through a long press or gesture), drags the corresponding object, and requests delivery to passenger A's display.

도 38의 (b)를 참조하면, 디스플레이 제어부(3402)는 탑승자 A의 정보 공유 권한 설정 정보를 고려하여, 정보 공유가 승인된 상태인 경우, 해당 특정 컨텐츠가 탑승자 A의 개인화 영역으로 이동되도록 표시한다. Referring to (b) of FIG. 38 , the display control unit 3402 considers the information sharing authority setting information of passenger A and displays the specific content to be moved to the personalization area of passenger A when information sharing is approved. do.

이 때, 디스플레이 제어부(3402)는 드래그 앤 드롭 시, 같은 면(후석 좌측창) 디스플레이 뿐 아니라, 탑승자의 요청 및 정보 공유 권한 설정에 따라, 전면 또는 반대면(후석 후측창) 디스플레이에도 드래그 앤 드롭의 방향성에 따라 외부 관심 정보를 공유하도록 디스플레이를 제어한다. At this time, when dragging and dropping, the display control unit 3402 drags and drops not only the display on the same side (rear seat left window), but also the front or opposite side (rear seat rear window) display according to the request of the occupant and information sharing permission setting. The display is controlled to share external interest information according to the directionality of .

도 38의 (c)를 참조하면, 탑승자 B의 조작에 의해 공유된 특정 컨텐츠는 탑승자 A의 개인화 영역에 추가되어 저장된다. Referring to (c) of FIG. 38 , the specific content shared by passenger B's manipulation is added to and stored in the personalization area of passenger A.

도 39는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 방법을 도시한다. 39 illustrates a vehicle display control method for storing and sharing external interest information according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 방법은 차량 탑승자의 외부 관심 객체에 대한 영상 저장 요청을 수신하는 단계(S3901) 및 투명 디스플레이로 구성되는 차량 윈드쉴드 너머로 차량 탑승자에 의해 응시되는 외부 관심 객체에 대해, 영상 저장을 수행하고, 디스플레이 제어를 수행하는 단계(S3902)를 포함한다. A vehicle display control method for storing and sharing external interest information according to another embodiment of the present invention includes the steps of receiving a request for storing an image of an external object of interest from a vehicle occupant (S3901), and displaying information over a vehicle windshield composed of a transparent display. and performing image storage and display control on an external object of interest gazed at by a vehicle occupant (S3902).

S3901 단계는 시선 정보, 음성 정보, 제스처 정보, 터치 정보 중 적어도 어느 하나를 이용하여 입력되는 영상 저장 요청을 수신한다. Step S3901 receives an image storage request input using at least one of gaze information, voice information, gesture information, and touch information.

S3902 단계는 외부 관심 객체의 정보를 AR 정보로 표시하도록 디스플레이 제어를 수행한다. In step S3902, display control is performed to display information on an external object of interest as AR information.

S3902 단계는 외부 전경과 AR 정보를 동시에 캡쳐하여 저장한다. Step S3902 simultaneously captures and stores external foreground and AR information.

S3902단계는 기설정 시간 동안 화이트 아웃 처리하여 화면 캡쳐에 대한 디스플레이 제어를 수행한다. Step S3902 performs display control for screen capture by white-out processing for a preset time.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 방법은 저장된 영상을 차량 디스플레이 내 분할 영역, 차량 탑승자의 휴대단말, 다른 사용자의 휴대 단말 중 적어도 어느 하나로 전송하여 외부 관심 정보를 공유하는 단계(S3903)를 더 포함한다. A vehicle display control method for storing and sharing external interest information according to another embodiment of the present invention transmits a stored image to at least one of a divided area in a vehicle display, a mobile terminal of a vehicle occupant, and a mobile terminal of another user, thereby transmitting an external interest information. A step of sharing information (S3903) is further included.

S3902 단계는 차량 내 복수의 탑승자에게 디스플레이 영역을 분할하여 할당하고, 각 영역 내에서 이루어지는 영상 저장 요청에 따라 외부 관심 정보 영상을 저장하고, 저장된 영상을 할당된 디스플레이 영역 중 기설정 영역에 표시하도록 제어한다. Step S3902 divides and allocates a display area to a plurality of occupants in the vehicle, stores an external interest information image according to an image storage request made in each area, and controls the stored image to be displayed in a preset area among the allocated display areas. do.

S3902 단계는 복수의 탑승자의 접근 제어 우선권을 고려하여 투명 디스플레이를 이동시키도록 디스플레이 제어를 수행한다. Step S3902 performs display control to move the transparent display in consideration of access control priority of a plurality of occupants.

S3902 단계는 탑승자 요청 및 공유 권한 설정 정보에 따라 제1 탑승자의 기설정 영역에 저장된 영상 정보를 제2 탑승자의 기설정 영역으로 이동시키도록 제어한다. In step S3902, the image information stored in the first passenger's preset area is moved to the second passenger's preset area according to the passenger's request and sharing authority setting information.

도 40은 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 시스템을 도시한다. 40 illustrates a vehicle display area control system for external interest information according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 시스템은 차량 내 복수의 탑승자의 외부 관심 정보를 표시하는 영역을 확인하는 외부 관심 정보 표시 영역 확인부(4001) 및 복수의 탑승자에게 부여된 주도권 및 외부 관심 정보의 중요도 중 적어도 어느 하나를 고려하여, 외부 관심 정보의 표시 영역을 조정하는 디스플레이 제어부(4002)를 포함한다. According to another embodiment of the present invention, a system for determining an external interest information display area based on an occupant's gaze and controlling a vehicle display includes an external interest information display area checker (4001 ) and a display controller 4002 that adjusts a display area of external interest information in consideration of at least one of initiative granted to a plurality of occupants and importance of external interest information.

디스플레이 제어부(4002)는 제1 탑승자의 외부 관심 정보의 중요도가 제2 탑승자의 외부 관심 정보의 중요도보다 높은 것으로 판단되는 경우, 제2 탑승자의 외부 관심 정보의 표시 영역이 제1 탑승자의 외부 관심 정보의 표시 영역과 겹쳐지지 않도록, 제2 탑승자의 외부 관심 정보의 표시 영역을 이동시킨다. When it is determined that the importance of the information of external interest of the first passenger is higher than the importance of the information of external interest of the second passenger, the display controller 4002 determines that the display area of the information of interest to the outside of the second passenger is changed to the external interest information of the first passenger. The display area of the external interest information of the second occupant is moved so as not to overlap with the display area of the second passenger.

디스플레이 제어부(4002)는 제1 탑승자가 주도권을 가지고 있고, 제1 탑승자의 외부 관심 정보의 표시 영역과 제2 탑승자의 외부 관심 정보의 표시 영역이 일정 부분 이상 겹쳐지는 것으로 확인되는 경우, 제2 탑승자의 외부 관심 정보의 표시 영역을 이동시킨다. The display control unit 4002 determines that the first occupant has the initiative and the display area of the external interest information of the first occupant and the display area of the external interest information of the second occupant overlap at least a certain portion, the second occupant Moves the display area of the external interest information of .

디스플레이 제어부(4002)는 제2 탑승자의 외부 정보의 본래 위치에 대한 윤곽 정보를 디스플레이하도록 제어한다. The display controller 4002 controls to display contour information on the original position of the second occupant's external information.

디스플레이 제어부(4002)는 제1 탑승자의 시선 정보를 고려하여 제2 탑승자의 외부 관심 정보의 표시 영역을 이동 전 영역으로 원복시킨다. The display controller 4002 restores the display area of the second occupant's external interest information to the previous area in consideration of the first occupant's gaze information.

도 41은 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 과정을 도시한다. 41 illustrates a process of controlling a vehicle display area for external interest information according to another embodiment of the present invention.

도 41의 (a)를 참조하면, 운전자 A와 동승자 B는 차량 전면 윈드쉴드 너머로 외부 객체를 바라본다. Referring to (a) of FIG. 41 , driver A and passenger B look at an external object through the front windshield of the vehicle.

이 때, 운전자 A가 ①의 영역에 위치한 전방 차량을 기설정 시간 이상 응시하는 경우, 운전자 A의 시선 추적 결과에 따라 주행 관련 정보(예: 전방 차량과의 거리, 네비게이션 정보 기반 AR 길 안내 정보)가 투명 디스플레이인 전방 윈드쉴드에 표시된다. At this time, when driver A gazes at the vehicle in front located in the area ① for a predetermined period of time or longer, driving-related information (e.g., distance to the vehicle ahead, AR guidance information based on navigation information) according to driver A's gaze tracking result. is displayed on the front windshield, which is a transparent display.

동승자 B는 ②의 영역에 위치한 상점(Cafι)을 기설정 시간 이상 응시하고, 그에 따라 해당 상점의 정보(예: 전화번호, 층수, 메뉴) 가 투명 디스플레이인 전방 윈드쉴드에 표시된다. Passenger B gazes at the shop (cafι) located in the area of ② for a predetermined time or more, and accordingly, information (eg, phone number, floor number, menu) of the corresponding shop is displayed on the front windshield, which is a transparent display.

도 41의 (b)를 참조하면, 운전자 A는 ①의 영역에 위치한 정차 차량을 바라봄에 따라, 동승자 B의 외부 관심 정보의 표시 영역이 운전자 A의 외부 관심 정보 표시 영역과 겹치게 된다. Referring to (b) of FIG. 41 , as the driver A looks at the stopped vehicle located in the area ①, the display area of the external interest information of the passenger B overlaps the display area of the external interest information of the driver A.

디스플레이 제어부(4002)는 이러한 겹침 현상에 의해 주도권 소유자인 운전자 A의 시야가 가려지는 것을 방지하기 위하여, 동승자 B의 외부 관심 정보 표시 영역의 위치를 변경시킨다. The display controller 4002 changes the location of the external interest information display area of the passenger B in order to prevent the driver A, who is the owner of the initiative, from being obstructed by such an overlapping phenomenon.

즉, 동승자 B가 건물 1층 카페 정보를 응시하던 중, 운전자 A에게 후측방 경고 정보가 제공되며 운전자 A가 타 차량을 응시하는 경우, 주도권 및 정보의 우선순위에 따라 디스플레이 제어부(4002)는 해당 카페 정보를 건물의 위쪽 영역으로 이동시켜 표시하도록 제어한다. That is, while passenger B is gazing at cafe information on the first floor of a building, when driver A is provided with blind spot warning information and driver A is gazing at another vehicle, the display control unit 4002 responds according to the initiative and priority of the information. The cafe information is moved to the upper area of the building and displayed.

이 때, 디스플레이 제어부(4002)는 기존 관심 정보의 위치를 점선 형태로 지속 표시하여, 위치를 인지할 수 있도록 지원한다. At this time, the display control unit 4002 continuously displays the location of the existing information of interest in a dotted line form to support recognizing the location.

도 41의 (c)를 참조하면, 운전자 A에게 제공되는 후측방 경고 정보의 전송이 더 이상 이루어지지 않거나, 운전자 A가 다른 객체(전방 차량)로 시선을 이동한 경우, 디스플레이 제어부(4002)는 동승자 B의 외부 관심 정보 표시 영역의 위치를 원복시킨다. Referring to (c) of FIG. 41 , when transmission of the rear cross-traffic warning information provided to driver A is no longer performed or driver A moves his/her gaze to another object (a vehicle in front), the display controller 4002 The position of the passenger B's external interest information display area is restored.

도 42는 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 방법을 도시한다. 42 illustrates a method for controlling a vehicle display area for external interest information according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 방법은 차량 내 탑승자의 외부 관심 정보를 표시하는 영역을 확인하는 단계(S4201) 및 탑승자에게 부여된 주도권 정보 및 외부 관심 정보의 중요도 중 적어도 어느 하나를 고려하여, 외부 관심 정보를 표시하는 영역의 위치를 조정하는 단계(S4202)를 포함한다. According to another embodiment of the present invention, a method for determining an occupant's gaze-based external interest information display area and vehicle display control method includes the step of identifying an occupant's external interest information display area in a vehicle (S4201) and initiative information granted to the occupant. and adjusting a position of an area displaying the external interest information in consideration of at least one of the importance of the external interest information (S4202).

S4202 단계는 제1 탑승자의 외부 관심 정보의 중요도가 제2 탑승자의 외부 관심 정보의 중요도보다 높은 것으로 판단되는 경우, 제2 탑승자의 외부 관심 정보의 표시 영역이 제1 탑승자의 외부 관심 정보의 표시 영역과 겹쳐지지 않도록, 제2 탑승자의 외부 관심 정보의 표시 영역 위치를 이동시킨다. In step S4202, if it is determined that the importance of the information of external interest of the first occupant is higher than the importance of the information of external interest of the second occupant, the display area of the information of external interest of the second occupant is changed to the display area of the information of external interest of the first occupant. The position of the display area of the external interest information of the second occupant is moved so as not to overlap with .

S4202 단계는 제1 탑승자가 주도권을 가지고 있고, 제1 탑승자의 외부 관심 정보의 표시 영역과 제2 탑승자의 외부 관심 정보의 표시 영역이 일정 부분 이상 겹쳐지는 것으로 확인되는 경우, 제2 탑승자의 외부 관심 정보의 표시 영역을 이동시킨다. In step S4202, if it is confirmed that the first passenger has the initiative and the display area of the external interest information of the first passenger and the display area of the external interest information of the second passenger overlap at least a certain portion, the external interest of the second passenger Move the display area of information.

S4202 단계는 제2 탑승자의 외부 관심 정보의 본래 위치에 대한 윤곽 정보를 디스플레이하도록 제어한다. Step S4202 controls to display contour information on the original position of the second occupant's external interest information.

S4202 단계는 제1 탑승자의 시선 정보를 고려하여 제2 탑승자의 외부 관심 정보의 표시 영역을 이동 전 영역으로 원복시킨다. In step S4202, the display area of the external interest information of the second occupant is returned to the area before the movement in consideration of the gaze information of the first occupant.

도 43은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 시스템을 도시한다. 43 illustrates a vehicle display control system for displaying and storing external interest information according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 시스템은 주행 차량에 탑승한 탑승자가 관심을 가지는 외부 관심 객체를 확인하는 외부 관심 객체 확인부(4301) 및 외부 관심 객체에 대한 외부 관심 정보를 제1 디스플레이 영역에 표시하도록 제어하되, 주행 상황에 따라 외부 관심 정보를 제2 디스플레이 영역으로 이동시켜 표시하고, 외부 관심 정보를 외부 관심 정보 저장부(4303)에 저장시키는 디스플레이 제어부(4302)를 포함한다. A vehicle display control system for displaying and storing external interest information according to another embodiment of the present invention includes an external object of interest identification unit 4301 for identifying an external object of interest of interest to a passenger in a driving vehicle and an external object of interest. A display for controlling the display of external interest information on the first display area, displaying the external interest information by moving it to the second display area according to the driving situation, and storing the external interest information in the external interest information storage unit 4303. A control unit 4302 is included.

외부 관심 객체 확인부(4301)는 탑승자의 시선 정보, 음성 정보, 제스처 정보 중 적어도 어느 하나를 이용하여 외부 관심 객체를 확인한다. The external object of interest identification unit 4301 identifies an external object of interest using at least one of information on the gaze of the occupant, voice information, and gesture information.

디스플레이 제어부(4302)는 탑승자의 시선이 외부 관심 정보의 표시 영역을 벗어나는 경우, 외부 관심 정보를 간소화시키고, 간소화된 외부 관심 정보를 측창 디스플레이인 제2 디스플레이 영역으로 이동시켜 표시하도록 제어한다. The display controller 4302 controls to simplify the external interest information and move the simplified external interest information to the second display area, which is a side window display, for display when the passenger's gaze deviates from the display area of the external interest information.

디스플레이 제어부(4302)는 간소화된 외부 관심 정보를 시간 순서에 따라 누적하여 제2 디스플레이 영역에 표시하도록 제어한다. The display control unit 4302 controls to accumulate the simplified external interest information according to the time order and display it on the second display area.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 시스템은 간소화된 외부 관심 정보에 대한 목적지 설정 요청을 수신하는 목적지 설정 요청 수신부(4304)를 더 포함한다. A vehicle display control system for displaying and storing external interest information according to another embodiment of the present invention further includes a destination setting request receiving unit 4304 for receiving a destination setting request for simplified external interest information.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 시스템은 목적지 설정 요청에 따라 선택된 외부 관심 지점으로의 경로를 설정하는 경로 설정부(4305)를 더 포함한다. A vehicle display control system for displaying and storing external interest information according to another embodiment of the present invention further includes a route setting unit 4305 for setting a route to a selected external POI according to a destination setting request.

도 44는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시를 도시한다. 44 illustrates external interest information display according to another embodiment of the present invention.

도 44의 (a)를 참조하면, 주행 차량에 탑승 중인 운전자는 투명 디스플레이로 구성된 전면 윈드쉴드 너머 보이는 외부 객체 중, 관심 객체(주차장)를 기설정 시간 이상 응시하고, 그에 따라 외부 관심 정보(예: 주차장 이름, 위치, 비용 정보)가 AR 정보로 표시된다. Referring to (a) of FIG. 44 , a driver riding in a driving vehicle gazes at an object of interest (parking lot) among external objects visible over a front windshield configured of a transparent display for a predetermined time or longer, and accordingly external interest information (e.g. : parking lot name, location, cost information) are displayed as AR information.

이 때, 디스플레이 제어부(4302)는 탑승자 시선 정보 외에도 음성 정보, 움직임(head movement) 정보, 제스처 정보를 이용하여 외부 관심 객체를 확인하고, 외부 관심 객체에 대한 정보를 디스플레이하도록 제어한다. At this time, the display control unit 4302 identifies an external object of interest using voice information, head movement information, and gesture information in addition to information on the gaze of the occupant, and controls information on the external object of interest to be displayed.

도 44의 (a)를 참조하면, 디스플레이 제어부(4302)는 운전자의 시야가 외부 관심 정보 표시 영역을 벗어나거나, 주행 차량의 이동에 따라 외부 관심 객체가 운전자의 시야를 벗어나게 되는 경우, 해당 외부 관심 정보를 간소화하고(예: 현재 위치로부터의 거리, 주차 비용 등으로 간소화함), 간소화된 외부 관심 정보를 로그(log) 형태로 표시한다. Referring to (a) of FIG. 44 , the display controller 4302 determines the external interest when the driver's field of view deviates from the external interest information display area or the external interest object moves out of the driver's field of view according to the movement of the driving vehicle. Simplify information (eg, distance from current location, parking cost, etc.), and display simplified external interest information in log form.

이 때, 디스플레이 제어부(4302)는 간소화된 외부 관심 정보를 전면 디스플레이 또는 측창 디스플레이의 기설정 영역에 표시하도록 제어한다. At this time, the display controller 4302 controls the simplified external interest information to be displayed on a preset area of the front display or side window display.

도 44의 (b)를 참조하면, 차량 주행에 따라 외부 관심 지점이 상대적으로 이동하여 운전자의 시야로부터 벗어나는 경우, 디스플레이 제어부(4302)는 측창 디스플레이에 시간 별로 외부 관심 정보를 표시한다. 즉, 디스플레이 제어부(4302)는 지나온 시간 순으로 외부 관심 정보를 누적하여 표시한다. Referring to (b) of FIG. 44 , when the external POI relatively moves as the vehicle travels and deviates from the driver's field of view, the display controller 4302 displays the external interest information on a time-by-time basis on the side window display. That is, the display control unit 4302 accumulates and displays external interest information in the order of past time.

이 때, 디스플레이 제어부(4302)는 주행 차량을 기준으로 전방 좌측에 위치한 외부 관심 객체에 대한 정보를 좌측창 디스플레이를 통해 표시하도록 제어하고, 주행 차량을 기준으로 전방 우측에 위치한 외부 관심 객체에 대한 정보를 우측창 디스플레이를 통해 표시하도록 제어한다. At this time, the display controller 4302 controls information on an external object of interest located in the front left with respect to the driving vehicle to be displayed through the left window display, and information on the external object of interest located in the front right with respect to the driving vehicle. is displayed through the right window display.

저장된 복수의 외부 관심 정보 중 특정 외부 관심 정보에 대한 목적지 설정 요청이 수신되는 경우, 경로 설정부(4305)는 현재 위치로부터 해당 외부 관심 정보의 위치까지의 경로를 설정한다. When a request for setting a destination for specific external interest information among a plurality of stored external interest information is received, the route setting unit 4305 sets a route from the current location to the location of the corresponding external interest information.

목적지 설정 요청 수신부(4304)는 측창 디스플레이에 저장된 외부 관심 정보에 대한 터치, 음성, 에어 제스처, 휴대기기를 이용한 목적지 설정 요청을 수신한다. The destination setting request receiving unit 4304 receives a request for setting a destination using a touch, voice, air gesture, or mobile device for external interest information stored in the side window display.

도 45는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 방법을 도시한다. 45 illustrates a vehicle display control method for displaying and storing external interest information according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 방법은 주행 차량 탑승자의 외부 관심 객체를 확인하는 단계(S4501) 및 외부 관심 객체에 대한 외부 관심 정보를 제1 디스플레이 영역에 표시하도록 제어하고, 주행 상황에 따라 외부 관심 정보를 제2 디스플레이 영역으로 이동시켜 표시하는 단계(S4502)를 포함한다. A vehicle display control method for displaying and storing external interest information according to another embodiment of the present invention includes the steps of identifying an external interest object of a vehicle occupant (S4501) and storing the external interest information on the external interest object in a first display area. and moving and displaying external interest information to a second display area according to driving conditions (S4502).

S4501 단계는 탑승자의 시선 정보, 음성 정보, 제스처 정보 중 적어도 어느 하나를 이용하여 외부 관심 객체를 확인한다. In step S4501, an external object of interest is identified using at least one of information on the gaze of the passenger, voice information, and gesture information.

S4502 단계는 주행 차량 탑승자의 시선이 외부 관심 정보의 표시 영역을 벗어나는 경우, 외부 관심 정보를 간소화시키고, 간소화된 외부 관심 정보를 측창 디스플레이인 제2 디스플레이 영역으로 이동시켜 표시하도록 제어한다. In step S4502, when the gaze of the occupant of the driving vehicle deviates from the display area of the external interest information, the external interest information is simplified, and the simplified external interest information is moved to the second display area, which is a side window display, and displayed.

S4502 단계는 간소화된 외부 관심 정보를 시간 순서에 따라 누적하여 제2 디스플레이 영역에 표시하도록 제어한다. In step S4502, the simplified external interest information is accumulated according to a time sequence and displayed on the second display area.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 방법은 간소화된 외부 관심 정보에 대한 목적지 설정 요청을 수신하고, 목적지 설정 요청에 따라 선택된 외부 관심 지점으로의 경로를 설정하는 단계(S4503)를 더 포함한다. A vehicle display control method for displaying and storing external interest information according to another embodiment of the present invention receives a destination setting request for simplified external interest information, and sets a route to a selected external POI according to the destination setting request. A step (S4503) is further included.

도 46은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다. 46 illustrates a vehicle display control system according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템은 주행 차량의 주행 환경 정보를 획득하는 주행 환경 인식부(4610), 주행 환경 정보에 따라 디스플레이를 통해 표출할 부가 정보의 표시 위치에 대한 제어 정보를 생성하는 제어부(4620) 및 제어 정보에 따라 디스플레이 영역에 부가 정보를 표시하는 디스플레이부(4630)를 포함한다. A vehicle display control system according to another embodiment of the present invention includes a driving environment recognition unit 4610 that acquires driving environment information of a driving vehicle, and control information on a display position of additional information to be displayed through a display according to the driving environment information. and a display unit 4630 that displays additional information on a display area according to control information and a control unit 4620 that generates a .

주행 환경 인식부(4610)는 전방 노면 상태에 대한 주행 환경 정보를 수집한다. The driving environment recognizing unit 4610 collects driving environment information about a front road surface condition.

제어부(4620)는 주행 환경 정보에 따라 차량 주행 거동을 예상하고, 예상 결과에 따라 현재 디스플레이를 통해 표출 중인 부가 정보의 표시 위치에 대한 조정치를 계산한다. The controller 4620 predicts the driving behavior of the vehicle according to the driving environment information, and calculates an adjustment value for the display position of the additional information currently displayed through the display according to the predicted result.

이 때, 주행 환경 인식부(4610)는 차량의 주행 정보(예: 주행 속도)를 전송하고, 제어부(4620)는 주행 정보 및 주행 환경 정보를 고려하여 조정치를 계산한다. 즉, 동일한 방지턱을 넘어가며 주행을 하는 상황에서도, 시속 30킬로미터로 주행 중인 차량과 시속 50 킬로미터로 주행 중인 차량은 측창 디스플레이 너머 보여지는 외부 관심 객체의 상하 이동 속도가 상이할 것이므로, 제어부(4620)는 주행 환경 정보 뿐 아니라 주행 정보를 고려하여 조정치를 계산한다. 이 때, 각 차량의 주행 히스토리 정보를 고려하여, 예컨대 방지턱 직전에 시속을 얼마만큼 감속하여 방지턱을 넘어갈 것인지를 예상하여 조정치를 계산하는 것이 가능하다. At this time, the driving environment recognition unit 4610 transmits driving information (eg, driving speed) of the vehicle, and the controller 4620 calculates an adjustment value in consideration of the driving information and the driving environment information. That is, even when driving over the same bump, the vehicle traveling at 30 kilometers per hour and the vehicle traveling at 50 kilometers per hour will have different vertical movement speeds of the external object of interest shown through the side window display, so the control unit 4620 calculates an adjustment value in consideration of driving information as well as driving environment information. In this case, it is possible to calculate an adjustment value by predicting, for example, by how much to reduce the speed per hour just before the bump to cross the bump in consideration of the driving history information of each vehicle.

주행 환경 인식부(4610)는 차량 내 탑승자 정보를 전송하고, 제어부(4620)는 탑승자 정보를 고려하여 조정치를 계산한다. 예컨대, 주행 환경 인식부(4610)는 차량 탑승자의 위치, 디스플레이 영역 중 각 탑승자에게 할당된 영역 정보, 탑승자의 앉은 키, 시선 위치, 외부 관심 객체를 향한 시선 방향 등을 전송하고, 제어부(4620)는 이러한 탑승자 정보를 고려하여 외부 관심 객체에 대한 부가 정보의 표시 위치를 제어하는 조정치를 계산한다. The driving environment recognition unit 4610 transmits information on occupants in the vehicle, and the controller 4620 calculates an adjustment value in consideration of the occupant information. For example, the driving environment recognition unit 4610 transmits the position of the vehicle occupant, information on the area allocated to each occupant among the display areas, the occupant's sitting height, gaze position, gaze direction toward an external object of interest, and the like, and the control unit 4620 calculates an adjustment value for controlling a display position of additional information on an external object of interest in consideration of the occupant information.

도 47은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 과정을 도시한다. 47 illustrates a vehicle display control process according to another embodiment of the present invention.

도 47을 참고하면, 카메라(4730)를 포함하는 주행 환경 인식부(4610)를 통해 전방의 노면 상태 정보를 획득한다. 이 때, 카메라 외에도 센서를 활용하거나, 내비게이션 정보를 이용하거나, V2I 통신을 통해 외부 환경 정보를 수집함으로써, 주행 환경에 대한 정보를 수집하는 것이 가능하다. Referring to FIG. 47 , front road condition information is obtained through a driving environment recognizing unit 4610 including a camera 4730 . At this time, it is possible to collect information on the driving environment by using a sensor other than a camera, using navigation information, or collecting external environment information through V2I communication.

도 47의 (a)에서, 차량 디스플레이(측창 투명디스플레이인 경우를 예를 들어 도시함)를 통해 탑승자 C에게 할당된 영역(4710)과, 탑승자 B에게 할당된 영역(4720)이 있음을 가정한다. 제어부(4620)는 탑승자 C가 주시하고 있는 제1 외부 관심 객체(Double Spire)와 탑승자 B가 주시하고 있는 제2 외부 관심 객체(Isolated Sprire)에 대한 부가 정보(AR 정보)가 차량 디스플레이에 표출되도록 제어하고, 디스플레이부(4630)는 제1 및 제2 외부 관심 객체에 대한 부가 정보(도 47를 참조하면, 하늘색 선으로 해당 외부 관심 객체의 윤곽을 표시하고, 각 외부 관심 객체의 명칭을 표시함)를 표시한다. In (a) of FIG. 47 , it is assumed that there is an area 4710 allocated to the passenger C and an area 4720 allocated to the passenger B through the vehicle display (shown as an example in the case of a side window transparent display). . The controller 4620 is configured to display additional information (AR information) on the first external object of interest (Double Spire) watched by passenger C and the second external object of interest (Isolated Spire) watched by passenger B on the vehicle display. and the display unit 4630 displays additional information on the first and second external objects of interest (refer to FIG. 47 , outlines of corresponding external objects of interest with light blue lines, and names of respective external objects of interest are displayed). ) is displayed.

도 47의 (a)에서 도 47의 (b)로 차량이 방지턱을 타고 올라가는 상황에서, 차량과 함께 디스플레이도 물리적으로 위로 이동하게 된다. 이 때, 제어부(4620)는 외부 관심 객체의 위치에 맞추어 부가 정보(AR 정보)의 표시 위치를 도 47의 (a) 대비 도 47의 (b)에서 상대적으로 하단으로 제어하고, 디스플레이부(4630)는 이러한 제어에 따라 표시 위치에 부가 정보를 표출한다. 47(a) to 47(b), in a situation where a vehicle climbs up a bump, the display physically moves upward along with the vehicle. At this time, the controller 4620 controls the display position of the additional information (AR information) to be relatively lower in FIG. 47 (b) compared to FIG. 47 (a) according to the position of the external object of interest, and the display unit 4630 ) displays additional information at the display position according to this control.

도 47의 (b)에서 도 47 의 (c)로 차량이 방지턱을 타고 내려오는 상황에서, 차량과 함께 디스플레이도 물리적으로 아래로 이동하게 된다. 이 때, 제어부(4620)는 외부 관심 객체의 위치에 맞추어 부가 정보(AR 정보)의 표시 위치를 도 47의 (b) 대비 도 47의 (c)에서 상대적으로 상단으로 제어하고, 디스플레이부(4630)는 이러한 제어에 따라 표시 위치에 부가 정보를 표출한다. 47(b) to 47(c), in a situation where a vehicle climbs down a bump, the display physically moves downward along with the vehicle. At this time, the controller 4620 controls the display position of the additional information (AR information) to be relatively upper in FIG. 47(c) compared to FIG. 47(b) according to the position of the external object of interest, and displays ) displays additional information at the display position according to this control.

본 발명의 실시예에 따르면, 카메라, 센서, 네비게이션 맵 정보, V2I 통신을 이용한 획득 정보를 분석하여, 차량의 주행 거동을 예상하고(예컨대, 어느 정도 높이의 방지턱을 넘어가게 될 것인지 그 주행 거동을 예상함), 그에 따라 미리 디스플레이에 표출할 부가 정보의 표시 위치 제어 정보를 생성하는 것이 가능하다. 이를 통해, 차량이 방지턱을 타고 넘어가는 주행 상황에서, 실시간으로 측창 너머 위치한 외부 관심 객체에 대한 부가 정보를 그 외부 관심 객체의 위치에 대응시켜 측창 디스플레이에 표시하는 것이 가능하다. According to an embodiment of the present invention, by analyzing camera, sensor, navigation map information, and obtained information using V2I communication, the driving behavior of the vehicle is predicted (eg, how high the bump will be crossed, and the driving behavior is determined). expected), and accordingly, it is possible to generate display position control information of additional information to be displayed on the display in advance. Through this, in a driving situation in which the vehicle climbs over a bump, it is possible to display additional information on an external object of interest located beyond the side window in correspondence with the position of the external object of interest on the side window display in real time.

본 발명의 실시예에 따르면, 차량 탑승자의 탑승 위치, 앉은 키, 시선 위치, 시선 방향 등 탑승자 정보를 획득하고, 그에 따라 외부 관심 객체 정보의 흔들림 보정 정보를 생성한다. 예컨대, 도 47에서 탑승자 C는 측창 디스플레이의 할당 영역(4710)으로부터 30cm 떨어진 좌석에 위치한 앉은 키 1m인 탑승자이고, 탑승자 B는 측창 디스플레이의 할당 영역(4720)으로부터 3m 떨어진 좌석에 위치한 앉은 키 1m인 탑승자임을 가정한다. 제어부(4620)는 탑승자의 위치, 시선 위치를 획득하고, 이에 따라 각 영역별 부가 정보의 표시 위치 조정에 대한 정보를 상이하게 생성한다. 즉, 동일한 50cm 높이의 방지턱을 넘어가는 상황에서도, 탑승자 C에게 할당된 영역(4710)에서 부가 정보의 표시 위치를 하단으로 조정하는 정도와, 탑승자 B에게 할당된 영역(4720)에서 부가 정보의 표시 위치를 하단으로 조정하는 정도에 차이를 두어, 각 탑승자의 시선에서 외부 관심 객체에 대한 부가 정보가 정교하게 표시되도록 제어한다. According to an embodiment of the present invention, occupant information such as a boarding position, sitting height, gaze position, and gaze direction of a vehicle occupant is obtained, and shake correction information of external object of interest information is generated accordingly. For example, in FIG. 47 , passenger C is a passenger with a sitting height of 1m located in a seat 30cm away from the assigned area 4710 of the side window display, and passenger B is a passenger with a sitting height of 1m located in a seat 3m away from the assigned area 4720 of the side window display. Assume you are a passenger. The control unit 4620 acquires the position of the passenger and the position of the gaze, and accordingly generates information on adjusting the display position of additional information for each region differently. That is, even when crossing the same 50 cm high barrier, the degree to which the display position of the additional information is adjusted to the bottom in the area 4710 allocated to passenger C and the display of additional information in the area 4720 allocated to passenger B By making a difference in the degree of adjusting the position to the lower side, the additional information on the external object of interest is precisely displayed in the line of sight of each passenger.

도 48은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다. 48 illustrates a vehicle display control method according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법은 주행 관련 정보를 수집하고, 차량 주행 거동을 예상하는 단계(S4810)와, 디스플레이 내 외부 관심 객체 관련 부가 정보의 표시 위치에 대한 조정치를 계산하는 단계(S4820) 및 부가 정보를 디스플레이하는 단계(S4830)를 포함한다. A vehicle display control method according to another embodiment of the present invention includes collecting driving-related information, predicting a vehicle driving behavior (S4810), and calculating an adjustment value for a display position of additional information related to an external object of interest in a display. A step S4820 and a step S4830 of displaying additional information.

S4810 단계는 카메라, 센서, 네비게이션 맵 정보 중 적어도 어느 하나를 이용하여 전방 노면 상태 정보를 수집하고, 수집 정보를 분석하여 차량 주행 거동을 예상한다. In step S4810, front road surface condition information is collected using at least one of camera, sensor, and navigation map information, and vehicle driving behavior is predicted by analyzing the collected information.

S4810 단계는 차량의 주행 속도 정보, 방지턱 직전 감속 예상 정보를 획득하고, S4820 단계는 이를 고려하여 차량 주행 거동에 따른 부가 정보 표시 위치에 대한 조정치를 계산한다. 예컨대, 전술한 바와 같이 방지턱을 넘어가는 주행 거동이 예상되는 경우, 측창 디스플레이 너머 위치한 외부 관심 객체에 대한 부가 정보를 측창 디스플레이에 표시하는 위치를 조정하여, 방지턱을 타고 올라가는 과정에서는 상대적으로 기존 위치 대비 낮은 위치에 부가 정보가 표시되도록 하고, 방지턱을 타고 내려오는 과정에서는 상대적으로 직전 위치(방지턱을 타고 올라간 시점) 대비 높은 위치에 부가 정보가 표시되도록 제어한다. In step S4810, driving speed information of the vehicle and deceleration prediction information just before the bump are acquired, and in step S4820, an adjustment value for the display position of additional information according to the driving behavior of the vehicle is calculated in consideration of this. For example, as described above, when a driving behavior over a bump is expected, by adjusting the position where additional information about an external object of interest located beyond the side window display is displayed on the side window display, in the process of climbing up the bump, it is relatively relative to the existing position. The additional information is displayed at a lower position, and in the process of descending the bump, the additional information is displayed at a relatively higher position than the previous position (the point at which the user climbed the bump).

도 49는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다. 49 illustrates a vehicle display control system according to another embodiment of the present invention.

본 발명에 또 다른 실시예에 따른 차량 디스플레이 제어 시스템은 차량 탑승자가 관심을 가지는 차량 외부의 관심 객체를 인식하는 관심 객체 인식부(4910)와, 관심 객체에 대한 3D 정보를 이용하여, 차량 디스플레이를 통해 부가 정보를 합성 표시하도록 제어하는 제어부(4920) 및 부가 정보를 표출시키는 디스플레이부(4930)를 포함한다. A vehicle display control system according to another embodiment of the present invention uses an object of interest recognizing unit 4910 that recognizes an object of interest outside the vehicle that a vehicle occupant is interested in, and 3D information on the object of interest to display the vehicle. and a control unit 4920 that controls additional information to be synthesized and displayed and a display unit 4930 that displays additional information.

관심 객체 인식부(4910)는 차량 외부 환경을 촬영하는 영상 획득 장치로부터 영상 정보를 수신하고, 사용자 모니터링 정보를 이용하여 상기 관심 객체를 인식한다. The object of interest recognizing unit 4910 receives image information from an image acquisition device that captures an external environment of the vehicle and recognizes the object of interest using user monitoring information.

제어부(4920)는 영상 획득 장치로부터 수신한 거리 정보, 줌 설정 정보를 이용하여 관심 객체에 대한 3D 정보를 생성한다. The controller 4920 generates 3D information about the object of interest by using distance information and zoom setting information received from the image capture device.

제어부(4920)는 관심 객체에 대한 3D 정보를 서비스사업자 서버로부터 수신하고, 해당 3D 정보를 합성 표시하도록 제어한다. The controller 4920 controls to receive 3D information on the object of interest from the service provider server, and synthesize and display the corresponding 3D information.

도 50은 본 발명의 또 다른 실시예에 따른 외부 관심 객체의 크기/부피 정보 전환 표시를 도시한다. 50 illustrates switching display of size/volume information of an external object of interest according to another embodiment of the present invention.

도 50의 (a)를 참조하면, 차량 측면에 배치된 카메라는 차량 외부 환경을 촬영하고, 이를 관심 객체 인식부(4910)로 전송한다. 차량 내부에 배치된 카메라, 제스처 획득부, 터치 신호 획득부 중 적어도 어느 하나를 포함하는 관심 객체 인식부(4910)는 차량 내부 탑승자가 차량 외부 환경 중 어떠한 객체를 관심 객체로 두고 있는지 확인한다. Referring to (a) of FIG. 50 , a camera disposed on the side of the vehicle captures an external environment of the vehicle and transmits it to the object-of-interest recognizing unit 4910 . The object-of-interest recognizing unit 4910 including at least one of a camera disposed inside the vehicle, a gesture acquisition unit, and a touch signal acquisition unit determines which object in the environment outside the vehicle is set as an object of interest by an occupant inside the vehicle.

차량 내 탑승자가 측창 디스플레이 너머 위치한 외부 환경 중, 공사 중으로 천막에 의해 가려진 건물에 대해 관심을 가지는 것을 확인하면, 제어부(4920)는 해당 관심 객체에 대한 정보를 조회하고, 측창에 배치된 투명 디스플레이(4930, 디스플레이부)를 통해, 건물의 전환 정보를 부가 정보로 합성하여 표시하도록 제어한다. 이 때, 건물의 높이, 폭, 깊이에 대한 3D 데이터가 각 영역별로 합성 표시될 수 있고, 공사 완료 기간(2022년 9월 25일)에 대한 부가 정보가 합성 표시될 수 있다. 관심 객체 인식부(4910)는 영상 획득 시, 차량 외부를 촬영하는 멀티 카메라와의 거리 및 줌 설정 정보를 이용하여, 외부 관심 객체의 크기 및 부피 정보를 제공한다. 제어부(4920)는 현재 공사중인 건물에 대한 3D AR 정보를 투명 디스플레이를 통해 표시하도록 제어하며, 디스플레이부(4930)는 공사가 완성된 상황을 가정하여 그 건물의 3D AR 정보를 합성하여 표시하고, 크기(가로, 세로, 깊이), 부피 및 넓이에 대한 정보를 측창 투명 디스플레이를 통해 표출시킨다. If it is confirmed that the occupant in the vehicle is interested in a building covered by a tent during construction among the external environments located beyond the side window display, the controller 4920 queries information on the object of interest, and the transparent display disposed on the side window ( 4930, the display unit) controls to synthesize and display the conversion information of the building as additional information. At this time, 3D data on the height, width, and depth of the building may be synthesized and displayed for each area, and additional information on the construction completion period (September 25, 2022) may be synthesized and displayed. When acquiring an image, the object of interest recognizing unit 4910 provides information on the size and volume of the external object of interest by using zoom setting information and a distance to a multi-camera photographing the outside of the vehicle. The control unit 4920 controls 3D AR information on the building currently under construction to be displayed through a transparent display, and the display unit 4930 synthesizes and displays 3D AR information on the building assuming that the construction is completed, Information on size (width, length, depth), volume and area is expressed through a side window transparent display.

도 50의 (b)를 참조하면, 차량 측면에 배치된 카메라는 차량 외부 환경을 촬영하고, 이를 관심 객체 인식부(4910)로 전송한다. 관심 객체는 차량 외부 환경 중 공사 중인 건물인 것을 가정한다. 제어부(4920)는 현재 공사 중인 건물에 대한 최종 3D 데이터를 부동산 서비스 공급자로부터 제공 받고, 공사 완료된 건물의 형상을 부가 정보(AR 정보)로 표시하도록 제어하며, 디스플레이부(4930)는 공사 완료된 건물을 측창 디스플레이를 통해 표출시킨다. 이 때, 건물의 크기, 부피 정보뿐 아니라, 건물의 구조 및 형태에 대한 정보가 표출된다. 제어부(4920)는 차량 내 탑승자가 바라보는 시선, 차량의 위치를 이용하여, 측창 투명 디스플레이를 통해 표출시켜야 할 정보의 각도를 조정한다. 또한, 제어부(4920)는 별도의 입력부를 통해 수신한 사용자의 터치 신호, 제스처 신호, 음성 신호를 통해 사용자의 니즈를 확인하고, 차량 외부 관심 객체를 회전시켜 사용자가 확인할 수 있도록 디스플레이 제어를 수행한다. 즉, 실제로 측창 너머에는 도 50의 (b)와 같이 공사 완료된 건물의 정면을 합성 표시하는 상황에서, 사용자가 음성 신호를 통해 “건물의 뒷면을 보여주세요”라고 발화한 것을 가정한다. 이 때, 제어부(4920)는 측창 투명 디스플레이에 대한 전기 변색을 수행하여 측창 디스플레이를 스크린과 같이 사용하도록 하고, 해당 건물의 3D 데이터를 이용하여 해당 건물의 후면에 대한 이미지 정보를 생성하고, 이를 측창 디스플레이를 통해 표출시키도록 제어한다. Referring to (b) of FIG. 50 , a camera disposed on the side of the vehicle captures an external environment of the vehicle and transmits it to the object-of-interest recognizing unit 4910 . It is assumed that the object of interest is a building under construction among the environment outside the vehicle. The controller 4920 controls to receive final 3D data for the building currently under construction from a real estate service provider, display the shape of the completed building as additional information (AR information), and the display unit 4930 displays the completed building displayed through the side window display. At this time, information on the structure and shape of the building as well as information on the size and volume of the building are displayed. The controller 4920 adjusts the angle of information to be displayed through the side window transparent display using the line of sight of the occupant in the vehicle and the position of the vehicle. In addition, the controller 4920 checks the user's needs through the user's touch signal, gesture signal, and voice signal received through a separate input unit, and rotates the object of interest outside the vehicle to perform display control so that the user can check it. . In other words, it is assumed that the user utters “Show me the back side of the building” through a voice signal in a situation where the front of the building that has been completed is actually synthesized and displayed beyond the side window as shown in (b) of FIG. 50 . At this time, the control unit 4920 performs electrochromism on the side window transparent display to use the side window display as a screen, generates image information on the rear of the building using 3D data of the corresponding building, and converts it to the side window display. It is controlled to be expressed through the display.

도 51은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다. 51 illustrates a vehicle display control method according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법은 차량 외부의 관심 객체를 인식하는 단계(S5110)와, 외부 관심 객체에 대한 정보를 변환하는 단계(S5120) 및 변환 정보를 차량 디스플레이를 통해 표출시키는 단계(S5130)를 포함한다. A vehicle display control method according to another embodiment of the present invention includes recognizing an object of interest outside the vehicle (S5110), converting information on the external object of interest (S5120), and displaying the converted information through the vehicle display. It includes a step of doing (S5130).

S5110 단계는 차량 외부를 촬영하는 멀티 카메라를 이용하여 차량 외부 환경을 인식하고, 차량 내부 탑승자에 대한 모니터링 정보(예: 시선, 터치 신호, 제스처 신호)를 이용하여 차량 내부 탑승자가 관심을 가지는 외부 관심 객체가 무엇인지 인식한다. In step S5110, the external environment of the vehicle is recognized using multi-cameras that take pictures of the outside of the vehicle, and the external interest of the occupant in the vehicle is of interest by using monitoring information (eg, gaze, touch signal, gesture signal) of the occupant inside the vehicle. Recognize what an object is.

S5120 단계는 관심 객체에 대한 3D 데이터를 생성하거나 조회하여, 차량 탑승자를 기준으로 차량 디스플레이 너머에 위치한 관심 객체에 대한 정보를 합성 표시하도록 제어 정보를 생성한다. 이 때, 관심 객체와의 거리, 줌 정보를 이용하여 관심 객체의 크기 및 부피 정보를 변환한다. 또는, 관심 객체에 대한 정보를 데이터베이스에서 조회하거나 서비스사업자 서버로부터 제공 받아, 크기, 부피 등의 부가 정보를 생성한다. In operation S5120 , 3D data of the object of interest is generated or retrieved, and control information is generated to synthesize and display information about the object of interest positioned beyond the vehicle display based on the vehicle occupant. At this time, the size and volume information of the object of interest is converted using the distance to the object of interest and zoom information. Alternatively, information on the object of interest is retrieved from a database or provided from a service provider server, and additional information such as size and volume is generated.

도 52는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다. 52 illustrates a vehicle display control system according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템은 복수의 디스플레이 영역 간 컨텐츠 이동에 대한 요청을 수신하는 컨텐츠 이동 입력부(5210)와, 이동 요청에 따라 컨텐츠 이동 제어 명령을 생성하는 제어부(5220) 및 컨텐츠 이동 제어 명령에 따라 컨텐츠를 표시하는 디스플레이부(5230)를 포함한다. A vehicle display control system according to another embodiment of the present invention includes a content movement input unit 5210 receiving a request for content movement between a plurality of display areas, and a control unit 5220 generating a content movement control command according to the movement request. and a display unit 5230 displaying content according to a content movement control command.

컨텐츠 이동 입력부(5210)는 제스처, 음성, 홈버튼 입력, 스마트폰 입력 중 적어도 어느 하나의 사용자 요청을 수신하여 컨텐츠 이동에 대한 요청을 수신한다. The content movement input unit 5210 receives a request for content movement by receiving a user request of at least one of gesture, voice, home button input, and smartphone input.

제어부(5220)는 이동 요청에 따른 컨텐츠 표시 영역의 할당 정보를 고려하여 컨텐츠의 재생 영역을 결정하고, 그에 따른 컨텐츠 이동 제어 명령을 생성한다. The controller 5220 determines a content reproduction area in consideration of allocation information of a content display area according to a movement request, and generates a content movement control command accordingly.

제어부(5220)는 컨텐츠의 재생 영역 이동 정보를 고려하여 사운드 재생 및 시트 회전 중 적어도 어느 하나를 제어하는 제어 명령을 생성한다. The controller 5220 generates a control command for controlling at least one of sound reproduction and sheet rotation in consideration of the reproduction area movement information of the content.

도 53은 본 발명의 또 다른 실시예에 따른 컨텐츠 이동 시 디스플레이 표출 영역 및 시트 제어를 도시한다. 53 illustrates display area and sheet control when content is moved according to another embodiment of the present invention.

도 53 의 (a)를 참조하면, 차량 내 탑승자(초록색 원으로 표시한 부분)는 전방 디스플레이를 이용하여 컨텐츠를 시청한다. 이 때, 프로젝션 디스플레이 방식을 이용하여 전방 프로젝션 영상을 감상하며, 좌우 스피커가 재생된다. 도 53의 (b)를 참조하면, 차량 내 탑승자의 제스처를 인식하거나, 화면 버튼 입력을 이용하거나, 스마트폰을 통한 입력을 이용하여 영상 이동을 실행한다. 영상 이동 시, 두 디스플레이 간 간격을 최소화하기 위해, 투명 디스플레이 전면 디스플레이 측으로 무빙이 이루어진다. 도 53의 (c)를 참조하면, 전방 디스플레이에서 실행되고 있는 동영상 컨텐츠를 측창 디스플레이로 이동하여 연속성 있게 재생시킨다. 이 때, 동영상 배치 위치에 따라 재생 영역이 달라지는데, 측창 디스플레이가 2 영역으로 분할된 것을 가정하면, 제1 영역 또는 제2 영역으로 드롭(drop)함에 따라, 해당 영역에서 컨텐츠가 재생되고, 제1 영역과 제2 영역에 걸쳐 드롭(drop)하게 되면, 전체 화면(제1 영역 + 제2 영역)에 컨텐츠가 재생된다. Referring to (a) of FIG. 53 , a vehicle occupant (a portion indicated by a green circle) watches content using a front display. At this time, a front projection image is viewed using a projection display method, and left and right speakers are played. Referring to (b) of FIG. 53 , video movement is performed by recognizing a gesture of a passenger in a vehicle, using a screen button input, or using an input through a smartphone. When moving an image, in order to minimize the distance between the two displays, moving is made to the front display side of the transparent display. Referring to (c) of FIG. 53 , video content being executed on the front display is moved to the side window display and reproduced continuously. At this time, the playback area is different depending on the position where the video is placed. Assuming that the side window display is divided into two areas, content is played in the corresponding area as it is dropped to the first area or the second area. When dropped across the area and the second area, the content is reproduced on the entire screen (first area + second area).

도 53의 (d), (e), (f), (g)를 참조하면, 프로젝션 디스플레이로부터 투명 디스플레이로 영상이 이동되며, 시트회전이 이루어진다. 이 때, 스피커 위상 조절을 통해 영상과 함께 이동하며 재생되며, 영상, 사운드, 시트가 사용자 니즈에 따라 제어된다. 전술한 바와 같이, 측창 투명 디스플레이의 영역이 분할된 것을 가정하면, 제1 영역(③) 또는 제2 영역(①)으로 드롭(drop)함에 따라, 해당 영역에서 컨텐츠가 재생되고, 제1 영역과 제2 영역에 걸쳐 드롭(drop)하게 되면(②), 전체 화면(제1 영역 + 제2 영역)에 컨텐츠가 재생된다Referring to (d), (e), (f), and (g) of FIG. 53 , an image is moved from the projection display to the transparent display, and the sheet is rotated. At this time, it is reproduced moving along with the video through speaker phase adjustment, and the video, sound, and seat are controlled according to the user's needs. As described above, assuming that the area of the side window transparent display is divided, content is reproduced in the corresponding area as it is dropped into the first area ③ or the second area ①, and the first area and When dropped over the second area (②), the content is played on the entire screen (first area + second area).

도 54는 본 발명의 또 다른 실시예에 따른 컨텐츠 이동 시 디스플레이 표출 영역 제어를 도시한다. 54 illustrates control of a display area when content is moved according to another embodiment of the present invention.

탑승자 A는 전방 디스플레이를 이용하여 컨텐츠를 시청하고, 탑승자 C와 탑승자 B는 측창 디스플레이 내 영역을 할당받고 외부 관심 객체에 대한 부가 정보(AR 정보)를 확인한다. Passenger A watches content using the front display, and passenger C and passenger B are allocated areas within the side window display and check additional information (AR information) on an external object of interest.

탑승자 A가 탑승자 B 에게 영상 컨텐츠를 전달하게 되면, 탑승자 A는 전방 디스플레이를 이용하여, 탑승자 B는 측창 디스플레이 중 할당받은 영역에서 동일한 영상 컨텐츠를 시청하게 된다. When passenger A delivers video content to passenger B, passenger A uses the front display, and passenger B watches the same video content in the allocated area of the side window display.

탑승자 B는 측창 디스플레이를 이용한 동영상 재생 영역에서 확장 기능을 요청할 수 있는데, 이 때 시선 인식, 제스처 인식 등을 이용하여 탑승자 B 의 컨텐츠 시청 영역을 탑승자 C가 할당받은 영역까지 확장할 것을 요청할 수 있다. 탑승자 C는 확장 이후 디스플레이 내 재할당된 영역을 이용하여 외부 관심 객체에 대한 부가 정보(AR 정보)를 확인할 수 있다. Passenger B can request an extension function in the video playback area using the side window display. At this time, it is possible to request that the content viewing area of passenger B be expanded to the area assigned to passenger C by using gaze recognition and gesture recognition. After expansion, the occupant C can check additional information (AR information) on the external object of interest by using the reallocated area in the display.

도 55는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다. 55 illustrates a vehicle display control method according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법은 컨텐츠 이동 입력을 수신하는 단계(S5510)와, 컨텐츠 이동 제어에 대한 명령을 생성하는 단계(S5520) 및 명령에 따라 컨텐츠 표출 영역을 이동시키고 컨텐츠 디스플레이를 수행하는 단계(S5530)를 포함한다. A vehicle display control method according to another embodiment of the present invention includes receiving a content movement input (S5510), generating a command for content movement control (S5520), moving a content display area according to the command, and and performing a display (S5530).

S5510 단계는 차량 내 탑승자의 제스처, 음성, 화면 버튼 입력, 스마트폰 입력 중 적어도 어느 하나의 입력 수단을 통해 컨텐츠의 디스플레이 영역 이동에 대한 요청을 수신한다. In step S5510, a request for moving the display area of the content is received through at least one input means among a gesture, voice, screen button input, and smartphone input of a passenger in the vehicle.

S5520 단계는 동영상 배치 위치에 따라 재생 영역이 설정되도록 컨텐츠 이동 제어에 대한 명령을 생성한다. In step S5520, a command for content movement control is generated so that a play area is set according to the video arrangement position.

S5530 단계는 컨텐츠 표출 영역을 이동시킴에 따라 사운드 재생을 제어하고, 시트 방향을 변경시킨다. In step S5530, sound reproduction is controlled and the direction of the sheet is changed as the content display area is moved.

도 56은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다. 56 illustrates a vehicle display control system according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템은 차량 내 탑승자의 디스플레이 영역에 대한 시선 정보를 획득하는 시선 인식부(5610)와, 시선 정보에 따라 디스플레이 점유 주도권 요청 및 수락을 제어하는 제어부(5620) 및 주도권 요청 및 수락 여부에 따라 컨텐츠를 디스플레이하는 디스플레이부(5630)를 포함한다. A vehicle display control system according to another embodiment of the present invention includes a gaze recognition unit 5610 that obtains gaze information on a display area of a passenger in a vehicle, and a controller that controls request and acceptance of display occupancy initiative according to the gaze information ( 5620) and a display unit 5630 for displaying content according to the initiative request and acceptance.

시선 인식부(5610)의 인식 결과, 제1 탑승자가 자신에게 할당된 화면을 응시하지 않고, 제2 탑승자가 제1 탑승자에게 할당된 화면을 응시하며 주도권을 요청하는 것으로 확인되면, 제어부(5620)는 제1 탑승자에게 할당된 화면에 대한 주도권을 제2 탑승자에게 부여하도록 제어한다. As a result of recognition by the gaze recognition unit 5610, if it is confirmed that the first passenger does not gaze at the screen assigned to him and the second passenger gazes at the screen assigned to the first passenger and requests initiative, the control unit 5620 controls to give the second passenger the initiative for the screen assigned to the first passenger.

시선 인식부(5610)의 인식 결과, 제1 탑승자가 자신에게 할당된 화면을 응시하고, 제2 탑승자가 제1 탑승자에게 할당된 화면을 응시하며 주도권을 요청하는 경우, 제어부(5620)는 주도권 요청이 불가한 것으로 판단하면 제1 탑승자에게 주도권 요청에 대한 알림을 전송하지 않도록 제어한다. As a result of the recognition by the gaze recognition unit 5610, when the first passenger gazes at the screen assigned to him and the second passenger gazes at the screen assigned to the first passenger and requests initiative, the control unit 5620 requests initiative. If it is determined that this is not possible, control is performed not to transmit a notification regarding the initiative request to the first occupant.

시선 인식부(5610)의 인식 결과, 제1 탑승자가 자신에게 할당된 화면을 응시하고, 제2 탑승자가 제1 탑승자에게 할당된 화면을 응시하며 주도권을 요청하는 경우, 제어부(5620)는 주도권 요청이 가능한 것으로 판단하면 제1 탑승자에게 주도권 요청에 대한 알림을 전송하고, 제1 탑승자가 수락하는 경우 제1 탑승자가 이용 중인 기능 위젯을 최소화하는 제어 명령을 디스플레이부(5630)로 전송한다. As a result of the recognition by the gaze recognition unit 5610, when the first passenger gazes at the screen assigned to him and the second passenger gazes at the screen assigned to the first passenger and requests initiative, the control unit 5620 requests initiative. If it is determined that this is possible, a notification about the request for initiative is transmitted to the first passenger, and if the first passenger accepts, a control command for minimizing the function widget being used by the first passenger is transmitted to the display unit 5630.

도 57은 본 발명의 또 다른 실시예에 따른 시선 모니터링 결과에 따른 디스플레이 점유 제어를 도시한다. 57 illustrates display occupancy control according to a gaze monitoring result according to another embodiment of the present invention.

도 57의 (a)를 참조하면, 차량 디스플레이의 영역은 기설정 개수(예: 2개)의 영역으로 분할되어, 각 탑승자(탑승자 A, 탑승자 B)에게 할당된다. 탑승자 A는 자신에게 할당된 영역을 이용하여 음악을 듣고, 음악 재생에 관한 화면이 그 영역에 디스플레이된다. 탑승자 B는 자신에게 할당된 영역을 이용하여 동영상을 시청하고, 동영상 재생에 관한 화면이 그 영역에 디스플레이된다. 탑승자 A의 디스플레이 영역에서 음악이 실행되고 있는데, 아이 트래킹 카메라의 영상 획득 결과 탑승자 A의 시선은 디스플레이 영역을 응시하지 않고 있는 상황임을 가정한다. 이 때, 탑승자 A는 탑승자 B에게 주도권 요청을 할 수 없는 반면, 탑승자 B는 탑승자 A에게 주도권 요청을 할 수 있다. Referring to (a) of FIG. 57 , the area of the vehicle display is divided into a predetermined number (eg, two) of areas and allocated to each occupant (occupant A, occupant B). The occupant A listens to music using the area assigned to him/her, and a screen related to music reproduction is displayed in the area. Passenger B watches a video using the area assigned to him/her, and a screen related to video playback is displayed in the area. It is assumed that while music is playing in the display area of passenger A, the gaze of passenger A is not gazing at the display area as a result of image acquisition by the eye tracking camera. At this time, while passenger A cannot request initiative from passenger B, passenger B can request initiative from passenger A.

도 57의 (b)를 참조하면, 탑승자 B는 탑승자 A에게 할당된 화면을 기설정 시간 이상 응시하거나, 특정 제스처를 취함으로써, 탑승자 A에게 할당된 화면에 대한 주도권을 요청한다. 도 57의 (c)를 참조하면, 탑승자 B가 탑승자 A에게 할당된 화면에 대한 주도권을 획득함으로써, 전체 차량 디스플레이 영역에 대한 화면 조작이 가능하다. Referring to (b) of FIG. 57, passenger B requests initiative on the screen assigned to passenger A by staring at the screen assigned to passenger A for a predetermined period of time or by making a specific gesture. Referring to (c) of FIG. 57 , when passenger B acquires initiative on a screen assigned to passenger A, screen manipulation of the entire vehicle display area is possible.

도 58은 본 발명의 또 다른 실시예에 따른 시선 모니터링 결과에 따른 주도권 요청 불가에 대한 제어 상황을 도시한다. 58 illustrates a control situation for inability to request initiative according to a result of gaze monitoring according to another embodiment of the present invention.

도 58의 (a)를 참조하면, 차량 디스플레이의 영역은 기설정 개수(예: 2개)의 영역으로 분할되어, 각 탑승자(탑승자 A, 탑승자 B)에게 할당된다. 탑승자 A는 자신에게 할당된 영역을 이용하여 음악을 듣고, 음악 재생에 관한 화면이 그 영역에 디스플레이된다. 탑승자 B는 자신에게 할당된 영역을 이용하여 동영상을 시청하고, 동영상 재생에 관한 화면이 그 영역에 디스플레이된다. 아이 트래킹 카메라의 영상 획득 결과 탑승자 A 및 탑승자 B의 시선은 각각 자신에게 할당된 디스플레이 영역을 응시하는 상황임을 가정한다(탑승자 A는 시선 인식 기능을 이용하여 곡을 탐색하고 있고, 탑승자 B는 자신에게 할당된 디스플레이 영역에서 재생 중인 동영상을 시청중임). Referring to (a) of FIG. 58 , the area of the vehicle display is divided into a predetermined number (eg, two) of areas and allocated to each occupant (occupant A, occupant B). The occupant A listens to music using the area assigned to him/her, and a screen related to music reproduction is displayed in the area. Passenger B watches a video using the area assigned to him/her, and a screen related to video playback is displayed in the area. As a result of image acquisition by the eye tracking camera, it is assumed that the gazes of passengers A and B are each gazing at the display area allocated to them (passenger A is searching for a song using the gaze recognition function, and passenger B is looking at himself). You are watching a video playing in the allocated display area).

도 58의 (b)를 참조하면, 탑승자 B가 탑승자 A에게 할당된 화면을 기설정 시간 이상 응시하거나, 특정 제스처를 취하더라도, 주도권 버튼에 대한 하이라이트 처리가 되지 않고, 주도권 요청이 불가한 상태가 된다. 즉, 탑승자 A와 B는 각각 자신에게 할당된 영역 내에서 컨텐츠를 재생시킬 수 있을 뿐, 서로의 영역에 대한 주도권을 요청할 수 없다. Referring to (b) of FIG. 58 , even if passenger B stares at a screen assigned to passenger A for a predetermined amount of time or performs a specific gesture, the initiative button is not highlighted and the initiative request is not possible. do. That is, passengers A and B can only play content within the area assigned to them, but cannot request initiative for each other's area.

도 59는 본 발명의 또 다른 실시예에 따른 시선 모니터링 결과에 따른 주도권 요청 및 수락에 대한 제어 상황을 도시한다. 59 illustrates a control situation for requesting and accepting initiative according to a gaze monitoring result according to another embodiment of the present invention.

도 59의 (a)를 참조하면, 차량 디스플레이의 영역은 기설정 개수(예: 2개)의 영역으로 분할되어, 각 탑승자(탑승자 A, 탑승자 B)에게 할당된다. 탑승자 A는 자신에게 할당된 영역을 이용하여 음악을 듣고, 음악 재생에 관한 화면이 그 영역에 디스플레이된다. 탑승자 B는 자신에게 할당된 영역을 이용하여 동영상을 시청하고, 동영상 재생에 관한 화면이 그 영역에 디스플레이된다. 아이 트래킹 카메라의 영상 획득 결과 탑승자 A 및 탑승자 B의 시선은 각각 자신에게 할당된 디스플레이 영역을 응시하는 상황임을 가정한다(탑승자 A는 시선 인식 기능을 이용하여 곡을 탐색하고 있고, 탑승자 B는 자신에게 할당된 디스플레이 영역에서 재생 중인 동영상을 시청중임). Referring to (a) of FIG. 59 , the area of the vehicle display is divided into a predetermined number (eg, two) of areas and allocated to each occupant (occupant A, occupant B). The occupant A listens to music using the area assigned to him/her, and a screen related to music reproduction is displayed in the area. Passenger B watches a video using the area assigned to him/her, and a screen related to video playback is displayed in the area. As a result of image acquisition by the eye tracking camera, it is assumed that the gazes of passengers A and B are each gazing at the display area allocated to them (passenger A is searching for a song using the gaze recognition function, and passenger B is looking at himself). You are watching a video playing in the allocated display area).

도 59의 (b)를 참조하면, 동영상 컨텐츠의 경우 음악 컨텐츠보다 영역 주도권에 대한 우선 순위가 앞서는 것을 가정한다. 따라서, 탑승자 B가 탑승자 A에게 할당된 화면을 기설정 시간 이상 응시하거나, 특정 제스처를 취하는 경우, 탑승자 B의 주도권 요청에 대해 팝업 메시지가 표시된다. Referring to (b) of FIG. 59 , it is assumed that video content takes precedence over music content. Accordingly, when passenger B stares at the screen assigned to passenger A for a predetermined amount of time or performs a specific gesture, a pop-up message is displayed in response to passenger B's request for initiative.

도 59의 (c)를 참조하면, 탑승자 A가 탑승자 B의 주도권 요청을 수락하면, 탑승자 A가 사용하던 음악 위젯은 최소화되고, 지속적으로 탑승자 A에 의한 곡 탐색이 가능하다. 탑승자 B는 종전에 탑승자 A에게 할당된 디스플레이 영역을 이용하여, 탑승자 B 자신에게 할당된 디스플레이 영역을 화장하는 용도로 사용하고 비디오 재생 영역을 크게 보는 것이 가능하다. Referring to (c) of FIG. 59 , when passenger A accepts passenger B's request for initiative, the music widget used by passenger A is minimized, and it is possible for passenger A to continuously search for songs. Passenger B uses the display area previously allocated to passenger A, uses the display area allocated to passenger B for makeup purposes, and can enlarge the video playback area.

도 60은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다. 60 illustrates a vehicle display control method according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법은 탑승자의 시선을 인식하는 단계(S6010)와, 시선 인식 결과에 따라 분할 디스플레이 영역에 대한 주도권을 제어하는 단계(S6020) 및 주도권 설정에 따른 디스플레이 점유를 제어하는 단계(S6030)를 포함한다. A vehicle display control method according to another embodiment of the present invention includes recognizing a passenger's gaze (S6010), controlling initiative for a divided display area according to the gaze recognition result (S6020), and display according to initiative setting. and controlling occupancy (S6030).

S6010 단계에서 제1 탑승자가 자신에게 할당된 화면을 응시하지 않고, 제2 탑승자가 제1 탑승자에게 할당된 화면을 응시하는 것으로 확인하는 경우, S6020 단계는 제2 탑승자에게 제1 탑승자에게 할당된 화면을 재할당하도록 주도권을 제어한다. If it is determined in step S6010 that the first passenger does not gaze at the screen assigned to him and the second passenger gazes at the screen assigned to the first passenger, step S6020 provides the second passenger with the screen assigned to the first passenger. control initiative to reallocate

S6010 단계에서 제1 탑승자가 자신에게 할당된 화면을 응시하고, 제2 탑승자가 제1 탑승자에게 할당된 화면을 응시하는 것으로 확인하는 경우, 주도권 요청이 불가한 상황에서 S6020 단계는 주도권 요청 알림을 전송하지 않도록 제어한다. In step S6010, when it is confirmed that the first occupant gazes at the screen assigned to him/herself and the second occupant gazes at the screen assigned to the first occupant, step S6020 transmits a initiative request notification in a situation where a request for initiative is not possible. control not to

S6010 단계에서 제1 탑승자가 자신에게 할당된 화면을 응시하고, 제2 탑승자가 제1 탑승자에게 할당된 화면을 응시하는 것으로 확인하는 경우, 주도권 요청이 가능한 상황에서 S6020 단계는 제1 탑승자에게 제2 탑승자의 주도권 요청 알림을 제공한다. 제1 탑승자가 주도권을 부여를 허용하는 경우, S6030 단계는 제1 탑승자가 이용 중인 기능 위젯을 최소화시키도록 디스플레이 점유 제어를 수행한다. If it is determined in step S6010 that the first passenger gazes at the screen assigned to him/herself and the second passenger gazes at the screen assigned to the first passenger, in a situation in which initiative can be requested, step S6020 provides the first passenger with a second message. Provides a notification of the passenger's request for initiative. When the first passenger permits giving the initiative, in step S6030, display occupancy control is performed to minimize the function widget being used by the first passenger.

도 61은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다. 61 illustrates a vehicle display control system according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템은 위젯 이동에 대한 사용자 요청을 인식하는 동작 인식부(6110)와, 사용자 요청에 따라 차량 디스플레이 내 영역에서 위젯 이동 제어 명령을 생성하는 위젯 이동 제어부(6120) 및 위젯 이동 제어 명령에 따라 위젯을 디스플레이하는 디스플레이부(6130)를 포함한다. A vehicle display control system according to another embodiment of the present invention includes an action recognition unit 6110 that recognizes a user request for moving a widget, and a widget movement control unit that generates a widget movement control command in an area within a vehicle display according to the user's request. 6120 and a display unit 6130 that displays a widget according to a widget movement control command.

동작 인식부(6110)는 터치 입력 신호, 제스처 입력 신호, 시선 정보 중 적어도 어느 하나를 이용하여 사용자 요청을 인식한다. The motion recognition unit 6110 recognizes a user request using at least one of a touch input signal, a gesture input signal, and gaze information.

제어부(6120)는 복수의 영역으로 분할된 차량 디스플레이 내 영역에서, 위젯 터치로 스크롤 시 위젯 그룹에 대해 영역 간 이동시키도록 제어 명령을 생성한다. The controller 6120 generates a control command to move a widget group between regions when scrolling by touching a widget in a region of the vehicle display divided into a plurality of regions.

제어부(6120)는 복수의 탑승자의 위치에 따라 영역을 할당하고, 각 탑승자의 요청에 따라 위젯 이동 제어 명령을 생성한다. The controller 6120 allocates an area according to the positions of a plurality of passengers and generates a widget movement control command according to each passenger's request.

제어부(6120)는 제1 영역에 대한 스크롤 시, 해당 위젯 드로어에서만 스크롤이 동작되도록 제어 명령을 생성하고, 제2 영역의 위젯 드로어는 숨김 처리하는 제어 명령을 생성한다. When scrolling in the first area, the controller 6120 generates a control command to operate the scroll only in the corresponding widget drawer, and generates a control command to hide the widget drawer in the second area.

제어부(6120)는 위젯에 대한 사용자의 응시 여부를 판단하여 해당 위젯에 대한 하이라이트 표시에 대한 제어 명령을 생성한다. The controller 6120 determines whether the user gazes at the widget and generates a control command for displaying a highlight on the corresponding widget.

제어부(6120)는 제1 영역 내 기설정된 끝단 영역에 위젯을 드래그 앤드 홀드하는 경우, 하단 위젯 그룹을 영역 간 이동시키는 제어 명령을 생성한다. The controller 6120 generates a control command for moving the lower widget group between areas when dragging and holding a widget to a predetermined end area within the first area.

도 62는 본 발명의 또 다른 실시예에 따른 복수의 사용자 인식에 따른 화면 조작 과정을 도시한다. 62 illustrates a screen manipulation process according to recognizing a plurality of users according to another embodiment of the present invention.

도 62를 참조하면, 사이드 디스플레이는 복수의 영역(예: 2개)으로 분할된다. 사용자 A는 복수의 영역에 대한 제어권을 가지고 있고, 제1 영역(좌측 영역)의 하단에 1 내지 4 위젯이, 제2 영역(우측 영역)의 하단에 5 내지 8 위젯이 배치된다. Referring to FIG. 62 , the side display is divided into a plurality of areas (eg, two areas). User A has control over a plurality of areas, and 1 to 4 widgets are disposed at the bottom of the first area (left area) and 5 to 8 widgets are placed at the bottom of the second area (right area).

사용자 A가 디스플레이 영역 하단의 터치 신호를 인가하여 스크롤 시, 4개의 위젯으로 구성된 그룹 별로 디스플레이간 이동이 발생된다. 즉, 제2 영역에 1 내지 4 위젯이, 제1 영역에 5 내지 8 위젯이 배치되도록 이동이 발생되며, 마그네틱 스냅(magnetic snap)되어 정렬된다. When user A scrolls by applying a touch signal at the bottom of the display area, movement between displays occurs for each group composed of four widgets. That is, movement occurs so that widgets 1 to 4 are disposed in the second area and widgets 5 to 8 are placed in the first area, and they are aligned by magnetic snapping.

제1 영역에 대해 사용자 A가 할당되어 사용 중이고, 제2 영역에 대해 사용자 B가 할당되어 사용 중인 경우, 사이드 디스플레이에 상대적으로 근접한 사용자 A는 화면 터치를 이용하여 위젯 스크롤(scroll)을 입력한다. 사이드 디스플레이로부터 상대적으로 더 떨어진 사용자 B의 경우, 원거리 조작을 위해 시선 인식, 제스처 인식, 스마트폰 조작 인식 중 적어도 어느 하나의 방식을 통해 위젯 스크롤을 입력한다. 예컨대, 사용자 B의 시선 인식 또는 제스처 인식을 통해, 제2 영역의 하단에서 사용자 B의 1, 2, 3, 4 위젯에서 5, 6, 7, 8, 위젯으로 스크롤이 발생된다. When user A is allocated and using the first area and user B is allocated and using the second area, user A, who is relatively close to the side display, uses a screen touch to scroll the widget. In the case of user B, who is relatively further away from the side display, a widget scroll is input through at least one of gaze recognition, gesture recognition, and smartphone manipulation recognition for remote manipulation. For example, through user B's gaze recognition or gesture recognition, scrolling occurs from widgets 1, 2, 3, and 4 of user B to widgets 5, 6, 7, and 8 at the bottom of the second area.

도 63은 본 발명의 또 다른 실시예에 따른 디스플레이 분리에 따른 개인화된 조작 과정을 도시한다. 63 illustrates a personalized manipulation process according to display separation according to another embodiment of the present invention.

제1 영역 및 제2 영역에 사용자 A가 할당되어, 제1 영역의 하단에 위젯 1 내지 4가, 제2 영역의 하단에 위젯 5 내지 8이 배치되는 것을 가정한다. 이 때, 다른 사용자(사용자 B)의 시선을 인식한 경우, 위젯 드로어(widget drawer)를 사용자 별로 제공한다. 이 때, 제1 영역 또는 제2 영역 중 어느 하나를 사용자의 탑승 위치, 시선 방향을 고려하여 재할당하며, 도 63을 참조하면 제1 영역을 사용자 A에게, 제2 영역을 사용자 B에게 재할당한 것을 도시한다. 제1 영역(디스플레이 A)에서 스크롤 시, 이는 해당 드로어(drawer)에서만 동작하고, 제2 영역(디스플레이 B)에서 드로어(drawer)는 숨김 처리된다. It is assumed that user A is assigned to the first area and the second area, and widgets 1 to 4 are disposed below the first area and widgets 5 to 8 are disposed below the second area. In this case, when the gaze of another user (user B) is recognized, a widget drawer is provided for each user. At this time, either the first area or the second area is reallocated in consideration of the user's boarding position and gaze direction. Referring to FIG. 63, the first area is reallocated to user A and the second area to user B. show one When scrolling in the first area (display A), it operates only in the corresponding drawer, and the drawer in the second area (display B) is hidden.

도 64는 본 발명의 또 다른 실시예에 따른 원거리 사용자의 화면 조작 과정을 도시한다. 64 illustrates a screen manipulation process by a remote user according to another embodiment of the present invention.

사이드 디스플레이의 분할 영역 중 제1 영역이 사용자 A에게, 제2 영역이 사용자 B에게 할당된 상황임을 가정한다. It is assumed that among the divided areas of the side display, a first area is allocated to user A and a second area is allocated to user B.

사용자 B가 디스플레이 하단을 응시하는 것을 인식하면(widget eye gaze), 시선 방향에 해당하는 위젯(위젯 3)을 하이라이트 처리한다. 이후, 사용자 B가 제스처(grab)를 이용하여 위젯 영역을 선택하여 좌우 이동 요청하는 경우, 위젯 스크롤 동작이 발생된다. 또한, 사용자 B가 특정 위젯을 바라보며 핀치(pinch) 제스처를 행하는 경우, 해당 위젯을 선택하는 동작으로 인식된다. 해당 위젯(위젯 7)을 선택하는 경우, 해당 위젯이 제2 영역 중 상단 영역으로 확대되어 표시된다. Upon recognizing that user B is gazing at the bottom of the display (widget eye gaze), a widget (widget 3) corresponding to the gaze direction is highlighted. Thereafter, when user B selects a widget area using a grab and requests left and right movement, a widget scroll operation occurs. Also, when user B makes a pinch gesture while looking at a specific widget, it is recognized as an action of selecting the corresponding widget. When a corresponding widget (widget 7) is selected, the corresponding widget is enlarged and displayed in the upper region of the second region.

도 65는 본 발명의 또 다른 실시예에 따른 터치 입력 신호를 이용한 개별 위젯 이동 과정을 도시한다. 65 illustrates a process of moving an individual widget using a touch input signal according to another embodiment of the present invention.

터치 입력을 통해 위젯 2를 길게 누르는 경우(long press), 재정렬 모드(rearrange mode)에 진입한다. 해당 위젯을 원하는 위치에 드래그 앤 드롭(drag and drop)하게 되면, 위젯 배치 순서가 변경된다. 예컨대, 도 65에 도시한 바와 같이, 전술한 제1 영역의 하단에 1, 2, 3, 4의 위젯 배치 상태에서, 1, 3, 2, 4 위젯 배치 상태로 변경된다. When widget 2 is long pressed through touch input (long press), rearrange mode is entered. When the corresponding widget is dragged and dropped to a desired location, the arrangement order of the widget is changed. For example, as shown in FIG. 65 , the arrangement state of 1, 2, 3, and 4 widgets at the bottom of the first area is changed to the arrangement state of 1, 3, 2, and 4 widgets.

도 66은 본 발명의 또 다른 실시예에 따른 시선인식 및 제스처를 이용한 개별 위젯 이동 과정을 도시한다. 66 illustrates a process of moving individual widgets using gaze recognition and gestures according to another embodiment of the present invention.

사이드 디스플레이에서 비교적 멀리 떨어져 있는 탑승자의 경우, 디스플레이 하단을 응시하게 되면, 해당 시선 방향에 대응되는 영역의 위젯에 대해 하이라이트 처리되어 표시된다. 사용자가 특정 제스처를 이용하여 위젯 영역을 그랩(grab)하여 기설정 시간(n초) 동안 홀드(hold)하는 경우, 재정렬 모드로 진입하게 된다. 그랩한 위젯에 대해 좌우 이동이 가능하며, 사용자는 이를 원하는 위치에 드래그 앤 드롭을 통해 순서를 변경시킬 수 있다. 즉, 전술한 제1 영역의 하단에 1, 2, 3, 4의 순서로 배치된 상태에서, 1, 3, 2, 4 위젯 배치 상태로 변경시킬 수 있다. When an occupant who is relatively far from the side display gazes at the bottom of the display, widgets in an area corresponding to the direction of the gaze are highlighted and displayed. When a user grabs a widget area using a specific gesture and holds it for a predetermined time (n seconds), a reordering mode is entered. Left and right movement of the grabbed widget is possible, and the user can change the order by dragging and dropping it to a desired location. That is, it is possible to change from the state in which widgets are arranged in the order of 1, 2, 3, and 4 at the bottom of the first area to the arrangement state of 1, 3, 2, and 4 widgets.

도 67은 본 발명의 또 다른 실시예에 따른 단일 위젯 이동을 통한 위젯 그룹 이동 과정을 도시한다. 67 illustrates a process of moving a widget group through moving a single widget according to another embodiment of the present invention.

전술한 예와 같이, 제1 영역이 사용자 A에게 할당되고, 제2 영역이 사용자 B에게 할당된 상황임을 가정한다. 제1 영역의 하단에는 1, 2, 3, 4 위젯이 차례로 배치되고, 제2 영역의 하단에는 5, 6, 7, 8 위젯이 차례로 배치된다. As in the above example, it is assumed that the first area is allocated to user A and the second area is allocated to user B. Widgets 1, 2, 3, and 4 are sequentially disposed at the bottom of the first area, and widgets 5, 6, 7, and 8 are sequentially disposed at the bottom of the second area.

사용자 A가 제1 영역의 위젯(위젯 2)를 제1 영역의 끝 쪽에 드래그 앤드 홀드(drag and hold)하는 경우, 하단의 위젯 그룹이 이동하게 된다. 즉, 1 내지 4 위젯을 포함한 그룹이 제2 영역의 하단으로 이동하고, 5 내지 8 위젯을 포함한 그룹이 제1 영역의 하단으로 이동하게 된다. When user A drags and holds the widget (widget 2) of the first area toward the end of the first area, the lower widget group is moved. That is, the group including 1 to 4 widgets moves to the bottom of the second area, and the group including 5 to 8 widgets moves to the bottom of the first area.

또한, 사용자 A가 원하는 위치에 해당 위젯(위젯 2)를 릴리즈(release)하는 경우, 순서 변경이 완료되어, 제1 영역의 하단에는 5, 6, 2, 7 위젯이 차례로 배치되고, 제2 영역의 하단에는 8, 1, 3, 4 위젯이 차례로 배치된다. In addition, when user A releases the corresponding widget (widget 2) at a desired location, the order change is completed, and 5, 6, 2, and 7 widgets are sequentially arranged at the bottom of the first area, and the second area At the bottom of , 8, 1, 3, and 4 widgets are arranged in order.

좌측 위젯 그룹으로 왼쪽을 스와이프(swipe)하게 되면, 디스플레이 간 위젯 그룹이 변경된다. 즉, 제1 영역의 하단에 8, 1, 3, 4 위젯이 차례로 배치되고, 제2 영역의 하단에 5, 6, 2, 7 위젯이 차례로 배치된다. If you swipe left to the left widget group, the widget group is changed between displays. That is, widgets 8, 1, 3, and 4 are sequentially disposed at the bottom of the first area, and widgets 5, 6, 2, and 7 are sequentially disposed at the bottom of the second area.

하나의 위젯을 분리된 디스플레이로 이동시키기 위해 해당 위젯을 드래그 앤드 드롭해야 원하는 위치에 배치할 수 있으나, 화면이 물리적으로 분리되어 있는 경우 제1 영역으로부터 제2 영역으로 드래그 하는 경우, 터치가 끊기는 현상이 발생된다. 분리된 2개의 디스플레이 간 위젯 이동을 용이하게 수행하기 위해, 제1 영역의 위젯을 이동하고자 하는 방향의 끝 쪽에 드래그 앤드 홀드하는 경우, 하단의 위젯 그룹이 이동되어 원하는 위치(제2 영역의 하단)에 배치된다. 1개의 위젯 이동을 통해, 복수의 위젯으로 구성된 그룹의 이동이 가능하다. In order to move a widget to a separate display, you must drag and drop the widget to place it in a desired location, but when the screen is physically separated, when dragging from the first area to the second area, the touch is disconnected this occurs In order to easily move widgets between two separated displays, when the widget of the first area is dragged and held at the end of the direction to be moved, the widget group at the bottom is moved to a desired position (bottom of the second area) is placed on A group composed of a plurality of widgets can be moved by moving one widget.

도 68은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.68 illustrates a vehicle display control method according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법은 사용자 동작을 인식하는 단계(S6810)와, 위젯 이동 제어 명령을 생성하는 단계(S6820) 및 위젯 이동에 따라 디스플레이를 제어하는 단계(S6830)를 포함한다. A vehicle display control method according to another embodiment of the present invention includes recognizing a user's motion (S6810), generating a widget movement control command (S6820), and controlling a display according to the widget movement (S6830). include

S6810 단계에서, 터치 입력 신호, 제스처 입력 신호, 시선 정보 중 적어도 어느 하나를 이용하여 사용자 동작을 인식한다. In step S6810, a user's motion is recognized using at least one of a touch input signal, a gesture input signal, and gaze information.

S6820 단계에서, 복수의 영역으로 분할된 차량 디스플레이 영역에 대해 위젯 터치로 스크롤 시, 위젯 그룹에 대해 영역 간 이동시키도록 제어 명령을 생성한다. In step S6820, when the vehicle display area divided into a plurality of areas is scrolled by a widget touch, a control command is generated to move the widget group between areas.

S6820 단계에서, 복수의 탑승자의 위치에 따라 할당된 영역 내에서 각 탑승자의 요청에 따라 위젯 이동 제어 명령을 생성한다. In step S6820, a widget movement control command is generated according to each passenger's request within the area allocated according to the positions of the plurality of passengers.

S6820 단계에서, 제1 영역에 대한 스크롤 시, 해당 위젯 드로어에서만 스크롤이 동작되도록 제어 명령을 생성하고, 제2 영역의 위젯 드로어는 숨김 처리하는 제어 명령을 생성한다. In step S6820, when scrolling in the first area, a control command is generated so that scrolling is operated only in the corresponding widget drawer, and a control command for processing the widget drawer in the second area to be hidden is generated.

S6820 단계에서, 위젯에 대한 사용자의 응시 여부를 판단하여 해당 위젯에 대한 하이라이트 표시에 대한 제어 명령을 생성한다. In step S6820, whether or not the user gazes at the widget is determined, and a control command for highlighting the corresponding widget is generated.

S6820 단계에서, 제1 영역 내 기설정된 끝단 영역에 위젯을 드래그 앤드 홀드하는 경우, 하단 위젯 그룹을 영역 간 이동시키는 제어 명령을 생성한다. In operation S6820, when a widget is dragged and held at a preset end area within the first area, a control command for moving the lower widget group between areas is generated.

도 69는 본 발명의 또 다른 실시예에 따른 미디어 재생 제어 시스템을 도시한다. 69 illustrates a media playback control system according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 미디어 재생 제어 시스템은 차량 디스플레이를 이용하여 재생되는 미디어 중, 사용자가 제어하고자 하는 대상 미디어를 인식하는 제어 대상 인식부(6910)와, 대상 미디어에 대한 사용자 요청을 인식한 결과에 따라, 제어 명령을 생성하는 제어 명령 생성부(6920) 및 제어 명령에 따라 미디어를 제어하는 미디어 제어부(6930)를 포함한다. A media playback control system according to another embodiment of the present invention includes a control target recognition unit 6910 that recognizes target media that a user wants to control among media played using a vehicle display, and a user request for the target media. A control command generator 6920 that generates a control command according to the recognition result and a media control unit 6930 that controls media according to the control command.

제어 대상 인식부(6910)는 사용자의 시선 정보, 사용자가 소지한 디바이스로부터 수신되는 제어 요청 정보, 사용자가 소지한 디바이스의 위치 정보 중 적어도 어느 하나를 이용하여 대상 미디어를 인식한다. The control target recognition unit 6910 recognizes the target media using at least one of the user's gaze information, control request information received from a device owned by the user, and location information of the device owned by the user.

제어 명령 생성부(6920)는 UWB 센서를 이용하여 사용자가 소지한 디바이스의 위치가 차량 내부 또는 외부인 것을 확인하고, 그에 따라 대상 미디어에 대한 제어 명령을 생성한다. The control command generation unit 6920 uses the UWB sensor to determine whether the location of the device possessed by the user is inside or outside the vehicle, and generates a control command for the target media accordingly.

제어 명령 생성부(6920)는 대상 미디어에 대한 음량 조절 요청을 포함하는 사용자 요청을 인식하여 제어 명령을 생성한다. The control command generation unit 6920 generates a control command by recognizing a user request including a volume control request for a target media.

미디어 제어부(6930)는 제어 명령에 따라 대상 미디어에 대한 음량을 조절한다. The media controller 6930 adjusts the volume of the target media according to the control command.

도 70은 본 발명의 또 다른 실시예에 따른 실내 및 실외 탑승자의 스마트폰을 이용한 미디어 조작을 구분하여 인식하는 과정을 도시한다. 70 illustrates a process of distinguishing and recognizing media manipulation using a smart phone of an indoor and outdoor occupant according to another embodiment of the present invention.

도 70을 참조하면, 제1 사용자 그룹은 차량 내 측창 디스플레이를 이용하여 제1 미디어를 시청 중이고, 제2 사용자 그룹은 차량의 외부에서 차량 디스플레이를 이용하여 제2 미디어를 시청 중이다. Referring to FIG. 70 , a first user group is watching first media using a side window display inside the vehicle, and a second user group is watching second media using a vehicle display outside the vehicle.

와이파이 다이렉트 기술을 이용하여, 사용자가 소지한 스마트폰에서 비디오 캐스트(video cast)할 디스플레이를 선택하고, 캐스트(cast) 중인 디스플레이 및 스피커의 볼륨을 조절한다. Using Wi-Fi Direct technology, a user's smart phone selects a display to video cast from, and adjusts the volume of the display and speaker being cast.

도 70을 참조하면, 스마트폰 앱에서 측창 디스플레이의 영역, 전면부 디스플레이의 영역 중 제어할 대상 영역을 선택하고, 그 대상 영역에서 재생하는 미디어 컨텐츠의 음량을 조절한다. 미디어를 재생할 디스플레이를 선택하고, 드래그(drag)를 통해 볼륨을 조절한다. Referring to FIG. 70 , a target region to be controlled is selected from among the side window display region and the front display region in the smartphone app, and the volume of media content reproduced in the target region is adjusted. Select a display to play the media and adjust the volume by dragging.

도 71은 본 발명의 또 다른 실시예에 따른 시선인식 정보 및 스마트폰을 이용한 미디어 조작 정보를 이용하여 미디어 조작을 구분하여 인식하는 과정을 도시한다. 71 illustrates a process of distinguishing and recognizing media manipulation using gaze recognition information and media manipulation information using a smartphone according to another embodiment of the present invention.

차량의 내/외부에는 아이 트래킹 카메라가 배치되어, 측창 디스플레이 또는 전면부 디스플레이를 주시하는 사용자의 시선 정보를 획득한다. An eye tracking camera is disposed inside/outside the vehicle to obtain eye gaze information of a user looking at a side window display or a front display.

시선 정보 및 스마트폰 기능 조작 정보를 이용하여, 사용자가 볼륨 조작을 원하는 대상 미디어를 판단하고, 스마트폰 앱을 통해 입력되는 볼륨 조작 정보에 따라 미디어 재생 음량을 조절한다. Using gaze information and smartphone function manipulation information, the target media for which the user wants to manipulate the volume is determined, and the media playback volume is adjusted according to the volume manipulation information input through the smartphone app.

스마트폰 앱에서 eye gaze remote를 선택함에 따라, 미디어가 재생 중인 디스플레이 영역을 응시하며 스와이프 업 및 다운(swipe up and down)을 통해 볼륨을 조절한다. By selecting the eye gaze remote in the smartphone app, the user gazes at the area of the display where media is playing and adjusts the volume by swiping up and down.

도 72는 본 발명의 또 다른 실시예에 따른 시선인식 정보 및 UWB 통신을 이용한 미디어 조작 구분 인식 과정을 도시한다. FIG. 72 illustrates a process of distinguishing and recognizing media manipulation using gaze recognition information and UWB communication according to another embodiment of the present invention.

차량의 내/외부에는 아이 트래킹 카메라가 배치되어, 측창 디스플레이 또는 전면부 디스플레이를 주시하는 사용자의 시선 정보를 획득한다. An eye tracking camera is disposed inside/outside the vehicle to obtain eye gaze information of a user looking at a side window display or a front display.

UWB 센서를 통해, 스마트폰이 실내에 위치한 것인지, 실외에 위치한 것인지 여부를 확인한다. Through the UWB sensor, it is determined whether the smartphone is located indoors or outdoors.

시선 정보 및 UWB 센싱 결과를 이용하여, 사용자가 볼륨 조작을 원하는 대상 미디어를 판단하고, 스마트폰의 볼륨 하드 버튼 조작에 의한 볼륨 조작 정보에 따라 미디어 재생 음량을 조절한다. Using the gaze information and the UWB sensing result, the target media for which the user wants to manipulate the volume is determined, and the media reproduction volume is adjusted according to the volume manipulation information by manipulating the volume hard button of the smart phone.

즉, 사용자가 미디어가 재생 중인 디스플레이를 응시하며 자신이 소지한 스마트폰의 볼륨 버튼 조작을 통해 볼륨을 조절하는 경우, 이를 응시한 영역에 재생 중인 미디어에 대한 볼륨 조절 요청인 것으로 인식하고 그에 따라 볼륨을 조절한다. That is, when the user gazes at the display where the media is playing and adjusts the volume by manipulating the volume button of the smartphone, the gazed area recognizes it as a volume control request for the media being played, and adjusts the volume accordingly. to adjust

도 73은 본 발명의 또 다른 실시예에 따른 미디어 재생 제어 방법을 도시한다. 73 illustrates a media playback control method according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 미디어 재생 제어 방법은 미디어 제어 환경에 대한 정보를 획득하는 단계(S7310)와, 미디어 제어 환경에 대한 정보를 이용하여 제어 대상 미디어를 결정하고, 제어 대상 미디어에 대한 제어 명령을 생성하는 단계(S7320) 및 제어 명령에 따라 미디어 재생에 대한 제어를 수행하는 단계(S7330)를 포함한다. A method for controlling media playback according to another embodiment of the present invention includes obtaining information on a media control environment (S7310), determining control target media using the information on the media control environment, and determining control target media for the control target media. Generating a control command (S7320) and controlling media playback according to the control command (S7330).

S7310 단계는 차량의 복수 디스플레이 영역에서 재생되는 복수의 멀티미디어 정보를 확인한다. Step S7310 checks a plurality of multimedia information reproduced in a plurality of display areas of the vehicle.

S7320 단계는 사용자의 시선 정보, 사용자가 소지한 디바이스로부터 수신되는 제어 요청 정보, 사용자가 소지한 디바이스의 위치 정보 중 적어도 어느 하나를 이용하여 제어 대상 미디어를 결정한다. In step S7320, control target media is determined using at least one of the user's gaze information, control request information received from a device possessed by the user, and location information of the device possessed by the user.

S7320 단계는 차량 내부에 위치한 탑승자가 시청하는 미디어에 대한 제어 요청인지, 또는 차량 외부에 위치한 사용자가 시청하는 미디어에 대한 제어 요청인지 여부를 구분하여 인식한다. Step S7320 distinguishes and recognizes whether the control request is for media viewed by a passenger located inside the vehicle or a control request for media viewed by a user located outside the vehicle.

S7330 단계는 미디어 음량 조절 요청에 따른 상기 제어 명령을 기반으로 미디어 재생에 대한 음량 제어를 수행한다. In step S7330, volume control for media playback is performed based on the control command according to the media volume control request.

도 74는 본 발명의 또 다른 실시예에 따른 미디어 재생 제어 시스템을 도시한다. 74 illustrates a media playback control system according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 미디어 재생 제어 시스템은 차량 디스플레이를 이용하여 재생되는 복수의 멀티미디어에 대한 재생 환경을 인식하는 멀티미디어 재생 환경 인식부(7410)와, 복수의 멀티미디어의 상호간 사운드 간섭 방지에 대한 제어 명령을 생성하는 제어 명령 생성부(7420) 및 제어 명령에 따라 미디어를 제어하는 미디어 제어부(7430)를 포함한다. A media playback control system according to another embodiment of the present invention includes a multimedia playback environment recognizing unit 7410 recognizing a playback environment for a plurality of multimedia played using a vehicle display, and preventing sound interference between a plurality of multimedia. It includes a control command generation unit 7420 that generates a control command for the control command and a media control unit 7430 that controls media according to the control command.

멀티미디어 재생 환경 인식부(7410)는 차량 시트 중 일부가 탈착되어 외부로 옮겨진 상태에서 제1 사용자 그룹이 제1 컨텐츠를 시청하는 상황에 대한 정보와, 차량 시트 중 일부가 회전된 상태에서 제2 사용자 그룹이 제2 컨텐츠를 시청하는 상황에 대한 정보를 인식한다. The multimedia play environment recognizing unit 7410 provides information on a situation in which a first user group watches a first content in a state in which some of the vehicle seats are detached and moved to the outside, and information about a situation in which some of the vehicle seats are rotated and a second user group Recognizes information about a situation in which the group watches the second content.

제어 명령 생성부(7420)는 제1 사용자 그룹이 전면 프로젝션 디스플레이를 통해 역상 재생되는 제1 컨텐츠를 시청하는 상황에서, 제1 사용자 그룹에 해당되는 디바이스로부터 컨텐츠 제어 요청을 수신하고, 그에 따른 제어 명령을 생성한다. The control command generation unit 7420 receives a content control request from a device corresponding to the first user group in a situation where the first user group watches first content reproduced in reverse through a front projection display, and receives a control command accordingly. generate

제어 명령 생성부(7420)는 제2 사용자 그룹이 측창 디스플레이를 통해 재생되는 제2 컨텐츠를 시청하는 상황에서, 헤드레스트 스피커를 이용한 사운드 버블이 형성되도록 제어 명령을 생성한다. The control command generation unit 7420 generates a control command to form sound bubbles using headrest speakers in a situation where the second user group watches second content reproduced through the side window display.

도 75는 본 발명의 또 다른 실시예에 따른 사운드 간섭 방지 과정을 도시한다. 75 illustrates a sound interference prevention process according to another embodiment of the present invention.

도 75를 참조하면, 주행 상황에서 차량 내 탑승자들은 전방 프로젝션 디스플레이를 이용하여 컨텐츠를 시청한다. 차량 시트 중 일부가 탈착되어 외부로 옮겨지고, 나머지 시트는 회전한다. 제1 사용자 그룹은 탈착되어 외부로 옮겨진 차량 시트에 앉아 제1 컨텐츠를 시청하고, 제2 사용자 그룹은 회전된 시트에 앉아 제2 컨텐츠를 시청한다. Referring to FIG. 75 , in a driving situation, occupants in a vehicle watch content using a front projection display. Some of the vehicle seats are detached and moved outside, and the remaining seats are rotated. The first user group sits on the vehicle seat that has been detached and moved to the outside and watches the first content, and the second user group sits on the rotated seat and watches the second content.

제1 사용자 그룹은 전방 프로젝션 디스플레이의 역상 재생을 통해 제1 컨텐츠를 시청한다(외부 극장 모드). 이 때, 표면 진동 스피커의 재생을 통해 음원을 청취한다. 제1 사용자 그룹은 스마트폰을 이용하여 제1 컨텐츠에 대한 음량, 재생을 제어한다. 표면 진동 스피커는 커뮤니케이션 경고 용도로 사용되는 것으로, 보행자 위치에 따라 그 방향에 맞게 사운드를 재생시키고, 안전지역 이탈 방향으로 사운드를 재생시키며, 방향 지시등의 점등에 맞춰 해당 방향으로 알림음을 발생시킨다. The first user group views the first content through reverse reproduction of the front projection display (outside theater mode). At this time, the sound source is heard through reproduction of the surface vibration speaker. The first user group controls the volume and reproduction of the first content using a smart phone. The surface vibration speaker is used for communication warning purposes. It reproduces sound according to the direction according to the location of the pedestrian, reproduces the sound in the direction of departure from the safe area, and generates a notification sound in the corresponding direction according to the lighting of the direction indicator lamp.

제2 사용자 그룹은 회전된 시트에 앉아 측창 디스플레이를 이용하여 제2 컨텐츠를 시청한다(내부 극장 모드). 제2 사용자 그룹은 헤드레스트 스피커를 이용하여 제2 컨텐츠의 음원을 청취하며, 헤드레스트 스피커는 사운드 버블을 형성하여 외부 음원의 간섭을 방지한다. 또한, 액티브 노이즈 캔슬링 기능을 통해, 외부 노이즈를 차단한다. A second user group sits on the rotated seat and watches the second content using the side window display (inside theater mode). The second user group listens to the sound source of the second content using the headrest speaker, and the headrest speaker forms a sound bubble to prevent interference from an external sound source. In addition, through the active noise canceling function, external noise is blocked.

도 76은 본 발명의 또 다른 실시예에 따른 미디어 재생 제어 방법을 도시한다. 76 illustrates a media playback control method according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 미디어 재생 제어 방법은 복수의 멀티미디어의 재생 환경에 대한 정보를 획득하는 단계(S7610)와, 복수의 멀티미디어의 상호간 사운드 간섭 방지와 관련한 제어 명령을 생성하는 단계(S7620) 및 (c) 제어 명령에 따라 미디어 재생에 대한 제어를 수행하는 단계(S7630)를 포함한다. A method for controlling playback of media according to another embodiment of the present invention includes acquiring information on a playback environment of a plurality of multimedia devices (S7610) and generating a control command related to mutual sound interference prevention of a plurality of multimedia devices (S7620). ) and (c) controlling media playback according to the control command (S7630).

S7610 단계는 차량 시트 중 일부가 탈착되어 외부로 옮겨진 상태에서 제1 사용자 그룹이 제1 컨텐츠를 시청하는 상황에 대한 정보와, 차량 시트 중 일부가 회전된 상태에서 제2 사용자 그룹이 제2 컨텐츠를 시청하는 상황에 대한 정보를 획득한다. In step S7610, information about a situation in which a first user group watches a first content in a state in which some of the vehicle seats are detached and moved outside, and a second user group in a state in which some of the vehicle seats are rotated, displays the second content. Acquire information about the viewing situation.

S7620 단계는 표면 진동 스피커를 이용하여 제1 컨텐츠의 음원을 재생시키고, 제1 사용자 그룹의 디바이스를 통해 수신되는 제어 요청에 대한 제어 명령을 생성한다. In step S7620, the sound source of the first content is reproduced using the surface vibration speaker, and a control command for the control request received through the device of the first user group is generated.

S7620 단계는 헤드레스트 스피커를 이용하여 제2 컨텐츠의 음원을 재생시키며 사운드 버블을 형성시키는 제어 명령을 생성한다. In step S7620, a control command for generating a sound bubble is generated while playing the sound source of the second content using the headrest speaker.

도 77은 본 발명의 또 다른 실시예에 따른 위험요소 판단 및 경고 제공 시스템을 도시한다. 77 illustrates a risk factor determination and warning providing system according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 위험요소 판단 및 경고 제공 시스템은 차량으로 접근하는 미등록 객체의 존재 여부를 인식하는 접근 객체 인식부(7710)와, 미등록 객체의 접근에 의한 위험 상황 발생 여부를 판단하고, 경고 제공과 관련한 제어 명령을 생성하는 제어 명령 생성부(7720) 및 제어 명령에 따라 경고 알림을 제공하는 알림 제공부(7730)를 포함한다. A risk factor determination and warning providing system according to another embodiment of the present invention includes an approaching object recognizing unit 7710 recognizing whether an unregistered object approaching a vehicle exists, and determining whether a dangerous situation occurs due to the approach of an unregistered object. and a control command generating unit 7720 generating a control command related to providing a warning and a notification providing unit 7730 providing a warning notification according to the control command.

접근 객체 인식부(7710)는 영상 센서, 레이다 센서, 라이다 센서 중 적어도 어느 하나를 이용한 객체 인식 결과를 이용하여 상기 미등록 객체의 존재 여부를 확인한다. The approaching object recognizing unit 7710 checks whether the unregistered object exists by using an object recognition result using at least one of an image sensor, a radar sensor, and a lidar sensor.

접근 객체 인식부(7710)는 기등록된 키의 소지 여부 확인을 통해 미등록 객체의 존재 여부를 확인한다. The access object recognizing unit 7710 checks whether an unregistered object exists by checking whether a pre-registered key is possessed.

제어 명령 생성부(7720)는 미등록 객체의 행동 패턴을 분석하여 위험 상황 발생 여부를 판단한다. The control command generating unit 7720 analyzes the behavior pattern of the unregistered object to determine whether a dangerous situation has occurred.

제어 명령 생성부(7720)는 차량의 주정차 상황 정보를 고려하여 미등록 객체의 접근에 의한 위험 상황 발생 여부를 판단한다. The control command generating unit 7720 determines whether a dangerous situation occurs due to the approach of an unregistered object in consideration of the parking situation information of the vehicle.

제어 명령 생성부(7720)는 차량 내부 탑승객이 존재하는지 여부를 확인하고 스피커, 차량 디스플레이, 차량의 사용자 디바이스 중 적어도 어느 하나를 이용하여 경고를 제공한다. The control command generating unit 7720 checks whether there is a passenger inside the vehicle and provides a warning using at least one of a speaker, a vehicle display, and a vehicle user device.

본 발명의 또 다른 실시예에 따른 위험요소 판단 및 경고 제공 시스템은 차량의 기설정 영역을 이탈하는 객체를 인식하는 이탈 객체 인식부(7740)를 더 포함하고, 제어 명령 생성부(7720)는 이탈하는 객체에 대한 경고 알림을 제공하도록 제어 명령을 생성한다. A risk factor determination and warning providing system according to another embodiment of the present invention further includes an exit object recognizing unit 7740 recognizing an object departing from a preset area of the vehicle, and a control command generating unit 7720 Generates control commands to provide alert notifications for objects that

도 78은 본 발명의 또 다른 실시예에 따른 외부 위험요소 경고 및 안전지역 이탈 경고 상황을 도시한다. 78 illustrates an external risk factor warning and safe area departure warning situation according to another embodiment of the present invention.

도 78을 참조하면, 차량 내부에 승객이 탑승한 상황에서, 차량에 등록되지 않은 외부인이 접근하는 것으로 판단된 경우, 스피커를 이용하여 지향성 경고를 제공한다. 또한, 외부인이 접근하는 방향의 차량 디스플레이를 이용하여 화면 표시를 수행하여, 외부인의 접근 상황에 대한 알림을 제공한다. Referring to FIG. 78 , when it is determined that an unregistered outsider is approaching the vehicle in a situation where a passenger is inside the vehicle, a directional warning is provided using a speaker. In addition, a screen display is performed using the vehicle display in the direction in which the outsider is approaching, thereby providing a notification of the approaching situation of the outsider.

이 때, 외부인의 접근은 실제 위험 요소로 판단하여야 할 상황이 있고, 단순히 지나가거나 옆 주차 공간에 주차한 차량에 탑승하기 위해 접근하는 외부인으로서 실제 위험 요소가 아닌 것으로 판단하여야 할 상황이 있다. 따라서, 현재 주정차한 상황 정보(예: 장소, 시간대, 옆 차량 존재 여부)를 분석하여 외부인 접근에 대한 경고 제공을 활성화할 지 여부를 결정한다. 예컨대, 주변에 주차한 차량도 없고, 사람이 다니는 인도도 없는 노지 캠핑 상황에서 외부인이 접근하는 경우, 외부인 접근에 대한 경고를 제공한다. 반면, 쇼핑몰 주차장과 같이 주변에 주차된 차량이 있고, 주변에 사람들이 빈번하게 다니는 상황에서는 외부인 접근에 대해 곧바로 경고를 제공하지 않는다. 이 때에는 외부인이 차량 주변을 맴돌거나, 차량 내부를 들여다보거나, 차량에 손을 대는 등의 행동을 하는 것을 감지하고, 감지 결과에 따라 경고를 제공하는 것이 바람직하다. At this time, there are circumstances in which the approach of an outsider must be determined as a real risk factor, and there are circumstances in which an outsider simply passing by or approaching to board a vehicle parked in the adjacent parking space must be determined as not a real risk factor. Therefore, it is determined whether or not to activate the provision of a warning about an outsider's approach by analyzing current parking situation information (eg, location, time zone, presence or absence of an adjacent vehicle). For example, when an outsider approaches in an outdoor camping situation where there are no cars parked nearby and no sidewalks where people walk, a warning about the outsider's approach is provided. On the other hand, in a situation where there are vehicles parked nearby, such as a shopping mall parking lot, and people frequently pass by, a warning about outsider approach is not immediately provided. At this time, it is preferable to detect an outsider hovering around the vehicle, look inside the vehicle, or touch the vehicle, and provide a warning based on the detection result.

차량 내부에 승객이 탑승하지 않은 상황에서, 등록되지 않은 외부인이 접근하며, 이를 실제 위험 요소로 판단한 경우, 외부 접근 방향을 향해 지향성 경고를 제공하고, 차량 디스플레이를 이용하여 화면 표시를 수행하여 외부인에게 경고를 제공한다. 또한, 기등록된 차량의 사용자의 스마트 디바이스로 경고를 제공하여, 외부 활동 중인 사용자에게 외부인 접근에 따른 위험 요소 발생 상황을 알린다. When an unregistered outsider approaches in a situation where no passenger is inside the vehicle and it is determined that this is a real risk factor, a directional warning is provided toward the outside approach direction and a screen display is performed using the vehicle display to alert outsiders. give a warning In addition, a warning is provided to the user's smart device of a pre-registered vehicle to inform the user during external activities of the occurrence of risk factors due to outsider's approach.

전술한 예에 따르면, 외부 위험요소 판단과 관련하여, 외부 카메라를 통한 face ID 구분을 통해 기등록된 사용자인지 여부를 판단하고, 디지털 키 또는 스마트 키를 소지하지 않고 차량에 접근하는 사람에 대한 알림을 제공한다. 외부인은 특정시간 이상 차량과 근접 거리에 머물거나, 차량에 손을 대거나, 차량에 충격을 가하는 경우 경고가 제공된다. 차량의 라이다, 레이더 센서를 통해 거리 및 형상을 파악하는데, 레이더를 이용하여 객체 유무, 거리, 크기 정보를 판단하고, 라이다를 이용하여 객체의 형체를 인식하고 주변 환경을 인식하며, 카메라를 이용하여 주변 물체를 식별한다. 경고 대상이 사람인지, 동물인지에 따라 상이한 경고가 제공되는데, 사람의 경우 외부 디스플레이를 통해 메시지를 표시하고, 사이렌 경고음을 제공한다. 야생도물의 경우 외부 조명을 점멸시키고, 동물별로 상이한 경고음을 제공한다. 예컨대, 멧돼지를 대상으로 하는 저주파 경고음(150 내지 8000Hz)를 이용하여 경고를 제공한다. According to the foregoing example, in relation to external risk factor determination, it is determined whether the user is a pre-registered user through face ID identification through an external camera, and notification of a person approaching the vehicle without a digital key or smart key is determined. provides A warning is provided if an outsider stays in close proximity to the vehicle for more than a certain amount of time, touches the vehicle, or impacts the vehicle. Distance and shape are grasped through lidar and radar sensors of the vehicle. Radar is used to determine the existence of an object, distance, and size information, and lidar is used to recognize the shape of an object and recognize the surrounding environment. to identify nearby objects. Different warnings are provided depending on whether the warning target is a human or an animal. In the case of a human, a message is displayed through an external display and a siren warning sound is provided. In the case of wild animals, the external lighting is turned on and off, and different warning sounds are provided for each animal. For example, a warning is provided using a low-frequency warning sound (150 to 8000 Hz) targeting a wild boar.

전술한 노지 캠핑 등의 상황에서, 차량 내부에 일부 탑승자가 존재하고, 차량 외부 근처에 있던 객체(사용자, 반려견 등)가 기설정 영역을 벗어나는 경우, 차량 내부의 일부 탑승자에게 안전구역 이탈에 대한 경고를 제공한다. 이 때, 안전구역을 이탈하는 방향에 대한 지향성 경고를 제공하고, 차량 디스플레이를 이용하여 경고 메시지를 표출시킨다. 기설정 영역을 벗어나는지 여부에 대해서는 사용자가 소지한 스마트폰, 반려견의 스마트태그 등과 UWB 통신을 수행하여 이격 거리를 판단하고, 기설정 영역을 벗어나는 경우 경고를 제공한다. In the above-described outdoor camping situation, if some occupants exist inside the vehicle and an object (user, dog, etc.) near the outside of the vehicle leaves the preset area, some occupants inside the vehicle are warned about leaving the safety zone provides At this time, a directional warning for a direction departing from the safety zone is provided, and a warning message is displayed using the vehicle display. With regard to whether or not the device deviated from the preset area, UWB communication is performed with the user's smartphone or companion dog's smart tag to determine the separation distance, and a warning is provided when the device deviates from the preset area.

도 79는 본 발명의 또 다른 실시예에 따른 위험요소 판단 및 경고 제공 방법을 도시한다. 79 illustrates a risk factor determination and warning providing method according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 위험요소 판단 및 경고 제공 방법은 차량으로 접근하는 객체 및 상기 차량을 기준으로 한 기설정 영역으로부터 이탈하는 객체 중 적어도 어느 하나를 인식하는 단계(S7910)와, 인식 결과에 따라 위험상황 발생에 대한 경고 제공에 대한 제어 명령을 생성하는 단계(S7920) 및 제어 명령에 따라 경고 알림을 제공하는 단계(S7930)를 포함한다. A risk factor determination and warning providing method according to another embodiment of the present invention includes the steps of recognizing at least one of an object approaching a vehicle and an object departing from a preset area based on the vehicle (S7910); Generating a control command for providing a warning about a dangerous situation according to the result (S7920) and providing a warning notification according to the control command (S7930).

S7920 단계는 차량으로 접근하는 객체를 인식하는 경우, 차량에 미등록된 객체의 행동 패턴 분석 결과 및 차량의 주정차 상황 정보를 고려하여 위험상황 발생 여부를 판단한다. In step S7920, when recognizing an object approaching the vehicle, it is determined whether or not a dangerous situation has occurred in consideration of the behavior pattern analysis result of the object unregistered in the vehicle and information on the parking situation of the vehicle.

S7920 단계는 차량으로부터 이탈하는 객체를 인식하는 경우, 차량으로부터 이탈하는 객체의 디바이스와의 이격 거리 정보를 획득하여 이탈하는 객체를 인식한다. In step S7920, when recognizing an object leaving the vehicle, separation distance information of the object leaving the vehicle from the device is obtained to recognize the object leaving the vehicle.

S7930 단계는 스피커, 차량 디스플레이 및 차량의 사용자 디바이스 중 적어도 어느 하나를 이용하여 경고 알림을 제공한다. In step S7930, a warning notification is provided using at least one of a speaker, a vehicle display, and a vehicle user device.

도 80은 본 발명의 또 다른 실시예에 따른 멀미 저감을 위한 차량 제어 시스템을 도시한다. 80 illustrates a vehicle control system for motion sickness reduction according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 멀미 저감을 위한 차량 제어 시스템은 사용자의 생체 정보를 분석한 결과 및 사용자의 요청 중 적어도 어느 하나에 따라 멀미 저감 제어를 요청하는 멀미 저감 제어 요청부(8010)와, 멀미 저감 제어에 대한 로직을 수행하기 위한 제어 명령을 생성하는 제어 명령 생성부(8020) 및 제어 명령에 따라 컨텐츠를 재생하는 디스플레이 영역을 결정하고, 실내 시트에 대한 레이아웃을 변경시키는 디스플레이 및 실내 레이아웃 변경부(8030)를 포함한다. A vehicle control system for motion sickness reduction according to another embodiment of the present invention includes a motion sickness reduction control request unit 8010 requesting motion sickness reduction control according to at least one of a user's biometric information analysis result and a user's request; , a control command generating unit 8020 that generates a control command for performing motion sickness reduction control, and a display and indoor layout that determines a display area for reproducing content according to the control command and changes the layout for the indoor seat. A change unit 8030 is included.

멀미 저감 제어 요청부(8010)는 생체 정보를 분석하는 경우, 카메라 및 레이더 중 적어도 어느 하나를 이용하여 생체 정보를 획득하고, 이를 분석하여 멀미 저감 제어를 요청한다. When analyzing biometric information, the motion sickness reduction control request unit 8010 acquires biometric information using at least one of a camera and a radar, analyzes the biometric information, and requests motion sickness reduction control.

제어 명령 생성부(8020)는 멀미 저감 모드에서 시트 리클라이닝을 수행하도록 제어 명령을 생성한다. The control command generation unit 8020 generates a control command to perform seat recline in motion sickness reduction mode.

제어 명령 생성부(8020)는 시트 리클라이닝의 각도에 따라 프로젝터의 화각을 조정하고, 컨텐츠를 재생하는 디스플레이의 영역을 변경시키는 제어 명령을 생성한다. The control command generation unit 8020 adjusts the angle of view of the projector according to the angle of seat recline and generates a control command for changing the area of the display for reproducing content.

도 81은 본 발명의 또 다른 실시예에 따른 멀미 저감을 위한 디스플레이 및 실내 레이아웃 변화를 도시한다. 81 illustrates a display and indoor layout change for motion sickness reduction according to another embodiment of the present invention.

프로젝션 디스플레이(전방 글라스)를 이용하여 컨텐츠를 재생하고, 차량 내 영상을 획득하는 카메라, 무선 레이더의 획득 정보를 기반으로 심박수와 호흡수를 측정하여 생체 신호를 감지한다. Content is played using a projection display (front glass), and bio signals are detected by measuring heart rate and respiratory rate based on information obtained from cameras and wireless radars that acquire images in the vehicle.

생체 신호 감지 결과 멀미가 발생될 가능성이 있는 것으로 확인되거나, 사용자의 요청에 의해 멀미 저감 제어 로직이 수행되며, 멀미 저감 제어 로직에 의해 시트는 무중력 시트 모드로 작동하고, 프로젝션 디스플레이(루프 글라스)를 이용하여 컨텐츠를 재생시키도록 재생 영역의 변경된다. 헤드레스트 스피커를 통해서 멀미 저감 사운드가 재생되며, 액티브노이즈 캔슬링 기능이 적용되며, 좌석 간 대화 기능이 제공된다. 사용자에게 제공되는 사운드는 차량 속도를 느낄 수 있도록 외부 사운드가 재생되거나, 심신 안정 관련 음원이 재생되거나, 자연의 소리가 재생된다. 사운드는 차량 주행 상황에 따라 재생되는 채널이 상이하게 동작한다. 예컨대 직진 시 좌/우 2채널이 재생되고, 좌회전 시에는 좌측 채널이 재생되며, 우회전 시에는 우측 채널이 재싱된다. As a result of biosignal detection, it is confirmed that there is a possibility of motion sickness, or motion sickness reduction control logic is performed at the user's request. The playback area is changed to reproduce the content using the . A motion sickness reduction sound is played through the headrest speaker, an active noise canceling function is applied, and a conversation function between seats is provided. As for the sound provided to the user, external sounds are reproduced so that the user can feel the speed of the vehicle, sound sources related to mental and physical stability are reproduced, or sounds of nature are reproduced. As for the sound, reproduced channels operate differently according to vehicle driving conditions. For example, when going straight, left/right 2 channels are reproduced, when turning left, the left channel is reproduced, and when turning right, the right channel is replayed.

도 82는 본 발명의 또 다른 실시예에 따른 전면 디스플레이의 가변 표시 레이아웃을 도시한다. 82 illustrates a variable display layout of a front display according to another embodiment of the present invention.

전면 프로젝션 디스플레이는 상단에 커뮤니케이션 램프 영역, 하단에 클러스터 및 태스크 바 영역이 배치되고, 중앙 영역에 외부 환경이 보여진다(투명 디스플레이). The front projection display has a communication lamp area at the top, a cluster and task bar area at the bottom, and the external environment is shown in the center area (transparent display).

전면 프로젝션 디스플레이는 상단에 커뮤니케이션 램프 영역, 하단에 클러스터 및 태스크 바 영역이 배치되고, 중앙 영역에 풀 사이즈 위젯 화면이 배치될 수 있다. The front projection display may have a communication lamp area at the top, a cluster and task bar area at the bottom, and a full-size widget screen at the center area.

전면 프로젝션 디스플레이는 상단에 경로 정보 제공 화면, 하단에 클러스터 및 태스크 바 영역이 배치되고, 중앙 영역이 분할되어 하프 사이즈 위젯 화면과 외부 확인용 투명 디스플레이 영역이 배치될 수 있다. In the front projection display, a route information providing screen, cluster and task bar areas are arranged at the bottom, and a central area is divided to arrange a half-size widget screen and a transparent display area for external confirmation.

전면 프로젝션 디스플레이는 하단에 클러스터 및 태스크 바 영역이 배치되고, 나머지 영역에 풀 스크린 모드로 비디오 컨텐츠가 재생될 수 있다. The cluster and task bar areas are arranged at the bottom of the front projection display, and video content can be played in the remaining area in full screen mode.

루프 글라스 프로젝션 디스플레이에는 비디오 컨텐츠가 재생되고, 그 중 일부가 전면 프로젝션 디스플레이 영역에도 재생될 수 있다. 전면 프로젝션 디스플레이의 하단에는 클러스터 및 태스크 바 영역이 배치되고, 상단 영역에 외부 환경이 보여질 수 있으며, 하단 영역을 제외한 나머지 전면 프로젝션 디스플레이 영역에 외부 환경이 보여질 수 있다. Video content is played on the roof glass projection display, and a part of it can be played on the front projection display area as well. The cluster and task bar areas are disposed at the bottom of the front projection display, the external environment can be displayed on the top area, and the external environment can be displayed on the remaining front projection display areas except for the bottom area.

도 83은 본 발명의 또 다른 실시예에 따른 프로젝션 디스플레이(전방 글라스)를 도시한다. 83 shows a projection display (front glass) according to another embodiment of the present invention.

전면 프로젝션 디스플레이의 상단 영역에는 외부 차량 또는 보행자에게 제공하는 텍스트 메시지가 표시되는 커뮤니케이션 램프 영역이 배치된다. 전면 프로젝션 디스플레이의 상단 영역을 제외한 나머지 영역은 차량 내부의 탑승자가 확인할 수 있도록 컨텐츠 정보, 주행 정보 등이 표시된다. 프로젝터의 화각이 조절되며, 영상 시청 영역 및 시야 각도가 조정된다. In the upper area of the front projection display, a communication lamp area is arranged to display text messages provided to outside vehicles or pedestrians. Content information, driving information, etc. are displayed on the remaining area of the front projection display, excluding the upper area, so that the occupant inside the vehicle can check it. The angle of view of the projector is adjusted, and the image viewing area and viewing angle are adjusted.

도 84는 본 발명의 또 다른 실시예에 따른 프로젝션 디스플레이(전방 글라스)를 이용하는 상황에서의 프로젝터를 도시한다. 84 illustrates a projector in a situation using a projection display (front glass) according to another embodiment of the present invention.

액추에이터(8410)와 회전 축과 연결된 받침 구조(8420)의 회전 축이 연결되고, 프로젝터(8430)는 프로젝터 거치용 브라켓 구조(8440)에 의해 지지된다. The rotation axis of the support structure 8420 connected to the actuator 8410 and the rotation axis is connected, and the projector 8430 is supported by the bracket structure 8440 for holding the projector.

도 85는 본 발명의 또 다른 실시예에 따른 프로젝션 디스플레이(루프 글라스)를 도시한다. 85 shows a projection display (roof glass) according to another embodiment of the present invention.

전술한 바와 같이 멀미 저감 모드로 시트 실내 레이아웃이 변경되고, 헤드레스트 스피커를 통해 멀미 저감 사운드가 제공된다. As described above, the interior layout of the seat is changed in the motion sickness reduction mode, and motion sickness reduction sound is provided through the headrest speaker.

프로젝터의 화각이 조정되며 루프 글라스 프로젝션 디스플레이의 영역에 컨텐츠가 재생되며, 시트가 리클라이닝 되며 루프 글라스 프로젝션 디스플레이를 통해 컨텐츠를 시청할 수 있도록 시야 각도가 조정된다. The angle of view of the projector is adjusted, content is played in the area of the roof glass projection display, the seat is reclined, and the viewing angle is adjusted so that content can be viewed through the roof glass projection display.

도 86은 본 발명의 또 다른 실시예에 따른 프로젝션 디스플레이(루프 글라스)를 이용하는 상황에서의 프로젝터를 도시한다. 86 shows a projector in a situation using a projection display (roof glass) according to another embodiment of the present invention.

액추에이터의 회전으로 프로젝터(8430)가 회전되어 화각이 이동된다. Rotation of the actuator rotates the projector 8430 and moves the angle of view.

도 87은 본 발명의 또 다른 실시예에 따른 영상 이동 과정을 도시한다. 87 illustrates an image movement process according to another embodiment of the present invention.

전면 프로젝션 디스플레이를 통해 동영상이 실행되며, 전면 프로젝션 디스플레이의 상단 영역에는 커뮤니케이션 메시지가 외부로 표시된다. A video is played through the front projection display, and communication messages are displayed externally in the upper area of the front projection display.

사용자 요청에 의해, 외부 커뮤니케이션 램프 영역이 유지되고, 하단 영역에 동영상이 전체 화면으로 재생된다. At the request of the user, the external communication lamp area is maintained, and a video is played in full screen in the lower area.

멀미 저감 기능 실행 시, 외부 커뮤니케이션 램프 영역을 유지한 상태에서 동영상이 루프 글라스 프로젝션 디스플레이로 이동되어 재생되고, 시트 리클라이닝 동작이 수행된다. When the motion sickness reduction function is executed, the video is moved to the roof glass projection display and played while maintaining the external communication lamp area, and the seat recline operation is performed.

루프 글라스 프로젝션 디스플레이 영역에서 동영상이 재생되고, 외부 커뮤니케이션 램프가 동시에 동작된다. A video is played in the roof glass projection display area, and an external communication lamp is operated simultaneously.

루프 글라스 프로젝션 디스플레이 영역에서 동영상이 재생되는 중, 차량의 이동 속도 인지를 위해 하단의 필름 영역에 GUI 애니메이션이 동작된다. 이는 가로등을 지나가는 듯한 형상의 라인 애니메이션이 재생될 수 있다. 또한, 헤드레스트 스피커를 통해 차량의 속도감 또는 자연의 소리 등의 음원이 재생될 수 있다. While a video is played in the roof glass projection display area, a GUI animation is operated in the film area at the bottom to recognize the moving speed of the vehicle. In this case, a line animation of a shape passing through a street light may be reproduced. In addition, a sound source such as a sense of speed of a vehicle or a sound of nature may be reproduced through a headrest speaker.

루프 글라스 프로젝션 디스플레이 영역에서 동영상이 재생되는 중, 외부 커뮤니케이션 램프 영역을 투명화하여 외부 주행 상황에 대한 육안 인식이 가능하도록 하고, 속도감을 인지할 수 있도록 한다. While a video is playing in the roof glass projection display area, the external communication lamp area is made transparent to enable visual recognition of the external driving situation and to recognize the sense of speed.

루프 글라스 프로젝션 디스플레이 영역에서 동영상이 재생되는 중, 전면 프로젝션 디스플레이 전체를 투명화하여, 외부 주행 상황에 대한 육안 인식이 가능하도록 하고, 속도감을 인지할 수 있도록 한다. While a video is being played in the roof glass projection display area, the entire front projection display is made transparent, enabling visual recognition of external driving conditions and a sense of speed.

도 88은 본 발명의 또 다른 실시예에 따른 멀미 저감을 위한 차량 제어 방법을 도시한다. 88 illustrates a vehicle control method for reducing motion sickness according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 멀미 저감을 위한 차량 제어 방법은 사용자의 생체 정보 분석 결과 및 사용자의 요청 정보 중 적어도 어느 하나를 이용하여 멀미 저감 제어 요청을 수신하는 단계(S8810)와, 멀미 저감 제어를 위한 제어 명령을 생성하는 단계(S8820) 및 제어 명령에 따라 디스플레이 설정 및 실내 레이아웃을 변경시키는 단계(S8830)를 포함한다. A vehicle control method for reducing motion sickness according to another embodiment of the present invention includes the steps of receiving a motion sickness reduction control request using at least one of a user's biometric information analysis result and user's request information (S8810); Generating a control command for control (S8820) and changing a display setting and indoor layout according to the control command (S8830).

S8810 단계는 생체 정보 분석 결과를 이용하는 경우, 멀미와 관련한 생체 정보를 획득하여 분석한 결과를 이용하여 멀미 저감 제어 요청을 수신한다. In step S8810, when the result of analyzing the biometric information is used, a motion sickness reduction control request is received using the result obtained by obtaining and analyzing the biometric information related to motion sickness.

S8820 단계는 시트 리클라이닝을 수행하는 제어 명령을 생성한다. Step S8820 generates a control command for performing seat recline.

S8820 단계는 멀미 저감 음원을 재생시키는 제어 명령을 생성한다. Step S8820 generates a control command for reproducing a sound source for motion sickness reduction.

S8820 단계는 프로젝터의 화각을 조정하고 컨텐츠가 재생되는 디스플레이 영역을 변경시키는 제어 명령을 생성한다. In step S8820, a control command for adjusting the angle of view of the projector and changing the display area in which content is reproduced is generated.

S8830 단계는 상기 제어 명령에 따라 컨텐츠가 재생되는 디스플레이 영역을 전면 프로젝션 디스플레이로부터 루프 글라스 프로젝션 디스플레이로 변경시키고, 리클라이닝 각도를 조정하여 시트의 레이아웃을 변경시킨다. In step S8830, the display area where content is played is changed from the front projection display to the roof glass projection display according to the control command, and the layout of the seat is changed by adjusting the reclining angle.

도 89는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다. 89 illustrates a vehicle display control system according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템은 복수의 디스플레이 영역 간의 컨텐츠 이동에 대한 요청을 수신하는 컨텐츠 이동 요청 수신부(8910)와, 컨텐츠 이동에 대한 요청에 따라 컨텐츠 이동, 스피커 변경, 실내 시트 레이아웃 변경에 관한 제어 명령을 생성하는 제어 명령 생성부(8920) 및 제어 명령에 따라 음향과 실내 레이아웃을 변경시키는 음향 및 실내 레이아웃 변경부(8930)를 포함한다. A vehicle display control system according to another embodiment of the present invention includes a content movement request receiving unit 8910 receiving a request for content movement between a plurality of display areas, content movement according to the content movement request, speaker change, indoor A control command generation unit 8920 that generates a control command for changing the seat layout and a sound and interior layout change unit 8930 that changes the sound and interior layout according to the control command.

컨텐츠 이동 요청 수신부(8910)는 차량 탑승자의 제스처, 화면 버튼 입력, 탑승자 디바이스를 이용한 영상 이동 요청 중 적어도 어느 하나를 수신한다. The content movement request receiving unit 8910 receives at least one of a vehicle occupant's gesture, a screen button input, and an image movement request using the occupant's device.

제어 명령 생성부(8920)는 제1 디스플레이로부터 제2 디스플레이로 컨텐츠를 이동할 것에 대한 요청에 따라, 제1 디스플레이 및 제2 디스플레이 간의 이격 거리를 좁히도록 디스플레이 이동에 관한 제어 명령을 생성한다. The control command generation unit 8920 generates a control command related to moving the display to narrow the separation distance between the first display and the second display according to a request for moving content from the first display to the second display.

제어 명령 생성부(8920)는 컨텐츠 이동의 방향을 고려하여 음원을 재생하는 스피커 그룹에 대한 그룹핑을 수행한다. The control command generating unit 8920 performs grouping of speaker groups that reproduce sound sources in consideration of the direction of content movement.

제어 명령 생성부(8920)는 컨텐츠 이동의 방향을 고려하여 시트를 회전시키는 실내 레이아웃 변경과 관련한 제어 명령을 생성한다. The control command generation unit 8920 generates a control command related to indoor layout change to rotate a seat in consideration of the direction of content movement.

도 90은 본 발명의 또 다른 실시예에 따른 디스플레이 간 영상 이동에 따른 음향 및 실내 레이아웃 변경 과정을 도시한다. 90 illustrates a process of changing sound and indoor layout according to image movement between displays according to another embodiment of the present invention.

1. 전방 프로젝션 영상 감상 상황에서, 차량 내 탑승자는 전방 프로젝션 디스플레이를 이용하여 컨텐츠를 시청하며, 이 때 제1 스피커 그룹(예: 차량 내 전방에 위치한 2개의 스피커)을 이용하여 음원이 재생된다. 1. In a front projection video viewing situation, a vehicle occupant watches content using a front projection display, and at this time, a sound source is played using a first speaker group (eg, two speakers located in the front of the vehicle).

2. 영상 이동 실행 시 측면 디스플레이 이동 상황에서, 복수의 디스플레이 영역 간 컨텐츠 이동에 대한 요청이 수신된다. 이 때, 탑승자의 제스처, 화면 버튼 입력, 스마트폰을 이용한 영상 이동 요청이 수신된다. 영상 이동 시, 이동 전 영역(전방 프로젝션 디스플레이) 및 이동 후 영역(측창 디스플레이)간의 간격을 최소화하기 위해, 투명 디스플레이인 측창 디스플레이가 전방 프로젝션 디스플레이 측으로 슬라이딩 이동한다. 2. In a situation where the side display is moved during image movement, a request for content movement between a plurality of display areas is received. At this time, the passenger's gesture, screen button input, and image movement request using a smartphone are received. When the image is moved, in order to minimize the distance between the region before movement (front projection display) and the region after movement (side window display), the side window display, which is a transparent display, slides toward the front projection display.

3. 영상 이동 상황에서, 시청 중인 영상 컨텐츠는 전방 프로젝션 디스플레이 영역으로부터 측창 디스플레이 영역으로 이동되며, 이동 경과에 따라 차량 탑승자의 시트가 회전된다. 또한, 제2 스피커 그룹(도 90을 참조하면 좌측 측창 디스플레이 영역으로 컨텐츠가 이동되며, 차량 후방 좌측에 배치된 스피커가 제1 스피커 그룹에 추가되어 제2 스피커 그룹을 이룬다)을 통해 음원이 재생된다. 3. In the image movement situation, the image content being viewed is moved from the front projection display area to the side window display area, and the vehicle occupant's seat is rotated according to the progress of the movement. In addition, the sound source is reproduced through the second speaker group (referring to FIG. 90, the content is moved to the left side window display area, and the speaker disposed on the rear left side of the vehicle is added to the first speaker group to form the second speaker group). .

4. 측면 투명 디스플레이 이동 완료 상황에서, 영상 컨텐츠는 측창 디스플레이 영역으로 이동이 완료되고, 탑승자가 착석한 시트가 좌측 방향으로 90도 회전되어 시트 레이아웃 변경이 완료된다. 측창 디스플레이를 기준으로 좌, 우의 스피커를 이용하여 스테레오 사운드가 재생된다. 4. When the movement of the side transparent display is completed, the image content is moved to the side window display area, and the seat on which the occupant sits is rotated 90 degrees in the left direction, thereby completing the change of the seat layout. Stereo sound is reproduced using left and right speakers based on the side window display.

도 91은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다. 91 illustrates a vehicle display control method according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법은 복수의 디스플레이 영역 간의 컨텐츠 이동에 대한 요청을 수신하는 단계(S9110)와, 요청에 따라 컨텐츠 이동, 시트 회전, 스피커 제어와 관련한 제어 명령을 생성하는 단계(S9120) 및 제어 명령에 따라 컨텐츠를 이동시키고, 시트를 회전시켜 실내 레이아웃을 변경시키며, 음원을 재생하는 스피커를 제어하는 단계(S9130)를 포함한다. A vehicle display control method according to another embodiment of the present invention includes receiving a request for content movement between a plurality of display areas (S9110), and generating control commands related to content movement, seat rotation, and speaker control according to the request. (S9120); moving content according to a control command; rotating a seat to change an indoor layout; and controlling a speaker that reproduces a sound source (S9130).

S9110 단계는 차량 탑승자의 제스처, 버튼 입력, 차량 탑승자 디바이스의 앱을 통해 입력되는 요청 정보 중 적어도 어느 하나를 이용하여 상기 요청을 수신한다. In step S9110, the request is received using at least one of a gesture of a vehicle occupant, a button input, and request information input through an app of a vehicle occupant's device.

S9120 단계는 상기 컨텐츠 이동의 방향을 고려하여 디스플레이의 움직임을 제어하는 상기 제어 명령을 생성한다. In step S9120, the control command for controlling the movement of the display is generated in consideration of the direction of movement of the contents.

S9120 단계는 상기 컨텐츠 이동의 방향을 고려하여 음원을 재생하는 스피커 그룹을 결정하는 상기 제어 명령을 생성한다. In step S9120, the control command for determining a speaker group for reproducing a sound source is generated in consideration of the direction of movement of the contents.

도 92는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다. 92 illustrates a vehicle display control system according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템은 제1 디스플레이의 이동에 대한 요청을 수신하는 디스플레이 이동 요청 수신부(9210)와, 요청에 따라 제1 디스플레이를 이동시키는 제어 명령을 생성하는 제어 명령 생성부(9220) 및 제어 명령에 따라 이동된 제1 디스플레이에 부가 정보를 디스플레이하고, 제1 디스플레이가 이동 완료된 영역에 표출되고 있던 컨텐츠의 표시를 변경시키는 부가 정보 디스플레이부(9230)를 포함한다. A vehicle display control system according to another embodiment of the present invention includes a display movement request receiving unit 9210 that receives a request for moving a first display, and a control command that generates a control command for moving the first display according to the request. The generation unit 9220 and the additional information display unit 9230 display additional information on the moved first display according to the control command and change the display of content displayed in the area where the first display has been moved.

디스플레이 이동 요청 수신부(9210)는 차량 탑승자의 제스처, 버튼 입력, 차량 탑승자의 디바이스로부터 수신한 요청 정보 중 적어도 어느 하나를 이용하여 상요청을 수신한다. The display movement request receiving unit 9210 receives a request by using at least one of a gesture of a vehicle occupant, a button input, and request information received from a vehicle occupant's device.

제어 명령 생성부(9220)는 투명 디스플레이인 제1 디스플레이를 무빙 레일을 따라 이동시키는 제어 명령을 전송한다. The control command generation unit 9220 transmits a control command to move the first display, which is a transparent display, along the moving rail.

부가 정보 디스플레이부(9230)는 제1 디스플레이가 이동 완료된 영역에서 컨텐츠를 표출하는 프로젝션 영역을 투명화시키고, AR 정보를 외부 객체의 위치에 대응시켜 부가 정보를 디스플레이한다. The additional information display unit 9230 transparently displays the projection area displaying content in the area where the first display has been moved, and displays the additional information by matching the AR information to the location of the external object.

부가 정보 디스플레이부(9230)는 제1 디스플레이가 이동 완료된 영역에서 표출되고 있던 컨텐츠의 사이즈를 조절하여 디스플레이한다. The additional information display unit 9230 adjusts the size of content displayed in the area where the first display has been moved and displays the content.

도 93은 본 발명의 또 다른 실시예에 따른 슬라이딩 디스플레이를 도시한다. 93 illustrates a sliding display according to another embodiment of the present invention.

도 93의 (a)를 참조하면, 측창 투명 디스플레이는 복수의 영역으로 분할되고, 이 중 제1 투명 디스플레이(9310)이 이동 대상 디스플레이로 선택된다. 이 때, 차량 내 탑승자의 제스처, 버튼 입력, 시선 응시 정보, 차량 내 탑승자의 디바이스 조작 정보 중 적어도 어느 하나를 이용하여 이동 대상 디스플레이에 대한 선택 정보를 수신한다. Referring to (a) of FIG. 93 , the side window transparent display is divided into a plurality of regions, and among them, a first transparent display 9310 is selected as a moving target display. At this time, selection information for the display to be moved is received using at least one of a gesture of the occupant in the vehicle, a button input, eye gaze information, and device operation information of the occupant in the vehicle.

도 93의 (b)를 참조하면, 제1 투명 디스플레이(9310)는 무빙 레일을 따라 이동하여, 차량의 전방 좌측 영역으로 이동된다. Referring to (b) of FIG. 93 , the first transparent display 9310 moves along the moving rail and moves to the front left area of the vehicle.

도 93의 (c) 내지 (e)를 참조하면, 제1 투명 디스플레이(9310)은 무빙 레일을 따라 이동하여, 차량의 전방 윈드쉴드 영역에 배치된다. Referring to (c) to (e) of FIG. 93 , the first transparent display 9310 moves along the moving rail and is disposed in the front windshield area of the vehicle.

도 94는 본 발명의 또 다른 실시예에 따른 디스플레이 이동 및 AR 컨텐츠 표시 과정을 도시한다. 94 illustrates a process of moving a display and displaying AR content according to another embodiment of the present invention.

도 94의 (a)를 참조하면, 제1 투명 디스플레이는 이동되며 아직 전면 윈드쉴드 영역에 배치되지 않은 상황이며, 차량 탑승자는 전방 프로젝션 디스플레이를 통해 경로 요약 정보, 네비게이션 정보, 미디어 정보를 시청한다. 이 때, 전방 프로젝션 디스플레이는 투명 모드 및 불투명 모드에 대한 가변이 가능하지만, 전방 상황에 대한 정보를 AR 형태로 표현할 수는 없다. Referring to (a) of FIG. 94 , the first transparent display is moved and has not yet been disposed on the front windshield area, and a vehicle occupant views route summary information, navigation information, and media information through the front projection display. At this time, the front projection display can change the transparent mode and the opaque mode, but cannot express information about the front situation in AR form.

도 94의 (b) 및 (c)를 참조하면, 측면으로부터 제1 투명 디스플레이가 전방으로 이동된다. 전방 프로젝션 디스플레이에서 표시되던 컨텐츠(네비게이션 정보) 영역은 투명하게 가변되며, 제1 투명 디스플레이를 통해 부가 정보(AR 정보)가 표시된다. 즉, 전방 프로젝션 디스플레이 중 일부 영역이 투명화되고, 네비게이션 컨텐츠를 AR 컨텐츠로 표시함으로써, 차량 탑승자는 보다 고도화된 주변 상황 정보 디스플레이를 통한 정보 확인이 가능하다. 도 94의 (c)를 차조하면, 네비게이션 정보가 실제 도로 상에 AR 컨텐츠로 표시되고, 사용자의 관심 객체(사용자의 시선이 응시하는 객체)에 대한 부가 정보(쿠폰 할인 정보, 가게 정보 등)가 AR 컨텐츠로 표시된다. 제1 투명 디스플레이가 전방으로 이동되기 전의 전방 디스플레이 정보가 표출되는 영역이 투명 디스플레이의 영역과 중첩되는 경우, 차량 탑승자(1열 우측 탑승자)를 위해 전방 디스플레이 정보의 사이즈를 조절하여, 전방 프로젝션 디스플레이를 이용하여 정보 손실 없이 표시한다. Referring to (b) and (c) of FIG. 94 , the first transparent display is moved forward from the side. A content (navigation information) area displayed on the front projection display is changed transparently, and additional information (AR information) is displayed through the first transparent display. That is, by making some areas of the front projection display transparent and displaying navigation contents as AR contents, a vehicle occupant can check information through a more advanced surrounding situation information display. Referring to (c) of FIG. 94 , navigation information is displayed as AR content on a real road, and additional information (coupon discount information, store information, etc.) Displayed as AR content. When the area where the front display information before the first transparent display is moved forward overlaps the area of the transparent display, the size of the front display information is adjusted for the vehicle occupant (the right occupant in the first row) to create a front projection display. displayed without loss of information.

도 95는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다. 95 illustrates a vehicle display control method according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법은 제1 디스플레이의 이동에 대한 요청을 수신하는 단계(S9510)와, 제1 디스플레이를 이동시키는 제어 명령을 생성하는 단계(S9520) 및 제어 명령에 따라 제1 디스플레이를 이동시키고, 제1 디스플레이가 이동 완료된 영역에서 부가 정보를 디스플레이하는 단계(S9530)를 포함한다. A vehicle display control method according to another embodiment of the present invention includes receiving a request for moving a first display (S9510), generating a control command for moving the first display (S9520), and the control command and moving the first display accordingly, and displaying additional information in the area where the first display has been moved (S9530).

S9520 단계는 투명 디스플레이인 제1 디스플레이를 무빙 레일에 따라 이동시키도록 하는 제어 명령을 생성한다. In step S9520, a control command for moving the first display, which is a transparent display, along the moving rail is generated.

S9530 단계는 제1 디스플레이가 이동 완료된 영역에서 컨텐츠를 표출하는 프로젝선 영역을 투명화시키고, AR 정보를 외부 객체에 대응시켜 부가 정보를 디스플레이한다. In step S9530, a projection area displaying content in the area where the first display has been moved is made transparent, and additional information is displayed by matching AR information to an external object.

S9530 단계는 프로젝션 영역과 제1 디스플레이의 영역의 중첩 상태에 따라, 프로젝션 영역에서 표출되는 컨텐츠의 사이즈를 조절한다. In step S9530, the size of content displayed in the projection area is adjusted according to the overlapping state of the projection area and the area of the first display.

도 96은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 와핑 시스템을 도시한다. 96 illustrates a vehicle display warping system according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 영상 와핑 시스템은 탑승자 모니터링 정보를 확인하는 탑승자 모니터링부(9610)와, 탑승자 모니터링 결과에 따라 영상 와핑에 대한 제어 명령을 생성하는 제어 명령 생성부(9620) 및 제어 명령에 따른 와핑 영상을 디스플레이하는 와핑 영상 디스플레이부(9630)를 포함한다. A vehicle display image warping system according to another embodiment of the present invention includes an occupant monitoring unit 9610 that checks occupant monitoring information and a control command generation unit 9620 that generates a control command for image warping according to the occupant monitoring result. and a warping image display unit 9630 that displays a warping image according to a control command.

탑승자 모니터링부(9610)는 차량에 탑승한 사용자의 탑승 위치, 차량 디스플레이의 기준점과 사용자의 이격 거리 정보 및 탑승자의 시선 위치 정보 중 적어도 어느 하나를 확인한다. The occupant monitoring unit 9610 checks at least one of a boarding position of a user who is in the vehicle, information on a separation distance between a reference point of the vehicle display and the user, and information on a gaze position of the occupant.

제어 명령 생성부(9620)는 탑승자 모니터링 결과에 따라 와핑 사이즈를 결정하는 제어 명령을 생성한다. The control command generation unit 9620 generates a control command for determining a warping size according to the occupant monitoring result.

탑승자 위치에 따라 틀어져 보일 수 있는 영상에 대해, 정면으로 보는 듯한 시각적 효과를 누릴 수 있도록 와핑된 영상이 제공된다. 이 때, 탑승자의 눈위치를 판단하고, 디스플레이 중앙 기준점과의 거리 및 각도를 측정하여 영상 와핑의 수준이 결정된다. 거리의 경우, 3차원으로 전/후 및 상/하(사람의 앉은 키 등) 거리 모두가 측정되어, 어느 각도에서도 정면으로 보는 듯한 시각적 효과를 누릴 수 있도록 영상 와핑이 수행된다. 거리 판단은 실내 카메라(예: ToF, RGB)를 이용하고, 사람의 눈 위치, 머리 및 자세 측정을 위한 기준과 비교된다. 이 때, 포인트로 구성된 값들을 활용하여 삼각비 등 길이 값 책정에 활용하고, 탑승자 위치가 이동되는 경우 실시간으로 와핑이 수행되거나, 이동 완료 후 신규로 와핑 수준이 세팅될 수 있다. For images that may look distorted depending on the occupant's position, a warped image is provided so that the user can enjoy a visual effect as if looking straight ahead. At this time, the level of image warping is determined by determining the eye position of the occupant and measuring the distance and angle from the central reference point of the display. In the case of distance, both front/back and up/down distances (such as a person's sitting height) are measured in three dimensions, and image warping is performed to enjoy a visual effect as if looking straight ahead from any angle. Distance determination uses an indoor camera (e.g. ToF, RGB) and is compared with criteria for measuring human eye position, head and posture. At this time, values composed of points are used to determine length values such as a trigonometric ratio, and warping may be performed in real time when the occupant's position is moved, or a warping level may be newly set after the movement is completed.

도 97은 본 발명의 또 다른 실시예에 따른 탑승자 위치별 영상 및 와핑의 예시를 표현한다. 97 illustrates an example of images and warping for each occupant position according to another embodiment of the present invention.

도 97을 참조하면, 차량의 측창 투명 디스플레이를 통해 영상 컨텐츠가 표시된다. 이 때, 측창 투명 디스플레이를 기준으로 상대적으로 가까운 제1 사용자와 상대적으로 먼 제2 사용자가 탑승한 상황임을 가정한다. Referring to FIG. 97 , video content is displayed through a transparent display on a side window of a vehicle. At this time, it is assumed that a relatively close first user and a relatively far second user are on board with respect to the side window transparent display.

제1 사용자와 제2 사용자의 시선에서 동일한 측창 투명 디스플레이를 바라보는 것을 가정하였을 때, 동일한 디스플레이 영역에서 와핑의 정도가 상이하게 설정된다. When it is assumed that the first user and the second user look at the same side-window transparent display from the line of sight, the degree of warping is set to be different in the same display area.

즉, 디스플레이를 기준으로 상대적으로 거리가 가까운 제1 사용자의 경우, 상대적으로 거리가 먼 제2 사용자 대비 와핑 사이즈가 상이하게 설정된다. That is, in the case of the first user who is relatively close to the display, the warping size is set to be different from that of the second user who is relatively far away.

도 97의 디스플레이 정면 뷰를 참조하면, 측창 투명 디스플레이를 정면으로 바라보는 경우, 제1 사용자에게 제공되는 실제 와핑 사이즈의 영상과, 제2 사용자에게 제공되는 실제 와핑 사이즈의 영상의 형태가 상이함을 확인할 수 있다. Referring to the front view of the display of FIG. 97, when looking at the side window transparent display from the front, the shape of the image of the actual warping size provided to the first user and the image of the actual warping size provided to the second user are different. You can check.

도 98은 본 발명의 또 다른 실시예에 따른 탑승자의 시선 정보에 따른 영상 와핑을 도시한다. 98 illustrates image warping according to eye gaze information of a passenger according to another embodiment of the present invention.

도 98을 참조하면, 차량의 측창 투명 디스플레이를 통해 영상 컨텐츠가 표시된다. 이 때, 상대적으로 앉은 키가 작은 제1 사용자와, 상대적으로 앉은 키가 큰 제2 사용자 별로, 측창 투명 디스플레이를 바라보는 각도가 다르다. 제1 사용자와 제2 사용자의 시선에서 동일한 측창 투명 디스플레이를 바라보는 것을 가정하였을 때, 동일한 디스플레이 영역에서 와핑의 정도가 상이하게 설정된다. Referring to FIG. 98 , video content is displayed through a transparent display on a side window of a vehicle. At this time, the viewing angle of the side window transparent display is different for each first user with a relatively short sitting height and the second user with a relatively tall sitting height. When it is assumed that the first user and the second user look at the same side-window transparent display from the line of sight, the degree of warping is set to be different in the same display area.

즉, 상대적으로 앉은 키가 작은 제1 사용자의 경우, 상대적으로 앉은 키가 큰 제2 사용자 대비 와핑 사이즈가 상이하게 설정된다. That is, in the case of the first user with a relatively short sitting height, the warping size is set to be different from that of the second user with a relatively large sitting height.

도 98의 디스플레이 정면 뷰를 참조하면, 측창 투명 디스플레이를 정면으로 바라보는 경우, 제1 사용자에게 제공되는 실제 와핑 사이즈의 영상과, 제2 사용자에게 제공되는 실제 와핑 사이즈의 영상의 형태가 상이함을 확인할 수 있다. Referring to the front view of the display of FIG. 98, when looking at the side window transparent display from the front, the shape of the image of the actual warping size provided to the first user and the image of the actual warping size provided to the second user are different. You can check.

도 99는 본 발명의 또 다른 실시예에 따른 탑승자 거리 및 시선 정보에 따른 영상 와핑을 도시한다. 99 illustrates image warping according to passenger distance and line of sight information according to another embodiment of the present invention.

차량 내 시트가 회전되어, 측창 디스플레이를 통해 영상 컨텐츠를 시청하는 상황임을 가정한다. Assume that a seat in the vehicle is rotated and video content is viewed through a side window display.

도 99를 참조하면, 탑승 위치에 착좌한 탑승객이 측장 디스플레이를 통해 영상 컨텐츠를 시청하는 경우, 해당 탑승객의 시선에서는 디스플레이 영역에 직사각형 형상의 영상 컨텐츠가 표출되는 것으로 보여진다. Referring to FIG. 99 , when a passenger seated in a boarding position watches video content through a side length display, it is seen that the rectangular-shaped video content is displayed in the display area from the perspective of the passenger.

디스플레이 정면 뷰를 참조하면, 와핑 상황이 도시되는데, 와핑 영상은 해당 탑승객 측에 가까운 일단의 높이가 해당 탑승객 측으로부터 상대적으로 먼 타단의 높이보다 낮은 것을 확인할 수 있다. Referring to the front view of the display, a warping situation is shown. In the warping image, it can be seen that the height of one end close to the passenger is lower than the height of the other end relatively far from the passenger.

도 100은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 와핑 방법을 도시한다. 100 illustrates a vehicle display warping method according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 영상 와핑 방법은 탑승자 모니터링을 수행하는 단계(S10010)와, 탑승자 모니터링의 결과에 따라 영상 와핑에 대한 제어 명령을 생성하는 단계(S10020) 및 제어 명령에 따라 와핑 영상을 디스플레이하는 단계(S10030)를 포함한다. A vehicle display image warping method according to another embodiment of the present invention includes the step of monitoring an occupant (S10010), generating a control command for image warping according to the result of the occupant monitoring (S10020), and according to the control command and displaying the warped image (S10030).

S10010 단계는 차량에 탑승한 사용자의 탑승 위치, 차량 디스플레이의 기준점과 사용자의 이격 거리 정보 및 탑승자의 시선 위치 정보 중 적어도 어느 하나를 확인하고, S10020 단계는 S10010단계에서의 확인 결과에 따라 와핑 사이즈를 결정하는 제어 명령을 생성한다. Step S10010 checks at least one of the boarding position of the user who is in the vehicle, the reference point of the vehicle display and the user's separation distance information, and the passenger's gaze position information. Creates a control command that determines

S10030 단계는 탑승자 측에 가까운 와핑 영상의 일단의 높이가 탑승자 측으로부터 상대적으로 먼 와핑 영상의 타단의 높이보다 낮도록 설정된 와핑 영상을 디스플레이한다. In step S10030, a warping image set such that the height of one end of the warping image closer to the passenger is lower than the height of the other end of the warping image relatively far from the passenger's side is displayed.

도 101은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다. 101 illustrates a vehicle display control system according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템은 차량 디스플레이의 기준점과 탑승자 간의 이격 거리 정보를 확인하는 탑승자 모니터링부(10110)와, 이격 거리 정보를 이용하여 차량 디스플레이의 영역 분할에 대한 제어 명령을 생성하는 제어 명령 생성부(10120) 및 제어 명령에 따라 각각의 탑승자에게 분할된 디스플레이 영역을 할당하고, 해당 디스플레이 영역에서 각 사용자 니즈에 따라 컨텐츠를 표시하는 영역 분할 디스플레이부(10130)를 포함한다. A vehicle display control system according to another embodiment of the present invention includes an occupant monitoring unit 10110 that checks information on a distance between a reference point of a vehicle display and a passenger, and a control command for dividing a region of a vehicle display using the distance information. and a control command generator 10120 that generates a control command, and a region division display unit 10130 that allocates a divided display area to each occupant according to the control command and displays content according to each user's needs in the corresponding display area. .

탑승자 모니터링부(10110)는 실내 카메라를 이용하여 이격 거리 정보를 확인한다. The occupant monitoring unit 10110 checks separation distance information using an indoor camera.

제어 명령 생성부(10120)는 탑승자의 눈 위치를 판단하여 복수의 탑승자의 눈에서 보이는 디스플레이 길이값을 책정한다. The control command generation unit 10120 determines the position of the eyes of the passengers and determines the display length value seen from the eyes of the plurality of passengers.

제어 명령 생성부(10120)는 복수의 탑승자에게 제공되는 영상 폭을 길이값의 비율에 맞춰 영상 분할 사이즈를 조정하는 제어 명령을 생성한다.The control command generating unit 10120 generates a control command for adjusting the image division size according to the ratio of the image width provided to the plurality of occupants to the length value.

도 102는 본 발명의 또 다른 실시예에 따른 탑승자 거리에 따른 디스플레이 영역 분할을 도시한다. 102 illustrates division of a display area according to an occupant distance according to another embodiment of the present invention.

도 102를 참조하면, 2열에 탑승한 사용자 A 및 사용자 B는 좌측 투명 디스플레이를 이용하여, 외부 관심 객체에 대한 부가 정보(AR 정보)를 확인한다. 이 때, 부가 정보는 외부 관심 객체에 대한 윤곽선 정보가 표시된다. 좌측 투명 디스플레이의 중앙 기준점에서 사용자 A 및 사용자 B까지의 이격 거리가 상이하며, 이러한 이격 거리에 기초하여 좌측 투명 디스플레이의 영역이 분할된다. 즉, 2명의 사용자라고 하여 반반씩 투명 디스플레이의 영역을 분할하지 않고, 이격 거리 정보를 고려하여 화면의 분할 정도를 결정한다. Referring to FIG. 102 , users A and B boarding in the second row use the left transparent display to check additional information (AR information) on an external object of interest. At this time, as the additional information, contour information of the external object of interest is displayed. Separation distances from the central reference point of the left transparent display to user A and user B are different, and the area of the left transparent display is divided based on the separation distance. That is, the degree of division of the screen is determined in consideration of the separation distance information without dividing the area of the transparent display into halves for two users.

이를 통해, 다른 착좌 위치임에도 사용자들은 각각 동등한 화면 비율로 분할된 디스플레이를 이용할 수 있다. Through this, even in different seating positions, users can use divided displays with equal screen ratios.

실내 카메라(예: ToF, RGB)는 투명 디스플레이와 사용자 간의 이격 거리 정보를 획득한다. 카메라를 이용하여 사용자의 눈 위치를 판단하고, 정해진 디스플레이의 위치와 함께 삼각비 계산을 통해 눈에서 보이는 동일 디스플레이 길이값을 책정한다. An indoor camera (eg ToF, RGB) obtains information on the separation distance between the transparent display and the user. The user's eye position is determined using a camera, and the same display length value seen from the eye is determined through trigonometric ratio calculation along with the determined display position.

즉, 각 탑승자가 바라보는 방향으로 동일한 거리에서의 화면 영상 비율이 동일하도록, 길이값을 판단하여 영상 영역을 조정하여 분할 디스플레이 기능을 제공한다. That is, a split display function is provided by adjusting the image area by determining the length value so that the screen image ratio is the same at the same distance in the direction in which each occupant is looking.

도 103은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다. 103 illustrates a vehicle display control method according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법은 차량 디스플레이 및 탑승자 간의 이격 거리를 확인하여 탑승자 정보 모니터링을 수행하는 단계(S10310)와, 이격 거리를 이용하여 차량 디스플레이의 영역 분할에 대한 제어 명령을 생성하는 단계(S10320) 및 제어 명령에 따라 영역 분할 디스플레이를 제공하는 단계(S10330)를 포함한다. A method for controlling a vehicle display according to another embodiment of the present invention includes the step of checking the separation distance between the vehicle display and the occupant and monitoring the occupant information (S10310), and the control command for dividing the area of the vehicle display using the separation distance. generating (S10320) and providing a region division display according to a control command (S10330).

S10310 단계는 차량 실내를 촬영하는 카메라를 이용하여 이격 거리를 확인한다. Step S10310 checks the separation distance using a camera that photographs the interior of the vehicle.

S10320 단계는 탑승자의 눈 위치를 판단하여 복수의 탑승자의 눈에서 보이는 디스플레이의 길이값을 책정하고, 길이값의 비율에 맞춰 영상 분할 사이즈를 조정하는 제어 명령을 생성한다. In step S10320, a length value of a display visible from the eyes of a plurality of passengers is determined by determining the position of the occupant's eyes, and a control command for adjusting the image division size according to the ratio of the length value is generated.

S10330 단계는 복수의 탑승자에게 영역 분할 디스플레이를 각각 할당하여 제공하고, 해당 디스플레이 영역에서 각 사용자의 니즈에 따라 컨텐츠를 표시한다.In step S10330, area division displays are allocated and provided to a plurality of occupants, and content is displayed according to the needs of each user in the corresponding display area.

한편, 본 발명의 실시예에 따른 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.Meanwhile, the method according to the embodiment of the present invention may be implemented in a computer system or recorded on a recording medium. A computer system may include at least one processor, a memory, a user input device, a data communication bus, a user output device, and a storage. Each of the aforementioned components communicates data through a data communication bus.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface coupled to the network. The processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in memory and/or storage.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.The memory and storage may include various types of volatile or non-volatile storage media. For example, memory may include ROM and RAM.

따라서, 본 발명의 실시예에 따른 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 방법을 수행할 수 있다.Therefore, the method according to the embodiment of the present invention can be implemented as a method executable on a computer. When the method according to an embodiment of the present invention is executed in a computer device, computer readable instructions may perform the method according to the present invention.

한편, 상술한 본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the method according to the present invention described above may be implemented as computer readable codes on a computer readable recording medium. Computer-readable recording media includes all types of recording media in which data that can be decoded by a computer system is stored. For example, there may be read only memory (ROM), random access memory (RAM), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, and the like. In addition, the computer-readable recording medium may be distributed in computer systems connected through a computer communication network, and stored and executed as readable codes in a distributed manner.

도 104는 본 발명의 일 실시예에 따른 목적 기반 차량을 도시한 도면이다.104 is a diagram illustrating a purpose-based vehicle according to an embodiment of the present invention.

도 104를 참조하면, 목적 기반 차량(PBV; 100)은, 스케이트 보드(110), 캐빈(120) 및 시트(130)를 포함한다.Referring to FIG. 104 , a purpose-based vehicle (PBV) 100 includes a skateboard 110 , a cabin 120 and a seat 130 .

스케이트 보드(110)는 차체 바닥면을 이룬다.The skateboard 110 forms the bottom surface of the vehicle body.

캐빈(120)은 스케이트 보드(110)의 상단에 결합돼 탑승공간과 별도의 수납공간을 제공한다.The cabin 120 is coupled to the top of the skateboard 110 to provide a boarding space and a separate storage space.

가령, 캐빈(120)의 바닥면이 낮기 때문에, 운전석의 시야 확보를 위해 시계(visibility) 라인이 확보되는 위치까지 시트(130)를 높게 조절해야 한다. 이로 인하여, 캐빈(120)의 탑승공간에 설치된 시트(130)의 하단부에는 별도의 수납공간을 확보할 수 있다.For example, since the floor of the cabin 120 is low, the seat 130 must be adjusted to a high level to a position where a visibility line is secured in order to secure the driver's seat's field of view. Due to this, a separate storage space can be secured at the lower end of the seat 130 installed in the boarding space of the cabin 120 .

도 105는 도 104에 표시된 A-A의 단면을 도시한 측단면도이다.FIG. 105 is a side cross-sectional view showing the section A-A indicated in FIG. 104;

도 105를 참조하면, 스케이트 보드(110)에는 배터리 탑재공간(111)이 마련된다. 배터리 탑재공간(111)은 배터리(미도시) 설치 및 제어 정밀도를 고려하여 설계돼야 한다.Referring to FIG. 105 , a battery mounting space 111 is provided in the skateboard 110 . The battery mounting space 111 should be designed in consideration of battery (not shown) installation and control accuracy.

캐빈(120)은 탑승자의 편의를 위해 시트(130)의 리클라이닝 조절뿐만 아니라, 자체 회전이 가능하도록 한다. 특히, 캐빈(120)의 전고(L)는 탑승자가 편하게 설 수 있는 높이로 설계될 수 있다.The cabin 120 allows the seat 130 to rotate itself as well as adjust the reclining of the seat 130 for the convenience of the occupant. In particular, the overall height (L) of the cabin 120 may be designed to a height at which occupants can comfortably stand.

이때, 캐빈(120)은 별도의 제어에 따라 전고(L) 조절이 가능할 수도 있다.At this time, the cabin 120 may be able to adjust the height (L) according to a separate control.

캐빈(120)에 설치된 디스플레이(121)는 인포테인먼트를 위한 오락 화면 및 기타 정보 영상을 화면으로 송출할 수 있다.The display 121 installed in the cabin 120 may transmit an entertainment screen for infotainment and other information images to the screen.

윈드실드(122)는 차량 내, 외부를 향해 선택적으로 영상을 표출한다.The windshield 122 selectively displays images toward the inside and outside of the vehicle.

윈드실드(122)는 전기변색 영상 영역부(122_1)와, 불투명 영상 영역부(122_2)를 포함한다.The windshield 122 includes an electrochromic image area portion 122_1 and an opaque image area portion 122_2.

전기변색 영상 영역부(122_1)는 전원 인가에 따라 차량 내, 외부를 향해 선택적으로 영상이 표출되도록 음영 조절이 가능하다.The electrochromic image area unit 122_1 can adjust the shade so that the image is selectively displayed toward the inside and outside of the vehicle according to power supply.

불투명 영상 영역부(122_2)는 전기변색 영상 영역부(122_1)의 하단으로 연장된다.The opaque image area portion 122_2 extends to the lower end of the electrochromic image area portion 122_1.

다른 예로서, 윈드실드(122)는 내부 디스플레이 영역과, 외부 디스플레이 영역으로 분할 적용될 수도 있다.As another example, the windshield 122 may be divided into an internal display area and an external display area.

가령, 내부 디스플레이 영역은 차량의 내부를 향해 영상을 표출하고, 외부 디스플레이 영역은 차량의 외부를 향해 영상을 표출할 수 있다. 이대, 내, 외부 디스플레이 영역은 서로 별개의 전기 인가 경로를 가질 수 있다.For example, the inner display area may display images toward the inside of the vehicle, and the outer display area may display images toward the outside of the vehicle. The second, inner, and outer display areas may have separate electric application paths.

도 106 및 도 107는 도 104에 표시된 A-A의 단면을 도시한 평단면도이다.106 and 107 are planar sectional views showing the cross section A-A indicated in FIG. 104;

도 106은 목적 기반 차량(100)내에 탑승한 탑승자가 자율 주행 모드로 전환하여 디스플레이(121)로 영상을 시청하고, 내부 스피커(123) 중에서 전, 후방 좌측 스피커(123_1, 123_2)를 활성화하는 예시를 도시한다.106 is an example in which a passenger inside the purpose-based vehicle 100 switches to an autonomous driving mode, watches an image on the display 121, and activates the front and rear left speakers 123_1 and 123_2 among the internal speakers 123 shows

각 열의 시트(130)는 필요에 따라 위치 조절이 가능하여, 탑승자는 차량 내부에 설치된 디스플레이(121)와 대향하는 위치로 편하게 위치를 조절한 상태에서 해당 영상을 시청할 수 있다.The position of the seats 130 in each row can be adjusted as needed, so that the occupant can watch the corresponding image while comfortably adjusting the position to a position facing the display 121 installed inside the vehicle.

이때, 내부 스피커(123)는 탑승자의 제어 및/또는 기본 설정에 따라 상호 연결된 복수의 스피커(123_1, 123_2, 123_3, 123_4)의 음향을 제공할 수 있다.At this time, the internal speaker 123 may provide sounds from the plurality of interconnected speakers 123_1, 123_2, 123_3, and 123_4 according to the passenger's control and/or basic settings.

도 107을 참조하면, 도 106의 상황에 더하여 탑승자는 시트(130)의 착좌부를 별도로 탈거하여 해당 착좌부를 차량 외부에 피팅시킨 후, 윈드실드(122)의 외부 영상을 시청할 수도 있다.Referring to FIG. 107 , in addition to the situation shown in FIG. 106 , the occupant may view an external image of the windshield 122 after separately removing the seating portion of the seat 130 to fit the seating portion to the outside of the vehicle.

이때, 외부 스피커(124)는 탑승자의 제어 및/또는 기본 설정에 따라 상호 연결된 복수의 스피커(124_1, 124_2)의 음향을 제공할 수 있다.In this case, the external speaker 124 may provide sounds from the plurality of interconnected speakers 124_1 and 124_2 according to the passenger's control and/or basic settings.

도 108 내지 도 115는 본 발명의 일 실시예에 따른 목적 기반 차량에 있어서, 다양한 시트 구조를 도시한 도면이다.108 to 115 are diagrams illustrating various seat structures in a purpose-based vehicle according to an embodiment of the present invention.

도 108 내지 도 115를 참조하면, 시트(130)는 골격부(131)와, 착좌부(132)를 포함한다.Referring to FIGS. 108 to 115 , the seat 130 includes a frame portion 131 and a seating portion 132 .

골격부(131)는 자체 회전 및 리클라이닝(Reclining) 조절이 가능하다. 골격부(131)는 헤드 레스트 조절은 물론, 럼버 서포트 조절이 가능하다.The skeleton part 131 can control its own rotation and reclining. The skeleton part 131 can adjust the headrest as well as the lumbar support.

또한, 골격부(131)는 자체 회전은 물론이고, 소정의 각도(α)만큼 높낮이 조절이나 및 소정의 길이만큼 앞뒤 조절도 가능하다.In addition, the frame portion 131 can rotate itself, as well as adjust its height by a predetermined angle α and adjust forward and backward by a predetermined length.

골격부(131)는 빅데이터와 동기화가 가능한 ECU(미도시)와 연동되어, 착좌부(132)에 착좌되는 무게를 ECU로 전송하고, ECU는 해당 무게를 빅데이터에 축적된 통계 정보와 비교 연산한 후, 그 결과값을 적용하여 골격부(131)의 위치를 조절하거나, 탑승자로 하여금 해당 정보를 디스플레이로 확인하도록 하여 선택할 수 있도록 할 수도 있다.The skeleton unit 131 is interlocked with an ECU (not shown) capable of synchronizing with big data, and transmits the weight of the seating unit 132 to the ECU, and the ECU compares the weight with statistical information accumulated in the big data. After the calculation, the position of the skeleton part 131 may be adjusted by applying the resultant value, or the occupant may select the information by checking the corresponding information on the display.

다른 예로서, 골격부(131)는 캐빈(120) 내 설치된 레일(미도시)을 따라 위치 조절이 가능할 수 있다.As another example, the position of the frame unit 131 may be adjustable along a rail (not shown) installed in the cabin 120 .

착좌부(132)는 골격부(131)에 스냅 핏(Snap-fit) 체결되어 착좌 공간을 제공한다.The seating portion 132 is snap-fitted to the skeleton portion 131 to provide a seating space.

착좌부(132)는 시트(130)의 골격부(131)로부터 탈거된 후 임의의 공간에 피팅 가능한 폴딩 구조로 이루어질 수 있다.The seating portion 132 may be formed of a folding structure capable of fitting in an arbitrary space after being detached from the skeleton portion 131 of the seat 130 .

이때, 착좌부(132) 탈착이 용이하도록, 착좌부(132)는 골격부(131)와 맞닿는 하단 부분에 별도의 그립 홈(133)을 가질 수 있다. 그립 홈(133)은 손잡이 홈 형상으로 제작될 수 있다.At this time, to facilitate attachment and detachment of the seating portion 132 , the seating portion 132 may have a separate grip groove 133 at a lower portion in contact with the skeleton portion 131 . The grip groove 133 may be manufactured in the shape of a handle groove.

착좌부(132)는 상단면이 전방으로 갈수록 상향 경사진 굴곡 구조를 가진다. 착좌부(132)의 측면은 사용자의 종아리가 안착될 수 있도록 하방으로 갈수록 외측으로 확장되는 굴곡 구조로 이루어질 수 있다.The seating portion 132 has a curved structure with an upper end surface inclined upward toward the front. A side surface of the seating portion 132 may have a curved structure extending outward as it goes downward so that the user's calf can be seated thereon.

착좌부(132)는 착좌 강성 확보를 위해 고강성 플라스틱(CFRP; Carbon Fiber Reinforced Plastic) 재질로 이루어지는 것이 바람직하다.The seating portion 132 is preferably made of a carbon fiber reinforced plastic (CFRP) material to secure seating rigidity.

착좌부(132)는 3면이 연결된 일체형 구조로 이루어질 수 있다.The seating portion 132 may have an integral structure in which three surfaces are connected.

착좌부(132)는 내측의 일부 구간에 복수의 리브가 구간마다 배치되어 강성을 보다 더 확보할 수도 있다.The seating portion 132 may further secure rigidity by disposing a plurality of ribs in a partial section of the inner side for each section.

다른 예로서, 착좌부(132)는 내측면이 허니콤(Honeycomb) 구조로 이루어져 강성을 확보할 수도 있다.As another example, the inner surface of the seating portion 132 may have a honeycomb structure to secure rigidity.

착좌부(132)는 적어도 2면 지지가 가능한 지지대(134)가 회전하며 착좌가 가능한 피팅 구조를 갖는다. 여기서, 착좌부(132)는 지지대(134) 길이와 회전량을 설정하여 평행 수준을 유지한 채로 피팅되는 것이 중요하다. 바람직하게는, 착좌부(132)는 3점 혹은 4점 지지 구조로 이루어지는 것이 좋다.The seating portion 132 has a fitting structure in which a support 134 capable of supporting at least two sides rotates and is seated. Here, it is important that the seating portion 132 is fitted while maintaining a level of parallelism by setting the length and rotation amount of the support 134 . Preferably, the seating portion 132 has a 3-point or 4-point support structure.

착좌부(132)는 골격부(131)와 맞닿는 테두리에 충격 흡수가 가능한 완충부재(미도시)를 포함할 수도 있다. 여기서, 완충부재는 착좌부(132)의 내측 테두리를 따라 체결되며, 탑승자가 착좌부(132)에 앉을 때 그 무게를 상쇄하여 착좌부(132)와 골격부(131) 간의 충격을 완화할 수 있다.The seating portion 132 may also include a buffer member (not shown) capable of absorbing shock at an edge in contact with the skeleton portion 131 . Here, the buffer member is fastened along the inner rim of the seating portion 132, and can offset the weight when the occupant sits on the seating portion 132 to mitigate the impact between the seating portion 132 and the skeleton portion 131. there is.

도 113의 착좌부(132)는 지지대(134), 힌지 축(135) 및 고정단(135)을 포함한다.The seating portion 132 of FIG. 113 includes a support 134, a hinge shaft 135, and a fixed end 135.

지지대(134)는 착좌부(132)의 양측면에 대칭된 채로 폴딩 가능한 구조를 갖는다.The support 134 has a structure capable of being folded while being symmetrical to both side surfaces of the seating portion 132 .

힌지 축(135)은 지지대(134)를 착좌부(132)의 양측면에 회동 가능하게 연결한다.The hinge shaft 135 pivotally connects the support 134 to both side surfaces of the seating portion 132 .

고정단(136)은 지지대(134)가 펴진 상태로 피팅을 유지할 수 있도록 착좌부(132)의 측단 일부 구간에 위치할 수 있다. 즉, 고정단(136)은 받침대 역할을 하는 지지대(134)을 고정하는 스토퍼(Stopper)로서 기능할 수 있다.The fixing end 136 may be located in a partial section of the side end of the seating portion 132 so that the support 134 can maintain the fitting in an unfolded state. That is, the fixing end 136 may function as a stopper for fixing the support 134 serving as a stand.

도 114의 착좌부(132)는 지지대(134) 및 브래킷(137)을 포함한다.The seating portion 132 of FIG. 114 includes a support 134 and a bracket 137.

여기서, 지지대(134)는 착좌부(132)의 양측면에 대칭된 채로 포딩 가능하게 연결된다.Here, the support 134 is connected to both sides of the seating portion 132 in a symmetrical manner so as to be able to be folded.

브래킷(137)은 지지대(134)가 펴진 상태로 강성을 유지하도록 착좌부(132)의 측단 일부 구간에 스냅 핏(Snap-fit) 체결될 수 있다.The bracket 137 may be snap-fitted to a partial section of the side end of the seating portion 132 so as to maintain rigidity while the support 134 is unfolded.

도 115의 (a), (b), (c), (d)는, 후방에서 지지대(134)를 바라볼 때의 지지대(134) 형태를 예시적으로 도시한다.115 (a), (b), (c), and (d) illustratively show the shape of the support 134 when viewing the support 134 from the rear.

지지대(134)의 이러한 형태는 하나의 일례일 뿐이고, 이와 같은 형태에 제한되지 않는다. 결과적으로 해당 형태는 지지대(134)가 강성을 확보한다는 점에서 유의미하다.This shape of the support 134 is only one example, and is not limited to such a shape. As a result, the shape is meaningful in that the support 134 secures rigidity.

본 발명은 전술한 실시예에 국한하지 않고, 본 발명의 기술사상이 허용되는 범위 내에서 다양하게 변형하여 실시할 수 있다.The present invention is not limited to the above-described embodiments, and can be implemented with various modifications within the scope permitted by the technical spirit of the present invention.

Claims (9)

제1 디스플레이의 이동에 대한 요청을 수신하는 디스플레이 이동 요청 수신부;
상기 요청에 따라 상기 제1 디스플레이를 이동시키는 제어 명령을 생성하는 제어 명령 생성부; 및
상기 제어 명령에 따라 이동된 상기 제1 디스플레이에 부가 정보를 디스플레이하고, 상기 제1 디스플레이가 이동 완료된 영역에 표출되고 있던 컨텐츠의 표시를 변경시키는 부가 정보 디스플레이부
를 포함하는 차량 디스플레이 제어 시스템.
a display movement request receiving unit receiving a request for moving the first display;
a control command generator generating a control command for moving the first display according to the request; and
An additional information display unit that displays additional information on the first display moved according to the control command and changes the display of content displayed in the area where the first display has been moved.
Vehicle display control system comprising a.
 제1항에 있어서,
상기 디스플레이 이동 요청 수신부는 차량 탑승자의 제스처, 버튼 입력, 차량 탑승자의 디바이스로부터 수신한 요청 정보 중 적어도 어느 하나를 이용하여 상기 요청을 수신하는 것
인 차량 디스플레이 제어 시스템.
According to claim 1,
The display movement request receiving unit receives the request by using at least one of a gesture of a vehicle occupant, a button input, and request information received from a vehicle occupant's device.
In-vehicle display control system.
 제1항에 있어서,
상기 제어 명령 생성부는 투명 디스플레이인 상기 제1 디스플레이를 무빙 레일을 따라 이동시키는 상기 제어 명령을 전송하는 것
인 차량 디스플레이 제어 시스템.
According to claim 1,
The control command generating unit transmits the control command for moving the first display, which is a transparent display, along a moving rail.
In-vehicle display control system.
 제1항에 있어서,
상기 부가 정보 디스플레이부는 상기 제1 디스플레이가 이동 완료된 영역에서 컨텐츠를 표출하는 프로젝션 영역을 투명화시키고, AR 정보를 외부 객체의 위치에 대응시켜 상기 부가 정보를 디스플레이하는 것
인 차량 디스플레이 제어 시스템.
According to claim 1,
The additional information display unit makes a projection area displaying content transparent in the area where the first display has been moved, and displays the additional information by matching AR information to the location of an external object.
In-vehicle display control system.
 제1항에 있어서,
상기 부가 정보 디스플레이부는 상기 제1 디스플레이가 이동 완료된 영역에서 표출되고 있던 컨텐츠의 사이즈를 조절하여 디스플레이하는 것
인 차량 디스플레이 제어 시스템.
According to claim 1,
The additional information display unit adjusts the size of the content displayed in the area where the first display has been moved and displays it.
In-vehicle display control system.
 (a) 제1 디스플레이의 이동에 대한 요청을 수신하는 단계;
(b) 상기 제1 디스플레이를 이동시키는 제어 명령을 생성하는 단계; 및
(c) 상기 제어 명령에 따라 상기 제1 디스플레이를 이동시키고, 상기 제1 디스플레이가 이동 완료된 영역에서 부가 정보를 디스플레이하는 단계
를 포함하는 차량 디스플레이 제어 방법.
(a) receiving a request for moving the first display;
(b) generating a control command for moving the first display; and
(c) moving the first display according to the control command and displaying additional information in an area where the first display has been moved;
Vehicle display control method comprising a.
 제6항에 있어서,
상기 (b) 단계는 투명 디스플레이인 상기 제1 디스플레이를 무빙 레일에 따라 이동시키도록 하는 상기 제어 명령을 생성하는 것
인 차량 디스플레이 제어 방법.
According to claim 6,
Step (b) is to generate the control command to move the first display, which is a transparent display, along a moving rail.
In-vehicle display control method.
 제6항에 있어서,
상기 (c) 단계는 상기 제1 디스플레이가 이동 완료된 영역에서 컨텐츠를 표출하는 프로젝선 영역을 투명화시키고, AR 정보를 외부 객체에 대응시켜 상기 부가 정보를 디스플레이하는 것
인 차량 디스플레이 제어 방법.
According to claim 6,
The step (c) is to make a projection area displaying content transparent in the area where the first display has been moved, and display the additional information by matching AR information to an external object.
In-vehicle display control method.
 제6항에 있어서,
상기 (c) 단계는 프로젝션 영역과 상기 제1 디스플레이의 영역의 중첩 상태에 따라, 상기 프로젝션 영역에서 표출되는 컨텐츠의 사이즈를 조절하는 것
인 차량 디스플레이 제어 방법. According to claim 6,
The step (c) is to adjust the size of content displayed in the projection area according to the overlapping state of the projection area and the area of the first display.
In-vehicle display control method.
KR1020220004327A 2022-01-11 2022-01-11 System for controlling vehicle display KR20230108652A (en)

Priority Applications (12)

Application Number Priority Date Filing Date Title
KR1020220004327A KR20230108652A (en) 2022-01-11 2022-01-11 System for controlling vehicle display
US18/089,274 US20230219465A1 (en) 2022-01-11 2022-12-27 Purpose-built vehicle
EP22216794.2A EP4212377A1 (en) 2022-01-11 2022-12-27 System for controlling media play
US18/089,299 US20230219418A1 (en) 2022-01-11 2022-12-27 System for vehicle display image warping
EP22216796.7A EP4209386A3 (en) 2022-01-11 2022-12-27 Purpose-built vehicle
EP22216818.9A EP4212378A1 (en) 2022-01-11 2022-12-27 System for vehicle display image warping
EP22216827.0A EP4215401A1 (en) 2022-01-11 2022-12-27 System for controlling vehicle display
US18/089,243 US20230226910A1 (en) 2022-01-11 2022-12-27 System for controlling vehicle display
EP22216817.1A EP4209376A1 (en) 2022-01-11 2022-12-27 System for controlling vehicle display
US18/089,760 US20230219419A1 (en) 2022-01-11 2022-12-28 System for controlling vehicle display
US18/089,671 US20230221798A1 (en) 2022-01-11 2022-12-28 System for controlling media play
CN202310033264.6A CN116424173A (en) 2022-01-11 2023-01-10 Special vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220004327A KR20230108652A (en) 2022-01-11 2022-01-11 System for controlling vehicle display

Publications (1)

Publication Number Publication Date
KR20230108652A true KR20230108652A (en) 2023-07-18

Family

ID=87423465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220004327A KR20230108652A (en) 2022-01-11 2022-01-11 System for controlling vehicle display

Country Status (1)

Country Link
KR (1) KR20230108652A (en)

Similar Documents

Publication Publication Date Title
CN112369051A (en) Shared environment for vehicle occupants and remote users
US11410634B2 (en) Information processing apparatus, information processing method, display system, and mobile object
US20230110773A1 (en) Control system and method using in-vehicle gesture input
US20230221798A1 (en) System for controlling media play
EP4167055A1 (en) System for controlling vehicle display by transfering external interest information
KR20230108652A (en) System for controlling vehicle display
KR20230108653A (en) System for vehicle display image warping
KR20230108810A (en) System for controlling vehicle display
KR20230108811A (en) System for controlling vehicle display
KR20230108651A (en) System for controlling vehicle display
KR20230108654A (en) System for controlling vehicle display
KR20230108647A (en) System for controlling media play
KR20230108812A (en) System for controlling vehicle display
KR20230108648A (en) System for controlling media play
KR20230108809A (en) System for controlling vehicle display
KR20230108650A (en) Vehicle control system for reducing motion sickness
KR20230108649A (en) System for hazard determination and warining
KR20230108646A (en) System for controlling vehicle display
KR20230108655A (en) Purpose built vehicle
US20230121130A1 (en) System for controlling vehicle based on occupant's intent
EP4166369A1 (en) System for controlling vehicle display based on occupant's gaze
KR20230054013A (en) System for controlling vehicle display area of external interest information
KR20230054008A (en) System for determining external interest information display area and controlling vehicle display based on occupant's gaze
KR20230054012A (en) System for controlling vehicle display by storing and sharing information of external interest
KR20230054007A (en) System for controlling vehicle display based on occupant's gaze