KR20230108654A

KR20230108654A - 차량 디스플레이 제어 시스템

Info

Publication number: KR20230108654A
Application number: KR1020220004329A
Authority: KR
Inventors: 안성준; 김경훈
Original assignee: 현대모비스 주식회사
Priority date: 2022-01-11
Filing date: 2022-01-11
Publication date: 2023-07-18

Abstract

본 발명은 차량 디스플레이 제어 시스템에 관한 것으로, 보다 상세하게는 차량 디스플레이와 탑승자의 이격 거리에 따라 디스플레이 영역을 분할하는 시스템에 관한 것이다.
본 발명에 따른 차량 디스플레이 제어 시스템은 차량 디스플레이의 기준점과 탑승자 간의 이격 거리 정보를 확인하는 탑승자 모니터링부와, 이격 거리 정보를 이용하여 차량 디스플레이의 영역 분할에 대한 제어 명령을 생성하는 제어 명령 생성부 및 제어 명령에 따라 각각의 탑승자에게 분할된 디스플레이 영역을 할당하고, 해당 디스플레이 영역에서 각 사용자 니즈에 따라 컨텐츠를 표시하는 영역 분할 디스플레이부를 포함한다.

Description

차량 디스플레이 제어 시스템{SYSTEM FOR CONTROLLING VEHICLE DISPLAY}

본 발명은 차량 디스플레이 제어 시스템에 관한 것으로, 보다 상세하게는 차량 디스플레이와 탑승자의 이격 거리에 따라 디스플레이 영역을 분할하는 시스템에 관한 것이다.

종래 기술에 따르면, 차량 디스플레이를 이용하여 영상을 시청할 수 있도록 하는 기술이 제안되었으나, 탑승자의 위치 별로 디스플레이 영역을 분할 제어하는 구성을 제공하지 않아, 탑승자의 위치에 따른 니즈를 반영한 서비스를 제공하고 있지 못한 한계가 있다.

본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 차량 디스플레이와 탑승자 간의 이격 거리에 따라 디스플레이 영역을 분할하는 제어 시스템을 제공하는데 그 목적이 있다.

본 발명에 따른 차량 디스플레이 제어 시스템은 차량 디스플레이의 기준점과 탑승자 간의 이격 거리 정보를 확인하는 탑승자 모니터링부와, 이격 거리 정보를 이용하여 차량 디스플레이의 영역 분할에 대한 제어 명령을 생성하는 제어 명령 생성부 및 제어 명령에 따라 각각의 탑승자에게 분할된 디스플레이 영역을 할당하고, 해당 디스플레이 영역에서 각 사용자 니즈에 따라 컨텐츠를 표시하는 영역 분할 디스플레이부를 포함한다.

상기 탑승자 모니터링부는 실내 카메라를 이용하여 상기 이격 거리 정보를 확인한다.

상기 제어 명령 생성부는 상기 탑승자의 눈 위치를 판단하여 복수의 탑승자의 눈에서 보이는 디스플레이 길이값을 책정한다.

상기 제어 명령 생성부는 복수의 상기 탑승자에게 제공되는 영상 폭을 상기 길이값의 비율에 맞춰 영상 분할 사이즈를 조정하는 상기 제어 명령을 생성한다.

본 발명에 따른 차량 디스플레이 제어 방법은 (a) 차량 디스플레이 및 탑승자 간의 이격 거리를 확인하여 탑승자 정보 모니터링을 수행하는 단계와, (b) 이격 거리를 이용하여 차량 디스플레이의 영역 분할에 대한 제어 명령을 생성하는 단계 및 (c) 제어 명령에 따라 영역 분할 디스플레이를 제공하는 단계를 포함한다.

상기 (a) 단계는 차량 실내를 촬영하는 카메라를 이용하여 상기 이격 거리를 확인한다.

상기 (b) 단계는 탑승자의 눈 위치를 판단하여 복수의 탑승자의 눈에서 보이는 디스플레이의 길이값을 책정하고, 상기 길이값의 비율에 맞춰 영상 분할 사이즈를 조정하는 상기 제어 명령을 생성한다.

상기 (c) 단계는 복수의 탑승자에게 영역 분할 디스플레이를 각각 할당하여 제공하고, 해당 디스플레이 영역에서 각 사용자의 니즈에 따라 컨텐츠를 표시한다.

본 발명에 따르면, 탑승자에게 제공되는 영상의 폭을 비율에 맞춰 자동 조정함으로써, 탑승자의 위치에 따른 니즈를 반영한 차량 디스플레이 제어 기능을 제공하는 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 시스템을 도시한다.
도 2 내지 도 4는 본 발명의 실시예에 따른 탑승자 의도 기반 실내 레이아웃 변경을 도시한다.
도 5는 본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 방법을 도시한다.
도 6은 본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 시스템을 도시한다.
도 7은 본 발명의 다른 실시예에 따른 우선순위를 고려한 영역 별 차량 윈드쉴드 디스플레이 제어를 도시한다.
도 8은 본 발명의 다른 실시예에 따른 외부 관심 객체의 상대적 이동 시 우선순위를 고려한 영역 별 차량 윈드쉴드 디스플레이 제어를 도시한다.
도 9는 본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 방법을 도시한다.
도 10은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 시스템을 도시한다.
도 11은 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시 영역 판단 및 디스플레이 제어를 도시한다.
도 12는 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 방법을 도시한다.
도 13은 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 시스템을 도시한다.
도 14 내지 도 17은 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 상황에서의 차량 디스플레이 제어에 대한 예시를 도시한다.
도 18은 본 발명의 또 다른 실시예에 따른 제어권 이탈 시 차량 디스플레이 제어에 대한 예시를 도시한다.
도 19는 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 방법을 도시한다.
도 20은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 시스템을 도시한다.
도 21, 도 22 및 도 23은 본 발명의 또 다른 실시예에 따른 버튼 표시 제어를 도시한다.
도 24는 본 발명의 또 다른 실시예에 따른 다른 탑승자 참여 시 주도권 전환을 도시한다.
도 25는 본 발명의 또 다른 실시예에 따른 다른 탑승자 참여 시 화면 영역 분할 및 시선 정보에 기반한 디스플레이 제어를 도시한다.
도 26은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 방법을 도시한다.
도 27은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 시스템을 도시한다.
도 28은 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시 및 외부 관심 정보 표시 영역 제어를 도시한다.
도 29는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 방법을 도시한다.
도 30은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템을 도시한다.
도 31 및 도 32는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 회전 표시를 도시한다.
도 33은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 방법을 도시한다.
도 34는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 시스템을 도시한다.
도 35는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 캡쳐 과정을 도시한다.
도 36은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 스마트폰으로 공유하는 과정을 도시한다.
도 37은 본 발명의 또 다른 실시예에 따른 투명 디스플레이 슬라이딩을 통한 탑승자 별 외부 관심 정보 저장 및 확인 과정을 도시한다.
도 38은 본 발명의 또 다른 실시예에 따른 외부 관심 정보의 디스플레이 간 공유를 도시한다.
도 39는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 방법을 도시한다.
도 40은 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 시스템을 도시한다.
도 41은 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 과정을 도시한다.
도 42는 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 방법을 도시한다.
도 43은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 시스템을 도시한다.
도 44는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시를 도시한다.
도 45는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 방법을 도시한다.
도 46은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.
도 47은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 과정을 도시한다.
도 48은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.
도 49는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.
도 50은 본 발명의 또 다른 실시예에 따른 외부 관심 객체의 크기/부피 정보 전환 표시를 도시한다.
도 51은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.
도 52는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.
도 53은 본 발명의 또 다른 실시예에 따른 컨텐츠 이동 시 디스플레이 표출 영역 및 시트 제어를 도시한다.
도 54는 본 발명의 또 다른 실시예에 따른 컨텐츠 이동 시 디스플레이 표출 영역 제어를 도시한다.
도 55는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.
도 56은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.
도 57은 본 발명의 또 다른 실시예에 따른 시선 모니터링 결과에 따른 디스플레이 점유 제어를 도시한다.
도 58은 본 발명의 또 다른 실시예에 따른 시선 모니터링 결과에 따른 주도권 요청 불가에 대한 제어 상황을 도시한다.
도 59는 본 발명의 또 다른 실시예에 따른 시선 모니터링 결과에 따른 주도권 요청 및 수락에 대한 제어 상황을 도시한다.
도 60은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.
도 61은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.
도 62는 본 발명의 또 다른 실시예에 따른 복수의 사용자 인식에 따른 화면 조작 과정을 도시한다.
도 63은 본 발명의 또 다른 실시예에 따른 디스플레이 분리에 따른 개인화된 조작 과정을 도시한다.
도 64는 본 발명의 또 다른 실시예에 따른 원거리 사용자의 화면 조작 과정을 도시한다.
도 65는 본 발명의 또 다른 실시예에 따른 터치 입력 신호를 이용한 개별 위젯 이동 과정을 도시한다.
도 66은 본 발명의 또 다른 실시예에 따른 시선인식 및 제스처를 이용한 개별 위젯 이동 과정을 도시한다.
도 67은 본 발명의 또 다른 실시예에 따른 단일 위젯 이동을 통한 위젯 그룹 이동 과정을 도시한다.
도 68은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.
도 69는 본 발명의 또 다른 실시예에 따른 미디어 재생 제어 시스템을 도시한다.
도 70은 본 발명의 또 다른 실시예에 따른 실내 및 실외 탑승자의 스마트폰을 이용한 미디어 조작을 구분하여 인식하는 과정을 도시한다.
도 71은 본 발명의 또 다른 실시예에 따른 시선인식 정보 및 스마트폰을 이용한 미디어 조작 정보를 이용하여 미디어 조작을 구분하여 인식하는 과정을 도시한다.
도 72는 본 발명의 또 다른 실시예에 따른 시선인식 정보 및 UWB 통신을 이용한 미디어 조작 구분 인식 과정을 도시한다.
도 73은 본 발명의 또 다른 실시예에 따른 미디어 재생 제어 방법을 도시한다.
도 74는 본 발명의 또 다른 실시예에 따른 미디어 재생 제어 시스템을 도시한다.
도 75는 본 발명의 또 다른 실시예에 따른 사운드 간섭 방지 과정을 도시한다.
도 76은 본 발명의 또 다른 실시예에 따른 미디어 재생 제어 방법을 도시한다.
도 77은 본 발명의 또 다른 실시예에 따른 위험요소 판단 및 경고 제공 시스템을 도시한다.
도 78은 본 발명의 또 다른 실시예에 따른 외부 위험요소 경고 및 안전지역 이탈 경고 상황을 도시한다.
도 79는 본 발명의 또 다른 실시예에 따른 위험요소 판단 및 경고 제공 방법을 도시한다.
도 80은 본 발명의 또 다른 실시예에 따른 멀미 저감을 위한 차량 제어 시스템을 도시한다.
도 81은 본 발명의 또 다른 실시예에 따른 멀미 저감을 위한 디스플레이 및 실내 레이아웃 변화를 도시한다.
도 82는 본 발명의 또 다른 실시예에 따른 전면 디스플레이의 가변 표시 레이아웃을 도시한다.
도 83은 본 발명의 또 다른 실시예에 따른 프로젝션 디스플레이(전방 글라스)를 도시한다.
도 84는 본 발명의 또 다른 실시예에 따른 프로젝션 디스플레이(전방 글라스)를 이용하는 상황에서의 프로젝터를 도시한다.
도 85는 본 발명의 또 다른 실시예에 따른 프로젝션 디스플레이(루프 글라스)를 도시한다.
도 86은 본 발명의 또 다른 실시예에 따른 프로젝션 디스플레이(루프 글라스)를 이용하는 상황에서의 프로젝터를 도시한다.
도 87은 본 발명의 또 다른 실시예에 따른 영상 이동 과정을 도시한다.
도 88은 본 발명의 또 다른 실시예에 따른 멀미 저감을 위한 차량 제어 방법을 도시한다.
도 89는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.
도 90은 본 발명의 또 다른 실시예에 따른 디스플레이 간 영상 이동에 따른 음향 및 실내 레이아웃 변경 과정을 도시한다.
도 91은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.
도 92는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.
도 93은 본 발명의 또 다른 실시예에 따른 슬라이딩 디스플레이를 도시한다.
도 94는 본 발명의 또 다른 실시예에 따른 디스플레이 이동 및 AR 컨텐츠 표시 과정을 도시한다.
도 95는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.
도 96은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 와핑 시스템을 도시한다.
도 97은 본 발명의 또 다른 실시예에 따른 탑승자 위치별 영상 및 와핑의 예시를 표현한다.
도 98은 본 발명의 또 다른 실시예에 따른 탑승자의 시선 정보에 따른 영상 와핑을 도시한다.
도 99는 본 발명의 또 다른 실시예에 따른 탑승자 거리 및 시선 정보에 따른 영상 와핑을 도시한다.
도 100은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 와핑 방법을 도시한다.
도 101은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.
도 102는 본 발명의 또 다른 실시예에 따른 탑승자 거리에 따른 디스플레이 영역 분할을 도시한다.
도 103은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.
도 104는 본 발명의 일 실시예에 따른 목적 기반 차량을 도시한 도면.
도 105는 도 104에 표시된 A-A의 단면을 도시한 측단면도.
도 106 및 도 107은 도 104에 표시된 A-A의 단면을 도시한 평단면도.
도 108 내지 도 115는 본 발명의 일 실시예에 따른 목적 기반 차량에 있어서, 다양한 시트 구조를 도시한 도면.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

도 1은 본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 시스템을 도시한다.

본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 시스템은 차량에 탑승한 탑승자의 시선을 인식하는 탑승자 시선 인식부(101)와, 탑승자의 시선을 고려하여 차량의 측창을 통해 보여지는 외부 객체 중, 관심 지점을 결정하는 관심 지점 결정부(103) 및 차량의 이동에 따라 관심 지점에 대한 지속적인 응시가 가능하도록 탑승자의 시트 포지션을 변경시키는 시트 포지션 제어부(105)를 포함한다.

본 발명에 따른 탑승자 의도 기반 차량 제어 시스템은 투명 디스플레이로 구성되는 차량의 측창으로 인가되는 탑승자의 터치 입력 신호 및 탑승자의 에어 제스처 중 적어도 어느 하나를 인식하는 탑승자 제스처 인식부(102)를 더 포함하고, 관심 지점 결정부(103)는 터치 입력 신호 및 에어 제스처 중 적어도 어느 하나가 인식됨에 따라 관심 지점을 결정한다.

시트 포지션 제어부(105)는 차량의 주행 방향 및 주행 속도를 고려하여, 탑승자가 앉은 시트를 회전시키는 제어 신호를 전송한다.

시트 포지션 제어부(105)는 동일한 관심 지점을 응시하는 복수의 차량 탑승자의 시선을 고려하여, 제1 탑승자의 시트를 회전시키는 제어 신호를 전송하고, 제2 탑승자의 시트에 대해 전방 또는 후방 슬라이딩과 함께 회전시키도록 제어 신호를 전송한다.

본 발명에 따른 탑승자 의도 기반 차량 제어 시스템은 동일한 관심 지점을 응시하는 복수의 차량 탑승자의 시선을 확인하여, 제1 탑승자에 의해 제2 탑승자의 시야가 가려지는 것으로 판단하는 경우, 제1 탑승자의 착좌 위치로부터 가까운 제1 측창 너머로 보여지는 외부 영역을 제2 탑승자의 착좌 위치로부터 가까운 제2 측창을 통해 디스플레이하도록 제어하는 디스플레이 제어부(104)를 더 포함한다. 이 때, 시트 포지션 제어부(105)는 제1 탑승자의 시트를 제1 방향으로 회전시키는 제어 신호를 전송하고, 제2 탑승자의 시트를 제1 방향과 반대 방향인 제2 방향으로 회전시키는 제어 신호를 전송한다.

도 2 내지 도 4는 본 발명의 실시예에 따른 탑승자 의도 기반 실내 레이아웃 변경을 도시한다.

도 2 내지 도 4를 참조하면, 전방으로 주행하는 차량에 탑승한 사람 중, 좌측 뒷좌석에 앉은 제1 탑승자와, 우측 뒷좌석에 앉은 제2 탑승자가 있음을 가정한다.

제1 탑승자는 좌측 측창의 투명 디스플레이와 가까운 곳에 탑승한 사람으로서, 투명 디스플레이에 대한 터치 조작을 수행하고, 제2 탑승자는 좌측 측창의 투명 디스플레이로부터 먼 곳에 탑승한 사람으로서, 에어 제스처를 통해 조작을 수행한다.

본 발명의 실시예에 따르면, 탑승자의 시선을 인식하고, 시선 정보에 기반하여 탑승자 별로 개인화된 AR 정보를 좌측 측창의 투명 디스플레이를 통해 표시한다.

도 2를 참조하면, 제1 탑승자가 좌측 측창의 투명 디스플레이를 통해 보여지는 외부의 객체(isolated spire)의 영역에 터치 신호를 입력하면, 관심 지점 결정부(103)는 제1 탑승자의 시선, 제1 탑승자의 터치 신호 인가 영역을 고려하여, 외부의 특정 객체가 관심 객체인 것으로 결정한다.

디스플레이 제어부(104)는 좌측 측창의 투명 디스플레이를 통해, 해당 관심 객체의 구체적인 정보를 텍스트, 이미지, 아이콘 등으로 표시한다.

또한, 스피커를 통해 해당 관심 객체에 대한 정보를 음원으로 제공하는 것이 가능하며, 이 때 지향성 스피커 또는 좌측 뒷좌석에 배치된 헤드레스트 스피커를 통해, 제1 탑승자에게 해당 음원을 독립적으로 제공하는 것이 가능하다.

주행 차량이 전방으로 주행함에 따라, 좌측 측창을 통해 보여지는 외부의 관심 객체는 차량 바디 기준 좌측 후방 방향으로 상대적으로 이동된다.

제1 탑승자의 시선이 해당 관심 객체에 머물러, 제1 탑승자가 좌측 후방 방향으로 고개를 돌려 해당 관심 객체를 지속적으로 응시하고자 하는 것으로 확인하는 경우, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 반시계 방향으로 회전시켜, 제1 탑승자로 하여금 보다 편안한 자세로 해당 관심 객체를 지속적으로 응시할 수 있도록 한다.

이 때, 시트 포지션 제어부(105)는 탑승자 시선 인식부(101)를 통해 획득된 해당 관심 객체에 대한 제1 탑승자의 응시 지속 시간이 기설정 시간 이상인 경우, 제1 탑승자가 해당 관심 객체를 지속적으로 응시하고자 하는 니즈가 있는 것으로 판단하고, 주행 차량의 주행 속도 및 그에 따른 외부 관심 객체의 상대적 이동 속도에 맞추어 제1 탑승자가 탑승한 좌측 뒷좌석의 시트의 회전 속도를 제어한다.

시트 포지션 제어부(105)는 기설정 속도 이상의 고속 주행 중(예: 50Km/h)에는, 외부 관심 객체의 상대적 이동에 맞춰 시트를 회전시키게 되면, 급격한 시트 회전이 필요할 것으로 예상되고, 이에 따라 제1 탑승자로 하여금 불쾌감이 발생할 것으로 예상되는 경우, 시트에 대한 회전 동작을 수행하지 않는다.

불쾌감 발생에 대한 예상은 기설정된 기준 시트 회전 속도를 기준으로 판단이 이루어진다.

이 때, 시트 포지션 제어부(105)는 주행 차량의 주행 속도 뿐 아니라, 외부 관심 객체와 차량 간의 거리 정보를 기준으로, 시트 회전 동작 수행 여부를 결정한다.

예컨대, 주행 차량으로부터 50미터 떨어진 곳에 외부 관심 객체가 있는 상황에서, 주행 속도에 맞춰 제1 탑승자가 해당 외부 관심 객체를 지속적으로 응시할 수 있도록 시트를 회전하는 경우, 급격한 시트 회전이 필요한 반면, 주행 차량으로부터 500미터 떨어진 곳에 외부 관심 객체가 있는 경우, 주행 속도에 맞춰 제1 탑승자가 해당 외부 관심 객체를 지속적으로 응시할 수 있도록 시트를 회전하더라도, 급격한 시트 회전이 필요하지 않다.

따라서, 시트 포지션 제어부(105)는 주행 차량의 주행 속도, 제1 탑승자가 지속적으로 응시하고자 하는 외부 관심 객체와 주행 차량의 이격 거리를 종합적으로 고려하여, 제1 탑승자가 고개를 돌리지 않고도 지속적으로 해당 외부 관심 객체를 편안하게 응시할 수 있도록 제1 탑승자의 시트 포지션을 회전할 것인지 여부를 결정한다.

주행 차량이 전방으로 더 나아감에 따라, 해당 관심 객체가 제1 탑승자의 시야를 벗어나는 것으로 확인하면, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 시계 방향으로 회전시켜, 본래의 포지션으로 되돌린다.

또한, 시트 포지션 제어부(105)는 탑승자 시선 인식부(101)를 통해 획득되는 시선 정보가 더 이상 해당 관심 객체에 머무르지 않는 시간이 일정 시간 이상 유지되는 경우, 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 시계 방향으로 회전시켜, 본래의 포지션으로 되돌린다.

도 3을 참조하면, 제1 탑승자가 좌측 측창의 투명 디스플레이를 통해 보여지는 외부의 객체(isolated spire)를 주시하며 해당 영역에 터치 신호를 입력하고, 제2 탑승자가 좌측 측창의 투명 디스플레이를 통해 보여지는 동일한 외부의 객체(isolated spire)를 주시하며 기설정된 에어 제스처를 수행하는 것을 가정한다.

즉, 제1 탑승자와 제2 탑승자는 동일한 외부 객체를 외부 POI로 지정한다.

관심 지점 결정부(103)는 제1 탑승자의 시선, 제1 탑승자의 터치 신호 인가 영역, 제2 탑승자의 시선, 제2 탑승자의 에어 제스처를 고려하여, 외부의 특정 객체가 관심 객체인 것으로 결정한다.

또한, 스피커를 통해 해당 관심 객체에 대한 정보를 음원으로 제공하는 것이 가능하며, 이 때 뒷좌석 탑승자를 향하는 지향성 스피커, 좌측 뒷좌석에 배치된 헤드레스트 스피커, 우측 뒷좌석에 배치된 헤드레스트 스피커를 통해, 제1 및 제2 탑승자에게 음원을 제공하는 것이 가능하다.

제1 탑승자와 제2 탑승자의 시선이 해당 관심 객체에 머물러, 제1 탑승자 및 제2 탑승자가 좌측 후방 방향으로 고개를 돌려 해당 관심 객체를 지속적으로 응시하는 것으로 확인하는 경우, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 반시계 방향으로 회전시켜, 제1 탑승자로 하여금 보다 편안한 자세로 해당 관심 객체를 지속적으로 응시할 수 있도록 한다.

또한, 시트 포지션 제어부(105)는 외부의 관심 객체가 상대적으로 이동됨에 따라, 제1 탑승자에 의해 가려지는 제2 탑승자의 시야를 고려하여, 제2 탑승자가 탑승한 우측 뒷좌석의 시트를 차량 바디 기준 후방으로 슬라이딩 이동시키고, 반시계 방향으로 회전시켜, 제2 탑승자가 보다 용이하게 해당 관심 객체를 지속적으로 응시할 수 있도록 한다.

주행 차량이 전방으로 더 나아감에 따라, 해당 관심 객체가 제1 탑승자 및 제2 탑승자의 시야를 벗어나는 것으로 확인하면, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 시계 방향으로 회전시키고, 제2 탑승자가 탑승한 우측 뒷좌석의 시트를 전방으로 슬라이딩 이동시키고 시계 방향으로 회전시켜, 본래의 시트 포지션으로 되돌린다.

도 4를 참조하면, 제1 탑승자가 좌측 측창의 투명 디스플레이를 통해 보여지는 외부의 객체(isolated spire)를 주시하며 해당 영역에 터치 신호를 입력하고, 제2 탑승자가 좌측 측창의 투명 디스플레이를 통해 보여지는 동일한 외부의 객체(isolated spire)를 주시하며 기설정된 에어 제스처를 수행하는 것을 가정한다.

제1 탑승자의 시선이 해당 관심 객체에 머물러, 제1 탑승자가 좌측 후방 방향으로 고개를 돌려 해당 관심 객체를 지속적으로 응시하는 것으로 확인하는 경우, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 반시계 방향으로 회전시켜, 제1 탑승자로 하여금 보다 편안한 자세로 해당 관심 객체를 지속적으로 응시할 수 있도록 한다.

또한, 외부의 관심 객체가 상대적으로 이동됨에 따라, 제1 탑승자에 의해 가려지는 제2 탑승자의 시야를 고려하여, 디스플레이 제어부(104)는 우측 측창 디스플레이를 통해, 좌측 측창 투명 디스플레이 너머 보이는 외부 풍경의 화면을 복제하여 표시하고, 시트 포지션 제어부(105)는 제2 탑승자가 탑승한 우측 뒷좌석의 시트를 시계 방향으로 회전시켜, 제2 탑승자가 우측 측창 디스플레이를 통해 보다 용이하게 해당 관심 객체를 지속적으로 응시할 수 있도록 한다.

주행 차량이 전방으로 더 나아감에 따라, 해당 관심 객체가 제1 탑승자 및 제2 탑승자의 시야를 벗어나는 것으로 확인하면, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 시계 방향으로 회전시키고, 제2 탑승자가 탑승한 우측 뒷좌석의 시트를 반시계 방향으로 회전시켜, 본래의 시트 포지션으로 되돌린다.

도 5는 본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 방법을 도시한다.

본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 방법은 차량에 탑승한 탑승자의 시선 정보를 획득하는 단계(S501)와, 시선 정보를 이용하여 차량의 외부에 위치한 관심 지점을 결정하는 단계(S502) 및 차량의 이동에 따라 관심 지점에 대한 지속적인 응시가 가능하도록 탑승자의 시트 포지션을 변경시키는 단계(S503)를 포함한다.

S503 단계는 차량의 주행 방향 및 주행 속도를 고려하여, 탑승자가 앉은 시트를 회전시킨다.

S501 단계에서 복수의 탑승자의 시선 정보를 획득하고, S502 단계에서 복수의 탑승자의 관심 지점이 동일한 것으로 판단되는 경우, S503 단계는 제1 탑승자의 시트를 회전시키고, 제2 탑승자의 시트에 대해 전방 또는 후방 슬라이딩과 함께 회전시킨다.

본 발명에 따른 탑승자 의도 기반 차량 제어 방법은 S501 단계에서 복수의 탑승자의 시선 정보를 획득하고, S502 단계에서 상기 복수의 탑승자의 관심 지점이 동일한 것으로 판단되는 경우, 제1 탑승자의 착좌 위치로부터 가까운 제1 측창 너머로 보여지는 관심 지점을 포함한 외부 영역을 제2 탑승자의 착좌 위치로부터 가까운 제2 측창을 통해 디스플레이하도록 제어하는 단계(S504)를 더 포함한다.

도 6은 본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 시스템은 차량 내 제1 탑승자의 시선을 인식하는 제1 탑승자 시선 인식부(601)와, 차량 내 제2 탑승자의 시선을 인식하는 제2 탑승자 시선 인식부(602)와, 제1 탑승자 및 제2 탑승자의 시선으로부터 관심 정보를 결정하고, 윈드쉴드에 관심 정보를 표시하는 영역이 상호 교차되는지 여부를 확인하고, 디스플레이에 대한 우선순위를 결정하는 관심 정보 표시 영역 교차 여부 확인 및 우선순위 결정부(603)와, 디스플레이에 대한 우선순위에 따라 디스플레이를 제어하는 디스플레이 제어부(604)를 포함한다.

디스플레이 제어부(604)는 제1 탑승자의 관심 정보 표시 영역과 제2 탑승자의 관심 정보 표시 영역이 겹쳐지는 경우, 기설정된 주도권 정보를 고려하여 디스플레이를 제어한다.

디스플레이 제어부(604)는 제1 탑승자가 제2 탑승자보다 주도권을 가지는 것으로 설정된 경우, 제1 탑승자의 관심 정보 표시 영역이 제2 탑승자의 관심 정보 표시 영역을 가리며 상위에 표시되도록 디스플레이를 제어한다.

디스플레이 제어부(604)는 제1 탑승자가 제2 탑승자보다 주도권을 가지는 것으로 설정된 경우, 제2 탑승자의 관심 정보 표시 영역을 이동시켜 제2 탑승자의 관심 정보 표시 영역이 제1 탑승자의 관심 정보 표시 영역과 겹쳐지지 않도록 디스플레이를 제어한다.

디스플레이 제어부(604)는 제1 탑승자의 관심 정보 표시 영역과 제2 탑승자의 관심 정보 표시 영역이 겹쳐지는 경우, 관심 정보의 중요도를 고려하여 디스플레이를 제어한다.

디스플레이 제어부(604)는 제1 탑승자의 관심 정보가 제2 탑승자의 관심 정보 대비 중요도가 높은 분류에 속하는 것으로 판단하는 경우, 제2 탑승자의 관심 정보에 대한 표시를 수행하지 않고, 제1 탑승자의 관심 정보에 대한 표시를 수행하도록 디스플레이를 제어한다.

디스플레이 제어부(604)는 제1 탑승자에게 할당된 디스플레이 영역에 표시되는 컨텐츠의 종류 및 제1 탑승자에게 할당된 디스플레이 영역과 관련한 조작 상황 중 적어도 어느 하나를 고려하여, 제2 탑승자의 관심 정보를 제1 탑승자에게 할당된 디스플레이 영역에 표시할 것인지 여부를 결정한다.

도 7은 본 발명의 다른 실시예에 따른 우선순위를 고려한 영역 별 차량 윈드쉴드 디스플레이 제어를 도시한다.

도 7의 (a)를 참조하면, 운전자 A와 동승자 B는 차량 전면 윈드쉴드 너머로 외부 객체를 바라본다.

이 때, 운전자 A가 ①의 영역에 위치한 전방 차량을 기설정 시간 이상 응시하는 경우, 운전자 A의 시선 추적 결과에 따라 주행 관련 정보가 표시되며, 예컨대 전방 차량과의 거리, 네비게이션 정보 기반 AR 길 안내 정보 등이 투명 디스플레이인 전방 윈드쉴드의 제1 영역(A-1)에 표시된다.

동승자 B는 ②의 영역에 위치한 상점을 기설정 시간 이상 응시하고, 그에 따라 해당 상점의 정보(예: 여름 세일, 최고 70%까지)가 투명 디스플레이인 전방 윈드쉴드의 제2 영역(B-1)에 표시된다.

도 7의 (b)를 참조하면, 운전자 A는 ①의 영역에 위치한 주차 타워(예: 해당 주차 타워가 네비게이션 경로에 설정된 목적지임)를 바라봄에 따라, 해당 주차 타워의 정보(예: 시간당 주차 비용)가 투명 디스플레이인 전방 윈드쉴드의 제2 영역(B-1)에 표시된다.

이 때, 전술한 바와 같이 동승자 B의 시선에 따라 ②의 영역에 위치한 상점의 정보(예: 여름 세일, 최고 70%까지)에 대한 표시 영역(즉, 투명 디스플레이인 전방 윈드쉴드의 제2 영역(B-1) 중 일부)과 운전자 A의 시선에 따라 ①의 영역에 위치한 주차 타워의 정보에 대한 표시 영역이 겹치게 된다.

일례로, 디스플레이 제어부(604)는 운전자 A의 외부 관심 정보 영역과 동승자 B의 외부 관심 정보 영역을 겹쳐서 표시하도록 제어한다. 이 때, 반대의 경우로 동승자 B의 시선이 제1 영역(A-1)에 위치한 상점을 응시함에 따라, 제1 영역(A-1)에 위치한 상점에 대한 정보를 투명 디스플레이인 전방 윈드쉴드에 표시하는 경우, 운전자 A가 응시하는 객체에 대한 디스플레이 영역과 겹쳐지게 될 것으로 판단하면, 디스플레이 제어부(604)는 운전자 A가 응시하는 객체에 대한 정보만 디스플레이하고, 동승자 B의 시선에 따른 외부 관심 정보를 디스플레이하지 않도록 제어한다.

다른 예로서, 디스플레이 제어부(604)는 운전자 A의 시선에 따라 투명 디스플레이에 표시되는 정보의 표출 우선순위가 동승자 B의 시선에 따라 투명 디스플레이에 표시되는 정보의 표출 순위보다 높은 것을 확인하고, 운전자 A의 외부 관심 정보 영역을 동승자 B의 외부 관심 정보 영역 앞에 표시한다(즉, 동승자 B의 외부 관심 정보 영역의 일부가 가려질 수 있다).

또 다른 예로서, 디스플레이 제어부(604)는 운전자 A의 시선에 따라 투명 디스플레이에 표시되는 정보의 표출 우선순위가 동승자 B의 시선에 따라 투명 디스플레이에 표시되는 정보의 표출 순위보다 높은 것을 확인하고, 동승자 B의 외부 관심 정보에 대한 디스플레이 영역을 이동시켜, 운전자 A의 외부 관심 정보에 대한 디스플레이 영역과 겹쳐지지 않도록 한다.

예컨대, 도 7의 (b)의 경우, 상점의 정보(예: 여름 세일, 최고 70%까지)에 대한 표시 영역을 우측 하단으로 이동시켜, 주차 타워의 정보에 대한 표시 영역과 겹치지 않도록 제어한다.

즉, 운전자 A가 동승자 B 대비 주도권이 있을 경우, 운전자 A가 응시하는 외부 관심 정보에 대한 표시 영역을 동승자 B가 응시하는 외부 관심 정보에 대한 표시 영역 대비 선순위를 두어 디스플레이하도록 제어한다.

또한, 탑승자의 시선 인식에 따라 제공되는 정보가 주행, 안전 관련 정보(예: 차선, 속도 제한, 신호등, 앞차와의 거리 정보 등)인 경우, 외부 관심 정보 표시 영역을 다른 정보(예: 상점 정보 등) 표시 영역보다 우선하여 디스플레이하도록 제어한다.

도 8은 본 발명의 다른 실시예에 따른 외부 관심 객체의 상대적 이동 시 우선순위를 고려한 영역 별 차량 윈드쉴드 디스플레이 제어를 도시한다.

도 8의 (a)를 참조하면, 제1 탑승자 A와 제2 탑승자 B는 차량 좌측 측창 윈드쉴드 너머로 외부 객체를 바라본다.

이 때, 제1 탑승자 A의 니즈에 따라 제1 영역(A-1)에 뮤직플레이어를 디스플레이하고 있고, 제2 탑승자 B의 니즈에 따라 외부 관심 객체(Isolated Spire)의 윤곽을 제2 영역(B-1)에 디스플레이하고 있다.

도 8의 (b)를 참조하면, 차량이 전방으로 주행 이동함에 따라, 제2 탑승자 B의 관심 정보가 제1 탑승자 A의 디스플레이 영역(A-1)을 침범하는 경우, 디스플레이 제어부(604)는 컨텐츠의 속성, 제1 탑승자 A의 시선 모니터링 결과를 고려하여 제1 영역(A-1) 및 제2 영역(B-1)에 대한 디스플레이 제어를 수행한다.

도 8의 (b)를 참조하면, 제1 탑승자 A의 디스플레이 영역(A-1)에 표시되는 컨텐츠가 제1 탑승자 A의 시선 정보에 기초한 외부 관심 정보가 아닌 컨텐츠(예: 음악, 날씨, 영화 등)일 경우, 그 컨텐츠의 종류 또는 제1 탑승자 A의 화면 조작 상태에 따라, 제2 탑승자 B의 외부 관심 객체의 정보를 제1 영역(A-1)에 침범하여 표시할 것인지 결정한다.

제1 탑승자 A가 제1 영역(A-1)에서 음악을 고르는 경우, 디스플레이 제어부(604)는 제2 탑승자 B의 외부 관심 객체의 정보를 제1 영역(A-1)에 표시하지 않도록 제어하여, 제1 탑승자 A의 화면 조작을 방해하지 않도록 한다.

또한, 제1 탑승자 A가 제1 영역(A-1)에서 영화를 시청하고 있는 경우, 디스플레이 제어부(604)는 제2 탑승자 B의 외부 관심 객체의 정보를 제1 영역(A-1)에 표시하지 않도록 제어하여, 제1 탑승자 A의 영화 시청을 방해하지 않도록 한다.

다른 예로서, 제1 탑승자 A가 제1 영역(A-1)에서 컨텐츠 실행에 대한 조작을 수행하고 있지 않은 상황인 경우, 디스플레이 제어부(604)는 제2 탑승자 B의 외부 관심 객체의 정보를 제1 영역(A-1)에 표시하도록 제어한다.

또한, 제1 탑승자 A가 ③과 같이 일정 시간 이상 다른 곳을 응시하는 것으로 확인되면, 디스플레이 제어부(604)는 제2 탑승자 B의 외부 관심 객체의 정보를 제1 영역(A-1)에 표시하도록 제어한다.

도 9는 본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 방법을 도시한다.

본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 방법은 차량에 탑승한 복수의 탑승자의 시선 정보를 인식하는 단계(S901)와, 시선 정보를 이용하여 관심 정보를 확인하는 단계(S902)와, 투명 디스플레이인 윈드쉴드로 표시되는 관심 정보의 표시 영역이 교차하는지 여부를 확인하는 단계(S903) 및 관심 정보의 표시 영역이 교차하는 경우, 디스플레이 제어를 수행하는 단계(S904)를 포함한다,

S904 단계는 제1 탑승자의 관심 정보 표시 영역과 제2 탑승자의 관심 정보 표시 영역이 겹쳐지는 것으로 확인한 결과에 따라, 기설정된 주도권 정보를 고려하여 디스플레이 제어를 수행한다.

S904 단계는 제1 탑승자가 제2 탑승자보다 주도권을 가지는 것으로 설정된 경우, 제1 탑승자의 관심 정보 표시 영역이 제2 탑승자의 관심 정보 표시 영역을 가리며 상위에 표시되도록 디스플레이 제어를 수행한다.

S904 단계는 제1 탑승자가 제2 탑승자보다 주도권을 가지는 것으로 설정된 경우, 제2 탑승자의 관심 정보 표시 영역을 이동시켜 제2 탑승자의 관심 정보 표시 영역이 제1 탑승자의 관심 정보 표시 영역과 겹쳐지지 않도록 디스플레이 제어를 수행한다.

S904단계는 제1 탑승자의 관심 정보 표시 영역과 제2 탑승자의 관심 정보 표시 영역이 겹쳐지는 경우, 관심 정보의 중요도를 고려하여 디스플레이 제어를 수행한다.

S904단계는 제1 탑승자의 관심 정보가 제2 탑승자의 관심 정보 대비 중요도가 높은 분류에 속하는 것으로 판단하는 경우, 제2 탑승자의 관심 정보에 대한 표시를 수행하지 않고, 제1 탑승자의 관심 정보에 대한 표시를 수행하도록 디스플레이 제어를 수행한다.

S904단계는 제1 탑승자에게 할당된 디스플레이 영역에 표시되는 컨텐츠의 종류 및 제1 탑승자에게 할당된 디스플레이 영역과 관련한 조작 상황 중 적어도 어느 하나를 고려하여, 제2 탑승자의 관심 정보를 제1 탑승자에게 할당된 디스플레이 영역에 표시할 것인지 여부를 결정한다.

도 10은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 시스템은 차량 내 제1 탑승자의 시선을 인식하는 제1 탑승자 시선 인식부(1001)와, 제1 탑승자의 시선으로부터 제1 탑승자의 외부 관심 정보를 확인하는 제1 탑승자의 외부 관심 정보 확인부(1003)와, 차량 내 제2 탑승자의 시선을 인식하는 제2 탑승자 시선 인식부(1002)와, 제2 탑승자의 시선으로부터 제2 탑승자의 외부 관심 정보를 확인하는 제2 탑승자의 외부 관심 정보 확인부(1004)와, 제1 탑승자의 외부 관심 정보 표시 영역과 제2 탑승자의 외부 관심 정보 표시 영역을 확인하는 외부 관심 정보 표시 영역 확인부(1005) 및 상대적으로 정보 표시의 중요도가 낮은 제2 탑승자의 외부 관심 정보 표시 영역에 의한, 제1 탑승자의 외부 관심 정보 표시 영역에 대한 인식 영향을 고려하여, 디스플레이에 대한 우선순위를 결정하는 디스플레이 제어부(1006)를 포함한다.

디스플레이 제어부(1006)는 인식 영향이 기설정된 수치 이하인 것으로 판단한 경우, 제1 탑승자의 외부 관심 정보 표시와 함께 제2 탑승자의 외부 관심 정보를 표시하도록 디스플레이 제어를 수행한다.

디스플레이 제어부(1006)는 인식 영향이 기설정된 수치를 초과하는 것으로 판단한 경우, 제2 탑승자의 외부 관심 정보를 표시하지 않고, 제1 탑승자의 외부 관심 정보만 표시하도록 디스플레이 제어를 수행한다.

디스플레이 제어부(1006)는 인식 영향이 기설정된 수치를 초과하는 것으로 판단한 경우, 제2 탑승자의 외부 관심 정보 표시 영역을 이동시켜, 이동 후의 제2 탑승자의 외부 관심 정보 표시 영역이 제1 탑승자의 외부 관심 정보 표시 영역을 침범하지 않도록 디스플레이 제어를 수행한다.

디스플레이 제어부(1006)는 제2 탑승자의 외부 관심 객체의 본래 위치에 대한 윤곽 정보를 디스플레이하도록 제어한다.

도 11은 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시 영역 판단 및 디스플레이 제어를 도시한다.

도 11을 참조하면, 차량에 탑승한 운전자 A와 동승자 B는 차량 전면 윈드쉴드 너머로 외부 객체를 바라본다.

도 11의 (a)를 참조하면, 운전자 A가 ①의 영역에 위치한 전방 차량을 기설정 시간 이상 응시하는 경우, 운전자 A의 시선 추적 결과에 따라 주행 관련 정보가 표시되며, 예컨대 전방 차량과의 거리, 네비게이션 정보 기반 AR 길 안내 정보 등이 투명 디스플레이로 구성되는 전방 윈드쉴드의 제1 영역(A-1)에 표시된다. 동승자 B는 ②의 영역에 위치한 상점을 기설정 시간 이상 응시하고, 그에 따라 해당 상점의 정보(예: 여름 세일, 최고 70%까지)가 투명 디스플레이인 전방 윈드쉴드의 제2 영역(B-1)에 표시된다.

도 11의 (b)를 참조하면, 동승자 B의 시선 이동에 따라, ②에 해당하는 외부 관심 정보에 대한 표시 영역이 제1 영역(A-1)로 이동된다.

이 때, 디스플레이 제어부(1006)는 동승자 B의 외부 관심 정보에 대한 표시 영역이 운전자 A의 외부 관심 정보에 대한 표시 영역과 겹치지 않는 것으로 확인하면, 제1 영역(A-1)에 동승자 B의 외부 관심 정보를 표시하도록 제어한다.

도 11의 (c)를 참조하면, 운전자 A의 시선 이동에 따라, ①에 해당하는 후측방 경고 알림이 운전자 A의 외부 관심 정보로서 표시된다.

이 경우, 도 11의 (b)에서 설명한 동승자 B의 외부 관심 정보에 대한 표시 영역이 운전자 A의 외부 관심 정보에 대한 표시 영역과 겹쳐지는 것으로 판단되며, 디스플레이 제어부(1006)는 동승자 B의 외부 관심 정보에 대한 표시 여부를 결정한다.

이 때, 디스플레이 제어부(1006)는 운전자 A의 시선 정보를 모니터링하여, 운전자 A의 외부 관심 정보에 대한 표시 영역이 동승자 B의 외부 관심 정보에 대한 표시 영역과 겹쳐지지 않을 때까지, 동승자 B의 외부 관심 정보에 대한 표시를 수행하지 않는다.

다른 예로서, 디스플레이 제어부(1006)는 도 11의 (c)에 도시한 바와 같이, 동승자 B의 외부 관심 정보에 대한 표시 영역이 운전자 A의 외부 관심 정보에 대한 표시 영역과 겹쳐지지 않도록, 동승자 B의 외부 관심 정보에 대한 표시 영역을 이동시킨다.

도 11의 (c)에 도시한 바와 같이, 디스플레이 제어부(1006)는 동승자 B의 외부 관심 정보에 대한 표시 영역을 제2 영역(B-1)로 이동시켜, 운전자 A가 외부 관심 정보에 대해 확인하는데 방해 요소가 발생되지 않도록 한다.

디스플레이 제어부(1006)는 동승자 B의 외부 관심 정보에 대해 AR로 표시하거나, 카메라 영상으로 표시하도록 제어한다.

디스플레이 제어부(1006)는 동승자 B의 외부 관심 객체의 위치에 대해서는 점선 형태로 지속 표시하여, 위치를 인지하도록 하며, 운전자 A의 시선에는 방해되지 않도록 제어한다.

도 12는 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 방법은 차량 내 제1 탑승자 및 제2 탑승자의 시선 정보를 인식하는 단계(S1201)와, 제1 탑승자 및 제2 탑승자의 시선 정보를 이용하여, 제1 탑승자의 외부 관심 정보 표시 영역 및 제2 탑승자의 외부 관심 정보 표시 영역을 확인하는 단계(S1202) 및 상대적으로 정보 표시의 중요도가 낮은 제2 탑승자의 외부 관심 정보 표시 영역에 의한, 제1 탑승자의 외부 관심 정보 표시 영역에 대한 인식 영향을 고려하여, 디스플레이에 대한 우선순위를 결정하여 디스플레이를 제어하는 단계(S1203)를 포함한다.

S1203 단계는 인식 영향이 기설정된 수치 이하인 것으로 판단한 경우, 제1 탑승자의 외부 관심 정보 표시와 함께 제2 탑승자의 외부 관심 정보를 표시하도록 디스플레이를 제어한다.

S1203 단계는 인식 영향이 기설정된 수치를 초과하는 것으로 판단한 경우, 제2 탑승자의 외부 관심 정보를 표시하지 않고, 제1 탑승자의 외부 관심 정보만 표시하도록 디스플레이를 제어한다.

S1203 단계는 인식 영향이 기설정된 수치를 초과하는 것으로 판단한 경우, 제2 탑승자의 외부 관심 정보 표시 영역을 이동시켜, 이동 후의 제2 탑승자의 외부 관심 정보 표시 영역이 제1 탑승자의 외부 관심 정보 표시 영역을 침범하지 않도록 디스플레이를 제어한다.

S1203 단계는 제2 탑승자의 외부 관심 객체의 본래 위치에 대한 윤곽 정보를 표시하도록 디스플레이를 제어한다.

도 13은 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 시스템은 차량 내 탑승자의 디스플레이 화면 시청 관련 행동 정보를 인식하는 탑승자 정보 인식부(1310) 및 디스플레이 화면 시청 관련 행동 정보를 이용하여 차량 디스플레이에 대한 제어를 수행하는 디스플레이 제어부(1320)를 포함하되, 디스플레이 제어부(1320)는 디스플레이 화면 시청 관련 행동 정보를 분석하여 탑승자의 시선이 디스플레이 화면 영역을 이탈하는 것으로 판단하고, 그에 따라 디스플레이에 대한 제어를 수행한다.

탑승자 정보 인식부(1310)는 차량 내 탑승자의 시선 정보를 획득하여, 차량 내 탑승자의 시선이 디스플레이 화면 영역을 이탈하는지 여부와, 이탈 지속 시간을 인식하는 탑승자 시선 인식부(1311)를 포함한다.

디스플레이 제어부(1320)는 탑승자의 시선이 디스플레이 화면 영역을 이탈하는 지속 시간이 기설정 시간을 초과하는 경우, 영상 컨텐츠의 화면을 흐리게 표시하도록 제어한다.

탑승자 정보 인식부(1310)는 차량 내 음성 정보를 획득하는 음성 인식부(1312)를 더 포함하고, 디스플레이 제어부(1320)는 차량 내 음성 정보를 이용하여 통화 또는 차량 내 대화가 진행 중인 것으로 확인하여 동영상 재생에 해당하는 영상 컨텐츠의 재생에 대해 일시정지하도록 제어한다.

디스플레이 제어부(1320)는 차량 내 음성 정보를 이용하여 통화 또는 차량 내 대화가 진행 중인 것으로 확인하여 영상 컨텐츠의 재생 음량을 감소시키도록 제어한다.

디스플레이 제어부(1320)는 이탈 지속 시간이 기설정 시간 이상 지속되는 경우, 영상 컨텐츠가 아닌 배경화면을 표출하도록 제어한다.

탑승자 정보 인식부(1310)는 차량 내 시트에 대한 탑승자의 착석상태를 인식하는 착석상태 인식부(1313)를 더 포함하고, 디스플레이 제어부(1320)는 시트로 접근하는 탑승자를 식별하여 주도권을 가진 제1 탑승자가 시트에 착석하는 경우 영상 컨텐츠를 자동 재생시키도록 제어한다.

주도권을 가지지 않은 제2 탑승자가 시트에 착석하는 것으로 확인된 경우, 디스플레이 제어부(1320)는 상기 디스플레이 화면 영역 중 일부를 제2 탑승자에게 할당한다.

디스플레이 제어부(1320)는 제1 탑승자의 권한 설정 정보 및 제1 탑승자의 탑승 상태 정보 중 적어도 어느 하나를 고려하여 제2 탑승자에게 할당된 영역 너머로 제2 탑승자의 외부 관심 정보를 표출하도록 제어한다.

디스플레이 제어부(1320)는 제1 탑승자가 차량을 벗어나는 경우, 제2 탑승자의 사용 히스토리 정보를 고려하여 제2 탑승자가 이전에 사용했던 기능을 화면에 표시하도록 제어한다.

도 14 내지 도 17은 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 상황에서의 차량 디스플레이 제어에 대한 예시를 도시한다.

도 14를 참조하면, 차량 디스플레이에 재생되고 있는 영상 컨텐츠를 시청하던 탑승자(주도권자)의 시선이 화면으로부터 벗어나는 경우, 디스플레이 제어부(1320)는 차량 디스플레이의 화면을 흐리게 표시하여, 탑승자가 화면에 표출되는 영상 컨텐츠에 의해 간섭 받지 않도록 제어한다.

이 때, 탑승자가 전화 통화를 하거나, 차량 내 다른 탑승자와 대화를 하는 것으로 판단되는 경우, 또는 탑승자가 눈을 감고 시트에 기대는 경우 등 영상 컨텐츠 시청 의도가 없어진 것으로 판단되면, 디스플레이 제어부(1320)는 영상 컨텐츠의 재생 음량을 줄이도록 제어한다.

이 때, 영상 컨텐츠가 TV 컨텐츠와 같이 실시간 재생이 아닌 동영상 재생에 해당하는 경우, 디스플레이 제어부(1320)는 영상 컨텐츠를 일시정지(Pause)시키도록 제어한다.

도 15를 참조하면, 차량 디스플레이에 재생되고 있는 영상 컨텐츠를 시청하던 탑승자가 이석/이동하는 경우, 탑승자의 시선이 기설정 범위 이상(예: 화면 영역) 벗어나는 경우에도 탑승자의 시선 이동이 기준 치 이내(예: 3초 이내에 시선이 다시 화면 영역 안으로 돌아옴)의 변동이라면, 디스플레이 제어부(1320)는 영상 컨텐츠 화면 및 재생 소리에 변화를 주지 않고 그대로 재생하도록 제어한다.

탑승자가 시트를 벗어난 경우, 디스플레이 제어부(1320)는 영상 컨텐츠의 재생 음량을 줄이도록 제어하고, 차량 디스플레이 화면을 흐리게 제어하고(이 때, 탑승자가 시트를 벗어난 순간으로부터 시간의 흐름에 따라 재생 음량을 순차적으로 점점 줄이고, 화면도 점점 뿌옇게 변화하도록 제어함), 실시간 재생이 아닌 동영상 재생에 해당되는 경우, 일시정지 시키도록 제어한다.

탑승자가 시트를 벗어난 순간으로부터 기설정 시간이 지나도록 탑승자가 복귀하지 않는 경우, 디스플레이 제어부(1320)는 영상 컨텐츠가 재생되는 화면을 다른 탑승자가 볼 수 없도록 배경 화면으로 변환하여 표출하도록 디스플레이를 제어한다.

도 16을 참조하면, 차량 디스플레이에 배경화면이 표출되고 있는 상태에서, 시트로부터 벗어난 탑승자가 시트 근처로 다가오는 것을 감지하는 경우, 디스플레이 제어부(1320)는 배경화면 표출을 중단하고 이전에 일시정지된 영상 컨텐츠를 표출하도록 제어한다.

이 때, 시트에 착석하는 탑승자가 주도권이 있는 사람인 것으로 확인하면, 영상 컨텐츠를 자동으로 재생시킨다.

시트에 접근한 탑승자가 주도권이 있는 사람이지만, 시선만 화면 내에 위치하고 시트에 착석하지 않는 상태인 경우, 탑승자가 플레이 버튼을 클릭함에 따라, 영상 컨텐츠를 재생시킨다.

도 17을 참조하면, 탑승자의 시선이 차량 디스플레이 화면으로부터 일정 시간 이상 벗어남에 따라, 배경화면이 표출되고 있다.

이 때, 주도권을 갖지 않은 다른 탑승자가 시트에 다가오는 경우, 디스플레이 제어부(1320)는 해당 차량 디스플레이 화면 영역 중 일부를 다른 탑승자에게 할당한다.

이 때, 화면 잠금이 설정된 경우에는, 주도권을 가진 탑승자에게 할당된 영역에서 기존에 재생되던 영상 컨텐츠를 표시하지 않도록 제어한다.

주도권을 갖지 않은 다른 탑승자(탑승자 B)에게 제공되는 영역을 제2 영역(B-1), 주도권을 가진 탑승자(탑승자 A)에게 제공되는 영역을 제1 영역(A-1)으로 도시한다.

디스플레이 제어부(1320)는 탑승자 B의 외부 관심 정보가 제2 영역(B-1)을 넘어 제1 영역(A-1)에 표출되어야 하는 경우, 탑승자 A의 탑승 상태에 따라, 또는 주도권을 가진 탑승자 A의 권한 설정 여부에 따라 탑승자 B의 외부 관심 정보가 제1 영역(A-)에도 표출되도록 제어한다.

도 18은 본 발명의 또 다른 실시예에 따른 제어권 이탈 시 차량 디스플레이 제어에 대한 예시를 도시한다.

차량 디스플레이에 영상 컨텐츠가 재생되는 상황에서, 주도권이 있는 탑승자가 차량을 벗어나는 경우, 디스플레이 제어부(1320)는 배경화면을 표출하도록 디스플레이 제어를 수행한다.

주도권이 있는 탑승자가 차량을 벗어난 경우, 디스플레이 제어부(1320)는 주도권이 없는 다른 탑승자가 디스플레이에 접근함에 따라, 다른 탑승자가 기존에 사용하였던 기능을 표시하도록 디스플레이 제어를 수행한다.

도 19는 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 방법은 차량 내 탑승자의 시선 정보, 음성 정보 및 착석 상태 정보 중 적어도 어느 하나를 획득하는 단계(S1901) 및 S1901 단계에서 획득된 정보를 이용하여 탑승자의 의도가 디스플레이 화면 시청을 중단하는 것임을 확인하고, 차량 디스플레이를 제어하는 단계(S1902)를 포함한다.

S1901 단계에서 차량 내 탑승자의 시선 정보를 획득하는 경우, 차량 내 탑승자의 시선이 디스플레이 화면 영역을 이탈하는지 여부와, 이탈 지속 시간을 포함하는 시선 정보를 획득한다.

S1902 단계는 이탈 지속 시간이 기설정 시간을 초과하는 경우, 영상 컨텐츠의 화면을 흐리게 표시하도록 제어한다.

S1901 단계에서 음성 정보가 획득된 경우, S1902 단계는 음성 정보를 이용하여 통화 또는 차량 내 대화가 진행 중인 것으로 판단하고, 동영상 재생에 해당하는 영상 컨텐츠를 일시정지하도록 제어한다.

S1901단계에서 음성 정보가 획득된 경우, S1902단계는 음성 정보를 이용하여 통화 또는 차량 내 대화가 진행 중인 것으로 판단하고, 영상 컨텐츠의 재생 음량을 감소시키도록 제어한다.

S1902단계는 탑승자의 의도가 디스플레이 화면 시청을 중단하는 것임을 확인하고, 영상 컨텐츠가 아닌 배경화면이 표출되도록 제어한다.

S1901 단계에서 착석 상태 정보를 인식하는 경우, S1902단계는 시트에 착석하는 탑승자에게 주도권이 부여되었는지 여부에 따라 영상 컨텐츠를 자동 재생시킨다.

S1901 단계에서 주도권이 부여되지 않은 탑승자가 착석한 것으로 확인되면, S1902 단계는 주도권이 부여되지 않은 탑승자에게 디스플레이 화면 영역 중 일부를 할당한다.

S1902 단계는 주도권이 부여된 탑승자의 권한 설정 정보 및 주도권이 부여된 탑승자의 탑승 상태 정보 중 적어도 어느 하나를 고려하여, 주도권이 부여되지 않은 탑승자에게 할당된 영역 너머로 외부 관심 정보를 표출하도록 제어한다.

S1901 단계에서 주도권이 부여된 탑승자가 차량을 벗어나고, 주도권이 부여되지 않은 탑승자가 착석한 것으로 확인되면, S1902 단계는 주도권이 부여되지 않은 탑승자의 사용 히스토리 정보를 이용하여 이전에 사용했던 기능을 화면에 표시하도록 제어한다.

도 20은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 시스템은 차량 디스플레이 화면 영역 내의 제1 탑승자의 시선을 인식하는 제1 탑승자 시선 인식부(2001) 및 제1 탑승자의 시선에 따라 영상 컨텐츠 위에 버튼을 표시하도록 제어하는 버튼 표시 제어부(2003)를 포함한다.

제1 탑승자 시선 인식부(2001)가 제1 탑승자의 시선이 기설정된 화면 영역에 일정 시간 이상 머무르는 것으로 확인하는 경우, 버튼 표시 제어부(2003)는 커서를 생성하여 표시하고, 제1 탑승자의 시선 이동 및 제1 탑승자의 시선 거리에 따라 커서의 이동 및 크기 변화를 제어한다.

제1 탑승자 시선 인식부(2001)가 제1 탑승자의 시선이 기설정된 화면 영역에 일정 시간 이상 머무르는 것으로 확인하는 경우, 버튼 표시 제어부(2003)는 영상 컨텐츠의 플레이어 버튼 및 프로그레스 버튼 중 적어도 어느 하나를 표시하도록 제어한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 시스템은 차량 디스플레이의 이용에 참여하는 제2 탑승자의 시선을 인식하는 제2 탑승자 시선 인식부(2002)를 더 포함하고, 버튼 표시 제어부(2003)는 주도권 전환에 대한 버튼을 표시하도록 제어한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 시스템은 주도권 전환에 대한 승인이 이루어지는 경우, 차량 디스플레이 화면 영역을 제1 탑승자 및 제2 탑승자에게 할당하는 디스플레이 제어부(2004)를 더 포함한다.

디스플레이 제어부(2004)는 제1 탑승자의 승인에 따라, 제2 탑승자의 외부 관심 정보를 제2 탑승자에게 할당된 제2 영역 너머 제1 탑승자에게 할당된 제1 영역으로도 표시한다.

디스플레이 제어부(2004)는 제2 탑승자가 제1 영역에 표시되는 영상 컨텐츠를 기설정 시간 이상 응시하는 경우, 차량 디스플레이 화면 영역 전체로 영상 컨텐츠를 표출하도록 제어한다.

도 21, 도 22 및 도 23은 본 발명의 또 다른 실시예에 따른 버튼 표시 제어를 도시한다.

도 21을 참조하면, 탑승자가 차량 디스플레이에 재생되는 영상 컨텐츠 화면에서 일정 영역을 주시하는 것으로 확인하면, 필요 버튼이 생성된다.

버튼 표시 제어부는 탑승자의 시선 이동, 탑승자의 시선 거리에 기초하여 커서의 이동 및 크기를 제어한다.

탑승자는 화면에서 일정 영역을 기설정 시간 이상 응시하거나, 차량 AVN과 연결된 휴대폰 화면에 제스처를 입력시켜 기능 아이템을 선택한다.

버튼 표시 제어부는 플레이어 버튼(재생, 일시정지, 앞으로 이동, 뒤로 이동, 음량, 화면 밝기 등) 및 프로그레스 버튼을 표시하고, 아이템 선택에 의한 기능 실행을 위해 버튼 표시 아이템을 실행시킨다.

도 22를 참조하면, 탑승자가 영상 컨텐츠가 재생되는 화면에서 좌측 영역을 응시하는 경우, 커서가 생성되고, 버튼 표시 제어부는 커서를 위젯의 모양에 맞게 변화시키며, 기설정 시간 이상 응시되는 것을 확인하여 플레이어 버튼 및 프로그레스 버튼을 표시한다.

버튼 표시 제어부는 탑승자의 시선 이동 시 시선이 머무르지 않는 영역에 버튼을 띄워놓도록 위젯을 제공한다.

도 23을 참조하면, 버튼 표시 제어부는 탑승자와 차량 디스플레이 간의 거리에 따라, 커서의 크기를 상이하게 결정한다.

도 24는 본 발명의 또 다른 실시예에 따른 다른 탑승자 참여 시 주도권 전환을 도시한다.

탑승자 A가 차량 디스플레이 화면에 재생되는 영상 컨텐츠를 시청하고 있는 상황에서, 탑승자 B가 특정 영역을 주시하여 참여하면, 주도권 전환에 대한 버튼을 표시한다.

이 때, 탑승자 B가 주도권 전환에 대한 버튼을 선택함에 따라, 주도권을 탑승자 B에게 제공하거나, 함께 영상을 시청하는 버튼을 표시한다.

탑승자 B의 시선에 의해 주도권 전환이 요청되면, 현재 주도권을 가진 탑승자 A가 이에 동의하는 것에 대한 버튼이 화면에 제공된다.

탑승자 B의 요청에 의해 주도권 전환이 승인된 경우, 탑승자 B만의 화면을 구성하는 것이 가능하며, 이와 관련하여 도 25를 참조하여 설명한다.

도 25는 본 발명의 또 다른 실시예에 따른 다른 탑승자 참여 시 화면 영역 분할 및 시선 정보에 기반한 디스플레이 제어를 도시한다.

탑승자 A가 차량 디스플레이 중 제1 영역(A-1)에서 영상 컨텐츠를 시청하고 있고, 탑승자 B의 참여에 따라, 차량 디스플레이 영역 중 일부 영역(B-1)이 탑승자 B에게 할당된다.

제1 영역(A-1)에는 탑승자 A가 선택한 영상 컨텐츠가 재생되고, 제2 영역(B-1)에는 외부 관심 정보가 표출되는 상황임을 가정한다.

이 때, 탑승자 A의 승인에 따라, 외부 관심 정보가 제2 영역(B-1) 너머 제1 영역(A-1)으로 표출된다.

이 때, 탑승자 B가 영상 컨텐츠를 일정 시간 이상 응시하는 경우, 탑승자 B가 외부 관심 정보 대신 영상 컨텐츠를 시청하고자 하는 의도가 있는 것으로 확인하고, 차량 디스플레이의 전체 영역으로 영상 컨텐츠를 표시하도록 제어한다.

도 26은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 방법은 차량 디스플레이 화면 영역 내의 제1 탑승자의 시선을 인식하는 단계(S2601) 및 제1 탑승자의 시선에 따라 영상 컨텐츠 위에 버튼을 표시하도록 제어하는 단계(S2602)를 포함한다.

S2601 단계에서 제1 탑승자의 시선이 기설정된 화면 영역에 일정 시간 이상 머무르는 것으로 확인되는 경우, S2602 단계는 커서를 생성하여 표시하고, 제1 탑승자의 시선 이동 및 제1 탑승자의 시선 거리에 따라 커서의 이동 및 크기 변화를 제어한다.

S2601 단계에서 제1 탑승자의 시선이 기설정된 화면 영역에 일정 시간 이상 머무르는 것으로 확인되는 경우, S2602 단계는 영상 컨텐츠의 플레이어 버튼 및 프로그레스 버튼 중 적어도 어느 하나를 표시하도록 제어한다.

S2601 단계는 차량 디스플레이의 이용에 참여하는 제2 탑승자의 시선을 추가적으로 인식하고, S2602 단계는 주도권 전환에 대한 버튼을 표시하도록 제어한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 방법은 제2 탑승자의 주도권 전환 요청에 따른 제1 탑승자의 승인을 확인하여, 주도권 전환 제어를 수행하는 단계(S2603)를 더 포함한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 방법은 주도권 전환 요청이 승인되는 경우, 차량 디스플레이 화면 영역을 제1 탑승자 및 제2 탑승자에게 분할하여 할당하고, 제1 탑승자 및 제2 탑승자의 시선 정보를 이용하여 디스플레이 제어를 수행하는 단계(S2604)를 더 포함한다.

S2604 단계는 제1 탑승자의 승인에 따라, 제2 탑승자의 외부 관심 정보를 제2 탑승자에게 할당된 제2 영역 너머 제1 탑승자에게 할당된 제1 영역으로도 표시한다.

S2604 단계는 제2 탑승자가 제1 영역에 표시되는 영상 컨텐츠를 기설정 시간 이상 응시하는 경우, 영상 컨텐츠를 차량 디스플레이 화면 영역 전체에 표출하도록 제어한다.

도 27은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 시스템은 차량 내 제1 탑승자의 외부 관심 정보를 확인하는 외부 관심 정보 확인부(2701) 및 제1 탑승자의 외부 관심 정보를 차량 디스플레이를 통해 표출하도록 제어하는 디스플레이 제어부(2703)를 포함한다.

외부 관심 정보 확인부(2701)는 제1 탑승자의 시선 정보를 이용하여 외부 관심 객체를 확인한다.

외부 관심 정보 확인부(2701)는 제1 탑승자의 음성 정보 및 시선 정보를 이용하여 외부 관심 객체를 확인한다.

외부 관심 정보 확인부(2701)는 제1 탑승자의 제스처 정보 및 시선 정보를 이용하여 외부 관심 객체를 확인한다.

디스플레이 제어부(2703)는 외부 관심 정보에 대해 하이라이트 표시, 영역 표시, 컨투어 표시, 확대 표시 중 적어도 어느 하나를 통해 디스플레이하도록 제어한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 시스템은 차량 내의 제1 탑승자 및 제2 탑승자의 위치 정보를 확인하는 탑승 위치 인식부(2702)를 더 포함하고, 디스플레이 제어부(2703)는 위치 정보를 고려하여 제2 탑승자기 인지 가능한 디스플레이 영역을 통해 외부 관심 정보를 디스플레이하도록 제어한다.

도 28은 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시 및 외부 관심 정보 표시 영역 제어를 도시한다.

도 28의 (a)를 참조하면, 운전자 A는 주행 차량의 전방 윈드쉴드 너머로 보이는 관심 객체(예: 곰)를 인지한다.

외부 관심 정보 확인부는 운전자 A의 시선이 일정 시간 이상 특정 영역에 머무르는 경우, 외부 관심 정보를 확인한다.

외부 관심 정보 확인부는 운전자 A가 “애들아 저거 봤어?”라고 발화하는 경우, 운전자 A의 발화 정보 및 시선 정보에 기초하여 외부 관심 정보를 확인한다.

외부 관심 정보 확인부는 운전자 A의 시선이 일정 시간 이상 특정 영역에 머무르며, 외부 관심 정보 표시를 위해 기설정된 제스처(예: 손가락으로 가리키는 동작)를 수행하는 경우, 외부 관심 정보를 확인한다.

디스플레이 제어부는 운전자 A의 외부 관심 정보에 대해 하이라이트 표시, 영역 표시, 컨투어 표시, 확대 표시 중 적어도 어느 하나를 통해 디스플레이하도록 제어한다.

도 28의 (a)를 참조하면, 운전자 A가 관심을 가지는 외부 객체의 영역에 대해, 투명 디스플레이인 전방 윈드쉴드에 해당 영역 표시를 디스플레이하도록 제어한다.

도 28의 (b)를 참조하면, 전술한 바와 같이, 운전자 A의 외부 관심 정보를 전방 윈드쉴드에 표시하는 경우, 운전자 A에 의해 가려져 운전자 A의 뒷좌석에 위치한 동승자 B, 동승자 C가 해당 외부 관심 정보를 용이하게 확인하기 어려운 상황임을 가정한다.

이 때, 디스플레이 제어부는 탑승 위치 인식부를 통해 획득된 동승자의 착석 위치 정보를 고려하여, 외부 관심 정보를 동승자 B 및 동승자 C가 용이하게 확인할 수 있도록, 동승자 B의 착좌 위치 근처에 위치한 좌측 측창 투명 디스플레이에 표출하고, 동승자 C의 착좌 위치 근처에 위치한 우측 측장 투명 디스플레이에 표출하도록 제어한다.

탑승 위치 인식부는 시트 센서, 실내 카메라 중 적어도 어느 하나를 이용하여 차량 내 탑승자의 위치를 인식하고, 디스플레이 제어부는 해당 위치를 이용하여 동승자가 편안하게 볼 수 있는 디스플레이 영역(전술한 후석 좌측창 디스플레이 영역, 후석 우측창 디스플레이 영역)을 결정하고, 결정된 영역에 외부 관심 정보를 디스플레이한다.

도 29는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 방법은 차량 내 제1 탑승자의 외부 관심 정보를 확인하는 단계(S2901)와, 차량 내 제1 탑승자와, 제2 탑승자의 탑승 위치를 확인하는 단계(S2902) 및 탑승 위치를 고려하여 외부 관심 정보를 차량 디스플레이를 통해 표시하도록 제어하는 단계(S2903)를 포함한다.

S2901 단계는 제1 탑승자의 시선 정보, 음성 정보, 제스처 정보 중 적어도 어느 하나를 이용하여 외부 관심 정보를 확인한다.

S2903 단계는 외부 관심 정보에 대해 하이라이트 표시, 영역 표시, 컨투어 표시, 확대 표시 중 적어도 어느 하나를 통해 디스플레이하도록 제어한다.

S2903 단계는 탑승 위치를 이용하여, 제2 탑승자의 시야가 가려지지 않는 것으로 확인되는 경우, 제1 탑승자가 제1 디스플레이 영역 너머로 확인한 외부 관심 정보를 제1 디스플레이 영역에 표시한다.

S2903 단계는 탑승 위치를 이용하여, 제2 탑승자의 시야가 가려지는 것으로 확인되는 경우, 제1 탑승자가 제1 디스플레이 영역 너머로 확인한 외부 관심 정보를 제1 디스플레이 영역과 상이한 제2 디스플레이 영역에 표시하도록 제어한다.

도 30은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템은 차량 내 탑승자가 관심을 가지는 차량 외부의 관심 객체를 확인하는 외부 관심 정보 확인부(3001)와, 외부 관심 정보의 회전과 관련한 차량 내 탑승자의 조작 정보를 인식하는 탑승자 조작 정보 인식부(3002) 및 차량 외부의 관심 객체에 대한 3D 이미지를 합성하여 표시하되, 조작 정보에 따라 3D 이미지를 회전시켜 표시하는 디스플레이 제어부(3003)를 포함한다.

외부 관심 정보 확인부(3001)는 차량 내 탑승자의 시선이 기설정 시간 이상 머무르는 영역에 위치한 관심 객체를 확인한다.

탑승자 조작 정보 인식부(3002)는 터치 입력, 제스처 입력, 음성 입력 중 적어도 어느 하나를 조작 정보로 인식한다.

디스플레이 제어부(3003)는 조작 정보에 따라 3D 이미지의 회전 정도를 결정하여, 3D 이미지를 회전시켜 표시하고, 기설정 시간 이상 추가적으로 조작이 없는 경우 3D 이미지를 관심 객체의 실제 위치로 원복하여 표시한다.

도 31 및 도 32는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 회전 표시를 도시한다.

도 31을 참조하면, 차량 내 탑승자의 시선 정보를 이용하여 차량 윈드쉴드 너머 보여지는 객체 중 외부 관심 객체를 결정하고, 해당 관심 객체를 3D 형태로 합성하여 표시한다.

이 때, 3D 형태로 합성된 외부 관심 정보는 투명디스플레이인 전방 윈드쉴드 영역에서 표시된다.

차량 내 탑승자가 터치 또는 제스처를 통해 3D 형태로 합성된 외부 관심 정보를 우측으로 드래그(drag)하게 되면, 드래그한 값만큼 3D 형태로 합성된 외부 관심 정보가 우측으로 회전된다.

차량 내 탑승자의 조작에 따라 3D 형태로 합성된 외부 관심 정보가 회전되어 표시된 후, 기설정 시간이 지나면 실제 외부 관심 객체의 위치로 3D 형태로 합성된 외부 관심 정보의 위치가 원복된다.

도 32를 참조하면, 외부 관심 객체를 3D 형태로 합성하여 표시하되, 차량 내 탑승차의 터치, 제스처 뿐 아니라 음성 인식 등 멀티모달 인터랙션을 통해 해당 3D 객체를 360도 상하/좌우 회전하여 표시하도록 제어한다.

도 33은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 방법을 도시한다.

본 발명의 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 방법은 차량 내 탑승자의 외부 관심 정보를 확인하는 단계(S3301)와, 외부 관심 정보의 회전과 관련한 탑승자의 조작 정보를 인식하는 단계(S3302) 및 외부 관심 정보를 3D 이미지로 합성하여 표시하도록 제어하고, 조작 정보에 따라 3D 이미지를 회전시켜 표시하도록 제어하는 단계(S3303)를 포함한다.

S3301 단계는 차량 내 탑승자의 시선이 기설징 시간 이상 머무르는 영역에 위치한 외부 객체에 대한 외부 관심 정보를 확인한다.

S3302 단계는 터치 입력, 제스처 입력, 음성 입력 중 적어도 어느 하나의 조작 정보를 인식한다.

S3303 단계는 조작 정보에 따라 결정한 회전 정도에 따라 3D 이미지를 회전시켜 표시하고, 기설정 시간 이상 추가적으로 조작이 없는 경우 3D 이미지를 관심 객체의 실제 위치로 원복하여 표시한다.

도 34는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 시스템은 차량 탑승자의 외부 관심 객체에 대한 영상 저장 요청에 대한 조작 정보를 수신하는 탑승자 조작 인식부(3401) 및 투명 디스플레이로 구성되는 차량 윈드쉴드 너머로 차량 탑승자에 의해 응시되는 외부 관심 객체에 대해, 조작 정보에 따라 영상 저장을 수행하는 디스플레이 제어부(3402)를 포함한다.

탑승자 조작 인식부(3401)는 시선 정보, 음성 정보, 제스처 정보, 터치 정보 중 적어도 어느 하나를 이용하여 입력되는 조작 정보를 수신한다.

디스플레이 제어부(3402)는 외부 관심 객체의 정보를 AR 정보로 표시하도록 디스플레이를 제어한다.

디스플레이 제어부(3402)는 외부 전경과 AR 정보를 동시에 캡쳐하여 저장한다.

디스플레이 제어부(3402)는 기설정 시간 동안 화이트 아웃 처리하여 화면 캡쳐에 대한 디스플레이를 제어한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 시스템은 조작 정보에 따라 저장된 영상을 차량 디스플레이 내 분할 영역, 차량 탑승자의 휴대단말, 다른 사용자의 휴대 단말 중 적어도 어느 하나로 전송하는 외부 관심 정보 전송부(3403)를 더 포함한다.

디스플레이 제어부(3402)는 차량 내 복수의 탑승자에게 디스플레이 영역을 분할하여 할당하고, 각 영역 내에서 이루어지는 영상 저장 요청에 따라 외부 관심 정보 영상을 저장하고, 저장된 영상을 할당된 디스플레이 영역 중 기설정 영역에 표시하도록 제어한다.

디스플레이 제어부(3402)는 복수의 탑승자의 접근 제어 우선권을 고려하여 투명 디스플레이를 이동시키도록 하는 제어 정보를 전송한다.

디스플레이 제어부(3402)는 탑승자 요청 및 공유 권한 설정 정보에 따라 제1 탑승자의 기설정 영역에 저장된 영상 정보를 제2 탑승자의 기설정 영역으로 이동시키도록 제어한다.

이하, 도 35 내지 도 38에서는, 차량 내 후석 좌측 좌석 탑승자가 후석 좌측창 투명 디스플레이를 통해 외부를 응시하는 상황으로 가정한다.

도 35는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 캡쳐 과정을 도시한다.

도 35의 (a)를 참고하면, 디스플레이 제어부(3402)는 투명 디스플레이를 통해, 위치 정보, 날씨, 배터리 정보, 투명 디스플레이의 투명도 중 적어도 어느 하나를 포함하는 고정 정보를 표시한다.

도 35의 (b)를 참고하면, 탑승자 조작 인식부(3401)는 후석 좌측창을 통해 탑승자의 시선이 일정 시간 이상 머무르는 영역을 확인하고, 디스플레이 제어부(3402)는 시선 추적 정보에 기반하여 AR 정보를 표시한다.

이 때, 디스플레이 제어부(3402)는 산 이름, 높이, 날씨, 거리, 소요시간(현재 위치로부터 산 초입까지의 차량 이동 소요 시간, 산 초입에서부터 산 정상까지 걸어 올라가는데 소요되는 시간 등) 정보를 AR 정보로 표시한다.

도 35의 (c)를 참고하면, 탑승자 조작 인식부(3401)는 다양한 탑승자의 조작 정보를 인식하여 외부 관심 정보에 대한 저장 의도를 파악한다.

시선 인식과 휴대장치 앱 내 저장 버튼 터치, 시선 인식과 휴대장치 앱 내 하단 스와이프 터치, 시선 인식과 특정 음성 명령(예: 저장해줘, 이거 캡쳐해줘), 시선 인식과 특정 제스처, 시선 인식과 디스플레이 스와이프 다운 터치 등 다양한 방식으로 해당 외부 관심 정보를 저장할 것을 요청한다.

도 35의 (d)를 참조하면, 디스플레이 제어부(3402)는 탑승자 조작 인식부로부터 수신한 저장 요청에 따라, 외부 전경과 AR 정보(다른 예로서, 해당 외부 관심 정보의 영역만 잘라서 저장하는 것 역시 가능함)를 동시에 캡쳐하며, 이 때 캡쳐 정보에는 사진, 동영상, AR 정보, GPS 위치 정보가 포함될 수 있다.

디스플레이 제어부(3402)는 화면 캡쳐 시, 기설정 시간(예: 1초) 동안 화이트 아웃(white out) 처리한다.

디스플레이 제어부(3402)는 스크린샷된 화면이 디스플레이의 특정 영역(예: 좌측 하단)에 일정 크기(예: 15cm x 15cm), 일정 시간(예: 3초) 동안 표시되도록 제어한다.

도 36은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 스마트폰으로 공유하는 과정을 도시한다.

탑승자의 시선 추적에 따라, 후석 측창 투명 디스플레이를 통해 외부 관심 정보가 AR로 표시되고 있는 상황에서, 탑승자가 차량과 연결된 자신의 휴대단말을 이용하여 특정 버튼을 터치하는 정보를 탑승자 조작 인식부(3401)가 수신하게 되면, 디스플레이 제어부(3402)는 기설정 방식(예: 외부 전경과 AR 정보를 동시에)에 따라 캡쳐하고, 화면 캡쳐 시, 기설정 시간(예: 1초) 동안 화이트 아웃(white out) 처리한다.

외부 관심 정보 전송부(3403)는 캡쳐된 화면을 탑승자의 휴대단말로 전송하고, 탑승자는 휴대단말의 앱(예: 앨범)을 통해 정상적으로 원하는 캡쳐 이미지가 전송되었는지 확인할 수 있다.

탑승자는 앨범 내 조작을 통해, 휴대단말에 표시되는 이미지를 넘겨볼 수 있고, 특정 버튼(공유 버튼)을 누름에 따라, 공유 대상 이미지를 다른 사람의 스마트폰 또는 차량으로 전송한다.

도 37은 본 발명의 또 다른 실시예에 따른 투명 디스플레이 슬라이딩을 통한 탑승자 별 외부 관심 정보 저장 및 확인 과정을 도시한다.

도 37의 (a)를 참고하면, 주행 차량의 후석 좌측에 탑승자 A가 착석하고, 주행 차량의 후석 우측에 탑승자 B가 착석하며, 탑승자 A와 탑승자B는 후석 측창 너머로 외부를 응시한다.

후석 측창은 투명 디스플레이로 구성되며, 각 탑승자 별로 할당된 영역을 제공한다.

예컨대, 탑승자의 시야각을 고려하여, 제1 영역(A-1)을 탑승자 A에게, 제2 영역(B-1)을 탑승자 B에게 할당한다.

다른 예로서, 탑승자가 현재 응시하고 있는 외부 객체의 위치를 기반으로, 디스플레이 영역을 할당하는 것이 가능하다. 즉, 도 37의 (a)에 도시한 것과 상이한 예로서, 탑승자 A가 isolated spire를 관심 객체로 응시하고, 탑승자 B가 double spire를 관심 객체로 응시하고 있는 경우, 제2 영역을 탑승자 A에게, 제1 영역을 탑승자 B에게 할당하는 것 역시 가능하다.

다시 도 37의 (a)의 도시 사항을 참고하면, 탑승자 A는 제1 영역(A-1)너머로 보여지는 double spire를 관심 객체로 응시하고, 디스플레이에서 스와이프 다운을 하는 경우, 디스플레이 제어부(3402)는 디스플레이 영역 하단의 특정 개인화 영역에 캡쳐 이미지를 저장하여 표시한다. 또한, 탑승자 B는 후석 좌측창으로부터 탑승자 A보다 떨어져 있는 사람이므로, 시선 인식 및 에어 제스처를 통해 캡쳐 의도를 전달하고, 디스플레이 제어부(3402)는 디스플레이 영역 하단의 특정 개인화 영역에 탑승자 B가 요청한 바에 따라 캡쳐 이미지를 저장하여 표시한다.

도 37의 (b)를 도시하면, 자율주행 상황에서 운전 제어권이 자율주행 모드에 있고, 운전석에 위치한 탑승자 C가 좌측창을 통해 외부 경치를 감상하며, 운전자 C의 좌측창 디스플레이 접근 제어권이 탑승자 B보다 선순위인 것을 가정한다(디스플레이 접근 제어에 대한 선순위는 탑승 위치로부터 가까운 디스플레이일수록 높은 것임을 가정한다).

이 때, 제2 영역(B-1)에 해당되는 투명 디스플레이를 전방으로 슬라이딩 무빙하여, 탑승자 C의 좌측에 배치되고, 제2 영역(B-1)은 제3 영역(C-1)으로 탑승자 C에게 할당된다.

탑승자 C는 디스플레이 스와이프 다운을 통해 외부 관심 정보에 대한 저장을 요청하고, 디스플레이 제어부(3402)는 외부 관심 정보를 디스플레이 하단의 특정 영역에 캡쳐 이미지로 저장됨을 표시한다.

도 37의 (c)를 참고하면, 차량 내 배치된 face ID 카메라, 시트 위치 정보를 고려하여 탑승자 별 인증을 수행하고, 인증이 완료되면 각 탑승자에게 할당된 디스플레이 영역 중 하단 영역에 개인화된 컨텐츠 히스토리를 표시한다.

컨텐츠 히스토리 표시는 캡쳐된 시간 순서로 이미지/영상 파일이 표시된다.

도 38은 본 발명의 또 다른 실시예에 따른 외부 관심 정보의 디스플레이 간 공유를 도시한다.

도 38을 참조하면, 제1 영역(A-1)은 탑승자 A에게, 제2 영역(B-1)은 탑승자 B에게 할당되며, 각 영역의 하단 특정 영역에 각 탑승자의 컨텐츠 히스토리가 표시된다.

도 38의 (a)를 참조하면, 탑승자 B가 컨텐츠 히스토리 중 특정 컨텐츠를 선택하고(long press, 제스처를 통해 선택이 가능함), 해당 객체를 드래그하여 탑승자 A의 디스플레이에 전달할 것을 요청한다.

도 38의 (b)를 참조하면, 디스플레이 제어부(3402)는 탑승자 A의 정보 공유 권한 설정 정보를 고려하여, 정보 공유가 승인된 상태인 경우, 해당 특정 컨텐츠가 탑승자 A의 개인화 영역으로 이동되도록 표시한다.

이 때, 디스플레이 제어부(3402)는 드래그 앤 드롭 시, 같은 면(후석 좌측창) 디스플레이 뿐 아니라, 탑승자의 요청 및 정보 공유 권한 설정에 따라, 전면 또는 반대면(후석 후측창) 디스플레이에도 드래그 앤 드롭의 방향성에 따라 외부 관심 정보를 공유하도록 디스플레이를 제어한다.

도 38의 (c)를 참조하면, 탑승자 B의 조작에 의해 공유된 특정 컨텐츠는 탑승자 A의 개인화 영역에 추가되어 저장된다.

도 39는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 방법은 차량 탑승자의 외부 관심 객체에 대한 영상 저장 요청을 수신하는 단계(S3901) 및 투명 디스플레이로 구성되는 차량 윈드쉴드 너머로 차량 탑승자에 의해 응시되는 외부 관심 객체에 대해, 영상 저장을 수행하고, 디스플레이 제어를 수행하는 단계(S3902)를 포함한다.

S3901 단계는 시선 정보, 음성 정보, 제스처 정보, 터치 정보 중 적어도 어느 하나를 이용하여 입력되는 영상 저장 요청을 수신한다.

S3902 단계는 외부 관심 객체의 정보를 AR 정보로 표시하도록 디스플레이 제어를 수행한다.

S3902 단계는 외부 전경과 AR 정보를 동시에 캡쳐하여 저장한다.

S3902단계는 기설정 시간 동안 화이트 아웃 처리하여 화면 캡쳐에 대한 디스플레이 제어를 수행한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 방법은 저장된 영상을 차량 디스플레이 내 분할 영역, 차량 탑승자의 휴대단말, 다른 사용자의 휴대 단말 중 적어도 어느 하나로 전송하여 외부 관심 정보를 공유하는 단계(S3903)를 더 포함한다.

S3902 단계는 차량 내 복수의 탑승자에게 디스플레이 영역을 분할하여 할당하고, 각 영역 내에서 이루어지는 영상 저장 요청에 따라 외부 관심 정보 영상을 저장하고, 저장된 영상을 할당된 디스플레이 영역 중 기설정 영역에 표시하도록 제어한다.

S3902 단계는 복수의 탑승자의 접근 제어 우선권을 고려하여 투명 디스플레이를 이동시키도록 디스플레이 제어를 수행한다.

S3902 단계는 탑승자 요청 및 공유 권한 설정 정보에 따라 제1 탑승자의 기설정 영역에 저장된 영상 정보를 제2 탑승자의 기설정 영역으로 이동시키도록 제어한다.

도 40은 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 시스템은 차량 내 복수의 탑승자의 외부 관심 정보를 표시하는 영역을 확인하는 외부 관심 정보 표시 영역 확인부(4001) 및 복수의 탑승자에게 부여된 주도권 및 외부 관심 정보의 중요도 중 적어도 어느 하나를 고려하여, 외부 관심 정보의 표시 영역을 조정하는 디스플레이 제어부(4002)를 포함한다.

디스플레이 제어부(4002)는 제1 탑승자의 외부 관심 정보의 중요도가 제2 탑승자의 외부 관심 정보의 중요도보다 높은 것으로 판단되는 경우, 제2 탑승자의 외부 관심 정보의 표시 영역이 제1 탑승자의 외부 관심 정보의 표시 영역과 겹쳐지지 않도록, 제2 탑승자의 외부 관심 정보의 표시 영역을 이동시킨다.

디스플레이 제어부(4002)는 제1 탑승자가 주도권을 가지고 있고, 제1 탑승자의 외부 관심 정보의 표시 영역과 제2 탑승자의 외부 관심 정보의 표시 영역이 일정 부분 이상 겹쳐지는 것으로 확인되는 경우, 제2 탑승자의 외부 관심 정보의 표시 영역을 이동시킨다.

디스플레이 제어부(4002)는 제2 탑승자의 외부 정보의 본래 위치에 대한 윤곽 정보를 디스플레이하도록 제어한다.

디스플레이 제어부(4002)는 제1 탑승자의 시선 정보를 고려하여 제2 탑승자의 외부 관심 정보의 표시 영역을 이동 전 영역으로 원복시킨다.

도 41은 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 과정을 도시한다.

도 41의 (a)를 참조하면, 운전자 A와 동승자 B는 차량 전면 윈드쉴드 너머로 외부 객체를 바라본다.

이 때, 운전자 A가 ①의 영역에 위치한 전방 차량을 기설정 시간 이상 응시하는 경우, 운전자 A의 시선 추적 결과에 따라 주행 관련 정보(예: 전방 차량과의 거리, 네비게이션 정보 기반 AR 길 안내 정보)가 투명 디스플레이인 전방 윈드쉴드에 표시된다.

동승자 B는 ②의 영역에 위치한 상점(Cafι)을 기설정 시간 이상 응시하고, 그에 따라 해당 상점의 정보(예: 전화번호, 층수, 메뉴) 가 투명 디스플레이인 전방 윈드쉴드에 표시된다.

도 41의 (b)를 참조하면, 운전자 A는 ①의 영역에 위치한 정차 차량을 바라봄에 따라, 동승자 B의 외부 관심 정보의 표시 영역이 운전자 A의 외부 관심 정보 표시 영역과 겹치게 된다.

디스플레이 제어부(4002)는 이러한 겹침 현상에 의해 주도권 소유자인 운전자 A의 시야가 가려지는 것을 방지하기 위하여, 동승자 B의 외부 관심 정보 표시 영역의 위치를 변경시킨다.

즉, 동승자 B가 건물 1층 카페 정보를 응시하던 중, 운전자 A에게 후측방 경고 정보가 제공되며 운전자 A가 타 차량을 응시하는 경우, 주도권 및 정보의 우선순위에 따라 디스플레이 제어부(4002)는 해당 카페 정보를 건물의 위쪽 영역으로 이동시켜 표시하도록 제어한다.

이 때, 디스플레이 제어부(4002)는 기존 관심 정보의 위치를 점선 형태로 지속 표시하여, 위치를 인지할 수 있도록 지원한다.

도 41의 (c)를 참조하면, 운전자 A에게 제공되는 후측방 경고 정보의 전송이 더 이상 이루어지지 않거나, 운전자 A가 다른 객체(전방 차량)로 시선을 이동한 경우, 디스플레이 제어부(4002)는 동승자 B의 외부 관심 정보 표시 영역의 위치를 원복시킨다.

도 42는 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 방법은 차량 내 탑승자의 외부 관심 정보를 표시하는 영역을 확인하는 단계(S4201) 및 탑승자에게 부여된 주도권 정보 및 외부 관심 정보의 중요도 중 적어도 어느 하나를 고려하여, 외부 관심 정보를 표시하는 영역의 위치를 조정하는 단계(S4202)를 포함한다.

S4202 단계는 제1 탑승자의 외부 관심 정보의 중요도가 제2 탑승자의 외부 관심 정보의 중요도보다 높은 것으로 판단되는 경우, 제2 탑승자의 외부 관심 정보의 표시 영역이 제1 탑승자의 외부 관심 정보의 표시 영역과 겹쳐지지 않도록, 제2 탑승자의 외부 관심 정보의 표시 영역 위치를 이동시킨다.

S4202 단계는 제1 탑승자가 주도권을 가지고 있고, 제1 탑승자의 외부 관심 정보의 표시 영역과 제2 탑승자의 외부 관심 정보의 표시 영역이 일정 부분 이상 겹쳐지는 것으로 확인되는 경우, 제2 탑승자의 외부 관심 정보의 표시 영역을 이동시킨다.

S4202 단계는 제2 탑승자의 외부 관심 정보의 본래 위치에 대한 윤곽 정보를 디스플레이하도록 제어한다.

S4202 단계는 제1 탑승자의 시선 정보를 고려하여 제2 탑승자의 외부 관심 정보의 표시 영역을 이동 전 영역으로 원복시킨다.

도 43은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 시스템은 주행 차량에 탑승한 탑승자가 관심을 가지는 외부 관심 객체를 확인하는 외부 관심 객체 확인부(4301) 및 외부 관심 객체에 대한 외부 관심 정보를 제1 디스플레이 영역에 표시하도록 제어하되, 주행 상황에 따라 외부 관심 정보를 제2 디스플레이 영역으로 이동시켜 표시하고, 외부 관심 정보를 외부 관심 정보 저장부(4303)에 저장시키는 디스플레이 제어부(4302)를 포함한다.

외부 관심 객체 확인부(4301)는 탑승자의 시선 정보, 음성 정보, 제스처 정보 중 적어도 어느 하나를 이용하여 외부 관심 객체를 확인한다.

디스플레이 제어부(4302)는 탑승자의 시선이 외부 관심 정보의 표시 영역을 벗어나는 경우, 외부 관심 정보를 간소화시키고, 간소화된 외부 관심 정보를 측창 디스플레이인 제2 디스플레이 영역으로 이동시켜 표시하도록 제어한다.

디스플레이 제어부(4302)는 간소화된 외부 관심 정보를 시간 순서에 따라 누적하여 제2 디스플레이 영역에 표시하도록 제어한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 시스템은 간소화된 외부 관심 정보에 대한 목적지 설정 요청을 수신하는 목적지 설정 요청 수신부(4304)를 더 포함한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 시스템은 목적지 설정 요청에 따라 선택된 외부 관심 지점으로의 경로를 설정하는 경로 설정부(4305)를 더 포함한다.

도 44는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시를 도시한다.

도 44의 (a)를 참조하면, 주행 차량에 탑승 중인 운전자는 투명 디스플레이로 구성된 전면 윈드쉴드 너머 보이는 외부 객체 중, 관심 객체(주차장)를 기설정 시간 이상 응시하고, 그에 따라 외부 관심 정보(예: 주차장 이름, 위치, 비용 정보)가 AR 정보로 표시된다.

이 때, 디스플레이 제어부(4302)는 탑승자 시선 정보 외에도 음성 정보, 움직임(head movement) 정보, 제스처 정보를 이용하여 외부 관심 객체를 확인하고, 외부 관심 객체에 대한 정보를 디스플레이하도록 제어한다.

도 44의 (a)를 참조하면, 디스플레이 제어부(4302)는 운전자의 시야가 외부 관심 정보 표시 영역을 벗어나거나, 주행 차량의 이동에 따라 외부 관심 객체가 운전자의 시야를 벗어나게 되는 경우, 해당 외부 관심 정보를 간소화하고(예: 현재 위치로부터의 거리, 주차 비용 등으로 간소화함), 간소화된 외부 관심 정보를 로그(log) 형태로 표시한다.

이 때, 디스플레이 제어부(4302)는 간소화된 외부 관심 정보를 전면 디스플레이 또는 측창 디스플레이의 기설정 영역에 표시하도록 제어한다.

도 44의 (b)를 참조하면, 차량 주행에 따라 외부 관심 지점이 상대적으로 이동하여 운전자의 시야로부터 벗어나는 경우, 디스플레이 제어부(4302)는 측창 디스플레이에 시간 별로 외부 관심 정보를 표시한다. 즉, 디스플레이 제어부(4302)는 지나온 시간 순으로 외부 관심 정보를 누적하여 표시한다.

이 때, 디스플레이 제어부(4302)는 주행 차량을 기준으로 전방 좌측에 위치한 외부 관심 객체에 대한 정보를 좌측창 디스플레이를 통해 표시하도록 제어하고, 주행 차량을 기준으로 전방 우측에 위치한 외부 관심 객체에 대한 정보를 우측창 디스플레이를 통해 표시하도록 제어한다.

저장된 복수의 외부 관심 정보 중 특정 외부 관심 정보에 대한 목적지 설정 요청이 수신되는 경우, 경로 설정부(4305)는 현재 위치로부터 해당 외부 관심 정보의 위치까지의 경로를 설정한다.

목적지 설정 요청 수신부(4304)는 측창 디스플레이에 저장된 외부 관심 정보에 대한 터치, 음성, 에어 제스처, 휴대기기를 이용한 목적지 설정 요청을 수신한다.

도 45는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 방법은 주행 차량 탑승자의 외부 관심 객체를 확인하는 단계(S4501) 및 외부 관심 객체에 대한 외부 관심 정보를 제1 디스플레이 영역에 표시하도록 제어하고, 주행 상황에 따라 외부 관심 정보를 제2 디스플레이 영역으로 이동시켜 표시하는 단계(S4502)를 포함한다.

S4501 단계는 탑승자의 시선 정보, 음성 정보, 제스처 정보 중 적어도 어느 하나를 이용하여 외부 관심 객체를 확인한다.

S4502 단계는 주행 차량 탑승자의 시선이 외부 관심 정보의 표시 영역을 벗어나는 경우, 외부 관심 정보를 간소화시키고, 간소화된 외부 관심 정보를 측창 디스플레이인 제2 디스플레이 영역으로 이동시켜 표시하도록 제어한다.

S4502 단계는 간소화된 외부 관심 정보를 시간 순서에 따라 누적하여 제2 디스플레이 영역에 표시하도록 제어한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 방법은 간소화된 외부 관심 정보에 대한 목적지 설정 요청을 수신하고, 목적지 설정 요청에 따라 선택된 외부 관심 지점으로의 경로를 설정하는 단계(S4503)를 더 포함한다.

도 46은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템은 주행 차량의 주행 환경 정보를 획득하는 주행 환경 인식부(4610), 주행 환경 정보에 따라 디스플레이를 통해 표출할 부가 정보의 표시 위치에 대한 제어 정보를 생성하는 제어부(4620) 및 제어 정보에 따라 디스플레이 영역에 부가 정보를 표시하는 디스플레이부(4630)를 포함한다.

주행 환경 인식부(4610)는 전방 노면 상태에 대한 주행 환경 정보를 수집한다.

제어부(4620)는 주행 환경 정보에 따라 차량 주행 거동을 예상하고, 예상 결과에 따라 현재 디스플레이를 통해 표출 중인 부가 정보의 표시 위치에 대한 조정치를 계산한다.

이 때, 주행 환경 인식부(4610)는 차량의 주행 정보(예: 주행 속도)를 전송하고, 제어부(4620)는 주행 정보 및 주행 환경 정보를 고려하여 조정치를 계산한다. 즉, 동일한 방지턱을 넘어가며 주행을 하는 상황에서도, 시속 30킬로미터로 주행 중인 차량과 시속 50 킬로미터로 주행 중인 차량은 측창 디스플레이 너머 보여지는 외부 관심 객체의 상하 이동 속도가 상이할 것이므로, 제어부(4620)는 주행 환경 정보 뿐 아니라 주행 정보를 고려하여 조정치를 계산한다. 이 때, 각 차량의 주행 히스토리 정보를 고려하여, 예컨대 방지턱 직전에 시속을 얼마만큼 감속하여 방지턱을 넘어갈 것인지를 예상하여 조정치를 계산하는 것이 가능하다.

주행 환경 인식부(4610)는 차량 내 탑승자 정보를 전송하고, 제어부(4620)는 탑승자 정보를 고려하여 조정치를 계산한다. 예컨대, 주행 환경 인식부(4610)는 차량 탑승자의 위치, 디스플레이 영역 중 각 탑승자에게 할당된 영역 정보, 탑승자의 앉은 키, 시선 위치, 외부 관심 객체를 향한 시선 방향 등을 전송하고, 제어부(4620)는 이러한 탑승자 정보를 고려하여 외부 관심 객체에 대한 부가 정보의 표시 위치를 제어하는 조정치를 계산한다.

도 47은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 과정을 도시한다.

도 47을 참고하면, 카메라(4730)를 포함하는 주행 환경 인식부(4610)를 통해 전방의 노면 상태 정보를 획득한다. 이 때, 카메라 외에도 센서를 활용하거나, 내비게이션 정보를 이용하거나, V2I 통신을 통해 외부 환경 정보를 수집함으로써, 주행 환경에 대한 정보를 수집하는 것이 가능하다.

도 47의 (a)에서, 차량 디스플레이(측창 투명디스플레이인 경우를 예를 들어 도시함)를 통해 탑승자 C에게 할당된 영역(4710)과, 탑승자 B에게 할당된 영역(4720)이 있음을 가정한다. 제어부(4620)는 탑승자 C가 주시하고 있는 제1 외부 관심 객체(Double Spire)와 탑승자 B가 주시하고 있는 제2 외부 관심 객체(Isolated Sprire)에 대한 부가 정보(AR 정보)가 차량 디스플레이에 표출되도록 제어하고, 디스플레이부(4630)는 제1 및 제2 외부 관심 객체에 대한 부가 정보(도 47를 참조하면, 하늘색 선으로 해당 외부 관심 객체의 윤곽을 표시하고, 각 외부 관심 객체의 명칭을 표시함)를 표시한다.

도 47의 (a)에서 도 47의 (b)로 차량이 방지턱을 타고 올라가는 상황에서, 차량과 함께 디스플레이도 물리적으로 위로 이동하게 된다. 이 때, 제어부(4620)는 외부 관심 객체의 위치에 맞추어 부가 정보(AR 정보)의 표시 위치를 도 47의 (a) 대비 도 47의 (b)에서 상대적으로 하단으로 제어하고, 디스플레이부(4630)는 이러한 제어에 따라 표시 위치에 부가 정보를 표출한다.

도 47의 (b)에서 도 47 의 (c)로 차량이 방지턱을 타고 내려오는 상황에서, 차량과 함께 디스플레이도 물리적으로 아래로 이동하게 된다. 이 때, 제어부(4620)는 외부 관심 객체의 위치에 맞추어 부가 정보(AR 정보)의 표시 위치를 도 47의 (b) 대비 도 47의 (c)에서 상대적으로 상단으로 제어하고, 디스플레이부(4630)는 이러한 제어에 따라 표시 위치에 부가 정보를 표출한다.

본 발명의 실시예에 따르면, 카메라, 센서, 네비게이션 맵 정보, V2I 통신을 이용한 획득 정보를 분석하여, 차량의 주행 거동을 예상하고(예컨대, 어느 정도 높이의 방지턱을 넘어가게 될 것인지 그 주행 거동을 예상함), 그에 따라 미리 디스플레이에 표출할 부가 정보의 표시 위치 제어 정보를 생성하는 것이 가능하다. 이를 통해, 차량이 방지턱을 타고 넘어가는 주행 상황에서, 실시간으로 측창 너머 위치한 외부 관심 객체에 대한 부가 정보를 그 외부 관심 객체의 위치에 대응시켜 측창 디스플레이에 표시하는 것이 가능하다.

본 발명의 실시예에 따르면, 차량 탑승자의 탑승 위치, 앉은 키, 시선 위치, 시선 방향 등 탑승자 정보를 획득하고, 그에 따라 외부 관심 객체 정보의 흔들림 보정 정보를 생성한다. 예컨대, 도 47에서 탑승자 C는 측창 디스플레이의 할당 영역(4710)으로부터 30cm 떨어진 좌석에 위치한 앉은 키 1m인 탑승자이고, 탑승자 B는 측창 디스플레이의 할당 영역(4720)으로부터 3m 떨어진 좌석에 위치한 앉은 키 1m인 탑승자임을 가정한다. 제어부(4620)는 탑승자의 위치, 시선 위치를 획득하고, 이에 따라 각 영역별 부가 정보의 표시 위치 조정에 대한 정보를 상이하게 생성한다. 즉, 동일한 50cm 높이의 방지턱을 넘어가는 상황에서도, 탑승자 C에게 할당된 영역(4710)에서 부가 정보의 표시 위치를 하단으로 조정하는 정도와, 탑승자 B에게 할당된 영역(4720)에서 부가 정보의 표시 위치를 하단으로 조정하는 정도에 차이를 두어, 각 탑승자의 시선에서 외부 관심 객체에 대한 부가 정보가 정교하게 표시되도록 제어한다.

도 48은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법은 주행 관련 정보를 수집하고, 차량 주행 거동을 예상하는 단계(S4810)와, 디스플레이 내 외부 관심 객체 관련 부가 정보의 표시 위치에 대한 조정치를 계산하는 단계(S4820) 및 부가 정보를 디스플레이하는 단계(S4830)를 포함한다.

S4810 단계는 카메라, 센서, 네비게이션 맵 정보 중 적어도 어느 하나를 이용하여 전방 노면 상태 정보를 수집하고, 수집 정보를 분석하여 차량 주행 거동을 예상한다.

S4810 단계는 차량의 주행 속도 정보, 방지턱 직전 감속 예상 정보를 획득하고, S4820 단계는 이를 고려하여 차량 주행 거동에 따른 부가 정보 표시 위치에 대한 조정치를 계산한다. 예컨대, 전술한 바와 같이 방지턱을 넘어가는 주행 거동이 예상되는 경우, 측창 디스플레이 너머 위치한 외부 관심 객체에 대한 부가 정보를 측창 디스플레이에 표시하는 위치를 조정하여, 방지턱을 타고 올라가는 과정에서는 상대적으로 기존 위치 대비 낮은 위치에 부가 정보가 표시되도록 하고, 방지턱을 타고 내려오는 과정에서는 상대적으로 직전 위치(방지턱을 타고 올라간 시점) 대비 높은 위치에 부가 정보가 표시되도록 제어한다.

도 49는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.

본 발명에 또 다른 실시예에 따른 차량 디스플레이 제어 시스템은 차량 탑승자가 관심을 가지는 차량 외부의 관심 객체를 인식하는 관심 객체 인식부(4910)와, 관심 객체에 대한 3D 정보를 이용하여, 차량 디스플레이를 통해 부가 정보를 합성 표시하도록 제어하는 제어부(4920) 및 부가 정보를 표출시키는 디스플레이부(4930)를 포함한다.

관심 객체 인식부(4910)는 차량 외부 환경을 촬영하는 영상 획득 장치로부터 영상 정보를 수신하고, 사용자 모니터링 정보를 이용하여 상기 관심 객체를 인식한다.

제어부(4920)는 영상 획득 장치로부터 수신한 거리 정보, 줌 설정 정보를 이용하여 관심 객체에 대한 3D 정보를 생성한다.

제어부(4920)는 관심 객체에 대한 3D 정보를 서비스사업자 서버로부터 수신하고, 해당 3D 정보를 합성 표시하도록 제어한다.

도 50은 본 발명의 또 다른 실시예에 따른 외부 관심 객체의 크기/부피 정보 전환 표시를 도시한다.

도 50의 (a)를 참조하면, 차량 측면에 배치된 카메라는 차량 외부 환경을 촬영하고, 이를 관심 객체 인식부(4910)로 전송한다. 차량 내부에 배치된 카메라, 제스처 획득부, 터치 신호 획득부 중 적어도 어느 하나를 포함하는 관심 객체 인식부(4910)는 차량 내부 탑승자가 차량 외부 환경 중 어떠한 객체를 관심 객체로 두고 있는지 확인한다.

차량 내 탑승자가 측창 디스플레이 너머 위치한 외부 환경 중, 공사 중으로 천막에 의해 가려진 건물에 대해 관심을 가지는 것을 확인하면, 제어부(4920)는 해당 관심 객체에 대한 정보를 조회하고, 측창에 배치된 투명 디스플레이(4930, 디스플레이부)를 통해, 건물의 전환 정보를 부가 정보로 합성하여 표시하도록 제어한다. 이 때, 건물의 높이, 폭, 깊이에 대한 3D 데이터가 각 영역별로 합성 표시될 수 있고, 공사 완료 기간(2022년 9월 25일)에 대한 부가 정보가 합성 표시될 수 있다. 관심 객체 인식부(4910)는 영상 획득 시, 차량 외부를 촬영하는 멀티 카메라와의 거리 및 줌 설정 정보를 이용하여, 외부 관심 객체의 크기 및 부피 정보를 제공한다. 제어부(4920)는 현재 공사중인 건물에 대한 3D AR 정보를 투명 디스플레이를 통해 표시하도록 제어하며, 디스플레이부(4930)는 공사가 완성된 상황을 가정하여 그 건물의 3D AR 정보를 합성하여 표시하고, 크기(가로, 세로, 깊이), 부피 및 넓이에 대한 정보를 측창 투명 디스플레이를 통해 표출시킨다.

도 50의 (b)를 참조하면, 차량 측면에 배치된 카메라는 차량 외부 환경을 촬영하고, 이를 관심 객체 인식부(4910)로 전송한다. 관심 객체는 차량 외부 환경 중 공사 중인 건물인 것을 가정한다. 제어부(4920)는 현재 공사 중인 건물에 대한 최종 3D 데이터를 부동산 서비스 공급자로부터 제공 받고, 공사 완료된 건물의 형상을 부가 정보(AR 정보)로 표시하도록 제어하며, 디스플레이부(4930)는 공사 완료된 건물을 측창 디스플레이를 통해 표출시킨다. 이 때, 건물의 크기, 부피 정보뿐 아니라, 건물의 구조 및 형태에 대한 정보가 표출된다. 제어부(4920)는 차량 내 탑승자가 바라보는 시선, 차량의 위치를 이용하여, 측창 투명 디스플레이를 통해 표출시켜야 할 정보의 각도를 조정한다. 또한, 제어부(4920)는 별도의 입력부를 통해 수신한 사용자의 터치 신호, 제스처 신호, 음성 신호를 통해 사용자의 니즈를 확인하고, 차량 외부 관심 객체를 회전시켜 사용자가 확인할 수 있도록 디스플레이 제어를 수행한다. 즉, 실제로 측창 너머에는 도 50의 (b)와 같이 공사 완료된 건물의 정면을 합성 표시하는 상황에서, 사용자가 음성 신호를 통해 “건물의 뒷면을 보여주세요”라고 발화한 것을 가정한다. 이 때, 제어부(4920)는 측창 투명 디스플레이에 대한 전기 변색을 수행하여 측창 디스플레이를 스크린과 같이 사용하도록 하고, 해당 건물의 3D 데이터를 이용하여 해당 건물의 후면에 대한 이미지 정보를 생성하고, 이를 측창 디스플레이를 통해 표출시키도록 제어한다.

도 51은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법은 차량 외부의 관심 객체를 인식하는 단계(S5110)와, 외부 관심 객체에 대한 정보를 변환하는 단계(S5120) 및 변환 정보를 차량 디스플레이를 통해 표출시키는 단계(S5130)를 포함한다.

S5110 단계는 차량 외부를 촬영하는 멀티 카메라를 이용하여 차량 외부 환경을 인식하고, 차량 내부 탑승자에 대한 모니터링 정보(예: 시선, 터치 신호, 제스처 신호)를 이용하여 차량 내부 탑승자가 관심을 가지는 외부 관심 객체가 무엇인지 인식한다.

S5120 단계는 관심 객체에 대한 3D 데이터를 생성하거나 조회하여, 차량 탑승자를 기준으로 차량 디스플레이 너머에 위치한 관심 객체에 대한 정보를 합성 표시하도록 제어 정보를 생성한다. 이 때, 관심 객체와의 거리, 줌 정보를 이용하여 관심 객체의 크기 및 부피 정보를 변환한다. 또는, 관심 객체에 대한 정보를 데이터베이스에서 조회하거나 서비스사업자 서버로부터 제공 받아, 크기, 부피 등의 부가 정보를 생성한다.

도 52는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템은 복수의 디스플레이 영역 간 컨텐츠 이동에 대한 요청을 수신하는 컨텐츠 이동 입력부(5210)와, 이동 요청에 따라 컨텐츠 이동 제어 명령을 생성하는 제어부(5220) 및 컨텐츠 이동 제어 명령에 따라 컨텐츠를 표시하는 디스플레이부(5230)를 포함한다.

컨텐츠 이동 입력부(5210)는 제스처, 음성, 홈버튼 입력, 스마트폰 입력 중 적어도 어느 하나의 사용자 요청을 수신하여 컨텐츠 이동에 대한 요청을 수신한다.

제어부(5220)는 이동 요청에 따른 컨텐츠 표시 영역의 할당 정보를 고려하여 컨텐츠의 재생 영역을 결정하고, 그에 따른 컨텐츠 이동 제어 명령을 생성한다.

제어부(5220)는 컨텐츠의 재생 영역 이동 정보를 고려하여 사운드 재생 및 시트 회전 중 적어도 어느 하나를 제어하는 제어 명령을 생성한다.

도 53은 본 발명의 또 다른 실시예에 따른 컨텐츠 이동 시 디스플레이 표출 영역 및 시트 제어를 도시한다.

도 53 의 (a)를 참조하면, 차량 내 탑승자(초록색 원으로 표시한 부분)는 전방 디스플레이를 이용하여 컨텐츠를 시청한다. 이 때, 프로젝션 디스플레이 방식을 이용하여 전방 프로젝션 영상을 감상하며, 좌우 스피커가 재생된다. 도 53의 (b)를 참조하면, 차량 내 탑승자의 제스처를 인식하거나, 화면 버튼 입력을 이용하거나, 스마트폰을 통한 입력을 이용하여 영상 이동을 실행한다. 영상 이동 시, 두 디스플레이 간 간격을 최소화하기 위해, 투명 디스플레이 전면 디스플레이 측으로 무빙이 이루어진다. 도 53의 (c)를 참조하면, 전방 디스플레이에서 실행되고 있는 동영상 컨텐츠를 측창 디스플레이로 이동하여 연속성 있게 재생시킨다. 이 때, 동영상 배치 위치에 따라 재생 영역이 달라지는데, 측창 디스플레이가 2 영역으로 분할된 것을 가정하면, 제1 영역 또는 제2 영역으로 드롭(drop)함에 따라, 해당 영역에서 컨텐츠가 재생되고, 제1 영역과 제2 영역에 걸쳐 드롭(drop)하게 되면, 전체 화면(제1 영역 + 제2 영역)에 컨텐츠가 재생된다.

도 53의 (d), (e), (f), (g)를 참조하면, 프로젝션 디스플레이로부터 투명 디스플레이로 영상이 이동되며, 시트회전이 이루어진다. 이 때, 스피커 위상 조절을 통해 영상과 함께 이동하며 재생되며, 영상, 사운드, 시트가 사용자 니즈에 따라 제어된다. 전술한 바와 같이, 측창 투명 디스플레이의 영역이 분할된 것을 가정하면, 제1 영역(③) 또는 제2 영역(①)으로 드롭(drop)함에 따라, 해당 영역에서 컨텐츠가 재생되고, 제1 영역과 제2 영역에 걸쳐 드롭(drop)하게 되면(②), 전체 화면(제1 영역 + 제2 영역)에 컨텐츠가 재생된다

도 54는 본 발명의 또 다른 실시예에 따른 컨텐츠 이동 시 디스플레이 표출 영역 제어를 도시한다.

탑승자 A는 전방 디스플레이를 이용하여 컨텐츠를 시청하고, 탑승자 C와 탑승자 B는 측창 디스플레이 내 영역을 할당받고 외부 관심 객체에 대한 부가 정보(AR 정보)를 확인한다.

탑승자 A가 탑승자 B 에게 영상 컨텐츠를 전달하게 되면, 탑승자 A는 전방 디스플레이를 이용하여, 탑승자 B는 측창 디스플레이 중 할당받은 영역에서 동일한 영상 컨텐츠를 시청하게 된다.

탑승자 B는 측창 디스플레이를 이용한 동영상 재생 영역에서 확장 기능을 요청할 수 있는데, 이 때 시선 인식, 제스처 인식 등을 이용하여 탑승자 B 의 컨텐츠 시청 영역을 탑승자 C가 할당받은 영역까지 확장할 것을 요청할 수 있다. 탑승자 C는 확장 이후 디스플레이 내 재할당된 영역을 이용하여 외부 관심 객체에 대한 부가 정보(AR 정보)를 확인할 수 있다.

도 55는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법은 컨텐츠 이동 입력을 수신하는 단계(S5510)와, 컨텐츠 이동 제어에 대한 명령을 생성하는 단계(S5520) 및 명령에 따라 컨텐츠 표출 영역을 이동시키고 컨텐츠 디스플레이를 수행하는 단계(S5530)를 포함한다.

S5510 단계는 차량 내 탑승자의 제스처, 음성, 화면 버튼 입력, 스마트폰 입력 중 적어도 어느 하나의 입력 수단을 통해 컨텐츠의 디스플레이 영역 이동에 대한 요청을 수신한다.

S5520 단계는 동영상 배치 위치에 따라 재생 영역이 설정되도록 컨텐츠 이동 제어에 대한 명령을 생성한다.

S5530 단계는 컨텐츠 표출 영역을 이동시킴에 따라 사운드 재생을 제어하고, 시트 방향을 변경시킨다.

도 56은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템은 차량 내 탑승자의 디스플레이 영역에 대한 시선 정보를 획득하는 시선 인식부(5610)와, 시선 정보에 따라 디스플레이 점유 주도권 요청 및 수락을 제어하는 제어부(5620) 및 주도권 요청 및 수락 여부에 따라 컨텐츠를 디스플레이하는 디스플레이부(5630)를 포함한다.

시선 인식부(5610)의 인식 결과, 제1 탑승자가 자신에게 할당된 화면을 응시하지 않고, 제2 탑승자가 제1 탑승자에게 할당된 화면을 응시하며 주도권을 요청하는 것으로 확인되면, 제어부(5620)는 제1 탑승자에게 할당된 화면에 대한 주도권을 제2 탑승자에게 부여하도록 제어한다.

시선 인식부(5610)의 인식 결과, 제1 탑승자가 자신에게 할당된 화면을 응시하고, 제2 탑승자가 제1 탑승자에게 할당된 화면을 응시하며 주도권을 요청하는 경우, 제어부(5620)는 주도권 요청이 불가한 것으로 판단하면 제1 탑승자에게 주도권 요청에 대한 알림을 전송하지 않도록 제어한다.

시선 인식부(5610)의 인식 결과, 제1 탑승자가 자신에게 할당된 화면을 응시하고, 제2 탑승자가 제1 탑승자에게 할당된 화면을 응시하며 주도권을 요청하는 경우, 제어부(5620)는 주도권 요청이 가능한 것으로 판단하면 제1 탑승자에게 주도권 요청에 대한 알림을 전송하고, 제1 탑승자가 수락하는 경우 제1 탑승자가 이용 중인 기능 위젯을 최소화하는 제어 명령을 디스플레이부(5630)로 전송한다.

도 57은 본 발명의 또 다른 실시예에 따른 시선 모니터링 결과에 따른 디스플레이 점유 제어를 도시한다.

도 57의 (a)를 참조하면, 차량 디스플레이의 영역은 기설정 개수(예: 2개)의 영역으로 분할되어, 각 탑승자(탑승자 A, 탑승자 B)에게 할당된다. 탑승자 A는 자신에게 할당된 영역을 이용하여 음악을 듣고, 음악 재생에 관한 화면이 그 영역에 디스플레이된다. 탑승자 B는 자신에게 할당된 영역을 이용하여 동영상을 시청하고, 동영상 재생에 관한 화면이 그 영역에 디스플레이된다. 탑승자 A의 디스플레이 영역에서 음악이 실행되고 있는데, 아이 트래킹 카메라의 영상 획득 결과 탑승자 A의 시선은 디스플레이 영역을 응시하지 않고 있는 상황임을 가정한다. 이 때, 탑승자 A는 탑승자 B에게 주도권 요청을 할 수 없는 반면, 탑승자 B는 탑승자 A에게 주도권 요청을 할 수 있다.

도 57의 (b)를 참조하면, 탑승자 B는 탑승자 A에게 할당된 화면을 기설정 시간 이상 응시하거나, 특정 제스처를 취함으로써, 탑승자 A에게 할당된 화면에 대한 주도권을 요청한다. 도 57의 (c)를 참조하면, 탑승자 B가 탑승자 A에게 할당된 화면에 대한 주도권을 획득함으로써, 전체 차량 디스플레이 영역에 대한 화면 조작이 가능하다.

도 58은 본 발명의 또 다른 실시예에 따른 시선 모니터링 결과에 따른 주도권 요청 불가에 대한 제어 상황을 도시한다.

도 58의 (a)를 참조하면, 차량 디스플레이의 영역은 기설정 개수(예: 2개)의 영역으로 분할되어, 각 탑승자(탑승자 A, 탑승자 B)에게 할당된다. 탑승자 A는 자신에게 할당된 영역을 이용하여 음악을 듣고, 음악 재생에 관한 화면이 그 영역에 디스플레이된다. 탑승자 B는 자신에게 할당된 영역을 이용하여 동영상을 시청하고, 동영상 재생에 관한 화면이 그 영역에 디스플레이된다. 아이 트래킹 카메라의 영상 획득 결과 탑승자 A 및 탑승자 B의 시선은 각각 자신에게 할당된 디스플레이 영역을 응시하는 상황임을 가정한다(탑승자 A는 시선 인식 기능을 이용하여 곡을 탐색하고 있고, 탑승자 B는 자신에게 할당된 디스플레이 영역에서 재생 중인 동영상을 시청중임).

도 58의 (b)를 참조하면, 탑승자 B가 탑승자 A에게 할당된 화면을 기설정 시간 이상 응시하거나, 특정 제스처를 취하더라도, 주도권 버튼에 대한 하이라이트 처리가 되지 않고, 주도권 요청이 불가한 상태가 된다. 즉, 탑승자 A와 B는 각각 자신에게 할당된 영역 내에서 컨텐츠를 재생시킬 수 있을 뿐, 서로의 영역에 대한 주도권을 요청할 수 없다.

도 59는 본 발명의 또 다른 실시예에 따른 시선 모니터링 결과에 따른 주도권 요청 및 수락에 대한 제어 상황을 도시한다.

도 59의 (a)를 참조하면, 차량 디스플레이의 영역은 기설정 개수(예: 2개)의 영역으로 분할되어, 각 탑승자(탑승자 A, 탑승자 B)에게 할당된다. 탑승자 A는 자신에게 할당된 영역을 이용하여 음악을 듣고, 음악 재생에 관한 화면이 그 영역에 디스플레이된다. 탑승자 B는 자신에게 할당된 영역을 이용하여 동영상을 시청하고, 동영상 재생에 관한 화면이 그 영역에 디스플레이된다. 아이 트래킹 카메라의 영상 획득 결과 탑승자 A 및 탑승자 B의 시선은 각각 자신에게 할당된 디스플레이 영역을 응시하는 상황임을 가정한다(탑승자 A는 시선 인식 기능을 이용하여 곡을 탐색하고 있고, 탑승자 B는 자신에게 할당된 디스플레이 영역에서 재생 중인 동영상을 시청중임).

도 59의 (b)를 참조하면, 동영상 컨텐츠의 경우 음악 컨텐츠보다 영역 주도권에 대한 우선 순위가 앞서는 것을 가정한다. 따라서, 탑승자 B가 탑승자 A에게 할당된 화면을 기설정 시간 이상 응시하거나, 특정 제스처를 취하는 경우, 탑승자 B의 주도권 요청에 대해 팝업 메시지가 표시된다.

도 59의 (c)를 참조하면, 탑승자 A가 탑승자 B의 주도권 요청을 수락하면, 탑승자 A가 사용하던 음악 위젯은 최소화되고, 지속적으로 탑승자 A에 의한 곡 탐색이 가능하다. 탑승자 B는 종전에 탑승자 A에게 할당된 디스플레이 영역을 이용하여, 탑승자 B 자신에게 할당된 디스플레이 영역을 화장하는 용도로 사용하고 비디오 재생 영역을 크게 보는 것이 가능하다.

도 60은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법은 탑승자의 시선을 인식하는 단계(S6010)와, 시선 인식 결과에 따라 분할 디스플레이 영역에 대한 주도권을 제어하는 단계(S6020) 및 주도권 설정에 따른 디스플레이 점유를 제어하는 단계(S6030)를 포함한다.

S6010 단계에서 제1 탑승자가 자신에게 할당된 화면을 응시하지 않고, 제2 탑승자가 제1 탑승자에게 할당된 화면을 응시하는 것으로 확인하는 경우, S6020 단계는 제2 탑승자에게 제1 탑승자에게 할당된 화면을 재할당하도록 주도권을 제어한다.

S6010 단계에서 제1 탑승자가 자신에게 할당된 화면을 응시하고, 제2 탑승자가 제1 탑승자에게 할당된 화면을 응시하는 것으로 확인하는 경우, 주도권 요청이 불가한 상황에서 S6020 단계는 주도권 요청 알림을 전송하지 않도록 제어한다.

S6010 단계에서 제1 탑승자가 자신에게 할당된 화면을 응시하고, 제2 탑승자가 제1 탑승자에게 할당된 화면을 응시하는 것으로 확인하는 경우, 주도권 요청이 가능한 상황에서 S6020 단계는 제1 탑승자에게 제2 탑승자의 주도권 요청 알림을 제공한다. 제1 탑승자가 주도권을 부여를 허용하는 경우, S6030 단계는 제1 탑승자가 이용 중인 기능 위젯을 최소화시키도록 디스플레이 점유 제어를 수행한다.

도 61은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템은 위젯 이동에 대한 사용자 요청을 인식하는 동작 인식부(6110)와, 사용자 요청에 따라 차량 디스플레이 내 영역에서 위젯 이동 제어 명령을 생성하는 위젯 이동 제어부(6120) 및 위젯 이동 제어 명령에 따라 위젯을 디스플레이하는 디스플레이부(6130)를 포함한다.

동작 인식부(6110)는 터치 입력 신호, 제스처 입력 신호, 시선 정보 중 적어도 어느 하나를 이용하여 사용자 요청을 인식한다.

제어부(6120)는 복수의 영역으로 분할된 차량 디스플레이 내 영역에서, 위젯 터치로 스크롤 시 위젯 그룹에 대해 영역 간 이동시키도록 제어 명령을 생성한다.

제어부(6120)는 복수의 탑승자의 위치에 따라 영역을 할당하고, 각 탑승자의 요청에 따라 위젯 이동 제어 명령을 생성한다.

제어부(6120)는 제1 영역에 대한 스크롤 시, 해당 위젯 드로어에서만 스크롤이 동작되도록 제어 명령을 생성하고, 제2 영역의 위젯 드로어는 숨김 처리하는 제어 명령을 생성한다.

제어부(6120)는 위젯에 대한 사용자의 응시 여부를 판단하여 해당 위젯에 대한 하이라이트 표시에 대한 제어 명령을 생성한다.

제어부(6120)는 제1 영역 내 기설정된 끝단 영역에 위젯을 드래그 앤드 홀드하는 경우, 하단 위젯 그룹을 영역 간 이동시키는 제어 명령을 생성한다.

도 62는 본 발명의 또 다른 실시예에 따른 복수의 사용자 인식에 따른 화면 조작 과정을 도시한다.

도 62를 참조하면, 사이드 디스플레이는 복수의 영역(예: 2개)으로 분할된다. 사용자 A는 복수의 영역에 대한 제어권을 가지고 있고, 제1 영역(좌측 영역)의 하단에 1 내지 4 위젯이, 제2 영역(우측 영역)의 하단에 5 내지 8 위젯이 배치된다.

사용자 A가 디스플레이 영역 하단의 터치 신호를 인가하여 스크롤 시, 4개의 위젯으로 구성된 그룹 별로 디스플레이간 이동이 발생된다. 즉, 제2 영역에 1 내지 4 위젯이, 제1 영역에 5 내지 8 위젯이 배치되도록 이동이 발생되며, 마그네틱 스냅(magnetic snap)되어 정렬된다.

제1 영역에 대해 사용자 A가 할당되어 사용 중이고, 제2 영역에 대해 사용자 B가 할당되어 사용 중인 경우, 사이드 디스플레이에 상대적으로 근접한 사용자 A는 화면 터치를 이용하여 위젯 스크롤(scroll)을 입력한다. 사이드 디스플레이로부터 상대적으로 더 떨어진 사용자 B의 경우, 원거리 조작을 위해 시선 인식, 제스처 인식, 스마트폰 조작 인식 중 적어도 어느 하나의 방식을 통해 위젯 스크롤을 입력한다. 예컨대, 사용자 B의 시선 인식 또는 제스처 인식을 통해, 제2 영역의 하단에서 사용자 B의 1, 2, 3, 4 위젯에서 5, 6, 7, 8, 위젯으로 스크롤이 발생된다.

도 63은 본 발명의 또 다른 실시예에 따른 디스플레이 분리에 따른 개인화된 조작 과정을 도시한다.

제1 영역 및 제2 영역에 사용자 A가 할당되어, 제1 영역의 하단에 위젯 1 내지 4가, 제2 영역의 하단에 위젯 5 내지 8이 배치되는 것을 가정한다. 이 때, 다른 사용자(사용자 B)의 시선을 인식한 경우, 위젯 드로어(widget drawer)를 사용자 별로 제공한다. 이 때, 제1 영역 또는 제2 영역 중 어느 하나를 사용자의 탑승 위치, 시선 방향을 고려하여 재할당하며, 도 63을 참조하면 제1 영역을 사용자 A에게, 제2 영역을 사용자 B에게 재할당한 것을 도시한다. 제1 영역(디스플레이 A)에서 스크롤 시, 이는 해당 드로어(drawer)에서만 동작하고, 제2 영역(디스플레이 B)에서 드로어(drawer)는 숨김 처리된다.

도 64는 본 발명의 또 다른 실시예에 따른 원거리 사용자의 화면 조작 과정을 도시한다.

사이드 디스플레이의 분할 영역 중 제1 영역이 사용자 A에게, 제2 영역이 사용자 B에게 할당된 상황임을 가정한다.

사용자 B가 디스플레이 하단을 응시하는 것을 인식하면(widget eye gaze), 시선 방향에 해당하는 위젯(위젯 3)을 하이라이트 처리한다. 이후, 사용자 B가 제스처(grab)를 이용하여 위젯 영역을 선택하여 좌우 이동 요청하는 경우, 위젯 스크롤 동작이 발생된다. 또한, 사용자 B가 특정 위젯을 바라보며 핀치(pinch) 제스처를 행하는 경우, 해당 위젯을 선택하는 동작으로 인식된다. 해당 위젯(위젯 7)을 선택하는 경우, 해당 위젯이 제2 영역 중 상단 영역으로 확대되어 표시된다.

도 65는 본 발명의 또 다른 실시예에 따른 터치 입력 신호를 이용한 개별 위젯 이동 과정을 도시한다.

터치 입력을 통해 위젯 2를 길게 누르는 경우(long press), 재정렬 모드(rearrange mode)에 진입한다. 해당 위젯을 원하는 위치에 드래그 앤 드롭(drag and drop)하게 되면, 위젯 배치 순서가 변경된다. 예컨대, 도 65에 도시한 바와 같이, 전술한 제1 영역의 하단에 1, 2, 3, 4의 위젯 배치 상태에서, 1, 3, 2, 4 위젯 배치 상태로 변경된다.

도 66은 본 발명의 또 다른 실시예에 따른 시선인식 및 제스처를 이용한 개별 위젯 이동 과정을 도시한다.

사이드 디스플레이에서 비교적 멀리 떨어져 있는 탑승자의 경우, 디스플레이 하단을 응시하게 되면, 해당 시선 방향에 대응되는 영역의 위젯에 대해 하이라이트 처리되어 표시된다. 사용자가 특정 제스처를 이용하여 위젯 영역을 그랩(grab)하여 기설정 시간(n초) 동안 홀드(hold)하는 경우, 재정렬 모드로 진입하게 된다. 그랩한 위젯에 대해 좌우 이동이 가능하며, 사용자는 이를 원하는 위치에 드래그 앤 드롭을 통해 순서를 변경시킬 수 있다. 즉, 전술한 제1 영역의 하단에 1, 2, 3, 4의 순서로 배치된 상태에서, 1, 3, 2, 4 위젯 배치 상태로 변경시킬 수 있다.

도 67은 본 발명의 또 다른 실시예에 따른 단일 위젯 이동을 통한 위젯 그룹 이동 과정을 도시한다.

전술한 예와 같이, 제1 영역이 사용자 A에게 할당되고, 제2 영역이 사용자 B에게 할당된 상황임을 가정한다. 제1 영역의 하단에는 1, 2, 3, 4 위젯이 차례로 배치되고, 제2 영역의 하단에는 5, 6, 7, 8 위젯이 차례로 배치된다.

사용자 A가 제1 영역의 위젯(위젯 2)를 제1 영역의 끝 쪽에 드래그 앤드 홀드(drag and hold)하는 경우, 하단의 위젯 그룹이 이동하게 된다. 즉, 1 내지 4 위젯을 포함한 그룹이 제2 영역의 하단으로 이동하고, 5 내지 8 위젯을 포함한 그룹이 제1 영역의 하단으로 이동하게 된다.

또한, 사용자 A가 원하는 위치에 해당 위젯(위젯 2)를 릴리즈(release)하는 경우, 순서 변경이 완료되어, 제1 영역의 하단에는 5, 6, 2, 7 위젯이 차례로 배치되고, 제2 영역의 하단에는 8, 1, 3, 4 위젯이 차례로 배치된다.

좌측 위젯 그룹으로 왼쪽을 스와이프(swipe)하게 되면, 디스플레이 간 위젯 그룹이 변경된다. 즉, 제1 영역의 하단에 8, 1, 3, 4 위젯이 차례로 배치되고, 제2 영역의 하단에 5, 6, 2, 7 위젯이 차례로 배치된다.

하나의 위젯을 분리된 디스플레이로 이동시키기 위해 해당 위젯을 드래그 앤드 드롭해야 원하는 위치에 배치할 수 있으나, 화면이 물리적으로 분리되어 있는 경우 제1 영역으로부터 제2 영역으로 드래그 하는 경우, 터치가 끊기는 현상이 발생된다. 분리된 2개의 디스플레이 간 위젯 이동을 용이하게 수행하기 위해, 제1 영역의 위젯을 이동하고자 하는 방향의 끝 쪽에 드래그 앤드 홀드하는 경우, 하단의 위젯 그룹이 이동되어 원하는 위치(제2 영역의 하단)에 배치된다. 1개의 위젯 이동을 통해, 복수의 위젯으로 구성된 그룹의 이동이 가능하다.

도 68은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법은 사용자 동작을 인식하는 단계(S6810)와, 위젯 이동 제어 명령을 생성하는 단계(S6820) 및 위젯 이동에 따라 디스플레이를 제어하는 단계(S6830)를 포함한다.

S6810 단계에서, 터치 입력 신호, 제스처 입력 신호, 시선 정보 중 적어도 어느 하나를 이용하여 사용자 동작을 인식한다.

S6820 단계에서, 복수의 영역으로 분할된 차량 디스플레이 영역에 대해 위젯 터치로 스크롤 시, 위젯 그룹에 대해 영역 간 이동시키도록 제어 명령을 생성한다.

S6820 단계에서, 복수의 탑승자의 위치에 따라 할당된 영역 내에서 각 탑승자의 요청에 따라 위젯 이동 제어 명령을 생성한다.

S6820 단계에서, 제1 영역에 대한 스크롤 시, 해당 위젯 드로어에서만 스크롤이 동작되도록 제어 명령을 생성하고, 제2 영역의 위젯 드로어는 숨김 처리하는 제어 명령을 생성한다.

S6820 단계에서, 위젯에 대한 사용자의 응시 여부를 판단하여 해당 위젯에 대한 하이라이트 표시에 대한 제어 명령을 생성한다.

S6820 단계에서, 제1 영역 내 기설정된 끝단 영역에 위젯을 드래그 앤드 홀드하는 경우, 하단 위젯 그룹을 영역 간 이동시키는 제어 명령을 생성한다.

도 69는 본 발명의 또 다른 실시예에 따른 미디어 재생 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 미디어 재생 제어 시스템은 차량 디스플레이를 이용하여 재생되는 미디어 중, 사용자가 제어하고자 하는 대상 미디어를 인식하는 제어 대상 인식부(6910)와, 대상 미디어에 대한 사용자 요청을 인식한 결과에 따라, 제어 명령을 생성하는 제어 명령 생성부(6920) 및 제어 명령에 따라 미디어를 제어하는 미디어 제어부(6930)를 포함한다.

제어 대상 인식부(6910)는 사용자의 시선 정보, 사용자가 소지한 디바이스로부터 수신되는 제어 요청 정보, 사용자가 소지한 디바이스의 위치 정보 중 적어도 어느 하나를 이용하여 대상 미디어를 인식한다.

제어 명령 생성부(6920)는 UWB 센서를 이용하여 사용자가 소지한 디바이스의 위치가 차량 내부 또는 외부인 것을 확인하고, 그에 따라 대상 미디어에 대한 제어 명령을 생성한다.

제어 명령 생성부(6920)는 대상 미디어에 대한 음량 조절 요청을 포함하는 사용자 요청을 인식하여 제어 명령을 생성한다.

미디어 제어부(6930)는 제어 명령에 따라 대상 미디어에 대한 음량을 조절한다.

도 70은 본 발명의 또 다른 실시예에 따른 실내 및 실외 탑승자의 스마트폰을 이용한 미디어 조작을 구분하여 인식하는 과정을 도시한다.

도 70을 참조하면, 제1 사용자 그룹은 차량 내 측창 디스플레이를 이용하여 제1 미디어를 시청 중이고, 제2 사용자 그룹은 차량의 외부에서 차량 디스플레이를 이용하여 제2 미디어를 시청 중이다.

와이파이 다이렉트 기술을 이용하여, 사용자가 소지한 스마트폰에서 비디오 캐스트(video cast)할 디스플레이를 선택하고, 캐스트(cast) 중인 디스플레이 및 스피커의 볼륨을 조절한다.

도 70을 참조하면, 스마트폰 앱에서 측창 디스플레이의 영역, 전면부 디스플레이의 영역 중 제어할 대상 영역을 선택하고, 그 대상 영역에서 재생하는 미디어 컨텐츠의 음량을 조절한다. 미디어를 재생할 디스플레이를 선택하고, 드래그(drag)를 통해 볼륨을 조절한다.

도 71은 본 발명의 또 다른 실시예에 따른 시선인식 정보 및 스마트폰을 이용한 미디어 조작 정보를 이용하여 미디어 조작을 구분하여 인식하는 과정을 도시한다.

차량의 내/외부에는 아이 트래킹 카메라가 배치되어, 측창 디스플레이 또는 전면부 디스플레이를 주시하는 사용자의 시선 정보를 획득한다.

시선 정보 및 스마트폰 기능 조작 정보를 이용하여, 사용자가 볼륨 조작을 원하는 대상 미디어를 판단하고, 스마트폰 앱을 통해 입력되는 볼륨 조작 정보에 따라 미디어 재생 음량을 조절한다.

스마트폰 앱에서 eye gaze remote를 선택함에 따라, 미디어가 재생 중인 디스플레이 영역을 응시하며 스와이프 업 및 다운(swipe up and down)을 통해 볼륨을 조절한다.

도 72는 본 발명의 또 다른 실시예에 따른 시선인식 정보 및 UWB 통신을 이용한 미디어 조작 구분 인식 과정을 도시한다.

UWB 센서를 통해, 스마트폰이 실내에 위치한 것인지, 실외에 위치한 것인지 여부를 확인한다.

시선 정보 및 UWB 센싱 결과를 이용하여, 사용자가 볼륨 조작을 원하는 대상 미디어를 판단하고, 스마트폰의 볼륨 하드 버튼 조작에 의한 볼륨 조작 정보에 따라 미디어 재생 음량을 조절한다.

즉, 사용자가 미디어가 재생 중인 디스플레이를 응시하며 자신이 소지한 스마트폰의 볼륨 버튼 조작을 통해 볼륨을 조절하는 경우, 이를 응시한 영역에 재생 중인 미디어에 대한 볼륨 조절 요청인 것으로 인식하고 그에 따라 볼륨을 조절한다.

도 73은 본 발명의 또 다른 실시예에 따른 미디어 재생 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 미디어 재생 제어 방법은 미디어 제어 환경에 대한 정보를 획득하는 단계(S7310)와, 미디어 제어 환경에 대한 정보를 이용하여 제어 대상 미디어를 결정하고, 제어 대상 미디어에 대한 제어 명령을 생성하는 단계(S7320) 및 제어 명령에 따라 미디어 재생에 대한 제어를 수행하는 단계(S7330)를 포함한다.

S7310 단계는 차량의 복수 디스플레이 영역에서 재생되는 복수의 멀티미디어 정보를 확인한다.

S7320 단계는 사용자의 시선 정보, 사용자가 소지한 디바이스로부터 수신되는 제어 요청 정보, 사용자가 소지한 디바이스의 위치 정보 중 적어도 어느 하나를 이용하여 제어 대상 미디어를 결정한다.

S7320 단계는 차량 내부에 위치한 탑승자가 시청하는 미디어에 대한 제어 요청인지, 또는 차량 외부에 위치한 사용자가 시청하는 미디어에 대한 제어 요청인지 여부를 구분하여 인식한다.

S7330 단계는 미디어 음량 조절 요청에 따른 상기 제어 명령을 기반으로 미디어 재생에 대한 음량 제어를 수행한다.

도 74는 본 발명의 또 다른 실시예에 따른 미디어 재생 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 미디어 재생 제어 시스템은 차량 디스플레이를 이용하여 재생되는 복수의 멀티미디어에 대한 재생 환경을 인식하는 멀티미디어 재생 환경 인식부(7410)와, 복수의 멀티미디어의 상호간 사운드 간섭 방지에 대한 제어 명령을 생성하는 제어 명령 생성부(7420) 및 제어 명령에 따라 미디어를 제어하는 미디어 제어부(7430)를 포함한다.

멀티미디어 재생 환경 인식부(7410)는 차량 시트 중 일부가 탈착되어 외부로 옮겨진 상태에서 제1 사용자 그룹이 제1 컨텐츠를 시청하는 상황에 대한 정보와, 차량 시트 중 일부가 회전된 상태에서 제2 사용자 그룹이 제2 컨텐츠를 시청하는 상황에 대한 정보를 인식한다.

제어 명령 생성부(7420)는 제1 사용자 그룹이 전면 프로젝션 디스플레이를 통해 역상 재생되는 제1 컨텐츠를 시청하는 상황에서, 제1 사용자 그룹에 해당되는 디바이스로부터 컨텐츠 제어 요청을 수신하고, 그에 따른 제어 명령을 생성한다.

제어 명령 생성부(7420)는 제2 사용자 그룹이 측창 디스플레이를 통해 재생되는 제2 컨텐츠를 시청하는 상황에서, 헤드레스트 스피커를 이용한 사운드 버블이 형성되도록 제어 명령을 생성한다.

도 75는 본 발명의 또 다른 실시예에 따른 사운드 간섭 방지 과정을 도시한다.

도 75를 참조하면, 주행 상황에서 차량 내 탑승자들은 전방 프로젝션 디스플레이를 이용하여 컨텐츠를 시청한다. 차량 시트 중 일부가 탈착되어 외부로 옮겨지고, 나머지 시트는 회전한다. 제1 사용자 그룹은 탈착되어 외부로 옮겨진 차량 시트에 앉아 제1 컨텐츠를 시청하고, 제2 사용자 그룹은 회전된 시트에 앉아 제2 컨텐츠를 시청한다.

제1 사용자 그룹은 전방 프로젝션 디스플레이의 역상 재생을 통해 제1 컨텐츠를 시청한다(외부 극장 모드). 이 때, 표면 진동 스피커의 재생을 통해 음원을 청취한다. 제1 사용자 그룹은 스마트폰을 이용하여 제1 컨텐츠에 대한 음량, 재생을 제어한다. 표면 진동 스피커는 커뮤니케이션 경고 용도로 사용되는 것으로, 보행자 위치에 따라 그 방향에 맞게 사운드를 재생시키고, 안전지역 이탈 방향으로 사운드를 재생시키며, 방향 지시등의 점등에 맞춰 해당 방향으로 알림음을 발생시킨다.

제2 사용자 그룹은 회전된 시트에 앉아 측창 디스플레이를 이용하여 제2 컨텐츠를 시청한다(내부 극장 모드). 제2 사용자 그룹은 헤드레스트 스피커를 이용하여 제2 컨텐츠의 음원을 청취하며, 헤드레스트 스피커는 사운드 버블을 형성하여 외부 음원의 간섭을 방지한다. 또한, 액티브 노이즈 캔슬링 기능을 통해, 외부 노이즈를 차단한다.

도 76은 본 발명의 또 다른 실시예에 따른 미디어 재생 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 미디어 재생 제어 방법은 복수의 멀티미디어의 재생 환경에 대한 정보를 획득하는 단계(S7610)와, 복수의 멀티미디어의 상호간 사운드 간섭 방지와 관련한 제어 명령을 생성하는 단계(S7620) 및 (c) 제어 명령에 따라 미디어 재생에 대한 제어를 수행하는 단계(S7630)를 포함한다.

S7610 단계는 차량 시트 중 일부가 탈착되어 외부로 옮겨진 상태에서 제1 사용자 그룹이 제1 컨텐츠를 시청하는 상황에 대한 정보와, 차량 시트 중 일부가 회전된 상태에서 제2 사용자 그룹이 제2 컨텐츠를 시청하는 상황에 대한 정보를 획득한다.

S7620 단계는 표면 진동 스피커를 이용하여 제1 컨텐츠의 음원을 재생시키고, 제1 사용자 그룹의 디바이스를 통해 수신되는 제어 요청에 대한 제어 명령을 생성한다.

S7620 단계는 헤드레스트 스피커를 이용하여 제2 컨텐츠의 음원을 재생시키며 사운드 버블을 형성시키는 제어 명령을 생성한다.

도 77은 본 발명의 또 다른 실시예에 따른 위험요소 판단 및 경고 제공 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 위험요소 판단 및 경고 제공 시스템은 차량으로 접근하는 미등록 객체의 존재 여부를 인식하는 접근 객체 인식부(7710)와, 미등록 객체의 접근에 의한 위험 상황 발생 여부를 판단하고, 경고 제공과 관련한 제어 명령을 생성하는 제어 명령 생성부(7720) 및 제어 명령에 따라 경고 알림을 제공하는 알림 제공부(7730)를 포함한다.

접근 객체 인식부(7710)는 영상 센서, 레이다 센서, 라이다 센서 중 적어도 어느 하나를 이용한 객체 인식 결과를 이용하여 상기 미등록 객체의 존재 여부를 확인한다.

접근 객체 인식부(7710)는 기등록된 키의 소지 여부 확인을 통해 미등록 객체의 존재 여부를 확인한다.

제어 명령 생성부(7720)는 미등록 객체의 행동 패턴을 분석하여 위험 상황 발생 여부를 판단한다.

제어 명령 생성부(7720)는 차량의 주정차 상황 정보를 고려하여 미등록 객체의 접근에 의한 위험 상황 발생 여부를 판단한다.

제어 명령 생성부(7720)는 차량 내부 탑승객이 존재하는지 여부를 확인하고 스피커, 차량 디스플레이, 차량의 사용자 디바이스 중 적어도 어느 하나를 이용하여 경고를 제공한다.

본 발명의 또 다른 실시예에 따른 위험요소 판단 및 경고 제공 시스템은 차량의 기설정 영역을 이탈하는 객체를 인식하는 이탈 객체 인식부(7740)를 더 포함하고, 제어 명령 생성부(7720)는 이탈하는 객체에 대한 경고 알림을 제공하도록 제어 명령을 생성한다.

도 78은 본 발명의 또 다른 실시예에 따른 외부 위험요소 경고 및 안전지역 이탈 경고 상황을 도시한다.

도 78을 참조하면, 차량 내부에 승객이 탑승한 상황에서, 차량에 등록되지 않은 외부인이 접근하는 것으로 판단된 경우, 스피커를 이용하여 지향성 경고를 제공한다. 또한, 외부인이 접근하는 방향의 차량 디스플레이를 이용하여 화면 표시를 수행하여, 외부인의 접근 상황에 대한 알림을 제공한다.

이 때, 외부인의 접근은 실제 위험 요소로 판단하여야 할 상황이 있고, 단순히 지나가거나 옆 주차 공간에 주차한 차량에 탑승하기 위해 접근하는 외부인으로서 실제 위험 요소가 아닌 것으로 판단하여야 할 상황이 있다. 따라서, 현재 주정차한 상황 정보(예: 장소, 시간대, 옆 차량 존재 여부)를 분석하여 외부인 접근에 대한 경고 제공을 활성화할 지 여부를 결정한다. 예컨대, 주변에 주차한 차량도 없고, 사람이 다니는 인도도 없는 노지 캠핑 상황에서 외부인이 접근하는 경우, 외부인 접근에 대한 경고를 제공한다. 반면, 쇼핑몰 주차장과 같이 주변에 주차된 차량이 있고, 주변에 사람들이 빈번하게 다니는 상황에서는 외부인 접근에 대해 곧바로 경고를 제공하지 않는다. 이 때에는 외부인이 차량 주변을 맴돌거나, 차량 내부를 들여다보거나, 차량에 손을 대는 등의 행동을 하는 것을 감지하고, 감지 결과에 따라 경고를 제공하는 것이 바람직하다.

차량 내부에 승객이 탑승하지 않은 상황에서, 등록되지 않은 외부인이 접근하며, 이를 실제 위험 요소로 판단한 경우, 외부 접근 방향을 향해 지향성 경고를 제공하고, 차량 디스플레이를 이용하여 화면 표시를 수행하여 외부인에게 경고를 제공한다. 또한, 기등록된 차량의 사용자의 스마트 디바이스로 경고를 제공하여, 외부 활동 중인 사용자에게 외부인 접근에 따른 위험 요소 발생 상황을 알린다.

전술한 예에 따르면, 외부 위험요소 판단과 관련하여, 외부 카메라를 통한 face ID 구분을 통해 기등록된 사용자인지 여부를 판단하고, 디지털 키 또는 스마트 키를 소지하지 않고 차량에 접근하는 사람에 대한 알림을 제공한다. 외부인은 특정시간 이상 차량과 근접 거리에 머물거나, 차량에 손을 대거나, 차량에 충격을 가하는 경우 경고가 제공된다. 차량의 라이다, 레이더 센서를 통해 거리 및 형상을 파악하는데, 레이더를 이용하여 객체 유무, 거리, 크기 정보를 판단하고, 라이다를 이용하여 객체의 형체를 인식하고 주변 환경을 인식하며, 카메라를 이용하여 주변 물체를 식별한다. 경고 대상이 사람인지, 동물인지에 따라 상이한 경고가 제공되는데, 사람의 경우 외부 디스플레이를 통해 메시지를 표시하고, 사이렌 경고음을 제공한다. 야생도물의 경우 외부 조명을 점멸시키고, 동물별로 상이한 경고음을 제공한다. 예컨대, 멧돼지를 대상으로 하는 저주파 경고음(150 내지 8000Hz)를 이용하여 경고를 제공한다.

전술한 노지 캠핑 등의 상황에서, 차량 내부에 일부 탑승자가 존재하고, 차량 외부 근처에 있던 객체(사용자, 반려견 등)가 기설정 영역을 벗어나는 경우, 차량 내부의 일부 탑승자에게 안전구역 이탈에 대한 경고를 제공한다. 이 때, 안전구역을 이탈하는 방향에 대한 지향성 경고를 제공하고, 차량 디스플레이를 이용하여 경고 메시지를 표출시킨다. 기설정 영역을 벗어나는지 여부에 대해서는 사용자가 소지한 스마트폰, 반려견의 스마트태그 등과 UWB 통신을 수행하여 이격 거리를 판단하고, 기설정 영역을 벗어나는 경우 경고를 제공한다.

도 79는 본 발명의 또 다른 실시예에 따른 위험요소 판단 및 경고 제공 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 위험요소 판단 및 경고 제공 방법은 차량으로 접근하는 객체 및 상기 차량을 기준으로 한 기설정 영역으로부터 이탈하는 객체 중 적어도 어느 하나를 인식하는 단계(S7910)와, 인식 결과에 따라 위험상황 발생에 대한 경고 제공에 대한 제어 명령을 생성하는 단계(S7920) 및 제어 명령에 따라 경고 알림을 제공하는 단계(S7930)를 포함한다.

S7920 단계는 차량으로 접근하는 객체를 인식하는 경우, 차량에 미등록된 객체의 행동 패턴 분석 결과 및 차량의 주정차 상황 정보를 고려하여 위험상황 발생 여부를 판단한다.

S7920 단계는 차량으로부터 이탈하는 객체를 인식하는 경우, 차량으로부터 이탈하는 객체의 디바이스와의 이격 거리 정보를 획득하여 이탈하는 객체를 인식한다.

S7930 단계는 스피커, 차량 디스플레이 및 차량의 사용자 디바이스 중 적어도 어느 하나를 이용하여 경고 알림을 제공한다.

도 80은 본 발명의 또 다른 실시예에 따른 멀미 저감을 위한 차량 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 멀미 저감을 위한 차량 제어 시스템은 사용자의 생체 정보를 분석한 결과 및 사용자의 요청 중 적어도 어느 하나에 따라 멀미 저감 제어를 요청하는 멀미 저감 제어 요청부(8010)와, 멀미 저감 제어에 대한 로직을 수행하기 위한 제어 명령을 생성하는 제어 명령 생성부(8020) 및 제어 명령에 따라 컨텐츠를 재생하는 디스플레이 영역을 결정하고, 실내 시트에 대한 레이아웃을 변경시키는 디스플레이 및 실내 레이아웃 변경부(8030)를 포함한다.

멀미 저감 제어 요청부(8010)는 생체 정보를 분석하는 경우, 카메라 및 레이더 중 적어도 어느 하나를 이용하여 생체 정보를 획득하고, 이를 분석하여 멀미 저감 제어를 요청한다.

제어 명령 생성부(8020)는 멀미 저감 모드에서 시트 리클라이닝을 수행하도록 제어 명령을 생성한다.

제어 명령 생성부(8020)는 시트 리클라이닝의 각도에 따라 프로젝터의 화각을 조정하고, 컨텐츠를 재생하는 디스플레이의 영역을 변경시키는 제어 명령을 생성한다.

도 81은 본 발명의 또 다른 실시예에 따른 멀미 저감을 위한 디스플레이 및 실내 레이아웃 변화를 도시한다.

프로젝션 디스플레이(전방 글라스)를 이용하여 컨텐츠를 재생하고, 차량 내 영상을 획득하는 카메라, 무선 레이더의 획득 정보를 기반으로 심박수와 호흡수를 측정하여 생체 신호를 감지한다.

생체 신호 감지 결과 멀미가 발생될 가능성이 있는 것으로 확인되거나, 사용자의 요청에 의해 멀미 저감 제어 로직이 수행되며, 멀미 저감 제어 로직에 의해 시트는 무중력 시트 모드로 작동하고, 프로젝션 디스플레이(루프 글라스)를 이용하여 컨텐츠를 재생시키도록 재생 영역의 변경된다. 헤드레스트 스피커를 통해서 멀미 저감 사운드가 재생되며, 액티브노이즈 캔슬링 기능이 적용되며, 좌석 간 대화 기능이 제공된다. 사용자에게 제공되는 사운드는 차량 속도를 느낄 수 있도록 외부 사운드가 재생되거나, 심신 안정 관련 음원이 재생되거나, 자연의 소리가 재생된다. 사운드는 차량 주행 상황에 따라 재생되는 채널이 상이하게 동작한다. 예컨대 직진 시 좌/우 2채널이 재생되고, 좌회전 시에는 좌측 채널이 재생되며, 우회전 시에는 우측 채널이 재싱된다.

도 82는 본 발명의 또 다른 실시예에 따른 전면 디스플레이의 가변 표시 레이아웃을 도시한다.

전면 프로젝션 디스플레이는 상단에 커뮤니케이션 램프 영역, 하단에 클러스터 및 태스크 바 영역이 배치되고, 중앙 영역에 외부 환경이 보여진다(투명 디스플레이).

전면 프로젝션 디스플레이는 상단에 커뮤니케이션 램프 영역, 하단에 클러스터 및 태스크 바 영역이 배치되고, 중앙 영역에 풀 사이즈 위젯 화면이 배치될 수 있다.

전면 프로젝션 디스플레이는 상단에 경로 정보 제공 화면, 하단에 클러스터 및 태스크 바 영역이 배치되고, 중앙 영역이 분할되어 하프 사이즈 위젯 화면과 외부 확인용 투명 디스플레이 영역이 배치될 수 있다.

전면 프로젝션 디스플레이는 하단에 클러스터 및 태스크 바 영역이 배치되고, 나머지 영역에 풀 스크린 모드로 비디오 컨텐츠가 재생될 수 있다.

루프 글라스 프로젝션 디스플레이에는 비디오 컨텐츠가 재생되고, 그 중 일부가 전면 프로젝션 디스플레이 영역에도 재생될 수 있다. 전면 프로젝션 디스플레이의 하단에는 클러스터 및 태스크 바 영역이 배치되고, 상단 영역에 외부 환경이 보여질 수 있으며, 하단 영역을 제외한 나머지 전면 프로젝션 디스플레이 영역에 외부 환경이 보여질 수 있다.

도 83은 본 발명의 또 다른 실시예에 따른 프로젝션 디스플레이(전방 글라스)를 도시한다.

전면 프로젝션 디스플레이의 상단 영역에는 외부 차량 또는 보행자에게 제공하는 텍스트 메시지가 표시되는 커뮤니케이션 램프 영역이 배치된다. 전면 프로젝션 디스플레이의 상단 영역을 제외한 나머지 영역은 차량 내부의 탑승자가 확인할 수 있도록 컨텐츠 정보, 주행 정보 등이 표시된다. 프로젝터의 화각이 조절되며, 영상 시청 영역 및 시야 각도가 조정된다.

도 84는 본 발명의 또 다른 실시예에 따른 프로젝션 디스플레이(전방 글라스)를 이용하는 상황에서의 프로젝터를 도시한다.

액추에이터(8410)와 회전 축과 연결된 받침 구조(8420)의 회전 축이 연결되고, 프로젝터(8430)는 프로젝터 거치용 브라켓 구조(8440)에 의해 지지된다.

도 85는 본 발명의 또 다른 실시예에 따른 프로젝션 디스플레이(루프 글라스)를 도시한다.

전술한 바와 같이 멀미 저감 모드로 시트 실내 레이아웃이 변경되고, 헤드레스트 스피커를 통해 멀미 저감 사운드가 제공된다.

프로젝터의 화각이 조정되며 루프 글라스 프로젝션 디스플레이의 영역에 컨텐츠가 재생되며, 시트가 리클라이닝 되며 루프 글라스 프로젝션 디스플레이를 통해 컨텐츠를 시청할 수 있도록 시야 각도가 조정된다.

도 86은 본 발명의 또 다른 실시예에 따른 프로젝션 디스플레이(루프 글라스)를 이용하는 상황에서의 프로젝터를 도시한다.

액추에이터의 회전으로 프로젝터(8430)가 회전되어 화각이 이동된다.

도 87은 본 발명의 또 다른 실시예에 따른 영상 이동 과정을 도시한다.

전면 프로젝션 디스플레이를 통해 동영상이 실행되며, 전면 프로젝션 디스플레이의 상단 영역에는 커뮤니케이션 메시지가 외부로 표시된다.

사용자 요청에 의해, 외부 커뮤니케이션 램프 영역이 유지되고, 하단 영역에 동영상이 전체 화면으로 재생된다.

멀미 저감 기능 실행 시, 외부 커뮤니케이션 램프 영역을 유지한 상태에서 동영상이 루프 글라스 프로젝션 디스플레이로 이동되어 재생되고, 시트 리클라이닝 동작이 수행된다.

루프 글라스 프로젝션 디스플레이 영역에서 동영상이 재생되고, 외부 커뮤니케이션 램프가 동시에 동작된다.

루프 글라스 프로젝션 디스플레이 영역에서 동영상이 재생되는 중, 차량의 이동 속도 인지를 위해 하단의 필름 영역에 GUI 애니메이션이 동작된다. 이는 가로등을 지나가는 듯한 형상의 라인 애니메이션이 재생될 수 있다. 또한, 헤드레스트 스피커를 통해 차량의 속도감 또는 자연의 소리 등의 음원이 재생될 수 있다.

루프 글라스 프로젝션 디스플레이 영역에서 동영상이 재생되는 중, 외부 커뮤니케이션 램프 영역을 투명화하여 외부 주행 상황에 대한 육안 인식이 가능하도록 하고, 속도감을 인지할 수 있도록 한다.

루프 글라스 프로젝션 디스플레이 영역에서 동영상이 재생되는 중, 전면 프로젝션 디스플레이 전체를 투명화하여, 외부 주행 상황에 대한 육안 인식이 가능하도록 하고, 속도감을 인지할 수 있도록 한다.

도 88은 본 발명의 또 다른 실시예에 따른 멀미 저감을 위한 차량 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 멀미 저감을 위한 차량 제어 방법은 사용자의 생체 정보 분석 결과 및 사용자의 요청 정보 중 적어도 어느 하나를 이용하여 멀미 저감 제어 요청을 수신하는 단계(S8810)와, 멀미 저감 제어를 위한 제어 명령을 생성하는 단계(S8820) 및 제어 명령에 따라 디스플레이 설정 및 실내 레이아웃을 변경시키는 단계(S8830)를 포함한다.

S8810 단계는 생체 정보 분석 결과를 이용하는 경우, 멀미와 관련한 생체 정보를 획득하여 분석한 결과를 이용하여 멀미 저감 제어 요청을 수신한다.

S8820 단계는 시트 리클라이닝을 수행하는 제어 명령을 생성한다.

S8820 단계는 멀미 저감 음원을 재생시키는 제어 명령을 생성한다.

S8820 단계는 프로젝터의 화각을 조정하고 컨텐츠가 재생되는 디스플레이 영역을 변경시키는 제어 명령을 생성한다.

S8830 단계는 상기 제어 명령에 따라 컨텐츠가 재생되는 디스플레이 영역을 전면 프로젝션 디스플레이로부터 루프 글라스 프로젝션 디스플레이로 변경시키고, 리클라이닝 각도를 조정하여 시트의 레이아웃을 변경시킨다.

도 89는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템은 복수의 디스플레이 영역 간의 컨텐츠 이동에 대한 요청을 수신하는 컨텐츠 이동 요청 수신부(8910)와, 컨텐츠 이동에 대한 요청에 따라 컨텐츠 이동, 스피커 변경, 실내 시트 레이아웃 변경에 관한 제어 명령을 생성하는 제어 명령 생성부(8920) 및 제어 명령에 따라 음향과 실내 레이아웃을 변경시키는 음향 및 실내 레이아웃 변경부(8930)를 포함한다.

컨텐츠 이동 요청 수신부(8910)는 차량 탑승자의 제스처, 화면 버튼 입력, 탑승자 디바이스를 이용한 영상 이동 요청 중 적어도 어느 하나를 수신한다.

제어 명령 생성부(8920)는 제1 디스플레이로부터 제2 디스플레이로 컨텐츠를 이동할 것에 대한 요청에 따라, 제1 디스플레이 및 제2 디스플레이 간의 이격 거리를 좁히도록 디스플레이 이동에 관한 제어 명령을 생성한다.

제어 명령 생성부(8920)는 컨텐츠 이동의 방향을 고려하여 음원을 재생하는 스피커 그룹에 대한 그룹핑을 수행한다.

제어 명령 생성부(8920)는 컨텐츠 이동의 방향을 고려하여 시트를 회전시키는 실내 레이아웃 변경과 관련한 제어 명령을 생성한다.

도 90은 본 발명의 또 다른 실시예에 따른 디스플레이 간 영상 이동에 따른 음향 및 실내 레이아웃 변경 과정을 도시한다.

1. 전방 프로젝션 영상 감상 상황에서, 차량 내 탑승자는 전방 프로젝션 디스플레이를 이용하여 컨텐츠를 시청하며, 이 때 제1 스피커 그룹(예: 차량 내 전방에 위치한 2개의 스피커)을 이용하여 음원이 재생된다.

2. 영상 이동 실행 시 측면 디스플레이 이동 상황에서, 복수의 디스플레이 영역 간 컨텐츠 이동에 대한 요청이 수신된다. 이 때, 탑승자의 제스처, 화면 버튼 입력, 스마트폰을 이용한 영상 이동 요청이 수신된다. 영상 이동 시, 이동 전 영역(전방 프로젝션 디스플레이) 및 이동 후 영역(측창 디스플레이)간의 간격을 최소화하기 위해, 투명 디스플레이인 측창 디스플레이가 전방 프로젝션 디스플레이 측으로 슬라이딩 이동한다.

3. 영상 이동 상황에서, 시청 중인 영상 컨텐츠는 전방 프로젝션 디스플레이 영역으로부터 측창 디스플레이 영역으로 이동되며, 이동 경과에 따라 차량 탑승자의 시트가 회전된다. 또한, 제2 스피커 그룹(도 90을 참조하면 좌측 측창 디스플레이 영역으로 컨텐츠가 이동되며, 차량 후방 좌측에 배치된 스피커가 제1 스피커 그룹에 추가되어 제2 스피커 그룹을 이룬다)을 통해 음원이 재생된다.

4. 측면 투명 디스플레이 이동 완료 상황에서, 영상 컨텐츠는 측창 디스플레이 영역으로 이동이 완료되고, 탑승자가 착석한 시트가 좌측 방향으로 90도 회전되어 시트 레이아웃 변경이 완료된다. 측창 디스플레이를 기준으로 좌, 우의 스피커를 이용하여 스테레오 사운드가 재생된다.

도 91은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법은 복수의 디스플레이 영역 간의 컨텐츠 이동에 대한 요청을 수신하는 단계(S9110)와, 요청에 따라 컨텐츠 이동, 시트 회전, 스피커 제어와 관련한 제어 명령을 생성하는 단계(S9120) 및 제어 명령에 따라 컨텐츠를 이동시키고, 시트를 회전시켜 실내 레이아웃을 변경시키며, 음원을 재생하는 스피커를 제어하는 단계(S9130)를 포함한다.

S9110 단계는 차량 탑승자의 제스처, 버튼 입력, 차량 탑승자 디바이스의 앱을 통해 입력되는 요청 정보 중 적어도 어느 하나를 이용하여 상기 요청을 수신한다.

S9120 단계는 상기 컨텐츠 이동의 방향을 고려하여 디스플레이의 움직임을 제어하는 상기 제어 명령을 생성한다.

S9120 단계는 상기 컨텐츠 이동의 방향을 고려하여 음원을 재생하는 스피커 그룹을 결정하는 상기 제어 명령을 생성한다.

도 92는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템은 제1 디스플레이의 이동에 대한 요청을 수신하는 디스플레이 이동 요청 수신부(9210)와, 요청에 따라 제1 디스플레이를 이동시키는 제어 명령을 생성하는 제어 명령 생성부(9220) 및 제어 명령에 따라 이동된 제1 디스플레이에 부가 정보를 디스플레이하고, 제1 디스플레이가 이동 완료된 영역에 표출되고 있던 컨텐츠의 표시를 변경시키는 부가 정보 디스플레이부(9230)를 포함한다.

디스플레이 이동 요청 수신부(9210)는 차량 탑승자의 제스처, 버튼 입력, 차량 탑승자의 디바이스로부터 수신한 요청 정보 중 적어도 어느 하나를 이용하여 상요청을 수신한다.

제어 명령 생성부(9220)는 투명 디스플레이인 제1 디스플레이를 무빙 레일을 따라 이동시키는 제어 명령을 전송한다.

부가 정보 디스플레이부(9230)는 제1 디스플레이가 이동 완료된 영역에서 컨텐츠를 표출하는 프로젝션 영역을 투명화시키고, AR 정보를 외부 객체의 위치에 대응시켜 부가 정보를 디스플레이한다.

부가 정보 디스플레이부(9230)는 제1 디스플레이가 이동 완료된 영역에서 표출되고 있던 컨텐츠의 사이즈를 조절하여 디스플레이한다.

도 93은 본 발명의 또 다른 실시예에 따른 슬라이딩 디스플레이를 도시한다.

도 93의 (a)를 참조하면, 측창 투명 디스플레이는 복수의 영역으로 분할되고, 이 중 제1 투명 디스플레이(9310)이 이동 대상 디스플레이로 선택된다. 이 때, 차량 내 탑승자의 제스처, 버튼 입력, 시선 응시 정보, 차량 내 탑승자의 디바이스 조작 정보 중 적어도 어느 하나를 이용하여 이동 대상 디스플레이에 대한 선택 정보를 수신한다.

도 93의 (b)를 참조하면, 제1 투명 디스플레이(9310)는 무빙 레일을 따라 이동하여, 차량의 전방 좌측 영역으로 이동된다.

도 93의 (c) 내지 (e)를 참조하면, 제1 투명 디스플레이(9310)은 무빙 레일을 따라 이동하여, 차량의 전방 윈드쉴드 영역에 배치된다.

도 94는 본 발명의 또 다른 실시예에 따른 디스플레이 이동 및 AR 컨텐츠 표시 과정을 도시한다.

도 94의 (a)를 참조하면, 제1 투명 디스플레이는 이동되며 아직 전면 윈드쉴드 영역에 배치되지 않은 상황이며, 차량 탑승자는 전방 프로젝션 디스플레이를 통해 경로 요약 정보, 네비게이션 정보, 미디어 정보를 시청한다. 이 때, 전방 프로젝션 디스플레이는 투명 모드 및 불투명 모드에 대한 가변이 가능하지만, 전방 상황에 대한 정보를 AR 형태로 표현할 수는 없다.

도 94의 (b) 및 (c)를 참조하면, 측면으로부터 제1 투명 디스플레이가 전방으로 이동된다. 전방 프로젝션 디스플레이에서 표시되던 컨텐츠(네비게이션 정보) 영역은 투명하게 가변되며, 제1 투명 디스플레이를 통해 부가 정보(AR 정보)가 표시된다. 즉, 전방 프로젝션 디스플레이 중 일부 영역이 투명화되고, 네비게이션 컨텐츠를 AR 컨텐츠로 표시함으로써, 차량 탑승자는 보다 고도화된 주변 상황 정보 디스플레이를 통한 정보 확인이 가능하다. 도 94의 (c)를 차조하면, 네비게이션 정보가 실제 도로 상에 AR 컨텐츠로 표시되고, 사용자의 관심 객체(사용자의 시선이 응시하는 객체)에 대한 부가 정보(쿠폰 할인 정보, 가게 정보 등)가 AR 컨텐츠로 표시된다. 제1 투명 디스플레이가 전방으로 이동되기 전의 전방 디스플레이 정보가 표출되는 영역이 투명 디스플레이의 영역과 중첩되는 경우, 차량 탑승자(1열 우측 탑승자)를 위해 전방 디스플레이 정보의 사이즈를 조절하여, 전방 프로젝션 디스플레이를 이용하여 정보 손실 없이 표시한다.

도 95는 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법은 제1 디스플레이의 이동에 대한 요청을 수신하는 단계(S9510)와, 제1 디스플레이를 이동시키는 제어 명령을 생성하는 단계(S9520) 및 제어 명령에 따라 제1 디스플레이를 이동시키고, 제1 디스플레이가 이동 완료된 영역에서 부가 정보를 디스플레이하는 단계(S9530)를 포함한다.

S9520 단계는 투명 디스플레이인 제1 디스플레이를 무빙 레일에 따라 이동시키도록 하는 제어 명령을 생성한다.

S9530 단계는 제1 디스플레이가 이동 완료된 영역에서 컨텐츠를 표출하는 프로젝선 영역을 투명화시키고, AR 정보를 외부 객체에 대응시켜 부가 정보를 디스플레이한다.

S9530 단계는 프로젝션 영역과 제1 디스플레이의 영역의 중첩 상태에 따라, 프로젝션 영역에서 표출되는 컨텐츠의 사이즈를 조절한다.

도 96은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 와핑 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 영상 와핑 시스템은 탑승자 모니터링 정보를 확인하는 탑승자 모니터링부(9610)와, 탑승자 모니터링 결과에 따라 영상 와핑에 대한 제어 명령을 생성하는 제어 명령 생성부(9620) 및 제어 명령에 따른 와핑 영상을 디스플레이하는 와핑 영상 디스플레이부(9630)를 포함한다.

탑승자 모니터링부(9610)는 차량에 탑승한 사용자의 탑승 위치, 차량 디스플레이의 기준점과 사용자의 이격 거리 정보 및 탑승자의 시선 위치 정보 중 적어도 어느 하나를 확인한다.

제어 명령 생성부(9620)는 탑승자 모니터링 결과에 따라 와핑 사이즈를 결정하는 제어 명령을 생성한다.

탑승자 위치에 따라 틀어져 보일 수 있는 영상에 대해, 정면으로 보는 듯한 시각적 효과를 누릴 수 있도록 와핑된 영상이 제공된다. 이 때, 탑승자의 눈위치를 판단하고, 디스플레이 중앙 기준점과의 거리 및 각도를 측정하여 영상 와핑의 수준이 결정된다. 거리의 경우, 3차원으로 전/후 및 상/하(사람의 앉은 키 등) 거리 모두가 측정되어, 어느 각도에서도 정면으로 보는 듯한 시각적 효과를 누릴 수 있도록 영상 와핑이 수행된다. 거리 판단은 실내 카메라(예: ToF, RGB)를 이용하고, 사람의 눈 위치, 머리 및 자세 측정을 위한 기준과 비교된다. 이 때, 포인트로 구성된 값들을 활용하여 삼각비 등 길이 값 책정에 활용하고, 탑승자 위치가 이동되는 경우 실시간으로 와핑이 수행되거나, 이동 완료 후 신규로 와핑 수준이 세팅될 수 있다.

도 97은 본 발명의 또 다른 실시예에 따른 탑승자 위치별 영상 및 와핑의 예시를 표현한다.

도 97을 참조하면, 차량의 측창 투명 디스플레이를 통해 영상 컨텐츠가 표시된다. 이 때, 측창 투명 디스플레이를 기준으로 상대적으로 가까운 제1 사용자와 상대적으로 먼 제2 사용자가 탑승한 상황임을 가정한다.

제1 사용자와 제2 사용자의 시선에서 동일한 측창 투명 디스플레이를 바라보는 것을 가정하였을 때, 동일한 디스플레이 영역에서 와핑의 정도가 상이하게 설정된다.

즉, 디스플레이를 기준으로 상대적으로 거리가 가까운 제1 사용자의 경우, 상대적으로 거리가 먼 제2 사용자 대비 와핑 사이즈가 상이하게 설정된다.

도 97의 디스플레이 정면 뷰를 참조하면, 측창 투명 디스플레이를 정면으로 바라보는 경우, 제1 사용자에게 제공되는 실제 와핑 사이즈의 영상과, 제2 사용자에게 제공되는 실제 와핑 사이즈의 영상의 형태가 상이함을 확인할 수 있다.

도 98은 본 발명의 또 다른 실시예에 따른 탑승자의 시선 정보에 따른 영상 와핑을 도시한다.

도 98을 참조하면, 차량의 측창 투명 디스플레이를 통해 영상 컨텐츠가 표시된다. 이 때, 상대적으로 앉은 키가 작은 제1 사용자와, 상대적으로 앉은 키가 큰 제2 사용자 별로, 측창 투명 디스플레이를 바라보는 각도가 다르다. 제1 사용자와 제2 사용자의 시선에서 동일한 측창 투명 디스플레이를 바라보는 것을 가정하였을 때, 동일한 디스플레이 영역에서 와핑의 정도가 상이하게 설정된다.

즉, 상대적으로 앉은 키가 작은 제1 사용자의 경우, 상대적으로 앉은 키가 큰 제2 사용자 대비 와핑 사이즈가 상이하게 설정된다.

도 98의 디스플레이 정면 뷰를 참조하면, 측창 투명 디스플레이를 정면으로 바라보는 경우, 제1 사용자에게 제공되는 실제 와핑 사이즈의 영상과, 제2 사용자에게 제공되는 실제 와핑 사이즈의 영상의 형태가 상이함을 확인할 수 있다.

도 99는 본 발명의 또 다른 실시예에 따른 탑승자 거리 및 시선 정보에 따른 영상 와핑을 도시한다.

차량 내 시트가 회전되어, 측창 디스플레이를 통해 영상 컨텐츠를 시청하는 상황임을 가정한다.

도 99를 참조하면, 탑승 위치에 착좌한 탑승객이 측장 디스플레이를 통해 영상 컨텐츠를 시청하는 경우, 해당 탑승객의 시선에서는 디스플레이 영역에 직사각형 형상의 영상 컨텐츠가 표출되는 것으로 보여진다.

디스플레이 정면 뷰를 참조하면, 와핑 상황이 도시되는데, 와핑 영상은 해당 탑승객 측에 가까운 일단의 높이가 해당 탑승객 측으로부터 상대적으로 먼 타단의 높이보다 낮은 것을 확인할 수 있다.

도 100은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 와핑 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 영상 와핑 방법은 탑승자 모니터링을 수행하는 단계(S10010)와, 탑승자 모니터링의 결과에 따라 영상 와핑에 대한 제어 명령을 생성하는 단계(S10020) 및 제어 명령에 따라 와핑 영상을 디스플레이하는 단계(S10030)를 포함한다.

S10010 단계는 차량에 탑승한 사용자의 탑승 위치, 차량 디스플레이의 기준점과 사용자의 이격 거리 정보 및 탑승자의 시선 위치 정보 중 적어도 어느 하나를 확인하고, S10020 단계는 S10010단계에서의 확인 결과에 따라 와핑 사이즈를 결정하는 제어 명령을 생성한다.

S10030 단계는 탑승자 측에 가까운 와핑 영상의 일단의 높이가 탑승자 측으로부터 상대적으로 먼 와핑 영상의 타단의 높이보다 낮도록 설정된 와핑 영상을 디스플레이한다.

도 101은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 시스템은 차량 디스플레이의 기준점과 탑승자 간의 이격 거리 정보를 확인하는 탑승자 모니터링부(10110)와, 이격 거리 정보를 이용하여 차량 디스플레이의 영역 분할에 대한 제어 명령을 생성하는 제어 명령 생성부(10120) 및 제어 명령에 따라 각각의 탑승자에게 분할된 디스플레이 영역을 할당하고, 해당 디스플레이 영역에서 각 사용자 니즈에 따라 컨텐츠를 표시하는 영역 분할 디스플레이부(10130)를 포함한다.

탑승자 모니터링부(10110)는 실내 카메라를 이용하여 이격 거리 정보를 확인한다.

제어 명령 생성부(10120)는 탑승자의 눈 위치를 판단하여 복수의 탑승자의 눈에서 보이는 디스플레이 길이값을 책정한다.

제어 명령 생성부(10120)는 복수의 탑승자에게 제공되는 영상 폭을 길이값의 비율에 맞춰 영상 분할 사이즈를 조정하는 제어 명령을 생성한다.

도 102는 본 발명의 또 다른 실시예에 따른 탑승자 거리에 따른 디스플레이 영역 분할을 도시한다.

도 102를 참조하면, 2열에 탑승한 사용자 A 및 사용자 B는 좌측 투명 디스플레이를 이용하여, 외부 관심 객체에 대한 부가 정보(AR 정보)를 확인한다. 이 때, 부가 정보는 외부 관심 객체에 대한 윤곽선 정보가 표시된다. 좌측 투명 디스플레이의 중앙 기준점에서 사용자 A 및 사용자 B까지의 이격 거리가 상이하며, 이러한 이격 거리에 기초하여 좌측 투명 디스플레이의 영역이 분할된다. 즉, 2명의 사용자라고 하여 반반씩 투명 디스플레이의 영역을 분할하지 않고, 이격 거리 정보를 고려하여 화면의 분할 정도를 결정한다.

이를 통해, 다른 착좌 위치임에도 사용자들은 각각 동등한 화면 비율로 분할된 디스플레이를 이용할 수 있다.

실내 카메라(예: ToF, RGB)는 투명 디스플레이와 사용자 간의 이격 거리 정보를 획득한다. 카메라를 이용하여 사용자의 눈 위치를 판단하고, 정해진 디스플레이의 위치와 함께 삼각비 계산을 통해 눈에서 보이는 동일 디스플레이 길이값을 책정한다.

즉, 각 탑승자가 바라보는 방향으로 동일한 거리에서의 화면 영상 비율이 동일하도록, 길이값을 판단하여 영상 영역을 조정하여 분할 디스플레이 기능을 제공한다.

도 103은 본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 차량 디스플레이 제어 방법은 차량 디스플레이 및 탑승자 간의 이격 거리를 확인하여 탑승자 정보 모니터링을 수행하는 단계(S10310)와, 이격 거리를 이용하여 차량 디스플레이의 영역 분할에 대한 제어 명령을 생성하는 단계(S10320) 및 제어 명령에 따라 영역 분할 디스플레이를 제공하는 단계(S10330)를 포함한다.

S10310 단계는 차량 실내를 촬영하는 카메라를 이용하여 이격 거리를 확인한다.

S10320 단계는 탑승자의 눈 위치를 판단하여 복수의 탑승자의 눈에서 보이는 디스플레이의 길이값을 책정하고, 길이값의 비율에 맞춰 영상 분할 사이즈를 조정하는 제어 명령을 생성한다.

S10330 단계는 복수의 탑승자에게 영역 분할 디스플레이를 각각 할당하여 제공하고, 해당 디스플레이 영역에서 각 사용자의 니즈에 따라 컨텐츠를 표시한다.

한편, 본 발명의 실시예에 따른 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.

따라서, 본 발명의 실시예에 따른 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 방법을 수행할 수 있다.

한편, 상술한 본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

도 104는 본 발명의 일 실시예에 따른 목적 기반 차량을 도시한 도면이다.

도 104를 참조하면, 목적 기반 차량(PBV; 100)은, 스케이트 보드(110), 캐빈(120) 및 시트(130)를 포함한다.

스케이트 보드(110)는 차체 바닥면을 이룬다.

캐빈(120)은 스케이트 보드(110)의 상단에 결합돼 탑승공간과 별도의 수납공간을 제공한다.

가령, 캐빈(120)의 바닥면이 낮기 때문에, 운전석의 시야 확보를 위해 시계(visibility) 라인이 확보되는 위치까지 시트(130)를 높게 조절해야 한다. 이로 인하여, 캐빈(120)의 탑승공간에 설치된 시트(130)의 하단부에는 별도의 수납공간을 확보할 수 있다.

도 105는 도 104에 표시된 A-A의 단면을 도시한 측단면도이다.

도 105를 참조하면, 스케이트 보드(110)에는 배터리 탑재공간(111)이 마련된다. 배터리 탑재공간(111)은 배터리(미도시) 설치 및 제어 정밀도를 고려하여 설계돼야 한다.

캐빈(120)은 탑승자의 편의를 위해 시트(130)의 리클라이닝 조절뿐만 아니라, 자체 회전이 가능하도록 한다. 특히, 캐빈(120)의 전고(L)는 탑승자가 편하게 설 수 있는 높이로 설계될 수 있다.

이때, 캐빈(120)은 별도의 제어에 따라 전고(L) 조절이 가능할 수도 있다.

캐빈(120)에 설치된 디스플레이(121)는 인포테인먼트를 위한 오락 화면 및 기타 정보 영상을 화면으로 송출할 수 있다.

윈드실드(122)는 차량 내, 외부를 향해 선택적으로 영상을 표출한다.

윈드실드(122)는 전기변색 영상 영역부(122_1)와, 불투명 영상 영역부(122_2)를 포함한다.

전기변색 영상 영역부(122_1)는 전원 인가에 따라 차량 내, 외부를 향해 선택적으로 영상이 표출되도록 음영 조절이 가능하다.

불투명 영상 영역부(122_2)는 전기변색 영상 영역부(122_1)의 하단으로 연장된다.

다른 예로서, 윈드실드(122)는 내부 디스플레이 영역과, 외부 디스플레이 영역으로 분할 적용될 수도 있다.

가령, 내부 디스플레이 영역은 차량의 내부를 향해 영상을 표출하고, 외부 디스플레이 영역은 차량의 외부를 향해 영상을 표출할 수 있다. 이대, 내, 외부 디스플레이 영역은 서로 별개의 전기 인가 경로를 가질 수 있다.

도 106 및 도 107는 도 104에 표시된 A-A의 단면을 도시한 평단면도이다.

도 106은 목적 기반 차량(100)내에 탑승한 탑승자가 자율 주행 모드로 전환하여 디스플레이(121)로 영상을 시청하고, 내부 스피커(123) 중에서 전, 후방 좌측 스피커(123_1, 123_2)를 활성화하는 예시를 도시한다.

각 열의 시트(130)는 필요에 따라 위치 조절이 가능하여, 탑승자는 차량 내부에 설치된 디스플레이(121)와 대향하는 위치로 편하게 위치를 조절한 상태에서 해당 영상을 시청할 수 있다.

이때, 내부 스피커(123)는 탑승자의 제어 및/또는 기본 설정에 따라 상호 연결된 복수의 스피커(123_1, 123_2, 123_3, 123_4)의 음향을 제공할 수 있다.

도 107을 참조하면, 도 106의 상황에 더하여 탑승자는 시트(130)의 착좌부를 별도로 탈거하여 해당 착좌부를 차량 외부에 피팅시킨 후, 윈드실드(122)의 외부 영상을 시청할 수도 있다.

이때, 외부 스피커(124)는 탑승자의 제어 및/또는 기본 설정에 따라 상호 연결된 복수의 스피커(124_1, 124_2)의 음향을 제공할 수 있다.

도 108 내지 도 115는 본 발명의 일 실시예에 따른 목적 기반 차량에 있어서, 다양한 시트 구조를 도시한 도면이다.

도 108 내지 도 115를 참조하면, 시트(130)는 골격부(131)와, 착좌부(132)를 포함한다.

골격부(131)는 자체 회전 및 리클라이닝(Reclining) 조절이 가능하다. 골격부(131)는 헤드 레스트 조절은 물론, 럼버 서포트 조절이 가능하다.

또한, 골격부(131)는 자체 회전은 물론이고, 소정의 각도(α)만큼 높낮이 조절이나 및 소정의 길이만큼 앞뒤 조절도 가능하다.

골격부(131)는 빅데이터와 동기화가 가능한 ECU(미도시)와 연동되어, 착좌부(132)에 착좌되는 무게를 ECU로 전송하고, ECU는 해당 무게를 빅데이터에 축적된 통계 정보와 비교 연산한 후, 그 결과값을 적용하여 골격부(131)의 위치를 조절하거나, 탑승자로 하여금 해당 정보를 디스플레이로 확인하도록 하여 선택할 수 있도록 할 수도 있다.

다른 예로서, 골격부(131)는 캐빈(120) 내 설치된 레일(미도시)을 따라 위치 조절이 가능할 수 있다.

착좌부(132)는 골격부(131)에 스냅 핏(Snap-fit) 체결되어 착좌 공간을 제공한다.

착좌부(132)는 시트(130)의 골격부(131)로부터 탈거된 후 임의의 공간에 피팅 가능한 폴딩 구조로 이루어질 수 있다.

이때, 착좌부(132) 탈착이 용이하도록, 착좌부(132)는 골격부(131)와 맞닿는 하단 부분에 별도의 그립 홈(133)을 가질 수 있다. 그립 홈(133)은 손잡이 홈 형상으로 제작될 수 있다.

착좌부(132)는 상단면이 전방으로 갈수록 상향 경사진 굴곡 구조를 가진다. 착좌부(132)의 측면은 사용자의 종아리가 안착될 수 있도록 하방으로 갈수록 외측으로 확장되는 굴곡 구조로 이루어질 수 있다.

착좌부(132)는 착좌 강성 확보를 위해 고강성 플라스틱(CFRP; Carbon Fiber Reinforced Plastic) 재질로 이루어지는 것이 바람직하다.

착좌부(132)는 3면이 연결된 일체형 구조로 이루어질 수 있다.

착좌부(132)는 내측의 일부 구간에 복수의 리브가 구간마다 배치되어 강성을 보다 더 확보할 수도 있다.

다른 예로서, 착좌부(132)는 내측면이 허니콤(Honeycomb) 구조로 이루어져 강성을 확보할 수도 있다.

착좌부(132)는 적어도 2면 지지가 가능한 지지대(134)가 회전하며 착좌가 가능한 피팅 구조를 갖는다. 여기서, 착좌부(132)는 지지대(134) 길이와 회전량을 설정하여 평행 수준을 유지한 채로 피팅되는 것이 중요하다. 바람직하게는, 착좌부(132)는 3점 혹은 4점 지지 구조로 이루어지는 것이 좋다.

착좌부(132)는 골격부(131)와 맞닿는 테두리에 충격 흡수가 가능한 완충부재(미도시)를 포함할 수도 있다. 여기서, 완충부재는 착좌부(132)의 내측 테두리를 따라 체결되며, 탑승자가 착좌부(132)에 앉을 때 그 무게를 상쇄하여 착좌부(132)와 골격부(131) 간의 충격을 완화할 수 있다.

도 113의 착좌부(132)는 지지대(134), 힌지 축(135) 및 고정단(135)을 포함한다.

지지대(134)는 착좌부(132)의 양측면에 대칭된 채로 폴딩 가능한 구조를 갖는다.

힌지 축(135)은 지지대(134)를 착좌부(132)의 양측면에 회동 가능하게 연결한다.

고정단(136)은 지지대(134)가 펴진 상태로 피팅을 유지할 수 있도록 착좌부(132)의 측단 일부 구간에 위치할 수 있다. 즉, 고정단(136)은 받침대 역할을 하는 지지대(134)을 고정하는 스토퍼(Stopper)로서 기능할 수 있다.

도 114의 착좌부(132)는 지지대(134) 및 브래킷(137)을 포함한다.

여기서, 지지대(134)는 착좌부(132)의 양측면에 대칭된 채로 포딩 가능하게 연결된다.

브래킷(137)은 지지대(134)가 펴진 상태로 강성을 유지하도록 착좌부(132)의 측단 일부 구간에 스냅 핏(Snap-fit) 체결될 수 있다.

도 115의 (a), (b), (c), (d)는, 후방에서 지지대(134)를 바라볼 때의 지지대(134) 형태를 예시적으로 도시한다.

지지대(134)의 이러한 형태는 하나의 일례일 뿐이고, 이와 같은 형태에 제한되지 않는다. 결과적으로 해당 형태는 지지대(134)가 강성을 확보한다는 점에서 유의미하다.

본 발명은 전술한 실시예에 국한하지 않고, 본 발명의 기술사상이 허용되는 범위 내에서 다양하게 변형하여 실시할 수 있다.

Claims

차량 디스플레이의 기준점과 탑승자 간의 이격 거리 정보를 확인하는 탑승자 모니터링부;
상기 이격 거리 정보를 이용하여 상기 차량 디스플레이의 영역 분할에 대한 제어 명령을 생성하는 제어 명령 생성부; 및
상기 제어 명령에 따라 각각의 탑승자에게 분할된 디스플레이 영역을 할당하고, 해당 디스플레이 영역에서 각 사용자 니즈에 따라 컨텐츠를 표시하는 영역 분할 디스플레이부
를 포함하는 차량 디스플레이 제어 시스템.
제1항에 있어서,
상기 탑승자 모니터링부는 실내 카메라를 이용하여 상기 이격 거리 정보를 확인하는 것
인 차량 디스플레이 제어 시스템.
제1항에 있어서,
상기 제어 명령 생성부는 상기 탑승자의 눈 위치를 판단하여 복수의 탑승자의 눈에서 보이는 디스플레이 길이값을 책정하는 것
인 차량 디스플레이 제어 시스템.
제3항에 있어서,
상기 제어 명령 생성부는 복수의 상기 탑승자에게 제공되는 영상 폭을 상기 길이값의 비율에 맞춰 영상 분할 사이즈를 조정하는 상기 제어 명령을 생성하는 것
인 차량 디스플레이 제어 시스템.
(a) 차량 디스플레이 및 탑승자 간의 이격 거리를 확인하여 탑승자 정보 모니터링을 수행하는 단계;
(b) 상기 이격 거리를 이용하여 상기 차량 디스플레이의 영역 분할에 대한 제어 명령을 생성하는 단계; 및
(c) 상기 제어 명령에 따라 영역 분할 디스플레이를 제공하는 단계
를 포함하는 차량 디스플레이 제어 방법.
제5항에 있어서,
상기 (a) 단계는 차량 실내를 촬영하는 카메라를 이용하여 상기 이격 거리를 확인하는 것
인 차량 디스플레이 제어 방법.
제5항에 있어서,
상기 (b) 단계는 탑승자의 눈 위치를 판단하여 복수의 탑승자의 눈에서 보이는 디스플레이의 길이값을 책정하고, 상기 길이값의 비율에 맞춰 영상 분할 사이즈를 조정하는 상기 제어 명령을 생성하는 것
인 차량 디스플레이 제어 방법.
제5항에 있어서,
상기 (c) 단계는 복수의 탑승자에게 영역 분할 디스플레이를 각각 할당하여 제공하고, 해당 디스플레이 영역에서 각 사용자의 니즈에 따라 컨텐츠를 표시하는 것
인 차량 디스플레이 제어 방법.