KR20230054544A - 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템 - Google Patents

Abstract

본 발명은 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템에 관한 것이다.
본 발명에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템은 차량 내 탑승자가 관심을 가지는 차량 외부의 관심 객체를 확인하는 외부 관심 정보 확인부와, 외부 관심 정보의 회전과 관련한 차량 내 탑승자의 조작 정보를 인식하는 탑승자 조작 정보 인식부 및 차량 외부의 관심 객체에 대한 3D 이미지를 합성하여 표시하되, 조작 정보에 따라 3D 이미지를 회전시켜 표시하는 디스플레이 제어부를 포함한다.

Description

외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템{SYSTEM FOR CONTROLLING VEHICLE DISPLAY BY SYNTHESIZING AND DISPLAYING INFORMATION OF EXTERNAL INTEREST}

본 발명은 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템에 관한 것이다.

차량 탑승자는 주행 중 차량 밖으로 보여지는 다양한 사물 중 관심 객체(예: 풍경 속 나무, 건물, 다른 차량, 자전거, 오토바이 등)를 응시하고, 해당 관심 객체에 대한 정보를 확인하고 싶은 경우가 있다.

종래 기술(대한민국 공개특허공보 10-2012-0066472호)에 따르면, 운전자가 주시하고 있을 가능성이 높은 전방 물체에 증강 현실 콘텐츠를 합성하여 출력하는 구성을 개시하고 있다.

종래 기술에 따르면 운전자의 시선 이동을 최소화하기 위한 구성에 대하여 개시하고 있으나, 탑승자의 외부 객체 확인과 관련한 다양한 니즈를 충족하기 어려운 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 차량 탑승객이 관심을 가지는 객체에 대한 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템을 제공하는데 그 목적이 있다.

본 발명에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템은 차량 내 탑승자가 관심을 가지는 차량 외부의 관심 객체를 확인하는 외부 관심 정보 확인부와, 외부 관심 정보의 회전과 관련한 차량 내 탑승자의 조작 정보를 인식하는 탑승자 조작 정보 인식부 및 차량 외부의 관심 객체에 대한 3D 이미지를 합성하여 표시하되, 조작 정보에 따라 3D 이미지를 회전시켜 표시하는 디스플레이 제어부를 포함한다.

상기 외부 관심 정보 확인부는 상기 차량 내 탑승자의 시선이 기설정 시간 이상 머무르는 영역에 위치한 상기 관심 객체를 확인한다.

상기 탑승자 조작 정보 인식부는 터치 입력, 제스처 입력, 음성 입력 중 적어도 어느 하나를 상기 조작 정보로 인식한다.

상기 디스플레이 제어부는 상기 조작 정보에 따라 상기 3D 이미지의 회전 정도를 결정하여, 상기 3D 이미지를 회전시켜 표시하고, 기설정 시간 이상 추가적으로 조작이 없는 경우 상기 3D 이미지를 상기 관심 객체의 실제 위치로 원복하여 표시한다.

본 발명에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 방법은 (a) 차량 내 탑승자의 외부 관심 정보를 확인하는 단계와, (b) 외부 관심 정보의 회전과 관련한 탑승자의 조작 정보를 인식하는 단계 및 (c) 외부 관심 정보를 3D 이미지로 합성하여 표시하도록 제어하고, 조작 정보에 따라 3D 이미지를 회전시켜 표시하도록 제어하는 단계를 포함한다.

상기 (a) 단계는 상기 차량 내 탑승자의 시선이 기설징 시간 이상 머무르는 영역에 위치한 외부 객체에 대한 상기 외부 관심 정보를 확인한다.

상기 (b) 단계는 터치 입력, 제스처 입력, 음성 입력 중 적어도 어느 하나의 상기 조작 정보를 인식한다.

상기 (c) 단계는 상기 조작 정보에 따라 결정한 회전 정도에 따라 상기 3D 이미지를 회전시켜 표시하고, 기설정 시간 이상 추가적으로 조작이 없는 경우 상기 3D 이미지를 관심 객체의 실제 위치로 원복하여 표시한다.

본 발명에 따르면, 외부 관심 정보를 3D 형태로 합성하여 표시하고, 탑승자의 니즈에 따라 외부 관심 정보를 회전시켜 표시함으로써, 탑승자가 보고 싶은 방향으로 외부 관심 정보를 확인할 수 있도록 지원하는 것이 가능한 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 시스템을 도시한다.
도 2 내지 도 4는 본 발명의 실시예에 따른 탑승자 의도 기반 실내 레이아웃 변경을 도시한다.
도 5는 본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 방법을 도시한다.
도 6은 본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 시스템을 도시한다.
도 7은 본 발명의 다른 실시예에 따른 우선순위를 고려한 영역 별 차량 윈드쉴드 디스플레이 제어를 도시한다.
도 8은 본 발명의 다른 실시예에 따른 외부 관심 객체의 상대적 이동 시 우선순위를 고려한 영역 별 차량 윈드쉴드 디스플레이 제어를 도시한다.
도 9는 본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 방법을 도시한다.
도 10은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 시스템을 도시한다.
도 11은 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시 영역 판단 및 디스플레이 제어를 도시한다.
도 12는 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 방법을 도시한다.
도 13은 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 시스템을 도시한다.
도 14 내지 도 17은 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 상황에서의 차량 디스플레이 제어에 대한 예시를 도시한다.
도 18은 본 발명의 또 다른 실시예에 따른 제어권 이탈 시 차량 디스플레이 제어에 대한 예시를 도시한다.
도 19는 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 방법을 도시한다.
도 20은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 시스템을 도시한다.
도 21, 도 22 및 도 23은 본 발명의 또 다른 실시예에 따른 버튼 표시 제어를 도시한다.
도 24는 본 발명의 또 다른 실시예에 따른 다른 탑승자 참여 시 주도권 전환을 도시한다.
도 25는 본 발명의 또 다른 실시예에 따른 다른 탑승자 참여 시 화면 영역 분할 및 시선 정보에 기반한 디스플레이 제어를 도시한다.
도 26은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 방법을 도시한다.
도 27은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 시스템을 도시한다.
도 28은 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시 및 외부 관심 정보 표시 영역 제어를 도시한다.
도 29는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 방법을 도시한다.
도 30은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템을 도시한다.
도 31 및 도 32는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 회전 표시를 도시한다.
도 33은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 방법을 도시한다.
도 34는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 시스템을 도시한다.
도 35는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 캡쳐 과정을 도시한다.
도 36은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 스마트폰으로 공유하는 과정을 도시한다.
도 37은 본 발명의 또 다른 실시예에 따른 투명 디스플레이 슬라이딩을 통한 탑승자 별 외부 관심 정보 저장 및 확인 과정을 도시한다.
도 38은 본 발명의 또 다른 실시예에 따른 외부 관심 정보의 디스플레이 간 공유를 도시한다.
도 39는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 방법을 도시한다.
도 40은 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 시스템을 도시한다.
도 41은 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 과정을 도시한다.
도 42는 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 방법을 도시한다.
도 43은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 시스템을 도시한다.
도 44는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시를 도시한다.
도 45는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 방법을 도시한다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

도 1은 본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 시스템을 도시한다.

본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 시스템은 차량에 탑승한 탑승자의 시선을 인식하는 탑승자 시선 인식부(101)와, 탑승자의 시선을 고려하여 차량의 측창을 통해 보여지는 외부 객체 중, 관심 지점을 결정하는 관심 지점 결정부(103) 및 차량의 이동에 따라 관심 지점에 대한 지속적인 응시가 가능하도록 탑승자의 시트 포지션을 변경시키는 시트 포지션 제어부(105)를 포함한다.

본 발명에 따른 탑승자 의도 기반 차량 제어 시스템은 투명 디스플레이로 구성되는 차량의 측창으로 인가되는 탑승자의 터치 입력 신호 및 탑승자의 에어 제스처 중 적어도 어느 하나를 인식하는 탑승자 제스처 인식부(102)를 더 포함하고, 관심 지점 결정부(103)는 터치 입력 신호 및 에어 제스처 중 적어도 어느 하나가 인식됨에 따라 관심 지점을 결정한다.

시트 포지션 제어부(105)는 차량의 주행 방향 및 주행 속도를 고려하여, 탑승자가 앉은 시트를 회전시키는 제어 신호를 전송한다.

시트 포지션 제어부(105)는 동일한 관심 지점을 응시하는 복수의 차량 탑승자의 시선을 고려하여, 제1 탑승자의 시트를 회전시키는 제어 신호를 전송하고, 제2 탑승자의 시트에 대해 전방 또는 후방 슬라이딩과 함께 회전시키도록 제어 신호를 전송한다.

본 발명에 따른 탑승자 의도 기반 차량 제어 시스템은 동일한 관심 지점을 응시하는 복수의 차량 탑승자의 시선을 확인하여, 제1 탑승자에 의해 제2 탑승자의 시야가 가려지는 것으로 판단하는 경우, 제1 탑승자의 착좌 위치로부터 가까운 제1 측창 너머로 보여지는 외부 영역을 제2 탑승자의 착좌 위치로부터 가까운 제2 측창을 통해 디스플레이하도록 제어하는 디스플레이 제어부(104)를 더 포함한다. 이 때, 시트 포지션 제어부(105)는 제1 탑승자의 시트를 제1 방향으로 회전시키는 제어 신호를 전송하고, 제2 탑승자의 시트를 제1 방향과 반대 방향인 제2 방향으로 회전시키는 제어 신호를 전송한다.

도 2 내지 도 4는 본 발명의 실시예에 따른 탑승자 의도 기반 실내 레이아웃 변경을 도시한다.

도 2 내지 도 4를 참조하면, 전방으로 주행하는 차량에 탑승한 사람 중, 좌측 뒷좌석에 앉은 제1 탑승자와, 우측 뒷좌석에 앉은 제2 탑승자가 있음을 가정한다.

제1 탑승자는 좌측 측창의 투명 디스플레이와 가까운 곳에 탑승한 사람으로서, 투명 디스플레이에 대한 터치 조작을 수행하고, 제2 탑승자는 좌측 측창의 투명 디스플레이로부터 먼 곳에 탑승한 사람으로서, 에어 제스처를 통해 조작을 수행한다.

본 발명의 실시예에 따르면, 탑승자의 시선을 인식하고, 시선 정보에 기반하여 탑승자 별로 개인화된 AR 정보를 좌측 측창의 투명 디스플레이를 통해 표시한다.

도 2를 참조하면, 제1 탑승자가 좌측 측창의 투명 디스플레이를 통해 보여지는 외부의 객체(isolated spire)의 영역에 터치 신호를 입력하면, 관심 지점 결정부(103)는 제1 탑승자의 시선, 제1 탑승자의 터치 신호 인가 영역을 고려하여, 외부의 특정 객체가 관심 객체인 것으로 결정한다.

디스플레이 제어부(104)는 좌측 측창의 투명 디스플레이를 통해, 해당 관심 객체의 구체적인 정보를 텍스트, 이미지, 아이콘 등으로 표시한다.

또한, 스피커를 통해 해당 관심 객체에 대한 정보를 음원으로 제공하는 것이 가능하며, 이 때 지향성 스피커 또는 좌측 뒷좌석에 배치된 헤드레스트 스피커를 통해, 제1 탑승자에게 해당 음원을 독립적으로 제공하는 것이 가능하다.

주행 차량이 전방으로 주행함에 따라, 좌측 측창을 통해 보여지는 외부의 관심 객체는 차량 바디 기준 좌측 후방 방향으로 상대적으로 이동된다.

제1 탑승자의 시선이 해당 관심 객체에 머물러, 제1 탑승자가 좌측 후방 방향으로 고개를 돌려 해당 관심 객체를 지속적으로 응시하고자 하는 것으로 확인하는 경우, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 반시계 방향으로 회전시켜, 제1 탑승자로 하여금 보다 편안한 자세로 해당 관심 객체를 지속적으로 응시할 수 있도록 한다.

이 때, 시트 포지션 제어부(105)는 탑승자 시선 인식부(101)를 통해 획득된 해당 관심 객체에 대한 제1 탑승자의 응시 지속 시간이 기설정 시간 이상인 경우, 제1 탑승자가 해당 관심 객체를 지속적으로 응시하고자 하는 니즈가 있는 것으로 판단하고, 주행 차량의 주행 속도 및 그에 따른 외부 관심 객체의 상대적 이동 속도에 맞추어 제1 탑승자가 탑승한 좌측 뒷좌석의 시트의 회전 속도를 제어한다.

시트 포지션 제어부(105)는 기설정 속도 이상의 고속 주행 중(예: 50Km/h)에는, 외부 관심 객체의 상대적 이동에 맞춰 시트를 회전시키게 되면, 급격한 시트 회전이 필요할 것으로 예상되고, 이에 따라 제1 탑승자로 하여금 불쾌감이 발생할 것으로 예상되는 경우, 시트에 대한 회전 동작을 수행하지 않는다.

불쾌감 발생에 대한 예상은 기설정된 기준 시트 회전 속도를 기준으로 판단이 이루어진다.

이 때, 시트 포지션 제어부(105)는 주행 차량의 주행 속도 뿐 아니라, 외부 관심 객체와 차량 간의 거리 정보를 기준으로, 시트 회전 동작 수행 여부를 결정한다.

예컨대, 주행 차량으로부터 50미터 떨어진 곳에 외부 관심 객체가 있는 상황에서, 주행 속도에 맞춰 제1 탑승자가 해당 외부 관심 객체를 지속적으로 응시할 수 있도록 시트를 회전하는 경우, 급격한 시트 회전이 필요한 반면, 주행 차량으로부터 500미터 떨어진 곳에 외부 관심 객체가 있는 경우, 주행 속도에 맞춰 제1 탑승자가 해당 외부 관심 객체를 지속적으로 응시할 수 있도록 시트를 회전하더라도, 급격한 시트 회전이 필요하지 않다.

따라서, 시트 포지션 제어부(105)는 주행 차량의 주행 속도, 제1 탑승자가 지속적으로 응시하고자 하는 외부 관심 객체와 주행 차량의 이격 거리를 종합적으로 고려하여, 제1 탑승자가 고개를 돌리지 않고도 지속적으로 해당 외부 관심 객체를 편안하게 응시할 수 있도록 제1 탑승자의 시트 포지션을 회전할 것인지 여부를 결정한다.

주행 차량이 전방으로 더 나아감에 따라, 해당 관심 객체가 제1 탑승자의 시야를 벗어나는 것으로 확인하면, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 시계 방향으로 회전시켜, 본래의 포지션으로 되돌린다.

또한, 시트 포지션 제어부(105)는 탑승자 시선 인식부(101)를 통해 획득되는 시선 정보가 더 이상 해당 관심 객체에 머무르지 않는 시간이 일정 시간 이상 유지되는 경우, 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 시계 방향으로 회전시켜, 본래의 포지션으로 되돌린다.

도 3을 참조하면, 제1 탑승자가 좌측 측창의 투명 디스플레이를 통해 보여지는 외부의 객체(isolated spire)를 주시하며 해당 영역에 터치 신호를 입력하고, 제2 탑승자가 좌측 측창의 투명 디스플레이를 통해 보여지는 동일한 외부의 객체(isolated spire)를 주시하며 기설정된 에어 제스처를 수행하는 것을 가정한다.

즉, 제1 탑승자와 제2 탑승자는 동일한 외부 객체를 외부 POI로 지정한다.

관심 지점 결정부(103)는 제1 탑승자의 시선, 제1 탑승자의 터치 신호 인가 영역, 제2 탑승자의 시선, 제2 탑승자의 에어 제스처를 고려하여, 외부의 특정 객체가 관심 객체인 것으로 결정한다.

디스플레이 제어부(104)는 좌측 측창의 투명 디스플레이를 통해, 해당 관심 객체의 구체적인 정보를 텍스트, 이미지, 아이콘 등으로 표시한다.

또한, 스피커를 통해 해당 관심 객체에 대한 정보를 음원으로 제공하는 것이 가능하며, 이 때 뒷좌석 탑승자를 향하는 지향성 스피커, 좌측 뒷좌석에 배치된 헤드레스트 스피커, 우측 뒷좌석에 배치된 헤드레스트 스피커를 통해, 제1 및 제2 탑승자에게 음원을 제공하는 것이 가능하다.

주행 차량이 전방으로 주행함에 따라, 좌측 측창을 통해 보여지는 외부의 관심 객체는 차량 바디 기준 좌측 후방 방향으로 상대적으로 이동된다.

제1 탑승자와 제2 탑승자의 시선이 해당 관심 객체에 머물러, 제1 탑승자 및 제2 탑승자가 좌측 후방 방향으로 고개를 돌려 해당 관심 객체를 지속적으로 응시하는 것으로 확인하는 경우, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 반시계 방향으로 회전시켜, 제1 탑승자로 하여금 보다 편안한 자세로 해당 관심 객체를 지속적으로 응시할 수 있도록 한다.

또한, 시트 포지션 제어부(105)는 외부의 관심 객체가 상대적으로 이동됨에 따라, 제1 탑승자에 의해 가려지는 제2 탑승자의 시야를 고려하여, 제2 탑승자가 탑승한 우측 뒷좌석의 시트를 차량 바디 기준 후방으로 슬라이딩 이동시키고, 반시계 방향으로 회전시켜, 제2 탑승자가 보다 용이하게 해당 관심 객체를 지속적으로 응시할 수 있도록 한다.

주행 차량이 전방으로 더 나아감에 따라, 해당 관심 객체가 제1 탑승자 및 제2 탑승자의 시야를 벗어나는 것으로 확인하면, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 시계 방향으로 회전시키고, 제2 탑승자가 탑승한 우측 뒷좌석의 시트를 전방으로 슬라이딩 이동시키고 시계 방향으로 회전시켜, 본래의 시트 포지션으로 되돌린다.

도 4를 참조하면, 제1 탑승자가 좌측 측창의 투명 디스플레이를 통해 보여지는 외부의 객체(isolated spire)를 주시하며 해당 영역에 터치 신호를 입력하고, 제2 탑승자가 좌측 측창의 투명 디스플레이를 통해 보여지는 동일한 외부의 객체(isolated spire)를 주시하며 기설정된 에어 제스처를 수행하는 것을 가정한다.

즉, 제1 탑승자와 제2 탑승자는 동일한 외부 객체를 외부 POI로 지정한다.

관심 지점 결정부(103)는 제1 탑승자의 시선, 제1 탑승자의 터치 신호 인가 영역, 제2 탑승자의 시선, 제2 탑승자의 에어 제스처를 고려하여, 외부의 특정 객체가 관심 객체인 것으로 결정한다.

디스플레이 제어부(104)는 좌측 측창의 투명 디스플레이를 통해, 해당 관심 객체의 구체적인 정보를 텍스트, 이미지, 아이콘 등으로 표시한다.

또한, 스피커를 통해 해당 관심 객체에 대한 정보를 음원으로 제공하는 것이 가능하며, 이 때 뒷좌석 탑승자를 향하는 지향성 스피커, 좌측 뒷좌석에 배치된 헤드레스트 스피커, 우측 뒷좌석에 배치된 헤드레스트 스피커를 통해, 제1 및 제2 탑승자에게 음원을 제공하는 것이 가능하다.

주행 차량이 전방으로 주행함에 따라, 좌측 측창을 통해 보여지는 외부의 관심 객체는 차량 바디 기준 좌측 후방 방향으로 상대적으로 이동된다.

제1 탑승자의 시선이 해당 관심 객체에 머물러, 제1 탑승자가 좌측 후방 방향으로 고개를 돌려 해당 관심 객체를 지속적으로 응시하는 것으로 확인하는 경우, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 반시계 방향으로 회전시켜, 제1 탑승자로 하여금 보다 편안한 자세로 해당 관심 객체를 지속적으로 응시할 수 있도록 한다.

또한, 외부의 관심 객체가 상대적으로 이동됨에 따라, 제1 탑승자에 의해 가려지는 제2 탑승자의 시야를 고려하여, 디스플레이 제어부(104)는 우측 측창 디스플레이를 통해, 좌측 측창 투명 디스플레이 너머 보이는 외부 풍경의 화면을 복제하여 표시하고, 시트 포지션 제어부(105)는 제2 탑승자가 탑승한 우측 뒷좌석의 시트를 시계 방향으로 회전시켜, 제2 탑승자가 우측 측창 디스플레이를 통해 보다 용이하게 해당 관심 객체를 지속적으로 응시할 수 있도록 한다.

주행 차량이 전방으로 더 나아감에 따라, 해당 관심 객체가 제1 탑승자 및 제2 탑승자의 시야를 벗어나는 것으로 확인하면, 시트 포지션 제어부(105)는 제1 탑승자가 탑승한 좌측 뒷좌석의 시트를 시계 방향으로 회전시키고, 제2 탑승자가 탑승한 우측 뒷좌석의 시트를 반시계 방향으로 회전시켜, 본래의 시트 포지션으로 되돌린다.

도 5는 본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 방법을 도시한다.

본 발명의 실시예에 따른 탑승자 의도 기반 차량 제어 방법은 차량에 탑승한 탑승자의 시선 정보를 획득하는 단계(S501)와, 시선 정보를 이용하여 차량의 외부에 위치한 관심 지점을 결정하는 단계(S502) 및 차량의 이동에 따라 관심 지점에 대한 지속적인 응시가 가능하도록 탑승자의 시트 포지션을 변경시키는 단계(S503)를 포함한다.

S503 단계는 차량의 주행 방향 및 주행 속도를 고려하여, 탑승자가 앉은 시트를 회전시킨다.

S501 단계에서 복수의 탑승자의 시선 정보를 획득하고, S502 단계에서 복수의 탑승자의 관심 지점이 동일한 것으로 판단되는 경우, S503 단계는 제1 탑승자의 시트를 회전시키고, 제2 탑승자의 시트에 대해 전방 또는 후방 슬라이딩과 함께 회전시킨다.

본 발명에 따른 탑승자 의도 기반 차량 제어 방법은 S501 단계에서 복수의 탑승자의 시선 정보를 획득하고, S502 단계에서 상기 복수의 탑승자의 관심 지점이 동일한 것으로 판단되는 경우, 제1 탑승자의 착좌 위치로부터 가까운 제1 측창 너머로 보여지는 관심 지점을 포함한 외부 영역을 제2 탑승자의 착좌 위치로부터 가까운 제2 측창을 통해 디스플레이하도록 제어하는 단계(S504)를 더 포함한다.

도 6은 본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 시스템은 차량 내 제1 탑승자의 시선을 인식하는 제1 탑승자 시선 인식부(601)와, 차량 내 제2 탑승자의 시선을 인식하는 제2 탑승자 시선 인식부(602)와, 제1 탑승자 및 제2 탑승자의 시선으로부터 관심 정보를 결정하고, 윈드쉴드에 관심 정보를 표시하는 영역이 상호 교차되는지 여부를 확인하고, 디스플레이에 대한 우선순위를 결정하는 관심 정보 표시 영역 교차 여부 확인 및 우선순위 결정부(603)와, 디스플레이에 대한 우선순위에 따라 디스플레이를 제어하는 디스플레이 제어부(604)를 포함한다.

디스플레이 제어부(604)는 제1 탑승자의 관심 정보 표시 영역과 제2 탑승자의 관심 정보 표시 영역이 겹쳐지는 경우, 기설정된 주도권 정보를 고려하여 디스플레이를 제어한다.

디스플레이 제어부(604)는 제1 탑승자가 제2 탑승자보다 주도권을 가지는 것으로 설정된 경우, 제1 탑승자의 관심 정보 표시 영역이 제2 탑승자의 관심 정보 표시 영역을 가리며 상위에 표시되도록 디스플레이를 제어한다.

디스플레이 제어부(604)는 제1 탑승자가 제2 탑승자보다 주도권을 가지는 것으로 설정된 경우, 제2 탑승자의 관심 정보 표시 영역을 이동시켜 제2 탑승자의 관심 정보 표시 영역이 제1 탑승자의 관심 정보 표시 영역과 겹쳐지지 않도록 디스플레이를 제어한다.

디스플레이 제어부(604)는 제1 탑승자의 관심 정보 표시 영역과 제2 탑승자의 관심 정보 표시 영역이 겹쳐지는 경우, 관심 정보의 중요도를 고려하여 디스플레이를 제어한다.

디스플레이 제어부(604)는 제1 탑승자의 관심 정보가 제2 탑승자의 관심 정보 대비 중요도가 높은 분류에 속하는 것으로 판단하는 경우, 제2 탑승자의 관심 정보에 대한 표시를 수행하지 않고, 제1 탑승자의 관심 정보에 대한 표시를 수행하도록 디스플레이를 제어한다.

디스플레이 제어부(604)는 제1 탑승자에게 할당된 디스플레이 영역에 표시되는 컨텐츠의 종류 및 제1 탑승자에게 할당된 디스플레이 영역과 관련한 조작 상황 중 적어도 어느 하나를 고려하여, 제2 탑승자의 관심 정보를 제1 탑승자에게 할당된 디스플레이 영역에 표시할 것인지 여부를 결정한다.

도 7은 본 발명의 다른 실시예에 따른 우선순위를 고려한 영역 별 차량 윈드쉴드 디스플레이 제어를 도시한다.

도 7의 (a)를 참조하면, 운전자 A와 동승자 B는 차량 전면 윈드쉴드 너머로 외부 객체를 바라본다.

이 때, 운전자 A가 ①의 영역에 위치한 전방 차량을 기설정 시간 이상 응시하는 경우, 운전자 A의 시선 추적 결과에 따라 주행 관련 정보가 표시되며, 예컨대 전방 차량과의 거리, 네비게이션 정보 기반 AR 길 안내 정보 등이 투명 디스플레이인 전방 윈드쉴드의 제1 영역(A-1)에 표시된다.

동승자 B는 ②의 영역에 위치한 상점을 기설정 시간 이상 응시하고, 그에 따라 해당 상점의 정보(예: 여름 세일, 최고 70%까지)가 투명 디스플레이인 전방 윈드쉴드의 제2 영역(B-1)에 표시된다.

도 7의 (b)를 참조하면, 운전자 A는 ①의 영역에 위치한 주차 타워(예: 해당 주차 타워가 네비게이션 경로에 설정된 목적지임)를 바라봄에 따라, 해당 주차 타워의 정보(예: 시간당 주차 비용)가 투명 디스플레이인 전방 윈드쉴드의 제2 영역(B-1)에 표시된다.

이 때, 전술한 바와 같이 동승자 B의 시선에 따라 ②의 영역에 위치한 상점의 정보(예: 여름 세일, 최고 70%까지)에 대한 표시 영역(즉, 투명 디스플레이인 전방 윈드쉴드의 제2 영역(B-1) 중 일부)과 운전자 A의 시선에 따라 ①의 영역에 위치한 주차 타워의 정보에 대한 표시 영역이 겹치게 된다.

일례로, 디스플레이 제어부(604)는 운전자 A의 외부 관심 정보 영역과 동승자 B의 외부 관심 정보 영역을 겹쳐서 표시하도록 제어한다. 이 때, 반대의 경우로 동승자 B의 시선이 제1 영역(A-1)에 위치한 상점을 응시함에 따라, 제1 영역(A-1)에 위치한 상점에 대한 정보를 투명 디스플레이인 전방 윈드쉴드에 표시하는 경우, 운전자 A가 응시하는 객체에 대한 디스플레이 영역과 겹쳐지게 될 것으로 판단하면, 디스플레이 제어부(604)는 운전자 A가 응시하는 객체에 대한 정보만 디스플레이하고, 동승자 B의 시선에 따른 외부 관심 정보를 디스플레이하지 않도록 제어한다.

다른 예로서, 디스플레이 제어부(604)는 운전자 A의 시선에 따라 투명 디스플레이에 표시되는 정보의 표출 우선순위가 동승자 B의 시선에 따라 투명 디스플레이에 표시되는 정보의 표출 순위보다 높은 것을 확인하고, 운전자 A의 외부 관심 정보 영역을 동승자 B의 외부 관심 정보 영역 앞에 표시한다(즉, 동승자 B의 외부 관심 정보 영역의 일부가 가려질 수 있다).

또 다른 예로서, 디스플레이 제어부(604)는 운전자 A의 시선에 따라 투명 디스플레이에 표시되는 정보의 표출 우선순위가 동승자 B의 시선에 따라 투명 디스플레이에 표시되는 정보의 표출 순위보다 높은 것을 확인하고, 동승자 B의 외부 관심 정보에 대한 디스플레이 영역을 이동시켜, 운전자 A의 외부 관심 정보에 대한 디스플레이 영역과 겹쳐지지 않도록 한다.

예컨대, 도 7의 (b)의 경우, 상점의 정보(예: 여름 세일, 최고 70%까지)에 대한 표시 영역을 우측 하단으로 이동시켜, 주차 타워의 정보에 대한 표시 영역과 겹치지 않도록 제어한다.

즉, 운전자 A가 동승자 B 대비 주도권이 있을 경우, 운전자 A가 응시하는 외부 관심 정보에 대한 표시 영역을 동승자 B가 응시하는 외부 관심 정보에 대한 표시 영역 대비 선순위를 두어 디스플레이하도록 제어한다.

또한, 탑승자의 시선 인식에 따라 제공되는 정보가 주행, 안전 관련 정보(예: 차선, 속도 제한, 신호등, 앞차와의 거리 정보 등)인 경우, 외부 관심 정보 표시 영역을 다른 정보(예: 상점 정보 등) 표시 영역보다 우선하여 디스플레이하도록 제어한다.

도 8은 본 발명의 다른 실시예에 따른 외부 관심 객체의 상대적 이동 시 우선순위를 고려한 영역 별 차량 윈드쉴드 디스플레이 제어를 도시한다.

도 8의 (a)를 참조하면, 제1 탑승자 A와 제2 탑승자 B는 차량 좌측 측창 윈드쉴드 너머로 외부 객체를 바라본다.

이 때, 제1 탑승자 A의 니즈에 따라 제1 영역(A-1)에 뮤직플레이어를 디스플레이하고 있고, 제2 탑승자 B의 니즈에 따라 외부 관심 객체(Isolated Spire)의 윤곽을 제2 영역(B-1)에 디스플레이하고 있다.

도 8의 (b)를 참조하면, 차량이 전방으로 주행 이동함에 따라, 제2 탑승자 B의 관심 정보가 제1 탑승자 A의 디스플레이 영역(A-1)을 침범하는 경우, 디스플레이 제어부(604)는 컨텐츠의 속성, 제1 탑승자 A의 시선 모니터링 결과를 고려하여 제1 영역(A-1) 및 제2 영역(B-1)에 대한 디스플레이 제어를 수행한다.

도 8의 (b)를 참조하면, 제1 탑승자 A의 디스플레이 영역(A-1)에 표시되는 컨텐츠가 제1 탑승자 A의 시선 정보에 기초한 외부 관심 정보가 아닌 컨텐츠(예: 음악, 날씨, 영화 등)일 경우, 그 컨텐츠의 종류 또는 제1 탑승자 A의 화면 조작 상태에 따라, 제2 탑승자 B의 외부 관심 객체의 정보를 제1 영역(A-1)에 침범하여 표시할 것인지 결정한다.

제1 탑승자 A가 제1 영역(A-1)에서 음악을 고르는 경우, 디스플레이 제어부(604)는 제2 탑승자 B의 외부 관심 객체의 정보를 제1 영역(A-1)에 표시하지 않도록 제어하여, 제1 탑승자 A의 화면 조작을 방해하지 않도록 한다.

또한, 제1 탑승자 A가 제1 영역(A-1)에서 영화를 시청하고 있는 경우, 디스플레이 제어부(604)는 제2 탑승자 B의 외부 관심 객체의 정보를 제1 영역(A-1)에 표시하지 않도록 제어하여, 제1 탑승자 A의 영화 시청을 방해하지 않도록 한다.

다른 예로서, 제1 탑승자 A가 제1 영역(A-1)에서 컨텐츠 실행에 대한 조작을 수행하고 있지 않은 상황인 경우, 디스플레이 제어부(604)는 제2 탑승자 B의 외부 관심 객체의 정보를 제1 영역(A-1)에 표시하도록 제어한다.

또한, 제1 탑승자 A가 ③과 같이 일정 시간 이상 다른 곳을 응시하는 것으로 확인되면, 디스플레이 제어부(604)는 제2 탑승자 B의 외부 관심 객체의 정보를 제1 영역(A-1)에 표시하도록 제어한다.

도 9는 본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 방법을 도시한다.

본 발명의 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 제어 방법은 차량에 탑승한 복수의 탑승자의 시선 정보를 인식하는 단계(S901)와, 시선 정보를 이용하여 관심 정보를 확인하는 단계(S902)와, 투명 디스플레이인 윈드쉴드로 표시되는 관심 정보의 표시 영역이 교차하는지 여부를 확인하는 단계(S903) 및 관심 정보의 표시 영역이 교차하는 경우, 디스플레이 제어를 수행하는 단계(S904)를 포함한다,

S904 단계는 제1 탑승자의 관심 정보 표시 영역과 제2 탑승자의 관심 정보 표시 영역이 겹쳐지는 것으로 확인한 결과에 따라, 기설정된 주도권 정보를 고려하여 디스플레이 제어를 수행한다.

S904 단계는 제1 탑승자가 제2 탑승자보다 주도권을 가지는 것으로 설정된 경우, 제1 탑승자의 관심 정보 표시 영역이 제2 탑승자의 관심 정보 표시 영역을 가리며 상위에 표시되도록 디스플레이 제어를 수행한다.

S904 단계는 제1 탑승자가 제2 탑승자보다 주도권을 가지는 것으로 설정된 경우, 제2 탑승자의 관심 정보 표시 영역을 이동시켜 제2 탑승자의 관심 정보 표시 영역이 제1 탑승자의 관심 정보 표시 영역과 겹쳐지지 않도록 디스플레이 제어를 수행한다.

S904단계는 제1 탑승자의 관심 정보 표시 영역과 제2 탑승자의 관심 정보 표시 영역이 겹쳐지는 경우, 관심 정보의 중요도를 고려하여 디스플레이 제어를 수행한다.

S904단계는 제1 탑승자의 관심 정보가 제2 탑승자의 관심 정보 대비 중요도가 높은 분류에 속하는 것으로 판단하는 경우, 제2 탑승자의 관심 정보에 대한 표시를 수행하지 않고, 제1 탑승자의 관심 정보에 대한 표시를 수행하도록 디스플레이 제어를 수행한다.

S904단계는 제1 탑승자에게 할당된 디스플레이 영역에 표시되는 컨텐츠의 종류 및 제1 탑승자에게 할당된 디스플레이 영역과 관련한 조작 상황 중 적어도 어느 하나를 고려하여, 제2 탑승자의 관심 정보를 제1 탑승자에게 할당된 디스플레이 영역에 표시할 것인지 여부를 결정한다.

도 10은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 시스템은 차량 내 제1 탑승자의 시선을 인식하는 제1 탑승자 시선 인식부(1001)와, 제1 탑승자의 시선으로부터 제1 탑승자의 외부 관심 정보를 확인하는 제1 탑승자의 외부 관심 정보 확인부(1003)와, 차량 내 제2 탑승자의 시선을 인식하는 제2 탑승자 시선 인식부(1002)와, 제2 탑승자의 시선으로부터 제2 탑승자의 외부 관심 정보를 확인하는 제2 탑승자의 외부 관심 정보 확인부(1004)와, 제1 탑승자의 외부 관심 정보 표시 영역과 제2 탑승자의 외부 관심 정보 표시 영역을 확인하는 외부 관심 정보 표시 영역 확인부(1005) 및 상대적으로 정보 표시의 중요도가 낮은 제2 탑승자의 외부 관심 정보 표시 영역에 의한, 제1 탑승자의 외부 관심 정보 표시 영역에 대한 인식 영향을 고려하여, 디스플레이에 대한 우선순위를 결정하는 디스플레이 제어부(1006)를 포함한다.

디스플레이 제어부(1006)는 인식 영향이 기설정된 수치 이하인 것으로 판단한 경우, 제1 탑승자의 외부 관심 정보 표시와 함께 제2 탑승자의 외부 관심 정보를 표시하도록 디스플레이 제어를 수행한다.

디스플레이 제어부(1006)는 인식 영향이 기설정된 수치를 초과하는 것으로 판단한 경우, 제2 탑승자의 외부 관심 정보를 표시하지 않고, 제1 탑승자의 외부 관심 정보만 표시하도록 디스플레이 제어를 수행한다.

디스플레이 제어부(1006)는 인식 영향이 기설정된 수치를 초과하는 것으로 판단한 경우, 제2 탑승자의 외부 관심 정보 표시 영역을 이동시켜, 이동 후의 제2 탑승자의 외부 관심 정보 표시 영역이 제1 탑승자의 외부 관심 정보 표시 영역을 침범하지 않도록 디스플레이 제어를 수행한다.

디스플레이 제어부(1006)는 제2 탑승자의 외부 관심 객체의 본래 위치에 대한 윤곽 정보를 디스플레이하도록 제어한다.

도 11은 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시 영역 판단 및 디스플레이 제어를 도시한다.

도 11을 참조하면, 차량에 탑승한 운전자 A와 동승자 B는 차량 전면 윈드쉴드 너머로 외부 객체를 바라본다.

도 11의 (a)를 참조하면, 운전자 A가 ①의 영역에 위치한 전방 차량을 기설정 시간 이상 응시하는 경우, 운전자 A의 시선 추적 결과에 따라 주행 관련 정보가 표시되며, 예컨대 전방 차량과의 거리, 네비게이션 정보 기반 AR 길 안내 정보 등이 투명 디스플레이로 구성되는 전방 윈드쉴드의 제1 영역(A-1)에 표시된다. 동승자 B는 ②의 영역에 위치한 상점을 기설정 시간 이상 응시하고, 그에 따라 해당 상점의 정보(예: 여름 세일, 최고 70%까지)가 투명 디스플레이인 전방 윈드쉴드의 제2 영역(B-1)에 표시된다.

도 11의 (b)를 참조하면, 동승자 B의 시선 이동에 따라, ②에 해당하는 외부 관심 정보에 대한 표시 영역이 제1 영역(A-1)로 이동된다.

이 때, 디스플레이 제어부(1006)는 동승자 B의 외부 관심 정보에 대한 표시 영역이 운전자 A의 외부 관심 정보에 대한 표시 영역과 겹치지 않는 것으로 확인하면, 제1 영역(A-1)에 동승자 B의 외부 관심 정보를 표시하도록 제어한다.

도 11의 (c)를 참조하면, 운전자 A의 시선 이동에 따라, ①에 해당하는 후측방 경고 알림이 운전자 A의 외부 관심 정보로서 표시된다.

이 경우, 도 11의 (b)에서 설명한 동승자 B의 외부 관심 정보에 대한 표시 영역이 운전자 A의 외부 관심 정보에 대한 표시 영역과 겹쳐지는 것으로 판단되며, 디스플레이 제어부(1006)는 동승자 B의 외부 관심 정보에 대한 표시 여부를 결정한다.

이 때, 디스플레이 제어부(1006)는 운전자 A의 시선 정보를 모니터링하여, 운전자 A의 외부 관심 정보에 대한 표시 영역이 동승자 B의 외부 관심 정보에 대한 표시 영역과 겹쳐지지 않을 때까지, 동승자 B의 외부 관심 정보에 대한 표시를 수행하지 않는다.

다른 예로서, 디스플레이 제어부(1006)는 도 11의 (c)에 도시한 바와 같이, 동승자 B의 외부 관심 정보에 대한 표시 영역이 운전자 A의 외부 관심 정보에 대한 표시 영역과 겹쳐지지 않도록, 동승자 B의 외부 관심 정보에 대한 표시 영역을 이동시킨다.

도 11의 (c)에 도시한 바와 같이, 디스플레이 제어부(1006)는 동승자 B의 외부 관심 정보에 대한 표시 영역을 제2 영역(B-1)로 이동시켜, 운전자 A가 외부 관심 정보에 대해 확인하는데 방해 요소가 발생되지 않도록 한다.

디스플레이 제어부(1006)는 동승자 B의 외부 관심 정보에 대해 AR로 표시하거나, 카메라 영상으로 표시하도록 제어한다.

디스플레이 제어부(1006)는 동승자 B의 외부 관심 객체의 위치에 대해서는 점선 형태로 지속 표시하여, 위치를 인지하도록 하며, 운전자 A의 시선에는 방해되지 않도록 제어한다.

도 12는 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 방법은 차량 내 제1 탑승자 및 제2 탑승자의 시선 정보를 인식하는 단계(S1201)와, 제1 탑승자 및 제2 탑승자의 시선 정보를 이용하여, 제1 탑승자의 외부 관심 정보 표시 영역 및 제2 탑승자의 외부 관심 정보 표시 영역을 확인하는 단계(S1202) 및 상대적으로 정보 표시의 중요도가 낮은 제2 탑승자의 외부 관심 정보 표시 영역에 의한, 제1 탑승자의 외부 관심 정보 표시 영역에 대한 인식 영향을 고려하여, 디스플레이에 대한 우선순위를 결정하여 디스플레이를 제어하는 단계(S1203)를 포함한다.

S1203 단계는 인식 영향이 기설정된 수치 이하인 것으로 판단한 경우, 제1 탑승자의 외부 관심 정보 표시와 함께 제2 탑승자의 외부 관심 정보를 표시하도록 디스플레이를 제어한다.

S1203 단계는 인식 영향이 기설정된 수치를 초과하는 것으로 판단한 경우, 제2 탑승자의 외부 관심 정보를 표시하지 않고, 제1 탑승자의 외부 관심 정보만 표시하도록 디스플레이를 제어한다.

S1203 단계는 인식 영향이 기설정된 수치를 초과하는 것으로 판단한 경우, 제2 탑승자의 외부 관심 정보 표시 영역을 이동시켜, 이동 후의 제2 탑승자의 외부 관심 정보 표시 영역이 제1 탑승자의 외부 관심 정보 표시 영역을 침범하지 않도록 디스플레이를 제어한다.

S1203 단계는 제2 탑승자의 외부 관심 객체의 본래 위치에 대한 윤곽 정보를 표시하도록 디스플레이를 제어한다.

도 13은 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 시스템은 차량 내 탑승자의 디스플레이 화면 시청 관련 행동 정보를 인식하는 탑승자 정보 인식부(1310) 및 디스플레이 화면 시청 관련 행동 정보를 이용하여 차량 디스플레이에 대한 제어를 수행하는 디스플레이 제어부(1320)를 포함하되, 디스플레이 제어부(1320)는 디스플레이 화면 시청 관련 행동 정보를 분석하여 탑승자의 시선이 디스플레이 화면 영역을 이탈하는 것으로 판단하고, 그에 따라 디스플레이에 대한 제어를 수행한다.

탑승자 정보 인식부(1310)는 차량 내 탑승자의 시선 정보를 획득하여, 차량 내 탑승자의 시선이 디스플레이 화면 영역을 이탈하는지 여부와, 이탈 지속 시간을 인식하는 탑승자 시선 인식부(1311)를 포함한다.

디스플레이 제어부(1320)는 탑승자의 시선이 디스플레이 화면 영역을 이탈하는 지속 시간이 기설정 시간을 초과하는 경우, 영상 컨텐츠의 화면을 흐리게 표시하도록 제어한다.

탑승자 정보 인식부(1310)는 차량 내 음성 정보를 획득하는 음성 인식부(1312)를 더 포함하고, 디스플레이 제어부(1320)는 차량 내 음성 정보를 이용하여 통화 또는 차량 내 대화가 진행 중인 것으로 확인하여 동영상 재생에 해당하는 영상 컨텐츠의 재생에 대해 일시정지하도록 제어한다.

디스플레이 제어부(1320)는 차량 내 음성 정보를 이용하여 통화 또는 차량 내 대화가 진행 중인 것으로 확인하여 영상 컨텐츠의 재생 음량을 감소시키도록 제어한다.

디스플레이 제어부(1320)는 이탈 지속 시간이 기설정 시간 이상 지속되는 경우, 영상 컨텐츠가 아닌 배경화면을 표출하도록 제어한다.

탑승자 정보 인식부(1310)는 차량 내 시트에 대한 탑승자의 착석상태를 인식하는 착석상태 인식부(1313)를 더 포함하고, 디스플레이 제어부(1320)는 시트로 접근하는 탑승자를 식별하여 주도권을 가진 제1 탑승자가 시트에 착석하는 경우 영상 컨텐츠를 자동 재생시키도록 제어한다.

주도권을 가지지 않은 제2 탑승자가 시트에 착석하는 것으로 확인된 경우, 디스플레이 제어부(1320)는 상기 디스플레이 화면 영역 중 일부를 제2 탑승자에게 할당한다.

디스플레이 제어부(1320)는 제1 탑승자의 권한 설정 정보 및 제1 탑승자의 탑승 상태 정보 중 적어도 어느 하나를 고려하여 제2 탑승자에게 할당된 영역 너머로 제2 탑승자의 외부 관심 정보를 표출하도록 제어한다.

디스플레이 제어부(1320)는 제1 탑승자가 차량을 벗어나는 경우, 제2 탑승자의 사용 히스토리 정보를 고려하여 제2 탑승자가 이전에 사용했던 기능을 화면에 표시하도록 제어한다.

도 14 내지 도 17은 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 상황에서의 차량 디스플레이 제어에 대한 예시를 도시한다.

도 14를 참조하면, 차량 디스플레이에 재생되고 있는 영상 컨텐츠를 시청하던 탑승자(주도권자)의 시선이 화면으로부터 벗어나는 경우, 디스플레이 제어부(1320)는 차량 디스플레이의 화면을 흐리게 표시하여, 탑승자가 화면에 표출되는 영상 컨텐츠에 의해 간섭 받지 않도록 제어한다.

이 때, 탑승자가 전화 통화를 하거나, 차량 내 다른 탑승자와 대화를 하는 것으로 판단되는 경우, 또는 탑승자가 눈을 감고 시트에 기대는 경우 등 영상 컨텐츠 시청 의도가 없어진 것으로 판단되면, 디스플레이 제어부(1320)는 영상 컨텐츠의 재생 음량을 줄이도록 제어한다.

이 때, 영상 컨텐츠가 TV 컨텐츠와 같이 실시간 재생이 아닌 동영상 재생에 해당하는 경우, 디스플레이 제어부(1320)는 영상 컨텐츠를 일시정지(Pause)시키도록 제어한다.

도 15를 참조하면, 차량 디스플레이에 재생되고 있는 영상 컨텐츠를 시청하던 탑승자가 이석/이동하는 경우, 탑승자의 시선이 기설정 범위 이상(예: 화면 영역) 벗어나는 경우에도 탑승자의 시선 이동이 기준 치 이내(예: 3초 이내에 시선이 다시 화면 영역 안으로 돌아옴)의 변동이라면, 디스플레이 제어부(1320)는 영상 컨텐츠 화면 및 재생 소리에 변화를 주지 않고 그대로 재생하도록 제어한다.

탑승자가 시트를 벗어난 경우, 디스플레이 제어부(1320)는 영상 컨텐츠의 재생 음량을 줄이도록 제어하고, 차량 디스플레이 화면을 흐리게 제어하고(이 때, 탑승자가 시트를 벗어난 순간으로부터 시간의 흐름에 따라 재생 음량을 순차적으로 점점 줄이고, 화면도 점점 뿌옇게 변화하도록 제어함), 실시간 재생이 아닌 동영상 재생에 해당되는 경우, 일시정지 시키도록 제어한다.

탑승자가 시트를 벗어난 순간으로부터 기설정 시간이 지나도록 탑승자가 복귀하지 않는 경우, 디스플레이 제어부(1320)는 영상 컨텐츠가 재생되는 화면을 다른 탑승자가 볼 수 없도록 배경 화면으로 변환하여 표출하도록 디스플레이를 제어한다.

도 16을 참조하면, 차량 디스플레이에 배경화면이 표출되고 있는 상태에서, 시트로부터 벗어난 탑승자가 시트 근처로 다가오는 것을 감지하는 경우, 디스플레이 제어부(1320)는 배경화면 표출을 중단하고 이전에 일시정지된 영상 컨텐츠를 표출하도록 제어한다.

이 때, 시트에 착석하는 탑승자가 주도권이 있는 사람인 것으로 확인하면, 영상 컨텐츠를 자동으로 재생시킨다.

시트에 접근한 탑승자가 주도권이 있는 사람이지만, 시선만 화면 내에 위치하고 시트에 착석하지 않는 상태인 경우, 탑승자가 플레이 버튼을 클릭함에 따라, 영상 컨텐츠를 재생시킨다.

도 17을 참조하면, 탑승자의 시선이 차량 디스플레이 화면으로부터 일정 시간 이상 벗어남에 따라, 배경화면이 표출되고 있다.

이 때, 주도권을 갖지 않은 다른 탑승자가 시트에 다가오는 경우, 디스플레이 제어부(1320)는 해당 차량 디스플레이 화면 영역 중 일부를 다른 탑승자에게 할당한다.

이 때, 화면 잠금이 설정된 경우에는, 주도권을 가진 탑승자에게 할당된 영역에서 기존에 재생되던 영상 컨텐츠를 표시하지 않도록 제어한다.

주도권을 갖지 않은 다른 탑승자(탑승자 B)에게 제공되는 영역을 제2 영역(B-1), 주도권을 가진 탑승자(탑승자 A)에게 제공되는 영역을 제1 영역(A-1)으로 도시한다.

디스플레이 제어부(1320)는 탑승자 B의 외부 관심 정보가 제2 영역(B-1)을 넘어 제1 영역(A-1)에 표출되어야 하는 경우, 탑승자 A의 탑승 상태에 따라, 또는 주도권을 가진 탑승자 A의 권한 설정 여부에 따라 탑승자 B의 외부 관심 정보가 제1 영역(A-)에도 표출되도록 제어한다.

도 18은 본 발명의 또 다른 실시예에 따른 제어권 이탈 시 차량 디스플레이 제어에 대한 예시를 도시한다.

차량 디스플레이에 영상 컨텐츠가 재생되는 상황에서, 주도권이 있는 탑승자가 차량을 벗어나는 경우, 디스플레이 제어부(1320)는 배경화면을 표출하도록 디스플레이 제어를 수행한다.

주도권이 있는 탑승자가 차량을 벗어난 경우, 디스플레이 제어부(1320)는 주도권이 없는 다른 탑승자가 디스플레이에 접근함에 따라, 다른 탑승자가 기존에 사용하였던 기능을 표시하도록 디스플레이 제어를 수행한다.

도 19는 본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 이탈 판단 및 차량 디스플레이 제어 방법은 차량 내 탑승자의 시선 정보, 음성 정보 및 착석 상태 정보 중 적어도 어느 하나를 획득하는 단계(S1901) 및 S1901 단계에서 획득된 정보를 이용하여 탑승자의 의도가 디스플레이 화면 시청을 중단하는 것임을 확인하고, 차량 디스플레이를 제어하는 단계(S1902)를 포함한다.

S1901 단계에서 차량 내 탑승자의 시선 정보를 획득하는 경우, 차량 내 탑승자의 시선이 디스플레이 화면 영역을 이탈하는지 여부와, 이탈 지속 시간을 포함하는 시선 정보를 획득한다.

S1902 단계는 이탈 지속 시간이 기설정 시간을 초과하는 경우, 영상 컨텐츠의 화면을 흐리게 표시하도록 제어한다.

S1901 단계에서 음성 정보가 획득된 경우, S1902 단계는 음성 정보를 이용하여 통화 또는 차량 내 대화가 진행 중인 것으로 판단하고, 동영상 재생에 해당하는 영상 컨텐츠를 일시정지하도록 제어한다.

S1901단계에서 음성 정보가 획득된 경우, S1902단계는 음성 정보를 이용하여 통화 또는 차량 내 대화가 진행 중인 것으로 판단하고, 영상 컨텐츠의 재생 음량을 감소시키도록 제어한다.

S1902단계는 탑승자의 의도가 디스플레이 화면 시청을 중단하는 것임을 확인하고, 영상 컨텐츠가 아닌 배경화면이 표출되도록 제어한다.

S1901 단계에서 착석 상태 정보를 인식하는 경우, S1902단계는 시트에 착석하는 탑승자에게 주도권이 부여되었는지 여부에 따라 영상 컨텐츠를 자동 재생시킨다.

S1901 단계에서 주도권이 부여되지 않은 탑승자가 착석한 것으로 확인되면, S1902 단계는 주도권이 부여되지 않은 탑승자에게 디스플레이 화면 영역 중 일부를 할당한다.

S1902 단계는 주도권이 부여된 탑승자의 권한 설정 정보 및 주도권이 부여된 탑승자의 탑승 상태 정보 중 적어도 어느 하나를 고려하여, 주도권이 부여되지 않은 탑승자에게 할당된 영역 너머로 외부 관심 정보를 표출하도록 제어한다.

S1901 단계에서 주도권이 부여된 탑승자가 차량을 벗어나고, 주도권이 부여되지 않은 탑승자가 착석한 것으로 확인되면, S1902 단계는 주도권이 부여되지 않은 탑승자의 사용 히스토리 정보를 이용하여 이전에 사용했던 기능을 화면에 표시하도록 제어한다.

도 20은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 시스템은 차량 디스플레이 화면 영역 내의 제1 탑승자의 시선을 인식하는 제1 탑승자 시선 인식부(2001) 및 제1 탑승자의 시선에 따라 영상 컨텐츠 위에 버튼을 표시하도록 제어하는 버튼 표시 제어부(2003)를 포함한다.

제1 탑승자 시선 인식부(2001)가 제1 탑승자의 시선이 기설정된 화면 영역에 일정 시간 이상 머무르는 것으로 확인하는 경우, 버튼 표시 제어부(2003)는 커서를 생성하여 표시하고, 제1 탑승자의 시선 이동 및 제1 탑승자의 시선 거리에 따라 커서의 이동 및 크기 변화를 제어한다.

제1 탑승자 시선 인식부(2001)가 제1 탑승자의 시선이 기설정된 화면 영역에 일정 시간 이상 머무르는 것으로 확인하는 경우, 버튼 표시 제어부(2003)는 영상 컨텐츠의 플레이어 버튼 및 프로그레스 버튼 중 적어도 어느 하나를 표시하도록 제어한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 시스템은 차량 디스플레이의 이용에 참여하는 제2 탑승자의 시선을 인식하는 제2 탑승자 시선 인식부(2002)를 더 포함하고, 버튼 표시 제어부(2003)는 주도권 전환에 대한 버튼을 표시하도록 제어한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 시스템은 주도권 전환에 대한 승인이 이루어지는 경우, 차량 디스플레이 화면 영역을 제1 탑승자 및 제2 탑승자에게 할당하는 디스플레이 제어부(2004)를 더 포함한다.

디스플레이 제어부(2004)는 제1 탑승자의 승인에 따라, 제2 탑승자의 외부 관심 정보를 제2 탑승자에게 할당된 제2 영역 너머 제1 탑승자에게 할당된 제1 영역으로도 표시한다.

디스플레이 제어부(2004)는 제2 탑승자가 제1 영역에 표시되는 영상 컨텐츠를 기설정 시간 이상 응시하는 경우, 차량 디스플레이 화면 영역 전체로 영상 컨텐츠를 표출하도록 제어한다.

도 21, 도 22 및 도 23은 본 발명의 또 다른 실시예에 따른 버튼 표시 제어를 도시한다.

도 21을 참조하면, 탑승자가 차량 디스플레이에 재생되는 영상 컨텐츠 화면에서 일정 영역을 주시하는 것으로 확인하면, 필요 버튼이 생성된다.

버튼 표시 제어부는 탑승자의 시선 이동, 탑승자의 시선 거리에 기초하여 커서의 이동 및 크기를 제어한다.

탑승자는 화면에서 일정 영역을 기설정 시간 이상 응시하거나, 차량 AVN과 연결된 휴대폰 화면에 제스처를 입력시켜 기능 아이템을 선택한다.

버튼 표시 제어부는 플레이어 버튼(재생, 일시정지, 앞으로 이동, 뒤로 이동, 음량, 화면 밝기 등) 및 프로그레스 버튼을 표시하고, 아이템 선택에 의한 기능 실행을 위해 버튼 표시 아이템을 실행시킨다.

도 22를 참조하면, 탑승자가 영상 컨텐츠가 재생되는 화면에서 좌측 영역을 응시하는 경우, 커서가 생성되고, 버튼 표시 제어부는 커서를 위젯의 모양에 맞게 변화시키며, 기설정 시간 이상 응시되는 것을 확인하여 플레이어 버튼 및 프로그레스 버튼을 표시한다.

버튼 표시 제어부는 탑승자의 시선 이동 시 시선이 머무르지 않는 영역에 버튼을 띄워놓도록 위젯을 제공한다.

도 23을 참조하면, 버튼 표시 제어부는 탑승자와 차량 디스플레이 간의 거리에 따라, 커서의 크기를 상이하게 결정한다.

도 24는 본 발명의 또 다른 실시예에 따른 다른 탑승자 참여 시 주도권 전환을 도시한다.

탑승자 A가 차량 디스플레이 화면에 재생되는 영상 컨텐츠를 시청하고 있는 상황에서, 탑승자 B가 특정 영역을 주시하여 참여하면, 주도권 전환에 대한 버튼을 표시한다.

이 때, 탑승자 B가 주도권 전환에 대한 버튼을 선택함에 따라, 주도권을 탑승자 B에게 제공하거나, 함께 영상을 시청하는 버튼을 표시한다.

탑승자 B의 시선에 의해 주도권 전환이 요청되면, 현재 주도권을 가진 탑승자 A가 이에 동의하는 것에 대한 버튼이 화면에 제공된다.

탑승자 B의 요청에 의해 주도권 전환이 승인된 경우, 탑승자 B만의 화면을 구성하는 것이 가능하며, 이와 관련하여 도 25를 참조하여 설명한다.

도 25는 본 발명의 또 다른 실시예에 따른 다른 탑승자 참여 시 화면 영역 분할 및 시선 정보에 기반한 디스플레이 제어를 도시한다.

탑승자 A가 차량 디스플레이 중 제1 영역(A-1)에서 영상 컨텐츠를 시청하고 있고, 탑승자 B의 참여에 따라, 차량 디스플레이 영역 중 일부 영역(B-1)이 탑승자 B에게 할당된다.

제1 영역(A-1)에는 탑승자 A가 선택한 영상 컨텐츠가 재생되고, 제2 영역(B-1)에는 외부 관심 정보가 표출되는 상황임을 가정한다.

이 때, 탑승자 A의 승인에 따라, 외부 관심 정보가 제2 영역(B-1) 너머 제1 영역(A-1)으로 표출된다.

이 때, 탑승자 B가 영상 컨텐츠를 일정 시간 이상 응시하는 경우, 탑승자 B가 외부 관심 정보 대신 영상 컨텐츠를 시청하고자 하는 의도가 있는 것으로 확인하고, 차량 디스플레이의 전체 영역으로 영상 컨텐츠를 표시하도록 제어한다.

도 26은 본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 방법은 차량 디스플레이 화면 영역 내의 제1 탑승자의 시선을 인식하는 단계(S2601) 및 제1 탑승자의 시선에 따라 영상 컨텐츠 위에 버튼을 표시하도록 제어하는 단계(S2602)를 포함한다.

S2601 단계에서 제1 탑승자의 시선이 기설정된 화면 영역에 일정 시간 이상 머무르는 것으로 확인되는 경우, S2602 단계는 커서를 생성하여 표시하고, 제1 탑승자의 시선 이동 및 제1 탑승자의 시선 거리에 따라 커서의 이동 및 크기 변화를 제어한다.

S2601 단계에서 제1 탑승자의 시선이 기설정된 화면 영역에 일정 시간 이상 머무르는 것으로 확인되는 경우, S2602 단계는 영상 컨텐츠의 플레이어 버튼 및 프로그레스 버튼 중 적어도 어느 하나를 표시하도록 제어한다.

S2601 단계는 차량 디스플레이의 이용에 참여하는 제2 탑승자의 시선을 추가적으로 인식하고, S2602 단계는 주도권 전환에 대한 버튼을 표시하도록 제어한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 방법은 제2 탑승자의 주도권 전환 요청에 따른 제1 탑승자의 승인을 확인하여, 주도권 전환 제어를 수행하는 단계(S2603)를 더 포함한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반 차량 디스플레이 내 버튼 표시 제어 및 주도권 제어 방법은 주도권 전환 요청이 승인되는 경우, 차량 디스플레이 화면 영역을 제1 탑승자 및 제2 탑승자에게 분할하여 할당하고, 제1 탑승자 및 제2 탑승자의 시선 정보를 이용하여 디스플레이 제어를 수행하는 단계(S2604)를 더 포함한다.

S2604 단계는 제1 탑승자의 승인에 따라, 제2 탑승자의 외부 관심 정보를 제2 탑승자에게 할당된 제2 영역 너머 제1 탑승자에게 할당된 제1 영역으로도 표시한다.

S2604 단계는 제2 탑승자가 제1 영역에 표시되는 영상 컨텐츠를 기설정 시간 이상 응시하는 경우, 영상 컨텐츠를 차량 디스플레이 화면 영역 전체에 표출하도록 제어한다.

도 27은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 시스템은 차량 내 제1 탑승자의 외부 관심 정보를 확인하는 외부 관심 정보 확인부(2701) 및 제1 탑승자의 외부 관심 정보를 차량 디스플레이를 통해 표출하도록 제어하는 디스플레이 제어부(2703)를 포함한다.

외부 관심 정보 확인부(2701)는 제1 탑승자의 시선 정보를 이용하여 외부 관심 객체를 확인한다.

외부 관심 정보 확인부(2701)는 제1 탑승자의 음성 정보 및 시선 정보를 이용하여 외부 관심 객체를 확인한다.

외부 관심 정보 확인부(2701)는 제1 탑승자의 제스처 정보 및 시선 정보를 이용하여 외부 관심 객체를 확인한다.

디스플레이 제어부(2703)는 외부 관심 정보에 대해 하이라이트 표시, 영역 표시, 컨투어 표시, 확대 표시 중 적어도 어느 하나를 통해 디스플레이하도록 제어한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 시스템은 차량 내의 제1 탑승자 및 제2 탑승자의 위치 정보를 확인하는 탑승 위치 인식부(2702)를 더 포함하고, 디스플레이 제어부(2703)는 위치 정보를 고려하여 제2 탑승자기 인지 가능한 디스플레이 영역을 통해 외부 관심 정보를 디스플레이하도록 제어한다.

도 28은 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시 및 외부 관심 정보 표시 영역 제어를 도시한다.

도 28의 (a)를 참조하면, 운전자 A는 주행 차량의 전방 윈드쉴드 너머로 보이는 관심 객체(예: 곰)를 인지한다.

외부 관심 정보 확인부는 운전자 A의 시선이 일정 시간 이상 특정 영역에 머무르는 경우, 외부 관심 정보를 확인한다.

외부 관심 정보 확인부는 운전자 A가 “애들아 저거 봤어?”라고 발화하는 경우, 운전자 A의 발화 정보 및 시선 정보에 기초하여 외부 관심 정보를 확인한다.

외부 관심 정보 확인부는 운전자 A의 시선이 일정 시간 이상 특정 영역에 머무르며, 외부 관심 정보 표시를 위해 기설정된 제스처(예: 손가락으로 가리키는 동작)를 수행하는 경우, 외부 관심 정보를 확인한다.

디스플레이 제어부는 운전자 A의 외부 관심 정보에 대해 하이라이트 표시, 영역 표시, 컨투어 표시, 확대 표시 중 적어도 어느 하나를 통해 디스플레이하도록 제어한다.

도 28의 (a)를 참조하면, 운전자 A가 관심을 가지는 외부 객체의 영역에 대해, 투명 디스플레이인 전방 윈드쉴드에 해당 영역 표시를 디스플레이하도록 제어한다.

도 28의 (b)를 참조하면, 전술한 바와 같이, 운전자 A의 외부 관심 정보를 전방 윈드쉴드에 표시하는 경우, 운전자 A에 의해 가려져 운전자 A의 뒷좌석에 위치한 동승자 B, 동승자 C가 해당 외부 관심 정보를 용이하게 확인하기 어려운 상황임을 가정한다.

이 때, 디스플레이 제어부는 탑승 위치 인식부를 통해 획득된 동승자의 착석 위치 정보를 고려하여, 외부 관심 정보를 동승자 B 및 동승자 C가 용이하게 확인할 수 있도록, 동승자 B의 착좌 위치 근처에 위치한 좌측 측창 투명 디스플레이에 표출하고, 동승자 C의 착좌 위치 근처에 위치한 우측 측장 투명 디스플레이에 표출하도록 제어한다.

탑승 위치 인식부는 시트 센서, 실내 카메라 중 적어도 어느 하나를 이용하여 차량 내 탑승자의 위치를 인식하고, 디스플레이 제어부는 해당 위치를 이용하여 동승자가 편안하게 볼 수 있는 디스플레이 영역(전술한 후석 좌측창 디스플레이 영역, 후석 우측창 디스플레이 영역)을 결정하고, 결정된 영역에 외부 관심 정보를 디스플레이한다.

도 29는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 전달하는 차량 디스플레이 제어 방법은 차량 내 제1 탑승자의 외부 관심 정보를 확인하는 단계(S2901)와, 차량 내 제1 탑승자와, 제2 탑승자의 탑승 위치를 확인하는 단계(S2902) 및 탑승 위치를 고려하여 외부 관심 정보를 차량 디스플레이를 통해 표시하도록 제어하는 단계(S2903)를 포함한다.

S2901 단계는 제1 탑승자의 시선 정보, 음성 정보, 제스처 정보 중 적어도 어느 하나를 이용하여 외부 관심 정보를 확인한다.

S2903 단계는 외부 관심 정보에 대해 하이라이트 표시, 영역 표시, 컨투어 표시, 확대 표시 중 적어도 어느 하나를 통해 디스플레이하도록 제어한다.

S2903 단계는 탑승 위치를 이용하여, 제2 탑승자의 시야가 가려지지 않는 것으로 확인되는 경우, 제1 탑승자가 제1 디스플레이 영역 너머로 확인한 외부 관심 정보를 제1 디스플레이 영역에 표시한다.

S2903 단계는 탑승 위치를 이용하여, 제2 탑승자의 시야가 가려지는 것으로 확인되는 경우, 제1 탑승자가 제1 디스플레이 영역 너머로 확인한 외부 관심 정보를 제1 디스플레이 영역과 상이한 제2 디스플레이 영역에 표시하도록 제어한다.

도 30은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템은 차량 내 탑승자가 관심을 가지는 차량 외부의 관심 객체를 확인하는 외부 관심 정보 확인부(3001)와, 외부 관심 정보의 회전과 관련한 차량 내 탑승자의 조작 정보를 인식하는 탑승자 조작 정보 인식부(3002) 및 차량 외부의 관심 객체에 대한 3D 이미지를 합성하여 표시하되, 조작 정보에 따라 3D 이미지를 회전시켜 표시하는 디스플레이 제어부(3003)를 포함한다.

외부 관심 정보 확인부(3001)는 차량 내 탑승자의 시선이 기설정 시간 이상 머무르는 영역에 위치한 관심 객체를 확인한다.

탑승자 조작 정보 인식부(3002)는 터치 입력, 제스처 입력, 음성 입력 중 적어도 어느 하나를 조작 정보로 인식한다.

디스플레이 제어부(3003)는 조작 정보에 따라 3D 이미지의 회전 정도를 결정하여, 3D 이미지를 회전시켜 표시하고, 기설정 시간 이상 추가적으로 조작이 없는 경우 3D 이미지를 관심 객체의 실제 위치로 원복하여 표시한다.

도 31 및 도 32는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 회전 표시를 도시한다.

도 31을 참조하면, 차량 내 탑승자의 시선 정보를 이용하여 차량 윈드쉴드 너머 보여지는 객체 중 외부 관심 객체를 결정하고, 해당 관심 객체를 3D 형태로 합성하여 표시한다.

이 때, 3D 형태로 합성된 외부 관심 정보는 투명디스플레이인 전방 윈드쉴드 영역에서 표시된다.

차량 내 탑승자가 터치 또는 제스처를 통해 3D 형태로 합성된 외부 관심 정보를 우측으로 드래그(drag)하게 되면, 드래그한 값만큼 3D 형태로 합성된 외부 관심 정보가 우측으로 회전된다.

차량 내 탑승자의 조작에 따라 3D 형태로 합성된 외부 관심 정보가 회전되어 표시된 후, 기설정 시간이 지나면 실제 외부 관심 객체의 위치로 3D 형태로 합성된 외부 관심 정보의 위치가 원복된다.

도 32를 참조하면, 외부 관심 객체를 3D 형태로 합성하여 표시하되, 차량 내 탑승차의 터치, 제스처 뿐 아니라 음성 인식 등 멀티모달 인터랙션을 통해 해당 3D 객체를 360도 상하/좌우 회전하여 표시하도록 제어한다.

도 33은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 방법을 도시한다.

본 발명의 다른 실시예에 따른 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 방법은 차량 내 탑승자의 외부 관심 정보를 확인하는 단계(S3301)와, 외부 관심 정보의 회전과 관련한 탑승자의 조작 정보를 인식하는 단계(S3302) 및 외부 관심 정보를 3D 이미지로 합성하여 표시하도록 제어하고, 조작 정보에 따라 3D 이미지를 회전시켜 표시하도록 제어하는 단계(S3303)를 포함한다.

S3301 단계는 차량 내 탑승자의 시선이 기설징 시간 이상 머무르는 영역에 위치한 외부 객체에 대한 외부 관심 정보를 확인한다.

S3302 단계는 터치 입력, 제스처 입력, 음성 입력 중 적어도 어느 하나의 조작 정보를 인식한다.

S3303 단계는 조작 정보에 따라 결정한 회전 정도에 따라 3D 이미지를 회전시켜 표시하고, 기설정 시간 이상 추가적으로 조작이 없는 경우 3D 이미지를 관심 객체의 실제 위치로 원복하여 표시한다.

도 34는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 시스템은 차량 탑승자의 외부 관심 객체에 대한 영상 저장 요청에 대한 조작 정보를 수신하는 탑승자 조작 인식부(3401) 및 투명 디스플레이로 구성되는 차량 윈드쉴드 너머로 차량 탑승자에 의해 응시되는 외부 관심 객체에 대해, 조작 정보에 따라 영상 저장을 수행하는 디스플레이 제어부(3402)를 포함한다.

탑승자 조작 인식부(3401)는 시선 정보, 음성 정보, 제스처 정보, 터치 정보 중 적어도 어느 하나를 이용하여 입력되는 조작 정보를 수신한다.

디스플레이 제어부(3402)는 외부 관심 객체의 정보를 AR 정보로 표시하도록 디스플레이를 제어한다.

디스플레이 제어부(3402)는 외부 전경과 AR 정보를 동시에 캡쳐하여 저장한다.

디스플레이 제어부(3402)는 기설정 시간 동안 화이트 아웃 처리하여 화면 캡쳐에 대한 디스플레이를 제어한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 시스템은 조작 정보에 따라 저장된 영상을 차량 디스플레이 내 분할 영역, 차량 탑승자의 휴대단말, 다른 사용자의 휴대 단말 중 적어도 어느 하나로 전송하는 외부 관심 정보 전송부(3403)를 더 포함한다.

디스플레이 제어부(3402)는 차량 내 복수의 탑승자에게 디스플레이 영역을 분할하여 할당하고, 각 영역 내에서 이루어지는 영상 저장 요청에 따라 외부 관심 정보 영상을 저장하고, 저장된 영상을 할당된 디스플레이 영역 중 기설정 영역에 표시하도록 제어한다.

디스플레이 제어부(3402)는 복수의 탑승자의 접근 제어 우선권을 고려하여 투명 디스플레이를 이동시키도록 하는 제어 정보를 전송한다.

디스플레이 제어부(3402)는 탑승자 요청 및 공유 권한 설정 정보에 따라 제1 탑승자의 기설정 영역에 저장된 영상 정보를 제2 탑승자의 기설정 영역으로 이동시키도록 제어한다.

이하, 도 35 내지 도 38에서는, 차량 내 후석 좌측 좌석 탑승자가 후석 좌측창 투명 디스플레이를 통해 외부를 응시하는 상황으로 가정한다.

도 35는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 캡쳐 과정을 도시한다.

도 35의 (a)를 참고하면, 디스플레이 제어부(3402)는 투명 디스플레이를 통해, 위치 정보, 날씨, 배터리 정보, 투명 디스플레이의 투명도 중 적어도 어느 하나를 포함하는 고정 정보를 표시한다.

도 35의 (b)를 참고하면, 탑승자 조작 인식부(3401)는 후석 좌측창을 통해 탑승자의 시선이 일정 시간 이상 머무르는 영역을 확인하고, 디스플레이 제어부(3402)는 시선 추적 정보에 기반하여 AR 정보를 표시한다.

이 때, 디스플레이 제어부(3402)는 산 이름, 높이, 날씨, 거리, 소요시간(현재 위치로부터 산 초입까지의 차량 이동 소요 시간, 산 초입에서부터 산 정상까지 걸어 올라가는데 소요되는 시간 등) 정보를 AR 정보로 표시한다.

도 35의 (c)를 참고하면, 탑승자 조작 인식부(3401)는 다양한 탑승자의 조작 정보를 인식하여 외부 관심 정보에 대한 저장 의도를 파악한다.

시선 인식과 휴대장치 앱 내 저장 버튼 터치, 시선 인식과 휴대장치 앱 내 하단 스와이프 터치, 시선 인식과 특정 음성 명령(예: 저장해줘, 이거 캡쳐해줘), 시선 인식과 특정 제스처, 시선 인식과 디스플레이 스와이프 다운 터치 등 다양한 방식으로 해당 외부 관심 정보를 저장할 것을 요청한다.

도 35의 (d)를 참조하면, 디스플레이 제어부(3402)는 탑승자 조작 인식부로부터 수신한 저장 요청에 따라, 외부 전경과 AR 정보(다른 예로서, 해당 외부 관심 정보의 영역만 잘라서 저장하는 것 역시 가능함)를 동시에 캡쳐하며, 이 때 캡쳐 정보에는 사진, 동영상, AR 정보, GPS 위치 정보가 포함될 수 있다.

디스플레이 제어부(3402)는 화면 캡쳐 시, 기설정 시간(예: 1초) 동안 화이트 아웃(white out) 처리한다.

디스플레이 제어부(3402)는 스크린샷된 화면이 디스플레이의 특정 영역(예: 좌측 하단)에 일정 크기(예: 15cm x 15cm), 일정 시간(예: 3초) 동안 표시되도록 제어한다.

도 36은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 스마트폰으로 공유하는 과정을 도시한다.

탑승자의 시선 추적에 따라, 후석 측창 투명 디스플레이를 통해 외부 관심 정보가 AR로 표시되고 있는 상황에서, 탑승자가 차량과 연결된 자신의 휴대단말을 이용하여 특정 버튼을 터치하는 정보를 탑승자 조작 인식부(3401)가 수신하게 되면, 디스플레이 제어부(3402)는 기설정 방식(예: 외부 전경과 AR 정보를 동시에)에 따라 캡쳐하고, 화면 캡쳐 시, 기설정 시간(예: 1초) 동안 화이트 아웃(white out) 처리한다.

외부 관심 정보 전송부(3403)는 캡쳐된 화면을 탑승자의 휴대단말로 전송하고, 탑승자는 휴대단말의 앱(예: 앨범)을 통해 정상적으로 원하는 캡쳐 이미지가 전송되었는지 확인할 수 있다.

탑승자는 앨범 내 조작을 통해, 휴대단말에 표시되는 이미지를 넘겨볼 수 있고, 특정 버튼(공유 버튼)을 누름에 따라, 공유 대상 이미지를 다른 사람의 스마트폰 또는 차량으로 전송한다.

도 37은 본 발명의 또 다른 실시예에 따른 투명 디스플레이 슬라이딩을 통한 탑승자 별 외부 관심 정보 저장 및 확인 과정을 도시한다.

도 37의 (a)를 참고하면, 주행 차량의 후석 좌측에 탑승자 A가 착석하고, 주행 차량의 후석 우측에 탑승자 B가 착석하며, 탑승자 A와 탑승자B는 후석 측창 너머로 외부를 응시한다.

후석 측창은 투명 디스플레이로 구성되며, 각 탑승자 별로 할당된 영역을 제공한다.

예컨대, 탑승자의 시야각을 고려하여, 제1 영역(A-1)을 탑승자 A에게, 제2 영역(B-1)을 탑승자 B에게 할당한다.

다른 예로서, 탑승자가 현재 응시하고 있는 외부 객체의 위치를 기반으로, 디스플레이 영역을 할당하는 것이 가능하다. 즉, 도 37의 (a)에 도시한 것과 상이한 예로서, 탑승자 A가 isolated spire를 관심 객체로 응시하고, 탑승자 B가 double spire를 관심 객체로 응시하고 있는 경우, 제2 영역을 탑승자 A에게, 제1 영역을 탑승자 B에게 할당하는 것 역시 가능하다.

다시 도 37의 (a)의 도시 사항을 참고하면, 탑승자 A는 제1 영역(A-1)너머로 보여지는 double spire를 관심 객체로 응시하고, 디스플레이에서 스와이프 다운을 하는 경우, 디스플레이 제어부(3402)는 디스플레이 영역 하단의 특정 개인화 영역에 캡쳐 이미지를 저장하여 표시한다. 또한, 탑승자 B는 후석 좌측창으로부터 탑승자 A보다 떨어져 있는 사람이므로, 시선 인식 및 에어 제스처를 통해 캡쳐 의도를 전달하고, 디스플레이 제어부(3402)는 디스플레이 영역 하단의 특정 개인화 영역에 탑승자 B가 요청한 바에 따라 캡쳐 이미지를 저장하여 표시한다.

도 37의 (b)를 도시하면, 자율주행 상황에서 운전 제어권이 자율주행 모드에 있고, 운전석에 위치한 탑승자 C가 좌측창을 통해 외부 경치를 감상하며, 운전자 C의 좌측창 디스플레이 접근 제어권이 탑승자 B보다 선순위인 것을 가정한다(디스플레이 접근 제어에 대한 선순위는 탑승 위치로부터 가까운 디스플레이일수록 높은 것임을 가정한다).

이 때, 제2 영역(B-1)에 해당되는 투명 디스플레이를 전방으로 슬라이딩 무빙하여, 탑승자 C의 좌측에 배치되고, 제2 영역(B-1)은 제3 영역(C-1)으로 탑승자 C에게 할당된다.

탑승자 C는 디스플레이 스와이프 다운을 통해 외부 관심 정보에 대한 저장을 요청하고, 디스플레이 제어부(3402)는 외부 관심 정보를 디스플레이 하단의 특정 영역에 캡쳐 이미지로 저장됨을 표시한다.

도 37의 (c)를 참고하면, 차량 내 배치된 face ID 카메라, 시트 위치 정보를 고려하여 탑승자 별 인증을 수행하고, 인증이 완료되면 각 탑승자에게 할당된 디스플레이 영역 중 하단 영역에 개인화된 컨텐츠 히스토리를 표시한다.

컨텐츠 히스토리 표시는 캡쳐된 시간 순서로 이미지/영상 파일이 표시된다.

도 38은 본 발명의 또 다른 실시예에 따른 외부 관심 정보의 디스플레이 간 공유를 도시한다.

도 38을 참조하면, 제1 영역(A-1)은 탑승자 A에게, 제2 영역(B-1)은 탑승자 B에게 할당되며, 각 영역의 하단 특정 영역에 각 탑승자의 컨텐츠 히스토리가 표시된다.

도 38의 (a)를 참조하면, 탑승자 B가 컨텐츠 히스토리 중 특정 컨텐츠를 선택하고(long press, 제스처를 통해 선택이 가능함), 해당 객체를 드래그하여 탑승자 A의 디스플레이에 전달할 것을 요청한다.

도 38의 (b)를 참조하면, 디스플레이 제어부(3402)는 탑승자 A의 정보 공유 권한 설정 정보를 고려하여, 정보 공유가 승인된 상태인 경우, 해당 특정 컨텐츠가 탑승자 A의 개인화 영역으로 이동되도록 표시한다.

이 때, 디스플레이 제어부(3402)는 드래그 앤 드롭 시, 같은 면(후석 좌측창) 디스플레이 뿐 아니라, 탑승자의 요청 및 정보 공유 권한 설정에 따라, 전면 또는 반대면(후석 후측창) 디스플레이에도 드래그 앤 드롭의 방향성에 따라 외부 관심 정보를 공유하도록 디스플레이를 제어한다.

도 38의 (c)를 참조하면, 탑승자 B의 조작에 의해 공유된 특정 컨텐츠는 탑승자 A의 개인화 영역에 추가되어 저장된다.

도 39는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 방법은 차량 탑승자의 외부 관심 객체에 대한 영상 저장 요청을 수신하는 단계(S3901) 및 투명 디스플레이로 구성되는 차량 윈드쉴드 너머로 차량 탑승자에 의해 응시되는 외부 관심 객체에 대해, 영상 저장을 수행하고, 디스플레이 제어를 수행하는 단계(S3902)를 포함한다.

S3901 단계는 시선 정보, 음성 정보, 제스처 정보, 터치 정보 중 적어도 어느 하나를 이용하여 입력되는 영상 저장 요청을 수신한다.

S3902 단계는 외부 관심 객체의 정보를 AR 정보로 표시하도록 디스플레이 제어를 수행한다.

S3902 단계는 외부 전경과 AR 정보를 동시에 캡쳐하여 저장한다.

S3902단계는 기설정 시간 동안 화이트 아웃 처리하여 화면 캡쳐에 대한 디스플레이 제어를 수행한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 저장하고 공유하는 차량 디스플레이 제어 방법은 저장된 영상을 차량 디스플레이 내 분할 영역, 차량 탑승자의 휴대단말, 다른 사용자의 휴대 단말 중 적어도 어느 하나로 전송하여 외부 관심 정보를 공유하는 단계(S3903)를 더 포함한다.

S3902 단계는 차량 내 복수의 탑승자에게 디스플레이 영역을 분할하여 할당하고, 각 영역 내에서 이루어지는 영상 저장 요청에 따라 외부 관심 정보 영상을 저장하고, 저장된 영상을 할당된 디스플레이 영역 중 기설정 영역에 표시하도록 제어한다.

S3902 단계는 복수의 탑승자의 접근 제어 우선권을 고려하여 투명 디스플레이를 이동시키도록 디스플레이 제어를 수행한다.

S3902 단계는 탑승자 요청 및 공유 권한 설정 정보에 따라 제1 탑승자의 기설정 영역에 저장된 영상 정보를 제2 탑승자의 기설정 영역으로 이동시키도록 제어한다.

도 40은 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 시스템은 차량 내 복수의 탑승자의 외부 관심 정보를 표시하는 영역을 확인하는 외부 관심 정보 표시 영역 확인부(4001) 및 복수의 탑승자에게 부여된 주도권 및 외부 관심 정보의 중요도 중 적어도 어느 하나를 고려하여, 외부 관심 정보의 표시 영역을 조정하는 디스플레이 제어부(4002)를 포함한다.

디스플레이 제어부(4002)는 제1 탑승자의 외부 관심 정보의 중요도가 제2 탑승자의 외부 관심 정보의 중요도보다 높은 것으로 판단되는 경우, 제2 탑승자의 외부 관심 정보의 표시 영역이 제1 탑승자의 외부 관심 정보의 표시 영역과 겹쳐지지 않도록, 제2 탑승자의 외부 관심 정보의 표시 영역을 이동시킨다.

디스플레이 제어부(4002)는 제1 탑승자가 주도권을 가지고 있고, 제1 탑승자의 외부 관심 정보의 표시 영역과 제2 탑승자의 외부 관심 정보의 표시 영역이 일정 부분 이상 겹쳐지는 것으로 확인되는 경우, 제2 탑승자의 외부 관심 정보의 표시 영역을 이동시킨다.

디스플레이 제어부(4002)는 제2 탑승자의 외부 정보의 본래 위치에 대한 윤곽 정보를 디스플레이하도록 제어한다.

디스플레이 제어부(4002)는 제1 탑승자의 시선 정보를 고려하여 제2 탑승자의 외부 관심 정보의 표시 영역을 이동 전 영역으로 원복시킨다.

도 41은 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 과정을 도시한다.

도 41의 (a)를 참조하면, 운전자 A와 동승자 B는 차량 전면 윈드쉴드 너머로 외부 객체를 바라본다.

이 때, 운전자 A가 ①의 영역에 위치한 전방 차량을 기설정 시간 이상 응시하는 경우, 운전자 A의 시선 추적 결과에 따라 주행 관련 정보(예: 전방 차량과의 거리, 네비게이션 정보 기반 AR 길 안내 정보)가 투명 디스플레이인 전방 윈드쉴드에 표시된다.

동승자 B는 ②의 영역에 위치한 상점(Cafι)을 기설정 시간 이상 응시하고, 그에 따라 해당 상점의 정보(예: 전화번호, 층수, 메뉴) 가 투명 디스플레이인 전방 윈드쉴드에 표시된다.

도 41의 (b)를 참조하면, 운전자 A는 ①의 영역에 위치한 정차 차량을 바라봄에 따라, 동승자 B의 외부 관심 정보의 표시 영역이 운전자 A의 외부 관심 정보 표시 영역과 겹치게 된다.

디스플레이 제어부(4002)는 이러한 겹침 현상에 의해 주도권 소유자인 운전자 A의 시야가 가려지는 것을 방지하기 위하여, 동승자 B의 외부 관심 정보 표시 영역의 위치를 변경시킨다.

즉, 동승자 B가 건물 1층 카페 정보를 응시하던 중, 운전자 A에게 후측방 경고 정보가 제공되며 운전자 A가 타 차량을 응시하는 경우, 주도권 및 정보의 우선순위에 따라 디스플레이 제어부(4002)는 해당 카페 정보를 건물의 위쪽 영역으로 이동시켜 표시하도록 제어한다.

이 때, 디스플레이 제어부(4002)는 기존 관심 정보의 위치를 점선 형태로 지속 표시하여, 위치를 인지할 수 있도록 지원한다.

도 41의 (c)를 참조하면, 운전자 A에게 제공되는 후측방 경고 정보의 전송이 더 이상 이루어지지 않거나, 운전자 A가 다른 객체(전방 차량)로 시선을 이동한 경우, 디스플레이 제어부(4002)는 동승자 B의 외부 관심 정보 표시 영역의 위치를 원복시킨다.

도 42는 본 발명의 또 다른 실시예에 따른 외부 관심 정보에 대한 차량 디스플레이 영역 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 탑승자 시선 기반의 외부 관심 정보 표시 영역 판단 및 차량 디스플레이 제어 방법은 차량 내 탑승자의 외부 관심 정보를 표시하는 영역을 확인하는 단계(S4201) 및 탑승자에게 부여된 주도권 정보 및 외부 관심 정보의 중요도 중 적어도 어느 하나를 고려하여, 외부 관심 정보를 표시하는 영역의 위치를 조정하는 단계(S4202)를 포함한다.

S4202 단계는 제1 탑승자의 외부 관심 정보의 중요도가 제2 탑승자의 외부 관심 정보의 중요도보다 높은 것으로 판단되는 경우, 제2 탑승자의 외부 관심 정보의 표시 영역이 제1 탑승자의 외부 관심 정보의 표시 영역과 겹쳐지지 않도록, 제2 탑승자의 외부 관심 정보의 표시 영역 위치를 이동시킨다.

S4202 단계는 제1 탑승자가 주도권을 가지고 있고, 제1 탑승자의 외부 관심 정보의 표시 영역과 제2 탑승자의 외부 관심 정보의 표시 영역이 일정 부분 이상 겹쳐지는 것으로 확인되는 경우, 제2 탑승자의 외부 관심 정보의 표시 영역을 이동시킨다.

S4202 단계는 제2 탑승자의 외부 관심 정보의 본래 위치에 대한 윤곽 정보를 디스플레이하도록 제어한다.

S4202 단계는 제1 탑승자의 시선 정보를 고려하여 제2 탑승자의 외부 관심 정보의 표시 영역을 이동 전 영역으로 원복시킨다.

도 43은 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 시스템을 도시한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 시스템은 주행 차량에 탑승한 탑승자가 관심을 가지는 외부 관심 객체를 확인하는 외부 관심 객체 확인부(4301) 및 외부 관심 객체에 대한 외부 관심 정보를 제1 디스플레이 영역에 표시하도록 제어하되, 주행 상황에 따라 외부 관심 정보를 제2 디스플레이 영역으로 이동시켜 표시하고, 외부 관심 정보를 외부 관심 정보 저장부(4303)에 저장시키는 디스플레이 제어부(4302)를 포함한다.

외부 관심 객체 확인부(4301)는 탑승자의 시선 정보, 음성 정보, 제스처 정보 중 적어도 어느 하나를 이용하여 외부 관심 객체를 확인한다.

디스플레이 제어부(4302)는 탑승자의 시선이 외부 관심 정보의 표시 영역을 벗어나는 경우, 외부 관심 정보를 간소화시키고, 간소화된 외부 관심 정보를 측창 디스플레이인 제2 디스플레이 영역으로 이동시켜 표시하도록 제어한다.

디스플레이 제어부(4302)는 간소화된 외부 관심 정보를 시간 순서에 따라 누적하여 제2 디스플레이 영역에 표시하도록 제어한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 시스템은 간소화된 외부 관심 정보에 대한 목적지 설정 요청을 수신하는 목적지 설정 요청 수신부(4304)를 더 포함한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 시스템은 목적지 설정 요청에 따라 선택된 외부 관심 지점으로의 경로를 설정하는 경로 설정부(4305)를 더 포함한다.

도 44는 본 발명의 또 다른 실시예에 따른 외부 관심 정보 표시를 도시한다.

도 44의 (a)를 참조하면, 주행 차량에 탑승 중인 운전자는 투명 디스플레이로 구성된 전면 윈드쉴드 너머 보이는 외부 객체 중, 관심 객체(주차장)를 기설정 시간 이상 응시하고, 그에 따라 외부 관심 정보(예: 주차장 이름, 위치, 비용 정보)가 AR 정보로 표시된다.

이 때, 디스플레이 제어부(4302)는 탑승자 시선 정보 외에도 음성 정보, 움직임(head movement) 정보, 제스처 정보를 이용하여 외부 관심 객체를 확인하고, 외부 관심 객체에 대한 정보를 디스플레이하도록 제어한다.

도 44의 (a)를 참조하면, 디스플레이 제어부(4302)는 운전자의 시야가 외부 관심 정보 표시 영역을 벗어나거나, 주행 차량의 이동에 따라 외부 관심 객체가 운전자의 시야를 벗어나게 되는 경우, 해당 외부 관심 정보를 간소화하고(예: 현재 위치로부터의 거리, 주차 비용 등으로 간소화함), 간소화된 외부 관심 정보를 로그(log) 형태로 표시한다.

이 때, 디스플레이 제어부(4302)는 간소화된 외부 관심 정보를 전면 디스플레이 또는 측창 디스플레이의 기설정 영역에 표시하도록 제어한다.

도 44의 (b)를 참조하면, 차량 주행에 따라 외부 관심 지점이 상대적으로 이동하여 운전자의 시야로부터 벗어나는 경우, 디스플레이 제어부(4302)는 측창 디스플레이에 시간 별로 외부 관심 정보를 표시한다. 즉, 디스플레이 제어부(4302)는 지나온 시간 순으로 외부 관심 정보를 누적하여 표시한다.

이 때, 디스플레이 제어부(4302)는 주행 차량을 기준으로 전방 좌측에 위치한 외부 관심 객체에 대한 정보를 좌측창 디스플레이를 통해 표시하도록 제어하고, 주행 차량을 기준으로 전방 우측에 위치한 외부 관심 객체에 대한 정보를 우측창 디스플레이를 통해 표시하도록 제어한다.

저장된 복수의 외부 관심 정보 중 특정 외부 관심 정보에 대한 목적지 설정 요청이 수신되는 경우, 경로 설정부(4305)는 현재 위치로부터 해당 외부 관심 정보의 위치까지의 경로를 설정한다.

목적지 설정 요청 수신부(4304)는 측창 디스플레이에 저장된 외부 관심 정보에 대한 터치, 음성, 에어 제스처, 휴대기기를 이용한 목적지 설정 요청을 수신한다.

도 45는 본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 방법을 도시한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 방법은 주행 차량 탑승자의 외부 관심 객체를 확인하는 단계(S4501) 및 외부 관심 객체에 대한 외부 관심 정보를 제1 디스플레이 영역에 표시하도록 제어하고, 주행 상황에 따라 외부 관심 정보를 제2 디스플레이 영역으로 이동시켜 표시하는 단계(S4502)를 포함한다.

S4501 단계는 탑승자의 시선 정보, 음성 정보, 제스처 정보 중 적어도 어느 하나를 이용하여 외부 관심 객체를 확인한다.

S4502 단계는 주행 차량 탑승자의 시선이 외부 관심 정보의 표시 영역을 벗어나는 경우, 외부 관심 정보를 간소화시키고, 간소화된 외부 관심 정보를 측창 디스플레이인 제2 디스플레이 영역으로 이동시켜 표시하도록 제어한다.

S4502 단계는 간소화된 외부 관심 정보를 시간 순서에 따라 누적하여 제2 디스플레이 영역에 표시하도록 제어한다.

본 발명의 또 다른 실시예에 따른 외부 관심 정보를 표시하고 저장하는 차량 디스플레이 제어 방법은 간소화된 외부 관심 정보에 대한 목적지 설정 요청을 수신하고, 목적지 설정 요청에 따라 선택된 외부 관심 지점으로의 경로를 설정하는 단계(S4503)를 더 포함한다.

한편, 본 발명의 실시예에 따른 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.

따라서, 본 발명의 실시예에 따른 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 방법을 수행할 수 있다.

한편, 상술한 본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

Claims (8)

1. 차량 내 탑승자가 관심을 가지는 차량 외부의 관심 객체를 확인하는 외부 관심 정보 확인부;
   외부 관심 정보의 회전과 관련한 상기 차량 내 탑승자의 조작 정보를 인식하는 탑승자 조작 정보 인식부; 및
   상기 차량 외부의 관심 객체에 대한 3D 이미지를 합성하여 표시하되, 상기 조작 정보에 따라 상기 3D 이미지를 회전시켜 표시하는 디스플레이 제어부
   를 포함하는 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템.
   
2. 제1항에 있어서,
   상기 외부 관심 정보 확인부는 상기 차량 내 탑승자의 시선이 기설정 시간 이상 머무르는 영역에 위치한 상기 관심 객체를 확인하는 것
   인 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템.
   
3. 제1항에 있어서,
   상기 탑승자 조작 정보 인식부는 터치 입력, 제스처 입력, 음성 입력 중 적어도 어느 하나를 상기 조작 정보로 인식하는 것
   인 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템.
   
4. 제1항에 있어서,
   상기 디스플레이 제어부는 상기 조작 정보에 따라 상기 3D 이미지의 회전 정도를 결정하여, 상기 3D 이미지를 회전시켜 표시하고, 기설정 시간 이상 추가적으로 조작이 없는 경우 상기 3D 이미지를 상기 관심 객체의 실제 위치로 원복하여 표시하는 것
   인 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 시스템.
   
5. (a) 차량 내 탑승자의 외부 관심 정보를 확인하는 단계;
   (b) 상기 외부 관심 정보의 회전과 관련한 탑승자의 조작 정보를 인식하는 단계; 및
   (c) 상기 외부 관심 정보를 3D 이미지로 합성하여 표시하도록 제어하고, 상기 조작 정보에 따라 상기 3D 이미지를 회전시켜 표시하도록 제어하는 단계
   를 포함하는 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 방법.
   
6. 제5항에 있어서,
   상기 (a) 단계는 상기 차량 내 탑승자의 시선이 기설징 시간 이상 머무르는 영역에 위치한 외부 객체에 대한 상기 외부 관심 정보를 확인하는 것
   인 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 방법.
   
7. 제5항에 있어서,
   상기 (b) 단계는 터치 입력, 제스처 입력, 음성 입력 중 적어도 어느 하나의 상기 조작 정보를 인식하는 것
   인 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 방법.
   
8. 제5항에 있어서,
   상기 (c) 단계는 상기 조작 정보에 따라 결정한 회전 정도에 따라 상기 3D 이미지를 회전시켜 표시하고, 기설정 시간 이상 추가적으로 조작이 없는 경우 상기 3D 이미지를 관심 객체의 실제 위치로 원복하여 표시하는 것
   인 외부 관심 정보를 합성하고 표시하는 차량 디스플레이 제어 방법.

Images