KR102637101B1 - 자율 주행 차량 및 그의 동작 방법 - Google Patents

자율 주행 차량 및 그의 동작 방법 Download PDF

Info

Publication number
KR102637101B1
KR102637101B1 KR1020160095969A KR20160095969A KR102637101B1 KR 102637101 B1 KR102637101 B1 KR 102637101B1 KR 1020160095969 A KR1020160095969 A KR 1020160095969A KR 20160095969 A KR20160095969 A KR 20160095969A KR 102637101 B1 KR102637101 B1 KR 102637101B1
Authority
KR
South Korea
Prior art keywords
driving environment
autonomous vehicle
image
virtual
virtual driving
Prior art date
Application number
KR1020160095969A
Other languages
English (en)
Other versions
KR20170015213A (ko
Inventor
존 크로닌
세쓰 멜빈 크로닌
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP19196268.7A priority Critical patent/EP3597468A1/en
Priority to US15/744,391 priority patent/US20180211414A1/en
Priority to PCT/KR2016/008328 priority patent/WO2017018844A1/ko
Priority to EP16830877.3A priority patent/EP3330151A4/en
Publication of KR20170015213A publication Critical patent/KR20170015213A/ko
Application granted granted Critical
Publication of KR102637101B1 publication Critical patent/KR102637101B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/22—
    • B60K35/28—
    • B60K35/60—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/001—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles integrated in the windows, e.g. Fresnel lenses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • B60K2360/166—
    • B60K2360/175—
    • B60K2360/177—
    • B60K2360/785—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/303—Speed sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2201/00—Application
    • G05D2201/02—Control of position of land vehicles
    • G05D2201/0213—Road vehicle, e.g. car or truck

Abstract

자율 주행 차량의 차창의 영역에 형성된 디스플레이 장치를 통해, 실제 주행 환경을 대신하는 가상 주행 환경 영상을 표시하는 자율 주행 차량 및 그의 동작 방법을 나타낸다.

Description

자율 주행 차량 및 그의 동작 방법{Autonomous Vehicle and Operation Method thereof}
본 개시는 자율 주행 차량 및 그의 동작 방법에 관한 것이다.
최근 자율 주행 차량에 대한 관심이 높아지고 있다. 특히 자동차 수요증가에 따른 교통혼잡을 해소함과 아울러 사람이나 다른 차량 등의 장애물을 안전하게 회피하기 위해, 자율 주행과 관련된 다양한 부가 기능이 지속적으로 개발되고 있다. 예를 들면, 차선 유지 시스템과 관련된 수 많은 알고리즘이 존재한다.
또한 인터넷 연결성이 확대되면서, 각종 디바이스나 자동차로부터 생성되는 데이터 양이 급증하고 있어 이를 이용한 다양한 서비스가 등장하고 있다.
따라서 각종 데이터를 이용하여 탑승자에게 친숙한 자율 주행 경험을 제공할 수 있는 방법 및 자율 주행 차량이 요구되고 있다.
자율 주행 차량 및 그의 동작 방법을 제공하는 데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
일 측면에 따라, 자율 주행 차량은, 자율 주행 차량의 차창(car window)의 영역에 형성되는 디스플레이 장치; 및 디스플레이 장치가 자율 주행 차량의 실제 주행 환경을 대신하는 가상 주행 환경 영상을 표시하도록 제어하는 프로세서;를 포함할 수 있다.
또한, 가상 주행 환경 영상은, 자율 주행 차량 내부의 시점(viewpoint)에서 차창의 영역을 향해 바라본 자율 주행 차량 외부의 가상 주행 환경을 나타내는 영상일 수 있다.
또한, 프로세서는, 자율 주행 차량의 현재 위치로부터 목적지까지의 주행 경로에 대한 정보를 획득하고, 주행 경로 상의 지점들 각각에 대응되는 가상 주행 환경 영상들을 생성할 수 있다.
또한, 자율 주행 차량의 움직임을 센싱하는 움직임 센싱 장치;를 더 포함하고, 프로세서는, 센싱된 움직임에 기초하여, 디스플레이 장치가 가상 주행 환경 영상들을 표시하도록 제어할 수 있다.
또한, 움직임 센싱 장치는, 자율 주행 차량의 주행 속도를 센싱하고, 프로세서는, 센싱된 주행 속도에 기초하여, 디스플레이 장치에서 표시되는 가상 주행 환경 영상들 간의 영상 변화율을 제어할 수 있다.
또한, 프로세서는, 디스플레이 장치가 복수 개인 경우, 센싱된 움직임에 기초하여, 복수개의 디스플레이 장치들 각각에서 표시되는 가상 주행 환경 영상들 간의 영상 변화율을 제어할 수 있다.
또한, 실제 주행 환경에 대한 영상을 촬영하는 이미지 센서;를 더 포함하고, 프로세서는, 촬영된 실제 주행 환경에 대한 영상에 기초하여, 가상 주행 환경 영상을 생성할 수 있다.
또한, 프로세서는, 실제 주행 환경에 대한 영상에 나타난 객체의 모습이 반영된 가상 주행 환경 영상을 생성할 수 있다.
또한, 프로세서는, 복수의 가상 현실들 중에서 자율 주행 차량의 탑승자로부터 선택된 가상 현실에 기초하여, 가상 주행 환경 영상을 생성할 수 있다.
또한, 프로세서는, 기 설정된 이벤트가 발생하는 지 여부를 판단하고, 이벤트가 발생하는 경우, 자율 주행 차량의 탑승자가 디스플레이 장치를 통해 이벤트에 대응되는 실제 주행 환경을 볼 수 있도록 제어할 수 있다.
다른 측면에 따라, 자율 주행 차량(autonomous vehicle)의 동작 방법은, 자율 주행 차량의 실제 주행 환경을 대신하는 가상 주행 환경 영상을 획득하는 단계; 및 자율 주행 차량의 차창(car window)의 영역에 형성되는 디스플레이 장치가 가상 주행 환경 영상을 표시하도록 제어하는 단계;를 포함할 수 있다.
또 다른 측면에 따라, 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.
본 실시예에 따르면, 실제 주행 환경을 대신하는 가상 주행 환경 영상을, 자율 주행 차량의 차창의 영역에 형성되는 디스플레이 장치를 통해 탑승자에게 제공하는 바, 탑승자에게 가상 주행 환경에 대한 경험을 보다 현실감 있게 제공할 수 있다.
도 1은 일 실시예에 따른 자율 주행 차량(autonomous vehicle)을 나타내는 도면이다.
도 2는 일 실시예에 따른 자율 주행 차량의 상세 하드웨어 구성들을 나타내는 블록도이다.
도 3은 일 실시예에 따른 자율 주행 차량의 블록도이다.
도 4는 일 실시예에 따른 자율 주행 차량의 차창을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 디스플레이 장치를 설명하기 위한 도면이다.
도 6는 다른 실시예에 따른 디스플레이 장치를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 주행 경로를 결정하기 위한 UI를 나타내는 도면이다.
도 8은 일 실시예에 따른 가상 현실을 설정하기 위한 UI를 나타내는 도면이다.
도 9는 가상 주행 환경 영상을 생성하는 것을 설명하기 위한 도면이다.
도 10은 자율 주행 차량이 직진으로 주행하는 지점들에 대응되는 가상 주행 환경 영상들을 생성하는 실시예를 나타내는 도면이다.
도 11은 자율 주행 차량이 우회전으로 주행하는 지점들에 대응되는 가상 주행 환경 영상들을 생성하는 실시예를 나타내는 도면이다.
도 12 및 13은 주행 경로 상의 지점에 대응되는 복수의 가상 주행 환경 영상들을 생성하는 실시예를 나타내는 도면이다.
도 14은 자율 주행 차량의 카메라의 일 실시예를 나타내는 도면이다.
도 15는 프로세서가 실제 주행 환경에 대한 영상에 기초하여, 가상 주행 환경 영상을 생성하는 실시예를 나타내는 도면이다.
도 16은 일 실시예에 따라 가상 주행 환경을 표시할 차창의 영역을 선택하는 UI를 나타내는 도면이다.
도 17은 탑승자의 시선에 대응되는 차창의 영역에 가상 주행 환경 영상을 표시하는 실시예를 나타내는 도면이다.
도 18은 일 실시예에 따라 디스플레이 장치에 표시할 컨텐츠를 선택하는 UI를 나타내는 도면이다.
도 19는 디스플레이 장치에 영화를 표시하는 실시예를 나타내는 도면이다.
도 20은 일 실시예에 따른 이벤트를 설정할 수 있는 UI를 나타내는 도면이다.
도 21은 기 설정된 이벤트가 발생하는 경우, 프로세서가 발생된 이벤트에 대한 정보를 탑승자에게 제공하는 실시예를 나타내는 도면이다.
도 22는 기 설정된 이벤트가 발생하는 경우, 프로세서가 발생된 이벤트에 대한 정보를 탑승자에게 제공하는 실시예를 나타내는 도면이다.
도 23은 기 설정된 이벤트가 발생하는 경우, 프로세서가 발생된 이벤트에 대한 정보를 탑승자에게 제공하는 실시예를 나타내는 도면이다.
도 24는 일 실시예에 따른 자율 주행 차량의 동작 방법의 흐름도이다.
도 25는 도 24의 단계 2420를 구체화한 상세 흐름도이다.
도 26은 일 실시예에 따른 자율 주행 차량의 동작 방법의 상세 흐름도이다.
이하 첨부된 도면을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다. 하기 실시예는 기술적 사상을 구체화하기 위한 것일 뿐 권리범위를 제한하거나 한정하는 것이 아님은 물론이다. 상세한 설명 및 실시예로부터 해당 기술분야에 속하는 전문가가 용이하게 유추할 수 있는 것은 권리범위에 속하는 것으로 해석된다.
본 명세서에서 사용되는 "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 도는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 명세서에서 사용되는 "제 1" 또는 "제 2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 이러한 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하거나 설명의 편의를 위한 목적으로 사용될 수 있다.
이하에서는 도면을 참조하여 실시예들을 상세히 설명한다.
도 1은 일 실시예에 따른 자율 주행 차량(autonomous vehicle)을 나타내는 도면이다.
자율 주행 차량(1)은 탑승자의 개입 없이 스스로 주행 가능한 차량을 의미할 수 있다.
자율 주행 차량(1)은 자율 주행 차량(1)의 실제 주행 환경을 대신하는 가상 주행 환경 영상을 표시할 수 있다. 다시 말해, 자율 주행 차량(1)은 자율 주행 차량(1) 주변의 실제 주행 환경과는 다른 가상 주행 환경을 나타내는 영상을 표시할 수 있다. 예를 들어, 자율 주행 차량(1)이 도심 내를 주행하고 있는 경우, 자율 주행 차량(1) 주변의 실제 주행 환경에는 수 많은 건물들이 있을 수 있지만, 자율 주행 차량(1)은 숲 속을 나타내는 가상 주행 환경 영상을 표시할 수 있다. 따라서, 자율 주행 차량(1)의 탑승자는 자율 주행 차량(1)이 표시하는 가상 주행 환경 영상을 통해, 도심 내가 아닌 숲 속을 주행하고 있다고 경험할 수 있다.
자율 주행 차량(1)은 자율 주행 차량(1)의 차창(car window)의 영역에 형성된 디스플레이 장치를 통해 가상 주행 환경 영상을 표시할 수 있다. 따라서, 탑승자는 자율 주행 차량(1)의 차창의 영역을 바라보는 경우, 탑승자는 차창의 영역에 형성된 디스플레이 장치에서 표시되는 가상 주행 환경 영상을 볼 수 있으므로, 자율 주행 차량(1) 주변의 실제 주행 환경이 아닌 가상 주행 환경을 경험할 수 있다.
또한, 자율 주행 차량(1)은, 자율 주행 차량(1)의 움직임과 연동하여, 가상 주행 환경 영상을 디스플레이 장치를 통해 표시할 수 있는 바, 탑승자는 보다 실감나게 자율 주행 차량(1)이 가상 주행 환경을 주행하고 있다는 경험을 할 수 있다.
도 2는 일 실시예에 따른 자율 주행 차량의 상세 하드웨어 구성들을 나타내는 블록도이다.
자율 주행 차량(1)은, 추진 장치(210), 전원 공급 장치(299), 통신 장치(250), 입력 장치(260), 출력 장치(280), 저장 장치(270), 주행 장치(220), 센싱 장치(230), 주변 장치(240), 및 제어 장치(290)를 포함할 수 있다. 다만, 자율 주행 차량(1)에는 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함되거나, 또는 자율 주행 차량(1)에는 도 2에 도시된 구성요소들 중 일부가 포함되지 않을 수 도 있음을, 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
추진 장치(210)는 엔진/모터(211), 에너지원(212), 변속기(213) 및 휠/타이어(214)를 포함할 수 있다.
엔진/모터(211)는 내연 기관, 전기 모터, 증기 기관, 및 스틸링 엔진(stirling engine) 간의 임의의 조합이 될 수 있다. 예를 들어, 자율 주행 차량(1)이 가스-전기 하이브리드 자동차(gas-electric hybrid car)인 경우, 엔진/모터(211)는 가솔린 엔진 및 전기 모터가 될 수 있다.
에너지원(212)은 엔진/모터(211)에 전체적으로 또는 부분적으로 동력을 제공하는 에너지의 공급원일 수 있다. 즉, 엔진/모터(211)는 에너지원(212)을 기계 에너지로 변환하도록 구성될 수 있다. 에너지원(212)의 예로는 가솔린, 디젤, 프로판, 다른 압축 가스 기반 연료들, 에탄올, 태양광 패널(solar panel), 배터리, 및 다른 전기 전력원들 중 적어도 하나가 될 수 있다. 또는, 에너지원(212)은 연료 탱크, 배터리, 커패시터, 및 플라이휠(flywheel) 중 적어도 하나가 될 수 있다. 에너지원(212)은 자율 주행 차량(1)의 시스템 및 장치에 에너지를 제공할 수 있다.
변속기(213)는 기계적 동력을 엔진/모터(211)로부터 휠/타이어(214)에 전달하도록 구성될 수 있다. 예를 들어, 변속기(213)는 기어박스, 클러치, 차동 장치(differential), 및 구동축 중 적어도 하나를 포함할 수 있다. 변속기(213)가 구동축들을 포함하는 경우, 구동축들은 휠/타이어(214)에 결합되도록 구성되는 하나 이상의 차축들을 포함할 수 있다.
휠/타이어(214)은 외발 자전거, 자전거/오토바이, 삼륜차, 또는 자동차/트럭의 사륜 형식을 포함한 다양한 형식들로 구성될 수 있다. 예를 들어, 6개 이상의 휠을 포함하는 것과 같은 다른 휠/타이어 형식이 가능할 수 있다. 휠/타이어(214)은 변속기(213)에 고정되게 부착되어 있는 적어도 하나의 휠, 및 구동면(driving surface)과 접촉할 수 있는 휠의 림(rim)에 결합되어 있는 적어도 하나의 타이어를 포함할 수 있다.
주행 장치(220)는 브레이크 유닛(221), 조향 유닛(222) 및 스로틀(223)을 포함할 수 있다.
조향 유닛(222)은 자율 주행 차량(1)의 방향을 조절하도록 구성되는 매커니즘들의 조합이 될 수 있다.
스로틀(223)은 엔진/모터(211)의 동작 속도를 제어하여, 자율 주행 차량(1)의 속도를 제어하도록 구성되는 매커니즘들의 조합이 될 수 있다. 또한, 스로틀(223)은 스로틀 개방량을 조절하여 엔진/모터(211)로 유입되는 연료공기의 혼합 가스 양을 조절할 수 있으며, 스로틀 개방량을 조절하여 동력 및 추력을 제어할 수 있다.
브레이크 유닛(221)은 자율 주행 차량(1)을 감속시키도록 구성되는 매커니즘들의 조합이 될 수 있다. 예를 들어, 브레이크 유닛(221)은 휠/타이어(214)의 속도를 줄이기 위해 마찰을 사용할 수 있다.
센싱 장치(230)는 자율 주행 차량(1)이 위치해 있는 환경에 관한 정보를 감지하도록 구성되는 다수의 센서들을 포함할 수 있고, 뿐만 아니라 센서들의 위치 및/또는 배향을 수정하도록 구성되는 하나 이상의 액추에이터들을 포함할 수 있다. 예를 들어, 센싱 장치(230)는 GPS(Global Positioning System)(224), IMU(Inertial Measurement Unit)(225), RADAR 유닛(226), LIDAR 유닛(227), 및 이미지 센서(228)를 포함할 수 있다. 또한, 센싱 장치(230)는 온/습도 센서(232), 적외선 센서(233), 기압 센서(235), 근접 센서(236), 및 RGB 센서(illuminance sensor)(237) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
또한, 센싱 장치(230)는 자율 주행 차량(1)의 움직임을 센싱할 수 있는 움직임 센싱 장치(238)를 포함할 수 있다. 움직임 센싱 장치(238)는 지자기 센서(Magnetic sensor)(229), 가속도 센서(Acceleration sensor)(231), 및 자이로스코프 센서(234)를 포함할 수 있다.
GPS(224)는 자율 주행 차량(1)의 지리적 위치를 추정하도록 구성되는 센서일 수 있다. 즉, GPS(224)는 지구에 대한 자율 주행 차량(1)의 위치를 추정하도록 구성되는 송수신기를 포함할 수 있다.
IMU(225)는 관성 가속도에 기초하여 자율 주행 차량(1)의 위치 및 배향 변화들을 감지하도록 구성되는 센서들의 조합이 될 수 있다. 예를 들어, 센서들의 조합은, 가속도계들 및 자이로스코프들을 포함할 수 있다.
RADAR 유닛(226)은 무선 신호를 사용하여 자율 주행 차량(1)이 위치해 있는 환경 내의 물체들을 감지하도록 구성되는 센서일 수 있다. 또한, RADAR 유닛(226)은, 물체들의 속도 및/또는 방향을 감지하도록 구성될 수 있다.
LIDAR 유닛(227)은 레이저를 사용하여 자율 주행 차량(1)이 위치해 있는 환경 내의 물체들을 감지하도록 구성되는 센서일 수 잇다. 보다 구체적으로, LIDAR 유닛(227)은 레이저를 방출하도록 구성되는 레이저 광원 및/또는 레이저 스캐너와, 레이저의 반사를 검출하도록 구성되는 검출기를 포함할 수 잇다. LIDAR 유닛(227)은 코히런트(coherent)(예컨대, 헤티로다인 검출을 사용함) 또는 비코히런트(incoherent) 검출 모드에서 동작하도록 구성될 수 있다.
이미지 센서(228)는 자율 주행 차량(1)의 내부의 3차원 영상들을 기록하도록 구성되는 스틸 카메라 또는 비디오 카메라가 될 수 있다. 예를 들어, 이미지 센서(228)는 다수의 카메라들을 포함할 수 있고, 다수의 카메라들은 자율 주행 차량(1)의 내부 및 외부 상의 다수의 위치들에 배치될 수 있다.
주변 장치(240)는 네비게이션(241), 라이트(242), 방향 지시등(243), 와이퍼(244), 내부 조명(245), 히터(246), 및 에어컨(247)을 포함할 수 있다.
네비게이션(241)은 자율 주행 차량(1)에 대한 운행 경로를 결정하도록 구성되는 시스템일 수 있다. 네비게이션(241)은 자율 주행 차량(1)이 주행하고 있는 동안 동적으로 운행 경로를 갱신하도록 구성될 수 있다. 예를 들어, 네비게이션(241)은 자율 주행 차량(1)에 대한 운행 경로를 결정하기 위해, GPS(224) 및 지도들로부터의 데이터를 이용할 수 있다.
저장 장치(270)는 마그네틱 디스크 드라이브, 광학 디스크 드라이브, 플래쉬 메모리를 포함할 수 있다. 또는 저장 장치(270)는 휴대 가능한 USB 데이터 저장 장치가 될 수 있다. 저장 장치(270)는 본원과 관련되는 예들을 실행하기 위한 시스템 소프트웨어를 저장할 수 있다. 본원과 관련되는 예들을 실행하기 위한 시스템 소프트웨어는 휴대 가능한 저장 매체에 저장될 수 있다.
통신 장치(250)는 다른 디바이스와 무선으로 통신하기 위한 적어도 하나의 안테나를 포함할 수 있다. 예를 들어, 통신 장치(250)는 와이파이 또는 블루투스를 통해 무선으로 셀룰러 네트워크 또는 다른 무선 프로토콜 및 시스템과 통신하기 위해 이용될 수 있다. 제어 장치(290)에 의해 제어되는 통신 장치(250)는 무선 신호를 송수신할 수 있다. 예를 들어, 제어 장치(290)는, 통신 장치(250)가 셀룰러 네트워크와 무선 신호를 송수신하기 위해, 저장 장치(270)에 포함된 프로그램을 실행시킬 수 있다.
입력 장치(260)는 자율 주행 차량(1)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 입력 장치(260)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다. 또한, 입력 장치(260)는 마이크를 포함할 수 있는 바, 마이크는 자율 주행 차량(1)의 탑승자로부터 오디오(예를 들어, 음성 명령)를 수신하도록 구성될 수 있다.
출력 장치(280)는 오디오 신호 또는 비디오 신호를 출력할 수 있으며, 출력 장치(280)는 디스플레이부(281), 및 음향 출력부(282)를 포함할 수 있다.
디스플레이부(281)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 출력 장치(280)의 구현 형태에 따라 출력 장치(280)는 디스플레이부(281)를 2개 이상 포함할 수도 있다.
음향 출력부(282)는 통신 장치(250)로부터 수신되거나 저장 장치(270)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(282)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
입력 장치(260) 및 출력 장치(280)는 네트워크 인터페이스를 포함할 수 있고, 터치 스크린으로 구현될 수 있다.
제어 장치(290)는, 통상적으로 자율 주행 차량(1)의 전반적인 동작을 제어한다. 예를 들어, 제어 장치(290)는, 저장 장치(270)에 저장된 프로그램들을 실행함으로써, 추진 장치(210), 주행 장치(220), 센싱 장치(230), 주변 장치(240), 통신 장치(250), 입력 장치(260), 저장 장치(270), 출력 장치(280), 및 전원 공급 장치(299)를 전반적으로 제어할 수 있다. 또한, 제어 장치(290)는 자율 주행 차량(1)의 움직임을 제어할 수 있다.
전원 공급 장치(299)는 자율 주행 차량(1)의 구성요소들 중 일부 또는 전부에 전력을 제공하도록 구성될 수 있다. 예를 들어, 전원 공급 장치(299)는 재충전가능 리튬 이온 또는 납산(lead-acid) 배터리를 포함할 수 있다.
도 3은 일 실시예에 따른 자율 주행 차량의 블록도이다.
자율 주행 차량(1)은 디스플레이 장치(110) 및 프로세서(processor)(120)를 포함할 수 있다. 도 3에 도시된 자율 주행 차량(1)은 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
디스플레이 장치(110)는 도 2의 디스플레이부(281)를 포함할 수 있고, 프로세서(120)는 도 2의 제어 장치(290)와 대응될 수 있다.
디스플레이 장치(110)는 자율 주행 차량(1)의 차창의 영역에 형성될 수 있다.
도 4는 일 실시예에 따른 자율 주행 차량의 차창을 설명하기 위한 도면이다.
자율 주행 차량(1)의 차창은, 자율 주행 차량(1)의 전면에 해당하는 차창(401), 자율 주행 차량(1)의 우측면에 해당하는 차창(402), 자율 주행 차량(1)의 좌측면에 해당하는 차창(403), 자율 주행 차량(1)의 후면에 해당하는 차창(404), 자율 주행 차량(1)의 천장에 해당하는 차창(405)이 될 수 있다. 따라서, 자율 주행 차량(1)은 차창들(401,402,403,404,405) 중 적어도 하나의 영역에 형성된 디스플레이 장치를 포함할 수 있다.
도 4에서는 일 예에 따라, 자율 주행 차량(1)이 5가지 영역에 해당하는 차창들을 포함하는 것으로 도시되었지만, 이에 제한되지 않고 자율 주행 차량(1)에는 도 4와는 다른 위치, 다른 크기, 다른 형태 등으로 차창들이 구비될 수 있다.
다시 도 3을 참조하면, 일 예에 따라, 디스플레이 장치(110)는 차창의 영역에 형성된 투명 디스플레이가 될 수 있다. 다른 예에 따라, 디스플레이 장치(110)는 차창을 대체하는 투명 디스플레이가 될 수 있다. 즉, 디스플레이 장치(110)는 디스플레이를 위한 기능 및 창(window)으로써의 기능을 동시에 갖는 투명 디스플레이가 될 수 있다. 예를 들어, 디스플레이 장치(110)는 투명 전극으로 구성될 수 있는 바, 디스플레이 장치(110)에 전압이 가해지는 경우, 디스플레이 장치(110)는 디스플레이를 위한 기능을 갖을 수 있고, 디스플레이 장치(110)에 전압이 가해지지 않는 경우, 차창으로써의 기능을 갖을 수 있다. 또 다른 예에 따라, 디스플레이 장치(110)는 차창의 영역의 크기를 갖고 차창의 표면에 형성될 수 있다. 또 다른 예에 따라, 디스플레이 장치(110)는 차창과 슬라이딩 가능하게 결합될 수 있다.
도 5는 일 실시예에 따른 디스플레이 장치를 설명하기 위한 도면이다.
디스플레이 장치(110)는 자율 주행 차량(1)의 차창(501)의 영역에 형성된 투명 디스플레이가 될 수 있다. 즉, 디스플레이 장치(110)는 차창(501)의 일측 표면에 밀착 접합된 투명 디스플레이(502)가 될 수 있다. 일 예에 따라, 디스플레이 장치(110)는 유연한(flexible) 박막형으로, 빛을 투과할 수도 있고, 고휘도의 영상을 출력할 수 있는 소자로 구성될 수 있다. 이러한 소자에는 LCD, LED 및 투명 유기 발광 다이오드(TOLED)(Transparent Organic Light Emission Diode) 중 어느 하나가 될 수 있다.
도 5에서는 일 예에 따라 자율 주행 차량(1)의 전면 차창을 도시하였지만, 투명 디스플레이로써의 디스플레이 장치(110)는 자율 주행 차량(1)의 다른 차창의 영역에도 형성될 수 있다.
도 6는 다른 실시예에 따른 디스플레이 장치를 설명하기 위한 도면이다.
디스플레이 장치(110)는 자율 주행 차량(1)의 차창(601)의 크기를 가질 수 있으며, 차창(601)과 슬라이딩 가능하게 결합될 수 있다. 즉, 디스플레이 장치(110)는 일방향으로 슬라이딩되어 차창(601)의 영역과 전부 겹쳐질 수 있으며, 타방향으로 슬라이딩되어 차창(601)의 영역과 겹치는 영역이 존재하지 않을 수 있다.
도 6에서는 일 예에 따라 자율 주행 차량(1)의 전면 차창을 도시하였지만, 슬라이딩 가능한 디스플레이 장치(110)는 자율 주행 차량(1)의 다른 차창의 영역에도 형성될 수 있다.
다시 도 3을 참조하면, 프로세서(120)는 자율 주행 차량(1)의 실제 주행 환경을 대신하는 가상 주행 환경 영상을 생성할 수 있다. 가상 주행 환경 영상은 자율 주행 차량(1)의 내부 시점(viewpoint)에서 차창의 영역을 향해 바라본 자율 주행 차량(1) 외부의 가상 주행 환경을 나타내는 영상을 의미한다. 다시 말해, 가상 주행 환경 영상은 자율 주행 차량(1)의 탑승자가 차창의 영역을 향해 바라볼 수 있는 자율 주행 차량(1) 외부의 가상 주행 환경을 나타내는 영상을 의미한다. 가상 주행 환경은 실제 주행 환경이 일부 반영된 가상 현실 상의 주행 환경이 될 수 있다. 예를 들어, 실제 주행 환경은 비가 오는 도심 내 도로이지만, 가상 주행 환경은 햇빛이 쨍쨍한 도심 내 도로가 될 수 있다. 따라서, 가상 주행 환경 영상은, 탑승자가 차창의 영역을 향해 자율 주행 차량(1) 외부를 바라보았을 때, 탑승자가 실제 주행 환경으로 인식할 수 있는 가상 주행 환경을 나타낼 수 있다.
프로세서(120)는 자율 주행 차량(1) 주변의 실제 주행 환경에 대한 정보 및 가상 현실에 대한 정보에 기초하여, 가상 주행 환경 영상을 생성할 수 있다. 실제 주행 환경에 대한 정보는 자율 주행 차량(1)이 목적지까지 주행할 주행 경로에 대한 정보를 포함할 수 있고, 실제 주행 환경에 대한 영상을 포함할 수 있다. 또한, 프로세서(120)는 가상 현실에 대한 정보를 도 2의 저장 장치(270)로부터 획득하거나, 외부 네트워크로부터 가상 현실에 대한 정보를 획득할 수 있다. 또한, 가상 현실은 복수의 가상 현실들 중 탑승자의 선택에 의해 결정될 수 있다.
프로세서(120)는 자율 주행 차량(1)의 현재 위치로부터 목적지까지의 주행 경로에 대한 정보에 기초하여, 가상 주행 환경 영상을 생성할 수 있다. 보다 구체적으로, 프로세서(120)는 자율 주행 차량(1)의 현재 위치로부터 목적지까지의 주행 경로에 대한 정보를 획득할 수 있고, 기 설정된 가상 현실에 획득된 주행 경로를 반영하여, 가상 주행 환경 영상을 생성할 수 있다. 예를 들어, 프로세서(120)는 해안 가를 나타내는 가상 현실에 주행 경로에 대응되는 도로의 모습을 반영하여, 가상 주행 환경 영상을 생성할 수 있다. 일 예에 따라, 프로세서(120)는 탑승자로부터 목적지에 대한 정보를 획득할 수 있고, 자율 주행 차량(1)의 현재 위치로부터 목적지까지의 주행 경로를 결정할 수 있다. 다른 예에 따라, 도 2의 네비게이션(241)은 자율 주행 차량(1)의 현재 위치로부터 목적지까지의 주행 경로를 결정할 수 있고, 프로세서(120)는 네비게이션(241)으로부터 주행 경로에 대한 정보를 획득할 수 있다.
프로세서(120)는 주행 경로 상의 지점에 대응되는 가상 주행 환경 영상을 생성할 수 있다. 다시 말해, 자율 주행 차량(1)이 위치할 수 있는 주행 경로 상의 지점을 기준으로, 프로세서(120)는 자율 주행 차량(1)의 탑승자가 차창의 영역을 향해 바라볼 수 있는 자율 주행 차량(1) 외부의 가상 주행 환경을 나타내는 영상을 생성할 수 있다. 마찬가지로, 프로세서(120)는 자율 주행 차량(1)의 주행 경로 상의 지점들을 기준으로, 지점들 각각에 대응되는 가상 주행 환경 영상들을 생성할 수 있다.
도 7은 일 실시예에 따른 주행 경로를 결정하기 위한 UI를 나타내는 도면이다.
프로세서(120)는 주행 경로를 결정하기 위한 UI(710)를 탑승자에게 제공할 수 있다. 일 예에 따라, 프로세서(120)는 UI(710)를 디스플레이 장치(110)에 표시하거나, 별도의 디스플레이에 표시할 수 있다.
탑승자는 UI(710) 내의 목적지 정보를 입력하는 영역(701)에 원하고자 하는 목적지에 대한 정보를 입력 장치(260)를 통해 입력할 수 있다. 따라서, 탑승자는 영역(701)에 목적지인 '1600 Pennsylvania Ave, D.C'를 입력할 수 있다. 이어서, 탑승자는 추가 설정 영역(702)을 통해 목적지까지의 주행 경로를 선택할 수 있다. 다시 말해, 도 7에 도시되어있듯이, 탑승자는 목적지까지의 여러 주행 경로들 중에 고속 도로를 경유하는 주행 경로를 선택할 수 있다. 따라서, 프로세서(120)는 탑승자에 의해 선택된 고속 도로를 경유하는 주행 경로를 자율 주행 차량(1)의 목적지까지의 주행 경로로 결정할 수 있다.
도 8은 일 실시예에 따른 가상 현실을 설정하기 위한 UI를 나타내는 도면이다.
프로세서(120)는 가상 현실을 설정하기 위한 UI(810)를 탑승자에게 제공할 수 있다. 탑승자는 UI(810)를 통해 복수의 가상 현실들 중 어느 하나를 선택할 수 있다. 다시 말해, 탑승자는 UI(810)를 통해, 록키 산맥(Rocky Mountains), 아마존 우림(Amazon Rainforest), 사하란 사파리(Saharan Safari), 그랜드 캐년(Grand Canyon), 하와이 화산(Hawaiian volcanoes), 빅서(Big Sur, California) 및 아일랜드 언덕(rolling irish hill) 중 어느 하나에 해당하는 가상 현실을 선택할 수 있다. 또한, 탑승자는 다운로드 메뉴(801)를 선택함으로써, 외부 네트워크로부터 다른 가상 현실을 다운로드 받을 수 있다.
일 예에 따라, 프로세서(120)는 먼저 도 7의 UI(710)를 탑승자에게 제공하여, 자율 주행 차량(1)의 목적지까지의 주행 경로를 결정할 수 있고, 이어서, 도 8의 UI(810)를 탑승자에게 제공하여, 가상 현실을 결정할 수 있다. 따라서, 프로세서(120)는 결정된 주행 경로 및 가상 현실을 이용하여, 가상 주행 환경 영상을 생성할 수 있다.
도 9는 가상 주행 환경 영상을 생성하는 것을 설명하기 위한 도면이다.
프로세서(120)는 자율 주행 차량(1)의 주행 경로의 일부 구간(910) 및 가상 현실의 일부 영역(920)에 기초하여, 일부 구간(910)에 대응되는 가상 주행 환경 영상(930)을 생성할 수 있다. 즉, 프로세서(120)는 자율 주행 차량(1)이 향후 주행할 지점(915)을 기준으로, 지점(915)에서 탑승자가 바라볼 수 있는 가상 주행 환경인 가상 주행 환경 영상(930)을 생성할 수 있다. 보다 구체적으로, 프로세서(120)는 지점(915)을 기준으로 일부 구간(910)의 도로 모습을 인식할 수 있고, 인식된 도로 모습을 가상 현실의 일부 영역(920)에 반영하여, 가상 주행 환경 영상(930)을 생성할 수 있다. 다시 말해, 일부 구간(910)의 도로 모습이 일정 거리 직진 후 좌회전하는 구간이므로, 프로세서(120)는 가상 현실의 일부 영역(920)에 일정 거리 직진 후 좌회전하는 도로 모습을 반영하여, 가상 주행 환경 영상(930)을 생성할 수 있다. 마찬가지로, 프로세서(120)는 자율 주행 차량(1)의 주행 경로의 나머지 구간 별로 도로 모습을 인식할 수 있고, 구간 별로 인식된 도로 모습을 가상 현실의 다른 영역들에 반영하여, 자율 주행 차량(1)의 전체 주행 경로에 대응되는 복수의 가상 주행 환경 영상들을 생성할 수 있다.
도 10은 자율 주행 차량이 직진으로 주행하는 지점들에 대응되는 가상 주행 환경 영상들을 생성하는 실시예를 나타내는 도면이다.
프로세서(120)는 주행 경로 상의 지점들(1010,1015)을 기준으로, 가상 주행 환경 영상들(1020,1030)을 생성할 수 있다. 자율 주행 차량(1)의 주행 경로가 지점(1010) 및 지점(1015)을 직진으로 통과하는 경우, 프로세서(120)는 자율 주행 차량(1)이 지점(1010)에 위치하는 것을 기준으로, 가상 주행 환경 영상(1020)을 생성할 수 있고, 이어서, 자율 주행 차량(1)이 지점(1015)에 위치하는 것을 기준으로, 가상 주행 환경 영상(1030)을 생성할 수 있다.
가상 주행 환경 영상(1020)은 자율 주행 차량(1)이 지점(1010)에 위치할 때, 탑승자가 차창의 영역을 향해 바라볼 수 있는 자율 주행 차량(1) 외부의 가상 주행 환경을 나타낼 수 있고, 가상 주행 환경 영상(1030)은 자율 주행 차량(1)이 지점(1015)에 위치할 때, 탑승자가 차창의 영역을 향해 바라볼 수 있는 자율 주행 차량(1) 외부의 가상 주행 환경을 나타낼 수 있다. 따라서, 가상 주행 환경 영상(1020)의 가상 주행 환경 중 일부 객체(1026)는 가상 주행 환경 영상(1030)에서는 사라질 수 있으며, 가상 주행 환경 영상(1020)의 가상 주행 환경 중 일부 객체들(1022,1024)의 크기 및 모양은 가상 주행 환경 영상(1030)에서는, 일부 객체들(1032,1034)과 같이, 가깝게 보이는 것으로 변화되어 표현될 수 있다. 따라서, 프로세서(120)는 가상 주행 환경 영상들(1020,1030)을 연속적으로 탑승자에게 제공함으로써, 탑승자에게 자율 주행 차량(1)이 주행 경로 상의 지점들(1010,1015)을 직진으로 주행한다는 경험을 제공할 수 있다. 또한, 실제 주행 환경은 도심 내 도로이지만, 가상 주행 환경 영상들(1020,1030)에 나타난 가상 주행 환경은 해안가 도로이므로, 프로세서(120)는 가상 주행 환경 영상들(1020,1030)을 연속적으로 탑승자에게 제공함으로써, 탑승자에게 자율 주행 차량(1)이 해안가 도로를 직진으로 주행한다는 경험을 제공할 수 있다.
또한, 도 10에서는 프로세서(120)가 주행 경로 상의 지점(1010) 및 지점(1015)에 대응되는 가상 주행 환경 영상(1020) 및 가상 주행 환경 영상(1030)을 생성하는 예시가 도시되었지만, 탑승자에게 보다 실감나는 주행 경험을 제공하기 위해서, 프로세서(120)는 주행 경로 상의 많은 지점들에 대응되는 가상 주행 환경 영상들을 생성할 수 있다.
도 11은 자율 주행 차량이 우회전으로 주행하는 지점들에 대응되는 가상 주행 환경 영상들을 생성하는 실시예를 나타내는 도면이다.
프로세서(120)는 주행 경로 상의 지점들(1110,1115)을 기준으로, 가상 주행 환경 영상들(1120,1130)을 생성할 수 있다. 자율 주행 차량(1)의 주행 경로가 지점(1110) 및 지점(1115)을 우회전으로 통과하는 경우, 프로세서(120)는 자율 주행 차량(1)이 지점(1110)에 위치하는 것을 기준으로, 가상 주행 환경 영상(1120)을 생성할 수 있고, 이어서, 자율 주행 차량(1)이 지점(1115)에 위치하는 것을 기준으로, 가상 주행 환경 영상(1130)을 생성할 수 있다.
가상 주행 환경 영상(1120)은 자율 주행 차량(1)이 지점(1110)에 위치할 때, 탑승자가 차창의 영역을 향해 바라볼 수 있는 자율 주행 차량(1) 외부의 가상 주행 환경을 나타낼 수 있고, 가상 주행 환경 영상(1130)은 자율 주행 차량(1)이 지점(1115)에 위치할 때, 탑승자가 차창의 영역을 향해 바라볼 수 있는 자율 주행 차량(1) 외부의 가상 주행 환경을 나타낼 수 있다. 따라서, 프로세서(120)는 가상 주행 환경 영상들(1120,1130)을 연속적으로 탑승자에게 제공함으로써, 탑승자에게 자율 주행 차량(1)이 주행 경로 상의 지점들(1110,1115)을 우회전으로 주행한다는 경험을 제공할 수 있다. 또한, 실제 주행 환경은 도심 내 도로이지만, 가상 주행 환경 영상들(1020,1030)에 나타난 가상 주행 환경은 나무로 둘러싸인 도로이므로, 프로세서(120)는 가상 주행 환경 영상들(1120,1130)을 연속적으로 탑승자에게 제공함으로써, 탑승자에게 자율 주행 차량(1)이 나무로 둘러싸인 도로를 우회전으로 주행한다는 경험을 제공할 수 있다.
도 12 및 13은 주행 경로 상의 지점에 대응되는 복수의 가상 주행 환경 영상들을 생성하는 실시예를 나타내는 도면이다.
먼저 도 12를 살펴보면, 프로세서(120)는 주행 경로 상의 지점(1205)에 대응되는 복수의 가상 주행 환경 영상들(1210,1220,1230)을 생성할 수 있다. 보다 구체적으로, 프로세서(120)는 자율 주행 차량(1)이 지점(1205)에 위치할 때, 탑승자가 전면 차창의 영역을 향해 바라볼 수 있는 자율 주행 차량(1) 외부의 가상 주행 환경인 가상 주행 환경 영상(1210)을 생성할 수 있고, 탑승자가 좌측면 차창의 영역을 향해 바라볼 수 있는 자율 주행 차량(1) 외부의 가상 주행 환경인 가상 주행 환경 영상(1220)을 생성할 수 있고, 탑승자가 우측면 차창의 영역을 향해 바라볼 수 있는 자율 주행 차량(1) 외부의 가상 주행 환경인 가상 주행 환경 영상(1230)을 생성할 수 있다. 따라서, 전면 차창의 영역, 좌측면 차창의 영역, 및 우측면 차창의 영역에 형성된 디스플레이 장치(110)에서 복수의 가상 주행 환경 영상들(1210,1220,1230)을 동시에 표시되는 경우, 탑승자는 보다 실감나게 가상 주행 환경을 경험할 수 있다.
이어서, 도 13을 살펴보면, 프로세서(120)는 주행 경로 상의 지점(1305)에 대응되는 복수의 가상 주행 환경 영상들(1310,1320,1330)을 생성할 수 있다. 보다 구체적으로, 프로세서(120)는 자율 주행 차량(1)이 지점(1305)에 위치할 때, 탑승자가 전면 차창의 영역을 향해 바라볼 수 있는 자율 주행 차량(1) 외부의 가상 주행 환경인 가상 주행 환경 영상(1310)을 생성할 수 있고, 탑승자가 좌측면 차창의 영역을 향해 바라볼 수 있는 자율 주행 차량(1) 외부의 가상 주행 환경인 가상 주행 환경 영상(1320)을 생성할 수 있고, 탑승자가 우측면 차창의 영역을 향해 바라볼 수 있는 자율 주행 차량(1) 외부의 가상 주행 환경인 가상 주행 환경 영상(1330)을 생성할 수 있다.
따라서, 전면 차창의 영역, 좌측면 차창의 영역, 및 우측면 차창의 영역에 형성된 디스플레이 장치(110)에서, 지점(1205)에 대응되는 복수의 가상 주행 환경 영상들(1210,1220,1230), 및 지점(1205)에 대응되는 복수의 가상 주행 환경 영상들(1310,1320,1330)이 연속적으로 표시됨으로써, 탑승자는 보다 실감나게 자율 주행 차량(1)이 주행 경로 상의 지점들(1205,1305)을 직진으로 주행한다는 경험을 할 수 있다. 또한, 실제 주행 환경은 비가 내리는 도로이지만, 복수의 가상 주행 환경 영상들(1210,1220,1230,1310,1320,1330)에 나타난 가상 주행 환경은 햇빛이 드는 도로이므로, 프로세서(120)는 복수의 가상 주행 환경 영상들(1210,1220,1230), 및 지점(1205)에 대응되는 복수의 가상 주행 환경 영상들(1310,1320,1330)을 연속적으로 탑승자에게 제공함으로써, 탑승자에게 자율 주행 차량(1)이 햇빛이 드는 도로를 직진으로 주행한다는 경험을 제공할 수 있다.
또한, 도 12 및 13에서는 전면 차창, 좌측면 차창, 및 우측면 차창을 예시로 설명되었지만, 프로세서(120)는 탑승자가 자율 주행 차량(1) 내의 다른 차창을 통해 바라볼 수 있는 외부 가상 주행 환경을 나타내는 가상 주행 환경 영상을 생성할 수 있다.
다시 도 3을 참조하면, 프로세서(120)는 자율 주행 차량(1)의 실제 주행 환경에 대한 영상에 기초하여, 가상 주행 환경 영상을 생성할 수 있다. 보다 구체적으로, 프로세서(120)는 실제 주행 환경에 대한 영상에서 나타나는 객체의 모습이 반영된 가상 주행 환경 영상을 생성할 수 있다. 예를 들어, 프로세서(120)는 실제 주행 환경에 대한 영상에서 나타난 도로의 모습이 반영된 가상 주행 환경 영상을 생성할 수 있다. 또한, 프로세서(120)는 실제 주행 환경에 대한 영상에 포함된 객체의 이동 궤적 또는 변화율이 반영된 가상 주행 환경 영상을 생성할 수 있다. 예를 들어, 프로세서(120)는 실제 주행 환경에 대한 영상에서 나타나는 차량의 이동 궤적 및 속도를 반영하는 가상 주행 환경 영상을 생성할 수 있다.
일 예에 따라, 도 2의 이미지 센서(228)는 자율 주행 차량(1)의 실제 주행 환경에 대한 영상을 촬영할 수 있고, 프로세서(120)는 이미지 센서(228)에 의해 촬영한 실제 주행 환경에 대한 영상에 기초하여, 가상 주행 환경 영상을 생성할 수 있다. 다른 예에 따라, 프로세서(120)는 자율 주행 차량(1)의 실제 주행 환경에 대한 영상을 외부 네트워크로부터 획득할 수 있다.
도 14은 자율 주행 차량의 카메라의 일 실시예를 나타내는 도면이다.
도 14를 참고하면, 이미지 센서(228)의 일 예로써 카메라(1410,1420,1430,1440)는 자율 주행 차량(1)의 차창(401,402,403,404) 외면에 설치될 수 있다. 즉, 카메라(1410,1420,1430,1440)는 자율 주행 차량(1)의 전면에 해당하는 차창(401), 좌측면에 해당하는 차창(403), 우측면에 해당하는 차창(402), 후면에 해당하는 차창(404) 각각의 외면에 설치될 수 있다.
따라서, 카메라(1410,1420,1430,1440)는 탑승자가 차창의 영역을 향해 바라볼 수 있는 자율 주행 차량(1)의 실제 주행 환경을 촬영할 수 있고, 실제 주행 환경에 대한 영상을 획득할 수 있다.
도 15는 프로세서가 실제 주행 환경에 대한 영상에 기초하여, 가상 주행 환경 영상을 생성하는 실시예를 나타내는 도면이다.
이미지 센서(228)는 자율 주행 차량(1)의 전면 차창에 설치될 수 있고, 이미지 센서(228)는 탑승자가 자율 주행 차량(1)의 전면 차창을 통해 볼 수 있는 실제 주행 환경을 촬영할 수 있다. 프로세서(120)는 이미지 센서(228)에 의해 촬영된 실제 주행 환경 영상(1510)을 획득할 수 있다. 또한, 프로세서(120)는 탑승자에 의해 선택된 가상 현실(1520)을 획득할 수 있다. 따라서, 프로세서(120)는 실제 주행 환경 영상(1510) 및 가상 현실(1520)에 기초하여, 가상 주행 환경 영상(1530)을 생성할 수 있다.
일 예에 따라, 프로세서(120)는 실제 주행 환경 영상(1510)을 통해 도로 모습을 인식할 수 있고, 인식된 도로 모습을 가상 현실(1520)에 반영하여, 가상 주행 환경 영상(1530)을 생성할 수 있다. 다시 말해, 실제 주행 환경 영상(1510)의 도로 모습이 일정 거리 직진 후 좌회전하는 구간이므로, 프로세서(120)는 가상 현실(1520)에 일정 거리 직진 후 좌회전하는 도로 모습을 반영하여, 가상 주행 환경 영상(1530)을 생성할 수 있다. 따라서, 가상 주행 환경 영상(1530)이 자율 주행 차량(1)의 전면 차창의 영역에 형성된 디스플레이 장치(110)에서 표시되는 경우, 탑승자는 가상 주행 환경 영상(1530)을 실제 주행 환경으로 인식할 수 있다. 또한, 프로세서(120)는 실제 주행 환경 영상(1510)에서 나타나는 객체를 인식할 수 있고, 인식된 객체를 가상 주행 환경 영상(1530)에 반영할 지 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는 실제 주행 환경 영상(1510)에서 나타나는 신호등, 횡단보도 같은 객체를 가상 주행 환경 영상(1530)에 반영하도록 결정할 수 있다. 또한, 도 15에 도시되어 있듯이, 프로세서(120)는 실제 주행 환경 영상(1510)의 도로 내의 차량들(1511,1512,1513)을 인식할 수 있고, 인식된 차량들(1511,1512,1513)이 가상 주행 환경 영상(1530)에 표시되지 않도록 결정할 수 있다.
다른 예에 따라, 프로세서(120)는 실제 주행 환경 영상(1510)을 통해 도로 영역을 인식할 수 있고, 실제 주행 환경 영상(1510) 내에서 도로 영역 이외의 영역을 가상 현실(1520)로 대체할 수 있다. 즉, 실제 주행 환경 영상(1510)은 건물들로 둘러싸인 도로 영역이고, 가상 현실(1520)은 나무가 많은 숲 속인 경우, 프로세서(120)는 실제 주행 환경 영상(1510) 내의 건물들에 해당하는 영역을 숲 속 영역으로 대체하여, 가상 주행 환경 영상(1530)을 생성할 수 있다.
또 다른 예에 따라, 프로세서(120)는 실제 주행 환경 영상(1510)에 나타난 도로 영역을 통해 자율 주행 차량(1)의 주행 경로를 인식할 수 있고, 가상 주행 환경 영상(1530)뿐만 아니라 주행 경로 상의 지점들 각각에 대응되는 다른 가상 주행 환경 영상들을 생성할 수 있다.
도 15에서는 자율 주행 차량(1)의 전면 차창에 설치된 카메라에 기초하여, 가상 주행 환경 영상(1530)을 생성하는 예를 들었지만, 마찬가지로 프로세서(120)는 자율 주행 차량(1)의 다른 차창에 설치된 카메라에 기초하여, 다른 가상 주행 환경 영상을 생성할 수 있다. 즉, 프로세서(120)는, 자율 주행 차량(1)의 다른 차창에 설치된 카메라를 통해 획득된 실제 주행 환경 영상을 이용하여, 다른 차창의 영역에 형성된 디스플레이 장치(110)에서 표시할 다른 가상 주행 환경 영상을 생성할 수 있다.
다시 도 3을 참조하면, 프로세서(120)는, 자율 주행 차량(1)의 차창의 영역에 형성된 디스플레이 장치(110)가 가상 주행 환경 영상을 표시하도록 제어할 수 있다. 따라서, 탑승자는 자율 주행 차량(1) 내부에서 차창의 영역을 바라볼 때, 마치 실제 주행 환경을 경험하는 것과 같이, 가상 주행 환경을 경험할 수 있다. 즉, 프로세서(120)는 가상 주행 환경 영상에 나타난 가상 주행 환경을 통해 탑승자가 실제 주행 환경으로 착각하도록 의도할 수 있다.
프로세서(120)는 디스플레이 장치(110)가 자율 주행 차량(1)의 주행 경로 상의 지점들 각각에 대응되는 가상 주행 환경 영상들을 연속적으로 표시하도록 제어할 수 있다. 즉, 프로세서(120)는 주행 경로 상의 지점들 각각에 대응되는 가상 주행 환경 영상들을 생성할 수 있고, 디스플레이 장치(110)가 생성된 가상 주행 환경 영상들을 연속적으로 표시하도록 제어할 수 있다.
예를 들어, 도 10을 참조하면, 프로세서(120)는 차창의 영역에 형성된 디스플레이 장치(110)가 가상 주행 환경 영상들(1020,1030)을 연속적으로 표시하도록 제어할 수 있다. 따라서, 탑승자는 연속적으로 표시되는 가상 주행 환경 영상들(1020,1030)을 차창의 영역을 통해 바라볼 수 있으므로, 탑승자는 가상 주행 환경 영상들(1020,1030)에 나타난 가상 주행 환경을 경험할 수 있고, 탑승자는 자율 주행 차량(1)이 가상 주행 환경 내에서 직진한다고 인식할 수 있다.
마찬가지로, 도 11을 참조하면, 프로세서(120)는 차창의 영역에 형성된 디스플레이 장치(110)가 가상 주행 환경 영상들(1120,1130)을 연속적으로 표시하도록 제어할 수 있다. 따라서, 탑승자는 연속적으로 표시되는 가상 주행 환경 영상들(1120,1130)을 차창의 영역을 통해 바라볼 수 있으므로, 탑승자는 가상 주행 환경 영상들(1120,1130)에 나타난 가상 주행 환경을 경험할 수 있고, 탑승자는 자율 주행 차량(1)이 가상 주행 환경 내에서 우회전한다고 인식할 수 있다.
프로세서(120)는 자율 주행 차량(1)의 움직임과 연동하여, 디스플레이 장치(110)가 가상 주행 환경 영상을 표시하도록 제어할 수 있다. 프로세서(120)는 자율 주행 차량(1)이 직진 주행하는 동작에 대응되는 가상 주행 환경 영상, 및 자율 주행 차량(1)이 좌회전 또는 우회전 주행하는 동작에 대응되는 가상 주행 환경 영상을 각각 동영상으로써 획득할 수 있다. 일 예에 따라, 프로세서(120)는 자율 주행 차량(1)의 주행 동작에 대응되는 가상 주행 환경 영상을 외부 네트워크로부터 획득할 수 있고, 다른 예에 따라, 프로세서(120)는 자율 주행 차량(1)의 주행 동작에 대응되는 가상 주행 환경 영상을 생성할 수 있다. 따라서, 프로세서(120)는, 자율 주행 차량(1)이 직진 주행하는 경우, 디스플레이 장치(110)가 직진 주행에 대응되는 가상 주행 환경 영상을 동영상으로 재생하도록 제어할 수 있다. 또한, 프로세서(120)는 자율 주행 차량(1)이 좌회전 또는 우회전 주행하는 경우, 디스플레이 장치(110)가 좌회전 주행 또는 우회전 주행에 대응되는 가상 주행 환경 영상을 동영상으로 재생하도록 제어할 수 있다. 따라서, 프로세서(120)는, 자율 주행 차량(1)의 움직임과 연동하여, 가상 주행 환경 영상을 디스플레이 장치(110)를 통해 표시할 수 있는 바, 탑승자는 보다 실감나게 자율 주행 차량(1)이 가상 주행 환경을 주행하고 있다는 경험을 할 수 있다.
도 2의 움직임 센싱 장치(238)는 자율 주행 차량(1)의 움직임을 센싱할 수 있고, 프로세서(120)는 움직임 센싱 장치(238)에 의해 센싱된 자율 주행 차량(1)의 움직임에 기초하여, 디스플레이 장치(110)가 가상 주행 환경 영상을 표시하도록 제어할 수 있다. 자율 주행 차량(1)의 움직임은 자율 주행 차량의 속도, 가속도, 감속도, 롤(roll), 피치(pitch), 요(yaw) 및 이들의 변화량 중 적어도 하나를 포함할 수 있고, 움직임 센싱 장치(238)는 자율 주행 차량(1)의 가속도, 감속도, 롤(roll), 피치(pitch), 요(yaw) 및 이들의 변화량 중 적어도 하나를 센싱할 수 있다. 또한, 움직임 센싱 장치(238)는 자율 주행 차량(1)의 주행 속도, 위치 변화 및 방향 변화를 센싱할 수 있다. 또한, 움직임 센싱 장치(238)는 자율 주행 차량(1)의 주행 중 상태 또는 정지 상태를 센싱할 수 있다.
또한, 자율 주행 차량(1)의 차창은 제어 장치(290)에 의한 자율 주행 차량(1)의 움직임 제어에 대응되도록 가상 주행 환경을 디스플레이할 수 있다. 다시 말해, 제어 장치(290)는 자율 주행 차량(1)의 움직임을 제어할 수 있고, 자율 주행 차량(1)의 차창은 자율 주행 차량의 움직임에 대응되게 가상 주행 환경을 나타내는 영상을 디스플레이할 수 있다.
또한, 자율 주행 차량(1)은 재생 장치를 더 포함할 수 있는 바, 재생 장치는 제어 장치(290)에 의한 자율 주행 차량(1)의 움직임 제어에 따라 가상 주행 환경을 재생할 수 있고, 자율 주행 차량(1)의 차창은 재생 장치의 재생 결과를 디스플레이할 수 있다. 다시 말해, 제어 장치(290)는 자율 주행 차량(1)의 움직임을 제어할 수 있고, 재생 장치는 자율 주행 차량의 움직임에 대응되게 가상 주행 환경을 나타내는 영상을 재생할 수 있고, 차창은 재생되는 영상을 디스플레이할 수 있다. 일 예에 따라, 가상 주행 환경은 3D 그래픽 데이터일 수 있고, 재생 장치는 GPU(Graphics Processing Unit)가 될 수 있다.
프로세서(120)는 자율 주행 차량(1)의 움직임에 기초하여, 디스플레이 장치(110)가 자율 주행 차량(1)의 주행 경로상의 지점들 각각에 대응되는 가상 주행 환경 영상들을 표시하도록 제어할 수 있다. 디스플레이 장치(110)가 가상 주행 환경 영상들을 연속적으로 표시하는 도중에, 움직임 센싱 장치(238)가 자율 주행 차량(1)의 정지 상태를 센싱하는 경우, 프로세서(120)는 가상 주행 환경 영상들의 연속적 표시를 일시 중지시킬 수 있다.
프로세서(120)는 자율 주행 차량(1)의 움직임에 기초하여, 디스플레이 장치(110)에서 표시되는 가상 주행 환경 영상들의 영상 변화율을 제어할 수 있다. 영상 변화율은 디스플레이 장치(100)에서 표시되는 가상 주행 환경 영상들의 시간적 변화율을 의미할 수 있다. 즉, 영상 변화율은 가상 주행 환경 영상들이 디스플레이 장치(110)에서 전개되는 속도가 될 수 있다. 일 예에 따라, 움직임 센싱 장치(238)가 자율 주행 차량(1)의 주행 속도를 센싱하는 경우, 프로세서(120)는 센싱된 속도에 기초하여, 디스플레이 장치(110)에서 표시되는 가상 주행 환경 영상들 간의 영상 변화율을 제어할 수 있다. 예를 들어, 자율 주행 차량(1)의 속도가 이전보다 빨라지는 경우, 프로세서(120)는 디스플레이 장치(110)에서 표시되는 가상 주행 영상들의 전개 속도를 이전보다 빠르게 제어할 수 있고, 자율 주행 차량(1)의 속도가 이전보다 느려지는 경우, 프로세서(120)는 디스플레이 장치(110)에서 표시되는 가상 주행 환경 영상들의 전개 속도를 이전보다 느리게 제어할 수 있다. 도 10을 예로 들면, 자율 주행 차량(1)의 주행 속도가 빨라지는 경우, 프로세서(120)는 디스플레이 장치(110)에서 표시될 가상 주행 환경 영상들(1020,1030)의 전개 속도를 보다 빠르게 제어할 수 있고, 탑승자는 빠르게 전개되는 가상 주행 환경 영상들(1020,1030)을 통해 보다 현실감 있는 주행 경험을 제공받을 수 있다.
또한, 디스플레이 장치(110)가 복수 개인 경우, 프로세서(120)는 움직임 장치(238)에 의해 센싱된 자율 주행 차량(1)의 움직임에 기초하여, 복수 개의 디스플레이 장치(110)들 각각에서 표시되는 가상 주행 환경 영상들 간의 영상 변화율을 제어할 수 있다. 즉, 예를 들어, 디스플레이 장치(110)가 자율 주행 차량(1)의 전면 차창의 영역, 우측면 차창의 영역, 및 좌측면 차창의 영역 각각에 형성되는 경우, 프로세서(120)는 우회전 주행하는 자율 주행 차량(1)의 움직임에 기초하여, 좌측면 차창의 영역에 형성된 디스플레이 장치(110)에서 표시되는 가상 주행 환경 영상들의 영상 변화율과, 우측면 차창의 영역에 형성된 디스플레이 장치(110)에서 표시되는 가상 주행 환경 영상들의 영상 변화율을 다르게 제어할 수 있다. 즉, 프로세서(120)는, 탑승자에게 보다 실감나는 주행 경험을 제공하기 위해, 자율 주행 차량(1)이 우회전 주행하는 경우, 좌측면 차창의 영역에 형성된 디스플레이 장치(110)에서 표시되는 가상 주행 환경 영상들의 전개 속도를, 우측면 차창의 영역에 형성된 디스플레이 장치(110)에서 표시되는 가상 주행 환경 영상들의 전개 속도보다 빠르게 제어할 수 있다.
디스플레이 장치(110)가 복수의 차창의 영역들에 형성된 경우, 프로세서(120)는 복수의 차창의 영역들 중 가상 주행 환경 영상을 표시할 차창의 영역을 결정할 수 있다. 일 예에 따라, 프로세서(120)는 탑승자의 선택에 기초하여, 복수의 차창의 영역들 중 가상 주행 환경 영상을 표시할 차창의 영역을 결정할 수 있다.
또한, 다른 예에 따라, 프로세서(120)는 복수의 차창의 영역들 중 탑승자의 시선에 대응되는 차창의 영역을, 가상 주행 환경 영상을 표시할 차창의 영역으로 결정할 수 있다. 예를 들어, 도 2의 이미지 센서(228)는 탑승자의 시선을 감지할 수 있고, 프로세서(120)는 복수의 차창의 영역들 중 감지된 탑승자의 시선에 대응되는 차창의 영역을, 가상 주행 환경 영상을 표시할 차창의 영역으로 결정할 수 있다. 또한, 일 예에 따라, 자율 주행 차량(1) 내의 탑승자가 복수인 경우, 복수의 탑승자들 중 기 설정된 탑승자를 기준으로, 탑승자의 시선에 대응되는 차창의 영역을, 가상 주행 환경 영상을 표시할 차창의 영역으로 결정할 수 있다. 다른 예에 따라, 자율 주행 차량(1) 내의 탑승자가 복수인 경우, 프로세서(120)는 탑승자의 시선을 감지하는 것을 중단하고, 기 설정된 차창의 영역을 가상 주행 환경 영상을 표시할 차창의 영역으로 결정할 수 있다.
도 16은 일 실시예에 따라 가상 주행 환경을 표시할 차창의 영역을 선택하는 UI를 나타내는 도면이다.
디스플레이 장치(110)가 복수의 차창의 영역들에 형성된 경우, 프로세서(120)는 복수의 차창의 영역들 중 가상 주행 환경 영상을 표시할 차창의 영역을 선택하는 UI(1610)를 탑승자에게 제공할 수 있다. 즉, 도 16에 도시되어 있듯이, 디스플레이 장치(110)가 자율 주행 차량(1)의 전면 차창(401)의 영역, 좌측면 차창(403)의 영역, 우측면 차창(402)의 영역, 후면 차창(404)의 영역 및 천장 차창(405)의 영역에 형성된 경우, 프로세서(120)는 전면 차창(401)의 영역, 좌측면 차창(402)의 영역, 우측면 차창(402)의 영역, 후면 차창(404)의 영역 및 천장 차창(405)의 영역 중 어느 차창의 영역에 가상 주행 환경 영상을 표시할 것인지를 선택하는 UI(1610)를 탑승자에게 제공할 수 있다. 따라서, 탑승자는 UI(1610)를 통해 가상 주행 환경을 표시할 차창의 영역을 선택할 수 있다.
도 17은 탑승자의 시선에 대응되는 차창의 영역에 가상 주행 환경 영상을 표시하는 실시예를 나타내는 도면이다.
프로세서(120)는 복수의 차창의 영역들(401,402,403,405) 중 탑승자(1710)의 시선에 대응되는 차창의 영역들(401,403)을, 가상 주행 환경 영상을 표시할 차창의 영역으로 결정할 수 있다. 보다 구체적으로, 이미지 센서(228)는 탑승자(1710)의 시선을 감지할 수 있고, 프로세서(120)는 탑승자(1710)의 시선 방향과 특정 각도 범위 내에 위치한 차창의 영역들(401,403)을, 가상 주행 환경 영상을 표시할 차창의 영역으로 결정할 수 있다.
만약 탑승자(1710)가 고개를 오른편으로 돌린다면, 프로세서(120)는 탑승자(1710)의 시선에 대응되는 차창의 영역들(401,402)을, 가상 주행 환경 영상을 표시할 차창의 영역으로 결정할 수 있다.
다시 도 3을 참조하면, 프로세서(120)는 디스플레이 장치(110)가 탑승자에 의해 선택 가능한 컨텐츠를 표시하는 것을 제어할 수 있다. 컨텐츠는 인터넷이나 컴퓨터 통신 등을 통하여 제공되는 영상 또는 사진과 같은 내용물이 될 수 있으며, 자율 주행 차량(1)에서 자체적으로 제공되는 영상이 될 수 있다. 프로세서(120)는 컨텐츠를 선택할 수 있는 UI를 탑승자에게 제공할 수 있고, 탑승자가 선택한 컨텐츠를 디스플레이 장치(110)에서 표시되도록 제어할 수 있다.
도 18은 일 실시예에 따라 디스플레이 장치에 표시할 컨텐츠를 선택하는 UI를 나타내는 도면이다.
프로세서(120)는 디스플레이 장치(110)에 표시할 컨텐츠를 선택하는 UI(1810)를 탑승자에게 제공할 수 있다. 즉, 프로세서(120)는 유투브(Youtube), 영화(Movie Library), 또는 넷플릭스(Netflix)를 선택할 수 있는 UI(1810)를 탑승자에게 제공할 수 있다. 또한, 프로세서(120)는 차창에 설치된 이미지 센서(228)에 의해 촬영된 영상을 선택할 수 있는 UI(1810)를 탑승자에게 제공할 수 있으며, 가상 주행 환경 영상을 선택할 수 있는 UI(1810)를 탑승자에게 제공할 수 있다.
도 19는 디스플레이 장치에 영화를 표시하는 실시예를 나타내는 도면이다.
탑승자(1910)는 도 18의 UI(1810)를 통해 디스플레이 장치(110)에 표시할 컨텐츠로써 영화를 선택할 수 있다. 이어서, 탑승자(1910)는 자율 주행 차량(1) 내에서 누워서 천장에 해당하는 차창(405)의 영역을 바라볼 수 있다.
따라서, 프로세서(120)는 탑승자(1910)의 시선에 대응되는 천장에 해당하는 차창(405)의 영역에 형성된 디스플레이 장치(110)에서 영화를 표시하도록 제어할 수 있다.
다시 도 3을 참조하면, 프로세서(120)는 기 설정된 이벤트가 발생하는 지 여부를 판단할 수 있다. 기 설정된 이벤트가 발생하는 경우, 프로세서(120)는 기 설정된 이벤트와 연관된 정보를 탑승자에게 제공할 수 있다. 일 예에 따라, 기 설정된 이벤트가 발생하는 경우, 프로세서(120)는 이벤트와 연관된 실제 주행 환경에 대한 영상이 디스플레이 장치(110)에서 표시되도록 제어할 수 있다. 즉, 기 설정된 이벤트가 발생하는 경우, 프로세서(120)는 자율 주행 차량(1)의 탑승자가 디스플레이 장치(110)를 통해 이벤트에 대응되는 실제 주행 환경을 볼 수 있도록 제어할 수 있다. 디스플레이 장치(110)가 가상 주행 환경 영상을 표시하는 도중에, 기 설정된 이벤트가 발생하는 경우, 프로세서(120)는 디스플레이 장치(110)가 이벤트와 연관된 실제 주행 환경에 대한 영상으로 변경하여 표시하도록 제어할 수 있다. 또한, 프로세서(120)는 디스플레이 장치(110)가 가상 주행 환경 영상과 이벤트와 연관된 실제 주행 환경에 대한 영상을 동시에 표시하도록 제어할 수 있다. 즉, 자율 주행 차량(1)은 차창에 형성된 디스플레이 장치(110)를 통해 가상 주행 환경 영상 또는 컨텐츠를 표시하고 있으므로, 탑승자는 자율 주행 차량(1) 주변의 실제 주행 환경을 볼 수 없기 때문에, 기 설정된 이벤트에 대한 정보를 탑승자에게 별도로 제공할 수 있다.
기 설정된 이벤트는 자율 주행 차량(1)이 기 설정된 시간 동안 정지해 있는 상황이 될 수 있다. 예를 들어, 교통 정체로 인해 자율 주행 차량(1)이 30초 이상 정지해 있는 경우, 프로세서(120)는 기 설정된 이벤트가 발생하였다고 판단할 수 있다. 이어서, 프로세서(120)는 기 설정된 이벤트와 연관된 실제 주행 환경인 교통 정체 상황이 디스플레이 장치(110)에서 표시되도록 제어할 수 있다.
기 설정된 이벤트는 자율 주행 차량(1)의 주변 날씨가 변화되는 상황이 될 수 있다. 예를 들어, 자율 주행 차량(1)의 날씨가 맑은 날씨에서 비가 오는 날씨로 변하는 경우, 프로세서(120)는 기 설정된 이벤트가 발생하였다고 판단할 수 있다. 이어서, 프로세서(120)는 기 설정된 이벤트와 연관된 실제 주행 환경인 이미지 센서(228)로 촬영한 비가 오는 모습이 디스플레이 장치(110)에서 표시되도록 제어할 수 있다.
기 설정된 이벤트는 자율 주행 차량(1)의 탑승자 신체 상태 변화가 존재하는 상황이 될 수 있다. 예를 들어, 탑승자가 깨어 있는 상태에서 수면 중인 상태로 변하는 경우, 프로세서(120)는 기 설정된 이벤트가 발생하였다고 판단할 수 있다. 보다 구체적으로, 이미지 센서(228)는 탑승자의 눈을 촬영할 수 있고, 프로세서(120)는 탑승자의 눈이 평소 상태에 비해 기준 비율 이상 감긴 경우, 또는 탑승자가 눈을 감고 있는 시간이 기준 시간 이상인 경우에 탑승자가 수면 상태라고 판단할 수 있다. 이어서, 프로세서(120)는 탑승자의 수면을 방해하지 않기 위해, 가상 주행 환경 영상의 표시를 중단하고, 자율 주행 차량(1)의 내부 조명(245)을 소등할 수 있다.
도 20은 일 실시예에 따른 이벤트를 설정할 수 있는 UI를 나타내는 도면이다.
프로세서(120)는 탑승자에게 이벤트를 설정할 수 있는 UI(2010)를 제공할 수 있다. 탑승자는 복수의 이벤트들(예로, 차량이 갑자기 속력을 변경시키는 상황, 차량이 고속 도로로 진입하는 상황, 차량이 랜드마크 주변에 위치하는 상황, 차량이 목적지에 도착하는 상황, 날씨가 변하는 상황, 주변 도로 상태가 위험한 상황, 및 응급 차량이 주변에 있는 상황) 중 어느 이벤트를 기준으로 향후 발생된 이벤트에 대한 정보를 제공 받을지 여부를 UI(2010)를 통해 미리 설정할 수 있다. 따라서, 프로세서(120)는 UI(2010)에서 선택된 이벤트가 발생되는 경우, 탑승자에게 선택된 이벤트에 대한 정보를 제공할 수 있다.
도 21은 기 설정된 이벤트가 발생하는 경우, 프로세서가 발생된 이벤트에 대한 정보를 탑승자에게 제공하는 실시예를 나타내는 도면이다.
프로세서(120)는 가상 주행 환경 영상(2110)이 디스플레이 장치(110)에서 표시되도록 제어할 수 있다. 자율 주행 차량(1)은 주행 중에 갑작스럽게 야생 동물이 등장하였음을 감지할 수 있고, 자율 주행 차량(1)은 갑작스럽게 속력을 변화시킬 수 있다. 이어서, 프로세서(120)는 갑자기 속력이 변화하는 상황인 기 설정된 이벤트가 발생하였다고 판단할 수 있다. 이어서, 프로세서(120)는 가상 주행 환경 영상(2110)을 표시하는 디스플레이 장치(110)가 일부 영역에, 기 설정된 이벤트와 연관된 실제 주행 환경인 야생 동물을 촬영한 영상(2120)을 표시하도록 제어할 수 있다.
도 22는 기 설정된 이벤트가 발생하는 경우, 프로세서가 발생된 이벤트에 대한 정보를 탑승자에게 제공하는 실시예를 나타내는 도면이다.
프로세서(120)는 가상 주행 환경 영상(2210)이 디스플레이 장치(110)에서 표시되도록 제어할 수 있다. 이때, 자율 주행 차량(1)은 주행 중에 현재 위치가 랜드 마크 주변임을 인식할 수 있고, 프로세서(120)는 랜드마크 주변에 위치하는 상황인 기 설정된 이벤트가 발생하였다고 판단할 수 있다. 이어서, 프로세서(120)는 디스플레이 장치(110)가 가상 주행 환경 영상(2210)에서 기 설정된 이벤트와 연관된 실제 주행 환경인 랜드 마크를 촬영한 영상(2220)으로 변경하여 표시하도록 제어할 수 있다.
다른 예에 따라, 디스플레이 장치(110)가 투명 디스플레이인 경우, 자율 주행 차량(1)이 랜드마크 주변에 위치하는 상황에서, 프로세서(120)는 가상 주행 환경 영상(2210)을 표시하는 디스플레이 장치(110)를 투명하게 처리하여, 탑승자가 투명하게 처리된 디스플레이 장치(110)를 통해 실제 주행 환경(2220)을 볼 수 있도록 제어할 수 있다.
도 23은 기 설정된 이벤트가 발생하는 경우, 프로세서가 발생된 이벤트에 대한 정보를 탑승자에게 제공하는 실시예를 나타내는 도면이다.
프로세서(120)는 가상 주행 환경 영상(2310)이 디스플레이 장치(110)에서 표시되도록 제어할 수 있다. 프로세서(120)는 자율 주행 차량(1)의 주행 중에 주변 날씨가 비가 오는 상황임을 인식하여, 기 설정된 이벤트가 발생하였다고 판단할 수 있다. 이어서, 프로세서(120)는 비가 온다는 정보를 음향 출력부(282)를 통해 탑승자에게 제공할 수 있다.
도 24는 일 실시예에 따른 자율 주행 차량의 동작 방법의 흐름도이다.
도 24에 도시된 방법은, 앞서 도면들에서 설명된 자율 주행 차량(1)에 의해 시계열적으로 수행되는 방법일 수 있다.
단계 2410에서, 자율 주행 차량(1)은 자율 주행 차량(1)의 실제 주행 환경을 대신하는 가상 주행 환경 영상을 획득할 수 있다.
자율 주행 차량(1)은 자율 주행 차량(1)의 현재 위치로부터 목적지까지의 주행 경로에 대한 정보에 기초하여, 가상 주행 환경 영상을 생성할 수 있다. 보다 구체적으로, 자율 주행 차량(1)은 자율 주행 차량(1)의 현재 위치로부터 목적지까지의 주행 경로에 대한 정보를 획득할 수 있고, 기 설정된 가상 현실에 획득된 주행 경로를 반영하여, 가상 주행 환경 영상을 생성할 수 있다. 또한, 자율 주행 차량(1)은 자율 주행 차량(1)의 주행 경로 상의 지점들을 기준으로, 지점들 각각에 대응되는 가상 주행 환경 영상들을 생성할 수 있다.
자율 주행 차량(1)은 자율 주행 차량(1)의 실제 주행 환경에 대한 영상에 기초하여, 가상 주행 환경 영상을 생성할 수 있다. 자율 주행 차량(1)은 자율 주행 차량(1)의 실제 주행 환경에 대한 영상을 획득할 수 있고, 자율 주행 차량(1)은 획득한 실제 주행 환경에 대한 영상에 기초하여, 가상 주행 환경 영상을 생성할 수 있다. 보다 구체적으로, 자율 주행 차량(1)은 실제 주행 환경에 대한 영상을 통해 도로 모습을 인식할 수 있고, 인식된 도로 모습을 가상 현실에 반영하여, 가상 주행 환경 영상을 생성할 수 있다.
자율 주행 차량(1)은 외부 네트워크로부터 가상 주행 환경 영상을 획득할 수 있다. 자율 주행 차량(1)은 자율 주행 차량(1)이 직진 주행하는 동작에 대응되는 가상 주행 환경 영상, 및 자율 주행 차량(1)이 좌회전 또는 우회전 주행하는 동작에 대응되는 가상 주행 환경 영상을 각각 동영상으로써 획득할 수 있다.
또한, 자율 주행 차량(1)은 입력 장치(260)를 통해 가상 주행 환경 영상을 획득할 수 있다. 보다 구체적으로, 자율 주행 차량(1)의 입력 장치(260)는 사용자로부터 가상 주행 환경을 선택 받을 수 있고, 사용자로부터 선택된 가상 주행 환경을 나타내는 영상을 획득할 수 있다.
단계 2420에서, 자율 주행 차량(1)은 자율 주행 차량(1)의 차창의 영역에 형성되는 디스플레이 장치가 가상 주행 환경 영상을 표시하도록 제어할 수 있다. 자율 주행 차량(1)은 디스플레이 장치가 자율 주행 차량(1)의 주행 경로 상의 지점들 각각에 대응되는 가상 주행 환경 영상들을 연속적으로 표시하도록 제어할 수 있다. 또한, 자율 주행 차량(1)은 자율 주행 차량(1)이 직진 주행하는 동작에 대응되는 가상 주행 환경 영상, 및 자율 주행 차량(1)이 좌회전 또는 우회전 주행하는 동작에 대응되는 가상 주행 환경 영상을 디스플레이 장치가 동영상으로써 재생하도록 제어할 수 있다.
또한, 자율 주행 차량(1)의 차창은 s2410에서 사용자로부터 선택된 가상 주행 환경을 디스플레이할 수 있다. 즉, 자율 주행 차량(1)의 차창은 선택된 가상 주행 환경을 나타내는 영상을 디스플레이할 수 있다.
도 25는 도 24의 단계 2420를 구체화한 상세 흐름도이다.
단계 2510에서, 자율 주행 차량(1)은 자율 주행 차량(1)의 움직임을 센싱할 수 있다. 자율 주행 차량(1)은 자율 주행 차량(1)의 주행 속도, 위치 변화 및 방향 변화를 센싱할 수 있다. 또한, 자율 주행 차량(1)은 자율 주행 차량(1)의 주행 중 상태 또는 정지 상태를 센싱할 수 있다.
단계 2520에서, 자율 주행 차량(1)은 센싱된 움직임에 기초하여, 디스플레이 장치가 가상 주행 환경 영상을 표시하도록 제어할 수 있다.
자율 주행 차량(1)은 센싱된 움직임에 기초하여, 디스플레이 장치가 자율 주행 차량(1)의 주행 경로상의 지점들 각각에 대응되는 가상 주행 환경 영상들을 표시하도록 제어할 수 있다. 디스플레이 장치가 가상 주행 환경 영상들을 연속적으로 표시하는 도중에, 자율 주행 차량(1)의 정지 상태가 센싱되는 경우, 자율 주행 차량(1)은 가상 주행 환경 영상들의 연속적 표시를 일시 중지시킬 수 있다.
자율 주행 차량(1)은 센싱된 움직임에 기초하여, 디스플레이 장치에서 표시되는 가상 주행 환경 영상들의 영상 변화율을 제어할 수 있다. 영상 변화율은 가상 주행 환경 영상들이 디스플레이 장치에서 전개되는 속도가 될 수 있다. 따라서, 자율 주행 차량(1)의 주행 속도가 센싱되는 경우, 자율 주행 차량(1)은 센싱된 속도에 기초하여, 디스플레이 장치에서 표시되는 가상 주행 환경 영상들 간의 영상 변화율을 제어할 수 있다.
자율 주행 차량(1)은, 자율 주행 차량(1)이 직진 주행하는 경우, 디스플레이 장치가 직진 주행에 대응되는 가상 주행 환경 영상을 동영상으로 재생하도록 제어할 수 있다. 또한, 자율 주행 차량(1)은 자율 주행 차량(1)이 좌회전 또는 우회전 주행하는 경우, 디스플레이 장치(110)가 좌회전 주행 또는 우회전 주행에 대응되는 가상 주행 환경 영상을 동영상으로 재생하도록 제어할 수 있다.
도 26은 일 실시예에 따른 자율 주행 차량의 동작 방법의 상세 흐름도이다.
도 26에 도시된 방법은, 앞서 도면들에서 설명된 자율 주행 차량(1)에 의해 시계열적으로 수행되는 방법일 수 있다.
단계 2610에서, 자율 주행 차량(1)은 자율 주행 차량(1)의 실제 주행 환경을 대신하는 가상 주행 환경 영상을 획득할 수 있다. 단계 2610은 도 24의 단계 2410과 대응될 수 있다.
단계 2620에서, 자율 주행 차량(1)은 자율 주행 차량(1)의 차창의 영역에 형성되는 디스플레이 장치가 가상 주행 환경 영상을 표시하도록 제어할 수 있다. 단계 2620은 도 24의 단계 2420과 대응될 수 있다.
단계 2630에서, 자율 주행 차량(1)은 기 설정된 이벤트가 발생하는 지 여부를 판단할 수 있다. 기 설정된 이벤트는 일 예에 따라, 차량이 갑자기 속력을 변경시키는 상황, 차량이 고속 도로로 진입하는 상황, 차량이 랜드마크 주변에 위치하는 상황, 차량이 목적지에 도착하는 상황, 날씨가 변하는 상황, 주변 도로 상태가 위험한 상황, 및 응급 차량이 주변에 있는 상황 중 적어도 하나가 될 수 있다.
단계 2630의 판단 결과 기 설정된 이벤트가 발생하는 경우, 자율 주행 차량(1)은 자율 주행 차량(1)의 탑승자가 디스플레이 장치를 통해 이벤트에 대응되는 실제 주행 환경을 볼 수 있도록 제어할 수 있다. 일 예에 따라, 디스플레이 장치가 가상 주행 환경 영상을 표시하는 도중에, 기 설정된 이벤트가 발생하는 경우, 자율 주행 차량(1)은 디스플레이 장치가 이벤트와 연관된 실제 주행 환경에 대한 영상으로 변경하여 표시하도록 제어할 수 있다. 또한, 자율 주행 차량(1)은 디스플레이 장치가 가상 주행 환경 영상과 이벤트와 연관된 실제 주행 환경에 대한 영상을 동시에 표시하도록 제어할 수 있다.
상기 살펴 본 실시예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (26)

  1. 자율 주행 차량(autonomous vehicle)에 있어서,
    상기 자율 주행 차량의 차창(car window)의 영역에 형성되는 디스플레이 장치; 및
    상기 디스플레이 장치가 상기 자율 주행 차량의 실제 주행 환경을 대신하는 가상 주행 환경 영상을 표시하도록 제어하는 프로세서;를 포함하고,
    상기 가상 주행 환경 영상은 상기 자율 주행 차량 내부의 시점(viewpoint)에서 상기 차창의 영역을 향해 바라본 상기 자율 주행 차량 외부의 가상 주행 환경을 나타내는 영상이고,
    상기 프로세서는 상기 자율 주행 차량이 기 설정된 이벤트가 발생하였는지 여부를 판단하고, 상기 기 설정된 이벤트가 발생된 경우 상기 디스플레이 장치가 상기 가상 주행 환경 영상으로부터 상기 기 설정된 이벤트와 연관된 실제 주행 환경에 대한 영상으로 전환되어 표시하도록 제어하는, 자율 주행 차량.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 자율 주행 차량의 현재 위치로부터 목적지까지의 주행 경로에 대한 정보를 획득하고, 상기 주행 경로 상의 지점들 각각에 대응되는 가상 주행 환경 영상들을 생성하는, 자율 주행 차량.
  4. 제 3 항에 있어서,
    상기 자율 주행 차량의 움직임을 센싱하는 움직임 센싱 장치;를 더 포함하고,
    상기 프로세서는,
    상기 센싱된 움직임에 기초하여, 상기 디스플레이 장치가 상기 가상 주행 환경 영상들을 표시하도록 제어하는, 자율 주행 차량.
  5. 제 4 항에 있어서,
    상기 움직임 센싱 장치는,
    상기 자율 주행 차량의 주행 속도를 센싱하고,
    상기 프로세서는,
    상기 센싱된 주행 속도에 기초하여, 상기 디스플레이 장치에서 표시되는 상기 가상 주행 환경 영상들 간의 영상 변화율을 제어하는, 자율 주행 차량.
  6. 제 4 항에 있어서,
    상기 프로세서는,
    상기 디스플레이 장치가 복수 개인 경우, 상기 센싱된 움직임에 기초하여, 상기 복수개의 디스플레이 장치들 각각에서 표시되는 상기 가상 주행 환경 영상들 간의 영상 변화율을 제어하는, 자율 주행 차량.
  7. 제 1 항에 있어서,
    상기 실제 주행 환경에 대한 영상을 촬영하는 이미지 센서;를 더 포함하고,
    상기 프로세서는,
    상기 촬영된 실제 주행 환경에 대한 영상에 기초하여, 상기 가상 주행 환경 영상을 생성하는, 자율 주행 차량.
  8. 제 7 항에 있어서,
    상기 프로세서는,
    상기 실제 주행 환경에 대한 영상에 나타난 객체의 모습이 반영된 상기 가상 주행 환경 영상을 생성하는, 자율 주행 차량.
  9. 제 1 항에 있어서,
    상기 프로세서는,
    복수의 가상 현실들 중에서 상기 자율 주행 차량의 탑승자로부터 선택된 가상 현실에 기초하여, 상기 가상 주행 환경 영상을 생성하는, 자율 주행 차량.
  10. 제 1 항에 있어서,
    상기 프로세서는,
    기 설정된 이벤트가 발생하는 지 여부를 판단하고, 상기 이벤트가 발생하는 경우, 상기 자율 주행 차량의 탑승자가 상기 디스플레이 장치를 통해 상기 이벤트에 대응되는 실제 주행 환경을 볼 수 있도록 제어하는, 자율 주행 차량.
  11. 자율 주행 차량(autonomous vehicle)의 동작 방법에 있어서,
    상기 자율 주행 차량의 실제 주행 환경을 대신하는 가상 주행 환경 영상을 획득하는 단계;
    상기 자율 주행 차량의 차창(car window)의 영역에 형성되는 디스플레이 장치가 상기 가상 주행 환경 영상을 표시하도록 제어하는 단계;
    상기 자율 주행 차량이 기 설정된 이벤트가 발생하였는지 여부를 판단하는 단계; 및
    상기 기 설정된 이벤트가 발생된 경우 상기 디스플레이 장치가 상기 가상 주행 환경 영상으로부터 상기 기 설정된 이벤트와 연관된 실제 주행 환경에 대한 영상으로 전환되어 표시하도록 제어하는 단계를 포함하고,
    상기 가상 주행 환경 영상은 상기 자율 주행 차량 내부의 시점(viewpoint)에서 상기 차창의 영역을 향해 바라본 상기 자율 주행 차량 외부의 가상 주행 환경을 나타내는 영상인,
    자율 주행 차량의 동작 방법.
  12. 삭제
  13. 제 11 항에 있어서,
    상기 가상 주행 환경 영상을 획득하는 단계는,
    상기 자율 주행 차량의 현재 위치로부터 목적지까지의 주행 경로에 대한 정보를 획득하는 단계; 및
    상기 주행 경로 상의 지점들 각각에 대응되는 가상 주행 환경 영상들을 생성하는 단계를 포함하는, 자율 주행 차량의 동작 방법.
  14. 제 13 항에 있어서,
    상기 자율 주행 차량의 움직임을 센싱하는 단계;를 더 포함하고,
    상기 제어하는 단계는,
    상기 센싱된 움직임에 기초하여, 상기 디스플레이 장치가 상기 가상 주행 환경 영상들을 표시하도록 제어하는, 자율 주행 차량의 동작 방법.
  15. 제 14 항에 있어서,
    상기 센싱하는 단계는,
    상기 자율 주행 차량의 주행 속도를 센싱하고,
    상기 제어하는 단계는,
    상기 센싱된 주행 속도에 기초하여, 상기 디스플레이 장치에서 표시되는 상기 가상 주행 환경 영상들 간의 영상 변화율을 제어하는, 자율 주행 차량의 동작 방법.
  16. 제 14 항에 있어서,
    상기 제어하는 단계는,
    상기 디스플레이 장치가 복수 개인 경우, 상기 센싱된 움직임에 기초하여, 상기 복수개의 디스플레이 장치들 각각에서 표시되는 상기 가상 주행 환경 영상들 간의 영상 변화율을 제어하는, 자율 주행 차량의 동작 방법.
  17. 제 11 항에 있어서,
    상기 실제 주행 환경에 대한 영상을 촬영하는 단계;를 더 포함하고,
    상기 가상 주행 환경 영상을 획득하는 단계는,
    상기 촬영된 실제 주행 환경에 대한 영상에 기초하여, 상기 가상 주행 환경 영상을 생성하는, 자율 주행 차량의 동작 방법.
  18. 제 17 항에 있어서,
    상기 가상 주행 환경 영상을 획득하는 단계는,
    상기 실제 주행 환경에 대한 영상에 나타난 객체의 모습이 반영된 상기 가상 주행 환경 영상을 생성하는, 자율 주행 차량의 동작 방법.
  19. 제 11 항에 있어서,
    상기 가상 주행 환경 영상을 획득하는 단계는,
    복수의 가상 현실들 중에서 상기 자율 주행 차량의 탑승자로부터 선택된 가상 현실에 기초하여, 상기 가상 주행 환경 영상을 생성하는, 자율 주행 차량의 동작 방법.
  20. 제 11 항에 있어서,
    기 설정된 이벤트가 발생하는 지 여부를 판단하는 단계; 및
    상기 판단 결과, 상기 이벤트가 발생하는 경우, 상기 자율 주행 차량의 탑승자가 상기 디스플레이 장치를 통해 상기 이벤트에 대응되는 실제 주행 환경을 볼 수 있도록 제어하는 단계;를 더 포함하는, 자율 주행 차량의 동작 방법.
  21. 제 11 항, 제 13 항 내지 제 20 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  22. 사용자로부터 가상 주행 환경을 선택 받는 입력 장치;
    상기 선택된 가상 주행 환경을 디스플레이하는 차창 - 상기 가상 주행 환경은 자율 주행 차량 내부의 시점(viewpoint)에서 상기 차창의 영역을 향해 바라본 상기 자율 주행 차량 외부의 가상 주행 환경을 나타내는 영상임 -; 및
    상기 자율 주행 차량의 실제 주행 환경을 대신하여 상기 선택된 가상 주행 환경을 표시하도록 제어하고, 상기 자율 주행 차량이 기 설정된 이벤트가 발생된 경우 상기 가상 주행 환경 영상으로부터 상기 기 설정된 이벤트와 연관된 실제 주행 환경에 대한 영상으로 전환되어 상기 차창에 디스플레이되도록 제어하는 프로세서를 포함하는, 자율 주행 차량.
  23. 제 22 항에 있어서,
    상기 차창은 상기 자율 주행 차량의 움직임에 대응되도록 상기 가상 주행 환경을 디스플레이하는, 자율 주행 차량.
  24. 제 23 항에 있어서,
    상기 움직임은 상기 자율 주행 차량의 속도, 가속도, 감속도, 롤(roll), 피치(pitch), 요(yaw) 및 이들의 변화량 중 적어도 하나를 포함하는, 자율 주행 차량.
  25. 제 22 항에 있어서,
    상기 자율 주행 차량의 움직임을 제어하는 제어 장치를 더 포함하고,
    상기 차창은 상기 제어 장치의 제어에 대응되도록 상기 가상 주행 환경을 디스플레이하는, 자율 주행 차량.
  26. 제 25 항에 있어서,
    상기 제어 장치의 제어에 따라 상기 가상 주행 환경을 재생하는 재생 장치를 더 포함하고,
    상기 차창은 상기 재생 장치의 재생 결과를 디스플레이하는, 자율 주행 차량.
KR1020160095969A 2015-07-30 2016-07-28 자율 주행 차량 및 그의 동작 방법 KR102637101B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19196268.7A EP3597468A1 (en) 2015-07-30 2016-07-29 Autonomous vehicle and operation method thereof
US15/744,391 US20180211414A1 (en) 2015-07-30 2016-07-29 Autonomous vehicle and operation method thereof
PCT/KR2016/008328 WO2017018844A1 (ko) 2015-07-30 2016-07-29 자율 주행 차량 및 그의 동작 방법
EP16830877.3A EP3330151A4 (en) 2015-07-30 2016-07-29 AUTONOMOUS VEHICLE AND METHOD OF OPERATION THEREOF

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562199179P 2015-07-30 2015-07-30
US62/199,179 2015-07-30
KR1020160054107A KR20170015112A (ko) 2015-07-30 2016-05-02 자율 주행 차량 및 그의 동작 방법
KR1020160054107 2016-05-02

Publications (2)

Publication Number Publication Date
KR20170015213A KR20170015213A (ko) 2017-02-08
KR102637101B1 true KR102637101B1 (ko) 2024-02-19

Family

ID=58155175

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020160054107A KR20170015112A (ko) 2015-07-30 2016-05-02 자율 주행 차량 및 그의 동작 방법
KR1020160095969A KR102637101B1 (ko) 2015-07-30 2016-07-28 자율 주행 차량 및 그의 동작 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020160054107A KR20170015112A (ko) 2015-07-30 2016-05-02 자율 주행 차량 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US20180211414A1 (ko)
EP (2) EP3597468A1 (ko)
KR (2) KR20170015112A (ko)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170015114A (ko) 2015-07-30 2017-02-08 삼성전자주식회사 자율 주행 차량 및 자율 주행 차량 제어 방법
KR20170015115A (ko) 2015-07-30 2017-02-08 삼성전자주식회사 자율 주행 차량 및 자율 주행 차량 제어 방법
US10323952B2 (en) * 2016-04-26 2019-06-18 Baidu Usa Llc System and method for presenting media contents in autonomous vehicles
US10482669B2 (en) 2016-09-23 2019-11-19 Apple Inc. Augmented virtual display
JP6605442B2 (ja) * 2016-12-27 2019-11-13 本田技研工業株式会社 情報提供装置および情報提供方法
US10665155B1 (en) * 2017-03-22 2020-05-26 Accelerate Labs, Llc Autonomous vehicle interaction system
KR102309412B1 (ko) * 2017-04-19 2021-10-06 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US10216191B1 (en) * 2017-06-13 2019-02-26 Wells Fargo Bank, N.A. Property hunting in an autonomous vehicle
DE102017218214A1 (de) * 2017-10-12 2019-04-18 Audi Ag Verfahren und System zum Betreiben wenigstens einer Virtual-Reality-Brille in einem Kraftfahrzeug
EP3470908B1 (en) * 2017-10-16 2021-03-24 Volvo Car Corporation Vehicle with overhead vehicle state indication
KR102567973B1 (ko) * 2017-12-14 2023-08-17 삼성전자주식회사 자율주행 차량의 주행정보 제공 방법
US10303045B1 (en) * 2017-12-20 2019-05-28 Micron Technology, Inc. Control of display device for autonomous vehicle
KR102384743B1 (ko) * 2018-01-09 2022-04-08 삼성전자주식회사 차량의 자율 주행을 위한 자율 주행 장치 및 그 제어 방법
KR102323394B1 (ko) 2018-01-22 2021-11-08 삼성전자주식회사 차량의 주행을 보조하는 장치 및 방법
DE102018204941A1 (de) * 2018-03-29 2019-10-02 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zum Bereitstellen von Inhalten zur Anzeige für einen Insassen eines Kraftfahrzeugs
CN108492665A (zh) * 2018-04-12 2018-09-04 成都博士信智能科技发展有限公司 基于沙盘的无人驾驶车辆的环境模拟方法及装置
JP6933189B2 (ja) * 2018-05-29 2021-09-08 株式会社デンソー 表示制御装置、及び表示制御プログラム
JP2020013416A (ja) * 2018-07-19 2020-01-23 株式会社アルファコード 仮想空間画像提供装置および仮想空間画像提供用プログラム
WO2020031915A1 (ja) * 2018-08-06 2020-02-13 株式会社小糸製作所 車両用表示システム及び車両
KR102621703B1 (ko) * 2018-08-08 2024-01-08 현대자동차주식회사 차량의 영상 표시 장치 및 방법
DE102018213634A1 (de) * 2018-08-13 2020-02-13 Audi Ag Verfahren zum Betreiben einer in einem Kraftfahrzeug angeordneten Anzeigeeinrichtung und Anzeigeeinrichtung zum Verwenden in einem Kraftfahrzeug
KR102521834B1 (ko) * 2018-08-21 2023-04-17 삼성전자주식회사 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치
KR102628276B1 (ko) * 2018-08-24 2024-01-24 현대자동차주식회사 차량 및 차량의 클러스터 제어방법
DE102018216383B4 (de) * 2018-09-25 2023-12-07 Audi Ag Verfahren und Steuereinrichtung zum Betreiben einer am Kopf tragbaren Anzeigeeinrichtung in einem Kraftfahrzeug
JP7115258B2 (ja) * 2018-11-29 2022-08-09 トヨタ自動車株式会社 情報処理システム、情報処理方法、及びプログラム
KR102313790B1 (ko) * 2019-04-17 2021-10-19 모트렉스(주) 차량용 클러스터 장치 및 제어 방법
DE102019206573B4 (de) * 2019-05-08 2022-09-08 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines Kraftfahrzeugs
KR102212777B1 (ko) * 2019-06-04 2021-02-05 엘지전자 주식회사 영상 출력 장치
KR102614495B1 (ko) * 2019-08-02 2023-12-15 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
JP7342506B2 (ja) 2019-08-07 2023-09-12 株式会社デンソー 車両の制御装置
JP7384014B2 (ja) * 2019-12-06 2023-11-21 トヨタ自動車株式会社 表示システム
US11557096B2 (en) * 2019-12-09 2023-01-17 At&T Intellectual Property I, L.P. Cognitive stimulation in vehicles
US11760370B2 (en) * 2019-12-31 2023-09-19 Gm Cruise Holdings Llc Augmented reality notification system
JP7423341B2 (ja) * 2020-02-19 2024-01-29 本田技研工業株式会社 制御装置、車両、プログラム、及び制御方法
EP4153452A4 (en) * 2020-05-22 2024-01-31 Magna Electronics Inc DISPLAY SYSTEM AND METHOD
US20220410925A1 (en) * 2021-06-24 2022-12-29 At&T Intellectual Property I, L.P. Coordinated Virtual Scenes for an Autonomous Vehicle
US11836874B2 (en) * 2022-03-24 2023-12-05 Gm Cruise Holdings Llc Augmented in-vehicle experiences

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120256945A1 (en) * 2008-06-17 2012-10-11 Digigage Ltd. System for altering virtual views
US20150100179A1 (en) 2013-10-03 2015-04-09 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US20150097864A1 (en) 2013-10-03 2015-04-09 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350195A (ja) * 1999-06-04 2000-12-15 Mitsubishi Heavy Ind Ltd 航空機の仮想窓形成装置
US20120212613A1 (en) * 2011-02-22 2012-08-23 Sekai Electronics, Inc. Vehicle virtual window system, components and method
EP2511750A1 (en) * 2011-04-15 2012-10-17 Volvo Car Corporation Vehicular information display system
KR20120112003A (ko) * 2012-02-24 2012-10-11 (주)브랜드스토리 투명디스플레이를 장착한 관광용 차량 및 이를 이용한 관광 가이드 방법
US8825258B2 (en) * 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
US9340155B2 (en) * 2013-09-17 2016-05-17 Toyota Motor Sales, U.S.A., Inc. Interactive vehicle window display system with user identification
KR20150034408A (ko) * 2013-09-26 2015-04-03 엘지전자 주식회사 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
US20150321606A1 (en) * 2014-05-09 2015-11-12 HJ Laboratories, LLC Adaptive conveyance operating system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120256945A1 (en) * 2008-06-17 2012-10-11 Digigage Ltd. System for altering virtual views
US20150100179A1 (en) 2013-10-03 2015-04-09 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US20150097864A1 (en) 2013-10-03 2015-04-09 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality

Also Published As

Publication number Publication date
US20180211414A1 (en) 2018-07-26
EP3330151A4 (en) 2019-03-20
KR20170015213A (ko) 2017-02-08
EP3330151A1 (en) 2018-06-06
EP3597468A1 (en) 2020-01-22
KR20170015112A (ko) 2017-02-08

Similar Documents

Publication Publication Date Title
KR102637101B1 (ko) 자율 주행 차량 및 그의 동작 방법
CN106394553B (zh) 驾驶员辅助设备及其控制方法
US10782701B2 (en) Autonomous vehicle and method of controlling the same
US20180203451A1 (en) Apparatus and method of controlling an autonomous vehicle
KR101732983B1 (ko) 차량용 리어 콤비네이션 램프 및 이를 포함하는 차량
EP3330827A1 (en) Autonomous driving vehicle and control method of autonomous driving vehicle
CN104411530B (zh) 基于姿势的汽车控制
KR102551099B1 (ko) 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
CN109204325A (zh) 安装在车辆上的车辆控制装置和控制车辆的方法
CN110849386A (zh) 用于向车辆提供图像的方法及其电子设备
US20210211576A1 (en) Camera peek into turn
KR102479492B1 (ko) 차량 주변의 이미지를 제공하는 전자 장치 및 방법
KR102493862B1 (ko) 어려운 운전 조건하에서 랜드 마크를 이용한 내비게이션 명령 강화
KR20190107286A (ko) 차량용 광고 제공 장치 및 차량용 광고 제공 방법
KR102333033B1 (ko) 차량 및 그 제어 방법
KR102578679B1 (ko) 헤드업 디스플레이 장치 및 그 제어방법
WO2018179305A1 (ja) 走行経路提供システムおよびその制御方法、並びにプログラム
US20210155122A1 (en) Apparatus and method for controlling interior of vehicle
KR101893815B1 (ko) 차량용 어라운드 뷰 제공 장치 및 차량
KR102533246B1 (ko) 항법 장치 및 이를 포함하는 차량 운전 보조장치
KR102043954B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
KR101854338B1 (ko) 차량용 멀티미디어 장치
KR101807788B1 (ko) 차량용 디스플레이 장치 및 그 제어방법
KR20170041418A (ko) 차량용 디스플레이 장치 및 그 제어방법
KR20240035377A (ko) 혼합 현실 자동차 메타 서비스를 제공하는 mr 서비스플랫폼 및 그것의 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right