KR20190039915A - 자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 시스템 및 방법 - Google Patents

자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20190039915A
KR20190039915A KR1020190041007A KR20190041007A KR20190039915A KR 20190039915 A KR20190039915 A KR 20190039915A KR 1020190041007 A KR1020190041007 A KR 1020190041007A KR 20190041007 A KR20190041007 A KR 20190041007A KR 20190039915 A KR20190039915 A KR 20190039915A
Authority
KR
South Korea
Prior art keywords
image
content
user
display device
autonomous vehicle
Prior art date
Application number
KR1020190041007A
Other languages
English (en)
Other versions
KR102043588B1 (ko
Inventor
리윤 리
사오산 리우
슈앙 우
제임스 펭
Original Assignee
바이두 유에스에이 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두 유에스에이 엘엘씨 filed Critical 바이두 유에스에이 엘엘씨
Publication of KR20190039915A publication Critical patent/KR20190039915A/ko
Application granted granted Critical
Publication of KR102043588B1 publication Critical patent/KR102043588B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/214—Specialised server platform, e.g. server located in an airplane, hotel, hospital
    • H04N21/2143—Specialised server platform, e.g. server located in an airplane, hotel, hospital located in a single building, e.g. hotel, hospital or museum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B60K2350/1028—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Abstract

일 실시예에 있어서, 자율 주행 차량의 외부의 물리적 대상의 제1 이미지를 수신하고, 제1 이미지는 자율 주행 차량에 부착된 이미지 센서에 의해 포착된다. 상기 제1 이미지에 대해 이미지 인식을 진행하여 상기 물리적 대상에 관련된 하나 또는 다수의 키워드를 도출한다. 상기 하나 또는 다수의 키워드에 기초하여 하나 또는 다수의 콘텐츠 아이템의 리스트를 식별한다. 상기 콘텐츠 아이템 리스트로부터 선택된 제1 콘텐츠 아이템을 상기 제1 이미지에 추가하여 제2 이미지를 생성한다. 제2 이미지를 상기 자율 주행 차량 내의 표시 장치에 표시한다.

Description

자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR PRESENTING MEDIA CONTENTS IN AUTONOMOUS VEHICLES}
본 발명의 실시예들은 대체로 자율 주행 차량 내에서의 콘텐츠 선택 및 표시에 관한 것이다. 더 상세하게, 본 발명의 실시예들은 자율 주행 차량 내에서 외부의 물리적 뷰가 추가된 미디어 콘텐츠를 선택하고 대화식으로 표시하는 것에 관한 것이다.
자율 주행 차량은 자율 주행 모드로 설정될 수 있는 차량을 가리키는 바, 해당 차량은 상기 자율 주행 모드에서 운전자의 입력이 극히 적거나, 또는 아예 운전자의 입력이 없이 환경 속에서 내비게이션한다. 자율 주행 차량내부의 이동 시나리오는 콘텐츠 전송에 대한 유일무이한 기회가 되고 있다. 자율 주행 차량을 타고 이동하는 사람들은 더이상 운전 또는 주위의 교통에 전념할 필요가 없게 되고, 미디어 콘텐츠를 즐기는데 더 많은 시간을 보낼 수 있다.
예를 들어 콘텐츠 표시 및 콘텐츠 검색과 같은 기존의 콘텐츠 전송 접근방식들은 자율 주행 차량의 특유의 이동 시나리오를 충분히 활용할 수 없었다. 먼저, 자율 주행 차량에는 보통 자율 주행 차량을 도와 표지판 및 장애물과 같은 대상들을 식별하도록 하는 이미지 식별 모듈이 설치된다. 이러한 동적으로 인식된 시각적 대상은 자율 주행 차량의 주행 시나리오에 있어서 고유적인 것이다. 그러나, 재래의 콘텐츠 전송은 이러한 대상들을 쉽게 사용할 수 없다. 이외에, 자율 주행 차량 내에서 콘텐츠가 렌더링되는 포맷은 콘텐츠를 표시하거나 콘텐츠를 검색하는 것과 본질적으로 다르며, 콘텐츠 표시와 콘텐츠 검색에 있어서, 사용자들은 일부 사전 정의된 스크린 영역과 대화하는 것에 집중한다.
이전 시도들은 노선을 따라 콘텐츠를 선택하는 방법에 집중하였으나, 자율 주행 경험에 적합한 콘텐츠 전송 시스템(해당 콘텐츠 전송 시스템은 자율 주행 체험에 쓰이도록 맞춤 제작 된 것임)을 구축하는 것에는 특별히 목표를 두지 않았다. 비록 관심 포인트(POI)와 같은 정보를 사용하여 콘텐츠를 선택하나, 이전 제안들은 카메라로 포착한 이미지 및 센서 입력 등과 같은 자율 주행 차량의 고유 정보를 특별히 활용하지는 않는다. 재래의 방법들(콘텐츠 표시 및 콘텐츠 검색) 및 이들의 렌더링 포맷은 자율 주행 차량 내의 이동 환경을 위해 디자인된 것이 아니다. 따라서, 자율 주행 차량 내에서 종래의 포맷으로 콘텐츠를 승객에게 전달하는 경우 이들의 효과는 최적화가 아닌 문제점이 있다.
은 자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 컴퓨터 구현 방법, 비일시적인 기계 판독 가능한 매체 및 데이터 처리 시스템을 제공하는데 그 목적이 있다.
제1 양태에 있어서, 본 출원은 자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 컴퓨터 구현 방법을 제공하고, 상기 컴퓨터 구현 방법은, 자율 주행 차량 외부의 물리적 대상의 제1 이미지를 수신하되, 상기 제1 이미지는 상기 자율 주행 차량에 연결된 이미지 센서에 의해 포착되는 단계와, 상기 물리적 대상에 관련된 하나 또는 다수의 키워드를 도출하도록 상기 제1 이미지에 대해 이미지 인식을 수행하는 단계와, 상기 하나 또는 다수의 키워드에 기초하여 하나 또는 다수의 콘텐츠 아이템의 리스트를 식별하는 단계와, 제2 이미지를 생성하도록 상기 콘텐츠 아이템 리스트로부터 선택된 제1 콘텐츠 아이템을 상기 제1 이미지에 추가하는 단계와, 상기 제2 이미지를 상기 자율 주행 차량 내의 표시 장치에 표시하는 단계를 포함할 수 있다.
제2 양태에 있어서, 본 출원은 자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 비일시적인 기계 판독 가능한 매체를 제공하고, 상기 비일시적인 기계 판독 가능한 매체에는 명령어가 저장되어 있고, 상기 명령어가 프로세서에 의해 실행될 경우, 상기 프로세서로 하여금 자율 주행 차량 내에서 콘텐츠를 표시하는 조작을 수행하도록 하고, 상기 조작은, 상기 자율 주행 차량 외부의 물리적 대상의 제1 이미지를 수신하되, 상기 제1 이미지는 상기 자율 주행 차량에 부착된 이미지 센서에 의해 포착되는 단계와, 상기 물리적 대상에 관련된 하나 또는 다수의 키워드를 도출하도록 상기 제1 이미지에 대해 이미지 인식을 수행하는 단계와, 상기 하나 또는 다수의 키워드에 기초하여 하나 또는 다수의 콘텐츠 아이템의 리스트를 식별하는 단계와, 제2 이미지를 생성하도록 상기 콘텐츠 아이템 리스트로부터 선택된 제1 콘텐츠 아이템을 상기 제1 이미지에 추가하는 단계와, 상기 제2 이미지를 상기 자율 주행 차량 내의 표시 장치에 표시하는 단계;를 포함할 수 있다.
제3 양태에 있어서, 본 출원은 자율 주행 차량 내의 표시 장치에 표시하기 위한 데이터 처리 시스템을 제공하고, 상기 데이터 처리 시스템은 프로세서 및 명령어를 저장하고자 상기 프로세서에 연결된 메모리 장치를 포함할 수 있으며, 상기 명령어가 상기 프로세서에 의해 실행될 경우, 상기 프로세서가 자율 주행 차량 내에서 콘텐츠를 표시하는 조작을 수행하도록 하고, 상기 조작은, 상기 자율 주행 차량 외부의 물리적 대상의 제1 이미지를 수신하되, 상기 제1 이미지는 상기 자율 주행 차량에 연결된 이미지 센서에 의해 포착되는 단계와, 상기 물리적 대상에 관련된 하나 또는 다수의 키워드를 도출하도록 상기 제1 이미지에 대해 이미지 인식을 수행하는 단계와, 상기 하나 또는 다수의 키워드에 기반하여 하나 또는 다수의 콘텐츠 아이템의 리스트를 식별하는 단계와, 제2 이미지를 생성하도록 상기 콘텐츠 아이템 리스트로부터 선택된 제1 콘텐츠 아이템을 상기 제1 이미지에 추가하는 단계와, 상기 제2 이미지를 상기 자율 주행 차량 내의 표시 장치에 표시하는 단계;를 포함할 수 있다.
첨부된 도면의 각 도형에서 본 발명의 실시예들을 한정적인 방식이 아닌 예시적인 방식으로 도시하였고, 첨부된 도면에 있어서, 동일한 첨부 기호는 유사한 소자들을 지칭한다.
도 1A는 본 발명의 일 실시예에 따른각각 콘텐츠 표시 장치를 포함하는 하나 또는 다수의 자율 주행 차량을 나타내는 블록도이다.
도 1B는 본 발명의 일 실시예에 따른 자율 주행 차량에 이용되는 콘텐츠 렌더링 처리절차 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 모듈을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 콘텐츠 선택 엔진을 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 콘텐츠 표시 모듈을 나타내는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 콘텐츠 아이템을 선택하고 표시하는 과정을 나타내는 흐름도이다.
도 6은 본 발명의 다른 일 실시예에 따른 콘텐츠 아이템을 선택하고 표시하는 과정을 나타내는 흐름도이다.
도 7은 일 실시예에 따른 차량탑재용 콘텐츠 표시 장치를 나타내는 블록도이다.
이하에서 설명되는 세부 사항을 참조하여 본 발명의 각종 실시예 및 양태들에 대해 설명할 것인바, 첨부된 도면은 각 실시예들을 나타낸다. 아래의 설명 및 도면들은 본 발명의 예시일 뿐, 본 발명을 한정하는 것으로 이해해서는 안된다. 본 발명의 각 실시예들에 대해 충분히 이해하도록 여러 구체적인 세부 사항들에 대해 설명한다. 그러나, 일부 실시예들에 있어서, 본 발명에 대한 설명을 간결히 하기 위해, 공지된 또는 종래의 세부 사항들은 생략하기로 한다.
본 명세서에서 “일 실시예(one embodiment)” 또는 “실시예(an embodiment)”라고 지칭하는 것은 실시예와 결합하여 설명한 구체적인 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함될 수 있음을 의미한다. 본 명세서의 여러 부분에서 관용구 “일 실시예에 있어서”가 나타날 경우, 이는 항상 동일한 실시예를 가리켜야만 하는 것은 아니다.
본 발명의 실시예들은 바람직하게 실시간 방식으로 자율 주행 차량 외부의 물리적 대상에 관련된 콘텐츠 아이템을 선택하고, 해당 물리적 대상에 대한 탑승자의 뷰를 증강하는 방식으로 차량의 탑승자에게 콘텐츠를 표시하는 것을 통하여 종래의 시스템의 한계를 극본한다.
일 실시예에 있어서, 차량탑재용 장치는 이미지 처리 모듈, 콘텐츠 선택 엔진, 콘텐츠 렌더링 모듈 및 콘텐츠 표시 모듈을 포함한다. 이미지 처리 모듈은 차량에 설치된 카메라로부터 이미지를 수신하고, 이미지 인식 과정을 수행하여 해당 이미지로부터 외부의 물리적 대상를 인식한다. 다음, 이미지 처리 모듈은 인식된 물리적 대상에 관련된 하나 또는 다수의 키워드 또는 관심 포인트(POI)를 확정한다. 콘텐츠 선택 엔진은 상기 키워드에 기초하여 하나 또는 다수의 콘텐츠 아이템을 검색하고 식별한다. 이어서 이러한 콘텐츠 아이템들에 대해 랭킹을 진행하고, 콘텐츠 선택 엔진은 랭킹된 콘텐츠 아이템들 중 적어도 하나를 표시하고자 선택한다. 이미지 렌더링 모듈은 예를 들어 선택된 콘텐츠 아이템을 이미지에 추가(augment)하여 증강 이미지를 생성하는 방식으로 렌더링을 진행한다. 콘텐츠 표시 모듈은 차량의 탑승자에게 물리적 대상의 뷰에 관련된 위치에서 물리적 대상에 대한 탑승자의 뷰를 증강시킨 상기 선택된 콘텐츠 아이템을 표시한다.
선택된 콘텐츠 아이템을 이미지에 슈퍼임포즈(superimpose)하여 증강 이미지를 생성한다. 다음, 증강 이미지를 표시 장치에 표시한다. 표시 장치는 일반적인 차량의 윈도우처럼 보여지도록 구성될 수 있다. 사용자가 표시 장치를 관람할 경우, 사용자가 일반적인 윈도우를 통해 물리적 대상을 관람하듯이 물리적 대상은 가상 현실 방식으로 가상 대상으로 표시된다. 표시 장치는 증강 현실(AR) 환경과 유사한 또는 이를 시뮬레이션한 증강 이미지 스트림(예를 들어, 증강된 비디오)을 실시간으로 표시할 수 있다. 표시 장치는 대화식 터치 스크린을 포함하여 탑승자가 예를 들어 콘텐츠 아이템의 관람을 수행하거나, 콘텐츠 아이템이 추천한 동작을 취하거나, 콘텐츠 아이템에 의해 제공된 선택항들에 대해 선택하거나, 또는 콘텐츠 아이템을 즉시 삭제함으로써 콘텐츠 아이템에 대해 응답할 수 있다.
일 실시예에 있어서, 자율 주행 차량 외부의 물리적 대상의 제1 이미지를 수신하되, 상기 제1 이미지는 자율 주행 차량에 부착된 이미지 센서에 의해 포착된 것이다. 제1 이미지는 카메라에 의해 실시간으로 포착된 진행중인 비디오 스트림의 일부분일 수 있다. 제1 이미지에 대해 이미지 인식을 수행하여 물리적 대상에 관련된 하나 또는 다수의 키워드를 도출한다. 상기 하나 또는 다수의 키워드에 기반하여 하나 또는 다수의 콘텐츠 아이템들의 리스트를 식별한다. 콘텐츠 아이템 리스트로부터 선택된 제1 콘텐츠 아이템을 제1 이미지에 추가하여(augment) 제2 이미지를 생성한다. 제2 이미지를 자율 주행 차량 내부의 표시 장치에 표시한다.
도 1A는 본 발명의 일 실시예에 따른 각각 콘텐츠 표시 장치를 포함하는 하나 또는 다수의 자율 주행 차량을 나타내는 블록도이다. 도 1A에 N개의 자율 주행 차량 중의 2개(즉, 106 및 106N)를 도시하였으나, 더 적은 또는 더 많은 수량의 자율 주행 차량이 적용될 수도 있다. 설명의 목적으로 주요하게 자율 주행 차량(106)을 참조하기로 한다. 무인 자동차, 자율 주행차 또는 로봇 자동차로 알려진 자율 주행 차량은 인간 입력이 없는 상황 또는 최소한의 인간 입력만 구비한 상황에서 그의 환경을 감지하고 내비게이션할 수 있다. 자율 주행 차량은 센서 시스템(130)을 이용하여 주위 환경을 감지하고, 상기 센서 시스템(130)은 레이더, LIDAR(레이저 광을 이용한 레이더에 기초한 거리 감지), GPS, 주행 거리 측정법(모션 센서 데이터를 이용하여 시간에 따른 위치변화를 추산함), 및 컴퓨터 비전(예를 들어, 다양한 머신 러닝 및 패턴 인식 소프트웨어를 구비한 카메라)를 포함할 수 있다.
자율 주행 차량(106)에 설치된 콘텐츠 표시 장치(108)는 주의를 끌수 있는 방식으로 자율 주행 차량(106)의 탑승자에게 콘텐츠 아이템을 표시하는 차량탑재용 콘텐츠 표시 장치이다. 탑승자는 자율 주행 차량의 승객 또는 차량의 자동운전 기능 제어를 책임지는 “운전자”일 수 있다. 콘텐츠 표시 장치(108; 또는 콘텐츠 전송 시스템 또는 모듈)는 이미지 처리 모듈(110), 콘텐츠 선택 엔진(112), 이미지 렌더링 모듈(113), 및 콘텐츠 표시 모듈(114)을 포함한다. 이미지 처리 모듈(110)은 자율 주행 차량(106)에 설치된 카메라로 포착된 차량의 주위환경의 이미지를 수신하고, 상기 이미지 속의 물리적 대상을 인식하며, 상기 물리적 대상에 관련된 하나 또는 다수의 키워드를 추출하도록 구성된다. 콘텐츠 선택 엔진(112)은 콘텐츠 저장 장치(120)에 저장된 선택 가능한 콘텐츠 아이템들 중에서 콘텐츠 표시 모듈(114)을 통해 탑승자에게 표시하고자 하는 하나 또는 다수의 콘텐츠 아이템을 선택한다. 이미지 렌더링 모듈(113)은 예를 들어 이미지 처리 모듈(110)에 의해 처리된 이미지를 콘텐츠 데이터 베이스(140)에서 선택된 콘텐츠 아이템으로 증강함으로써 콘텐츠를 렌더링한다. 본 발명의 각 실시예 따르면, 콘텐츠 표시 모듈(114)은 상기 콘텐츠 아이템을 탑승자에게 표시한다. 아래에 도 2, 도 3 및 도 4를 참조하여 콘텐츠 표시 장치(108)의 이러한 각 부재들에 대해 더 상세히 설명할 것이다.
이미지는 카메라에 의해 실시간으로 포착된 진행중인 비디오 스트림의 일부분일 수 있다. 표시 장치는 증강 현실 환경과 유사하거나 증강 현실 환경을 시뮬레이션한 증강 이미지의 스트림(예를 들어, 증강 비디오)을 실시간으로 표시할 수 있다. 증강 현실(AR)은 컴퓨터로 생성된 감각 입력(예를 들어, 음성, 비디오, 그래픽 또는 GPS 데이터)에 의해 증강된 요소를 포함한 물리적인 실제 환경의 라이브의 직접적 또는 간접적인 뷰이다. 이는 매개 현실로 불리는 더욱 보편화된 개념에 관련되고, 상기 매개 현실에서 현실의 뷰가 컴퓨터에 의해 수정된다(심지어 증강이 아니라 약화될 수도 있다). 결과적으로, 상기 기술은 한 사람이 현실에 대한 인식을 강화함으로써 그 기능을 발휘한다. 반면에, 가상 현실은 시뮬레이션된 세계로 현실 세계를 대체한다. 증강은 예를 들어, 경기 중 TV 상의 스포츠 득점과 같이, 통상적으로 실시간 형식이고 환경적 요소를 구비한 어의적인 상황하에 존재한다. 선진 AR 기술(예를 들어, 컴퓨터 비전 및 대상 인식을 추가하는 것)의 도움으로, 사용자 주위의 현실 세계에 관한 정보는 대화적이고 디지털화한 방식으로 조정 가능하게 된다. 환경 및 그 대상들에 대한 정보가 현실 세계에 오버레이된다. 예를 들어, 실제로 감지된 또는 측정된 현실 정보(예를 들어, 공간에서의 실제 위치에 정확하게 맞추어 오버레이되는 전자기 무선 전파)와 같이, 이러한 정보는 가상이거나 현실적인 것일 수 있다.
하나 또는 다수의 자율 주행 차량은 네트워크(104)를 통해 서버(102)에 연결된다. 네트워크(104)는 임의의 유형의 모바일 또는 무선 네트워크일 수 있으며, 예를 들어, 무선 근거리 통신망(WLAN), 또는 인터넷, 위성 액세스 네트워크, 임의의 셀룰러 네트워크(예를 들어, 각종 2G, 3G 및 4G셀룰러 네트워크)와 같은 광역 통신망(WAN) 또는 이들의 임의의 조합일 수 있다.
서버(102)는 콘텐츠 아이템을 저장하기 위한 콘텐츠 저장 장치(120)와 상이한 사용자에 대해 사용자 프로필을 저장하기 위한 사용자 프로필 저장 장치(122)를 포함한다. 콘텐츠 데이터 베이스(140) 및 자율 주행 차량에 탑승한 사용자의 사용자 프로필(132)은 각각 서버(102)의 콘텐츠 저장 장치(120) 및 사용자 프로필 저장 장치로부터 업로드될 수 있다. 서버(102)는 적어도 하나의 프로세서와 프로세서에 의해 실행될 데이터 및 명령어를 저장하기 위한 기억 장치를 더 포함하고, 상기 프로세서와 기억 장치는 도 1A에 도시되지 않는다. 자율 주행 차량(106 및 106N) 중의 각각은 콘텐츠 아이템 및 사용자 프로필을 검색하기 위하여 서버(102)와 통신한다. 또 자율 주행 차량(106 및 106N)은 서버(102)에 업데이트 콘텐츠(예를 들어, 사용자 대화)를 발송하여 사용자 프로필의 최신 상태를 유지할 수 있다. 예를 들어, 서버(102)는 프로필 컴파일러(미도시)를 호출하여 수집되고 있는 사용자 상호작용에 대해 주기적으로 분석하고 관련 사용자 프로필을 컴파일하거나 업데이트할 수 있다. 일 실시예에 있어서, 사용자 프로필은 자율 주행 차량(106) 로칼에 저장되거나 캐시된다. 아래와 같은 상황일 수 있다. 즉, 자율 주행 차량(106)은 서버(102)에 대한 네트워크 액세스 권한이 항상 있는 것이 아닐 수 있음으로 사용자 프로필을 자율 주행 차량(106)의 로칼 저장 장치 속에 로딩하는 것은 자율 주행 차량(106)에 유리하다.
콘텐츠 저장 장치(120) 및 사용자 프로필 저장 장치(122)는 모두 다양한 형식으로 데이터를 저장하고 정리할 수 있다. 데이터는 비휘발성 저장 장치(예를 들어, 하드 디스크와 같은 영구형 저장 장치)에 위치한 정규 파일로서 저장될 수 있다. 선택적으로, 데이터는 시스템이 시작되는 동안 서버(102)에 의해 다른 한 위치로부터 검색되고 기억 장치에 로딩되는 방식으로 오직 서버(102)의 기억 장치에만 존재할 수 있다. 데이터는 또한 하나 또는 다수의 데이터 베이스에 저장되어, 예를 들어 특정 데이터 베이스 관리 시스템에서 지원되는 SQL(구조화 질의 언어)을 사용하는 애플리케이션을 이용하여 복잡한 데이터 질의를 지원할 수 있다. 해당 분야에서 통상의 지식을 가진 자는 콘텐츠 저장 장치(120) 및 사용자 프로필 저장 장치(122)에 데이터를 저장하고 정리하기 위하여 여러가지 경우에서 각각 어떤 형식을 선택해야 하는지에 대해 이해할 것이다.
콘텐츠 저장 장치(120)에 저장된 콘텐츠 아이템의 예시로는, 정보 미디어 또는 텍스트 콘텐츠, 엔터테인먼트를 위한 짧은 미디어 클립, 뉴스 아이템, 구독에 기반한 임의의 콘텐츠 아이템 등이 포함되나, 이에 한정되지 않는다. 일 실시예에 있어서, 적어도 일부의 콘텐츠 아이템들은 대화식으로 표시될 수 있고, 콘텐츠 아이템의 관람자가 콘텐츠 아이템에 대해 응답할 수 있도록 한다. 관람자로부터의 이러한 응답에는, 예를 들어, 콘텐츠 아이템의 관람을 완전히 완료하거나, 콘텐츠 아이템이 추천한 동작을 취하거나, 콘텐츠 아이템을 포워딩하고자 하는 전화번호 또는 이메일 주소를 제공하거나, 관람자가 앞으로 기타 유사한 콘텐츠 아이템을 수신하는 것에 대해 얼마나 관심이 있는지를 나타내는 등급 평가를 제공하거나, 그 어떤 이유로 콘텐츠 아이템을 삭제하는 것 등이 있을 수 있다.
사용자 프로필에 포함된 정보는 사용자의 과거 행위 패턴 및/또는 사용자가 수신하기를 원하는 콘텐츠 아이템에 대한 선호사항, 탑승자의 인구통계학 정보 등을 포함할 수 있으나 이에 한정되지 않는다. 사용자 상호작용의 과거기록(예를 들어, 과거 로그)은 차후에 콘텐츠 선택에 사용될 수 있고, 상기 콘텐츠 선택에 있어서, 사용자의 상호작용 기록은 데이터 수집 시스템(미도시)에 의해 수집될 수 있다.
도 1A에 도시된 구성은 단지 설명의 목적으로만 설명됨을 유의하여야 한다. 기타 구현방식도 존재할 수 있다. 다른 일 실시예에 따르면, 일부 조작들은 자율 주행 차량(106)이 아니라 서버(102)에서 수행될 수도 있다. 예를 들어, 이미지 처리 모듈(110) 및/또는 콘텐츠 선택 엔진(112)은 서버(102)에서 유지 관리될 수 있다. 자율 주행 차량(106)은 포착된 이미지가 서버(102)에서 처리되고 인식되도록 포착된 이미지를 간단하게 서버(102)에 전송할 수 있다. 서버(102)에서 콘텐츠 아이템 리스트를 인식할 수 있다. 선택된 콘텐츠 아이템을 증강하고자 다시 자율 주행 차량(106)에 전송될 수 있다. 선택적으로, 이미지 렌더링 모듈(113)은 선택된 콘텐츠 아이템을 이미지 상에 추가하고, 증강된 이미지를 다시 자율 주행 차량(106)에 반환하도록 서버(102)에서 유지 관리될 수도 있다. 기타 구성이 존재할 수도 있다.
도 1B는 본 발명의 일 실시예에 따른 자율 주행 차량에 대해 콘텐츠를 렌더링하기 위한 처리절차 흐름도이다. 과정(180)은 도 1A의 자율 주행 차량(106)에 의해 수행될 수 있다. 도 1B를 참조하면, 자율 주행 차량의 센서 시스템(130; 예를 들어, 하나 또는 다수의 카메라)는 물리적 대상(182)의 이미지(184)를 포착한다. 물리적 대상(182)은 길가의 건물, 표지판(예를 들어, 프로모션, 대상의 설명)일 수 있다. 카메라는 일반적인 차량의 일반적인 윈도우가 장착될 위치에 설치될 수 있다. 따라서, 이미지(184)는 사용자의 시각에서 윈도우를 통해 차량 밖을 바라보는 뷰(이러한 구성은 증강된 가상 현실 환경으로 불리기도 함)를 표시할 수 있다. 자율 주행 차량 내에는 윈도우가 없을 수 있다. 반면에, “윈도우”는 표시 장치(즉, 차창의 형태로 성형 제작된 평면 스크린 또는 곡면 스크린 표시 장치)로 표현되거나 대체될 수 있다. 표시 장치는 마치 사용자가 투명 윈도우를 통해 실제 물리적인 콘텐츠를 관람하거나 보듯이, 하나 또는 다수의 적절한 카메라를 통해 실시간 동적으로 포착한 이미지 또는 이미지 스트림(예를 들어, 비디오)을 표시한다. 각 “윈도우”(예를 들어, 표시 장치)에 대해, 실시간으로 표시될 대응되는 콘텐츠를 스트리밍하기 위한 대응되는 표시 채널이 존재하며, 상기 대응되는 콘텐츠는 적어도 콘텐츠 표시 장치(108)를 포함하는 증강 현실 시스템에 의해 집중적으로 처리될 수 있다.
다시 도 1B를 참조하면, 이미지(184)는 이미지 처리 모듈(110)에 의해 처리되고, 이미지 처리 모듈(110)은 하나 또는 다수의 키워드 또는 관심 포인트(192; POI)를 도출하도록 이미지(184)에 대해 이미지 인식을 진행한다. 예를 들어, 도출된 키워드는 포착된 이미지(예를 들어, 키워드를 포함한 표지판 또는 키워드를 포함한 표지판을 구비한 건물)에 포함될 수 있다. 선택적으로, 키워드는 이미지(184)의 콘텐츠에 기반하여 도출될 수 있다(예를 들어, 이미지의 콘텐츠에 어의적으로 관련될 수 있음). 이미지 처리 모듈(110)은 이미지에 의해 표시된 콘텐츠의 카테고리를 확정하도록 이미지의 콘텐츠에 대해 분석을 진행할 수 있다.
콘텐츠 선택 모듈 또는 엔진(112)은 키워드(192)에 따라 콘텐츠 데이터 베이스(140)에서 검색을 진행하여 콘텐츠 아이템 리스트를 식별한다. 랭킹 알고리즘에 기반하여 콘텐츠 아이템에 대해 랭킹을 진행할 수 있다. 콘텐츠 아이템의 랭킹은 사용자의 사용자 프로필(예를 들어, 사용자의 이전 상호작용 기록) 및 기타 정보(예를 들어, 위치 및 노선 정보, 실시간 교통 정보, 노선에 따른 관심 포인트)에 기초하여 확정될 수 있다. 다음, 콘텐츠 아이템 후보 리스트로부터 콘텐츠 아이템(186)을 선택한다. 이미지 렌더링 모듈(113)은 콘텐츠 아이템(186)을 이미지(184) 상에 통합 또는 추가하여 증강 이미지(188)를 생성한다. 예를 들어, 콘텐츠 아이템(186)은 이미지(184) 상에 슈퍼임포즈될 수 있다. 콘텐츠 아이템(186)은 텍스트 또는 기타 이미지일 수 있다. 다음, 콘텐츠 표시 모듈(114)을 통해 증강 이미지(188)를 표시 장치(190)에 표시한다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 모듈을 나타내는 블록도이다. 도 2에서, 이미지 처리 모듈(210)은 이미지 인식 모듈(212) 및 이미지 분석 모듈(214)을 포함한다. 이미지 처리 모듈(210)은 차량의 주위 환경의 이미지를 수신하고, 해당 이미지에 관련된 하나 또는 다수의 키워드를 확정하도록 구성된다. 더 구체적으로, 이미지 처리 모듈(210)은 차량에 설치된 카메라(202; 센서 시스템(130)의 일부분임)로부터 이미지를 수신하고, 해당 이미지로부터 외부의 물리적 대상을 인식한다. 다음, 이미지 처리 모듈(210)은 인식된 물리적 대상에 관련된 하나 또는 다수의 키워드 또는 POI를 확정한다. 이미지를 해당 이미지에 관련된 하나 또는 다수의 키워드로 전환하는 것은 자동 이미지 주식, 자동 이미지 태깅 또는 언어 색인으로 알려져 있다. 이는 컴퓨터 시스템이 컴퓨터 비전 기술을 이용하여 키워드와 같은 메타 데이터를 자동적으로 디지털 이미지에 할당하는 처리과정이다. 컴퓨터 비전, 인공 지능, 기계 학습 또는 패턴 인식 분야에서 통상의 지식을 가진 자는 상기 기법을 이용하여 이러한 기능들을 실현하는 방법에 대해 이해할 것이다.
이미지 인식 모듈(212)은 자율 주행 차량의 하나 또는 다수의 카메라로부터 이미지를 수신하고, 해당 이미지로부터 물리적 대상을 인식하도록 구성된다. 예를 들어, 이미지 속의 물리적 대상은 영화관, 쇼핑 몰 또는 판매 정보를 포함한 고속도로 광고판일 수 있다. 일 실시예에 있어서, 이미지 인식 모듈(212)은 자율 주행 차량이 노선을 따라 주행하는 동안 지속적으로 작동한다.
이미지 분석 모듈(214)은 물리적 대상에 대해 분석을 진행하여 물리적 대상에 관련된 하나 또는 다수의 키워드를 확정하도록 구성된다. 다음, 이미지 처리 모듈(210)은 키워드를 콘텐츠 선택 엔진(112)에 제공하여 콘텐츠 선택 엔진(112)이 이러한 키워드에 기초하여 콘텐츠 아이템을 선택하도록 한다. 이미지가 하나 이상의 인식된 물리적 대상을 포함할 경우, 각 물리적 대상은 각자에 관련된 키워드를 확정하도록 이미지 분석 모듈(214)에 의해 개별적으로 분석될 수 있다.
도 3은 본 발명의 일 실시예에 따른 콘텐츠 선택 엔진을 나타내는 블록도이다. 콘텐츠 선택 엔진(312)은 콘텐츠 맵핑 모듈(302), 콘텐츠 검색 모듈(304), 및 콘텐츠 아이템 랭킹 모듈(306)을 포함한다. 아래에서 더 상세히 설명된 것과 같이, 콘텐츠 선택 엔진(312)은 차량의 탑승자에게 표시하고자 여러가지 요소들에 기초하여 이미지 처리 모듈(110)에 의해 제공된 키워드에 관련된 콘텐츠 아이템을 선택한다.
콘텐츠 맵핑 모듈(302)은 이미지 처리 모듈(110)에 의해 제공된 키워드에 연관된 하나 또는 다수의 콘텐츠 아이템에 대해 매칭을 진행한다. 예를 들어, 콘텐츠 맵핑 모듈(302)은 색인에 대해 조회할 수 있다. 색인은 다수의 맵핑 엔트리를 포함하고, 각 맵핑 엔트리는 하나의 키워드를 하나 또는 다수의 이미지를 식별하는 하나 또는 다수의 이미지 식별자(ID)에 맵핑시킨다. 상기 색인은 예를 들어 서버(102)에서 사전에 컴파일되고, 자율 주행 차량에 다운로드될 수 있다. 일 실시예에 있어서, 각 후보 콘텐츠 아이템은 해당 콘텐츠 아이템의 일부 측면들을 특징짓는 하나 또는 다수의 키워드에 연관된다. 각 콘텐츠 아이템의 이러한 정보는 색인 키가 키워드이고 색인된 아이템이 콘텐츠 아이템인 검색 색인으로서 저장된다. 콘텐츠 맵핑 모듈(302)은 매칭된 콘텐츠 아이템의 식별 정보를 콘텐츠 검색 모듈(304)에 제공할 수 있다.
콘텐츠 검색 모듈(304)은 매칭된 콘텐츠 아이템의 식별 정보를 이용하여 네트워크(104)를 통해 서버(102)로부터 해당 콘텐츠 아이템을 검색한다. 일 실시예에 있어서, 콘텐츠 표시 장치(108)는 모든 후보 콘텐츠 아이템들의 로칼 복사본을 저장할 수 있다. 다른 일 실시예에 있어서, 콘텐츠 표시 장치(108)는 매칭된 콘텐츠 아이템을 검색함과 동시에, 특히 자율 주행 차량(106)이 무료 Wi-Fi 네트워크에 접속함으로써 네트워크(104)에 연결된 경우에 매칭되지 않았으나 유사한 콘텐츠 아이템을 검색할 수 있다. 각 후보 콘텐츠 아이템은 콘텐츠 아이템에 관한 일부 기본 정보를 제공하는 메타 데이터에 연관되고, 상기 메타 데이터는 예를 들어, 매칭 키워드가 “영화관”일 경우 새 영화 콘텐츠 아이템(예를 들어, 예고편)에 관한 전기(biographic) 정보일 수 있다.
일 실시예에 있어서, 콘텐츠 아이템 랭킹 모듈(306)은 검색된 각 콘텐츠 아이템의 메타 데이터 및 탑승자의 과거 행위 패턴 및/또는 선호사항에 기반하여 검색된 콘텐츠 아이템에 대해 랭킹을 진행한다. 이를 위해, 콘텐츠 아이템 랭킹 모듈(306)은 서버(102)로부터 탑승자의 사용자 프로필도 검색하고, 상기 사용자 프로필은 탑승자의 과거 행위 패턴 및/또는 선호사항 정보(예를 들어, 사용자 또는 기타 유사한 사용자의 이전 상호작용 기록)를 포함한다. 선택적으로, 탑승자는 자신의 사용자 프로필을 자율 주행 차량(106)에 저장할 수 있다. 추가로 또는 선택적으로, 검색된 콘텐츠 아이템의 랭킹은 추가로 하나 또는 다수의 기타 개인의 과거 행위 패턴 및/또는 선호사항에 기초할 수 있다. 일 실시예에 있어서, 검색된 콘텐츠 아이템의 랭킹은 탑승자 및/또는 하나 또는 다수의 기타 개인의 인구통계학 정보에 기반할 수 있다. 통상적으로, 사용자 또는 탑승자가 사용자 정보 및 노선 정보(예를 들어, 시작 위치 및 목적지)를 입력할 경우, 예를 들어 중앙집중식 서버(102) 또는 로칼 저장 장치로부터 사용자의 사용자 프로필을 획득할 수 있다. 일 실시예에 있어서, 검색된 콘텐츠 아이템의 랭킹은 차량 상황 정보에 기반할 수 있다. 차량 상황 정보는 현재 시간, 차량 위치, 노선, 현재 교통 상황 및 차량 상태를 포함하나 이에 한정되지 않는다.
랭킹 스코어에 대한 계산은 콘텐츠 기반, 협동 기반 또는 하이브리드 접근방식일 수 있다. 콘텐츠 기반의 랭킹 방법은 콘텐츠 아이템의 설명 및 사용자의 선호사항의 프로필에 기초한다. 콘텐츠 기반의 랭킹에 있어서, 키워드를 이용하여 콘텐츠 아이템을 묘사하고, 사용자 프로필은 해당 사용자가 좋아하는 아이템의 유형을 나타내도록 구축된다. 다시 말하면, 이러한 알고리즘들은 사용자가 과거에 좋아했던 아이템과 유사한 아이템을 우선으로 랭킹을 진행하도록 시도한다. 협동적 랭킹은 다수의 사용자 사이의 협동에 관한 것이고, 대체로 아래와 같은 단계들을 포함한다. 1) 현재 사용자(예를 들어, 선택된 콘텐츠 아이템을 관람할 차량의 탑승자)와 동일한 등급 평가 패턴을 가지는 사용자들을 찾고 2) 단계 1)에서 찾은 취향이 유사한 사용자들의 랭킹 스코어를 이용하여 현재 사용자에 대해 예측 스코어를 산출한다. 하이브리드 접근방식은 콘텐츠 기반의 랭킹과 형동 기반의 랭킹을 결합하고 일부 경우에서 더욱 효율적일 수 있다.
도 4는 본 발명의 일 실시예에 따른 콘텐츠 표시 모듈을 나타내는 블록도이다. 도 4에서, 콘텐츠 표시 모듈(416)은 콘텐츠 아이템을 탑승자에게 표시하기 위한 표시 장치(414)를 포함한다. 일 실시예에 있어서, 표시 장치(414)는 콘텐츠 아이템을 텍스트, 화면 또는 비디오 콘텐츠로 표시하도록 작동할 수 있다. 표시 장치(414)는 차량의 탑승자가 표시된 콘텐츠 아이템에 응답하도록 하나 또는 다수의 입력 장치(420)를 포함한다. 추가로 또는 선택적으로, 콘텐츠 표시 모듈(416)은 표시 장치(414)의 일부분이 아닌 하나 또는 다수의 입력 장치(422)를 포함할 수 있다.
입력 장치를 구비함으로써, 표시 장치(414)는 대화식 콘텐츠 아이템을 탑승자에게 전송하는 것을 지원한다. 이러한 표시는 예를 들어 콘텐츠 아이템이 아래와 같은 하나 또는 다수의 단계를 포함할 수 있다는 점에서 상호작용적이다. 즉, 후속 단계들 중의 어느 한 단계를 표시할 지는 입력 장치(420 또는 422)에 의한 탑승자의 응답에 따라 결정된다. 탑승자의 응답에는 콘텐츠 아이템의 관람을 완료하거나, 콘텐츠 아이템이 추천한 동작을 취하거나, 콘텐츠 아이템에 의해 제공된 선택항들 중에서 선택을 진행하거나, 곧바로 콘텐츠 아이템을 삭제하는 것이 포함되나 이에 한정되지 않는다. 통상적으로, 상기 응답은 탑승자가 콘텐츠 아이템을 관람하는 것에 대해 관심이 있는지 및/또는 얼마나 관심이 있는지를 나타낼 수 있고, 차후의 기타 유사한 콘텐츠 아이템에 대한 탑승자의 응답을 예측하는데 사용될 수 있다. 일 실시예에 있어서, 탑승자의 응답 중의 각각을 기록하여 탑승자의 사용자 프로필을 구축하거나 기존 사용자 프로필을 개선한다. 콘텐츠 표시 장치(108)는 서버(102)가 응답들을 통합하고 그에 맞춰 사용자 프로필을 업데이트하도록 응답 정보를 주기적으로 서버(102)에 발송하도록 구성된다.
일 실시예에 있어서, 표시 장치는 물리적 대상이 표시 장치를 통해 보일 수 있는 정도로 탑승자에게 투명하다. 탑승자의 시각으로 부터 보면, 표시 장치에 표시되는 콘텐츠 아이템의 위치는 표시 장치 상의 물리적 대상의 투영에 근사하다. 따라서, 탑승자가 착석한 상태에서 각 방향으로 조금씩 움직일 경우, 표시 장치에 표시되는 콘텐츠 아이템도 탑승자가 물리적 대상을 보는 시각에 따라 움직이게 된다.
일 실시예에 있어서, 표시 장치(414)는 차량의 바람막이, 하나 또는 다수의 차량 윈도우, 차량의 문 루프 또는 이들의 조합의 일부분이거나 상기 부재들에 내장된다. 상기한 바와 같이, 자율 주행 차량에 물리적인 윈도우가 없을 수 있다. 반면에, “윈도우”는 표시 장치(즉, 차창의 형태로 성형 제작된 평면 스크린 또는 곡면 스크린 표시 장치)로 표현되거나 대체될 수 있다. 표시 장치는 마치 사용자가 투명 윈도우를 통해 실제 물리적인 콘텐츠를 관람하거나 보듯이, 하나 또는 다수의 적절한 카메라를 통해 실시간 동적으로 포착한 이미지 또는 이미지 스트림(예를 들어, 비디오)을 표시한다. 각 “윈도우”(예를 들어, 표시 장치)에 대해, 실시간으로 표시될 대응되는 콘텐츠를 스트리밍하기 위한 대응되는 표시 채널이 존재하며, 상기 대응되는 콘텐츠는 적어도 콘텐츠 표시 장치(108)를 포함하는 증강 현실 시스템에 의해 집중적으로 처리될 수 있다.
일 실시예에 있어서, 표시 장치(414)는 천정형 표시 장치이고, 상기 천정형 표시 장치는 탑승자(특히 종래의 차량 속의 운전자)가 시선을 그들의 평상시의 시각 위치로부터 돌릴 필요가 없이 콘텐츠 아이템을 표시하는 투명한 표시 장치이다. 천정형 표시 장치는 또한 관람자의 눈이 시각적으로 더 가까운 기기를 본 후 외부를 보기 위해 다시 초점을 맞출 필요가 없는 장점을 갖고 있다.
도 5는 본 발명의 일 실시예에 따른 콘텐츠 아이템을 선택하고 표시하는 과정을 나타내는 흐름도이다. 과정(500)은 하드웨어(예를 들어, 회로, 전용 로직 등), 소프트웨어(예를 들어, 비일시적인 컴퓨터 판독 가능한 매체에 내장된 소프트웨어) 또는 이들의 조합을 포함한 처리 로직에 의해 수행될 수 있다. 예를 들어, 과정(500)은 콘텐츠 표시 장치(108)에 의해 수행될 수 있다.
도 5를 참조하면, 블록(502)에서, 처리 로직은 차량의 주위 환경의 이미지를 수신하고, 해당 이미지에 관련된 하나 또는 다수의 키워드를 확정한다. 상기 이미지는 차량의 카메라에 의해 포착될 수 있다. 처리 로직은 이미지 속의 물리적 대상을 인식하고 해당 물리적 대상에 관련된 하나 또는 다수의 키워드를 확정한다.
블록(504)에서, 처리 로직은 키워드에 기초하여 콘텐츠 데이터 베이스로부터 콘텐츠 아이템 후보 리스트를 식별한다. 후보 콘텐츠 아이템들 중의 각각은 하나 또는 다수의 키워드에 연관되고, 색인 키가 키워드이고 색인된 아이템이 콘탠츠 아이템인 색인에 대해 검색함으로써 매칭을 수행한다. 블록(506)에서, 처리 로직은 각 후보 콘텐츠 아이템의 메타 데이터와 탑승자의 과거 행위 패턴 및/또는 선호사항에 기반하여 검색된 콘텐츠 아이템들에 대해 랭킹을 진행한다. 탑승자의 과거 행위 패턴 및/또는 선호사항은 서버 상의 탑승자의 사용자 프로필에 액세스함으로써 획득 가능하다.
블록(508)에서, 처리 로직은 이미지와 콘텐츠 아이템을 통합(예를 들어, 콘텐츠 아이템을 이미지에 추가)하여 증강 이미지를 생성한다. 블록(510)에서, 처리 로직은 콘텐츠 아이템을 차량의 탑승자에게 표시하고, 상기 콘텐츠 아이템은 물리적 대상의 뷰에 관련된 위치에서 물리적 대상에 대한 탑승자의 뷰를 증강시킨다. 처리 로직은 상기 콘텐츠 아이템을 탑승자에게 투명한 표시 장치에 표시한다. 일 실시예에 있어서, 투명한 표시 장치는 천정형 표시 장치이다.
도 6은 본 발명의 다른 일 실시예에 따른 콘텐츠 아이템을 선택하고 표시하는 과정을 나타내는 흐름도이다. 과정(600)은 하드웨어(예를 들어, 회로, 전용 로직 등), 소프트웨어(예를 들어, 비일시적인 컴퓨터 판독 가능한 매체에 내장된 소프트웨어) 또는 이들의 조합을 포함한 처리 로직에 의해 수행될 수 있다. 예를 들어, 과정(600)은 콘텐츠 표시 장치(108)에 의해 수행될 수 있다.
도 6을 참조하면, 블록(602)에서, 처리 로직은 차량의 주위 환경의 이미지를 수신하고, 해당 이미지에 관련된 하나 또는 다수의 키워드를 확정한다. 상기 이미지는 차량의 카메라에 의해 포착될 수 있다. 처리 로직은 이미지 속의 물리적 대상을 인식하고 해당 물리적 대상에 관련된 하나 또는 다수의 키워드를 확정한다. 블록(604)에서, 처리 로직은 각 후보 콘텐츠 아이템의 메타 데이터, 탑승자의 과거 행위 패턴 및/또는 선호사항, 및 하나 또는 다수의 기타 개인의 과거 행위 패턴 및/또는 선호사항에 기반하여 키워드에 관련된 콘텐츠 아이템을 선택한다. 탑승자와 하나 또는 다수의 기타 개인의 과거 행위 패턴 및/또는 선호사항은 서버 상의 그들의 사용자 프로필을 액세스함으로써 획득 가능하다.
다음, 블록(606)에서, 처리 로직은 탑승자를 위해 대화식 표시 장치 상에 콘테츠 아이템을 표시한다. 대화식 표시 장치는 콘텐츠 아이템에 대응한 탑승자의 응답을 수신할 수 있고, 상기 응답은 탑승자가 콘텐츠 아이템에 대한 관심도를 나타낸다. 블록(608)에서, 처리 로직은 탑승자로부터 콘텐츠 아이템에 대한 응답을 수신한다. 일 실시예에 있어서, 이러한 응답에는 콘텐츠 아이템의 관람을 완료하거나, 콘텐츠 아이템이 추천한 동작을 취하거나, 콘텐츠 아이템에 의해 제공된 선택항들 중에서 선택을 진행하거나, 곧바로 콘텐츠 아이템을 삭제하는 것이 포함되나 이에 한정되지 않는다. 다음, 블록(610)에서, 처리 로직은 탑승자의 응답을 기록하고 탑승자의 사용자 프로필을 업데이트하여 탑승자의 응답을 통합한다. 상기 업데이트는 탑승자의 사용자 프로필을 구축하거나 기존의 사용자 프로필을 개선하는 것에 유용할 수 있다.
상기와 같은 자율 주행 차량은 하나 또는 다수의 센서를 구비한 센서 시스템을 포함할 수 있고, 상기 하나 또는 다수의 센서는 차량이 주행하고 있는 환경에 관한 정보를 감지하도록 구성된다. 차량과 그의 관련 제어 장치는 감지된 정보를 이용하여 환경 속에서 네비게이션하여 통과할 수 있다. 센서 시스템은 하나 또는 다수의 카메라, 마이크로 폰, 지구 측위 시스템(GPS), 내부 측정 유닛(IMU), 레이더 시스템 및/또는 광선 감지 및 거리 측정 (LIDAR) 시스템을 포함할 수 있다.
GPS 시스템은 자율 주행 차량의 지리적 위치를 추산할 수 있다. GPS 시스템은 자율 주행 차량의 위치에 관한 정보를 제공하도록 작동할 수 있는 트랜시버를 포함할 수 있다. IMU 유닛은 관성 가속도에 기초하여 자율 주행 차량의 위치 및 방향 변화를 감지할 수 있다. 레이더 유닛은 무선 신호를 이용하여 자율 주행 차량의 로칼 환경 속의 대상을 감지하는 시스템을 표시할 수 있다. 일부 실시예들에 있어서, 대상을 감지하는 것 외에, 레이더 유닛은 추가로 대상의 속도 및/또는 전진 방향을 감지할 수 있다. LIDAR 유닛은 레이저를 이용하여 자율 주행 차량이 위치한 환경 속의 대상을 감지할 수 있다. 기타 시스템 부재들 외에, LIDAR 유닛은 기타 하나 또는 다수의 레이저 소스, 레이저 스캐너, 및 하나 또는 다수의 탐지기를 포함할 수 있다. 카메라는 자율 주행 차량 주위 환경의 이미지를 포착하는 하나 또는 다수의 수단을 포함할 수 있다. 카메라는 스틸 카메라 또는 비디오 카메라일 수 있다. 카메라는 예를 들어 카메라가 설치된 플랫폼을 회전하거나 및/또는 틸팅함으로써 기계적으로 이동할 수 있다. 마이크로 폰은 자율 주행 차량의 환경으로부터 음성을 포착하도록 구성될 수 있다.
자율 주행 차량은 자율 주행 차량의 환경 속의 대상 및/또는 특징을 식별하기 위해 하나 또는 다수의 카메라에 의해 포착된 이미지를 처리하고 분석하는 컴퓨터 비전 시스템을 더 포함할 수 있다. 상기 대상에는 교통 신호, 도로 경계선, 기타 차량, 보행자, 및/또는 장애물 등을 포함될 수 있다. 컴퓨터 비전 시스템은 대상 인식 알고리즘, 비디오 트래킹 및 기타 컴퓨터 비전 기법을 사용할 수 있다. 일부 실시예들에 있어서, 컴퓨터 비전 시스템은 환경에 대해 맵을 생성하고, 대상을 트래킹하고, 대상의 속도를 추산하는 등 조작을 진행할 수 있다.
자율 주행 차량은 자율 주행 차량의 주행 경로를 확정하기 위한 내비게이션 시스템을 더 포함할 수 있다. 예를 들어, 내비게이션 시스템은 자율 주행 차량이 대체로 최종 목적지를 향한 도로에 기초한 경로에 따라 주행 시 감지된 장애물을 기본적으로 회피하면서 이동하도록 하는 일련의 속도 및 방향성 전진을 확정할 수 있다. 목적지는 사용자 인터페이스를 통한 사용자 입력에 의해 설정될 수 있다. 내비게이션 시스템은 자율 주행 차량이 주행하는 동안 주행 경로를 동적으로 업데이트할 수 있다. 내비게이션 시스템은 GPS 시스템과 하나 또는 다수의 지도로부터의 데이터를 통합하여 자율 주행 차량의 주행 경로를 확정할 수 있다.
자율 주행 차량은 자율 주행 차량의 환경 속의 잠재적인 장애물을 식별하고 추정하고 회피하거나 기타 방식으로 통과하도록 하는 충돌 회피 시스템을 더 포함할 수 있다. 예를 들어, 충돌 회피 시스템은 제어 시스템 중의 하나 또는 다수의 서브 시스템을 조작하여 방향을 바꾸는 동작, 선회 동작, 브레이킹 동작 등을 진행함으로써 자율 주행 차량의 내비게이션에서 변경을 실현할 수 있다. 충돌 회피 시스템은 주위의 교통 패턴, 도로 상황 등에 기초하여 실현 가능한 장애물 회피 동작을 자동적으로 결정할 수 있다. 충돌 회피 시스템은 기타 센서 시스템이 자율 주행 차량이 방향을 바꿔 진입하게 될 구역에 인접한 구역 내에서 차량, 공사 장애물 등을 탐측할 경우, 방향을 바꾸는 동작을 취하지 않도록 구성될 수 있다. 충돌 회피 시스템은 자동적으로 이용 가능할 뿐만 아니라 자율 주행 차량의 승객의 안전을 최대화시키는 동작을 선택할 수 있다. 충돌 회피 시스템은 자율 주행 차량의 승객실에서 최소량의 가속도를 발생시킬 것으로 예측되는 회피 동작을 선택할 수 있다.
자율 주행 차량은 자율 주행 차량과 그의 주위 환경 속의 장비, 센서, 기타 차량 등과 같은 외부 시스템 및/또는 제어 장치, 서버 등사이에서 통신이 가능하도록 하는 무선 통신 시스템을 더 포함할 수 있으며, 상기 외부 시스템 및/또는 제어 장치, 서버 등은 교통 정보, 기상 정보 등과 같은 차량 주위 환경에 관한 유용한 정보를 제공할 수 있다. 예를 들어, 무선 통신 시스템은 직접적으로 또는 통신망을 통해 하나 또는 다수의 장치와 무선으로 통신할 수 있다. 무선 통신 시스템은 임의의 셀룰러 통신망 또는 무선 근거리 통신망(WLAN)을 이용할 수 있고, 예를 들어, WiFi를 이용할 수 있다. 무선 통신 시스템은, 예를 들어 적외선 링크, 블루투스 등을 이용하여 장치와 직접 통신할 수 있다.
상기한 바와 같은 모듈 중의 일부 또는 모든 모듈들(예를 들어, 이미지 처리 모듈(110), 콘텐츠 선택 엔진(112), 콘텐츠 표시 모듈(114) 등)은 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있음을 유의하여야 한다. 예를 들어, 이러한 모듈은 영구형 저장 장치에 설치 및 저장된 소프트웨어로 구현될 수 있으며, 상기 소프트웨어는 프로세서(미도시)에 의해 메모리에 로딩되고 실행되어 본 출원 전체를 걸쳐 설명된 과정 또는 조작을 수행할 수 있다. 선택적으로, 이러한 모듈은 집적회로(예를 들어, 응용 주문형 IC 또는 ASIC), 디지털 신호 처리기(DSP) 또는 필드 프로그램 가능 게이트 어레이(FPGA)와 같은 전용 하드웨어에 프로그래밍된 또는 내장된 실행 가능한 코드로 구현될 수 있고, 상기 전용 하드웨어는 응용 프로그램으로부터 대응되는 드라이버 및/또는 운영 체제를 통해 접근될 수 있다. 또한, 이러한 모듈은 하나 또는 다수의 특정 명령을 통해 소프트웨어 부재로 접근 가능한 명령 세트의 일부로서, 프로세서 또는 프로세서 코어 중의 특정 하드웨어 로직으로 구현될 수 있다.
도 7은 본 발명의 일 실시예와 함께 사용할 수 있는 차량탑재용 콘텐츠 표시 시스템의 예시를 나타내는 블록도이다. 예를 들어, 시스템(700)은 상술한 과정 또는 방법 중의 임의의 하나를 수행하는 임의의 데이터 처리 시스템(예를 들어, 도 1A의 콘텐츠 표시 장치(108) 또는 서버(102))을 대표할 수 있다. 시스템(700)은 많은 다양한 모듈들을 포함할 수 있다. 이러한 모듈들은 집적회로(IC), 집적회로의 일부분, 이산형 전자기기 또는 컴퓨터 시스템의 머더보드 또는 애드인(add-in) 카드와 같은 회로판에 적합한 기타 모듈, 또는 기타 방식으로 컴퓨터 시스템의 섀시(chassis) 내에 통합된 모듈로 구현될 수 있다.
시스템(700)은 컴퓨터 시스템의 많은 부재들의 거시적인 시각에서의 도면을 나타내기 위한 것임을 유의해야 한다. 그러나, 일부 실시예에서는 추가된 증가된 부재가 존재할 수 있음을 이해해야 하고, 또한, 기타 실시예에 있어서, 설명된 부재들의 상이한 배치가 존재할 수 있음을 이해해야 한다. 시스템(700)은 데스크 톱 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 서버, 모바일 폰, 미디어 플레이어, 개인 휴대 정보 단말기(PDA), 스마트워치, 개인 휴대 통신기, 게이밍 디바이스, 네트워크 라우터 또는 허브, 무선 엑세스 포인트(AP) 또는 리피터, 셋톱박스 또는 이들의 조합을 표시할 수 있다. 또한, 단일 기계 또는 시스템을 도시하였으나, 용어 “기계” 또는 “시스템”은 한 세트(또는 다수의 세트)의 명령을 단독으로 또는 공동으로 실행하여 본 명세서에 기재된 방법 중 임의의 하나 또는 다수의 방법을 실행하는 기계 또는 시스템의 임의의 조합을 포함한다는 것으로 이해해야 한다.
일 실시예에 있어서, 시스템(700)은 버스 라인 또는 상호연결 장치(710)를 통해 연결된 프로세서(701), 메모리(703) 및 장치(705-708)를 포함한다. 프로세서(701)는 단일 프로세서 코어 또는 다수의 프로세스 코어를 포함한 단일 프로세서 또는 다수의 프로세서를 대표할 수 있다. 프로세서(1501)는 마이크로 프로세서, 중앙 처리 유닛(CPU) 등과 같은 하나 또는 다수의 범용 프로세서를 대표할 수 있다. 더욱 상세하게, 프로세서(701)는 복합 명령 집합 계산(CISC) 마이크로 프로세서, 축소 명령 집합 계산(RISC) 마이크로 프로세서, 긴 명령어 워드(VLIW) 마이크로 프로세서 또는 기타 명령 집합을 실현하는 프로세서, 또는 명령 세트의 조합을 실현하는 프로세서일 수 있다. 또 프로세서(701)는 응용 주문형 집적회로(ASIC), 셀룰러 또는 베이스밴드 프로세서, 필드 프로그램 가능 게이트 어레이(FPGA), 디지털 신호 처리기(DSP), 네트워크 프로세서, 그래픽 프로세서, 네트워크 프로세서, 통신 처리 장치, 암호화 프로세서, 코프로세서, 내장형 프로세서 또는 명령을 처리할 수 있는 기타 임의의 유형의 로직과 같은 하나 또는 다수의 특수 목적 프로세서일 수도 있다.
프로세서(701)는 상기 시스템의 각종 부재들과 통신하기 위한 메인 처리 유닛 및 중앙 허브로 작용할 수 있으며, 상기 프로세서(701)는 초저 전압 프로세서와 같은 저출력 다중 코어 프로세서 소켓일 수 있다. 이러한 프로세서는 시스템 온 칩(SoC)으로 구현될 수 있다. 프로세서(701)는 본 명세서에 기재된 동작 및 단계를 수행하기 위한 명령을 실행하도록 구성된다. 시스템(700)은 선택적인 그래픽 서브 시스템(704)과 통신하기 위한 그래픽 인터페이스를 더 포함할 수 있고, 상기 그래픽 서브 시스템(704)은 표시 제어 장치, 그래픽 프로세서 및/또는 표시 장치를 포함할 수 있다.
프로세서(701)는 일 실시예에서 다수의 메모리 장치로 구현되어 기정 량의 시스템 메모리를 제공할 수 있는 메모리(703)와 통신할 수 있다. 메모리(703)는 랜덤 액세스 메모리(RAM), 동적 RAM(DRAM), 싱크로너스 DRAM(SDRAM), 스태틱 RAM(SRAM)과 같은 하나 또는 다수의 휘발성 저장(또는 메모리) 장치 또는 기타 유형의 저장 장치를 포함할 수 있다. 메모리(703)는 프로세서(701) 또는 기타 임의의 장치로 실행되는 명령 서열을 포함하는 정보를 저장할 수 있다. 예를 들어, 다양한 운영 체제, 장치 드라이버, 펌웨어(예를 들어, 기본 입출력 체계 또는 BIOS) 및/또는 응용 프로그램의 실행 가능한 코드 및/또는 데이터는 메모리(703)에 로딩되어, 프로세서(701)에 의해 실행될 수 있다. 운영 체제는 임의의 유형의 운영 체제일 수 있으며, 예를 들어, Microsoft®의 Windows® 운영 체제, 애플의 Mac OS®/iOS®, Google®의 Android®, Linux®, Unix®, 또는 VxWorks과 같은 기타 실시간 또는 내장형 운영 체제일 수 있다.
시스템(700)은 네트워크 인터페이스 장치(705), 선택적인 입력 장치(706) 및 기타 선택적인 IO 장치(707)를 포함하는 장치(705-708)와 같은 IO 장치를 더 포함할 수 있다. 네트워크 인터페이스 장치(705)는 무선 트래시버 및/또는 네트워크 인터페이스 카드(NIC)를 포함할 수 있다. 무선 트랜시버는 WiFi 트랜시버, 적외선 트랜시버, 블루투스 트랜시버, WiMax 트랜시버, 무선 셀룰러 텔레포니 트랜시버, 위성 트랜시버(예를 들어, 전지구 측위 시스템(GPS) 트랜시버) 또는 기타 무선 주파수(RF) 트랜시버 또는 이들의 조합일 수 있다. NIC는 이더넷 카드일 수 있다.
입력 장치(706)는 마우스, 터치 패드, 터치 감응식 스크린(표시 장치(704)에 통합될 수 있음), 스타일러스와 같은 지시 장치, 및/또는 키보드(예를 들어, 물리적 키보드 또는 터치 감응식 스크린의 일부분으로 표시된 가상 키보드)를 포함할 수 있다. 예를 들어, 입력 장치(706)는 터치 스크린에 연결된 터치 스크린 제어 장치를 포함할 수 있다. 터치 스크린 및 터치 스크린 제어 장치는 예를 들어, 다수의 터치 감응 기술 중 임의의 하나 및 표면 탄성파 기술, 및 터치 스크린과의 하나 또는 다수의 접촉점을 결정하기 위한 기타 근접각 센서 어레이 또는 기타 소자를 이용하여 터치 스크린의 접촉 및 이동 또는 중단을 검출할 수 있다.
IO 장치(707)는 오디오 장치를 포함할 수 있다. 오디오 장치는 스피커 및/또는 마이크로 폰 을 포함함으로써 음성 인식, 음성 복제, 디지털 녹음 및/또는 텔레포니 기능과 같은 음성 지원 기능이 가능하도록 할 수 있다. 기타 IO 장치(707)는 범용 직렬 버스 라인(USB) 포트, 병렬 포트, 직렬 포트, 프린터, 네트워크 인터페이스, 버스 라인 브리지(예를 들어, PCI-PCI 브리지), 센서(예를 들어, 가속도계, 자이로스코프(gyroscope), 자력계, 광 센서, 나침판, 근접각 센서 등과 같은 동작 센서) 또는 이들의 조합을 더 포함할 수 있다. 장치(707)는 이미징 처리 서브 시스템(예를 들어, 카메라)를 더 포함할 수 있고, 상기 이미징 처리 서브 시스템은 고체 촬상 소자(CCD) 또는 상보형 금속산화 반도체(CMOS) 광학 센서와 같이, 사진 및 비디오 클립을 기록하는 것과 같은 카메라 기능을 향상하도록 하기 위한 광학 센서를 포함할 수 있다. 일부 센서는 센서 허브(미도시)를 통해 상호연결 장치(710)에 연결될 수 있고, 키보드 또는 온도 센서와 같은 기타 장치는 내장된 제어 장치(미도시)에 의해 제어될 수 있으며, 이는 시스템(700)의 구체적인 구성 또는 디자인에 의해 결정된다.
데이터, 응용 프로그램, 하나 또는 다수의 운영 체제 등에 대한 영구 저장을 제공하기 위해, 프로세서(701)에 대용량 저장 장치(미도시)가 연결될 수도 있다. 각종 실시예에 있어서, 더 얇고 가벼운 시스템 디자인을 실현하고 시스템 응답력을 향상시키기 위해, 상기 대용량 저장 장치는 고체 디바이스(SSD)를 통해 구현될 수 있다. 그러나, 기타 실시예에 있어서, 대용량 저장 장치는 주로 하드디스크 드라이브(HDD)를 이용하여 구현될 수 있으며, 비교적 적은 량의 SSD 저장 장치를 SSD 캐시로 작용하도록 하여 파워 다운 상황에서 맥락 상태 및 기타 유사한 정보에 대한 비휘발성 저장을 실현함으로써, 시스템 활동이 리부팅될 경우 빠른 파워 업을 실현할 수 있다. 또한, 플래시 장치는 예를 들어, 직렬 주변 장치 인터페이스(SPI)를 통해 프로세서(701)에 연결될 수 있다. 이러한 플래시 장치는 시스템의 기본 입출력 소프트웨어(BIOS) 및 기타 펌웨어를 포함하는 시스템 소프트웨어에 대한 비휘발성 저장을 제공할 수 있다.
저장 장치(708)는 본 명세서에 설명된 방법 또는 기능 중 임의의 하나 또는 다수를 구현하는 한 세트 또는 다수의 세트의 명령 또는 소프트웨어(예를 들어, 모듈, 유닛 및/또는 로직(728))가 저장된 컴퓨터 접근 가능한 저장 매체(709; 기계 판독 가능한 저장 매체 또는 컴퓨터 판독 가능한 매체라고도 함)를 포함할 수 있다. 모듈/유닛/로직(728)은 예를 들어, 상술한 검색 엔진, 암호기, 상호작용 기록 모듈과 같이 전술된 부재 중의 임의의 하나를 대표할 수 있다. 모듈/유닛/로직(728)은 데이터 처리 시스템(700)에 의해 실행되는 동안, 완전히 또는 적어도 부분적으로 메모리(703) 및/또는 프로세서(701) 내에 위치될 수도 있으며, 여기서 메모리(703) 및 프로세서(701)는 기계 접근 가능한 저장 매체를 구성하기도 한다. 모듈/유닛/로직(728)은 추가로 네트워크 인터페이스 장치(705)를 통해 네트워크 상에서 발송 또는 수신될 수도 있다.
컴퓨터 판독 가능한 저장 매체(709)는 상술한 일부 소프트웨어 기능을 영구적으로 저장하기 위한 것일 수도 있다. 예시적인 실시예에서 컴퓨터 판독 가능한 저장 매체(709)는 단일 매체로 도시되였으나, 용어 “컴퓨터 판독 가능한 저장 매체”는 하나 또는 다수의 세트의 명령을 저장하는 단일 매체 또는 다수의 매체(예를 들어, 중앙 집중식 또는 분산형 데이터베이스 및/또는 관련된 캐시 및 서버)를 포함하는 것으로 이해해야 한다. 또한, 용어 “컴퓨터 판독 가능한 저장 매체”는 기계에 의해 실행되고, 기계로 하여금 본 발명의 하나 또는 다수의 방법을 실행하도록 하는 한 세트의 명령을 저장하거나 인코딩할 수 있는 임의의 매체를 포함하는 것으로 이해해야 한다. 따라서, 용어 “컴퓨터 판독 가능한 저장 매체”는 고체 메모리 및 광학 및 자기식 매체 또는 기타 임의의 비일시적인 기계 판독 가능한 매체를 포함하나 이에 한정되지 않는 것으로 이해해야 한다.
본 명세서에서 설명된 모듈/유닛/로직(728), 부재 및 기타 특징은 이산형 하드웨어 모듈로 구현되거나 ASICS, FPGAs, DSPs 또는 유사한 장치와 같은 하드웨어 모듈의 기능에 통합될 수 있다. 이외에, 모듈/유닛/로직(728)은 하드웨어 장치 내에서 펌웨어 또는 기능성 회로로 구현될 수 있다. 또한, 모듈/유닛/로직(728)은 하드웨어 장치 및 소프트웨어 모듈의 임의의 조합으로 구현될 수 있다.
시스템(700)은 데이터 처리 시스템의 각종 모듈로도시되였으나, 이러한 세부 사항들은 본 발명의 실시예에 밀접히 관련되는 것이 아니므로, 임의의 구체적인 체계 구조 또는 모듈들의 상호 연결 방식을 대표하는 것이 아님을 유의해야 한다. 또한, 본 발명의 실시예에서 더 적은 부재 또는 더 많은 부재들을 구비할 수 있는 네트워크 컴퓨터, 휴대용 컴퓨터, 모바일 폰, 서버 및/또는 기타 데이터 처리 시스템도 사용할 수 있음은 자명한 것이다.
이미 컴퓨터 메모리 내의 데이터 비트에 대한 연산의 알고리즘 및 기호적 표현으로 상기 상세한 설명 중의 일부분을 표시하였다. 이러한 알고리즘적 설명 및 표현은 데이터 처리 분야의 당업자들이 그들 작업의 요지를 해당 분야의 기타 당업자들한테 효율적으로 전달하기 위해 사용하는 방식이다. 여기서, 알고리즘은 통상적으로 원하는 결과를 달성하기 위한 조작의 자기 부합적 시퀸스로 구상된다. 이러한 조작들은 물리량에 대한 물리적 조작을 필요로 하는 조작이다.
그러나, 이러한 용어 및 유사한 용어들은 모두 적당한 물리량에 연관되어야 하고, 단지 이러한 량에 적용된 편리한 라벨일 뿐이라는 것을 명기해야 한다. 상술한 기재로부터 명확히 알수 있는 바와 같이 기타 구체적인 설명이 없는 한, 첨부된 청구항에 기재된 용어를 사용하여 진행한 설명은 명세서 전체를 걸쳐 컴퓨터 시스템 또는 유사한 전자 계산 장치의 동작 및 과정을 가리킨다는 것은 자명한 것이며, 상기 컴퓨터 시스템 또는 유사한 전자 계산 장치는 컴퓨터 시스템의 레지스터 및 메모리 내의 물리(전자)량으로 표시된 데이터를 조작하고, 상기 데이터를 컴퓨터 시스템 메모리 또는 레지스터 또는 기타 유사한 정보 저장 장치, 전송 및 표시 장치 내에서 유사하게 물리량으로 표시된 기타 데이터로 전환한다.
본 발명의 실시예는 본 명세서 중의 조작을 수행하기 위한 장치에 관련된다. 이와 같은 컴퓨터 프로그램은 비일시적인 컴퓨터 판독 가능한 매체에 저장된다. 기계 판독 가능한 매체는 정보를 기계(예를 들어, 컴퓨터)에 의해 판독 될수 있는 포맷으로 저장하기 위한 임의의 메커니즘을 포함한다. 예를 들어, 기계 판독 가능한(예를 들어, 컴퓨터 판독 가능한) 매체는 기계(예를 들어, 컴퓨터) 판독 가능한 저장 매체(예를 들어, 읽기 전용 메모리(“ROM”), 랜덤 액세스 메모리(“RAM”), 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 장치)를 포함한다.
첨부된 도면에 도시된 과정 또는 방법은 하드웨어(예를 들어, 회로, 전용 로직 등), 소프트웨어(예를 들어, 비일시적인 컴퓨터 판독 가능한 매체에 내장됨) 또는 이들의 조합을 포함하는 처리 로직에 의해 실행될 수 있다. 비록 위에서 일부 순차적인 조작에 의해 상기 과정 또는 방법에 대해 설명하였으나, 설명된 조작 중의 일부는 상이한 순서로 실행될 수도 있음을 자명할 것이다. 또한, 일부 조작은 순차적인 순서가 아니라, 병행으로 수행될 수 있다.
본 발명의 실시예는 어떠한 특정 프로그래밍 언어를 참조하여 설명된 것도 아니다. 다양한 프로그래밍 언어를 사용하여 본 명세서에서 설명된 본 발명의 실시예들의 교시를 실현할 수 있음을 자명할 것이다.
상기 명세서에서, 본 발명의 상세한 예시적 실시예들을 참조하여 본 발명의 실시예에 대해 설명하였다. 첨부된 청구항에 기재된 본 발명의 사상 및 범위를 벗어나지 않으면서 각종 변경을 진행할 수 있음은 명백할 것이다. 따라서, 명세서 및 도면은 한정적인 것이 아니라, 예시적인 것으로 이해하여야 한다.

Claims (24)

  1. 자율 주행 차량 외부의 물리적 대상의 제1 이미지를 수신하되, 상기 제1 이미지는 상기 자율 주행 차량에 부착된 이미지 센서에 의해 포착되는 단계;
    상기 물리적 대상에 관련된 하나 또는 다수의 키워드를 도출하도록 상기 제1 이미지에 대해 컴퓨터 비전(computer vision)을 이용하여 이미지 인식을 수행하는 단계;
    상기 하나 또는 다수의 키워드에 기초하여 하나 또는 다수의 콘텐츠 아이템의 리스트를 식별하는 단계;
    제2 이미지를 생성하도록 상기 콘텐츠 아이템 리스트로부터 선택된 제1 콘텐츠 아이템을 상기 제1 이미지에 추가하는 단계; 및
    상기 제2 이미지를 상기 자율 주행 차량 내의 표시 장치에 표시하는 단계;를 포함하고,
    상기 표시 장치는 사용자와 상기 물리적 대상 사이의 상기 자율 주행 차량의 가상 윈도우처럼 보이도록 구성되고 위치하되,
    a) 표시 장치가 투명한 천정형 표시 장치로 구성되어 사용자가 상기 물리적 대상을 그대로 볼 수 있거나, 또는
    b) 표시 장치가 상기 자율 주행 차량의 차창 형태의 스크린 표시 장치로 구성되어 상기 자율 주행 차량에 탑승한 사용자가 상기 물리적 대상을 직접 보는 것처럼 카메라를 통해 실시간으로 동적으로 포착한 이미지 스트림을 표시하는 것을 특징으로 하는 자율 주행 차량 내에서 콘텐츠를 표시하기 위한 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 제2 이미지는 상기 물리적 대상의 상기 제1 이미지 및 상기 제1 이미지에 슈퍼임포즈된 상기 제1 콘텐츠 아이템을 포함하는 것을 특징으로 하는 자율 주행 차량 내에서 콘텐츠를 표시하기 위한 컴퓨터 구현 방법.
  3. 제1항에 있어서,
    상기 제2 이미지는 상기 사용자가 상기 가상 윈도우를 통해 상기 물리적 대상을 직접 보는 것처럼 가상 현실 방식으로 표시되는 것을 특징으로 하는 자율 주행 차량 내에서 콘텐츠를 표시하기 위한 컴퓨터 구현 방법.
  4. 제3항에 있어서,
    상기 물리적 대상은 상기 사용자의 시각 위치로부터 표현되는 가상 대상으로 상기 표시 장치에 표시되는 것을 특징으로 하는 자율 주행 차량 내에서 콘텐츠를 표시하기 위한 컴퓨터 구현 방법.
  5. 제1항에 있어서,
    상기 투명한 천정형 표시 장치에 표시되는 콘텐츠 아이템은 상기 자율 주행 차량에 탑승한 사용자의 시각에서 봤을 때 표시 장치 상의 물리적 대상의 투영에 근사하게 위치하도록 사용자의 움직임에 따라 움직이는 것을 특징으로 하는 자율 주행 차량 내에서 콘텐츠를 표시하기 위한 컴퓨터 구현 방법.
  6. 제1항에 있어서,
    사용자의 사용자 프로필에 기초하여 상기 콘텐츠 아이템 리스트에 대해 랭킹을 진행하되, 상기 제1 콘텐츠 아이템은 상기 랭킹에 기초하여 선택되는 단계를 더 포함하는 것을 특징으로 하는 자율 주행 차량 내에서 콘텐츠를 표시하기 위한 컴퓨터 구현 방법.
  7. 제6항에 있어서,
    상기 표시 장치는 상기 제2 이미지와의 사용자의 상호작용을 수신하기 위한 터치 스크린을 포함하고, 상기 사용자의 상호작용을 이용하여 상기 사용자 프로필을 업데이트하는 것을 특징으로 하는 자율 주행 차량 내에서 콘텐츠를 표시하기 위한 컴퓨터 구현 방법.
  8. 제1항에 있어서,
    상기 자율 주행 차량이 이동하는 노선에 따른 위치 및 노선 정보를 획득하는 단계; 및
    상기 위치 및 노선 정보에 기초하여 관심 포인트(POI)를 획득하되, 상기 콘텐츠 아이템 리스트는 상기 POI에 기초하여 식별되는 단계;를 더 포함하는 것을 특징으로 하는 자율 주행 차량 내에서 콘텐츠를 표시하기 위한 컴퓨터 구현 방법.
  9. 명령어가 저장된 비일시적인 기계 판독 가능한 매체에 있어서,
    상기 명령어가 프로세서에 의해 실행될 경우, 상기 프로세서로 하여금 자율 주행 차량 내에서 콘텐츠를 표시하는 조작을 수행하도록 하고, 상기 조작은,
    상기 자율 주행 차량 외부의 물리적 대상의 제1 이미지를 수신하되, 상기 제1 이미지는 상기 자율 주행 차량에 부착된 이미지 센서에 의해 포착되는 단계;
    상기 물리적 대상에 관련된 하나 또는 다수의 키워드를 도출하도록 상기 제1 이미지에 대해 컴퓨터 비전을 이용하여 이미지 인식을 수행하는 단계;
    상기 하나 또는 다수의 키워드에 기초하여 하나 또는 다수의 콘텐츠 아이템의 리스트를 식별하는 단계;
    제2 이미지를 생성하도록 상기 콘텐츠 아이템 리스트로부터 선택된 제1 콘텐츠 아이템을 상기 제1 이미지에 추가하는 단계; 및
    상기 제2 이미지를 상기 자율 주행 차량 내의 표시 장치에 표시하는 단계;를 포함하고,
    상기 표시 장치는 사용자와 상기 물리적 대상 사이의 상기 자율 주행 차량의 가상 윈도우처럼 보이도록 구성되고 위치되되,
    a) 표시 장치가 투명한 천정형 표시 장치로 구성되어 사용자가 상기 물리적 대상을 그대로 볼 수 있거나, 또는
    b) 표시 장치가 상기 자율 주행 차량의 차창 형태의 스크린 표시 장치로 구성되어 상기 자율 주행 차량에 탑승한 사용자가 상기 물리적 대상을 직접 보는 것처럼 카메라를 통해 실시간으로 동적으로 포착한 이미지 스트림을 표시하는 것을 특징으로 하는 비일시적인 기계 판독 가능한 매체.
  10. 제9항에 있어서,
    상기 제2 이미지는 상기 물리적 대상의 상기 제1 이미지 및 상기 제1 이미지에 슈퍼임포즈된 상기 제1 콘텐츠 아이템을 포함하는 것을 특징으로 하는 비일시적인 기계 판독 가능한 매체.
  11. 제9항에 있어서,
    상기 제2 이미지는 상기 사용자가 상기 가상 윈도우를 통해 상기 물리적 대상을 직접 보는 것처럼 가상 현실 방식으로 표시되는 것을 특징으로 하는 비일시적인 기계 판독 가능한 매체.
  12. 제11항에 있어서,
    상기 물리적 대상은 상기 사용자의 시각 위치로부터 표현되는 가상 대상으로서 상기 표시 장치에 표시되는 것을 특징으로 하는 비일시적인 기계 판독 가능한 매체.
  13. 제9항에 있어서,
    상기 투명한 천정형 표시 장치에 표시되는 콘텐츠 아이템은 상기 자율 주행 차량에 탑승한 사용자의 시각에서 봤을 때 표시 장치 상의 물리적 대상의 투영에 근사하게 위치하도록 사용자의 움직임에 따라 움직이는 것을 특징으로 하는 비일시적인 기계 판독 가능한 매체.
  14. 제9항에 있어서,
    상기 조작은,
    사용자의 사용자 프로필에 기초하여 상기 콘텐츠 아이템 리스트에 대해 랭킹을 진행하되, 상기 제1 콘텐츠 아이템은 상기 랭킹에 기초하여 선택되는 단계를 더 포함하는 것을 특징으로 하는 비일시적인 기계 판독 가능한 매체.
  15. 제14항에 있어서,
    상기 표시 장치는 상기 제2 이미지와의 사용자의 상호작용을 수신하기 위한 터치 스크린을 포함하고, 상기 사용자의 상호작용을 이용하여 상기 사용자 프로필을 업데이트하는 것을 특징으로 하는 비일시적인 기계 판독 가능한 매체.
  16. 제9항에 있어서,
    상기 조작은,
    상기 자율 주행 차량이 이동하는 노선에 따른 위치 및 노선 정보를 획득하는 단계; 및
    상기 위치 및 노선 정보에 기초하여 관심 포인트(POI)를 획득하되, 상기 콘텐츠 아이템 리스트는 상기 POI에 기초하여 식별되는 단계;를 더 포함하는 것을 특징으로 하는 비일시적인 기계 판독 가능한 매체.
  17. 프로세서; 및
    명령어를 저장하고자 상기 프로세서에 연결된 메모리 장치;를 포함하되, 상기 명령어가 상기 프로세서에 의해 실행될 경우, 상기 프로세서가 자율 주행 차량 내에서 콘텐츠를 표시하는 조작을 수행하도록 하고, 상기 조작은,
    상기 자율 주행 차량 외부의 물리적 대상의 제1 이미지를 수신하되, 상기 제1 이미지는 상기 자율 주행 차량에 부착된 이미지 센서에 의해 포착되는 단계;
    상기 물리적 대상에 관련된 하나 또는 다수의 키워드를 도출하도록 상기 제1 이미지에 대해 컴퓨터 비전을 이용하여 이미지 인식을 수행하는 단계;
    상기 하나 또는 다수의 키워드에 기초하여 하나 또는 다수의 콘텐츠 아이템의 리스트를 식별하는 단계;
    제2 이미지를 생성하도록 상기 콘텐츠 아이템 리스트로부터 선택된 제1 콘텐츠 아이템을 상기 제1 이미지에 추가하는 단계; 및
    상기 제2 이미지를 상기 자율 주행 차량 내의 표시 장치에 표시하는 단계;를 포함하고,
    상기 표시 장치는 사용자와 상기 물리적 대상 사이의 상기 자율 주행 차량의 가상 윈도우처럼 보이도록 구성되고 위치하되,
    a) 표시 장치가 투명한 천정형 표시 장치로 구성되어 사용자가 상기 물리적 대상을 그대로 볼 수 있거나, 또는
    b) 표시 장치가 상기 자율 주행 차량의 차창 형태의 스크린 표시 장치로 구성되어 상기 자율 주행 차량에 탑승한 사용자가 상기 물리적 대상을 직접 보는 것처럼 카메라를 통해 실시간으로 동적으로 포착한 이미지 스트림을 표시하는 것을 특징으로 하는 데이터 처리 시스템.
  18. 제17항에 있어서,
    상기 제2 이미지는 상기 물리적 대상의 상기 제1 이미지 및 상기 제1 이미지에 슈퍼임포즈된 상기 제1 콘텐츠 아이템을 포함하는 것을 특징으로 하는 데이터 처리 시스템.
  19. 제17항에 있어서,
    상기 제2 이미지는 상기 사용자가 상기 가상 윈도우를 통해 상기 물리적 대상을 직접 보는 것처럼 가상 현실 방식으로 표시되는 것을 특징으로 하는 데이터 처리 시스템.
  20. 제19항에 있어서,
    상기 물리적 대상은 상기 사용자의 시각 위치로부터 표현되는 가상 대상으로 상기 표시 장치에 표시되는 것을 특징으로 하는 데이터 처리 시스템.
  21. 제17항에 있어서,
    상기 투명한 천정형 표시 장치에 표시되는 콘텐츠 아이템은 상기 자율 주행 차량에 탑승한 사용자의 시각에서 봤을 때 표시 장치 상의 물리적 대상의 투영에 근사하게 위치하도록 사용자의 움직임에 따라 움직이는 것을 특징으로 하는 데이터 처리 시스템.
  22. 제17항에 있어서,
    상기 조작은,
    사용자의 사용자 프로필에 기초하여 상기 콘텐츠 아이템 리스트에 대해 랭킹을 진행하되, 상기 제1 콘텐츠 아이템은 상기 랭킹에 기초하여 선택되는 단계를 더 포함하는 것을 특징으로 하는 데이터 처리 시스템.
  23. 제22항에 있어서,
    상기 표시 장치는 상기 제2 이미지와의 사용자의 상호작용을 수신하기 위한 터치 스크린을 포함하고, 상기 사용자의 상호작용을 이용하여 상기 사용자 프로필을 업데이트하는 것을 특징으로 하는 데이터 처리 시스템.
  24. 제17항에 있어서,
    상기 조작은,
    상기 자율 주행 차량이 이동하는 노선에 따른 위치 및 노선 정보를 획득하는 단계; 및
    상기 위치 및 노선 정보에 기초하여 관심 포인트(POI)를 획득하되, 상기 콘텐츠 아이템 리스트는 상기 POI에 기반하여 식별되는 단계;를 더 포함하는 것을 특징으로 하는 데이터 처리 시스템.
KR1020190041007A 2016-04-26 2019-04-08 자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 시스템 및 방법 KR102043588B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/139,079 2016-04-26
US15/139,079 US10323952B2 (en) 2016-04-26 2016-04-26 System and method for presenting media contents in autonomous vehicles

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160162060A Division KR20170122092A (ko) 2016-04-26 2016-11-30 자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190039915A true KR20190039915A (ko) 2019-04-16
KR102043588B1 KR102043588B1 (ko) 2019-11-11

Family

ID=57482173

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020160162060A KR20170122092A (ko) 2016-04-26 2016-11-30 자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 시스템 및 방법
KR1020190041007A KR102043588B1 (ko) 2016-04-26 2019-04-08 자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020160162060A KR20170122092A (ko) 2016-04-26 2016-11-30 자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 시스템 및 방법

Country Status (5)

Country Link
US (1) US10323952B2 (ko)
EP (1) EP3240258B1 (ko)
JP (1) JP6456901B2 (ko)
KR (2) KR20170122092A (ko)
CN (1) CN107315988B (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10555042B2 (en) * 2013-07-31 2020-02-04 Maxell, Ltd. Mobile terminal and video display apparatus
US10779055B2 (en) * 2016-02-12 2020-09-15 Rovi Guides, Inc. Systems and methods for recording broadcast programs that will be missed due to travel delays
US20170349184A1 (en) * 2016-06-06 2017-12-07 GM Global Technology Operations LLC Speech-based group interactions in autonomous vehicles
US10037471B2 (en) 2016-07-05 2018-07-31 Nauto Global Limited System and method for image analysis
EP3481661A4 (en) 2016-07-05 2020-03-11 Nauto, Inc. AUTOMATIC DRIVER IDENTIFICATION SYSTEM AND METHOD
EP3497405B1 (en) 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
WO2018053175A1 (en) * 2016-09-14 2018-03-22 Nauto Global Limited Systems and methods for near-crash determination
US10733460B2 (en) * 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
EP3535646A4 (en) 2016-11-07 2020-08-12 Nauto, Inc. SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION
US10929462B2 (en) * 2017-02-02 2021-02-23 Futurewei Technologies, Inc. Object recognition in autonomous vehicles
US10453150B2 (en) 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination
JP6881242B2 (ja) * 2017-11-02 2021-06-02 トヨタ自動車株式会社 移動体及び広告提供方法
KR102434580B1 (ko) * 2017-11-09 2022-08-22 삼성전자주식회사 가상 경로를 디스플레이하는 방법 및 장치
KR102418992B1 (ko) * 2017-11-23 2022-07-11 삼성전자주식회사 전자 장치 및 전자 장치의 증강 현실 서비스 제공 방법
CN111133492B (zh) 2017-12-19 2022-03-25 日本音响工程株式会社 航空器航运实绩信息的采集装置
US10303045B1 (en) * 2017-12-20 2019-05-28 Micron Technology, Inc. Control of display device for autonomous vehicle
WO2019132930A1 (en) * 2017-12-28 2019-07-04 Intel Corporation System and method for simulation of autonomous vehicles
CN108389160A (zh) * 2017-12-29 2018-08-10 中兴智能交通股份有限公司 一种虚拟现实技术的交通仿真方法和装置
US10963706B2 (en) * 2018-01-13 2021-03-30 Toyota Jidosha Kabushiki Kaisha Distributable representation learning for associating observations from multiple vehicles
CN111602104B (zh) * 2018-01-22 2023-09-01 苹果公司 用于与所识别的对象相关联地呈现合成现实内容的方法和设备
US10123078B1 (en) 2018-02-02 2018-11-06 Rovi Guides, Inc. Methods and systems for selecting a media content item for presentation during a trip
US11392131B2 (en) 2018-02-27 2022-07-19 Nauto, Inc. Method for determining driving policy
EP3536534A1 (en) * 2018-03-07 2019-09-11 Dr. Ing. h.c. F. Porsche AG Autonomous vehicle
DE102018003130A1 (de) * 2018-04-17 2019-10-17 Psa Automobiles Sa Erprobung eines Fahrzeugs mit simulierten Verkehrsteilnehmern
KR102617120B1 (ko) * 2018-07-10 2023-12-27 삼성전자주식회사 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법 및 시스템
KR102095333B1 (ko) * 2018-07-24 2020-04-01 인하대학교 산학협력단 증강현실 기반 실차 테스트 방법 및 시스템
US10916077B2 (en) * 2018-08-13 2021-02-09 Baidu Usa Llc User privacy protection on autonomous driving vehicles
US10900723B2 (en) * 2018-09-17 2021-01-26 Pony Ai Inc. Cover for creating circular airflows inside an enclosure
DE102018218256A1 (de) 2018-10-25 2020-04-30 Volkswagen Aktiengesellschaft Verfahren zur Bereitstellung eines Rückzugsraumes zur zeitweiligen Erholung einer Person, Fahrzeug zur Verwendung bei dem Verfahren, sowie portables Gerät zur Verwendung bei dem Verfahren
KR102148704B1 (ko) 2018-11-02 2020-08-27 경희대학교 산학협력단 Mec 환경에서 자율 주행을 위한 딥러닝 기반 캐싱 시스템 및 방법
EP3891691A4 (en) * 2018-12-07 2022-11-09 Warner Bros. Entertainment Inc. CONFIGURABLE CONTENT ACCORDING TO DISPLACEMENT
WO2020163801A1 (en) * 2019-02-08 2020-08-13 Warner Bros. Entertainment Inc. Intra-vehicle games
DE102019127541B3 (de) * 2019-10-14 2021-01-14 Audi Ag Verfahren zur assistierten oder zumindest teilautomatisierten Führung eines Kraftfahrzeugs
US11027650B2 (en) 2019-11-07 2021-06-08 Nio Usa, Inc. Method and apparatus for improving operation of a motor vehicle
CN111026937B (zh) * 2019-11-13 2021-02-19 百度在线网络技术（北京）有限公司 提取poi名称的方法、装置、设备和计算机存储介质
US11760370B2 (en) * 2019-12-31 2023-09-19 Gm Cruise Holdings Llc Augmented reality notification system
KR102266138B1 (ko) 2020-06-17 2021-06-17 (주)인티그리트 통합 멀티미디어 제공 시스템 및 방법, 이를 이용한 자율 주행 장치
KR20210158443A (ko) 2020-06-23 2021-12-31 인포뱅크 주식회사 자율주행 차량내 탑승객 선호 콘텐츠 표시 장치 및 방법
US11878707B2 (en) * 2022-03-11 2024-01-23 International Business Machines Corporation Augmented reality overlay based on self-driving mode

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120027696A (ko) * 2010-09-13 2012-03-22 현대자동차주식회사 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법
KR20150108817A (ko) * 2013-01-14 2015-09-30 인텔 코포레이션 차량에서의 감각 체험 생성
KR20150131634A (ko) * 2014-05-15 2015-11-25 엘지전자 주식회사 이동 단말기 및 차량 제어 장치
KR20150131934A (ko) * 2014-05-15 2015-11-25 삼성전자주식회사 개인화 정보 제공 시스템 및 그 방법
KR20160031851A (ko) * 2014-09-15 2016-03-23 삼성전자주식회사 정보 제공 방법 및 그 전자 장치

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324453B1 (en) * 1998-12-31 2001-11-27 Automotive Technologies International, Inc. Methods for determining the identification and position of and monitoring objects in a vehicle
JPH09305107A (ja) * 1996-05-17 1997-11-28 Sony Corp ナビゲーション装置
JPH10100737A (ja) * 1996-09-27 1998-04-21 Honda Motor Co Ltd 自動運転車
JP3822546B2 (ja) * 2002-09-05 2006-09-20 株式会社東芝 移動体用コンテンツ提供システム
JP2005014784A (ja) 2003-06-26 2005-01-20 Hitachi Ltd 映像情報配信表示システム、並びに鉄道列車
CN1696926A (zh) * 2004-05-15 2005-11-16 鸿富锦精密工业（深圳）有限公司 Mac地址自动分配系统及方法
GB2424091A (en) * 2005-03-11 2006-09-13 Alamy Ltd Ranking of images in the results of a search
JP4446188B2 (ja) * 2005-07-19 2010-04-07 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4737523B2 (ja) * 2005-08-03 2011-08-03 三菱電機株式会社 車載ナビゲーション装置
US8131118B1 (en) * 2008-01-31 2012-03-06 Google Inc. Inferring locations from an image
JP2010028492A (ja) * 2008-07-21 2010-02-04 Denso Corp 撮影情報閲覧システム
EP2450667B1 (en) * 2010-11-09 2016-11-02 Harman Becker Automotive Systems GmbH Vision system and method of analyzing an image
KR101338818B1 (ko) * 2010-11-29 2013-12-06 주식회사 팬택 이동 단말기 및 이를 이용한 정보 표시 방법
US20130030074A1 (en) * 2011-07-26 2013-01-31 Basf Se Process for the continuous production of polyetherols
US20130083061A1 (en) 2011-09-30 2013-04-04 GM Global Technology Operations LLC Front- and rear- seat augmented reality vehicle game system to entertain & educate passengers
JP2013101450A (ja) * 2011-11-08 2013-05-23 Sony Corp 情報処理装置及び方法、並びにプログラム
US8891907B2 (en) * 2011-12-06 2014-11-18 Google Inc. System and method of identifying visual objects
KR101329102B1 (ko) * 2012-02-28 2013-11-14 주식회사 케이쓰리아이 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템
JP6012729B2 (ja) 2012-07-03 2016-10-25 三菱電機株式会社 ナビゲーション装置
KR20140127527A (ko) 2013-04-25 2014-11-04 삼성전자주식회사 디스플레이장치 및 디스플레이장치를 이용한 추천정보 제공 방법
JP2015064282A (ja) * 2013-09-25 2015-04-09 日産自動車株式会社 車両用案内表示装置及び方法
JP6303403B2 (ja) * 2013-10-31 2018-04-04 日産自動車株式会社 車両用走行案内装置および方法
WO2015094371A1 (en) * 2013-12-20 2015-06-25 Intel Corporation Systems and methods for augmented reality in a head-up display
CN105745586B (zh) * 2014-01-17 2018-04-03 株式会社日立制作所 作业辅助用数据生成程序
US20150321606A1 (en) 2014-05-09 2015-11-12 HJ Laboratories, LLC Adaptive conveyance operating system
US20160022150A1 (en) * 2014-07-24 2016-01-28 Canon Kabushiki Kaisha Photoacoustic apparatus
US9649979B2 (en) * 2015-01-29 2017-05-16 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle operation in view-obstructed environments
KR20170015112A (ko) * 2015-07-30 2017-02-08 삼성전자주식회사 자율 주행 차량 및 그의 동작 방법
US20150348112A1 (en) 2015-08-12 2015-12-03 Madhusoodhan Ramanujam Providing Advertisements to Autonomous Vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120027696A (ko) * 2010-09-13 2012-03-22 현대자동차주식회사 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법
KR20150108817A (ko) * 2013-01-14 2015-09-30 인텔 코포레이션 차량에서의 감각 체험 생성
KR20150131634A (ko) * 2014-05-15 2015-11-25 엘지전자 주식회사 이동 단말기 및 차량 제어 장치
KR20150131934A (ko) * 2014-05-15 2015-11-25 삼성전자주식회사 개인화 정보 제공 시스템 및 그 방법
KR20160031851A (ko) * 2014-09-15 2016-03-23 삼성전자주식회사 정보 제공 방법 및 그 전자 장치

Also Published As

Publication number Publication date
JP6456901B2 (ja) 2019-01-23
EP3240258A1 (en) 2017-11-01
EP3240258B1 (en) 2019-01-09
KR102043588B1 (ko) 2019-11-11
CN107315988A (zh) 2017-11-03
US10323952B2 (en) 2019-06-18
CN107315988B (zh) 2020-12-11
KR20170122092A (ko) 2017-11-03
US20170309072A1 (en) 2017-10-26
JP2017198647A (ja) 2017-11-02

Similar Documents

Publication Publication Date Title
KR102043588B1 (ko) 자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 시스템 및 방법
KR101960141B1 (ko) 실시간 교통 정보에 기반하여 자율 주행 차량 내에서 콘텐츠를 제공하는 시스템 및 방법
KR101960140B1 (ko) 자율 주행 차량 내에서 증강 가상 현실 콘텐츠를 제공하는 시스템 및 방법
CN107563267B (zh) 在无人驾驶车辆中提供内容的系统和方法
US11906312B2 (en) Localizing transportation requests utilizing an image based transportation request interface
JP6615840B2 (ja) 自律走行車の個人運転好みの認識方法及びシステム
KR102096726B1 (ko) 자율 주행 차량의 운행을 위한 제어 오류 보정 계획 방법
CN107577227B (zh) 操作无人驾驶车辆的方法、装置和数据处理系统
CN110998563B (zh) 用于对视场中兴趣点消除歧义的方法、设备和绘图系统

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant