KR102617120B1 - 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법 및 시스템 - Google Patents

차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법 및 시스템 Download PDF

Info

Publication number
KR102617120B1
KR102617120B1 KR1020190006134A KR20190006134A KR102617120B1 KR 102617120 B1 KR102617120 B1 KR 102617120B1 KR 1020190006134 A KR1020190006134 A KR 1020190006134A KR 20190006134 A KR20190006134 A KR 20190006134A KR 102617120 B1 KR102617120 B1 KR 102617120B1
Authority
KR
South Korea
Prior art keywords
vehicle
glass window
content
view
user
Prior art date
Application number
KR1020190006134A
Other languages
English (en)
Other versions
KR20200012703A (ko
Inventor
산토쉬 쿠마르
밀린드 조쉬
아룬 쿠마르 싱
라비 쿠마르
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2019/008163 priority Critical patent/WO2020013519A1/en
Priority to EP19834442.6A priority patent/EP3781442B1/en
Priority to CN201980043616.8A priority patent/CN112368181B/zh
Priority to US16/507,865 priority patent/US11407359B2/en
Publication of KR20200012703A publication Critical patent/KR20200012703A/ko
Application granted granted Critical
Publication of KR102617120B1 publication Critical patent/KR102617120B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/165—Videos and animations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 방법이 제공된다. 상기 방법은 적어도 하나의 제 1 이미지 캡처 디바이스를 이용하여, 제 1 시간 기간 동안 상기 차량의 주변 풍경에 대한 풍경 정보를 캡처하는 단계, 상기 제 1 시간 기간 이후의 제 2 시간 기간에서, 사용자로부터 상기 풍경 정보에 관련된 컨텐트를 디스플레이하기 위한 요청을 식별하는 단계, 및 상기 요청에 기초하여 상기 풍경 정보에 관련된 컨텐트를 상기 차량의 글래스 윈도우에 디스플레이하는 단계를 포함한다.

Description

차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법 및 시스템{A Method and System of displaying multimedia content on a glass window of a vehicle}
본 발명은 차량들의 윈도우 글래스(window glass) 상의 뷰(view) 관리에 관한 것이다. 특히, 본 발명은 차량의 글래스 윈도우(glass window)에 멀티미디어 컨텐트(multimedia content)를 디스플레이하는 방법 및 시스템에 관한 것이다.
자율 주행 자동차 혹은 무인 자동차 혹은 로봇 자동차는 어떤 사용자 입력 없이도 도로를 주행 및 네비게이팅하는 중에 그 주변을 센싱하는 능력을 가지는 차량이다. 자율 주행 자동차들은 상기 자율 주행 자동차들에 상기 도로 상의 다른 자동차들 및 다른 차량들간을 구분하여 지각 데이터를 분석할 수 있는 사전-설치된 제어 시스템들을 가지고 있으며, 이는 상기 목적지까지의 경로를 결정할 때 도움을 준다. 자동차들은 LiDAR, 레이더, GPS 및 거리계(Odometry)와 같은 다양한 기술들을 사용하여 상기 자동차들의 주변을 검출할 수 있다. 무인 자동차들의 도입은 교통 충돌을 감소시킬 수 있고, 부상자 혹은 장애인에 대한 이동성을 향상시키고, 친환경적이며, 보험에 대한 필요성을 더 감소시킬 수 있다.
일반적으로, 사람이 운전하는 자동차 혹은 무인 자동차들은 사이드 윈도우 글래스들을 가지고 있다. 상기 사이드 윈도우 글래스는 비, 먼지, 온도 등과 같은 외부의 극한의 환경으로부터 승객들을 보호하기 위한 것이다. 현재는, 상기 윈도우 글래스들이 상기 차량의 나머지 부분과 보다 기술적으로 통합되고 있는 중이다. 이제, 상기 기술들에서의 발전은 자동차 윈도우 글래스들을 디스플레이들로 사용하여 다양한 종류의 정보를 보여주는 것을 가능하게 하고 있다.
오늘날의 주행 경험에서, 중요한 문제점들 중의 하나는 차량이 상기 목적지에 도달하기 위한 짧은 시간으로 인해 여행객들이 관심 있어 하는 모든 장소에 정차할 수 없다는 것이다. 일 예로, 여행객이 자동차의 뒷 자석에 앉아 있는 중이고, 상기 차량의 속도로 인해서 관심 있는 대상 (즉, 장소, 풍경, 동물, 건물)이 지나쳐 간다고 가정할 경우, 상기 여행객이 상기 관심 있는 대상을 제대로 보는 것은 가능하지 않다. 많은 경우들에서 상기 외부 뷰가 아이들 및 당신의 사랑스러운 사람들에게 매우 아름답지만 당신이 모든 장소에 정차할 수 없기 때문에 매우 빨리 패스된 뷰는 아이들 및 사랑스러운 사람들에게 실망을 초래한다. 모든 여행을 기억할 가치가 있는 여행으로 만들기 위해서는, 우리가 여행 중에 자동차의 주변을 적절하게 보는 것을 가능하게 하는 메카니즘을 필요로 한다.
여행객이 함께 여행하는 사람들과 앉아 있고 아름다운 풍경 뷰가 여행객이 앉아 있지 않은 반대편 사이드 윈도우에서 보여지는 시나리오를 고려하기로 한다. 그 시점에서 상기 여행객은 외부 뷰를 적절하게 보지 못할 것이다. 여행객이 다른 윈도우의 시점으로부터 함께 여행하는 사람들의 사이드 윈도우 글래스 상에 패스된 뷰를 보는 것을 허락하는 메카니즘들이 필요로 된다. 여행객이 친구들 혹은 함께 여행하는 사람들과 여행하고 있는 다른 시나리오에서, 패스된 관심있는 대상들, 즉 빌딩, 신(scene), 동물들, 오브젝트 등이 상기 자동차의 반대 사이드 윈도우 상에 존재한다. 여행객이 다른 사이드에 위치하고 있기 때문에, 그/그녀는 상기 뷰를 미스할 수 있다. 따라서, 모든 여행객들이 상기 자동차의 다른 윈도우들 상의 패스된 뷰를 공유하는 메카니즘들이 필요로 된다.
상기와 같은 내용을 기반으로, 차량 전자 도메인과 관련되는 이머징 테크날러지(emerging technology)의 촉진 및 향상된 경험을 위한 여행객들의 명백한 요구로 인해, 많은 혁신이 필요로 된다는 것은 명백하다. 최첨단 기술이 이와 관련하여 몇몇 측면들을 커버하고 있지만, 상기 여행객 혹은 사용자가 스마트 차량의 사이드 윈도우와 상호 작용하는 것을 가능하게 하고 상기 여행객 혹은 사용자가 보았거나 혹은 미스하였거나 보다 많은 초점 혹은 시간을 사용하여 동일한 내용을 다시 보기를 원하는 뷰를 보는 것을 허락하는 종래 기술은 존재하지 않는다. 또한, 트랜스페어런트 윈도우 글래스상에서 상기 여행객 혹은 사용자에 의해 보여진 혹은 미스된 동일한 시각화를 제공하는 것은 여행객 혹은 사용자가 상기 미스된 혹은 관심있는 컨텐트를 쉽게 볼 수 있도록 하기 위해서 동일한 배치로 디스플레이 영역에서 디스플레이되는 것을 필요로 할 것이다.
따라서, 상기에서 설명된 바와 같은 제한들을 처리하기 위한 해당 기술 분야에서의 절실한 요구가 존재한다.
본 발명의 일 측면은 적어도 상기에서 설명한 바와 같은 문제점들 및/혹은 단점들을 해결하고 적어도 하기에서 설명되는 바와 같은 이점들을 제공하기 위한 것에 있다.
본 발명의 일 실시예에 따른 차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 방법은 적어도 하나의 제 1 이미지 캡처 디바이스를 이용하여, 제 1 시간 기간 동안 상기 차량의 주변 풍경에 대한 풍경 정보를 캡처하는 단계, 상기 제 1 시간 기간 이후의 제 2 시간 기간에서, 사용자로부터 상기 풍경 정보에 관련된 컨텐트를 디스플레이하기 위한 요청을 식별하는 단계, 및 상기 요청에 기초하여 상기 풍경 정보에 관련된 컨텐트를 상기 차량의 글래스 윈도우에 디스플레이하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 디바이스는, 메모리, 및 상기 메모리와 연결된 프로세서를 포함하고, 상기 프로세서는: 적어도 하나의 제 1 이미지 캡처 디바이스를 이용하여, 제 1 시간 기간 동안 상기 차량의 주변 풍경에 대한 풍경 정보를 캡처하고, 상기 제 1 시간 기간 이후의 제 2 시간 기간에서, 사용자로부터 상기 풍경 정보에 관련된 컨텐트를 디스플레이하기 위한 요청을 식별하고, 그리고 상기 요청에 기초하여 상기 풍경 정보에 관련된 컨텐트를 상기 차량의 글래스 윈도우에 디스플레이하도록 구성된다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
즉, 차량의 탑승자들의 주행 경험을 향상시킬 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
본 발명의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다:
도 1A 및 도 1B는 본 발명에 따른 뷰의 외부 필드들을 캡쳐하는 360° 카메라 및 2-차원 카메라를 구비하는 차량의 사이드 뷰를 도시하고 있다.
도 2는 본 발명에 따른 차량의 글래스 윈도우 상에 하나 혹은 그 이상의 멀티미디어 컨텐트를 추천하기 위한 캡쳐된 뷰를 프로세싱하는 시스템 아키텍쳐를 도시하고 있다.
도 3은 본 발명의 일 실시 예에 따른 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법의 플로우 차트를 도시하고 있다.
도 4는 본 발명의 예제 실시 예에 따른 도 3에서 논의된 바와 같은 사용자 인터페이스의 디스플레이 영역 및 네비게이션 영역의 예제 뷰를 도시하고 있다.
도 5는 본 발명의 일 실시 예에 따른, 상기 디스플레이가 화면 속 화면(Picture in Picture: PIP) 에서 패스된 뷰 및 현재의 뷰를 제공하는, 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법의 플로우 차트를 도시하고 있다.
도 6은 본 발명의 예제 실시 예에 따른, 도 5에서 논의된 바와 같은 PIP에서 패스된 뷰 및 현재의 뷰의 예제 뷰를 도시하고 있다.
도 7은 본 발명의 일 실시 예에 따른, 패스중인 뷰를 향한 머리 움직임을 검출한 후 패스된 뷰 모드의 실행을 활성화시킴으로써 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법의 플로우 차트를 도시하고 있다.
도 8A는 본 발명의 예제 실시 예에 따른, 도 7에서 논의된 바와 같은 패스된 뷰 모드의 예제 뷰 자동 실행을 도시하고 있다.
도 8B는 본 발명의 예제 실시 예에 따른, 상기 패스된 뷰를 사용하기 위한 예제 사이드 윈도우 터치 옵션을 도시하고 있다.
도 9는 본 발명의 일 실시 예에 따른, 제1 주변 환경으로부터 제2 주변 환경으로 이동중인 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법의 플로우차트를 도시하고 있다.
도 10은 본 발명의 예제 실시 예에 따른, 도 9에서 논의된 바와 같은 차량이 제1 주변 환경으로부터 제2 주변 환경으로 이동하는 예제 시나리오를 도시하고 있다.
도 11은 본 발명의 일 실시 예에 따른, 디스플레이가 트랜스페어런트 뷰와 논-트랜스페어런트 뷰를 포함하는 듀얼 뷰를 제공하는, 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법의 플로우 차트를 도시하고 있다.
도 12는 본 발명의 예제 실시 예에 따른 패스된 뷰가 요청된 후 (즉, T = 0 초부터 T= 60 초까지) 차량이 지나쳐 가는 거리를 나타내는 예제 시나리오를 도시하고 있다.
도 13은 본 발명의 일 실시 예에 따른 풍경 정보로부터 키 오브젝트들을 예측함으로써 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법의 플로우 차트를 도시하고 있다.
도 14는 본 발명의 예제 실시 예에 따른 상기 차량의 경로에서 키 오브젝트들 및 차등 오브젝트들의 예제를 도시하고 있다.
도 15는 본 발명의 예제 실시 예에 따른 상기 차량의 경로에서 차등 오브젝트들의 식별에 대한 예제를 도시하고 있다.
도 16은 본 발명의 일 실시 예에 따른 패스된 뷰 추천 모듈의 시스템 다이아그램을 도시하고 있다.
도 17은 본 발명의 일 실시 예에 따른 AI에 의해 결정되는 차등 오브젝트들 상에서 컨텍스트와 신뢰 팩터를 기반으로 하는 다이나믹 네비게이션 영역의 예제 뷰를 도시하고 있다.
도 18은 상기 사용자에게 상기 패스된 뷰를 보여주는 차량 글래스 디스플레이의 예제 실시 예를 도시하고 있다.
도 19 내지 도 23은 본 발명의 하나 혹은 그 이상의 실시 예들에 따른 사용자가 상기 디스플레이(패스된 뷰 정보)와 상호 작용을 하는 다양한 예제들을 도시하고 있다.
도 24는 본 발명의 일 실시 예에 따른 AI 엔진에 의한 키 오브젝트들의 선택의 예제 시나리오를 도시하고 있다.
도 25는 본 발명의 일 실시 예에 따른 하나 혹은 그 이상의 소스들 (일 예로, 서버를 통한)로부터의 패스 뷰 정보를 검색하는 예제 시나리오를 도시하고 있다.
도 26은 본 발명의 일 실시 예에 따른 특정 오브젝트들이 높은 중요도를 가지는 (일 예로, 이동 오브젝트들) 예제를 도시하고 있다.
해당 기술 분야의 당업자들은 상기 도면들에 포함되어 있는 엘리먼트들이 오직 간략성 및 명료성만을 위한 것일 뿐이며, 그 스케일에 적합하게 도시되지 않았을 수 있다는 것을 이해할 것이다. 일 예로 상기 도면에 포함되어 있는 엘리먼트들 중 일부의 크기들은 본 개시의 다양한 예제 실시 예들의 이해를 향상시키는 데 도움을 주기 위해서 다른 엘리먼트들에 비해 과장될 수 있다. 상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.
첨부되는 도면들을 참조하는 하기의 상세한 설명은 청구항들 및 청구항들의 균등들로 정의되는 본 발명의 바람직한 실시 예들을 포괄적으로 이해하는데 있어 도움을 줄 것이다. 하기의 상세한 설명은 그 이해를 위해 다양한 특정 구체 사항들을 포함하지만, 이는 단순히 예로서만 간주될 것이다. 따라서, 해당 기술 분야의 당업자는 여기에서 설명되는 다양한 실시 예들의 다양한 변경들 및 수정들이 본 개시의 범위 및 사상으로부터 벗어남이 없이 이루어질 수 있다는 것을 인식할 것이다. 또한, 공지의 기능들 및 구성들에 대한 설명은 명료성 및 간결성을 위해 생략될 수 있다.
하기의 상세한 설명 및 청구항들에서 사용되는 용어들 및 단어들은 문헌적 의미로 한정되는 것이 아니라, 단순히 발명자에 의한 본 개시의 명료하고 일관적인 이해를 가능하게 하도록 하기 위해 사용될 뿐이다. 따라서, 해당 기술 분야의 당업자들에게는 본 개시의 다양한 실시 예들에 대한 하기의 상세한 설명은 단지 예시 목적만을 위해 제공되는 것이며, 첨부되는 청구항들 및 상기 청구항들의 균등들에 의해 정의되는 본 개시를 한정하기 위해 제공되는 것은 아니라는 것이 명백해야만 할 것이다.
또한, 명백하게 다른 내용을 지시하지 않는 "한"과, "상기"와 같은 단수 표현들은 복수 표현들을 포함한다는 것이 이해될 수 있을 것이다.
본 특허 문서에서 본 개시의 원칙들을 설명하기 위해 사용되는, 하기에서 설명되는 바와 같은 도 1 내지 도 26 및 다양한 실시 예들은 오직 예시만을 위한 것일 뿐이며, 어떤 방식으로라도 본 개시의 범위를 제한하는 것으로 이해되어서는 안될 것이다. 해당 기술 분야의 당업자들은 본 개시의 원칙들이 적합하게 배열된 환경 시스템에서 실행될 수 있다는 것을 이해할 수 있을 것이다. 다양한 실시 예들을 설명하기 위해 사용되는 용어들은 예시적인 것일 뿐이다. 이들은 단순히 상세한 설명의 이해를 돕기 위해서 제공되고, 그 용도 및 정의들은 본 발명의 범위를 제한하는 것이 아니라는 것이 이해되어야만 할 것이다. 제1, 제2 등과 같은 용어들은 동일한 용어를 가지는 오브젝트들간을 차별화시키기 위해 사용되는 것일 뿐 별도로 언급되지 않는 한 순서를 나타내는 의도를 가지는 것은 아니다.
도 1A 및 도 1B를 참조하면, (도 1A에서의) 360° 카메라 및 (도 1B에서의) 하나 혹은 그 이상의 2D 카메라를 구비하는 차량의 사이드 뷰를 도시하고 있다. 상기 카메라 각각은 본 발명에 따른 뷰의 외부 필드들을 캡쳐한다. 상호 작용 옵션들을 가지는 패스된 뷰 시각화(passed by view visualization)를 제공하기 위해서, 자동차는 각 윈도우에서 다수 개의 카메라들을 사용하거나 혹은 360° 카메라를 사용하여 주변 환경을 녹화할 필요가 있다. 상기 녹화된 정보는 상기 차량 프로세서에서 로컬하게 프로세싱되어 상기 뷰에 포함되어 있는 관심있는 오브젝트들을 식별할 수 있다. 상기 녹화된 컨텐트는 실제 시각화 느낌을 제공하도록 요구되는 시각화를 위해 사용자가 차량 내부에 위치하고 있는 뷰 포인트를 생성하도록 프로세싱될 수 있다. 또한, 상기 녹화된 컨텐트는 상기 패스된 뷰로의 빠른 이동을 위해 여행객들에게 제시되는 상기 녹화된 컨텐트에 포함되어 있는 다양한 관심있는 오브젝트들의 식별을 포함하는 프로세싱을 위해 원격 서버로 송신되는 것이 가능하다. 상기 저장 장치에 미디어 컨텐트로 저장되어 있는 정보는 이 컨텐트가 상기 사이드 윈도우 글래스 뷰를 위한 입력으로 처리하는 하나 혹은 그 이상의 모듈(예제: 사이드 글래스 뷰 준비 모듈)을 사용하여 프로세싱된다. 도 1B는 로컬하게 혹은 상기 원격 서버에서 프로세싱될 경우 상기 사이드 윈도우 글래스에 매핑되는 캡쳐된 주변의 일부를 도시하고 있다.
상기 사이드 글래스 뷰를 준비하기 위해서, 수행되는 다양한 설정들이 존재한다. 일반적으로 자율 자동차는 상기 외부 주변들을 캡쳐하기 위해 360도 카메라 혹은 다수의 카메라들을 구비한다. 일 예에서, 상기 설정은 사전 구성될 수 있고, 상기 시스템에 이미 알려져 있는, 사이드 윈도우 글래스의 사이즈, 사이드 윈도우 글래스의 모양, 사이드 윈도우 글래스의 거리와 같은 파라미터들을 기반으로 한다. 이런 파라미터들 및 주변 정보를 기반으로, 상기 시스템은 상기 자동차에서 상기 스마트 사이드 윈도우 글래스에서 보여질 수 있는 사이드 글래스 뷰를 쉽게 생성할 수 있도록 캘리브레이션(calibration)을 수행한다.
다른 예제에서, 상기 사이드 윈도우 글래스의 사이즈, 사이드 윈도우 글래스의 모양, 상기 카메라로부터의 사이드 윈도우 글래스의 거리와 같은 파라미터들을 기반으로 하는 자동 설정들은 상기 캘리브레이션을 수행하기 위해 실행 시간(run time)에서 결정된다. 이 설정에서, 내부 카메라는 상기 자동차의 내부로부터 외부 뷰를 지속적으로 캡쳐한다. 상기 외부 뷰를 캡쳐하는 내부 카메라는 사용자들이 상기 자동차의 내부로부터 보는 뷰와 유사하다. 또한, 상기 시스템은 상기 외부 카메라로부터 캡쳐된 뷰와 상기 내부 카메라로부터 캡쳐된 뷰를 프로세싱하여 상기 자동차의 사이드 윈도우 글래스에 디스플레이되어야만 하는 사이드 글래스 뷰를 생성한다.
또 다른 예제에서, 자동 설정 및 뷰 조정은 상기 여행객 혹은 사용자의 머리 움직임을 기반으로 한다. 상기에서 설명한 케이스와 유사하게, 상기 파라미터들은 상기 캘리브레이션을 수행하기 위해 상기 시스템의 실행 시간에서 식별된다. 내부 카메라로부터 캡쳐된 뷰 이외에도, 사용자의 머리 움직임 및 양안 역시 식별된다. 내부 카메라는 지속적으로 상기 양안 및 머리의 좌표들을 캡쳐하고, 이런 좌표들을 기반으로 상기 사이드 글래스 뷰가 조정된다, 즉 사용자가 사이드 글래스와 가까이 존재할 경우 상기 사이드 글래스에서의 시야를 증가시키고, 상기 사용자가 왼쪽 혹은 오른쪽 사이드로 쉬프트할 경우 사이드 글래스 뷰를 왼쪽으로 쉬프트하고 오른쪽으로 쉬프트한다.
컨텐트의 생성
상기 사이드 윈도우 글래스 상에서 렌더링되는 컨텐트를 생성하는 것은 특징 선택, 특징 매핑, 파라미터 추정, 이미지 조정, 및 뷰 플레인 프로젝션(view plane projection)을 포함할 수 있다. 상기 특징 선택은 기본적으로 상기 캡쳐된 프레임으로부터 키 특징 포인트들이 추출된다. 상기 추출된 특징들은 SIFT (Scale Invariant Feature Transform) 혹은 SURF (Speeded up Robust features) 특징들을 기반으로 할 수 있지만, 그렇다고 이로 제한되지는 않는다. 상기 특징 디스크립터들은 변하지 않아야만 하고 독특(distinctive)해야만 한다. 특징 선택시, 상기 획득된 키 특징들 (디스크립터들)은 2D 카메라와 360도 카메라로부터 획득된 프레임들간의 유사성을 성립하기 위해 사용될 것이다. 매핑시, 기준 좌표 시스템에 관한 키 특징 포인트들의 각도, 방향, 거리들을 포함하지만, 그렇다고 이에 한정되지는 않는 상기 파라미터들을 추정한다. 이런 파라미터들은 기본적으로 상기 사이드 윈도우 글래스 상에 렌더링될 프레임을 적합하게 조정하는데 도움을 준다. 추정 시, 상기 윈도우 글래스 상에서 최종적으로 렌더링될 프레임 조정을 위한 입력으로서 동작할, 카메라 파라미터들, 사용자의 양안의 위치, 사이드 윈도우 글래스 등의 위치 좌표들을 포함하지만 그렇다고 이에 한정되지는 않는 다른 파라미터를 사용하여 상기 이미지를 조정한다. 상기 프레임은 최종적으로 변형, 에파인(Affine), 원근법, 와핑(Warping) 등과 같은 다양한 변환들을 적용함으로써 조정될 수 있다. 상기 조정된 이미지는 결과적으로 실제 경험을 제공하기 위해 그 모양을 기반으로 상기 사이드 윈도우 글래스 상에 보여질 수 있다.
도 2는 본 발명에 따른 차량의 글래스 윈도우 상에 하나 혹은 그 이상의 멀티미디어 컨텐트를 추천하는 캡쳐된 뷰를 프로세싱하는 시스템 아키텍쳐를 도시하고 있다. 상기 시스템은 주로 패스된 뷰 생성 및 디스플레이 모듈(210), 사이드 글래스 뷰 준비 및 동기 모듈(220), 패스된 뷰 추천 모듈(230), 증강 현실 제어기(240), 사용자 상호 작용 모듈(250), 디스플레이 모듈(260), 프로세서(270) 및 저장 장치(280)를 포함한다.
상기 패스된 뷰 생성 및 디스플레이 모듈(210)은 패스된 뷰 디스플레이 모듈(201), 사용자 입력 모듈(202), UI 설정 모듈(203), 외부 카메라 모듈(204), 내부 카메라 모듈(205), 서버 통신 모듈(206), 디바이스 상태 모듈(207), 패스된 뷰 렌더링 모듈(208), 보조 디바이스 상호 작용 모듈(209) 및 트랜스페어런트 디스플레이들(211)을 포함한다. 상기 패스된 뷰 디스플레이 모듈(201)은 사이드 윈도우 글래스 상에 상기 패스된 뷰를 디스플레이한다. 상기 사용자 입력 모듈(202)은 사용자 입력을 검출하고 상기 사용자 입력과 연관되는 해당 동작을 수행한다. 사용자 입력은 스마트 윈도우 글래스 상에서의 간단한 터치, 눈 맞춤, 머리 움직임, 음성 입력, 제스쳐 등이 될 수 있다. 상기 UI 설정 모듈(203)에는 사용자가 상기 사용자의 설정에 따라 조작할 수 있는 UI가 제공되며, 이 모듈은 상기 사용자의 선호하는 사용자 인터페이스를 저장한다. 상기 외부 카메라 모듈(204)은 자동차의 외부 카메라들(단순형 카메라, 360도 카메라, 깊이 카메라 등)과 연관된다. 상기 외부 카메라 모듈(204)은 지속적으로 외부 뷰를 캡쳐하여 상기 자동차들 저장 장치에 저장한다. 상기 내부 카메라 모듈(205)은 상기 자동차 내부의 사용자의 머리 움직임, 제스쳐, 눈 맞춤을 검출한다. 또한, 상기 사용자 입력은 상기 사용자 입력 모듈로 전달되고, 적합한 동작이 수행된다. 상기 서버 통신 모듈(206)은 외부 환경과 관련되는 정보를 획득하고, 추천 정보를 제공하고, 외부 뷰를 조작하기 위해서 (오버레이되는 정보를 추가하는) 등과 같이 상기 서버와 상호 작용한다. 상기 서버 통신 모듈(206)은 또한 클라우드(cloud)에 데이터를 저장한다. 상기 디바이스 상태 모듈(207)은 패스된 뷰 모드를 위해 필수적인 모든 디바이스들, 모듈들을 지속적으로 체크한다. 어떤 모듈들이라도 정확하게 동작하고 있지 않을 경우, 상기 디바이스 상태 모듈(207)은 상기 사이드 글래스 윈도우, 사용자 디바이스 등 상에서 사용자에게 경고를 제공한다. 상기 패스된 뷰 렌더링 모듈(208)은 디스플레이 디바이스 상에서 상기 패스된 뷰를 렌더링한다. 상기 보조 디바이스 상호 작용 모듈(209)은 상기 사용자의 보조 디바이스들, 즉, 모바일, 랩탑, 태블릿 등과 상호 작용을 한다. 상기 트랜스페어런트 디스플레이들(211)은 정보 및 패스된 뷰가 보여지는 상기 자동차의 스마트 윈도우 글래스들이다.
상기 사이드 글래스 뷰 준비 및 동기 모듈(220)은 상기 패스된 뷰의 녹화된 컨텐트를 처리하고, 상기 사이드 글래스 포인트 뷰 컨텐트를 생성한다. 또한, 이 모듈은 상기 컨텐트를 동기화하고, 따라서 사용자가 상기 사용자 자신이 동일한 포인트의 각도로부터 동일한 패스된 뷰를 다시 시각화하고 있는 것 같은 효과를 가지게 될 것이다.
상기 패스된 뷰 추천 모듈(230)은 오브젝트 검출 모듈(231), 자동차 위치 식별자(232), 추천 생성 모듈(233)을 포함한다. 상기 오브젝트 검출 모듈(231)은 상기 자동차의 주변에 존재하는 오브젝트들을 검출하여 상기 위치 마커(marker)들, 즉, 기념비들, 빌딩들 등을 식별한다. 자동차 위치 식별자(232)는 GPS 디바이스로부터 상기 자동차 위치의 정보를 식별/추출한다. 상기 추천 생성 모듈(233)은 서버로부터 상기 추천을 획득하여 패스된 뷰를 시각화한다. 상기 추천은 다른 자동차들로부터의 다른 여행객들 뷰를 기반으로 한다. 또한, 상기 추천들은 사용자가 선택 및 볼 수 있는 상기 사이드 윈도우 글래스들 상에서 자동적으로 보여진다.
상기 프로세서(270)는 상기 패스된 뷰 모드 시스템을 위해 필요로 되는 프로세스들을 실행한다. 프로세서(270)는 패스된 뷰모드 시스템에 포함된 모듈들의 동작을 제어할 수 있다. 따라서, 패스된 뷰 모드 시스템의 동작들은 실질적으로 프로세서(270)에 의해 제어 및 수행되는 것으로 해석될 수 있다. 상기 저장 장치(280)는 상기 획득된 주변 컨텐트들 및 사이드 윈도우들에 대해 프로세싱된 패스된 뷰가 저장되어 있는 영역이다.
도 3은 본 발명의 일 실시 예에 따른 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법의 플로우 차트를 도시하고 있다.
단계 310에서, 상기 방법은 상기 이동중인 차량에 부착되어 있는 하나 혹은 그 이상의 이미지 캡쳐 디바이스를 사용하여 제1 영역에서 상기 주변 풍경(surrounding scenery)의 다수의 풍경 정보(sight information)를 캡쳐한다. 몇몇 실시예들에서, 풍경 정보는 주변 풍경에 대한 풍경 이미지일 수 있다. 상기 방법은 상기 차량이 몇몇 지형적 위치들을 따라 진행하고 있기 때문에 상기 주변 환경으로부터 이미지들을 캡쳐한다. 상기 차량의 경로를 따라, 3차원 카메라 혹은 2차원 카메라 혹은 둘 다를 포함하는 상기 이미지 캡쳐 디바이스는 몇몇 지형적 위치들을 통해 상기 차량 주위에 존재하는 다양한 오브젝트들을 추적하고, 상기 다양한 오브젝트들을 로컬하게 저장하거나 혹은 상기 다양한 오브젝트들을 상기 원격 서버로 송신한다. 상기 카메라는 각 글래스 윈도우 혹은 상기 차량에 탑재되어 있는 360° 카메라에 부착될 수 있다. 상기 다수의 풍경 정보는 장소, 풍경, 동물, 빌딩 등이 될 수 있거나 장소, 풍경, 동물, 빌딩 등을 포함할 수 있고, 그렇다고 이에 한정되지는 않는다. 일 실시 예에서, 상기 다수의 캡쳐된 풍경 정보는 상기 캡쳐된 풍경 정보에 포함되어 있는 다양한 관심있는 오브젝트들의 식별을 위해 원격 서버로 송신되고, 사용자 선택을 위해 상기 글래스 윈도우에서 디스플레이하기 위한 상기 프로세싱된 컨텐트는 되돌아온다. 상기 제1 영역은 확정 시간 주기 (예제: 시간 T=0 초 부터 T= 10 초까지)에서 상기 이미지 캡쳐 디바이스/들에 의해 캡쳐되는 하나 혹은 그 이상의 풍경 정보를 가지는 영역이다.
단계 320에서, 상기 방법은 제2 영역에서 적어도 상기 제1 영역의 주변 풍경의 캡쳐된 풍경 정보의 일부를 보여주기 위한 사용자 요청을 수신한다. 상기 제2 영역은 상기 차량이 상기 제1 영역으로부터 어느 정도의 거리를 지나간 영역이다 (예제: 시간 T=60 초에서). 상기 제2 영역에서, 사용자는 상기 제1 영역의 패스된 뷰 정보를 인지하기 위해 요청을 생성한다.
단계 330에서, 상기 방법은 상기 사용자로부터 요청을 수신할 때 상기 차량의 글래스 윈도우 상에 디스플레이 영역 및 네비게이션 영역을 포함하는 사용자 인터페이스를 디스플레이한다. 상기 사용자 인터페이스는 상기 사용자가 적어도 하나의 캡쳐된 풍경 정보를 선택하여 분명하게 시각화하는 것을 허락한다. 상기 네비게이션 영역은 상기 제1 영역의 캡쳐된 풍경 정보의 일부에 관련되는 포인터를 제공한다. 다른 실시 예에서, 상기 네비게이션 영역은 상기 사용자가 방금 패스된 뷰, 차량 속도로 인해 미스된(missed) 현재의 뷰를 동시에 보는 것을 가능하게 하고 제어하는 검색 바 인터페이스를 포함한다.
단계 340에서, 상기 방법은 상기 사용자에 의해 선택된 부분을 기반으로 상기 사용자 인터페이스의 디스플레이 영역 상에 상기 컨텐트를 렌더링한다. 상기 컨텐트의 일부를 상기 차량의 글래스 윈도우 상에 디스플레이하기 위한 사용자 요청으로 인해, 상기 방법은 동일한 내용을 보여주기 위해 상기 컨텐트를 렌더링한다. 상기 컨텐트를 렌더링하는 것은 상기 차량의 글래스 윈도우에 상응하는 주변 환경의 사전-프로세싱된 풍경 정보를 기반으로 한다. 상기 디스플레이 영역은 경과된 오브젝트 기반 뷰 선택, 유명한 빌딩 및 그 아이콘 기반 뷰 선택, 다른 사이드 윈도우 뷰, 패스된 뷰를 가능하게 하는 드래그 상호 작용, 패스된 뷰와 현재의 뷰 디스플레이의 스위칭, 상기 경로 맵 상에서 상호 작용함으로써 패스된 뷰를 선택하는 것, 상기 패스된 뷰의 시작에 대한 디폴트 시간, 상기 패스된 뷰를 디스플레이하는 속도의 제어, 한번의 클릭으로 소셜 네트워크에 패스된 뷰를 공유하는 것, 패스된 뷰를 줌 인 및 줌 아웃하는 것, 상기 패스된 뷰에 포함되어 있는 오브젝트들에 대한 더 많은 정보를 제공한다. 상기 글래스 윈도우 상의 풍경 정보의 디스플레이는 논-트랜스페어런트 뷰(non-transparent view)이다. 또한, 상기 글래스 윈도우 상의 풍경 정보의 디스플레이는 상기 차량이 상기 주변 환경에 있었던 것과 같이 상기 사용자에게 동일한 뷰를 묘사한다.
상기 사전-프로세싱된 풍경 정보의 생성은 상기 윈도우의 사이즈, 상기 윈도우의 모양, 상기 외부 카메라 및 내부 카메라를 포함하는 카메라로부터 상기 윈도우 글래스까지의 거리, 및 상기 주변 풍경의 풍경 정보를 기반으로 캘리브레이트된다. 상기 캘리브레이션은 상기 신(scene)이 운행중에 트랜스페어런트 글래스 상에서 상기 사용자에게 보여졌었기 때문에 상기 디스플레이 상에서 정확하게 상기 주변 환경을 보는 것에 도움을 줄 것이다. 이로 인해서, 사용자는 어떤 것이 트랜스페어런트 글래스 뷰로 보여졌는지를 쉽게 리콜(recall)할 수 있고, 디스플레이 뷰는 매우 유사하게 될 것이다. 또한, 상기 사전-프로세싱된 풍경 정보의 생성은 상기 윈도우의 사이즈, 상기 윈도우의 모양, 상기 윈도우 글래스와 적어도 2개의 이미지 캡쳐 디바이스의 거리를 기반으로 실행 시간에 결정되며, 상기 적어도 2개의 이미지 캡쳐 디바이스는 상기 차량의 내부에 설치되어 있는 제1 이미지 캡쳐 디바이스와 상기 차량의 외부에 존재하는 제2 이미지 캡쳐 디바이스이다. 또한, 상기 사전-프로세싱된 풍경 정보의 생성은 상기 윈도우의 사이즈, 상기 윈도우의 모양, 상기 윈도우 글래스와 적어도 2개의 이미지 캡쳐 디바이스의 거리를 기반으로 실행 시간에 결정되며, 상기 적어도 2개의 이미지 캡쳐 디바이스는 상기 차량의 내부에 설치되어 있는 제1 이미지 캡쳐 디바이스와 상기 차량의 외부에 탑재되어 있는 제2 이미지 캡쳐 디바이스이며, 상기 내부 캡쳐 디바이스는 상기 사용자의 양안 혹은 머리의 좌표들을 지속적으로 캡쳐하여 상기 사용자 움직임들을 기반으로 상기 렌더링 컨텐트를 에뮬레이트(emulate)하여 상기 윈도우 글래스 상에 디스플레이한다.
도 4는 본 발명의 예제 실시 예에 따른, 도 3에서 논의된 바와 같은 사용자 인터페이스의 디스플레이 영역(410) 및 네비게이션 영역(420)의 예제 뷰를 도시하고 있다. 상기 디스플레이 영역(410)은 상기 운행 동안 패스되었던 뷰를 제공한다. 상기 네비게이션 영역(420)은 일련의 시구간들(일 예로, 0 초, -30 초, -60 초, -90 초 및 -120 초로 보여지는 바와 같은)을 제공하고, 상기 사용자가 상기 여행객이 상기 운행 동안 패스되었던 것을 보고 싶어하는 각 시간 주기를 선택하는 것을 가능하게 한다.
도 5는 본 발명의 일 실시 예에 따른, 상기 디스플레이가 화면 속 화면(Picture in Picture: PIP) 에서 패스된 뷰 및 현재의 뷰를 제공하는, 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법의 플로우 차트를 도시하고 있다.
단계 510에서, 상기 방법은 상기 이동중인 차량에 부착되어 있는 적어도 하나의 이미지 캡쳐 디바이스를 사용하여 제1 영역에서 상기 주변 풍경의 다수의 풍경 정보를 캡쳐한다.
단계 520에서, 상기 방법은 상기 사용자가 상기 패스된 뷰 모드를 이네이블하는 것을 허락한다. 일 실시 예에서, 상기 사용자는 상기 패스된 뷰 모드의 옵션을 디스플레이하기 위해 상기 윈도우 글래스를 터치하는 것(예제: 아마도 한번 혹은 두 번의 터치)이 허락된다. 상기 패스된 뷰 모드의 옵션의 선택 시, 상기 방법은 단계 530에서 상기 차량의 글래스 윈도우 상에 다수의 패스된 뷰들을 디스플레이한다.
단계 540에서, 상기 방법은 상기 사용자가 상기 패스된 뷰 중 적어도 하나를 선택하기 위해 네비게이트하는 것을 허락한다. 상기 사용자에게는 분명하게 시각화하기 위해 적어도 하나의 패스된 뷰를 선택하는 옵션이 제공된다. 상기 시각화된 패스된 뷰의 속도는 상기 느린 액션, 빠른 액션 및 상기 뷰의 정지를 위해 상기 글래스 상에서 다양한 터치 명령들에 의해 제어될 것이며, 상기 터치 명령들은 탭(tap), 누름, 더블 탭(double tap), 드래그(drag) 및 핀치(pinch)를 포함한다.
단계 550에서, 상기 방법은 상기 컨텐트를 추출하여 상기 선택된 패스된 뷰의 글래스 윈도우 상에 보여주어 상기 패스된 뷰 및 상기 현재의 뷰를 화면 속 화면(Picture in Picture: PIP)에서 시각화한다, 혹은 그 역도 마찬가지이다. 상기 글래스 윈도우에서 상기 선택된 패스된 뷰를 보여주는 것은 선택된 패스된 뷰 및 현재의 뷰 둘 다를 포함하여 동시에 디스플레이 되는 세미-트랜스페어런트(semi-transparent) 인터페이스이다. 상기 세미-트랜스페어런트 인터페이스는 트랜스페어런트 뷰 및 디스플레이를 포함하며, 상기 트랜스페어런트 뷰는 실질적으로 보다 큰 뷰이고, 상기 디스플레이는 실질적으로 보다 작은 뷰이다. 상기 트랜스페어런트 뷰는 내츄럴 뷰(natural view)이고, 상기 디스플레이 뷰는 디지털 뷰이다.
예제 실시 예에서, 상기 트랜스페어런트 뷰는 실질적으로 보다 작은 뷰이고, 상기 디스플레이는 실질적으로 보다 큰 뷰이고, 상기 트랜스페어런트 뷰 및 디스플레이 둘 다는 디지털 뷰이다.
도 6은 본 발명의 예제 실시 예에 따른, 도 5에서 논의된 바와 같은 PIP에서 패스된 뷰 및 현재의 뷰의 예제 뷰를 도시하고 있다. 도 6에 도시되어 있는 바와 같은 시나리오를 고려할 경우, 상기 여행객/사용자는 자동차로 여행 중이고, 상기 자동차의 속도로 인해 말들을 제대로 보지 못했었다. 그리고 나서 사용자는 상기 선호하는 외부 뷰를 시각화하기 위해 패스된 뷰 모드를 선택한다. 상기 윈도우 글래스 디스플레이는 화면 속 화면 포맷으로 상기 패스된 뷰와 함께 현재의 뷰를 제공하고, 따라서 사용자는 상기 현재의 뷰까지도 인식하게 된다. 상기 패스된 뷰와 함께, 진행 바 역시 보여지고, 상기 진행 바는 상기 자동차의 현재의 뷰 대비 패스된 뷰의 현재 위치를 설명한다. 사용자는 또한 이 진행 바를 클릭하여 상기 보기를 제어할 수 있다, 즉 사용자는 상기 바를 클릭하여 앞 뒤로 건너 뛰면서 상기 패스된 뷰를 시각화 할 수 있다. 예제 실시 예에서, 상기 진행 바는 상기 차량 끝의 뒤쪽 사이드에 재생되어, 상기 사용자가 이전의 미스된 뷰로 진행하여 그 스케일을 이해하는 실제 느낌을 성취하는 것을 도와준다.
도 7은 본 발명의 일 실시 예에 따른, 패스중인 뷰를 향한 머리 움직임을 검출한 후 패스된 뷰 모드의 실행을 활성화시킴으로써 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법의 플로우 차트를 도시하고 있다.
단계 710에서, 상기 방법은 상기 이동 중인 차량에 탑재되어 있는 제1 이미지 캡쳐 디바이스를 사용하여 제1 영역에서 상기 주변 풍경의 다수의 풍경 정보를 캡쳐한다. 상기 제1 이미지 캡쳐 디바이스들은 상기 차량의 경로를 따라 상기 주변 풍경을 캡쳐하기 위해 상기 차량에 탑재되어 있는 3-차원 360° 카메라이다.
단계 720에서, 상기 방법은 상기 이동 중인 차량의 내부에 부착되어 있는 제2 이미지 캡쳐 디바이스를 사용하여 상기 사용자의 다수의 움직임 정보를 캡쳐한다. 상기 제2 이미지 캡쳐 디바이스는 상기 차량의 내부에 설치되어 있는 2-차원 카메라이다. 예제 실시 예에서, 상기 제2 이미지 캡쳐 디바이스는 3차원 카메라가 될 수 있다.
단계 730에서, 상기 방법은 머리 움직임 및 눈 맞춤을 검출할 경우 상기 글래스 윈도우 상에 자동으로 패스된 뷰 모드를 실행시킨다. 상기 제2 이미지 캡쳐 디바이스는 상기 차량의 내부에 부착되어 지속적으로 상기 사용자의 움직임을 모니터한다. 예제에서, 상기 제2 이미지 캡쳐 디바이스는 움직임이 상기 사용자에게 관심이 있는 상기 패스된 뷰를 보기 위해 상기 사이드 글래스를 향해 지향될 수 있을 때 상기 사용자의 머리 움직임 및 눈 맞춤을 검출한다. 검출 시, 상기 방법은 상기 사이드 글래스 윈도우 상에 상기 패스된 뷰 모드를 자동으로 실행시킨다.
단계 740에서, 상기 방법은 상기 사용자가 적어도 하나의 패스된 뷰를 선택하여 분명하게 시각화하는 것을 허락한다. 상기 패스된 뷰 모드가 턴 온 된 후, 상기 사용자에게는 다양한 옵션들이 제공되고, 상기 사용자가 상기 다양한 옵션들 중 하나를 선택하여 분명하게 시각화하는 것을 허락한다.
단계 750에서, 상기 방법은 상기 컨텐트를 추출하여 상기 선택된 패스된 뷰의 글래스 윈도우 상에 보여준다. 상기 다양한 옵션들로부터의 선택시, 상기 시스템 혹은 방법은 상기 컨테츠를 추출하여 상기 사용자에게 상기 뷰를 보여준다.
도 8A는 본 발명의 예제 실시 예에 따른, 도 7에서 논의된 바와 같은 패스된 뷰 모드의 예제 뷰 자동 실행을 도시하고 있다. 예제 실시 예에서, 사용자는 상기 사용자에게 관심 있는 뷰를 명확하게 보기 위해 상기 패스중인 뷰를 향해 움직이고 있거나 혹은 머리를 기울이고 있는 중이다. 상기 사용자 움직임이 상기 시스템의 내부 카메라에 의해 검출되면, 상기 방법은 자동으로 상기 패스된 뷰 모드를 실행시키고 상기 사용자에게 보여준다. 그리고 나서 사용자는 상기 사용자가 명확하게 보기를 원하는 의도를 가지는 뷰를 선택할 수 있고, 따라서 상기 차량의 속도로 인해, 상기 사용자가 적절하게 혹은 명확하게 볼 수 없었지만 현재는 명확하게 시각화 될 수 있다. 그리고 나서 다양한 사용자 인터페이스(User Interface: UI) 옵션들이 상기 패스중인 뷰를 향한 머리 움직임의 검출을 기반으로 제공될 수 있다. 다른 예제 실시 예에서, 눈맞춤은 또한 상기 패스된 뷰 모드의 자동 실행에서 사용될 수 있다. 상기 패스중인 뷰를 향한 눈 맞춤은 또한 상기 시스템의 내부 카메라를 사용하여 검출될 수 있다.
도 8B는 본 발명의 예제 실시 예에 따른, 상기 패스된 뷰를 사용하기 위한 예제 사이드 윈도우 터치 옵션을 도시하고 있다. 상기 예제 사이드 윈도우 터치 옵션들은 패스된 뷰를 시각화할 경우 다양한 명령들을 제공한다. 상기 명령들은 (1) 사용자가 상기 패스된 뷰 모드를 상기 사이드 윈도우 글래스를 이네이블할 수 있는 탭 명령; (2) 사용자가 상기 윈도우 디스플레이 상에서 옵션을 선택할 수 있는 누름 명령; (3) 사용자가 상기 패스된 뷰를 정지시키고 재생할 수 있는 더블 탭 명령; (4) 사용자가 상기 뷰를 제어하는, 즉 상기 뷰의 순방향 및 역방향을 제어하는 드래그 명령; (5) 사용자가 패스된 뷰 풀 스크린 혹은 현재의 뷰에 대해 억세스할 수 있는 핀치 명령을 포함한다. 상기 터치 옵션을 가지는 상기에서 설명한 바와 같은 명령들이 예제로 주어지고, 상기 사이드 윈도우 글래스 상에 상기 패스된 뷰를 보여주기 위한 다양한 다른 옵션들 입력들이 존재할 수 있거나 다양한 다른 옵션들 입력들을 포함할 수 있다.
도 9는 본 발명의 일 실시 예에 따른, 제1 주변 환경으로부터 제2 주변 환경으로 이동중인 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법의 플로우차트를 도시하고 있다.
단계 910에서, 상기 방법은 상기 차량에 탑재되어 있는 적어도 하나의 카메라를 사용하여 제1 주변 환경의 제1 뷰 정보를 캡쳐한다. 상기 캡쳐 혹은 녹화는 2D 카메라 혹은 360도 카메라, 2D 카메라의 조합, 및 360도 카메라의 조합 중 적어도 하나를 사용하여 수행된다.
상기 카메라가 상기 뷰 정보를 지속적으로 캡쳐하기 때문에, 상기 캡쳐된 뷰 정보 각각은 타임 스탬프(time stamp)와 함께 제공되고, 추가적인 프로세싱을 위해 상기 저장 장치에 저장된다. 예제 실시 예에서, 상기 타임 스탬프와 함께 캡쳐된 정보는 저장 및 프로세싱을 위해 상기 차량 프로세서에 의해 원격 서버로 송신된다. 상기 제1 주변 황경은 상기 차량이 T=0 초에 있을 때의 환경이다.
단계 920에서, 상기 방법은 상기 이동 중인 차량에서 제1 주변 환경의 제1 트랜스페어런트 글래스 뷰를 보여주기 위해 제2 주변 환경에서 상기 트랜스페어런트 사이드 윈도우 글래스에 상응하는 사용자 관심 요청을 수신한다. 상기 제2 주변 환경은 상기 차량이 T=120 초에 존재할 때의 환경이다. 상기 주행 중에 이동 중인 차량에 의해서 상기 제1 주변 환경은 보다 먼저 지나가고, 제2 주변 환경은 보다 나중에 지나간다.
단계 930에서, 상기 방법은 제3 주변 환경으로부터 제1 주변 환경으로의 네비게이션을 이네이블하기 위해 상기 트랜스페어런트 사이드 윈도우 글래스 상에서 사용자 인터페이스를 디스플레이하거나 혹은 제공한다. 상기 제3 주변 환경은 상기 차량이 T=60초 일 때의 환경이다. 상기 주행 중에 이동 중인 차량에 의해서 상기 제3 주변 환경은 보다 먼저 지나가고, 제2 주변 환경은 보다 나중에 지나간다.
단계 940에서, 상기 방법은 상기 제3 주변 환경으로부터 제1 주변 환경으로의 네비게이션 요청을 수신한다. 상기 사용자가 상기와 같은 요청을 생성할 때 상기 글래스 윈도우에 의해 제공되는 다양한 옵션들을 기반으로 한다. 상기 옵션들은 연관되는 풍경을 가지는 상기 패스된 뷰의 다양한 섹션들이 될 수 있거나 혹은 상기 연관되는 풍경을 가지는 상기 패스된 뷰의 다양한 섹션들을 포함할 수 있고, 상기 다양한 섹션들은 상기 타임 슬럿들(일 예로: 30 초, -60 초, -90 초, -120 초 등)을 기반으로 한다. 사용자는 그의 입력, 즉 그/그녀가 -90 초부터 -120 초까지의 패스된 뷰 이미지들 혹은 정보를 보기를 원한다는 네비게이션 요청을 제공할 수 있으며, -90 초는 상기 제3 환경이고, 상기 -120초는 상기 제1 환경이다. 예제 실시 예에서, 상기 트랜스페어런트 사이드 윈도우 글래스에 상응하게 사용자 관심을 수신하는 것은 터치 제스쳐, 음성 명령, 신체 자세 제스쳐, 눈 맞춤 제스쳐 중 적어도 하나를 사용하여 제공되지만, 그렇다고 이에 한정되는 것은 아니다.
단계 950에서, 상기 방법은 상기 트랜스페어런트 사이드 윈도우 글래스 상에 상기 멀티미디어 컨텐트를 렌더링한다. 상기 멀티미디어 컨텐트는 상기 제1 뷰 정보를 프로세싱한 후 상기 트랜스페어런트 사이드 윈도우 글래스에 상응하게 준비된다. 예제 실시 예에서, 상기 멀티미디어 컨텐트는 상기 트랜스페어런트 사이드 윈도우 글래스의 사이즈, 상기 트랜스페어런트 사이드 윈도우 글래스의 모양, 사용자가 앉아 있는 위치, 사용자 눈 위치, 및 상기 제1 뷰 정보와 상기 제1 트랜스페어런트 글래스 뷰의 결과들의 매핑 중 적어도 하나를 기반으로 준비되며, 그렇다고 이에 한정되지는 않는다.
도 10은 본 발명의 예제 실시 예에 따른, 도 9에서 논의된 바와 같은 차량이 제1 주변 환경으로부터 제2 주변 환경으로 이동하는 예제 시나리오를 도시하고 있다. 도 10은 자동차가 T= 0 초에 존재하고, 사용자들이 상기 패스된 뷰를 보는 것에 대한 요청을 제공한다. 상기 요청이 전달되면, 상기 사이드 윈도우 글래스 뷰가 T = -120 초부터 시작된다 (구성 가능하며, 상기 패스된 뷰 선택을 기반으로, 즉 오브젝트 기반 선택으로 달라질 수 있다). 상기 진행 바는 현재 뷰를 향한 패스된 뷰의 진행 및 현재 시나리오에서의 안 보이는 뷰를 보여준다. 사용자는 또한 진행 바를 클릭하여 어느 한 뷰에서 다른 뷰로 빨리 이동시킨다.
도 11은 본 발명의 일 실시 예에 따른, 디스플레이가 트랜스페어런트 뷰와 논-트랜스페어런트 뷰를 포함하는 듀얼 뷰를 제공하는, 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법의 플로우 차트를 도시하고 있다.
단계 1110에서, 상기 방법은 상기 차량에 탑재되어 있는 적어도 하나의 카메라를 사용하여 제1 주변 환경의 제1 뷰 정보를 캡쳐한다.
단계 1120에서, 상기 방법은 상기 이동 중인 차량에서 제2 주변 환경에서 제1 주변 환경의 제1 트랜스페어런트 글래스 뷰를 보여주기 위해 상기 트랜스페어런트 사이드 윈도우 글래스에 상응하는 사용자 관심을 수신한다. 상기 주행 중에 이동 중인 차량에 의해서 상기 제1 주변 환경(즉, T=-120초)은 보다 먼저 지나가고, 제2 주변 환경(즉, T= 60 초)은 보다 나중에 지나간다.
단계 1130에서, 상기 방법은 트랜스페어런트 뷰와 논-트랜스페어런트 뷰를 포함하는 듀얼 뷰를 실행시킨다.
단계 1140에서, 상기 방법은 제3 주변 환경으로부터 제1 주변 환경으로의 네비게이션을 이네이블하기 위해 논-트랜스페어런트 사이드 윈도우 글래스 상에서 사용자 인터페이스를 디스플레이한다. 상기 주행 중에 이동 중인 차량에 의해서 상기 제3 주변 환경(즉, T= 0초)은 보다 먼저 지나가고, 제2 주변 환경(즉, T= 60 초)은 보다 나중에 지나간다.
단계 1150에서, 상기 방법은 상기 제3 주변 환경으로부터 제1 주변 환경으로의 네비게이션 요청을 상기 트랜스페어런트 사이드 윈도우 글래스의 논-트랜스페어런트 뷰 상에서 수신한다.
단계 1160에서, 상기 방법은 상기 트랜스페어런트 사이드 윈도우 글래스의 논-페어런트 뷰 상에 상기 멀티미디어 컨텐트를 렌더링한다. 상기 멀티미디어 컨텐트는 상기 제1 뷰 정보를 프로세싱한 후 상기 트랜스페어런트 사이드 윈도우 글래스에 상응하게 준비된다. 예제 실시 예에서, 상기 멀티미디어 컨텐트는 2D 이미지, 360도 이미지, 2D 비디오, 350 비디오 및 상기 2D 이미지, 360도 이미지, 2D 비디오, 350 비디오의 조합 중 적어도 하나이다. 상기 멀티미디어 컨텐트를 렌더링하는 것은 상기 트랜스페어런트 사이드 윈도우 글래스의 사이즈, 상기 트랜스페어런트 사이드 윈도우 글래스의 모양, 사용자가 앉아 있는 위치, 사용자 눈 위치, 및 상기 제1 뷰 정보와 상기 제1 트랜스페어런트 글래스 뷰의 결과들의 매핑 중 적어도 하나를 기반으로 한다.
도 12는 본 발명의 예제 실시 예에 따른, 상기 디스플레이가 도 11에서 논의된 바와 같은 트랜스페어런트 뷰와 논-트랜스페어런트 뷰를 포함하는 듀얼 뷰를 제공하는 예제 시나리오를 도시하고 있다. 도 12는 자동차가 T= 0 초부터 T = 0 + 60 초까지 이동 중이라는 것을 보여주고 있다. 상기 진행 바 변경들이 패스된 뷰의 현재의 뷰를 향한 진행을 보여주고 현재의 시나리오에서 보여지지 않는 뷰를 보여주는 도면에서 도시되어 있다. 상기 진행 바는 상기 패스된 뷰 요청이 제공된 이후에 이동된 거리를 보여준다. 예제 실시 예에서, 다른 컬러 코딩이 상기와 같은 혹은 다양한 시나리오들을 설명하기 위해 사용될 수 있다.
도 13은 본 발명의 일 실시 예에 따른 풍경 정보로부터 키 오브젝트들을 예측함으로써 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법의 플로우 차트를 도시하고 있다.
단계 1310에서, 상기 방법은 상기 이동중인 차량에 부착되어 있는 적어도 하나의 이미지 캡쳐 디바이스를 사용하여 제1 영역에서 상기 주변 풍경의 다수의 풍경 정보를 캡쳐한다.
단계 1320에서, 상기 방법은 이전 경로 텍스쳐(texture), 오브젝트들의 고유 팩터 및 동일 경로 상의 사용자 상호 작용들 중 적어도 하나를 결정하는 것을 기반으로 상기 풍경 정보로부터 키 오브젝트들을 예측한다. 상기 키 오브젝트들을 예측하는 단계는 광 흐름(optical flow), 프레임들간의 특징 유사성, 전세계 특징 (GIST 특징) 유사성을 기반으로 하는 키 오브젝트 검출을 위해 선택된 그리드들에서의 텍스쳐의 식별(컨텍스트 백그라운드)를 사용한다. 상기 키 오브젝트들을 예측하는 것은 돌출(saliency)을 기반으로 상기 그리드에서 키 오브젝트들을 식별하고 분석하는 것을 포함하며, 그렇다고 이에 한정되지는 않는다. 상기 돌출은 상기 경로에서 과거에 발생되지 않았었던 오브젝트들, 모션, AI 모델 등을 기반으로 하는 오브젝트 유사성에 대한 학습을 기반으로 할 수 있다. 또한, 상기 키 오브젝트들을 예측하는 단계는 상기 캡쳐된 신에 존재하는 키 오브젝트들을 획득하기 위해 상기 신 그리드 셀들을 오브젝트 및 논-오브젝트(텍스쳐) 파트로 구분하는 것을 기반으로 한다. 상기 키 오브젝트들을 분석하는 것은 빈번하게 발생되는 오브젝트들을 체크하여 상기 빈번하게 발생되는 오브젝트들을 폐기하는 것을 포함하고, 다른 오브젝트가 나타나면 상기 시스템이 상기 다른 오브젝트를 추가적인 프로세싱을 위해 다른 차등 오브젝트로 마킹한다.
원격 서버에서 수집되는, 상기 글래스 윈도우를 사용하는 과거 사용자 상호 작용들은 다양한 차량들에서 캡쳐된다. 상기 수집된 정보를 기반으로, 트렌드 데이터가 준비된다. 상기 과거 사용자 상호 작용의 캡쳐는 사용자 프로파일, 사용자가 상기 윈도우 글래스를 사용하여 과거에 본 내용 & 상호 작용 히스토리, 사용자의 드라이빙 이유/컨텍스트를 포함한다. 상기 AI에 의해 결정된 차등 오브젝트에 대한 신뢰 팩터를 기반으로, UI 윈도우가 선택된다. 상기 사용자 인터페이스는 상기 미리 결정되어 있는 오브젝트들 및 사용자의 컨텍스트를 기반으로 캡쳐된 풍경 정보를 다이나믹하게 제공하며, 상기 풍경 정보의 디스플레이는 상기 이미지 혹은 비디오 디스플레이, 비디오 시작 시간 중 적어도 하나를 포함한다. 상기 사용자 인터페이스는 상기 사용자에게 상기 경로 상의 미래 뷰 풍경 정보를 제공하며, 상기 미래 뷰 풍경 정보는 인터넷 미디어 컨텐트를 사용하여 검색된다. 상기 텍스쳐 변경 검출은 각 프레임을 NxN 그리드 셀들로 분할하고, 현재 & 이전 프레임들의 각 NxN 그리드 셀들에 대한 전세계 디스크립터들(요지 특징들)을 추정하고, 현재 프레임의 각 그리드 셀의 요지 특징 유사성을 이전 프레임의 각 그리드 셀과 비교하는 것을 포함하며, 그리드 셀들이 특징 유사성이 임계값(들)을 초과할 경우 유사하다고 마킹되고, 비-유사 그리드들이 키 오브젝트들의 추가 식별을 위해 선택된다.
단계 1330에서, 상기 방법은 제2 영역에서 적어도 상기 제1 영역의 주변 풍경의 캡쳐된 풍경 정보의 일부를 보여주기 위한 사용자 요청을 수신한다.
단계 1340에서, 상기 방법은 상기 차량의 글래스 윈도우 상에 디스플레이 영역 및 네비게이션 영역을 포함하는 사용자 인터페이스를 디스플레이한다. 상기 네비게이션 영역은 상기 제1 영역의 캡쳐된 풍경 정보의 일부에 관련된 포인터를 제공한다.
단계 1350에서, 상기 방법은 상기 사용자에 의해 선택된 부분을 기반으로 상기 사용자 인터페이스의 디스플레이 영역 상에 상기 컨텐트를 렌더링한다.
도 14는 본 발명의 예제 실시 예에 따른 상기 차량의 경로에서 키 오브젝트들 및 차등 오브젝트들의 예제를 도시하고 있다. 상기 차등 오브젝트는 과거의 뷰에서 덜 빈번한 키 오브젝트들과 동일하며, 따라서 높은 중요도를 가진다. 상기 방법은 상기 자주 발생되는 오브젝트들을 체크하고 상기 자주 발생되는 오브젝트들을 폐기한다. 다른 오브젝트가 나타나면, 상기 시스템은 상기 다른 오브젝트를 추가적인 프로세싱을 위해 차등 오브젝트로 마킹한다. 일 예로, 나무는 여행 경로에서 보다 덜 중요할 수 있다. 하지만, 다른 여행 경로에서 상기 나무는 중요할 수 있다. 아래의 표 1은 예시적인 오브젝트들의 빈도들을 나타낸다.
일련 번호 경로 상의 오브젝트들 빈도
1 오브젝트 1 6
2 오브젝트 2 6
3 오브젝트 3 4
4 오브젝트 4 2
5 오브젝트 5 1
키 오브젝트의 중요도 α (1 / 빈도)
중요한 키 오브젝트들 = 차등 오브젝트들
도 15는 본 발명의 예제 실시 예에 따른 상기 차량의 경로에서 차등 오브젝트들의 식별에서의 예제를 도시하고 있다. 설명된 바와 같이, 상기 방법은 상기 경로 텍스쳐를 해석하고 차등 오브젝트들을 결정한다. 도면에 도시되어 있는 바와 같이, 상기 키 오브젝트와 차등 오브젝트들간을 결정하고 차별화시키기 위해 상기 방법에 의해 고려되는 다양한 이미지들이 존재한다. 도 15로부터의 일 예로부터, 곰이 차등 오브젝트로 고려된다. 다른 컬러 값들로 인해서, 분석될 가능성이 높고 및 상기 경로에서 덜 자주 발생되기 때문에, 곰은 상기 차등 오브젝트가 될 것이라고 고려된다. 반면에, 나무들은 반복되고, 따라서 차등 오브젝트들로 고려되지 않는다. 상기 패스된 뷰에서는 드물기 때문에 차등 오브젝트가 되고, 키 오브젝트들은 텍스쳐 변경을 기반으로 식별되고, 몇몇 프레임들에서는 상기 키 오브젝트들이 반복되기 때문에 차등 오브젝트로 선택되지 않는다.
도 16은 본 발명의 일 실시 예에 따른 패스된 뷰 추천 모듈의 시스템 다이아그램을 도시하고 있다. 상기 모듈은 텍스쳐 변경 검출기(1620), 퍼스널라이즈드(personalized) 오브젝트 관련성 검출기(1640), 자동차 디스플레이 시스템(1660)을 포함한다. 상기 텍스쳐 변경 검출기는 텍스쳐 식별 유닛(1604), 텍스쳐 차이 추정기(1608), 변경 검출 엔진(1612)을 더 포함한다. 상기 텍스쳐 식별 유닛(1604)은 이미지 선택기(1601), 이미지 세그멘테이션 유닛(1602), 패턴 검출기(1603)를 포함한다. 상기 퍼스널라이즈드 오브젝트 관련성 검출기(1640)는 사용자 컨텍스트 검출기(1641), 멀티-오브젝트 인식 유닛(1642), AI 모듈(1643), 랭크 어그리게이터(1644), 차등 오브젝트 검출 유닛(1645), 크라우드 소싱(1646), 사용자가 본 오브젝트 제거기(user seen object remover)(1647), 사용자의 과거 상호 액션 유닛(1648)을 포함한다. 또한, 상기 시스템은 서버(1680)를 포함한다. 상기 서버(1680)는 경로 특정 고유 오브젝트 식별자 유닛(1681), 경로 유닛 상에서의 공통 사용자 상호 작용 오브젝트들(1682), 경로 상의 오브젝트들(1683), 역 오브젝트 빈도 추정기(1684), 경로 특정 오브젝트 정렬기(1685), 데이터베이스(1686)를 포함한다. 상기 패스된 뷰 추천 모듈은 상기 메인 시스템의 일부이다. 상기 패스된 뷰 추천 모듈은 주로 텍스쳐 변경 검출기(1620), 차등 오브젝트 검출 유닛(1645), 크라우드 소싱(1646), 사용자 컨텍스트 검출기(1641), 디스플레이 시스템(1660)을 포함한다. 예제 실시 예에서, 상기 경로 텍스쳐 분석은 키 오브젝트들을 식별하는 것이다. 일 예로, 광고 보드들, 교통 표지판들은 특정한 컬러 및 텍스트 혹은 심볼들, 이동 오브젝트들(일 예로 - 빌딩들, 사람들, 및 동물들 등)을 포함한다. (키 오브젝트들의 리스트로부터) 차등 오브젝트들을 결정하기 위해서는 중요도, 일 예로 과거에서의 발생 빈도, 과거 이동 히스토리, 이해하고 있는 일반적인 오브젝트들을 기반으로 하는 비정상적인 사이즈, 컬러 & 모양 등, 새롭게 론칭된 자동차들, 일부 교통 표지판들이 반복되지만, 일부 교통 표지판들은 고유하다는 것과, 식별을 위한 사람의 얼굴 인식, 유명한 기념물들, 보기 어려운 동물 등 들을 기반으로 한다. 이 모듈은 사용자가 원하는 오브젝트에 빨리 도달하는데 도움을 준다. 상기 시스템은 상기 윈도우 글래스를 사용하여 사용자 상호 작용들을 수행하는 사용자 상호 작용 모듈들을 포함하며, 상기 사용자 상호 작용들은 다양한 차량들에서 캡쳐되며 프로세싱을 위해 원격 서버로 송신된다. 상기 사용자 상호 작용은 상기 윈도우 글래스를 사용하여 상호 작용을 하는 현재의 사용자가 될 수 있거나 혹은 상기 드라이브 동안 과거에 상호 작용을 했지만 현재는 상기 서버에서 수집 및 저장되는 사용자가 될 수 있다. 상기 수집 및 프로세싱된 정보를 기반으로, 트렌드 데이터가 준비된 후 상기 사용자에게 보여진다. 또한, 상기 사용자 인터페이스는 상기 미리 결정되어 있는 오브젝트들 및 사용자의 컨텍스트를 기반으로 캡쳐된 풍경 정보를 다이나믹하게 제공하며, 상기 풍경 정보의 디스플레이는 상기 이미지 혹은 비디오 디스플레이, 비디오 시작 시간 중 적어도 하나를 포함한다. 또한, 상기 사용자 인터페이스는 상기 경로 상의 미래 뷰 풍경 정보를 상기 사용자에게 제공하며, 상기 미래 뷰 풍경 정보는 인터넷 미디어 컨텐트를 사용하여 검색된다.
다른 실시 예에서, 스마트 윈도우를 사용하는 과거 사용자 상호 작용들은 서버에서 수집되며 다양한 차량들에서 캡쳐될 수 있고, 트렌드 데이터가 준비된다. 상기 트렌드 데이터는 상기 중요도를 기반으로 추가적으로 개선되고 보다 잘 평가되는 차등 오브젝트들을 기반으로 한다. 일 예에서, 과거에 상기 차량이 따라 온 다양한 경로들이 존재할 수 있다. 상기 경로들 각각에 대해서, 상기 서버는 상기 차량의 위도 및 경도를 기반으로 엔트리를 생성하여 경로 ID를 정의할 수 있다 (일 예로: <경로 ID 1, 경로 ID 2, 경로 ID 3 ?? 등.>). 상기 차량에 의해 패스되는 각 경로에서, 캡쳐중인 다양한 오브젝트들이 존재한다, 일 예로 (<오브젝트 O1, 오브젝트 O2, 오브젝트 O3?? 등.>). 경로 ID 1에서, 상기 경로 1의 주행 경로 동안 하나 혹은 그 이상의 사용자들 (<사용자 U1, 사용자 U2, 사용자 U3?? 등.>)에 의해 선택되거나 혹은 상호 작용되는 다양한 오브젝트들, 즉 <오브젝트 O1 : U1; 오브젝트 O2 : U3)이 존재한다고 고려하기로 한다. 상기 수집된 이런 모든 정보를 기반으로, 상기 오브젝트 각각이 사용자의 설정들과 매핑되어 행렬을 형성한다(일 예로, 하기 표에 나타낸 바와 같은, 오브젝트-사용자 행렬). 일 예로, 오브젝트 O2는 사용자 U1 및 사용자 U2에 매핑되고, 오브젝트 O3는 사용자 U2 및 사용자 U3에 매핑된다. 상기와 같은 정보를 사용할 경우, 상기 시스템은 관심을 나타낸 사용자들의 수를 기반으로 상기 오브젝트를 결정 및 순위를 매기거나 점수를 매길 수 있다. 상기 행렬의 관점에서, 트렌드가 어떤 오브젝트가 보다 많은 관심을 받았는지, 또한 상기 사용자에 의해 상호 작용되었는지를 기반으로 준비되거나 혹은 형성된다 (일 예로, 하기 표 2 및 표 3에 나타낸 바와 같이, 오브젝트 O1은 상기 경로 ID 1에서 보다 적은 관심을 받고, 이에 반해 오브젝트 O2가 보다 많은 관심을 받는다).
크라우드 소싱된 (공동) 정보
Route ID
[Latitude, longitude]		 List of Objects in the
<Object List>		 Objects interacted by user <Object: User>
Route_ID_1 <O1, O2, O3, ... > <O1: U1, O2:U3, ...>
Route_ID_2 <O5, O2, O4, ...> <O2: U4, O4:Un, ...>
Route_ID_3 <O2, O3, O4, ...> <O2: U1, ...>
... ... ...
Route_ID_N <O1, O8, O9, ...> <O1: U3>
오브젝트-사용자 행렬
Object ID U1 U2 ... Un


=		 Object ID Collaborative Interest Frequency (f)
O1 1 0 ... 0 O1 f1
O2 1 1 ... 0 O2 f 2
O3 0 1 ... 1 O3 f3
... ... ... ... ... ... ...
Om 0 0 ... 1 Om fm
사용자가 경로 ID 1에서 여행 중일 때 상기 패스된 뷰 정보는 높은 빈도를 가지는 오브젝트들의 사용자에게 프롬프트(prompt)된다. 동일한 위치에서의 상기 패스된 뷰 요청들 및 상호 작용은 동일한 오브젝트에서의 관심을 초래할 것이다. 여행 컨텍스트 측면에서, 상기 속도, 턴 등은 동일한 오브젝트에서의 관심과 유사할 것이다. 게다가, 상기 여행 시간은 동일한 서브젝트에 대한 관심을 초래할 수 있다(즉, 동일한 경로 상의 날짜 시간 타입-1 오브젝트, 밤 시간 타입-2 오브젝트). 상기와 같은 사용은 사용자가 원하는 오브젝트에 빨리 도달하는 것을 가능하게 할 것이다(많은 사용자들이 동일한 경로들에서 동일한 오브젝트를 좋아하는 경향이 있기 때문에).
다른 예제 실시 예에서, 상기 시스템은 사이드 윈도우 디스플레이를 위해 사용자 컨텍스트 기반 키 오브젝트들 예측을 제공한다(즉, 상기 사용자 입력이 수신되기 전에). 이 측면에서, 상기 차등 오브젝트들은 중요도, 일 예로, 사용자 프로파일, 사용자가 과거에 본 내용 & 상호 작용 히스토리, 사용자의 드라이빙 이유/컨텍스트, 관심있는 사람(어느 한 위치에서 누군가를 만나는 것), 이전 여행으로부터의 경로 상의 새로운 오브젝트들, 제1 시간 여행, 동일한 오브젝트의 보다 이른 디스플레이, 사용자가 자동차를 늦추는 것, 여행 동안의 대화 등을 기반으로 보다 더 개선될 수 있다. 상기와 같은 모든 내용으로부터, 상기 시스템은 사용자 경험을 개선시키고, 사용자가 원하는 오브젝트에 빨리 도달하는 것을 도와준다.
다른 측면에서, 상기 시스템은 네비게이션을 위한 다이나믹 사용자 인터페이스를 제공한다. 상기와 같은 팩터들(미리 결정되어 있는 오브젝트들 및 사용자의 컨텍스트)를 기반으로, 그리고, AI에 의해 결정된 차등 오브젝트들에 대한 신뢰 팩터를 기반으로, 사용자 인터페이스 윈도우가 선택되어 이미지 혹은 비디오 디스플레이, 비디오 시작 시간 등을 디스플레이한다. 상기와 같은 모든 내용으로부터, 상기 시스템은 사용자 경험을 개선시키고, 사용자가 원하는 오브젝트에 빨리 도달하는 것을 도와준다.
상기 AI에 의해 결정된 차등 오브젝트들에 대한 컨텍스트 및 신뢰 팩터를 기반으로 하는 다이나믹 네비게이션 영역의 예제를 도시하고 있는 도 17을 참조하기로 한다. 도 17.1은 네비게이션 영역을 상기 AI에 의해 결정된 차등 오브젝트들을 기반으로 하는 타일(tile)들로 보여준다. 도 17.2는 상기 비디오 시작 시간 및 그 시구간들의 주기를 제공하는 검색 바 네비게이션을 보여준다. 상기 사용자는 상기 검색 바를 사용하여 상기 클립들 중 어디로라도 이동할 수 있다. 도 17.3은 다양한 오브젝트들의 심볼을 보여준다. 일 예에서, 상기 오브젝트의 심볼은 KFC 레스토랑, 맥도날드 레스토랑, 급유 펌프, 수리점 등이 될 수 있다. 상기 사용자는 상기 심볼 중 어느 부분이라도 직접 클릭 혹은 선택하여 상기 심볼에 관한 정보를 검색할 수 있다. 도 17.4는 상기 검색 바의 다른 컬러들을 보여주며, 상기 검색 바는 상기 현재의 위치 (0+60초)와, 상기 패스된 뷰 요청 정보 비디오의 시작(-120초) 및 종료(0초)에 대한 정보를 사용자에게 제공한다. 도 17.5는 화면 속 화면(picture-in-picture: PIP)에서의 현재의 뷰 및 패스된 뷰 모드를 보여준다. 도 17.6은 상기 사용자 제스쳐를 기반으로 하는 숨겨진 네비게이션 영역을 보여준다. 도시되어 있는 바와 같이, 상기 디스플레이는 커튼과 같이 드래그함으로써 현재의 뷰 및 패스된 뷰 선택을 포함한다.
도 18은 상기 사용자에게 상기 패스된 뷰를 보여주는 차량 글래스 디스플레이의 예제 실시 예를 도시하고 있다. 상기 드라이브 동안, 상기 사용자는 상기 디스플레이상에서 영화를 보고 있는 중일 수 있다. 또한, 상기 영화에 추가하여, 패스된 뷰 정보가 상기 사용자에게 공유되거나 혹은 프롬프트되거나 혹은 보여지고 있을 수 있다. 상기 패스된 뷰 정보는 하나 혹은 그 이상의 라벨들을 포함할 수 있지만, 레스토랑, 친구, 애완 동물, 시원한 풍경, 혹은 관광 목적지에 제한되지는 않는다. 이런 정보는 상기 차량의 현재 위치에 대해 상기 드라이브 동안 패스된 시구간을 사용하여 상기 디스플레이에서 보여진다.
도 19는 상기 드라이브 동안 패스된 (상기 디스플레이에 의해 프롬프트되는) 관광 목적지에 대해 선택하거나 혹은 알기 위해 상기 디스플레이를 사용하여 상호 작용하는 경우를 도시하고 있다. 상기 사용자는 상기 관광 목적지에 대해서 보다 구체적으로 알고 싶어할 수 있거나 혹은 그/그녀가 상기 드라이브 동안 적절하게 보지 못하고 미스된 목적지에 대해 보다 구체적으로 알고 싶어할 것이다. 상기 관광 목적지 라벨을 선택할 경우, 상기 디스플레이는 적어도 역사, 상기 목적지의 중요성, 상기 목적지의 보다 구체적인 뷰 등을 포함하는 상기 목적지에 대한 모든 구체적인 내용들을 제공한다. 유사하게, 상기 레스토랑 라벨을 선택함으로써, 상기 디스플레이는 도 20에 도시되어 있는 바와 같이 상기 드라이브 동안 패스된 상기 레스토랑에 대한 보다 구체적인 사항들을 제공한다. 도 21에 도시되어 있는 바와 같은 다른 예제에서, 상기 친구 라벨을 선택함으로써, 상기 사용자는 상기 디스플레이로 상기 사람의 정확한 사진 및 위치를 검색할 수 있다. 상기 스크린과 상호 작용함으로써, 사용자는 그/그녀의 친구의 사진에 대해 보다 구체적으로 볼 수 있다. 도 22를 참조하면, 도 22는 상기 드라이브 동안 상기 시스템에 의해 캡쳐된 상점(즉, 약국)에 대해서 도시하고 있다. 상기 사용자는 상기 약국에 대한 보다 많은 정보를 검색할 수 있으며, 상기 약국에 대한 보다 많은 정보는 상기 약국의 이름, 상기 약국의 연락처 등을 포함한다. 도 23을 참조하면, 도 23은 상기 차량의 현재 위치의 디스플레이를 도시하고 있다. 상기 현재의 위치 뿐만 아니라, 상기 디스플레이는 상기 패스된 뷰 정보 및 아직도 상기 차량의 경로에 존재하는 장소들의 정보를 제공할 수 있다. 상기 저장되어 있는 미래 장소 정보는 상기 서버로부터 검색될 수 있다. 상기 서버에 저장되어 있는 정보는 맵들을 사용하여 상기 경로 상에서 유용한 일반 정보일 수 있거나, 혹은 상기 드라이브 동안 다른 사용자들에 의해 액티브하게 브라우징되는 정보를 포함할 수 있다. 상기 어떤 옵션이라도 선택함으로써, 사용자는 상기 경로의 모든 정보를 검색 및 볼 수 있다.
도 24를 참조하면, 예제 실시 예에서, 사용자는 여행 중에 약국을 보았지만, 상기 상점의 전화 번호들을 적절하게 보지 못했거나 혹은 읽을 수 없었다. 사용자는 상기 사이드 윈도우 상에서 터치 체스쳐를 하게 된다. 사용자가 상기 제스쳐를 하기 전에, AI 엔진은 (다른 키 오브젝트들과 함께) 이미 상기 상점의 전화번호를 키 오브젝트로 선택하였고, 사용자 요청 컨텍스트(상기 오브젝트를 패스한 후의 시간/거리, 과거 상호 작용 등)를 기반으로, 바로 사용자에게 마킹된(일 예로, 빨간 색으로 마킹된) "전화 번호" 컨텐츠를 제공한다. 또한, 사용자는 사이드 윈도우에서 상호 작용함으로써 그/그녀의 전화에서 클릭하여 저장할 수 있다. 키 오브젝트들은 중요도를 기반으로 순위가 매겨지며, 상기 도시되어 있는 제1 오브젝트가 어느 한 사용자가 찾고 있는 중인 것이 아닐 지라도, 사용자는 나머지 키 오브젝트들을 네비게이트할 수 있다.
도 25를 참조하면, 예제 실시 예에서, 사용자는 상기 드라이브 동안 빌딩을 보았고, 상기 사용자는 빌딩 아키텍쳐를 좋아했다. 사용자는 제스쳐를 하고, 고유한 빌딩 디자인(고유하게 미리 식별된)이 비디오 오버뷰로 사용자에게 제공된다. 드라이브 동안, 사용자는 홀의 전체 이름을 읽지 못했다. 사용자는 사이드 윈도우 상에 입력을 제공하고, 동일한 내용이 사용자에게 제공된다. (보여지지 않을 지라도, (다른 차량에 의해 녹화된) 더 이전의 이미지가 서버의 도움으로 더 명료한 이미지를 제공하기 위해 사용된다).
도 26을 참조하면, 일 예에서, 이동중인 오브젝트들(일 예로, 헬리콥터)에게는 상기 이동중인 오브젝트들이 사용자에게 보다 매력적이므로 더 높은 중요도가 주어진다. 상기 이동중인 오브젝트들이 사라질 지라도, 사용자는 여행 중에 되돌아 가서 보다 구체적으로 볼 수 있다.
도 1 내지 도 26은 단순히 표현적인 것이며 그 스케일로 도시되는 것은 아니다. 도 1 내지 도 26의 특정 부분들은 더 크게 보여질 수 있으며, 이에 반해 다른 부분들은 최소화될 수 있다. 도 1 내지 도 26은 해당 기술 분야의 당업자들에 의해 이해될 수 있고 적합하게 수행될 수 있는 본 발명의 다양한 실시 예들을 도시하고 있다.
본 발명의 실시 예들의 상기와 같은 구체적인 설명에서, 다양한 특징들이 본 개시의 간소화를 위한 목적으로 단일 엘리먼트로 함께 그룹화된다. 본 개시의 이런 방법은 본 발명의 청구되는 실시 예들의 의도가 각 청구항에서 명백하게 개시되는 바보다 더 많은 특징들을 필요로 한다는 의도를 반영하는 것으로 해석되어서는 안 될 것이다. 오히려, 하기의 청구항들이 반영하는 바와 같이, 발명의 주제는 단일하게 개시된 실시 예의 모든 특징들 보다 적다. 따라서, 하기와 같은 청구항들은 본 발명의 실시 예들의 구체적인 설명에 통합되며, 각 클레임은 별도의 실시 예로서 독자적으로 존재한다.
상기와 같은 설명은 예시를 위한 의도를 가질 뿐이며, 제한적인 의도를 가지지는 않는다는 것이 이해되어야만 할 것이다. 이는 첨부된 청구항들에 정의되어 있는 바와 같은 발명의 사상 및 범위 내에 포함될 수 있는 모든 대안들, 수정들 및 균등들을 커버하도록 하는 의도를 가진다. 다른 많은 실시 예들은 상기와 같은 설명을 리뷰할 경우 해당 기술 분야의 당업자들에게 명백할 것이다. 따라서, 본 발명의 범위는 첨부된 청구항들을 참조하여, 그와 같은 청구항들이 부여되는 균등들의 전체 범위와 함께 결정되어야만 할 것이다. 첨부되는 청구항들에서, 용어들, "포함하는(including)" 및 "여기에서(in which)"는 각 용어들 "포함하는(comprising)" 및 "여기에서(wherein)"의 일반 용어 균등들로 사용된다.

Claims (20)

  1. 차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 방법으로서,
    상기 차량의 외부에 설치된 적어도 하나의 제 1 이미지 캡처 디바이스를 이용하여, 제 1 시간 기간 동안 상기 차량의 주변 풍경에 대한 풍경 정보를 캡처하는 단계;
    상기 차량의 내부에 설치된 적어도 하나의 제2 이미지 캡처 디바이스를 이용하여, 상기 제 1 시간 기간 이후의 제 2 시간 기간에서, 사용자로부터 상기 풍경 정보에 관련된 컨텐트를 디스플레이하기 위한 요청을 식별하는 단계; 및
    상기 요청에 기초하여 상기 풍경 정보에 관련된 컨텐트를 상기 차량의 글래스 윈도우에 디스플레이하는 단계를 포함하고,
    상기 디스플레이되는 컨텐트는 상기 글래스 윈도우와 상기 적어도 하나의 제1 이미지 캡처 디바이스 사이의 제1 거리 및 상기 글래스 윈도우와 상기 적어도 하나의 제2 이미지 캡처 디바이스 사이의 제2 거리에 기초하여 캘리브레이트(calibrate)되는,
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 적어도 하나의 제 2 이미지 캡처 디바이스를 이용하여, 상기 글래스 윈도우 상에 디스플레이하기 위한 컨텐트를 렌더링하는 것을 에뮬레이트하기 위해, 상기 사용자의 머리 또는 양안의 좌표들을 캡처하는 단계를 더 포함하는,
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 풍경 정보에 관련된 컨텐트를 상기 차량의 글래스 윈도우에 디스플레이하는 단계는 상기 글래스 윈도우 상의 사용자 인터페이스 내에서 상기 풍경 정보에 관련된 컨텐트를 디스플레이하는 단계를 포함하고,
    상기 사용자 인터페이스는 상기풍경 정보에 관련된 컨텐트를 디스플레이하기 위한 디스플레이 영역 및 상기 디스플레이되는 컨텐트와 관련된 경과(passed) 시간을 표시하기 위한 네비게이션 영역을 포함하는,
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 방법.
  5. 제 4 항에 있어서,
    상기 요청을 수신하는 단계는 사용자로부터 경과된 시간에 대한 정보를 수신하는 단계를 포함하고,
    상기 디스플레이되는 컨텐트는 상기 경과된 시간에 대응하는,
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 방법.
  6. 제 1 항에 있어서,
    상기 글래스 윈도우 상에 복수의 패스된(passed) 뷰를 디스플레이하는 단계를 더 포함하고,
    상기 요청을 수신하는 단계는 상기 복수의 패스들 중 적어도 하나의 패스된 뷰의 선택을 수신하는 단계를 포함하고,
    상기 디스플레이되는 컨텐트는 상기 적어도 하나의 패스된 뷰의 선택에 대응하는,
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 방법.
  7. 제 1 항에 있어서,
    상기 캡처된 풍경 정보에 포함된 오브젝트들을 식별하기 위해, 서버로 상기 캡처된 풍경 정보를 전송하는 단계; 및
    상기 서버로부터 상기 오브젝트들과 관련하여 프로세싱된 데이터를 수신하는 단계를 더 포함하는,
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 방법.
  8. 제 1 항에 있어서,
    상기 풍경 정보에 관련된 컨텐트를 상기 차량의 글래스 윈도우에 디스플레이하는 단계는 상기 글래스 윈도우 상의 세미-트랜스페어런트 인터페이스(semi-transparent interface) 상에 상기 컨텐트를 디스플레이하는 단계를 포함하고,
    상기 세미-트랜스페어런트 인터페이스는 트랜스페어런트 영역 및 상기 컨텐트를 디스플레이하기 위한 디스플레이 영역을 포함하는,
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 방법.
  9. 제 1 항에 있어서,
    상기 디스플레이되는 컨텐트는 상기 제 1 시간 기간 동안의 상기 글래스 윈도우의 트랜스페어런트 뷰에 대응하는,
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 방법.
  10. 제 1 항에 있어서,
    상기 디스플레이되는 컨텐트는 상기 글래스 윈도우의 사이즈, 및 상기 글래스 윈도우의 모양 중 적어도 하나와 상기 풍경 정보에 추가적으로 기초하여 캘리브레이트(calibrate)되는
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 방법.
  11. 차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 디바이스로서,
    메모리; 및
    상기 메모리와 연결된 프로세서를 포함하고,
    상기 프로세서는:
    상기 차량의 외부에 설치된 적어도 하나의 제 1 이미지 캡처 디바이스를 이용하여, 제 1 시간 기간 동안 상기 차량의 주변 풍경에 대한 풍경 정보를 캡처하고;
    상기 차량의 내부에 설치된 적어도 하나의 제2 이미지 캡처 디바이스를 이용하여, 상기 제 1 시간 기간 이후의 제 2 시간 기간에서, 사용자로부터 상기 풍경 정보에 관련된 컨텐트를 디스플레이하기 위한 요청을 식별하고; 그리고
    상기 요청에 기초하여 상기 풍경 정보에 관련된 컨텐트를 상기 차량의 글래스 윈도우에 디스플레이하도록 구성되는,
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 디바이스.
  12. 삭제
  13. 제 11 항에 있어서,
    상기 프로세서는 상기 적어도 하나의 제 2 이미지 캡처 디바이스를 이용하여, 상기 글래스 윈도우 상에 디스플레이하기 위한 컨텐트를 렌더링하는 것을 에뮬레이트하기 위해, 상기 사용자의 머리 또는 양안의 좌표들을 캡처하도록 추가로 구성되는,
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 디바이스.
  14. 제 11 항에 있어서,
    상기 풍경 정보에 관련된 컨텐트는 상기 글래스 윈도우 상의 사용자 인터페이스 내에서 디스플레이되고,
    상기 사용자 인터페이스는 상기풍경 정보에 관련된 컨텐트를 디스플레이하기 위한 디스플레이 영역 및 상기 디스플레이되는 컨텐트와 관련된 경과(passed) 시간을 표시하기 위한 네비게이션 영역을 포함하는,
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 디바이스.
  15. 제 14 항에 있어서,
    상기 요청은 경과된 시간에 대한 정보를 포함하고,
    상기 디스플레이되는 컨텐트는 상기 경과된 시간에 대응하는,
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 디바이스.
  16. 제 11 항에 있어서,
    상기 프로세서는 상기 글래스 윈도우 상에 복수의 패스된(passed) 뷰를 디스플레이하도록 추가로 구성되고,
    상기 요청은 상기 복수의 패스들 중 적어도 하나의 패스된 뷰의 선택 포함하고,
    상기 디스플레이되는 컨텐트는 상기 적어도 하나의 패스된 뷰의 선택에 대응하는,
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 디바이스.
  17. 제 11 항에 있어서,
    상기 프로세서는:
    상기 캡처된 풍경 정보에 포함된 오브젝트들을 식별하기 위해, 서버로 상기 캡처된 풍경 정보를 전송하고; 그리고
    상기 서버로부터 상기 오브젝트들과 관련하여 프로세싱된 데이터를 수신하도록 추가로 구성되는,
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 디바이스.
  18. 제 11 항에 있어서,
    상기 풍경 정보에 관련된 컨텐트는 상기 글래스 윈도우 상의 세미-트랜스페어런트 인터페이스(semi-transparent interface) 상에 디스플레이되고,
    상기 세미-트랜스페어런트 인터페이스는 트랜스페어런트 영역 및 상기 컨텐트를 디스플레이하기 위한 디스플레이 영역을 포함하는,
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 디바이스.
  19. 제 11 항에 있어서,
    상기 디스플레이되는 컨텐트는 상기 제 1 시간 기간 동안의 상기 글래스 윈도우의 트랜스페어런트 뷰에 대응하는,
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 디바이스.
  20. 제 11 항에 있어서,
    상기 디스플레이되는 컨텐트는 상기 글래스 윈도우의 사이즈, 및 상기 글래스 윈도우의 모양 중 적어도 하나와 상기 풍경 정보에 기초하여 캘리브레이트(calibrate)되는,
    차량의 글래스 윈도우에 컨텐트를 디스플레이하기 위한 디바이스.
KR1020190006134A 2018-07-10 2019-01-17 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법 및 시스템 KR102617120B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2019/008163 WO2020013519A1 (en) 2018-07-10 2019-07-03 Method and system of displaying multimedia content on glass window of vehicle
EP19834442.6A EP3781442B1 (en) 2018-07-10 2019-07-03 Method and system of displaying multimedia content on glass window of vehicle
CN201980043616.8A CN112368181B (zh) 2018-07-10 2019-07-03 在车辆玻璃窗上显示多媒体内容的方法和系统
US16/507,865 US11407359B2 (en) 2018-07-10 2019-07-10 Method and system of displaying multimedia content on glass window of vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN201811025770 2018-07-10
IN201811025770 2018-07-10

Publications (2)

Publication Number Publication Date
KR20200012703A KR20200012703A (ko) 2020-02-05
KR102617120B1 true KR102617120B1 (ko) 2023-12-27

Family

ID=69515161

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190006134A KR102617120B1 (ko) 2018-07-10 2019-01-17 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법 및 시스템

Country Status (3)

Country Link
EP (1) EP3781442B1 (ko)
KR (1) KR102617120B1 (ko)
CN (1) CN112368181B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590981B (zh) * 2021-07-27 2022-10-11 阿波罗智联(北京)科技有限公司 针对车辆的信息处理方法、装置、车辆和电子设备
CN114579029A (zh) * 2022-03-22 2022-06-03 阿波罗智联(北京)科技有限公司 动画展示方法、装置、电子设备和存储介质
CN116634078B (zh) * 2023-07-24 2023-10-31 中科聚信信息技术（北京）有限公司 拍摄车内驾驶场景的设备及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006333453A (ja) * 2005-04-28 2006-12-07 Mitsubishi Electric Research Laboratories Inc ビデオを空間的且つ時間的に要約化する方法及びシステム
JP2014096632A (ja) * 2012-11-07 2014-05-22 Denso Corp 撮像システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8868288B2 (en) * 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
KR102129798B1 (ko) * 2014-05-08 2020-07-03 엘지전자 주식회사 비히클 및 그 제어 방법
JP2017112521A (ja) * 2015-12-17 2017-06-22 トヨタ自動車株式会社 外部環境撮影装置
US10682911B2 (en) * 2016-02-18 2020-06-16 Sony Corporation Active window for vehicle infomatics and virtual reality
US10323952B2 (en) * 2016-04-26 2019-06-18 Baidu Usa Llc System and method for presenting media contents in autonomous vehicles
WO2019058492A1 (ja) * 2017-09-22 2019-03-28 マクセル株式会社 表示システム及び表示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006333453A (ja) * 2005-04-28 2006-12-07 Mitsubishi Electric Research Laboratories Inc ビデオを空間的且つ時間的に要約化する方法及びシステム
JP2014096632A (ja) * 2012-11-07 2014-05-22 Denso Corp 撮像システム

Also Published As

Publication number Publication date
EP3781442B1 (en) 2023-06-28
CN112368181B (zh) 2024-05-28
EP3781442A1 (en) 2021-02-24
EP3781442A4 (en) 2021-05-19
KR20200012703A (ko) 2020-02-05
CN112368181A (zh) 2021-02-12
EP3781442C0 (en) 2023-06-28

Similar Documents

Publication Publication Date Title
US11407359B2 (en) Method and system of displaying multimedia content on glass window of vehicle
US10769438B2 (en) Augmented reality
US11698268B2 (en) Street-level guidance via route path
Langlotz et al. Next-generation augmented reality browsers: rich, seamless, and adaptive
WO2015182227A1 (ja) 情報処理装置および情報処理方法
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
KR102617120B1 (ko) 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법 및 시스템
US20150040074A1 (en) Methods and systems for enabling creation of augmented reality content
US20180160194A1 (en) Methods, systems, and media for enhancing two-dimensional video content items with spherical video content
EP2974509B1 (en) Personal information communicator
EP2560145A2 (en) Methods and systems for enabling the creation of augmented reality content
KR20200023702A (ko) 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치
TW201407561A (zh) 一地圖繪製應用程式中之旋轉操作
CN115134649B (zh) 用于在视频内容内呈现交互式元素的方法和系统
TWI625706B (zh) 用於呈現地圖之方法、機器可讀媒體及電子器件
TW201411097A (zh) 整合式地圖繪製及導航應用程式
EP3510440B1 (en) Electronic device and operation method thereof
TW201407559A (zh) 路線顯示及檢閱
US20220343588A1 (en) Method and electronic device for selective magnification in three dimensional rendering systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant