KR102566377B1 - 운전자 보조 시스템 및 방법 - Google Patents

운전자 보조 시스템 및 방법 Download PDF

Info

Publication number
KR102566377B1
KR102566377B1 KR1020180045851A KR20180045851A KR102566377B1 KR 102566377 B1 KR102566377 B1 KR 102566377B1 KR 1020180045851 A KR1020180045851 A KR 1020180045851A KR 20180045851 A KR20180045851 A KR 20180045851A KR 102566377 B1 KR102566377 B1 KR 102566377B1
Authority
KR
South Korea
Prior art keywords
virtual
vehicle
view
camera
physical
Prior art date
Application number
KR1020180045851A
Other languages
English (en)
Other versions
KR20180118545A (ko
Inventor
구스타보 아돌포 포르트만
Original Assignee
하만인터내셔날인더스트리스인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하만인터내셔날인더스트리스인코포레이티드 filed Critical 하만인터내셔날인더스트리스인코포레이티드
Publication of KR20180118545A publication Critical patent/KR20180118545A/ko
Application granted granted Critical
Publication of KR102566377B1 publication Critical patent/KR102566377B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

하나 이상의 물리적 카메라의 뷰와 적어도 부분적으로 분리되는 가상 뷰를 생성하기 위한 실시예가 개시된다. 예시적인 방법은, 적어도 하나의 물리적 카메라로부터 이미지를 캡쳐하는 단계와, 적어도 하나의 물리적 카메라의 캡쳐된 이미지로부터 가상 카메라의 가상 이미지를 생성하는 단계 - 가상 아미지는 적어도 하나의 물리적 카메라에 의해 캡쳐된 이미지와 상이한 관점, 상이한 방향, 또는 상이한 관점과 방향을 가짐 - 와, 및 적어도 하나의 물리적 카메라가 기준점에 대해 움직일 때, 기준점에 대한 가상 카메라의 가상 위치를 자동으로 유지시키는 단계를 포함한다.

Description

운전자 보조 시스템 및 방법{SYSTEMS AND METHODS FOR DRIVER ASSISTANCE}
관련된 출원에 대한 상호 참조
본 출원은 2017년 4월 21일에 출원된 "SYSTEMS AND METHODS FOR DRIVER ASSISTANCE"에 대한 미국 가출원 번호 제62/488,599호에 우선권을 주장한다. 상기 나열된 출원의 전체 내용은 모든 목적을 위해 참조로서 본 명세서에 포함된다.
기술분야
본 개시물은 운전자 보조 시스템, 특히, 운전 상황에 기초하여 운송수단의 가상 뷰를 생성하도록 작동하는 가상 뷰 시스템을 포함하는 운전자 보조 시스템의 분야에 관한 것이다.
운전자 보조는, 개인 보호도를 높이고 운전자 경험을 향상시키려는 목적을 가지고, 운송수단과 관련된 개인에게 제공되는 임의의 완화책을 포함할 수 있다. 운전자 보조 시스템은, 운송수단 주위에 위치된 복수의 카메라를 통해, 운송수단의 서라운딩의 삼차원적인 가상 뷰를 생성할 수 있는 서라운드 뷰 시스템을 포함할 수 있다. 전형적으로, 서라운드 뷰 시스템은 복수의 카메라로부터의 이미지를 함께 엮어서(stitch), 가상 카메라 위치가 복수의 물리적 카메라에 연결되는, 가상 카메라 위치로부터의 서라운드 뷰를 생성할 수 있고, 가상 카메라는 물리적 카메라에 대해 상대적 위치를 유지한다. 가상 카메라 위치로부터 나온 서라운드 뷰는 운전자에게 제시될 수 있다. 용어 "서라운드(surround)"는 뷰가 운송수단의 모든 주위를 볼 수 있도록 생성된 것을 의미하고, 전형적인 시스템은 사실, 운송수단의 서라운딩의 탑-다운 뷰를 제공할 수 있고, 또한, 서라운드 뷰 시스템에 대한 개선점은 시스템이 탑 다운이외의 관점(viewpoint)으로부터 운송수단을 보는 것과 같은 시각을 생성할 수 있고, 이는 전체 운송수단 서라운딩을 디스플레이할 필요는 없다. 그러나, 이러한 시스템에서, 생성된 뷰는 운송수단(및 운송수단에 대한 물리적 카메라)에 대해 상대적이고, 운송수단과 같이 움직일 것이다.
가상 카메라 위치로부터의 뷰를 제공하는 것은, 서라운드 뷰가 방해받지 않는 반면, 운전자의 뷰가 방해받을 수 있는 상황에서 특히 유용하다. 전반적으로, 서라운드 뷰 시스템을 포함하는 운전자 보조 시스템은, 운전자에게 명시적이지 않을 수 있는 운송수단의 환경에 대한 상세한 정보를 제공하여, 운전자의 공간적 인식을 향상시키도록 구성될 수 있다. 운송수단(또는 또 다른 운송수단-기반의 위치)이 움직임을 디스플레이하기 위한 기준의 중심으로 사용되는 시스템에서(가령, 서라운딩 환경이 움직이는 동안 운송수단이 스크린상에서 정적인), 이러한 디스플레이는 어떤 상황에서는 방향을 잃거나 덜 유용하게 될 수 있다. 따라서, 운송수단이 움직이는 것으로 보이지만, 운송수단의 서라운딩을 정적으로 유지함에 의해, 운전자 보조가 더 잘 역할하는 어떤 경우가 있을 수 있다. 본 개시물은 물리적 카메라로부터 가상 카메라를 분리하기 위한 시스템과 방법을 제공하여서, 적어도 일부 조건하에서, 가상 카메라가 운송수단 이외의 기준에 대해 정적으로 보이도록 한다.
물리적 카메라의 뷰로부터 적어도 부분적으로 분리된 가상 뷰를 생성하기 위한 실시예가 개시된다. 예시적인 방법은 적어도 하나의 물리적 카메라로부터 이미지를 캡쳐하는 단계와, 적어도 하나의 물리적 카메라의 캡쳐된 이미지로부터 가상 카메라의 가상 이미지를 생성하는 단계 - 가상 아미지는 적어도 하나의 물리적 카메라에 의해 캡쳐된 이미지와 상이한 관점, 상이한 방향, 또는 상이한 관점과 방향을 가짐 - 와, 및 적어도 하나의 물리적 카메라가 기준점에 대해 움직일 때, 기준점에 대한 가상 카메라의 가상 위치를 자동으로 유지시키는 단계를 포함한다.
본 개시물은 아래의 첨부 도면을 참조하여, 비제한적인 실시예의 아래의 기술을 읽어서 더 잘 이해될 수 있는데,
도 1a는 본 개시물의 하나 이상의 실시예에 따른, 물체에 장착된 복수의 물리적 카메라로부터 획득된 이미지 데이터를 사용하여, 물체의 서라운딩의 가사 뷰를 생성할 수 있는 물체의 예시적인 가상 뷰 시스템을 나타내고,
도 1b는 본 개시물의 하나 이상의 실시예에 따른, 가상 뷰가 디스플레이될 수 있는 물체의 운전석의 예시적인 부분도를 나타내고,
도 2a 및 2b는 본 개시물의 하나 이상의 실시예에 따른, 운송수단의 개략도 및 운송수단의 예시적인 탑-다운 가상 뷰를 각각 나타내고,
도 2c 및 2d는 본 개시물의 하나 이상의 실시예에 따른, 운송수단의 개략도와 운송수단의 예시적인 측면 가상 뷰를 각각 나타내고,
도 3은 두 개의 뷰 중 하나를 생성하기 위한 예시적인 방법의 순서도를 나타내는데, 첫번째 뷰는 물체에 대해 정적으로 보이고, 두번째 뷰는 물체와 움직이도록 보이는데, 이들 중 하나는 본 개시물의 하나 이상의 실시예에 따라 검출된 조건에 기초하여 선택되고,
도 4는 본 개시물의 하나 이상의 실시예에 따라, 하나 이상의 사용자 입력, 물체의 근처의 제품/물건/사람의 검출에 기초하여, 및 물체의 모션에 기초하여 분리된 가상 카메라 위치를 결정하기 위한 예시적인 방법의 순서도를 나타내고,
도 5는 본 개시물의 하나 이상의 실시예에 따라, 트리거를 검출하는 것에 기초하여, 운송수단-잠금된 가상 뷰(vehicle-locked virtual view)에서 세상-잠금된 가상 뷰(world-locked virtual view)로 스위칭하기 위한 예시적인 방법의 순서도를 나타내고,
도 6-8은 본 개시물의 하나 이상의 실시예에 따라, 가상 카메라 위치의 위치와 방향을 조절함에 의해, 운송수단의 세상-잠금된 가상 뷰가 조절되는 예시적인 시나리오를 나타내고,
도 9는 본 개시물의 하나 이상의 실시예에 따라, 물리적 카메라가 가상 뷰를 생성하기에 충분한 이미지 정보를 제공하는 임의의 원하는 위치에서의 뷰를 생성하기 위해 가상 카메라가 배치될 수 있는 예시적인 시나리오를 나타내고,
도 10은 본 개시물의 하나 이상의 실시예에 따라, 가상 카메라가 세상-잠금되지 않고, 그 위치는 본 개시물의 하나 이상의 실시예에 따라, 물리적 카메라의 움직임에 따라 움직이는 예시적인 시나리오를 나타내고,
도 11은 본 개시물의 하나 이상의 실시예에 따라, 세상-잠금된 가상 뷰가 하나 이상의 가동식 부품을 가진 가동식 물체에 대해 조절되는 예시적인 시나리오를 나타내고,
도 12는 본 개시물의 하나 이상의 실시예에 따라, 세 개의 모드, 완전히 분리, 부분적으로 분리 및 완전히 연결 중 하나로 가상 카메라를 작동시키기 위한 예시적인 방법의 순서도를 나타내고,
도 13은 본 개시물의 하나 이상의 실시예에 따라, 예시적인 운송수단의 운송수단-내부 컴퓨팅 시스템을 나타내고,
도 14a-14c는 본 개시물의 하나 이상의 실시예에 따라, 환경에서의 기준점에 기초하여 움직이는 물체의 가상 뷰를 설정하는 예시적인 시나리오를 나타내고,
도 15a-15d는 본 개시물의 하나 이상의 실시예에 따라, 시프트 영역을 사용하여 움직이는 물체의 가상 뷰를 설정하는 예시적인 시나리오를 나타내고,
도 16 및 17은 본 개시물의 하나 이상의 실시예에 따라, 시프트 영역을 사용하고, 환경적인 특징의 검출에 기초하여 움직이는 물체의 가상 뷰를 설정하는 예시적인 시나리오를 나타내고, 및
도 18은 본 개시물의 하나 이상의 실시예에 따라, 사용자 입력을 사용하여 움직이는 물체의 가상 뷰를 설정하는 예시적인 시나리오를 나타낸다.
상기 기술된 바와 같이, 운송수단이 물체의 환경의 가상 뷰를 생성할 수 있는 가상 뷰 시스템으로 구성될 수 있다. 물체의 일부 예시는 차, 굴착기, 헬리콥터 및 리프트를 포함할 수 있다. 물체의 가상 뷰는 물체에 장착된 복수의 물리적 카메라로부터 획득된 물체의 서로 다른 시각 뷰를 함께 엮어서 생성될 수 있다. 또한, 가상 카메라는 복수의 물리적 카메라에 연결되어서, 물체와 복수의 카메라가 움직임에 따라 가상 카메라가 움직일 수 있다. 가상 카메라 위치에 위치된 가상 카메라로부터 생성된 물체의 가상 뷰는 가령, 디스플레이를 통해 물체의 사용자에게 제시될 수 있다. 여기서, 시스템은 움직임의 디스플레이를 기준의 중심으로서 카메라가 부착된 물체를 사용할 수 있다. 구체적으로, 서라운딩 환경이 이러한 예시에서 움직임에 따라, 물체는 스크린에 정적으로 유지된다. 이러한 구성은 대부분의 예시에서 자연스러워 보일 수 있더라도, 물체가 움직이는 것으로 보이는 동안 서라운딩을 정적으로 유지시키는 것이 더욱 적절할 때도 있을 수 있다.
본 개시물은 가상 카메라로부터 복수의 카메라를 분리시키고, 또한 주어진 상황(가령 사용자로부터의 입력에 기초하여)과 가장 관련된 가상 카메라 위치를 선택하는 향상된 삼차원적인 가상 뷰 시스템을 제공하는 시스템을 기술한다. 또한, 시스템은 이러한 선택에서 물체의 동작 조건(가령, 물체 속력이 임계값 미만)도 고려할 수 있다. 시스템은 분리된 가상 카메라도 위치시켜서, 물체가 가상 뷰에서 움직이는 것으로 보일 수 있는 동안 서라운딩은 정적으로 보일 수 있다.
예를 들어, 운송수단을 평행 주차할 때, 가상 뷰가 운송수단-중심(가령, 운송수단에 고정된)이라면, 운송수단이 위치 조절을 수행함에 따라, "세상"을 조절하기 위해 어떻게 운송수단이 움직여야하는지 보다는, 스팟 내의 운송수단의 위치선정을 조절하기 위해, 운송수단의 운전자는 어떻게 "세상이" "움직이는지" 고려할 수 있다.
그러므로, 본 개시물은, 물체 및/또는 사용자 선호의 어떤 동작 상황 동안에, "운송수단-중심"인 위치에 가상 카메라를 위치시키는 것과 반대로, "세상-중심"인 원하는 위치(가령, 기준 물체를 향하는)에 가상 카메라를 동적으로 위치시키는 시스템을 기술한다. 따라서, "세상-중심" 위치는 세상과 관련된 물체의 이동의 측정에 의해 동적으로 제어될 수 있고, 가상 카메라가 "세상 기준"을 가지고 정적으로 보일 수 있다. 이러한 방식으로, 가상 카메라는 물체에 장착된 복수의 물리적 카메라로부터 분리될 수 있어서, 사용자에 의해 물체의 모션의 인지를 향상시키는 가상 뷰를 물체의 사용자에게 제시할 수 있다.
도 1a는 물체(10)의 예시적인 가상 뷰 시스템(102)의 개략적인 뷰(100)를 나타낸다. 하나의 비제한적인 예시에서, 물체는 운송수단일 수 있다. 물체(10)는 복수의 이미지 센서(11)를 포함한다. 비제한적인 예시로서, 네 개의 이미지 센서(11)가 도시된다. 이미지 센서(11)는, 물체(10)의 둘레를 따라 대칭적으로 서로 다른 방향을 향하도록 위치될 수 있다. 복수의 이미지 센서(11)는 함께 운송수단(10)의 360도 서라운딩을 이미지할 수 있다. 예를 들어, 제1 이미지 센서(11)는 전방 범퍼에 위치될 수 있고, 제2 및 제3 이미지 센서(11)는 각각의 사이드 미러 아래에 위치될 수 있으며, 제4 이미지 센서(11)는 운송수단(10)의 후방 범퍼에 위치될 수 있다. 따라서, 각각의 센서(11)에 의해 이미지된 영역들 간에 충분히 중첩될 수 있어서, 센서(11)로부터의 이미지가 조합될 때, 물체(10)의 전체 서라운딩의 뷰가 생성될 수 있다. 예시로서, 이미지 센서(11)는 넓은 파노라마 반구형 이미지를 생성할 수 있는 초광각 렌즈를 가진 어안 카메라일 수 있다. 또 다른 예시로서, 이미지 센서(11)는 전방향 카메라일 수 있다. 또 다른 예시로서, 이미지 센서(11)는 광각 직선 카메라일 수 있다.
가상 뷰 시스템(102)은 복수의 이미지 센서(11)로부터 이미지 데이터를 수신할 수 있는 이미지 프로세싱 장치(20)를 포함할 수 있다. 예를 들어, 물체(10)의 서라운딩에 대응되는 이미지 데이터는 복수의 이미지 센서(11)에 의해 캡쳐되어, 이미지 프로세싱 장치(20)로 전송될 수 있다. 수신된 이미지 데이터는 분석되고, 운송수단(10)의 서라운딩의 가상 뷰를 생성하기 위해 함께 엮어지거나, 전체 운송수단 서라운딩을 포함하지 않는 관심 영역을 보기 위해 선택적으로 위치된다. 임의의 적절한 알고리즘이나 루틴 및/또는 알고리즘/루틴의 조합이 서라운딩의 합성된 이미지를 생성하고 분석하는데 사용될 수 있다. 따라서, 분석은 가령, 이미지 데이터 내의 임의의 왜곡을 교정 및/또는 제거하기 위해 이미지 데이터에 적용될 수 있는 임의의 포스트-프로세싱을 포함할 수 있다.
가상 뷰는 가상 카메라 위치를 사용하여, 그리고 가상 카메라 위치의 뷰잉 방향을 사용하여 파생될 수 있다. 제어 장치(40)는 사용자(수동으로) 또는 컴퓨터 시스템(자동으로)으로 하여금 가상 카메라 위치, 방향 또는 위치와 방향을 변경하도록 작동할 수 있어서, 가상 뷰를 변경시킬 수 있다. 가상 뷰 시스템(102)은 가상 뷰가 디스플레이될 수 있는 디스플레이(30)를 포함한다. 디스플레이(30)는, 모니터, 스크린, 콘솔 등과 같이, 운전자에게 정보를 디스플레이할 수 있는 임의의 유형의 디스플레이를 포함한다. 디스플레이(30)는 가상 뷰 시스템(102)의 스탠드어론 디스플레이일 수 있고, 또는 도 1b와 13을 참조하여 이후에 설명되는, 물체의 컴퓨팅 시스템의 디스플레이일 수 있다. 참조된 시스템은 모두 운송수단 상에 있지 않을 수 있고, 전부 또는 일부는 원격(가령, 하나 이상의 클라우드-기반의 컴퓨팅 시스템)에 위치될 수 있다는 것을 이해해야 한다.
이제 도 1b을 보면, 통신 시스템을 위한 하나의 유형의 환경의 예시적인 부분도를 나타내는데, 운송수단(101)의 운전석(100)의 내부이고, 운전자 및/또는 한명 이상의 승객이 앉을 수 있다. 도 1의 운송수단(101)은 운전자 휠(미도시)을 포함하는 자동차일 수 있고, 내연 기관(104)을 포함할 수 있다. 운송수단(101)은 다른 유형의 운송수단들 중에서 오토모빌, 굴착기, 헬리콥터, 리프트일 수 있다. 운전석(100)의 내부에 있는 특징들의 일부는 이하에 기술될 수 있다.
도시된 바와 같이, 인스트루먼트 패널(instrument panel)(106)은 운송수단(101)의 운전자(또한 사용자라고 함)에게 접근가능한 다양한 디스플레이와 제어부를 포함할 수 있다. 예를 들어, 인스트루먼트 패널(106)은 운송수단-내부 컴퓨팅 시스템(109)(가령, 인포테인먼트 시스템)의 디스플레이(108), 오디오 시스템 제어 패널 및 인스트루먼트 클러스터(110)를 포함할 수 있다. 디스플레이(108)는 도 1a의 디스플레이(30)의 비제한적인 예시일 수 있다. 디스플레이(108)는 가령, 터치 스크린 디스플레이일 수 있다. 도 1에 도시된 예시적인 시스템이, 별도의 오디오 시스템 제어부 패널이 없는 디스플레이(108)와 같이, 운송수단-내부 컴퓨팅 시스템(109)의 사용자 인터페이스를 통해 수행될 수 있는 오디오 시스템 제어부를 포함하는 반면, 다른 실시예에서, 운송수단이 라디오, 콤팩트 디스크 플레이어, MP3 플레이어등과 같은 종래의 운송수단 오디오 시스템을 위한 제어부를 포함할 수 있는, 오디오 시스템 제어부 패널을 포함할 수 있다. 오디오 시스템 제어부는 운송수단 스피커 시스템의 스피커(112)를 통해 하나 이상의 양태의 오디오 출력을 제어하기 위한 특징부를 포함할 수 있다. 예를 들어, 운송수단-내부 컴퓨팅 시스템이나 오디오 시스템 제어부는 오디오 출력의 볼륨, 운송수단 스피커 시스템의 개개의 스피커 중에 소리의 분산, 오디오 신호의 이퀄리제이션, 및/또는 임의의 다른 유형의 오디오 출력을 제어할 수 있다. 추가적인 예시에서, 운송수단-내부 컴퓨팅 시스템(109)은 라디오 스테이션 선택, 플레이리스트 선택, 디스플레이(108)를 통해 직접 수신된 사용자 입력에 기초하거나 외부 장치(150) 및/또는 모바일 장치(128)를 통해 수신된 (물리적 상태 및/또는 사용자의 환경과 같은) 사용자에 관한 데이터에 기초하여, 오디오 입력의 소스(가령, 라디오 또는 CD 또는 MP3)를 조절할 수 있다.
일부 실시예에서, 디스플레이(108), 다양한 제어 다이얼, 노브 및 버튼과 같은 운송수단-내부 컴퓨팅 시스템(109)의 하나 이상의 하드웨어 요소, 메모리, 프로세서(들) 및 임의의 인터페이스 요소(가령, 커넥터나 포트)는 운송수단의 인스트루먼트 패널(106)에 설치된 집적된 헤드 유닛을 형성할 수 있다. 헤드 유닛은 인스트루먼트 패널(106)에 고정적 또는 제거가능하게 부착될 수 있다. 추가적이거나 대안적인 실시예에서, 운송수단-내부 컴퓨팅 시스템의 하나 이상의 하드웨어 요소는 모듈식일 수 있고, 운송수단의 여러 위치에 설치될 수 있다. 또한, 운전석은 원격 제어 운송수단에서 발생할 수 있는 바와 같이, 운전석이 제어되는 운송수단에 실제로 위치되지 않을 수 있다.
운전석(100)은 운송수단, 사용자, 및/또는 환경을 모니터링하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 운전석(100)은, 사용자의 존재를 결정하기 위해, 시트에 가해진 압력을 측정하도록 구성된 하나 이상의 시트-장착된 압력 센서, 도어 활동을 모니터링하도록 구성된 도어 센서, 운전석의 습도 함량을 측정하기 위한 습도 센서, 사용자가 전화를 걸거나, 및/또는 운전석(100) 내의 주변 잡음을 측정하는 등을 할 수 있는 음성 명령 형태인 사용자 입력을 수신하기 위한 마이크로폰을 포함할 수 있다. 상기 기술된 센서 및/또는 하나 이상의 추가적이거나 대안적인 센서는 운송수단의 임의의 적절한 위치에 위치될 수 있다는 것을 이해해야 한다. 예를 들어, 센서들은 엔진 격실 내에, 운송수단의 외부 표면 상에, 및/또는 운송수단의 작동, 운송수단의 대기 조건, 운송수단의 사용자 등과 관련된 정보를 제공하기 위해 다른 적절한 위치에 위치될 수 있다. 운송수단의 대기 조건, 운송수단 상태 또는 운송수단 운전자와 관련된 정보는, 외부 장치(150) 및/또는 모바일 장치(128)에 연결된 센서들로부터와 같이, 운송수단 외부의/운송수단으로부터 분리된(즉, 운송수단 시스템의 일부가 아닌) 센서로부터 수신될 수도 있다. 또한, 운전석(100)은 이동 전, 동안, 및/또는 후에, 운송수단에 저장된 모바일 장치(128)와 같은 하나 이상의 사용자 물체를 포함할 수 있다. 모바일 장치는 스마트폰, 태블릿, 랩톱 컴퓨터, 휴대용 미디어 플레이어, 및/또는 임의의 적절한 모바일 컴퓨팅 장치를 포함할 수 있다. 모바일 장치(128)는 통신 링크(130)를 통해 운송수단-내부 컴퓨팅 시스템에 연결될 수 있다. 통신 링크(130)는 유선(가령, 범용 시리얼 버스[USB], 모바일 하이-데피니션 링크[MHL], 하이-데피니션 멀티미디어 인터페이스[HDMI], 이더넷 등)이나 무선(가령, BLUETOOTH, WI-FI, 근거리 통신[NFC], 셀룰러 연결 등)일 수 있고, 모바일 장치와 운송수단-내부 컴퓨팅 시스템 간에 양방향 통신을 제공하도록 구성될 수 있다. 예를 들어, 통신 링크(130)는, 다양한 운송수단 시스템(운송수단 오디오 시스템, 기상 제어 시스템 등과 같은)과 터치 스크린(108)으로부터 모바일 장치(128)까지 센서 및/또는 제어 신호를 제공할 수 있고, 모바일 장치(128)로부터 운송수단-내부 시스템과 터치 스크린(108)으로 제어 및/또는 디스플레이 신호를 제공할 수 있다. 또한, 통신 링크(130)는, 모바일 장치의 내부 배터리를 충전하기 위해, 운송수단-내부 전력 소스로부터 모바일 장치(128)에 전력을 제공할 수 있다.
또한, 운송수단-내부 컴퓨팅 시스템(109)은, 하나 이상의 외부 장치(150)와 같이, 사용자에 의해 작동 및/또는 액세스되지만 운송수단(101) 외부에 위치된 추가 장치에 통신적으로 연결될 수 있다. 도시된 실시예에서, 외부 장치(150)는 운송수단(101)의 외부에 위치되지만, 대안적인 예시에서 외부 장치가 운전석(100)의 내부에 위치될 수 있다는 것이 이해될 것이다. 일부 실시예에서, 외부 장치(150)는 운송수단(101)에 장착되는 복수의 카메라(도 1B에 도시되지 않음)를 포함할 수 있다. 외부 장치는 서버 컴퓨팅 시스템, 개인용 컴퓨팅 시스템, 휴대용 전자 장치, 전자 손목 밴드, 전자 헤드 밴드, 휴대용 뮤직 플레이어, 전자 활동 추적 장치, 만보기, 스마트-시계, GPS 시스템 등을 포함할 수 있다. 외부 장치(150)는 통신 링크(136)를 통해 운송수단-내부 컴퓨팅 시스템에 연결될 수 있는데, 통신 링크(130)를 참조하여 논의되는 바와 같이, 이는 유선이나 무선일 수 있고, 외부 장치와 운송수단-내부 컴퓨팅 시스템 간에 양방향 통신을 제공하도록 구성될 수 있다. 예를 들어, 외부 장치(150)는 하나 이상의 센서를 포함할 수 있고, 통신 링크(136)는 외부 장치(150)로부터 운송수단-내부 컴퓨팅 시스템(109)과 터치 스크린(108)까지 센서 출력을 송신할 수 있다. 또한, 외부 장치(150)는 상황 데이터, 사용자 행동/선호, 작업 규칙 등과 관련된 정보를 저장 및/또는 수신할 수 있고, 외부 장치(150)로부터 운송수단-내부 컴퓨팅 시스템(109)과 터치 스크린(108)까지 이러한 정보를 송신할 수 있다.
운송수단-내부 컴퓨팅 시스템(109)은 외부 장치(150), 모바일 장치(128) 및/또는 다른 입력 소스로부터 수신된 입력을 분석하고 다양한 운송수단-내부 시스템(서라운드 및/또는 가상 뷰 시스템)에 대한 설정을 선택하고, 터치 스크린(108) 및/또는 스피커(112)를 통해 출력을 제공하며, 모바일 장치(128) 및/또는 외부 장치(150)와 통신하고, 및/또는 평가에 기초하여 다른 액션을 수행할 수 있다. 일부 실시예에서, 전부 또는 일부의 평가는 모바일 장치(128) 및/또는 외부 장치(150)에 의해 수행될 수 있다. 외부 장치(150)의 예시는 하나 이상의 라이다 시스템, 초음파 센서, 레이더 시스템, 및/또는 다른 레인지-센싱 시스템을 포함할 수 있는데, 이는 세상/환경에 대해 운송수단 및/또는 카메라의 상대적 위치를 결정하기 위해 그리고 정적인 뷰를 나타내기 위해 운송수단 움직임을 계산하고 이에 대응하기 위해 운송수단 및/또는 카메라에 의해 사용될 수 있다. 추가적이거나 대안적인 내부 센서는, 관성 측정 유닛(들)(IMU), 자이로스코프, 가속도계 및 높은 정확성 글로벌 네비게이션 위성 시스템(GNSS)를 포함하여, 상기 기술된 목적을 위해 사용될 수 있다.
일부 실시예에서, 하나 이상의 외부 장치(150)는, 모바일 장치(128) 및/또는 또 다른 외부 장치(150)를 통해, 간접적으로 운송수단-내부 컴퓨팅 시스템(109)과 통신적으로 연결될 수 있다. 예를 들어, 통신 링크(136)는 외부 장치(150)를 모바일 장치(128)에 통신적으로 연결하여, 외부 장치(150)로부터의 출력이 모바일 장치(128)로 전달되도록 할 수 있다. 그리고 나서, 외부 장치(150)로부터 수신된 데이터는 모바일 장치(128)에 의해 수집된 데이터와 모바일 장치(128)에서 통합되어서, 통합된 데이터는 통신 링크(130)를 통해 운송수단-내부 컴퓨팅 시스템(109)과 터치 스크린(108)으로 송신된다. 유사한 데이터 통합이 서버 시스템에서 발생할 수 있고, 그리고 나서 통신 링크(136/130)를 통해 운송수단-내부 컴퓨팅 시스템(109)과 터치 스크린(108)으로 송신된다.
도 1에 도시된 예시적인 환경에서, 운송수단-내부 컴퓨팅 시스템(109)은 임의의 적절한 네트워크를 통해, 스피커(112), 디스플레이(108), 운송수단 센서 및/또는 다른 적절한 운송수단 시스템에 연결될 수 있다. 일부 예시에서, 운송수단-내부 컴퓨팅 시스템(109)은 네트워크를 통해, 스피커(112)와 디스플레이(108)와 같이, 오디오/비디오 데이터를 리스너(listener) 장치로 송신하도록 구성된 토커(talker) 장치를 포함한다. 네트워크는 개방형 시스템 간 상호 접속(OSI) 모델의 레이어 2에 따라 구성될 수 있는데, 네트워크 내의 판단이나 결정을 라우팅과 포워딩하는 것은 매체 접근 제어(MAC) 어드레싱 기반으로 수행될 수 있다. 예시적인 레이어 2 네트워크는 이더넷 오디오/비디오 브리징(AVB) 네트워크일 수 있다. AVB 네트워크로 구성된 레이어 2 네트워크에 있어서, 토커와 리스너는, 네트워크 타이밍과 동기화를 위한 전기 및 전자 기술자 협회(IEEE) 802.1AS-2011 (gPTP), 스트리밍 데이터를 큐잉 및 포워딩하기 위한 IEEE 802.1Q-2011 clause 34, 네트워크 연결 또는 네트워크 연결을 통해 통신을 위한 대역과 같은 경로 및/또는 자원을 저장하기 위한 IEEE 802.1Q-2011 clause 35 (스트림 예약 프로토콜(SRP)), 및/또는 가능한 데이터 스트리밍 포맷과 관련된 IEEE 1722-2011를 포함하는, 다양한 AVB 표준과 프로토콜을 사용하여 AVB 네트워크를 통해 통신하도록 구성될 수 있다. 이전, 현재 또는 나중에 개발될 다른 AVB-관련 표준과 프로토콜 및/또는 AVB 표준과 프로토콜의 다른 버전이 추가적으로 또는 대안적으로 사용될 수 있다.
도 1a는 하나의 예시적인 환경을 나타내지만, 본 명세서에 기술된 통신 시스템과 방법은 임의의 적절한 환경에서 사용될 수 있다는 것을 이해해야 한다. 정보를 송신 및/또는 수신하고, 데이터를 센싱하고, 및/또는 아니면 운전자 주의산만 검출 및/또는 경고 시스템에 기여하는 임의의 적절한 장치는 시스템으로 사용되거나, 및/또는 본 명세서에 기술된 방법을 수행할 수 있다.
본 개시물의 범위에서 벗어나지 않으면서, 기술된 가상 뷰 생성을 수행하는 시스템은 상기 나타난 모든 센서를 포함하지 않을 수 있다는 것을 이해해야 한다. 예를 들어, 시스템은 관심 장면을 캡쳐하기 위한 물리적 카메라, 물리적 카메라의 움직임에 대한 기준점을 형성하기 위한 장치 또는 장치들, 및 가상 카메라의 가상 이미지 출력을 계산하기 위한 프로세싱 유닛 또는 유닛들을 포함할 수 있다.
도 13은 운송수단(1301) 내부에 구성 및/또는 통합된 운송수단-내부 컴퓨팅 시스템(1300)의 블록도를 나타낸다. 운송수단-내부 컴퓨팅 시스템(1300)은 도 1a의 운송수단-내부 컴퓨팅 시스템(109)의 예시일 수 있고, 및/또는 일부 실시예에서 본 명세서에 기술된 하나 이상의 방법을 수행할 수 있다. 운송수단-내부 컴퓨팅 시스템(1300)의 일부 추가 특징이 이하에 기술된다.
일부 예시에서, 운송수단-내부 컴퓨팅 시스템은, 작업자의 운송수단-내부 경험을 향상시키기 위해, 정보-기반의 미디어 콘텐트(엔터테인먼트 콘텐트, 네비게이션적인 서비스 등을 포함하는 오디오 및/또는 시각적 미디어 콘텐트)를 운송수단 사용자에게 제공하도록 구성된 운송수단 인포테인먼트 시스템일 수 있다. 운송수단 인포테인먼트 시스템은, 운전자 및/또는 승객을 위한 운송수단-내부 경험을 향상시키기 위해, 다양한 운송수단 시스템, 서브-시스템, 하드웨어 부품은 물론 운송수단(1301)에 통합 또는 통합가능한 소프트웨어 애플리케이션 및 시스템을 포함 또는 이와 연결될 수 있다.
운송수단-내부 컴퓨팅 시스템(1300)은 운영 시스템 프로세서(1314) 및 인터페이스 프로세서(1320)를 포함하여 하나 이상의 프로세서를 포함할 수 있다. 운영 시스템 프로세서(1314)는 운송수단-내부 컴퓨팅 시스템 상에서 운영 시스템을 실행할 수 있고, 운송수단-내부 컴퓨팅 시스템의 입/출력, 디스플레이, 재생 및 다른 작업을 제어할 수 있다. 인터페이스 프로세서(1320)는 운송수단 간 시스템 통신 모듈(1322)을 통해 운송수단 제어 시스템(1330)과 인터페이스할 수 있다.
운송수단 간 시스템 통신 모듈(1322)은, 가령, 운송수단 제어 시스템(1330)에 의해, 다른 운송수단 부품 및 시스템(1331, 1361)으로부터 데이터 입력을 수신할 수 있으면서, 다른 운송수단 시스템(1331) 및 운송수단 제어 요소(1361)로 데이터를 출력할 수 있다. 데이터를 출력할 때, 운송수단 간 시스템 통신 모듈(1322)은 버스를 통해, 운송수단, 운송수단 서라운딩의 임의의 상태에 대응되는 신호 또는 운송수단에 연결된 임의의 다른 정보 소스의 출력을 제공할 수 있다. 운송수단 데이터 출력은 가령, (현재 속도와 같은) 아날로그 신호, (시계, 온도계, 글로벌 포지셔닝 시스템[GPS] 센서와 같은 위치 센서 등과 같은) 개별 정보 소스에 의해 제공된 디지털 신호, 운송수단 데이터 네트워크를 통해 전파되는 디지털 신호(엔진 관련 정보가 통신될 수 있는 엔진 제어기 영역 네트워크[CAN] 버스, 기후 제어 관련 정보가 통신될 수 있는 기후 제어 CAN 버스 및 멀티미디어 데이터가 운송수단 내의 멀티미디어 부품들 간에 통신되는 멀티미디어 데이터 네트워크와 같은)를 포함할 수 있다. 예를 들어, 운송수단-내부 컴퓨팅 시스템은 엔진 CAN 버스로부터, 휠 센서에 의해 추정되는 운송수단의 현재 속력, 운송수단의 배터리 및/또는 전력 분산 시스템을 통해 운송수단의 전력 상태, 운송수단의 점화 상태 등을 불러올 수 있다. 또한, 이더넷과 같은 다른 인터페이싱 수단은 본 개시물의 범위에서 벗어나지 않으면서 잘 사용될 수 있다.
비휘발적 저장 장치(1308)는 운송수단-내부 컴퓨팅 시스템(1300)에 포함되어서, 비휘발성 형태로 프로세서(1314 및 1320)에 의해 실행가능한 명령과 같은 데이터를 저장할 수 있다. 저장 장치(1308)는, 운송수단-내부 컴퓨팅 시스템(1300)을 활성화시켜서, 클라우드-기반의 서버에 연결하거나, 및/또는 클라우드-기반의 서버로 송신을 위한 정보를 수집하기 위한 애플리케이션을 실행하도록 하는 애플리케이션 데이터를 저장할 수 있다. 애플리케이션은 운송수단 시스템/센서, 입력 장치(가령, 사용자 인터페이스(1318)), 운송수단-내부 컴퓨팅 시스템과 통신하는 장치(가령, Bluetooth 링크를 통해 연결된 모바일 장치) 등에 의해 수집된 정보를 불러올 수 있다. 운송수단-내부 컴퓨팅 시스템(1300)은 휘발성 메모리(1316)를 더 포함할 수 있다. 휘발성 메모리(1316)는 랜덤 액세스 메모리(RAM)일 수 있다. 비-휘발성 저장 장치(1308) 및/또는 휘발성 메모리(1316)와 같은 비-일시적 저장 장치는 프로세서(가령, 운영 시스템 프로세서(1314) 및/또는 인터페이스 프로세서(1320))에 의해 실행될 때, 본 개시물에 기술된 하나 이상의 액션을 수행하기 위해 운송수단-내부 컴퓨팅 시스템(1300)을 제어하는 명령 및/또는 코드를 저장할 수 있다.
마이크로폰(1302)은 사용자로부터 음성 명령을 수신하고, 운송수단 내의 주변 잡음을 측정하며, 운송수단의 스피커로부터의 오디오가 운송수단의 음향 환경에 따라 조절되는지를 결정하는 등을 위해 운송수단-내부 컴퓨팅 시스템(1300) 내에 포함될 수 있다. 스피치 프로세싱 유닛(1304)은 마이크로폰(1302)으로부터 수신된 음성 명령과 같은 음성 명령을 프로세스할 수 있다. 일부 실시예에서, 운송수단-내부 컴퓨팅 시스템(1300)은 음성 명령을 수신하고, 운송수단의 오디오 시스템(1332)에 포함된 마이크로폰을 사용하여 주변 운송수단 잡음을 샘플링할 수도 있다.
하나 이상의 추가 센서는 운송수단-내부 컴퓨팅 시스템(1300)의 센서 서브시스템(1310)에 포함될 수 있다. 예를 들어, 센서 서브시스템(1310)은 운송수단 주차시 사용자를 보조하기 위한 후방 뷰 카메라 및/또는 사용자를 식별하기 위한 운전석 카메라(가령, 얼굴 인식 및/또는 사용자 제스쳐를 사용함)와 같은 카메라를 포함할 수 있다. 운송수단-내부 컴퓨팅 시스템(1300)의 센서 서브시스템(1310)은 다양한 운송수단 센서와 통신하고 이로부터의 입력을 수신할 수 있고, 사용자 입력을 더 수신할 수 있다. 예를 들어, 센서 서브시스템(1310)에 의해 수신된 입력은 변속 기어 위치, 변속 클러치 위치, 가스 페달 입력, 브레이크 입력, 변속 선택기 위치, 운송수단 속력, 엔진 속력, 엔진을 통한 대량 공기흐름, 대기 온도, 흡입 공기 온도 등은 물론, 기후 제어 시스템 센서로부터의 입력(열 전달 유체 온도, 부동액 온도, 팬 속력, 승객 객실 온도, 원하는 승객 객실 온도, 대기 습도 등), 사용자에 의해 발표된 음성 명령을 검출하는 오디오 센서, 운송수단의 포브(fob)로부터 명령을 수신하고 옵션으로 지리학적인 위치/근접성을 추적하는 포브 센서 등을 포함할 수 있다. 어떤 운송수단 시스템 센서가 센서 서브시스템(1310)과 단독으로 통신할 수 있는 동안에, 다른 센서들은 센서 서브시스템(1310)과 운송수단 제어 시스템(1330) 모두와 통신하거나 운송수단 제어 시스템(1330)을 통해 간접적으로 센서 서브시스템(1310)과 통신할 수 있다. 운송수단-내부 컴퓨팅 시스템(1300)의 네비게이션 서브시스템(1311)은 (가령, GPS 센서 및/또는 센서 서브시스템(1310)으로부터의 다른 센서를 통해) 위치 정보와 같은 네비게이션 정보, 루트 안내, 교통 정보, 관심 지점(POI) 표시를 생성 및/또는 수신할 수 있고, 및/또는 운전자를 위한 다른 네비게이션적인 서비스를 제공할 수 있다.
운송수단-내부 컴퓨팅 시스템(1300)의 외부 장치 인터페이스(1312)는 운송수단(1301)의 외부에 위치된 하나 이상의 외부 장치(1340)에 연결 가능하거나, 및/또는 통신할 수 있다. 외부 장치는 운송수단(1301)의 외부에 위치되지만, 사용자가 운송수단(1301)을 작동시키면서 외부 장치를 작동시킬 때와 같이, 이들이 운송수단(1301) 내에 임시적으로 수용될 수 있다는 것을 이해해야 한다. 다시 말해, 외부 장치(1340)는 운송수단(1301)에 통합되지 않는다. 외부 장치(1340)는 (가령, Bluetooth 연결을 통해 연결된) 모바일 장치(1342) 또는 대안적인 Bluetooth-활성화된 장치(1352)를 포함할 수 있다. 모바일 장치(1342)는 모바일폰, 스마트폰, 유선 및/또는 무선 통신을 통해 운송수단-내부 컴퓨팅 시스템과 통신할 수 있는 웨어러블 장치/센서 또는 다른 휴대용 전자 장치(들)일 수 있다. 다른 외부 장치는 외부 서비스(1346)를 포함한다. 예를 들어, 외부 장치는 운송수단과 분리되고 외부에 위치된 추가-차량용 장치를 포함할 수 있다. 여전히 다른 외부 장치는 고체-상태 드라이브, 펜 드라이브, USB 드라이브 등과 같은 외부 저장 장치(1354)를 포함한다. 외부 장치(1340)는 본 개시물의 범위에서 벗어나지 않는 무선이나 커넥터를 통해, 운송수단-내부 컴퓨팅 시스템(1300)과 통신할 수 있다. 예를 들어, 외부 장치(1340)는 네트워크(1360)를 통한 외부 장치 인터페이스(1312), 범용 시리얼 버스(USB) 연결, 직접 유선 연결, 직접 무선 연결, 및/또는 다른 통신 링크를 통해, 운송수단-내부 컴퓨팅 시스템(1300)과 통신할 수 있다. 외부 장치 인터페이스(1312)는 운전자와의 연락과 관련된 모바일 장치와 통신하기 위해, 운송수단-내부 컴퓨팅 시스템을 활성화시키기 위한 통신 인터페이스를 제공할 수 있다. 예를 들어, 외부 장치 인터페이스(1312)는, 전화 걸기가 구축될 수 있게 하고 그리고/또는 문자 메시지(가령, SMS, MMS 등)가 운전자의 연락과 관련된 모바일 장치로 (가령, 셀룰러 통신 네트워크를 통해) 전송될 수 있게 할 수 있다.
하나 이상의 애플리케이션(1344)은 모바일 장치(1342) 상에서 동작가능할 수 있다. 예로서, 모바일 장치 애플리케이션(1344)는 사용자와 모바일 장치의 상호작용과 관련된 사용자 데이터를 종합하기 위해 작동될 수 있다. 예를 들어, 모바일 장치 애플리케이션(1344)은 모바일 장치 상에서 사용자에 의해 청취되는 음악 플레이리스트에 관한 데이터, 전화 걸기 로그(사용자에 의해 수신된 전화 걸기의 빈도와 기간을 포함), 사용자에 의해 빈번히 다닌 위치를 포함하는 위치 정보 및 각각의 위치에서 지낸 시간의 양 등을 종합할 수 있다. 수집된 데이터는 애플리케이션(1344)에 의해 네트워크(1360)를 통해 외부 장치 인터페이스(1312)로 전송될 수 있다. 또한, 특정 사용자 데이터 요청은 모바일 장치(1342)에서, 외부 장치 인터페이스(1312)를 통해 운송수단-내부 컴퓨팅 시스템(1300)로부터 수신될 수 있다. 특정 데이터 요청은 사용자가 지리학적으로 어디에 위치되는지를 결정하기 위한 요청, 사용자의 위치에서의 주변 잡음 레벨 및/또는 음악 장르, 사용자의 위치에서의 주변 날씨 상태(온도, 습도 등) 등을 포함할 수 있다. 모바일 장치 애플리케이션(1344)는 제어 명령을 부품(가령, 마이크로폰 등)이나 모바일 장치(1342)의 다른 애플리케이션(가령, 네비게이션적인 애플리케이션)으로 전송하여서, 요청된 데이터를 모바일 장치상에서 수집되도록 활성화시킬 수 있다. 그리고 나서, 모바일 장치 애플리케이션(1344)는 수집된 정보를 다시 운송수단-내부 컴퓨팅 시스템(1300)으로 전달할 수 있다.
이와 같이, 하나 이상의 애플리케이션(1348)은 외부 서비스(1346) 상에서 작동가능할 수 있다. 예로서, 외부 서비스 애플리케이션(1348)은 복수의 데이터 소스로부터의 데이터를 종합 및/또는 분석하기 위해 작동될 수 있다. 예를 들어, 외부 서비스 애플리케이션(1348)은 사용자의 하나 이상의 사회 매체 계좌로부터의 데이터, 운송수단-내부 컴퓨팅 시스템(가령, 센서 데이터, 로그 파일, 사용자 입력 등)으로부터의 데이터, 인터넷 쿼리(가령, 날씨 데이터 POI 데이터)로부터의 데이터 등을 종합할 수 있다. 수집된 데이터는 애플리케이션에 의해 또 다른 장치로 전송되거나, 및/또는 분석되어서, 운전자, 운송수단 및 환경의 상황을 결정할 수 있고, 그 상황(가령, 다른 장치로 데이터를 요청/전송함)에 기초하여 액션을 수행할 수 있다.
운송수단 제어 시스템(1330)은 다양한 운송수단-내부 기능과 관련된 다양한 운송수단 시스템(1331)의 양태를 제어하기 위한 제어부를 포함할 수 있다. 이들은 가령, 운송수단 탑승자에게 오디오와 엔터테인먼트를 제공하기 위한 운송수단 오디오 시스템(1332)의 양태, 운송수단 탑승자의 운전석 쿨링이나 히팅을 충족하기 위한 기후 제어 시스템(1334)의 양태는 물론 운송수단 탑승자가 다른 사람과 텔레통신 링크를 구축할 수 있도록 하기 위한 텔레통신 시스템(1336)의 양태를 제어하는 것을 포함할 수 있다.
오디오 시스템(1332)은 스피커와 같은 전자기적 트랜스듀서를 포함하는 하나 이상의 음향 재생 장치를 포함할 수 있다. 운송수단 오디오 시스템(1332)은 전력 증폭기를 포함하는 것에 의해 수동형이나 능동형일 수 있다. 일부 예시에서, 운송수단-내부 컴퓨팅 시스템(1300)은 오직 음향 재생 장치를 위한 오디오 소스일 수 있거나, 오디오 재생 시스템에 연결된 다른 오디오 소스가 있을 수 있다(가령, 모바일폰과 같은 외부 장치). 오디오 재생 장치로의 임의의 이러한 외부 장치의 연결은 아날로그, 디지털 또는 아날로그와 디지털 기술의 임의의 조합일 수 있다.
기후 제어 시스템(1334)은 운송수단(1301)의 운전석이나 승객 객실 내에서 편안한 환경을 제공하도록 구성될 수 있다. 기후 제어 시스템(1334)은, 환기구, 히터, 에어콘, 통합 히터와 에어콘 시스템 등과 같은 제어된 환기를 할 수 있는 부품을 포함한다. 히팅 및 에어컨 설정을 위해 연결된 다른 부품은, 윈드실드를 세척할 수 있는 윈드실드 서리제거 및 안개제거 시스템 및 신선한 공기 흡입구를 통해 승객 객실에 들어오는 외부 공기를 세척하기 위한 환기 필터를 포함할 수 있다.
또한, 운송수단 제어 시스템(1330)은, 스티어링 휠 제어부(1362)(가령, 스티어링 휠-장착된 오디오 시스템 제어부, 크루즈 제어부, 윈드실드 와이퍼 제어부, 헤드라이트 제어부, 회전 신호 제어부 등), 인스트루먼트 패널 제어부, 마이크로폰(들), 가속도/브레이크/클러치 페달, 기어 시프트, 운전자나 승객 문에 위치된 문/창문 제어부, 시트 제어부, 운전석 라이트 제어부, 오디오 시스템 제어부, 운전석 온도 제어부 등과 같이, 운송수단의 운전석 내의 엔진 및/또는 보조 요소와 관련된 다양한 운송수단 제어부(1361)(또는 운송수단 시스템 제어 요소)를 조절하기 위한 제어부를 포함할 수 있다.
하나의 예시에서, 가상 카메라는 분리된 가상 뷰를 생성하기 위해, 센서 서브시스템(1310)의 센서로부터 분리될 수 있다. 운송수단에 장착된 복수의 물리적 카메라로부터 가상 카메라를 분리시키기 위해, 시스템은 운송수단의 움직임을 대응 보상할 수 있다. 예를 들어, 분리된 가상 카메라 위치는 운송수단의 스티어링 휠이 회전되는 양 및/또는 운송수단의 휠이 스티어링 제어 출력에 기초하여 결정되어 회전된 양에 기초하여 조절될 수 있다.
또한, 운송수단 제어부(1361)는, 운송수단의 CAN 버스를 통해 명령을 수신하여 하나 이상의 엔진, 배기 시스템, 변속기 및/또는 다른 운송수단 시스템의 동작을 변경하도록 구성된 내부 엔진 및 운송수단 작동 제어부(가령, 엔진 제어기 모듈, 작동기, 밸브 등)을 포함할 수 있다. 또한, 제어 신호는 운송수단의 오디오 시스템(1332)의 하나 이상의 스피커에서 오디오 출력을 제어할 수 있다. 예를 들어, 제어 신호는 볼륨, 이퀄리제이션, 오디오 이미지(가령, 하나 이상의 정의된 위치로부터 나오는 것으로 사용자에게 보이는 오디오 출력을 생성하기 위한 오디오 신호의 구성), 복수의 스피커 중에 오디오 분산 등과 같은 오디오 출력 특징을 조절할 수 있다. 이와 같이, 제어 신호는 기후 제어 시스템(1334)의 환기, 에어컨, 및/또는 히터를 제어할 수 있다. 예를 들어, 제어 신호는 운전석의 특정 섹션으로 냉각된 공기의 전달을 증가시킬 수 있다.
또한, 운송수단의 외부에 위치된 제어 요소(가령, 보안 시스템을 위한 제어부)는 가령, 통신 모듈(1322)을 통해, 컴퓨팅 시스템(1300)에 연결될 수 있다. 운송수단 제어 시스템의 제어 요소는 사용자 입력을 수신하기 위해 운송수단 상에 및/또는 내에 물리적으로 및 영구적으로 위치될 수 있다. 운송수단-내부 컴퓨팅 시스템(1300)으로부터 제어 명령을 수신하는 것에 더하여, 운송수단 제어 시스템(1330)은 또한, 가령, 모바일 장치(1342)와 같이, 사용자에 의해 작동되는 하나 이상의 외부 장치(1340)로부터 입력을 수신할 수 있다. 이는, 운송수단 시스템(1331) 및 운송수단 제어부(1361)의 양태가 외부 장치(1340)로부터 수신된 사용자 입력에 기초하여 제어될 수 있도록 한다.
운송수단-내부 컴퓨팅 시스템(1300)은 안테나(1306)를 더 포함할 수 있다. 안테나(1306)는 하나의 안테나로 도시되나, 일부 실시예에서 하나 이상의 안테나를 포함할 수 있다. 운송수단-내부 컴퓨팅 시스템은 안테나(1306)를 통해 브로드밴드 무선 인터넷 액세스를 획득할 수 있고, 라디오, 텔레비젼, 날씨, 교통 등과 같은 방송 신호를 더욱 수신할 수 있다. 운송수단-내부 컴퓨팅 시스템은 하나 이상의 안테나(1306)를 통해 GPS 신호와 같은 포지셔닝 신호를 수신할 수 있다. 또한, 운송수단-내부 컴퓨팅 시스템은 안테나(들)(1306)을 통해 또는 적외선을 통해서와 같은 RF를 통해 또는 적절한 수신 장치를 통한 다른 수단을 통해 무선 명령을 수신할 수 있다. 일부 실시예에서, 안테나(1306)는 오디오 시스템(1332) 또는 텔레통신 시스템(1336)의 일부로 포함될 수 있다. 또한, 안테나(1306)는 외부 장치 인터페이스(1312)를 통해 AM/FM 라디오 신호를 (모바일 장치(1342)와 같은) 외부 장치(1340)로 제공할 수 있다.
운송수단-내부 컴퓨팅 시스템(1300)의 하나 이상의 요소는 사용자 인터페이스(1318)를 통해 사용자에 의해 제어될 수 있다. 사용자 인터페이스(1318)는 도 1b의 터치 스크린(108)과 같은 터치 스크린에 제시된 그래픽 사용자 인터페이스 및/또는 사용자-작동되는 버튼, 스위치, 노브, 다이어, 슬라이더 등을 포함할 수 있다. 예를 들어, 사용자-작동되는 요소는 스티어링 휠 제어부, 도어 및/또는 창문 제어부, 인스트루먼트 패널 제어부, 오디오 시스템 설정부, 기후 제어 시스템 설정부 등을 포함할 수 있다. 또한, 사용자는 사용자 인터페이스(1318)를 통해 운송수단-내부 컴퓨팅 시스템(1300)과 모바일 장치(1342)의 하나 이상의 애플리케이션과 상호작용할 수 있다. 사용자 인터페이스(1318) 상의 사용자의 운송수단 설정 선호도를 수신하는 것에 더하여, 운송수단-내부 제어 시스템에 의해 선택된 운송수단 설정은 사용자 인터페이스(1318) 상에서 사용자에게 디스플레이될 수 있다. 네비게이션적인 보조는 물론 통지와 그 밖의 메시지(가령, 수신된 메시지)는 사용자의 인터페이스의 디스플레이 상에서 사용자에게 디스플레이될 수 있다. 사용자 선호도/정보 및/또는 제시된 메시지에 대한 응답은 사용자 인터페이스로의 사용자 입력을 통해 수행될 수 있다.
도 1a를 보면, 가상 뷰 시스템(102)은 복수의 이미지 센서(11)로부터 수신된 이미지 데이터에 기초하여 가상 뷰를 생성하고 디스플레이(30) 상에 가상 뷰를 디스플레이할 수 있다. 도 1b를 참조하여 논의된 바와 같이, 디스플레이는 운송수단(101)의 디스플레이(108)와 같이, 운송수단의 디스플레이일 수 있다. 다른 예시에서, 디스플레이는 운송수단 내에 통합되거나 위치된 또 다른 디스플레이(가령, 시트-백 디스플레이, 윈드실드에 통합된 헤드-업 디스플레이, 운송수단의 운전석 내의 모바일 장치의 디스플레이 등) 및/또는 운송수단으로부터 원격의 디스플레이(가령, 원격 연결된 장치의 디스플레이와 같이 운송수단의 외부에 위치되고 운송수단으로부터 이격된 외부 디스플레이) 일 수 있다. 본 명세서에 기술된 정보의 디스플레이는 상기 예시적인 디스플레이 및/또는 임의의 다른 적절한 디스플레이 중 하나 또는 조합물에 정보의 디스플레이를 말할 수 있다는 것을 이해해야 한다. 일부 예시에서, 가상 뷰 시스템(102)은 (도 1b의 운송수단-내부 시스템(109) 및/또는 도 13의 운송수단-내부 컴퓨팅 시스템(1300)과 같은) 운송수단(101)의 운송수단-내부 컴퓨팅 시스템과 통합될 수 있다. 가상 뷰는 도 2a-d에 기술된 바와 같이, 운송수단(101)에 장착된 이미지 센서를 사용하여 획득되는 이미지 데이터를 사용하여 수학적으로 생성되는 뷰를 포함할 수 있다.
도 2a 및 2b는 함께 설명될 수 있다. 도 2a는 운송수단(202)의 개략도(200)를 나타내고, 도 2b는 운송수단(202)의 디스플레이(204)에 디스플레이된 운송수단(202)이 탑-다운 가상 뷰(210)를 나타낸다. 복수의 카메라(205)는 운송수단(202) 상에 장착된다. 운송수단의 전방에 장착된 하나와 운송수단의 후방에 장착된 다른 것인 두 개의 카메라는 오직 설명을 목적으로 도 2a에 도시된다. 추가 카메라는 운송수단(202)에 장착될 수 있다(가령, 운송수단의 측면에). 복수의 카메라(205)로부터의 이미지 데이터는 분석될 수 있고, 운송수단(202)의 가상 뷰는 도 2b에 도시된 바와 같이 생성될 수 있다. 제1 예시에서, 운송수단의 가상 뷰는 도 1의 시스템(102)과 같은 가상 뷰 시스템에 의해 생성될 수 있고, 도 1의 디스플레이(30)와 같은 디스플레이 상에 디스플레이될 수 있다. 제2 예시에서, 가상 뷰는 (도 1b의 운송수단-내부 컴퓨팅 시스템(109) 및/또는 이하에 추가로 도시되는 도 13에 도시된 운송수단-내부 컴퓨팅 시스템(1300)과 같이) 운송수단-내부 컴퓨팅 시스템에 의해 생성될 수 있고, 운송수단-내부 컴퓨팅 시스템의 디스플레이를 사용하여 운송수단의 운전자에게 디스플레이될 수 있다.
운송수단(202)의 탑-다운 가상 뷰(210)는 복수의 카메라(205)에 의해 획득된 이미지 데이터를 사용하여 수학적으로 생성될 수 있다. 운송수단(202)의 탑-다운 가상 뷰(210)는 운송수단(202)의 탑으로부터 거리(d)에서 가상 카메라(206)를 위치시킴에 의해 생성될 수 있다. 따라서, 탑-다운 가상 뷰(210)는 운송수단(202)의 이미지(208)를 포함할 수 있다. 일부 예시에서, 이미지(208)는 사전-생성되고 시스템에 저장되는 운송수단의 모델일 수 있다. 가상 뷰가 생성될 때, 시스템은 실제 운송수단(202) 대신에 모델 이미지(208)를 사용할 수 있다. 또한, 시스템은 카메라로부터 픽셀을 조절할 수 있어서(가령, 회전, 재성형, 재색칠 및 재배열과 같이, 대개 수학적 또는 지리학적 변환을 통해, 하나의 픽셀이 많은 픽셀로, 또는 많은 픽셀이 하나의 픽셀로 변환될 수 있음), 탑-다운 가상 뷰(210)는 운송수단(202)의 탑으로부터 거리(d)에서 카메라를 사용하여 생성되는 것으로 보인다. 따라서, 뷰잉 각도(α)는 탑-다운 가상 뷰(210)를 변경하기 위해 조절될 수 있다.
이제 도 2c 및 2d를 보면, 운송수단(202)의 또 다른 가상 뷰가 도시된다. 도 2d는 운송수단(202)의 디스플레이(204)에 디스플레이된 운송수단(202)의 가상 뷰(260)를 나타낸다. 이전에 기술된 바와 같이, 가상 뷰(260)는 운송수단(202) 상에 장착된 복수의 카메라의 세트나 전체로부터 획득된 이미지 데이터를 사용하여 생성된다. 여기서, 가상 카메라(206)는 도 2c에 도시된 바와 같이, 운송수단(202)으로부터 거리(x)에서 운송수단의 측면을 따라 위치된다. 가상 뷰(260)는 운송수단(202)의 이미지(254)를 포함한다. 이미지(254)가 되는 가상 뷰(260) 내의 픽셀은 복수의 카메라로부터 이미지 데이터를 수신함으로써, 그리고 운송수단으로부터 멀리 떨어진 지점에서 시작하는 것으로 보이는 가상 뷰를 달성하기 위해, 추가 변환을 하여 픽셀을 역방향으로 선택적으로 드로잉(drawing)함으로써 생성될 수 있다. 이러한 방식으로, 운송수단의 물리적 환경의 삼차원적인 서라운드나 가상 뷰가 생성될 수 있다(운송수단(202) 자체는 이미지로 렌더링되는 3D 모델일 수 있음).
전형적으로, 가상 뷰 시스템은, 움직임의 디스플레이에 대한 기준의 중심으로서, 카메라가 부착되는 운송수단을 사용한다. 구체적으로, 운송수단이 디스플레이 상에 정적으로 유지되지만, 서라운딩 환경은 움직인다. 이러한 방식은 많은 예에서 자연스러운 것으로 보일 수 있더라도, 운송수단이 움직이지만 서라운딩이 정적으로 유지되는 것이 좀 더 적절한 경우도 있다. 예를 들어, 운송수단을 평행 주차할 때, 만일 가상 뷰가 운송수단-중심이라면, 운송수단이 위치 조절을 수행함에 따라, 운전자는, "세상"을 조절하기 위해 어떻게 차가 움직여야 하는지 보다는, 스팟 내에서 차의 위치선정을 조절하기 위해 "세상"이 어떻게 "움직"이는지를 고려할 수 있고, 이는 좀 더 자연스러울 수 있다.
따라서, 세상과 정적으로 유지될 수 있는 가상 뷰를 생성하기 위해, 운송수단 상에 장착된 복수의 물리적 카메라로부터 가상 카메라를 분리시킬 수 있다. 운송수단에 장착된 복수의 물리적 카메라로부터 가상 카메라를 분리시키기 위해, 시스템은 운송수단의 움직임에 대해 대응 보상할 수 있다. 이러한 방식으로, 세상-잠금된 가상 뷰가 생성될 수 있고, 운송수단이 계속 움직이지만 가상 뷰는 정적으로 유지될 수 있다. 이러한 세상-잠금된 가상 뷰를 가지는 이점은 도 6-11에서의 일부 예시적인 시나리오로 설명된다. 또한, 이러한 분리를 수행하는 것과 세상-잠금된 뷰에서 운송수단-잠금된 뷰로 추가적으로 스위칭하고, 그 역으로 스위칭하기 위한 예시적인 방법은 도 3-5 및 12에 도시된다.
이제 도 3을 보면, 물체의 두 개의 가상 뷰 중 하나를 생성하기 위한 예시적인 방법(300)이 도시된다. 예를 들어, 방법(300)은 도 2의 가상 뷰 시스템(102) 및/또는 도 1b의 운송수단-내부 컴퓨팅 시스템(109) 및/또는 도 13의 운송수단-내부 컴퓨팅 시스템(1300)에 의해 수행될 수 있다. 구체적으로, 방법(300)은 제1 조건 동안에 물체의 제1 뷰를 생성하는 단계 및 제2 조건 동안에 물체의 제2 뷰를 생성하는 단계를 포함한다. 하나의 비제한적인 예시에서, 물체는 하나 이상의 물리적 카메라가 장착되는 운송수단을 포함할 수 있다.
방법(300)은 하나 이상의 물리적 카메라를 통해 물체에 대한 하나 이상의 관련 시각으로부터 이미지 데이터를 캡쳐하는 단계를 포함하는 302에서 시작한다. 이전에 기술된 바와 같이, 물체에 장착된 하나 이상의 물리적 카메라는 서로 다른 시각 뷰를 생성할 수 있다. 예를 들어, 물체의 전방에 장착된 카메라는 운송수단의 전방의 이미지를 생성할 수 있는 반면, 물체의 후방에 장착된 카메라는 운송수단의 후방의 이미지를 생성할 수 있고, 이는 전방 카메라가 생성하는 것과 비교될 때, 서로 다른 시각을 제공한다. 이와 같이, 물체의 우측에 장착된 카메라는, 물체의 좌측, 전방 및 후방에 장착된 카메라로부터 생성된 이미지와 비교할 때, 서로 다른 시각을 가지는 이미지를 생성할 수 있다. 물체에 대해 서로 다른 시각들을 조합함에 의해, 물체의 서라운드 뷰가 생성될 수 있다. 따라서, 서라운드 뷰는, 세상-중심의 또는 하나 이상의 카메라로부터 분리된 제1 가상 뷰 또는 운송수단-중심의 또는 하나 이상의 카메라에 결합된 제2 가상 뷰 중 하나일 수 있다. 방법(300)은 조건에 기초하여 제1 뷰 또는 제2 뷰를 생성한다.
방법(300)은, 사용자 입력이 수신될 때, 제1 조건에 접하는지(encountering)를 결정할 수 있다. 또한, 방법(300)은 사용자 입력이 수신되지 않을 때, 제2 조건에 접하는지를 결정할 수 있다. 일부 예시에서, 본 방법은, 물체 또는 운송수단이 공간으로 움직이거나, 및/또는 주차될 때, 제1 조건에 접한다고 자동으로 결정할 수 있다. 예를 들어, 운송수단의 후진 기어가 활성화될 때, 본 방법은 제1 조건에 접한다고 자동으로 결정할 수 있다. 어떤 더 많은 예시에서, 물체의 속력이 임계 속력 미만이라면, 본 방법은 제1 조건에 접한다고 결정할 수 있다. 여전히 더 많은 예시에서, 물체의 근처에 아이템/물건/물체(가령, 연석(curb), 전방 운송수단의 범퍼) 또는 사람(가령, 운송수단이 이동하는 길을 건너는 보행자)이 있다면, 본 방법은 제1 조건에 접한다고 결정할 수 있다. 제1 조건에 접한다고 결정되면, 본 방법(300)은 제1 뷰를 생성하기 위해 304로 진행된다.
304에서, 방법은 하나 이상의 물리적 카메라로부터 분리된 가상 카메라의 가상 위치로부터 물체의 제1 뷰를 생성하는 단계를 포함한다. 제1 뷰는 분리된 가상 뷰, 세상-잠금된 가상 뷰 및 세상-중심 가상 뷰라고 상호교환적으로 말할 수 있다. 하나 이상의 물리적 카메라로부터 가상 카메라를 분리함에 의해, 생성된 물체의 제1 가상 뷰는 물체 이외의 기준점에 대해 정적일 수 있다. 구체적으로, 제1 뷰는 물체와 함께 움직이지 않을 수 있다. 그러므로, 제1 조건 동안에, 본 방법은, 가동식 물체 또는 가동식 물체의 부품들이 움직일 때에도, 가상 카메라의 가상 위치를 유지시키는 단계를 포함할 수 있다. 그리고 나서, 물체의 제1 뷰는 306에서, 물체의 사용자에게 디스플레이 상에서 디스플레이된다. 방법(300)이 리턴된다.
그러나, 사용자 입력이 수신되지 않거나, 물체 속력이 임계 속력보다 빠르거나, 아이템/물체/물건이 물체의 근처에서 접하지 않는다면, 방법은 제2 조건에 접하는 것으로 자동으로 결정하고, 따라서, 방법(300)은 물체의 제2 뷰가 생성되는 308로 진행된다. 상기는 예시적인 조건이고, 본 명세서에 기술된 조건은 연결된 뷰와 분리된 뷰를 교호하는 것(alternating)으로부터 이익을 얻을 수 있는 다른 조건에 의해 대체될 수 있다는 것을 이해해야 한다. 일부 예시에서, 조건이 제1 조건에서 제2 조건으로 변하거나, 그 역으로 변할 때, 본 방법은 제1 뷰에서 제2 뷰로 스위칭할 수 있다. 또한, 불충분한 이미지 정보가 존재하여 분리된 뷰를 제시하거나, 정보가 불충분한 것으로 되기 바로 이전이라고 결정하면, 시스템은 뷰를 물체-중심 뷰로 스위칭할 수 있다.
308에서, 방법(300)은 하나 이상의 물리적 카메라에 연결된 가상 카메라의 가상 위치로부터 물체의 제2 가상 뷰를 생성하는 단계를 포함한다. 제2 뷰는 연결된 가상 뷰, 물체-중심 가상 뷰 및 물체가 운송수단일 때의 실시예에서, 운송수단-잠금된 가상 뷰라고 상호교환적으로 말할 수 있다. 가상 카메라를 하나 이상의 물리적 카메라에 연결함에 의해, 생성된 물체의 제2 가상뷰는 물체와 함께 이동할 수 있다. 그러므로, 제2 조건 동안에, 방법(300)은 가동식 물체나 가동식 물체의 부품의 움직임과 함께 가상 카메라의 가상 위치를 움직이는 단계를 포함할 수 있다. 가상 카메라의 가상 위치에서 생성된 물체의 제2 뷰는 306에서 물체의 사용자에게 디스플레이 상에서 디스플레이될 수 있다. 방법(300)은 리턴된다.
물체가 운송수단인 예시를 고려해본다. 운송수단의 사용자나 운전자는 사용자 인터페이스를 통해 사용자 입력을 제공하여서, 분리된 가상 뷰나 연결된 가상 뷰를 포함하는 뷰인 두 개의 뷰 중 하나를 선택할 수 있다. 일부 예시에서, 사용자는 두 개의 뷰 사이에 스위치/토글할 수 있다. 일부 더 많은 예시에서, 사용자는 다른 것에 비해 뷰 중 하나를 선호할 수 있고, 선호된 뷰를 더욱 잠금할 수 있다. 예를 들어, 주차장에서 운송수단을 주차할 때, 사용자는 항상 "분리된 뷰"를 가지는 것을 선호할 수 있어서, 운송수단이 주차될 때마다(가령, 후진 기어가 운송수단에서 활성화될 때), 본 방법은 제1 조건에 접하는지를 자동으로 결정하고, 따라서, 분리된 가상 뷰를 선택하고 분리된 뷰를 잠근다. 운송수단의 서로 다른 운전 조건에 접할때까지 분리된 가상 뷰는 계속하여 사용자에게 디스플레이될 수 있다. 예를 들어, 본 방법은 운송수단 속력이 임계 속력(가령, 5 mph)에 도달할 때까지, 분리된 가상 뷰를 잠금할 수 있는데, 이는 운송수단이 더 이상 주차하는 것이 아니거나 주어진 거리가 이동되었다는 것을 나타낸다. 일부 예시에서, 운송수단이 주차장 밖으로 나갈때 까지(이 경우, 속력은 가령 10 mph), 사용자는 연결된 뷰로 스위칭을 원하지 않을 수 있는데, 이러한 경우, 속력이 가령, 10 mph에 도달할 때까지 분리된 뷰는 계속하여 디스플레이될 수 있다. 그러므로, 뷰는 분리된 가상 뷰에서 연결된 가상 뷰로 스위칭될 수 있다. 일부 예시에서, 속력이 10 mph에 도달할 때, 사용자가 구체적으로 연결된 뷰를 요청하지 않는다면, 본 방법은 가상 뷰를 디스플레이하지 않을 수 있는데, 이러한 경우 연결된 뷰가 디스플레이될 수 있다. 일부 경우에, 물리적 카메라는 임계 속력(가령, 이러한 예시에서 10 mph)에 도달하기 전에, 분리된 가상 카메라를 생성하기 위해 충분한 이미지 정보를 캡쳐하지 못할 수 있다. 이러한 경우, 가상 카메라는 분리된 가상 카메라 위치에서 "점프(jump)"를 수행할 수 있는데, 운송수단 이후에, 그리고 이동의 부분에 의해 분리된 채로 남는다.
그러므로, 디스플레이된 가상 뷰는 하나 이상의 사용자 입력, 물체의 근처의 물건의 검출 및 물체의 움직임에 기초하여 자동으로 선택될 수 있다. 일부 예시에서, 가상 카메라의 위치는, 도 4에 도시된 바와 같이, 하나 이상의 사용자 입력, 물체의 근처의 물건의 검출 및 물체의 움직임에 기초하여 자동으로 선택 및/또는 조절될 수 있다.
이제 도 4를 보면, 운송수단의 분리된 가상 뷰를 생성하고, 추가적으로 가상 카메라의 위치를 조절하기 위한 예시적인 방법(400)이 도시된다. 구체적으로, 방법(400)은 운송수단에 장착된 복수의 카메라로부터 수신된 이미지 데이터에 기초하여 분리된 가상 뷰를 생성하는 단계를 포함하고, 하나 이상의 사용자 입력, 운송수단의 근처의 물체의 검출 및 운송수단의 움직임에 기초하여, 가상 카메라의 위치를 조절하는 단계를 더 포함한다.
방법(400)은 402에서 시작하는데, 본 방법은 분리된 가상 뷰가 개시되는지를 결정하는 단계를 포함한다. 이전에 기술된 바와 같이, 분리된 가상 뷰는 사용자에 의해, 가령, 버튼을 클릭함에 의해 개시될 수 있고, 또는 도 3을 참조하여 이전에 기술된 바와 같이, 운송수단 속력이 임계값 미만으로 떨어질 때, 및/또는 운송수단이 주차될 때, 및/또는 물체가 운송수단의 근처에서 검출될 때, 자동으로 개시될 수 있다.
분리된 가상 뷰가 개시된다면(가령, 402에서 "네"), 본 방법(400)은 404로 진행되고, 분리된 가상 뷰가 개시되지 않는다면, 본 방법은 리턴된다. 404에서, 방법(400)이 운송수단에 연결된 하나 이상의 카메라로부터 이미지 데이터를 수신하는 단계를 포함한다. 운송수단에 연결된 하나 이상의 카메라는 운송수단 서라운딩의 다양한 영역을 이미지할 수 있다. 하나 이상의 카메라는 함께 운송수단의 서라운드 뷰나 가상 뷰를 생성할 수 있다. 이미지 데이터가 수신되면, 방법(400)은 406으로 진행되어, 분리된 가상 카메라 위치가 결정된다.
분리된 가상 카메라 위치는 408에서 사용자 선호도 또는 사용자 입력에 기초하여 결정될 수 있다. 예를 들어, 원하는 주차장 근처에 기둥(가령, 말뚝, 철탑 또는 다른 구조물)이 있는 주차장 내부에 운송수단을 주차할 때, 운송수단의 사용자는 기둥에 분리된 가상 카메라를 위치시키고, 운송수단의 후방을 향해 위치시키는 것을 선호할 수 있다. 가상 카메라를 기둥에 위치시킴에 의해, 사용자는 가령, 기둥에 부딪히지 않고 운송수단을 효과적으로 조작할 수 있다. 일부 예시에서, (도 6-7을 참조하여 이후에 추가로 설명할 바와 같이) 사용자는 기둥과 이웃하는 운송수단으로부터 고정된 거리 및/또는 각도로 가상 카메라를 위치시킬 수 있고, 기둥과 이웃하는 운송수단 모두를 세상에서 고정된 것으로 보이도록 할 수 있다. 그러므로, 사용자는 기둥이나 이웃하는 운송수단에 부딪히지 않으면서, 원하는 스팟으로 운송수단을 효과적으로 조작할 수 있다. 다른 예시에서, 사용자는 가상 카메라의 방향을 조절하여 가상 뷰의 뷰잉 각도를 조절할 수 있다.
또한, 분리된 가상 카메라 위치는 410에서 운송수단의 근처의 물체의 검출에 기초하여 결정될 수 있다. 하나 이상의 위치 센서와 이미지 센서의 출력에 기초하여, 본 방법은 운송수단의 근처의 물체를 검출할 수 있다. 예를 들어, 운송수단에 장착된 카메라로부터의 이미지 데이터에 기초하여, 본 방법은 회전 반경이 좁은 곳의 연석을 검출할 수 있다. 연석을 검출하면, 본 방법은 연석을 보기 위해 가상 카메라를 자동으로 위치시키는 단계를 포함하여서, 사용자는 가령, 연석을 넘어서거나 때리지 않고 회전을 조작할 수 있다.
또한, 분리된 가상 카메라 위치는 412에서, 운송수단의 움직임에 기초하여 결정될 수 있다. 예를 들어, 분리된 가상 카메라 위치는 운송수단의 스티어링 휠이 회전되는 양 및/또는 운송수단의 휠이 회전되는 양에 기초하여 조절될 수 있다. 세상/환경에 대해 운송수단 및/또는 카메라의 상대적 위치를 결정하고, 정적인 뷰를 나타내기 위해 운송수단 움직임을 계산하고 대응하기 위해, 운송수단 및/또는 카메라에 의해 사용될 수 있는 라이다 시스템, 레이더 시스템, 초음파 센서 및/또는 다른 레인지-센싱 시스템과 같은 하나 이상의 센서 및/또는 센싱 시스템은 가상 카메라 위치의 조절의 양과 유형을 결정하는 것을 보조하는데 사용될 수 있다. 추가적이거나 대안적인 내부 센서는, 관성 측정 유닛(들)(IMU), 자이로스코프, 가속도계 및 높은 정확성 글로벌 네비게이션 위성 시스템(GNSS)를 포함하여, 상기 기술된 목적을 위해 사용될 수 있다.
다음으로, 414에서, 방법(400)은 운송수단에 장착된 카메라로부터 가상 카메라를 분리하는 단계를 포함한다. 일부 예시에서, 카메라 위치는 운송수단의 움직임에 대해 대응 보상함에 의해 결정될 수 있다. 예를 들어, 운송수단이 오른쪽으로 움직이거나, 및/또는 오른쪽으로 임계값 양으로 움직인다면, 현재 뷰와 관련된 모든 연결된 물리적 카메라에 의해 생성된 이미지도 임계값 양만큼 움직일 것이다. 그러므로, 가상 카메라는, 운송수단의 움식임을 상쇄시키기 위해, 임계값 양만큼(또는 운송수단이 오른쪽으로 움직인 양)이나 반대 방향으로 움직일 수 있다. 이러한 방식으로, 가상 카메라는, 운송수단 및 운송수단에 장착된 카메라로부터 효과적으로 비결합되거나 분리될 수 있다.
416에서, 방법(400)은 414에서 결정된 가상 카메라 위치에서 분리된 가상 뷰를 생성하는 단계를 포함한다. 그러므로, 분리된 가상 뷰는 가상 카메라가 정적으로 보이고 "세상 기준"을 가지는 것으로 보이도록 하는, 세상-중심 가상 뷰일 수 있다. 이러한 방식으로, 가상 카메라는 물체에 장착된 복수의 물리적 카메라로부터 분리될 수 있어서, 사용자에 의한 물체의 모션의 인지를 향상시키는, 물체의 사용자에게 가상 뷰를 제시할 수 있다.
418에서, 방법(400)은 분리된 가상 뷰로부터 탈출(exit)이 개시되는지를 결정하는 단계를 포함한다. 탈출이 개시되지 않으면(가령, 418에서 "아니오"), 방법(400)은 404로 리턴되는 단계를 포함하여, 새롭고/업데이트된 이미지 데이터를 캡쳐하여, 계속적으로 414에서 결정된 가상 카메라 위치에서 분리된 가상 뷰를 생성한다.
분리된 가상 뷰로부터 탈출이 개시되면(가령, 418에서 "네"), 본 방법(400)은 420으로 진행된다. 하나의 예시에서, 사용자는 분리된 가상 뷰에서 탈출하는 것을 선호할 수 있다. 이러한 예시에서, 사용자가 탈출을 개시하면, 방법(400)은 420으로 진행된다. 또 다른 예시에서, 운송수단의 속력이 임계 속력(가령, 45 mph)에 도달할 때, 본 방법은 분리된 가상 뷰로부터 탈출이 개시되는 것을 결정할 수 있어서, 420으로 진행된다. 또 다른 예시에서, 운송수단의 근처에 물체가 검출되지 않으면(가령, 시야에 다른 운송수단이나 물체가 존재하지 않는, 텅 빈 도로 구간을 이동하는 운송수단), 본 방법은 분리된 가상 뷰로부터 탈출이 개시된다고 결정하여 420으로 진행될 수 있다.
420에서, 방법(400)은 연결된 가상 뷰를 생성하기 위해 가상 카메라를 운송수단에 장착된 카메라에 연결하는 단계를 포함한다. 선택적으로, 방법(400)은 422에서 모든 가상 뷰로부터 탈출하는 단계를 포함할 수 있다. 방법(400)은 리턴된다.
이제 도 5를 보면, 운송수단-잠금된 뷰(또는 연결된 가상 뷰)에서 세상-잠금된 뷰(또는 분리된 가상 뷰)로 스위칭하기 위한 예시적인 방법이 도시된다. 구체적으로, 방법(500)은 운송수단-잠금된 뷰를 디폴트 뷰로 생성하는 단계를 포함하고, 이하에 도시된 바와 같이 트리거가 검출될 때, 운송수단-잠금된 뷰를 세상-잠금된 뷰로 스위칭하는 단계를 포함한다.
방법(500)이 502에서 시작된다. 502에서, 방법(500)은 운송수단에 장착된 물리적 카메라(들)를 통해, 운송수단에 대해 하나 이상의 시각으로부터 이미지 데이터를 캡쳐하는 단계를 포함한다. 이전에 기술된 바와 같이, 하나 이상의 물리적 카메라는 서로 다른 위치에서 운송수단에 장착될 수 있다. 예를 들어, 운송수단이 운송수단의 전방 범퍼에 장착된 전방 카메라, 운송수단의 후방 범퍼에 장착된 후방 카메라, 운송수단의 좌측 거울에 장착된 카메라 및 운송수단의 우측 거울에 장착된 카메라를 포함할 수 있다. 이들 각각의 카메라는 운송수단에 대해 서로 다른 시각을 캡쳐한다. 카메라로부터의 이미지 데이터는 함께 운송수단-중심 또는 운송수단-잠금된 뷰를 생성하는데 사용될 수 있다.
504에서, 방법(500)은 물리적 카메라(들)에 연결된 운송수단-잠금된 가상 카메라 위치를 결정하는 단계를 포함한다. 여기서, 운송수단-잠금된 가상 카메라 위치는 운송수단과 카메라에 연결될 수 있다. 다른 방식으로 말하면, 카메라가 부착된 운송수단이 운송수단-잠금된 가상 카메라 위치에 대해 기준의 중심으로 사용된다. 이러한 방식으로, 운송수단-잠금된 가상 카메라는 운송수단과 카메라와 같이 움직일 수 있다.
506에서, 방법(500)은 운송수단-잠금된 가상 카메라 위치로부터 운송수단의 운송수단-잠금된 가상 뷰를 생성하는 단계를 포함하고, 생성된 운송수단-잠금된 가상 뷰를 운송수단의 사용자에게 디스플레이 상에서 디스플레이하는 단계를 더 포함한다. 운송수단-잠금된 가상 뷰의 경우에, 서라운딩 환경이 움직임에 따라, 운송수단이 디스플레이의 스크린상에서 정적으로 유지된다.
일부 예시에서, 운송수단-잠금된 가상 뷰는, 세 개 중 하나의 트리거에 접할 때까지, 디폴트 디스플레이 모드일 수 있다. 508, 510, 및 512에서, 방법(500)은 이하에서 논의되는 바와 같이, 트리거에 대해 확인할 수 있다. 본 명세서에 기술된 세 개의 트리거는 예시적이고, 임의의 수 또는 유형의 트리거가 다른 예시에서 시스템으로 하여금 디폴트 디스플레이 모드로부터 스위치하도록 할 수 있다는 것을 이해해야 한다.
508에서, 방법(500)은, 운송수단-잠금된 가상 뷰로부터 세상-잠금된 가상 뷰로의 변경을 요청하는 사용자 입력이 수신되는지를 결정하는 단계를 포함한다. 운송수단-잠금된 가상 뷰의 경우에, 운송수단이 정적으로 유지되는 반면, 운송수단이 위치된 "세상" 또는 환경은 디스플레이 상에서 움직인다. 일부 예시 동안에, 운송수단이 움직이는 것으로 보이지만, "세상"이 잠금된 것으로 유지시키는 것이 더욱 바람직할 수 있다. 하나의 이러한 예시적인 예시는 이전에 논의된 바와 같이, 운송수단이 주차할 때이다. 운송수단을 주차하는 동안, 사용자는 운송수단-잠금된 가상 뷰와 반대인 세상-잠금된 가상 뷰를 선호할 수 있고, 따라서, 508에서 사용자 입력을 통해 변경에 대해 요청할 수 있다. 사용자 입력이 508에서 수신되면(가령, 508에서 "네"), 방법(500)은 514로 진행되고, 아니면, 방법은 운송수단-잠금된 가상뷰가 계속하여 생성되고 디스플레이되는 506으로 리턴된다.
510에서, 방법(500)은 물체가 운송수단의 근처에서 검출되는지를 결정하는 단계를 포함한다. 물체가 하나 이상의 위치 센서, 이미지 센서 및 근접 센서의 출력에 기초하여 검출될 수 있다. 예시로서, 근접 센서는 운송수단에 장착될 수 있고, 센서는 전자기장 또는 전자기선(가령, 적외선)을 발산할 수 있다. 리턴된 신호에 어떤 변화가 있다면, 근저의 물체의 존재를 나타낼 수 있다.
운송수단이 몰 주차장 근처에서 구동되는 예시를 고려한다. 근접 센서(초음파 센서와 같은)는 운송수단의 근처의 쇼핑 카트를 검출할 수 있다. 카트를 검출하면, 본 방법은 514로 자동으로 진행되어서 가상 뷰를 스위칭할 수 있다.
일부 예시에서, 운송수단이 건널목에 접근함에 따라, 전방 카메라의 출력에 기초하여, 건널목을 건너는 보행자가 검출될 수 있다. 따라서, 본 방법은 자동으로 514로 진행되어서, 가상 뷰를 스위칭할 수 있다.
512에서, 방법은 운송수단의 속력이 임계값 미만인 것을 결정하는 단계를 포함한다. 따라서, 운송수단의 속력은 운송수단에 장착된 속력 센서에 기초하여 결정될 수 있다. 운송수단의 속력이 임계값 미만이면, 세상-잠금된 가상 뷰를 제공하는 것이 바람직할 수 있고, 결과적으로 방법(500)은 514로 진행된다. 예로서, 운송수단이 교차로 근처에 있고, 느린 속력으로(가령, 10 mph) 회전하려고 하는 경우, 그리고 추가적으로 길의 측면에 운송수단 및/또는 자전거가 주차되어 있는 경우가 있다. 이러한 예시에서, 운송수단의 사용자에게 세상-잠금된 뷰를 제공하는 것이 바람직할 수 있어서, 길의 측면을 따라 주차된 다른 운송수단/자전거에 부딪히지 않으면서 운송수단을 조작하는 것을 용이하게 한다. 이처럼 느린 속력에서, 가상 카메라를 세상의 위치에 잠금할 수 있고, 세상-잠금된 가상 이미지를 사용자에게 제공할 수 있다.
트리거들(508, 510 및 512에서 확인된) 중 어느 것도 발생하지 않으면, 본 방법(500)은 506으로 리턴되는데, 본 방법은 운송수단-잠금된 뷰를 생성하고 사용자에게 디스플레이하는 단계를 포함한다.
508, 510 및 512에서 확인된 하나 이상의 트리거들이 "네"로 리턴되면, 방법은 514로 진행되는데, 본 방법은 운송수단-잠금된 가상 뷰에서 세상-잠금된 가상 뷰로 스위칭하는 단계를 포함한다. 운송수단-잠금된 가상 뷰에서 세상-잠금된 가상 뷰로의 스위칭하는 단계는 물리적 카메라(들)로부터 가상 카메라를 분리시키는 단계를 포함하고, 516에서 세상-잠금된 가상 카메라 위치를 결정하는 단계를 더 포함한다. 또한, 방법(500)은 518에서 세상-잠금된 가상 카메라 위치로부터 세상-잠금된 가상 뷰를 생성하는 단계를 포함한다.
하나의 예시에서, 물리적 카메라(들)로부터 가상 카메라를 분리하는 단계는, 휠 회전 및/또는 스티어링 휠 각도 변동을 측정하고, 측정된 휠 회전 및/또는 스티어링 휠 변동으로부터 대응 보상함에 의해 달성될 수 있다. 또 다른 예시에서, 본 방법은, 하나의 비디오 프레임에서 다른 프레임으로, 가상 카메라를 세상 기준에 고정하기 위한 적어도 하나의 세상 기준을 사용함에 의해, 물리적 카메라(들)로부터 가상 카메라를 분리할 수 있다. 예를 들어, 운송수단을 주차하는 것에서, 본 방법은 전방에 차의 범퍼와 연석을 검출할 수 있고, 각각의 비디오 프레임에서 계속하여 검출할 것이며, 연석과 범퍼 모두에 대해 고정 거리와 각도에 가상 카메라를 추가적으로 위치시켜서, 가상 카메라가 세상에서 고정된 것으로 보이게 한다. 이러한 방식으로, 세상-잠금된 카메라 위치는 물리적 카메라(들)로부터 분리될 수 있고, 세상-잠금된 가상 뷰는 생성될 수 있다. 세상-잠금된 가상 뷰가 사용자에 대해 향상된 시각을 제공하는 어떤 예시적인 시나리오가, 이하에 더욱 기술되는 도 6-8에 도시된다.
520에서, 방법(500)은 세상-잠금된 가상 뷰로부터 탈출이 요청되는지를 결정하는 단계를 포함한다. 이전에 논의된 바와 같이, 사용자는 세상-잠금된 가상 뷰를 탈출하기 원할 수 있고, 따라서 520에서 탈출을 요청할 수 있다. 일부 예시에서, (가령, 510에서) 운송수단의 근처에서 이전에 검출되었던 물체가 더 이상 운송수단 근처에 존재하지 않는다면, 본 방법은 자동으로 세상-잠금된 가상 뷰를 탈출하기 원할 수 있다. 더 많은 일부 예시에서, 운송수단 속력이 임계 속력 이상으로 증가된다면, 본 방법은 자동으로 세상-잠금된 가상 뷰에서 탈출하기 원할 수 있다. 세상-잠금된 가상 뷰로부터 탈출이 요청되지 않으면(가령, 520에서 "아니오"), 방법(500)은 502로 리턴되고, 새로운/업데이트된 이미지 데이터가 수신되고, 임의의 탈출 조건이 충족될 때까지, 세상-잠금된 가상 뷰가 계속하여 생성될 수 있고, 원하는대로 디스플레이될 수 있다. 물리적 카메라가 특정 가상 카메라 위치로부터 가상 뷰를 생성할 수 있는 곳을 넘어 세상-잠금된 뷰가 지속된다면, 시스템은, 세상-잠금된 가상 뷰를 계속 생성할 수 있는 새로운 위치로 가상 카메라가 "점프 포워드"하도록 할 수 있다.
그러나, 세상-잠금된 가상 뷰로부터의 탈출이 520에서 요청되면(가령, 520에서 "네"), 방법(500)은 522로 진행되고, 본 방법은 세상-잠금된 가상 뷰의 생성을 정지하는 단계를 포함한다. 하나의 예시에서, 세상-잠금된 가상 뷰를 정지하는 단계는 가상 카메라를 운송수단의 물리적 카메라(들)에 연결하는 단계 및 524에서 운송수단-잠금된 뷰를 생성하고 디스플레이하는 단계를 포함할 수 있다. 일부 다른 예시에서, 세상-잠금된 가상 뷰를 정지하는 단계는 526에서 가상 뷰에서 완전히 탈출하는 단계를 포함할 수 있는데, 이는 어떠한 가상 뷰도 생성 및/또는 디스플레이 하지 않는 단계를 포함한다. 방법(500)은 리턴된다.
이러한 방식으로, 예시적인 방법은, 하나 이상의 트리거(사용자 활성화, 물체 검출, 임계값 이하의 운송수단 속력, 및/또는 세상-잠금된 뷰가 도움이 되는 위치와 관련된 위치-기반의 트리거와 같은 다른 트리거)에 접할 때, 운송수단-잠금된 가상 뷰에서 세상-잠금된 가상 뷰로 자동으로 스위칭할 수 있다. 또한, 본 방법은, 탈출 조건에 접할 때, 세상-잠금된 가상 뷰에서 운송수단-잠금된 가상 뷰로 다시 스위칭하는 단계를 포함한다. 따라서, 탈출 조건은 하나 이상의 사용자 비활성화, 근처에 검출된 물체가 없고, 임계값 이상으로 증가하는 운송수단 속력을 포함할 수 있다.
이제 도 6을 보면, 현재 운송수단(운송수단 1)가 연석(612)을 따라 두 개의 정지한 운송수단, 운송수단 2와 운송수단 3 사이에 주차되는, 예시적인 시나리오(600)가 도시된다. 운송수단 1의 사용자가 가령, 후진 기어에 연결할 때, 분리된 가상 뷰는 자동으로 개시될 수 있다. 또 다른 예시에서, 운송수단 1의 사용자는 운송수단을 주차하는 것을 보조하기 위해 분리된 가상 뷰를 선택할 수 있다. 또 다른 예시에서, 사용자가 운송수단 1을 주차하는 경우와 같이, 운송수단 1의 속력이 임계값 이하로 떨어질 때, 분리된 가상 뷰가 자동으로 활성화될 수 있다.
이전에 기술된 바와 같이, 분리된 가상 뷰는 운송수단 1에 장착된 복수의 물리적 카메라(602)로부터의 이미지 데이터를 사용하여 생성될 수 있다. 따라서, 분리된 가상 뷰는 연석(612) 상의 위치(606)에 분리된 가상 카메라(604)를 위치시키고, 하나 이상의 운송수단 2 및 3을 세상 기준으로 사용함에 의해 생성될 수 있다. 예를 들어, 운송수단 2 및 운송수단 3은 복수의 카메라(602)에 의해 생성된 이미지 데이터의 각각의 프레임에서 검출될 수 있고, 가상 카메라(604)는 운송수단 2로부터 거리(d1) 및 운송수단 3으로부터 거리(d2)에 위치될 수 있다. 하나의 예시에서, d1은 d2와 동일하게 설정될 수 있다. 다른 예시에서, d1은 d2와 상이할 수 있다. 또한, 가상 카메라(604)의 뷰잉 각도(α)는 고정될 수 있다. 이러한 방식으로, 고정된 거리와 각도에 가상 카메라(604)를 고정함에 의해, 가상 카메라(604)는 세상에 고정된 것으로 보일 수 있다. 그러므로, 위치(606)에서 가상 카메라(604)에 의해 생성된 뷰는 분리된 또는 세상-잠금된 가상 뷰일 수 있다. 이러한 뷰에서, 운송수단 2 및 3은 정적이지만, 운송수단 1은 움직이는 것으로 보일 것이다. 분리된 가상 뷰가 운송수단 1의 사용자에게 디스플레이될 수 있다. 이러한 방식으로, 사용자가 주차된 운송수단 2 및 3에 대해 운송수단 1의 움직임을 시각화할 수 있고, 운송수단 2와 3 사이에 운송수단 1을 위치시키기 위해 화살표(610)를 따라 운송수단 1을 더욱 조작할 수 있다. 이러한 방식으로, 분리된 가상 뷰는 운송수단 1을 주차하는데 사용자를 보조할 수 있다.
일부 예시에서, 가상 카메라(604)가 운송수단 2 및 3 사이에 위치되는 거리 및/또는 뷰잉 각도(α)는 자동으로 변경될 수 있다. 예로서, 사용자가 운송수단 2와 운송수단 3 사이의 공간 내에 운송수단 1을 조작하는 동안, 운송수단 1이 운송수단 2에 너무 가깝다는 것을 검출하면, 가상 카메라 위치는 자동으로 재위치선정될 수 있다. 예를 들어, 가상 카메라(604)가 운송수단 2에 더 가까이 이동될 수 있고, 뷰잉 각도(α)는 (가령, 화살표 (608)을 따라) 감소되어서, 운송수단 2에 대한 운송수단 1의 위치의 "줌-인" 및/또는 "클로즈-업" 뷰를 생성할 수 있다.
이러한 방식으로, 분리된 가상 뷰는, 환경에 대해 정적인 뷰 및 운송수단 움직임과 독립적으로 유지하면서(또는 적어도 파생되지 않으면서) 환경과 같이 움직이는 뷰를 포함할 수 있다. 이러한 분리된 가상 뷰의 또 다른 예시는 운송수단 상태 및/또는 위치에 기초한 사전프로그램된 가상 카메라 경로를 통해, 서로 다른 가상 위치 사이에 순조로운 이행을 제공하는 것을 포함한다. 하나의 이러한 시나리오에서, 운송수단이 주차 조작 동안에 앞과 뒤로 움직일 수 있다. 운송수단이 앞으로 움직이면서, 가상 카메라 위치는, 운송수단을 향하여 운송수단의 전방에 위치될 수 있다(그리고, 운송수단이 앞으로 움직이더라도 환경에서 동일한 위치에 유지될 수 있음). 운송수단이 후진 기어로 바꾸고, 및/또는 뒤로 움직이기 시작할 때, 관련 센서에 의한 이러한 조건의 검출은 가상 뷰 시스템이 분리된 가상 뷰로의 이행을 트리거할 수 있고, 가상 카메라가 운송수단의 후방에 위치되고, 운송수단을 향한다(그리고, 운송수단이 뒤로 움직이더라도 환경에서 동일한 위치에 유지될 수 있음). 상기 기술된 전방 가상 카메라 위치와 후방 가상 카메라 위치 사이의 순조로운 이행을 제공하기 위해, 가상 뷰 시스템은 전방 가상 카메라 위치에서 시작하여, 운송수단 위 및/또는 주위를 가로지르고, 후방 가상 카메라 위치에서 종료되는, 사전프로그램된 가상 카메라 경로에서 가상 카메라를 움직일 수 있어서, 가상 카메라가 운송수단의 움직임과 독립적으로 환경 내에서 움직이는 "플라이바이(flyby)" 또는 "플라이오버(flyover)" 효과를 제공한다.
또 다른 예시에서, 운송수단 1이 연석(612)에 너무 가까우면, 가상 뷰는 분리된 뷰에서 연결된 가상 뷰로 스위칭될 수 있다. 조작 동안에 언제라도, 사용자는 분리된 뷰와 연결된 뷰 사이에 스위칭할 수 있다. 일부 예시에서, 분리된 가상 뷰는 "잠금"될 수 있다. 이러한 예시에서, 거리(d1 및 d2)와 각도(α)는, 운송수단 1이 운송수단 2와 운송수단 3 사이에 주차될때까지 고정될 수 있다. 뷰를 스위칭하는 또 다른 예시적인 시나리오로서, 가상 뷰 시스템은, 운송수단이 교차로(가령, "T" 교차로)에 근접한다는 표시를 (가령, 관련 센서나 센서들로부터) 수신할 수 있고, 교차로에서 (가령, 회전 신호 표시자에 기초하여) 오른쪽으로 회전하기 위해 준비할 수 있다. 응답으로, 가상 뷰 시스템은, 운전자가 운송수단의 왼쪽으로부터 도달하는 교통과 합치는 것을 보조하기 위해, 운송수단의 왼쪽을 향하거나 등지는, 운송수단의 전방 영역에 가상 카메라 위치를 설정할 수 있다. 그 위치에서 가상 뷰는, 운송수단이 성공적으로 교통 내로 합쳐질 때까지, 운송수단이 움직이더라도 환경 내에서 정적으로 유지될 수 있고, 그 위치에서 가상 뷰는 또 다른 뷰(가령, 운송수단과 같이 움직이는 연결된 뷰 또는 서로 다른 분리된 뷰)로 스위치될 수 있다. 또한, 상기 예시적인 시나리오는 주어진 세상-정적인 가상 뷰가 운송수단으로부터 어떻게 멀어질 수 있는 지를 나타내고, 운송수단/운송수단의 표현을 포함하지 않을 수 있다(또는, 운전자가 운송수단에 대한 뷰의 위치를 결정하는 것을 돕기 위해, 운송수단의 위치의 잘려진 표현만 포함할 수 있음).
일부 예시에서, 가상 카메라는 도 7에 도시된 바와 같이, 운송수단 1에 연결된 센서에 의해 검출된 물체에 근처에 고정될 수 있다. 이제 도 7을 보면, 운송수단 1 의 사용자에게 디스플레이되는 가상 뷰가, 말뚝이나 다른 장애물과 같은 물체(704)를 검출하면, 연결된 가상 뷰에서 분리된 가상뷰로 스위칭되는 예시적인 시나리오(700)가 도시된다. 예를 들어, 운송수단 1의 사용자는 운송수단 2 및 3 사이에 주차하는 동안, 연결된 가상 뷰를 가지는 것을 선호할 수 있다. 따라서, 연결된 가상 카메라(710)가 위치될 수 있고, 연결된 가상 뷰가 사용자에게 디스플레이될 수 있다. 이러한 예시에서, 연결된 가상 카메라(710)는 운송수단 1에 장착된 복수의 물리적 카메라(702)에 연결된다.
그러나, 운송수단 1이 운송수단 2 및 3 사이의 스팟 내로 후진하면서, 근접 센서(706)가 운송수단 1의 근처의 물체(704)를 검출할 수 있다. 하나의 예시에서, 물체(704)는 필러(pillar)나 기둥일 수 있다. 또 다른 예시에서, 물체(704)는 쇼핑 카트일 수 있다. 근접 센서(706)의 출력에 기초하여 물체(704)를 검출하면, 가상 뷰는 연결된 가상 뷰에서 분리된 가상 뷰로 자동으로 스위칭할 수 있다. 분리된 뷰를 생성하는 단계는 복수의 물리적 카메라(702)로부터 가상 카메라(708)를 분리하는 단계를 포함하고, 운송수단 2로부터의 거리(d1) 및 물체(704)의 길이에 따른 거리(d2)에서 분리된 가상 카메라(708)를 위치시키는 단계를 포함할 수 있다. 또한, 뷰잉 각도(α)는 수평선에 대해 고정될 수 있다. 이러한 방식으로, 운송수단의 근처에 물체를 검출하면, 뷰는 연결된 가상 뷰에서 분리된 가상 뷰로 자동으로 스위칭될 수 있다.
더 느린 속력으로 움직이는 물체(808)상에 가상 카메라(810)를 고정함에 의해, 분리된 가상 뷰가 생성되는 또 다른 예시적인 시나리오(800)가 도 8에 도시된다. 예를 들어, 물체(808)는 자전거 경로(806)를 따라 더 느린 속력으로 이동하는 자전거 타는 사람일 수 있다. 운송수단 1는 레인(812)을 따라 이동하고, 연석(804)에서 우회전을 하려고 할 수 있다. 하나의 예시에서, 물체는 운송수단 1 상에 장착된 복수의 카메라(802)의 출력에 기초하여 검출될 수 있다. 물체(808)를 검출하면, 분리된 가상 카메라(810)는 물체(808)에 위치될 수 있다. 물체가 움직임에 따라, 가상 카메라 위치도 움직일 수 있다. 이러한 방식으로, 운송수단 1의 사용자는 항상 물체(808)에 대해 운송수단 1의 위치를 결정할 수 있다. 하나의 예시에서, 운송수단 1은 전투기일 수 있고, 물체(808)는 연료보급기로부터의 연료보급 라인일 수 있다. 일부 예시에서, 물체(808)의 속력 및/또는 운송수단의 속력이 임계 속력 이상으로 증가하면, 가상 뷰는 분리된 뷰에서 연결된 뷰로 스위칭될 수 있다. 또 다른 예시에서, 물체(808)가 우회전하는 반면, 운송수단 1이 우회전하지 않고 레인(812)에 계속 직진하면, 분리된 가상 카메라(810)는 더 이상 물체(808)에 위치될 수 없다. 하나의 예시에서, 분리된 가상 카메라의 새로운 위치가 결정될 수 있다. 또 다른 예시에서, 분리된 가상 뷰는 연결된 가상 뷰로 변경될 수 있고, 따라서, 연결된 가상 카메라의 위치가 결정될 수 있다. 이러한 방식으로, 운전 조건 및/또는 물체의 검출에 기초하여, 가상 뷰는 분리된 가상 뷰에서 연결된 가상 뷰로 변경될 수 있다.
도 9-12는 움직이는 운송수단에 대해 가상 뷰를 조절하는 예시적인 시나리오를 나타낸다. 도 9에서, 예시적인 가동식 물체(900)는 트랙(902)을 통해 가동식으로 개략적으로 도시된다(가령, 거친 지역과 같은 환경을 가동식 물체가 자유롭게 가로지르도록 하기 위한 트레드 트랙). 가동식 물체(900)는, 굴착기, 마이닝 카트, 기관차, 크레인 및/또는 가동식이거나 및/또는 가동식 부품을 포함하는 임의의 다른 운송수단과 같은 건설/산업용 운송수단일 수 있다. 예를 들어, 가동식 물체(900)는 회전가능한 캡(904)과 같은 하나 이상의 가동식 부품을 포함할 수 있다. 따라서, 가동식 물체(900)는 트랙을 통해 제1 자유도(가령, 측방 및/또는 종방향 움직임)에서의 가동식이고, 운송수단과 관련된 축(가령, 캡의 회전축) 주위의 제2 자유도(가령, 회전 움직임)에서의 가동식일 수 있다. 또한, 가동식 물체(900)는, 환경에 걸쳐 가동식인 가동식 물체의 트랙(가령, 전체 가동식 물체를 움직이기 위해)과 가동식 물체가 정적일 때에도 움직이는 캡과 같이, 서로에 대해 가동식인 제1 및 제2 부분을 가지는 것으로 기술될 수 있다(트랙이 움직이는 동안, 캡도 움직일 수 있다는 것을 주목하지만, 이러한 시나리오에서는 트랙과 상이한 자유도에서 움직일 것임).
가동식 물체(900)는 운송수단에 장착된 하나 이상의 물리적 카메라를 포함할 수 있다. 예를 들어, 물리적 카메라(906a(전방), 906b(제1 측), 906c(후방), 및 906d(제2 측)는 도 9에 나타난다. 가동식 물체(900)가 본 출원의 범위에서 벗어나지 않으면서, 운송수단에 임의의 위치에 임의의 수의 물리적 카메라를 포함할 수 있다. 각각의 물리적 카메라는 관련 카메라의 물리적 위치에서 향하는 관련 시야 내에서 이미지를 캡쳐한다. 각각의 물리적 카메라의 시각은 관련 카메라의 물리적 위치에서 나올 수 있고, 관련 카메라의 방향에 기초하여, 시야에 의해 향해진 외부로 연장된다. 각각의 물리적 카메라(906a-906d)의 시야는 도 9에 각각 점선(908a-908d)에 의해 개략적으로 나타난다. 도시된 바와 같이, 적어도 부분적으로, 각각의 물리적 카메라의 시야는 운송수단 상에 장착된 적어도 하나의 다른 물리적 카메라와 중첩된다. 이러한 방식으로, 각각의 물리적 카메라로부터의 이미지 데이터는 복수의 시각에서 이미지된 물체들을 정렬함에 의해 함께 엮을 수 있다. 더구나, 이미지된 물체의 위치와 다른 특징들은 어느 카메라가 물체를 이미지하는지를 결정함에 의해, 및 물리적 카메라에 의해 제공된 서로 다른 물리적 시각에서 물체의 뷰를 결정함에 의해 해결될 수 있다.
상기 논의된 바와 같이, 물리적 카메라로부터의 이미지 데이터는 프로세스될 수 있고, 가상 카메라의 가상 위치로부터 캡쳐된 물체의 가상 뷰 또는 가상 이미지를 생성하는데 사용될 수 있다. 가상 카메라의 예시적인 가상 위치는 도 9에 개략적으로 나타난다. 예를 들어, 가상 카메라(910a)는 전방 제1 측면 위치를 가지고, 가상 카메라(910b)는 후방 제2 측면 위치를 가지며, 가상 카메라(910c)는 전방 제2 측면 위치를 가진다. 가상 카메라(910a)에 의해 캡쳐된 바와 같은 가동식 물체(900)의 가상 이미지나 뷰는, 가상 카메라(910a)의 가상 위치에서 나오고(가령, 가동식 물체(900)의 전방 제1 측면), 물체를 향해 연장된 가상 시각을 가질 수 있다.
일부 예시에서, 사용자에게 가상 카메라에 대해 위치의 옵션이 제공될 수 있다. 예를 들어, 가동식 물체 내의 및/또는 사용자와 근접한 디스플레이는, 가상 카메라가 위치될 수 있는 가상 위치 및/또는 방향에 대한 옵션을 디스플레이할 수 있다. 도 9의 개략도를 예시로 사용하여, 가상 카메라(910a-910c)는, 사용자가 선호되는 가상 카메라 위치/방향을 표시하는 것을 선택할 수 있는 선택가능한 사용자 인터페이스 요소로서 디스플레이될 수 있다. 하나 이상의 제안된 위치가 일부 예시에서 선택을 위해 사용자에게 디스플레이될 수 있는 반면, 다른 예시에서, 사용자는 선택가능한 영역 내에서 임의의 위치를 선택할 수 있다. 가상 카메라의 방향은 선택된 가상 위치에 기초하여 형성될 수 있고, 또는 사용자 입력(가령, 자유/무한 선택, 또는 범위 내에서부터의 선택-가령 가동식 물체를 향하는 방향의 범위와 같이)에 의해 선택가능할 수 있다.
가상 위치와 방향을 선택 또는 할당하면, 가동식 물체의 가상 뷰는 생성될 수 있고, 가상 카메라의 시각으로부터 사용자에게 디스플레이될 수 있는데, 시각은 가상 카메라의 가상 위치/로케이션에서 나오며, 가동식 물체를 향해 및/또는 가상 카메라의 관련 방향에 따라 지향된다. 가상 뷰는 가동식 물체에 장착된 실제의, 물리적 카메라(가령, 카메라(906a-906d))로부터 캡쳐된 이미지에 기초하여, 실시간 또는 거의 실시간으로 연속적으로 업데이트되는 가동식 물체의 가상 이미지를 포함할 수 있다. 가상 뷰는 가동식 물체의 (가령, 가동식 물체의 저장된 표현으로부터 파생된) 가상 표현 주위의 (가령, 물리적 카메라에 의해 캡쳐된 실시간 이미지로부터 파생된)가동식 물체의 환경을 나타낼 수 있다. 이러한 방식으로, 가상 뷰는 가동식 물체에 장착된 물리적 카메라에서의 이미지에 기초하여, 가상 카메라의 시각으로부터 실제-세상 환경의 가동식 물체의 실질적으로 실시간 위치를 디스플레이할 수 있다.
상기 기술된 가상 뷰는 가동식 물체의 서라운딩의 인식을 유지하는데 사용자(가령, 운전자)를 보조할 수 있고, 가동식 물체의 조작을 수행하는데 사용자를 보조할 수 있다. 예시는 도로 운송수단을 위한 교통 조작, 네비게이션 조작 및 주차 조작에 관하여 상기에 기술되었다. 그러나, 가상 뷰는 다른 유형의 운송수단을 위한 다른 유형의 조작으로 보조할 수도 있다. 예를 들어, 도 9의 가동식 물체 및/또는 물체의 가동식 부품은 서로 다른 자유도로 움직일 수 있다. 물체 및/또는 관련 가동식 부품의 움직임에 의존하여, 특정 시각으로부터의 뷰는 다른 뷰보다 좀 더 타겟된 보조와 상황 단서를 제공할 수 있다. 예를 들어, 일부 상황에서, 가동식 물체 및/또는 가동식 부품과 같이 움직이는 뷰가 선택될 수 있다(가령, 움직임이 느리거나 임계값 미만일 때, 및/또는 움직임이 예측가능한 방향이거나 특정한 자유도에 있을 때). 이러한 연결 움직임의 예시는 도 10에 도시되고, 가상 카메라(1002)는, 물체/부품이 움직이면서, 가동식 물체/부품의 동일한 시각을 유지하기 위해, 가동식 물체(1006)의 가동식 부품(가령, 캡(1004))의 회전을 따르기 위해, 위치와 방향의 변화를 나타낸다. 예를 들어, (A)에서, 가상 카메라는 가동식 물체/부품의 전방 뷰를 캡쳐하기 위해 위치되고 지향된다. (B)에서, 가상 카메라는 가동식 부품의 전방 뷰를 캡쳐하기 위해 여전히 위치되고 지향되는데, 왜냐하면 가상 카메라의 가상 위치와 방향은 가동식 부품(가령, 캡(1004))의 전방에 머무르기 위해 움직이기 때문이다. 가동식 물체(1006) 및 가상 카메라(1002)는 도 9의 가동식 물체(900) 및 가상 카메라(910a-910c)와 유사할 수 있다. 따라서, 도 9의 이들 요소의 설명은 도 10의 유사한 이름의 부품에도 적용될 수 있다.
다른 상황에서, 가동식 물체 및/또는 가동식 부품이 움직이더라도 정적으로 유지되는 뷰가 선택될 수 있다(가령, 움직임이 빠르거나 임계값 이상일 때, 및/또는 움직임이 예측하지 못하거나 빠른 변화의 움직임을 경험하는 자유도에 있을 때). 이러한 분리된 움직임의 예시는 도 11에 나타나는데, 가상 카메라(1102)는, 가동식 물체(1106)의 가동식 부품(가령, 캡(1104))이 움직이더라도, 정적인 위치와 방향으로 유지되는 것이 도시된다. 도 11의 예시에서 가상 카메라는 환경 내에서 동일한 시각을 유지하지만, 가동식 물체/부품이 움직임에 따라, 가동식 물체/부품의 시각 변화를 제공한다. 예를 들어, (A)에서, 가상 카메라는 가동식 물체/부품의 전방 뷰를 나타내기 위해 위치되고 지향된다. (B)에서, 가상 카메라는, 가동식 부품(가령, 캡(1104))이 회전하더라도, 실제-세상 내의 동일한 위치와 방향에서(가령, 가동식 물체의 전방에서, 그러나 이제 가동식 부품의 측면으로) 유지된다. 가동식 물체(1106) 및 가상 카메라(1102)는 도 9의 가동식 물체(900) 및 가상 카메라(910a-910c)와 유사할 수 있다. 따라서, 도 9의 이들 요소의 설명은 도 11의 유사한 이름의 부품에도 적용될 수 있다.
도 12는 가동식 물체 및/또는 가동식 물체의 가동식 부품의 가상 뷰를 생성하기 위한 예시적인 방법(1200)의 순서도이다. 예를 들어, 방법(1200)은 도 9, 10, 또는 11의 가상 카메라(910a, 910b, 910c, 1002, 또는 1102)의 각각에 의해 캡쳐되어서, 도 9, 10 또는 11의 가동식 물체(900, 1006 또는 1106)와 같은 가동식 물체의 가상 뷰를 각각 생성하기 위해 수행될 수 있다. 다른 예시에서, 방법(1200)은 도 1-8을 참조하여 본 명세서에 기술된 것을 포함하여, 임의의 적절한 가동식 물체 또는 가동식 물체의 가동식 부품의 가상 뷰를 생성하기 위해 수행될 수 있다. 1202에서, 본 방법은 가동식 물체 및/또는 가동식 물체의 가동식 부품(들)에 장착된 물리적 카메라로부터 이미지를 캡쳐하는 단계를 포함한다. 일부 예시에서, 이미지는 서로에 대해 시야를 적어도 부분적으로 중첩되는 복수의 물리적 카메라로부터 캡쳐될 수 있다. 1204에서, 본 방법은 물리적 카메라(들)로부터 캡쳐된 이미지를 사용하여, 가상 위치로부터 가동식 물체 및/또는 가동식 물체의 가동식 부품(들)의 가상 이미지를 생성하는 단계를 포함한다. 가상 이미지는 가상 위치에서 나온 시각으로부터 캡쳐될 수 있고, 가동식 물체/부품 및/또는 가동식 물체/부품(들)에 의해 차지될 로케이션을 향해 지향된다. 그러므로, 가상 카메라는 관심 장면을 조준하고, 이는 가동식 물체(가령, 항상)를 포함할 수 있고, 일부 시간에 가동식 물체를 포함할 수 있고(가령, 어떤 다른 시간에 가동식 물체를 포함하지 않을 수 있음), 또는 전혀 가동식 물체를 포함하지 않을 수 있다.
1206에서, 본 방법은 제1 조건이 충족되는지를 결정하는 단계를 포함한다. 제1 조건은 가동식 물체 및/또는 가동식 물체의 가동식 부품에서 완전히 분리된 가상 뷰를 디스플레이하기 위한 트리거에 해당할 수 있다. 제1 조건은, 가동식 물체/부품이 움직임에 따라 가상 카메라의 가상 위치가 정적인 로케이션에 유지되는 것으로부터의 이익을 받는 가동식 물체의 움직임 또는 상태의 검출과 같은, (사용자 인터페이스를 통해) 완전히 분리된 모드를 제안하기 위한 트리거 이후에 수신된 사용자 입력을 포함할 수 있다. 이러한 움직임이나 상태는 하나 이상의 자유도에서 임계값 이상의 속력으로 움직임을 포함할 수 있다. 제1 조건이 충족되는 것으로 결정되면(가령, 1206에서 "네"), 본 방법은 1208로 진행되어서, 가동식 물체와 가동식 물체의 가동식 부품이 움직이더라도 가상 카메라의 가상 위치 및/또는 방향을 유지한다. 1210에 나타난 바와 같이, 가상 위치와 방향은 모든 자유도(가령, 측방/횡방향 움직임, 회전 움직임 등)에서의 움직임에 응답하여 유지될 수 있다.
일부 예시에서, 가동식 물체에 대해 정적인 위치와 방향을 유지하는 것은 가동식 물체/부품의 움직임의 반대로 가상 위치 및/또는 방향을 움직이는 것을 포함할 수 있다. 예를 들어, 가상 카메라는 원래 위치에서의 가동식 물체의 종방향 축으로부터 시계방향 각도(β)인 가상 로케이션에 위치될 수 있다. 가동식 물체가 원래 위치에서의 종방향 축에 대해 반시계방향 각도(α)에서의 원래 위치로부터 회전할 수 있다. 시스템은, 가동식 물체의 대응되는 회전과 동일한 각속도로 동일한 각도 α만큼 가상 카메라를 시계방향으로 회전함에 의해, 가동식 물체의 움직임에 대해 보상할 수 있다. 예를 들어, 가동식 물체/부품의 움직임에 대해 가상 카메라의 동일하고 반대의 움직임은, 결과적인 가상 뷰가 운송수단(및 물리적 카메라, 이로부터 캡쳐되는 가상 뷰에서 사용되는 이미지 데이터)가 움직이더라도, 정적으로 유지되는 것으로 보이도록 할 수 있다.
제1 조건이 충족되지 않으면(가령, 1206에서 "아니오"), 본 방법은 1212로 진행되어서, 제2 조건이 충족되는지를 결정한다. 제2 조건은, 가동식 물체 및/또는 가동식 물체의 가동식 부품의 움직임에서 부분적으로 분리된 가상 뷰를 디스플레이하기 위한 트리거에 대응될 수 있다. 제1 조건은, 가동식 물체의 움직임이나 상태의 검출과 같이, (사용자 인터페이스를 통해) 부분적으로 분리된 모드를 제안하기 위한 트리거 이후에 수신되는 사용자 입력을 포함할 수 있는데, 이는, 적어도 하나의 자유도로의 움직임에 대해, 및/또는 가동식 물체의 하나 이상의 가동식 부품의 움직임에 대해, 가상 카메라의 정적인 가상 위치를 유지하는 것으로부터 이익을 얻을 것이고, 적어도 하나의 다른 자유도로의 가상 카메라 위치/방향의 조화된 움직임 및/또는 가동식 물체의 하나 이상의 다른 가동식 부품의 움직임을 가지는 것으로부터 이익을 얻을 것이다. 예를 들어, 가상 뷰는 가동식 운송수단의 캡이 스윙/회전할 때, 정적인 가상 위치/방향을 유지할 수 있는데, 왜냐하면, 이러한 움직임은 가상 카메라와 같이 따라가면 사용자에게 방향을 잃을 수 있기 때문이다. 그러나, 운송수단이 트랙을 통해 움직이면서 가상 뷰는 가동식 운송수단과 함께 움직일 수 있는데, 왜냐하면, 이러한 움직임은, 운송수단이 환경을 통해 움직이면서, 사용자가 가동식 운송수단의 서라운딩 변화를 계속하여 모니터링할 수 있기 때문이다. 제2 조건이 충족되면(가령, 1212에서 "네"), 본 방법은 1214로 진행되어서 가상 카메라의 가상 위치 및/또는 방향의 움직임과 물체 및/또는 부품의 움직임을 부분적으로 조절한다. 예를 들어, 1216에서 나타난 바와 같이, 가상 위치는, 자유도 및 가상 위치가 또 다른 자유도에서 물체/부품의 움직임(가령, 물체/부품에 따라 움직임)과 조절을 유지할 수 있다는 점에서, 물체/부품의 움직임에 대해 하나의 자유도에서 정적일 수 있다. 1218에 나타난 바와 같이, 가상 위치 또는 가상 방향 중 하나 또는 둘 다는 가상 카메라의 움직임과 물체/부품(들)의 움직임의 부분적으로 조절을 위해 움직일 수 있다.
제2 조건이 충족되지 않으면(가령, 1212에서 "아니오"), 본 방법은 1220으로 진행되어, 제3 조건이 충족되는지를 결정한다. 제3 조건은 가동식 물체 및/또는 가동식 물체의 가동식 부품의 움직임과 완전히 연결되는 가상 뷰를 디스플레이하기 위한 트리거에 대응될 수 있다. 제3 조건은, 가동식 물체의 움직임이나 상태의 검출과 같이, (사용자 인터페이스를 통해) 완전히 연결된 모드를 제안하기 위한 트리거 이후에 수신되는 사용자 입력을 포함할 수 있는데, 이는, 가동식 물체의 하나 이상의 가동식 부품의 움직임을 추적하기 위해 가상 카메라의 가상 위치를 연속적으로 업데이트하는 것으로부터 이익을 얻을 것이다. 예를 들어, 운송수단이 환경을 통해 일정/안정한 움직임에 있는 동안 가상 뷰는 가동식 운송수단과 같이 움직일 수 있는데, 왜냐하면, 이러한 움직임은, 운송수단이 환경을 통해 움직임에 따라 가동식 운송수단의 서라운딩 변경을 사용자가 계속 모니터할 수 있도록 하기 때문이다. 제3 조건이 충족되면(가령, 1220에서 "네"), 본 방법은 1222로 진행되어, 가동식 물체 및/또는 가동식 물체의 가동식 부품의 움직임과 조절하여 가상 카메라의 가상 위치 및/또는 방향을 움직인다. 1224에서 나타난 바와 같이, 가상 카메라의 가상 위치와 방향은 모든 자유도에서 가동식 물체/부품의 움직임과 조절될 수 있다.
세 개의 조건 중 하나가 충족하는 것에 응답하여(가령, 상기 조건이 충족되는지에 기초하여 가상 위치를 선택적으로 업데이트 하면), 본 방법은 (가령, 1208에서 가상 위치/방향을 유지하고, 1214에서 가상 위치/방향의 움직임을 부분적으로 조절하고, 1222에서 가상 위치/방향을 움직인 이후에) 1226으로 진행되어, (가령, 가상 위치에서 나온 가상 시각으로부터 캡쳐되고, 1208, 1214 또는 1222에서 선택적으로 조절된 가상 방향을 각각 가지는 것으로 생성된) 가상 이미지를 디스플레이 한다. 이들 조건들 모두가 충족되지 않으면(가령, 1220에서 "아니오"), 본 방법은 1228에서 이미지 생성을 탈출하는 단계를 선택적으로 포함한다. 예를 들어, 운송수단이 셧 다운되면, 가상 뷰 이미지 생성은 탈출될 수 있다.
본 개시물에 따른 시스템이 본 개시물의 범위에서 벗어나지 않으면서, 상기 기술된 완전히 분리된 모드와 상기 기술된 부분적으로 분리된 모드(가령, 연결된 모드에 따라 가상 뷰를 디스플레이하도록 구성되지 않은) 중 하나 또는 둘 다에 따른 가상 뷰를 디스플레이하도록 구성될 수 있다는 것만을 이해해야 한다. 더구나, 본 명세서에 기술된 임의의 트리거나 조건 또는 가상 뷰의 모드를 스위칭하거나 제어하기 위한 임의의 다른 적절한 트리거나 조건이 제1, 제2 또는 제3 조건(또는 이와 관련된 트리거)으로 방법(1200)에서 사용될 수 있다. 예를 들어, 조건은 가동식 물체의 센싱된 조건(가령, 물체 또는 물체의 부품의 속력, 회전, 가속도 등), 가동식 물체의 로케이션(가령, 가상 뷰의 특정 모드로부터 이익을 얻은 조작과 관련된 로케이션, 로케이션의 데이터베이스 및/또는 운전자 또는 가동식 물체와 관련된 다른 사용자에 대한 사용자 선호도와 관련된 데이터베이스에 저장된 로케이션), 사용자 선호도, 환경 조건(가령, 현재 날씨, 주변 광, 날의 시간, 년의 시간[가령, 계절적], 지역 등) 및/또는 임의의 다른 조건이나 조건들의 조합들과 관련될 수 있다. 본 명세서에 기술된 방법과 시스템의 기술적 효과는, 물리적 카메라로부터 적어도 부분적으로(또는 적어도 일부 시점에서) 분리된 가상 뷰의 사용이, 물체에 물리적 카메라에 연결된 가상 위치/방향으로부터의 가상 뷰만을 사용하는 시스템/방법에 의해 생성된 뷰보다 좀 더 완벽한 환경적인 정보를 나타내고, 이에 의해 관련 가동식 물체의 좀 더 정확한 제어를 허용한다는 것이다.
도 14a-18은 가동식 물체의 가상 뷰를 제어하는 추가 예시를 나타낸다. 예를 들어, 도 14a-14c는 운송수단(1402)의 환경(1400)에서의 물체들(가령, 운송수단(1404) 및 운송수단(1406))에 기초하여, 운송수단(1402)와 같은 가동식 물체의 가상 뷰를 제어하는 예시를 나타낸다. 도 14a에서, 운송수단(1402)은 운송수단(1404 및 1406) 사이의 개방 공간 근처에서 도시된다. 운송수단(1402)은 움직이는 운송수단일 수 있는 반면, 운송수단(1404 및 1406)은 주차될 수 있다. 운송수단(1402)은 도 1a의 운송수단(100)과 같이 본 명세서에 기술된 임의의 운송수단의 예시일 수 있고, 운송수단의 가상 뷰 및/또는 운송수단의 환경을 생성하기 위한 복수의 카메라를 포함하는 가상 뷰 시스템(도 1의 가상 뷰 시스템(102)와 같이)을 포함할 수 있다. 예를 들어, 운송수단(1402)의 가상 뷰 시스템은 주차된 운송수단(1404 및 1406) 사이에 운송수단을 주차하는데 보조할 수 있다.
운송수단(1402)의 가상 뷰 시스템에 의해 제공된 가상 뷰(1408)는 설명적인 예시로서, 운송수단(1402) 서라운딩에 직사각형 영역으로 표현된다. 가상 뷰(1408)의 경계는 본 개시물의 범위에서 벗어나지 않으면서, 예시적인 직사각형 이외의 형상을 형성하거나, 및/또는 도시된 예시적인 크기 이외의 크기를 가질 수 있다는 것을 이해해야 한다. 운송수단(1402)이 주차함에 따라, 가상 뷰는 정적인 모드에 진입할 수 있는데, 가상 뷰 시스템이 트리거되어서, 환경의 특징에 적어도 부분적으로 잠금된 가상 뷰를 제어한다. 예를 들어, 운송수단이 사용자 입력(가령, 사용자가 주차를 시작하려고 하면서, 사용자는 정적인 모드에 진입하기 위해 운송수단의 헤드 유닛의 인터페이스 상의 대응 버튼을 선택할 수 있음)에 기초하여, 및/또는 자동화 검출(가령, 속력 및/또는 가속도의 검출, 잠재적인 주차 스팟의 검출, 및/또는 정적인 모드에 의해 보조될 수 있는 운전 조작을 나타내는 또 다른 조건 검출)에 기초하여 정적인 모드에 진입할 수 있다.
정적인 모드에서, 가상 뷰 시스템은, 환경에서 하나 이상의 기준점(가령, 검출되거나 운전 조작 입력과 관련된 기준점)을 결정하기 위해, 운송수단(1402)의 카메라에 의해 캡쳐된 이미지를 분석할 수 있다. 예를 들어, 도 14a에 도시된 주차 시나리오에서, 주차된 운송수단의 가장 가까운 돌출 요소(가령, 측면 거울)는 기준점(1410a 및 1410c)을 형성하고, 전방 운송수단(1406)의 후방에 가장 먼 에지는 기준점(1410b)을 형성할 수 있다. 평행 주차 작업을 수행하는데, 주차 스팟 주위의 전방 및 후방 운송수단의 특징은 가상 뷰를 보는데 도움을 줄 수 있는 영역을 강조하기 위한 가이드를 제공할 수 있다. 특정 기준점들 간의 기준 라인(1412)과 같은 기준 라인은 가상 뷰 시스템에 의해 그려지거나 계산되어서, 정적인 모드에 걸쳐 가상 뷰의 방향을 유지하기 위해 시스템에 가이드를 제공할 수 있다. 가상 뷰는, 가상 뷰의 각각의 프레임에 걸쳐 그 자체에 대해 평행 위치로 기준 라인을 유지하기 위해 제어될 수 있다. 예를 들어, 도 14b는 주차 조작의 이후 단계에서의 운송수단(1402)을 나타내는데, 운송수단(1402)은 운송수단(1406)에 갖다 대고, 운송수단들(1404 및 1406) 간의 개방 영역 내로 뒤로 회전되기 시작한다. 도시된 바와 같이, 운송수단(1402)의 방향에서의 회전 및/또는 다른 변화에도 불구하고, 운송수단(1402)이 도 14a에 도시된 바와 같이 위치/방향될 때, 가상 뷰(1408)는 기준 라인(1412)에 대해 동일한 방향을 가지는 것으로 도시되고, 도 14b의 기준 라인(1412)은 도 14a의 기준 라인(1412)과 평행하다. 가상 뷰(1408)는 한 방향(가령, 운송수단의 원래의 이동 방향, 운송수단과 같이 앞으로)으로 움직였지만, 도시된 예시에서 기준 라인에 대해 방향을 변경하지 않았다.
도 14c는 주차 조작의 여전히 이후 단계에서의 운송수단(1402)을 도시하는데, 운송수단(1402)은 운송수단들(1404 및 1406) 사이의 공간 내로 거의 완전히 후진되었다. 도시된 바와 같이, 가상 뷰(1408)의 방향은 운송수단(1402)의 방향이 변하는 방향과 동일하게 유지된다. 운송수단(1402)이 정적인 모드 동안에 환경에 걸쳐 움직임에 따라, 하나 이상의 기준점은 뷰(가령, 도 14a 및 14b의 기준 핀트(1410a))에서 떨어져 나갈 수 있다. 따라서, 기준점(1410d)과 같은 새로운 기준점이 선택될 수 있고, 기준 라인(1412a)와 같은 새로운 기준 라인이 그려지거나, 및/또는 계산될 수 있다. 이후에, 가상 뷰가 제어되어서, 이후의 프레임 내의 기준점들(1410b 및 1410d) 사이에 그려진 기준 라인이 기준 라인(1412a)과 평행하게 유지될 수 있도록 한다. 정적인 가상 뷰를 가이드하기 위해, 가상 기준 라인을 사용하는 것에 대한 추가적이거나 대안적인 예시는 운송수단의 회전을 계산하는 단계 및 GPS 센서, 자이로스코프, 스티어링 휠 회전으로부터 검출된 움직임 및/또는 본 명세서에 기술된 임의의 센싱 메카니즘과 같은 하나 이상의 센서를 사용하여 회전을 대응 또는 보상하는 단계를 포함한다.
도 15a-15d는 정적인 모드에서 운송수단의 작업의 또 다른 예시를 나타내는데, 가상 뷰는, 운송수단이 가상 뷰의 에지의 임계 거리에 도달할 때만 움직인다(가령, 시프트 라인에 의해 표시된 시프트 영역 내로 움직임). 예를 들어, 도 15a-15d는 운송수단(1502)의 환경(1500) 내의 물체(가령, 운송수단(1504) 및 운송수단(1506))에 기초하여, 운송수단(1502)과 같은 가동식 물체의 가상 뷰를 제어하는 예시를 나타낸다. 도 15a에서, 운송수단(1502)은 운송수단들(1504 및 1506) 사이의 개방 공간 근처에 도시된다. 운송수단(1502)은 움직이는 운송수단일 수 있는 반면, 운송수단(1504 및 1506)은 주차될 수 있다. 운송수단(1502)은 도 1a의 운송수단(100)과 같이 본 명세서에 기술된 임의의 운송수단의 예시일 수 있고, 운송수단의 가상 뷰 및/또는 운송수단의 환경을 생성하기 위한 복수의 카메라를 포함하는 가상 뷰 시스템(도 1의 가상 뷰 시스템(102)와 같이)을 포함할 수 있다. 예를 들어, 운송수단(1502)의 가상 뷰 시스템은 주차된 운송수단(1504 및 1506) 사이에 운송수단을 주차하는데 보조할 수 있다.
운송수단(1502)의 가상 뷰 시스템에 의해 제공된 가상 뷰(1508)는 설명적인 예시로서, 운송수단(1502) 서라운딩에 직사각형 영역으로 표현된다. 가상 뷰(1508)의 경계는 본 개시물의 범위에서 벗어나지 않으면서, 예시적인 직사각형 이외의 형상을 형성하거나, 및/또는 도시된 예시적인 크기 이외의 크기를 가질 수 있다는 것을 이해해야 한다. 운송수단(1502)이 주차함에 따라, 가상 뷰는 정적인 모드에 진입할 수 있는데, 가상 뷰 시스템이 트리거되어서, 환경의 특징에 적어도 부분적으로 잠금된 가상 뷰를 제어한다. 예를 들어, 운송수단이 사용자 입력(가령, 사용자가 주차를 시작하려고 하면서, 사용자는 정적인 모드에 진입하기 위해 운송수단의 헤드 유닛의 인터페이스 상의 대응 버튼을 선택할 수 있음)에 기초하여, 및/또는 자동화 검출(가령, 속력 및/또는 가속도의 검출, 잠재적인 주차 스팟의 검출, 및/또는 정적인 모드에 의해 보조될 수 있는 운전 조작을 나타내는 또 다른 조건 검출)에 기초하여 정적인 모드에 진입할 수 있다.
정적인 모드에서, 가상 뷰 시스템은, 환경에서 하나 이상의 기준점(1510a, 1510b 및 1510c)을 결정하기 위해, 및/또는 환경에서 기준 라인(1512)을 그리기 위해 운송수단(1502)의 카메라에 의해 캡쳐된 이미지를 분석할 수 있고, 도 14a-14c에 대해 상기 기술된 바와 같이, 가상 뷰(1508)의 방향과 위치를 제어할 수 있다. 그러나, 도 15a-15d의 예시에서, 운송수단(1502)이 시프트 영역에 진입할 때, 가상 뷰(1508)만 움직일 수 있다(가령, 운송수단의 이동 방향으로). 예를 들어, 도 15a는 가상 뷰(1508)가 시프트 영역(1514a, 1514b, 1514c 및 1514d)을 포함하고, 이들은 시프트 라인(1516)과 가상 뷰(1508)의 에지에 의해 경계 지어진다. 도 15b에 도시된 바와 같이, 운송수단이 시프트 영역에 진입할 때까지, 운송수단(1502)이 움직이더라도(가령, 앞으로), 가상 뷰(1508)는 정적으로 유지할 수 있다(가령, 환경에 대해 동일한 위치와 방향으로). 예를 들어, 운송수단(1502)은 도 15b의 시프트 영역(1514c)의 에지에서 오른쪽에 도시되어서, 운송수단(1502)의 앞으로의 어떠한 움직임은 가상 뷰(1508)가 운송수단(1502)과 재정렬을 위해 시프트되도록 하는 것을 야기할 수 있다. 가상 뷰가 움직일 때, 움직임의 양은 미리정해지거나, 및/또는 운송수단의 움직임의 속력/양에 기초할 수 있다. 예를 들어, 운송수단이 시프트 영역으로 진입하면, 가상 뷰(1508)는 운송수단에 중심으로 재정렬될 수 있어서, 운송수단이 다시 시프트 영역으로 진입할 때까지(가상 뷰가 운송수단에 중심으로 재정렬될 때 등) 새로운 위치에 유지된다.
도 15c에 도시된 바와 같이, 운송수단이 시프트 존에 진입할때까지, 운송수단이 방향과 위치를 변경하더라도, 가상 뷰(1508)는 정적으로 유지할 수 있다(가령, 방향과 위치를 유지함). 예를 들어, 도 15d에 도시된 바와 같이, 가상 뷰(1508)는, 시프트 존(1514d)에 진입하는 운송수단(1502)에 응답하여 움직이고, 운송수단(1502) 주위에 재위치된다. 도 14a-14c에 대해 상기에서 논의된 바와 같이, 운송수단(1502)의 움직임에 응답하여, 새로운 기준점(1510d)이 검출되고, 새로운 기준 라인(1512a)이 그려진다.
도 16 및 17은 시프트 영역을 사용하고 환경적 특징의 검출에 기초하여 움직이는 물체의 가상 뷰를 설정하는 예시적인 시나리오를 나타낸다. 각각의 예시에서, 기술된 운송수단(가령, 도 16의 운송수단(1602) 및 도 17의 운송수단(1702))은 본 명세서에 기술된 임의의 운송수단(가령, 도 1a의 운송수단(100))에 대응될 수 있고, 운송수단 및/또는 운송수단의 환경의 가상 뷰를 생성하기 위한 복수의 카메라르 포함하는 가상 뷰 시스템(도 1의 가상 뷰 시스템(102)과 같은)을 포함할 수 있다. 예를 들어, 도 16에서, 운송수단(1602)은 운송수단들(1604 및 1606) 사이에 평행 주차를 시작하기 위해, 운송수단들(1604 및 1606)에 대해 인식가능한 위치에 위치될 수 있다. 이러한 위치 및/또는 정적이 모드를 요청하는 사용자 입력의 자동 검출에 응답하여, 운송수단(1602)의 가상 뷰(1608)는 환경(1600)의 관심 영역(가령, 주차 영역)에 위치될 수 있다(가령, 운송수단(1602) 주위에 중심된 것으로부터 재위치됨). 가상 뷰(1608)는 도 15a-15d를 참조하여 상기 기술된 바와 같이, 시프트 라인(1610)에 의해 지정된 시프트 영역을 포함할 수 있다. 따라서, 운송수단이 가상 뷰에 진입하고(가령, 가상 뷰 내에 그러나 시프트 영역 외부에 위치되고), 그리고 나서 시프트 영역에 진입할 때까지, 가상 뷰(1608)는 정적으로 유지할 수 있다(가령, 환경에 대해 동일한 위치와 방향에서). 또한, 가상 뷰는, 도 14a-14c을 참조하여 상기 기술된 바와 같이, 기준점 및 기준 라인을 사용할 수 있다.
도 17은 도 16의 예시와 유사한 예시를 나타내는데, 주차장에 주차 스팟과 관련되고, 주차 라인에 의해 지정된다. 예를 들어, 도 17에서, 운송수단(1702)은 운송수단들(1704 및 1706) 사이에 주차를 시작하기 위해, 운송수단들(1704 및 1706)에 대해 인식가능한 위치에 위치될 수 있다. 이러한 위치의 자동 검출, 빈 주차 공간(가령, 주차 라인에 기초함) 및/또는 정적인 모드를 요청하는 사용자 입력에 응답하여, 운송수단(1702)의 가상 뷰(1708)는 환경(1700)의 관심 영역(가령, 빈 주차 스팟에 위치) 내에 위치될 수 있다(가령, 운송수단(1702) 주위에 중심된 것으로부터 재위치됨). 가상 뷰(1708)는 도 15a-15d를 참조하여 상기 기술된 바와 같이, 시프트 라인(1710)에 의해 지정된 시프트 영역을 포함할 수 있다. 따라서, 운송수단이 가상 뷰에 진입하고(가령, 가상 뷰 내에 그러나 시프트 영역 외부에 위치되고) 그리고 나서 시프트 영역에 진입할 때까지, 가상 뷰(1708)는 정적으로 유지할 수 있다(가령, 환경에 대해 동일한 위치와 방향에서). 또한, 가상 뷰는 주차 스팟 라인들의 전방에 대응되는 기준점(1712a 및 1712b) 및 이들로부터 연장된 기준 라인(1714)을 사용할 수 있고, 기준점 및 기준 라인은 도 14a-14c을 참조하여 상기 기술된 바와 같이 사용된다.
도 18은 사용자 입력을 사용하여 움직이는 물체의 가상 뷰를 설정하는 예시적인 시나리오를 나타낸다. 예를 들어, 운송수단(1802)은 환경(1800)(도시된 예시에서 주차장)에 위치될 수 있다. 운송수단(1802)은 본 명세서에 기술된 임의의 운송수단(가령, 도 1a의 운송수단(100))에 해당할 수 있고, 운송수단 및/또는 운송수단의 환경의 가상 뷰(1804)를 생성하기 위해 복수의 카메라를 포함하는 가상 뷰 시스템(도 1의 가상 뷰 시스템(102)과 같은)을 포함할 수 있다. 가상 뷰는 처음에, 점선(1804a)으로 표시된 바와 같이, 운송수단(1802) 주위에 위치될 수 있다. 그러나, 운전자는 운송수단의 후방의 주차 스팟과 같은 다른 위치를 보는 것에 관심이 있을 수 있다. 따라서, 운전자는 사용자 입력을 가상 뷰 시스템에 제공하여, 점선(1804b)으로 표시된 위치로 가상 뷰를 움직일 수 있다. 1804에서의 가상 뷰는 시프트 라인(1806)을 포함할 수 있고, 이는 도 16 및 17을 참조하여 상기 기술된 것과 같이 작동한다(가령, 가상 뷰가 움직일 때 제어함). 이러한 방식으로, 가상 뷰는 사용자 입력에 기초하여 위치될 수 있어서(가령, 환경에서 궤적을 따라 가상 뷰를 스크롤하고, 그리고 나서, 설정 옵션을 선택함에 의해 가상 뷰를 설정함), 운송수단이 가상 뷰 영역(가령, 시프트 라인 이내)으로 진입하고 시프트 영역으로 진입할 때까지, 정적으로 유지할 수 있다(가령, 환경에 대해 동일한 위치와 방향으로).
또 다른 예시는, 가동식 물체 또는 가동식 물체의 부품 상에 장착된 물리적 카메라로부터 이미지를 캡쳐하는 단계와, 가상 카메라의 가상 위치로부터 (가령, 가동식 물체 또는 가동식 물체의 부품의) 가상 이미지를 생성하는 단계 - 가상 이미지는 물리적 카메라에 의해 캡쳐된 이미지와 상이한 시각을 가짐 - 와, 제1 조건 동안에, 가동식 물체 또는 가동식 물체의 부품이 움직일 때에도, 가상 카메라의 가상 위치를 유지하는 단계와, 및 제2 조건 동안에, 가동식 물체의 움직임 또는 가동식 물체의 부품의 움직임과 조절하여 가상 카메라의 가상 위치를 움직이는 단계를 포함하는 방법을 제공한다. 방법의 제1 예시에서, 가동식 물체는 추가적으로나 대안적으로 움직이는 부품을 포함할 수 있고, 가상 이미지는 가동식 물체의 가동식 부품을 추가적으로나 대안적으로 캡쳐할 수 있다. 본 방법의 제2 예시는 제1 예시를 선택적으로 포함하고, 가상 카메라의 가상 위치가 물리적 카메라의 물리적 위치와 상이한 방법을 더 포함한다. 본 방법의 제3 예시는 제1 및 제2 예시 중 하나 또는 둘 다를 선택적으로 포함하는데, 가상 카메라의 가상 위치를 움직이는 단계는 가상 카메라의 방향을 움직이는 단계를 더 포함하는 방법을 더 포함한다.
또 다른 예시는, 가동식 물체에 연결된 적어도 하나의 물리적 카메라로부터 이미지를 캡쳐하는 단계와, 적어도 하나의 물리적 카메라의 캡쳐된 이미지로부터 가상 카메라의 가상 이미지를 생성하는 단계 - 가상 아미지는 적어도 하나의 물리적 카메라에 의해 캡쳐된 이미지와 상이한 관점, 상이한 방향, 또는 상이한 관점과 방향을 가짐 - 와, 및 적어도 하나의 물리적 카메라가 기준점에 대해 움직일 때, 기준점에 대한 가상 카메라의 가상 위치를 자동으로 유지시키는 단계를 포함하는 방법을 제공한다. 본 방법의 제1 예시에서, 기준점에 대한 적어도 하나의 물리적 카메라의 움직임은, 기준점에 대한 가상 카메라의 가상 위치를 유지하기 위해, 직접적으로나 간접적으로, 추가적으로나 대안적으로 측정될 수 있다. 본 방법의 제2 예시는 제1 예시를 선택적으로 포함하고, 적어도 하나의 물리적 카메라에 의해 인지된 물체 또는 물체의 일부는 기준점에 대해 가상 카메라의 가상 위치를 유지하기 위해 사용되는 방법을 더 포함한다. 본 방법의 제3 예시는 제1 예시와 제2 예시 중 하나 또는 둘 다를 선택적으로 포함하고, 적어도 하나의 물리적 카메라가 가동식 물체에 고정적으로 장착되는 방법을 더 포함한다. 본 방법의 제4 예시는 제1 내지 제3 예시 중 하나 이상을 선택적으로 포함하고, 가상 카메라의 가상 위치를 유지시키는 단계는 가상 카메라의 방향을 유지시키는 단계를 더 포함하는 방법을 더 포함한다. 본 방법의 제5 예시는 제1 내지 제4 예시 중 하나 이상을 선택적으로 포함하고, 적어도 하나의 물리적 카메라가 기준점에 대해 움직일 때, 기준점에 대한 가상 카메라의 가상 위치를 자동으로 유지시키는 단계는, 적어도 하나의 물리적 카메라와 가동식 물체가 함께 지면에 대해 움직이는 동안, 지면에 대한 3-D 기반의 공간에 고정된 가상 카메라의 가상 위치를 자동으로 유지시키는 단계를 더 포함한다. 본 방법의 제6 예시는 제1 내지 제5 예시 중 하나 이상을 선택적으로 포함하고, 운송수단-잠금된 위치로부터 가상 카메라를 분리시키기 위한 트리거를 검출하는 단계 및 트리거를 검출하는 단계에 응답하여 가상 이미지를 생성하는 단계를 더 포함하는 방법을 더 포함한다. 본 방법의 제7 예시는 제1 내지 제6 예시 중 하나 이상을 선택적으로 포함하고, 트리거는 제1 트리거이고, 본 방법은 제2 트리거를 검출하는 단계, 및 제2 트리거를 검출하는 단계에 응답하여, 가상 카메라를 운송수단-잠금된 위치로 리턴되는 단계 및 운송수단-잠금된 위치에서의 가상 카메라의 가상 시각로부터 운송수단의 가상 뷰를 디스플레이하는 단계를 더 포함하는 방법을 더 포함한다. 본 방법의 제8 예시는 제1 내지 제7 예시 중 하나 이상을 선택적으로 포함하고, 제2 트리거는, 세상-잠금된 위치로부터 멀리 있는 운송수단의 움직임 때문에, 세상-잠금된 위치가 더 이상 물리적 카메라에 의해 캡쳐된 이미지로부터 생성될 수 없다는 것을 결정하는 단계를 포함하는 방법을 더 포함한다. 본 방법의 제9 예시는 제1 내지 제8 예시 중 하나 이상을 선택적으로 포함하고, 제2 트리거는 운송수단의 속력이 임계값을 초과하는지를 결정하는 단계를 포함하는 방법을 더 포함한다. 본 방법의 제10 예시는 제1 내지 제9 예시 중 하나 이상을 선택적으로 포함하고, 트리거는 어려운 운송수단 조작과 관련된 것으로 인식된 물체를 검출하는 것을 포함하는 방법을 더 포함한다. 본 방법의 제11 예시는 제1 내지 제10 예시 중 하나 이상을 선택적으로 포함하고, 트리거는 운송수단의 이동 방향으로 곧 다가오는 회전 조작을 검출하는 것을 포함하는 방법을 더 포함한다. 본 방법의 제12 예시는 제1 내지 제11 예시 중 하나 이상을 선택적으로 포함하고, 트리거는 임계값을 초과하는 선택된 자유도로 운송수단의 움직임의 변화를 검출하는 것을 포함하는 방법을 더 포함한다. 본 방법의 제13 예시는 제1 내지 제12 예시 중 하나 이상을 선택적으로 포함하고, 트리거는 사용자 입력을 포함하는 방법을 더 포함한다.
또 다른 예시는, 물체에 위치된 물리적 카메라와, 디스플레이 장치와, 물리적 카메라와 연결된 이미지 프로세싱 유닛과, 이미지 프로세싱 유닛에 의해 실행가능한 명령어를 저장하기 위한 저장 장치를 포함하되, 상기 명령어는, 물리적 카메라를 통해, 물체에 대해 관련 물리적 시각으로부터 이미지 데이터를 캡쳐하고, 이미지 데이터를 사용하여 이미지 프로세싱 유닛을 통해, 가상 카메라의 가상 위치로부터 물체의 뷰를 생성하며 - 가상 카메라는 물체를 향해 가상 위치로부터 연장되는 가상 시각으로부터의 뷰를 캡쳐하고, 가상 카메라는 제1 조건하에서 물리적 카메라로부터 분리되고, 제2 조건하에 물리적 카메라에 연결됨 - , 디스플레이 장치를 통해, 물체의 가상 뷰를 디스플레이하고 - 가상 뷰는 제1 조건하에서 물체가 움직임에 따라 가상 뷰가 정적으로 보이고, 제2 조건하에서 물체가 움직임에 따라 가상 뷰가 움직이는 것으로 보이도록 하는 가상 뷰 시스템을 제공한다. 시스템의 제1 예시에서, 물리적 카메라는 추가적으로 또는 대안적으로 물체에 위치된 복수의 물리적 카메라의 제1 물리적 카메라일 수 있고, 복수의 물리적 카메라의 각각의 물리적 카메라는 복수의 물리적 카메라의 또 다른 물리적 카메라와 적어도 부분적으로 중첩되는 시야를 가진다.
또 다른 예시는 물체의 가상 뷰를 생성하기 위한 방법을 제공하는데, 본 방법은, 물체에 장착된 복수의 물리적 카메라를 통해, 물체에 대해 적어도 부분적으로 중첩되는 물리적 시각으로부터 이미지 데이터를 캡쳐하는 단계와, 복수의 물리적 카메라로부터의 이미지 데이터를 사용하여 이미지 프로세싱 유닛을 통해, 가상 카메라의 가상 시각으로부터 물체의 가상 뷰를 생성하는 단계 - 가상 카메라는 물체를 향해 가상 위치로부터 연장되는 가상 시각으로부터 뷰를 캡쳐하고, 가상 위치는 제1 조건하에서 복수의 물리적 카메라로부터 분리되고, 제2 조건하에서 복수의 물리적 카메라에 연결됨 - 와, 제1 조건하에서 동작하는 동안, 물체의 디스플레이 장치를 통해, 물체의 가상 뷰를 디스플레이하는 단계 - 가상 뷰는 물체가 움직임에 따라 정적으로 보임 - 와, 및 제2 조건하에서 동작하는 동안, 물체의 디스플레이 장치를 통해, 물체의 가상 뷰를 디스플레이하는 단계 - 가상 뷰는 물체가 움직임에 따라 같이 움직이는 것으로 보임 - 를 포함한다.
또 다른 예시는 운송수단의 가상 뷰를 생성하기 위한 방법을 제공하는데, 본 방법은, 운송수단에 장착된 물리적 카메라를 통해, 운송수단에 대해 관련 물리적 시각으로부터 이미지 데이터를 캡쳐하는 단계와, 물리적 카메라로부터의 이미지 데이터를 사용하여 이미지 프로세싱 유닛으로부터, 가상 카메라의 가상 시각으로부터 운송수단의 가상 뷰를 수신하는 단계 - 가상 카메라는 가상 시각이 나오는 운송수단-잠금된 위치를 가짐 - 와, 운송수단의 디스플레이 장치를 통해, 물체의 가상 뷰를 디스플레이하는 단계 - 가상 뷰는 운송수단이 움직임에 따라 운송수단과 같이 움직이는 것으로 보임 - 와, 운송수단-잠금된 위치로부터 가상 카메라를 분리시키기 위한 트리거를 검출하는 단계와, 트리거를 검출함에 응답하여, 물리적 카메라로부터의 이미지 데이터를 사용하는 이미지 프로세싱 유닛으로부터, 가상 카메라의 업데이트된 가상 시각으로부터의 운송수단의 업데이트된 가상 뷰를 수신하는 단계 - 가상 카메라는 업데이트된 가상 시각이 나온 업데이트된 세상-잠금된 위치를 가지고, 업데이트된 세상-잠금된 위치는 운송수단-잠금된 위치와 상이함 - 와, 및 디스플레이 장치를 통해, 운송수단의 업데이트된 가상 뷰를 디스플레이하는 단계 - 업데이트된 가상 뷰는 운송수단이 움직임에 따라 운송수단에 대해 정적으로 보임 - 를 포함한다. 본 방법의 제1 예시에서, 트리거는 추가적으로나 대안적으로 제1 트리거일 수 있고, 본 방법은, 제2 트리거를 검출하는 단계 및 제2 트리거를 검출하는 것에 응답하여, 가상 카메라를 운송수단-잠금된 위치로 리턴되는 단계 및 운송수단-잠금된 위치 내의 가상 카메라의 시각으로부터 운송수단의 가상 뷰를 디스플레이하는 단계를 추가적으로나 대안적으로 더 포함할 수 있다. 본 방법의 제2 예시는 제1 예시를 선택적으로 포함하고, 제2 트리거가 더 이상 운송수단을 포함하지 않는 세상-잠금된 위치 내의 가상 카메라의 시야를 결정하는 단계를 포함하는 방법을 더 포함한다. 본 방법의 제3 예시는 제1 내지 제2 예시 중 하나 또는 둘 다를 선택적으로 포함하고, 제2 트리거는 운송수단의 속력이 임계값을 초과하는지를 포함하는 방법을 더 포함한다. 본 방법의 제4 예시는 제1 예시 내지 제3 예시 중 하나 이상을 선택적으로 포함하고, 이미지 프로세싱 유닛이 클라우드 컴퓨팅 장치에 포함되고, 가상 뷰와 업데이트된 가상 뷰는 클라우드 컴퓨티 장치로부터 수신되는 방법을 더 포함한다. 본 방법의 제5 예시는 제1 예시 내지 제4 예시 중 하나 이상을 선택적으로 포함하고, 이미지 프로세싱 유닛은 운송수단-내부 컴퓨팅 시스템에 포함되고, 가상 뷰와 업데이트된 가상 뷰는 운송수단-내부 컴퓨팅 시스템으로부터 수신되는 방법을 더 포함한다. 본 방법의 제6 예시는 제1 예시 내지 제5 예시 중 하나 이상을 선택적으로 포함하고, 트리거는 어려운 운송수단 조작과 관련된 인식된 물체를 검출하는 것을 포함하는 방법을 더 포함한다. 본 방법의 제7 예시는 제1 예시 내지 제6 예시 중 하나 이상을 선택적으로 포함하고, 트리거는 운송수단의 이동 방향으로 곧 다가오는 커브를 검출하는 것을 포함하는 방법을 더 포함한다. 본 방법의 제8 예시는 제1 예시 내지 제7 예시 중 하나 이상을 선택적으로 포함하고, 트리거는 임계값을 초과하는 선택된 자유도로 운송수단의 움직임의 변화를 검출하는 것을 포함하는 방법을 더 포함한다. 본 방법의 제9 예시는 제1 예시 내지 제8 예시 중 하나 이상을 선택적으로 포함하고, 트리거는 사용자 입력을 포함하는 방법을 더 포함한다.
또 다른 예시는, 물체에 장착된 물리적 카메라와, 디스플레이 장치와, 프로세서와, 및 프로세서에 의해 실행가능한 명령어를 저장하기 위한 저장 장치를 포함하되, 상기 명령어는, 물리적 카메라를 통해, 물체에 대해 복수의 시각으로부터의 이미지 데이터를 캡쳐하고, 물리적 카메라로부터의 이미지 데이터를 사용하여 이미지 프로세싱 유닛으로부터, 가상 카메라의 가상 시각으로부터의 물체의 가상 뷰를 수신하며 - 가상 카메라는 가상 시각이 캡쳐된 가상 위치를 가지고, 가상 위치는 제1 조건하에서 물리적 카메라의 움직임에 대해 정적으로 유지되고, 가상 위치는 제2 조건하에서 복수의 물리적 카메라와 조절된 방식으로 움직임 - , 및 디스플레이 장치를 통해, 물체의 가상 뷰를 디스플레이하며, 가상 뷰는 제1 조건하에서, 적어도 제1 자유도에서 정적으로 보이고, 가상 뷰는 제2 조건하에서, 물체가 가진 적어도 제1 자유도에서 움직이는 것으로 보이는 가상 뷰 시스템을 제공한다. 시스템의 제1 예시에서, 이미지 프로세싱 유닛은 추가적으로나 대안적으로, 클라우드 컴퓨팅 시스템에 포함되고, 가상 뷰는 추가적으로나 대안적으로, 가상 뷰 시스템으로부터 원격으로 생성될 수 있다. 시스템의 제2 예시는 제1 예시를 선택적으로 포함하고, 이미지 프로세싱 유닛은 물체에 포함되고, 가상 뷰는 가상 뷰 시스템에 국부적으로 생성되는 시스템을 더 포함한다. 시스템의 제3 예시는 제1 및 제2 예시 중 하나 또는 둘 다를 선택적으로 포함하고, 물체가 운송수단의 하나 이상의 트랙을 통해 움직이도록 구성된 운송수단이고, 제1 자유도는 운송수단의 부품의 회전 움직임에 대응되고, 제1 조건하에서, 카메라의 가상 위치는 트랙(들) 상의 로케이션에 대응되거나 트랙(들)에 대해 잠금되고 트랙(들)을 따라서 또는 이들을 통해 운송수단이 움직임에 따라 운송수단과 움직이는 시스템을 더 포함한다.
또 다른 예시는, 운송수단에 통신적으로 연결된 네트워크 인터페이스, 이미지 프로세싱 유닛, 및 프로세서에 의해 실행가능한 명령어를 저장하는 저장 장치를 포함하되, 상기 명령어는, 네트워크 인터페이스를 통해, 운송수단으로부터 이미지를 수신하고 - 상기 이미지는 운송수단에 장착된 물리적 카메라에 의해 캡쳐됨 - , 가상 위치로부터 운송수단의 가상 이미지를 생성하고 - 가상 이미지는 물리적 카메라에 의해 캡쳐된 이미지와 상이한 시각을 가짐 - , 제1 조건 동안에, 가동식 물체 또는 가동식 물체의 부품이 움직일 때에도 가상 카메라의 가상 위치는 유지시키고, 제2 조건 동안에, 가동식 물체 또는 가동식 물체의 부품의 움직임과 조절하여 가상 카메라의 가상 위치를 움직이고, 네트워크 인터페이스를 통해 가상 이미지를 운송수단으로 송신하는 클라우드 컴퓨팅 시스템을 제공한다.
실시예의 설명은 도시와 설명을 위해 제시되었다. 실시예에 대한 적절한 수정예와 변형예가 상기 설명에 비추어 수행될 수 있거나 본 방법을 실시하는 것으로부터 얻을 수 있다. 예를 들어, 달리 언급이 없으면, 기술된 방법의 하나 이상은 도 1a의 가상 뷰 시스템(102) 및/또는 도 1b의 운송수단-내부 컴퓨팅 시스템(109) 및/또는 도 13의 운송수단-내부 컴퓨팅 시스템(1300)과 같이 적절한 장치 및/또는 장치들의 조합에 의해 수행될 수 있다. 본 방법은, 저장 장치, 메모리, 하드웨어 네트워크 인터페이스/안테나, 스위치, 작동기, 클록 회로 등과 같은 하나 이상의 추가적인 하드웨어 요소와 조합하여, 하나 이상의 논리 장치(가령, 프로세서)로 저장된 명령어를 실행함에 의해 수행될 수 있다. 기술된 방법 및 관련된 액션은, 본 출원서에 기술된 순서에 더하여 다양한 순서로, 병렬적으로, 및/또는 동시에 수행될 수도 있다. 기술된 시스템은 성질상 예시적이고, 추가적인 요소를 포함하거나, 및/또는 요소를 생략할 수 있다. 본 개시물의 주제는 모두 신규하고 비명백한 조합 및 다양한 시스템과 구성의 서브-조합 및 개시된 다른 특징, 기능 및/또는 특성을 포함한다.
본 출원에서 사용된 바와 같이, 단수로 언급되고 단어 "한" 또는 "하나"가 앞에 있는 요소나 단계는, 배제가 진술되지 않는 한, 상기 요소나 단계의 복수를 배제하지 않는 것으로 이해해야 한다. 더구나, 본 개시물의 "일 실시예" 또는 "하나의 예시"에 대한 언급은 언급된 특징도 포함하는 추가적인 실시예의 존재를 배제하는 것으로 해석하는 것이 의도되지 않는다. 용어 "제1", "제2" 및 "제3" 등은 단순히 라벨로서 사용되고, 수치적 요구사항이나 이들 객체에 특정 위치적 순서를 부과하려는 의도는 아니다. 이하의 청구항은 신규하고 비명백한 것으로 간주되는 특히 상기 개시물로부터의 주제를 지적하는 것이다.

Claims (20)

  1. 가동식 물체를 위한 가상 뷰를 생성하는 방법에 있어서, 상기 방법은,
    가동식 물체에 연결된 적어도 하나의 물리적 카메라로부터 이미지를 캡쳐하는 단계와;
    상기 적어도 하나의 물리적 카메라의 캡쳐된 이미지로부터 가상 카메라의 가상 이미지를 생성하는 단계 - 상기 가상 이미지는 상기 적어도 하나의 물리적 카메라에 의해 캡쳐된 이미지들과 상이한 관점, 상이한 방향, 또는 상이한 관점과 방향을 가짐 -; 및
    상기 적어도 하나의 물리적 카메라가 기준점에 대해 움직일 때, 상기 기준점에 대하여, 상기 가상 카메라의 가상 위치를 자동으로 유지시키는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서, 상기 기준점에 대한 상기 적어도 하나의 물리적 카메라의 움직임은, 상기 기준점에 대한 상기 가상 카메라의 가상 위치를 유지하기 위해 직접적으로나 간접적으로 측정되는, 방법.
  3. 제 1 항에 있어서, 적어도 하나의 물리적 카메라에 의해 인지된 물체 또는 그 물체의 일부가, 상기 기준점에 대해 상기 가상 카메라의 가상 위치를 유지하기 위해 사용되는, 방법.
  4. 제 1 항에 있어서, 상기 적어도 하나의 물리적 카메라는 상기 가동식 물체에 고정적으로 장착되고,
    상기 가상 카메라의 가상 위치를 유지시키는 단계는 상기 가상 카메라의 방향을 유지시키는 단계를 더 포함하는, 방법.
  5. 제 1 항에 있어서, 상기 적어도 하나의 물리적 카메라가 상기 기준점에 대해 움직일 때, 상기 기준점에 대하여 상기 가상 카메라의 가상 위치를 자동으로 유지시키는 단계는, 상기 적어도 하나의 물리적 카메라와 가동식 물체가 함께 지면에 대해 움직이는 동안, 상기 가상 카메라의 가상 위치를 상기 지면에 대한 3-D 기반의 공간에 고정되도록 자동으로 유지시키는 단계를 포함하는, 방법.
  6. 제 1 항에 있어서, 운송수단-잠금된 위치(vehicle-locked position)로부터 상기 가상 카메라를 분리시키기 위한 트리거를 검출하는 단계, 및 상기 트리거를 검출하는 단계에 응답하여 상기 가상 이미지를 생성하는 단계를 더 포함하는, 방법.
  7. 제 6 항에 있어서, 상기 트리거는 제1 트리거이고,
    상기 방법은 제2 트리거를 검출하는 단계, 상기 제2 트리거를 검출하는 단계에 응답하여 상기 가상 카메라를 상기 운송수단-잠금된 위치로 리턴하는 단계, 및 상기 운송수단-잠금된 위치에서 상기 가상 카메라의 가상 시각으로부터 운송 수단의 가상 뷰를 디스플레이하는 단계를 더 포함하는, 방법.
  8. 제 7 항에 있어서, 상기 제2 트리거는, 세상-잠금된 위치(world-locked position)로부터 멀어지는 상기 운송수단의 움직임 때문에, 상기 세상-잠금된 위치가 더 이상 상기 물리적 카메라에 의해 캡쳐된 이미지로부터 생성될 수 없다는 것을 결정하는 단계를 포함하는, 방법.
  9. 제 7 항에 있어서, 상기 제2 트리거는 상기 운송수단의 속력이 임계값을 초과하는지를 결정하는 단계를 포함하는, 방법.
  10. 제 6 항에 있어서, 상기 트리거는 어려운 운송수단 조작과 관련된 것으로 인식된 물체를 검출하는 것을 포함하는, 방법.
  11. 제 6 항에 있어서, 상기 트리거는 운송수단의 이동 방향으로 곧 다가오는 회전 조작을 검출하는 것을 포함하는, 방법.
  12. 제 6 항에 있어서, 상기 트리거는 임계값을 초과하는 선택된 자유도로 상기 운송수단의 움직임의 변화를 검출하는 것을 포함하는, 방법.
  13. 제 6 항에 있어서, 상기 트리거는 사용자 입력을 포함하는, 방법.
  14. 가동식 물체의 가상 뷰를 생성하는 가상 뷰 시스템에 있어서, 상기 시스템은,
    가동식 물체에 위치된 적어도 하나의 물리적 카메라,
    디스플레이 장치,
    상기 적어도 하나의 물리적 카메라에 연결된 이미지 프로세싱 유닛, 및
    상기 이미지 프로세싱 유닛에 의해 실행가능한 명령어를 저장하기 위한 저장 장치를 포함하되, 상기 명령어는,
    상기 적어도 하나의 물리적 카메라를 통해, 상기 가동식 물체에 대해 관련 물리적 시각으로부터 이미지 데이터를 캡쳐하고,
    상기 적어도 하나의 물리적 카메라로부터의 이미지 데이터를 사용하여 상기 이미지 프로세싱 유닛을 통해, 가상 시각으로부터의 상기 가동식 물체의 뷰를 생성하고 - 상기 가동식 물체의 뷰는, 가상 카메라의 가상 위치로부터 관심 방향으로 연장되는 상기 가상 시각으로부터 상기 가상 카메라에 의해 캡쳐되고, 상기 가상 카메라는 제1 조건하에서 상기 적어도 하나의 물리적 카메라로부터 분리됨 - ,
    상기 적어도 하나의 물리적 카메라로부터의 상기 이미지 데이터를 사용하여 상기 이미지 프로세싱 유닛을 통해, 상기 가동식 물체의 뷰의 방향을 유지하기 위한 가이드를 제공하기 위해 결정된 기준점들 간의 기준 라인을 생성하고 - 상기 뷰는 상기 뷰의 각 프레임에 걸쳐 자신에 평행한 위치에서 상기 기준 라인을 유지함 -,
    상기 디스플레이 장치를 통해, 상기 가상 시각으로부터의 상기 가동식 물체의 뷰를 디스플레이하며 - 상기 뷰는 상기 제1 조건하에 있는 동안 상기 적어도 하나의 물리적 카메라가 움직임에 따라 정적으로 보임 -,
    상기 가상 시각으로부터의 상기 가동식 물체의 뷰는 상기 가상 시각으로부터의 상기 가동식 물체의 뷰의 방향을 유지하기 위한 가이드를 제공하기 위해 결정된 기준점들 간에 상기 기준 라인을 더 포함하는 것인, 가상 뷰 시스템.
  15. 제 14 항에 있어서, 상기 가상 카메라는 제2 조건하에서 상기 적어도 하나의 물리적 카메라에 연결되고, 상기 가동식 물체의 뷰는 상기 제2 조건하에서 상기 가동식 물체와 움직이는 것으로 보이는, 가상 뷰 시스템.
  16. 제 14 항에 있어서, 상기 적어도 하나의 물리적 카메라는 상기 가동식 물체에 위치된 복수의 물리적 카메라의 제1 물리적 카메라이고, 상기 복수의 물리적 카메라의 각각의 물리적 카메라는 상기 복수의 물리적 카메라의 다른 물리적 카메라와 적어도 부분적으로 중첩되는 시야(field of view)를 가지는, 가상 뷰 시스템.
  17. 가상 뷰 시스템에 있어서, 상기 시스템은,
    가동식 물체에 장착된 물리적 카메라,
    디스플레이 장치,
    프로세서, 및
    상기 프로세서에 의해 실행가능한 명령어를 저장하기 위한 저장 장치를 포함하되, 상기 명령어는,
    상기 물리적 카메라를 통해, 상기 가동식 물체에 대해 복수의 시각으로부터 이미지 데이터를 캡쳐하고;
    상기 물리적 카메라로부터의 이미지 데이터를 사용하여 이미지 프로세싱 유닛으로부터, 가상 카메라의 가상 시각으로부터의 상기 가동식 물체의 가상 뷰를 수신하고 - 상기 가상 카메라는 상기 가상 시각이 캡쳐된 가상 위치를 가지고, 상기 가상 위치는 제1 조건하에서 상기 물리적 카메라의 움직임에 대해 정적으로 유지되고, 상기 가상 위치는 제2 조건하에서 복수의 상기 물리적 카메라와 조절된 방식으로 움직임 - ;
    상기 프로세서를 통해, 상기 가동식 물체에 관한 이미지 데이터에서 기준점들을 식별하고 - 상기 기준점들은 검출된 운전 조작에 관련함 -;
    상기 프로세서를 통해, 상기 가상 뷰의 방향을 유지하기 위한 가이드를 제공하기 위해 결정된 상기 식별된 기준 점들 간에 기준 라인을 계산하고;
    상기 디스플레이 장치를 통해, 상기 가동식 물체의 가상 뷰를 디스플레이하며, 상기 가상 뷰는 제1 조건하에서 적어도 제1 자유도로 정적으로 보이고, 상기 가상 뷰는 제2 조건하에서 상기 가동식 물체가 가진 적어도 제1 자유도로 움직이는 것으로 보이며;
    기 가동식 물체의 가상 뷰 내에 상기 기준 라인을 디스플레이하고, 상기 가상 뷰는 상기 가상 뷰의 각 프레임에 걸쳐 상기 기준 라인을 자신에 평행한 위치로 유지하는 것인, 가상 뷰 시스템.
  18. 제 17 항에 있어서, 상기 이미지 프로세싱 유닛은 클라우드 컴퓨팅 시스템에 포함되고, 상기 가상 뷰는 상기 가상 뷰 시스템으로부터 원격으로 생성되는, 가상 뷰 시스템.
  19. 제 17 항에 있어서, 상기 이미지 프로세싱 유닛은 상기 가동식 물체에 포함되고, 상기 가상 뷰는 상기 가상 뷰 시스템에서 국부적으로 생성되는, 가상 뷰 시스템.
  20. 제 17 항에 있어서, 상기 가동식 물체는 운송수단의 제1 부분이고, 상기 제1 부분은 상기 운송수단의 제2 부분과 적어도 독립적으로 움직일 수 있으며, 상기 물리적 카메라는 상기 운송수단의 제1 부분에 장착되고, 상기 가상 카메라는 상기 운송수단의 제2 부분에 대해 정적으로 유지되는, 가상 뷰 시스템.
KR1020180045851A 2017-04-21 2018-04-20 운전자 보조 시스템 및 방법 KR102566377B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762488599P 2017-04-21 2017-04-21
US62/488,599 2017-04-21

Publications (2)

Publication Number Publication Date
KR20180118545A KR20180118545A (ko) 2018-10-31
KR102566377B1 true KR102566377B1 (ko) 2023-08-11

Family

ID=62067333

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180045851A KR102566377B1 (ko) 2017-04-21 2018-04-20 운전자 보조 시스템 및 방법

Country Status (3)

Country Link
US (1) US10614617B2 (ko)
EP (1) EP3392801A1 (ko)
KR (1) KR102566377B1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
US10743156B2 (en) * 2016-11-17 2020-08-11 Mitsubishi Electric Corporation In-vehicle device, mobile terminal device, recognition support system, recognition support method, and recognition support program
JP6941472B2 (ja) * 2017-04-26 2021-09-29 株式会社デンソーテン 映像再生装置、映像再生システム、及び映像再生方法
US10890758B1 (en) * 2018-03-23 2021-01-12 Amazon Technologies, Inc. Moisture deflection apparatus for aerial vehicle cameras
US11544895B2 (en) * 2018-09-26 2023-01-03 Coherent Logix, Inc. Surround view generation
CN112867631B (zh) * 2018-11-13 2024-04-12 瑞维安知识产权控股有限责任公司 用于控制车辆摄像头的系统和方法
KR102177879B1 (ko) * 2019-02-26 2020-11-12 현대모비스 주식회사 차량의 객체 검출 장치 및 방법
JP7256668B2 (ja) * 2019-03-29 2023-04-12 本田技研工業株式会社 制御装置、制御方法及びプログラム
US11070721B2 (en) * 2019-09-27 2021-07-20 Gm Cruise Holdings Llc Intent-based dynamic change of compute resources of vehicle perception system
US11037000B2 (en) 2019-09-27 2021-06-15 Gm Cruise Holdings Llc Intent-based dynamic change of resolution and region of interest of vehicle perception system
JP7328116B2 (ja) * 2019-10-11 2023-08-16 トヨタ自動車株式会社 駐車支援装置
US11537124B2 (en) * 2020-04-29 2022-12-27 Teleo, Inc. Built-in safety of control station and user interface for teleoperation
CN111559371B (zh) * 2020-05-15 2021-12-07 广州智鹏车联网科技有限公司 三维泊车的显示方法、车辆和存储介质
JP7472746B2 (ja) * 2020-09-30 2024-04-23 コベルコ建機株式会社 作業支援装置
WO2022084054A1 (de) * 2020-10-21 2022-04-28 Zf Friedrichshafen Ag Darstellung von hindernissen in einem übersichtsbild in abhängigkeit eines lenkwinkels
WO2022216775A1 (en) * 2021-04-07 2022-10-13 Stoneridge, Inc. Vehicle display including an offset camera view

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013137698A (ja) * 2011-12-28 2013-07-11 Suzuki Motor Corp 俯瞰画像提示装置
US20150022664A1 (en) * 2012-01-20 2015-01-22 Magna Electronics Inc. Vehicle vision system with positionable virtual viewpoint
JP2016213815A (ja) 2015-05-11 2016-12-15 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 車両周辺画像提供方法及びその装置並びにコンピュータ読取可能記録媒体

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010112433A (ko) * 1999-04-16 2001-12-20 마츠시타 덴끼 산교 가부시키가이샤 화상처리장치 및 감시시스템
ATE552478T1 (de) * 2004-06-03 2012-04-15 Making Virtual Solid L L C Navigationsanzeigeverfahren und vorrichtung für unterwegs unter verwendung eines head-up-displays
US8159416B1 (en) * 2007-08-06 2012-04-17 Rockwell Collins, Inc. Synthetic vision dynamic field of view
US8786704B2 (en) * 2007-08-09 2014-07-22 Donnelly Corporation Vehicle mirror assembly with wide angle element
WO2010099416A1 (en) * 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle
WO2012051500A1 (en) * 2010-10-15 2012-04-19 Magna Mirrors Of America, Inc. Interior rearview mirror assembly
JP2011135253A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
US9809196B1 (en) * 2011-04-22 2017-11-07 Emerging Automotive, Llc Methods and systems for vehicle security and remote access and safety control interfaces and notifications
US9357208B2 (en) * 2011-04-25 2016-05-31 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
EP2722834A4 (en) * 2011-07-25 2015-01-21 Honda Motor Co Ltd FAILURE DEVICE FOR A VEHICLE
WO2013016409A1 (en) * 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
EP2554434B1 (en) * 2011-08-05 2014-05-21 Harman Becker Automotive Systems GmbH Vehicle surround view system
WO2013086249A2 (en) * 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
EP2608153A1 (en) * 2011-12-21 2013-06-26 Harman Becker Automotive Systems GmbH Method and system for playing an augmented reality game in a motor vehicle
US9222800B1 (en) * 2012-08-06 2015-12-29 Rockwell Collins, Inc. Taxi information presentation system, device, and method
US9225942B2 (en) * 2012-10-11 2015-12-29 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis
US20140267727A1 (en) * 2013-03-14 2014-09-18 Honda Motor Co., Ltd. Systems and methods for determining the field of view of a processed image based on vehicle information
US8892358B2 (en) * 2013-03-14 2014-11-18 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
WO2015041005A1 (ja) * 2013-09-19 2015-03-26 富士通テン株式会社 画像生成装置、画像表示システム、画像生成方法、および画像表示方法
JP6201148B2 (ja) * 2013-12-20 2017-09-27 パナソニックＩｐマネジメント株式会社 キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム
JP6473571B2 (ja) * 2014-03-24 2019-02-20 アルパイン株式会社 Ｔｔｃ計測装置およびｔｔｃ計測プログラム
US9361732B2 (en) * 2014-05-01 2016-06-07 Microsoft Technology Licensing, Llc Transitions between body-locked and world-locked augmented reality
EP3145182A4 (en) * 2014-05-16 2017-06-21 Fujitsu Limited Monitor device and computer program for display image switching
DE102015205507B3 (de) * 2015-03-26 2016-09-29 Zf Friedrichshafen Ag Rundsichtsystem für ein Fahrzeug
US9727055B2 (en) * 2015-03-31 2017-08-08 Alcatel-Lucent Usa Inc. System and method for video processing and presentation
ES2848314T3 (es) * 2015-05-05 2021-08-06 Siemens Mobility S A S Asegurar la captura de vídeo a distancia en tiempo real
US10304247B2 (en) * 2015-12-09 2019-05-28 Microsoft Technology Licensing, Llc Third party holographic portal
JP6565769B2 (ja) * 2016-04-03 2019-08-28 株式会社デンソー 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム
KR102312751B1 (ko) * 2016-05-18 2021-10-15 닛산 지도우샤 가부시키가이샤 주차 지원 방법 및 주차 지원 장치
US10330479B2 (en) * 2016-09-20 2019-06-25 Trimble Inc. Vehicle navigation by dead reckoning and GNSS-aided map-matching

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013137698A (ja) * 2011-12-28 2013-07-11 Suzuki Motor Corp 俯瞰画像提示装置
US20150022664A1 (en) * 2012-01-20 2015-01-22 Magna Electronics Inc. Vehicle vision system with positionable virtual viewpoint
JP2016213815A (ja) 2015-05-11 2016-12-15 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 車両周辺画像提供方法及びその装置並びにコンピュータ読取可能記録媒体

Also Published As

Publication number Publication date
US10614617B2 (en) 2020-04-07
US20180308275A1 (en) 2018-10-25
EP3392801A1 (en) 2018-10-24
KR20180118545A (ko) 2018-10-31

Similar Documents

Publication Publication Date Title
KR102566377B1 (ko) 운전자 보조 시스템 및 방법
EP3070700B1 (en) Systems and methods for prioritized driver alerts
US11079753B1 (en) Self-driving vehicle with remote user supervision and temporary override
KR102499421B1 (ko) 운전자 지원을 위한 시스템 및 방법
EP3100913B1 (en) Vehicle display apparatus and vehicle including the same
EP3132988A1 (en) Systems and methods for driver assistance
CN107867296A (zh) 安装在车辆上的车辆控制装置和控制该车辆的方法
WO2020148680A1 (en) Utilizing passenger attention data captured in vehicles for localization and location-based services
AU2017366812B2 (en) Method and system for adjusting a virtual camera's orientation when a vehicle is making a turn
CN105991942B (zh) 车辆及用于控制车辆的方法
US20170197551A1 (en) System and method for collision warning
US11694408B2 (en) Information processing device, information processing method, program, and movable object
EP3892960A1 (en) Systems and methods for augmented reality in a vehicle
KR20220083675A (ko) 표시 시스템, 표시 장치, 표시 방법 및 이동 장치
KR20230065928A (ko) 차량용 이미지 처리 장치 및 차량에 포함된 디스플레이에 시각 정보를 표시하는 방법
US20230083637A1 (en) Image processing apparatus, display system, image processing method, and recording medium
KR102611338B1 (ko) 차량의 ar 디스플레이 장치 및 그것의 동작방법
KR20230115319A (ko) 증강현실과 혼합현실에 기반한 경로 안내 장치 및 경로안내 시스템
US20230415652A1 (en) Camera module, information processing system, information processing method, and information processing apparatus

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant