KR101480994B1 - 차량의 디스플레이를 이용한 증강 현실 발생 방법 및 시스템 - Google Patents

차량의 디스플레이를 이용한 증강 현실 발생 방법 및 시스템 Download PDF

Info

Publication number
KR101480994B1
KR101480994B1 KR20120150379A KR20120150379A KR101480994B1 KR 101480994 B1 KR101480994 B1 KR 101480994B1 KR 20120150379 A KR20120150379 A KR 20120150379A KR 20120150379 A KR20120150379 A KR 20120150379A KR 101480994 B1 KR101480994 B1 KR 101480994B1
Authority
KR
South Korea
Prior art keywords
virtual
image data
vehicle
image
augmented reality
Prior art date
Application number
KR20120150379A
Other languages
English (en)
Other versions
KR20130072172A (ko
Inventor
토비아스 뭉크
필립 슈마우데러
크리스토프 벤츠
안드레아스 쾨르너
Original Assignee
하만 베커 오토모티브 시스템즈 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하만 베커 오토모티브 시스템즈 게엠베하 filed Critical 하만 베커 오토모티브 시스템즈 게엠베하
Publication of KR20130072172A publication Critical patent/KR20130072172A/ko
Application granted granted Critical
Publication of KR101480994B1 publication Critical patent/KR101480994B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/205—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform for detecting the geographical location of the game platform
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)

Abstract

차량의 디스플레이를 이용하여 증강 현실을 발생시키기 위한 방법 및 시스템은,
- 이미지 데이터(11) 형태로 차량의 환경의 이미지를 레코딩하는 단계와,
- 상기 이미지 데이터(11)로부터 3차원의 가상 공간(31)을 결정하는 단계와,
- 상기 이미지 데이터(11) 내에서 실제 물체(24, 25, 26, 27, 28)를 검출하는 단계와,
- 3차원 가상 공간(31)에서 실제 물체(24, 25, 26, 27, 28)의 제 1 좌표 범위를 결정하는 단계와,
- 제 2 좌표 범위를 갖는 가상 요소(52, 53, 54)를 상기 3차원 가상 공간(31)에 추가하는 단계와,
- 사용자 입력(50)에 기초하여 상기 3차원 가상 공간(31) 내 가상 요소(52, 53, 54)를 제어하는 단계와,
- 출력 이미지(61, 62a, 62b) 내에 조합된 형태로 상기 환경 및 상기 제어되는 가상 요소(52, 53, 54)를 출력하는 단계와,
- 상기 실제 물체(24, 25, 26, 27, 28)의 제 1 좌표 범위와 상기 제어되는 가상 요소(52, 53, 54)의 제 2 좌표 범위가 교차 영역을 형성할 때, 출력 이미지(61, 62a, 62b)를 수정하는 단계와,
- 상기 차량의 디스플레이(71, 240)를 이용하여 상기 출력 이미지(61, 62a, 62b)를 출력하는 단계
를 포함한다.

Description

차량의 디스플레이를 이용한 증강 현실 발생 방법 및 시스템 {METHOD AND SYSTEM FOR GENERATING AUGMENTED REALITY WITH A DISPLAY OF A MOTER VEHICLE}
다양한 실시예는 자동차의 디스플레이를 이용하여 증강 현실을 발생시키기 위한 방법 및 시스템에 관한 것이다.
유럽 특허 제 1 720 131 B1 호는 실제 마커 물체 식별을 이용한 증강 현실 시스템을 보여준다. 도 4는 이러한 증강 현실 시스템(100)의 간단한 도해를 개략적으로 도시한다. 시스템(100)은 실제 환경(120)으로부터 이미지 데이터를 수득하기 위한 비디오 카메라(110)를 포함한다. 실제 환경(120)은 집의 방, 특정 경관의 일부분, 또는 그외 다른 관심 장면과 같은 임의의 적절한 영역을 나타낸다. 도 4에서 실제 환경(120)은 예를 들어, 벽(124), 가구(121, 122, 123) 형태의 복수의 실제 물체(real objects)(121...124)를 포함하는 거실을 나타낸다. 더욱이, 실제 환경(120)은 증강 이미지 처리 알고리즘에 의해 즉각 식별되도록 임의의 적절한 구조를 갖는 마커 물체(marker object)(125, 126)로 간주되는 추가적인 실제 물체를 포함한다. 예를 들어, 마커 물체(125, 126)는 쉽게 식별될 수 있는 주요 패턴을 형성하고 있고, 서로 다른 복수의 관찰 각도로부터 식별할 수 있도록 마커 물체(125, 126)의 형상이 설계될 수 있다. 마커 물체(125, 126)는 각자의 식별 패턴을 형성한 실질적으로 2차원적인 구조를 또한 나타낸다.
시스템(100)은 카메라(100)에 의해 제공되는 이미지 데이터에 기초하여 마커 물체(125, 126)를 식별하기 위한 수단(130)을 더 포함한다. 식별 수단(130)은 마커 물체(125, 126)를 나타내는 지정 템플릿에 이미지 데이터를 비교하기 위한, 잘 알려진 패턴 인지 알고리즘을 포함할 수 있다. 예를 들어, 식별 수단(130)은 지정 조사 임계 값에 기초하여 카메라(110)에 의해 획득되는 이미지를 검은색 및 흰색으로 변환하기 위한 알고리즘을 구현하였을 수 있다. 이 알고리즘은 이미지를 정사각형과 같은 지정 세그먼트로 나누도록, 그리고, 각각의 세그먼트 내 기-학습된(pre-trained) 패턴 템플릿을 검색하도록 더욱 구성되며, 상기 템플릿은 마커 물체(125, 126)의 주요부를 나타낸다.
첫 번째로, 라이브 비디오 이미지가 발광 임계값에 기초하여 검은색 및 흰색 이미지로 변환된다. 그 후 이 이미지는 정사각형 영역에 대해 검색된다. 소프트웨어는 이진 이미지 내 모든 정사각형들을 찾아내고, 그 중 많은 부분이 물체(125, 126)와 같은 추적 마커가 아니다. 각각의 정사각형에 대하여, 정사각형 내부의 패턴은 일부 기-학습된 패턴 템플릿에 대해 매칭된다. 일치사항이 존재할 경우, 소프트웨어는 물체(125, 126)와 같은 추적 마커들 중 하나를 발견한 것이다. 그 후 소프트웨어는 알려진 정사각형 크기 및 패턴 배향을 이용하여 물체(125, 126)와 같은 물리적 마커에 대한 실제 비디오 카메라의 위치를 연산한다. 그 후, 식별된 마커에 대한 비디오 카메라의 실제 세계 좌표로 3x4 매트릭스가 채워진다. 이 매트릭스는 그 후 가상 카메라 좌표의 위치를 설정하는 데 사용된다. 가상 및 실제 카메라 좌표가 동일하기 때문에, 그려지는 컴퓨터 그래픽은 명시된 위치에서 실제 마커 물체와 정밀하게 중첩된다. 그 후 렌더링 엔진이 이용되어 가상 카메라 좌표를 설정하고 가상 이미지를 그린다.
도 4의 시스템(100)은 카메라(110)로부터 수신한 이미지 데이터를 물체 데이터 발생기(150)로부터 얻은 물체 데이터와 조합하기 위한 조합 수단(140)을 더 포함한다. 조합 수단(140)은 추적 시스템, 거리 측정 시스템, 및 렌더링 시스템을 포함한다. 일반적으로, 조합 수단(140)은 마커 물체(125, 126)에 대응하는 추가적인 가상 물체와 함께 환경(120)의 3차원 이미지를 나타내는 가상 이미지 데이터를 생성하도록 대응하여 식별된 마커 물체에 대해 발생기(150)로부터 얻은 이미지 데이터를 포함하도록 구성된다. 여기서, 조합 수단(140)은 실제 환경(120) 내에서 마커 물체(125, 126)의 각자의 위치를 결정하도록 구성되고, 카메라(110)에 의해 형성되는 관점에 대해, 그리고 환경(120) 내 임의의 정적 물체에 대해, 마커 물체(125, 126) 사이의 상대적 모션을 추적하도록 구성된다.
도 4의 시스템(100)은 발생기(150)에 의해 발생되는 가상 물체를 포함한, 가상 이미지 데이터를 제공하도록 구성되는 출력 수단(160)을 더 포함하며, 선호되는 실시예에서, 출력 수단(160)은 이미지 데이터에 추가하여, 오디오 데이터, 후각 데이터, 촉각 데이터, 등과 같은 다른 타임의 데이터를 제공하도록 또한 구성된다. 작동시, 카메라(110)는 환경(120)의 이미지 데이터를 생성하고, 이미지 데이터는 환경(120)에 대해 카메라(110)를 단지 이동시킴으로써, 또는, 환경 내에 이동가능한 물체를 제공함으로써, 표현되는 환경(120)의 동적 상태에 대응하며, 예를 들어, 마커 요소(125, 126), 또는 물체(121...123) 중 하나가 이동가능하다. 환경(120)의 관점은 환경(120) 내에서 카메라(110) 주위로 이동함으로써 변경되고, 따라서, 서로 다른 관점으로부터 발생기(150)에 의해 생성되는 가상 물체를 평가할 수 있도록, 서로 다른 시선으로부터 특히 마커 물체(125, 126)를 관찰할 수 있다.
연속적으로 업데이트되는 카메라(110)에 의해 제공되는 이미지 데이터는, 식별 수단(130)에 의해 수신되고, 예를 들어, 카메라(110) 또는 마커 물체(125, 126)를 이동시킴으로써, 관점을 연속적으로 변화시킴으로써 패턴 인지가 방해되는 경우에도, 상기 식별 수단(130)은 마커 물체(125, 126)를 인지하고 식별되면 마커 물체(125, 126)를 추적할 수 있다. 이미지 데이터 내에서 마커 물체(125, 126)와 관련된 지정 패턴을 식별한 후, 식별 수단(130)은 명시된 이미지 데이터 영역 내의 마커 물체의 존재에 관하여 조합 수단(140)에 알리고, 이 정보에 기초하여, 마커 물체(125, 126)가 시간에 따라 사라지지 않는다는 가정하에, 조합 수단(140)은 그 후 마커 물체(125, 126)를 식별하는 데 사용되는 이미지 데이터에 의해 표현되는 대응 물체를 연속적으로 추적한다. 마커 물체(125, 126)를 식별하는 이러한 프로세스는 실질적으로 연속적으로 실행되고, 또는, 마커 물체의 존재를 확인하도록, 그리고 또한, 조합 수단(140)의 추적 정확도를 확인하거나 개선시키도록, 규칙적인 원칙 하에 반복된다. 식별 수단(130)에 의해 제공되는 정보 및 환경의 이미지 데이터에 기초하여, 조합 수단(140)은 3차원 이미지 데이터를 생성하고, 물체 발생기(150)로부터 수신되는 대응하는 3차원 이미지 데이터를 중첩시키며, 3차원 물체 데이터는 조합 수단(140)의 추적 작동에 기초하여 영구적으로 업데이트된다.
예를 들어, 수단(140)은, 식별 수단(130)의 정보에 기초하여, 마커 물체(125, 126)에 대한 카메라(110)의 위치를 연산할 수 있고, 이 좌표 정보를 이용하여 가상 카메라의 좌표를 결정할 수 있으며, 따라서, 발생기(150)에 의해 전달되는 물체 데이터를, 마커 물체(125, 126)의 이미지 데이터와, 정밀하게 "오버레이"(overlay)시킬 수 있다. 좌표 정보는 카메라(110)에 대한 마커 물체(125, 126)의 상대적 배향에 대한 데이터를 또한 포함하며, 따라서, 조합 수단(140)이 가상 물체의 배향을 정확하게 적응시킬 수 있다. 마지막으로, 조합된 3차원 가상 이미지 데이터가 임의의 적절한 형태로 출력 수단(160)에 의해 제시된다. 예를 들어, 출력 수단(160)은 마커 물체(125, 126)와 관련된 가상 물체를 포함하는 환경(120)을 가시화시키도록 적절한 디스플레이 수단을 포함할 수 있다. 시스템(110)을 작동시킬 때, 실질적으로 신뢰가능한 실시간 이미지 처리가 가능하도록, 적어도 하나의 마커 물체(125, 126)에 대한 인지 기준을 미리 설치하는 것이 유리하다. 더욱이, 각자의 마커 물체와 하나 이상의 가상 물체 사이의 상관도는 시스템(100)의 작동 이전에 구축될 수 있고, 또는, 마커 물체에 대한 가상 물체의 할당의 대화형 규정이 가능하도록 설계된다. 예를 들어, 사용자 요청에 따라, 마커 물체(125)에 최초에 할당된 가상 물체가 마커 물체(126)에 할당되고, 그 역도 성립한다. 더욱이, 복수의 가상 물체가 단일 마커 물체에 할당되고, 복수의 가상 물체 중 각자의 가상 물체가 사용자에 의해 소프트웨어 애플리케이션에 의해 선택된다.
일 형태에 따르면, 차량 내에 증강 현실을 발생시키는 개선사항은, 독립항인 청구항 제1항의 특징을 갖는 방법을 통해 설명된다. 다양한 구체예들이 종속항의 대상이고, 관련 설명에 포함된다.
따라서, 차량 내에 증강 현실을 발생시키기 위한 방법이 제공된다.
이 방법에서, 차량의 환경의 이미지가 이미지 데이터 형태로 레코딩될 수 있다. 이러한 이미지 데이터로부터 가상 공간이 결정될 수 있다.
이 방법에서, 상기 이미지 데이터 내에서 실제 물체가 검출될 수 있다. 실제 물체의 제 1 좌표 범위가 가상 공간 내에서 결정될 수 있다.
이 방법에서, 제 2 좌표 범위를 갖는 가상 요소가 가상 공간에 추가될 수 있다. 가상 요소는 사용자 입력에 기초하여 제어될 수 있다.
이 방법에서, 환경 및 제어되는 가상 요소는 출력 이미지 형태로 조합되어 출력될 수 있다. 출력 이미지는 실제 물체의 제 1 좌표 범위와 제어되는 가상 요소의 제 2 좌표 범위가 교차 영역을 형성할 때, 수정될 수 있다. 출력 이미지는 차량의 디스플레이를 이용하여 출력될 수 있다.
일 실시예로 인해, 운전자가 차량의 환경 내 물체들의 표현을 대화형으로 선택할 수 있는 장점이 달성되다. 물체는 운전 중인 운전자를 돕도록 일시적으로 디스플레이될 수 있다. 따라서, 운전자는 현 교통 상황에 집중할 수 있고, 후에 현 환경 상황과 혼합되는, 물체, 예를 들어, 교통 표지를 다시 살필 수 있다. 일 실시예로 인해, 차량 주행 중에 현 환경 상황이 인위적 비디오 게임 세계와 혼합될 수 있는 장점이 달성되고 따라서, 차량 외부의 이벤트가 현 게임 이벤트 내에 통합되어 사용자와 환경으로부터의 실제 물체 사이에 상호작용이 이루어질 수 있다.
이러한 경우에 환경은, 예를 들어, 광학 시스템을 이용하여, 레코딩될 수 있는, 차량의 실제 환경일 수 있고, 광학 시스템은 대응하는 디지털 이미지 데이터를 출력할 수 있다. 추가적으로, 적외선 카메라 또는 레이다 시스템이 사용될 수 있다. 이미지 데이터로부터 결정되는 가상 공간은 적어도 3차원 이상의, 다차원 공간일 수 있다.
이미지 데이터에서 검출되는 실제 물체는 도로 표지 또는 차, 등일 수 있고, 이는 차량으로부터 적어도 일시적으로 보일 수 있다. 물체는 이미지 처리 알고리즘을 이용하여 검출될 수 있다. 3차원 공간 내 물체의 움직임은 추적 알고리즘에 의해 추적될 수 있다. 실제 물체의 제 1 좌표 범위는 도로 표지의 표면 기하 구조와, 가상 공간 내 표면 기하 구조의 위치일 수 있다. 도로 표지는 두께를 또한 가질 수 있다.
가상 요소 및 가상 요소의 제 2 좌표 범위가 발생될 수 있고, 가상 공간 내 그 위치 및 배향이 산술 연산 유닛에 의해 제어될 수 있다. 가상 요소는 조이스틱 또는 터치스크린과 같은 입력 유닛을 이용한 입력의 함수로 제어될 수 있다. 출력 이미지로의 조합을 위해, 상기 제어되는 가상 요소가 이미지 데이터 전방의, 도는 실제 환경 전방의 평면 상에 디스플레이될 수 있다.
다른 형태에서, 증강 현실 시스템의 개선점은, 독립항인 청구항 제7항의 특징을 통해 설명된다. 다양한 구체예가 관련 설명에 포함된다.
따라서, 차량의 증강 현실 시스템이 제공된다.
증강 현실 시스템은 이미지 데이터 형태로 차량의 환경의 이미지를 레코딩하도록 구성될 수 있는 이미지 캡처 장치를 가질 수 있다.
증강 현실 시스템은 상기 이미지 캡처 장치에 연결될 수 있는 산술 연산 유닛을 가질 수 있다. 증강 현실 시스템은 상기 산술 연산 유닛에 연결될 수 있는 제어 유닛을 가질 수 있다. 증강 현실 시스템은 출력 이미지를 디스플레이하기 위한 용도로, 상기 제어 유닛에 연결될 수 있는 디스플레이를 가질 수 있다.
산술 연산 유닛은 상기 이미지 데이터로부터 가상 공간을 결정하도록 구성될 수 있다. 산술 연산 유닛은 상기 이미지 데이터 내에서 실제 물체를 검출하도록 구성될 수 있다. 산술 연산 유닛은 가상 공간 내에서 실제 물체의 제 1 좌표 범위를 결정하도록 구성될 수 있다. 산술 연산 유닛은 상기 3차원 가상 공간에 제 2 좌표 범위를 갖는 가상 요소를 추가하도록 구성될 수 있다. 산술 연산 유닛은 사용자 입력에 기초하여 상기 제어 유닛을 이용하여 상기 가상 공간 내에서 상기 가상 요소의 제 2 좌표 범위를 제어하도록 구성될 수 있다.
산술 연산 유닛은 상기 출력 이미지 내에서 제어되는 가상 요소와 환경을 조합하도록 구성될 수 있고, 상기 실제 물체의 제 1 좌표 범위와 상기 제어되는 가상 요소의 제 2 좌표 범위가 교차 영역을 형성할 때, 출력 이미지를 수정하도록 구성될 수 있다.
일 실시예에서, 증강 현실 시스템은 차량의 인포테인먼트 시스템으로 구현될 수 있고, 상기 인포테인먼트 시스템은 예를 들어, 케이블을 통해, 이미지 캡처 장치에 연결된다.
이미지 캡처 시스템은 이미지 데이터를 레코딩하기 위한 광학 시스템일 수 있다. 이미지 캡처 장치는 복수의 카메라, 예를 들어, CMOS 또는 CCD 카메라를 가질 수 있다. 카메라는 입체 레코딩용으로 배치될 수 있다. 산술 연산 유닛은 프로세서, 특히 CPU 또는 DSP일 수 있다.
제어 유닛은 입력 회로를 가질 수 있다. 조이스틱 또는 터치스크린 또는 게임패드가 입력 회로에 연결될 수 있다. 디스플레이는 특히, 유리창에, 출력 이미지를 투영하기 위한 프로젝터, 또는 LCD 디스플레이일 수 있다.
아래 설명되는 실시예는 이러한 방법 및 증강 현실 시스템 모두에 관련된다.
일 실시예에 따르면, 가상 요소는 가상 공간의 3차원에서 제어될 수 있다. 가상 공간 내에서 - 가상 비행기같은 - 가상 비행 요소를 제어할 수 있다. 예를 들어, 공을 던지는 것과 같은, 탄도 궤적을 가상 요소를 이용하여 제어할 수도 있다. 대안으로서, 제어되는 가상 요소는 예를 들어, 경주 게임의, 가상 차량일 수 있다.
일 실시예에서, 가상 공간은 환경 내 교통로의 기하 구조에 기초하여 3차원적으로 결정될 수 있다. 거리는 교통로로 도로의 기하 구조에 기초하여 확인될 수 있고, 검출되는 물체는 가상 공간 내 확인된 거리에 배치될 수 있다.
일 실시예에 따르면, 출력 이미지는 실제 물체의 물체 이미지 데이터를 가상 물체로 보완하거나(supplement), 또는 가상 물체로 대체함으로써, 수정될 수 있다. 가상 물체는 예를 들어, 검은 점 형태의 히트 마커를 디스플레이할 수 있다.
출력 이미지는 실제 물체의 물체 이미지 데이터로부터 가상 물체를 발생시킴으로써, 그리고, 출력 이미지에 가상 물체를 출력함으로써, 수정될 수 있다. 실제 물체와 똑같이 보이는, 가상 물체는 가상 공간 내 궤도를 따라 비행할 수 있고, 복수의 부분으로 나누어질 수 있다.
일 실시예에서, 가상 공간 내의 관찰자 위치는 관찰자 위치에 이미지 데이터 및 가상 요소를 적응시킴으로써 제어될 수 있다. 관찰자 위치는 운전자의 시각으로부터 또는 승객의 시각으로부터 제어될 수 있다. 관찰자 위치를 차량 위에 배치하고 차량 자체를 출력 이미지에 가상 물체로 추가하는 것이 또한 가능하다.
앞서 설명한 실시예는 개별적으로도, 그리고 조합하여서도, 특히 유리하다. 모든 실시예는 서로 조합될 수 있다. 일부 가능한 조합은 도면 내 예시적인 실시예의 설명에 설명된다. 그러나, 이러한 실시예들을 조합하기 위해 설명되는 이러한 가능성들은 최종적인 것이 아니다.
발명은 도면에 도시되는 예시적인 실시예에 기초하여 아래에서 더욱 상세하게 설명된다.
발명은 도면에 도시되는 예시적인 실시예에 기초하여 아래에서 더욱 상세하게 설명된다.
도면에서, 도 1은 차량에 증강 현실을 발생시키기 위한 방법의 개략도를 도시하고,
도 2는 증강 현실 시스템의 개략도를 도시하며,
도 3a 및 도 3b는 출력 이미지의 개략도를 도시하고,
도 4는 종래 기술에 따른 증강 현실 시스템의 개략도를 도시한다.
도 1은 차량에 증강 현실을 발생시키기 위한 방법의 개략도를 도시한다. 이 방법은 비디오 게임의 구현예에 대해 아래에서 설명된다. 비디오 게임에 대한 기술적 요건은, 예를 들어, 후석 시트의 승객을 위한 비디오 게임을 제공하기 위해, 차량 내에 구축될 수 있다. PC 및 콘솔 상에서 가용한 종래의 2차원 및 3차원 게임에 비교할 때, 실제 현실과의 혼합이 도 1의 순서도에서 달성될 수 있다. 차량의 환경은 현 게임 이벤트 내에 통합될 수 있다. 소위 1인칭 슈팅(first-person shooter) 게임은 완전히 연산된, 3차원 공간에, 예를 들어, 헤드-업 디스플레이(71) 상에, 이미지 및 사운드를 나타낼 수 있다.
도 1의 순서도에서, 제 1 단계(10)에서 첫 번째로, 복수의 카메라의 도움으로 차량의 환경으로부터 이미지 데이터(11)가 레코딩될 수 있다. 복수의 실제 물체(24, 25, 26, 27)가 제 2 단계(20)에서 인지 알고리즘의 도움으로 이미지 데이터(11)에서 인지될 수 있다. 추가적으로, 이 환경은 예를 들어, 교통로의 코스(32)와 같은 기하구조에 기초하여 검출될 수 있다. 다른 센서, 예를 들어, 근접 레이다 시스템에 기초하여 환경을 결정할 수도 있다. 차량의 현 위치 및 도로 데이터에 기초하여 환경을 결정할 수도 있다. 현 위치는 예를 들어, GPS 위성 신호의 도움으로 결정될 수 있다.
제 3 단계(30)에서, 3차원 가상 공간(31)이, 결정된 환경 및 검출된 물체(24, 25, 26, 27)로부터 발생될 수 있다. 3차원 가상 공간(31)은 3차원 가상 공간(31)을 얻기 위해, 예를 들어, 이미지 데이터 처리의 도움으로, 평가되는 측정 데이터에 기초할 수 있다.
제 4 단계(40)에서, 복수의 가상 물체(52, 53)가 3차원 가상 공간(31)에 추가되어 가상 현실(41)을 형성할 수 있다. 가상 물체(52, 53) 중 적어도 하나는 가상 공간(31) 내에서 제어되는 가상 요소(52)일 수 있다. 일 실시예에서, 도 1에서, 제어되는 가상 요소는, 사용자에 의해 제어될 수 있는 가상 공간(31) 내의 위치를 갖는 십자선으로 구체화될 수 있다. 제 5 단계(50)는 사용자 입력(50)일 수 있다. 도 1의 일 실시예에서, 사용자의 상호작용은 조이스틱(51)을 통한 입력에 기초하여 연산될 수 있다. 대안으로서, 또는 조합하여, 예를 들어, 마우스, 터치스크린, 또는 제스처를 통한 입력과 같은, 다른 입력이 가능하다.
제 6 단계(60)에서, 현실의 레코딩된 이미지 데이터(11)는 가상 현실(41)과 조합되어 출력 이미지(61)를 형성할 수 있다. 출력 이미지(61)는 레코딩된 이미지 데이터(11)를 포함한 렌더링에 의해 형성될 수 있다. 출력 이미지(61)에서, 레코딩된 이미지 데이터(11) 및 가상 현실(41)의 혼합은 예를 들어, 사용자 또는 프로그램에 의해, 제어가능하다. 출력 이미지(61) 내 차량의 주변을 단순화시키거나 변경시키는 것이 가능하다. 예를 들어, 집은 원래 위치에 놓일 수 있지만, 외양은, 예를 들어, 흉가로, 변한다.
도 1의 일 실시예에서, 출력 이미지(61)는 디스플레이 고글(71)의 도움으로 출력될 수 있다. 현실의 레코딩된 이미지 데이터(11)를 가상 현실(41)과 조합하기 위해, 복수의 가상 요소/물체(52, 53, 56)가 이미지 데이터(11)의 전방에서 일 평면 상에 디스플레이될 수 있고, 따라서, 이미지 데이터(11)를 부분적으로 덮는다. 검출되는 물체(24, 25, 26, 27) 뒤에 일시적으로 복수의 가상 물체(56)를 적어도 부분적으로 가리는 것이 또한 가능하다. 가려진 가상 물체(56)의 모습은 예를 들어, 위치 변화, 및/또는, 관찰자의 관찰 각도의 변화, 및/또는, 가려진 가상 물체(56)의 움직임, 및/또는, 검출된 물체(24, 25, 26, 27)의 움직임 이후에만 가능할 수 있다.
검출되는 물체(24, 25, 26, 27)와의 상호작용을 가능하게 하기 위해, 출력 이미지(61)는 실제 물체(24, 25, 26, 27)의 제 1 좌표 범위와, 제어되는 가상 요소(52)의 제 2 좌표 범위가 교차 영역을 형성할 때, 수정될 수 있다. 도 1의 일 실시예에서, 제어되는 가상 요소(52)는 가상 공간(41)에서 사용자에 의해 배치될 수 있는 십자선(52)을 가질 수 있다. 제어되는 가상 요소(52)는 사용자 입력(50)의 함수로 가상 공간(41) 내에 탄도 궤적으로 던져지는 가상 공을 더 가질 수 있다. 던지는 위치 및/또는 던지는 방향 및/또는 던지는 동력이 제어될 수 있다. 가상 공이 검출되는 물체(24)에 충돌할 경우, 이러한 충돌이 표시될 수 있다. 충돌은 가상 물체(56)를 디스플레이함으로써 표시될 수 있다.
사용자는 가상 현실(41)의 도움으로 출력 이미지(61) 내에서 작용하도록 구현될 수 있고, 특히, 검출되는 물체(24, 25, 26, 27)와 상호작용하도록 구현될 수 있다. 상호작용은 게임 아이디어에 기초하여 설명될 수 있고, 그 목적은 가상 공을 이용하여 소정의 도로 표지를 충격하는 것이다. 전체 환경은 차량의 복수의 카메라의 도움으로 360도 각도로 레코딩되고, 신호 처리를 이용하여 결합 환경으로 조합된다. 이 환경에서, 도로 표지가 검출될 수 있고 그 위치가 가상 공간(31) 내에서 결정될 수 있다. 가상 현실(41)의 도움으로, 도로 표지는 광학적으로 수정될 수 있고, 또는, 임의의 방식으로 특별히 강조될 수 있다. 그 결과는 디스플레이 유닛(71) 상에서 사용자에게 제공되는 비디오 데이터 스트림이다. 이제 사용자는, 입력 장치(51)를 통해 십자선(52)을 제어하고 도로 표지를 목표로 하는 옵션을 갖는다. 입력 장치(51) 상의 슈팅 기능은 가상 공을 릴리스시키고, 이는 도로 표지를 향해 날아서 도로 표지를 충격하거나 빗나간다. 이는 가상 십자선(52) 및 가상 공(도 1에 도시되지 않음)이 이미지 데이터(11) 상에 중첩되어 그 안네 디스플레이됨을 의미한다. 가상 현실(41)의 사용은 임의의 게임 상황, 게임 아이디어, 디스플레이 유닛, 및 입력 장치로 확장될 수 있다. 애플리케이션 및 하드웨어는 예를 들어, 차량의 후석 시트 시스템 내에 통합될 수 있다.
도 2는 차량의 증강 현실 시스템(200)의 일 실시예의 개략적 표현을 도시한다. 증강 현실 시스템(200)은 이미지 데이터(11)의 형태로 차량의 환경을 레코딩하도록 구성될 수 있는 이미지 캡처 장치(210)를 갖는다.
증강 현실 시스템(200)은 이미지 캡처 장치(210)에 연결될 수 있는 산술 연산 유닛(220)을 갖는다. 추가적으로, 증강 현실 시스템(200)은 산술 연산 유닛(220)에 연결될 수 있는, 그리고 사용자 입력(50)을 가능하게 하는, 제어 유닛(230)을 가질 수 있다. 도 2의 제어 유닛(230)은 게임패드(230), 또는 터치 감지식 표면(230) 또는 카메라(230), 등일 수 있다.
증강 현실 시스템(200)은 출력 이미지(61)를 디스플레이하기 위한 용도로 제어 유닛(230)에 연결될 수 있는 디스플레이(240)를 가질 수 있다. 도 2의 일 실시예는 디스플레이(240)가 고정 디스플레이 유닛없이 발생될 수 있도록 가상 현실(41)의 효과 증가를 제공한다. 이는 3차원 고글 종류를 이용하여 가능하다. 이를 위해, 헤드의 회전은 헤드 트랙커(head tracker)를 이용하여 검출될 수 있고, 비디오 콘텐트는 머리 배향에 적응될 수 있다. 따라서, 자신이 차량 윈도를 내다본 것처럼 그리고 가상 현실이 해당 지점에서 현실 내로 직접 통합된 것처럼 사용자에게 보인다. 바이노럴 기술(binoral technology) 및 헤드 트랙커를 이용하여 음향이 조정될 수 있다.
일 실시예에서, 디스플레이(204)는 차량의 창유리에 투영함으로써 구현된다. 차량의 창유리에 투영될 수 있는 출력 이미지(61)는 소정의 각도로부터만 볼 수 있다. 따라서 운전자는 방해받지 않고 운전할 수 있고, 후석 시트의 사용자는 차량 윈도 상의 가상 현실(41)을 여전히 얻을 수 있으며, 이에 따라, 가상 현실(41) 및 환경의 조합이, 이미지 데이터(11)가 혼합용으로 사용되지 않으면서, 게임 요소와 현실의 중첩으로 발생될 수 있다. 본 실시예는 후석 시트 시스템에 또한 사용될 수 있다.
일 실시예가 도 3a 및 도 3b에 설명되며, 증강 현실 시스템의 기능은 운전자를 보조하는 데 사용된다. 도 3a는 도로 표지(28)가 이미지 데이터 내에 실제 물체(28)로 도시될 수 있는 출력 이미지(62a)를 도시한다. 커서(54)는 운전자에 의해 제어될 수 있는 가상 요소(54)일 수 있다. 도 3a는 실제 물체(28)의 제 1 좌표 범위와 제어되는 가상 요소(54)의 제 2 좌표 범위가 교차 영역을 형성함을 보여준다. 출력 이미지(62b)는 도 3b에 도시되는 바와 같이 이에 따라 수정될 수 있다. 가상 물체(55)는 운전자에게 간단하게 저장된 정보를 제공하기 위해, 포그라운드(foreground)에 일시적으로 디스플레이될 수 있다. 가상 물체(55)는 물체(28)에 속한 이미지 데이터의 일부분으로부터 발생될 수 있다.
발명은 도 1 내지 도 3b에 도시되는 실시예에 제한되지 않는다. 예를 들어, 사람 등과 같은, 차량의 환경 내 다른 물체를 검출할 수 있다. 마찬가지로, 가상 물체 및 사용자 입력에 의한 상호작용 타입은 가까이에 있는 요건에 적응될 수 있다. 도 2에 따른 증강 현실 시스템(200)의 기능은 차량의 인포테인먼트 시스템(infotainment system)에 특히 유리하게 사용될 수 있다.
10, 20, 30, 40, 50, 60, 70 단계
11 이미지 데이터
24, 25, 26, 27, 28 실제 물체
31 가상 공간
32 교통로 기하구조
41 가상 현실
52, 53, 54 제어되는 가상 물체
55, 56 가상 물체
61, 62a, 62b 출력 이미지
71, 240 디스플레이
200 증강 현실 시스템
210 이미지 캡처 장치
220 산술 연산 유닛
230, 51 제어 유닛

Claims (7)

  1. 차량의 디스플레이를 이용하여 증강 현실을 발생시키기 위한 방법에 있어서,
    - 이미지 데이터(11) 형태로 차량의 환경의 이미지를 레코딩하는 단계와,
    - 상기 이미지 데이터(11)로부터 3차원의 가상 공간(31)을 결정하는 단계와,
    - 상기 이미지 데이터(11) 내에서 실제 물체(24, 25, 26, 27, 28)를 검출하는 단계와,
    - 3차원 가상 공간(31)에서 실제 물체(24, 25, 26, 27, 28)의 제 1 좌표 범위를 결정하는 단계와,
    - 제 2 좌표 범위를 갖는 제1 가상 요소(52, 53, 54)를 상기 3차원 가상 공간(31)에 추가하는 단계와,
    - 사용자 입력(50)에 기초하여 상기 3차원 가상 공간(31) 내 제1 가상 요소(52, 53, 54)를 제어하는 단계와,
    - 출력 이미지(61, 62a, 62b) 내에 조합된 형태로 상기 환경 및 상기 제어되는 제1 가상 요소(52, 53, 54)를 출력하는 단계와,
    - 상기 실제 물체(24, 25, 26, 27, 28)의 제 1 좌표 범위와 상기 제어되는 제1 가상 요소(52, 53, 54)의 제 2 좌표 범위가 교차 영역을 형성할 때, 출력 이미지(61, 62a, 62b)를 수정하는 단계와,
    - 상기 차량의 디스플레이(71, 240)를 이용하여 상기 출력 이미지(61, 62a, 62b)를 출력하는 단계와,
    - 상기 실제 물체(24, 25, 26, 27, 28)와의 사용자의 의도된 상호작용을 나타내는 사용자 입력을 수신하는 단계와,
    - 상기 사용자의 의도된 상호작용을 나타내는 사용자 입력에 응답하여, 제2 가상 요소를 포함하도록 상기 출력 이미지를 수정하는 단계
    를 포함하는 차량의 디스플레이를 이용한 증강 현실 발생 방법.
  2. 제 1 항에 있어서,
    - 상기 제1 가상 요소(52, 53, 54)가 상기 3차원 가상 공간(31)에서 3차원적으로 제어되는
    차량의 디스플레이를 이용한 증강 현실 발생 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 3차원 가상 공간(31)은 교통로의 기하 구조(32)에 기초하여 3차원적으로 결정되는
    차량의 디스플레이를 이용한 증강 현실 발생 방법.
  4. 제 1 항 또는 제 2 항에 있어서,
    - 상기 출력 이미지(61, 62a, 62b)는 실제 물체(24, 25, 26, 27, 28)의 물체 이미지 데이터를 가상 물체(56)로 보완하거나, 또는, 가상 물체(56)로 대체함으로써, 수정되는
    차량의 디스플레이를 이용한 증강 현실 발생 방법.
  5. 제 1 항 또는 제 2 항에 있어서,
    - 상기 출력 이미지(62a)는 실제 물체(28)의 물체 이미지 데이터로부터 가상 물체(55)를 발생시킴으로써, 그리고, 출력 이미지(62b) 내에 가상 물체(55)를 출력함으로써, 수정되는
    차량의 디스플레이를 이용한 증강 현실 발생 방법.
  6. 제 1 항 또는 제 2 항에 있어서,
    - 상기 3차원 가상 공간(31) 내의 사용자 위치는 상기 이미지 데이터(11) 및 상기 제어되는 제1 가상 요소(52, 53, 54)를 상기 사용자 위치에 적응시킴으로써 제어되는
    차량의 디스플레이를 이용한 증강 현실 발생 방법.
  7. 차량의 증강 현실 시스템(200)에 있어서,
    - 이미지 데이터(11) 형태로 차량의 환경의 이미지를 레코딩하도록 구성되는 이미지 캡처 장치(210)와,
    - 상기 이미지 캡처 장치(210)에 연결되는 산술 연산 유닛(220)과,
    - 상기 산술 연산 유닛(220)에 연결되는 제어 유닛(230)과,
    - 상기 산술 연산 유닛(220)에 연결되고, 출력 이미지(61, 62a, 62b)를 디스플레이하는, 디스플레이(71, 240)
    를 포함하며, 상기 산술 연산 유닛(220)은,
    - 상기 이미지 데이터(11)로부터 3차원 가상 공간(31)을 결정하도록 구성되고,
    - 상기 이미지 데이터(11) 내에서 실제 물체(24, 25, 26, 27, 28)를 검출하도록 구성되며,
    - 상기 3차원 가상 공간(31) 내에서 실제 물체(24, 25, 26, 27, 28)의 제 1 좌표 범위를 결정하도록 구성되고,
    - 상기 3차원 가상 공간(31)에 제 2 좌표 범위를 갖는 제1 가상 요소(52, 53, 54)를 추가하도록 구성되며,
    - 사용자 입력(50)에 기초하여 상기 제어 유닛(230)을 이용하여 상기 3차원 가상 공간(31) 내에서 상기 제1 가상 요소(52, 53, 54)의 제 2 좌표 범위를 제어하도록 구성되고,
    - 상기 출력 이미지(61, 62a, 62b) 내에서 상기 제어되는 제1 가상 요소(52, 53, 54)와 환경을 조합하도록 구성되며,
    - 상기 실제 물체(24, 25, 26, 27, 28)의 제 1 좌표 범위와 상기 제어되는 제1 가상 요소(52, 53, 54)의 제 2 좌표 범위가 교차 영역을 형성할 때, 출력 이미지(61, 62a, 62b)를 수정하도록 구성되고,
    - 상기 실제 물체(24, 25, 26, 27, 28)와의 사용자의 의도된 상호작용을 나타내는 사용자 입력을 수신하도록 구성되며,
    - 상기 사용자의 의도된 상호작용을 나타내는 사용자 입력에 응답하여, 제2 가상 요소를 포함하도록 상기 출력 이미지를 수정하도록 구성되는,
    차량의 증강 현실 시스템(200).
KR20120150379A 2011-12-21 2012-12-21 차량의 디스플레이를 이용한 증강 현실 발생 방법 및 시스템 KR101480994B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11010066.6A EP2608153A1 (en) 2011-12-21 2011-12-21 Method and system for playing an augmented reality game in a motor vehicle
EP11010066.6 2011-12-21

Publications (2)

Publication Number Publication Date
KR20130072172A KR20130072172A (ko) 2013-07-01
KR101480994B1 true KR101480994B1 (ko) 2015-01-09

Family

ID=45528871

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20120150379A KR101480994B1 (ko) 2011-12-21 2012-12-21 차량의 디스플레이를 이용한 증강 현실 발생 방법 및 시스템

Country Status (5)

Country Link
US (1) US9517415B2 (ko)
EP (1) EP2608153A1 (ko)
JP (1) JP5531086B2 (ko)
KR (1) KR101480994B1 (ko)
CN (1) CN103177470B (ko)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600933B2 (en) * 2011-07-01 2017-03-21 Intel Corporation Mobile augmented reality system
EP2608153A1 (en) * 2011-12-21 2013-06-26 Harman Becker Automotive Systems GmbH Method and system for playing an augmented reality game in a motor vehicle
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9613459B2 (en) * 2013-12-19 2017-04-04 Honda Motor Co., Ltd. System and method for in-vehicle interaction
US9756319B2 (en) * 2014-02-27 2017-09-05 Harman International Industries, Incorporated Virtual see-through instrument cluster with live video
WO2015161307A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CN106536004B (zh) * 2014-04-30 2019-12-13 惠普发展公司，有限责任合伙企业 增强的游戏平台
JP5812550B1 (ja) * 2014-10-10 2015-11-17 ビーコア株式会社 画像表示装置、画像表示方法及びプログラム
US9725040B2 (en) * 2014-10-28 2017-08-08 Nissan North America, Inc. Vehicle object detection system
IL236243A (en) * 2014-12-14 2016-08-31 Elbit Systems Ltd Visual enhancement of color icons is shown
US20160210383A1 (en) * 2015-01-21 2016-07-21 Ford Global Technologies, Llc Virtual autonomous response testbed
US10725297B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US9852546B2 (en) 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US10726625B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
DE102015207337B4 (de) 2015-04-22 2024-06-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Unterhaltung mindestens eines Insassen eines Kraftfahrzeugs
RU2597462C1 (ru) * 2015-07-17 2016-09-10 Виталий Витальевич Аверьянов Способ отображения объекта на пространственной модели
US10977865B2 (en) 2015-08-04 2021-04-13 Seyed-Nima Yasrebi Augmented reality in vehicle platforms
CN108028016B (zh) 2015-09-25 2022-05-17 苹果公司 增强现实显示系统
US10717406B2 (en) 2015-10-26 2020-07-21 Active Knowledge Ltd. Autonomous vehicle having an external shock-absorbing energy dissipation padding
US10710608B2 (en) 2015-10-26 2020-07-14 Active Knowledge Ltd. Provide specific warnings to vehicle occupants before intense movements
US11332061B2 (en) 2015-10-26 2022-05-17 Atnomity Ltd. Unmanned carrier for carrying urban manned vehicles
US9988008B2 (en) 2015-10-26 2018-06-05 Active Knowledge Ltd. Moveable internal shock-absorbing energy dissipation padding in an autonomous vehicle
US10059347B2 (en) 2015-10-26 2018-08-28 Active Knowledge Ltd. Warning a vehicle occupant before an intense movement
US10366290B2 (en) * 2016-05-11 2019-07-30 Baidu Usa Llc System and method for providing augmented virtual reality content in autonomous vehicles
US10692288B1 (en) * 2016-06-27 2020-06-23 Lucasfilm Entertainment Company Ltd. Compositing images for augmented reality
DE102016212687A1 (de) * 2016-07-12 2018-01-18 Audi Ag Verfahren zum Betreiben einer Anzeigeeinrichtung eines Kraftfahrzeugs
US10234937B2 (en) * 2016-10-07 2019-03-19 Panasonic Avionics Corporation Handset with virtual reality goggles
CN106658148B (zh) * 2017-01-16 2020-04-10 深圳创维－Rgb电子有限公司 Vr播放方法、vr播放装置及vr播放系统
JP6874448B2 (ja) * 2017-03-17 2021-05-19 株式会社デンソーウェーブ 情報表示システム
EP3392801A1 (en) * 2017-04-21 2018-10-24 Harman International Industries, Incorporated Systems and methods for driver assistance
CN107054660A (zh) * 2017-05-08 2017-08-18 佛山市神风航空科技有限公司 一种客机上的vr体验装置
US10560735B2 (en) 2017-05-31 2020-02-11 Lp-Research Inc. Media augmentation through automotive motion
JPWO2018230678A1 (ja) * 2017-06-16 2020-06-25 本田技研工業株式会社 車内演出装置、車内演出システム、車内演出方法、プログラムおよび指示計測装置
CN110741422A (zh) 2017-06-16 2020-01-31 本田技研工业株式会社 车辆及服务管理装置
US11794816B2 (en) 2017-06-16 2023-10-24 Honda Motor Co., Ltd. Automated driving vehicle
US10068620B1 (en) 2017-06-20 2018-09-04 Lp-Research Inc. Affective sound augmentation for automotive applications
CN109410338A (zh) * 2017-08-15 2019-03-01 中兴通讯股份有限公司 增强现实图像的生成方法、装置、增强现实眼镜及终端
CN111033574B (zh) * 2017-09-25 2024-05-10 利乐拉瓦尔集团及财务有限公司 为包装机生成虚拟覆盖物的方法
DE102017217923A1 (de) * 2017-10-09 2019-04-11 Audi Ag Verfahren zum Betrieb einer Anzeigeeinrichtung in einem Kraftfahrzeug
CN113786610B (zh) * 2018-02-11 2024-05-31 鲸彩在线科技（大连）有限公司 载具位置修正方法、装置、第二客户端、第二电子设备
DE102018203121B4 (de) * 2018-03-02 2023-06-22 Volkswagen Aktiengesellschaft Verfahren zur Berechnung einer AR-Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
US10755112B2 (en) * 2018-03-13 2020-08-25 Toyota Research Institute, Inc. Systems and methods for reducing data storage in machine learning
CN108543309B (zh) * 2018-04-03 2020-03-10 网易（杭州）网络有限公司 在增强现实中控制虚拟控制对象移动的方法、装置及终端
US10698206B2 (en) * 2018-05-31 2020-06-30 Renault Innovation Silicon Valley Three dimensional augmented reality involving a vehicle
US10469769B1 (en) 2018-07-30 2019-11-05 International Business Machines Corporation Augmented reality based driver assistance
US11823310B2 (en) * 2018-09-07 2023-11-21 Streem, Llc. Context-aware selective object replacement
EP3671533B1 (en) * 2018-12-19 2023-10-11 Audi Ag Vehicle with a camera-display-system and method for operating the vehicle
JP7326740B2 (ja) * 2018-12-28 2023-08-16 トヨタ紡織株式会社 空間提供システム
EP3706076B1 (en) * 2019-03-07 2021-02-24 Siemens Healthcare GmbH Method and device to determine the dimensions and distance of a number of objects in an environment
US11367192B2 (en) 2019-03-08 2022-06-21 Align Technology, Inc. Foreign object filtering for intraoral scanning
CN110641477B (zh) * 2019-09-19 2020-12-22 广州小鹏汽车科技有限公司 车辆内部环境的虚拟显示方法、装置和车辆
CN110852332B (zh) * 2019-10-29 2020-12-01 腾讯科技（深圳）有限公司 训练样本的生成方法、装置、存储介质及电子设备
KR102368427B1 (ko) * 2020-08-26 2022-03-02 도로교통공단 인공지능 알고리즘을 이용한 자율주행 동적운행 위험도 분석 및 평가 방법과, 이를 이용한 자율주행 평가시스템
CN112179331B (zh) * 2020-09-23 2023-01-31 北京市商汤科技开发有限公司 Ar导航的方法、装置、电子设备及存储介质
WO2022088103A1 (zh) * 2020-10-30 2022-05-05 华为技术有限公司 一种图像标定方法及装置
CN112633303A (zh) * 2020-12-18 2021-04-09 上海影创信息科技有限公司 限高画面变形检测方法和系统及车辆
CN116964637A (zh) 2021-03-08 2023-10-27 索尼集团公司 信息处理装置、信息处理方法、程序和信息处理系统
US11734909B2 (en) 2021-05-04 2023-08-22 Ford Global Technologies, Llc Machine learning
DE102022120134A1 (de) 2022-08-10 2024-02-15 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Bereitstellen eines Computerspiels in einem Fahrzeug
CN115610348A (zh) * 2022-10-12 2023-01-17 蔚来汽车科技(安徽)有限公司 增强现实及虚拟现实设备、车载系统以及车辆

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250273A (ja) * 1998-03-03 1999-09-17 Mitsubishi Electric Corp 画像合成装置
JP2005127995A (ja) * 2003-09-30 2005-05-19 Mazda Motor Corp 経路誘導装置、経路誘導方法及び経路誘導プログラム
JP5531086B2 (ja) * 2011-12-21 2014-06-25 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 自動車のディスプレイを用いた、拡張現実感を生成する方法及びシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1094337B1 (en) * 1999-10-21 2004-03-17 Matsushita Electric Industrial Co., Ltd. Parking assistance system
DE10341905A1 (de) * 2003-09-11 2005-05-12 Daimler Chrysler Ag Verfahren und Vorrichtung zur Ermittlung einer Position eines Kraftfahrzeugs auf einer Strasse
EP1521059A1 (en) 2003-09-30 2005-04-06 Mazda Motor Corporation Route guidance apparatus, method and program
US8585476B2 (en) * 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
DE602005013752D1 (de) 2005-05-03 2009-05-20 Seac02 S R L Augmented-Reality-System mit Identifizierung der realen Markierung des Objekts
JP5038307B2 (ja) * 2005-08-09 2012-10-03 トタル イメルシオン 実在環境内においてデジタルモデルを視覚化する方法、装置、及びコンピュータプログラム
JP2008108246A (ja) * 2006-10-23 2008-05-08 Internatl Business Mach Corp <Ibm> 閲覧者の位置に従って仮想画像を生成するための方法、システム、およびコンピュータ・プログラム
JP2008309529A (ja) * 2007-06-12 2008-12-25 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
DE102007051966A1 (de) * 2007-10-31 2009-05-07 Adc Automotive Distance Control Systems Gmbh Verfahren und Vorrichtung zur Erkennung des Verlaufs einer Fahrspur
US20100287500A1 (en) * 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
US20110080481A1 (en) * 2009-10-05 2011-04-07 Bellingham David W Automobile Rear View Mirror Assembly for Housing a Camera System and a Retractable Universal Mount
JP5499762B2 (ja) 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
US20110279446A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250273A (ja) * 1998-03-03 1999-09-17 Mitsubishi Electric Corp 画像合成装置
JP2005127995A (ja) * 2003-09-30 2005-05-19 Mazda Motor Corp 経路誘導装置、経路誘導方法及び経路誘導プログラム
JP5531086B2 (ja) * 2011-12-21 2014-06-25 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 自動車のディスプレイを用いた、拡張現実感を生成する方法及びシステム

Also Published As

Publication number Publication date
CN103177470A (zh) 2013-06-26
JP2013131222A (ja) 2013-07-04
EP2608153A1 (en) 2013-06-26
KR20130072172A (ko) 2013-07-01
CN103177470B (zh) 2016-12-07
JP5531086B2 (ja) 2014-06-25
US9517415B2 (en) 2016-12-13
US20130162639A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
KR101480994B1 (ko) 차량의 디스플레이를 이용한 증강 현실 발생 방법 및 시스템
CN110199325B (zh) 仿真系统、处理方法以及信息存储介质
JP7277451B2 (ja) レーシングシミュレーション
CN109478345B (zh) 模拟系统、处理方法及信息存储介质
EP2936240B1 (en) Infotainment system
US20140160162A1 (en) Surface projection device for augmented reality
JP6396027B2 (ja) プログラムおよびゲーム装置
US20160292924A1 (en) System and method for augmented reality and virtual reality applications
JP7560568B2 (ja) 仮想および拡張現実のためのシステムおよび方法
WO2018124280A1 (ja) シミュレーションシステム、画像処理方法及び情報記憶媒体
US11517821B2 (en) Virtual reality control system
US20150097719A1 (en) System and method for active reference positioning in an augmented reality environment
EP3106963B1 (en) Mediated reality
TW201541382A (zh) 顯示裝置檢視者的凝視吸引
CN104883554A (zh) 具有直播视频的虚拟透视仪器群集
GB2376397A (en) Virtual or augmented reality
JP2008040556A (ja) 複合現実感提示装置及びその制御方法、プログラム
WO2015048890A1 (en) System and method for augmented reality and virtual reality applications
US20200012335A1 (en) Individual visual immersion device for a moving person with management of obstacles
CN112104857A (zh) 图像生成系统、图像生成方法及信息存储介质
KR20160090042A (ko) 3d hmd를 활용한 아케이드 게임시스템
JPH09138637A (ja) 模擬視界装置
JP2021126454A (ja) ゲームシステム
JP2017086542A (ja) 画像変更システム、方法、及びプログラム
JP6918189B2 (ja) シミュレーションシステム及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 6