KR20190021496A - 차량의 적어도 하나의 기능을 제어하기 위해 위치 또는 이동 정보를 제공하기 위한 방법 및 시스템 - Google Patents

차량의 적어도 하나의 기능을 제어하기 위해 위치 또는 이동 정보를 제공하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20190021496A
KR20190021496A KR1020197005442A KR20197005442A KR20190021496A KR 20190021496 A KR20190021496 A KR 20190021496A KR 1020197005442 A KR1020197005442 A KR 1020197005442A KR 20197005442 A KR20197005442 A KR 20197005442A KR 20190021496 A KR20190021496 A KR 20190021496A
Authority
KR
South Korea
Prior art keywords
vehicle
camera
mobile device
image
location
Prior art date
Application number
KR1020197005442A
Other languages
English (en)
Inventor
토마스 알트
레징 왕
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20190021496A publication Critical patent/KR20190021496A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D23/00—Control of temperature
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D25/00—Control of light, e.g. intensity, colour or phase
    • G05D25/02—Control of light, e.g. intensity, colour or phase characterised by the use of electric means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

차량 좌표 시스템이 제공된 차량의 적어도 하나의 기능을 제어하기 위해 위치 정보를 제공하기 위한 방법은, 모바일 디바이스의 카메라에 의해 캡처된 차량의 적어도 일부분의 적어도 하나의 이미지와 연관된 이미지 정보를 수신하는 단계 - 모바일 디바이스는 차량과는 분리되어 있음 -, 적어도 하나의 이미지와 연관된 이미지 정보에 따라 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 판정하는 단계, 및 위치에 따라 차량의 적어도 하나의 기능을 제어하도록 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 나타내는 위치 정보를 제공하는 단계를 포함한다. 이동에 따라 차량의 적어도 하나의 기능을 제어하도록 차량 좌표 시스템에 대한 모바일 디바이스와 연관된 이동을 나타내는 이동 정보를 제공하는 방법 및 시스템이 또한 제공된다.

Description

차량의 적어도 하나의 기능을 제어하기 위해 위치 또는 이동 정보를 제공하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR PROVIDING POSITION OR MOVEMENT INFORMATION FOR CONTROLLING AT LEAST ONE FUNCTION OF A VEHICLE}
차량에 부착된 카메라용 기준 평면(ground plane)에 대한 카메라 위치들의 자가 교정은 알려져 있다. 차량 내의 점유 아이템에 관한 정보를 획득하는 것이 또한 알려져 있다. 예를 들어, 차량에서 점유 아이템이 위치될 수 있는 영역의 이미지들은 이미지들 내의 아이템을 분류하기 위해 훈련된 신경망을 채용한다. 그러나, 차량에 디스플레이 디바이스를 장착하고 그에 기초하여 차량의 기능을 제어할 필요가 있다.
본 발명의 목적은 위치 또는 이동에 기초하여 사용자가 차량의 적어도 하나의 기능을 제어하는 데 적절한 정보를 제공할 수 있게 하는 방법 및 시스템을 제공하는 것이다.
제1 태양에 따르면, 차량 좌표 시스템이 제공된 차량의 적어도 하나의 기능을 제어하기 위해 위치 정보를 제공하기 위한 방법이 제공되는데, 방법은, 모바일 디바이스의 카메라에 의해 캡처된 차량의 적어도 일부분의 적어도 하나의 이미지와 연관된 이미지 정보를 수신하는 단계 - 모바일 디바이스는 차량과는 분리되어 있음 -, 적어도 하나의 이미지와 연관된 이미지 정보에 따라 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 판정하는 단계, 및 위치에 따라 차량의 적어도 하나의 기능을 제어하도록 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 나타내는 위치 정보를 제공하는 단계를 포함한다.
본 발명은, 유리하게도, 최신 차량들이 흔히, 예컨대 차량에 대한 공지된 위치에서 차량의 내부에 그리고 차량 내에 앉아 있는 운전자들 및/또는 승객들을 향해서 장착된 디스플레이 디바이스를 포함하고, 모바일 폰 또는 태블릿 컴퓨터와 같은 개인 모바일 디바이스가 흔히 카메라를 포함한다는 사실을 활용할 수 있다.
본 발명에 따르면, 차량의 적어도 하나의 기능은 카메라를 포함하는 모바일 디바이스와 연관된 판정된 위치에 기초하여 제어될 수 있는데, 이러한 위치는 카메라를 사용하여 차량의 일부분의 적어도 하나의 이미지를 캡처함으로써 판정된다. 예를 들어, 차량의 캡처된 부분은 차량에 장착된 디스플레이 디바이스 상에 디스플레이된 시각적 콘텐츠를 포함한다. 이러한 방식으로, 본 발명은 판정된 위치에 기초하여 사용자가 차량의 적어도 하나의 기능을 제어하기 위한 차량 내부의 위치를 판정할 수 있게 하는 방법 및 시스템을 제공한다. 예를 들어, 차량의 음향 시스템, 조명 시스템, 및/또는 공기 조절의 기능은 모바일 디바이스의 위치에 따라 제어될 수 있다.
이러한 목적을 위해, 일 실시예에 따르면, 본 발명은, 예를 들어 차량에 장착된 디스플레이 디바이스, 모바일 디바이스의 카메라, 및 모바일 디바이스의 카메라에 의해 캡처된, 디스플레이 디바이스 상에 디스플레이된 시각적 콘텐츠들의 이미지들을 이용함으로써 차량의 좌표 시스템 내의 모바일 디바이스의 위치를 판정하는 것을 제안한다. 또한, 차량의 적어도 하나의 기능은 판정된 위치에 기초하여 제어된다. 예를 들어, 기능은 음향 시스템, 주변광 시스템, 공기 조절 시스템, 또는 이들의 조합과 같은 차량의 서브시스템에 관련된다.
일 실시예에 따르면, 방법은 차량 좌표 시스템 내의 차량의 적어도 일부분의 위치를 제공하거나 수신하는 단계를 추가로 포함한다.
일 실시예에 따르면, 차량의 적어도 일부분은 차량에 장착된 디스플레이 디바이스 상에 디스플레이된 시각적 콘텐츠를 포함한다.
일 실시예에 따르면, 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 판정하는 것은, 적어도 하나의 이미지와 연관된 이미지 정보에 따라 적어도 하나의 이미지를 캡처할 때, 차량의 적어도 일부분에 대한 카메라의 카메라 위치를 판정하는 것, 및 카메라 위치 및 차량 좌표 시스템 내의 차량의 적어도 일부분의 위치에 따라 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 판정하는 것을 포함한다.
추가 실시예에 따르면, 적어도 하나의 이미지는 제1 이미지이고, 카메라는 제1 카메라이며, 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 판정하는 것은, 모바일 디바이스의 제2 카메라에 의해 캡처된 차량의 적어도 일부분의 제2 이미지와 연관된 이미지 정보를 수신하는 것, 및 제1 이미지 및 제2 이미지와 연관된 이미지 정보에 따라 차량의 적어도 일부분의 모델을 재구성하는 것을 포함한다.
추가 개선예에서, 방법은, 모바일 디바이스의 제3 카메라에 의해 캡처된 제3 이미지와 연관된 이미지 정보를 수신하는 단계 - 제3 이미지는 재구성된 모델의 적어도 일부분에 의해 표현된 차량의 적어도 일부분을 캡처하고 있음(차량의 이러한 적어도 일부분은 상기에 언급된 차량의 적어도 일부분과는 상이할 수 있지만; 차량의 적어도 일부분은 재구성된 모델 내에 포함됨) -, 재구성된 모델의 적어도 일부분 및 제3 이미지와 연관된 이미지 정보에 따라 제3 이미지를 캡처할 때, 재구성된 모델에 대한 제3 카메라의 카메라 위치를 판정하는 단계, 및 제3 카메라의 카메라 위치에 따라 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 판정하는 단계를 추가로 포함한다.
일 실시예에 따르면, 방법은, 제1 이미지와 연관된 이미지 정보의 적어도 일부분에 따라 제1 이미지를 캡처할 때, 차량의 적어도 일부분에 대한 제1 카메라의 카메라 위치를 판정하는 단계, 및 제2 이미지와 연관된 이미지 정보의 적어도 일부분에 따라 제2 이미지를 캡처할 때, 차량의 적어도 일부분에 대한 제2 카메라의 카메라 위치를 판정하는 단계를 추가로 포함한다.
추가 개선예에 따르면, 차량의 적어도 일부분은 차량의 제1 부분이며, 방법은 모바일 디바이스의 제4 카메라에 의해 캡처된 제4 이미지와 연관된 이미지 정보를 수신하는 단계 - 제4 이미지는 차량의 제1 부분의 적어도 일부분 및 차량의 적어도 제2 부분을 캡처하고 있음 -, 및 차량의 제1 부분 및 차량의 제2 부분을 포함하도록 재구성된 모델을 확장하는 단계를 추가로 포함한다.
바람직하게는, 재구성된 모델은, 적어도, 차량의 적어도 일부분의 깊이 정보를 묘사한다.
일 실시예에 따르면, 제1 카메라, 제2 카메라, 제3 카메라, 및 제4 카메라 중 적어도 2개는 동일한 카메라이다.
다른 실시예에 따르면, 제1 카메라, 제2 카메라, 제3 카메라, 및 제4 카메라 중 적어도 2개는 상이한 카메라들이다.
일 실시예에 따르면, 적어도 하나의 기능은, 차량의 음향 시스템, 차량의 주변광 시스템, 및 차량의 공기 조절 시스템 중 적어도 하나에 관련되고 위치에 따라 제어되는 기능이다.
제1 태양에 따르면, 차량 좌표 시스템이 제공된 차량의 적어도 하나의 기능을 제어하기 위해 위치 정보를 제공하기 위한 시스템이 또한 제공되는데, 시스템은, 모바일 디바이스의 카메라에 의해 캡처된 차량의 적어도 일부분의 적어도 하나의 이미지와 연관된 이미지 정보를 수신하도록 구성된 제1 프로세싱 디바이스 - 모바일 디바이스는 차량과는 분리되어 있고, 제1 프로세싱 디바이스는 적어도 하나의 이미지와 연관된 이미지 정보에 따라 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 판정하도록 구성됨 -, 및 위치에 따라 차량의 적어도 하나의 기능을 제어하기 위해 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 나타내는 위치 정보를 제공하도록 구성된 제2 프로세싱 디바이스를 포함한다.
제2 태양에 따르면, 차량 좌표 시스템이 제공된 차량의 적어도 하나의 기능을 제어하기 위해 이동 정보를 제공하기 위한 시스템이 제공되는데, 시스템은, 모바일 디바이스의 적어도 하나의 카메라에 의해 캡처된 적어도 2개의 이미지들과 연관된 이미지 정보를 수신하도록 구성된 제1 프로세싱 디바이스 - 모바일 디바이스는 차량과는 분리되어 있고, 적어도 2개의 이미지들 각각은 차량의 적어도 일부분을 캡처하고 있고, 제1 프로세싱 디바이스는 적어도 2개의 이미지들과 연관된 이미지 정보에 따라 차량 좌표 시스템에 대한 모바일 디바이스와 연관된 이동을 판정하도록 구성됨 -, 및 이동에 따라 차량의 적어도 하나의 기능을 제어하기 위해 차량 좌표 시스템에 대한 모바일 디바이스와 연관된 이동을 나타내는 이동 정보를 제공하도록 구성된 제2 프로세싱 디바이스를 포함한다.
하기의 실시예들뿐 아니라 본 명세서에 기술되는 다른 실시예들은 제1 태양 및 제2 태양 양측 모두와 관련하여 동등하게 적용가능하다.
일 실시예에 따르면, 제1 프로세싱 디바이스 및 제2 프로세싱 디바이스는 동일한 프로세싱 디바이스이다.
일 실시예에 따르면, 제1 프로세싱 디바이스 및 제2 프로세싱 디바이스 중 적어도 하나는 모바일 디바이스 내에 포함된다. 다른 실시예에 따르면, 제1 프로세싱 디바이스 및 제2 프로세싱 디바이스 중 적어도 하나는 차량 내에 포함된다. 추가 실시예에 따르면, 제1 프로세싱 디바이스 및 제2 프로세싱 디바이스 중 적어도 하나는 모바일 디바이스 및 차량과 통신하는 컴퓨터 디바이스 내에 포함된다.
제2 태양에 따르면, 차량 좌표 시스템이 제공된 차량의 적어도 하나의 기능을 제어하기 위해 이동 정보를 제공하기 위한 방법이 또한 제공되는데, 방법은, 모바일 디바이스의 적어도 하나의 카메라에 의해 캡처된 적어도 2개의 이미지들과 연관된 이미지 정보를 수신하는 단계 - 모바일 디바이스는 차량과는 분리되어 있고, 적어도 2개의 이미지들 각각은 차량의 적어도 일부분을 캡처하고 있음 -, 적어도 2개의 이미지들과 연관된 이미지 정보에 따라 차량 좌표 시스템에 대한 모바일 디바이스와 연관된 이동을 판정하는 단계, 및 이동에 따라 차량의 적어도 하나의 기능을 제어하도록 차량 좌표 시스템에 대한 모바일 디바이스와 연관된 이동을 나타내는 이동 정보를 제공하는 단계를 포함한다.
일 실시예에 따르면, 차량 좌표 시스템에 대한 모바일 디바이스와 연관된 이동은 차량 좌표 시스템 내의 모바일 디바이스와 연관된 2개의 위치들에 따라 판정될 수 있다. 모바일 디바이스와 연관된 2개의 위치들은 각각 적어도 2개의 이미지들과 연관된 이미지 정보에 따라 판정될 수 있다. 적어도 2개의 이미지들 각각에 캡처된 차량의 적어도 일부분은 공통 부분들을 가질 수 있거나, 또는 상이할 수 있다.
추가 실시예에 따르면, 차량 좌표 시스템에 대한 모바일 디바이스와 연관된 이동은 적어도 2개의 이미지들을 캡처하는 동안의 적어도 하나의 카메라의 2개의 카메라 위치들에 따라 판정될 수 있다.
모바일 디바이스와 연관된 위치들을 판정하는 것에 관련된 제1 태양에 관해 전술된 또는 하기에 기술되는 본 발명의 태양들 및 실시예들은 모바일 디바이스와 연관된 이동을 판정하는 것에 관련된 제2 태양에도 또한 동등하게 적용될 수 있다.
일 실시예에 따르면, 차량 좌표 시스템에 대한 모바일 디바이스와 연관된 이동은 적어도 2개의 이미지들 각각에 캡처된 차량의 적어도 일부분의 이미지 위치들에 따라 판정될 수 있다. 이것은 적어도 2개의 이미지들 각각에 캡처된 차량의 적어도 일부분이 동일하거나 또는 공통 부분들을 가질 것을 요구한다. 그러나, 이것은 차량 좌표 시스템 내의 차량의 적어도 일부분의 공지된 위치들을 요구하지 않는다.
본 발명에 따르면, 차량의 적어도 하나의 기능은 모바일 디바이스와 연관된 판정된 이동에 기초하여 제어될 수 있다. 예를 들어, 차량의 음향 시스템, 조명 시스템, 및/또는 공기 조절의 기능은 모바일 디바이스의 이동에 따라 제어될 수 있다. 이동은 음향 시스템의 음량을 변경하는 데 이용될 수 있다. 조명 시스템은 모바일 디바이스의 판정된 이동에 따라 현재 조명된 위치를 새로운 조명된 위치로 변경할 수 있다. 예를 들어, 판정된 이동은 현재 조명된 위치로부터 새로운 조명된 위치까지 얼마나 떨어져 있는지 한정할 수 있다. 다른 예에서, 판정된 이동은 조명 시스템이 회전에 따라 현재 조명 방향으로부터 새로운 조명 방향으로 회전할 수 있도록 회전을 한정할 수 있다.
바람직하게는, 모바일 디바이스는 핸드헬드 디바이스, 예컨대 모바일 폰, 태블릿 컴퓨터, 또는 모바일 컴퓨터이다.
예를 들어, 차량의 적어도 일부분은 차량의 제조자에 의해 제공될 수 있는 차량 좌표 시스템 내의 위치를 갖는다.
이미지에 캡처된 차량의 적어도 일부분은 차량의 임의의 물리적인 부분일 수 있다. 차량의 적어도 일부분은 차량에 장착된 디스플레이 디바이스 또는 디스플레이 디바이스의 일부분을 포함할 수 있다. 차량의 적어도 일부분은 디스플레이 디바이스 상에 디스플레이된 하나 이상의 시각적 콘텐츠들을 추가로 포함할 수 있다.
디스플레이 디바이스는 정보를 시각적으로 제시하기 위한 디바이스이다. 디스플레이 디바이스는 음극선관(Cathode ray tube, CRT), 발광 다이오드 디스플레이(Light-emitting diode display, LED), 및 액정 디스플레이(Liquid crystal display, LCD)와 같은 임의의 디스플레이하는 기술들 또는 재료들에 기초할 수 있다. 디스플레이 디바이스는 2차원 평면 디스플레이 또는 곡선 형상을 갖는 디스플레이를 포함할 수 있다. 디스플레이 디바이스는 또한 다수의 평면 서브디스플레이들을 포함하는 접이식 디스플레이 디바이스일 수 있는데, 각각의 서브디스플레이들은 다른 서브디스플레이들과 함께 이동될 수 있다.
디스플레이 디바이스는 차량에 장착될 수 있다. 차량 내에 앉아 있는 운전자들 및/또는 승객들의 눈들을 향해서 장착되어, 운전자들 및/또는 승객들이 디스플레이 디바이스 상에 디스플레이된 시각적 콘텐츠들을 볼 수 있도록 하는 것이 바람직하다. 예를 들어, 디스플레이 디바이스는 차량의 전면 제어 패널 상에 장착될 수 있거나, 또는 차량의 앞좌석의 뒷면 상에 장착될 수 있다.
디스플레이 디바이스는 메뉴들, 맵들, 소프트웨어 프로그램들의 그래픽 사용자 인터페이스들 등을 디스플레이하는 데 사용될 수 있다.
시각적 콘텐츠는 해부학적 눈들 또는 광학적 이미징 디바이스들에 대해 임의의 시각적으로 인지가능한 정보이다. 예를 들어, 시각적 콘텐츠는 인간의 눈들 또는 카메라들에 의해 캡처될 수 있는 가시광을 방출하거나 반사할 수 있다. 시각적 콘텐츠는 또한 인간의 눈들에 의해서는 캡처될 수 없지만 카메라에 의해서는 캡처될 수 있는 비가시광을 방출하거나 반사할 수 있다. 시각적 콘텐츠는 텍스트, 피규어(figure), 컴퓨터들에 의해 생성되거나 카메라들에 의해 캡처된 이미지, 심볼, 그림, 이들의 조합들, 또는 이들 각각의 일부분일 수 있다. 예를 들어, 시각적 콘텐츠는 메뉴, 버튼, 아이콘, 디지털 맵, 소프트웨어 프로그램의 그래픽 사용자 인터페이스, 이들의 조합들, 또는 이들 각각의 일부분일 수 있다. 시각적 콘텐츠는 디스플레이 디바이스 상에 디스플레이될 수 있다.
모바일 디바이스는 휴대가능하고, 하나 이상의 카메라들을 포함한다. 하나 이상의 카메라들은 모바일 디바이스에 대해 공지된 위치들을 가질 수 있다. 모바일 디바이스는 오로지 카메라만일 수 있다. 예를 들어, 모바일 디바이스는 카메라, 제1 카메라, 제2 카메라, 제3 카메라, 및/또는 제4 카메라 중 임의의 것인 것으로, 즉 모바일 디바이스와 각자의 카메라는 동일한 디바이스이다.
일 실시예에서, 모바일 디바이스는 적어도 하나의 프로세싱 디바이스, 예컨대 컴퓨팅 프로세서를 가질 수 있다. 다른 실시예에서, 모바일 디바이스는 컴퓨팅 프로세서를 가질 수 있는 것이 아니라, 다른 디바이스(예컨대, 차량)로 데이터(예컨대, 카메라에 의해 캡처된 이미지들의 이미지 데이터)를 송신할 송신기를 가질 수 있다. 모바일 디바이스는 모바일 폰, 태블릿 컴퓨터, 또는 랩톱일 수 있지만, 이로 한정되지는 않는다. 카메라는 모바일 디바이스와는 분리되어 있을 수 있지만, 케이블을 통해 또는 무선으로 모바일 디바이스와 통신할 수 있다.
하나 이상의 카메라들은 광학적 정보의 화상 정보를 캡처할 수 있는 광학적 이미징 디바이스들이다.
제안된 발명은 이미지들을 제공하는 임의의 카메라와 함께 적용될 수 있다. 그것은 RGB 포맷인 컬러 이미지들을 제공하는 카메라들로 한정되지 않는다. 그것은 임의의 다른 컬러 포맷에도 또한 적용될 수 있고, 예를 들어 그레이스케일 포맷인 이미지들을 제공하는 카메라들에 대해, 단색 이미지들에도 또한 적용될 수 있다. 카메라는 추가로 이미지에 깊이 데이터를 제공할 수 있다. 깊이 데이터는 (컬러/그레이스케일) 이미지와 동일한 해상도로 제공될 필요는 없다. 이미지에 깊이 데이터를 제공하는 카메라는 흔히 RGB-D 카메라로 지칭된다. RGB-D 카메라 시스템이 TOF(time of flight) 카메라 시스템일 수 있다. 카메라는 또한 적외선 광과 같은, 인간의 눈으로 볼 수 없는 광을 캡처할 수 있다. 예를 들어, 카메라는 열적 이미징 카메라일 수 있다.
차량 좌표 시스템 내의 카메라의 위치는 차량 좌표 시스템 내에서의 병진, 회전, 또는 이들의 조합을 포함할 수 있다.
디스플레이된 시각적 콘텐츠의 시각적 외양은 형상, 질감, 기하학적 구조, 또는 이들의 조합들을 묘사한다. 시각적 외양은 컬러 정보를 포함할 수 있거나, 또는 포함하지 않을 수 있다.
객체의 물리적인 기하학적 구조는 객체가 실세계에 있을 때의 그의 크기, 형상, 치수, 평면성, 또는 이들의 조합들을 묘사한다.
디스플레이 디바이스의 해상도는 그의 디스플레이 영역 상에 디스플레이될 수 있는, 각각의 치수 면에서의 별개의 픽셀들의 개수이다. 디스플레이 디바이스는 공지된 해상도를 가질 수 있다. 디스플레이 디바이스는 그의 디스플레이 영역에 대한 공지된 물리적인 기하학적 구조를 추가로 가질 수 있다. 디스플레이 디바이스의 물리적인 기하학적 구조는 디스플레이 디바이스의 디스플레이 영역의 물리적인 기하학적 구조를 지칭한다. 디스플레이 디바이스의 좌표 시스템 내의 디스플레이된 시각적 콘텐츠의 픽셀 위치, 및 디스플레이 디바이스의 해상도 및 물리적인 기하학적 구조를 갖는다면, 디스플레이된 시각적 콘텐츠와 디스플레이 디바이스 사이의 공간적 관계가 판정될 수 있다. 이는 디스플레이 디바이스에 대한 디스플레이된 시각적 콘텐츠의 위치를 한정한다. 추가로, 디스플레이된 시각적 콘텐츠의 물리적인 기하학적 구조가 또한 판정될 수 있다. 차량 좌표 시스템 내의 디스플레이된 시각적 콘텐츠의 위치는 디스플레이 디바이스에 대한 디스플레이된 시각적 콘텐츠의 위치 및 차량 좌표 시스템에 대한 디스플레이 디바이스의 위치에 따라 판정될 수 있다.
제1 이미지가 제1 카메라에 의해 캡처되는 동안의 차량의 적어도 일부분에 대한 카메라의 카메라 위치는 이미지의 적어도 일부분에 따라 판정될 수 있다. 차량의 적어도 일부분의 물리적인 기하학적 구조를 갖는다면, 예컨대 2D-3D 포인트 대응성들에 기초한, 다양한 비전 기반 카메라 위치 추정 방법들 (예컨대, Hartley, Richard와 Andrew Zisserman의 Multiple view geometry in computer vision. Vol. 2. Cambridge, 2000 참조)이 카메라 위치를 판정하기 위해 채용될 수 있다.
구체적으로, 디스플레이된 시각적 콘텐츠를 포함하도록 차량의 적어도 일부분을 갖는 것이 바람직하다. 이와 같이, 카메라의 이미지는 디스플레이된 시각적 콘텐츠를 캡처한다. 시각적 콘텐츠는 풍부한 질감 및 특징부들(예컨대, 대조적인 코너들 또는 에지들)을 제공할 수 있는데, 이는 비전 기반 카메라 위치 추정들을 강건하게 만들 것이다. 이러한 예에서, 카메라의 카메라 위치는 차량에 장착된 디스플레이 디바이스에 대해 판정될 수 있다. 차량 좌표 시스템에 대한 디스플레이 디바이스의 위치는, 예를 들어 차량 제조자로부터 제공될 수 있다.
디스플레이된 시각적 콘텐츠의 공지된 시각적 외양 및 그의 물리적인 기하학적 구조를 갖는다면, 시각적 콘텐츠에 대한 카메라의 카메라 위치는 제1 이미지의 이미지 정보의 적어도 일부분에 따라 정확한 스케일 팩터로 판정될 수 있다. 카메라 위치 추정은 캡처된 이미지의 이미지 특징부들과 디스플레이 디바이스 상에 디스플레이된 시각적 콘텐츠의 대응하는 특징부들 사이의 대응성들에 기초할 수 있다. 그러면, 차량 좌표 시스템 내의 카메라 위치가, 디스플레이된 시각적 콘텐츠에 대한 카메라 위치 및 차량 좌표 시스템 내의 디스플레이된 시각적 콘텐츠의 위치에 따라 판정된다.
카메라가 이미지를 캡처하는 동안의 차량 좌표 시스템 내의 카메라의 카메라 위치는 차량의 적어도 일부분에 대한 카메라 위치 및 차량 좌표 시스템 내의 차량의 적어도 일부분의 위치로부터 판정될 수 있다.
일례에서, 차량 좌표 시스템 내의 카메라의 위치는 차량의 적어도 하나의 기능을 제어하도록 차량에 제공될 수 있는 위치를 판정할 수 있다. 모바일 디바이스와 연관된 위치는 차량 좌표 시스템 내의 카메라의 위치와 동일한 것일 수 있다. 모바일 디바이스와 연관된 위치는 차량 좌표 시스템 내의 카메라의 위치로부터 공간 면에서의 변위를 가질 수 있다.
다른 예에서, 차량 좌표 시스템 내의 카메라의 위치는 모바일 디바이스와 연관된 위치를 특정하는 데에는 적절하지 않을 수 있다. 예를 들어, 카메라의 위치는 적어도 하나의 기능을 제어하도록 차량에 제공되는 희망 위치가 아닐 수 있다.
일 실시예에 따르면, 본 발명은 모바일 디바이스의 제2 카메라에 의해 차량의 적어도 일부분의 제2 이미지를 추가로 캡처할 것(이 때, 전술된 카메라 및 이미지는 각각 제1 카메라 및 제1 이미지임)을 제안한다. 제2 이미지 및 제1 이미지는 제2 카메라와 제1 카메라가 상이한 위치들에 있을 때 캡처된다.
제2 이미지가 캡처되는 동안의 차량의 적어도 일부분에 대한 제2 카메라의 카메라 위치는 제2 이미지의 적어도 일부분에 따라 판정될 수 있다. 제1 카메라의 카메라 위치를 판정하는 개시된 방법은 또한 제2 카메라의 카메라 위치를 판정하는 데 이용될 수 있다.
차량의 적어도 일부분의 모델은 제1 및 제2 이미지들과 제1 및 제2 카메라들의 카메라 위치들에 따라 재구성될 수 있다.
모델을 재구성하는 일 실시예에서, 제1 이미지에서의 차량의 적어도 일부분의 이미지 특징부들과 제2 이미지에서의 차량의 적어도 일부분의 이미지 특징부들 사이의 대응성들이 판정된다. 이어서, 삼각측량 방법이 이미지 특징부 대응성들로부터의 모델과 제1 카메라 및 제2 카메라의 카메라 위치들을 판정하는 데 이용될 수 있는데, 예를 들어 Hartley, Richard와 Andrew Zisserman의 Multiple view geometry in computer vision. Vol. 2. Cambridge, 2000을 참조한다.
전술된 바와 같이, 객체의 모델은, 적어도, 객체의 적어도 일부분의 깊이 정보를 묘사한다. 모델은 추가로 하기의 특질들, 즉 형상, 대칭성, 평면성, 기하학적 구조 크기, 컬러, 질감, 및 밀도 중 하나를 포함할 수 있지만 이들로 한정되지는 않는다.
제1 이미지 및 제2 이미지에 캡처된 차량의 적어도 일부분의 물리적인 기하학적 구조가 공지될 수 있음에 따라, 재구성된 모델에 대한 정확한 스케일 팩터가, 예컨대 Davison, Andrew J. 등의 "MonoSLAM: Real-time single camera SLAM", Pattern Analysis and Machine Intelligence, IEEE Transactions on 29.6 (2007): 1052-1067에 교시된 바와 같이 판정될 수 있다. 재구성된 모델은 3D 버텍스들, 이러한 버텍스들에 의해 스팬(span)되는 다각형의 면들 및/또는 에지들로서 표현될 수 있다. 모델의 에지들 및 면들은 또한 스플라인(spline)들 또는 NURBS 표면들로서 표현될 수 있다.
재구성된 모델은 차량 좌표 시스템에서 결정될 수 있다. 재구성된 모델은 또한 임의적인 좌표 시스템, 예컨대 자기 자신의 좌표 시스템에서 결정될 수 있다. 이러한 경우, 재구성된 모델은 차량 좌표 시스템 내의 차량의 적어도 일부분의 위치에 기초하여 차량 좌표 시스템에 관련될 수 있다.
일 실시예에 따르면, 모바일 디바이스의 제3 카메라가 제3 이미지를 캡처할 수 있다. 제3 이미지는 재구성된 모델의 적어도 일부분에 의해 표현되는 차량의 일부분을 포함한다. 차량의 일부분은 제1 카메라에 의해 캡처된 차량의 적어도 일부분을 포함할 필요가 없거나, 또는 그의 일부분만을 포함한다. 구체적으로, 제3 이미지에 캡처된 차량의 일부분은 차량의 디스플레이 디바이스 또는 디스플레이 디바이스 상에 디스플레이된 임의의 시각적 콘텐츠를 포함할 필요가 없다.
제3 이미지가 캡처되는 동안의 모델에 대한 제3 카메라의 카메라 위치는 재구성된 모델의 적어도 일부분 및 제3 이미지의 적어도 일부분에 따라 판정될 수 있다. 예를 들어, SLAM 방법(Davison, Andrew J. 등의 "MonoSLAM: Real-time single camera SLAM", Pattern Analysis and Machine Intelligence, IEEE Transactions on 29.6 (2007): 1052-1067 참조)이 제3 카메라의 카메라 위치를 판정하기 위해 채용될 수 있다.
일례에서, 제3 카메라가 제3 이미지를 캡처하는 동안의 차량 좌표 시스템 내의 제3 카메라의 위치는 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 판정하는 데 이용될 수 있다. 모바일 디바이스와 연관된 위치는 차량 좌표 시스템 내의 제3 카메라의 위치와 동일한 것일 수 있다. 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치는 차량 좌표 시스템 내의 제3 카메라의 위치로부터 공간 면에서의 변위를 가질 수 있다.
차량 좌표 시스템 내의 제3 카메라의 카메라 위치는 모델에 대한 제3 카메라의 카메라 위치 및 모델과 차량 좌표 시스템 사이의 공간적 관계로부터 판정될 수 있다.
게다가, 모델은, 추가로, 차량 좌표 시스템에서 모바일 디바이스의 카메라(들)를 추적하기 위해 그리고/또는 차량의 다른 재구성된 부분들을 추가함으로써 재구성된 모델을 확장하기 위해, 예컨대 참조 문헌[4], 참조 문헌[5], 참조 문헌[6]에 설명된 바와 같은 비전 기반 SLAM(Simultaneous Localization and Mapping) 방법을 초기화하는 데 이용될 수 있다.
예를 들어, 차량의 적어도 제2 일부분의 제4 이미지가 모바일 디바이스의 제4 카메라에 의해 캡처된다. 제4 이미지는 재구성된 모델의 적어도 일부분에 의해 표현되는 차량의 일부분을 추가로 캡처할 수 있다. 이렇게 하여, 재구성된 모델은 SLAM 방법에 기초하여 차량의 제1 부분 및 제2 부분을 갖도록 확장될 수 있다. 이는 차량의 일부분의 이미지 위치들과 차량의 일부분의 재구성된 모델의 적어도 일부분을 매칭시키는 것에 기초하여 제4 이미지를 캡처하는 동안의 모델에 대한 제4 카메라의 카메라 자세를 계산할 것을 요구할 수 있다.
모바일 디바이스와 연관된 위치는 차량 좌표 시스템 내의 모바일 디바이스의 카메라의 카메라 위치에 따라 판정될 수 있다. 카메라 위치는 재구성된 모델의 적어도 일부분 및 SLAM 방법에 기초하여 카메라에 의해 캡처된 적어도 하나의 이미지에 따라 추정될 수 있다. 이를 위해, 적어도 하나의 이미지는 재구성된 모델의 적어도 일부분에 의해 표현된 차량의 일부분을 캡처한다. 모바일 디바이스와 연관된 위치는 카메라가 적어도 하나의 이미지를 캡처하는 동안의 카메라의 위치와 동일할 수 있다.
차량 좌표 시스템 내의 모바일 디바이스와 연관된 판정된 위치 또는 판정된 이동은 위치 또는 이동에 따라 차량의 적어도 하나의 기능을 제어하도록 차량에 제공될 수 있다. 적어도 하나의 기능은 차량의 하나 이상의 서브시스템들에 관련될 수 있다. 차량의 서브시스템들은 음향 시스템, 주변광 시스템, 및 공기 조절 시스템일 수 있지만, 이들로 한정되지는 않는다.
적어도 하나의 기능은 차량 좌표 시스템 내의 모바일 디바이스와 연관된 판정된 위치에 따라 차량의 하나 이상의 서브시스템들을 제어하거나 구성할 수 있다. 예를 들어, 위치는 주변광 시스템이 조명해야 하거나 또는 공기 조절 시스템이 온도를 모니터링해야 하는 공간 내의 영역의 중심 위치를 특정할 수 있다. 청취 영역이 또한 위치에 의해 특정될 수 있어서, 특정된 청취 영역을 향해서 음향 시스템을 지향시키기 위해 음향 시스템이 제어되거나 조절될 것이다.
모바일 디바이스는 직접적으로 또는 컴퓨터 네트워크를 통해 차량과 통신할 수 있다. 모바일 디바이스는 다른 디바이스들을 통해 간접적으로, 예컨대 웹 서비스 컴퓨터를 통해, 차량과 통신할 수 있다.
컴퓨터 네트워크는 시스템들, 소프트웨어 애플리케이션들, 및 사용자들 사이에서의 통신 및 데이터 교환을 허용하도록 프로세싱 디바이스들(예컨대, 컴퓨터들)을 접속시키는 원격통신 네트워크일 수 있다. 프로세싱 디바이스들은 케이블들을 통해, 또는 무선으로, 또는 케이블들을 통하면서 무선으로 하는 양측 모두로 접속될 수 있다. 예를 들어, 컴퓨터 네트워크는 인터넷, 인트라넷, 근거리 통신망, 또는 광역 통신망일 수 있다.
일 실시예에서, 모바일 디바이스는 하나의 카메라를 포함할 수 있다. 제1 카메라, 제2 카메라, 제3 카메라, 및 제4 카메라는 동일한 카메라이다.
다른 실시예에서, 모바일 디바이스는 적어도 2개의 카메라들을 포함할 수 있다. 제1 카메라, 제2 카메라, 제3 카메라, 및 제4 카메라 중 적어도 2개는 상이한 카메라들이다.
다른 실시예에서, 제1 카메라, 제2 카메라, 제3 카메라, 및 제4 카메라 중 적어도 2개는 동일한 카메라이다.
제1 카메라, 제2 카메라, 제3 카메라, 및/또는 제4 카메라에 대한 카메라 고유 파라미터들이 카메라 교정 방법에 기초하여 제공되거나 교정될 수 있다. 카메라 고유 파라미터들은 카메라 이미지들에 기초하여 카메라 위치들 또는 카메라 이동들을 판정하는 데 이용될 수 있다.
일 실시예에서, 본 발명에 따른 시스템은 모바일 디바이스와 전기적으로 커플링될 수 있거나 또는 그의 일부분일 수 있다. 그것은 차량과는 분리되어 있을 수 있다. 시스템은 케이블을 통해, 무선으로, 또는 컴퓨터 네트워크를 통해 차량과 통신할 수 있다. 시스템은 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치 또는 이동을 판정할 수 있고, 적어도 하나의 기능을 제어하기 위해 차량으로 위치 또는 이동을 전송할 수 있다.
추가 실시예에서, 시스템은 차량으로부터 차량 정보를 수신할 수 있다. 차량 정보는 차량 좌표 시스템, 디스플레이된 시각적 콘텐츠의 시각적 외양, 디스플레이에 사용된 디스플레이 디바이스의 해상도, 차량 좌표 시스템 내의 디스플레이 디바이스(즉, 차량의 적어도 일부분)의 위치, 디스플레이 디바이스(즉, 차량의 적어도 일부분)의 물리적인 기하학적 구조, 또는 이들의 조합들 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 시스템은 차량과 전기적으로 커플링될 수 있거나 또는 그의 일부분일 수 있고, 모바일 디바이스와는 분리되어 있을 수 있다. 시스템은 케이블을 통해, 무선으로, 또는 컴퓨터 네트워크를 통해 모바일 디바이스와 통신할 수 있다. 모바일 디바이스는 시스템으로 카메라 이미지들을 전송할 수 있다. 모바일 디바이스는 추가로 시스템으로 카메라 고유 파라미터들(예컨대, 초점 길이 및 주점(principal point))을 전송할 필요가 있을 수 있다. 카메라 고유 파라미터들은 카메라 이미지들에 기초하여 카메라 위치들을 판정하는 데 이용될 수 있다.
다른 실시예에서, 시스템은 모바일 디바이스와 분리되어 있을 수 있고, 차량과 분리되어 있을 수 있다. 시스템은 케이블을 통해, 무선으로, 또는 컴퓨터 네트워크를 통해 모바일 디바이스 및/또는 차량과 통신할 수 있다. 시스템은 차량으로부터 차량 정보를 수신할 수 있고, 모바일 디바이스로부터 카메라 이미지들 및 카메라 고유 파라미터들을 수신할 수 있다. 그러면, 시스템은 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치 또는 이동을 판정할 수 있고, 적어도 하나의 기능을 제어하기 위해 차량으로 또는 적어도 하나의 기능에 관련된 차량의 하나 이상의 서브 시스템들로 위치 또는 이동을 전송할 수 있다.
다른 태양에 따르면, 본 발명은 본 발명에 따른 방법을 수행하도록 적응된 소프트웨어 코드 섹션들을 포함하는 컴퓨터 프로그램 제품에도 또한 관련된다. 구체적으로, 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체 상에 포함되어 있고, 비일시적이다. 소프트웨어 코드 섹션들은 본 명세서에 기술된 바와 같은 프로세싱 디바이스들 중 하나 이상의 것의 메모리 내에 로딩될 수 있다.
일 실시예에 따르면, 방법은, 모바일 폰과 같은 모바일 디바이스의 하나 이상의 프로세싱 디바이스들 상에서 실행되고 차량과 직접적으로 또는 간접적으로 통신하는 애플리케이션으로서 구현될 수 있다.
다른 실시예에 따르면, 방법은, 차량의 하나 이상의 프로세싱 디바이스들 상에서 실행되고 모바일 디바이스 및/또는 카메라와 직접적으로 또는 간접적으로 통신하는 애플리케이션으로서 구현될 수 있다.
다른 실시예에 따르면, 방법은, 모바일 디바이스 및/또는 카메라와 그리고 차량과 직접적으로 또는 간접적으로 통신하는, 모바일 컴퓨터 또는 개인 컴퓨터와 같은 컴퓨터의 하나 이상의 프로세싱 디바이스들 상에서 실행되는 애플리케이션으로서 구현될 수 있다.
이제, 본 발명의 태양들 및 실시예들이 도면에 대해 기술될 것이다.
도 1은 본 발명의 예시적인 실시예의 흐름도를 도시한다.
도 2는 본 발명의 다른 예시적인 실시예의 흐름도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 예시적인 장면을 도시한다.
하기에서, 본 발명의 태양들 및 실시예들이 도 1 내지 도 3에 도시된 바와 같은 예시적인 실시예들을 참조하여 설명될 것이다. 하기의 실시예들이 모바일 폰을 사용하는 것을 참조하여 기술되지만, 본 발명은 이미지들을 캡처하기 위한 카메라와의 특정된 공간적 관계를 통해 연관되는 임의의 모바일 디바이스에 원론적으로 적용될 수 있다.
도 3은 차량의 예시적인 장면을 도시한 것으로, 여기서 차량(3001)의 일부분은 전면 제어 패널(3009) 및 광원(3007)을 포함한다. 디스플레이 디바이스가 전면 제어 패널(3009)에 장착된 스크린(3004)을 포함한다. 스크린(3004) 상에 디스플레이되는 잠재적인 시각적 콘텐츠는 2D 맵(3005)이지만, 또한 임의의 다른 시각적 콘텐츠일 수도 있다. 차량 좌표 시스템(3006)은 차량(3001)과 연관된다.
도 3에 도시된 예시적인 장면에서, 본 명세서에서 사용되는 바와 같은 모바일 디바이스는 카메라(3003)를 포함하는 모바일 폰(3002)이다. 카메라(3003)의 카메라 고유 파라미터들이 모바일 디바이스에 제공된다.
잠재적인 사용 시나리오에서, 차량(3001)은 컴퓨터 서버를 경유하여 무선으로 모바일 폰(3002)으로 차량 정보를 전송한다. 차량 정보는 디스플레이된 2D 맵(3005)의 화상 정보(즉, 시각적 외양), 스크린(3004)의 해상도, 차량 좌표 시스템(3006) 내의 스크린(3004)의 위치, 및 스크린(3004)의 형상 및 크기 중 적어도 일부분을 포함한다.
다른 실시예에서, 스크린(3004)은 모바일 폰(3002)의 성상 개요(iconic outline)를 보여줄 수 있다. 성상 개요는 스크린(3004)의 디스플레이 좌표 시스템 내에 공지된 위치를 가지며, 그에 따라 차량 좌표 시스템(3006) 내에 공지된 위치를 또한 가질 수 있다. 카메라(3003)가 모바일 폰(3002)에 대해 공지된 위치를 갖는 경우, 모바일 폰(3002)이 스크린(3004) 상의 성상 개요에 의해 나타내지는 위치 상에 놓일 때, 카메라(3003)는 차량 좌표 시스템(3006) 내에 공지된 초기 위치를 가질 수 있다. 차량 좌표 시스템(3006) 내의 카메라(3003)의 이러한 초기 위치는 카메라(3003)를 추적하는 데 그리고/또는 차량(3001)의 일부분을 재구성하는 데 이용될 수 있다. 카메라(3003)의 위치는, 예를 들어 카메라(3003)에 부착된 관성 센서들에 기초하여 또는 카메라(3003)에 의해 캡처된 2개의 이미지들 사이의 대응하는 이미지 특징부들에 기초하여, 카메라 자신의 초기 위치에 대해 판정될 수 있어서, 즉 카메라(3003)의 모션을 판정할 수 있다. 이렇게 하여, 카메라(3003) 및 그에 따라 카메라(3003)와 연관된 모바일 폰(3002)이 차량 좌표 시스템(3006)에서 추적될 수 있다.
모바일 디바이스, 본 명세서에서 모바일 폰(3002)은 하나 이상의 마이크로프로세서들 및 연관 회로와 같은 적어도 하나 이상의 프로세싱 디바이스들을 갖는데, 이러한 디바이스들은 본 기술 분야에서 보편적으로 사용되며, 그들이 모바일 폰(3002)의 내부에 있으므로 도면에는 도시되어 있지 않다. 내부 프로세싱 디바이스는 도 3에서 참조 부호 3011로 나타내진다. 본 기술 분야에서 보편적으로 이용되고 적용되는 바와 같은 다른 태스크들 중에서, 본 발명에 관해, 프로세싱 디바이스(3011)는 카메라(3003)와 통신하도록 그리고 본 발명과 관련하여 본 명세서에 기술되는 바와 같은 태스크들 및 단계들, 예컨대 도 1 및 도 2를 참조하여 기술되는 바와 같은 단계들을 수행하도록 구성된다. 이러한 예에서, 모바일 폰(3002)은 사용자가 소지할 수 있다. 카메라(3003)의 카메라 고유 파라미터들은 프로세싱 디바이스(3011)에 제공되거나, 또는 카메라 교정 절차에 의해 판정될 수 있다.
또한, 차량(3001)은 하나 이상의 마이크로프로세서들 및 연관 회로와 같은 적어도 하나 이상의 프로세싱 디바이스들을 포함할 수 있는데, 이러한 디바이스들은 본 기술 분야에서 보편적으로 사용되며, 도 3에서 참조 부호 3021로 지정되어 있다. 본 기술 분야에서 보편적으로 이용되고 적용되는 바와 같은 다른 태스크들 중에서, 본 발명에 관해, 프로세싱 디바이스(3021)는 스크린(3004) 상에 시각적 콘텐츠(3005)를 디스플레이하도록 구성된다. 프로세싱 디바이스(3021)는 본 발명과 관련하여 본 명세서에 기술되는 바와 같은 태스크들 및 단계들, 예컨대 도 1 및 도 2를 참조하여 기술되는 바와 같은 단계들을 수행하도록 추가로 적용가능하다.
일 실시예에 따르면, 프로세싱 디바이스들(3011 및/또는 3021)은, 각각이 또는 서로와의 임의의 조합으로, 본 명세서에 기술되는 바와 같은 본 발명에 따른 단계들 중 임의의 것을 수행하는 데 적절하며, 그를 수행하도록, 예컨대 카메라(예컨대, 카메라(3003))로부터 또는 다른 프로세싱 디바이스로부터 직접적으로 카메라에 의해 캡처된 이미지들과 연관된 이미지 정보를 수신하도록, 수신된 이미지 정보에 따라 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 판정하도록, 그리고 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 나타내는 위치 정보를 제공하도록 구성될 수 있다. 예를 들어, 그러한 위치 정보는 위치에 따라 차량의 적어도 하나의 기능을 제어하도록, 직접 통신을 통해 또는 다른 프로세싱 디바이스(예컨대, 서버 컴퓨터)를 통해 간접적으로, 차량의 제어 디바이스에 제공될 수 있다.
이러한 태스크들 및 단계들은, 모바일 폰(3002) 내에도 포함되지 않고 차량(3001) 내에도 포함되지 않지만, 예컨대 컴퓨터 네트워크를 통해 무선으로, 모바일 폰(3002) 및 차량(3001)과 통신하는 다른 디바이스, 예컨대 서버 컴퓨터(4000) 내에는 포함되는 다른 하나 이상의 프로세싱 디바이스들, 예컨대 프로세싱 디바이스(4001)에 의해서도 또한 수행될 수 있다. 추가로, 본 명세서에 기술되는 바와 같은 본 발명에 따른 태스크들 및 단계들 모두 또는 이들 중 일부가 프로세싱 디바이스들(3011, 3021, 4001) 사이에 공유되거나 분산될 수 있다는 것이 가능하다.
모바일 폰(3002)의 카메라(3003)와 하우징은 서로에 대해 고정된 위치들을 갖는다. 카메라(3003)와 모바일 폰(3002)의 임의의 부분 사이의 공간적 관계는 모바일 폰(3002)의 제조자에 의해 제공될 수 있거나, 또는 본 기술 분야에 보편적으로 공지되어 있는 바와 같이 교정될 수 있다.
이제, 도 1을 참조하여 기술되는 바와 같은 프로세스로 돌아가면, 도 1에 도시된 바와 같은 본 발명의 예시적인 실시예에서, 단계 1001에서, 차량 좌표 시스템이 제공된 차량에 장착된 디스플레이 디바이스가 그의 스크린 상에 피규어, 예컨대 도 3에 도시된 바와 같은 2D 맵(3005)의 형태인 시각적 콘텐츠를 디스플레이한다. 단계 1002에서, 차량이 인터넷을 통해 차량으로부터 카메라를 포함하는 모바일 폰으로 차량 정보를 전송한다. 단계 1003에서, 모바일 폰의 카메라가 디스플레이 디바이스 상에 디스플레이된 피규어의 이미지를 캡처한다. 도 3에 도시된 예시적인 장면에서, 카메라(3003)는 디스플레이된 2D 맵(3005)의 이미지를 캡처한다. 이미지는 디스플레이된 2D 맵(3005)의 일부분만을 포함할 수 있다.
단계 1004는, 이러한 실시예에서는 모바일 폰 상에서, 카메라가 이미지를 캡처하는 동안의 차량 좌표 시스템 내의 카메라 위치를 판정한다. 도 3에 도시된 예시적인 장면에서, 카메라(3003)가 이미지를 캡처하는 동안의 차량 좌표 시스템(3006) 내의 카메라(3003)의 카메라 위치가 판정될 수 있는데, 이는 캡처된 이미지와 연관된 수신된 이미지 정보에 따라 모바일 폰(3002)의 프로세싱 디바이스(3011) 상에서 수행된다. 카메라 위치의 판정은 카메라(3003)에 의해 캡처된 이미지와 모바일 폰(3002)에서 수신된 2D 맵(3005)의 화상 정보를 매칭시키는 것에 기초할 수 있다. 판정된 카메라 위치로부터, 차량 좌표 시스템(3006) 내의 모바일 디바이스(3002)와 연관된 위치가 판정될 수 있는데, 이는 차량의 적어도 하나의 기능을 제어하기 위한 입력으로서 이용될 수 있다. 카메라(3003)와 모바일 디바이스(3002)의 임의의 부분 사이의 공지된 공간적 관계가 이러한 판정에 이용될 수 있다.
단계 1005는 모바일 폰으로부터 차량으로 판정된 카메라 위치를 전송한다. 도 3에 도시된 예시적인 장면에서, 차량 좌표 시스템(3006) 내의 카메라(3003)의 카메라 위치는 모바일 폰(3002)으로부터 차량(3001)으로 제공된다.
이어서, 단계 1006에서, 차량은 수신된 카메라 위치에 따라 차량의 적어도 하나의 기능을 제어할 수 있다. 도 3에 도시된 예시적인 장면에서, 차량(3001)의 프로세싱 디바이스(3021)는 광원(3007)의 조명 방향을 제어할 수 있다. 광원(3007)은 카메라(3003)의 카메라 위치에 의해 한정되는 방향을 따라 영역(3008)을 조명하도록 지향될 수 있다.
도 2는 다른 예시적인 실시예의 흐름도를 도시한다. 단계 2001에서는, 차량 좌표 시스템이 제공된 차량에 장착된 디스플레이 디바이스 상에 피규어를 디스플레이한다. 단계 2002에서, 차량이 카메라를 포함하는 모바일 폰으로 차량 정보를 전송한다. 단계 2003에서, 모바일 폰의 카메라가, 디스플레이된 피규어의 제1 이미지를 캡처한다. 단계 2004에서는, 모바일 폰 상에서, 카메라가 제1 이미지 및 디스플레이된 피규어에 따라 제1 이미지를 캡처하는 동안의 차량 좌표 시스템 내의 카메라 위치 P1을 판정한다. 단계 2005에서, 카메라, 즉 모바일 폰이 위치 P1과는 상이한 다른 위치로 이동된다. 단계 2006에서, 모바일 폰의 카메라가, 디스플레이된 피규어의 제2 이미지를 캡처한다. 단계 2007에서는, 모바일 폰 상에서, 카메라가 제2 이미지의 이미지 정보 및 디스플레이된 피규어에 따라 제2 이미지를 캡처하는 동안의 차량 좌표 시스템 내의 카메라 위치 P2를 판정한다. 단계 2008에서는, 제1 이미지 및 제2 이미지의 이미지 정보와 카메라 위치들 P1 및 P2에 기초하여 모바일 폰 상에 차량의 적어도 일부분의 모델을 재구성한다. 이는 삼각측량 방법을 이용하여 실현될 수 있다.
단계 2009에서, 카메라가 이동된다. 단계 2010에서, 카메라가 제3 이미지를 캡처한다. 단계 2011에서는, 모바일 폰 상에서, 카메라가 모델에 따라 제3 이미지를 캡처하는 동안의 차량 좌표 시스템 내의 카메라 위치 P3을 판정한다. 이는 SLAM 방법에 기초하여 구현될 수 있다. 단계 2012에서, 위치 P3이 희망 위치인지 여부가 판정된다. 희망 위치는 사용자가 희망 위치에 따라 차량의 기능을 구성하거나 제어하기를 원한다는 것을 나타낸다. 예를 들어, 사용자가 책을 읽을 수 있다. 희망 위치는 차량의 주변광 시스템이 조명해야 하는 책 주위의 영역의 중심 위치를 나타낼 수 있다. 그것이 희망 위치가 아닌 경우, 단계 2008로 진행하고, 예컨대 SLAM 방법을 이용하여, 제3 이미지에 따른 모델을 확장한다. 반면, 그것이 희망 위치인 경우, 모바일 폰으로부터 차량으로 위치 P3을 전송한다(단계 2013). 이어서, 차량은 수신된 위치 P3에 따라 차량의 적어도 하나의 기능을 제어할 수 있다(단계 2014).
차량 좌표 시스템이 제공된 차량의 적어도 하나의 기능을 제어하기 위해 위치 정보를 제공하기 위한 방법은, 모바일 디바이스의 카메라에 의해 캡처된 차량의 적어도 일부분의 적어도 하나의 이미지와 연관된 이미지 정보를 수신하는 단계 - 모바일 디바이스는 차량과는 분리되어 있음 -, 적어도 하나의 이미지와 연관된 이미지 정보에 따라 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 판정하는 단계, 및 위치에 따라 차량의 적어도 하나의 기능을 제어하도록 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 나타내는 위치 정보를 제공하는 단계를 포함할 수 있다. 방법은, 또한, 차량 좌표 시스템 내의 차량의 적어도 일부분의 위치를 제공하거나 수신하는 단계를 포함할 수 있다. 차량의 적어도 일부분은 차량에 장착된 디스플레이 디바이스 상에 디스플레이된 시각적 콘텐츠를 포함한다. 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 판정하는 단계는, 적어도 하나의 이미지와 연관된 이미지 정보에 따라 적어도 하나의 이미지를 캡처할 때, 차량의 적어도 일부분에 대한 카메라의 카메라 위치를 판정하는 단계, 및 카메라 위치 및 차량 좌표 시스템 내의 차량의 적어도 일부분의 위치에 따라 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 판정하는 단계를 포함할 수 있다. 적어도 하나의 이미지는 제1 이미지이고, 카메라는 제1 카메라일 수 있으며, 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 판정하는 단계는, 모바일 디바이스의 제2 카메라에 의해 캡처된 차량의 적어도 일부분의 제2 이미지와 연관된 이미지 정보를 수신하는 단계, 및 제1 이미지 및 제2 이미지와 연관된 이미지 정보에 따라 차량의 적어도 일부분의 모델을 재구성하는 단계를 포함할 수 있다.
방법은, 또한, 모바일 디바이스의 제3 카메라에 의해 캡처된 제3 이미지와 연관된 이미지 정보를 수신하는 단계 - 제3 이미지는 재구성된 모델의 적어도 일부분에 의해 표현된 차량의 적어도 일부분을 캡처하고 있음 -, 재구성된 모델의 적어도 일부분 및 제3 이미지와 연관된 이미지 정보에 따라 제3 이미지를 캡처할 때, 재구성된 모델에 대한 제3 카메라의 카메라 위치를 판정하는 단계, 및 제3 카메라의 카메라 위치에 따라 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 판정하는 단계를 포함할 수 있다. 방법은, 또한, 제1 이미지와 연관된 이미지 정보의 적어도 일부분에 따라 제1 이미지를 캡처할 때, 차량의 적어도 일부분에 대한 제1 카메라의 카메라 위치를 판정하는 단계, 및 제2 이미지와 연관된 이미지 정보의 적어도 일부분에 따라 제2 이미지를 캡처할 때, 차량의 적어도 일부분에 대한 제2 카메라의 카메라 위치를 판정하는 단계를 포함할 수 있다. 차량의 적어도 일부분은 차량의 제1 부분일 수 있으며, 방법은, 또한, 모바일 디바이스의 제4 카메라에 의해 캡처된 제4 이미지와 연관된 이미지 정보를 수신하는 단계 - 제4 이미지는 차량의 제1 부분의 적어도 일부분 및 차량의 적어도 제2 부분을 캡처하고 있음 -, 및 차량의 제1 부분 및 차량의 제2 부분을 포함하도록 재구성된 모델을 확장하는 단계를 포함할 수 있다. 재구성된 모델은, 적어도, 차량의 적어도 일부분의 깊이 정보를 묘사할 수 있다. 제1 카메라, 제2 카메라, 제3 카메라, 및 제4 카메라 중 적어도 2개는 동일한 카메라일 수 있다. 제1 카메라, 제2 카메라, 제3 카메라, 및 제4 카메라 중 적어도 2개는 상이한 카메라들일 수 있다. 적어도 하나의 기능은, 차량의 음향 시스템, 차량의 주변광 시스템, 및 차량의 공기 조절 시스템 중 적어도 하나에 관련되고 위치에 따라 제어되는 기능일 수 있다.
차량 좌표 시스템이 제공된 차량의 적어도 하나의 기능을 제어하기 위해 이동 정보를 제공하기 위한 방법은, 모바일 디바이스의 적어도 하나의 카메라에 의해 캡처된 적어도 2개의 이미지들과 연관된 이미지 정보를 수신하는 단계 - 모바일 디바이스는 차량과는 분리되어 있고, 적어도 2개의 이미지들 각각은 차량의 적어도 일부분을 캡처하고 있음 -, 적어도 2개의 이미지들과 연관된 이미지 정보에 따라 차량 좌표 시스템에 대한 모바일 디바이스와 연관된 이동을 판정하는 단계, 및 이동에 따라 차량의 적어도 하나의 기능을 제어하도록 차량 좌표 시스템에 대한 모바일 디바이스와 연관된 이동을 나타내는 이동 정보를 제공하는 단계를 포함할 수 있다. 차량 좌표 시스템에 대한 모바일 디바이스와 연관된 이동은 차량 좌표 시스템 내의 모바일 디바이스와 연관된 적어도 2개의 위치들에 따라 판정될 수 있다. 차량 좌표 시스템에 대한 모바일 디바이스와 연관된 이동은 적어도 2개의 이미지들을 캡처하는 동안의 적어도 하나의 카메라의 적어도 2개의 카메라 위치들에 따라 판정될 수 있다. 차량 좌표 시스템에 대한 모바일 디바이스와 연관된 이동은 적어도 2개의 이미지들 각각에 캡처된 차량의 적어도 일부분의 이미지 위치들에 따라 판정될 수 있다. 적어도 하나의 기능은 모바일 디바이스와 연관된 판정된 이동에 기초하여 제어되는 기능, 특히 모바일 디바이스의 이동에 따라 제어되는 차량의 음향 시스템, 조명 시스템, 및 공기 조절 중 적어도 하나에 관련된 기능일 수 있다.
차량 좌표 시스템이 제공된 차량의 적어도 하나의 기능을 제어하기 위해 위치 정보를 제공하기 위한 시스템은, 모바일 디바이스의 카메라에 의해 캡처된 차량의 적어도 일부분의 적어도 하나의 이미지와 연관된 이미지 정보를 수신하도록 구성된 제1 프로세싱 디바이스 - 모바일 디바이스는 차량과는 분리되어 있고, 제1 프로세싱 디바이스는 적어도 하나의 이미지와 연관된 이미지 정보에 따라 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 판정하도록 구성됨 -, 및 위치에 따라 차량의 적어도 하나의 기능을 제어하기 위해 차량 좌표 시스템 내의 모바일 디바이스와 연관된 위치를 나타내는 위치 정보를 제공하도록 구성된 제2 프로세싱 디바이스를 포함할 수 있다.
차량 좌표 시스템이 제공된 차량의 적어도 하나의 기능을 제어하기 위해 이동 정보를 제공하기 위한 시스템은, 모바일 디바이스의 적어도 하나의 카메라에 의해 캡처된 적어도 2개의 이미지들과 연관된 이미지 정보를 수신하도록 구성된 제1 프로세싱 디바이스 - 모바일 디바이스는 차량과는 분리되어 있고, 적어도 2개의 이미지들 각각은 차량의 적어도 일부분을 캡처하고 있고, 제1 프로세싱 디바이스는 적어도 2개의 이미지들과 연관된 이미지 정보에 따라 차량 좌표 시스템에 대한 모바일 디바이스와 연관된 이동을 판정하도록 구성됨 -, 및 이동에 따라 차량의 적어도 하나의 기능을 제어하기 위해 차량 좌표 시스템에 대한 모바일 디바이스와 연관된 이동을 나타내는 이동 정보를 제공하도록 구성된 제2 프로세싱 디바이스를 포함할 수 있다. 제1 프로세싱 디바이스 및 제2 프로세싱 디바이스는 동일한 프로세싱 디바이스일 수 있다. 제1 프로세싱 디바이스 및 제2 프로세싱 디바이스 중 적어도 하나는 모바일 디바이스 내에 포함될 수 있다. 제1 프로세싱 디바이스 및 제2 프로세싱 디바이스 중 적어도 하나는 차량 내에 포함될 수 있다. 제1 프로세싱 디바이스 및 제2 프로세싱 디바이스 중 적어도 하나는 모바일 디바이스 및 차량과 통신하는 컴퓨터 디바이스 내에 포함될 수 있다. 모바일 디바이스는 핸드헬드 디바이스, 특히 모바일 폰, 태블릿 컴퓨터, 또는 모바일 컴퓨터일 수 있다.
컴퓨터 프로그램 제품이, 프로세싱 디바이스의 내부 메모리 내에 로딩될 때 전술된 바와 같은 방법을 수행하도록 적응된 소프트웨어 코드 섹션들을 포함할 수 있다.
차량의 적어도 하나의 기능을 제어하기 위해 위치 정보를 제공하기 위한 방법 및 시스템의 제1 태양에 관련된 전술된 바와 같은 단계들 및 시스템 컴포넌트들은 차량의 적어도 하나의 기능을 제어하기 위해 이동 정보를 제공하기 위한 방법 및 시스템의 제2 태양과 관련하여 동일하거나 유사한 컴포넌트들과 유사하게 적용될 수 있는데, 이때, 모바일 디바이스의 적어도 하나의 카메라에 의해 캡처된 적어도 2개의 이미지들과 연관된 이미지 정보를 제공하는 변형 및 후속의 단계들은 전술된 바와 같이 이러한 이미지 정보를 고려한다. 게다가, 전술된 바와 같은 컴포넌트들, 예컨대 모바일 디바이스, 카메라, 및/또는 프로세싱 디바이스들은, 또한, 차량의 적어도 하나의 기능을 제어하기 위해 이동 정보를 제공하기 위한 제2 태양의 방법을 수행하도록 구성될 수 있다.
본 명세서 전체에 걸쳐서, 이미지와 연관된 이미지 정보가 제공되거나 수신된다는 것이 기술되어 있다. 이러한 것이, 위치 또는 자세 추정을 허용하는, 이미지의 임의의 프로세싱된 또는 프로세싱되지 않은 정보(버전), 이미지의 일부분, 및/또는 이미지의 특징부들을 제공하거나 수신하는 것을 포함할 수 있다는 것은 당업자에게 공지되어 있다. 본 발명은 어떠한 원(raw) 이미지 데이터도 제공하거나 수신할 것을 요구하지 않는다. 이에 따라, 프로세싱은 압축(예컨대, JPEG, PNG, ZIP), 암호화(예컨대, RSA 암호화, Schnorr 서명, El-Gamal 암호화, PGP), 다른 색공간 또는 그레이스케일로의 변환, 특징부 서술자들에 기초한 이미지의 크로핑 또는 스케일링이나 희소 표현으로의 변환, 추출, 및 이들의 조합들 중 임의의 하나를 포함한다. 이러한 이미지 프로세싱 방법들 모두는 선택적으로 수행될 수 있고, 이미지의 이미지 정보 또는 이미지와 연관된 이미지 정보의 용어에 의해 포괄된다.

Claims (20)

  1. 컴퓨터 판독가능 코드를 포함하는 컴퓨터 판독가능 매체로서,
    상기 컴퓨터 판독가능 코드는, 하나 이상의 프로세서들에 의해,
    차량 내의 모바일 디바이스의 카메라에 의해 캡쳐된 이미지를 수신하고 - 상기 모바일 디바이스는 상기 차량과 분리되어 있고, 상기 이미지는 상기 차량의 기능 제어를 위한 요청의 일부로서 상기 모바일 디바이스로부터 수신됨 -;
    상기 이미지에 기초하여 상기 차량 내의 상기 모바일 디바이스의 위치를 결정하고;
    상기 차량 내의 상기 모바일 디바이스의 상기 결정된 위치에 대한 상기 차량의 상기 기능의 지시(direction)를 제어하도록
    실행가능한, 컴퓨터 판독가능 매체.
  2. 제1항에 있어서,
    상기 모바일 디바이스의 위치는 상기 차량에 대한 차량 좌표 시스템 내에서 결정되는, 컴퓨터 판독가능 매체.
  3. 제1항에 있어서,
    상기 이미지는 상기 차량의 일부분을 포함하고,
    상기 컴퓨터 판독가능 코드는 상기 차량 내의 상기 모바일 디바이스의 상기 위치를 결정하기 위해,
    상기 이미지에 따라 상기 차량의 상기 일부분에 대한 상기 카메라의 카메라 위치를 결정하고,
    상기 차량의 상기 일부분에 대한 상기 결정된 카메라 위치에 기초하여 상기 모바일 디바이스의 상기 위치를 결정하기 위한
    컴퓨터 판독가능 코드를 더 포함하는, 컴퓨터 판독가능 매체.
  4. 제3항에 있어서,
    상기 컴퓨터 판독가능 코드는 상기 차량의 상기 일부분에 대한 상기 카메라의 카메라 위치를 결정하기 위해, 상기 모바일 디바이스의 깊이 센서로부터 상기 차량의 상기 일부분에 대한 깊이 정보를 취득하는 것을 포함하는, 컴퓨터 판독가능 매체.
  5. 제3항에 있어서,
    상기 컴퓨터 판독가능 코드는 상기 차량의 상기 일부분에 대한 상기 카메라의 카메라 위치를 결정하기 위해, 상기 차량의 모델로부터 상기 차량의 상기 일부분에 대한 깊이 정보를 취득하는 것을 포함하는, 컴퓨터 판독가능 매체.
  6. 제3항에 있어서,
    상기 차량의 상기 일부분은 상기 차량의 디스플레이 디바이스를 포함하는, 컴퓨터 판독가능 매체.
  7. 제6항에 있어서,
    상기 컴퓨터 판독가능 코드는 상기 차량의 상기 일부분에 대한 상기 카메라의 카메라 위치를 결정하기 위해, 상기 디스플레이 디바이스 상에 디스플레이된 시각적 컨텐츠를 상기 이미지 내에서 식별하는 것을 포함하고,
    상기 모바일 디바이스의 상기 위치는 상기 이미지 내에 제시된 것과 같은 상기 시각적 컨텐츠에 기초하여 추가로 결정되는, 컴퓨터 판독가능 매체.
  8. 차량 시스템으로서,
    하나 이상의 프로세서들; 및
    컴퓨터 판독가능 코드를 포함하는 컴퓨터 판독가능 매체
    를 포함하고,
    상기 컴퓨터 판독가능 코드는, 상기 하나 이상의 프로세서들에 의해,
    차량 내의 모바일 디바이스의 카메라에 의해 캡쳐된 이미지를 수신하고 - 상기 모바일 디바이스는 상기 차량과 분리되어 있고, 상기 이미지는 상기 차량의 기능 제어를 위한 요청의 일부로서 상기 모바일 디바이스로부터 수신됨 -;
    상기 이미지에 기초하여 상기 차량 내의 상기 모바일 디바이스의 위치를 결정하고;
    상기 차량 내의 상기 모바일 디바이스의 상기 결정된 위치에 대한 상기 차량의 상기 기능의 지시를 제어하도록
    실행가능한, 차량 시스템.
  9. 제8항에 있어서,
    상기 모바일 디바이스의 위치는 상기 차량에 대한 차량 좌표 시스템 내에서 결정되는, 차량 시스템.
  10. 제8항에 있어서,
    상기 이미지는 상기 차량의 일부분을 포함하고,
    상기 컴퓨터 판독가능 코드는 상기 차량 내의 상기 모바일 디바이스의 상기 위치를 결정하기 위해,
    상기 이미지에 따라 상기 차량의 상기 일부분에 대한 상기 카메라의 카메라 위치를 결정하고,
    상기 차량의 상기 일부분에 대한 상기 결정된 카메라 위치에 기초하여 상기 모바일 디바이스의 상기 위치를 결정하기 위한
    컴퓨터 판독가능 코드를 더 포함하는, 차량 시스템.
  11. 제10항에 있어서,
    상기 컴퓨터 판독가능 코드는 상기 차량의 상기 일부분에 대한 상기 카메라의 카메라 위치를 결정하기 위해, 상기 모바일 디바이스의 깊이 센서로부터 상기 차량의 상기 일부분에 대한 깊이 정보를 취득하는 것을 포함하는, 차량 시스템.
  12. 제10항에 있어서,
    상기 컴퓨터 판독가능 코드는 상기 차량의 상기 일부분에 대한 상기 카메라의 카메라 위치를 결정하기 위해, 상기 차량의 모델로부터 상기 차량의 상기 일부분에 대한 깊이 정보를 취득하는 것을 포함하는, 차량 시스템.
  13. 제10항에 있어서,
    상기 차량의 상기 일부분은 상기 차량의 디스플레이 디바이스를 포함하는, 차량 시스템.
  14. 제13항에 있어서,
    상기 컴퓨터 판독가능 코드는 상기 차량의 상기 일부분에 대한 상기 카메라의 카메라 위치를 결정하기 위해, 상기 디스플레이 디바이스 상에 디스플레이된 시각적 컨텐츠를 상기 이미지 내에서 식별하는 것을 포함하고,
    상기 모바일 디바이스의 상기 위치는 상기 이미지 내에 제시된 것과 같은 상기 시각적 컨텐츠에 기초하여 추가로 결정되는, 차량 시스템.
  15. 방법으로서,
    차량 내의 모바일 디바이스의 카메라에 의해 캡쳐된 이미지를 수신하는 단계 - 상기 모바일 디바이스는 상기 차량과 분리되어 있고, 상기 이미지는 상기 차량의 기능 제어를 위한 요청의 일부로서 상기 모바일 디바이스로부터 수신됨 -;
    상기 이미지에 기초하여 상기 차량 내의 상기 모바일 디바이스의 위치를 결정하는 단계;
    상기 차량 내의 상기 모바일 디바이스의 상기 결정된 위치에 대한 상기 차량의 상기 기능의 지시를 제어하는 단계
    를 포함하는, 방법.
  16. 제15항에 있어서,
    상기 이미지는 상기 차량의 일부분을 포함하고,
    상기 방법은,
    상기 이미지에 따라 상기 차량의 상기 일부분에 대한 상기 카메라의 카메라 위치를 결정하는 단계; 및,
    상기 차량의 상기 일부분에 대한 상기 결정된 카메라 위치에 기초하여 상기 모바일 디바이스의 상기 위치를 결정하는 단계
    를 더 포함하는, 방법.
  17. 제16항에 있어서,
    상기 방법은 상기 모바일 디바이스의 깊이 센서로부터 상기 차량의 상기 일부분에 대한 깊이 정보를 취득하는 단계를 더 포함하는, 방법.
  18. 제16항에 있어서,
    상기 차량의 상기 일부분에 대한 상기 카메라의 카메라 위치를 결정하는 단계는 상기 차량의 모델로부터 상기 차량의 상기 일부분에 대한 깊이 정보를 취득하는 단계를 포함하는, 방법.
  19. 제16항에 있어서,
    상기 차량의 상기 일부분은 상기 차량의 디스플레이 디바이스를 포함하는, 방법.
  20. 제19항에 있어서,
    상기 차량의 상기 일부분에 대한 상기 카메라의 카메라 위치를 결정하는 단계는 상기 디스플레이 디바이스 상에 디스플레이된 시각적 컨텐츠를 상기 이미지 내에서 식별하는 단계를 포함하고,
    상기 모바일 디바이스의 상기 위치는 상기 이미지 내에 제시된 것과 같은 상기 시각적 컨텐츠에 기초하여 추가로 결정되는, 방법.
KR1020197005442A 2013-10-07 2013-10-07 차량의 적어도 하나의 기능을 제어하기 위해 위치 또는 이동 정보를 제공하기 위한 방법 및 시스템 KR20190021496A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2013/070819 WO2015051818A1 (en) 2013-10-07 2013-10-07 Method and system for providing position or movement information for controlling at least one function of a vehicle

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167011946A Division KR101953960B1 (ko) 2013-10-07 2013-10-07 차량의 적어도 하나의 기능을 제어하기 위해 위치 또는 이동 정보를 제공하기 위한 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20190021496A true KR20190021496A (ko) 2019-03-05

Family

ID=49326658

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167011946A KR101953960B1 (ko) 2013-10-07 2013-10-07 차량의 적어도 하나의 기능을 제어하기 위해 위치 또는 이동 정보를 제공하기 위한 방법 및 시스템
KR1020197005442A KR20190021496A (ko) 2013-10-07 2013-10-07 차량의 적어도 하나의 기능을 제어하기 위해 위치 또는 이동 정보를 제공하기 위한 방법 및 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020167011946A KR101953960B1 (ko) 2013-10-07 2013-10-07 차량의 적어도 하나의 기능을 제어하기 위해 위치 또는 이동 정보를 제공하기 위한 방법 및 시스템

Country Status (7)

Country Link
US (1) US10268216B2 (ko)
EP (1) EP3055834B1 (ko)
JP (1) JP6683605B2 (ko)
KR (2) KR101953960B1 (ko)
CN (2) CN110223327B (ko)
AU (3) AU2013402725B2 (ko)
WO (1) WO2015051818A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180070388A1 (en) * 2016-09-02 2018-03-08 Hyundai America Technical Center, Inc System and method for vehicular and mobile communication device connectivity
WO2018057839A1 (en) 2016-09-22 2018-03-29 Apple Inc. Vehicle Video System
US10783648B2 (en) * 2018-03-05 2020-09-22 Hanwha Techwin Co., Ltd. Apparatus and method for processing image
US11510026B2 (en) 2020-07-01 2022-11-22 Here Global B.V. Radio-visual approach for device localization based on a vehicle location
US11570576B2 (en) * 2020-07-01 2023-01-31 Here Global B.V. Image-based approach for device localization based on a vehicle location

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415126B2 (en) 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US7660437B2 (en) 1992-05-05 2010-02-09 Automotive Technologies International, Inc. Neural network systems for vehicles
JP4556311B2 (ja) * 2000-09-19 2010-10-06 マツダ株式会社 車両用情報処理装置
US20020085097A1 (en) * 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
GB2392766B (en) * 2002-08-27 2005-10-05 Timothy Guy Carpenter An apparatus and a system for determining compliance with parking rules by a vehicle, vehicle observing means and a device for obtaining parking information
US7450960B2 (en) * 2004-10-07 2008-11-11 Chen Alexander C System, method and mobile unit to sense objects or text and retrieve related information
US7852317B2 (en) * 2005-01-12 2010-12-14 Thinkoptics, Inc. Handheld device for handheld vision based absolute pointing system
US7646296B2 (en) * 2006-08-11 2010-01-12 Honda Motor Co., Ltd. Method and system for receiving and sending navigational data via a wireless messaging service on a navigation system
US8134481B2 (en) * 2006-08-11 2012-03-13 Honda Motor Co., Ltd. Method and system for receiving and sending navigational data via a wireless messaging service on a navigation system
US9430945B2 (en) * 2006-12-20 2016-08-30 Johnson Controls Technology Company System and method for providing route calculation and information to a vehicle
JP2008182321A (ja) * 2007-01-23 2008-08-07 Funai Electric Co Ltd 画像表示システム
KR101097017B1 (ko) * 2007-11-19 2011-12-20 후지쯔 가부시끼가이샤 촬상 장치, 촬상 방법 및 컴퓨터 판독가능한 기록 매체
JP4337929B2 (ja) * 2007-12-25 2009-09-30 トヨタ自動車株式会社 移動状態推定装置
KR101297144B1 (ko) * 2008-03-19 2013-08-21 가부시키가이샤 덴소 차량용 조작 입력 장치
US8373763B2 (en) 2008-05-22 2013-02-12 GM Global Technology Operations LLC Self calibration of extrinsic camera parameters for a vehicle camera
US8965670B2 (en) * 2009-03-27 2015-02-24 Hti Ip, L.L.C. Method and system for automatically selecting and displaying traffic images
US7898471B2 (en) * 2009-04-27 2011-03-01 GTA Electronics Co., Ltd. Power-saving position tracking device
WO2010142929A1 (en) * 2009-06-11 2010-12-16 Toshiba Research Europe Limited 3d image generation
WO2011065028A1 (ja) * 2009-11-30 2011-06-03 パナソニック株式会社 通信装置
USRE45980E1 (en) * 2009-11-30 2016-04-19 Panasonic Intellectual Property Corporation Of America Communication device
US20110145108A1 (en) * 2009-12-14 2011-06-16 Magnus Birch Method for obtaining information relating to a product, electronic device, server and system related thereto
US8497902B2 (en) 2009-12-18 2013-07-30 Sony Computer Entertainment Inc. System for locating a display device using a camera on a portable device and a sensor on a gaming console and method thereof
JP5506375B2 (ja) * 2009-12-25 2014-05-28 キヤノン株式会社 情報処理装置及びその制御方法
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8351651B2 (en) * 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
KR101219933B1 (ko) * 2010-09-13 2013-01-08 현대자동차주식회사 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법
US9286810B2 (en) * 2010-09-24 2016-03-15 Irobot Corporation Systems and methods for VSLAM optimization
US9142122B2 (en) * 2010-11-25 2015-09-22 Panasonic Intellectual Property Corporation Of America Communication device for performing wireless communication with an external server based on information received via near field communication
MY182291A (en) * 2011-02-22 2021-01-18 Rheinmetall Defence Electronics Gmbh Simulator for training a team,in particular for training a helicopter crew
US8743214B2 (en) 2011-05-11 2014-06-03 Intel Corporation Display screen for camera calibration
US8775006B2 (en) * 2011-07-14 2014-07-08 GM Global Technology Operations LLC System and method for enhanced vehicle control
KR101926477B1 (ko) * 2011-07-18 2018-12-11 삼성전자 주식회사 콘텐츠 재생 방법 및 장치
CN202169907U (zh) * 2011-07-29 2012-03-21 富士重工业株式会社 车外环境识别装置
US9424255B2 (en) * 2011-11-04 2016-08-23 Microsoft Technology Licensing, Llc Server-assisted object recognition and tracking for mobile devices
JP5845860B2 (ja) * 2011-12-01 2016-01-20 株式会社デンソー 地図表示操作装置
US20130331027A1 (en) * 2012-06-08 2013-12-12 Research In Motion Limited Communications system providing remote access via mobile wireless communications device and related methods
US8532675B1 (en) * 2012-06-27 2013-09-10 Blackberry Limited Mobile communication device user interface for manipulation of data items in a physical space
WO2014046213A1 (ja) * 2012-09-21 2014-03-27 株式会社タダノ 作業車の周囲情報取得装置
US9723251B2 (en) * 2013-04-23 2017-08-01 Jaacob I. SLOTKY Technique for image acquisition and management
CN104881860B (zh) * 2014-02-28 2019-01-08 国际商业机器公司 基于照片进行定位的方法和装置
US9445240B2 (en) * 2014-05-06 2016-09-13 Cecil Gooch Systems and methods for pedestrian indoor positioning
US9420741B2 (en) * 2014-12-15 2016-08-23 Irobot Corporation Robot lawnmower mapping
US10660154B2 (en) * 2015-01-14 2020-05-19 Honeywell International Inc. Positioning system leveraged for installation and commissioning

Also Published As

Publication number Publication date
EP3055834B1 (en) 2017-08-02
US10268216B2 (en) 2019-04-23
CN105814604B (zh) 2019-07-02
AU2013402725A1 (en) 2016-04-28
AU2013402725B2 (en) 2018-04-12
US20160225163A1 (en) 2016-08-04
KR101953960B1 (ko) 2019-03-04
WO2015051818A1 (en) 2015-04-16
AU2018205168B2 (en) 2019-07-11
JP6683605B2 (ja) 2020-04-22
KR20160068856A (ko) 2016-06-15
AU2016100369A4 (en) 2016-05-05
AU2016100369B4 (en) 2016-06-23
AU2018205168A1 (en) 2018-08-02
JP2016541042A (ja) 2016-12-28
CN110223327B (zh) 2023-08-01
CN105814604A (zh) 2016-07-27
EP3055834A1 (en) 2016-08-17
CN110223327A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
US10438373B2 (en) Method and system for determining a pose of camera
US10937187B2 (en) Method and system for providing position or movement information for controlling at least one function of an environment
US10764585B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
AU2018205168B2 (en) Method and system for providing position or movement information for controlling at least one function of a vehicle
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
US20160307374A1 (en) Method and system for providing information associated with a view of a real environment superimposed with a virtual object
US10297083B2 (en) Method and system for determining a model of at least part of a real object
US10706584B1 (en) Hand tracking using a passive camera system
US10878285B2 (en) Methods and systems for shape based training for an object detection algorithm
US20160148434A1 (en) Device and method for processing visual data, and related computer program product
US20190066366A1 (en) Methods and Apparatus for Decorating User Interface Elements with Environmental Lighting
JP2019071085A (ja) 車両の少なくとも１つの機能を制御するための位置又は運動情報を提供するための方法及びシステム
Yuan et al. 18.2: Depth sensing and augmented reality technologies for mobile 3D platforms
US20230267691A1 (en) Scene change detection with novel view synthesis
JP2004171414A (ja) ３次元位置姿勢入力装置、方法、プログラムおよびプログラムを記録した媒体

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
X091 Application refused [patent]
E601 Decision to refuse application
E801 Decision on dismissal of amendment