KR102253553B1 - 사발형 이미징 시스템에서의 물체 가시화 - Google Patents

사발형 이미징 시스템에서의 물체 가시화 Download PDF

Info

Publication number
KR102253553B1
KR102253553B1 KR1020177004237A KR20177004237A KR102253553B1 KR 102253553 B1 KR102253553 B1 KR 102253553B1 KR 1020177004237 A KR1020177004237 A KR 1020177004237A KR 20177004237 A KR20177004237 A KR 20177004237A KR 102253553 B1 KR102253553 B1 KR 102253553B1
Authority
KR
South Korea
Prior art keywords
fisheye
image
projection surface
moving object
bowl
Prior art date
Application number
KR1020177004237A
Other languages
English (en)
Other versions
KR20170031755A (ko
Inventor
카이-울리히 숄
코르넬리우스 뷔르클레
코바 나트로시빌리
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20170031755A publication Critical patent/KR20170031755A/ko
Application granted granted Critical
Publication of KR102253553B1 publication Critical patent/KR102253553B1/ko

Links

Images

Classifications

    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Signal Processing (AREA)

Abstract

사발형 이미지 상에 이동 물체를 가시화하기 위한 기술은 제1 어안 카메라에 의해 생성되고, 제1 장면을 캡처하는 제1 어안 이미지, 및 제2 어안 카메라에 의해 생성되고, 중복 영역에서 제1 장면과 중복하는 제2 장면을 캡처하는 제2 어안 이미지를 수신하기 위한 컴퓨팅 디바이스를 포함한다. 컴퓨팅 디바이스는 중복 영역에서 이동 물체를 식별하고, 가상 사발형 투영면 상에 식별된 이동 물체를 가시화하기 위해 투영된 중복 이미지 영역을 변경한다. 투영된 중복 이미지 영역은 가상 사발형 투영면 상에 투영되고, 제1 및 제2 어안 이미지들 내에 캡처된 중복 영역에 대응한다.

Description

사발형 이미징 시스템에서의 물체 가시화{OBJECT VISUALIZATION IN BOWL-SHAPED IMAGING SYSTEMS}
관련 미국 특허 출원의 상호 참조
본원은 2014년 9월 17일자로 출원된 "OBJECT VISUALIZATION IN BOWL-SHAPED IMAGING SYSTEMS"라는 명칭의 미국 실용 특허 출원 제14/488,793호에 대해 우선권을 주장한다.
후방 카메라와 같은 차량 탑재 카메라 시스템들이 고급 차량에서 그리고 심지어 일부 저가 차량에서조차 주축이 되었다. 특정 구현에 따라, 차량 카메라 시스템은 개선된 시야(vision), 자동화된 평행 주차, 및/또는 다른 목적을 위해 사용될 수 있다. 예를 들어, 차량 탑재 카메라에 의해 캡처된 이미지는 차량의 내비게이션 시스템 디스플레이 스크린 상에 표시되어, 차량의 장애물 없는 후방 뷰(즉, 후방 미러보다 양호함) 또는 오버헤드 뷰(즉, 차량 주위를 보여줌)를 운전자에게 제공할 수 있다.
차량의 주위 전체(즉, 360도 전체)를 캡처하기 위해 여러 카메라가 차량에 탑재될 수 있다. 이러한 차량 탑재 카메라 시스템은 차량 주위를 캡처하는 데 필요한 카메라의 수를 최소화하기 위해 어안 렌즈를 갖는 카메라(즉, 어안 카메라)와 같은 광각 카메라를 이용할 수 있다. 그러나 인접 카메라의 중복 영역은 이미지 모호성, 중복 및/또는 보이지 않는 물체를 유발할 수 있은 단일 실세계 지점의 상이한 투영을 초래할 수 있다. 예를 들어, 중복 영역을 걷고 있는 보행자는 두 번 표시되거나 추가로 나쁘게는 전혀 표시되지 않을 수 있다. 이러한 차량 탑재 카메라 시스템은 운전자가 차량을 둘러싼 모든 것을 볼 수 있다는 감각을 운전자에게 제공하기 때문에, 보이지 않는 물체(즉, 표시되지 않은 물체)와 관련된 위험이 증폭된다.
여기서 설명되는 개념은 첨부 도면에 한정이 아니라 예시적으로 도시된다. 도시의 간명화를 위해, 도면에 도시되는 요소는 반드시 축척으로 도시되지는 않는다. 적절한 것으로 간주되는 경우, 도면 사이에서 대응하거나 유사한 요소를 지시하기 위해 참조 라벨이 반복되었다.
도 1은 차량을 둘러싸고 있는 물리적 환경을 표시하기 위한 차량의 차량내 컴퓨팅 시스템의 적어도 하나의 실시예의 간략화된 블록도이다.
도 2는 도 1의 차량의 적어도 하나의 실시예를 간략화하여 나타낸 도면이다.
도 3은 도 1의 차량내 컴퓨팅 시스템에 의해 설정된 환경의 적어도 하나의 실시예의 간략화된 블록도이다.
도 4는 가상 사발형 투영면(virtual bowl-shaped projection surface)의 적어도 하나의 실시예를 간략하게 나타낸 도면이다.
도 5a 및 도 5b는 각각 도 4의 가상 사발형 투영면의 평면도 및 저면도를 간략화하여 나타낸 도면이다.
도 6은 도 4의 가상 사발형 투영면의 수직 단면을 간략화하여 나타낸 도면이다.
도 7은 도 4의 가상 사발형 투영면 상으로의 물체의 투영의 적어도 하나의 실시예를 간략화하여 나타낸 도면이다.
도 8은 도 1의 차량내 컴퓨팅 시스템에 의해 사발형 이미지 상의 이동 물체를 가시화하는 방법의 적어도 하나의 실시예의 간략화된 흐름도이다.
도 9는 도 1의 차량내 컴퓨팅 시스템에 의해 이동 물체를 가시화하기 위해 이동 물체의 윤곽을 투영하는 방법의 적어도 하나의 실시예의 간략화된 흐름도이다.
도 10은 도 1의 차량내 컴퓨팅 시스템에 의해 이동 물체를 가시화하기 위해 인접한 이미지들 사이의 접합을 변경하기 위한 방법의 적어도 하나의 실시예의 간략화된 흐름도이다.
도 11은 도 4의 가상 사발형 투영면 상에 이동 물체의 윤곽을 투영하는 적어도 하나의 실시예의 간략화된 도면이다.
도 12-14는 도 10의 방법에 기초하여 변경된 접합을 갖는 투영의 이미지의 간략화된 도면이다.
본 개시의 개념은 다양한 변경 및 대안 형태가 가능하지만, 그의 특정 실시예는 도면에 예시적으로 도시되었으며, 여기서 상세히 설명된다. 그러나, 본 개시의 개념을 개시되는 특정 형태로 한정하고자 하는 의도는 없으며, 오히려 본 개시 및 첨부된 청구범위에 따른 모든 변경, 균등물 및 대안을 커버하는 것을 의도한다는 것을 이해해야 한다.
본 명세서에서 하나의 실시예(one embodiment)", "일 실시예(an embodiment)", "예시적인 실시예(an illustrative embodiment)" 등에 대한 언급은 설명된 실시예가 특정 특징, 구조 또는 특성을 포함할 수 있지만, 모든 실시예가 반드시 그 특정 특징, 구조 또는 특성을 포함할 수도 있고 포함하지 않을 수도 있다는 것을 지시한다. 또한, 이러한 구문들은 반드시 동일한 실시예를 지칭하는 것은 아니다. 또한, 특정 특징, 구조 또는 특성이 실시예와 관련하여 설명될 때, 명시적으로 설명되든지 아니든지 간에, 이러한 특징, 구조 또는 특성을 다른 실시예들과 관련하여 시행하는 것은 본 기술분야의 통상의 기술자의 지식 내에 있다고 제시된다. 게다가, "A, B 및 C 중 적어도 하나"의 형태로 리스트에 포함된 아이템은 (A); (B); (C); (A 및 B); (B 및 C); (A 및 C); 또는 (A, B, 및 C)를 의미할 수 있다는 것을 알아야 한다. 유사하게, "A, B 또는 C 중 적어도 하나"의 형태로 리스트에 포함된 아이템은 (A); (B); (C); (A 및 B); (B 및 C); (A 및 C); 또는 (A, B, 및 C)를 의미할 수 있다.
개시된 실시예들은, 일부 경우에, 하드웨어, 펌웨어, 소프트웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 개시된 실시예들은 또한 하나 이상의 프로세서에 의해 판독 및 실행될 수 있는, 하나 이상의 일시적인 또는 비일시적인 머신 판독가능 (예를 들어, 컴퓨터 판독가능) 저장 매체에 의해 전달 또는 그에 저장된 명령어들로서 구현될 수 있다. 머신 판독가능 저장 매체는 머신에 의해 판독가능한 형태로 정보를 저장하거나 전송하기 위한 임의의 저장 디바이스, 메커니즘 또는 다른 물리적 구조체(예를 들어, 휘발성 또는 비휘발성 메모리, 매체 디스크(media disc) 또는 다른 매체 디바이스(media device))로서 구현될 수 있다.
도면들에서, 일부 구조적 또는 방법 특징들은 특정 배열들 및/또는 순서들로 도시될 수 있다. 그러나, 이러한 특정 배열들 및/또는 순서들은 요구되지 않을 수 있다는 점이 인식되어야 한다. 오히려, 일부 실시예들에서, 이러한 특징들은 예시적인 도면들에 도시된 것과는 상이한 방식 및/또는 순서로 배열될 수 있다. 추가적으로, 특정 도면 내의 구조 또는 방법 특징의 포함은 이러한 특징이 모든 실시예에서 요구된다고 암시하는 것을 의미하지는 않으며, 일부 실시예들에서는 포함되지 않을 수도 있고 다른 특징들과 결합될 수도 있다.
이제 도 1을 참조하면, 예시적인 실시예에서, 차량(100)은 본원에서 설명된 기능들을 수행할 수 있는 임의의 유형의 컴퓨팅 시스템으로서 구현될 수 있는 차량내 컴퓨팅 시스템(102)을 포함한다. 예시적인 실시예에서, 차량(100)은 바퀴 달린 승용차(예컨대, 자동차, 트럭, 트럭-트랙터, 버스 등)으로서 구현된다. 그렇지만, 다른 실시예들에서, 차량(100)은 다른 유형의 차량(예컨대, 레일 운행 트롤리(rail-driven trolley), 무인 차량, 또는 설명되는 기술들 및 메커니즘들의 적용에 적합한 다른 차량) 또는 다른 이동 가능 장치로서 구현될 수 있다는 것을 알아야 한다. 본 명세서에서 설명된 바와 같이, 예시적인 실시예에서, 차량내 컴퓨팅 시스템(102)은 중복 시야(즉, 장면)를 갖는 인접 어안 카메라로 어안 이미지를 캡처하도록 구성된다. 차량내 컴퓨팅 시스템(102)은 중복 영역 내에서 이동 물체를 식별하고, 투영된 중복 이미지 영역(즉, 중복 시야와 관련된 중복 영역에 대응함)을 변경하여, 식별된 이동 물체를 가상 사발형 투명면 상에 가시화한다(예로서, 도 4 참조). 일부 실시예에서, 차량내 컴퓨팅 시스템(102)은 식별된 이동 물체의 윤곽을 가상 사발형 투영면 상에 투영하여 이동 물체를 가시화하는 반면, 다른 실시예에서는 차량내 컴퓨팅 시스템(102)은 어안 이미지의 중복 영역 내의 인접한 어안 이미지(예로서, 인접한 어안 카메라로 캡처한 이미지) 사이의 접합을 변경하여 이동 물체를 가시화한다. 일부의 실시예들에서, 차량내 컴퓨팅 시스템(102)은 차량내 인포테인먼트 시스템, 내비게이션 시스템, 및/또는 다른 차량 기반 컴퓨팅 시스템으로서 구현될 수 있거나, 그 일부를 형성할 수 있다. 다른 실시예들에서, 차량내 컴퓨팅 시스템(102)은 그 대신에, 단독형 컴퓨팅 디바이스 또는 컴퓨팅 시스템으로서 구현될 수도 있다.
게다가, 일부 실시예들에서, 원격 컴퓨팅 디바이스가 차량내 컴퓨팅 시스템(102)과 통신 결합될 수 있고, 본원에 기술되는 기능들 중 하나 이상을 (예컨대, 원격적으로) 수행하고 결과들을 네트워크(예컨대, 유선 또는 무선 통신 네트워크)를 통해 차량내 컴퓨팅 시스템(102)으로 통신하도록 구성될 수 있다. 이러한 실시예들에서, 원격 컴퓨팅 디바이스는 차량내 컴퓨팅 시스템(102)과 통신하고 본원에서 설명된 기능들을 수행할 수 있는 임의의 유형의 컴퓨팅 디바이스(예컨대, 서버, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 노트북, 넷북, 울트라북™, 셀룰러 폰, 스마트폰, 개인 정보 단말기(personal digital assistant), 모바일 인터넷 디바이스, 웨어러블 컴퓨팅 디바이스, 하이브리드 디바이스, 및/또는 임의의 다른 컴퓨팅/통신 디바이스)로서 구현될 수도 있다.
도 1에 도시된 바와 같이, 예시적인 차량내 컴퓨팅 시스템(102)은 프로세서(110), 입출력("I/O") 서브시스템(112), 메모리(114), 데이터 저장소(116), 디스플레이(118), 카메라 시스템(120), 사용자 인터페이스(122), 및 일부 실시예들에서 하나 이상의 주변 디바이스(124)를 포함한다. 그에 부가하여, 카메라 시스템(120)은 하나 이상의 카메라들(126)을 포함하고, 사용자 인터페이스(122)는 가상 카메라 제어(128)를 포함한다. 물론, 차량내 컴퓨팅 시스템(102)은 다른 실시예들에서, 전형적인 컴퓨팅 디바이스에서 보편적으로 발견되는 것들과 같은 다른 또는 추가적인 컴포넌트들(예컨대, 통신 회로, 다양한 입력 디바이스들, 및/또는 다른 컴포넌트들)을 포함할 수도 있다. 덧붙여, 일부 실시예들에서, 예시적 컴포넌트들 중 하나 이상은 또 다른 컴포넌트에 통합되거나 다른 컴포넌트의 일부를 형성할 수 있다. 예를 들어, 메모리(114) 또는 그 부분들은 일부의 실시예들에서 프로세서(110) 내에 포함될 수도 있다.
프로세서(110)는 본 명세서에 설명된 기능들을 수행할 수 있는 임의의 유형의 프로세서로서 구현될 수 있다. 예를 들어, 프로세서는 단일 또는 멀티코어 프로세서(들), 디지털 신호 프로세서, 마이크로컨트롤러, 또는 다른 프로세서 또는 처리/제어 회로로서 구현될 수 있다. 유사하게, 메모리(114)는 본원에서 설명된 기능들을 수행할 수 있는 임의의 유형의 휘발성 또는 비휘발성 메모리 또는 데이터 저장소로서 구현될 수도 있다. 동작시에, 메모리(114)는 운영 체제들, 애플리케이션들, 프로그램들, 라이브러리, 및 드라이버들과 같이, 차량내 컴퓨팅 시스템(102)의 동작 동안에 사용되는 다양한 데이터 및 소프트웨어를 저장할 수도 있다. 메모리(114)는 프로세서(110), 메모리(114), 및 차량내 컴퓨팅 시스템(102)의 다른 컴포넌트들과의 입력 동작들을 용이하게 하기 위한 회로 및/또는 컴포넌트들로서 구현될 수도 있는 I/O 서브시스템(112)을 통해 프로세서(110)에 통신 결합된다. 예를 들어, I/O 서브시스템(112)은 메모리 제어기 허브, 입출력 제어 허브, 펌웨어 디바이스, 통신 링크(즉, 점대점 링크, 버스 링크, 와이어, 케이블, 광 가이드, 인쇄 회로 보드 트레이스 등) 및/또는 입출력 동작을 용이하게 하기 위한 다른 컴포넌트 및 서브시스템으로서 구현될 수 있거나 이들을 포함할 수 있다. 일부 실시예들에서, I/O 서브시스템(112)은 시스템 온 칩(SoC)의 부분을 형성할 수도 있고, 프로세서(110), 메모리(114), 및 차량내 컴퓨팅 시스템(102)의 다른 컴포넌트들과 함께, 단일 집적 회로 칩 상에서 포함될 수도 있다.
데이터 저장소(116)는 예를 들어 메모리 디바이스들 및 회로들, 메모리 카드들, 하드 디스크 드라이브들, 고체 상태 드라이브들 또는 다른 데이터 저장 디바이스들과 같이, 데이터의 단기 또는 장기 저장을 위해 구성된 임의의 유형의 디바이스 또는 디바이스들로서 구현될 수 있다. 데이터 저장소(116) 및/또는 메모리(114)는, 이하에서 논의되는 바와 같이, 차량내 컴퓨팅 시스템(102)의 동작 동안, 예를 들어, 캡처 및 처리된 이미지, 이미지 필터, 컴포넌트 파라미터(예로서, 카메라(126)의 고유 파라미터), 및/또는 차량내 컴퓨팅 시스템(102)의 동작에 유용한 다른 데이터와 같은 다양한 데이터를 저장할 수 있다.
차량내 컴퓨팅 시스템(102)의 디스플레이(118)는 정보를 차량내 컴퓨팅 시스템(102)의 사용자(예컨대, 차량(100)의 운전자 또는 승객)에게 표시할 수 있는 임의의 하나 이상의 디스플레이 스크린으로서 구현될 수 있다. 디스플레이(118)는, 예를 들어, LCD(liquid crystal display), LED(light emitting diode) 디스플레이, CRT(cathode ray tube) 디스플레이, 플라즈마 디스플레이, 홀로그래픽 또는 다른 3차원(3D) 디스플레이, 및/또는 다른 디스플레이 기술을 비롯한, 임의의 적당한 디스플레이 기술로서 구현될 수 있거나 이를 다른 방식으로 사용할 수 있다. 단일의 디스플레이(118)만이 도 1에 예시되어 있지만, 차량내 컴퓨팅 시스템(102)은 동일하거나 상이한 콘텐츠가 서로 동시에 또는 순차적으로 표시될 수 있는 다수의 디스플레이 또는 디스플레이 스크린을 포함할 수 있다는 것을 알아야 한다. 디스플레이(118)는 다양한 차량 동작 파라미터들 및/또는 차량 인포테인먼트 정보(예컨대, 라디오 방송국, 온도 제어 등)가 표시되는 범용 디스플레이로서 구현될 수 있다. 대안적으로, 디스플레이(118)는, 이하에서 논의되는 바와 같이, 카메라 시스템(120)에 의해 생성되는 이미지들을 표시하는 특수 목적 디스플레이로서 구현될 수 있다.
카메라 시스템(120)은 차량(100)의 주위 환경 또는, 보다 상세하게는, 차량내 컴퓨팅 시스템(102)의 주위 환경의 이미지들을 캡처하는 데 사용될 수 있는 하나 이상의 카메라(126)를 포함한다. 예시적인 실시예에서, 카메라 시스템(120)의 카메라들(126)이 차량(100)의 360도 주위 전체 또는 그의 상당 부분을 캡처하기 위해 적당히 이격된다는 것을 알아야 한다. 일부 실시예들에서, 각각의 카메라(126)의 시야가 하나 이상의 다른 카메라(126)와 중복된다. 특히, 인접한 카메라(126)는 중복영역에서 서로 중복되는 대응하는 장면을 캡처하도록 구성될 수 있다. 그에 부가하여, 일부 실시예들에서, 카메라들(126)의 서로에 대한 그리고/또는 차량(100)에 대한 배치와 관련된 기하 구조가 알려져 있거나 결정될 수 있다.
카메라들(126) 각각은 스틸 카메라, 비디오 카메라, 웹캠, 또는 비디오 및/또는 이미지들을 캡처할 수 있는 다른 디바이스와 같은, 이미지들을 캡처하는 데 적당한 임의의 주위 또는 일체형 디바이스로서 구현될 수 있다. 예시적인 실시예에서, 카메라들(126) 각각은 차량(100)의 주위 전체 또는 거의 전체의 캡처를 용이하게 하는 어안 카메라로서 구현된다. 물론, 다른 실시예들에서, 예를 들어, 차량(100)의 유형, 사용되는 카메라들(126)의 유형, 사용되는 카메라(126)들의 수 및/또는 다른 기준들에 따라, 다른 유형의 광각 또는 협각 카메라들이 사용될 수 있다. 그에 부가하여, 카메라 시스템(120)은 이러한 다양한 기준들에 따라 차량(100)의 주위를 캡처하는 2개 이상의 카메라들(126)을 포함할 수 있다. 예시적 실시예에서, 카메라 시스템(120)은 차량(100) 주위 전체를 캡처하는 데 필요한 카메라(126)의 수를 최소화하면서 이를 행하기 위해 차량(100)에 탑재되거나 통합되는 4개의 어안 카메라(126)(예로서, 어안 렌즈를 갖는 카메라(126))를 포함한다. 예로서, 도 2의 예시적인 실시예에 도시된 바와 같이, 카메라(126)는 차량(100)의 4개의 측면(즉, 앞, 뒤, 운전자 측, 승객 측) 각각에 탑재될 수 있다. 물론, 다른 실시예들에서, 차량내 컴퓨팅 시스템(102)은 상이한 수, 유형, 및/또는 상대적 배치의 카메라들(126)을 이용할 수 있다. 예를 들어, 다른 실시예에서, 카메라들(126)은 차량(100) 주위의 다른 위치들에(예컨대, 차량(100)의 코너들에) 배치될 수 있다. 특정 실시예에 따라서, 카메라 시스템(120)의 카메라(126)는 동일한 유형 또는 상이한 유형일 수 있다. 예로서, 일부 실시예에서, 카메라 시스템(120)의 카메라(126) 중 하나 이상은 어안 렌즈를 가질 수 있고, 카메라(126) 중 하나 이상은 전통적인 렌즈를 가질 수 있다.
사용자 인터페이스(122)는 차량내 컴퓨팅 시스템(102)의 사용자가 차량내 컴퓨팅 시스템(102)과 상호작용할 수 있게 한다. 예를 들어, 이하에서 논의되는 바와 같이, 사용자는 차량(100)의 주위를 디스플레이(118) 상에 표시하기 위해 차량내 컴퓨팅 시스템(102)과 상호작용할 수 있다. 그에 따라, 일부 실시예들에서, 사용자 인터페이스(122)는 하나 이상의 가상 및/또는 물리 버튼, 노브, 스위치, 키패드, 터치스크린, 및/또는 I/O 기능을 가능하게 하는 다른 메커니즘을 포함한다. 예를 들어, 일부 실시예들에서, 사용자 인터페이스(122)는 차량(100)의 내비게이션 또는 인포테인먼트 시스템과 통합될 수 있다. 앞서 논의된 바와 같이, 사용자 인터페이스(122)는, 예시적인 실시예에서, 가상 카메라 제어(128)를 포함한다. 가상 카메라 제어(128)는 차량내 컴퓨팅 시스템(102)의 사용자가 (예컨대, 가상 카메라를 "이동"시킴으로써) 차량내 컴퓨팅 시스템(102)의 가상 카메라(202)(도 2 참조)의 시야를 변경할 수 있게 한다. 이하에서 상세히 논의되는 바와 같이, 가상 카메라(202)는 카메라들(126) 중 하나에 의해 캡처되는 단일의 이미지 또는 다수의 카메라들(126)(예컨대, 인접한 카메라들(126))에 의해 캡처되는 이미지들의 조합에 대응할 수 있는, 디스플레이(118) 상에 렌더링될 이미지를 "캡처"한다. 그에 따라, 가상 카메라(202)를 회전시키거나 다른 방식으로 움직이고 그로써 가상 카메라(202)의 시야를 변경하는 것에 의해, 표시되는 이미지가 차량내 컴퓨팅 시스템(102)의 사용자에 의해 조절될 수 있다. 이하에서 추가로 상세히 논의되는 바와 같이, 사발형 이미지가 카메라들(126)에 의해 캡처되고 차량내 컴퓨팅 시스템(102)에 의해 처리된 차량(100)의 주위의 이미지들에 기초하여 생성된다. 그에 따라, 일부 실시예들에서, 사발형 이미지가 다수의 카메라들(126)로부터의 시야들의 조합을 포함할 수 있는, 가상 카메라(202)의 시야에 기초하여 디스플레이(118) 상에 렌더링될 수 있다. 예를 들어, 사발형 이미지가 (예컨대, 상단/하단으로부터, 멀리/가까이서, 사발형 이미지의 내부/외부로부터, 기타 등등으로부터) 가상 카메라(202)에 의해 "캡처"되는 투시도에 기초하여 사발형 이미지가 표시될 수 있다.
일부 실시예들에서, 차량내 컴퓨팅 시스템(102)은 또한 하나 이상의 주변 디바이스들(124)을 포함할 수 있다. 주변 디바이스들(124)은 스피커들, 마이크로폰들, 추가적인 저장소 디바이스들, 및 기타 등등과 같은 임의의 수의 추가적인 주변 또는 인터페이스 디바이스들을 포함할 수도 있다. 주변 디바이스들(124) 내에 포함된 특정한 디바이스들은 예로서 (예컨대, 차량내 컴퓨팅 시스템(102)이 단독형 시스템인지, 또는 추가로 큰 차량내 인포테인먼트 시스템 내에 포함되든지 간에) 차량내 컴퓨팅 시스템(102)의 유형 및/또는 의도된 이용에 의존할 수 있다. 특정 실시예에 따라, 차량내 컴퓨팅 시스템(102)의 하나 이상의 컴포넌트(예를 들어, 가상 카메라 제어(128) 및/또는 주변 디바이스(124))가 생략될 수 있다는 것을 알아야 한다.
이제, 도 3을 참조하면, 사용시에, 차량내 컴퓨팅 시스템(102)은 차량(100)의 주위의 사발형 이미지 상에 이동 물체를 가시화하기 위한 환경(300)을 설정한다. 이하에서 설명하는 바와 같이, 예시적인 실시예에서, 차량내 컴퓨팅 시스템(102)은 중복 영역에서 서로 겹치는 장면(즉, 시야)을 캡처하는 인접한 어안 카메라(126)로부터 어안 이미지를 수신한다. 중복 영역의 크기 및/또는 형상은 예를 들어 카메라 시스템(120)의 기하 구조에 의존한다는 것을 이해해야 한다. 또한, 중복 영역에서, 캡처된 이미지는 차량(100) 주위의 환경의 동일한 실세계 지점의 묘사를 포함하며, 따라서 동일한 이미지 특징을 포함한다. 예시적인 차량내 컴퓨팅 시스템(102)은 또한 중복 영역 내의 이동 물체를 식별하고, 중복 이미지 영역의 투영된 버전(예를 들어, 도 4의 가상 사발형 투영면으로의 투영)을 변경하여, 식별된 이동 물체를 가시화한다. 물론, 일부 실시예에서, 차량내 컴퓨팅 시스템(102)은 가상 사발형 투영면으로 투영하기 전에 어안 이미지 또는 어안 이미지의 결합/처리된 버전을 변경할 수 있다. 후술되는 바와 같이, 차량내 컴퓨팅 시스템(102)은 식별된 이동 물체의 윤곽을 가상 사발형 투영면 상에 투영하거나 (즉, 중복 이미지 영역 내에서) 인접한 어안 이미지들 사이의 접합을 변경하여 이동 물체를 가시화할 수 있다.
차량내 컴퓨팅 시스템(102)의 예시적인 환경(300)은 이미지 캡처링 모듈(302), 사발 생성 모듈(304), 디스플레이 모듈(306), 카메라 제어 모듈(308), 중복 결정 모듈(310), 물체 식별 모듈(312) 및 물체 가시화 모듈(314)을 포함한다. 또한, 물체 식별 모듈(312)은 이동 결정 모듈(316) 및 윤곽 결정 모듈(318)을 포함하고, 물체 가시화 모듈(314)은 윤곽 투영 모듈(320) 및 접합 변경 모듈(322)을 포함한다. 환경(300)의 모듈 각각은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합으로서 구현될 수 있다. 예를 들어, 환경(300)의 모듈, 논리, 및 다른 컴포넌트 각각은 차량내 컴퓨팅 시스템(102)의 프로세서(110) 또는 다른 하드웨어 컴포넌트(들)의 일부를 형성하거나 그에 의해 설정 또는 실행될 수 있다. 또한, 일부 실시예들에서, 예시적인 모듈들 중 하나 이상은 다른 모듈의 일부를 형성할 수 있고/있거나, 하나 이상의 예시적인 모듈은 독립형 또는 독립 모듈로 구현될 수 있다(예를 들어, 이동 결정 모듈(316)은 물체 식별 모듈(312)과 별개일 수 있다). 일부 실시예들에서, 2013년 12월 19일에 출원된 국제 특허 출원 일련번호 PCT/US2013/076644에 기술된 하나 이상의 기술 및/또는 모듈은 차량내 컴퓨팅 시스템(102)에 의해 이용될 수 있고/있거나 여기에 기술된 환경(300)에 포함될 수 있다는 것을 이해해야 한다. 유사하게, 여기에 기술된 기술 및/또는 모듈은 국제 특허 출원 일련번호 PCT/US2013/076644에 기술된 차량내 컴퓨팅 시스템의 일부 실시예에서 이용될 수 있다.
이미지 캡처링 모듈(302)은 카메라들(126) 각각의 시야 내의 장면들의 이미지들/비디오를 캡처하기 위해 카메라 시스템(120)의 카메라들(126)을 제어한다. 특정 실시예에 따라, 이미지 캡처링 모듈(302)은 이미지들을 연속적으로(예컨대, 비디오 스트림으로서), 주기적으로, 시간 또는 조건 입력들에 응답하여, 이들의 조합으로서, 또는 다른 방식에 기초하여 캡처하라고 각각의 카메라(126)에 지시할 수 있다. 예를 들어, 차량(100)의 변속기가 후진 모드에 있을 때 그리고/또는 차량(100)이 특정 임계 속도 미만으로 움직이고 있을 때, 카메라들(126)은 이미지들을 캡처할 수 있다.
사발 생성 모듈(304)은 카메라 시스템(120)의 카메라들(126)에 의해 캡처되는 이미지들 또는 그의 처리된 버전들(예컨대, 결합 이미지들)이 차량내 컴퓨팅 시스템(102)의 사용자(예컨대, 차량(100)의 운전자)가 보도록 투영될 수 있는 가상 사발형 투영면(402)(도 4 참조)을 생성한다. 대부분의 차량내 이미지 시스템들에서, 차량 탑재 카메라들에 의해 캡처되는 이미지들의 가시화는 차량이 있는 기준 평면(404)(도 4 참조) 상에 위치하지 않은 물체들의 상당한 왜곡을 유발한다. 예시적인 실시예에서, 가상 사발형 투영면(402)은, 예를 들어, 가상 사발형 투영면(402)의 평탄도, 가상 사발형 투영면(402)과 기준 평면(404) 사이의 평탄도 변화, 및 기준 평면(404)에서의 사발형 투영면(402)의 편평도와 같은 특별히 정의된 기하학적 특성들을 가진다. 예시적 실시예에서, 사발 생성 모듈(304)은 차량(100)의 크기(예를 들어, 길이, 폭, 높이, 기타 등등) 및/또는 다른 특징(예로서, 사발 높이, 수평 오프셋, 적응 비율 등)과 관련된 다양한 파라미터에 기초하여 가상 사발형 투영면(402)의 바람직한 기하 구조를 결정하고, (예로서, 가상 사발형 투영면(402)의 각각의 수평 슬라이스(406)를 형성함으로써) 가상 사발형 투영면(402)을 형성한다. 각각의 수평 슬라이스는 일부 실시예에서 특정 실시예에 의존하는 폭(예로서, 불균일한 폭)을 가질 수 있다.
예시적인 실시예에서, 차량(100) 또는 그의 가상 표현이 기준 평면(404) 상의 사발형 투영면(402) 내부에 배치되도록 가상 사발형 투영면(402)이 형성된다는 것을 알아야 한다. 이하에서 상세히 기술되는 바와 같이, 그러한 정보에 기초하여, 사발 생성 모듈(304)은 차량(100)의 길이를 따라 사발형 투영면(402)의 수직 슬라이스(408)(도 4 참조)의 장반축(major semi-axis) 및 단반축(minor semi-axis)을 결정한다. 그에 부가하여, 사발 생성 모듈(304)은 가상 사발형 투영면(402)의 각각의 수평 슬라이스에 대해(예컨대, 하단(410)부터 상단(412)까지), 수직 슬라이스(408)의 장반축 및 단반축에 기초한 대응하는 수평 슬라이스의 장반축 및 대응하는 수평 슬라이스의 장반축과 단반축 사이의 적응 비율에 기초한 대응하는 수평 슬라이스의 단반축을 결정한다. 후술하는 바와 같이, 예시적 실시예에서, 적응 비율은 선형으로 변하며, 사발형 투영면(402)의 상단(412)에서 약 1(즉, 1.0)이고, 사발형 투영면(402)의 하단(410)에서 차량(100)의 길이를 차량(100)의 폭으로 나눈 값(즉, 차량 길이/차량 폭)과 동일하다. 도 5a에 도시된 바와 같이, 사발형 투영면(402)의 축(504)을 따라 본 사발형 투영면(402)의 평면도(502)에서, 사발형 투영면(402)의 최상단 수평 슬라이스(506)는 원형 기하 형상을 가지며, 사발형 투영면(402)의 가장 큰 슬라이스(508)는 사발형 투영면(402)의 수직 중간을 향한다. 또한, 도 5b에 도시된 바와 같이, 축(504)을 따라 본 사발형 투영면(402)의 저면도(510)에서, 사발형 투영면(402)의 최하단 수평 슬라이스(512)는 비원형 타원 기하 형상을 갖는다(즉, 최하단 수평 슬라이스(512)는 자신의 장축이 자신의 단축과 동일하지 않은 타원을 정의한다).
사발 생성 모듈(304)은 가상 사발형 투영면(402)을 생성하기 위해 수평 슬라이스들을 결합한다. 예를 들어, 사발 생성 모듈(304)은 사발형 투영면(402)의 수평 슬라이스들을 적층하고 그 슬라이스들을 서로 병합하여, 결과적인 사발형 투영면(402)을 형성할 수 있다. 그에 부가하여, 사발 생성 모듈(304)은 평평한 기준 평면(404)(또는 보다 구체적으로는, 부분적 평면)인 사발의 하단(410)을 생성하고 병합할 수 있다. 사발형 투영면(402)의 상단(412)이 부분적으로 개방되어 있고 차량(100) 위쪽의 환경의 부분들이 사발형 투영면(402)의 상단 부분 상에 투영될 수 있다는 것을 알아야 한다. 예시적 실시예에서, 기준 평면(404)에 인접하는 생성된 가상 사발형 투영면(402)의 섹션이 필터링되거나 평탄화된다. (예를 들어, 수직 슬라이스(408)에 수직으로 취해진) 사발형 투영면(402)의 수직 단면(602)의 일부에 의해 도 6에 도시된 바와 같이, 사발형 투영면(402)의 하단 부분(604)은 사발형 투영면(402)의 상단 부분(606)이 사발형 투영면(402)의 상단(412)에 접근하는 것보다 낮은 레이트로 사발형 투영면(402)의 하단(410)(즉, 기준 평면(404))에 접근한다.
예시적인 실시예에서, 사발형 투영면(402) 상에 투영된 이미지(본 명세서에서 "사발형 이미지"로 지칭됨)는 사발형 투영면(402)과 관련하여 전술한 특징을 포함할 것이라는 것을 알아야 한다(즉, 사발형 이미지는 상단 부분의 도함수의 절대값보다 작은 절대값을 갖는 도함수를 갖는 하단 부분을 포함할 것이다). 또한, 사발형 투영면(402)의 하단 부분은 임의의 장소에서의 표면의 도함수가 명확하도록(즉, 특이성이 존재하지 않도록) 사발형 투영면(402)의 기준 평면(404)과 병합된다. 사발 생성 모듈(304)은 가상 사발형 투영면 및 사발형 이미지를 생성하기 위해 임의의 적합한 이미지 필터, 알고리즘, 기술 및 / 또는 메커니즘을 사용할 수 있다는 것을 알아야 한다. 물론, 일부 실시예에서, 사발 생성 모듈(304)은 여기서 설명되는 도 4의 가상 사발형 투영면(402)과 다른 특징을 갖는 가상 사발형 투영면을 생성할 수 있다.
다시 도 3을 참조하면, 디스플레이 모듈(306)은 차량내 컴퓨팅 시스템(102)의 사용자가 보도록 하기 위해 이미지들을 디스플레이(118) 상에 렌더링한다. 예를 들어, 디스플레이 모듈(306)은, 사발형 이미지를 생성하여 사발형 이미지 또는 그의 한 부분을 디스플레이(118) 상에 표시하기 위해, 하나 이상의 어안 이미지, 처리된 이미지 및/또는 다른 유형의 이미지를 사발 생성 모듈(304)에 의해 생성된 가상 사발형 투영면(402) 상에 "투영"할 수 있다. 물론, 일부 실시예들에서, 생성된 이미지들 또는 결합된 이미지들이 종래의 의미로 사발형 투영면(402) 상에 "투영"되지 않고; 오히려 생성된 이미지들 또는 결합된 이미지들은 이미지(들)가 사발형 투영면(402) 상에 투영된 것처럼 앞서 논의된 특징들을 포함하는 사발 형상을 갖도록 변경될 수 있다는 것을 알아야 한다.
위에 지시된 바와 같이, 일부 실시예들에서, 디스플레이 모듈(306)은 차량내 컴퓨팅 시스템(102)의 가상 카메라(202)의 시야 내의 사발형 이미지의 부분들만을 렌더링할 수 있다. 그에 따라, 사발형 이미지가 3차원 표면 상에 "투영"되는 이미지로서 구현될 수 있지만, 디스플레이(118)는, 일부 실시예들에서, 사발형 이미지의 2차원 투시도를 렌더링할 수 있다. 예시적인 실시예에서, 카메라 제어 모듈(308)은 가상 카메라(202)의 투시도를 결정하고, 가상 카메라 제어(128)와 연계하여, 차량내 컴퓨팅 시스템(102)의 사용자가 차량내 컴퓨팅 시스템(102)의 가상 카메라(202)의 시야를 변경할 수 있게 한다.
앞서 논의된 바와 같이, 카메라 시스템(120)은 차량(100)의 주위를 캡처하도록 전략적으로 배치된 복수의 카메라(126)를 포함한다. 각각의 카메라(126)는 그의 시야 내의 장면의 독립적인 이미지를 생성하고, 카메라(126)는 인접한 카메라(126)(즉, 서로 가장 인접한 카메라(126))의 시야가 중복하는 장면/영역을 갖도록 배열된다. 일부 실시예에서, 차량내 컴퓨팅 시스템(120)은 (예를 들어, 디스플레이 모듈(306)을 통해) 카메라(126)에 의해 생성된 2개 이상의 이미지를 결합하여 가상 사발형 투영면(402)에 투영할 결합 이미지(예로서, 파노라마 이미지)를 생성할 수 있다. 예를 들어, 차량내 컴퓨팅 시스템(102)은 투영을 위해 인접한 카메라(126)에 의해 캡처된 2개의 이미지에 기초하여 결합 이미지를 생성할 수 있다. 편의상, 이러한 이미지는 본 명세서에서 "인접 이미지"로 지칭될 수 있다. 다른 실시예에서, 차량내 컴퓨팅 시스템(120)은 가상 사발형 투영면(402)에 이미지를 투영하고, 후술하는 바와 같이 (예를 들어, 투영면(402)의 대응하는 중복 영역에서 투영들을 혼합, 크로핑 및/또는 달리 변경함으로써) 투영들을 결합할 수 있다.
중복 결정 모듈(310)은 인접한 이미지들의 중복 영역을 결정한다. 중복 결정 모듈(310)은 임의의 적절한 기술, 알고리즘 및/또는 메커니즘을 사용하여 중복하는 이미지 영역을 식별할 수 있음을 이해해야 한다. 예를 들어, 예시적인 실시예에서, 카메라 시스템(120)의 기하 구조 및 카메라(126)의 고유 파라미터는 알려져 있거나 달리 결정 가능하다. 따라서, 일부 실시예들에서, 중복 영역은 이러한 기하 구조 및/또는 파라미터에 기초하여 결정될 수 있다. 다른 실시예에서, 중복 영역은 특징 검출 및 특징 매칭 알고리즘에 기초하여 결정될 수 있다. 예를 들어, 중복 결정 모듈(310)은 SURF(Speeded Up Robust Features), SIFT(Scale-Invariant Feature Transform), MOPS(Multi-Scale Oriented Patches), Canny, Harris 및/또는 Sobel 필터와 같은 하나 이상의 특징 검출기/설명자를 이용하여 각각의 인접한 이미지의 특징을 검출하고 설명할 수 있다. 또한, 중복 결정 모듈(310)은 2개의 이미지(즉, 스테레오 이미지 쌍)의 식별된 특징에 기초하여 차이 제곱(SSD), 고정 임계치, 최근접 및/또는 랜덤 샘플 컨센서스(RANSAC)와 같은 매칭 알고리즘 또는 기술을 이용하여, 서로 대응하는 2개의 이미지의 특징을 식별할 수 있다. 즉, 중복 결정 모듈(310)은 양 인접 카메라(126)가 캡처한 (예를 들어, 특정 물체, 요소 및/또는 특징을 갖는) 장면의 일부(즉, 중복 영역)를 식별할 수 있다. 물론, 중복 결정 모듈(310)은 다른 실시예에서 인접한 이미지의 중복 영역을 달리 결정할 수 있다.
물체 식별 모듈(312)은 차량(100)의 주위에서 하나 이상의 물체를 식별한다. 물체 식별 모듈(312)은 임의의 적절한 기술, 알고리즘 및/또는 메커니즘을 사용하여 차량(100) 주위(예를 들어, 차량(100) 근처)의 물체, 및 차량(100) 또는 다른 기준점에 대한 물체의 위치를 식별할 수 있다는 것을 알아야 한다. 예를 들어, 일부 실시예에서, 물체는 2013년 12월 19일자로 출원된 국제 특허 출원 일련번호 PCT/US2013/076644에 기술된 하나 이상의 광 흐름, 분할 및/또는 분류 기술을 사용하여 식별될 수 있다. 추가로 또는 대안적으로, 물체 식별 모듈(312)은 차량(100) 근처의 물체들을 식별/측위하기 위해 차량(100)의 하나 이상의 센서(예를 들어, 3D 센서)를 이용할 수 있다. 전술한 바와 같이, 인접 카메라(126)에 의해 캡처된 이미지가 가상 사발형 투영면 상에 투영될 때, 사발형 표면은 흔히 단일 실세계 지점의 상이한 투영을 가지며, 이는 차량(100)의 주위에서 이미지 모호성, 중복 및/또는 비가시 물체를 유발할 수 있다. 따라서, 예시적인 실시예에서, 물체 식별 모듈(312)은 중복 영역 내의 이동 물체를 식별한다. 후술되는 바와 같이, 가상 사발형 투영면 상으로의 중복 이미지 영역의 투영은 식별된 이동 물체를 가시화하도록 변경된다. 본 명세서에서 본 기술 및 알고리즘은 단일 물체를 식별하고 단일 물체에 기초하여 투영을 변경하는 것을 참조하여 주로 설명되지만, 일부 실시예에서 차량내 컴퓨팅 시스템(102)은 다수의 물체를 식별하고/하거나 다수의 물체에 기초하여 투영을 변경할 수 있다.
전술한 바와 같이, 예시적인 물체 식별 모듈(312)은 이동 결정 모듈(316) 및 윤곽 결정 모듈(318)을 포함한다. 이동 결정 모듈(316)은 차량(100) 주위의 물체의 이동을 결정한다. 특히, 예시적인 실시예에서, 이동 결정 모듈(316)은 대응하는 이웃 이미지를 캡처한 카메라(126)에 대해 중복 이미지 영역에 위치한 물체의 이동을 결정한다. 이동 결정 모듈(316)은 임의의 적절한 기술, 알고리즘 및/또는 메커니즘을 사용하여 이러한 결정을 할 수 있음을 알아야 한다. 예를 들어, 이동 결정 모듈(316)은 광 흐름 알고리즘(예를 들어, 2013년 12월 19일자로 출원된 국제 특허 출원 일련번호 PCT/US2013/076644에 기술된 광 흐름 기술 참조), 동일 카메라(126)로 촬영된 순차적 이미지 세트 및/또는 하나 이상의 센서(미도시)를 사용할 수 있다. 센서를 포함하는 실시예에서, 센서는 예를 들어 근접 센서, 광학 센서, 광센서, 오디오 센서, 온도 센서, 모션 센서, 압전 센서 및/또는 다른 유형의 센서로 구현되거나 이들을 포함할 수 있다. 물론, 차량내 컴퓨팅 시스템(102)은 센서의 사용을 용이하게 하도록 구성된 컴포넌트 및/또는 디바이스를 포함할 수도 있다.
윤곽 결정 모듈(318)은 가상 사발형 투영면(402)에 투영하기 위해 이동 결정 모듈(316)에 의해 식별된 하나 이상의 이동 물체의 윤곽을 결정하도록 구성된다. 후술하는 바와 같이, 예시적인 실시예에서, 윤곽 결정 모듈(318) 또는 추가로 일반적으로 물체 식별 모듈(312)은 식별된 이동 물체(예를 들어, 그의 윤곽)를 가상 사발형 투영면으로 투영할 인접 어안 이미지들 중 하나를 선택한다. 따라서, 윤곽 결정 모듈(318)은 적절한 기술, 알고리즘 및/또는 메커니즘(예를 들어, 에지 검출, 이미지 분할 및/또는 다른 이미지 필터 또는 알고리즘)을 사용하여 선택된 어안 이미지 상의 식별된 이동 물체의 윤곽을 결정한다. 아래에 설명되는 바와 같이, 일부 실시예에서, 윤곽 결정 모듈(318)은 생성된 사발형 이미지의 다른 특징(예를 들어, 밝은 컬러)과의 이동 물체 대조를 행하기 위해 윤곽을 "플러드 필(flood-fill)"할 수 있다. 다른 실시예에서, 윤곽 결정 모듈(318)은 가상 사발형 투영면(402)으로의 투영(예를 들어, 혼합/투명 중복 영역 상으로의 투영)을 위해 이동 물체의 윤곽 내의 선택된 어안 이미지의 이미지 영역을 식별할 수 있다.
전술한 바와 같이, 인접한 카메라(126)에 의해 캡처된 이미지가 가상 사발형 투영면 상에 투영될 때, 종종 사발형 표면은 단일 실세계 지점의 상이한 투영을 갖게 되며, 이는 전통적으로 치료될 때 차량(100)의 주위에서 이미지 모호성, 중복 및/또는 비가시 물체를 유발할 수 있다. 따라서, 예시적인 실시예에서, 물체 가시화 모듈(314)은 중복 이미지 영역에서의 물체 가시화를 개선한다. 특히, 물체 가시화 모듈(314)은 가상 사발형 투영면(402) 상에 식별된 이동 물체를 가시화하기 위해 투영된 중복 이미지 영역(즉, 인접한 어안 이미지의 중복 영역에 대응함)을 변경한다. 전술한 바와 같이, 일부 실시예에서, 물체 가시화 모듈(314)은 투영 자체를 변경하여 식별된 이동 물체를 가시화하는 반면, 다른 실시예에서 물체 가시화 모듈(314)은 가상 사발형 투영면(402) 상의 투영에 앞서 식별된 이동 물체의 가시화를 위해 인접 어안 이미지 및/또는 그의 프로세스/결합 버전을 변경한다. 또한, 전술한 바와 같이, 예시적인 실시예에서, 물체 가시화 모듈(314)은 윤곽 투영 모듈(320) 및 접합 변경 모듈(322)을 포함한다.
윤곽 투영 모듈(320)은 인접한 이미지의 중복하는 이미지 영역을 혼합하여, (예를 들어, 투영 또는 결합/처리된 이미지 자체 상에) 혼합 중복 이미지 영역을 생성하고, 혼합 중복 이미지 영역을 변경하여 그러한 혼합 중복 이미지 영역에서 식별된 이동 물체의 윤곽을 가시화한다. 중복 이미지 영역은 임의의 적합한 알고리즘, 기술 및/또는 메커니즘을 사용하여 혼합될 수 있음을 이해해야 한다. 예를 들어, 일부 실시예에서, 윤곽 투영 모듈(320)은 평균화 또는 블러링 필터(예로서, 가우시안 필터)를 이용할 수 있다. 다른 실시예에서, 윤곽 투영 모듈(320)은 중복 이미지 영역 또는 그 일부를 투명하게 할 수 있다. 예시적인 실시예에서, 윤곽 투영 모듈(320)은 식별된 이동 물체의 윤곽을 (예를 들어, 사발형 이미지의) 혼합 중복 이미지 영역 상에 투영하여 물체의 윤곽이 혼합 중복 이미지 영역에서 사발형 이미지 상에 오버레이되게 한다. 전술한 바와 같이, 그렇게 함으로써, 윤곽 투영 모듈(320)은 특정 실시예에 따라 다양한 방식으로 윤곽을 투영할 수 있다. 예를 들어, 윤곽 투영 모듈(320)은 물체의 플러드 필된(예로서, 단색) 윤곽, 물체의 강조된 경계 또는 식별된 물체의 윤곽 내의 선택된 이미지의 이미지 영역을 투영할 수 있다.
접합 변경 모듈(322)은 식별된 이동 물체의 연속적인 가시화를 위해 인접 어안 이미지들 간의 접합을 적응적으로 변경한다. 예를 들어, 예시적인 실시예에서, 접합 변경 모듈(322)은 물체가 중복 이미지 영역을 통해 이동함에 따라 접합을 "이동"시킴으로써, 이동 물체가 항상 인접 어안 이미지들 중 하나로부터 투영되게 한다. 특히, 접합 변경 모듈(322)은 대응하는 어안 카메라(126)에 대한 식별된 이동 물체의 위치에 기초하여 중복 영역 내의 인접한 어안 이미지들 사이의 접합을 결정한다. 예시적인 실시예에서, 접합은 인접 어안 이미지들을 결합하는 중복 이미지 영역 내의 경계이다. 접합 변경 모듈(322)은 결정된 접합에 기초하여 중복 영역 내의 인접 어안 이미지를 추가로 변경하고, 접합에서 그러한 어안 이미지의 변경 버전을 결합하고, 그의 결합된 버전을 가상 사발형 투영면(402)에 투영한다. 특히, 예시적인 실시예에서, 접합 변경 모듈(322)은 인접한 어안 이미지들 중 하나 또는 둘 모두에 대한 시야 임계치를 결정하고, 식별된 이동 물체의 상대 위치 및 시야 임계치에 기초하여 가상 사발형 투영면(402) 상에 식별된 이동 물체를 투영할 인접 어안 이미지들 중 하나를 선택하고, 식별된 이동 물체의 상대 위치 및 시야 임계치에 기초하여 가상 사발형 투영면(402)에 투영할 인접 어안 이미지 각각의 대응하는 영역을 결정한다.
특정 실시예에 따라, 시야 임계치는 예를 들어 카메라 시스템(120)의 기하 구조 및/또는 카메라(126)의 고유 파라미터와 관련될 수 있다. 전술한 바와 같이, 예시적인 실시예에서, 카메라 시스템(120)은 서로에 대한 카메라(126)의 위치, 카메라(126)의 시야 및/또는 인접 카메라(126)의 중복 영역이 알려지거나 달리 결정 가능하도록 특정 기하 구조를 갖는다. 또한, 각각의 카메라(126)는 예를 들어 대응하는 카메라(126)의 초점 길이, 주요 지점, 줌 정보, 최대/최소 시야각 및/또는 다른 특성과 관련된 고유 파라미터를 갖는다. 특정 카메라(126)는 카메라(126)가 그의 최대 시야를 갖고, 따라서 추가로 큰 장면을 캡처하는 최대 시야각을 갖는다는 것을 알아야 한다. 예를 들어, 일부 실시예에서, 어안 카메라(126)는 거의 180도를 캡처하도록 구성될 수 있다. 예시적인 실시예에서, 접합 변경 모듈(322)은 예를 들어 카메라(126)의 시야각을 조정(즉, 감소)함으로써 그의 능력보다 작은 장면을 캡처하도록 카메라(126)의 시야각을 조정할 수 있다. 또한, 일부 실시예에서, 접합 변경 모듈(322)은 특정 카메라(126)에 의해 캡처된 이미지를 크로핑 또는 달리 변경하여 이미지가 결정된 접합에서 결합되게 할 수 있다. 즉, 후술하는 바와 같이, 접합 변경 모듈(322)은 인접 어안 이미지가 결합 또는 연결되는 중복 이미지 영역 내의 경계를 결정한다. 변경 없이, 각각의 인접 어안 이미지의 일부가 접합을 넘어 연장될 가능성이 있으므로, 접합 변경 모듈(322)은 (예를 들어, 캡처 전에 그의 시야각을 조정하거나 캡처 후에 이미지를 변경함으로써) 결합될 인접 어안 이미지를 구성하고, 그 이미지를 결합한다.
전술된 바와 같이, 차량내 컴퓨팅 시스템(102)은 차량(100)의 운전자의 편의 및 개선된 시야를 위해 캡처 이미지 및/또는 결합 이미지가 투영될 수 있은 가상의 가상 사발형 투영면(402)을 생성한다. 또한, 인접 카메라(126)는 중복 시야를 가지며, 이는 인접 카메라(126)에 의해 생성된 이미지가 중복 이미지 영역에서 매칭되는(즉, 복제되는) 특징을 갖게 한다. 이러한 특징들의 복제는 해결되지 않을 경우에 결합 이미지 및/또는 대응하는 투영에서 그러한 특징들의 모호성을 초래할 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 2개의 인접 카메라(702, 704)는 (즉, 해당 실세계 지점(706)이 사발형 투영면(402)에 부합하지 않을 경우) 동일한 실세계 지점(706)을 사발형 투영면(402)의 2개의 다른 지점(708, 710) 상에 (예로서, 후방 투영을 통해) 투영한다. 특히, 제1 카메라(702)에 의해 캡처된 실세계 지점(706)은 제1 지점(708)에서 사발형 투영면(402) 상에 투영되고, 제2 카메라(702)에 의해 캡처된 실세계 지점(706)은 제2 지점(710)에서 사발형 표면 상에 투영된다. 따라서, 예시적인 실시예에서, 차량내 컴퓨팅 시스템(102)은 물체(및 물체의 단 하나의 사본)가 특정 중복 이미지 영역에서 보이는 것을 보장하기 위해 이러한 문제를 해결한다.
이제, 도 8을 참조하면, 사용시에, 차량내 컴퓨팅 시스템(102)은 사발형 이미지 상에 또는 보다 구체적으로는 인접 어안 이미지의 중복 영역에 대응하는 사발형 이미지 영역의 영역 상에 이동 물체를 가시화하는 방법(800)을 실행할 수 있다. 전술한 바와 같이, 여기서 설명되는 방법은 일반적으로 어안 카메라(126) 및 이러한 카메라(126)에 의해 생성된 어안 이미지와 관련하여 설명되지만, 방법은 다른 유형의 카메라(126) 및/또는 이미지에도 적용 가능하다. 예시적인 방법(800)은 차량내 컴퓨팅 시스템(102)이 주위의 물리적 환경을 표시할지를 결정하는 블록 802에서 시작한다. 그러한 경우, 차량내 컴퓨팅 시스템(102)은 블록 804에서 인접/이웃 어안 카메라(126)로부터 어안 이미지를 수신한다. 전술한 바와 같이, 예시적인 실시예(도 2 참조)에서, 카메라 시스템(120)은 4개의 어안 카메라(126)를 포함한다. 따라서, 방법(800)이 2개의 이웃 어안 이미지를 참조하여 설명되지만, 그러한 실시예에서, 차량내 컴퓨팅 시스템(102)은 동일한 캡처 시간과 연관된(즉, 같은 시간 또는 거의 같은 시간에 캡처된) 어안 이미지를 4개의 카메라(126) 각각으로부터 수신할 수 있다. 물론, 다른 실시예에서, 카메라 시스템(120)은 다른 수의 카메라(126)를 포함할 수 있고, 따라서 다른 수의 어안 이미지가 블록 804에서 수신되거나 검색될 수 있다.
블록 806에서, 차량내 컴퓨팅 시스템(102)은 이웃 어안 이미지들의 중복 영역을 결정한다. 전술한 바와 같이, 차량내 컴퓨팅 시스템(102)은, 예를 들어, 카메라 시스템(120)의 기하 구조, 카메라(126)의 고유 파라미터, 특징 검출 및 매칭 알고리즘, 및/또는 다른 적절한 기술, 알고리즘 또는 메커니즘에 기초하여 중복 이미지 영역을 결정할 수 있다. 블록 808에서, 차량내 컴퓨팅 시스템(102)은 차량(100) 주위의 이동 물체를 식별한다. 전술한 바와 같이, 인접한 어안 카메라(126)의 중복 영역 외부의 물체는 가상 사발형 투영면(402) 상의 단일 위치에 투영되며, 따라서 일반적으로 전술한 물체 모호성, 중복 및 비가시성에 관한 문제를 일으키지 않는다. 따라서, 예시적인 실시예에서, 차량내 컴퓨팅 시스템(102)은 이웃 어안 카메라(126)의 중복 이미지 영역에서 존재할 경우에 이동 물체를 식별한다. 차량내 컴퓨팅 시스템(102)은 그것을 위해 임의의 적절한 기술, 알고리즘, 및/또는 메커니즘(예로서, 광 흐름, 이미지 분할, 물체 분류, 센서 등)을 이용할 수 있다.
블록 810에서, 차량내 컴퓨팅 시스템(102)은 수신된 어안 이미지를 가상 사발형 투영면(402)에 투영하여 대응하는 사발형 이미지를 생성한다. 물론, 다른 실시예에서, 차량내 컴퓨팅 시스템(102)은 어안 이미지를 상이한 가상 사발형 투영면(예를 들어, 상이한 특성을 갖는 표면)에 투영할 수 있다. 또한, 전술한 바와 같이, 일부 실시예에서, 하나 이상의 이미지는 전통적으로 사발형 투영면(402) 상에 "투영"되는 것이 아니라 가상 사발형 투영면(402)과 일치하는 사발 형상을 갖도록 변경될 수 있다. 전술한 바와 같이, 블록 812에서, 차량내 컴퓨팅 시스템(102)은 블록 808에서 식별된 이동 물체를 가시화하기 위해 중복 영역 내의 투영을 변경한다. 이렇게 함으로써, 차량내 컴퓨팅 시스템(102)은 도 9의 방법(900)을 참조하여 아래에 기술된 바와 같이 식별된 이동 물체의 윤곽을 투영하거나, 도 10의 방법(1000)을 참조하여 아래에 기술된 바와 같이 인접 이미지들 간의 접합을 변경할 수 있다. 다른 실시예에서, 차량내 컴퓨팅 시스템(102)은 중복 영역에서 이동 물체를 가시화하기 위한 다른 기술을 이용할 수 있다. 또한, 전술한 바와 같이, 일부 실시예들에서, 차량내 컴퓨팅 시스템(102)은 투영 그 자체를 변경하는 것이 아니라 가상 사발형 투영면(402)에 투영하기 전에 어안 이미지 또는 그의 처리된 이미지(예를 들어, 결합 이미지)를 변경할 수 있다.
블록 814에서, 차량내 컴퓨팅 시스템(102)은 운전자가 볼 수 있도록 사발형 이미지(즉, 변경된 중복 이미지 영역을 포함함)를 표시한다. 전술한 바와 같이, 특정 실시예에 따라, 차량내 컴퓨팅 시스템(102)은 사발형 이미지의 전체 또는 사발형 이미지의 일부만을 표시할 수 있다. 예를 들어, 일부 실시예에서, 차량내 컴퓨팅 시스템(102)은 가상 카메라(202)의 시야 내에 그리고 그와 동일한 관점에서 사발형 이미지 및/또는 사발형 투영면(402)의 일부만을 생성 및/또는 표시할 수 있다.
전술한 바와 같이, 일부 실시예에서, 사용자(예를 들어, 운전자)는 사발형 이미지의 시야를 조정하도록 가상 카메라(202)를 제어할 수 있다. 따라서, 블록 816에서, 차량내 컴퓨팅 시스템(102)은 (예로서, 가상 카메라(202)를 병진 또는 회전시킴으로써) 가상 카메라(202)의 시야를 변경하기 위해 (예를 들어, 운전자로부터) 임의의 사용자 입력이 수신되었는지를 결정할 수 있다. 수신된 경우, 차량내 컴퓨팅 시스템(102)은 블록 818에서 사용자 입력 및 가상 카메라(202)의 새로운 위치에 기초하여 사발형 이미지의 표시를 변경한다. 예를 들어, 사용자는 (예를 들어, 차량(100) 내부의 것과 일치하는 관점에서) 사발형 이미지 내에서 가상 카메라(202)를 회전시켜 사발형 이미지의 다른 부분을 표시할 수 있다. 일부 실시예에서, 차량내 컴퓨팅 시스템(102)은 (예를 들어, 사발형 이미지의 다수의 관점을 동시에 표시하기 위해) 다수의 가상 카메라(202)를 이용할 수 있다는 것을 알아야 한다. 예를 들어, 일 실시예에서, 차량내 컴퓨팅 시스템(102)은 차량(100)의 네 측면 각각으로부터 사발형 이미지의 뷰를 표시할 수 있다. 다른 실시예에서, 전체 사발형 이미지 또는 그 일부는 위에서 설명한 것처럼 3D 디스플레이 상에 표시될 수 있다. (블록 818에서) 사발형 이미지의 표시를 변경하거나, (블록 816에서) 사발형 이미지를 변경하기 위한 어떠한 사용자 입력도 수신되지 않았다고 결정하는 것에 응답하여, 방법(800)은 블록 802로 복귀하여, 차량내 컴퓨팅 시스템(102)은 차량(100)의 주위 환경을 표시할지를 결정한다.
이제, 도 9를 참조하면, 사용시에, 차량내 컴퓨팅 시스템(102)은 전술한 바와 같이 가상 사발형 투영면(402)의 중복 영역(1102) 상에 물체의 윤곽을 투영함으로써 이동 물체를 가시화하기 위해 중복 영역(1102)(도 11 참조)에서 투영을 변경하기 위한 방법(900)을 실행할 수 있다. 예시적인 방법(900)은 차량내 컴퓨팅 시스템(102)이 도 8의 블록 808에서 식별된 이동 물체의 윤곽(1104)(도 11 참조)을 가상 사발형 투영면(402) 상에 투영할지를 결정하는 블록 902에서 시작한다. 투영할 경우, 블록 904에서, 차량내 컴퓨팅 시스템(102)은 식별된 이동 물체를 가상 사발형 투영면(402) 상에 투영할 인접 어안 이미지들 중 하나를 선택한다. 예를 들어, 일부 실시예에서, 차량내 컴퓨팅 시스템(102)은 식별된 이동 물체에 가장 가까운 어안 카메라(126)에 의해 캡처된 어안 이미지를 선택할 수 있다. 물론, 차량내 컴퓨팅 시스템(102)은 다른 실시예에서 상이한 기준에 기초하여 식별된 이동 물체의 투영을 위해 인접 어안 이미지 중 어느 것을 선택할지를 결정할 수 있다.
블록 906에서, 차량내 컴퓨팅 시스템(102)은 선택된 어안 이미지 상에서 식별된 이동 물체의 윤곽(1104)을 결정한다. 전술한 바와 같이, 차량내 컴퓨팅 시스템(102)은 그렇게 하기 위해 임의의 적합한 기술, 알고리즘 및/또는 메커니즘을 이용할 수 있다. 예를 들어, 차량내 컴퓨팅 시스템(102)은 에지 검출 알고리즘(예를 들어, Canny 에지 검출, Sobel 필터 등), 이미지 분할 알고리즘(예를 들어, 유역 분할, 피라미드 분할 등) 및/또는 물체의 윤곽을 결정하는 다른 이미지 필터/알고리즘을 이용할 수 있다. 예시적인 실시예에서, 물체의 윤곽(1104)은 이웃 어안 이미지들 중 단지 하나로부터 투영됨을 이해해야 한다. 그러나, 다른 실시예에서, 물체의 윤곽(1104)은 이웃 어안 이미지 각각에서 식별될 수 있고/있거나 양 어안 이미지로부터 투영될 수 있다.
블록 908에서, 차량내 컴퓨팅 시스템(102)은 어안 이미지 투영의 중복 영역(1102)(즉, 가상 사발형 투영면(402) 상으로의 중복 이미지 영역의 투영)을 혼합한다. 전술한 바와 같이, 일부 실시예에서, 차량내 컴퓨팅 시스템(102)은 어안 이미지 투영의 중복 영역(1102)을 혼합하기 위해 중복 이미지 영역에 평균화 또는 블러링 필터(예를 들어, 가우시안 필터)를 적용할 수 있다. 대안적으로 또는 부가적으로, 차량내 컴퓨팅 시스템(102)은 중복 영역의 일부를 투명 영역으로 렌더링할 수 있다.
블록 910에서, 차량내 컴퓨팅 시스템(102)은 (예를 들어, 대응하는 위치에서) 어안 이미지 투영들의 중복 영역에서 물체의 윤곽(1104)을 가시화한다. 전술한 바와 같이, 차량내 컴퓨팅 시스템(102)은 특정 실시예에 따라 여러 방식으로 그렇게 할 수 있다. 예를 들어, 블록 912에서, 차량내 컴퓨팅 시스템(102)은 선택된 어안 이미지로부터 가상 사발형 투영면(402)으로 물체의 윤곽(1104)을 투영할 수 있다. 전술한 바와 같이, 자신의 윤곽(1104)에 의해 정의되는 물체의 테두리 또는 경계는 일부 실시예에서 가상 사발형 투영면(402)의 중복 영역에 (예를 들어, 강조된 경계로서) 투영될 수 있다. 다른 실시예에서, 차량내 컴퓨팅 시스템(102)은 (예를 들어, 유역 알고리즘 또는 다른 분할 알고리즘을 사용하여) 윤곽(1104)을 플러드 필하고, 플러드 필된 윤곽(1104)을 선택된 어안 이미지로부터 중복 영역 상으로 투영할 수 있다. 대안적으로 또는 부가적으로, 블록 914에서, 차량내 컴퓨팅 시스템(102)은 이동 물체의 윤곽(1104) 내의 선택된 어안 이미지의 이미지 영역을 식별하고, 그 이미지 영역을 선택된 어안 이미지로부터 가상 사발형 투영면(402)의 중복 영역(1102)으로 투영할 수 있다. 전술한 바와 같이, 일부 실시예에서, 가상 사발형 투영면(402)에 물체의 윤곽(1104)을 투영하는 것은 본질적으로 적절한 위치(예를 들어, 대응하는 이미지 픽셀이 통상적으로 표면(402)에 투영되는 위치) 내의 혼합 중복 영역(1102) 상에 물체의 윤곽(1104)을 오버레이하는 것을 포함한다. 중복 영역(1102)이 도 11에 그 전체가 혼합되는 것으로 도시되지만, 일부 실시예에서는, 중복 영역(1102)의 일부만이 혼합된다.
이제, 도 10을 참조하면, 사용시에, 차량내 컴퓨팅 시스템(102)은 식별된 이동 물체(1208)를 가시화하기 위해 이웃 어안 이미지들(1204, 1206) 사이의 접합(1202)(도 12 참조)을 변경하는 방법(1000)을 실행할 수 있다. 전술한 바와 같이, 차량내 컴퓨팅 시스템(102)은 물체(1208)가 중복 영역을 통해 이동함에 따라 접합(1202)을 적응적으로 이동시켜 이동 물체(1208)가 이웃 어안 이미지들(1204, 1206) 중 하나로부터 항상 투영되게 한다. 예로서, 도 2에 도시된 바와 같이, 어안 카메라(126)는 예시적인 실시예에서 차량(100)의 전방 및 전방 우측에 배치된다. 물체(1208)(예를 들어, 보행자)가 차량(100)의 전방을 가로 질러 좌측에서 우측으로 이동하면, 차량내 컴퓨팅 시스템(102)은 (예로서, 대응하는 카메라(126)의 시야각을 조정하거나, 카메라(126)의 캡처된 이미지를 변경함으로써) 어안 이미지(1204, 1206) 사이의 접합(1202)을 우측으로 이동시킬 수 있다.
예시적인 방법(1000)은 차량내 컴퓨팅 시스템(102)이 이웃 어안 이미지들(1204, 1206)의 접합(1202)을 변경할지를 결정하는 블록 1002에서 시작한다. 변경할 경우, 블록 1004에서, 차량내 컴퓨팅 시스템(102)은 물체의 위치 및/또는 대응하는 어안 카메라(126)(즉, 어안 이미지(1204, 1206)를 캡처한 카메라(126))의 하나 이상의 임계치에 기초하여 이웃 어안 이미지(1204, 1206) 사이의 접합(1202)을 결정한다. 특히, 블록 1006에서, 차량내 컴퓨팅 시스템(102)은 인접 어안 카메라(126)(즉, 이미지(1204, 1206)를 생성한 카메라(126))의 시야 임계치를 결정한다. 전술한 바와 같이, 각각의 어안 카메라(126)는 카메라(126)가 이미지를 캡처할 수 있은 최대 시야각(예를 들어, 약 180도) 및 최소 시야각(예로서, 약 0도)을 가지며, 이는 특정 카메라(126) 및 그의 고유 파라미터에 의존한다.
블록 1008에서, 차량내 컴퓨팅 시스템(102)은 식별된 이동 물체의 상대 위치 및 카메라(126)의 시야 임계치에 기초하여 식별된 이동 물체(1208)를 투영할 인접 어안 이미지(1204, 1206) 중 하나를 선택한다. 예를 들어, 일부 실시예에서, 물체(1208)는 물체(1208)가 물체(1208)에 가장 가까운 카메라(126)의 시야 임계치 밖에 있지 않을 경우에 그 카메라(126)에 대응하는 어안 이미지(1204, 1206)로부터 투영된다.
블록 1010에서, 차량내 컴퓨팅 시스템(102)은 가상 사발형 투영면(402)에 투영할 어안 이미지(1204, 1206)의 대응하는 영역을 결정한다. 예를 들어, 어안 이미지(1204, 1206) 사이의 접합(1202)을 변경하지 않으면, 접합(1202)은 통상적으로 대응하는 카메라(126) 사이의 대략 중간 위치에 대응할 수 있다. 그러나, 물체(1208)가 접합(1202)에 가깝거나 교차하는 경우, 차량내 컴퓨팅 시스템(102)은 접합(1202)을 물체(1208)의 옆으로 이동시킬 수 있다. 예를 들어, 일부 실시예에서, 접합(1202)은 물체(1208)가 이동하는 방향으로 이동되고, 다른 실시예에서 접합(1202)은 물체(1208)가 물체(1208)의 중심에 가장 가까운 이미지(1204, 1206)로부터 투영되도록 이동된다. 어느 경우에나, 차량내 컴퓨팅 시스템(102)은 접합(1202)의 결정된 위치에서 2개의 이미지(1204, 1206)가 연결되게 하도록 투영되어야 하는 어안 이미지(1204, 1206) 각각의 대응하는 영역을 결정한다. 블록 1012에서, 차량내 컴퓨팅 시스템(102)은 결정된 접합(1202) 및/또는 투영할 결정된 영역에 기초하여 중복 영역 내의 인접한 어안 이미지(1204, 1206)를 변경한다. 예를 들어, 물체(1208)가 차량(100)의 정면을 가로질러 좌에서 우로 이동하는 위에서 설명되고 도 12-14에 도시된 실시예에서, 전방 카메라(126)에 의해 캡처된 이미지(1204)의 시야각은 (적어도 우측으로) 증가될 수 있고, 우측 카메라(126)에 의해 캡처된 이미지(1206)의 시야각은 (적어도 전방을 향해) 감소될 수 있고, 이들 카메라(126)에 의해 캡처된 이미지는 유사하게 수행될 것이다. 다른 실시예에서, 차량내 컴퓨팅 시스템(102)은 카메라(126)의 시야각을 조정하는 것이 아니라, 이미지(1204, 1206)가 결정된 접합(1202)에서 연결/결합될 수 있도록 이미지(1204, 1206)를 크로핑하거나 달리 변경할 수 있다.
블록 1014에서, 차량내 컴퓨팅 시스템(102)은 결정된 접합에서 변경된 어안 이미지(1204, 1206)를 결합하여 결합 이미지를 생성한다. 블록 1016에서, 차량내 컴퓨팅 시스템(102)은 결합 이미지를 가상 사발형 투영면(402)에 투영하여 대응하는 사발형 이미지를 생성한다. 전술한 바와 같이, 일부 실시예에서, 투영에 앞서 이미지(1204, 1206) 사이의 접합(1202)을 변경하는 것이 아니라, 차량내 컴퓨팅 시스템(102)은 이미지(1204, 1206)의 예상 (즉, 변경되지 않은) 투영을 변경하여 투영 사이의 접합을 변경할 수 있다. 또한, 차량내 컴퓨팅 시스템(102)은 이웃 어안 이미지들 간의 접합을 변경할지를 결정할 때 다수의 이동 물체의 위치를 고려할 수 있음을 알아야 한다. 또한, 차량내 컴퓨팅 시스템(102)은 이동 물체가 식별된 인접 이미지의 각각의 쌍 사이의 접합을 그러한 이웃 이미지의 대응하는 중복 영역에서 변경할 수 있다.
예
본 명세서에 개시된 기술의 예시적인 예가 아래에 제공된다. 기술의 실시예는 이하에 설명되는 예들 중 임의의 하나 이상 및 임의의 조합을 포함할 수 있다.
예 1은 사발형 이미지 상에 이동 물체들을 가시화하기 위한 컴퓨팅 디바이스를 포함하며, 상기 컴퓨팅 디바이스는 제1 장면을 포함하는 제1 어안 이미지를 캡처하기 위한 제1 어안 카메라; 중복 영역에서 상기 제1 장면과 중복되는 제2 장면을 포함하는 제2 어안 이미지를 캡처하기 위한 제2 어안 카메라; 상기 중복 영역에서 이동 물체를 식별하기 위한 물체 식별 모듈; 및 투영된 중복 이미지 영역을 변경하여, 가상 사발형 투영면 상에 상기 식별된 이동 물체를 가시화하기 위한 물체 가시화 모듈을 포함하고, 상기 투영된 중복 이미지 영역은 상기 가상 사발형 투영면 상에 투영되고, 상기 제1 및 제2 어안 이미지들의 상기 중복 영역에 대응한다.
예 2는 예 1의 내용을 포함하며, 상기 투영된 중복 이미지 영역을 변경하는 것은 상기 식별된 이동 물체를 상기 가상 사발형 투영면에 투영할 어안 이미지를 선택하고 - 상기 어안 이미지는 상기 제1 어안 이미지 또는 상기 제2 어안 이미지 중 하나로부터 선택됨 -; 상기 선택된 어안 이미지 상에서 상기 식별된 이동 물체의 윤곽을 결정하고; 상기 투영된 중복 이미지 영역을 혼합하여 혼합 중복 이미지 영역을 생성하고; 상기 혼합 중복 이미지 영역에서 상기 식별된 이동 물체의 윤곽을 가시화하는 것을 포함한다.
예 3은 예 1 및 2 중 어느 하나의 내용을 포함하며, 상기 식별된 이동 물체의 윤곽을 가시화하는 것은 상기 식별된 이동 물체의 윤곽을 상기 선택된 어안 이미지로부터 상기 가상 사발형 투영면의 상기 혼합 중복 이미지 영역으로 투영하는 것을 포함한다.
예 4는 예 1 내지 3 중 어느 하나의 내용을 포함하며, 상기 식별된 이동 물체의 윤곽을 가시화하는 것은 상기 식별된 이동 물체의 윤곽 내에서 상기 선택된 어안 이미지의 이미지 영역을 식별하고; 상기 식별된 이미지 영역을 상기 가상 사발형 투영면의 상기 혼합 중복 이미지 영역에 투영하여 상기 식별된 이미지 영역을 상기 혼합 중복 이미지 영역 상에 오버레이하는 것을 포함한다.
예 5는 예 1 내지 4 중 어느 하나의 내용을 포함하고, 상기 가상 사발형 투영면의 상기 혼합 중복 이미지 영역은 투명하다.
예 6은 예 1 내지 5 중 어느 하나의 내용을 포함하며, 상기 투영된 중복 이미지 영역을 변경하는 것은 상기 제1 및 제2 어안 카메라들에 대한 상기 식별된 이동 물체의 위치에 기초하여 상기 제1 및 제2 어안 이미지들의 상기 중복 영역 내에서 상기 제1 및 제2 어안 이미지들 사이의 접합을 결정하고 - 상기 접합은 상기 제1 및 제2 어안 이미지들을 결합할 상기 중복 이미지 영역 내의 경계임 -; 상기 결정된 접합에 기초하여 상기 중복 영역 내에서 상기 제1 및 제2 어안 이미지들을 변경하고; 상기 결정된 접합에서 상기 변경된 제1 및 제2 어안 이미지들을 결합하고; 상기 결합된 제1 및 제2 어안 이미지들을 상기 가상 사발형 투영면에 투영하는 것을 포함한다.
예 7은 예 1 내지 6 중 어느 하나의 내용을 포함하며, 상기 제1 및 제2 어안 이미지들 사이의 접합을 결정하는 것은 상기 제1 및 제2 어안 카메라들 각각의 대응하는 시야 임계치를 결정하고; 상기 식별된 이동 물체의 상대 위치 및 상기 시야 임계치에 기초하여, 상기 식별된 이동 물체를 상기 가상 사발형 투영면에 투영할 어안 이미지를 선택하고 - 상기 어안 이미지는 상기 제1 어안 이미지 또는 상기 제2 어안 이미지 중 하나로부터 선택됨 -; 상기 식별된 이동 물체의 상대 위치 및 상기 시야 임계치에 기초하여 상기 가상 사발형 투영면에 투영할 상기 제1 및 제2 어안 이미지들 각각의 대응하는 영역을 결정하는 것을 포함한다.
예 8은 예 1 내지 7 중 어느 하나의 내용을 포함하고, 상기 대응하는 시야 임계치는 상기 대응하는 제1 및 제2 어안 카메라들 각각이 캡처할 수 있는 최대 및 최소 시야각을 지시한다.
예 9는 예 1 내지 8 중 어느 하나의 내용을 포함하고, 상기 제1 및 제2 어안 카메라들을 포함하는 카메라 시스템의 기하 구조에 기초하여 상기 중복 이미지 영역에 대응하는 상기 제1 및 제2 어안 이미지들의 중복 이미지 영역을 결정하기 위한 중복 결정 모듈을 추가로 포함한다.
예 10은 예 1 내지 9 중 어느 하나의 내용을 포함하고, 상기 변경된 투영된 중복 이미지 영역의 상기 가상 사발형 투영면으로의 투영에 기초하여 사발형 이미지를 생성하기 위한 사발 생성 모듈; 및 상기 생성된 사발형 이미지를 상기 컴퓨팅 디바이스의 디스플레이 상에 표시하기 위한 디스플레이 모듈을 추가로 포함한다.
예 11은 예 1 내지 10 중 어느 하나의 내용을 포함하며, 상기 컴퓨팅 디바이스는 차량내 컴퓨팅 시스템으로서 구현된다.
예 12는 컴퓨팅 디바이스에 의해 생성된 사발형 이미지 상에 이동 물체들을 가시화하기 위한 방법을 포함하며, 상기 방법은 상기 컴퓨팅 디바이스에 의해, (i) 제1 어안 카메라에 의해 생성되고, 제1 장면을 캡처하는 제1 어안 이미지 및 (ii) 제2 어안 카메라에 의해 생성되고, 중복 영역에서 상기 제1 장면과 중복하는 제2 장면을 캡처하는 제2 어안 이미지를 수신하는 단계; 상기 컴퓨팅 디바이스에 의해, 상기 중복 영역에서 이동 물체를 식별하는 단계; 및 상기 컴퓨팅 디바이스에 의해, 가상 사발형 투영면 상에 상기 식별된 이동 물체를 가시화하기 위해, 투영된 중복 이미지 영역을 변경하는 단계를 포함하고, 상기 투영된 중복 이미지 영역은 상기 가상 사발형 투영면 상에 투영되고, 상기 제1 및 제2 어안 이미지들 내에 캡처된 상기 중복 영역에 대응한다.
예 13은 예 12의 내용을 포함하며, 상기 투영된 중복 이미지 영역을 변경하는 단계는 상기 식별된 이동 물체를 상기 가상 사발형 투영면에 투영할 어안 이미지를 선택하는 단계 - 상기 어안 이미지는 상기 제1 어안 이미지 또는 상기 제2 어안 이미지 중 하나로부터 선택됨 -; 상기 선택된 어안 이미지 상에서 상기 식별된 이동 물체의 윤곽을 결정하는 단계; 상기 투영된 중복 이미지 영역을 혼합하여 혼합 중복 이미지 영역을 생성하는 단계; 및 상기 혼합 중복 이미지 영역에서 상기 식별된 이동 물체의 윤곽을 가시화하는 단계를 포함한다.
예 14는 예 12 및 13 중 어느 하나의 내용을 포함하며, 상기 식별된 이동 물체의 윤곽을 가시화하는 단계는 상기 식별된 이동 물체의 윤곽을 상기 선택된 어안 이미지로부터 상기 가상 사발형 투영면의 상기 혼합 중복 이미지 영역으로 투영하는 단계를 포함한다.
예 15는 예 12 내지 14 중 어느 하나의 내용을 포함하며, 상기 식별된 이동 물체의 윤곽을 가시화하는 단계는 상기 식별된 이동 물체의 윤곽 내에서 상기 선택된 어안 이미지의 이미지 영역을 식별하는 단계; 및 상기 식별된 이미지 영역을 상기 가상 사발형 투영면의 상기 혼합 중복 이미지 영역에 투영하여 상기 식별된 이미지 영역을 상기 혼합 중복 이미지 영역 상에 오버레이하는 단계를 포함한다.
예 16은 예 12 내지 15 중 어느 하나의 내용을 포함하고, 상기 가상 사발형 투영면의 상기 혼합 중복 이미지 영역은 투명하다.
예 17은 예 12 내지 16 중 어느 하나의 내용을 포함하며, 상기 투영된 중복 이미지 영역을 변경하는 단계는 상기 제1 및 제2 어안 카메라들에 대한 상기 식별된 이동 물체의 위치에 기초하여 상기 제1 및 제2 어안 이미지들의 상기 중복 영역 내에서 상기 제1 및 제2 어안 이미지들 사이의 접합을 결정하는 단계 - 상기 접합은 상기 제1 및 제2 어안 이미지들을 결합할 상기 중복 이미지 영역 내의 경계임 -; 상기 결정된 접합에 기초하여 상기 중복 영역 내에서 상기 제1 및 제2 어안 이미지들을 변경하는 단계; 상기 결정된 접합에서 상기 변경된 제1 및 제2 어안 이미지들을 결합하는 단계; 및 상기 결합된 제1 및 제2 어안 이미지들을 상기 가상 사발형 투영면에 투영하는 단계를 포함한다.
예 18은 예 12 내지 17 중 어느 하나의 내용을 포함하며, 상기 제1 및 제2 어안 이미지들 사이의 접합을 결정하는 단계는 상기 제1 및 제2 어안 카메라들 각각의 대응하는 시야 임계치를 결정하는 단계; 상기 식별된 이동 물체의 상대 위치 및 상기 시야 임계치에 기초하여, 상기 식별된 이동 물체를 상기 가상 사발형 투영면에 투영할 어안 이미지를 선택하는 단계 - 상기 어안 이미지는 상기 제1 어안 이미지 또는 상기 제2 어안 이미지 중 하나로부터 선택됨 -; 및 상기 식별된 이동 물체의 상대 위치 및 상기 시야 임계치에 기초하여 상기 가상 사발형 투영면에 투영할 상기 제1 및 제2 어안 이미지들 각각의 대응하는 영역을 결정하는 단계를 포함한다.
예 19는 예 12 내지 18 중 어느 하나의 내용을 포함하고, 상기 대응하는 시야 임계치는 대응하는 제1 및 제2 어안 카메라들 각각이 캡처할 수 있는 최대 및 최소 시야각을 지시한다.
예 20은 예 12 내지 19 중 어느 하나의 내용을 포함하고, 상기 컴퓨팅 디바이스에 의해, 상기 제1 및 제2 어안 카메라들을 포함하는 카메라 시스템의 기하 구조에 기초하여 상기 중복 이미지 영역에 대응하는 상기 제1 및 제2 어안 이미지들의 중복 이미지 영역을 결정하는 단계를 추가로 포함한다.
예 21은 예 12 내지 20 중 어느 하나의 내용을 포함하고, 상기 컴퓨팅 디바이스에 의해, 상기 변경된 투영된 중복 이미지 영역의 상기 가상 사발형 투영면으로의 투영에 기초하여 사발형 이미지를 생성하는 단계; 및 상기 생성된 사발형 이미지를 상기 컴퓨팅 디바이스의 디스플레이 상에 표시하는 단계를 추가로 포함한다.
예 22는 예 12 내지 21 중 어느 하나의 내용을 포함하며, 상기 컴퓨팅 디바이스는 차량내 컴퓨팅 시스템으로서 구현된다.
예 23은 컴퓨팅 디바이스로서, 프로세서; 및 상기 프로세서에 의해 실행될 때 상기 컴퓨팅 디바이스로 하여금 예 12 내지 22 중 어느 하나의 방법을 수행하게 하는 복수의 명령어를 저장한 메모리를 포함하는 컴퓨팅 디바이스를 포함한다.
예 24는 컴퓨팅 디바이스에 의한 실행에 응답하여 상기 컴퓨팅 디바이스로 하여금 예 12 내지 22 중 어느 하나의 방법을 수행하게 하는 저장된 복수의 명령어를 포함하는 하나 이상의 머신 판독 가능 저장 매체를 포함한다.
예 25는 사발형 이미지 상에 이동 물체들을 가시화하기 위한 컴퓨팅 디바이스를 포함하며, 상기 컴퓨팅 디바이스는 (i) 제1 어안 카메라에 의해 생성되고, 제1 장면을 캡처하는 제1 어안 이미지 및 (ii) 제2 어안 카메라에 의해 생성되고, 중복 영역에서 상기 제1 장면과 중복하는 제2 장면을 캡처하는 제2 어안 이미지를 수신하기 위한 수단; 상기 중복 영역에서 이동 물체를 식별하기 위한 수단; 및 가상 사발형 투영면 상에 상기 식별된 이동 물체를 가시화하기 위해, 투영된 중복 이미지 영역을 변경하기 위한 수단을 포함하고, 상기 투영된 중복 이미지 영역은 상기 가상 사발형 투영면 상에 투영되고, 상기 제1 및 제2 어안 이미지들 내에 캡처된 상기 중복 영역에 대응한다.
예 26은 예 25의 내용을 포함하며, 상기 투영된 중복 이미지 영역을 변경하는 수단은 상기 식별된 이동 물체를 상기 가상 사발형 투영면에 투영할 어안 이미지를 선택하기 위한 수단 - 상기 어안 이미지는 상기 제1 어안 이미지 또는 상기 제2 어안 이미지 중 하나로부터 선택됨 -; 상기 선택된 어안 이미지 상에서 상기 식별된 이동 물체의 윤곽을 결정하기 위한 수단; 상기 투영된 중복 이미지 영역을 혼합하여 혼합 중복 이미지 영역을 생성하기 위한 수단; 및 상기 혼합 중복 이미지 영역에서 상기 식별된 이동 물체의 윤곽을 가시화하기 위한 수단을 포함한다.
예 27은 예 25 및 26 중 어느 하나의 내용을 포함하며, 상기 식별된 이동 물체의 윤곽을 가시화하기 위한 수단은 상기 식별된 이동 물체의 윤곽을 상기 선택된 어안 이미지로부터 상기 가상 사발형 투영면의 상기 혼합 중복 이미지 영역으로 투영하기 위한 수단을 포함한다.
예 28은 예 25 내지 27 중 어느 하나의 내용을 포함하며, 상기 식별된 이동 물체의 윤곽을 가시화하기 위한 수단은 상기 식별된 이동 물체의 윤곽 내에서 상기 선택된 어안 이미지의 이미지 영역을 식별하기 위한 수단; 및 상기 식별된 이미지 영역을 상기 가상 사발형 투영면의 상기 혼합 중복 이미지 영역에 투영하여 상기 식별된 이미지 영역을 상기 혼합 중복 이미지 영역 상에 오버레이하기 위한 수단을 포함한다.
예 29는 예 25 내지 28 중 어느 하나의 내용을 포함하고, 상기 가상 사발형 투영면의 상기 혼합 중복 이미지 영역은 투명하다.
예 30은 예 25 내지 29 중 어느 하나의 내용을 포함하며, 상기 투영된 중복 이미지 영역을 변경하기 위한 수단은 상기 제1 및 제2 어안 카메라들에 대한 상기 식별된 이동 물체의 위치에 기초하여 상기 제1 및 제2 어안 이미지들의 상기 중복 영역 내에서 상기 제1 및 제2 어안 이미지들 사이의 접합을 결정하기 위한 수단 - 상기 접합은 상기 제1 및 제2 어안 이미지들을 결합할 상기 중복 이미지 영역 내의 경계임 -; 상기 결정된 접합에 기초하여 상기 중복 영역 내에서 상기 제1 및 제2 어안 이미지들을 변경하기 위한 수단; 상기 결정된 접합에서 상기 변경된 제1 및 제2 어안 이미지들을 결합하기 위한 수단; 및 상기 결합된 제1 및 제2 어안 이미지들을 상기 가상 사발형 투영면에 투영하기 위한 수단을 포함한다.
예 31은 예 25 내지 30 중 어느 하나의 내용을 포함하며, 상기 제1 및 제2 어안 이미지들 사이의 접합을 결정하기 위한 수단은 상기 제1 및 제2 어안 카메라들 각각의 대응하는 시야 임계치를 결정하기 위한 수단; 상기 식별된 이동 물체의 상대 위치 및 상기 시야 임계치에 기초하여, 상기 식별된 이동 물체를 상기 가상 사발형 투영면에 투영할 어안 이미지를 선택하기 위한 수단 - 상기 어안 이미지는 상기 제1 어안 이미지 또는 상기 제2 어안 이미지 중 하나로부터 선택됨 -; 및 상기 식별된 이동 물체의 상대 위치 및 상기 시야 임계치에 기초하여 상기 가상 사발형 투영면에 투영할 상기 제1 및 제2 어안 이미지들 각각의 대응하는 영역을 결정하기 위한 수단을 포함한다.
예 32는 예 25 내지 31 중 어느 하나의 내용을 포함하고, 상기 대응하는 시야 임계치는 대응하는 제1 및 제2 어안 카메라들 각각이 캡처할 수 있는 최대 및 최소 시야각을 지시한다.
예 33은 예 25 내지 32 중 어느 하나의 내용을 포함하고, 상기 제1 및 제2 어안 카메라들을 포함하는 카메라 시스템의 기하 구조에 기초하여 상기 중복 이미지 영역에 대응하는 상기 제1 및 제2 어안 이미지들의 중복 이미지 영역을 결정하기 위한 수단을 추가로 포함한다.
예 34는 예 25 내지 33 중 어느 하나의 내용을 포함하고, 상기 변경된 투영된 중복 이미지 영역의 상기 가상 사발형 투영면으로의 투영에 기초하여 사발형 이미지를 생성하기 위한 수단; 및 상기 생성된 사발형 이미지를 상기 컴퓨팅 디바이스의 디스플레이 상에 표시하기 위한 수단을 추가로 포함한다.
예 35는 예 25 내지 34 중 어느 하나의 내용을 포함하며, 상기 컴퓨팅 디바이스는 차량내 컴퓨팅 시스템으로서 구현된다.

Claims (25)

  1. 사발형 이미지(bowl-shaped image) 상에 이동 물체들을 가시화하기 위한 컴퓨팅 디바이스로서,
    제1 장면을 포함하는 제1 어안 이미지(fisheye image)를 캡처하기 위한 제1 어안 카메라;
    중복 영역에서 상기 제1 장면과 중복되는 제2 장면을 포함하는 제2 어안 이미지를 캡처하기 위한 제2 어안 카메라;
    상기 중복 영역에서 이동 물체를 식별하기 위한 물체 식별 모듈; 및
    투영된 중복 이미지 영역을 변경하여, 가상 사발형 투영면 상에 상기 식별된 이동 물체를 가시화하기 위한 물체 가시화 모듈
    을 포함하고, 상기 투영된 중복 이미지 영역은 상기 가상 사발형 투영면 상에 투영되고, 상기 제1 및 제2 어안 이미지들의 상기 중복 영역에 대응하고,
    상기 가상 사발형 투영면의 하단 부분은, 상기 가상 사발형 투영면의 상단 부분이 상기 가상 사발형 투영면의 정상에 접근하는 것보다, 낮은 레이트로 상기 가상 사발형 투영면의 바닥에 접근하는, 컴퓨팅 디바이스.
  2. 제1항에 있어서,
    상기 투영된 중복 이미지 영역을 변경하는 것은
    상기 식별된 이동 물체를 상기 가상 사발형 투영면에 투영할 어안 이미지를 선택하고 - 상기 어안 이미지는 상기 제1 어안 이미지 또는 상기 제2 어안 이미지 중 하나로부터 선택됨 -;
    상기 선택된 어안 이미지 상에서 상기 식별된 이동 물체의 윤곽을 결정하고;
    상기 투영된 중복 이미지 영역을 혼합(blend)하여 혼합 중복 이미지 영역을 생성하고;
    상기 혼합 중복 이미지 영역에서 상기 식별된 이동 물체의 윤곽을 가시화하는 것
    을 포함하는 컴퓨팅 디바이스.
  3. 제2항에 있어서,
    상기 식별된 이동 물체의 윤곽을 가시화하는 것은 상기 식별된 이동 물체의 윤곽을 상기 선택된 어안 이미지로부터 상기 가상 사발형 투영면의 상기 혼합 중복 이미지 영역으로 투영하는 것을 포함하는 컴퓨팅 디바이스.
  4. 제2항에 있어서,
    상기 식별된 이동 물체의 윤곽을 가시화하는 것은
    상기 식별된 이동 물체의 윤곽 내에서 상기 선택된 어안 이미지의 이미지 영역을 식별하고;
    상기 식별된 이미지 영역을 상기 가상 사발형 투영면의 상기 혼합 중복 이미지 영역에 투영하여 상기 식별된 이미지 영역을 상기 혼합 중복 이미지 영역 상에 오버레이하는 것
    을 포함하는 컴퓨팅 디바이스.
  5. 제2항에 있어서,
    상기 가상 사발형 투영면의 상기 혼합 중복 이미지 영역은 투명한 컴퓨팅 디바이스.
  6. 제1항에 있어서,
    상기 투영된 중복 이미지 영역을 변경하는 것은
    상기 제1 및 제2 어안 카메라들에 대한 상기 식별된 이동 물체의 위치에 기초하여 상기 제1 및 제2 어안 이미지들의 상기 중복 영역 내에서 상기 제1 및 제2 어안 이미지들 사이의 접합(junction)을 결정하고 - 상기 접합은 상기 제1 및 제2 어안 이미지들을 결합할 상기 중복 이미지 영역 내의 경계임 -;
    상기 결정된 접합에 기초하여 상기 중복 영역 내에서 상기 제1 및 제2 어안 이미지들을 변경하고;
    상기 결정된 접합에서 상기 변경된 제1 및 제2 어안 이미지들을 결합하고;
    상기 결합된 제1 및 제2 어안 이미지들을 상기 가상 사발형 투영면에 투영하는 것
    을 포함하는 컴퓨팅 디바이스.
  7. 제6항에 있어서,
    상기 제1 및 제2 어안 이미지들 사이의 접합을 결정하는 것은
    상기 제1 및 제2 어안 카메라들 각각의 대응하는 시야 임계치를 결정하고;
    상기 식별된 이동 물체의 상대 위치 및 상기 시야 임계치에 기초하여, 상기 식별된 이동 물체를 상기 가상 사발형 투영면에 투영할 어안 이미지를 선택하고 - 상기 어안 이미지는 상기 제1 어안 이미지 또는 상기 제2 어안 이미지 중 하나로부터 선택됨 -;
    상기 식별된 이동 물체의 상대 위치 및 상기 시야 임계치에 기초하여 상기 가상 사발형 투영면에 투영할 상기 제1 및 제2 어안 이미지들 각각의 대응하는 영역을 결정하는 것
    을 포함하는 컴퓨팅 디바이스.
  8. 제7항에 있어서,
    상기 대응하는 시야 임계치는 대응하는 제1 및 제2 어안 카메라들 각각이 캡처할 수 있는 최대 및 최소 시야각을 지시하는 컴퓨팅 디바이스.
  9. 제1항에 있어서,
    상기 제1 및 제2 어안 카메라들을 포함하는 카메라 시스템의 기하 구조(geometry)에 기초하여 상기 중복 이미지 영역에 대응하는 상기 제1 및 제2 어안 이미지들의 중복 이미지 영역을 결정하기 위한 중복 결정 모듈을 추가로 포함하는 컴퓨팅 디바이스.
  10. 제1항에 있어서,
    상기 변경된 투영된 중복 이미지 영역의 상기 가상 사발형 투영면으로의 투영에 기초하여 사발형 이미지를 생성하기 위한 사발 생성 모듈; 및
    상기 생성된 사발형 이미지를 상기 컴퓨팅 디바이스의 디스플레이 상에 표시하기 위한 디스플레이 모듈
    을 추가로 포함하는 컴퓨팅 디바이스.
  11. 제1항에 있어서,
    상기 컴퓨팅 디바이스는 차량내(in-vehicle) 컴퓨팅 시스템으로서 구현되는 컴퓨팅 디바이스.
  12. 저장된 복수의 명령어를 포함하는 하나 이상의 머신 판독가능 저장 매체로서, 상기 복수의 명령어는 컴퓨팅 디바이스에 의한 실행에 응답하여 상기 컴퓨팅 디바이스로 하여금,
    (i) 제1 어안 카메라에 의해 생성되고, 제1 장면을 캡처하는 제1 어안 이미지 및 (ii) 제2 어안 카메라에 의해 생성되고, 중복 영역에서 상기 제1 장면과 중복하는 제2 장면을 캡처하는 제2 어안 이미지를 수신하고;
    상기 중복 영역에서 이동 물체를 식별하고;
    가상 사발형 투영면 상에 상기 식별된 이동 물체를 가시화하기 위해, 투영된 중복 이미지 영역을 변경
    하게 하고,
    상기 투영된 중복 이미지 영역은 상기 가상 사발형 투영면 상에 투영되고, 상기 제1 및 제2 어안 이미지들 내에 캡처된 상기 중복 영역에 대응하고,
    상기 가상 사발형 투영면의 하단 부분은, 상기 가상 사발형 투영면의 상단 부분이 상기 가상 사발형 투영면의 정상에 접근하는 것보다, 낮은 레이트로 상기 가상 사발형 투영면의 바닥에 접근하는, 하나 이상의 머신 판독가능 저장 매체.
  13. 제12항에 있어서,
    상기 투영된 중복 이미지 영역을 변경하는 것은
    상기 식별된 이동 물체를 상기 가상 사발형 투영면에 투영할 어안 이미지를 선택하고 - 상기 어안 이미지는 상기 제1 어안 이미지 또는 상기 제2 어안 이미지 중 하나로부터 선택됨 -;
    상기 선택된 어안 이미지 상에서 상기 식별된 이동 물체의 윤곽을 결정하고;
    상기 투영된 중복 이미지 영역을 혼합하여 혼합 중복 이미지 영역을 생성하고;
    상기 혼합 중복 이미지 영역에서 상기 식별된 이동 물체의 윤곽을 가시화하는 것
    을 포함하는, 하나 이상의 머신 판독가능 저장 매체.
  14. 제13항에 있어서,
    상기 식별된 이동 물체의 윤곽을 가시화하는 것은 상기 식별된 이동 물체의 윤곽을 상기 선택된 어안 이미지로부터 상기 가상 사발형 투영면의 상기 혼합 중복 이미지 영역으로 투영하는 것을 포함하는, 하나 이상의 머신 판독가능 저장 매체.
  15. 제13항에 있어서,
    상기 식별된 이동 물체의 윤곽을 가시화하는 것은
    상기 식별된 이동 물체의 윤곽 내에서 상기 선택된 어안 이미지의 이미지 영역을 식별하는 것; 및
    상기 식별된 이미지 영역을 상기 가상 사발형 투영면의 상기 혼합 중복 이미지 영역에 투영하여 상기 식별된 이미지 영역을 상기 혼합 중복 이미지 영역 상에 오버레이하는 것
    을 포함하는, 하나 이상의 머신 판독가능 저장 매체.
  16. 제12항에 있어서,
    상기 투영된 중복 이미지 영역을 변경하는 것은
    상기 제1 및 제2 어안 카메라들에 대한 상기 식별된 이동 물체의 위치에 기초하여 상기 제1 및 제2 어안 이미지들의 상기 중복 영역 내에서 상기 제1 및 제2 어안 이미지들 사이의 접합을 결정하는 것 - 상기 접합은 상기 제1 및 제2 어안 이미지들을 결합할 상기 중복 이미지 영역 내의 경계임 -;
    상기 결정된 접합에 기초하여 상기 중복 영역 내에서 상기 제1 및 제2 어안 이미지들을 변경하는 것;
    상기 결정된 접합에서 상기 변경된 제1 및 제2 어안 이미지들을 결합하는 것; 및
    상기 결합된 제1 및 제2 어안 이미지들을 상기 가상 사발형 투영면에 투영하는 것
    을 포함하는, 하나 이상의 머신 판독가능 저장 매체.
  17. 제16항에 있어서,
    상기 제1 및 제2 어안 이미지들 사이의 상기 접합을 결정하는 것은
    상기 제1 및 제2 어안 카메라들 각각의 대응하는 시야 임계치를 결정하는 것;
    상기 식별된 이동 물체의 상대 위치 및 상기 시야 임계치에 기초하여, 상기 식별된 이동 물체를 상기 가상 사발형 투영면에 투영할 어안 이미지를 선택하는 것 - 상기 어안 이미지는 상기 제1 어안 이미지 또는 상기 제2 어안 이미지 중 하나로부터 선택됨 -; 및
    상기 식별된 이동 물체의 상대 위치 및 상기 시야 임계치에 기초하여 상기 가상 사발형 투영면에 투영할 상기 제1 및 제2 어안 이미지들 각각의 대응하는 영역을 결정하는 것
    을 포함하는, 하나 이상의 머신 판독가능 저장 매체.
  18. 제17항에 있어서,
    상기 대응하는 시야 임계치는 대응하는 제1 및 제2 어안 카메라들 각각이 캡처할 수 있는 최대 및 최소 시야각을 지시하는, 하나 이상의 머신 판독가능 저장 매체.
  19. 제12항에 있어서,
    상기 복수의 명령어는 또한 상기 컴퓨팅 디바이스로 하여금 상기 제1 및 제2 어안 카메라들을 포함하는 카메라 시스템의 기하 구조에 기초하여 상기 중복 이미지 영역에 대응하는 상기 제1 및 제2 어안 이미지들의 중복 이미지 영역을 결정하게 하는, 하나 이상의 머신 판독가능 저장 매체.
  20. 제12항에 있어서,
    상기 복수의 명령어는 또한 상기 컴퓨팅 디바이스로 하여금
    상기 변경된 투영된 중복 이미지 영역의 상기 가상 사발형 투영면으로의 투영에 기초하여 사발형 이미지를 생성하고;
    상기 생성된 사발형 이미지를 상기 컴퓨팅 디바이스의 디스플레이 상에 표시하게 하는, 하나 이상의 머신 판독가능 저장 매체.
  21. 컴퓨팅 디바이스에 의해 생성된 사발형 이미지 상에 이동 물체들을 가시화하기 위한 방법으로서,
    상기 컴퓨팅 디바이스에 의해, (i) 제1 어안 카메라에 의해 생성되고, 제1 장면을 캡처하는 제1 어안 이미지 및 (ii) 제2 어안 카메라에 의해 생성되고, 중복 영역에서 상기 제1 장면과 중복하는 제2 장면을 캡처하는 제2 어안 이미지를 수신하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 중복 영역에서 이동 물체를 식별하는 단계; 및
    상기 컴퓨팅 디바이스에 의해, 가상 사발형 투영면 상에 상기 식별된 이동 물체를 가시화하기 위해, 투영된 중복 이미지 영역을 변경하는 단계
    를 포함하고, 상기 투영된 중복 이미지 영역은 상기 가상 사발형 투영면 상에 투영되고, 상기 제1 및 제2 어안 이미지들 내에 캡처된 상기 중복 영역에 대응하고,
    상기 가상 사발형 투영면의 하단 부분은, 상기 가상 사발형 투영면의 상단 부분이 상기 가상 사발형 투영면의 정상에 접근하는 것보다, 낮은 레이트로 상기 가상 사발형 투영면의 바닥에 접근하는, 방법.
  22. 제21항에 있어서,
    상기 투영된 중복 이미지 영역을 변경하는 단계는
    상기 식별된 이동 물체를 상기 가상 사발형 투영면에 투영할 어안 이미지를 선택하는 단계 - 상기 어안 이미지는 상기 제1 어안 이미지 또는 상기 제2 어안 이미지 중 하나로부터 선택됨 -;
    상기 선택된 어안 이미지 상에서 상기 식별된 이동 물체의 윤곽을 결정하는 단계;
    상기 투영된 중복 이미지 영역을 혼합하여 혼합 중복 이미지 영역을 생성하는 단계; 및
    상기 혼합 중복 이미지 영역에서 상기 식별된 이동 물체의 윤곽을 가시화하는 단계
    를 포함하는 방법.
  23. 제22항에 있어서,
    상기 식별된 이동 물체의 윤곽을 가시화하는 단계는
    상기 식별된 이동 물체의 윤곽 내에서 상기 선택된 어안 이미지의 이미지 영역을 식별하는 단계; 및
    상기 식별된 이미지 영역을 상기 가상 사발형 투영면의 상기 혼합 중복 이미지 영역에 투영하여 상기 식별된 이미지 영역을 상기 혼합 중복 이미지 영역 상에 오버레이하는 단계
    를 포함하는 방법.
  24. 제21항에 있어서,
    상기 투영된 중복 이미지 영역을 변경하는 단계는
    상기 제1 및 제2 어안 카메라들에 대한 상기 식별된 이동 물체의 위치에 기초하여 상기 제1 및 제2 어안 이미지들의 상기 중복 영역 내에서 상기 제1 및 제2 어안 이미지들 사이의 접합을 결정하는 단계 - 상기 접합은 상기 제1 및 제2 어안 이미지들을 결합할 상기 중복 이미지 영역 내의 경계임 -;
    상기 결정된 접합에 기초하여 상기 중복 영역 내에서 상기 제1 및 제2 어안 이미지들을 변경하는 단계;
    상기 결정된 접합에서 상기 변경된 제1 및 제2 어안 이미지들을 결합하는 단계; 및
    상기 결합된 제1 및 제2 어안 이미지들을 상기 가상 사발형 투영면에 투영하는 단계
    를 포함하는 방법.
  25. 제24항에 있어서,
    상기 제1 및 제2 어안 이미지들 사이의 접합을 결정하는 단계는
    상기 제1 및 제2 어안 카메라들 각각의 대응하는 시야 임계치를 결정하는 단계;
    상기 식별된 이동 물체의 상대 위치 및 상기 시야 임계치에 기초하여, 상기 식별된 이동 물체를 상기 가상 사발형 투영면에 투영할 어안 이미지를 선택하는 단계 - 상기 어안 이미지는 상기 제1 어안 이미지 또는 상기 제2 어안 이미지 중 하나로부터 선택됨 -; 및
    상기 식별된 이동 물체의 상대 위치 및 상기 시야 임계치에 기초하여 상기 가상 사발형 투영면에 투영할 상기 제1 및 제2 어안 이미지들 각각의 대응하는 영역을 결정하는 단계
    를 포함하는 방법.
KR1020177004237A 2014-09-17 2015-08-18 사발형 이미징 시스템에서의 물체 가시화 KR102253553B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/488,793 2014-09-17
US14/488,793 US10442355B2 (en) 2014-09-17 2014-09-17 Object visualization in bowl-shaped imaging systems
PCT/US2015/045649 WO2016043897A1 (en) 2014-09-17 2015-08-18 Object visualization in bowl-shaped imaging systems

Publications (2)

Publication Number Publication Date
KR20170031755A KR20170031755A (ko) 2017-03-21
KR102253553B1 true KR102253553B1 (ko) 2021-05-18

Family

ID=55456106

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177004237A KR102253553B1 (ko) 2014-09-17 2015-08-18 사발형 이미징 시스템에서의 물체 가시화

Country Status (6)

Country Link
US (1) US10442355B2 (ko)
EP (1) EP3195584B1 (ko)
JP (1) JP6469849B2 (ko)
KR (1) KR102253553B1 (ko)
CN (1) CN106575432B (ko)
WO (1) WO2016043897A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105765966B (zh) 2013-12-19 2020-07-10 英特尔公司 碗形成像系统
JP6706032B2 (ja) * 2015-06-12 2020-06-03 シャープ株式会社 移動体システム及び制御装置
DE102016211227A1 (de) * 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
CN109478320B (zh) 2016-07-12 2022-03-18 深圳市大疆创新科技有限公司 处理图像以获得环境信息
CN107666590B (zh) * 2016-07-29 2020-01-17 华为终端有限公司 一种目标监控方法、摄像头、控制器和目标监控系统
US10733697B2 (en) 2016-12-27 2020-08-04 Intel IP Corporation Convolutional neural network for wide-angle camera images
CN111033555B (zh) * 2017-08-25 2024-04-26 株式会社索思未来 修正装置、修正程序以及记录介质
US10571863B2 (en) 2017-12-21 2020-02-25 International Business Machines Corporation Determine and project holographic object path and object movement with mult-device collaboration
DE102018102047A1 (de) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
JP6809495B2 (ja) * 2018-03-05 2021-01-06 株式会社デンソー 画像作成装置
DE102018203405A1 (de) * 2018-03-07 2019-09-12 Zf Friedrichshafen Ag Visuelles Surround-View-System zur Überwachung des Fahrzeuginneren
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
WO2020088095A1 (en) * 2018-11-02 2020-05-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Fisheye infrared depth detection
GB2581191B (en) * 2019-02-08 2022-02-16 Jaguar Land Rover Ltd Image system for a vehicle
DE102019207415A1 (de) * 2019-05-21 2020-11-26 Conti Temic Microelectronic Gmbh Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
DE102020109997A1 (de) 2020-04-09 2021-10-14 Connaught Electronics Ltd. System und Verfahren, um zuverlässige gestitchte Bilder zu machen
CN112308766B (zh) * 2020-10-19 2023-11-24 武汉中科通达高新技术股份有限公司 一种图像数据展示方法、装置、电子设备及存储介质
WO2022216775A1 (en) * 2021-04-07 2022-10-13 Stoneridge, Inc. Vehicle display including an offset camera view
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311272A (ja) * 2005-04-28 2006-11-09 Denso Corp 車両用映像表示装置
JP2007049276A (ja) * 2005-08-08 2007-02-22 Sanyo Electric Co Ltd 車載パノラマカメラシステム
JP2013074423A (ja) * 2011-09-27 2013-04-22 Aisin Seiki Co Ltd 車両周辺監視装置

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61231595A (ja) * 1985-04-08 1986-10-15 アンリツ株式会社 ラスタスキヤン方式における極座標表示装置
JPH11119303A (ja) * 1997-10-20 1999-04-30 Fujitsu Ltd 監視システム及び監視方法
EP1115250B1 (en) 1998-07-31 2012-06-06 Panasonic Corporation Method and apparatus for displaying image
US7161616B1 (en) 1999-04-16 2007-01-09 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
KR20020033816A (ko) 2000-07-19 2002-05-07 마츠시타 덴끼 산교 가부시키가이샤 감시시스템
KR100866450B1 (ko) 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
US7139432B2 (en) 2002-04-10 2006-11-21 National Instruments Corporation Image pattern matching utilizing discrete curve matching with a mapping operator
AU2003225228A1 (en) 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
WO2004029693A1 (ja) * 2002-09-24 2004-04-08 Nikon Corp 画像表示装置及び投影光学系
JP3962676B2 (ja) 2002-11-29 2007-08-22 キヤノン株式会社 画像処理方法及び装置
KR100526817B1 (ko) 2003-04-22 2005-11-08 학교법인 중앙대학교 스테레오 영상 구현 시 기본행렬을 구하는 방법
JP4229319B2 (ja) * 2003-05-12 2009-02-25 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
JP3921205B2 (ja) * 2004-01-13 2007-05-30 株式会社イフ 立体映像表示装置
JP4502733B2 (ja) 2004-07-15 2010-07-14 ダイハツ工業株式会社 障害物測定方法及び障害物測定装置
JP2006059202A (ja) 2004-08-20 2006-03-02 Iwate Univ 撮像装置及び画像補正方法
US7796154B2 (en) * 2005-03-07 2010-09-14 International Business Machines Corporation Automatic multiscale image acquisition from a steerable camera
JP4934308B2 (ja) 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
KR101267019B1 (ko) * 2005-10-18 2013-05-30 삼성디스플레이 주식회사 평판 디스플레이 장치
WO2007054862A2 (en) 2005-11-08 2007-05-18 Koninklijke Philips Electronics N.V. Method and system for filtering elongated features
JP2007183877A (ja) 2006-01-10 2007-07-19 Nissan Motor Co Ltd 車両用運転支援装置及び俯瞰映像の表示方法
US7576639B2 (en) * 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
KR100966875B1 (ko) 2006-09-26 2010-06-29 삼성전자주식회사 전방위 영상을 이용한 로봇의 위치 결정방법
US8189959B2 (en) 2008-04-17 2012-05-29 Microsoft Corporation Image blending using multi-splines
EP2285109B1 (en) 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
JP5182042B2 (ja) 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP5439890B2 (ja) 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
WO2010137265A1 (ja) * 2009-05-25 2010-12-02 パナソニック株式会社 車両周囲監視装置
JP5299513B2 (ja) 2009-08-12 2013-09-25 日本電気株式会社 障害物検知装置及び方法並びに障害物検知システム
JP2011086111A (ja) 2009-10-15 2011-04-28 Mitsubishi Electric Corp 撮像装置校正方法及び画像合成装置
JP5341789B2 (ja) * 2010-01-22 2013-11-13 富士通テン株式会社 パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
JP5624370B2 (ja) 2010-06-04 2014-11-12 東芝アルパイン・オートモティブテクノロジー株式会社 移動体検出装置及び移動体検出方法
WO2012017560A1 (ja) * 2010-08-06 2012-02-09 富士通株式会社 画像処理装置および画像処理プログラム
JP2011155651A (ja) 2011-02-10 2011-08-11 Toshiba Corp 車両周辺画像表示装置および車両周辺画像表示方法
CN202038230U (zh) 2011-03-24 2011-11-16 信亿科技股份有限公司 全景行车辅助监录器
EP2511137B1 (en) 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
US9547795B2 (en) 2011-04-25 2017-01-17 Magna Electronics Inc. Image processing method for detecting objects using relative motion
EP2530647A1 (en) 2011-06-01 2012-12-05 Harman Becker Automotive Systems GmbH Method of calibrating a vehicle vision system and vehicle vision system
KR101265667B1 (ko) 2011-06-21 2013-05-22 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
US8447116B2 (en) 2011-07-22 2013-05-21 Honeywell International Inc. Identifying true feature matches for vision based navigation
EP2554434B1 (en) 2011-08-05 2014-05-21 Harman Becker Automotive Systems GmbH Vehicle surround view system
KR101913837B1 (ko) 2011-11-29 2018-11-01 삼성전자주식회사 파노라마 영상 생성 방법 및 이를 적용한 영상기기
JP5966341B2 (ja) 2011-12-19 2016-08-10 大日本印刷株式会社 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
TW201333896A (zh) 2012-02-14 2013-08-16 yan-hong Jiang 使用視訊雷達的遠距交通管理系統
US20130286193A1 (en) 2012-03-21 2013-10-31 Magna Electronics Inc. Vehicle vision system with object detection via top view superposition
JP5959264B2 (ja) 2012-03-29 2016-08-02 三菱電機株式会社 画像処理装置及び方法、並びにコンピュータプログラム
US9275485B2 (en) 2012-06-28 2016-03-01 The University Of Utah Research Foundation Seam network processing for panorama weaving
DE102012018326B4 (de) 2012-09-15 2019-12-19 Zf Friedrichshafen Ag Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit verdeckungsfreier Umsichtfunktion
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
US20140168475A1 (en) * 2012-12-14 2014-06-19 Microsoft Corporation Four-lens spherical camera orientation
CN104937634B (zh) 2012-12-26 2018-04-03 哈曼国际工业有限公司 用于生成环绕视图的方法和系统
US9762889B2 (en) 2013-05-08 2017-09-12 Sony Corporation Subtitle detection for stereoscopic video contents
CN105765966B (zh) 2013-12-19 2020-07-10 英特尔公司 碗形成像系统
US9436987B2 (en) * 2014-04-30 2016-09-06 Seiko Epson Corporation Geodesic distance based primitive segmentation and fitting for 3D modeling of non-rigid objects from 2D images
US9437001B2 (en) 2014-09-18 2016-09-06 Intel Corporation Tracking objects in bowl-shaped imaging systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311272A (ja) * 2005-04-28 2006-11-09 Denso Corp 車両用映像表示装置
JP2007049276A (ja) * 2005-08-08 2007-02-22 Sanyo Electric Co Ltd 車載パノラマカメラシステム
JP2013074423A (ja) * 2011-09-27 2013-04-22 Aisin Seiki Co Ltd 車両周辺監視装置

Also Published As

Publication number Publication date
WO2016043897A1 (en) 2016-03-24
EP3195584B1 (en) 2020-11-18
US20160080699A1 (en) 2016-03-17
JP6469849B2 (ja) 2019-02-13
EP3195584A1 (en) 2017-07-26
KR20170031755A (ko) 2017-03-21
CN106575432B (zh) 2020-05-26
CN106575432A (zh) 2017-04-19
JP2017536717A (ja) 2017-12-07
US10442355B2 (en) 2019-10-15
EP3195584A4 (en) 2018-05-23

Similar Documents

Publication Publication Date Title
KR102253553B1 (ko) 사발형 이미징 시스템에서의 물체 가시화
KR101811157B1 (ko) 사발형 영상 시스템
US11616919B2 (en) Three-dimensional stabilized 360-degree composite image capture
KR102240197B1 (ko) 사발형 이미징 시스템에서의 물체 추적
CN107660337B (zh) 用于从鱼眼摄像机产生组合视图的系统及方法
US10389948B2 (en) Depth-based zoom function using multiple cameras
JP6371553B2 (ja) 映像表示装置および映像表示システム
US8750572B2 (en) Method for monitoring an environment of a vehicle
JP2017220923A (ja) 画像生成装置、画像生成方法、およびプログラム
TWI578271B (zh) 動態影像處理方法以及動態影像處理系統
US11140364B2 (en) Sensor fusion based perceptually enhanced surround view
JP2008048345A (ja) 画像処理装置並びに視界支援装置及び方法
JP2020052671A (ja) 表示制御装置、車両、表示制御方法
JP2016136326A (ja) 情報表示装置および情報表示方法
JP2018142883A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2020155792A (ja) 画像表示装置
JP5722643B2 (ja) 物体検出装置、および、物体検出方法
US20220408069A1 (en) Information processing apparatus, information processing method, and storage medium
JP2009153156A (ja) 画像処理装置並びに視界支援装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant