KR102566583B1 - 서라운드 뷰 이미지의 안정화를 위한 방법 및 장치 - Google Patents

서라운드 뷰 이미지의 안정화를 위한 방법 및 장치 Download PDF

Info

Publication number
KR102566583B1
KR102566583B1 KR1020177022509A KR20177022509A KR102566583B1 KR 102566583 B1 KR102566583 B1 KR 102566583B1 KR 1020177022509 A KR1020177022509 A KR 1020177022509A KR 20177022509 A KR20177022509 A KR 20177022509A KR 102566583 B1 KR102566583 B1 KR 102566583B1
Authority
KR
South Korea
Prior art keywords
image
vanishing point
cameras
motion
unit sphere
Prior art date
Application number
KR1020177022509A
Other languages
English (en)
Other versions
KR20170117416A (ko
Inventor
후이 게헤이루
안드레아스 파나코스
카를로스 실바
데브 야다브
Original Assignee
어플리케이션 솔루션스 (일렉트로닉스 앤드 비전) 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어플리케이션 솔루션스 (일렉트로닉스 앤드 비전) 리미티드 filed Critical 어플리케이션 솔루션스 (일렉트로닉스 앤드 비전) 리미티드
Publication of KR20170117416A publication Critical patent/KR20170117416A/ko
Application granted granted Critical
Publication of KR102566583B1 publication Critical patent/KR102566583B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/006—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

자동차의 하나 이상의 카메라의 이미지 시퀀스의 이미지 안정화를 위한 방법 및 장치가 개시된다. 자동차의 주변의 이미지는 기록되고 기록된 이미지의 이미지 포인트는 단위 구체에 투영되며, 여기서 투영은 렌즈 왜곡 보정을 적용하는 것을 포함한다. 하나 이상의 카메라 각각에 대해, 소실점은 단위 구체 상에 투영된 이미지 포인트를 사용하여 산출되고 단위 구체 상의 소실점의 모션은 추적된다. 소실점의 모션은 그라운드 평면에 대한 보정된 투영을 산출하기 위해 사용된다.

Description

서라운드 뷰 이미지의 안정화를 위한 방법 및 장치{METHOD AND DEVICE FOR STABILIZATION OF A SURROUND VIEW IMAGE}
본 명세서는 운전자 보조 시스템에 관한 것으로서, 보다 구체적으로는 하나 이상의 카메라의 입력 데이터 스트림을 운전자 보조 시스템에 관한 것이다.
지능형 운전자 보조 시스템(advanced driver assistance systems(ADAS))은 안전 및 더 양호한 운전을 위해 차량 시스템을 자동화하고 향상시키기 위해 개발된 시스템이다. 많은 운전자 보조 시스템은 다양한 방식으로 운전자를 돕기 위해 자동차의 위치, 방향 및 모션 상태에 대한 정보를 사용한다. 이 정보는 심지어 자동으로 차량을 운전하기 위해 사용될 수 있다.
그 중에서도, 시각적 주행거리 측정(visual odometry)은 자동차의 위치를 결정하기 위해 사용될 수 있다. 시각적 주행거리 측정을 위한 시스템에서, 카메라는 입력 이미지를 기록하기 위해 사용되고 이미지 보정이 적용된다. 피처가 검출되고, 피처는 이미지 프레임에 걸쳐 매칭되고 옵티컬 플로우 필드(optical flow field)는 예를 들어 2개의 이미지 사이의 대응을 설정하기 위해 상관을 사용하거나, 피처 추출 및 상관에 의하거나 루카스-카나데 방법(Lucas-Kanade Method)을 이용한 옵티컬 플로우 필드를 구성하는 것에 의해, 구성된다. 추적 에러는 검출되고, 대응하는 아웃라이어는 제거되고 카메라 모션은 예를 들어 칼만 필터(Kalman filter)를 사용하거나 피처의 기하학적 특성에 기초하는 비용 함수를 최소화함으로써, 옵티컬 플로우로부터 추정된다.
특허 출원 미국 제2010/0295948호는 카메라 칼리브레이션에 대한 방법 및 장치를 개시한다. 카메라의 파라미터, 예컨대 경사 각도 및 팬 각도는 검출된 평행 라인 및 대응하는 소실점을 사용하여 칼리브레이션된다.
Qiang He 및 Chee-Hung Henry Chu에 의한 연구 논문 "정규화된 단위 구체 상에서의 클러스터링에 의한 소실점 검출"(International Journal of Computer applications, Volume 65, No. 10, March 2013, pages 22 - 28)은 정규화된 단위 구체 상으로의 투영을 사용한 소실점의 검출을 설명한다.
문서 "이동하는 차량 상에 장착되는 캠코더를 위한 비디오 안정화"(IEEE Transactions on Vehicular Technology, IEEE Service Center, Picataway, NJ, US, vol. 53, no. 6 by Chang S.-L. et al.)는 도로 소실점의 모션으로부터 2개의 회전 파라미터 β, γ를 도출하고, 변환 파라미터 Tx 및 검출된 차선 마킹으로부터 추가 회전 파라미터 α를 도출하고 칼만 필터로 검출된 모션 파라미터 Tx, α, β, γ 를 도출하기 위해 캠코더 이미지의 시퀀스를 사용하는 것을 개시한다.
이하의 참조문헌 [1] 내지 [3]은 본 명세서의 발명대상에 관한 것이고 이로써 참조로 통합된다.
[1] 필리포 벨라, 알피오 카스토리나, 마시모 맨쿠소, 쥐세페 메시나의 "적응형 블록 모션 벡터 필터링에 의한 디지털 이미지 안정화" (2002년 IEEE 트랜스. 소비자 전자제품).
[2] 조셉 줌렉, 링 한 멩의 "비디오 안정화를 위한 맥락적 포인트 매칭: 씨 쉘 스케치"(2012년, 캘리포니아 대학교 어바인 캠퍼스).
[3] 얀하오 장, 홍쉰 야오, 펭페이 수, 롱롱 지, 샤오슈아이 선, 시안밍 리우의 "현저한 구동 SIFT 매칭 및 차별적인 RANSAC에 기초한 비디오 안정화"(2011년 인터넷 멀티미디어 컴퓨팅 및 서비스에 대한 제3 국제회의 회의록 중).
벨라 등의 [1]은 블록 모션 벡터에 기초한 모션 추정 방법을 설명한다. 이 방법은 확고하지만 최종 이미지에서 출현하는 블록과 같은 오류를 소개할 수 있다.
줌렉 등의 [2]는 맥락적 형상 매칭 알고리즘을 적용한다. 이 방법은 계산 집약적이지만 그것은 수반되는 형상이 높은 정도의 자기 유사성, 또는 유사한 전체 형상을 유지하는 동안에 프레임 사이에서 상당한 외형의 변화를 갖는 경우에 로컬 피처만을 고려하는 방법을 능가한다.
장 등의 [3]은 스케일 불변 피처 변환(scale invariant feature transform(SIFT)) 매칭 및 차별적 RANSAC을 사용한다. 이때, 칼만 필터는 모션 평활화 작업을 완료하기 위해 적용된다.
제 1 양태에서, 본 명세서는 자동차의 하나 이상의 카메라로부터의 이미지 시퀀스, 특히 서라운드 뷰 또는 360°뷰 이미지의 이미지 안정화를 위한 방법을 개시한다. 예로서, 서라운드 뷰 이미지는 전방 뷰 카메라, 우측 뷰 카메라, 좌측 뷰 카메라 및 후방 뷰 카메라의 결합된 데이터로부터 획득될 수 있다.
자동차의 주변의 이미지는 자동차의 하나 이상의 카메라로부터 획득된다. 각각의 카메라는 연속 이미지의 단일 시퀀스에 병합되는 연속 이미지의 데이터 스트림을 제공한다. 그라운드 평면에 대한 투영은 각각의 톱 다운 뷰를 단일의 투영 이미지로 병합함으로써 획득된다.
이미지 왜곡 함수 h-1(x'')는 보정된 이미지를 획득하기 위해 이미지에 적용된다. 보정된 이미지에서, 렌즈 왜곡은 감소되고 직선 객체 라인에 대응하고 렌즈 왜곡으로 인해 곡선화된 라인은 직선화된다. 특히, 왜곡 보정은 어안 대물렌즈에 의해 야기되는 것들과 같은, 배럴 형상화된 렌즈 왜곡을 제거하기 위해 제공된다.
적어도 2개의 대응하는 직선 라인이 보정된 이미지에서 검출되며, 이는 차량의 주변에서 서로 평행하거나 본질적으로 평행하다.
단위 구체상에서 적어도 2개의 평행 라인의 소실점의 위치는 계산되고 단위 구체상에서 소실점의 모션이 추적된다. 특정 실시예에서, 소실점의 모션은 예측 필터, 예컨대 칼만 필터(Kalman filter)로 추적된다. 추가 실시예에서, 예측 필터의 입력은 모션 센서 또는 위치 센서의 값을 포함한다. 예를 들어, 위치 센서는 자이로컴퍼스에 의해, 액체 레벨 센서에 의해 또는 수직 방향의 경사를 나타내는 다른 유형의 중력 센서에 의해 제공될 수 있다.
소실점은 확고한 피처이고 그들은 단위 구체를 사용하여 쉽게 산출될 수 있다. 각각의 이미지에 대한 탑 뷰 투영은 정규 투영 모델과 유사하고 따라서 자코비안 매트릭스는 용이하게 획득되고 각각의 이미지에 대해 칼만 필터를 투영하기 위해 사용될 수 있다.
하나 이상의 카메라의 방향에서의 변화는 소실점의 추적된 모션으로부터 도출되고 기록된 이미지의 스케일링은 하나 이상의 카메라의 방향에서의 도출된 변화를 사용하여 계산된다. 일 실시예에 따르면, 이미지 포인트는 그라운드 레벨에서 객체 포인트로 식별되고 아핀 투영(affine projection)을 사용하여 그라운드 레벨에 투영된다. 그 다음, 스케일링 인자는 아핀 투영 및 도출된 카메라 방향에 따라 그라운드 레벨에 대한 거리를 사용하여 계산된다.
스케일링 인자의 계산은 그라운드 레벨 위에서의 카메라의 높이 및 카메라의 방향과 같은, 카메라의 미리 결정된 방향 및 위치 데이터를 사용하는 것을 더욱 포함할 수 있다. 예로서, 카메라의 미리 결정된 방향 및 위치는 카메라로부터의 입력 데이터, 미리 저장된 값 또는 자동차의 주변의 미리 결정된 셋업을 사용하는 카메라 칼리브레이션에 의해 획득될 수 있다. 예를 들어, 미리 결정된 셋업은 측정 그리드를 갖는 플로어를 포함할 수 있다.
특정 실시예에서, 이미지에 대한 왜곡 보정은 다항식 어안 모델과 같은 볼록 렌즈의 렌즈 모델, 또는 허프 변환(Hough transform )에 기초한다.
특정 실시예에서, 검출된 대응하는 평행 라인의 소실점은 단위 구체 상에서 검출된 라인의 이미지 포인트의 투영을 계산하고 대응하는 큰 원의 교차점을 계산함으로써 도출된다.
특정 실시예에서, 이미지 스케일링은 서라운드 뷰 시스템의 카메라와 그라운드 표면 사이의 실제 거리를 도출하는 단계, 카메라와 그라운드 표면상의 객체 사이의 도출된 실제 거리에 기초하여 이미지 픽셀에 대한 스케일링 인자를 계산하는 단계를 포함한다.
추가 실시예에서, 소실점의 추적은 예측 필터를 이용한 추적을 포함한다. 특정 실시예에서, 추적 필터는 칼만 필터를 포함한다. 추가 실시예에 따르면, 예측의 입력 값은 자동차의 가속 센서와 같은 모션 센서로부터 및/또는 자이로컴퍼스와 같은 방향 센서, 액체 레벨 센서 또는 중력 센서로부터의 입력을 더 포함한다.
추가 양태에서, 본 명세서는 전술한 방법을 실행하기 위한 데이터 캐리어 상의 또는 영구적인 또는 휘발성 컴퓨터 메모리에서의 실행 가능한 파일과 같은, 컴퓨터 프로그램 제품을 개시한다. 특히, 컴퓨터 프로그램 제품은 하드웨어 구성요소에서 실행 가능한 파일을 지칭하며, 이는 자동차의 전자장치에서 사용에 적절하다.
추가 양태에 따르면, 본 명세서는 모터 차량에 장착되는 하나 이상의 카메라의 방향에서의 변화를 보상하기 위한 모터 차량용 이미지 보정 시스템을 지칭한다.
계산 유닛은 이미지 데이터의 스트림을 수신하기 위한 입력 연결부(input connection)를 포함한다. 입력 데이터는 적어도 하나의 카메라로부터의 연속적인 카메라 이미지를 포함하며, 이는 연속적인 시간에서 취해진다.
계산 유닛은 자동차의 하나 이상의 카메라로부터 자동차의 주변의 이미지를 수신하기 위한 입력 연결부 및 보정된 이미지를 획득하기 위해 렌즈 왜곡 보정을 적용하고 보정된 이미지에서 적어도 2개의 대응하는 직선 라인을 검출하도록 동작하는 처리 유닛을 포함한다.
더욱이, 처리 유닛은 단위 구체 상에서 적어도 2개의 대응하는 직선 라인의 소실점의 위치를 도출하고, 단위 구체 상에서 소실점의 모션을 추적하고 소실점의 추적된 모션으로부터 하나 이상의 카메라의 방향에서의 변화를 도출하도록 동작한다. 처리 유닛은 그라운드 평면에 대한, 기록된 카메라 이미지, 또는 기록된 이미지로부터 도출되는 이미지의 방향 및 투영에서의 도출된 변화를 사용하여 기록된 이미지의 스케일링을 도출한다.
하나의 특정 예에 따르면, 카메라는 그라운드 레벨에 대해 거리d에서 그라운드 레벨에 직각으로 장착되고, 수평 아래의 카메라의 뷰 각도는
Figure 112017077574697-pct00001
1 이고, 수평 위의 카메라의 뷰 각도는
Figure 112017077574697-pct00002
2 이다. 이 특정한 기하학적 배열을 위해, 카메라는 길이 ｌ의 거리의 스트레치를 커버하며
이는 삼각형에 대한 사인의 법칙으로부터 도출될 수 있다.
유사한 계산은 이미지 픽셀의 등가 길이를 핀홀-카메라에 대한 렌즈의 광학 축, 카메라 높이, 및 카메라 경사에 대해 픽셀의 거리의 함수로서 산출한다. 본 명세서에 따르면, 렌즈 모델이 사용되고 로컬 확대 인자는 렌즈 모델에 따라, 특히 어안 렌즈 모델에 따라 도출된다. 월드 좌표에서 픽셀의 등가 길이는 픽셀이 그라운드 평면의 영역에 대응한다는 가정하에 렌즈 모델에 따라 계산된다.
추가 양태에 따르면, 본 명세서는 이미지 보정 시스템을 갖는 자동차, 승용차, 미니버스, 유틸리티 차량, 픽업, 미니밴, 또는 카라반과 같은 모터 차량을 개시한다. 모터 차량의 하나 이상의 카메라는 이미지 보정 시스템의 계산 유닛에 연결된다.
동작 동안에, 카메라는 이미지 데이터를 계산 유닛에 전달한다. 추가 실시예에 따르면, 자동차의 동작 상태에 따라, 예를 들어 선택된 기어에 따라 상이한 동작 모드가 있다. 예로서, 이미지 주파수는 차량이 주차 모드에서와 같이, 느리게 이동 중 이거나 카메라 방향이 차량의 모션 상태에 따라 자동으로 조정될 수 있을 때 감소될 수 있다.
본 명세서에 따른 이미지 안정화를 위한 방법은 서라운드 뷰 시스템에 관한 것이며, 이는 그라운드를 가리키는 차량 위의 수직 카메라로부터의 뷰와 유사한 투시 투영을 제공한다. 그 중에서도, 이미지 안정화 방법은 그라운드 평면의 안정화를 제공하며, 이는 팬 및 틸트 모션과 같은, 서라운드 뷰 시스템의 카메라 중 어느 누구의 임의의 모션에 의해 도입되는 에러를 회피한다. 그것에 의해, 영역의 병합에서 인지할 수 있는 차이는 회피될 수 있고 투영은 일관되게 될 수 있다.
추가 실시예에 따르면, 자동차의 하나 이상의 카메라로부터 자동차의 주변의 이미지 및 기록된 이미지의 이미지 포인트는 단위 구체에 투영되며, 여기서 투영은 렌즈 왜곡 보정을 적용하는 것을 포함한다.
단위 구체 상에서 투영된 이미지 포인트로부터 적어도 하나의 소실점이 산출되고 적어도 하나의 소실점의 모션은 하나 이상의 카메라 각각에 대해 추적된다. 적어도 하나의 소실점의 모션은 그라운드 평면에 대한 보정된 투영을 산출하기 위해 사용된다. 특히, 추적은 예측 필터, 예컨대 칼만 필터를 사용하여 수행될 수 있다.
일 실시예에서, 방법은 하나 이상의 카메라 각각에 대해, 소실점의 모션으로부터 이미지 평면의 위치의 위치 편차를 도출하는 단계 및 시간에 따라 위치 편차를 필터링하는 단계를 포함한다. 일 실시예에서, 필터링 단계는 칼만 필터로 필터링하는 것을 포함한다.
특히, 방법은 예를 들어 허프 변환을 사용함으로써, 기록된 이미지에서 에지를 검출하는 단계, 및 검출된 에지의 이미지 포인트를 단위 구체 상으로 투영하는 단계를 포함할 수 있다.
일 실시예에 따르면, 왜곡 보정은 다항식 어안 모델에 기초하는 렌즈 왜곡 보정을 적용하는 단계를 포함한다.
추가 실시예에 따르면, 그라운드 평면에 대한 보정된 투영의 재산출은 필터링된 위치를 사용하여 기록된 이미지의 스케일링을 도출하는 단계를 포함한다.
추가 실시예에서, 방법은 보정된 이미지를 획득하기 위해 렌즈 왜곡 보정을 적용하는 단계, 보정된 이미지에서 적어도 2개의 대응하는 직선 라인을 검출하는 단계, 단위 구체 상에서 적어도 2개의 평행 라인의 소실점의 위치를 도출하는 단계 및 단위 구체 상에서 소실점의 모션을 추적하는 단계를 포함한다.
소실점은 또한 단위 구체 상에서 라인 교차점의 클러스터링을 검출함으로써 결정될 수 있다. 하나 이상의 카메라의 방향에서의 변화는 소실점의 추적된 모션으로부터 도출되고, 기록된 이미지의 스케일링은 방향에서의 도출된 변화를 사용하여 산출된다.
추가 실시예에 따르면, 방법은 서라운드 뷰 시스템의 카메라와 그라운드 표면 사이의 실제 거리를 도출하는 단계 및 카메라와 그라운드 표면 사이의 도출된 실제 거리에 기초하여 이미지 픽셀에 대한 스케일링 인자를 계산하는 단계를 포함한다.
추가 실시예에 따르면, 검출된 평행 라인의 소실점은 단위 구체 상에 검출된 라인을 투영하고 대응하는 큰 원의 교차점을 결정함으로써 도출된다.
특정 실시예에서, 소실점의 추적은 예측 필터, 예컨대 칼만 필터를 이용한 추적을 포함한다. 추가 실시예에서, 예측의 입력 값은 차량의 모션 센서로부터의 입력을 더 포함한다.
더욱이, 본 명세서는 상술한 방법을 실행하기 위한 컴퓨터 프로그램 제품을 개시한다.
더욱이, 본 명세서는 하나 이상의 카메라로부터의 연속적인 카메라 이미지를 수신하기 위한 입력 연결부를 갖는 계산 유닛을 포함하는 모터 차량용 이미지 보정 시스템을 개시한다. 계산 유닛은 자동차의 하나 이상의 카메라로부터 자동차의 주변의 이미지를 수신하기 위한 입력 연결부 및 처리 유닛을 포함한다.
처리 유닛은 기록된 이미지의 이미지 포인트를 단위 구체에 투영하며, 여기서 투영은 렌즈 왜곡 보정을 적용하는 것을 포함하고, 하나 이상의 카메라 각각에 대해, 단위 구체 상에 투영된 이미지 포인트로부터의 소실점을 산출하고 소실점의 모션을 추적하도록 동작한다. 더욱이, 처리 유닛은 하나 이상의 카메라 각각에 대해, 이미지 평면의 위치에서의 에러를 산출하고 시간에 따라 위치를 필터링하고 필터링된 위치를 사용하여 그라운드 평면에 대한 보정된 투영을 산출하도록 동작한다.
추가 실시예에 따르면, 처리 유닛은 보정된 이미지를 획득하기 위해 렌즈 왜곡 보정을 적용하고, 보정된 이미지에서 적어도 2개의 대응하는 직선 라인을 검출하고, 단위 구체 상에서 적어도 2개의 대응하는 직선 라인의 소실점의 위치를 도출하고, 단위 구체 상에서 소실점의 모션을 추적하도록 동작한다. 더욱이, 처리 유닛은 소실점의 추적된 모션으로부터 하나 이상의 카메라의 방향에서의 변화를 도출하고, 방향에서 도출된 변화를 사용하여 기록된 이미지의 스케일링을 도출하도록 동작한다.
더욱이, 본 명세서는 상술한 이미지 보정 시스템을 갖는 모터 차량을 개시하며, 여기서 모터 차량의 하나 이상의 카메라는 이미지 보정 시스템의 계산 유닛에 연결된다.
본 출원은 이제 다음의 도면에 관하여 더 상세히 설명된다
도 1은 서라운드 뷰 시스템을 갖는 자동차를 도시한다.
도 2는 도 1의 뷰 시스템으로 기록되는 이미지 포인트의 그라운드 평면에 대한 투영을 예시한다.
도 3은 도 3의 그라운드 평면 투영을 더 상세히 예시한다.
도 4는 도 3의 그라운드 평면 투영을 더 상세히 예시한다.
도 5는 소실점의 결정을 도시한다.
도 6은 소실점의 결정을 더 상세히 도시한다.
도 7은 구 좌표에서 소실점의 모션을 도시한다.
도 8은 보정된 이미지의 이미지 포인트를 도출하기 위한 절차를 도시한다.
도 9는 본 명세서에 따른 이미지 안정화에 대한 절차를 도시한다.
이하의 설명에서, 상세한 설명은 본 명세서의 실시예를 설명하기 위해 제공된다. 그러나, 실시예는 이와 같은 상세한 설명없이 실시될 수 있다는 것이 당업자에게 명백할 것이다.
도 1은 서라운드 뷰 시스템(11)을 갖는 자동차(10)를 도시한다. 서라운드 뷰 시스템(11)은 전방 뷰 카메라(12), 우측 뷰 카메라(13), 좌측 뷰 카메라(14) 및 후방 뷰 카메라(15)를 포함한다. 카메라(11-14)는 컨트롤러의 CPU에 접속되며, 이는 도 1에 도시되지 않는다. 컨트롤러는 추가 센서 및 유닛, 예컨대 속도 센서, 조향각 센서, GPS 유닛, 및 가속 및 방향 센서에 접속된다.
도 2, 3 및 4는 그라운드 평면(16)에 대한 투영을 도시한다. 도 2는 그라운드 평면(16)에 대한 이미지 포인트의 투영을 도시한다. 수직면에 대한 경사 각도 θ 는 우측 뷰 카메라(13)의 이미지 센서 상의 이미지 포인트의 위치로부터 추정될 수 있다. 이미지 포인트가 도로의 피처에 대응하면 대응하는 객체 포인트의 위치는 그라운드 평면 상으로의 이미지 포인트의 투영이다.
도 3의 예에서, 카메라(13)는 그라운드 평면 위로 높이H를 갖는다. 그 결과, 대응 객체 포인트는 자동차(10)의 우측으로부터 거리 H*cos(θ)에 위치된다. 이미지 포인트가 그라운드 평면 상의 객체 포인트에 대응하면, 그라운드 평면에 대한 이미지 포인트의 투영은 주변에서의 객체 포인트의 실제 위치를 나타낸다. 입사 각도 θ 는 카메라 센서상의 이미지 포인트의 위치로부터 도출된다. 이때, 투영의 위치 Y는 Y = H * cos(θ) 와 같이 거리 레벨 위의 카메라 센서의 높이 H를 사용하여 도출된다.
도 3은 도 2의 아핀 투영의 등각도를 도시한다. 도 4에서, 뷰 포트 평면(17) 내의 포인트는 p = (u, v)로 표시되고 그라운드 평면(16) 내의 대응하는 포인트는 P = (X, Y)로 표시된다. 뷰 포트 평면(17)과 투영 중심(C) 사이의 거리는 문자 "f"로 표시된다.
도 4는 중심 이미지 포인트p0가 좌표(u0, v0)로 표시되고 이미지 포인트 p가 좌표(u, v)로 표시되고 그라운드 평면상의 투영된 이미지 포인트P가 좌표(Xc, Yc, Zc)로 표시되는 도 3의 확대 단면을 도시한다.
추가 양태에서, 도 4는 이미지 평면에 대한 세계점(world point)(Xc, Yc, Zc)의 투영으로 보여질 수 있다. 세계 좌표(word coordinates) Xc, Yc, Zc를 갖는 3D 포인트(Xc, Yc, Zc)는 다음에 따라 이미지 포인트에 매핑될 수 있다.
카메라 광선은 법선 벡터로 정의된다. 따라서, 카메라 광선에 대한 매핑은 단위 구체의 표면 상의 포인트에 대한 매핑에 대응한다. 그것은 벡터(u, v, 1)를 정규화함으로써 계산될 수 있다.
도 5는 소실점의 결정을 도시한다. 카메라 센서 이미지의 라인 왜곡이 왜곡 보정에 의해 보상되었던 가상 이미지 평면(17)은 제1 수직 라인(18) 및 제2 수직 라인(19)을 포함한다.
투영의 중심이 단위 구체(23)의 중심에 있도록 하는 중심 투영을 사용함으로써 라인(18, 19)이 단위 구체(23) 상으로 투영되는 경우, 평행 라인(18, 19)의 투영은 각각의 큰 원(20, 21)의 세그먼트를 형성한다.
본 명세서에 따르면, 상태 매트릭스 및 예측 매트릭스와 같은, 확장된 칼만 필터에 사용되는 자코비안 매트릭스는 본 명세서에 따른 정규화된 투영 카메라 모델로부터 도출될 수 있다. 자코비안 매트릭스는 본 명세서에 따른 반경 상의 제약조건을 사용함으로써 산출하는 것이 더 용이할 수 있다.
큰 원(20, 21)의 교차점은 평행 라인(18, 19)의 소실점이다. 도 5에서, 큰 원(20, 21)의 2개의 교차점 중 하나의 교차점(22)이 도시되고 대응하는 소실선의 방향(24)이 표시된다.
본 명세서에 따른 절차에서, 단위 구체(23) 상의 소실점은 칼만 필터를 사용하여 시간에 따라 추적된다. 하나의 실현에 따르면, 소실점 사이의 거리는 소실점 사이의 단위 구체 상에 있는 큰 원 세그먼트의 길이에 대응하고 통계적 에러는 거리에 기초하여 계산된다.
소실점의 도출된 모션은 카메라 방향의 변화에 대응한다. 일 실시예에 따르면, 카메라 방향의 변화는 카메라 방향의 도출된 변화를 사용하여 보상된다. 하나의 양태에 따르면, 그 중에서도, 자동차의 서스펜션에 의해 야기되는 작은 진폭 피치 및 롤 이동은 추적되고 보상된다. 추가 양태에 따르면, 요 이동이 추적되고, 이는 그 중에서도, 거리 표면 상에서 휠의 조향 및 슬라이딩 모션에 의해 야기된다.
하나의 실현에 따르면, 하나의 소실점의 평행 라인은 거리의 측면 경계에 대응한다. 다른 실현에 따르면, 평행 라인은 거리 상의 구분(demarcations)에 대응한다.
도 6은 큰 원의 세그먼트에 대한 라인 세그먼트의 변환 및 소실점의 결정의 추가 예를 도시한다. 도 5 및 6의 이미지 평면(17)은 카메라 센서의 원본 센서 데이터에 존재하는 렌즈 왜곡이 왜곡 보정 변환을 적용함으로써 감소되거나 제거되었던 컴퓨터 메모리의 가상 이미지 평면을 나타낸다.
제1 거리 경계의 이미지인 제1 라인 세그먼트(25)는 제1 큰 원(27)의 세그먼트(26)에 매핑된다. 제2 거리 경계의 제2 라인 세그먼트(28)는 제2 큰 원(30)의 세그먼트(29)에 매핑된다. 제1 및 제2 큰 원(27, 30)은 소실점(31)에서 교차한다. 이 교차 포인트는 큰 원(27, 30)의 교차를 계산하거나 또한 라인(25, 28)을 연장하고, 그들의 교차 포인트(32)를 계산하고 교차 포인트(32)를 소실점(31)에 매핑함으로써 결정될 수 있다.
일반적으로, 카메라 이미지에서의 2개의 주어진 직선 라인이 평행한 객체 라인에 대응하고 공통 소실점을 갖는지는 공지되어 있지 않다. 따라서, 2개의 임의의 라인 세그먼트로부터 소실점의 계산은 또한 "거짓 소실점"을 가져올 수 있다. 본 명세서에 따르면, 거짓 소실점은 다양한 방식으로 회피되거나 제거될 수 있다. 예를 들어, 이미지 정보는 분석될 수 있고 라인 세그먼트는 거리 경계로 식별될 수 있다. 더욱이, 일 실시예에서, 저장된 디지털 맵은 거리 경계가 직선이고 소실점의 결정에 적절하다는 것을 결정하기 위해 사용될 수 있다.
거짓 소실점을 회피하는 추가 방법은 그 중에서도, 거리 측정으로부터 또는 입체 이미지로부터의 3차원 정보, 카메라 이미지의 계산적 분석에 기초한 객체의 방향에 대한 추론, 및 단위 구체 상에서 소실점 클러스터의 계산적 결정의 사용을 포함한다.
추가 실시예에 따르면, 인공 신경망은 거리 경계, 거리 표시, 가드레일, 가이드 포스트, 램프 포스트, 빌딩의 수평 및 수직 피처 또는 다른 직선 객체 피처에 대응하는 라인과 같은, 평행한 객체 라인을 검출하도록 훈련된다.
도 7은 시간에 따라 유도된 소실점의 궤적의 구 좌표를 도시한다. 구 좌표는 Φ가 요각(yaw angle)에 대응하고 θ가 앙각(elevation angle)에 대응하도록 선택된다. 도 7은 자동차에 고정된 카메라가 평형 앙각 주위에서 진동하고 대략 90도의 요각으로 자동차와 함께 회전하는 상황을 예시한다.
또한 "Tait-Bryan angles"로 공지된 요, 피치 및 롤 각도는 다음의 변환에 의해 단위 구체 상의 구 좌표 θ, Φ 의 각도로부터 획득될 수 있으며
Φ가 x, y 평면에서 측정되고 Φ = 0이면 (x, y) = (1, 0)에 대응한다.
도 8은 객체 포인트로부터 이미지 포인트 x''를 도출하거나, 반대로 이미지 포인트로부터 객체 포인트를 도출하기 위한 계산적 모델을 예시한다.
제1 변환 단계(30)에서, 객체 포인트X는 뷰 포트 평면 상으로 투영된다. 하나의 실현에 따르면, 단계(30)의 변환은 뷰 포트 평면 상으로 원본 객체 포인트 X의 회전 R 및 평행이동 C로 모델링된다.
제2 변환 단계(31)에서, 변환 h는 이미징 렌즈의 특성에 따라 이미지를 왜곡한다. 단계(34)에 따른 역 변환 h-1 는 왜곡 보정 변환으로 지칭된다. 단계(34)에 따른 이미지 보정은 렌즈 왜곡의 미리 정의된 수학적 모델에 따라 렌즈 왜곡을 감소시키거나 제거한다.
어안 대물렌즈(fish-eye objective)가 모델링되는 일 실시예에서, 왜곡 보정 변환은 그 중에서도, 홀수 차수 다항식 모델, PFET(polynomial fish-eye transformation) 모델, 또는 분할 모델과 같은 다항식 어안 모델에 따른 변환을 포함한다. 배럴 타입 왜곡을 제거하기 위한 다른 렌즈 모델은 그 중에서도, Kannala-Brandt 모델, 및 Grossberg와 Nayar에 따른 및 Gennery에 따른 렌즈 모델을 포함한다.
더욱이, 왜곡 보정 변환은 허프 변환을 포함할 수 있다. 허프 변환에 따르면, x-y 평면의 모든 포인트는 파라미터화된 곡선 r(t) = x*cos(t) + y*sin(t)와 연관된다. 좌표 시스템의 원점 및 방향과 같은, 허프 변환의 파라미터는 왜곡 측정을 최소화하고/하거나 픽처에서 라인을 검출하고 라인을 파라미터화된 곡선에 매칭시킴으로써 결정된다. 왜곡 측정은 이미지 라인의 곡률과 관련된다.
일 실시예에 따르면, 라인은 에지 검출기를 사용하여 이미지를 처리하고 처리된 이미지에서 라인을 검출함으로써 검출된다. 그 다음, 처리된 이미지는 허프 공간(Hough space)으로 변환되며, 이는 거리r 및 각도t에 의해 걸쳐있다. 허프 공간에서의 높은 강도는 잘 검출된 라인에 대응한다.
제3 변환 단계(32)에서, 포인트 x'를 대응하는 이미지 픽셀x'' 상으로 투영하는 투영이 적용된다. 단계(32)의 투영은 픽셀에 대한 이미지 포인트의 매핑을 모델링하는 평균화 단계와 같은, 비가역적 구성요소 및 가역적 구성요소를 포함할 수 있다. 단계(33)에 따른 변환 의 가역적 부분의 역은 역 투영 으로 지칭된다.
화살표(33, 34)는 변환(32 및 31)의 각각의 역 변환을 나타낸다. 이미지 클리핑 및 수치 에러와 같은 정보 손실을 수반할 수 있는 주어진 실현에서, 변환(31 및 32)은 단지 대략적으로 가역적이다.
대조적으로, 단계(30)에 따른 투영은 일반적으로 가역적이지 않고 객체 포인트 X의 재구성은 객체의 인식 및 그것의 방향에 대한 가정과 같은 추가가정, 및/또는 거리 측정과 같은 추가 가정을 필요로 한다.
이미지 픽셀 x''의 이미지로부터 왜곡을 제거하기 위해, 역 투영이 단계(33)에서 적용되고 왜곡 보정이 단계(34)에서 적용된다. 본 명세서에 따르면, 그 다음, 결과적인 2차원 이미지는 도 5에 도시된 바와 같이, 직선 및 그들의 대응하는 소실점을 결정하기 위해 사용된다.
특정 실현에 따르면, 렌즈를 모델링하는 함수 h는 핀홀 카메라 모델에 따라 투시 투영을 연장하기 위해 사용된다. 투시 또는 동질 좌표에서, 핀홀 카메라 모델은 다음과 같이 쓰여질 수 있다:
또는
여기서, [R|C]는 회전 매트릭스 R 및 평행이동 벡터 C로 구성되는 블록 매트릭스를 나타내고, (X, Y, Z)는 월드 좌표 공간에서 3D 포인트의 좌표이고, (u, v)는 픽셀 유닛에서 투영 포인트의 좌표이고, A는 카메라 매트릭스, 또는 고유 파라미터의 매트릭스이고, (cx, cy)는 일반적으로 이미지 중심에 있는 주점(principal point)이고, fx, fy는 픽셀 유닛으로 표현되는 초점 길이이다.
매트릭스 A는 상기 언급된 고유 변환 의 예를 제공한다. 일반적으로, 함수 는 일반적 고유 변환 = (fx, 0, cx; 0, fy, cy)이다.
z ≠ 0인 경우, 위의 변환은 다음과 같이 3차원으로 쓰여질 수 있다
렌즈 왜곡 함수 h는 변환 (x'', y'') = h(x', y')을 삽입하고 그 대신에 u 및 v를 x'' 및 y''의 함수로 계산함으로써 이 프레임워크에 통합될 수 있다.
함수(h)의 예는 다음과 같이 주어지고
여기서
이다.
추가 실시예에서, θ 의 다항식은 또한 θ 의 짝수 승 및/또는 더 낮거나 더 높은 차수의 근사치를 포함한다.
도 8의 계산적 방법에 따르면, 3D 월드 포인트 Xc는 어안 렌즈의 표면 상으로 투영되며, 이는 다항식 함수h로 표현된다. 그것에 의해, 포인트 Xs는 센서 평면에서 포인트 Xm 으로 투영된다. 센서 평면 상으로의 투영은 렌즈 왜곡에 의해 영향을 받고 이 효과는 다항식 함수 h에 의해 모델링된다.
이 카메라 모델을 사용함으로써, 각각의 이미지 포인트 Xm은 카메라 광선으로 매칭될 수 있으며, 이는 반경 1을 갖는 구체의 표면상의 단위 벡터이다. 계산적으로, 투영은 단위 벡터에 대한 정규화에 의해 실현될 수 있다.
일 실시예에 따르면, 에지는 왜곡된 어안 이미지에서 결정되고 그 다음 검출된 에지의 포인트는 왜곡 보정을 수행하는 카메라 모듈을 사용하여 카메라 광선으로 투영된다. 각각의 라인은 단위 구체 상에서 큰 원 또는 큰 원의 세그먼트에 대략적으로 매핑된다. 소실점은 원을 맞춤으로써 결정된다. 계산은 원이 반경 1을 갖는 단위 구체 상의 큰 원이기 때문에 단순화된다.
일 실시예에 따르면, 카메라 모델은 매핑을 위한 룩업 테이블을 생성함으로써 실현된다. 단위 구체 상의 포인트는 모션이 구체의 표면에서의 원이므로 추적하기 용이하다.
도 9는 본 명세서에 따른 이미지 안정화에 대한 절차를 도시한다.
단계(40)에서, 하나 이상의 카메라 이미지는 카메라 이미지 센서로부터 획득된다. 단계(41)에서, 적절한 이미지 영역이 선택된다. 예를 들어, 하늘 영역에 대응하는 이미지 부분은 클리핑 될 수 있다. 단계(42)에서, 이미지 왜곡은 렌즈 모델에 기초를 두는 이미지 변환을 사용하여 제거된다.
단계(43)에서, 보정된 이미지는 계산적으로 분석되고 평행한 객체 라인에 대응하는 라인은 검출된다. 일 실시예에 따르면, 라인은 에지 검출 알고리즘에 의해 검출된다. 추가 실시예에 따르면, 디지털화된 이미지는 허프 변환 또는 라돈 변환과 같은 적절한 적분 변환에 의해 먼저 변환되고, 직선은 변환된 이미지의 피처로서 검출된다.
단계(44)에서, 라인 세그먼트는 단위 구체 상에서 대응하는 큰 원에 매핑되고, 단계(45)에서, 단위 원의 교차 포인트는 결정된다. 단계(46)에서, 교차 포인트의 모션은 결정된다. 본 명세서에 따르면, 필터, 특히 칼만 필터는 소실점의 모션을 보간하고 예측하기 위해 사용된다.
하나보다 많은 소실점이 존재하고 그들 소실점 모두가 고정된 객체에 대응하면, 소실점의 모션은 유사하다. 일 실시예에 따르면, 소실점의 모션은 평균 모션을 획득하기 위해 평균화된다. 결과적인 모션은 카메라 모션의 평균으로 사용된다. 단계(47)에서, 소실점의 도출된 모션은 카메라 이미지를 안정화시키기 위해 사용된다.
도 9의 단계의 시퀀스는 예로 제공된다. 주어진 실현에서의 단계는 도 9의 시퀀스와 상이할 수 있다. 예를 들어, 추가 실시예에서, 직선이 먼저 검출되고 소실점은 예를 들어 라인의 세트에서 라인의 각각의 쌍의 대응하는 소실점이 단위 구체 상에 클러스터링되는 경우 소실점을 한 세트의 라인에 귀속시킴으로써, 라인을 대응하는 큰 원에 매핑한 후에만 검출된다.
이러한 방법으로, 소실점은 거리 경계로서 또는 공지된 방향을 갖는 다른 객체로서 라인 세그먼트의 사전 식별 없이 식별될 수 있다. 소실점의 클러스터링은 많은 유형의 건물 및 인공 구조물에 의해 제공되는, 많은 수평 및 수직 라인을 갖는 객체에 특히 작동한다.
11 서라운드 뷰 시스템
12 전방 뷰 카메라
13 우측 뷰 카메라
14 좌측 뷰 카메라
15 후방 뷰 카메라
16 그라운드 평면
17 뷰 포트 평면
18 제1 라인 세그먼트
19 제2 라인 세그먼트
20 큰 원
21 큰 원
22 교차 포인트
23 단위 구체
25 제1 라인 세그먼트
26 투영된 제1 라인 세그먼트
27 큰 원
28 제2 라인 세그먼트
29 투영된 제2 라인 세그먼트
30 큰 원
31 투영된 소실점/교차 포인트
32 (뷰포트 평면에서의) 소실점
40-47 방법 단계

Claims (14)

  1. 이미지 보정 시스템에 의해 수행되는, 자동차의 하나 이상의 카메라의 이미지 시퀀스의 이미지 안정화를 위한 방법으로서,
    상기 자동차의 하나 이상의 카메라로부터 자동차의 주변의 이미지를 기록하는 단계,
    상기 기록된 이미지의 이미지 포인트를 단위 구체에 투영하는 단계 -상기 투영은 렌즈 왜곡 보정을 적용하는 단계를 포함함 -,
    상기 하나 이상의 카메라 각각에 대해, 상기 단위 구체 상의 상기 투영된 이미지 포인트로부터 적어도 하나의 소실점을 산출하는 단계,
    상기 단위 구체 상에서 상기 적어도 하나의 소실점의 모션을 추적하는 단계,
    그라운드 평면에 대한 보정된 투영을 산출하기 위해 적어도 하나의 소실점의 상기 모션을 사용하는 단계,
    상기 소실점의 상기 추적된 모션으로부터 상기 하나 이상의 카메라의 방향에서의 변화를 도출하는 단계,
    방향에서의 상기 도출된 변화를 사용하여 상기 기록된 이미지의 스케일링을 도출하는 단계를 포함하고,
    상기 소실점의 상기 추적은 예측 필터를 이용한 추적을 포함하는 방법.
  2. 제1항에 있어서,
    상기 하나 이상의 카메라 각각에 대해, 상기 소실점의 상기 모션으로부터 이미지 평면의 위치의 위치 편차를 도출하는 단계 및 시간에 따라 상기 위치를 필터링하는 단계를 포함하는 방법.
  3. 제1항에 있어서,
    상기 기록된 이미지에서 에지를 검출하는 단계 및 상기 단위 구체 상으로 상기 검출된 에지의 이미지 포인트를 투영하는 단계를 포함하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 왜곡 보정은 다항식 어안 모델에 기초하는 렌즈 왜곡 보정을 적용하는 단계를 포함하는 방법.
  5. 제2항에 있어서, 그라운드 평면에 대한 상기 보정된 투영의 재산출은 필터링된 위치를 사용하여 상기 기록된 이미지의 스케일링을 도출하는 단계를 포함하는 방법.
  6. 제1항 내지 제3항 및 제5항 중 어느 한 항에 있어서,
    보정된 이미지를 획득하기 위해 렌즈 왜곡 보정을 적용하는 단계,
    보정된 이미지에서 적어도 2개의 대응하는 직선 라인을 검출하는 단계,
    단위 구체 상에서 적어도 상기 2개의 평행 라인의 소실점의 위치를 도출하는 단계,
    상기 단위 구체 상에서 상기 소실점의 모션을 추적하는 단계를 더 포함하는 방법.
  7. 제6항에 있어서, 상기 이미지 스케일링은 상기 하나 이상의 카메라와 그라운드 표면 사이의 실제 거리를 도출하는 단계,
    상기 하나 이상의 카메라와 상기 그라운드 표면 사이의 상기 도출된 실제 거리에 기초하여 이미지 픽셀에 대한 스케일링 인자를 계산하는 단계를 포함하는 방법.
  8. 제6항에 있어서, 상기 검출된 평행 라인의 상기 소실점은 단위 구체 상에 상기 검출된 라인을 투영하고 대응하는 큰 원의 교차점을 결정함으로써 유도되는 방법.
  9. 삭제
  10. 제1항에 있어서, 상기 예측 필터의 입력 값은 상기 자동차의 모션으로부터의 입력을 포함하는 방법.
  11. 제1항 내지 제3항 및 제5항 중 한 항에 따른 방법을 실행하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 저장 매체.
  12. 하나 이상의 카메라로부터 연속적인 카메라 이미지를 수신하기 위한 입력 연결부를 갖는 계산 유닛을 포함하는, 자동차를 위한 이미지 보정 시스템으로서, 상기 계산 유닛은 상기 자동차의 하나 이상의 카메라로부터 상기 자동차의 주변의 이미지를 수신하기 위한 입력 연결부와 상기 주변의 이미지의 이미지 포인트를 단위 구체에 투영하고 - 상기 투영은 렌즈 왜곡 보정을 적용하는 것을 포함함 -,
    상기 하나 이상의 카메라 각각에 대해, 단위 구체 상의 상기 투영된 이미지 포인트로부터 소실점을 산출하고,
    상기 단위 구체 상에서 상기 소실점의 모션을 추적하고,
    상기 하나 이상의 카메라 각각에 대해, 이미지 평면의 위치에서의 에러를 산출하고 시간에 따라 상기 위치를 필터링하고,
    필터링된 위치를 사용하여 그라운드 평면에 대한 보정된 투영을 산출하고,
    상기 소실점의 추적된 모션으로부터 상기 하나 이상의 카메라의 방향에서의 변화를 도출하고,
    방향에서의 상기 도출된 변화를 사용하여 상기 주변의 이미지의 스케일링을 도출하도록 동작하는 처리 유닛을 포함하며,
    상기 소실점의 상기 추적은 예측 필터를 이용한 추적을 포함하는 이미지 보정 시스템.
  13. 제12항에 있어서, 상기 처리 유닛은 보정된 이미지를 획득하기 위해 렌즈 왜곡 보정을 적용하고,
    상기 보정된 이미지에서 적어도 2개의 대응하는 직선 라인을 검출하고,
    단위 구체 상에서 상기 적어도 2개의 대응하는 직선 라인의 소실점의 위치를 도출하고,
    상기 단위 구체 상에서 상기 소실점의 모션을 추적하도록 동작하는 이미지 보정 시스템.
  14. 제12항 또는 제13항에 따른 이미지 보정 시스템을 갖는 모터 차량으로서, 상기 모터 차량의 하나 이상의 카메라는 상기 이미지 보정 시스템의 계산 유닛에 연결되는 모터 차량.
KR1020177022509A 2015-02-16 2016-01-19 서라운드 뷰 이미지의 안정화를 위한 방법 및 장치 KR102566583B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15155161.1 2015-02-16
EP15155161.1A EP3057062A1 (en) 2015-02-16 2015-02-16 Method and device for stabilization of a surround view image
PCT/EP2016/050966 WO2016131587A1 (en) 2015-02-16 2016-01-19 Method and device for stabilization of a surround view image

Publications (2)

Publication Number Publication Date
KR20170117416A KR20170117416A (ko) 2017-10-23
KR102566583B1 true KR102566583B1 (ko) 2023-08-11

Family

ID=52473782

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177022509A KR102566583B1 (ko) 2015-02-16 2016-01-19 서라운드 뷰 이미지의 안정화를 위한 방법 및 장치

Country Status (4)

Country Link
EP (2) EP3057062A1 (ko)
KR (1) KR102566583B1 (ko)
CN (1) CN107209930B (ko)
WO (1) WO2016131587A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279372B (zh) * 2015-09-29 2018-12-14 百度在线网络技术（北京）有限公司 一种确定建筑物高度的方法和装置
CN111174796B (zh) * 2019-12-31 2022-04-29 驭势科技（浙江）有限公司 一种基于单灭点的导航方法、电子设备和存储介质
CN111882883A (zh) * 2020-08-28 2020-11-03 智慧互通科技有限公司 一种路侧停车管理的方法及装置
CN112668505A (zh) * 2020-12-30 2021-04-16 北京百度网讯科技有限公司 基于路侧相机的外参的三维感知信息获取方法和路侧设备
CN114565681B (zh) * 2022-03-01 2022-11-22 禾多科技（北京）有限公司 一种相机标定方法、装置、设备、介质及产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011215063A (ja) 2010-04-01 2011-10-27 Tottori Univ カメラ姿勢パラメータ推定装置
US20140043473A1 (en) 2011-04-25 2014-02-13 Nikhil Gupta Method and system for dynamically calibrating vehicular cameras

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2243125B1 (en) * 2007-12-13 2020-04-29 Clemson University Research Foundation Vision based real time traffic monitoring
CN101488222B (zh) * 2008-01-16 2011-02-09 中国科学院自动化研究所 一种基于运动目标表象和运动信息的摄像机自标定方法
JP4513871B2 (ja) * 2008-02-15 2010-07-28 ソニー株式会社 画像処理方法、画像処理プログラムおよび画像処理装置
CN101894366B (zh) 2009-05-21 2014-01-29 北京中星微电子有限公司 一种获取标定参数的方法、装置及一种视频监控系统
KR101394770B1 (ko) * 2012-08-30 2014-05-15 주식회사 만도 곡선 차선 모델을 이용한 영상 안정화 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011215063A (ja) 2010-04-01 2011-10-27 Tottori Univ カメラ姿勢パラメータ推定装置
US20140043473A1 (en) 2011-04-25 2014-02-13 Nikhil Gupta Method and system for dynamically calibrating vehicular cameras

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Stephen T. Barnard, Interpreting Perspective Images, Artificial Intelligence(1983.11.30.)*
Xianghua Ying 등, Fisheye Lenses Calibration Using Straight-Line Spherical Perspective Projection Constraint, ACCV 2006(2006.01.31.)*
Yu-Ming Liang 등, Video Stabilization for a Camcorder Mounted on Moving Vehicle, IEEE Vehicular Technology(2004.11.30.)*

Also Published As

Publication number Publication date
EP3259732B1 (en) 2018-11-14
WO2016131587A1 (en) 2016-08-25
KR20170117416A (ko) 2017-10-23
CN107209930A (zh) 2017-09-26
EP3057062A1 (en) 2016-08-17
CN107209930B (zh) 2021-11-09
EP3259732A1 (en) 2017-12-27

Similar Documents

Publication Publication Date Title
US10652466B2 (en) Method and device for stabilization of a surround view image
US10354151B2 (en) Method of detecting obstacle around vehicle
KR102566583B1 (ko) 서라운드 뷰 이미지의 안정화를 위한 방법 및 장치
CN107111879B (zh) 通过全景环视图像估计车辆自身运动的方法和设备
KR101188588B1 (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
CN110176038B (zh) 校准车辆的摄像头的方法、系统和存储介质
JP6924251B2 (ja) 画像センサの外因性パラメータを較正するための方法及び装置
US20130222589A1 (en) Single-camera distance estimation
US11887336B2 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
KR101566910B1 (ko) 차량 운전 보조 장치 및 그 동작 방법
JP6743171B2 (ja) 自動車両の道路付近の物体を検出するための方法、コンピュータデバイス、運転者支援システム、及び、自動車両
CN110719411B (zh) 车辆的全景环视图像生成方法及相关设备
JP7107931B2 (ja) 移動オブジェクトのレンジを推定する方法および装置
CN114972427A (zh) 一种基于单目视觉的目标跟踪方法、终端设备及存储介质
CN110751598B (zh) 车辆铰接点坐标标定方法、装置、计算机设备和存储介质
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
Westerhoff et al. Development and comparison of homography based estimation techniques for camera to road surface orientation
EP3227827B1 (en) Driver assistance system, motor vehicle and method for classifying a flow vector
JP7064400B2 (ja) 物体検知装置
CN116612459B (zh) 目标检测方法、装置、电子设备及存储介质
WO2006123438A1 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
CN113763560A (zh) 点云数据的生成方法、系统、设备及计算机可读存储介质
CN117261764A (zh) 用于车辆盲点可视化的装置和方法
JP2024008862A (ja) 交通情報の検出装置及び方法
CN113449571A (zh) 目标对象的匹配方法及装置、目标对象监控系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant