KR102494006B1 - 동적 입체 캘리브레이션을 위한 시스템 및 방법 - Google Patents

동적 입체 캘리브레이션을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102494006B1
KR102494006B1 KR1020217018350A KR20217018350A KR102494006B1 KR 102494006 B1 KR102494006 B1 KR 102494006B1 KR 1020217018350 A KR1020217018350 A KR 1020217018350A KR 20217018350 A KR20217018350 A KR 20217018350A KR 102494006 B1 KR102494006 B1 KR 102494006B1
Authority
KR
South Korea
Prior art keywords
camera
extrinsic
disparity
parameters
initial
Prior art date
Application number
KR1020217018350A
Other languages
English (en)
Other versions
KR20210077792A (ko
Inventor
나답 게바
파즈 일란
오데드 기구신스키
에브라임 골든베르그
갈 샤브타이
Original Assignee
코어포토닉스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코어포토닉스 리미티드 filed Critical 코어포토닉스 리미티드
Publication of KR20210077792A publication Critical patent/KR20210077792A/ko
Application granted granted Critical
Publication of KR102494006B1 publication Critical patent/KR102494006B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

제 1 카메라 및 제 2 카메라를 포함하는 듀얼-카메라의 스테레오 캘리브레이션 방법 및 이러한 방법을 수행하기 위한 시스템이 개시된다. 일부 실시 예에서, 방법은 초기 고유 파라미터, 및 선택적으로 초기 외재 파라미터를 사용하여 최적화된 외재 및 고유 파라미터를 획득하는 단계, 상기 최적화된 외재 및 고유 파라미터를 사용하여 무한 오프셋(e)을 추정하는 단계, 및 상기 최적화된 외재 및 고유 파라미터와 무한 오프셋(e)를 사용하여 스케일링 인자(s)를 추정하는 단계를 포함하고, 상기 최적화된 외재 및 고유 파라미터, 무한 오프셋(e) 및 스케일링 인자(s)는 향상된 깊이 추정으로 이어지는 스테레오 캘리브레이션을 제공하기 위해 함께 사용된다.

Description

동적 입체 캘리브레이션을 위한 시스템 및 방법{SYSTEM AND METHOD FOR DYNAMIC STEREOSCOPIC CALIBRATION}
관련 출원에 대한 상호 참조
본 출원은 2019 년 3 월 9 일에 출원된 미국 가특허 출원 제 62/816,097 호로부터 우선권 주장하며, 이는 그 전체가 본 명세서에 참조로 명백히 포함된다.
본 명세서에 개시된 실시 예는 일반적으로 입체 디지털 카메라에서와 같은 광학 기기 캘리브레이션에 관한 것이고, 특히 운전자 보조 시스템의 일부로서 차량에 통합되도록 구성된 듀얼-애퍼처 디지털 카메라("듀얼-카메라")의 입체 캘리브레이션에 관한 것이다.
정의:
"동적 입체 캘리브레이션": 스테레오 카메라가 사용 중인 동안, 그것의 이동 여부에 관계없이, 알려진 캘리브레이션 차트가 없는 스테레오(듀얼) 카메라의 "스테레오 파라미터" 추정.
"스테레오 파라미터": 고정밀 깊이 맵을 생성하기 위해 캘리브레이션될 필요가 있는 스테레오 카메라 파라미터로서, (각 카메라에 대한) 고유 파라미터 및 (각 카메라 쌍에 대한) 외재 파라미터를 포함한다.
"고유 파라미터": 초점 길이, X 및 Y 축의 광축 및 렌즈 왜곡 계수를 포함하는 파라미터.
"외재 파라미터": 3 개의 (2 개의 카메라 사이의) 상대 각도(요(Yaw), 피치(Pitch) 및 롤(Roll))와 3 개의 오프셋(Tx, Ty 및 Tz)을 포함하는 파라미터.
“디스패리티 축(disparity axis)”: 디스패리티 축(XYZ 좌표계에서 카메라가 수평으로 배치된 경우 X).
“논-디스패리티 축”: 디스패리티 축에 수직인 축(XYZ 좌표계에서 카메라가 수평으로 배치된 경우 Y).
첨단 운전자 보조 시스템(ADAS)가 공지되어 있다. 차량에 포함된 ADAS는 차량의 주변 환경을 파악하기 위해 센서와 알고리즘을 결합하여, 차량 운전자가 도움을 받거나 위험에 대해 경고를 받을 수 있다. ADAS는 환경 및 주변 객체를 획득, 처리, 분석 및 이해하는 데 중추적인 역할을 하는 컴퓨터 비전에 의존한다. 종종, ADAS는 2 개 이상의 카메라 또는 "카메라 모듈"을 갖는 멀티-카메라 시스템을 사용한다.
도 1a는 다양한 배치의 멀티-카메라 시스템을 갖는 차량의 평면도를 도시한다. "차량"이라는 용어는 자동차, 오토바이, 트럭, 버스, 비행기, 자전거 등(이에 국한되지 않음)을 포함한 모든 차량에 적용될 수 있다. (a)에서, 듀얼-카메라 시스템은 X 축을 따라 서로 근접하게 배치된 2 개의 카메라(102, 104)를 포함한다. 여기서, X 디스패리티 축은 X이고, 논-디스패리티 축은 Y이다. 2 개의 카메라는 공통의 하우징을 공유할 수 있다. (b)에서, 2 개의 카메라(106, 108)는 (a) 보다 서로 더 먼 거리에서 Y 축을 따라 배치된다. (c)에서, 2 개의 카메라(110, 112)는 디스패리티 축으로 X 축을 따라 배치된다. (d)에서는 4 개의 카메라(114, 116, 118 및 120)가 있고, (e)에서는 3 개의 카메라(122, 124, 126)가 있고, (f)에서는 2 개의 카메라(128, 130)가 도시된 바와 같이 배치되어 있다. 카메라는 특정 유형의 카메라에 국한되지 않는다. 일 예에서, 카메라는 동일할 수 있다. 일 예에서, 카메라는 다음의 파라미터들, 즉 초점 길이, 센서 크기, 픽셀 크기 및/또는 피치, 및/또는 f-수(f/#) 중 하나 이상이 상이할 수 있다. 일 예에서, 카메라는 컬러 카메라, 흑백 카메라 또는 적외선(IR) 감지 카메라일 수 있다. 일 예에서, 멀티-카메라 시스템은 적외선 프로젝터, 광섬유, 레이저, 센서 또는 이들의 조합(도시되지 않음)을 추가로 포함할 수 있다.
컴퓨터 비전이 제대로 작동하려면, 환경의 정확한 깊이 맵이 필요하다. 깊이 맵은 뷰포인트로부터의 장면 객체의 표면 거리와 관련된 정보를 포함하는 이미지 또는 이미지 채널이다.
환경의 깊이 맵을 생성하기 위한 일반적인 솔루션은 이미지화하고 카메라로부터 객체의 거리를 추정하기 위하여 입체 카메라 또는 듀얼-카메라(2 개의 서브-카메라로 구성된 카메라)를 사용한다. 깊이 맵 생성을 위해 듀얼-카메라를 사용하는 것은 시야(FOV)에서 다양한 객체의 픽셀의 디스패리티를 계산하는 데 달려 있다. 픽셀 단위의 디스패리티 값을 미터 단위의 실제 깊이로 정확하게 변환하려면, 정확한 카메라 스테레오 캘리브레이션이 필요하다.
스테레오(또는 듀얼) 카메라 시스템의 캘리브레이션은 고유 및 외재 파라미터의 정확도를 평가하기 위해 수집된 데이터를 분석하고 그에 따라 조정하는 것을 포함한다.
모든 고유 및 외재 파라미터가 알려져 있다고 가정하면, 차량 듀얼-카메라 시스템의 FOV 내에서의 객체의 거리(또는 "깊이) Z를 식 1을 사용하여 계산 및/또는 추정할 수 있다.
Figure 112021068682568-pat00001
여기서, f는 초점 길이, B는 기준선, D는 픽셀 단위의 디스패리티, "ps"는 픽셀 크기이다.
그러나, 실제로 공장 및 동적 캘리브레이션 절차는 수정된 식 1'로 표현될 수 있는 고유 및/또는 외재 파라미터에서의 추정 오류로 어려움을 겪는다.
Figure 112021068682568-pat00002
여기서, "s"는 알려지지 않은 스케일링 인자, 초점 길이 추정 및 디스패리티 축(예컨대, Tx)을 따른 변환의 누적 오류이며, "e"는 "논-디스패리티 축"를 따른 회전에서의 추정 오류(외재 파라미터) 뿐만 아니라, 좌측("L") 및 우측("R ") 카메라 모두에 대한 광축 위치에서의 추정 오류(고유 파라미터)를 포함하는 "무한 디스패리티 오류" 또는 "무한 오프셋"을 나타낸다.
도 1b는 e에서의 2 개의 예시적인 오류에 대한 깊이 추정에서의 가능한 차이의 예를 도시한다. e가 0.5 픽셀 오류 또는 1 픽셀 오류로 추정된다고 가정하자. 도면은 f = 6mm, ps = 0.0042mm 및 B = 120mm를 갖는 스테레오 시스템에 대한 그래프를 도시한다(식 1’참조). 그래프는 0.5 픽셀 오류와 1 픽셀 오류(식 1 '에서 "e")를 비교하는 거리를 기준으로 발산 오류 백분율을 나타낸다. 깊이 추정에 있어서 반(half) 픽셀 오류의 영향은 특히 먼 거리에서 극적이다.
호스트 차량에 스테레오 또는 듀얼-카메라를 설치하기 전에 수동 스테레오 캘리브레이션을 수행하는 것은 어렵다. 카메라 수명주기 동안의 변경으로 인해 사전 설치 스테레오 캘리브레이션을 유지하기가 어렵다. 이러한 변경에는 시간이 경과함에 따라 일부 캘리브레이션 파라미터가 변경되도록 하는 열 팽창, 진동 및 기계적 충격이 포함될 수 있다(이에 국한되지 않음). 전면 유리 뒤에 장착된 스테레오(또는 듀얼) 카메라를 캘리브레이션하는 것은 전면 유리가 예를 들어 카메라의 원근이나 시야각을 왜곡시킴으로써, 스테레오 카메라의 일부 캘리브레이션 파라미터에 영향을 미칠 수 있기 때문에, 더욱 복잡한다. 따라서, 호스트 차량에 카메라를 설치한 후에만 캘리브레이션을 수행할 수 있다.
입체 카메라 캘리브레이션 문제를 해결하기 위한 여러 시도가 있었지만, 업계의 요구를 충족시키는 솔루션을 고안할 수 없었다. 이러한 솔루션 중 일부는 모션(SFM) 알고리즘으로부터 구조(structure) 실행을 시도한다. SFM은 연속적인 이미지에서 움직이는 특징을 추적하는 복잡한 알고리즘을 사용하여 구조 정보를 결정한 다음, 이미지 프레임을 처리하여 깊이 맵을 계산한다. 이러한 솔루션은 이러한 프로세스를 실행하는 것이 지나치게 어렵고 움직이는 자동차에 장착된 카메라에 대해 계산적으로 까다롭기 때문에, 업계의 요구를 충족하지 못한다.
따라서, SFM 기술을 사용하는 기존 시스템 및 방법의 결함을 극복하는 동적 입체 캘리브레이션 시스템 및 방법이 필요하며 그것이 유리할 것이다.
다양한 실시 예에서, 제 1 카메라 및 제 2 카메라를 포함하는 스테레오 디지털 카메라의 동적 입체 캘리브레이션을 위한 방법이 제공되며, 각각의 카메라는 고유 파라미터 및 외재 파라미터를 가지고, 상기 방법은 입력 고유 파라미터, 및 선택적으로 입력 외재 파라미터에 기초하여 최적화된 외재 및 고유 파라미터를 획득하는 단계, 최적화된 고유 및 외재 파라미터를 사용하여 오프셋 파라미터(e)를 추정하는 단계; 최적화된 고유 및 외재 파라미터 및 추정된 오프셋 파라미터(e)를 사용하여 스케일링 인자(s)를 추정하는 단계; 최적화된 고유 및 외재 파라미터, 무한 오프셋(e) 및 스케일링 인자(s)를 사용하여 향상된 깊이 추정으로 이어지는 스테레오 캘리브레이션을 제공하는 단계를 포함한다.
특정 실시 예에서, 본 명세서에 개시된 동적 입체 캘리브레이션을 위한 방법은 제 1 카메라의 고유 및/또는 외재 파라미터에 대한 초기 값 및 제 2 카메라의 고유 파라미터에 대한 초기 값을 선택하는 단계를 포함할 수 있다. 초기 값은 예를 들어 카메라의 설계( "공칭" 값)로부터, 각 카메라에 대한 캘리브레이션이 수행된 경우 공장 세팅으로부터, 또는 카메라의 이전 사용 등으로부터 얻을 수 있다.
고유 및/또는 외재 파라미터의 캘리브레이션은 제 1 카메라로부터의 적어도 하나의 이미지 및 제 2 카메라로부터의 적어도 하나의 이미지를 캡처하는 단계, 제 1 카메라로부터의 적어도 하나의 이미지상의 대응 포인트를 제 2 카메라로부터의 적어도 하나의 이미지상의 대응 포인트에 매칭시키는 단계, 및 에피폴라 기하학을 사용하여 제 1 카메라 및 제 2 카메라의 최적화된 고유 및 외재 파라미터를 계산하는 단계를 포함한다. 이것은 제 1 카메라 및 제 2 카메라의 초기 캘리브레이션을 정렬된 에피폴라 라인으로 제공한다. 다양한 선택, 계산, 처리 등은 프로세서를 사용하여 수행될 수 있으며, 처리의 데이터/결과는 메모리에 저장될 수 있다.
오프셋 파라미터(e) 및 스케일링 인자(s)를 추정하기 위한 추가 동작은 제 1 카메라 및 제 2 카메라로부터 수신된 이미지에 기초하여 적어도 2 개의 이미지 쌍을 획득하는 단계, 여기서 상기 적어도 2 개의 이미지 쌍은 제 1 카메라 및 제 2 카메라를 통해 순차적으로 촬영된 이미지이고, 각 이미지 쌍(각 카메라에서 하나씩)을 동시에 촬영될 필요가 있는 단계; 적어도 2 개의 이미지 쌍에서 대응하는 포인트로부터 매칭되는 픽셀을 포함하는 디스패리티 맵을 생성하는 단계, 여기서 일정한 디스패리티를 갖는 픽셀은 무한 거리에서의 픽셀로 식별되는 단계를 포함한다.
특정 실시 예에서, 방법은 메모리에 적어도 2 개의 이미지 쌍을 저장하는 단계를 포함한다.
특정 실시 예에서, 제 1 카메라로부터 캡처된 적어도 2 개의 이미지 쌍 및 제 2 카메라로부터 캡처된 적어도 2 개의 이미지 쌍의 수는 프로세서에 의해 결정된다.
특정 실시 예에서, 프로세서는 풀 FOV가 캡처되면 제 1 카메라 및 제 2 카메라로부터 적어도 2 개의 이미지 쌍 수신을 중단한다.
특정 실시 예에서, 스테레오 디지털 카메라는 차량에 설치된다.
특정 실시 예에서, 스테레오 디지털 카메라는 운전자 보조 시스템의 일부로서 차량에 통합되도록 구성된다.
특정 실시 예에서, 제 1 카메라의 초기 고유 파라미터 및 제 2 카메라의 초기 고유 파라미터를 설정하는 단계는 상기 스테레오 디지털 카메라에 대하여 고유 파라미터에 대한 초기 추측을 수행하는 프로세서를 포함한다.
특정 실시 예에서, 초기 고유 파라미터를 선택하는 단계는 공장 캘리브레이션을 포함한다.
특정 실시 예에서, 초기 고유 파라미터를 선택하는 단계는 번들 조정으로부터 독립적인 추정을 포함한다.
특정 실시 예에서, 초기 고유 파라미터를 선택하는 단계는 움직임으로부터 구조로부터 독립적인 추정(SFM)을 포함한다.
특정 실시 예에서, 제 1 카메라로부터의 적어도 하나의 이미지 및 제 2 카메라로부터의 적어도 하나의 이미지는 메모리에 저장된다.
특정 실시 예에서, 제 1 카메라 및 제 2 카메라로부터의 적어도 하나의 이미지상의 대응 포인트는 메모리에 저장된다.
특정 실시 예에서, 디스패리티 맵은 메모리에 저장된다.
특정 실시 예에서, 풀 FOV를 얻기 위해 외재 및 내부 파라미터를 캘리브레이션하는 단계가 반복된다.
특정 실시 예에서, 깊이 캘리브레이션 단계는 풀 FOV를 얻기 위해 반복된다.
특정 실시 예에서, 고유 파라미터는 초점 길이, 이미지 왜곡 및 광축으로 구성된 그룹으로부터 선택된다.
특정 실시 예에서, 외재 파라미터는 다른 카메라에 대한 하나의 카메라의 병진 및 회전을 말한다.
특정 실시 예에서, 방법은 추정 오차를 보상하기 위해 무한 디스패리티를 사용하는 단계를 포함한다.
특정 실시 예에서, 방법은 적어도 2 개의 이미지 쌍에서 움직이는 객체를 식별하는 단계를 포함한다.
특정 실시 예에서, 방법은 디스패리티 맵으로부터 상기 움직이는 객체를 제거하는 단계를 포함한다.
특정 실시 예에서, 움직이는 객체는 컴퓨터 비전을 사용하여 식별된다.
특정 실시 예에서, 움직이는 객체는 높은 디스패리티 값을 사용하여 식별된다.
특정 실시 예에서, 방법은 상기 언급된 단계의 단계를 여러 번 반복하고 그 결과를 평균화하는 단계를 포함한다.
일 실시 예에서, 동적 스테레오 카메라 캘리브레이션을 위한 방법이 제공되며, 이는 듀얼-카메라로부터 적어도 2 개의 이미지 쌍을 획득하는 단계, 적어도 2 개의 이미지 쌍의 로컬 등록을 수행하며, 등록 맵을 획득하는 단계, 등록 맵에서 최소 디스패리티를 찾는 단계, 최소 디스패리티 값을 계산하는 단계, 전역(global) 최소 디스패리티 값을 정의하는 단계, 전역 최소 디스패리티 값을 사용하여 듀얼-카메라를 캘리브레이션하는 단계를 포함한다.
본 명세서에서 일부 실시 예는 첨부 도면을 참조하여 단지 예로서 설명된다. 이제, 도면을 구체적으로 참조하면, 도시된 세부 사항은 예로서 그리고 애플리케이션 실시 예의 설명을 위한 것임을 강조한다. 이와 관련하여, 도면과 함께 취해진 설명은 본 출원의 실시 예가 어떻게 실행될 수 있는지 당업자에게 명백해지게 한다. 도면에서:
도 1a는 다양한 배치의 멀티-카메라 시스템을 갖는 차량의 평면도를 도시한다.
도 1b는 무한 디스패리티 오류로 기인하는, 깊이 추정에서의 가능한 차이의 예를 도시한다.
도 2a는 스테레오 파라미터를 캘리브레이션하기 위한 예시적인 실시 예를 설명하는 흐름도를 도시한다.
도 2b는 스테레오 파라미터를 캘리브레이션하기 위한 예시적인 실시 예를 설명하는 흐름도를 도시한다.
도 3a는 본 명세서에 개시된 방법에서 무한대 보정(correction)을 위한 예시적인 실시 예를 설명하는 흐름도를 도시한다.
도 3b는 본 명세서에 개시된 방법에서 무한대 보정을 위한 예시적인 실시 예를 설명하는 흐름도를 도시한다.
도 4a는 본 명세서에 개시된 방법에서 객체 스케일을 추정하기 위한 방법의 예시적인 실시 예를 설명하는 흐름도를 도시한다.
도 4b는 본 명세서에 개시된 방법에서 객체 스케일을 추정하기 위한 방법의 다른 예시적인 실시 예를 설명하는 흐름도를 도시한다.
도 5는 차량에 설치되고 여기에 개시된 방법을 수행하기 위해 사용되는 시스템을 나타낸다.
본 명세서에 개시된 실시 예는 식 1'의 "추가적인" 파라미터들, 스케일링 인자(s) 및 디스패리티 오류(e)의 추정을 포함하는 고유 및 외재 파라미터의 동적 스테레오 캘리브레이션 방법을 설명한다. 식의 모든 파라미터는 공장(듀얼-카메라가 조립된 곳 및/또는 차량이 조립된 곳)에서 추정될 수 있지만, 파라미터는 다음과 같은 서브 카메라 간 이동, 서브 카메라 간 기울기, 각 서브 카메라에서의 렌즈와 센서 간 이동, 카메라 초점 길이 변경(이에 국한되지 않음) 등과 같은 여러 요인으로 인해 카메라의 수명 주기 동안 변경될 수 있다.
본 애플리케이션은 카메라 파라미터를 효율적으로 캘리브레이션하여, 카메라가 주변을 제대로 보고 거리를 효과적으로 계산할 수 있도록 한다.
도 2a는 스테레오 카메라의 고유 및 외재 파라미터를 캘리브레이션하기 위한 예시적인 방법의 실시 예를 설명하는 흐름도를 도시한다. 단계(202)에서, 초기 외재 및/또는 고유 파라미터가 2 개의 카메라 모두에 대해 선택된다. 초기 캘리브레이션 파라미터는 번들 조정, 움직임 구조, 이전 캘리브레이션 파라미터 등으로부터 독립적인 추정을 통해, 공장 세팅(스테레오 카메라에 대해 알려진 모든 공칭 값-초점 길이, 렌즈 왜곡, 광축, 기준선 등)으로부터 추정될 수 있다. 고유 및 (선택적으로) 외재 파라미터는 단계(204)에서 캘리브레이션된다. 캘리브레이션은 하위 단계(208)에서 R-L 이미지의 제 1 세트를 획득하는 단계, 및 하위 단계(21)에서 L과 R 이미지에서 특징 추출 방법을 개별적으로 사용하고 우측 이미지에서의 L 이미지의 대응하는 특징을 찾아, 대응 포인트를 매칭하는 단계를 포함한다. 최소 4 쌍의 포인트가 필요하지만, 일반적으로 수백 쌍의 포인트가 사용된다. 캘리브레이션은 예를 들어 필수 메트릭스(Essential Metrix) 추정 및 분석, 3 개의 각도(요(Yaw), 피치, 롤) 계산 및 알려지지 않은 스케일(3 개의 오프셋) Tx, Ty, Tz까지의 변환을 사용하여, 하위 단계(212)에서 외재 파라미터를 계속 계산한다. 그 다음, 고유 파라미터는 선택된 고유 파라미터에 대한 논-디스패리티 축 오류를 최소화하기 위해 최적화 기술(즉, 기울기 표준)을 사용하여 하위 단계(214)에서 개선된다(refined). 상기 개선은 논 디스패리티 축(NDA)을 따라 각각 매칭되는 각 특징 포인트에 대한 이미지 위치 차이를 계산하는 것을 포함한다. 최적화의 목표는 모든 이미지로부터 모두 매칭되는 특징에 대한 절대 NDA의 합을 최소화하는 것이다. 완벽하게 캘리브레이션된 스테레오 시스템에서, 절대 NDA의 합은 0으로 수렴할 것이다. 예를 들어, 실제 사례의 경우, 최소화된 평균 절대 NDA가 0부터 "델타"값 내에 있도록, 정지 조건을 설정할 수 있다. 예를 들어, 델타 값은 0.1 픽셀일 수 있다. 다른 정지 조건 및 예를 사용하면, 정지 조건은 0.25 픽셀보다 작은 최대 절대 NDA일 수 있다.
단계(204)의 출력은 최적화된 스테레오 캘리브레이션(즉, 고유 및 외재) 파라미터(206), 즉 카메라 시스템의 출력을 평행 에피폴라 라인을 갖는 한 쌍의 이미지로 수정할(rectifying) 수 있는 캘리브레이션된 듀얼-카메라 출력이다. 그 다음, 최적화된 스테레오 캘리브레이션 파라미터는 무한 오프셋(e) 및 스케일링 인자(s)를 추정하는 데 사용된다.
이러한 최적화 문제는 경사하강법(Gradient decent)과 같은 여러 최적화 기술로 해결할 수 있다. 이 하위 단계에서 개선된 고유 파라미터는 좌측 및 우측 카메라 간의 초점 길이 비율, 렌즈 왜곡 계수 및 "논-디스패리티" 광축 차이를 포함한다.
도 2b는 스테레오 카메라의 고유 및 외재 파라미터를 캘리브레이션하기 위한 예시적인 방법의 다른 실시 예를 설명하는 흐름도를 도시한다. 이 실시 예는 다음의 변경 사항과 함께, 도 2a의 실시 예와 유사하다.
1. 충분한 매칭 포인트가 수집될 때까지 단계(208 및 210)을 반복한다. 이것은 예를 들어 0 x N0 x N0 x FOV_Pdisp(픽셀로 측정된 N ~ 1/20 FOV P ~ 1/10 디스패리티 범위)의 3D 박스에서 5 개의 대응 포인트를 가짐으로써, 매칭된 특징이 카메라의 FOV 및 카메라로부터의 거리에 걸쳐 고르게 분산될 때까지 단계(211)에서 수행되는 반복적인 프로세스이다.
2. 안정 상태에 도달할 때까지 단계(212 및 214)를 반복한다. 이것은 단계(213)에서 수행되는 반복 프로세스이다. 단계(214)에서 고유 파라미터가 개선된 후, 단계(212)에서 외재 파라미터를 재계산하고, 파라미터 값에서 또는 절대 NDA의 합에 있어서 정상 상태에 도달할 때까지 개선한다.
도 3a는 무한 보정을 위한(즉, 식 1'에서 무한 오프셋(e)를 추정하기 위한) 방법의 예시적인 실시 예를 설명하는 흐름도를 도시한다. 이 방법은 동적 환경(예를들어, 주어진 차량에서 운전하는 동안)에서 듀얼-카메라를 사용하여 구현된다. 움직이는 동안 적어도 2 세트의 스테레오 이미지(즉, 4 개의 이미지, 2L 및 2R)가 단계(302)에서 획득된다. L 및 R 이미지의 각 세트에서의 대응 포인트는 단계(304)에서 매칭된다. 2 세트의 이미지들 사이의 대응 포인트는 단계(306)에서 매칭된다. 단일 이미지 세트로 수행된 좌측 대 우측(L-R) 특징들의 매칭과 대조적으로, 단계(306)에서 매칭은 다양한 자동차 위치(즉, 단계(304)에서 획득된 상이한 세트의 스테레오 이미지에서 동일한 지점)에서 좌측 대 좌측(L-L) 및/또는 우측 대 우측(R-R)이다. 대응 포인트의 디스패리티 맵은 단계(308)에서 생성된다. 디스패리티 맵의 생성은 두 단계(304 및 306)에서 매칭되는 모든 특징들에 대하여 두 시간 프레임에서의 디스패리티 값을 계산하는 것을 포함한다. 이 단계는 입력 이미지(단계를 수정하거나(302) 이전) 또는 단지 대응 특징들을 수정함으로써(단계 308 이전), 수정된 포인트에서 수행되어야 한다. 그 다음, 수정 파라미터(즉, 스테레오 파라미터)는 출력(206)에서 획득(추정)된다. 특정 실시 예에서, "디스패리티"가 언급될 때, 수정된 이미지 또는 수정된 이미지 좌표가 사용되는 것으로 가정된다. 단계(310)에서, (차량이 움직이는 동안) 상이한 시간 단계에 걸쳐 일정한 디스패리티를 갖는 픽셀은 "무한" 거리로 표시된다. 무한 지점의 디스패리티로 정의되는 무한 오프셋(e)은 단계(312)에서 추정된다. 특정 실시 예에서, 이것은 모든 무한대 표시된 픽셀들의 디스패리티를 평균화함으로써 수행된다. 특정 실시 예에서, 단지 하나의 무한대 표시된 픽셀로 충분하지만, 실제로는 수십개가 사용될 것이다.
선택적으로, 정지된 객체를 필터링하는 단계(314)는 무한 오프셋(e)을 추정하기 전에 단계(312)에서 수행될 수 있다. 듀얼-카메라 및/또는 주어진 차량(예를 들어, 주어진 차량과 동일한 속도로 동일한 방향으로 이동하는 다른 차량)에 고정된 객체는 (무한 픽셀과 같은) 일정한 디스패리티를 가질 것이기에, 무한 오프셋 추정으로부터 필터링되어야 한다. 필터링은 예를 들어 충분히 큰 디스패리티를 가진 픽셀들을 스레스홀딩(thresholding)하는 것(무한 디스패리티가 0에 가까울 것임) 또는 기계 학습에 의해 자동차/오토바이/자전거를 검출하는 것을 포함할 수 있다.
도 3b는 무한 캘리브레이션을 위한 다른 방법의 예시적인 실시 예를 설명하는 흐름도를 도시한다. 이 실시 예는 추가된 루프(반복) 단계(316)를 제외하고는, 도 3a의 실시 예와 유사하다. 추가된 루프(반복) 단계(316)는 무한 오프셋 추정 단계(312)가 충분한 수의 무한 픽셀을 갖고(일반적으로 더 많은 무한 표시된 픽셀이 바람직함), 무한 오프셋 추정의 안정된 상태에 도달하는 것을 보장하기 위해 단계(302 내지 308)를 반복한다
도 4a는 스케일을 추정하는 방법(식 1'에서 스케일링 인자(s)를 추정함)의 예시적인 실시 예를 설명하는 흐름도를 도시한다. e의 추정에서와 같이, 이 방법은 동적 환경(예를 들어, 주어진 차량에서 운전하는 동안)에서 듀얼-카메라를 사용하여 구현된다. 적어도 하나의 스테레오 이미지 세트는 이동하는 동안 단계(402)에서 획득된다. 알려진 치수의 객체(OKD)는 획득된 이미지 중 하나에서 OKD를 발견함으로써, 검출 알고리즘을 사용하여 단계(404)에서 검출된다. "검출된 OKD"를 XOKD로 정의한다. XOKD는 예를 들어 번호판 길이, 교통 속도 표지판 직경, 또는 서로 동일하고/하거나 주어진 장소(도시, 주, 국가, 대륙 등)에서 일정한 치수를 갖는 다른 객체일 수 있다. 각각의 XOKD의 대응 포인트는 단계(406)에서 대응 스테레오 이미지에서 매칭되고 픽셀 단위의 알려진 객체의 크기는 단계(408)에서 계산된다. 크기 계산은 객체와 관련된 모든 픽셀을 찾고 그 치수 POKD(예를 들어, 번호판 길이 또는 교통 속도 표지판 직경)를 계산하기 위해 분할 알고리즘을 사용하는 것을 포함할 수 있다. 알려진 치수의 객체의 디스패리티는 (단계(308)에서와 같이) 수정된 이미지 또는 수정된 이미지 좌표를 사용하여 단계(410)에서 계산된다. 듀얼-카메라로부터의 XOKD의 거리는 예를 들어, 거리 = focal_length * XOKD/POKD와 같은 카메라 초점 길이 및 객체 픽셀 크기를 사용하여 단계(412)에서 계산된다. 그 다음, 스케일링 인자(s)는 단계(312)로부터의 e의 값과 식 1'을 사용하여 단계(414)에서 추정된다.
일부 실시 예에서, 객체 치수가 알려질 수 있으므로, 한 세트의 이미지가 필요하다. 다른 실시 예에서, 많은 세트의 이미지, 바람직하게는 1000 개의 이미지 세트가 얻어질 수 있지만, 더 적은 수의 이미지도 효과적으로 사용될 수 있다. s에 대한 복수의 출력 추정은 많은 측정에 대한 평균일 수 있다.
도 4b는 스케일링 인자(s)를 추정하기 위한 방법의 다른 예시적인 실시 예를 설명하는 흐름도를 도시한다. 단계(420)에서 움직이는 동안, 적어도 두 세트의 스테레오(L 및 R) 이미지가 획득된다. 지면에 대해 고정된 객체는 단계(422)에서 (예를 들어, 교통 표지/신호등, 건물 및/또는 교차로에 대한 검출 알고리즘에 의해) 발견(검출)된다. 각 세트에서의 대응 포인트는 단계(304)에서와 유사한 방식으로 단계(424)에서 매칭된다. 두 세트의 이미지 사이의 대응 포인트는 단계(306)에서와 유사한 방식으로 단계(426)에서 매칭된다. 대응 포인트의 디스패리티 맵은 단계(308)에서와 유사한 방식으로 단계(428)에서 생성된다. 각 쌍의 이미지 세트를 촬영하는 사이에 차량에 의해 구동되는 거리(ΔZ)는 단계(430)에서, 예를 들어 차량의 속도계/GPS/외부 관성 측정 장치를 사용하여 획득(측정)된다. 그 다음, 고정된 객체 및 구동 거리의 디스패리티는 (e가 단계(312)에서 추정된 후) 다음의 식 1' 및 아래 식 2를 사용하여, 단계(432)에서 스케일링 인자(s)를 추정하는 데 사용된다.
Figure 112021068682568-pat00003
또한, s는 많은 샘플에서 쉽게 추출되고 평균화될 수 있다.
대안적인 실시 예에서, 듀얼-카메라 시스템은 듀얼-카메라로부터 2 개의 이미지 세트를 획득한다. 시스템은 2 개의 이미지 세트의 로컬 등록을 수행하고 등록 맵을 획득한다. 시스템은 등록 맵에서 최소 디스패리티를 찾고, 최소 디스패리티 값을 계산하고, 전역 최소 디스패리티 값을 정의하고, 전역 최소 디스패리티를 사용하여 듀얼-카메라를 캘리브레이션한다.
이미지 등록은 상이한 데이터 세트를 하나의 좌표계로 변환하는 프로세스이다. 데이터는 여러 사진, 서로 다른 센서로부터의 데이터, 시간, 깊이 또는 뷰포인트일 수 있다.
도 5는 (2 개 이상의 카메라 모듈을 가질 수 있는 다중-애퍼처 카메라의 특정 예로서) 듀얼-애퍼처 카메라를 포함하는 전자 장치(500)의 실시 예를 개략적으로 도시한다. 전자 장치(500)는 제 1 이미지 센서(506)에 의해 기록된 제 1 이미지를 형성하는 제 1 렌즈 모듈(504)을 포함하는 제 1 카메라 모듈(502) 및 제 2 이미지에 의해 기록된 이미지를 형성하는 제 2 렌즈 모듈(512)을 포함하는 제 2 카메라 모듈(510)을 포함한다. 2 개의 카메라 모듈은 동일하거나 서로 다를 수 있다. 예를 들어 2 개의 카메라는 비슷하거나 다른 FOV를 가질 수 있다. 카메라는 예를 들어 가시 광선(VIS) 파장 범위 또는 적외선(IR) 또는 기타 파장 범위, 비행시간(TOF) 카메라 등에 민감한 이미지 센서를 갖는 다른 유형일 수 있다. 전자 장치(500)는 처리 유닛 또는 애플리케이션 프로세서(AP)를 추가로 포함할 수 있다. 일부 실시 예에서, 초기 또는 이전 캘리브레이션 데이터는 전자 장치(500)의 메모리(524)에 저장될 수 있다.
사용시 AP(520)와 같은 처리 장치는 카메라 모듈(502 및 510)로부터 각각의 제 1 및 제 2 이미지 데이터(또는 제 1 및 제 2 이미지)를 수신하고, 카메라 제어 신호를 카메라 모듈(502 및 510)에 공급하여, 양쪽 모두의 이미지가 동시에 획득되는 것을 보장한다. 각 카메라로부터 적어도 하나의 이미지를 수신한 후, AP(520)는도 2a, 2b, 3a, 3b 및 4a, 4b에 설명된 프로세스를 실행할 것이다. 최종 결과는 업데이트된 스테레오 캘리브레이션 파라미터일 것이고, 이는 추가 사용을 위해 메모리 유닛(524)에 저장될 수 있다.
청구항 또는 명세서가 "a" 또는 "an" 요소를 지칭하는 경우, 그러한 참조는 그 요소 중 하나만 있는 것으로 해석되어서는 안된다는 것을 이해해야 한다.
여기에 설명된 방법은 사용자가 자동차를 켤 때마다 또는 사용 당 여러 번 또는 제조업체 또는 사용자 프롬프트가 미리 설정한 예정된 캘리브레이션 기간, 공장을 떠날 때 단일 캘리브레이션 또는 조합으로, 카메라 파라미터를 자주 캘리브레이션하도록 구현될 수 있다. 본 애플리케이션은 네트워크 또는 클라우드 액세스를 필요로하지 않지만 데이터 저장 또는 처리, 예를 들어 이미지 저장, 치수 데이터 액세스, 원격 처리 등을 위해 이러한 액세스를 갖는 이점을 누릴 수 있다.
개시된 실시 예는 이미지 쌍의 세트를 독립적으로 처리할 수 있어 표준 기술보다 더 나은 결과를 제공한다. 개시된 방법은 20-100 개의 이미지 쌍의 시퀀스를 필요로 하는 SFM과 달리, 엄격한 순차적 요구 사항없이 수행될 수 있다. 또한, 본 발명은 (1) 시스템의 계산 요구 사항을 줄이고 (2) 파라미터를 캘리브레이션하는 데 필요한 이미지 수를 줄인다는 점에서, 다른 알려진 프로세스 및 솔루션과 비교할 때 독특한다.
달리 정의되지 않는 한, 본 명세서에서 사용되는 모든 기술적 또는 과학적 용어는 본 출원이 속하는 기술 분야의 통상의 기술자가 일반적으로 이해하는 것과 동일한 의미를 갖는다.
본 개시사항은 제한된 수의 실시 예를 설명하지만, 그러한 실시 예의 많은 변형, 수정 및 다른 응용이 이루어질 수 있다는 것을 이해할 것이다. 일반적으로, 본 개시사항은 여기에 설명된 특정 실시 예에 의해 제한되지 않고 첨부된 청구 범위의 범위에 의해서만 가능함을 이해해야 한다..

Claims (16)

  1. 제 1 카메라 및 제 2 카메라를 포함하는 듀얼-카메라의 스테레오 캘리브레이션 방법으로서, 상기 방법은:
    초기 고유 파라미터, 및 선택적으로 초기 외재 파라미터를 사용하여, 최적화된 외재 및 고유 파라미터를 획득하는 단계;
    상기 최적화된 외재 및 고유 파라미터를 사용하여, 무한에서의 포인트들의 디스패리티를 나타내는 무한 오프셋(e)을 추정하는 단계;
    상기 최적화된 외재 및 고유 파라미터와 무한 오프셋(e)를 사용하여, 디스패리티 축을 따른 변환(translation) 및 초점 길이 추정의 누적 오류를 나타내는 스케일링 인자(s)를 추정하는 단계; 및
    상기 최적화된 외재 및 고유 파라미터, 무한 오프셋(e) 및 스케일링 인자(s)를 사용하여, 향상된 깊이 추정으로 이어지는 스테레오 캘리브레이션을 제공하는 단계를 포함하고,
    상기 최적화된 외재 및 고유 파라미터를 사용하여 무한 오프셋(e)을 추정하는 단계는 적어도 2 세트의 스테레오 이미지를 동적으로 획득하는 단계로서, 각각의 스테레오 이미지 세트는 좌측 이미지 및 우측 이미지를 포함하는 단계, 각 세트의 좌측 및 우측 이미지에서 대응 포인트를 매칭시키는 단계, 적어도 2 세트의 좌측 이미지 및 우측 이미지에서 각각 대응 포인트를 매칭시키는 단계, 동일한 세트에서 및 세트 사이에서 매칭되는 모든 특징들에 대하여 2 개의 시간 프레임에서의 디스패리티 값을 계산함으로써 디스패리티 맵을 생성하는 단계, 서로 다른 시간 단계에 걸쳐 일정한 디스패리티를 가진 픽셀을 무한에 있는 각 포인트로 레이블링하는 단계, 및 무한에서의 포인트들의 각각의 디스패리티로부터 무한 오프셋(e)을 추정하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서, 상기 스테레오 캘리브레이션은 동적 스테레오 캘리브레이션을 포함하는 방법.
  3. 제 2 항에 있어서, 상기 동적 스테레오 캘리브레이션은 듀얼-카메라를 포함하는 이동 차량에서 수행되는 방법.
  4. 제 1 항에 있어서, 상기 초기 고유 파라미터는 상기 제 1 및 제 2 카메라의 고유 파라미터의 공칭값을 포함하는 방법.
  5. 제 1 항에 있어서, 상기 초기 고유 파라미터는 상기 제 1 및 제 2 카메라의 공장 캘리브레이션된 초기 고유 파라미터를 포함하는 방법.
  6. 제 1 항에 있어서, 상기 초기 고유 파라미터는 번들 조정과 독립적으로 추정되는 제 1 및 제 2 카메라의 초기 고유 파라미터를 포함하는 방법.
  7. 제 1 항에 있어서, 상기 초기 고유 파라미터는 모션으로부터 구조와 독립적으로 추정되는 제 1 및 제 2 카메라의 초기 고유 파라미터를 포함하는 방법.
  8. 삭제
  9. 제 1 카메라 및 제 2 카메라를 포함하는 듀얼-카메라의 스테레오 캘리브레이션 방법으로서, 상기 방법은:
    초기 고유 파라미터, 및 선택적으로 초기 외재 파라미터를 사용하여, 최적화된 외재 및 고유 파라미터를 획득하는 단계;
    상기 최적화된 외재 및 고유 파라미터를 사용하여, 무한에서의 포인트들의 디스패리티를 나타내는 무한 오프셋(e)을 추정하는 단계;
    상기 최적화된 외재 및 고유 파라미터와 무한 오프셋(e)를 사용하여, 디스패리티 축을 따른 변환(translation) 및 초점 길이 추정의 누적 오류를 나타내는 스케일링 인자(s)를 추정하는 단계; 및
    상기 최적화된 외재 및 고유 파라미터, 무한 오프셋(e) 및 스케일링 인자(s)를 사용하여, 향상된 깊이 추정으로 이어지는 스테레오 캘리브레이션을 제공하는 단계를 포함하고,
    상기 최적화된 외재 및 고유 파라미터와 무한 오프셋(e)을 사용하여 스케일링 인자(s)를 추정하는 단계는 적어도 하나의 스테레오 이미지 세트를 동적으로 획득하는 단계, 상기 세트에서 적어도 하나의 알려진 치수의 객체(OKD)를 검출하여 XOKD로 마킹된 검출된 OKD를 획득하는 단계, XOKD에서 대응 포인트를 매칭시키는 단계, XOKD의 크기를 계산하는 단계, XOKD의 디스패리티를 계산하는 단계, 듀얼-카메라에서 XOKD의 거리를 계산하는 단계, 및 상기 크기, 디스패리티 및 거리를 사용하여 스케일링 인자(s)를 추정하는 단계를 포함하는 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제 1 카메라 및 제 2 카메라를 포함하는 듀얼-카메라의 스테레오 캘리브레이션 방법으로서, 상기 방법은:
    초기 고유 파라미터, 및 선택적으로 초기 외재 파라미터를 사용하여, 최적화된 외재 및 고유 파라미터를 획득하는 단계;
    상기 최적화된 외재 및 고유 파라미터를 사용하여, 무한에서의 포인트들의 디스패리티를 나타내는 무한 오프셋(e)을 추정하는 단계;
    상기 최적화된 외재 및 고유 파라미터와 무한 오프셋(e)를 사용하여, 디스패리티 축을 따른 변환(translation) 및 초점 길이 추정의 누적 오류를 나타내는 스케일링 인자(s)를 추정하는 단계; 및
    상기 최적화된 외재 및 고유 파라미터, 무한 오프셋(e) 및 스케일링 인자(s)를 사용하여, 향상된 깊이 추정으로 이어지는 스테레오 캘리브레이션을 제공하는 단계를 포함하고,
    상기 최적화된 외재 및 고유 파라미터와 무한 오프셋(e)를 사용하여 스케일링 인자(s)를 추정하는 단계는 적어도 2 개의 스테레오 이미지 세트를 동적으로 획득하는 단계, 상기 세트에서 적어도 하나의 고정 객체(XOS)를 검출하는 단계, XOS에서 대응하는 포인트를 매칭하여 디스패리티를 획득하는 단계, 적어도 2 개의 세트의 획득 단계 사이에서 움직인 거리를 획득하는 단계, 및 상기 디스패리티 및 거리를 사용하여 스케일링 인자(s)를 추정하는 단계를 포함하는 방법.
  14. 삭제
  15. 삭제
  16. 삭제
KR1020217018350A 2019-03-09 2020-03-06 동적 입체 캘리브레이션을 위한 시스템 및 방법 KR102494006B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962816097P 2019-03-09 2019-03-09
US62/816,097 2019-03-09
KR1020207024468A KR102268094B1 (ko) 2019-03-09 2020-03-06 동적 입체 캘리브레이션을 위한 시스템 및 방법
PCT/IB2020/051948 WO2020183312A1 (en) 2019-03-09 2020-03-06 System and method for dynamic stereoscopic calibration

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207024468A Division KR102268094B1 (ko) 2019-03-09 2020-03-06 동적 입체 캘리브레이션을 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210077792A KR20210077792A (ko) 2021-06-25
KR102494006B1 true KR102494006B1 (ko) 2023-01-30

Family

ID=72426168

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217018350A KR102494006B1 (ko) 2019-03-09 2020-03-06 동적 입체 캘리브레이션을 위한 시스템 및 방법
KR1020207024468A KR102268094B1 (ko) 2019-03-09 2020-03-06 동적 입체 캘리브레이션을 위한 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207024468A KR102268094B1 (ko) 2019-03-09 2020-03-06 동적 입체 캘리브레이션을 위한 시스템 및 방법

Country Status (5)

Country Link
US (2) US11315276B2 (ko)
EP (2) EP3782363B1 (ko)
KR (2) KR102494006B1 (ko)
CN (2) CN111971956B (ko)
WO (1) WO2020183312A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114765667A (zh) * 2021-01-13 2022-07-19 安霸国际有限合伙企业 用于多视图拼接的固定图案校准
KR102557429B1 (ko) * 2021-07-06 2023-07-20 한동대학교 산학협력단 어안렌즈 카메라를 이용한 자율 발렛 주차 시스템 및 방법
US11798192B1 (en) * 2022-06-30 2023-10-24 Plusai, Inc. Methods and apparatus for calibrating stereo imagery using motion of vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009048516A (ja) 2007-08-22 2009-03-05 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2012132739A (ja) * 2010-12-21 2012-07-12 Ricoh Co Ltd ステレオカメラの校正装置および校正方法
JP2016105577A (ja) * 2014-11-25 2016-06-09 日本放送協会 カメラモデルパラメータ推定装置及びそのプログラム
JP2017062150A (ja) 2015-09-24 2017-03-30 マツダ株式会社 ステレオカメラの校正装置、及びステレオカメラの校正方法
WO2017122552A1 (ja) 2016-01-15 2017-07-20 ソニー株式会社 画像処理装置および方法、プログラム、並びに画像処理システム

Family Cites Families (339)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3085354A (en) 1957-01-31 1963-04-16 Westinghouse Electric Corp Multi-gimbal flight simulator
US3483452A (en) 1968-09-11 1969-12-09 Hercules Inc Capacitors with polypropylene film and liquid dielectrics
US3584513A (en) 1969-01-06 1971-06-15 Singer General Precision Self-calibrating system for navigational instruments
US3941001A (en) 1973-11-09 1976-03-02 Lear Siegler, Inc. Gimbal control mechanism
US4199785A (en) 1979-01-05 1980-04-22 Honeywell Inc. Electronic zoom system
JPS59191146A (ja) 1983-04-13 1984-10-30 Hitachi Ltd 光学走査装置
US5099263A (en) 1984-11-10 1992-03-24 Minolta Camera Kabushiki Kaisha Variable focal length camera
DE58902538D1 (de) 1988-05-19 1992-12-03 Siemens Ag Verfahren zur beobachtung einer szene und einrichtung zur durchfuehrung des verfahrens.
DE3927334C1 (ko) 1989-08-18 1991-01-10 Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De
JP2703105B2 (ja) 1989-10-20 1998-01-26 富士写真フイルム株式会社 手振れ補正装置
US5032917A (en) 1990-03-12 1991-07-16 Rca Licensing Corporation Video signal blending apparatus
JPH0443773A (ja) 1990-06-11 1992-02-13 Matsushita Electric Ind Co Ltd 演算回路
US5041852A (en) 1990-10-18 1991-08-20 Fjui Photo Film Co., Ltd. Camera shake correction system
JP3261152B2 (ja) 1991-03-13 2002-02-25 シャープ株式会社 複数の光学系を備えた撮像装置
US5394520A (en) 1991-09-26 1995-02-28 Hughes Aircraft Company Imaging apparatus for providing a composite digital representation of a scene within a field of regard
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US5248971A (en) 1992-05-19 1993-09-28 Mandl William J Method and apparatus for multiplexed oversampled analog to digital modulation
JPH06177706A (ja) 1992-12-08 1994-06-24 Sony Corp 信号処理装置
DE69324224T2 (de) 1992-12-29 1999-10-28 Koninkl Philips Electronics Nv Bildverarbeitungsverfahren und -vorrichtung zum Erzeugen eines Bildes aus mehreren angrenzenden Bildern
US5682198A (en) 1993-06-28 1997-10-28 Canon Kabushiki Kaisha Double eye image pickup apparatus
US5805140A (en) 1993-07-16 1998-09-08 Immersion Corporation High bandwidth force feedback interface using voice coils and flexures
US6128416A (en) 1993-09-10 2000-10-03 Olympus Optical Co., Ltd. Image composing technique for optimally composing a single image from a plurality of digital images
JP3355787B2 (ja) 1994-05-20 2002-12-09 ソニー株式会社 光軸補正機構
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
CA2155719C (en) 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
JPH08271976A (ja) 1995-03-29 1996-10-18 Canon Inc カメラ
US5768443A (en) 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
US5982951A (en) 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5926190A (en) 1996-08-21 1999-07-20 Apple Computer, Inc. Method and system for simulating motion in a computer graphics application using image registration and view interpolation
JPH10126796A (ja) 1996-09-12 1998-05-15 Eastman Kodak Co デュアル・モード・ソフトウェア処理を用いた動画・静止画像用デジタル・カメラ
US5960218A (en) 1997-02-18 1999-09-28 Mobi Corporation Dual focal length camera
US5940641A (en) 1997-07-10 1999-08-17 Eastman Kodak Company Extending panoramic images
US6148120A (en) 1997-10-30 2000-11-14 Cognex Corporation Warping of focal images to correct correspondence error
US6268611B1 (en) 1997-12-18 2001-07-31 Cellavision Ab Feature-free registration of dissimilar images using a robust similarity metric
JP3695119B2 (ja) 1998-03-05 2005-09-14 株式会社日立製作所 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
US6208765B1 (en) 1998-06-19 2001-03-27 Sarnoff Corporation Method and apparatus for improving image resolution
GB9823689D0 (en) 1998-10-30 1998-12-23 Greenagate Limited Improved methods and apparatus for 3-D imaging
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US6738073B2 (en) 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US20020063711A1 (en) 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
US20020075258A1 (en) 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US6346950B1 (en) 1999-05-20 2002-02-12 Compaq Computer Corporation System and method for display images using anamorphic video
US7038716B2 (en) 1999-07-30 2006-05-02 Pixim, Inc. Mobile device equipped with digital image sensor
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6650368B1 (en) 1999-10-26 2003-11-18 Hewlett-Packard Development Company, Lp. Digital camera and method of enhancing zoom effects
US6643416B1 (en) 1999-11-30 2003-11-04 Eastman Kodak Company Method for determining necessary resolution for zoom and crop images
US20020005902A1 (en) 2000-06-02 2002-01-17 Yuen Henry C. Automatic video recording system using wide-and narrow-field cameras
JP2002010276A (ja) 2000-06-22 2002-01-11 Olympus Optical Co Ltd 撮像装置
JP4501239B2 (ja) * 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
US7002583B2 (en) 2000-08-03 2006-02-21 Stono Technologies, Llc Display of images and image transitions
US6778207B1 (en) 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video
US7345277B2 (en) 2000-08-09 2008-03-18 Evan Zhang Image intensifier and LWIR fusion/combination system
JP2002214662A (ja) 2001-01-23 2002-07-31 Olympus Optical Co Ltd 光学装置の振れ補正装置
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
GB2372659A (en) 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
US7346217B1 (en) 2001-04-25 2008-03-18 Lockheed Martin Corporation Digital image enhancement using successive zoom images
JP2002341220A (ja) 2001-05-14 2002-11-27 Olympus Optical Co Ltd 光学機器
GB0116877D0 (en) 2001-07-10 2001-09-05 Hewlett Packard Co Intelligent feature selection and pan zoom control
US6680748B1 (en) 2001-09-27 2004-01-20 Pixim, Inc., Multi-mode camera and method therefor
US20030093805A1 (en) 2001-11-15 2003-05-15 Gin J.M. Jack Dual camera surveillance and control system
US7339621B2 (en) 2001-12-13 2008-03-04 Psion Teklogix Systems, Inc. Imager output signal processing
AU2003219740A1 (en) * 2002-02-11 2003-09-04 Visx, Inc. Determining relative positional and rotational offsets
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003298920A (ja) 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
JP4657564B2 (ja) 2002-04-30 2011-03-23 イーストマン コダック カンパニー 電子スチルカメラ及び画像処理方法
GB2388265B (en) 2002-04-30 2005-10-12 Hewlett Packard Co Improvements in and relating to processing of images
CA2386560A1 (en) 2002-05-15 2003-11-15 Idelix Software Inc. Controlling optical hardware and dynamic data viewing systems with detail-in-context viewing tools
JP3870124B2 (ja) 2002-06-14 2007-01-17 キヤノン株式会社 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US6839067B2 (en) 2002-07-26 2005-01-04 Fuji Xerox Co., Ltd. Capturing and producing shared multi-resolution video
US20040061788A1 (en) 2002-09-26 2004-04-01 Logitech Europe S.A. Multiple mode capture button for a digital camera
US7321470B2 (en) 2002-10-08 2008-01-22 Olympus Corporation Camera
JP4481560B2 (ja) 2002-10-08 2010-06-16 オリンパス株式会社 レンズ鏡筒
GB2394852B (en) 2002-10-31 2006-12-20 Hewlett Packard Co Image capture systems using motion detection
JP2004219569A (ja) 2003-01-10 2004-08-05 Olympus Corp 電子撮像装置
JP3861815B2 (ja) 2003-01-17 2006-12-27 コニカミノルタフォトイメージング株式会社 手振れ補正機能付きカメラ
JP4055599B2 (ja) 2003-02-13 2008-03-05 コニカミノルタオプト株式会社 撮像レンズ装置およびそれを備えた電子機器
AU2003236050A1 (en) 2003-03-20 2004-10-11 Seijiro Tomita Panoramic picture creating method and device, and monitor system using the method and device
CN1574894A (zh) 2003-06-02 2005-02-02 宾得株式会社 多焦距成像装置和具有该多焦距成像装置的移动装置
US7596284B2 (en) 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
US7619683B2 (en) 2003-08-29 2009-11-17 Aptina Imaging Corporation Apparatus including a dual camera module and method of using the same
JP2005099265A (ja) 2003-09-24 2005-04-14 Fujinon Corp 撮像装置および撮像方法、ならびに測距方法
EP1536633A1 (en) 2003-11-27 2005-06-01 Sony Corporation Photographing apparatus and method, supervising system, program and recording medium
JP2005208194A (ja) 2004-01-21 2005-08-04 Konica Minolta Photo Imaging Inc 撮影装置
KR20050090780A (ko) 2004-03-10 2005-09-14 삼성전자주식회사 영상촬영장치
WO2006040687A2 (en) 2004-07-19 2006-04-20 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
JP4894041B2 (ja) 2004-07-20 2012-03-07 株式会社ファイブ・ディー 電子撮像装置
US20060054782A1 (en) 2004-08-25 2006-03-16 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US7564019B2 (en) 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
US7916180B2 (en) 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
US7465107B2 (en) 2004-09-21 2008-12-16 Canon Kabushiki Kaisha Photographing apparatus and control method therefor
KR101054344B1 (ko) 2004-11-17 2011-08-04 삼성전자주식회사 박막 트랜지스터 표시판 및 그 제조 방법
US7688364B2 (en) 2004-12-10 2010-03-30 Ambarella, Inc. Decimating and cropping based zoom factor for a digital camera
KR100636969B1 (ko) 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템
US7573514B2 (en) 2005-02-03 2009-08-11 Eastman Kodak Company Digital imaging system with digital zoom warning
US7663662B2 (en) 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
US7256944B2 (en) 2005-02-18 2007-08-14 Eastman Kodak Company Compact image capture assembly using multiple lenses and image sensors to provide an extended zoom range
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7236306B2 (en) 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
US20060187322A1 (en) 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
JP2006238325A (ja) 2005-02-28 2006-09-07 Canon Inc カメラシステム
KR100658150B1 (ko) 2005-04-08 2006-12-15 삼성전기주식회사 카메라 모듈 및 이의 제작방법
JP3934151B2 (ja) 2005-06-22 2007-06-20 松下電器産業株式会社 画像生成装置および画像生成方法
KR20070005946A (ko) 2005-07-05 2007-01-11 엘지전자 주식회사 휴대 단말기용 카메라 렌즈의 위치 검출 장치
JP2007033879A (ja) 2005-07-27 2007-02-08 Sony Corp 撮像レンズ装置及び撮像装置
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP4573724B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
JP4573725B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
DE602006017102D1 (de) 2005-11-14 2010-11-04 Nippon Kogaku Kk Bildwackelkorrektureinrichtung und kamera
JP4788953B2 (ja) 2005-11-16 2011-10-05 ソニー株式会社 撮像装置及びズームレンズ
US8238695B1 (en) 2005-12-15 2012-08-07 Grandeye, Ltd. Data reduction techniques for processing wide-angle video
US20070177025A1 (en) 2006-02-01 2007-08-02 Micron Technology, Inc. Method and apparatus minimizing die area and module size for a dual-camera mobile device
JP2009526257A (ja) 2006-02-06 2009-07-16 ノキア コーポレイション ジンバルプリズムを用いた光学像スタビライザ
JP4579842B2 (ja) 2006-02-06 2010-11-10 イーストマン コダック カンパニー 撮像装置
CN101401022B (zh) 2006-02-06 2010-07-21 诺基亚公司 在成像系统中进行位置检测的方法和设备
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
JP4622882B2 (ja) 2006-02-21 2011-02-02 カシオ計算機株式会社 デジタルカメラ
US7708478B2 (en) 2006-04-13 2010-05-04 Nokia Corporation Actuator mechanism and a shutter mechanism
US7773121B1 (en) 2006-05-03 2010-08-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration High-resolution, continuous field-of-view (FOV), non-rotating imaging system
JP2007306282A (ja) 2006-05-11 2007-11-22 Citizen Electronics Co Ltd カメラモジュール
KR100749337B1 (ko) 2006-06-13 2007-08-14 삼성전자주식회사 복수의 카메라렌즈를 구비한 이동통신단말기를 이용한 촬영방법 및 장치
US7737379B2 (en) 2006-07-19 2010-06-15 Witdouck Calvin J System and method for sorting larvae cocoons
US8189100B2 (en) 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US7756330B2 (en) 2006-07-27 2010-07-13 Eastman Kodak Company Producing an extended dynamic range digital image
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
JP2008076485A (ja) 2006-09-19 2008-04-03 Konica Minolta Opto Inc レンズ鏡胴、及び撮像装置
JP2008096584A (ja) 2006-10-10 2008-04-24 Nikon Corp カメラ
US7697053B2 (en) 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
JP4448844B2 (ja) 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
US7769205B2 (en) * 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
KR100871566B1 (ko) 2006-12-04 2008-12-02 삼성전자주식회사 이미지 촬상 장치의 손떨림 보상을 위한 장치 및 방법
US7533819B2 (en) 2007-01-31 2009-05-19 Symbol Technologies, Inc. Dual camera assembly for an imaging-based bar code reader
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7729602B2 (en) 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US8937651B2 (en) 2007-04-19 2015-01-20 Dvp Technologies Ltd. Imaging system and method for use in monitoring a field of regard
US7918398B2 (en) 2007-06-04 2011-04-05 Hand Held Products, Inc. Indicia reading terminal having multiple setting imaging lens
US8390729B2 (en) 2007-09-05 2013-03-05 International Business Machines Corporation Method and apparatus for providing a video image having multiple focal lengths
US20090086074A1 (en) 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method
JP2009109904A (ja) 2007-10-31 2009-05-21 Sony Corp レンズ鏡筒及び撮像装置
US20090122195A1 (en) 2007-11-09 2009-05-14 Van Baar Jeroen System and Method for Combining Image Sequences
US20090128644A1 (en) 2007-11-15 2009-05-21 Camp Jr William O System and method for generating a photograph
US8310587B2 (en) 2007-12-04 2012-11-13 DigitalOptics Corporation International Compact camera optics
KR20090058229A (ko) 2007-12-04 2009-06-09 삼성전기주식회사 듀얼 카메라 모듈
US8824833B2 (en) 2008-02-01 2014-09-02 Omnivision Technologies, Inc. Image data fusion systems and methods
US8115825B2 (en) 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
CN100573586C (zh) * 2008-02-21 2009-12-23 南京航空航天大学 一种双目立体测量系统的标定方法
CN101276415A (zh) 2008-03-03 2008-10-01 北京航空航天大学 用多定焦摄像机实现多分辨率图像采集的装置和方法
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
FI20085510L (fi) 2008-05-28 2009-11-29 Valtion Teknillinen Zoom-kamera -järjestely, joka käsittää useita alikameroita
JP4513906B2 (ja) 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
KR101477178B1 (ko) 2008-07-17 2014-12-29 삼성전자주식회사 듀얼 카메라를 구비하는 휴대 단말기 및 이를 이용한 촬영방법
US8134589B2 (en) 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
GB2462095A (en) 2008-07-23 2010-01-27 Snell & Wilcox Ltd Processing of images to represent a transition in viewpoint
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
CN102150078B (zh) 2008-09-10 2013-09-04 松下电器产业株式会社 相机机身及摄像装置
CN101394487B (zh) 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与系统
JP5230376B2 (ja) 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像方法
JP5265336B2 (ja) 2008-12-25 2013-08-14 富士フイルム株式会社 手振れ補正装置及び光学機器
JP2010204341A (ja) 2009-03-03 2010-09-16 Nikon Corp カメラ
CN101833157A (zh) 2009-03-13 2010-09-15 鸿富锦精密工业（深圳）有限公司 相机模组
US8542287B2 (en) 2009-03-19 2013-09-24 Digitaloptics Corporation Dual sensor camera
WO2010116368A1 (en) 2009-04-07 2010-10-14 Nextvision Stabilized Systems Ltd Methods for compensating for light distortions related noise in a camera system having multiple image sensors
KR101552481B1 (ko) 2009-04-13 2015-09-21 삼성전자 주식회사 줌 렌즈 모듈
WO2010122841A1 (ja) 2009-04-22 2010-10-28 コニカミノルタオプト株式会社 レンズ鏡胴、撮像装置及びレンズ鏡胴の製造方法
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
CN102404510B (zh) 2009-06-16 2015-07-01 英特尔公司 手持装置中的摄像机应用
US20100321494A1 (en) 2009-06-18 2010-12-23 Theia Technologies, Llc Compact dome camera
WO2011005413A2 (en) 2009-06-22 2011-01-13 Omnivision Technologies, Inc. System and method for an image sensor operable in multiple video standards
WO2011009108A2 (en) * 2009-07-17 2011-01-20 Universal Robotics, Inc. System and method for automatic calibration of stereo images
JP5846346B2 (ja) 2009-08-21 2016-01-20 ミツミ電機株式会社 カメラの手振れ補正装置
CN201514511U (zh) 2009-09-08 2010-06-23 华晶科技股份有限公司 潜望式镜头结构
KR101613928B1 (ko) 2009-09-09 2016-04-20 엘지전자 주식회사 이동 단말기
EP2478464B1 (en) 2009-09-14 2019-05-08 VIION Systems Inc. Saccadic dual-resolution video analytics camera
KR101617289B1 (ko) 2009-09-30 2016-05-02 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5513834B2 (ja) 2009-10-13 2014-06-04 台湾東電化股▲ふん▼有限公司 レンズ駆動装置
EP3611555A1 (en) 2009-11-19 2020-02-19 eSight Corporation Image magnification on a head mounted display
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
EP2529333A4 (en) 2010-01-28 2013-10-23 Pathway Innovations And Technologies Inc DOCUMENT IMAGING SYSTEM WITH A CAMERA SCANNER DEVICE AND A PC-BASED PROCESSING SOFTWARE
JP5445235B2 (ja) 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2011205374A (ja) 2010-03-25 2011-10-13 Fujifilm Corp 表示装置
JP4783465B1 (ja) 2010-03-26 2011-09-28 富士フイルム株式会社 撮像装置及び表示装置
TWI478828B (zh) 2010-03-26 2015-04-01 Hon Hai Prec Ind Co Ltd 車載影像系統及安裝有該車載影像系統的汽車
US8456518B2 (en) 2010-03-31 2013-06-04 James Cameron & Vincent Pace Stereoscopic camera with automatic obstruction removal
US8547389B2 (en) 2010-04-05 2013-10-01 Microsoft Corporation Capturing image structure detail from a first image and color from a second image
US20110242342A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
WO2011159401A1 (en) 2010-05-03 2011-12-22 Invisage Technologies, Inc. Devices and methods for high-resolution image and video capture
US20130250150A1 (en) 2010-05-03 2013-09-26 Michael R. Malone Devices and methods for high-resolution image and video capture
DE102010017057B4 (de) 2010-05-21 2015-03-19 Jena-Optronik Gmbh Kamera mit mehreren Festbrennweiten
CN101876533B (zh) * 2010-06-23 2011-11-30 北京航空航天大学 一种显微立体视觉校准方法
BR112013000773A2 (pt) 2010-07-13 2016-05-24 Ram Srikanth Mirlay montagem de câmera 3d variável para fotografia
JP2012027263A (ja) 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
JP5609467B2 (ja) 2010-09-15 2014-10-22 株式会社リコー 撮像装置及び撮像方法
US8780251B2 (en) 2010-09-20 2014-07-15 Canon Kabushiki Kaisha Image capture with focus adjustment
US20120075489A1 (en) 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9204026B2 (en) 2010-11-01 2015-12-01 Lg Electronics Inc. Mobile terminal and method of controlling an image photographing therein
JP5719148B2 (ja) 2010-11-10 2015-05-13 キヤノン株式会社 撮像装置及びその制御方法、プログラム
KR101731346B1 (ko) 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
WO2012075250A1 (en) 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP2012141442A (ja) 2010-12-28 2012-07-26 Sony Corp レンズ保護装置、レンズユニット及び撮像装置
US8803990B2 (en) 2011-01-25 2014-08-12 Aptina Imaging Corporation Imaging system with multiple sensors for producing high-dynamic-range images
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
JP5814566B2 (ja) 2011-02-28 2015-11-17 オリンパス株式会社 撮像装置、撮像方法及び撮像装置の制御プログラム
US20120229663A1 (en) 2011-03-08 2012-09-13 Spectral Instruments Imaging , Llc Imaging system having primary and auxiliary camera systems
JP5708097B2 (ja) 2011-03-18 2015-04-30 株式会社リコー 撮像装置、撮像方法、及び撮像プログラム
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
CN102739949A (zh) 2011-04-01 2012-10-17 张可伦 多镜头相机和多镜头装置的控制方法
EP2523450B1 (en) 2011-05-10 2014-05-14 HTC Corporation Handheld electronic device with dual image capturing method and computer program product
US8553129B2 (en) 2011-05-10 2013-10-08 Htc Corporation Handheld electronic device with two lens modules, dual image capturing method applying for the handheld electronic device, and computer program product for load into the handheld electronic device
KR101224790B1 (ko) 2011-06-14 2013-01-21 삼성전기주식회사 영상 촬상 장치
US8605199B2 (en) 2011-06-28 2013-12-10 Canon Kabushiki Kaisha Adjustment of imaging properties for an imaging assembly having light-field optics
JP5821356B2 (ja) 2011-07-15 2015-11-24 ミツミ電機株式会社 レンズ駆動装置
US9270875B2 (en) 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP6103840B2 (ja) 2011-07-28 2017-03-29 キヤノン株式会社 補正光学装置及び撮像装置
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
EP2582128A3 (en) 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
US8947627B2 (en) 2011-10-14 2015-02-03 Apple Inc. Electronic devices having displays with openings
JP5884421B2 (ja) 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP5741395B2 (ja) 2011-11-16 2015-07-01 コニカミノルタ株式会社 撮像装置
CN102523464A (zh) * 2011-12-12 2012-06-27 上海大学 一种双目立体视频的深度图像估计方法
US8970655B2 (en) 2011-12-16 2015-03-03 Polycom, Inc. Reflective and refractive solutions to providing direct eye contact videoconferencing
US8619148B1 (en) 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
JP2013143753A (ja) 2012-01-12 2013-07-22 Olympus Corp 撮像装置
KR20130090225A (ko) 2012-02-03 2013-08-13 삼성전자주식회사 카메라 이미지 센서의 동작 모드 변경 방법
GB2499200B (en) 2012-02-07 2014-12-17 Canon Kk Method and device for transitioning between an image of a first video sequence and an image for a second video sequence
US8866943B2 (en) 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
US9029759B2 (en) 2012-04-12 2015-05-12 Nan Chang O-Film Optoelectronics Technology Ltd Compact camera modules with features for reducing Z-height and facilitating lens alignment and methods for manufacturing the same
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
CN102722321A (zh) 2012-05-22 2012-10-10 中兴通讯股份有限公司 双摄像头切换的方法及装置
US8953084B2 (en) 2012-05-30 2015-02-10 Digimarc Corporation Plural focal-plane imaging
EP2859528A4 (en) * 2012-06-08 2016-02-10 Nokia Technologies Oy MULTI-IMAGE IMAGE CALIBRATION DEVICE
WO2013186804A1 (ja) 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
KR101991719B1 (ko) 2012-06-29 2019-06-21 엘지이노텍 주식회사 카메라 모듈
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
WO2014010303A1 (ja) 2012-07-12 2014-01-16 ソニー株式会社 像振れ補正装置と像振れ補正方法および撮像装置
WO2014008939A1 (en) 2012-07-12 2014-01-16 Dual Aperture, Inc. Gesture-based user interface
KR102051501B1 (ko) 2012-07-26 2019-12-03 엘지이노텍 주식회사 카메라 모듈
CN103685936A (zh) * 2012-09-25 2014-03-26 通用汽车环球科技运作有限责任公司 宽视场摄像机图像的校准和扭曲恢复
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
WO2014070927A2 (en) 2012-10-31 2014-05-08 Invisage Technologies, Inc. Expanded-field-of-view image and video capture
TWI525802B (zh) 2012-11-08 2016-03-11 威動光私人有限公司 變焦透鏡、光學裝置、用以製造其之方法及包含其之手持式電子器件
JP6152386B2 (ja) 2012-11-16 2017-06-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ カメラ駆動装置
KR101960493B1 (ko) 2012-12-12 2019-07-15 삼성전자주식회사 광학조절장치
CN103024272A (zh) 2012-12-14 2013-04-03 广东欧珀移动通信有限公司 移动终端的双摄像头控制装置、方法、系统以及移动终端
US9568713B2 (en) 2013-01-05 2017-02-14 Light Labs Inc. Methods and apparatus for using multiple optical chains in parallel to support separate color-capture
US20140313316A1 (en) 2013-01-30 2014-10-23 SeeScan, Inc. Adjustable variable resolution inspection systems and methods using multiple image sensors
US20140218587A1 (en) 2013-02-07 2014-08-07 Motorola Mobility Llc Double sided camera module
US9413930B2 (en) 2013-03-14 2016-08-09 Joergen Geerds Camera system
US10268276B2 (en) 2013-03-15 2019-04-23 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
WO2014161603A1 (en) * 2013-04-05 2014-10-09 Abb Technology Ltd A robot system and method for calibration
JP6214206B2 (ja) 2013-05-13 2017-10-18 キヤノン株式会社 撮像装置、制御方法及びプログラム
JP6100089B2 (ja) 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
DE102013209829B4 (de) 2013-05-27 2016-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optische Struktur mit daran angeordneten Stegen und Verfahren zur Herstellung derselben
KR102166262B1 (ko) 2013-06-10 2020-10-15 삼성전자주식회사 카메라 렌즈 어셈블리
JP6139713B2 (ja) 2013-06-13 2017-05-31 コアフォトニクス リミテッド デュアルアパーチャズームデジタルカメラ
TWI546570B (zh) 2013-07-01 2016-08-21 台灣東電化股份有限公司 可切換光路徑之光學防震機構
JP6103503B2 (ja) 2013-07-31 2017-03-29 パナソニックＩｐマネジメント株式会社 撮像装置
US9285566B2 (en) 2013-08-08 2016-03-15 Apple Inc. Mirror tilt actuation
US9494769B2 (en) 2013-09-12 2016-11-15 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Multi-lens imaging module and actuator with auto-focus adjustment
US10151859B2 (en) 2013-09-23 2018-12-11 Lg Innotek Co., Ltd. Camera module and manufacturing method for same
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US20150103147A1 (en) * 2013-10-14 2015-04-16 Etron Technology, Inc. Image calibration system and calibration method of a stereo camera
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
US9509979B2 (en) 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
CN104680501B (zh) 2013-12-03 2018-12-07 华为技术有限公司 图像拼接的方法及装置
US9215377B2 (en) 2013-12-04 2015-12-15 Nokia Technologies Oy Digital zoom with sensor mode change
US9973672B2 (en) 2013-12-06 2018-05-15 Huawei Device (Dongguan) Co., Ltd. Photographing for dual-lens device using photographing environment determined using depth estimation
CN104937921B (zh) 2013-12-06 2019-04-26 华为终端（东莞）有限公司 一种终端及图像处理方法、图像采集方法
WO2015081556A1 (zh) 2013-12-06 2015-06-11 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
EP3073733A4 (en) 2013-12-06 2017-04-05 Huawei Device Co., Ltd. Method for generating picture and twin-lens device
DE102014201271A1 (de) * 2014-01-24 2015-07-30 Robert Bosch Gmbh Verfahren und Steuergerät zum Erkennen einer Veränderung eines relativen Gierwinkels innerhalb eines Stereo-Video-Systems für ein Fahrzeug
US9538096B2 (en) 2014-01-27 2017-01-03 Raytheon Company Imaging system and methods with variable lateral magnification
KR102128468B1 (ko) 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
TW201533514A (zh) 2014-02-27 2015-09-01 Tdk Taiwan Corp 相機模組的反射鏡結構
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
CN103841404A (zh) 2014-03-18 2014-06-04 江西省一元数码科技有限公司 一种新型三维影像拍摄模组
US20150271471A1 (en) 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras
KR102214193B1 (ko) 2014-03-25 2021-02-09 삼성전자 주식회사 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법
FR3019359B1 (fr) * 2014-03-31 2017-10-06 Continental Automotive France Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
KR101771778B1 (ko) 2014-04-11 2017-08-25 삼성전기주식회사 카메라 모듈
CN105024516B (zh) 2014-04-30 2017-12-01 光宝电子(广州)有限公司 音圈马达阵列模块
EP3099044B1 (en) 2014-05-15 2018-12-26 Huawei Technologies Co. Ltd. Multi-frame noise reduction method and terminal
US20150334309A1 (en) 2014-05-16 2015-11-19 Htc Corporation Handheld electronic apparatus, image capturing apparatus and image capturing method thereof
US9360671B1 (en) 2014-06-09 2016-06-07 Google Inc. Systems and methods for image zoom
US9866820B1 (en) * 2014-07-01 2018-01-09 Amazon Technologies, Inc. Online calibration of cameras
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
KR101597163B1 (ko) * 2014-08-14 2016-02-24 아진산업(주) 스테레오 카메라 교정 방법 및 장치
JP2016057468A (ja) 2014-09-10 2016-04-21 Hoya株式会社 屈曲撮像装置
FR3026591B1 (fr) * 2014-09-25 2016-10-21 Continental Automotive France Procede de calibration extrinseque de cameras d'un systeme de formation d'images stereos embarque
WO2016049889A1 (zh) 2014-09-30 2016-04-07 华为技术有限公司 一种自动对焦方法、装置及电子设备
WO2016081567A1 (en) 2014-11-19 2016-05-26 Orlo James Fiske Thin optical system and camera
KR102287013B1 (ko) 2014-11-25 2021-08-06 삼성디스플레이 주식회사 박막 트랜지스터, 이를 포함하는 유기 발광 표시 장치 및 그 제조 방법
US10634867B2 (en) 2014-11-28 2020-04-28 Samsung Electro-Mechanics Co., Ltd. Camera module
US9286680B1 (en) 2014-12-23 2016-03-15 Futurewei Technologies, Inc. Computational multi-camera adjustment for smooth view switching and zooming
US11019330B2 (en) * 2015-01-19 2021-05-25 Aquifi, Inc. Multiple camera system with auto recalibration
US9800798B2 (en) 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
EP3540492B1 (en) 2015-04-16 2021-12-15 Corephotonics Ltd. Auto focus and optical image stabilization in a compact folded camera
WO2016172167A1 (en) * 2015-04-20 2016-10-27 Washington University Camera calibration with lenticular arrays
US9485432B1 (en) 2015-04-29 2016-11-01 Uurmi Systems Private Limited Methods, systems and apparatuses for dual-camera based zooming
US20160353012A1 (en) 2015-05-25 2016-12-01 Htc Corporation Zooming control method for camera and electronic apparatus with camera
KR101992040B1 (ko) 2015-06-24 2019-06-21 코어포토닉스 리미티드 접이식 렌즈 카메라용 저-프로파일 3-축 액추에이터
CN106709899B (zh) 2015-07-15 2020-06-02 华为终端有限公司 双摄像头相对位置计算方法、装置和设备
CN112672024B (zh) 2015-08-13 2022-08-02 核心光电有限公司 视频支持和切换/无切换动态控制的双孔径变焦摄影机
CN108027098B (zh) 2015-08-14 2020-10-27 深圳市大疆灵眸科技有限公司 具有并联增稳机构的云台
US20170070731A1 (en) * 2015-09-04 2017-03-09 Apple Inc. Single And Multi-Camera Calibration
KR101993077B1 (ko) 2015-09-06 2019-06-25 코어포토닉스 리미티드 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지
KR20170075442A (ko) 2015-12-23 2017-07-03 삼성전자주식회사 촬상 장치 모듈, 이를 포함하는 사용자 단말 장치 및 촬상 장치 모듈의 작동 방법
WO2017147614A1 (en) 2016-02-26 2017-08-31 Essential Products, Inc. Image capture with a camera integrated display
KR20170112491A (ko) 2016-03-31 2017-10-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN111965919B (zh) 2016-05-30 2022-02-08 核心光电有限公司 旋转滚珠引导音圈电动机
US10303042B2 (en) 2016-07-12 2019-05-28 Tdk Taiwan Corp. Lens driving module
WO2018022130A1 (en) * 2016-07-27 2018-02-01 Scannmen Ltd. Hybrid 3d optical scanning system
TWM533229U (en) 2016-08-26 2016-12-01 Largan Precision Co Ltd Optical path folding element, imaging lens module and electronic device
CN106504186B (zh) * 2016-09-30 2019-12-06 天津大学 一种立体图像重定向方法
CN106603765B (zh) 2016-12-20 2020-03-17 Oppo广东移动通信有限公司 支架组件及移动终端
CN106534655B (zh) 2017-01-11 2019-04-16 Oppo广东移动通信有限公司 摄像头模组及移动终端
CN113805406A (zh) 2017-01-12 2021-12-17 核心光电有限公司 紧凑型折叠式摄影机及其组装方法
US10334149B2 (en) 2017-02-23 2019-06-25 Qualcomm Incorporated Adjustment for cameras for low power mode operation
KR102426728B1 (ko) 2017-04-10 2022-07-29 삼성전자주식회사 포커스 제어 방법 및 이를 지원하는 전자 장치
JP6967715B2 (ja) 2017-04-18 2021-11-17 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
WO2019160778A1 (en) * 2018-02-14 2019-08-22 University Of Massachusetts Image capturing system, method, and analysis of objects of interest
US11257272B2 (en) * 2019-04-25 2022-02-22 Lucid VR, Inc. Generating synthetic image data for machine learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009048516A (ja) 2007-08-22 2009-03-05 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2012132739A (ja) * 2010-12-21 2012-07-12 Ricoh Co Ltd ステレオカメラの校正装置および校正方法
JP2016105577A (ja) * 2014-11-25 2016-06-09 日本放送協会 カメラモデルパラメータ推定装置及びそのプログラム
JP2017062150A (ja) 2015-09-24 2017-03-30 マツダ株式会社 ステレオカメラの校正装置、及びステレオカメラの校正方法
WO2017122552A1 (ja) 2016-01-15 2017-07-20 ソニー株式会社 画像処理装置および方法、プログラム、並びに画像処理システム

Also Published As

Publication number Publication date
EP3782363C0 (en) 2023-06-07
KR102268094B1 (ko) 2021-06-22
EP3782363A4 (en) 2021-06-16
KR20210077792A (ko) 2021-06-25
KR20200118073A (ko) 2020-10-14
US20210090281A1 (en) 2021-03-25
US11315276B2 (en) 2022-04-26
CN111971956B (zh) 2021-12-03
EP3782363A1 (en) 2021-02-24
EP3782363B1 (en) 2023-06-07
CN111971956A (zh) 2020-11-20
US11527006B2 (en) 2022-12-13
US20220254047A1 (en) 2022-08-11
EP4224841A1 (en) 2023-08-09
CN113891059A (zh) 2022-01-04
CN113891059B (zh) 2024-02-13
WO2020183312A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
AU2018282302B2 (en) Integrated sensor calibration in natural scenes
KR101787304B1 (ko) 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품
KR102494006B1 (ko) 동적 입체 캘리브레이션을 위한 시스템 및 방법
WO2018142900A1 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
JP6182866B2 (ja) 校正装置、距離計測装置及び車両
US20180108150A1 (en) Systems and methods for in-field stereocamera calibration
CN109544630B (zh) 位姿信息确定方法和装置、视觉点云构建方法和装置
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
KR102016636B1 (ko) 카메라와 레이더의 캘리브레이션 장치 및 방법
KR20150112362A (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
US10499038B2 (en) Method and system for recalibrating sensing devices without familiar targets
JPWO2011125937A1 (ja) キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置
KR20130121290A (ko) 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
KR20130034528A (ko) 도로시설물 자동 위치측정 방법
JP2017517727A (ja) 三次元情報の規模測定
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
JP2004354256A (ja) キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
CN114494466B (zh) 外参标定方法、装置及设备、存储介质
JP6365744B2 (ja) プログラム、記録媒体、及び校正方法
JP5580062B2 (ja) 障害物検知警報装置
CN113124906A (zh) 基于在线标定的测距方法、装置及电子设备
JP2023157660A (ja) 画像処理装置及び画像処理方法
KR20230023763A (ko) 카메라를 교정하는 방법 및 그에 연관된 장치
CN117739949A (zh) 一种用于多传感器位姿标定的新型传感器位姿获取方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant