KR20170026591A - 카메라 교정 - Google Patents

카메라 교정 Download PDF

Info

Publication number
KR20170026591A
KR20170026591A KR1020177002947A KR20177002947A KR20170026591A KR 20170026591 A KR20170026591 A KR 20170026591A KR 1020177002947 A KR1020177002947 A KR 1020177002947A KR 20177002947 A KR20177002947 A KR 20177002947A KR 20170026591 A KR20170026591 A KR 20170026591A
Authority
KR
South Korea
Prior art keywords
image
feature
homography
camera
module
Prior art date
Application number
KR1020177002947A
Other languages
English (en)
Other versions
KR102268878B1 (ko
Inventor
마틴 멜라운
다니엘 씨 미들턴
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20170026591A publication Critical patent/KR20170026591A/ko
Application granted granted Critical
Publication of KR102268878B1 publication Critical patent/KR102268878B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6201—
    • G06K9/6203—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2258—
    • H04N5/247—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 명세서에는 이미지 교정을 위한 기술이 설명된다. 기술은 한 집합의 이미지에서 특징을 검출하는 것과, 이미지 집합에서 특징을 서술하는 것과, 이미지 집합의 특징 간의 매치를 결정하는 것과, 매칭된 특징과 연관된 카메라 위치에 기초하여 매칭된 특징에서 시프트를 결정하는 것과, 카메라 위치와 결정된 시프트 사이의 제 1 호모그래피를 결정하는 것과, 3차원 특징을 다시 카메라로 재투영하는 것에 따라 제 2 호모그래피를 결정하는 것을 포함할 수 있다.

Description

카메라 교정{CAMERA CALIBRATION}
관련 출원의 상호 참조
본 출원은 2014년 9월 5일자로 출원되고 본 출원에서 참조 문헌으로 인용되는 미국 가출원 제62/046,788호의 출원일의 이득을 주장하여, 2014년 9월 26일자로 출원되고 본 출원에서 참조 문헌으로 인용되는 미국 특허출원 제14/498,801호의 출원일의 이득을 주장한다.
기술 분야
본 개시는 일반적으로 카메라 교정(camera calibration)에 관한 것이다. 더 구체적으로, 본 개시는 이미지가 캡처될 때 수행되는 애드 혹(ad hoc) 교정 프로세스를 기술한다.
컴퓨팅 디바이스는 사용자가 이미지를 캡처할 수 있게 하는 하나 이상의 카메라 또는 다른 형태의 이미지 캡처 디바이스를 갈수록 더 포함하고 있다. 예를 들면, 많은 스마트폰과 태블릿 컴퓨팅 디바이스는 다양한 시나리오에서 이미지를 캡처하도록 동작할 수 있는 카메라를 포함한다. 많은 카메라 시스템은 제조 중에 교정될 수 있다. 그러나 시프팅(shifting), 잡음, 및 다른 이미지 품질 팩터와 같은 카메라 시스템의 공차 때문에, 이미지가 정규 사용 중에 캡처될 때 온-더-플라이(on-the-fly) 또는 애드 혹(ad hoc) 교정은 일상적으로 사용하는 소비자 제품을 탄력 있게 유지하는데 도움이 될 수 있다.
도 1은 컴퓨팅 디바이스에서 이미지를 교정하는 교정 애플리케이션을 갖는 컴퓨팅 디바이스의 블록도이다.
도 2는 컴퓨팅 디바이스에서 수행된 교정을 예시하는 프로세스 흐름도이다.
도 3은 카메라 디바이스의 교정에 앞서 캡처된 이미지에서 존재하는 특징을 예시하는 그래프이다.
도 4는 카메라 디바이스의 교정 이후 캡처된 이미지에서 존재하는 특징을 예시하는 그래프이다.
도 5는 교정 중에 발생할 수 있는 정렬 보정을 예시하는 사진이다.
도 6은 이미지 캡처 디바이스를 교정하도록 구성된 컴퓨터 판독가능한 매체의 예를 묘사하는 블록도이다.
본 명세서에 개시된 주제는 깊이 카메라 시스템이 컴퓨팅 디바이스에 기초하여 사용될 때마다 실행되는 활성 이미지 보정 프로세스의 일부로서 공장 교정 데이터(factory calibration data)를 이용하기 위한 기술에 관련된다. 온-보드 교정은 많은 이득을 제공한다. 예를 들면, 디스패리티(disparity)로 인해 이미지가 사용 가능하게 되도록 실제 장면에 기초한 공장 설정치로부터 교정이 개선될 수 있다. 일부 양태에서, 이미지 정렬은 이미지로부터 추출된 특징이 수정되도록 이들 특징을 이용하여 보정될 수 있다. 일부 양태에서, 장면 깊이 추정치는 디스패리티를 위해 파라미터 선택을 자동화하도록 제공될 수 있다. 소량의 잡음과 양호한 조명을 가진 장면에서, 애드 혹 교정은 카메라 회전에서 약간의 변화를 위해 그리고 변할 수도 있는 특정 카메라의 고유 속성에서 약간의 변화를 위해 수정을 늘릴 수 있다.
도 1은 컴퓨팅 디바이스에서 이미지를 교정하는 교정 애플리케이션을 갖는 컴퓨팅 디바이스의 블록도이다. 컴퓨팅 디바이스(100)는 프로세서(102), 비일시적 컴퓨터 판독가능한 매체를 포함하는 저장 디바이스(104), 및 메모리(106)를 포함할 수 있다. 컴퓨팅 디바이스(100)는 디스플레이 디바이스(110)를 동작시켜서 그래픽 사용자 인터페이스(graphical user interface, GUI)에서 이미지를 렌더링하도록 구성된 디스플레이 드라이버(108), 및 다중 카메라 시스템(115)의 하나 이상의 디바이스(114)를 동작하도록 구성된 카메라 드라이버(112)를 포함할 수 있다.
컴퓨팅 디바이스(100)는 하나 이상의 카메라 디바이스(114)에 의해 캡처된 이미지를 교정하도록 구성된 교정 애플리케이션(116)의 모듈을 포함한다. 도 1에 예시된 바와 같이, 모듈은 특징 모듈(118) 및 호모그래피 모듈(homography module)(120)을 포함한다. 일부 실시예에서, 교정 애플리케이션(116)은 수정 모듈(122), 아웃라이어 모듈(outlier module)(124), 및 재구성 모듈(126)을 포함한다. 모듈(118, 120, 122, 124, 및 126)은 적어도 부분적으로 하드웨어 로직을 포함하는 로직일 수 있다. 일부 예에서, 모듈(118, 120, 122, 124, 및 126)은 프로세서(102)와 같은 프로세싱 디바이스에 의해 수행되도록 구성된 저장 매체상에 저장된 명령어일 수 있다. 다른 예에서, 모듈(118, 120, 122, 124, 및 126)은 하드웨어, 소프트웨어, 및 펌웨어의 조합일 수 있다. 모듈(118, 120, 122, 124, 및 126)은 독립적으로, 병렬로, 분산방식으로, 또는 더 광대한 프로세스의 일부로서 동작하도록 구성될 수 있다. 모듈(120, 122, 124)은 별개의 모듈 또는 부모 모듈의 서브모듈이라 간주될 수 있다. 부가적인 모듈이 또한 포함될 수 있다. 어느 경우든, 모듈(118, 120, 122, 124, 및 126)은 동작을 수행하도록 구성될 수 있다.
특징 모듈(118)은 한 집합의 이미지에서 특징을 검출하도록 구성된다. 이미지 집합은 상이한 카메라 디바이스(114)로부터 캡처된 적어도 두 개의 이미지일 수 있다. 실시예에서, 이미지 집합은 적어도 세 개의 상이한 카메라 디바이스(114)로부터 캡처된 적어도 세 개의 이미지일 수 있다. 특징 모듈(118)은 특징 검출 알고리즘을 이용하여 특징을 검출할 수 있다. 예를 들면, 특징 모듈(118)은 FAST(Features from Accelerated Segment Test) 방법과 같은 모서리 검출 방법을 실시할 수 있다. 특징 모듈(118)은 또한 이미지 집합에서 특징을 서술하도록 구성된다. 특징은 각 이미지의 정보의 항목이다. 각 특징의 서술은 FREAK(Fast Retina Keypoint) 방법과 같은 특징 서술자 방법을 이용하여 실시될 수 있다. 특징이 검출되고 서술되면, 캡처된 이미지 또는 이미지 집합의 모두에 공통적인 특징은 매칭된다. 실시예에서, 매칭은 브루트-포스 매처(Brute-force matcher) 및 단순 제약(simple constraints)을 이용하여 수행된다.
호모그래피 모듈(120)은 이미지 집합 내 이미지를 캡처하는데 사용된 각 카메라의 카메라 위치에 기초하여 매칭된 특징과 관련된 시프트(shift)를 결정하도록 구성된다. 투영 기하학에서, 호모그래피는 투영 공간이 도출되는 벡터 공간의 동형(isomorphism)에 의해 유도된 투영 공간의 동형일 수 있다. 호모그래피 모듈(120)은 카메라 위치와 결정된 시프트 사이의 제 1 호모그래피를 결정할 수 있다. 호모그래피 모듈(120)은 또한 3차원(three-dimensional, 3D) 특징을 다시 카메라 디바이스(114)로 재투영하는 것에 따라 제 2 호모그래피를 결정할 수 있다.
일부 실시예에서, 교정 애플리케이션(116)은 수정 모듈(122)을 포함한다. 수정 모듈(122)은 공장 교정 데이터(factory calibration data)를 사용하도록 구성된다. 예를 들면, 수정 모듈(122)은 제조업자에 의해 제공된 원래 호모그래피를 가지고 이미지 집합을 수정할 수 있다. 원래 호모그래피는 저장 디바이스(104)에 저장될 수 있다. 수정은 교정 결과를 강화하기 위해 특징 모듈(118)의 특징 검출에 앞서 수행될 수 있다.
일부 실시예에서, 특징 모듈(118)은 또한 아웃라이어 모듈(124)을 포함한다. 아웃라이어 모듈(124)은 미리 정해진 문턱치를 초과하는 특징 매치 각도에 기초하여 아웃라이어를 폐기하도록 구성된다. 아웃라이어 모듈(124)은 또한 미리 정해진 문턱치를 초과하는 특징 매치 크기에 기초하여 아웃라이어를 폐기할 수 있다. 적어도 세 개의 카메라 디바이스(114)가 이미지 집합을 캡처하는데 사용되는 사례에서, 아웃라이어 모듈(124)은 적어도 세 개의 카메라 디바이스(114)로부터의 이미지에서 존재하지 않는 특징 매치를 폐기하도록 구성된다. 아웃라이어 모듈(124)은 또한 캡처된 각 이미지와 연관된 변위에 의해 나누어진 이미지 집합 사이의 특징 좌표의 차이를 표시하는 시프트의 규모(scale)를 결정하도록 구성될 수 있다. 앞에서 및/또는 아래에서 논의되는 모듈은 둘 이상의 모듈이 임의의 특정 동작을 수행하기 위해 조합될 수 있는 단일의 애플리케이션으로서 구현될 수 있다는 것을 주목하는 것이 중요할 수 있다.
일부 실시예에서, 교정 애플리케이션(116)은 재구성 모듈(126)을 포함한다. 재구성 모듈(126)은 검출된 특징을 3D로 재구성하도록 구성될 수 있는데, 여기서 제 2 호모그래피는 제조업자 교정의 원래 특징 좌표와 3D 재구성을 하나 이상의 카메라로 재투영한 것에 따른 특징 좌표 사이의 호모그래피이다. 경우에 따라, 3D 재구성은 장면 깊이를 추정한다.
앞에서 논의된 교정은 본 명세서에서 애드 혹 또는 온-더-플라이 교정이라 지칭될 수 있다. 이것은 그저 제조업자에 의해 수행된 교정에만 의존한다기보다는, 이미지가 컴퓨팅 디바이스(100)에서 캡처될 때 교정을 실시하는 것을 말한다.
실시예에서, 컴퓨팅 디바이스(100)는 컴퓨팅 디바이스(100)를 네트워크(132)를 통해 원격 컴퓨팅 디바이스(130)에 접속하도록 구성된 네트워크 인터페이스 제어기(128) 컴포넌트를 포함한다. 일부 시나리오에서, 네트워크 인터페이스 제어기(128)는 시스템 버스(134)에 통신 가능하게 연결되도록 구성된 확장 카드이다. 다른 시나리오에서, 네트워크 인터페이스 제어기(128)는 컴퓨팅 디바이스(100)와 같은 컴퓨팅 디바이스의 모기판과 통합될 수 있다. 실시예에서, 교정 애플리케이션(116)은 원격 컴퓨팅 디바이스(130) 중 하나와 같은 원격 컴퓨팅 디바이스에서 수행될 수 있으며, 그리고/또는 원격 컴퓨팅 디바이스에 저장될 수 있다. 예를 들면, 캡처된 이미지는 교정 애플리케이션(116)과 유사한 교정 애플리케이션을 가진 서버와 같은 원격 컴퓨팅 디바이스(130)에 전송될 수 있다. 교정은 하나 이상의 원격 컴퓨팅 디바이스(130)로부터 네트워크(132)를 통해 컴퓨팅 디바이스(100)에 제공될 수 있다.
본 명세서에서 언급되는 바와 같은 컴퓨팅 디바이스(100)는 이동 컴퓨팅 디바이스일 수 있으며, 이동 컴퓨팅 디바이스에서 프로세싱 디바이스, 저장 디바이스, 및 디스플레이 디바이스와 같은 컴포넌트는 단일의 하우징 내부에 배치된다. 예를 들면, 컴퓨팅 디바이스(100)는 태블릿 컴퓨터, 스마트폰, 휴대용 비디오게임 시스템, 셀룰러 폰, 올-인-원 슬레이트 컴퓨팅 디바이스(all-in-one slate computing device), 또는 컴퓨팅 디바이스의 하우징에 디스플레이뿐만 아니라 저장 컴포넌트 및 프로세싱 컴포넌트와 같은 컴포넌트가 내장된 올-인-원 기능성을 갖는 임의의 다른 컴퓨팅 디바이스일 수 있다.
프로세서(102)는 저장된 명령어를 실행하도록 적응된 메인 프로세서일 수 있다. 프로세서(102)는 단일 코어 프로세서, 다중 코어 프로세서, 컴퓨팅 클러스터, 또는 임의의 개수의 다른 구성일 수 있다. 프로세서(102)는 복합 명령어 집합 컴퓨터(Complex Instruction Set Computer, CISC) 또는 축소 명령어 집합 컴퓨터(Reduced Instruction Set Computer, RISC) 프로세서, x86 명령어 집합 호환 프로세서, 다중 코어, 또는 임의의 다른 마이크로프로세서나 중앙 처리 유닛(central processing unit, CPU)으로서 구현될 수 있다.
메모리 디바이스(106)는 랜덤 액세스 메모리(random access memory, RAM)(예를 들면, 스태틱 랜덤 액세스 메모리(static random access memory, SRAM), 다이나믹 랜덤 액세스 메모리(dynamic random access memory, DRAM), 제로 캐패시터(zero capacitor) RAM, 실리콘-산화물-질화물-산화물-실리콘(Silicon-Oxide-Nitride-Oxide-Silicon, SONOS), 임베디드(embedded) DRAM, 확장된 데이터 출력(extended data out) RAM, 2배속(double data rate, DDR) RAM, 저항변화 랜덤 액세스 메모리(resistive random access memory, RRAM), 파라미터 랜덤 액세스 메모리(parameter random access memory, PRAM) 등), 판독 전용 메모리(read only memory, ROM)(예를 들면, 마스크(Mask) ROM, 프로그래머블 판독 전용 메모리(programmable read only memory, PROM), 소거 가능한 프로그래머블 판독 전용 메모리(erasable programmable read only memory, EPROM), 전기적으로 소거가능한 프로그래머블 판독 전용 메모리(electrically erasable programmable read only memory, EEPROM) 등), 플래시 메모리, 또는 임의의 다른 적합한 메모리 시스템을 포함할 수 있다. 메인 프로세서(102)는 시스템 버스(134)(예를 들면, 주변 소자 상호접속(Peripheral Component Interconnect, PCI), 산업 표준 아키텍처(Industry Standard Architecture, ISA), PCI-익스프레스(PCI-Express), 하이퍼트랜스포트(HyperTransport®), 누버스(NuBus) 등)를 통해 메모리(106) 및 저장 디바이스(104)를 비롯한 컴포넌트에 접속될 수 있다.
카메라 드라이버(112)는 하나 이상의 카메라 디바이스(114)를 시각 정보, 또는 다른 말로 하자면, 카메라 디바이스(114)를 교정하는데 사용될 이미지 집합 중의 이미지를 캡처하는 방향을 향하도록 구성될 수 있다. 제조 이후에 교정하게 함으로써, 교정은 실세계 이미지를 활용하여 교정을 강화할 수 있다. 일부 예에서, 교정은 제조 중에 이미 수행된 교정 데이터를 강화한다. 그러나 교정은 또한 제조업자 교정 데이터를 참조하지 않고 수행될 수 있다. 카메라 디바이스(114)는 실 세계 비디오 또는 정지 이미지를 캡처하도록 구성된 복수의 비디오 카메라일 수 있다. 일부 실시예에서, 교정은 단일의 카메라 디바이스(114) 용도로 사용될 수 있으며, 이 경우 교정은 상이한 장소에서 캡처된 이미지에 대해 수행된다. 일부 양태에서, 컴퓨팅 디바이스(100)는 컴퓨팅 디바이스(100)와 하나 이상의 물리적 표면 사이의 거리를 결정하도록 구성된, 부가적인 컴포넌트 또는 카메라 디바이스(114)의 통합된 컴포넌트 중 어느 하나로서, 깊이 감지 카메라를 포함한다.
도 1의 블록도는 컴퓨팅 디바이스(100)가 도 1에 도시된 모든 컴포넌트를 포함한다는 것을 표시하려는 의도는 아니다. 또한, 컴퓨팅 디바이스(100)는 특정 구현 예의 세부 사항에 따라, 도 1에 도시되지 않은 임의의 개수의 부수적인 컴포넌트를 포함할 수 있다.
도 2는 컴퓨팅 디바이스에서 수행된 교정을 예시하는 프로세스 흐름도이다. (202)에서, 이미지 집합은 원래 호모그래피 "H"를 이용하여 수정된다. 앞에서 논의된 바와 같이, 원래 호모그래피는 제조 중에 수행된 교정에 의해 제공된 데이터일 수 있다. 원래 호모그래피 데이터는 도 1의 컴퓨팅 디바이스(100)와 같은 컴퓨팅 디바이스에 저장될 수 있다. (204)에서, 특징 검출이 수행되며, (206)에서, 특징 서술이 수행된다. 앞에서 논의된 바와 같이, (204)에서 특징 검출은 FAST를 이용하여 수행될 수 있으며 특징 서술은 FREAK를 이용하여 수행될 수 있다. (208)에서, 이미지 집합 중 하나보다 많은 이미지에서 존재하는 특징이 매칭된다. (210)에서, 아웃라이어는 문턱치를 충족하는 또는 문턱치를 초과하는 특징으로서 식별된다. 도 1과 관련하여 앞에서 논의된 바와 같이, 문턱치는 크기, 각도 등을 기초로 할 수 있다. 도 2에는 예시되지 않았지만, 아웃라이어는 또한 특정한 특징이 적어도 세 개의 카메라에서 발견되는지의 여부에 기초하여서도 식별될 수 있다. 만일 매칭된 특징이 문턱치를 초과하면, 매칭된 특징은 (212)에서 아웃라이어로서 식별되며 폐기된다. (210)에서 문턱치를 초과하지 않은 매칭된 특징은 (214)에서 카메라 디바이스를 교정하는데 사용해야 하는 시프트를 결정하는데 사용될 것이다. 시프트는 카메라 위치에 기초할 수 있거나, 서로의 상대 변위에 기초할 수 있다. (216)에서, 카메라 디바이스의 현재 위치와 (214)에서 결정된 시프트 사이의 호모그래피가 생성된다. 어쩌면, 호모그래피는 RANSAC(random sample consensus)와 같은 반복적 방법에 기초하여 생성된다. (218)에서, 특징은 3D로 재구성될 수 있으며, 현재 위치와 3D 특징을 카메라 디바이스로 다시 재투영한 것에 따른 최적한 위치 사이의 다른 호모그래피가 발견된다.
일부 실시예에서, 특징은 기준 카메라와 다른 카메라 사이에서 매칭된다. 대응하는 매 특징 집합마다, 시프트의 규모가 결정된다. 시프트의 규모는 카메라와 기준 카메라 사이에서 두 개의 카메라의 거리에 의해 분할된 특징의 좌표들의 차이일 수 있다. 특징은 사용 가능할 적어도 3 카메라에서 일치하여야 할 수 있다. 다시 말해서, 카메라의 시프트의 규모는 모든 카메라(114)에서 일치하는 것이 필요할 수 있다. 이 경우, 평균 규모가 결정될 수 있으며, 이상적인 좌표는 기준 카메라 상의 특징의 좌표에다 기준 카메라로부터 다른 카메라로의 방향을 더한 것으로서 비기준 카메라상에 표시될 수 있다. 그러므로 평균 규모 - 이러한 이상적인 좌표와 현재 좌표 사이의 차이 - 또는 다른 말로 하여, 오류는 아래의 도 3에 예시된 그래프와 같은 그래프상에 표시될 수 있다.
아웃라이어를 폐기하기 위해 RANSAC를 이용하여 모든 특징에 대해, 그리고 RANSAC이 각 카메라에서 개별적으로 실행되도록 각 카메라마다, 현재 좌표와 이상적인 좌표 사이의 제 1 호모그래피가 만들어진다. 기준 카메라가 정렬되어 있지 않을 때, 기준 카메라 자체가 고정되도록 공통적인 오류 컴포넌트가 제거되는 것을 주목하는 것이 중요할 수 있다.
새로이 만들어진 호모그래피는 모든 카메라에서 검출된 특징에 적용된다. 이로 인해 수정된 카메라 매트릭스가 추정될 수 있다. 특징은 3D로 재구성되며 3D 재구성 오류로부터 기인한 오류는 폐기될 수 있다. 3D 재구성된 특징은 다시 카메라쪽으로 재투영되며 특징의 현재 좌표와 재투영에 의해 취득된 좌표 사이에서 호모그래피가 결정된다. 이것은 카메라 매트릭스를 개선하며 모든 카메라와 한꺼번에 작동하므로 RANSAC을 이용하여 다시 수행될 수 있다. 호모그래피 보정 매트릭스(H2)는 원래 특징 좌표와 3D 재구성을 다시 카메라로 재투영한 것에 따른 특징 좌표 사이의 호모그래피로서 결정된다. 아래에서 도 4와 관련하여 논의되는 녹색 점 중심 그래프는 H2가 적용될 때 대응관계가 어떻게 변경되는지를 예시한다.
애드 혹, 온-더-플라이 교정의 출력은 장면 깊이를 추정하는 3D 재구성된 특징 및 호모그래피 보정 매트릭스(H2)를 포함할 수 있다. H2라는 호모그래피 보정 매트릭스는 아래에서 논의되는 수학식에 기초하여 도출될 수 있다. 예를 들면, 수정된 카메라 매트릭스는 수학식 1으로 표시된 KP일 수 있다.
Figure pct00001
그러나, 시간 경과에 따라 교정이 변할 때, 더 이상 K 및 R을 가질 수 없고, 약간 변형된 KO 및 PO를 갖는다. 그래서, KP를 다시 구하려면, 수학식 2에 표시된 바와 같이, 새로운 KP 를 구하기 위해 새로운 호모그래피 매트릭스(HO)가 생성되어야 할 수 있다.
Figure pct00002
그러나 HO 는 미지의 값일 수 있다. 이미지 집합으로부터의 이미지가 원래 H를 이용하여 수정될 때, 수학식 3에 의해 표시된 바와 같이 미지의 매트릭스 KPO가 생성된다.
Figure pct00003
수학식 4에서 표시된 바와 같이, H2로 귀결될 수 있는 특징 정렬에 기초하여 KPO와 KP ' 사이의 차이가 관찰될 수 있다.
Figure pct00004
이것은 근사치일 수 있다. 그리고 결국 KP 는 수학식 5에 의해 표시된다.
Figure pct00005
수학식 5에서, KO 및 RO 는 미지의 매트릭스이다. 그러나 이러한 매트릭스는 H2를 결정하는데 반드시 필요한 것은 아니며, 원래의 K는 일정하게 유지되는 것으로 추정될 것이다.
도 3은 카메라 디바이스의 교정에 앞서 캡처된 이미지에서 존재하는 특징을 예시하는 그래프이다. 도 3에서, 카메라는 이미지를 캡처하는데 사용된다. 이상적인 특징은 (302)에서 표현된다. 이상적인 도트(302)는 다중 카메라 시스템(114)가 교정되었을 경우에 벡터가 있을 자리이다. 아웃라이어는 도트(304)로서 표현되며, 대응하는 오류를 표시한다.
도 4는 카메라 디바이스의 교정 이후 캡처된 이미지에서 존재하는 특징을 예시하는 그래프이다. 도 3과 유사하게, 이상적인 도트(302)가 예시되지만, 도 3과 대조적으로 아웃라이어(404)는 이상적인 도트(302)에 훨씬 가깝다. 도 3 및 도 4와 관련하여, 교정으로 인해 대응성이 향상되는 결과를 가져올 수 있다.
도 5는 교정 중에 발생할 수 있는 정렬 보정을 예시하는 사진이다. (502)에서, 카메라는 적절하게 정렬되지 않은데 반해, (504)에서 카메라는 적절하게 정렬된다.
도 6은 이미지 캡처 디바이스를 교정하도록 구성된 컴퓨터 판독가능한 매체의 예를 묘사하는 블록도이다. 컴퓨터 판독가능한 매체(600)는 컴퓨터 버스(604)를 통해 프로세서(600)에 의해 액세스될 수 있다. 일부 예에서, 컴퓨터 판독가능한 매체(600)는 비일시적 컴퓨터 판독가능한 매체일 수 있다. 일부 예에서, 컴퓨터 판독가능한 매체는 저장 매체일 수 있지만, 캐리어 웨이브, 신호 등은 포함하지 않을 수 있다. 또한, 컴퓨터 판독가능한 매체(600)는 프로세서(602)에게 본 방법의 단계를 수행하도록 지시하는 컴퓨터 실행 가능한 명령어를 포함할 수 있다.
본 명세서에서 논의된 다양한 소프트웨어 컴포넌트는 도 6에서 표시된 바와 같이, 유형의 비일시적인 컴퓨터 판독가능한 매체(600)에 저장될 수 있다. 예를 들면, 교정 애플리케이션(606)은 한 집합의 이미지에서 특징을 검출하고, 이미지 집합에서 특징을 서술하고, 이미지 집합의 특징들 사이의 매치를 결정하고, 연관된 카메라 위치에 기초하여 매칭된 특징에서 시프트를 결정하고, 카메라 위치와 결정된 시프트 사이의 제 1 호모그래피를 결정하고, 3차원 특징을 다시 카메라로 재투영한 것에 따라 제 2 호모그래피를 결정하도록 구성될 수 있다.
실시예는 방법, 그 방법의 행위를 수행하기 위한 수단, 머신에 의해 수행될 때 그 머신으로 하여금 방법의 행위, 또는 본 명세서에 기술된 실시예 및 예에 따라서 가상 이미지를 투영하기 위한 장치나 시스템의 행위를 수행하게 하는 명령어를 포함하는 적어도 하나의 머신 판독 가능한 매체와 같은 주제를 포함할 수 있다.
예 1은 이미지 교정을 위한 시스템을 포함한다. 시스템은 프로세싱 디바이스와, 프로세싱 디바이스에 의해 구현되는 모듈을 포함한다. 모듈은 특징 모듈과 호모그래피 모듈을 포함한다.
특징 모듈은 한 집합의 이미지에서 특징을 검출하고, 이미지 집합에서 특징을 서술한다. 특징 모듈은 또한 이미지 집합의 특징 간의 매치를 결정하도록 구성될 수 있다.
호모그래피 모듈은 카메라 위치에 기초하여 매칭된 특징에서 시프트를 결정하도록 구성된다. 호모그래피 모듈은 또한 카메라 위치와 결정된 시프트 사이의 제 1 호모그래피를 결정하도록 구성된다. 호모그래피 모듈은 또한 3차원 특징을 다시 카메라에 재투영한 것에 따른 제 2 호모그래피를 결정하도록 구성된다.
예 2는 이미지 교정을 위한 방법을 포함한다. 방법은 한 집합의 이미지에서 특징을 검출하는 단계와, 이미지 집합에서 특징을 서술하는 단계와, 이미지 집합의 특징 간의 매치를 결정하는 단계와, 매칭된 특징과 연관된 카메라 위치에 기초하여 매칭된 특징에서 시프트를 결정하는 단계를 포함한다.
예 2의 방법은 또한 카메라 위치와 결정된 시프트 사이의 제 1 호모그래피를 결정하는 단계를 포함할 수 있다. 방법은 또한 3차원 특징을 다시 카메라로 재투영하는 것에 따라 제 2 호모그래피를 결정하는 단계를 포함할 수 있다.
경우에 따라, 예 2의 방법은 적절한 교정 수단에 의해 수행될 수 있다. 일부의 경우, 수단은 예 2의 방법을 수행하도록 구성된 컴퓨터 판독가능한 매체를 포함한다.
예 3은 이미지 교정을 위한 장치를 포함한다. 장치는 한 집합의 이미지에서 특징을 검출하는 수단과, 이미지 집합에서 특징을 서술하는 수단과, 이미지 집합의 특징 간의 매치를 결정하는 수단과, 매칭된 특징과 연관된 카메라 위치에 기초하여 매칭된 특징에서 시프트를 결정하는 수단을 포함할 수 있다.
예 3의 장치는 또한 카메라 위치와 결정된 시프트 사이의 제 1 호모그래피를 결정하는 수단을 포함할 수 있다. 수단은 또한 3차원 특징을 다시 카메라로 재투영하는 것에 따라 제 2 호모그래피를 결정하기 위해 구성될 수 있다.
예 4는 프로세싱 디바이스에 의해 실행될 때, 프로세싱 디바이스로 하여금 한 집합의 이미지에서 특징을 검출하게 하는 코드를 갖는 컴퓨터 판독가능한 매체를 포함한다. 코드는 또한 프로세싱 디바이스로 하여금 이미지 집합에서 특징을 서술하게 하고, 이미지 집합의 특징 간의 매치를 결정하게 하고, 매칭된 특징과 연관된 카메라 위치에 기초하여 매칭된 특징에서 시프트를 결정하게 할 수 있다. 코드는 또한 프로세싱 디바이스로 하여금 카메라 위치와 결정된 시프트 사이의 제 1 호모그래피를 결정하게 하고, 3차원 특징을 다시 카메라로 재투영한 것에 따라 제 2 호모그래피를 결정하게 할 수 있다.
예 5는 로직을 갖는 이미지 교정을 위한 장치를 포함한다. 로직은 적어도 부분적으로 하드웨어 로직을 포함하는 것일 수 있다. 로직은 한 집합의 이미지에서 특징을 검출하는 단계와, 이미지 집합에서 특징을 서술하는 단계와, 이미지 집합의 특징 간의 매치를 결정하는 단계와, 매칭된 특징과 연관된 카메라 위치에 기초하여 매칭된 특징에서 시프트를 결정하는 단계를 포함하는 방법을 수행하도록 구성될 수 있다.
예 5의 장치는 또한 카메라 위치와 결정된 시프트 사이의 제 1 호모그래피를 결정하는 로직을 포함할 수 있다. 로직은 또한 3차원 특징을 다시 카메라로 재투영하는 것에 따라 제 2 호모그래피를 결정하기 위해 구성될 수 있다.
실시예는 구현 예 또는 예이다. 명세서에서 "실시예', "일 실시예", "일부 실시예", "다양한 실시예", 또는 "다른 실시예"에 대해 언급하는 것은 실시예와 관련하여 기술된 특정한 특징, 구조, 또는 특성이 적어도 본 기술의 일부 실시예에 포함되지만, 반드시 본 기술의 모든 실시예에 포함되는 것은 아니라는 것을 의미한다. "실시예", "일 실시예", 또는 "일부 실시예"가 여러 차례 출현한다 하여 모두가 반드시 동일한 실시예를 언급하는 것은 아니다.
본 명세서에서 기술되고 예시된 모든 컴포넌트, 특징, 구조, 특성 등은 특정한 실시예 또는 실시예들에 포함될 필요는 없다. 예를 들면, 명세서에서 컴포넌트, 특징, 구조, 또는 특성이 "일 수 있다", "일 수도 있다", "할 수 있다" 또는 "할 수도 있다"라는 말이 포함되어 있으면, 그 특정한 컴포넌트, 특징, 구조 또는 특성은 포함되지 않아도 된다. 명세서 또는 청구범위에서 "한 개" 또는 "하나의" 요소를 언급하고 있다면, 이것은 요소 중 단 하나의 요소만이 존재하는 것을 의미하지 않는다. 명세서 또는 청구범위에서 "부가적인 요소"를 언급하고 있다면, 이것은 하나보다 많은 부가적인 요소가 있다는 것을 배제하지 않는다.
비록 일부 실시예가 특별한 구현예를 참조하여 설명되었지만, 일부 실시예에 따라서 다른 구현예가 가능하다는 것을 주목하여야 한다. 또한, 도면에서 예시된 그리고/또는 본 명세서에서 기술된 회로 요소 또는 다른 특징의 배열 및/또는 순서는 예시되고 기술된 특별한 방식으로 배열되지 않아도 된다. 일부 실시예에 따라서 다른 많은 배열이 가능하다.
도면에서 도시된 각 시스템에서, 일부 사례의 요소는 표현된 요소가 상이할 수도 그리고/또는 유사할 수도 있다는 것을 시사하기 위해 각기 동일한 참조 부호 또는 상이한 참조 부호를 가질 수 있다. 그러나 요소는 상이하게 구현되기에 충분한 융통성을 가질 수 있으며 본 명세서에 도시되거나 설명된 시스템 중 일부 또는 모두와 작동할 수 있다. 도면에 도시된 각종 요소는 동일하거나 상이할 수 있다. 어느 요소는 제 1 요소라고 지칭되며 제 2 요소라고 호칭되는 요소는 임의적이다.
전술한 예에서 세부 사항은 하나 이상의 실시예의 어느 실시예에서도 사용될 수 있다는 것을 이해해야 한다. 예를 들어, 앞에서 기술된 컴퓨팅 디바이스의 모든 선택사양의 특징은 또한 본 명세서에서 기술된 방법 또는 컴퓨터 판독가능한 매체 중 어느 하나와 관련하여 구현될 수 있다. 또한, 흐름도 및/또는 상태도가 본 명세서에서 실시예를 설명하기 위해 사용되었을 수도 있지만, 본 기술은 그러한 도면 또는 본 명세서에서 대응하는 설명으로 제한되지 않는다. 예를 들면, 흐름은 각각의 예시된 박스나 상태를 통해서나 본 명세서에서 예시되고 설명된 바와 틀림없이 동일한 순서대로 이동할 필요는 없다.
본 기술은 본 명세서에서 열거된 특정한 세부사항으로 제한되지 않는다. 실제로 본 개시의 이득을 받는 본 기술에서 통상의 지식을 가진 자라면 본 기술의 범위 내에서 전술한 설명과 도면으로부터 다른 많은 변형이 이루어질 수 있다는 것을 인식할 것이다. 따라서, 청구범위에 대한 임의의 보정을 포함하는 다음과 같은 청구범위는 본 기술의 범위를 정의하는 것이다.

Claims (25)

  1. 이미지 교정용 시스템으로서,
    프로세싱 디바이스와,
    상기 프로세싱 디바이스에 의해 구현되는 모듈을 포함하되,
    상기 모듈은,
    이미지 집합에서 특징을 검출하고,
    상기 이미지 집합에서 특징을 서술하고,
    상기 이미지 집합의 특징 간의 매치를 결정하는
    특징 모듈과,
    연관된 카메라 위치에 기초하여 상기 매칭된 특징에서 시프트를 결정하고,
    상기 카메라 위치와 상기 결정된 시프트 사이의 제 1 호모그래피를 결정하고,
    3차원 특징을 다시 상기 카메라에 재투영한 것에 기초하여 제 2 호모그래피를 결정하는
    호모그래피 모듈을 포함하는
    이미지 교정용 시스템.
  2. 제 1 항에 있어서,
    상기 이미지 집합을 제조업자 교정으로부터의 원래의 호모그래피를 이용하여 수정하도록 구성된 수정 모듈을 더 포함하되, 상기 수정은 상기 특징 모듈의 특징 검출에 앞서 수행되는
    이미지 교정용 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    이미지 집합의 상기 이미지는 적어도 세 개의 카메라를 포함하는 상이한 카메라에서 각기 캡처된 이미지를 포함하는
    이미지 교정용 시스템.
  4. 제 1 항 또는 제 2 항에 있어서,
    이미지 집합의 상기 이미지는 상이한 위치에 배치된 단일의 카메라에서 캡처된 이미지를 포함하는
    이미지 교정용 시스템.
  5. 제 1 항 또는 제 2 항에 있어서,
    미리 정해진 문턱치 초과의 특징 매치 각도에 기초하여 아웃라이어(outlier)를 폐기하고,
    미리 정해진 문턱치 초과의 특징 매치 크기에 기초하여 아웃라이어를 폐기하도록 구성된
    아웃라이어 모듈을 더 포함하는
    이미지 교정용 시스템.
  6. 제 5 항에 있어서,
    상기 아웃라이어 모듈은 또한 특징 매치가 세 개보다 적은 카메라에서 발견되는 경우에 아웃라이어를 폐기하도록 구성되는
    이미지 교정용 시스템.
  7. 제 5 항에 있어서,
    상기 아웃라이어 모듈은 또한 캡처된 각 이미지와 연관된 변위에 의해 나누어진 이미지 집합 간의 특징 좌표의 차이를 표시하는 상기 시프트의 규모를 결정하도록 구성되는
    이미지 교정용 시스템.
  8. 제 1 항 또는 제 2 항에 있어서,
    상기 검출된 특징을 3차원으로 재구성하도록 구성된 재구성 모듈을 더 포함하되,
    상기 제 2 호모그래피는 제조업자 교정으로부터의 원래 특징 좌표와 상기 3차원 재구성을 하나 이상의 카메라로 재투영한 것에 기초한 특징 좌표 사이의 호모그래피인
    이미지 교정용 시스템.
  9. 제 8 항에 있어서,
    상기 3차원 재구성은 장면 깊이(scene depth)를 추정하는
    이미지 교정용 시스템.
  10. 제 1 항 또는 제 2 항에 있어서,
    상기 모듈은 이미지가 캡처될 때 동작 가능한 애드 혹(ad hoc)인
    이미지 교정용 시스템.
  11. 이미지 교정용 방법으로서,
    이미지 집합에서 특징을 검출하는 단계와,
    상기 이미지 집합에서 특징을 서술하는 단계와,
    상기 이미지 집합의 특징 간의 매치를 결정하는 단계와,
    상기 매칭된 특징과 연관된 카메라 위치에 기초하여 상기 매칭된 특징에서 시프트를 결정하는 단계와,
    상기 카메라 위치와 상기 결정된 시프트 사이의 제 1 호모그래피를 결정하는 단계와,
    3차원 특징을 다시 상기 카메라로 재투영하는 것에 기초하여 제 2 호모그래피를 결정하는 단계를 포함하는
    이미지 교정용 방법.
  12. 제 11 항에 있어서,
    상기 이미지 집합을 제조업자 교정으로부터의 원래 호모그래피를 이용하여 수정하는 단계를 더 포함하되, 상기 수정은 상기 특징 모듈의 특징 검출에 앞서 수행되는
    이미지 교정용 방법.
  13. 제 11 항 또는 제 12 항에 있어서,
    이미지 집합의 상기 이미지는 적어도 세 개의 카메라를 포함하는 상이한 카메라에서 각기 캡처된 이미지를 포함하는
    이미지 교정용 방법.
  14. 제 11 항 또는 제 12 항에 있어서,
    이미지 집합의 상기 이미지는 상이한 위치에 배치된 단일의 카메라에서 캡처된 이미지를 포함하는
    이미지 교정용 방법.
  15. 제 11 항 또는 제 12 항에 있어서,
    미리 정해진 문턱치 초과의 특징 매치 각도에 기초하여 아웃라이어를 폐기하는 단계와,
    미리 정해진 문턱치 초과의 특징 매치 크기에 기초하여 아웃라이어를 폐기하는 단계를 더 포함하는
    이미지 교정용 방법.
  16. 제 11 항 또는 제 12 항에 있어서,
    상기 아웃라이어 모듈은 세 개보다 적은 카메라에서 특징 매치가 생기는 경우에 아웃라이어를 폐기하는 단계를 더 포함하는
    이미지 교정용 방법.
  17. 제 11 항 또는 제 12 항에 있어서,
    캡처된 각 이미지와 연관된 변위에 의해 나누어진 이미지 집합 간의 특징 좌표의 차이를 표시하는 상기 시프트의 규모를 결정하는 단계를 더 포함하는
    이미지 교정용 방법.
  18. 제 11 항 또는 제 12 항에 있어서,
    상기 검출된 특징을 3차원으로 재구성하는 단계를 더 포함하되,
    상기 제 2 호모그래피는 제조업자 교정으로부터의 원래 특징 좌표와 상기 3차원 재구성을 하나 이상의 카메라로 재투영한 것에 기초한 특징 좌표 사이의 호모그래피인
    이미지 교정용 방법.
  19. 제 18 항에 있어서,
    상기 3차원 재구성은 장면 깊이를 추정하는
    이미지 교정용 방법.
  20. 제 11 항 또는 제 12 항에 있어서,
    상기 방법은 이미지가 캡처될 때 동작 가능한 애드 혹인
    이미지 교정용 방법.
  21. 실행될 때, 프로세싱 디바이스로 하여금 제 11 항 또는 제 12 항에 따른 방법을 수행하게 하는 코드를 포함하는
    컴퓨터 판독가능한 매체.
  22. 코드를 포함하는 컴퓨터 판독가능한 매체로서,
    상기 코드는 실행될 때, 프로세싱 디바이스로 하여금,
    이미지 집합에서 특징을 검출하게 하고,
    상기 이미지 집합에서 특징을 서술하게 하고,
    상기 이미지 집합의 특징 간의 매치를 결정하게 하고,
    매칭된 특징과 연관된 카메라 위치에 기초하여 상기 매칭된 특징에서 시프트를 결정하게 하고,
    상기 카메라 위치와 상기 결정된 시프트 사이의 제 1 호모그래피를 결정하게 하고,
    상기 3차원 특징을 다시 상기 카메라로 재투영한 것에 따라 제 2 호모그래피를 결정하게 하는
    컴퓨터 판독가능한 매체.
  23. 제 22 항에 있어서,
    실행될 때, 상기 프로세싱 디바이스로 하여금 상기 이미지 집합을 제조업자 교정으로부터의 원래 호모그래피를 이용하여 수정하게 하는 코드를 더 포함하되, 상기 수정은 상기 특징 모듈의 특징 검출에 앞서 수행되는
    컴퓨터 판독가능한 매체.
  24. 제 22 항 또는 제 23 항에 있어서,
    이미지 집합의 상기 이미지는 적어도 세 개의 카메라를 포함하는 상이한 카메라에서 각기 캡처된 이미지를 포함하는
    컴퓨터 판독가능한 매체.
  25. 제 22 항 또는 제 23 항에 있어서,
    실행될 때, 상기 프로세싱 디바이스로 하여금,
    미리 정해진 문턱치 초과의 특징 매치 각도에 기초하여 아웃라이어를 폐기하게 하고,
    미리 정해진 문턱치 초과의 특징 매치 크기에 기초하여 아웃라이어를 폐기하게 하는
    코드를 더 포함하는
    컴퓨터 판독가능한 매체.
KR1020177002947A 2014-09-05 2015-08-06 카메라 교정 KR102268878B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462046788P 2014-09-05 2014-09-05
US62/046,788 2014-09-05
US14/498,801 2014-09-26
US14/498,801 US9491452B2 (en) 2014-09-05 2014-09-26 Camera calibration
PCT/US2015/044021 WO2016036470A1 (en) 2014-09-05 2015-08-06 Camera calibration

Publications (2)

Publication Number Publication Date
KR20170026591A true KR20170026591A (ko) 2017-03-08
KR102268878B1 KR102268878B1 (ko) 2021-06-24

Family

ID=55438744

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177002947A KR102268878B1 (ko) 2014-09-05 2015-08-06 카메라 교정

Country Status (7)

Country Link
US (1) US9491452B2 (ko)
EP (1) EP3189658B1 (ko)
JP (1) JP6391130B2 (ko)
KR (1) KR102268878B1 (ko)
CN (1) CN106537908B (ko)
TW (1) TWI590645B (ko)
WO (1) WO2016036470A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170270654A1 (en) 2016-03-18 2017-09-21 Intel Corporation Camera calibration using depth data
CN107566720B (zh) * 2017-08-25 2019-09-27 维沃移动通信有限公司 一种更新移动终端的标定值的方法及移动终端
TWI668565B (zh) * 2018-02-09 2019-08-11 神雲科技股份有限公司 相機功能的自動測試及修復方法及其電子裝置
US20200077073A1 (en) * 2018-08-28 2020-03-05 Qualcomm Incorporated Real-time stereo calibration by direct disparity minimization and keypoint accumulation
JP2020159965A (ja) * 2019-03-27 2020-10-01 東北電力株式会社 ３次元計測装置、３次元計測システムおよび３次元計測方法
WO2021061112A1 (en) 2019-09-25 2021-04-01 Google Llc Gain control for face authentication
EP3827409B1 (en) 2019-10-04 2023-01-04 Google LLC Autocalibration for multiple cameras using near-infrared illuminators
US11360197B2 (en) 2020-01-07 2022-06-14 Luminar, Llc Calibration of sensor systems
CN113766209B (zh) * 2020-05-29 2024-04-30 上海汉时信息科技有限公司 相机偏移量处理方法及装置
US11122248B1 (en) * 2020-07-20 2021-09-14 Black Sesame International Holding Limited Stereo vision with weakly aligned heterogeneous cameras
CN111862234B (zh) * 2020-07-22 2023-10-20 中国科学院上海微系统与信息技术研究所 双目相机自标定方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093611A (ja) * 2007-10-11 2009-04-30 Mwtec Software Gmbh 三次元オブジェクト認識のためのシステムおよび方法
JP2013515959A (ja) * 2009-12-24 2013-05-09 コグネックス・コーポレイション カメラのミスキャリブレーションの実行時決定のためのシステムと方法
US20140168367A1 (en) * 2012-12-13 2014-06-19 Hewlett-Packard Development Company, L.P. Calibrating visual sensors using homography operators

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643066B2 (en) * 2004-02-19 2010-01-05 Robert Bosch Gmbh Method and apparatus for producing frame accurate position data in a PTZ dome camera with open loop control
US7382897B2 (en) * 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
JP4595733B2 (ja) * 2005-08-02 2010-12-08 カシオ計算機株式会社 画像処理装置
KR101195942B1 (ko) 2006-03-20 2012-10-29 삼성전자주식회사 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법
CN101226638B (zh) * 2007-01-18 2010-05-19 中国科学院自动化研究所 一种对多相机系统的标定方法及装置
KR100966592B1 (ko) 2007-12-17 2010-06-29 한국전자통신연구원 영상에서 평행 사변형의 호모그래피를 이용한 카메라의 보정 방법
US8401276B1 (en) 2008-05-20 2013-03-19 University Of Southern California 3-D reconstruction and registration
JP4569698B2 (ja) * 2008-06-20 2010-10-27 ソニー株式会社 物体認識装置、物体認識方法及び物体認識方法のプログラム
EP2192546A1 (en) * 2008-12-01 2010-06-02 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO Method for recognizing objects in a set of images recorded by one or more cameras
US8599317B2 (en) * 2009-03-13 2013-12-03 Disney Enterprises, Inc. Scene recognition methods for virtual insertions
EP2375376B1 (en) 2010-03-26 2013-09-11 Alcatel Lucent Method and arrangement for multi-camera calibration
CN103841394B (zh) * 2012-11-23 2017-07-07 北京三星通信技术研究有限公司 多层式三维显示器的标定设备和标定方法
US9560343B2 (en) 2012-11-23 2017-01-31 Samsung Electronics Co., Ltd. Apparatus and method for calibrating multi-layer three-dimensional (3D) display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093611A (ja) * 2007-10-11 2009-04-30 Mwtec Software Gmbh 三次元オブジェクト認識のためのシステムおよび方法
JP2013515959A (ja) * 2009-12-24 2013-05-09 コグネックス・コーポレイション カメラのミスキャリブレーションの実行時決定のためのシステムと方法
US20140168367A1 (en) * 2012-12-13 2014-06-19 Hewlett-Packard Development Company, L.P. Calibrating visual sensors using homography operators

Also Published As

Publication number Publication date
US20160073102A1 (en) 2016-03-10
KR102268878B1 (ko) 2021-06-24
CN106537908B (zh) 2018-10-26
TW201622419A (zh) 2016-06-16
EP3189658A1 (en) 2017-07-12
CN106537908A (zh) 2017-03-22
JP6391130B2 (ja) 2018-09-19
JP2017535980A (ja) 2017-11-30
US9491452B2 (en) 2016-11-08
TWI590645B (zh) 2017-07-01
EP3189658A4 (en) 2018-01-24
EP3189658B1 (en) 2019-07-24
WO2016036470A1 (en) 2016-03-10

Similar Documents

Publication Publication Date Title
KR102268878B1 (ko) 카메라 교정
JP6619105B2 (ja) カメラ較正システム
US9774837B2 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
JP6351238B2 (ja) 画像処理装置、撮像装置および距離補正方法
CN109523581B (zh) 一种三维点云对齐的方法和装置
US11282232B2 (en) Camera calibration using depth data
CN110770794A (zh) 图像深度估计方法、装置、可读存储介质及电子设备
US20160111062A1 (en) Ambient light-based image adjustment
JP2014092461A (ja) 画像処理装置および方法、画像処理システム、並びにプログラム
KR102450236B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US20120162387A1 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
CN109661815B (zh) 存在相机阵列的显著强度变化的情况下的鲁棒视差估计
US20170142384A1 (en) Image processing apparatus, image processing method, image projection system, and storage medium
EP2887310A1 (en) Method and apparatus for processing light-field image
JP2017021759A (ja) 画像処理装置、画像処理方法及びプログラム
WO2016208404A1 (ja) 情報処理装置および方法、並びにプログラム
US10252417B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
CN111882655A (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
JP5769248B2 (ja) ステレオマッチング処理装置、ステレオマッチング処理方法、及び、プログラム
US20200074659A1 (en) Information processing apparatus, method thereof, and non-transitory computer-readable storage medium
CN109313811A (zh) 基于视觉系统振动移位的自动校正方法、装置及系统
KR20200057929A (ko) 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램
Georgiev et al. A fast and accurate re-calibration technique for misaligned stereo cameras
US20150262028A1 (en) Image processing apparatus, image processing method and image processing program
US20230091546A1 (en) Head posture estimation device and head posture estimation method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant