WO2017039418A1 - 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법 - Google Patents

멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법 Download PDF

Info

Publication number
WO2017039418A1
WO2017039418A1 PCT/KR2016/009914 KR2016009914W WO2017039418A1 WO 2017039418 A1 WO2017039418 A1 WO 2017039418A1 KR 2016009914 W KR2016009914 W KR 2016009914W WO 2017039418 A1 WO2017039418 A1 WO 2017039418A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sphere
calibration
camera
correction
Prior art date
Application number
PCT/KR2016/009914
Other languages
English (en)
French (fr)
Inventor
진호 장크리스토퍼
Original Assignee
주식회사 쓰리디지뷰아시아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 쓰리디지뷰아시아 filed Critical 주식회사 쓰리디지뷰아시아
Priority to US15/757,337 priority Critical patent/US10778908B2/en
Publication of WO2017039418A1 publication Critical patent/WO2017039418A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법이 개시된다. 본 발명에서 둘 이상의 구를 지지대에 상하로 일정한 간격으로 배치한 멀티 구 교정장치와 교정부를 이용한 멀티 카메라 시스템의 이미지 보정 방법은, (a)상기 교정부에서 상기 멀티 구 교정장치를 이용하여 각 카메라의 기하학적인 오차에 대한 교정 변수값을 결정하는 교정변수획득단계와 (b)상기 교정부는 상기 단계 (a)에서 획득한 교정변수를 이용하여 실제 피사체를 촬영한 이미지를 보정하여 출력하는 이미지보정단계를 포함하여 이루어지게 함으로써, 각 카메라의 기하학적인 오차에 대한 교정이 이루어져 보다 정확한 이미지를 촬영할 수 있는 효과가 있다.

Description

멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
본 발명은 이미지 보정 방법에 관한 것으로, 보다 상세하게는 멀티 구 교정장치를 이용하여 각 카메라의 기하학적인 오차에 대한 보정값을 미리 산정하고, 실제 피사체 촬영시 이를 적용하여 카메라의 오차에 의한 영향을 최소화할 수 있는 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법에 관한 것이다.
멀티미디어 기술의 발달로 최근 실감 미디어에 대한 관심이 높아지고 있다.
그 중 다시점 비디오(Multi-view Video)는 2 이상의 카메라를 이용하여 획득한 영상들의 집합을 의미한다. 기존의 단일 시점 비디오와는 달리 다시점 비디오는 하나의 장면을 다수의 카메라를 통해 촬영함으로써 3차원의 동적인 영상을 생성할 수 있다.
이러한 다시점 비디오는 사용자에게 자유로운 시점 및 넓은 화면을 통한 입체감을 제공할 수 있다. 또한 다시점 영상으로부터 스테레오 매칭(Stereo Matching)과 같은 방법을 통해 깊이 맵(Depth Map)을 추출하여 3차원의 입체적인 영상을 생성하도록 할 수 있다.
최근에는 다양한 다시점 비디오 응용분야가 연구되고 있는데, 자유 시점 TV(Freeview TV : FTV), 3-D TV, 감시, 몰입형 원격회의 등에 대한 연구가 활발히 이루어지고 있다.
다시점 비디오를 획득하기 위해서, 다시점 카메라를 일정한 형태로 배열함으로 다시점 카메라 배열을 구성한다.
다시점 카메라 배열에는 여러 가지 형태가 있는데, 주로 평행 배열과 아치(arc)형 배열이 사용되고, 이러한 배열들은 1차원 혹은 2차원으로 구성될 수 있다. 이러한 각각의 다시점 카메라 배열에 있어서, 각 카메라는 이웃하는 카메라들과 일정한 거리 및 각도를 가지고 배치된다. 실질적으로는 카메라의 숫자, 장면, 목적 등을 고려하여 다양한 형태의 다시점 카메라 배열을 구성할 수 있다.
그런데, 다시점 비디오는 다시점 카메라 배열에 따라 카메라를 배치할 때 발생하는 오차로 인해 어쩔 수 없는 기하학적 오차를 갖게 된다.
이러한 오차는 일차원 평행형 카메라 배열과 일차원 아치형 카메라 배열에서의 기하학적 오차를 나타낸다. 원칙적으로는 다시점 카메라 배열은 카메라의 배치 간격과 각도를 일정하게 유지하도록 설정되나, 카메라들을 다시점 카메라 배열에 따라 배치할 때에는 손으로 카메라를 배치하는 문제 때문에 오차가 발생할 수밖에 없다. 이 오차는 카메라의 위치와 방향, 그리고 초점거리와 같은 내부 파라메터들의 불일치를 의미한다. 이에 따른 다시점 비디오에서의 기하학적 오차는 다시점 비디오의 다수의 영상을 매칭시키는데 어려움을 발생시킨다.
영상간의 매칭, 즉 상관도를 기반으로 하는 3차원 영상처리기법-깊이맵 생성, 중간영상 생성 등-에서 시간과 정확도에 영향을 미치고 이로 인해 부호화 효율에까지 영향을 미칠 수도 있다. 게다가 생성된 다시점 비디오를 시청함에 있어 매끄러운 시점 변화를 얻기 어려운 문제점이 발생한다. 따라서 상기와 같은 기하학적 오차를 보상하기 위한 방법이 요구된다.
스테레오 카메라 시스템의 경우에는 상기와 같은 문제점을 해결하기 위한 방법으로 영상 정렬(rectification)을 이용할 수 있다. 영상 정렬 방법은 두 영상의 모든 에피폴라 라인(epipolar lines)을 평행하게 하여 수직 방향의 부정합(mismatch)을 일직선으로 마추는 방법이다.
영상 정렬을 수행하면, 두 영상 평면은 동일평면에 위치하게 되고 두 영상들의 대응하는 점은 동일한 수직 좌표를 갖게 된다. 이러한 스테레오 영상 정렬에 대해서는 많은 알고리즘이 제안된 바 있다.
그러나, 다시점 비디오에서의 기하학적 오차의 보정에 관하여는 상대적으로 많은 연구가 이루어지지 않았고 활용 가능한 알고리즘이 많지 않다.
따라서, 본 발명은 카메라 배열의 기하학적 오차로 인해 발생하는 다시점 영상의 오류를 보정하기 위한 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법을 제공하는 것을 목적으로 한다.
이러한 과제를 해결하기 위한 둘 이상의 구를 지지대에 상하로 일정한 간격으로 배치한 멀티 구 교정장치와 교정부를 이용한 멀티 카메라 시스템의 이미지 보정 방법은, 상기 교정부에서 상기 멀티 구 교정장치를 이용하여 각 카메라의 기하학적인 오차에 대한 교정 변수값을 결정하는 교정변수획득단계와, 상기 교정부는 상기 단계 (a)에서 획득한 교정변수를 이용하여 실제 피사체를 촬영한 이미지를 보정하여 출력하는 이미지보정단계를 포함하여 이루어지게 할 수 있다.
교정변수획득단계는 둘 이상의 카메라를 동일한 중심점을 기준으로 동일한 반경(R)으로 일정한 각도간격으로 원주상에 배치하는 단계와, 상기 원의 중심점에 상기 멀티 구 교정장치를 위치시키는 단계와, 각 카메라의 줌, 조리개, ISO, 또는 해상도 중 하나 이상을 각 카메라 이미지의 중심이 상기 멀티 구 교정 장치의 중심이 되도록 설정하는 단계와, 교정부의 이미지입력부를 통하여 각 카메라에서 상기 멀티 구 교정장치의 이미지를 획득하는 단계, 및 교정부의 제어부는 각 이미지에 대한 교정 변수를 결정하여 저장하는 단계를 포함할 수 있다.
이러한 교정값은 XY위치이동(XY Shift), 기울기(Tilt), 또는 크기(Size)에 대한 하나 이상의 교정변수를 결정하고, 각 카메라에 대한 교정 변수값은 교정 변수 값 차트로 저장하여 사용된다.
상기 이미지보정단계는 교정 장치를 제거하고, 카메라의 중심에 피사체를 위치시키는 단계와, 교정부의 이미지입력부를 통하여 각 카메라에서 피사체의 이미지를 획득하는 단계, 및 교정부의 제어부는 각 카메라의 이미지에 저장된 교정 변수값을 적용하여 각 피사체의 이미지에 적용하여 교정된 이미지를 출력하는 단계를 포함할 수 있다.
따라서, 본 발명의 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법에 의하면, 피사체를 촬영하기 전에 멀티 구 교정장치를 이용하여 각 카메라의 기하학적 오차에 대한 교정 값을 설정하고, 실제 피사체 촬영 시 각 카메라에서 입력되는 이미지에 대한 교정값을 카메라별로 반영하여 기하학적 오차를 줄일 수 있기 때문에 보다 정확한 이미지를 얻을 수 있는 효과가 있다.
도 1은 피사체로부터 5개의 이미지를 얻기 위한 시스템을 예시한 도면이다.
도 2는 도 1로부터 얻어진 이미지를 예시한 도면이다.
도 3은 4개의 카메라를 30도 각도로 배열한 상태 예시도이다.
도 4는 도 3의 카메라로부터 얻어진 이미지를 예시한 도면이다.
도 5는 본 발명의 중심 위치이동을 설명하기 위한 예시 도면이다.
도 6은 본 발명의 이미지 기울기를 설명하기 위한 예시 도면이다.
도 7은 본 발명의 이미지 크기를 설명하기 위한 예시 도면이다.
도 8은 본 발명에서 사용되는 멀티 구 교정장치를 예시한 도면이다.
도 9는 카메라 설정 평면에 수직적이고 원형 카메라 위치의 중심에 멀티 구 교정장치의 기구적 위치를 설명하기 위한 예시 도면이다.
도 10은 2구 또는 3구 교정장치의 일례를 도시한 도면이다.
도 11은 3구 교정장치를 이용한 교정 변수를 구하는 방법을 설명하기 위한 참고도면이다.
도 12는 도 11의 카메라로부터 획득한 영상을 표시한 도면이다.
도 13은 3구 교정장치의 일례를 도시한 도면이다.
도 14는 XY위치이동 교정변수를 얻기 위한 방법을 설명하기 위한 예시도면이다.
도 15는 기울기 교정변수를 얻기 위한 방법을 설명하기 위한 예시도면이다.
도 16은 크기 교정변수를 얻기 위한 방법을 설명하기 위한 예시도면이다.
도 17은 2구 교정장치를 예시한 도면이다.
도 18은 다른 2구 교정장치를 예시한 도면이다.
도 19는 본 발명의 멀티 구 교정장치의 주요 구성도이다.
도 20는 교정부의 상세 구성도이다.
도 21은 본 발명의 멀티 구 교정장치를 이용한 교정방법을 설명하기 위한 흐름도이다.
도 22 내지 도 26은 2구 교정장치를 이용한 교정방법을 설명하기 위한 참고도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
먼저 도 1 내지 도 4를 이용하여 본 발명의 보정 방법이 해결하기 위한 과제를 고찰하기로 한다.
도 1은 피사체로부터 5개의 이미지를 얻기 위한 멀티 카메라 시스템을 예시한 도면이고, 도 2는 도 1로부터 얻어진 이미지를 예시한 도면이다.
도 1을 참고하면, 멀티 카메라 시스템은 다른 각도에서 피사체의 복수의 동영상이나 이미지를 촬영하는 데 사용된다.
도 1은 5개의 카메라(카메라 1 내지 카메라 5)를 이용하여 움직이고 있는 인간을 피사체로 하여 동영상이나 이미지를 촬영하도록 사용될 수 있는 시스템으로, 줌, 조리개, ISO, 해상도 등과 같은 카메라 설정은 서로 간에 가능한 일관성이 있는 이미지를 생성할 수 있도록 설정된다.
이러한 카메라로부터 촬영된 영상은 도 2에서와 같이 각 카메라의 위치에 따라 다양한 각도에서 피사체의 동영상이나 이미지(이하, 이미지로 통칭하여 설명한다)를 배열시킬 수 있다.
이는 다수의 카메라가 동일한 피사체의 이미지를 캡처하는 데 사용되기 때문에 카메라 설정의 어떤 변화가 하나의 이미지 관점에서 다른 이미지를 봤을 때 피사체의 불일치가 발생할 수 있다는 것을 알 수 있다.
이러한 불일치의 원인으로는 첫번째로 소정 카메라가 다른 카메라에 비해 피사체의 중앙을 정확히 포인팅(pointing)하지 않을 때 발생할 수 있다.
이는 다른 이미지와 비교하였을 때 해당 이미지의 피사체에 대한 위치 이동이 원인이라고 할 수 있다.
두번째 불일치의 원인으로는 해당 카메라가 다른 카메라에 비해 소정 각도 로 기울어져 있어 발생할 수 있다.
이러한 경우는, 다른 이미지와 비교했을 때 해당 이미지에 대한 피사체의 기울기(Tilting)가 원인이라고 할 수 있다.
세번째 불일치의 원인으로는 해당 카메라가 다른 카메라에 비해 피사체로부터 상이한 거리에 있을 때이다.
이러한 경우, 다른 이미지에서의 피사체와 비교하였을 때 해당 이미지에서의 피사체의 크기(size) 차이가 원인이라고 할 수 있다.
도면을 참고하여 다른 예를 들어본다.
도 3은 4개의 카메라를 30도 각도로 배열한 상태 예시도이고, 그리고 도 4는 도 3의 카메라로부터 얻어진 이미지를 예시한 도면으로, 도시된 바와 같이, 본 도면은 4개의 카메라로 피사체의 이미지를 촬영하기 위한 것으로, 카메라(파란색으로 표시되는 공)가 피사체를 기준으로 90 °에 걸쳐, 30°간격으로 이격되어 배치되어 있다.
이 경우에도 카메라 설정(줌, 조리개, ISO, 해상도 등)이 서로 간에 비해 가능한 일관성있는 이미지를 생성할 수 있도록 동일하게 설정한다.
카메라의 하드웨어와 설정이 동일하다고 한다면, 4개의 카메라로부터 이상적인 이미지가 얻어지고, 이상적인 이미지는 위치, 각도, 크기가 동일할 것이다.
그러나, 이미지를 비교할 때, 하드웨어(조명기 / 카메라 / 렌즈)에 의한 불일치 및 설치 과정(인간의 실수)의 불완전성으로, 실제 캡쳐된 이미지에서 결함이 있을 것이다(이하, 카메라의 기하학적 오차라 한다).
즉, 도 4를 참고하면, 이상적인 이미지와 실제 촬영된 이미지는 각 각도별로 차이를 보일 것이다.
따라서, 본 발명은 멀티 카메라 촬영시 각 카메라의 기하학적인 오차로 인하여 발생하는 피사체의 위치, 각도, 크기가 일치될 수 있도록 멀티 구 교정 장치를 사용하여 이러한 세 가지 변화(중심이동, 기울기 각도, 크기 변화)를 해결하고자 하는 것이다.
멀티 구 교정 장치 및 방법은 모두 비디오 및 사진 촬영에 적용될 수 있으며, 이하에서 이미지란 동영상 이미지 및 사진 이미지를 모두 포함하는 것을 의미한다.
먼저 본 발명에서 사용되는 교정 변수(Calibration Parameters)에 대하여 설명한다.
본 발명은 멀티 구 교정 장치의 이미지로부터 각 카메라별로 교정 변수들을 구하여 각 카메라에서 연속적으로 입력되는 이미지를 보정하고자 할 때 사용한다.
본 발명에서의 각 카메라의 기하학적인 오차를 교정하기 위한 멀티 구 교정장치로부터 얻어진 교정변수는 결과 이미지가 이상적인 이미지가 될 수 있도록 촬영된 연속 이미지를 수정하는 데 사용된다.
이를 위하여 본 발명에서는 "XY 이치이동(XY Shifts)", "기울기(Tilt)" 그리고 "크기(size)"에 대한 3개의 교정 변수를 사용한다.
첫번째로 "XY 위치이동(XY Shifts)"이다.
피사체의 실제 중심은 피사체의 희망 중심에 비해 이동되게 마련이다.
예를 들면 각 카메라에서 촬영된 이미지는 피사체의 이상적인 이미지의 중심에서 실제 이미지는 X축과 Y축 방향으로 Dx, Dy만큼 이동될 수 있다.
도 5의 본 발명의 중심 위치이동을 설명하기 위한 도면을 참고하면, 좌측의 이상적 이미지보다 우측의 실제 촬영된 이미지의 중심이 Dx, Dy 만큼 이동되어 있는 것을 알 수 있다.
두번째로 "기울기(Tilt)"이다.
이상적인 피사체에 비해 실제 촬영된 이미지가 회전되어 표시되는 것이다.
도 6의 기울기를 설명하기 위한 예시 도면을 참고하면, 이상적인 피사체 이미지보다 실제 촬영된 피사체의 이미지가 소정 각도(A-Tilt Angle) 기울어져 있음을 알 수 있다.
세번째는 "크기(size)"이다.
피사체의 크기는 실제 촬영된 피사체의 이미지 크기와 다르다.
도 7의 본 발명의 이미지 크기를 설명하기 위한 예시 도면을 참고하면, 이상적 이미지보다 실제 촬영된 이미지가 "H"에서 "h"만큼 작아져 있음을 알 수 있다..
따라서, 본 발명에서는 표 1의 교정 변수들을 이용하여 각각의 카메라에 대하여 멀티 구 교정 장치에 적용할 수 있도록 한다.
변수 비고
dX 피사체의 수평중심 이동편차
dY 피사체의 수직중심 이동편차
dA 피사체의 각 편차t
dH 피사체의 크기비율편차(h / H )
이러한 교정 변수들은 각 카메라에서 캡쳐한 연속적 이미지가 실제 이미지의 XY위치, 경사각 및 크기가 원하는 이상적인 피사체의 이미지와 동일하거나 근접하도록 교정하는 데 사용된다.
이를 위하여 본 발명에서는 교정 변수 획득을 위한 멀티 구 교정장치(Multi-Sphere Calibration Apparatus)를 사용한다.
즉, 본 발명에서 멀티 구 교정장치(Multi-Sphere Calibration Apparatus)는 각 카메라 교정 변수들을 결정하기 위하여 사용된다.
결정된 교정 변수들은 각 카메라에서 연속적으로 촬영되어 입력되는 이미지를 보정할 수 있도록 사용된다.
도 8의 본 발명에서 사용되는 멀티 구 교정장치를 예시한 도면을 참고하면, 본 발명의 멀티 구 교정장치는 2~3개의 구(sphere)를 사용할 수 있으며 다음과 같은 기능이 있어야 한다.
먼저 2개 이상의 구를 사용하여야 하고, 구가 직선으로 배치되어야 한다.
도면을 참고하면, 좌측의 도면은 하나의 직선 지지대에 3개의 구가 상하로 일정한 간격으로 배치되어 있고, 우측 도면은 하나의 직선 지지대에 2개의 구가 상하로 배치되어 있음을 알 수 있다.
멀티 카메라 시스템에서 멀티 구 교정 장치를 사용하는 경우, 멀티 구 교정 장치는 카메라 평면에 직교하여 배치되어야 한다.
도 9의 카메라 설정 평면에 수직적이고 원형 카메라 위치의 중심에 멀티 구 교정장치의 기구적 위치를 설명하기 위한 예시 도면을 참고하면, 멀티 구 교정장치가 다수의 카메라가 이루는 평면에 직교하고, 원형 카메라의 위치 중심에 멀티 구 교정장치가 배치되어 있다.
이러한 배치에서 각 카메라에서 얻어진 이미지는 멀티 구 교정장치의 이미지와 거의 동일하다.
또한, 멀티 구 교정장치는 주변 환경에 따라 다양한 색깔과 조명 구를 이용할 수 있음은 물론이다.
도 10은 2구 또는 3구 교정장치의 일례를 도시한 도면이다.
좌측도면은 3구 교정장치를 우측도면은 2구 교정장치를 예시한 도면으로, 3구 교정장치는 3개의 구를 상하 수직선상에 배치한 것으로, 상단구(110), 중간구(120), 하단구(130)를 지지대(150)에 상하 수직하게 일정 간격으로 이격배치하고, 지지대(150)의 하단부는 교정장치의 받침대(140)에 고정되도록 구성한다.
또한, 2구 교정장치는 2개의 구를 상하 수직선상에 배치한 것으로, 상단구(111), 중간구(121)를 지지대(150)에 상하 수직하게 일정 간격으로 이격배치하고, 지지대(150)의 하단부는 교정장치의 받침대(140)에 고정되도록 구성한다.
도면을 참고하면, 촬영 환경이 어두울 경우, 밝은 칼라 또는 조명구가 사용되어 질 수 있으며, 촬영 환경에 따라 밝고 어둡고, 포화 컬러 구가 사용될 수 있다.
이하, 3구 교정장치를 이용하여 교정 변수를 구하는 방법에 대하여 설명한다.
먼저 도 19의 본 발명의 멀티 구 교정장치의 주요 구성도와 도 20의 교정부의 상세 구성도를 참고하면 본 발명의 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 장치는 3구 교정 장치(100)와, 다수의 카메라(1~5), 다수의 카메라(1~5)로부터 획득한 이미지를 기준으로 교정변수 값을 정하여 저장하고, 3구 교정 장치의 위치에 실제 촬영할 피사체를 위치시키고 실제 피사체로부터 촬영된 이미지를 카메라(1~5)로부터 입력받아, 저장된 교정변수 값으로 각각의 이미지를 교정하여 출력하는 교정부(200)를 포함하여 구성한다.
도 11의 3구 교정장치를 이용한 교정 변수를 구하는 방법을 설명하기 위한 예시도면을 참고하면, 각 카메라 교정 변수값을 얻기 위해서는 중심반경 "R"에, 각 카메라의 분리각도를 "A"로 각 카메라를 반경이 R인 원형상에 각 카메라(1~5)를 배치하고, 각 원형 카메라의 중심에 3구 교정장치(110)가 배치되어 있다.
3구 교정장치(110)는 상술한 바와 같이, 3개의 구를 상하 수직선상에 배치한 것으로, 상단구(110), 중간구(120), 하단구(130)를 지지대(150)에 상하 수직하게 일정 간격으로 이격배치하고, 지지대(150)의 하단부는 교정장치의 받침대(140)에 고정되도록 구성한다.
이러한 배치의 카메라들(1~5)로부터 획득한 이미지가 도 12에 도시되어 있다.
도 12는 원형으로 배치된 5개의 카메라(1~5)로부터 획득한 이미지를 표시한 도면으로, 각 카메라로부터 획득한 3구 교정장치의 이미지는 촬영 위치, 크기, 각도에 약간의 차이가 있음을 알 수 있다.
도면을 참고하면, 카메라 1로부터 획득한 이미지와 카메라 2로부터 획득한 이미지, 카메라 3으로부터 획득한 이미지, 카메라 4로부터 획득한 이미지, 그리고 카메라 5로부터 획득한 이미지가 순차적으로 도시되어 있다.
이상적으로 카메라 설정이 완벽한 경우, 각 카메라에서 촬영된 모든 이미지는 동일해야 하나, 실질적으로는 각 이미지가 동일하지 못하다.
즉 획득한 각각의 이미지들은 소정의 이미지에 대하여 XY위치이동, 기울기 또는 사이즈 중 어느 하나 이상이 변화된 것을 알 수 있다.
이를 교정하기 위하여 각 카메라(1~5)에서 획득한 3구 교정장치의 이미지는 교정부(200)로 입력된다.
교정부(200)는 영상처리부로 동작하는 단말기 또는 믹서일 수 있으며, 입력되는 영상을 교정하여 출력하는 장치로 동작한다.
이를 위하여 교정부(200)는 카메라(1~5)로부터 쵤영된 이미지를 입력받는 이미지입력부(220)와, 이미지입력부(220)로 입력된 3구 교정장치의 이미지를 입력받아 교정 변수값을 계산하는 교정변수 계산부(230), 교정변수 계산부(230)에서 계산된 교정값을 각 카메라별로 "교정 변수 값 차트"로 저장하는 저장부(240), 그리고 실제 피사테로부터 촬영된 이미지를 저장부(240)에 저장된 각 카메라별 "교정 변수 값 차트"를 판독하여 각 이미지를 교정하여 출력하는 이미지교정부(250)와, 각 구성요소를 제어하여 교정값을 결정하고, 실제 이미지에 적용하여 교정된 이미지를 생성하도록 제어하는 제어부(210)를 포함할 수 있다.
먼저 제어부(210)는 3구 교정장치(100)의 센터값(cXN, cYN)을 산출한다.
도 13의 3구 교정장치의 일례를 도시한 도면을 참고하면, 3구 교정장치에서는 각 구(110,120,130)의 센터값 "cXN, cYN"가 산출된다.
즉, 상단구(110), 중간구(120), 하단구(130)의 각 구에 대한 3개 구의 센터값(cX1, cY1), (cX2, cY2), (cX3, cY3)은 공통의 원 중심 검출 알고리즘(common circle center detection algorithm)에 의하여 결정한다.
이러한 원 중심 검출 알고리즘은 일반적인 것이므로 그 상세한 설명은 생략한다.
이들 센터값을 이용하여, 세 개의 교정 변수(XY 위치이동, 기울기, 크기)가 각 3구 교정장치의 이미지에 대해 계산한다.
먼저, XY위치이동의 교정변수에 대하여 설명한다.
먼저 제어부(210)는 교정변수 "XY위치이동"값을 결정하기 위하여 센터 이동값(Calculation of Center Shift Values)을 이용한다.
3구 교정장치에 있어서, XY위치이동값은 중간구(120)의 센터값인 "cX2, cY2"를 사용한다.
도 14의 XY위치이동 교정변수를 얻기 위한 방법을 설명하기 위한 예시도면을 참고하면, 제어부(210)는 3구 교정장치의 이미지를 각 카메라로부터 입력받아, XY위치이동값을 결정하게 되는 데, 예를 들어 3구 교정장치의 중간구(120)의 센터값 (cX2, cY2)에서 XY에 대한 위치 이동이 도면의 "+"지점으로 이동이 발생하였다면, "+"지점의 XY위치이동값은 다음의 수학식 1에 의하여 결정될 것이다.
Figure PCTKR2016009914-appb-M000001
"cX0과 cY0"은 획득한 이미지의 중심 위치 값이고, "cX2, cY2"는 교정장치이 중간구 센터값이며, dx는 도면의 "+"를 기준으로 하였을 때 x방향 위치이동값이고, dY는 y방향 위치이동값이고, 이값은 각 카메라 이미지의 중앙 점 또는 수동으로 지정될 수 있다.
수학식 1을 참고하면, 해당 카메라로부터 획득한 이미지의 XY위치가 교정장치의 중간구 센터값에서 얼마나 위치 이동되었는 가를 나타내는 것이다.
제어부(210)는 교정값인 dx,dy값은 저장부(240)의 해당 카메라의 "교정 변수 값 차트"값에 저장된다.
기울기의 교정 변수는 다음과 같이 계산한다.
본 발명에서는 기울기 계산을 위하여 상단구와 하단구를 사용한다.
도 15의 기울기 교정변수를 얻기 위한 방법을 설명하기 위한 예시도면을 참고하면, 상술한 바와 같이 하단구(130)의 센터값(cX1,cY1)을 기준으로 상단구의 센터값(cX3, cY3)이 얼마나 기울어져 있는 가를 계산하는 것이다.
즉, 하단구(130)의 센터값(cX1,cY1)을 기준으로 상단구(110)의 센터값(cX3, cY3)의 기울기는 다음의 수학식 2로 표시될 수 있다.
Figure PCTKR2016009914-appb-M000002
dA는 기울기 값이고, 이상적인 기울기 값은 "0"이다.
이때도 제어부(210)는 교정값인 dx,dy값을 저장부(240)의 해당 카메라의 "교정 변수 값 차트"값에 저장한다.
다음으로 제어부(210)는 크기에 대한 교정 변수를 결정한다.
크기의 계산은 크기 비율값의 계산으로 행해지고, 크기 비율값의 계산은 상단구와 하단구의 센터값을 이용하여 다음 수학식과 같이 계산한다.
Figure PCTKR2016009914-appb-M000003
H0은 이상적인 값이며, 어느 하나의 이미지로부터의 평균값이나 개별값으로부터 계산되어 지거나 수동으로 지정될 수 있다.
도 16의 크기 교정변수를 얻기 위한 방법을 설명하기 위한 예시도면을 참고하면, 상단구(110)의 센터값(CX3,cY3)과 하단구(130)의 센터값(cX1,cY1)이 결정되고, 상단구(110)의 센터값(CX3,cY3)과 하단구(130)의 센터값(cX1,cY1)의 거리(h)가 계산되어 지고 거리값은 표준 사이즈의 크기의 변화를 결정하는데 사용된다.
상술한 수학식에 의하여 구하여진 각 교정 변수값은 각각의 카메라에 대하여 계산하고 "교정 변수 값 차트" 파일로 저장부(210)에 저장된다.
아래 표 2에 교정 변수 값 차트(Calibration Parameter Value Chart)가 예시되어 있다.
Camera Number dX dY dA dH
1 dX1 dY1 dA1 dH1
2 dX2 dY2 dA2 dH2
3 dX3 dY3 dA3 dH3
* * * * *
* * * * *
* * * * *
n dXn dYn dAn dHn
표 2에는 각 카메라별로 교정 변수가 "dX, dY, dA, dH"의 값으로 테이블로 저장된다.
저장부(240)에 저장된 교정 값은 이상적인 이미지에 가까워지도록 각 카메라에서 연속으로 획득되는 이미지에 적용하여 교정을 행한 후 교정된 이미지를 출력하도록 하는 것이다.
이하, 도면을 참고하여 2구 교정장치를 이용한 교정 변수 획득 방법에 대하여 설명한다.
도 17은 2구 교정장치를 예시한 도면으로, 도시된 바와 같이, 본 발명의 2구 교정장치는 상단구(111)와 하단구(131) 그리고 구의 중심 위치(center값)를 이용하여 기울기 및 크기 교정 매개 변수를 계산하도록 상술한 3구 교정 장치와 동일한 알고리즘을 사용한다.
"XY 위치이동" 교정값의 경우, 3구 교정장치와 동일하게 두 구의 중심점(center값)이 사용된다.
이러한 2구 교정장치의 단점은 카메라들이 3구 교정장치와 같은 중간구와 같은 명확한 표시없이 교정 장치의 중심을 가리키도록 시도하는 것은 어렵다는 것이다.
도 18은 다른 2구 교정장치를 예시한 도면이다.
도면을 참고하면, 기울기와 크기 계산은 2개 구 상단구(cX3, cY3)와 중간구(cX2, cY2)가 사용되어 지고 센터 위치는 중간구(cX2, cY2)가 사용된다.
이러한 2구 교정 장치의 단점은 이미지의 전체 확장 값을 사용하지 않기 때문에 부정확한 크기와 기울기 계산이 발생할 수 있다는 점이다.
이러한 2구 교정장치를 이용한 교정 방법에 대하여는 아래에서 설명한다.
상술한 구성을 이용한 멀티 구 교정장치를 이용한 교정 이미지를 구하는 방법에 대하여 도면을 참조하여 설명한다.
도 21은 본 발명의 멀티 구 교정장치를 이용한 교정방법을 설명하기 위한 흐름도로서, 도시된 바와 같이, 먼저 본 발명의 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법은 각 카메라의 기하학적인 오차를 교정하기 위한 멀티 구 교정장치를 이용한 각 카메라의 교정 변수값을 결정하는 교정변수획득단계(S100)와 단계 S100에서 획득한 교정변수를 이용하여 실제 피사체를 촬영한 이미지를 보정하는 이미지보정단계(S200)로 이루어진다.
교정변수획득단계(S100)는 다수의 카메라를 배치하는 단계(S110)를 수행한다.
단계 S110에서의 다수의 카메라 배치단계는 도 13에서와 같이 다수의 카메라(1~5)를 동일한 중심점을 기준으로 동일한 반경(R)으로 일정한 각도(A) 간격으로 원주상에 배치한다.
즉 단계 S110에서는 가상의 원을 설정하고, 해당 원의 원점을 기준으로 원주 상에 일정한 각도로 둘 이상의 카메라를 배치하는 것이다.
다수의 카메라의 배치가 완료되면, 다수의 카메라의 중심점(P)에 멀티 구 교정장치(본 실시예에서는 3구 교정장치)를 위치시킨다(S120).
연속하여 3구 교정 장치의 중간구(120)의 센터값(cX2,cY2)이 카메라 이미지의 중심이 교정 장치의 중심이 되도록 각 카메라(줌, 조리개, ISO, 해상도 등)를 설정한다(S130).
단계 S130에서 카메라의 설정이 완료되면, 교정부(200)의 제어부(210)는 이미지입력부(220)통하여 각 카메라에서 3구 교정장치의 이미지를 획득한다(S140).
이후 제어부(210)는 획득한 이미지에 대한 구의 중심값인 센터값을 결정한다(S150).
즉, 단계 S150에서는 교정장치의 중간구(120)의 센터값인 "cX2, cY2"를 결정하는 것이다.
단계 S150에서 센터값이 결정되면 제어부(210)는 각 카메라의 이미지에 대한 XY위치이동(XY Shift), 기울기(Tilt), 크기(Size)에 대한 교정값을 결정한다(S160).
각 카메라에 대한 세가지 교정 변수값(XY 위치이동, 기울기, 크기)이 결정되면 제어부(210)는 저장부(240)에 "교정 변수 값 차트"에 각각 저장한다.
단계 S100에서 교정 변수에 대한 값들이 결정되어 저장부(240)에 저장되면, 실제 피사체를 촬영하여 이미지를 보정하는 이미지보정단계(S200)를 수행한다.
이미지보정단계(S200)에서는 먼저 3구 교정 장치를 제거하고, 카메라의 중심에 3구 교정 장치의 위치에 피사체를 위치시킨다(S210).
각 카메라(1~5)는 피사체의 이미지를 획득하여 교정부(200)로 출력하면, 제어부(210)는 이미지 교정단계를 수행한다(S220).
구체적으로 제어부(210)는 각 카메라(1~5)에서 입력되는 피사체의 이미지를 저장부(240)에 저장된 "교정 변수 값 차트"로부터 해당 카메라의 이미지에 대한 교정을 수행하여 교정된 이미지를 출력하는 것이다.
이하, 도면을 참고하여 2구 교정방법에 대하여 간략히 설명한다.
도 22 내지 도 26은 2구 교정장치를 이용한 교정방법을 설명하기 위한 참고도면으로, 2구 교정장치를 이용한 교정방법도 3구 교정과 동일한 절차로 이루어질 수 있다.
즉, 각 카메라의 교정 변수값을 결정하는 교정변수획득단계(S100)와 단계 S100에서 획득한 교정변수를 이용하여 실제 피사체를 촬영한 이미지를 보정하는 이미지보정단계(S200)로 진행된다.
교정변수획득단계(S100)는 다수의 카메라를 배치하는 단계(S110)를 수행한다.
단계 S110에서의 다수의 카메라 배치단계는 도 13에서와 같이 다수의 카메라(1~5)를 동일한 중심점을 기준으로 동일한 반경(R)으로 일정한 각도(A) 간격으로 원주상에 배치한다.
즉 단계 S110에서는 가상의 원을 설정하고, 해당 원의 원점을 기준으로 원주 상에 일정한 각도로 둘 이상의 카메라를 배치하는 것이다.
다수의 카메라의 배치가 완료되면, 다수의 카메라의 중심점(P)에 2구 교정장치를 위치시킨다(S120)(도 22 참고).
연속하여 2구 교정 장치의 중간구의 센터값이 카메라 이미지의 중심이 교정 장치의 중심이 되도록 각 카메라(줌, 조리개, ISO, 해상도 등)를 설정한다(S130)(도 23참고).
단계 S130에서 카메라의 설정이 완료되면, 교정부(200)의 제어부(210)는 이미지입력부(220)통하여 각 카메라에서 3구 교정장치의 이미지를 획득한다(S140).
이후 제어부(210)는 획득한 이미지에 대한 구의 중심값인 센터값을 결정한다(S150).
즉, 단계 S150에서는 교정장치의 중간구(120)의 센터값인 "cX2, cY2"를 결정하는 것이다.
단계 S150에서 센터값이 결정되면 제어부(210)는 각 카메라의 이미지에 대한 XY위치이동(XY Shift), 기울기(Tilt), 크기(Size)에 대한 교정값을 결정한다(S160).
각 카메라에 대한 세가지 교정 변수값(XY 위치이동, 기울기, 크기)이 결정되면 제어부(210)는 저장부(240)에 "교정 변수 값 차트"에 각각 저장한다.
도 24를 참고하면 획득한 이미지에 대한 교정 설정값들이 센터값과 함께 화면의 우측 하단에 표시되어 있다.
단계 S100에서 교정 변수에 대한 값들이 결정되어 저장부(240)에 저장한다.
도 25를 참고하면, 결정된 교정 변수값이 저장되고 있음을 화면에 표시하고 있다.
교정 변수값이 저장되면 실제 피사체를 촬영하여 이미지를 보정하는 이미지보정단계(S200)를 수행한다.
이미지보정단계(S200)에서는 먼저 2구 교정 장치를 제거하고, 카메라의 중심에 2구 교정 장치의 위치에 피사체를 위치시킨다(S210).
도 26을 참고하면, 실제 피사체(본 실시예에서는 동일한 2구 교정장치를 사용하였음)를 위치시켜 각 카메라(1~5)는 피사체의 이미지를 획득하여 교정부(200)로 출력하면, 제어부(210)는 이미지 교정단계를 수행한다(S220).
구체적으로 제어부(210)는 각 카메라(1~5)에서 입력되는 피사체의 이미지를 저장부(240)에 저장된 "교정 변수 값 차트"로부터 해당 카메라의 이미지에 대한 교정을 수행하여 교정된 이미지를 출력하는 것이다.
이상에서 본 발명은 기재된 구체예에 대하여 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허 청구범위에 속함은 당연한 것이다.
***** 부호의 설명*****
100 : 구 조정장치 110,111 : 상단구
120 : 중간구 130,131 : 하단구
140 : 받침대 150 : 지지대
200 : 교정부 210 : 제어부
220 : 이미지입력부 230 : 교정변수 계산부
240 : 저장부 250 : 이미지교정부

Claims (7)

  1. 둘 이상의 구를 지지대에 상하로 일정한 간격으로 배치한 멀티 구 교정장치와 교정부를 이용한 멀티 카메라 시스템의 이미지 보정 방법에 있어서,
    (a)상기 교정부에서 상기 멀티 구 교정장치를 이용하여 각 카메라의 기하학적인 오차에 대한 교정 변수값을 결정하는 교정변수획득단계;및
    (b)상기 교정부는 상기 단계 (a)에서 획득한 교정변수를 이용하여 실제 피사체를 촬영한 이미지를 보정하여 출력하는 이미지보정단계;
    를 포함하는 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법.
  2. 제 1항에 있어서,
    상기 (a)단계는
    (a-1)둘 이상의 카메라를 동일한 중심점을 기준으로 동일한 반경(R)으로 일정한 각도간격으로 원주상에 배치하는 단계;
    (a-2)상기 원의 중심점에 상기 멀티 구 교정장치를 위치시키는 단계;
    (a-3)각 카메라의 줌, 조리개, ISO, 또는 해상도 중 하나 이상을 각 카메라 이미지의 중심이 상기 멀티 구 교정 장치의 중심이 되도록 설정하는 단계;
    (a-4)교정부의 이미지입력부를 통하여 각 카메라에서 상기 멀티 구 교정장치의 이미지를 획득하는 단계;및
    (a-5)교정부의 제어부는 각 이미지에 대한 교정 변수를 결정하여 저장하는 단계;
    를 포함하는 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법.
  3. 제 2항에 있어서,
    상기 (a-5)단계의 교정값은
    상기 제어부에서 XY위치이동(XY Shift), 기울기(Tilt), 또는 크기(Size)에 대한 하나 이상의 교정변수를 결정하고, 각 카메라에 대한 교정 변수값을 저장부에 교정 변수 값 차트로 저장하는 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법.
  4. 제 3항에 있어서,
    상기 멀티 구 교정장치는 3개의 구를 상단구와 중간구 그리고 하단구로 지지대에 상하로 일정한 간격으로 배치하고,
    상기 XY위치이동에 대한 교정 변수는
    상기 멀티 구 교정장치의 중간구의 센터값이 실제 위치와 촬영된 이미지와의 XY좌표에 대한 위치 이동으로 결정되는 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법.
  5. 제 3항에 있어서,
    상기 멀티 구 교정장치는 3개의 구를 상단구와 중간구 그리고 하단구로 지지대에 상하로 일정한 간격으로 배치하고,
    상기 기울기에 대한 교정 변수는
    상단구와 하단구를 이용하되, 상기 멀티 구 교정장치의 하단구의 센터값을 기준으로 상단구의 센터값이 실제 위치와 촬영된 이미지와의 위치가 기울어져 있는 값으로 결정되는 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법.
  6. 제 3항에 있어서,
    상기 멀티 구 교정장치는 3개의 구를 상단구와 중간구 그리고 하단구로 지지대에 상하로 일정한 간격으로 배치하고,
    상기 크기에 대한 교정변수는
    상단구와 하단구를 이용하되, 상기 멀티 구 교정장치의 하단구와 상단구의 센터값의 실제 위치의 거리와 촬영된 이미지에서의 거리 비율로 결정되는 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법.
  7. 제 1항에 있어서,
    상기 (b)단계는
    교정 장치를 제거하고, 카메라의 중심에 피사체를 위치시키는 단계;
    교정부의 이미지입력부를 통하여 각 카메라에서 피사체의 이미지를 획득하는 단계;및
    교정부의 제어부는 각 카메라의 이미지에 저장된 교정 변수값을 적용하여 각 피사체의 이미지에 적용하여 교정된 이미지를 출력하는 단계;
    를 포함하는 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법.
PCT/KR2016/009914 2015-09-03 2016-09-05 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법 WO2017039418A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/757,337 US10778908B2 (en) 2015-09-03 2016-09-05 Method for correcting image of multi-camera system by using multi-sphere correction device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150125093A KR101729164B1 (ko) 2015-09-03 2015-09-03 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
KR10-2015-0125093 2015-09-03

Publications (1)

Publication Number Publication Date
WO2017039418A1 true WO2017039418A1 (ko) 2017-03-09

Family

ID=58188022

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/009914 WO2017039418A1 (ko) 2015-09-03 2016-09-05 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법

Country Status (3)

Country Link
US (1) US10778908B2 (ko)
KR (1) KR101729164B1 (ko)
WO (1) WO2017039418A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785390B (zh) * 2017-11-13 2022-04-01 虹软科技股份有限公司 一种用于图像矫正的方法和装置
CN109785225B (zh) * 2017-11-13 2023-06-16 虹软科技股份有限公司 一种用于图像矫正的方法和装置
WO2020145945A1 (en) * 2019-01-08 2020-07-16 Hewlett-Packard Development Company, L.P. Simulation-based capture system adjustments
CN109974618B (zh) * 2019-04-02 2021-01-29 青岛鑫慧铭视觉科技有限公司 多传感器视觉测量系统的全局标定方法
CN112669199B (zh) * 2020-12-16 2022-06-21 影石创新科技股份有限公司 图像拼接方法、计算机可读存储介质及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266511A (ja) * 2003-02-28 2004-09-24 Sony Corp 撮像装置
KR100987775B1 (ko) * 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
KR20110050843A (ko) * 2009-11-09 2011-05-17 삼성전자주식회사 카메라들의 협력을 이용하여 3차원 이미지를 생성하는 방법 및 상기 방법을 위한 장치
KR101457888B1 (ko) * 2013-05-24 2014-11-04 주식회사 이에스엠연구소 기준점 보정을 이용한 3차원 영상 생성방법

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6327381B1 (en) * 1994-12-29 2001-12-04 Worldscape, Llc Image transformation and synthesis methods
US5699444A (en) * 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
JP2991163B2 (ja) * 1997-07-23 1999-12-20 日本電気株式会社 カメラキャリブレーション装置
US6322248B1 (en) * 2000-01-03 2001-11-27 Ge Yokogawa Medical Systems, Limited X-ray impinging position alignment method and x-ray tomographic imaging method and apparatus
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
US6861181B1 (en) * 2001-09-19 2005-03-01 Dupont Photomasks, Inc. Photomask and method for evaluating an initial calibration for a scanning electron microscope
JP3837503B2 (ja) * 2002-05-09 2006-10-25 独立行政法人産業技術総合研究所 ３次元座標評価ゲージ
US7068303B2 (en) * 2002-06-03 2006-06-27 Microsoft Corporation System and method for calibrating a camera with one-dimensional objects
JP3876275B2 (ja) 2002-12-27 2007-01-31 博 有澤 多視点ビデオキャプチャシステム
US6811264B2 (en) * 2003-03-21 2004-11-02 Mitsubishi Electric Research Laboratories, Inc. Geometrically aware projector
US7055363B2 (en) * 2004-02-11 2006-06-06 Acushnet Company Method of calibrating a detector and calibration sphere for the same
JP4835008B2 (ja) * 2005-03-04 2011-12-14 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US7285793B2 (en) * 2005-07-15 2007-10-23 Verisurf Software, Inc. Coordinate tracking system, apparatus and method of use
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
US20070165942A1 (en) * 2006-01-18 2007-07-19 Eastman Kodak Company Method for rectifying stereoscopic display systems
EP2132707A2 (en) * 2006-12-18 2009-12-16 Koninklijke Philips Electronics N.V. Calibrating a camera system
US8253799B2 (en) * 2007-07-27 2012-08-28 Sportvision, Inc. Detecting an object in an image using camera registration data indexed to location or camera sensors
US8457790B2 (en) * 2007-09-14 2013-06-04 Zimmer, Inc. Robotic calibration method
WO2009101798A1 (ja) * 2008-02-12 2009-08-20 Panasonic Corporation 複眼撮像装置、測距装置、視差算出方法及び測距方法
KR20110071854A (ko) 2009-12-21 2011-06-29 한국전자통신연구원 입체 영상 시스템에서 영상 데이터의 색상 보정 장치 및 방법
US8917317B1 (en) * 2010-01-18 2014-12-23 Disney Enterprises, Inc. System and method for camera calibration
US8493432B2 (en) * 2010-06-29 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Digital refocusing for wide-angle images using axial-cone cameras
AU2011312140C1 (en) * 2010-10-07 2016-02-18 Sungevity Rapid 3D modeling
US8750622B2 (en) * 2011-04-07 2014-06-10 Panasonic Corporation Image processing device and image processing method
JP5768684B2 (ja) * 2011-11-29 2015-08-26 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
EP2809234B1 (en) * 2012-01-30 2018-04-25 Hexagon Metrology, Inc X-ray computed tomography device calibration and verification apparatus
JP6025365B2 (ja) * 2012-04-04 2016-11-16 京セラ株式会社 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法
DE102012205599A1 (de) 2012-04-04 2013-10-10 Carl Zeiss Industrielle Messtechnik Gmbh Reduzieren von Fehlern einer Drehvorrichtung bei der Bestimmung von Koordinaten eines Werkstücks oder bei der Bearbeitung eines Werkstücks
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
US20140043447A1 (en) * 2012-08-09 2014-02-13 Sony Corporation Calibration in the loop
WO2014037557A1 (de) * 2012-09-10 2014-03-13 Werth Messtechnik Gmbh Verfahren und vorrichtung zur korrektur von computertomographiemessungen mit einem koordinatenmessgerät
US9497380B1 (en) * 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
KR102090105B1 (ko) 2013-07-16 2020-03-17 삼성전자 주식회사 카메라를 구비하는 장치의 이미지 처리장치 및 방법
KR101548236B1 (ko) 2013-09-06 2015-08-28 주식회사 이에스엠연구소 3차원 영상의 색상 보정방법
JP6447055B2 (ja) * 2014-01-28 2019-01-09 株式会社リコー 校正方法、校正装置、計測用具及びプログラム
KR102224716B1 (ko) * 2014-05-13 2021-03-08 삼성전자주식회사 스테레오 소스 영상 보정 방법 및 장치
KR101729165B1 (ko) * 2015-09-03 2017-04-21 주식회사 쓰리디지뷰아시아 타임 슬라이스 영상용 오차교정 유닛
US10176554B2 (en) * 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
US9674504B1 (en) * 2015-12-22 2017-06-06 Aquifi, Inc. Depth perceptive trinocular camera system
US10080007B2 (en) * 2016-03-17 2018-09-18 Texas Instruments Incorporated Hybrid tiling strategy for semi-global matching stereo hardware acceleration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266511A (ja) * 2003-02-28 2004-09-24 Sony Corp 撮像装置
KR100987775B1 (ko) * 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
KR20110050843A (ko) * 2009-11-09 2011-05-17 삼성전자주식회사 카메라들의 협력을 이용하여 3차원 이미지를 생성하는 방법 및 상기 방법을 위한 장치
KR101457888B1 (ko) * 2013-05-24 2014-11-04 주식회사 이에스엠연구소 기준점 보정을 이용한 3차원 영상 생성방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHO, KYEONG SEOK: "A Study on Methods of Extracting Standard Dot Pattern Information and Compensating Distorted Images using Reference Dot Pattern Images", MASTER'S THESIS, December 2007 (2007-12-01), Graduate School of Hallym University *

Also Published As

Publication number Publication date
US10778908B2 (en) 2020-09-15
KR20170028180A (ko) 2017-03-13
KR101729164B1 (ko) 2017-04-24
US20180249088A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
WO2017039418A1 (ko) 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
EP3501171A1 (en) Method and apparatus for transmitting and receiving virtual reality content
WO2016145602A1 (en) Apparatus and method for focal length adjustment and depth map determination
WO2010101434A2 (en) Apparatus and method of generating panoramic image and computer-readable recording medium storing program for executing the method
WO2010151044A2 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기
WO2015167217A1 (en) Display apparatus and controlling method thereof
WO2015141925A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
WO2015099251A1 (ko) 웨이퍼의 형상 분석 방법 및 장치
WO2019209069A1 (ko) 광각 영상 제공 방법
WO2015199432A1 (ko) 단안식 입체 카메라
JPH10307352A (ja) ステレオカメラの調整装置
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2013077522A1 (en) Apparatus and method for hierarchical stereo matching
WO2020153703A1 (ko) 카메라 장치 및 그의 오토포커싱 방법
WO2019164312A1 (ko) 카메라 모듈 및 그의 초해상도 영상 처리 방법
WO2021145667A1 (ko) 카메라 이동 제어 방법 및 장치
WO2015167262A1 (en) System and method for correcting distortion image due to curved surface
WO2020204458A1 (ko) 광각 고해상도 거리 측정 장치
WO2016137273A1 (ko) 카메라 모듈 및 이를 이용한 자동 초점 조절 방법
WO2016099164A1 (ko) 영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법
WO2011149300A2 (en) Mems actuator mounted camera module having sag compensation and sag compensation method using the same
WO2022103121A1 (en) Electronic device for estimating camera illuminant and method of the same
WO2012108577A1 (ko) 감시 장치 및 방법
WO2021210875A1 (ko) 다중 포토다이오드 센서에 의해 획득된 서브 이미지들의 차이에 기반하여 이미지의 결함을 검출하는 전자 장치 및 이의 동작 방법
WO2017146314A1 (ko) 디스플레이 패널과 무안경 다시점 렌티큘러시트를 통한 홀로그램 출력방법과 렌티큘러시트가 부착된 두 개의 디스플레이 패널을 통한 3차원 영상 생성방법 및 출력방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16842384

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15757337

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 16.07.2018)

122 Ep: pct application non-entry in european phase

Ref document number: 16842384

Country of ref document: EP

Kind code of ref document: A1