KR100850931B1 - 실시간 스테레오 영상 교정 시스템 및 방법 - Google Patents

실시간 스테레오 영상 교정 시스템 및 방법 Download PDF

Info

Publication number
KR100850931B1
KR100850931B1 KR1020060059210A KR20060059210A KR100850931B1 KR 100850931 B1 KR100850931 B1 KR 100850931B1 KR 1020060059210 A KR1020060059210 A KR 1020060059210A KR 20060059210 A KR20060059210 A KR 20060059210A KR 100850931 B1 KR100850931 B1 KR 100850931B1
Authority
KR
South Korea
Prior art keywords
calibration
linear interpolation
generation module
image
coordinate
Prior art date
Application number
KR1020060059210A
Other languages
English (en)
Other versions
KR20080001095A (ko
Inventor
전재욱
진승훈
조정욱
박성기
김문상
이경무
변종은
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020060059210A priority Critical patent/KR100850931B1/ko
Priority to US11/677,324 priority patent/US7643067B2/en
Publication of KR20080001095A publication Critical patent/KR20080001095A/ko
Application granted granted Critical
Publication of KR100850931B1 publication Critical patent/KR100850931B1/ko

Links

Images

Classifications

    • G06T3/147—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Vascular Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 실시간 스테레오 영상 교정 시스템 및 방법에 관한 것으로, 상세하게는 두 개의 카메라에 측정(Camera Calibration)을 수행하여 얻은 측정 행렬(Calibration Matrix)을 사용하여 카메라에서 얻은 영상을 실시간으로 교정(Rectification)하는 실시간 스테레오 영상 교정 시스템 및 방법에 관한 것이다.
본 발명은 좌표 생성 모듈부(110), 교정 좌표 생성 모듈부(120), 이중 선형 보간 값 생성 모듈부(130), 교정 좌표 메모리(140), 이중 선형 보간 메모리(150), 영상 버퍼(160), 교정 모듈부(170), 제어 모듈부(180)로 구성된다.
본 발명에서는 실시간으로 스테레오 교정을 수행할 수 있는 하드웨어 시스템의 구조를 제공하였으며, 하드웨어 장치를 통해 동작과 연산 결과를 검증하였다.
그리고, 실시간 스테레오 교정 시스템을 이용하면, 별도의 컴퓨터 시스템이나 소프트웨어 프로그램을 사용하지 않고 실시간으로 교정된 영상을 획득하는 것이 가능하다.
카메라, 측정, 교정, 보간

Description

실시간 스테레오 영상 교정 시스템 및 방법{Rectification System ＆ Method of Stereo Image in Real Time}
도 1은 본 발명에 따른 실시간 스테레오 영상 교정 시스템을 나타낸 블록도.
도 2는 본 발명에 따라 이중 선형 보간을 위해 선형 보간 코드를 생성하는 방법을 나타낸 블록도.
도 3은 본 발명에 따라 선형 보간 코드를 이용하여 선형 보간을 수행하는 방법을 나타낸 블록도.
도 4는 본 발명에 따라 선형 보간 모듈끼리의 연결을 통해 이중 선형 보간을 수행하는 것을 나타낸 블록도.
도 5는 카메라에서 얻은 실제 영상을 나타낸 예시도.
도 6은 본 발명에 따라 실시간 스테레오 영상 교정 시스템으로 교정한 영상을 나타낸 예시도.
<도면의 주요부분에 대한 부호의 설명>
110: 좌표 생성 모듈부 120: 교정 좌표 생성 모듈부
130: 이중 선형 보간 값 생성 모듈부 140: 교정 좌표 메모리부
150: 이중 선형 보간 메모리 160: 영상 버퍼
170: 교정 모듈부 180: 제어 모듈부
본 발명은 실시간 스테레오 영상 교정 시스템 및 방법에 관한 것으로, 상세하게는 두 개의 카메라에 측정(Camera Calibration)을 수행하여 얻은 측정 행렬(Calibration Matrix)을 사용하여 카메라에서 얻은 영상을 실시간으로 교정(Rectification)하는 실시간 스테레오 영상 교정 시스템 및 방법에 관한 것이다.
두 개의 카메라를 사용하여 스테레오 비전 연산을 수행하는 경우 두 영상에서 같은 점을 찾는 스테레오 매칭은 일반적으로 가장 어려운 문제 중 하나이다.
두 개의 카메라를 통해 획득한 영상은 일반적으로 평행하지 않으며, 획득한 영상을 기반으로 두 개의 카메라의 관계를 설명하려면 베이스라인(Baseline)과 에피폴(Epipole), 에피폴라 라인(Epipolar Line)의 개념이 필요하다.
두 개의 카메라의 중앙을 연결한 선을 베이스라인이라 하고, 베이스라인과 영상의 평면이 만나는 점을 에피폴, 영상의 한 점과 에피폴을 연결하는 선을 에피폴라 라인이라고 한다.
에피폴라 라인이 일치하지 않는 A와 B의 두 개의 영상에서 일치되는 점을 찾는다고 가정하면 이론적으로는 A영상의 한 점에 대해 B영상의 모든 점을 일일이 비 교하며 2차원 검색을 해야 하기 때문에 많은 계산이 필요하며 실시간 연산이 불가능하다.
따라서, 두 영상에서 같은 부분을 실시간으로 찾기 위해서는 에피폴라 라인을 일치시켜 검색 범위를 1차원으로 줄여야 한다.
일반적으로 이를 위해 카메라의 측정을 통해 얻은 특성 값을 이용하여 영상의 변환 행렬을 구하고 카메라로 획득한 각 영상에 적용하는 방법을 사용한다.
이 과정에서 3x3 행렬의 곱과 나누기를 포함한 연산이 필요하기 때문에 실시간 구현에 어려움이 있으며 전체 시스템의 복잡도를 높이는 문제점이 있다.
또한, 연산 시간을 줄이기 위해 각 픽셀에 대해 미리 연산 된 결과를 저장해 놓고 룩 업 테이블(Look Up Table) 형식으로 참조만 하는 경우는 추후 카메라의 상대 위치나 초점 거리 같은 매개 값들이 변할 경우 유연하게 적용되기 어려운 문제점이 있다.
이러한 카메라 측정에 관한 기술이 미국 특허공보 제 6437823호, 미국 특허공보 제 6101455 및 미국 특허공보 제 6985175호에 관련 기술이 개시되어 있다.
상기 제 6437825호, 제 6101455호 및 제 6985175호 공보의 기술은 주로 카메라 측정에 관한 것으로 속도와 무관하게 측정과 교정을 수행하는 시스템 및 방법을 제시한다.
그러나, 제 6437825호, 제 6101455호, 제 6985175호 공보의 기술은 범용 컴퓨터나 구조광(Structured Light)을 사용하는 등의 제약점이 있기 때문에 실제 산업현장이나 로봇 등에 응용하기 힘든 문제점이 있다.
본 발명은 소프트웨어적이 아니고 하드웨어적으로 카메라 매개 값의 변화에 유연하게 대처가 가능하면서 카메라에서 얻은 영상을 실시간으로 교정할 수 있는 스테레오 영상 교정 시스템 및 방법을 제공함에 그 목적이 있다.
본 발명은 상기 목적을 달성하기 위해, 영상을 받는 카메라에서 생성된 제어 신호를 기반으로 현재 입력중인 픽셀의 2차원 좌표를 계산해내는 좌표 생성모듈부, 외부에서 입력받은 측정 행렬을 기반으로 교정좌표를 생성해 내는 교정좌표 생성모듈부, 교정 결과의 이중 선형 보간을 위해 이중 선형 보간 값을 계산 후 해당하는 코드를 생성하는 이중 선형 보간값 생성모듈부, 상기 교정좌표 생성모듈부에서 생성된 교정좌표를 저장하기 위한 제 1메모리, 상기 이중 선형 보간값 생성모듈부에서 생성된 이중 선형 보간 코드를 저장하기 위한 제 2메모리, 입력 영상과 출력 영상을 저장하기 위한 제 3메모리, 상기 출력 영상을 기반으로 저장된 교정좌표와 이중 선형 보간값을 적용하여 영상 교정 후 교정된 좌표값을 출력하는 교정모듈부, 상기 좌표 생성모듈부, 상기 교정좌표 생성모듈부, 상기 이중 선형 보간값 생성모듈부, 상기 제 1메모리, 상기 제 2메모리, 상기 제 3메모리, 상기 교정모듈부를 제어하며 동기를 맞추는 제어부를 포함하여 구성된 것을 특징으로 하는 실시간 스테레오 영상 교정 시스템을 제공한다.
상기 제어부는 카메라 매개값 변화 여부에 따라 새로운 카메라 측정값 입력과 반응하여 시스템을 초기화하고 상기 교정좌표 생성모듈부와 상기 이중 선형 보간값 생성모듈부를 동작시켜 교정 좌표와 이중 선형 보간값을 다시 계산하도록 실행하는 것을 특징으로 한다.
상기 좌표 생성모듈부에서 생성된 좌표의 범위는 영상의 크기와 동일하며, 상기 좌표 생성모듈부는 1프레임을 모두 받고 다음 프레임으로 넘어가면 좌표값을 초기화하고 다시 카운트를 시작하는 것을 특징으로 한다.
상기 교정좌표 생성모듈부는 카메라 측정의 결과로 받은 ３×３ 행렬을 입력으로 받아서 교정 후의 각 좌표가 참조해야 하는 교정 전 영상의 좌표를 출력하는 것을 특징으로 한다.
상기 교정모듈부에서는 출력 영상의 한 좌표에 대해 그에 해당하는 교정좌표를 상기 제 1메모리에서 읽어오고, 이중 선형 보간 코드를 상기 제 2메모리에서 읽어오고, 교정좌표를 기반으로 교정 전 영상의 한 픽셀과 보간을 위한 주변 픽셀을 제 3메모리에서 읽어온 후, 읽어온 이중 선형 보간 코드를 사용하여 이중 선형 보간을 수행하는 것을 특징으로 한다.
상기 제 1메모리와 상기 제 2메모리는 영상의 전체 픽셀 수에 해당하는 만큼의 좌표값을 저장할 수 있으며 상기 교정좌표 생성모듈부와 상기 이중 선형 보간값 생성모듈부의 동작시에 그 결과를 각각의 메모리에 저장한 후 교정과정에서는 읽기만을 수행하는 것을 특징으로 한다.
삭제
그리고, 본 발명은 상기 목적을 달성하기 위해, 좌표 생성모듈부에서 카메라를 통해 생성된 제어 신호를 기반으로 현재 입력중인 픽셀의 2차원 좌표를 계산하는 제 1단계, 교정좌표 생성모듈부에서 상기 카메라 측정의 결과로 받은 3x3 행렬을 입력으로 받아서 교정 후의 각 좌표가 참조하는 교정 전 영상의 좌표를 출력하는 제 2단계, 이중 선형 보간값 생성모듈부에서 이중 선형 보간 코드를 출력하는 제 3단계, 교정좌표 메모리에 상기 교정좌표 생성모듈부의 출력을 저장하는 제 4단계, 이중 선형 보간 메모리에 상기 이중 선형 보간값 생성모듈부의 출력을 저장하는 제 5단계, 영상버퍼에 입력 영상을 저장하고, 상기 영상버퍼에서 출력 영상을 출력하는 제 6단계, 교정모듈부에서 이중 선형 보간 처리를 위해 상기 교정좌표 생성모듈부와 상기 이중 선형 보간값 생성모듈부의 동작이 완료된 후에 연산을 시작하는 제 7단계를 포함하여 구성된 것을 특징으로 하는 실시간 스테레오 영상 교정 방법을 제공한다.
상기 제 3단계에서, 상기 이중 선형 보간값 생성모듈부는 상기 교정좌표 생성모듈부의 나눗셈기 결과와 나눗셈기의 나머지 값을 사용하여 이중 선형 보간값을 생성할 때 각 나머지 값과 제수와의 크기 비교를 통해 이를 코드화 하고, 코드에 사용된 비트수를 늘리거나 또는 줄이는 것을 특징으로 한다.
상기 제 7단계에서, 상기 교정모듈부는 출력 영상의 한 좌표에 대해 그에 해당하는 교정좌표값을 교정좌표 메모리에서, 이중 선형 보간 코드를 이중 선형 보간 메모리에서 읽어오고, 상기 교정좌표를 기반으로 교정전 영상의 한 픽셀과 보간을 위한 주변 픽셀을 상기 영상 버퍼에서 읽어온 후, 읽어온 이중 선형 보간 코드를 사용하여 쉬프트와 덧셈기만을 사용하여 이중 선형 보간을 수행하는 것을 특징으로 한다.
(실시예)
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 본 발명에 따른 실시간 스테레오 영상 교정 시스템을 나타낸 블록도, 도 2는 본 발명에 따라 이중 선형 보간을 위해 선형 보간 코드를 생성하는 방법을 나타낸 블록도, 도 3은 본 발명에 따라 선형 보간 코드를 이용하여 선형 보간을 수행하는 방법을 나타낸 블록도, 도 4는 본 발명에 따라 선형 보간 모듈끼리의 연결을 통해 이중 선형 보간을 수행하는 것을 나타낸 블록도, 도 5는 카메라에서 얻은 실제 영상을 나타낸 예시도, 도 6은 본 발명에 따라 실시간 스테레오 영상 교정 시스템으로 교정한 영상을 나타낸 예시도이다.
본 발명의 실시예에 따른 실시간 스테레오 영상 교정 시스템은 도 1에 나타낸 바와 같이, 좌표 생성모듈부(110), 교정좌표 생성모듈부(120), 이중 선형 보간값 생성모듈부(130), 교정좌표 메모리(140), 이중 선형 보간 메모리(150), 영상버퍼(160), 교정모듈부(170), 제어모듈부(180)의 여덟 개의 모듈로 구성된다.
상기 좌표 생성모듈부(110)는, 영상을 받는 카메라에서 생성된 제어 신호를 기반으로 현재 입력중인 픽셀의 2차원 좌표를 계산해낸다.
상기 좌표의 범위는 영상의 크기와 동일하며 1프레임을 모두 받고 다음 프레임으로 넘어가면 좌표값을 초기화하고 다시 카운트를 시작한다.
상기 교정좌표 생성모듈부(120)는 카메라 측정의 결과로 받은 3x3 행렬을 입력으로 받아서 교정 후의 각 좌표가 참조해야 하는 교정 전 영상의 좌표를 출력한다.
이때 수행되는 연산은 수학식 1, 수학식 2와 같다.
Figure 112006046668897-pat00001
Figure 112006046668897-pat00002
ｍ11∼ｍ33의 행렬 Ｍ은 카메라 측정 결과로 얻은 3×3 행렬이며 ｘ´, ｙ´은 교정 후 영상의 한 좌표이다.
그리고, 연산 결과로 얻은 xref, yref는 참조해야 할 교정 전 영상의 한 좌표 이다.
상기 연산은 카메라의 매개값이 변경되었을 경우에 1회만 수행되며 다시 카메라의 매개값이 변하기 전에는 수행되지 않는다.
상기 이중 선형 보간값 생성 모듈부(130)는 상기 교정좌표 생성모듈부(120)의 출력 결과인 xref, yref의 나머지 값을 사용하여 이중 선형 보간값을 생성한다.
이때 수행되는 연산은 수학식 3, 수학식 4와 같다.
Figure 112006046668897-pat00003
Figure 112006046668897-pat00004
이때, 상기 각각의 나머지 값 rx, ry와 제수 z의 크기 비교를 통해 이를 코드화 한다.
상기 이용되는 코드는 도 2에 나타낸 바와 같으며, 예를 들어, 검증을 위한 구현에서 축마다 3비트의 이중 선형 보간 코드를 이용하였다.
그리고, 상기 코드에 이용된 비트 수를 늘리거나 줄이는 것으로 이중 선형 보간의 정밀도를 높이거나 낮출 수 있다.
상기 이중 선형 보간값 생성모듈부(130)는 상기 교정좌표 생성모듈부(120)와 마찬가지로 카메라 매개값이 변화되었을 경우에 1회만 수행되며 다시 카메라의 매개값이 변하기 전에는 수행되지 않는다.
상기 교정좌표 메모리(140)는 상기 교정좌표 생성모듈부(120)의 출력 결과인 xref, yref를 입력으로 받아 저장한다.
이때 저장되는 주소는 출력 영상의 좌표 ｘ´, ｙ´와 동일하게 설정된다.
상기 교정좌표 메모리(140)는 상기 교정좌표 생성모듈부(120)가 동작중일 때에는 쓰기가 수행되며 상기 교정좌표 생성모듈부(120)의 연산이 종료된 후에는 읽기만이 수행된다.
상기 이중 선형 보간 메모리(150)는 상기 이중 선형 보간값 생성모듈부(130)의 출력으로 생성된 코드를 입력받아 저장한다.
이때 저장되는 주소는 출력 영상의 좌표 ｘ´, ｙ´와 동일하게 설정된다.
상기 이중 선형 보간 메모리(150)는 상기 이중 선형 보간값 생성모듈부(130)가 동작중일 때에는 쓰기가 수행되며 상기 이중 선형 보간값 생성모듈부(130)의 연산이 종료된 후에는 읽기만이 수행된다.
상기 영상버퍼(160)는 입력 영상을 저장하고 출력 영상을 읽기 위해서 사용된다.
카메라에서는 영상이 순차적으로 입력되는데에 비해 교정 후 영상의 한점 ｘ´, ｙ´에 해당하는 교정 전 영상의 한 점 xref, yref는 순차적이지 않다.
따라서, 카메라에서 입력되는 영상을 직접 읽을 경우는 원하는 좌표의 픽셀을 얻지 못하는 경우가 발생할 수 있다.
이에 비해 상기 영상버퍼(160)에 저장된 값은 주소를 통해 순차적이지 않게 접근하는 것이 가능하므로 우선 입력 영상을 상기 영상버퍼(160)에 저장하고 원하는 좌표의 픽셀 값을 읽어 오는 과정이 필요하다.
카메라에서 영상은 연속적으로 입력되기 때문에 상기 영상버퍼(160)를 적어도 하나의 쌍으로 두어 한 버퍼에 입력 영상을 저장하는 동안 한 버퍼에서는 출력 영상을 읽는 식으로 처리한다.
즉, 상기 영상버퍼(160)는 입력 영상과 출력 영상의 2프레임의 영상을 저장할 수 있는 크기를 가진다.
상기 교정모듈부(170)는 상기 교정좌표 생성모듈부(120)와 상기 이중 선형 보간값 생성모듈부(130)의 동작이 완료된 후에 연산을 시작한다.
상기 교정모듈부(170)는 출력 영상의 한 좌표 ｘ´, ｙ´에 대해 그에 해당하는 교정좌표값을 상기 교정좌표 메모리(140)에서 읽어오고, 이중 선형 보간 코드를 상기 이중 선형 보간 메모리(150)에서 읽어온다.
그리고, 상기 교정 좌표값 xref, yref를 읽어온 후에는 이중 선형 보간 처리를 위해 (xref, yref), (xref + 1, yref), (xref, yref + 1), (xref + 1, yref + 1)에 해당하는 네 개의 픽셀 값을 상기 영상버퍼(160)에서 읽어온다.
상기 읽어온 이중 선형 보간 코드를 이용하여, 도 3과 도 4에 나타낸 바와 같이, 이중 선형 보간을 수행한다.
우선 x축으로 이웃한 두 픽셀을 읽어온 코드 중 x축에 해당하는 값을 사용하 여 선형 보간을 수행하고, 이 결과에 다시 y축에 해당하는 값을 사용하여 선형 보간을 수행하게 되어 결과적으로 이중 선형 보간을 수행한다.
그리고, 상기 이중 선형 보간 코드를 사용하여 이중 선형 보간 수행시에 쉬프트 연산과 덧셈연산만을 사용하기 때문에 하드웨어 시스템 구현에 적합하며, 실시간 수행이 가능하다.
또한, 곱셈기, 나눗셈기 등을 사용하기 않기 때문에 전체 시스템의 복잡도를 크게 낮추게 된다.
이중 선형 보간이 적용된 픽셀은 카메라의 입력과 동일한 클록을 통해 출력되며, 스테레오 교정이 적용된 상태이기 때문에 추후 이 영상을 통해 스테레오 매칭을 수행하는 경우 검색 범위를 1차원으로 국한시킬 수 있어서 검색에 필요한 전체 연산량을 크게 줄일 수 있다.
상기 제어부(180)는 상기 전체 구성을 제어하며 동기를 맞춘다.
또한, 상기 제어부(180)는 카메라 매개값 변화 여부에 따라 새로운 카메라 측정값 입력에 반응하여 시스템을 초기화하고 상기 교정좌표 생성모듈부(120)와 상기 이중 선형 보간값 생성모듈부(130)를 동작시켜 교정좌표와 이중 선형 보간값을 다시 계산하도록 한다.
본 발명에 따른 실시간 스테레오 영상 교정 시스템의 검증을 위해 이를 하드웨어 기술 언어인 VHDL을 통해 디자인하였으며 별도로 작성한 프레임 그래버(Frame Grabber) 모듈과 함께 합성하여 Xilinx사의 Virtex 4(XC4VLX200-FF1513C) 장치를 통해 영상이 정상적으로 처리되는 것을 확인하였다.
표 1은 실제 구현된 실시간 스테레오 영상 교정 시스템과 상기 프레임 그래버(Frame Grabber) 모듈과 함께 합성하여 Xilinx사의 Virtex 4(XC4VLX200-FF1513C) 장치를 통해 영상이 정상적으로 처리되는 것을 나타낸다.
Device utilization summary - Number of Slices: 7495 out of 89088 8% - Number of Slice Flip Flops: 10525 out of 178176 5% - Number of 4 input LUTs: 7513 out of 178176 4% - Number of bonded IOBs: 411 out of 960 42% - IOB Flip Flops: 37 - Number of GCLKs: 7 out of 32 21% - Number of DCM_ADVs: 3 out of 12 25% - Number of DSP 48s: 12 out of 96 12%
Timing summary - Minimum period: 13.876ns - Maximum Frequency: 72.067MHz - Minimum input arrival time before clock: 7.623ns - Maximum output required time after clock: 5.724ns
표 1에서 합성 결과는 표준 640x480 형식의 입력 영상을 최대 초당 180프레임 이상 처리 가능하다는 것을 뜻하며, 이것은 대부분의 영상 처리를 실시간으로 수행할 수 있다는 것을 나타낸다.
도 5는 연산 대상이 되는 원본 영상을, 도 6은 검증을 위해 구현한 실시간 스테레오 영상 교정 시스템을 이용하여 교정한 교정 영상을 나타낸다.
한편, 본 발명은 상기한 특정 실시 예에 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지 변형 및 수정하여 실시할 수 있는 것이다.
본 발명에서는 실시간으로 스테레오 교정을 수행할 수 있는 하드웨어 시스템의 구조를 제공하였으며, 하드웨어 장치를 통해 동작과 연산 결과를 검증하였다.
그리고, 실시간 스테레오 교정 시스템을 이용하면, 별도의 컴퓨터 시스템이나 소프트웨어 프로그램을 사용하지 않고 실시간으로 교정된 영상을 획득하는 것이 가능하다.
또한, 스테레오 매칭 연산을 1차원 공간으로 국한시킬 수 있으며, 전체적으로 검색량과 연산을 크게 줄이는 것이 가능하다.

Claims (10)

  1. 영상을 받는 카메라에서 생성된 제어 신호를 기반으로 현재 입력중인 픽셀의 2차원 좌표를 계산해내는 좌표 생성모듈부;
    외부에서 입력받은 측정 행렬을 기반으로 교정좌표를 생성해 내는 교정좌표 생성모듈부;
    교정 결과의 이중 선형 보간을 위해 이중 선형 보간값을 계산 후 해당하는 코드를 생성하는 이중 선형 보간값 생성모듈부;
    상기 교정좌표 생성모듈부에서 생성된 교정좌표를 저장하기 위한 제 1메모리;
    상기 이중 선형 보간값 생성모듈부에서 생성된 이중 선형 보간 코드를 저장하기 위한 제 2메모리;
    입력 영상과 출력 영상을 저장하기 위한 제 3메모리;
    상기 출력 영상을 기반으로 저장된 교정좌표와 이중 선형 보간값을 적용하여 영상 교정 후 교정된 좌표값을 출력하는 교정모듈부;
    상기 좌표 생성모듈부, 상기 교정좌표 생성모듈부, 상기 이중 선형 보간값 생성모듈부, 상기 제 1메모리, 상기 제 2메모리, 상기 제 3메모리, 상기 교정모듈부를 제어하며 동기를 맞추는 제어부를 포함하여 구성된 것을 특징으로 하는 실시간 스테레오 영상 교정 시스템.
  2. 제 1항에 있어서,
    상기 제어부는 카메라 매개값 변화 여부에 따라 새로운 카메라 측정값 입력과 반응하여 시스템을 초기화하고 상기 교정좌표 생성모듈부와 상기 이중 선형 보간값 생성모듈부를 동작시켜 교정좌표와 이중 선형 보간값을 다시 계산하도록 실행하는 것을 특징으로 하는 실시간 스테레오 영상 교정 시스템.
  3. 제 1항에 있어서,
    상기 좌표 생성모듈부에서 생성된 좌표의 범위는 영상의 크기와 동일하며, 상기 좌표 생성모듈부는 1프레임을 모두 받고 다음 프레임으로 넘어가면 좌표값을 초기화하고 다시 카운트를 시작하는 것을 특징으로 하는 실시간 스테레오 영상 교정 시스템.
  4. 제 1항에 있어서,
    상기 교정좌표 생성모듈부는 카메라 측정의 결과로 받은 ３×３ 행렬을 입력으로 받아서 교정 후의 각 좌표가 참조해야 하는 교정 전 영상의 좌표를 출력하는 것을 특징으로 하는 실시간 스테레오 영상 교정 시스템.
  5. 제 1항에 있어서,
    상기 교정모듈부에서는 출력 영상의 한 좌표에 대해 그에 해당하는 교정좌표를 상기 제 1메모리에서 읽어오고, 이중 선형 보간 코드를 상기 제 2메모리에서 읽어오고, 교정좌표를 기반으로 교정 전 영상의 한 픽셀과 보간을 위한 주변 픽셀을 제 3메모리에서 읽어온 후, 읽어온 이중 선형 보간 코드를 사용하여 이중 선형 보간을 수행하는 것을 특징으로 하는 실시간 스테레오 영상 교정 시스템.
  6. 제 1항에 있어서,
    상기 제 1메모리와 상기 제 2메모리는 영상의 전체 픽셀 수에 해당하는 만큼의 좌표값을 저장할 수 있으며 상기 교정좌표 생성모듈부와 상기 이중 선형 보간값 생성모듈부의 동작시에 그 결과를 각각의 메모리에 저장한 후 교정과정에서는 읽기만을 수행하는 것을 특징으로 하는 실시간 스테레오 영상 교정 시스템.
  7. 삭제
  8. 좌표 생성모듈부에서 카메라를 통해 생성된 제어 신호를 기반으로 현재 입력중인 픽셀의 2차원 좌표를 계산하는 제 1단계;
    교정좌표 생성모듈부에서 상기 카메라 측정의 결과로 받은 3x3 행렬을 입력으로 받아서 교정 후의 각 좌표가 참조하는 교정 전 영상의 좌표를 출력하는 제 2단계;
    이중 선형 보간값 생성모듈부에서 이중 선형 보간 코드를 출력하는 제 3단계;
    교정좌표 메모리에 상기 교정좌표 생성모듈부의 출력을 저장하는 제 4단계;
    이중 선형 보간 메모리에 상기 이중 선형 보간값 생성모듈부의 출력을 저장하는 제 5단계;
    영상버퍼에 입력 영상을 저장하고, 상기 영상버퍼에서 출력 영상을 출력하는 제 6단계;
    교정모듈부에서 이중 선형 보간 처리를 위해 상기 교정좌표 생성모듈부와 상기 이중 선형 보간값 생성모듈부의 동작이 완료된 후에 연산을 시작하는 제 7단계를 포함하여 구성된 것을 특징으로 하는 실시간 스테레오 영상 교정 방법.
  9. 제 8항에 있어서, 상기 제 7단계에서,
    상기 교정모듈부는 출력 영상의 한 좌표에 대해 그에 해당하는 교정좌표를 교정좌표 메모리에서, 이중 선형 보간 코드를 이중 선형 보간 메모리에서 읽어오고, 상기 교정좌표를 기반으로 교정전 영상의 한 픽셀과 보간을 위한 주변 픽셀을 상기 영상버퍼에서 읽어온 후, 읽어온 이중 선형 보간 코드를 사용하여 쉬프트와 덧셈기만을 사용하여 이중 선형 보간을 수행하는 것을 특징으로 하는 실시간 스테레오 영상 교정 방법.
  10. 제 8항에 있어서, 상기 제 3단계에서,
    상기 이중 선형 보간값 생성모듈부는 상기 교정좌표 생성모듈부의 나눗셈기 결과와 나눗셈기의 나머지 값을 사용하여 이중 선형 보간값을 생성할 때 각 나머지 값과 제수와의 크기 비교를 통해 이를 코드화 하고, 코드에 사용된 비트수를 늘리거나 또는 줄이는 것을 특징으로 하는 실시간 스테레오 영상 교정 방법.
KR1020060059210A 2006-06-29 2006-06-29 실시간 스테레오 영상 교정 시스템 및 방법 KR100850931B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060059210A KR100850931B1 (ko) 2006-06-29 2006-06-29 실시간 스테레오 영상 교정 시스템 및 방법
US11/677,324 US7643067B2 (en) 2006-06-29 2007-02-21 Rectification system and method of stereo image in real-time

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060059210A KR100850931B1 (ko) 2006-06-29 2006-06-29 실시간 스테레오 영상 교정 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20080001095A KR20080001095A (ko) 2008-01-03
KR100850931B1 true KR100850931B1 (ko) 2008-08-07

Family

ID=38876704

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060059210A KR100850931B1 (ko) 2006-06-29 2006-06-29 실시간 스테레오 영상 교정 시스템 및 방법

Country Status (2)

Country Link
US (1) US7643067B2 (ko)
KR (1) KR100850931B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588467B2 (en) 2009-06-25 2013-11-19 Samsung Electronics Co., Ltd. Apparatus and method for detecting hands of subject in real time
WO2015171233A1 (en) * 2014-05-06 2015-11-12 Intel Corporation Rectification techniques for heterogeneous camera arrays

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011009108A2 (en) * 2009-07-17 2011-01-20 Universal Robotics, Inc. System and method for automatic calibration of stereo images
DE102009028743B4 (de) * 2009-08-20 2011-06-09 Robert Bosch Gmbh Verfahren und Steuergerät zur Entzerrung eines Kamerabildes
KR20120011653A (ko) 2010-07-29 2012-02-08 삼성전자주식회사 영상 처리 장치 및 방법
KR101709642B1 (ko) * 2010-12-20 2017-02-23 엘지이노텍 주식회사 3차원 카메라 모듈 측정 장치, 3차원 카메라 모듈 보정 장치 및 보정 방법
KR20130057327A (ko) * 2011-11-23 2013-05-31 엘지이노텍 주식회사 스테레오 매칭 시스템의 전처리 장치
KR101888837B1 (ko) * 2011-11-23 2018-08-16 엘지이노텍 주식회사 스테레오 매칭 시스템의 전처리 장치
US9019350B2 (en) 2012-04-12 2015-04-28 Raytheon Company Stereo rectification method
US20140043447A1 (en) * 2012-08-09 2014-02-13 Sony Corporation Calibration in the loop
US9384551B2 (en) * 2013-04-08 2016-07-05 Amazon Technologies, Inc. Automatic rectification of stereo imaging cameras
KR102281184B1 (ko) 2014-11-20 2021-07-23 삼성전자주식회사 영상 보정 방법 및 장치
US9955056B2 (en) * 2015-03-16 2018-04-24 Qualcomm Incorporated Real time calibration for multi-camera wireless device
CN105513068A (zh) * 2015-12-04 2016-04-20 湖北工业大学 基于多相机阵列大尺寸视觉测量系统的标定系统及方法
RU168781U1 (ru) * 2016-06-07 2017-02-17 Открытое акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" Устройство обработки стереоизображений
RU2623806C1 (ru) 2016-06-07 2017-06-29 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") Способ и устройство обработки стереоизображений
CN108428251A (zh) * 2018-03-09 2018-08-21 深圳市中捷视科科技有限公司 一种基于机器视觉技术激光结构光自动标定方法
CN110490937B (zh) * 2019-07-15 2022-05-17 南京大学 一种加速高光谱视频重建的方法及其装置
KR102273836B1 (ko) * 2019-12-31 2021-07-05 한국해양대학교 산학협력단 두 개의 스테레오 비전 방식에 의한 물체의 3 차원 형상 측정 정도 향상
CN112529795B (zh) * 2020-12-04 2024-01-16 北京中科慧眼科技有限公司 基于fpga的双目相机畸变校正系统、方法和终端设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132666A (ja) 1998-10-26 2000-05-12 Ntt Data Corp 画像データにおける変化領域抽出方法及び装置、記録媒体
US20030156751A1 (en) 2001-02-23 2003-08-21 Delman Lee Method of and apparatus for rectifying a stereoscopic image
KR20040058421A (ko) * 2002-12-26 2004-07-05 한국전자통신연구원 양안식 스테레오 영상의 카메라 광축 간격 조절 장치 및그 방법
KR20060009178A (ko) * 2004-07-21 2006-01-31 한국방송공사 양안식 스테레오 카메라 시스템의 구동장치 및 제어방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6108005A (en) * 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
US5917937A (en) * 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
US6101455A (en) 1998-05-14 2000-08-08 Davis; Michael S. Automatic calibration of cameras and structured light sources
US6437823B1 (en) 1999-04-30 2002-08-20 Microsoft Corporation Method and system for calibrating digital cameras
US6516087B1 (en) * 2000-01-10 2003-02-04 Sensar, Inc. Method for real time correlation of stereo images
JP4501239B2 (ja) 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
KR100374784B1 (ko) * 2000-07-19 2003-03-04 학교법인 포항공과대학교 실시간 입체 영상 정합 시스템
US20040105074A1 (en) * 2002-08-02 2004-06-03 Peter Soliz Digital stereo image analyzer for automated analyses of human retinopathy
US7466336B2 (en) * 2002-09-05 2008-12-16 Eastman Kodak Company Camera and method for composing multi-perspective images
JP2004309930A (ja) * 2003-04-09 2004-11-04 Olympus Corp 立体観察システム
US7643025B2 (en) * 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132666A (ja) 1998-10-26 2000-05-12 Ntt Data Corp 画像データにおける変化領域抽出方法及び装置、記録媒体
US20030156751A1 (en) 2001-02-23 2003-08-21 Delman Lee Method of and apparatus for rectifying a stereoscopic image
KR20040058421A (ko) * 2002-12-26 2004-07-05 한국전자통신연구원 양안식 스테레오 영상의 카메라 광축 간격 조절 장치 및그 방법
KR20060009178A (ko) * 2004-07-21 2006-01-31 한국방송공사 양안식 스테레오 카메라 시스템의 구동장치 및 제어방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588467B2 (en) 2009-06-25 2013-11-19 Samsung Electronics Co., Ltd. Apparatus and method for detecting hands of subject in real time
WO2015171233A1 (en) * 2014-05-06 2015-11-12 Intel Corporation Rectification techniques for heterogeneous camera arrays

Also Published As

Publication number Publication date
US7643067B2 (en) 2010-01-05
US20080002879A1 (en) 2008-01-03
KR20080001095A (ko) 2008-01-03

Similar Documents

Publication Publication Date Title
KR100850931B1 (ko) 실시간 스테레오 영상 교정 시스템 및 방법
CN107633536B (zh) 一种基于二维平面模板的相机标定方法及系统
JP5029618B2 (ja) パターン投影法による３次元形状計測装置、方法およびプログラム
US9609181B2 (en) Image signal processor and method for synthesizing super-resolution images from non-linear distorted images
KR100966592B1 (ko) 영상에서 평행 사변형의 호모그래피를 이용한 카메라의 보정 방법
JP3635359B2 (ja) 透視投影計算装置および透視投影計算方法
CN101563709A (zh) 校准照相机系统
EP1406213A1 (en) Information processor
WO2015057098A1 (en) Motion compensation method and apparatus for depth images
US9269130B2 (en) Image correction method using approximately non-linear regression approach and related image correction circuit
US20190236806A1 (en) Real-time three-dimensional camera calibration
CN102509295A (zh) 三目摄像头的校正方法和装置
US11734789B2 (en) Systems and methods for image distortion correction
CN109313811B (zh) 基于视觉系统振动移位的自动校正方法、装置及系统
KR20130057327A (ko) 스테레오 매칭 시스템의 전처리 장치
US9508132B2 (en) Method and device for determining values which are suitable for distortion correction of an image, and for distortion correction of an image
CN105389783A (zh) 一种遥感图像精处理系统及方法
Valsaraj et al. Stereo vision system implemented on FPGA
JP2007079708A (ja) 画像処理装置及び画像処理方法
CN115667989A (zh) 深度图像处理方法及设备
KR20130057328A (ko) 스테레오 매칭 시스템의 전처리 장치
Kolar et al. A system for an accurate 3D reconstruction in video endoscopy capsule
CN101770136B (zh) 增益校准装置及校准增益值的方法
CN116862999B (zh) 一种双摄像机三维测量的标定方法、系统、设备和介质
Pohl et al. An efficient and scalable architecture for real-time distortion removal and rectification of live camera images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130603

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140617

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee